二、 电子政务综合绩效评估的框架要素及其应用分析

(一) 电子政务综合绩效评估思路

    电子政务综合绩效评估的思路如下：

    第一种思路是解决评估的方法问题。把原问题进行分解，得出各个派生问题的解后，再通过模型综合出原问题的解：

    认识原问题 原问题分解 求解派生问题 结果综合 原问题的解

    第一步，认识原问题。把电子政务绩效评估作为不确定问题，绩效的估计值是一个随机变量，由于多种因素的存在，使对绩效的估计方差范围相当大，以至于失去了对它的利用价值。第二步，原问题分解。将绩效评估问题分解成更容易处理的三个派生问题：服务与应用绩效、资源整合与利用绩效、管理与保障绩效。第三步，分别测算评估这三个派生问题。第四步，将不同政府机构对应在电子政务发展成熟度的相应级别上，并综合三个派生问题的解，通过综合评议流程，得到电子政务绩效评估结果。

    第二种思路是解决对电子政务绩效的评估标准问题。把绩效看成是目标的达成程度，当电子政务建设现状离这一目标越近，目标的达成程度高，绩效也越好。越接近目标，绩效越好，能够完全达到目标，绩效最为理想。这要求我们建立能够量化的目标，如果目标不能量化，就无法度量目标的达成程度。

(二) 电子政务绩效评估主体与客体

    评估主体是指主要接受委托施予评估的组织、个人或联合工作组。评估客体指的是评估的对象。其中评估主体即“谁评估”在整个电子政务绩效评估体系中尤为重要，原因在于目前电子政务绩效评估在我国国情下是项较为敏感的工作，绩效评估主体必须具备相应权力且能够影响被评估者行为向评估主体期望的方向调整，这对评估工作的顺利开展和评估结果的应用及跟踪改进起到很大的作用。

    A省电子政务绩效评估研究课题，缘起于省政府领导批示“电子政务绩效应列入年终政府机构政绩考核单项指标”，A省政府决定从当年开始，组织开展电子政务绩效评估，由省信息化领导小组办公室联合省编委办、省发改委、省财政厅、省监察厅成立A省电子政务绩效评估协调工作组，负责组织实施。A省信息办颁布了《A省电子政务绩效评估管理办法》并印发了《关于成立A省电子政务绩效评估协调工作组的通知》，使A省电子政务绩效评估工作的长期开展有了组织保障。评估客体为A省政府机构、其他国家机关（包括省委部门、省人大办公厅、省政协办公厅、省高级人民法院、省人民检察院等）和市县级政府等。
电子政务绩效评估方法的创新之处在于形成电子政务绩效评估工作的“A省模式”，即：在建立电子政务绩效内部评估的制度环境支撑下，同时，引入第三方专业机构作为外部评估方，内外部评估主体创新结合，既不像某些政府主导的评估和评议工作，完全由政府主管部门进行评估，也不完全依赖第三方机构。电子政务绩效评估工作的“A省模式”，充分发挥了内部评估与外部评估相结合的优势，保证了评估结果既有权威性又具有客观性和公正性。

(三) 电子政务绩效评估流程

    流程管理思想认为“流程决定结果”，电子政务绩效评估更要遵循严格的评估流程，评估流程涵盖从确定评估客体至完成整个评估工作的全过程。包括如下步骤：

（1）确定评估主体与客体，下达评估通知书，组织成立评估工作组和专家咨询组。评估通知书是指评估组织机构（委托人）出具的行政文书，也是被评单位接受评估的依据。评估通知书应载明评估任务、评估目的、评估依据、评估人员、评估时间和有关要求等事项。

（2）拟定评估工作方案，搜集基础资料。评估工作方案是评估工作组进行某项评估活动的工作安排，其主要内容包括：评估客体、评估目的、评估依据、评估项目负责人、评估工作人员、工作时间安排，拟用评估方法、选用评估标准、准备评估资料以及有关工作要求等。

（3）实施评估，如采用内外部结合评估模式，该项工作可有第三方专业机构承担，工作内容有：征求专家意见，收集分析评估数据，撰写评估报告，开展综合评议，确定评估结果。

（4）将评估报告报送评估工作组复核，向评估组织机构（委托人）送达评估报告和选择公布评估结果，建立评估项目档案等。

    为了使以上的文字描述更加容易理解，下面用图2来表示整个电子政务绩效评估的实施流程：

    A省电子政务绩效评估工作总体安排依据上述评估流程，具体工作开展实行“年初备案、年中检查、年底验收”的模式。
 

    当年年初，省信息办部署各单位上报本单位电子政务工作目标。年中，组织各政府机构开展年中自我评估工作。结合省信息办年度重点任务，委托第三方专业机构研究设计电子政务绩效考核指标和实施流程等，并征求省直政府机构和市县代表的意见。然后向各政府机构下发《年终电子政务自评报告（模板）》，组织进行集中培训，第三方专业机构为各政府机构提交自评报告提供咨询指导。

    当年年底，A省电子政务绩效评估协调工作组组织进行全部政府机构的实地检查工作。实地检查小组由协调工作组、第三方专业机构、政府机构代表、人大代表及政协委员等组成。次年年初，A省电子政务绩效评估协调工作组组织召开综合评议会。第三方专业机构根据动态掌握的数据和情况，独立进行评分。需要注意的是，第三方专业机构给出的评估结论应与各单位自评进行对照，及时对评估结论进行补充和修改，对评估结论和单位自评结论相差较大的，要进行基础资料核对，找出差异原因，如依据充分应该对评估结论进行必要调整。最终根据第三方专业机构评分、实地检查评分和综合评议评分，依据不同权重汇总计算，确定年度绩效评估结果，并进行排名。

(四) 评估报告和结果运用

    在电子政务绩效评估工作完成后，应该形成一个总的评估报告。评估报告是由评估工作组完成全部评估工作后，对电子政务绩效状况和业务目标实现情况等进行对比分析，客观判断形成的综合结论的文本文件。

    评估报告一般由正文和附录两部分组成。报告正文的主要内容包括基本情况描述、主要各项绩效指标对比分析、评估结论、发展趋势预测、评估依据和评估方法等。报告附录包括有关评估工作的基础文件和数据资料。评估报告要维护被评估单位的正当业务秘密。

    评估报告应该由独立的审计人员进行符合性审核，即：评估工作程序是否完整、评估方法是否正确、选用评估标准是否适当、评估报告是否符合规范等。

    评估结果应该反馈给政府决策部门和被评单位，作为电子政务投资决策、管理改善和绩效监管的参考依据；并作为对政府机构领导任期和任职绩效考核的依据，同时也可为其他相关单位提供信息咨询和管理参考。

    A省电子政务综合绩效评估最终报告有：《A省电子政务发展报告》、《A省电子政务数据分析报告》、《电子政务绩效评估报告》以及《电子政务绩效评估工作意见和建议汇总》。其中，《A省电子政务发展报告》是在被评单位自评报告、第三方评估报告、实地检查等资料的基础上，经过汇总、归纳与分析形成。在概括发展和总结不足的基础上，该报告按照电子政务的5个发展时期，对A省省直政府机构和市、州的电子政务建设与应用情况进行分析归纳，具体展现其在每个时期的发展状况，同时，清晰对比其在不同时期的差距。在此基础上，对A省电子政务的未来发展提出政策性意见和建议。《A省电子政务数据分析报告》为电子政务发展阶段、行政许可事项在线办理率、信息资源建设情况、信息安全情况、组织保障、建设与运行维护资金等数据的深度分析与展示。《电子政务绩效评估报告》为反馈给各政府机构的评估结论，《电子政务绩效评估工作意见和建议汇总》为此项工作中所搜集到的被评单位对本单位和全省电子政务工作意见和建议分类汇总。以上报告均提交给省政府和相关单位领导，供管理决策和参考分析使用。

    A省电子政务综合绩效评估结果运用情况如下：

1、有关单位根据绩效考评结果，及时总结电子政务建设、运行和管理经验，完善相关制度，提高项目管理水平和资金使用效益，增强服务和应用效果。

2 、A省信息办根据绩效考评中发现的问题，及时组织专家和第三方专业机构提出改进建议和加强管理的意见，并反馈各单位作为完善和改进电子政务工作的参考依据。

3、电子政务绩效评估结果作为年终考核评估各单位政绩的指标之一。

4、绩效考评结果将作为各政府机构以后年度信息化资金预算审批和新增项目立项审批的重要参考依据，同时也为其他相关单位领导管理和决策使用。

(五) 评估模型

    评估模型是整个评估体系的主体部分，而评估方法、评估基准、评估数据和评估指标则是评估模型最核心的四要素。

（1）评估方法

    在评估中，不同的评估方法将对评估结果产生不同的影响。目前国内外关于多指标综合评估的方法很多，根据权重确定方法的不同，这些方法大致可分为两类：一类是主观赋权法，如层次分析法、德尔菲法、综合评估法等，多是采用综合咨询评分的定性方法，这类方法因受到人为因素的影响，往往会夸大或降低了某些指标的作用，致使排序的结果不能完全真实地反映事物间的现实关系。另一类是客观赋权法，即根据各指标间的相关关系或各项指标值的变异程度来确定权数，避免了人为因素带来的偏差。如主成分分析法、因子分析法、DEA方法等。其他一些评估方法中权重确定基本上都离不开这两种思路。

    指标的权重是指该指标在本层指标中所占的相对重要程度。权重对评估结果会产生较大的影响，权重确立的合理性与专家的判断水平直接相关。因此， A省电子政务综合绩效评估在进行权重判定时采用：合理配置的专家组成结构，包括政府机构高、中、低层管理人员、技术人员、也有第三方专业机构专家等，分别能够针对各自熟悉的领域对电子政务绩效进行客观准确地判断。这样，指标的权重才能体现不同政府机构电子政务的特点，打分结果才是科学合理的。

（2）评估基准

    电子政务绩效评估基准是准确衡量绩效的尺度，基准的正确选择对电子政务绩效评估结果具有较大影响，评估基准的制订既是电子政务绩效评估体系建立的主要环节，也是电子政务绩效评估具体工作所面临的一个重要工作步骤。

    基准是正在进行的系统化的方法论，用于识别、度量、比较自身在某一时期内的工作过程或职能，或与一个或其他多个组织进行比较，以实现其内部的改善[1]。基准是绩效评估的参考点。通过与参考点的对照可以认清单位自身所处的位置，从而识别前进的方向与目标。根据基准的参考点划分为内部基准和外部基准。

    内部基准是指以某一时间段的绩效情况作为参考点，反映出组织内部的绩效随时间变化的情况。内部基准的存在前提是必须以历史数据的存在为依据，在进行过数据评估之后，单位可以选取自己的内部数据作为基准，进行纵向比较与衡量。包括计划基准、经验基准和历史基准等。

    外部基准是指该单位与外部组织的运营绩效情况进行比较的参照物。一种是与同行业的整体非常好的实践者进行比较，以找出差距。另一种是只瞄准特殊的比照对象，进行比较，确定该单位目前所处的行业地位，了解当前该领域的非常好的实践情况，如何对照非常好的实践过程修正自身等。

    要进行电子政务绩效评估，除要建立科学、合理、规范的指标体系外，必须要对电子政务绩效评估的基准进行总体规划设计，研究指标与基准的对应关系，研究不同评估客体的基准选择，通过各种渠道广泛收集整理各种分类基准数据，在条件成熟时要研究建立绩效评估基准数据库。

    基准并非是固定的和一成不变的，会随着经济的发展和客观环境的变化不断变化，因此，如何建立和维护更新基准库也是一项非常重要的工作。一方面可以在实践过程中根据实际情况对基准库进行补充和修正；另一方面可以随着相关行业管理要求的推出，不断纳入新的基准指标，使基准库随着应用的累积而逐渐成熟。

（3）评估指标

    评估指标是评估模型的骨架。科学建立评估指标体系是决定评估工作成功与否的关键。如果评估指标选择不当，或者缺少关键指标，则会影响评估结论的精度，甚至给被评单位以错误的导向信号。因此，电子政务绩效评估指标需要基于发达国家电子政务绩效评估实践，遵循既定的基本原则，结合委托方具体需求，科学设计评估指标体系，并持续完善。

    服务型政府视角的电子政务综合绩效评估的对象是各类政府部门，那它除了可以满足纵向比较之外，在横向比较上应针对不同政府机构的业务特点，仍然可以保持评估的公正性和准确性。面向公共服务的部门如财税部门和无公共服务面向宏观管理决策的部门如政策研究部门比较起来，其信息化需求和建设水平必然差距很大，在公众满意度调查上也可能存在误差，但我们不能据此认为后者的绩效就低。事实上目前沿用的各类评估方法和排名机制，会由于各政府部门职能定位和业务性质的不同，导致电子政务绩效排名顺序上的固定化。基于上述情况，ITGov中国IT治理研究中心创新性地提出了“三类三层”指标体系的设想，即，从类别上看，建立三类指标；从层次上看，每类指标又分为三个层次。具体层次结构如图3-1所示：
 

    通用类指标，也称基础类指标，是电子政务绩效评估中最重要、最基本的指标，可以对政府机构绩效的总体情况进行高度概括性评估。该指标能够客观反映所有政府机构电子政务工作的基本工作情况，根据这类指标可以形成对各政府机构电子政务绩效的初步考核，具有通用性。

    专用类指标，即行业类指标，是专门针对某一行业的特点提炼出的评估指标，在对同行业、同类型政府机构进行深入分析对比时，可运用行业性指标对通用性指标结果进行修正和补充，以此形成该类政府机构电子政务绩效评估的基本定量分析结论。

    评议类指标，是对影响电子政务绩效的特殊非定量因素进行判断的评估指标，以此形成对电子政务绩效评估的定性分析结论。由评估实施方中的专家咨询组进行评估。

    在指标体系方面，一级指标是按照应用与服务、资源整合利用、管理与保障设计的。二级指标则按照“简化指标，突出绩效”的原则，细化分解一级指标为二级指标。三级指标是则为具体实现定性定量评估的评估项。

    通过三层指标体系和三类指标的结合，可以做到对不同政府机构的电子政务绩效进行客观全面的比较。

    通用类指标：不同行业和性质的政府机构通过通用类指标进行比较

    专用类指标：同行业政府机构则采用专用类指标进行比较

    评议类指标：对于特殊因素的评判指标可以划为评议类指标，通过专家进行评估，得到定性评估结论。

    A省电子政务综合绩效评估指标设计是在建设服务型政府思想的指导下，确定电子政务绩效评估目标——建立电子政务可持续发展的长效机制，推动建设服务型政府。按照“三类三层”指标体系的研究成果，第一步，根据A省电子政务综合绩效评估工作的评估目的、任务和评估对象，按照既定的基本原则，研究确定“应用与服务”、“资源整合利用”、“管理与保障”三项一级指标，“网上公共服务”等15项二级指标，若干项能全面反映评估客体各个侧面的三级指标，并区分为通用类指标、专用类指标和评议类指标。此外，还确定了“核心业务信息化支撑率”等5个关键指标数据，科学构成A省电子政务综合绩效评估指标体系，以此作为电子政务绩效评估的依据。具体指标体系内容与各级政府机构业务需求、工作目标等密切相关，故本文从略。第二步，通过二级指标和三级评估项，分别测算评估这三个一级指标。第三步，将不同政府机构对应在电子政务发展成熟度的相应级别上（初始期、扩散期、整合期、融合期、成熟期），并综合三个一级指标的解，通过综合评议流程，得到电子政务绩效评估结果。

（4）评估数据

    评估数据是评估结果产生的源泉，有了评估数据才使得评估变得有意义。数据分为定量数据和定性数据两种，在应用评估模型时通常要对数据进行科学处理。

1．定性指标的处理

    定性数据的处理通常采用调查问卷法及实地检查等方法。为避免主观判断引起的失误，增加定性指标的准确性，可以采用隶属度赋值方法，将定性指标分成几个档次，分别对应1-10分。对于每一档次的评分，制定评分依据。评分依据是进行客观评估的约束条件，能够在一定程度上克服单纯主观评估的缺陷，使得评估人员在评分时具有一定的参考标准。

2．定量指标的处理

    定量指标的数据值按照指标释义和各单位具体情况进行收集，数据的收集可能需要统计、财政、信息办等政府机构配合。由于各项定量指标的内容、量纲各不相同，直接综合在一起十分困难。因此，需要将这些指标进行无量纲处理，将定量指标原值转化为评估值。

    电子政务绩效评估不同于已经成熟的政府门户网站评估，它所评估的是一个综合性更强、涉及面更广的对象，所需要的数据和材料要求更全面、更广泛。这也是评估的一个难点所在。A省电子政务绩效评估研究课题数据采集方法主要是：自评，网上采集信息，问卷反馈，案例调查，专题访问，评估主体收集到各个部门在信息化规划、项目立项、招投标、验收等环节的信息，及第三方机构调查数据等相结合的形式。年初A省信息办结合本年度工作任务，督促各单位落实考核目标，督促落实相关数据基础的采集。每月督促相关单位上报重点应用进展报告。全年督促各单位及时在电子政务管理服务平台上填写和更新基础数据；以及通过公务员门户、政府门户网站、网络管理系统、共享交换平台、信息安全监测等平台在线采集各单位公务员上网、公共服务、信息资源目录、共享交换数据流量、网络运维、信息安全事件等相关信息。年中督促各单位完成年中自查报告。年底前督促各单位完成年度自评报告。

    在对采集到的各类数据信息进行分类和整理时，A省将各项评估指标的观测值与相应的评估标准进行对比，对评估对象的各个侧面做出单因素评估；在无量纲化处理基础上采用适当方法对各单因素评估结果进行加权综合, 获得对评估客体全面描述的单维评估值——综合评估数值，从而对被评单位进行整体的比较、分析、排名。