评价过程控制方法

7.4　评价过程控制方法

7.4.1过程控制流程

经过多年的公共部门绩效评价工作的实践经验，公共部门绩效评价过程控制工作可以总结成2个保障、3个阶段和19个重要环节，即以科学的工作机制和强力的工作团队为保障，从评价准备、评价采样和报告撰写等三个阶段开展工作。在评价过程控制工作中要以健全的工作机制和高质的组织团队为保障，保证评价工作的公平、公正、客观、准确，加强质量控制，顺利完成评价工作。(如图7-5所示)

第一，研究评价指标、制定评分细则，提高评价工作科学性。绩效指标是用来揭示评价要素的关键可辨特征，通过回归分析和相关性分析加以确定，通常包括特征性、行为性和结果性三类指标。特征性指标与能力绩效评估要素相对应，反映和体现组织的整体素质和能力;组织文化、工作流程可直接确定为评价指标，不需进一步细化;与目标管理能力相对应的指标是战略规划、计划能力和目标管理能力;与资源管理能力相对应的指标是人力资源管理、财物管理、信息管理和知识技术管理等方面的制度建设情况。行为性指标与行为绩效评价要素相对应，反映组织行为表现。不同层级政府职能部门的能力性指标大体相同，但行为性指标差别较大，省级政府职能部门的行为指标主要有政策传导(制定和传递政策)、行政决策、政令执行、业务指导、业务处理和信访接待等行为。结果性指标与业绩要素相对应，它是用来说明某种实际产出结果的具体特征，通常包括经济、效率、效果、公平、满意率等。经济指标反映支出总额和支出结构，体现预算和实际成本之间的差距;效率指标是一种服务水准(产出)与成本的比值，也反映工作完成的时间周期;效果指标是看管理和服务是否达到了预期目的;公平指标关心的是管理和服务对象是否感受到公平的对待;满意率指标指的是直接服务对象或间接服务对象对政府职能部门的行为和业绩的主观感觉。

图7-5　公共部门绩效评价过程控制的流程

此阶段主要包括对评价指标的认识、分析评价单位职能研究指标分类体系、设置指标权重、细化评价要点，明确评价方法、制定评分细则、组织人员培训等7个环节。

第一步:研究分析评价指标，做足功课。在制定指标体系的过程中，主管单位要组织多次工作会进行讨论，深入研究国内外公共部门绩效评价过程控制的发展趋势，深入分析各评价单位的发展现状，设计适宜的评价指标体系，以期不断提升政府部门的服务水平。

第二步:结合评价对象业务职能，分类评价。为提高公共部门绩效评价过程的公平公正性，加强对评价对象业务职能的研究分析，结合评价对象业务特点，分类进行评价。

第三步:结合考察重点，分配指标权重。在初步对评价单位进行分类制定的基础上，按照各评价单位的业务职能特点，分配信息公开和公众参与各项指标权重，以期更好考察各评价单位的工作实效。

第四步:细化评价要点，为制定细则奠定基础。结合评价指标的内涵和要求，尽可能地细化评价要点，增强评价可操作性。

第五步:采取多样化的评价方法。在公共部门绩效评价过程控制工作中，采用人工比对法、人工统计法、电话核实法和模拟用户法等多样化的监测手段，从数量、质量、实效等方面进行全方位考察。对涉及内容缺失、信息及时性、服务质量、规范性等指标，采纳人工比对方式进行核对;对涉及数量、比例指标，采取人工统计方式进行采样;对涉及与业务部门沟通以核实实效的指标，采纳电话核实方式考察;对实际用户验证的在线申报、咨询投诉等指标，采取模拟用户方法进行评价。

第六步:制定评分细则，增强可操作性。在制定评分细则的过程中，采取从外评价到内评价、从数量到内容质量、从日常监测到年度综合评价等方面，以可量化、操作性强为目标，制定评分细则，保证评价过程的客观、公正。

第七步:组织人员培训，增强评价准确性。选拔优秀的评价专业人员，组建政府绩效评价团队，在确定评价对象分类、制定评分细则的基础上，对评价人员采取3轮培训，从评价指标的内涵和要点、评分细则的操作性等方面进行深入讲解，便于评价人员理解，增强评价结果的准确性。

第二，规范评分流程、流水线式采样，增强评价工作客观性。评价采样阶段主要包括细化评价流程、流水线式采样、控制采样过程、加强交叉验证、汇总分析各项数据等5个环节。

第一步:细化评价流程，合理安排监测进度。在评价实施阶段，拟定每周为一个监测单元。一方面根据各指标的特征确定适宜的监测频度;另一方面对监测量进行汇总，并对工作量结合人员安排进行合理分配，保障评估质量。

第二步:流水线式采样，撰写评分报告。为进一步提高监测质量、保障监测客观性，按照评分细则，设计评分报告撰写模板;各评价人员分别负责不同板块的评分工作;记录评价内容，评分依据、扣分理由、得分等内容，便于核查。

第三步:控制采样过程，加强过程控制。为进一步控制采样过程，加强过程控制，对专项采样结果进行集中汇总，便于对评价人员工作进行检查、控制。

第四步:加强交叉验证，健全审核机制。健全监测人自查和审核人抽测相结合方式机制，扩大指标审核范围。监测人每周自查抽查监测结果和追踪已发现的问题:一方面对前一周发现的问题进行全面监测;另一方面对其他监测内容进行抽测。各监测小组组长每月对监测人填制的监测内容进行抽测，发现问题及时修正。

第五步:汇总各类数据，深入总结分析。在对采样数据进行多轮复核的基础上，汇总信息公开、公众参与等多方面的数据，计算总分，并对成绩进行横向、纵向比对分析，总结公共部门绩效过程控制发展的趋势与特点。

第三，结合职能需求、撰写审核报告，提升评价报告质量。报告撰写阶段主要包括分析业务职能、分析用户需求、借鉴优秀做法、规范内容要点、加强组织培训、控制时间节点、建立审核机制等7个环节。

第一步:分析业务职能，时间进度提前。自启动评价工作起，加强对各评价单位“三定”方案的分析，总结出各部门主要业务职能，为撰写点评报告奠定基础。同时，开始着手撰写评价报告，总结工作中的亮点，指出不足;并依据采样结果随时对评价报告进行调整优化。

第二步:结合工作对象，分析对象需求。政府部门的工作最终要以人民的需求为导向，不断增强服务实效，因此评价报告也要站在人民的角度对好的做法进行总结、指出人民迫切需要解决的问题。

第三步:借鉴优秀做法，提出针对性意见。要结合评价对象的业务职能，参考借鉴国内外好的做法，提出建设性意见和建议，促进政府部门工作的效率和效果。

第四步:规范内容要点，形成报告模板。结合各评价单位工作现状，围绕本年度重点工作部署，梳理评价报告的提纲要点，并形成报告模板，供评价人员撰写其他报告提供参考，提升报告质量。

第五步:详解撰写要点，加强组织培训。加强对评价报告撰写人员的培训工作，详细解读报告模板、报告撰写要点，内容格式、语言要求等内容，采取至少培训3轮的方式，运用淘汰机制，选取报告撰写能力强的组员开展报告撰写工作。

第六步:控制时间节点，按时完成任务。在撰写评价报告的过程中，要加强过程控制，对每周要撰写的单位和内容进行详细细化，合理分配工作量，保障按时、高质地完成报告撰写任务。

第七步:建立审核机制，增强报告质量。在撰写评价报告的过程中，建立审核机制，增强报告质量，由组长对组员撰写报告进行专门审核，并定期组织组内讨论等形式加强报告质量的控制。^[19]

7.4.2过程控制的方法和技术

从西方国家政府部门流程评估的相关理论和实践可以发现，强化过程控制的绩效评价方法在某种程度上可以促使人们去反思业已形成的绩效评价体系，从过程上寻求改善绩效评价的新途径。总的来说，对公共部门绩效评价进行过程控制的技术包括宏观的评价规划过程控制和微观的实施步骤过程控制技术。

1.宏观规划流程控制技术

(1)检视过程控制的制度平台

一是评价流程规划设计的合理准确。流程方案规划和设计的准确性是过程控制的核心所在。它决定评价过程缺陷率的降低和周期缩短，从而实现最大限度的评价质量和运行效率的提高。二是必须以流程为导向对评价组织架构进行合理设置。对流程各环节的岗位人员进行合理配置，构造扁平化机构，消除重复的中间层次、评价领导机构要尽可能贴近一线的评价操作人员。

(2)检查过程控制的计划与措施

首先，了解部门的端对端流程。要明确和界定政府部门所有的工作和业务流程，以及这些流程的输入输出和它们所涉及的岗位和部门。其次，识别流程关键点，主要是看变动某要素是否对流程的运作产生深远的影响，也就是说，能否影响满足顾客的需要，能否影响组织的绩效。若是肯定的答案，则这就是流程的关键点，反之则不是。对于流程而言，它有影响其存在和行为方式的五种因素，即流程上游方、流程下游方、流程内的人员技术因素、流程环境和流程控制评价方。这些流程影响因素对于我们理解流程具有非常大的帮助。在流程分析的基础上，也可以使用关键绩效指标(Key Performance Indicator，KPI)分析方法来确定政府部门流程的关键点。业务流程的关键业绩指标是通过对组织内部某一流程的输入端、输出端的关键参数进行设置、取样、计算、分析，衡量流程绩效的一种目标式量化管理指标，是把政府部门战略目标分解为可运作的愿景目标的工具。^[20]

2.微观实施步骤过程控制技术

(1)原则审视法

公共部门绩效评价过程是在一定的原则指导下进行的，通过这些原则的审视可以有效实现过程控制。绩效评价的各个环节都有着特殊的原则要求。如指标体系构建的原则要求是有效性原则、系统性原则、科学性原则、导向性原则、可操作性原则、动态性原则和可量化原则(详见表7-1)。使用这些原则来审视指标设计的过程，可以有效地对其进行过程控制，从而实现指标设计的科学化。

表7-1　指标体系构建过程的原则审视

续表

在评价过程的目标拟定、计划制定、流程规划、方法选择、数据资料收集等环节中也有相应的原则要求，同样也可以使用原则审视的方法予以控制。

(2)技术检查法

政府绩效评价是政府管理的技术，其每一个环节都有相关技术要求。如使命陈述环节是否满足要求，可以用审问法进行技术检查，就可以实现对使命陈述环节的过程控制^[21]:

①我们是谁?这个问题激发政府部门思考其存在的价值与意义。

②我们的存在可以解决哪些社会或政治问题?这个问题激发政府部门思考其核心职能。

③我们如何识别、预测政府组织的未来?这个问题促使政府要对其面临的内外部环境进行分析，发现其面临的机遇与挑战，从而实施政府变革。

④我们应该如何回应利益相关者。满足利益相关者的诉求是政府部门的核心使命。在深入思考这个问题的时候，要考虑所有利益相关者的需求与应对策略。

⑤引领政府组织的观念与文化是什么?政府组织的文化是组织运行的软件，文化应该与使命相协调或者文化应该服务于使命。

⑥什么因素使得政府组织与众不同?这需要政府部门思考并加强其核心竞争力与核心价值。

同样，政府绩效评价的其他环节也存在相应的技术要求，如存量与增量相结合就是评分标准设计的技术要求，通过这种技术要求可以检查评分标准设计过程是否可以实现既定目标。因此，透过各环节的技术要求来进行技术检查，诊断与修正技术问题，可以实现对评价过程的技术控制。

(3)标准对照法

绩效评价的各项工作有一定的标准要求。通过标准的对照，可以实现对评价过程的控制。如绩效指标应该符合SMART标准要求，即绩效指标必须是具体明确的(Specific)、可以衡量的(Measurable)、可以达到的(Attainable)、相关的(Relevant)、具有明确的时间要求的(Time-based)(见表7-2)。

表7-2　绩效指标的SMART标准对照

在评价过程的其他环节方面，也同样有一定的标准要求，透过这些标准对评价过程进行对照，修正偏离标准要求的环节，从而实现绩效评价过程的动态控制。

【注释】

[1]魏娜，张璋.公共管理中的方法与技术［M］．北京:中国人民大学出版社，2000:16。

[2]李林襁，宋伟.政府绩效管理程序与过程研究［J］．当代经理人，2006(12)．

[3]熊兵.高校学生工作过程控制的优化研究［J］．高校发展与评估，2008(4)．

[4]［日］庆伊富长.大学评价研究［M］．东京大学出版社，1984:10．

[5]郑方辉，张文方，李文彬.中国地方政府整体绩效评价:理论方法与“广东试验”［M］．北京:中国经济出版社，2008:81

[6]参考郑方辉，朱衍强.公共项目绩效评价［M］．北京:中国经济出版社，2009．

[7]参见张塽.中国地方政府绩效评价的管理流程设计研究［D］．兰州大学(2007)．

[8]参见张塽.中国地方政府绩效评价的管理流程设计研究［D］．兰州大学(2007)．

[9]李林襁，宋伟.政府绩效管理程序与过程研究［J］．当代经理人，2006(12)．

[10]张塽.中国地方政府绩效评价的管理流程设计研究［D］．兰州大学(2007)．

[11]王义.影响政府绩效评价的内生性障碍分析［J］．云南行政学院学报，2004(3)．

[12]郑方辉，朱衍强.公共项目绩效评价［M］．北京:中国经济出版社，2009．

[13]芦刚，陈先才，李沫.地方政府绩效评估的效度及其影响因素分析［J］．云南行政学院学报，2006(6)．

[14]郑方辉，朱衍强.公共项目绩效评价［M］．北京:中国经济出版社，2009．

[15]朗志正.质量控制方法与管理［M］．北京:国防工业出版社，1984:17-21．

[16]维纳.控制论［M］．北京:科学出版社，1963:58-63．

[17]张强.美国联邦政府绩效评估研究［M］．北京:中国人民大学出版社，2010．

[18]郑方辉，朱衍强.公共项目绩效评价［M］．北京:中国经济出版社，2009．

[19]转引自白超.政府网站群绩效评估工作流程．http://www.cstc.org.cn/tabid/88/ InfoID/83028/Default.aspx．

[20]转引自叶勇.从部门转向流程:公共部门绩效评估体系的改进.http://www.pbgchina.cn/newsinfo.asp?newsid=12570．

[21]转引自罗双平.政府组织绩效量化考评实务［M］．北京:中国人事出版社，2008:61．