形成性评价

第5章　EVM模式的应用方法

方法论是应用方法的高层次集成，EVM模式的方法论框架最终还是要由EVM模式的应用方法构成。本章旨在从应用方法层面进一步介绍EVM模式投资决策与计划、过程控制、后评价这三个阶段所包含的内容，一方面可以更加深入地认识EVM模式的各项活动，另一方面也可以加强EVM模式的可操作性。

5.1　投资决策与计划

IS投资的决策与计划过程是异常困难的。曾经有一项调查表明，有35%的企业因为无法确定IT项目能带来的价值而不得不放弃项目^[1]，而在已投资的项目中，大部分都是建立在对IT的主观信心（Faith on IT）之上的，只有16%的企业采用严格的方法进行IT的投资决策评估^[2]。但IS投资的高风险、高隐含成本又使得事前谨慎的决策与计划尤其重要，盲目的IT投资带来的后果是触目惊心的。一方面，不成熟的投资决策会导致不成熟的项目认识，就不能准确把握项目的目的和范围，致使项目偏离方向，得不到企业期望的价值；另一方面，缺少全面的计划就不能理性地估计和预测项目的成本以及可能出现的问题，风险控制的针对性和解决问题的能力就不强，大大增加了项目失败的可能性。

EVM事前决策和计划的过程是充分预测项目未来可能结果的过程，也是全面估计项目可能存在问题并提出相应计划的过程，尽管好的决策与计划过程不能完全保证IS价值的成功实现，却可以使得项目从一开始就尽可能地考虑到未来可能发生的问题，尽可能地优化资源配置，防患于未然，确保项目往正确的方向发展，避免不必要的时间和资源浪费，提高IS价值的实现概率。另外，评估和计划过程中隐含了企业对项目实施过程以及项目相关人员行为的期望，因此除了为决策者提供判断依据外，EVM投资决策与计划还可以为未来的项目实施和人员考核甚至事后评价提供标准，作为纠正偏差、协调各方利益的工具。

5.1.1　事前投资决策与计划的主要活动

配合IS价值实现过程中主流的投资准备和项目设计^[3]，事前的IT投资评估以及对后续工作做一个概要计划是EVM工作的第一步。企业在正式实施IS项目之前，企业至少需要知道：①该项目主要能解决什么问题？预期价值是否与企业战略需要相一致（Rock，1988；Ross，1991）？②企业是否有能力完成该项目（Willcocks，1994；Remenyi，1997）？③如果有能力，那么应该以什么样的价值标准考核设计的方案（James，1999）？④确定方案后，应该在哪些方面进行控制以保证预期的价值得以实现？如何控制（Bram，2000；Chowdhury，2001）？⑤在正式实施项目之间，如何事先进行整体的计划（Remenyi，1997）？这一系列的问题，仅靠传统的可行性分析是很难实现的，它实际上需要包括如图5．1所示的所有活动。

图5.1　决策评估过程的内容

可以把这些活动分为三个阶段，第一个阶段是项目目标定义阶段，EVM的项目目标定义基于等同于IS价值目标化，是从企业整体价值出发定义项目的目标，确定项目的目标和范围，为后期投资方案的选择、相关的选型以及项目的控制等提供评判的依据，是项目进行的首要基础。第二个阶段是决策结果的获得阶段，主要是为解决事前投资的决策服务的，包括决策标准与指标的确定、正式的评估过程、评估结果的分析等，属于传统的项目决策评估的内容，财务、技术、风险等的分析都发生在这一阶段，需要进行总结性评价得出明确结论，是决定项目是否进行的关键阶段。第三个阶段是项目的事前计划，等同于IS价值实现的事前计划，可以有效地补充IS项目计划的不足，如图5．2所示。

图5.2　IS项目事前决策评估链

5.1.2　IS项目目标的定义

IS项目目标的定义与IS价值目标确定的过程比较类似，都是需要在分析企业固有特征等基础上对项目所要达到的目标进行详细的分析，但从范围来看，IS项目目标大于IS价值的目标化，毕竟在整个IS项目的建设管理过程中，除了追求IS价值这一主要目标之外，加上一些“必需的（must do）”目标如政府形象工程的要求、客户订单的要求等，共同组成项目的目标集。一般来说，IS项目的主要目标往往不止一个，但为了便于考核也不会太多，很少超过五个，每一目标又可以往下分成多个子目标。

不同的企业、不同的IS项目其项目目标是完全不同的，比如说某大型企业准备在企业范围内实施ERP项目，其项目的目标是降低经营成本、提高客户满意度和加强内部经营的规范性这三个战略性的目标；而另一家投资不大的生产物料管理系统的目标为：理顺生产中物料的传递、提高物料管理的精确性、缩短生产周期、提高操作人员对电脑的熟悉程度四个相对比较具体的操作层的目标。因此本书很难给出具体的IS项目目标，而且IS项目目标的定义过程是相关者共同熟悉项目背景、共同探讨项目期望的重要过程，除了结果，过程本身的意义也非常重要。

Dennis^[4]曾以“如果实施企业变革中没有任何阻碍的情况下，他们最希望从信息技术投资中得到或提高的业务目标是什么”为问题对企业管理人员进行调查。Dennis在调查结束后从改善企业内部现有业务流程、改善企业之间现有业务流程、在企业内部建立新的业务流程、在企业之间建立新的业务流程四个方面对管理者期望的目标结果进行了总结，如表5．1所示，可以作为企业定义IS项目目标时的参考。

表5.1　实施IS的价值目标

IS项目目标定义的所有活动结束后，最终应该形成一份正规的文档——项目分析蓝图（PAP，project analysis picture）^[5]，把上述活动的分析内容都包括在内，作为指导后期过程的规范。不过，尽管PAP的这些内容是项目后续管理的指导，不会轻易变化，但仍有可能在项目实施过程中不断地被更新。

5.1.3　投资决策评估结果的获得

有了项目目标之后，投资决策评估结果的获得与分析主要就是在项目目标的基础上形成投资决策的判断标准，对待选方案进行评估得出一个能够辅助决策的结果。

IS投资决策评估的标准有很多种，决策结果是多种标准综合的结果。多位学者专门就IS投资决策的标准做出研究，如James^[6]提出IS投资决策标准包括财务标准、管理标准和开发标准三类，共15个指标；Willcocks^[7]经过调查发现，系统可用性、组织需求、响应时间、系统能力、业务部门的需要、成本这6个指标是IS可行性研究中使用最频繁的标准；B．Hochstrasser^[8]建议从可能的效益、带来的机会、可能的障碍、战略集成、风险这五个角度对备选方案进行评估；Parker在1988年提出的著名的信息经济学方法（IE法）^[9]采用传统的成本效益分析加上管理因素和技术因素，共11个指标进行评价，在业界的认可程度相当高；Andresen^[10]认为IT评价的标准有财务、战略、竞争优势、使用的效果、提高质量、关键需求、用户满意度、外部满意度、技术、风险共10个标准；而分析最为全面的是SIESTA（Strategic Investment Evaluation and Selection Tool Amsterdam）方法^[11]，提出了二十几条评价标准，如图5．3所示。

根据本书项目目标是决定项目其他活动的基础这一原则，同时考虑各文献中对IS项目的其他因素，以及评估的简洁性、易操作性等，本书认为完整的投资决策评估标准至少应该包括以下几个方面的因素：

（1）满足项目目标的程度。项目目标是对企业基础、企业战略、关键需求、竞争战略等的一个综合，通过考核项目满足项目目标的程度，等于间接地考核项目对企业整体的贡献等，因此满足项目目标的程度应该是评估项目的最主要的标准。尽管实现项目目标的程度并不完全是由方案决定的，还取决于企业及实施过程中的其他因素，但方案设计的好坏仍是决定目标实现程度的最基本的因素。

（2）与成本因素。尽管目前关于IS成本因素的分类各异（Hochstrasser^[12]，Murugan^[13]），不过不管IS项目的成本有多少类，从评估的易操作性角度和统计的便捷角度来说，总的来说都可以归入以下四类：①项目的IS项目的建设成本，是指解决方案的各供应商提出的项目预算总和。②项目的配套成本，如更新的网络架构、数据库、人员成本、外设、管理成本及协调成本等。③项目的运营成本，项目运行时需要的日常费用，如网络、电力、人员等的费用。④隐含成本，一般不会具体统计，而是根据项目的特点，估计一个比例进行核算^[14]。

（3）效益因素。效益因素与成本相对应，更多的是考虑IS价值构成要素中可测度的那一部分，我们可以把：①对生产率的影响。^[15]对用户的影响。③对竞争优势的影响。④对管理水平的影响。⑤对企业经济收益的影响。⑥对企业变革和创新的影响这六方面的因素转化为这些定量和定性相结合的指标。例如ERP项目比较完整的效益指标体系包括：顾客满意度、企业商誉、企业凝聚力、组织合理性、管理效率、信息效率、资产净利率、全员劳动生产率、存货周转率、流动资金周转次数、产品开发周期、市场占有率、运营成本、工时利用率、设备利用率。

（4）与技术相关的因素。IS项目是管理与技术的结合，在大量文献强调管理重要性的同时，技术作为支撑管理的基础仍然占有举足轻重的地位。特别是随着新技术的快速发展，很多企业会因为无法及时理解新技术或盲目应用新技术而导致项目的失败②。前面提到的各文献的评估标准中，都包含了技术这一标准，根据这些文献，我们可以总结技术评估的标准主要有技术的风险性、技术系统的质量、易用性三个方面。

（5）与风险相关的因素。风险是项目投资中一个永恒的话题，风险管理直接决定了项目实施中可能会遇到的障碍以及实施的难度，风险管理本身就是一个大的课题，一些IS顾问甚至会列出长达十几页的项目可能面临的风险清单。借鉴Remenyi对IT风险的分类方法^[16]，在事前评估过程中，我们仅需从方案对业务环境、项目环境、业务和项目知识、项目基础、时间周期这五个方面的要求识别备选方案的风险。

（6）与软硬件供应商相关的因素。由于目前大部分解决方案是由供应商直接或联合参与提供的，选择了某一方案，就等于选择了未来很长一段时间内实施和维护的合作伙伴，而合作伙伴资质的好坏、其配合程度当然是整个合作项目的关键。一般来说，选择供应商主要是从对该项目的重视、行业方案的解决能力、可长期合作的前景三方面去考虑的。

综合上述标准的分析，以某企业的ERP项目为例，其事前投资决策评估的标准体系如表5．2所示。对备选方案在这些标准下的评估分析同时也为接下来的事前计划提供了有待解决的问题的清单，特别是满足目标的程度、风险、实施难度等。

根据我们前面的分析，IS项目的投资决策具有以下几方面的特点：①投资决策的最终目的在于做出正确的选择，而不追求计算的精确性；②IS项目要做出精确的财务分析几乎是不可能的；③IS项目对企业的影响往往都有战略意义大于财务意义、无形效益多于有形效益等特点；④IS项目往往会涉及多方的利益；⑤企业不愿意为事前评估投入太多资源。

表5.2　EVM事前决策与计划的标准体系

基于IS项目投资决策的上述特点，本书认为，在有了决策标准之后，IS项目的事前评估方法，应该更倾向于采用软评价法和硬评价法相结合的方法，如专家打分法与ROI分析相结合等，尽可能简化评价标准与评价步骤，依赖于评价者在这些指标的指导下，通过排序、优先级的设定、图表对比等方法得出一个较为满意的结论。实际上，尽管第2章提到评价的方法超过100种，但在现实中90%以上的事前评估过程所用的无非是CBA、ROI、IRR、投资回收期、专家打分法、MOMC、IE、BSC等几类较常见的方法。总之，IS项目事前投资决策评估的方法，既可以很简单也可以很复杂，完全取决于企业所要达到的决策精度。

5.1.4　实施的事前计划

EVM中的事前计划与IS价值管理的事前计划是类似的，都是为IS实施过程中的项目管理做准备的，主要包括选择最佳的IS价值实现途径（属于IS方案设计的范畴，本书不再详述）、提出一系列的监控项目实施过程是否按计划进行的变量指标，提出变化管理、风险管理的计划，并把相应的责任分配到相关人员，采用一定的激励机制进行激励等内容。但EVM与单纯的价值管理不同，除了这些计划之外，还要分析项目计划，把这些计划与项目计划融合在一起，共同实施。在项目实施阶段，EVM的这些计划不再独立运行，更多地是通过项目管理在实施阶段强调这些计划的活动内容，使得实施过程中不至于忽视这些重要的因素，与项目管理一起融合发挥对IS价值的管理作用。

5.1.4.1　监控项目运行的变量

就监控变量的选择，本书主要是以IS实施过程中项目管理关心的重点为监控的主要变量，根据《IT项目管理》一书中所提到的项目管理的主要内容^[17]，我们将从项目范围、项目时间、项目成本、项目质量、项目沟通、项目采购这六个方面定义项目的关键监控点。根据Chalfin^[18]，Robert^[19]等人的研究，从这六个方面进行分解，总结出IS项目实施过程中具体的监控点有：①预计的可交付成果。②活动排序的质量。③已完成活动与已消耗时间的对比。④变更中的时间处理。⑤预算的变化。⑥已完成任务与已消耗成本的比例。⑦可扩展性、稳定性。⑧快速响应性。⑨一致性。⑩信息格式的正确性。信息收集的效率。信息分发的效率和匹配性。采购的过程合理性。合同管理的准确性。

5.1.4.2　变化管理的计划

IS项目的实施将面临来自组织各方面的抵制，越来越多的证据表明，在IS项目实施过程中人的因素是最重要的风险因素^[20]，如何减少IS的实施变化中与人相关的负面影响、增强正面效果正是变化管理所要解决的问题。统一而又完整的变化管理计划可确保项目的成功，同时也可缩短项目实施的周期，降低成本。变化管理计划首先要在项目目标的指导下，对未来的项目过程进行一定的诊断，分析可能存在的抵制，以及组织实施项目的能力，沟通管理也是管理变化里很重要的一部分。另外，变化管理作为这几年的研究重点，从文献分析来看已经积累了很多工具，如预测变化的影响、变化历史调查、角色分派应用工具、委托人评估、变革阻力表、变革推动力评估，组织变革实施计划等。何时、何人应用这些工具以及如何应用是变化管理计划的另一内容。

5.1.4.3　风险管理的计划

3．4．3已经给出了明确的风险及风险管理的定义，关于风险管理的重要性也已经成为常识性的知识，这里不再具体讨论。由于其在IS建设中的重要性，很多作者（Remenyi，1999；Beohm①，1999；Wideman^[22]，1998）对这个问题做了深入的研究。分析IS项目的风险源，Lyytine及Ward认为可能会导致风险发生的领域包括技术、数据、用户、组织和商业环境等方面。三个应对风险的基本措施是：规避、接受和降低。风险规避涉及根除具体的威胁和风险；风险接受意味着如果风险发生，则接受风险所产生的后果；风险降低通过减少风险发生的概率来减轻风险事件的影响。Willcocks认为好的风险管理的关键在于：①用户参与。②管理层、关键员工以及IT人员的责任心。③方案的灵活性。④战略对应性。⑤时间的控制。⑥调整项目的大小。⑦范围的控制。⑧机动的计划。⑨评价体系的及时反馈。同时，应急计划和应急储备也是风险管理计划中很重要的一部分，以配合风险发生时采取及时的措施进行补救。一些风险控制的工具，如十大风险事项追踪等，应该在计划过程中就有所考虑。

5.1.4.4　责任与激励管理的计划

IS项目建设中的责任管理是一个新兴的领域，具体责任管

理应该包括哪些活动、采用哪些方法还没有定论，根据IS价值实现过程的要求，为了达到责任管理的效果，其计划的过程如下：首先，借鉴一定的工具如项目管理中的计划工具工作分解结构（WBS），将与价值实现相关的工作分解为可管理的要素。其次，列举所在与IS价值实现相关的部门或个人，然后EVM小组与项目经理一起协商，按照均衡的原则把工作分配到有能力的单位中，在此基础上把可管理要素中的每一项工作指派给各执行人而形成的一个矩阵，称之为责任分配矩阵（Responsibility Assignment Matrix，RAM）。RAM按期望的详细程度将工作分配给负责和具体工作的组织、团队或个人，对于小型的项目来说，最好还是将每一项工作指派给个人。而对于大型的项目来说，将具体工作指派给部门或团队将更有效。

不过要让相关者承担起责任，还有“7＋1”个条件，在组织设计人员安排时可以提供一定的参考，这“7＋1”个条件分别是：清晰的指令和范围、足够的权力和行动范围、必要的能力、相应的资源、清楚的责任关系、理解权利和义务、相关的考核；另外还有相关人员愿意接受这些责任。最后，为了确保责任管理机制确实发生效果，与之相对应的还需要建立一定的奖罚机制对各个责任人员进行激励。激励的方式有很多种，可以是奖金、荣誉、休假、培训机会，也可以是扣奖金、通报批评、免职等惩罚手段。但在IS建设过程中，为了不打击各相关者参与的热情，保证大家以良好的心态完成项目，一般是奖多罚少，让相关者更加积极地参与到项目中来。

总体来说，变化管理、风险管理、责任与激励管理尽管在概念上有很大的差异，在实际过程中，有很大一部分工作是重叠交叉在一起的，很难区别这一活动到底属于变化管理或风险管理或责任与激励管理，在计划的过程中也要考虑到这种重叠性。IS目标定义阶段所形成的PAP是指导所有这些事前计划的主要标准，当然在这一阶段结束后，也将形成一份文档，我们称之为项目管理蓝图（PMP，project management picture），作为IS价值实现控制阶段的重要参考。

5.2　IS实施中的过程控制

IS项目的实施要确保项目实施的有序性和结果的可预测性，必须包括各类资源的计划与控制、业务模拟测试、系统开发确认和系统转换运行等多项内容，任务繁多复杂，而且各种问题也非常集中，如需要各层次大量员工的参与、要求企业成员以不同的方式完成工作、意料之外的变化、计划疏漏、充满冲突与矛盾等。因此，项目实施的过程往往都比较紧张，项目小组很容易陷于日常的数据整理、问题处理、关系协调等活动中，而IS一些重要变量如项目的范围、进度、风险和质量等的控制就显得力不从心，甚至最为重要的IS价值方向很多时候也被完全忽略，更不用说在这过程中进行补充性的投入以加强价值的创造。因此这迫切需要在具体统一的价值导向下，通过一定的协商和控制机制进行解决，降低日常障碍因素对价值实现的影响。同时IS项目实施由于时间和资源限制，又不易增加过多的评价、监控等其他非主流活动。EVM中的过程控制借鉴形成性评价理论，结合IS的项目管理，设计了分阶段的过程控制模型，以实现项目实施过程中的IS价值管理。

5.2.1　事中过程控制的主要内容框架

基于这样一些目标，在参考控制理论和形成性评价模型的基础上，本书认为综合辅助的过程控制模式应该包括数据收集、形成性评价、相关者协商与妥协、项目监控、讨论决策等几大部分，该模式从内容结构上看，如图5．4所示。

图5.4　事中过程控制内容结构图

图5．4是IS价值实现的控制过程图（图4．5）的另一映像图，可以更加清晰地看到过程控制的本质，但在本图中无法表达过程控制中分阶段循环控制的意思。本书所提的实施过程中的分阶段循环主要是指：把实施过程划分为多个阶段，按阶段投入资源和考核IS价值的产生，每一阶段对应一次过程控制的循环，得出一个阶段结果。当项目面临的经营环境发生变化时，企业可以在下一阶段寻求新的改进机会，这尽管会增加一定的工作量，但可以精确控制到IS实施的每一个阶段，实现风险的渐进管理。

EVM的关键是各相关者持续评价和协同推进项目的进程，通过这些多相关者参与的形成性评价、讨论、协商、决策等重要活动，IS不再是少数领导人操纵的结果，大大提高了IS的接受程度。让各相关者持续地参与IS的开发过程，了解IS的建设过程之所以导致最终结果的各种原因，对系统的最终形式就不会有排斥心理，即使有不满意的地方，也因为了解IS具体原因而变得宽容。接受度高，那么IS的应用效果就会好；应用效果好，最终发挥出来的IS价值当然也高。另外，相关者的参与也会导致一个更加有效的解决企业问题的IS方案。

过程控制的首要基础是数据的收集和分发，当然这些收集的材料最后往往都会被整理成正式的项目变量差异报告，在更加正式的变量差异分析会上进行讨论，依次延续到变量差异分析、形成性评价、协商与妥协这三个过程控制的主要活动。不过在很多时候这三者是互相交叉融合的，变量差异分析过程中可能存在一定的评价活动，也肯定会有协商和妥协的过程。所以，这相关者参与的三大活动并不是独立的、在不同时间段进行的。对此进行分类，只是能更清晰地表达在过程控制中，相关者需要参与何种活动。

5.2.2　变量差异分析

责任与激励管理、变化管理和风险管理与项目管理一样都是持续于项目生命全周期的过程，与形成性评价、协商妥协等活动一样都会经历多次资料收集、回顾、重新决策等循环，EVM的过程控制把这些活动集成到一起，进行同步的循环，不仅可以增加过程控制的效果，也可以减少资源的浪费。因此，从这一角度出发，变量差异分析所针对的对象不仅仅是事前计划中所定义的十四个变量，而是包括了所有计划如责任与激励管理计划、变化管理计划、风险管理计划、组织配合等设定的变量，考察计划的变量与项目实施中的现实之间的差异，并分析差异产生的原因及讨论解决对策。

在召开变量差异报告会之前，先要由EVM常设委员会撰写变量差异报告，该报告建立在全面、持续、完整地收集资料的基础之上，把项目实施中涉及的方方面面记录成为正式的文档，可以与项目管理中的项目进程报告共享数据资源，但与项目进程报告不同的是，变量差异报告包含了对企业环境变化的记录，项目不再是封闭式实施的结果，同时也对外界环境及需求的变化及时进行响应。项目实施过程中的数据收集方式有很多种，其中最普遍应用的是观察、现场记录、访谈、项目文档分析、问卷调查等，在某些利用软件工具进行项目管理的项目中，还可以查询该工具的日志或记录的信息。但由于变量差异报告最主要还是用于项目实施中的工具文档，其撰写过程和查阅都不宜花费过多时间，本书建议采用简单明了的图表方式记录各类变量的变化和差异情况，如时间序列表、偏差记分卡、控制盘等，把复杂的问题简单化，便于EVM其他人员快速理解和掌握。

变量差异分析会不同于一般的项目碰头会。首先，在人员上，参加变量差异分析会的主要是EVM相关人员，而项目碰头会往往是业务或IT的主管人员，尽管有一部分重复，但EVM执行所涉及的人员和所涉及的面要广很多；其次，项目碰头会主要是解决项目实施中出现的各类问题，控制进度和成本等，实现的或解决的是短期的目标和问题，而变量差异分析以原始的PAP与PMP为参照，以一套统一的、长期的标准来考察、分析项目的现状，确保项目在持续变化的环境下仍然以项目的最终价值为导向，而不是短视的问题导向。特别是随着各相关者知识和经验的积累，所有的相关者将从各自的立场对项目关键变量存在的差异阐述新的观点，尤其是与自身利益息息相关的变量存在差异时，都会积极提出改进项目过程或修正项目目标的意见，这非常有利于纠正项目实施过程中出现的偏差，调整项目组织形式和项目管理方法，帮助企业逐渐修正并形成一套完善的PAP 或PMP。

5.2.3　形成性评价

形成性评价，也称之为过程性评价（Process Evaluation），是相对总结性评价（Summative Evaluation）提出的。总结性评价相当于一幅快照，静态地反映了项目某一时刻、某一角度的状态，只涉及一两个相关者的利益，而且这种快照往往是基于某些定义好的变量，如项目的绩效、可用性以及用户满意度等^[23]，定量分析的成分要大于定性分析，传统的事前投资决策评估、事后的效益评价等都属于总结性评价。

形成性评价则不同，根据Patter^[24]，Finne^[25]和Remenyi^[26]等人的定义，对于形成性评价已经达成了如下共识，即形成性评价是以促进项目的价值最大化为最终目的，在项目进行过程中对项目持续地监控和评价，总结并反馈各利益相关者的意见，最后协商做出决策的动态循环过程。其主要特征包括：①以企业商业目标为价值导向。②充分考虑项目过程中的变化因素。③需要项目各类相关者的积极参与。④评价与决策的持续循环交替，共同推进项目进展。^[27]与其他活动的协同性。

借鉴形成性评价在其他学科如教育过程、医院治疗过程、政府公共服务过程、人力资源开发过程及各类采用原型法开发的项目建设过程等方面的应用⑤ ^[28][29][30]，尽管有很多不同之处，但在形成性评价涉及的内容、研究方法、过程控制的方法等方面还是可以找到一些共性的地方，总结如表5．3所示，可以为项目实施中的过程控制设计提供一定的理论基础。

表5.3　形成性评价的共性分析

具体到EVM的过程控制，如果说变量差异分析是控制过程中对比计划与现状差异的过程，那么形成性评价就是全面考察项目定性因素得出评价结果的过程。在项目实施过程中，需要进行评价的内容是非常多的，既可能是外部事件（新的客户需求），也可能是内部环境的转变（业务优先顺序的重新定义），项目事件（未预期到的项目延期），或转变过程中的某个特定点（活动的始点或终点）等。在任何一次循环阶段上，如下的16个问题对决定后续过程的成功至关重要：

·公司高层是否仍然支持和坚信原来的战略愿景及PAP？

·驱动这个战略愿景及PAP的客观情况与前提假设是否仍然有效？

·用于实现战略愿景及PAP的业务能力是否已经明确定义？

·企业是否已经实现了业务能力的提高？

·整个项目是否已经被划分为易于管理的程序来实现IS的价值？

·管理层是否仍然积极地支持这个项目？

·是否抓住了主要的成功要素或主要的问题，并设法解决？

·是否评价过客观情况和前提条件的改变对项目的影响？

·PAP与PMP是否已经针对改变过的情况进行了有效性验证？

·项目的改变是否已经记录在案并且相应地调整了投资预算？

·反馈流程是否已经被用于管理项目预算和高层的期望？

·是否已经定义了项目的范围、时间和所需要的资源？

·项目所需的关键人员和资源是否已经被持续地投入进来？

·项目组的成员能够清晰地表达出项目要实现的价值吗？

·是否有一个具体的计划来分配并评估人员对项目目标的贡献（即责任管理）？

·员工们会理解并接受最终的项目吗？

这些问题包含了IS项目实施过程中现状、IS项目发生的变化、企业环境的变化等多方面的内容。即使没有在形式上使用形成性评价，企业也应成功地解决上述的每一个问题。假如其中的任何一个问题不能得到确定的回答，那么就应重新回到上一步去直到解决该问题为止。否则，就很可能导致整个项目的失败。

5.2.4　回顾、协商与妥协

实际在上述两个活动中或多或少地存在回顾、协商和妥协等活动，而且这些活动应该已经成功地根据需要调整了部分项目的过程，但在企业实际IS建设过程中，更常见的问题是需求的变更牵扯到复杂的利益关系、寻找不到最佳方案、需要更多的时间、资金甚至新的技术等比较重要的情况，需要高层领导决策但高层领导也为难的情况，在IS项目实施过程中正是因为这些问题导致项目的延期、成本的上升、失败等，非常有必要单独对这些问题提出解决方案。而这一部分所谓的回顾、协商和妥协就是以合理地解决这些相对重要、解决难度较大的问题为目标，为项目的过程控制发挥关键性的决策作用。把它们单独作为一部分来研究，一方面是有利于更深入地探讨过程控制中应该如何在多相关者参与的情况下实现最优决策；另一方面也是强调这些活动的重要性。

回顾是指重新审视项目实施的现状、变量差异分析以及形成性评价的结果，特别是由于项目和环境变化后所产生的新的需求，选择其中争议比较大、涉及项目关键以及有待决策的问题形成一系列的列表，以供接下来的协商与妥协使用，但问题列表的数量不宜太多，每一决策点一般都不会超过5个，毕竟协商与妥协过程是比较漫长的，而且大部分的问题在项目管理、变量差异分析及形成性评价过程都已经被讨论和解决。

每一个问题的解决不仅需要各相关者的群策群力，更需要以统一的标准考核解决方案，平衡各方的利益最后得出协商结果，这样的一个过程实际上与事前的投资评估决策非常类似，但决策时间与可利用资源却远没有后者多，所以其过程更加困难，但第5章所讨论的事前投资决策评估方法仍然可供参考。一些学者也提出了很多协商与妥协的模式，如本书所借鉴的Remenyi的协商与妥协箱，主要是从功能、成本、时间、技术四方面分析由于变化所带来的新的需求，评估实现新需求的必要性、所需要的资源、可能带来的效益等^[31]。协商与妥协理论假设EVM小组的成员是理性的，拥有足够谈判知识能力的，但在实际过程中却并非如此，因此协商与妥协并不能绝对保证企业达到最优的决策，不过相对的质量却已经提高了很多。

由于这些问题往往直接牵扯到相关者的利益关系，在这一过程一般需要在各相关者之间进行多次的协商和妥协，在共同价值观的引导下，就最终的解决方案达成一致的意见，如果无法达成一致的意见，就只能一级一级地往上报告，由上级部门解决，直到问题得到最终的解决。当然这些过程描述起来是非常简单，但在实际过程中却是异常艰难的，需要有一个中立的机构以BP为指导标准，不断地平衡协调。但前期如果已经在企业范围内对项目达成共识，相关者之间也已经通过形成性评价等活动已经互相建立起信任，这些工作将会轻松很多。

5.2.5　过程控制的结果

从图5．4可以看到，在每一次决策点的循环中，由多相关者参与的过程控制会有三个可能的结果，大部分的情况都是根据项目和外部环境的变化以及项目变量差异分析、形成性评价及协商妥协的结果，重新制定项目计划、重新安排项目步骤、重新分配项目资源并重新编制PAP和PMP，以资源的连续投入作为处理现实环境变化的一个方法。

第一个可能的结果是，调整的入口可以是其中的任意一个，但最终都将带动另外一个蓝图的更新。这些更新过的蓝图经EVM小组讨论通过后将以新的文档编号加以保存，然后再开始新一轮的过程控制，如此循环，直到项目结束。

第二个可能的结果是，在项目需求变动非常大或者问题数量非常多的情况下，没有足够的资金、时间或技术可供调配，简单的调整和修正已不能满足需求的变化，需要在原有方案的基础上寻找新的途径或方法。一般来说，企业最普遍的解决方法是在下一个版本的计划中一次性地解决新出现的问题，如果没有下一版本的计划，那么只能在维护过程中一个个地解决。

第三个可能的结果是，经过多方面的考虑，认为项目无法解决企业根本问题的需求，那么只有通过终止项目来把损失降低到最小。终止项目是非常痛苦的，但终止一个错误决策的成本终究要比证明一个错误决策要低很多^[32]。

5.3　IS应用过程中的后评价

IS应用过程后评价的目的主要是为了提高IS应用阶段IS价值的实现程度，IS价值影响因素的分析中也提到要通过良好的IS组织与管理、创新性应用，提高用户的接受度等方法可能进一步加强IS应用阶段的价值实现，不过除此之外，按照Goddard^[33]的观点，IS应用往往会存在这样一些问题。如项目不了了之，缺少持续的改进，缺乏持续的培训，IS不再有效等。结合IS价值管理模型的IS测度与跟踪阶段，EVM提出了以后评价为主的管理体系，尽管后评价本身不能解决这些问题，但后评价可以为IS项目验收和IS维护提供全面准确的信息反馈，更好地辅助IS维护以解决这些问题，提升IS应用阶段的IS价值实现。

5.3.1　后评价的内容框架

后评价在很多文献中也被称之为事后回顾、事后审计等，但正如评价本身与回顾、审计等词的差异，这中间还是有很多的不同之处。后评价根据国际援助委员会的定义，是指对已实施或完成项目的执行过程、效益和影响进行系统、客观的分析、检查和总结，以确定目标是否实现，检验项目是否合理和有效，是否具有持续性，并通过可靠、有用的信息资料，为未来的决策执行提供经验和教训的过程^[34]。后评价比较侧重于确定项目实际执行的效果，对比无项目情况下发生的变化，以确定项目的增量效应，从而总结出经验教训；从功能上看，审计主要着眼于责任，而后评价主要着眼于学习^[35]。

为能更清晰地解释后评价，本书参考美国审计局对IS项目事后跟踪评价的分析^[36]，把IS项目的后评价分为终期评价与跟踪评价两类，这两者有着完全不同的目的和内容，图5．5可以清晰地反映这两者之间的关系。

5.3.2　终期评价

按照前面对终期评价的定义，在这一阶段主要是对项目的前期实施工作进行回顾，参照PAP与PMP用实际的数据对项目结果验证，评价最初决策合理性并发现问题得出主要结论的过程。从EVM的角度来看，终期评价与事前投资决策评估一样，是为了准确、全面地反映项目的实际情况，因此在评价步骤与评价指标体系上有很多雷同之处。但事前评估是对未来可能结果的一种估计，更多的是凭经验、凭直觉，评价者的水平直接影响了最终的评价结果。而终期评价有事实可以佐证，有真实的信息和数据告诉我们项目的最终效果，需要具体测度，需要有明确的计算方法，反映实际的情况，其步骤、内容和方法都与事前投资决策评估有明显的不同。

图5.5　PUE与PCE的差异分析

5.3.2.1　终期评价的步骤

从本书的角度出发，由于EVM已经充分考虑到项目目标、项目背景等情况，而且项目的投资决策评估与过程控制已经为项目事后审计积累了大量结论性的信息，如项目评价标准、项目关键变量的实际情况、收集到的各类数据等，因此终期评价的步骤设计相对就要简单很多。主要是在最新的PAP与PMP的指导下，定义项目的评价框架、收集补充数据，并对所有数据进行分析与比较、总结并确定主要问题、归因分析与反馈四个步骤，最后在这基础上进行全面的总结性评价，得出结论性的评价结果并形成规范的文档存档，如图5．6所示。至此，项目的整个建设过程才算完全结束，后期不断的应用、维护和改进的过程则交付给跟踪评价进行管理。

图5.6　终期评价的步骤

在终期评价过程中，定义评价框架最主要是确定要评价的五大要素，包括对象、方法、标准、时间、评价者的组织，在后面小节中将分别提到。收集补充的资料是指，项目事前及实施过程中收集的资料并不一定能完全符合终期评价的要求，那么缺少的部分就需要通过另外的途径进行收集。与原有的资料一起，达到评价框架的要求，那么接下来就是要对这些数据和资料进行评价和分析，采用一定的方法得到结论，并寻找和确定项目实施中的主要问题。终期评价还有很重要的一点是对归因分析，寻找出现这些问题的原因，或导致这一结果的潜在因素，并把这些原因或分析结果反馈到项目小组中，对项目进行最后的修正。

所有这些工作，最后都将在终期评价报告中反映出来，由于项目终期评价一般与项目验收、结算等直接相关，从内容的定义、方法的选择、文档的格式就要比过程控制中的形成性评价更为正式，更为规范。特别是终期评价的报告，一般都会包括项目背景分析与介绍、项目实施过程介绍、项目目标实现的程度、财务评价、项目应用评价、项目实现过程评价、技术评价等方面的内容，主要取决于终期评价所定义的框架。

5.3.2.2　终期评价的主要评价内容

IS事后审计所包括的主要内容可以作为终期评价内容的参考之一，分别是系统目标实现程度、成本收益分析、系统变更的审计、各类资源的利用率、操作人员的错误日志、运行的连续性审计^[37]。而Willcocks^[38]的理论认为财务评价、技术、应用的程度是必须被考核的，Norris^[39]在文献综述的基础上提出事后跟踪评价的主要内容包括：投资的生产率、项目完成的时间、成本、质量、没有被完成的任务、增加的收入、减少的风险、满意度这八个方面。姚光业^[40]认为终期评价在项目完成后对项目实施的全过程进行检查，不仅要评价项目的目标是否实现，而且对目标本身、施工建设与管理、生产经营等也要做出评价。宣国良^[41]的观点是终期评价要根据项目的进程，审核在项目准备和评估文件中所确定的目标、确定在项目实施各阶段实际完成的情况，找出其中的变化，通过确定实际与预期的对比，分析项目成败的原因这几部分内容。

总结这些研究，再参考事前评估所采用的标准，本书认为终期评价至少需要包括以下五个方面，其中目标实现的程度、财务评价、技术评价与事前的投资决策评估差异不大，这里不再重复，主要是对项目应用评价和实施过程的评价这两部分进行说明。

（1）目标实现的程度，度量项目目标被实现的概率以及所达到的程度，是判断项目成败的主要依据。

（2）在某一时间点上的项目财务评价，主要是对项目成本和项目效益的全面计算，衡量项目的经济性。

（3）项目应用评价，是考核项目实施结束后，在企业所发挥效果的程度，包括项目被利用的程度，如在系统中处理的业务占该项部分业务的比率；项目最终用户的满意度调查，从系统的质量、成本、时间、服务四方面考核员工对系统的满意度；最后还包括对决策层的满意度调查，主要从战略性、可持续性等方面进行考核。

（4）项目实施过程评价，是对项目前期工作的一个总结，从管理上分析项目实施过程中各类活动的准确性，包括项目管理正规化程度，如文档化管理程度、培训的效果评价、采用项目管理工具的数量和水平；项目的控制水平，如项目时间、成本、范围、风险等的控制水平；企业信息化建设能力的提高程度，如IT人员实施能力的提高程度、员工对信息化理解的加深。另外，项目人员的满意度评价特别是EVM项目人员的满意度评价也是重要指标之一。

（5）技术评价，主要是从系统本身所具有的可扩展性、稳定性等角度出发。

5.3.2.3　终期评价结果的分析与反馈

对应这些评价标准收集相关信息，得出终期评价结果后，接下来的工作就是对这些数据进行归类分析，寻找出现这一现象的原因，得出有意义的结论。一般来说，终期评价结果的分析内容主要有如下几个方面：

（1）从投入产出的角度看企业IS项目的建设效果，得出直观的关于项目成功与否的结论。

（2）通过与企业其他时间段的对比、与企业其他项目的对比、与其他企业的项目对比，得出相对成功的评价结论。

（3）与其他人员沟通，总结项目管理过程中好的经验和存在的问题。为未来的信息化项目建设积累知识，提高建设能力，改善企业的信息化状况。

（4）分析问题产生的原因，提出并跟踪改进的机会和结果。

为了提高终期评价结果的利用价值，更为了通过评价结果影响相关人员的决策，进而影响IS应用过程和未来IS建设过程的改进，终期评价的结果需要通过一定的反馈机制和扩散机制在相关人员和组织内进行宣传，把终期评价的信息，包括问题、结论、建议和经验教训及时扩散，直接为各利益主体服务。反馈的途径主要包括摘要与总结、年度报告、文献目录、综合报告、自动数据库系统和研讨会、新闻发布会、专业会议以及内参材料等形式^[42]。

5.3.3　跟踪评价

企业的IS项目很少能够在几年内不发生任何变化，一般都要随着需求的变化改变原有模式或增加新的功能，那么要确保和增加IS应用过程中的价值，就需要跟踪评价企业IS应用的具体情况，及时发现并解决企业的新需求和IS应用中产生的问题。EVM认识到IS应用在IS价值实现过程中的重要性，并针对IS应用过程的具体特点，提出了跟踪评价相对应的主要内容，帮助企业更好地管理和控制IS应用的过程。持续的跟踪评价可以更深入地认识IS项目的真实价值和潜在持续能力，更好地分析讨论IS应用中出现的问题以及企业所产生的新需求，充分考虑新需求与原项目之间资源的优化匹配，加强IS应用过程中决策的准确性，提高未来信息化建设的效率和效益。但跟踪评价并非一个成熟的研究领域，基本还没有出现跟踪评价的系统研究，要解决上述问题还需要很长一段时间。

EVM把跟踪评价定义为在项目运行一段时期后对已实施项目的具体应用过程进行全面综合分析，一方面考虑到IS价值的长期性，跟踪评价有助于分析项目实施的实际经济效果和影响力，相当于终期评价的延续，以论证项目的持续能力；另一方面在于评价企业具体的IS应用过程，发现存在的问题和由于企业变化所产生的新需求，比较类似于形成性评价，只是评价的对象是IS应用而不是IS实施，以更好地配合IS的维护过程，因此跟踪评价是终期评价与形成性评价在IS应用阶段的继续，除了在评价的内容上有所差异外，所采用的评价方法是比较类似的。而且前期的形成性评价与终期评价已经为跟踪评价积累了大量的经验和数据，而且从跟踪评价的目标和过程来看，更多是通过辅助决策达到改善IS应用的过程，是一个长期的评价→改善→评价的过程，对于阶段性结果的要求并不像终期评价那么显著，相对来说工作难度和工作量都有所减轻。

尽管跟踪评价相对不那么强调结果，但对信息进行系统的整理与分析，得出最终的评价仍然是必要的，它是评价价值的最终体现，是下一步改进的依据，也是评价结果沟通和反馈的需要，因此在跟踪评价过程中，与形成性评价类似的，每一个阶段点（根据系统运行的状况来定，一般在半年左右）的循环结束后，都需要形成或修正一份跟踪评价文档（在形成性评价中是PAP 与PMP），该文档主要的内容，如表5．4所示。

表5.4　跟踪评价文档的主要内容＊

注：＊未经注明，均表示在某一循环间隔内的时期。

5.4　本章小结

IS的投资决策与计划过程，从项目目标的定义开始，到决策标准的制定和决策结果的获得，最后基于决策分析的事前计划，不仅为项目管理和人员绩效考评提供依据，对确保项目的顺利实施、促使项目效益最大化等的意义也是非常显著的。

IS的投资决策与计划过程、分析IS实施阶段的特点，控制论中的反馈方法可以有效地解决这一问题，正反馈主要是由形成性评价来实现。以形成性评价为基础的过程控制是项目价值实现过程中最为关键的一个环节，可以很好地解决IS实施过程中所面临的主要问题，但作为评价本身还不足以形成完整的控制模式，需要把形成性评价与项目监控、讨论与协商等活动相结合提出了项目过程控制的模式。

IS的投资决策与计划过程、分析IS实施阶段、EVM中的后评价包括终期评价和跟踪评价两个部分，其中终期评价主要是针对项目本身的一种检验和确认，与项目的事前评估所提出的种种估计或计划相对应的，从项目中抽取实际的数据重新审视项目的整个建设过程。而项目的跟踪评价则是指以IS应用为主要评价对象，不仅要从应用的角度真实而准确地反映IS项目为企业带来的商业价值，更重要的是在环境与企业需求不断变化的情况下，通过对IS应用的持续观察提出改进项目应用价值的实现过程。

【注释】

[1]Touche Ross，IAM．Office Automation：The barriers and Opportunities［M］．London：Touche Ross，1999．

[2]Hochstrasser，B．and Griffiths，C．Controlling IT Investments：Strategy and management ［M］．London：Chapman ＆Hall，1991．

[3]IS方案设计与IS日常的实施一样都是项目的主流活动，不属于辅助性的EVM所要解决的问题，因此本文不做具体讨论。

[4]Dennis G．Severance，Jacqu．Making I/T work：an executive’s guide to implementing information technology systems［M］．San Francisco：Jossey－Bass，2002，9．

[5]与ABR理论中的商业蓝图（BP）有类似之处，但比BP更有项目的针对性。

[6]James J．Jiang，Gary Klein．Project selection criteria by strategic orientation．Information ＆Management［J］，1999，（36）∶p63－75．

[7]L．Willcocks，et al．Evaluating the feasibility of information systems investments：Recent UK evidence and new approaches，In Information Management：The Evaluation of Information systems investments，Eds（Willcocks），Champman ＆Hall，1994．

[8]Beat Hochstrasser，Justifying IT investments，In Information Management：The Evaluation of Information systems investments，Eds（Willcocks），Champman ＆Hall，1994．

[9]Parker，M，Benson，R．and Trainor，E．H．Information Economics：Linking Business Performance［M］．London：Prentice－Hall，1988∶38－54．

[10]Jan L Andresen，the framework for selecting an IT evaluation method，Danmarks Teknisk University Phd Thesis，2001，9．

[11]Iresl，H．G．P，et al，IT investment evaluation：Aligning supply and demand，them issue o IT investment evaluation，Informatie，1992，716－726．

[12]Beat Hochstrasser．Justifying IT Investment［M］，In Leslie Willcocks（Eds．）．Informatioin Management：The evaluation of information systems．London：Chapman ＆Hall，1994∶151－170．

[13]Murugan Anandarajan．Using an Activity－based approach to determine the cost of Client/Server Systems［M］，In Mo Adam Mahmood，Edward J．Szewczak（Eds．）．Measuring Information Technology Investment Payoff：Contemporary Approaches．Hershy：Idea Group Publishing，1998∶282－300．

[14]Brian Zrimsek，Pat Phelan，Estimating the Time and Cost of ERP and ERP II Projects：A10－Step Process，Gartner Group，26September 2001．

[15]罗伯特·格拉斯著，陈河南译：《软件开发的滑铁卢，重大失控项目的经验与教训》，电子工业出版社，2002年版。

[16]D．Remenyi，Stop IT project failures through risk management，techtrans limited，1999．他把IT风险从纵向的业务、开发、技术和横向的知识、基础、时间选择分为九类。

[17]凯西·施瓦尔贝著，王金玉、时郴译：《IT项目管理》，机械工业出版社，2002年版。

[18]Chalfin ＆Natalie：《项目失败的四个原因》，《项目管理网络》，1998年6月，第7页。

[19]罗伯特·格拉斯著，陈河南译：《软件开发的滑铁卢，重大失控项目的经验与教训》，电子工业出版社，2002年版。

[20]H．詹姆斯·哈林顿等著，唐宁玉等译：《项目变革管理》，机械工业出版社，2001年版。

[22]Wideman，et al，Project ＆Program risk management：A guide to managing project risks and opportunities，project management institute，1998．

[23]Remenyi，D．，et al．The effective measurement and management of IT costs and benefits ［M］．Boston：Butterworth－Heinemann，2000．

[24]Patter，M Q．Utilization Focused Evaluation［M］，London：Sage Publications Inc，Beverley Hills，1986．

[25]Finne，H．，Levin，M．etc．Trailing research：a model for useful program evaluation ［J］．evaluation．1995，1（1）∶23－36．

[26]Dan Remenyi，Micheal Sherwood－Smith．Achieving Maximum Value from IS：a Process Approach［M］，New York：John Wiley ＆Sons Ltd，1997．

[27]Beyer BK，How to conduct a formative evaluation［M］，Alexandria，VA：Association for Supervision and Curriculum Development，1995．

[28]Doris，Proving the effectiveness of community programs in Jeopardy：the role of formative evaluation，Quality Management in Healthy Care［J］，Summer，2001．

[29]Kenneth G．Brown，Megan W．Gerhardt．Formative Evaluation：an Integrative Practice Model and Case Study［J］．Personal Psychology，2002，（55）∶951－983．

[30]Weston C，McAlpine L，etc．A model for understanding formative evaluation in instructional design［J］．Educational Technology Research and Development．1995，（43）∶29－48．

[31]Remenyi，D．，et al．The effective measurement and management of IT costs and benefits ［M］．Boston：Butterworth－Heinemann，2000．

[32]约翰·索普著，陈劲译：《信息悖论：信息技术的商业价值》，东北财经大学出版社，1999年版。

[33]Walter E．Goddard，The ABCs of investing in MRP II，Modern Materials Handling，Jan 1996．Vol．51，Iss．1；p34．

[34]www．irc．org．

[35]邵颖红等：《论在中国建立跟踪评价体系》，《石油化工技术经济》，1998年第1期，第43～46页。

[36]TAM2000－post implementation review，2001，1，www．gao．com

[37]孙强主编：《IS审计——安全、风险管理与控制》，机械工业出版社，2003年版。

[38]Willcocks L．，Lester S．The evaluation and management of information systems investments：From feasibility to routine operations［M］，In Leslie Willcocks（Eds．）．Investing in Information Systems：Evaluation and Management．London：Chapman ＆Hall，1996∶15－36．

[39]G．Norris，Post－investment appraisal，In investing in information systems：Evalaution and Management，1996，Chapman ＆Hall，p193－223．

[40]姚光业：《关于开展投资项目跟踪评价的若干问题》，《北京行政管理学院学报》，1999年第2期，第35～38页。

[41]宣国良、牛一点：《投资项目跟踪评价》，《上海交通大学学报》，1996年第30期，第95～100页。

[42]黄渝祥：《跟踪评价的内涵及其在项目管理中的地位》，《石油化工技术经济》，1997年第1期，第55～61页。