信息系统评价主体及评价内容，信息系统评价阶段及方法

8.3.4　信息系统评价

8.3.4.1　信息系统评价概述

信息系统评价是对一个系统的性能进行全面估计、检查、测试、分析和评审，并用实际指标与计划指标进行比较，以确定系统目标的实现程度，同时对系统建成后产生的效益进行全面的评估。

由于信息系统开发是一种资金、技术密集型工程，大型系统更是需要投入大量的人力、物力和财力，因此，信息系统在开发之前，首先就需要进行评价。由于事先评价不可能确定性地进行判断，所以可以说是一种预测性评价，通常与可行性研究结合在一起。可行性研究是对即将开发的新系统项目方案进行全面分析、论证评估，对未来将要产生的效益进行预测以及对系统所处环境制约因素等方面的了解和掌握，因此是必不可少的第一步。

在系统开发过程中，由于外部环境因素可能会有所变化，原先制定好的计划很可能要做相应的调整，这个阶段的评价工作能使得问题的发现比较及时，保证计划与变化同步，在系统开发过程中少走弯路，以最小代价取得最大成果。

系统开发结束后，评价工作就是针对整个系统而言的，系统功能是否满足用户的需求、投资收益比是否合理等评价工作都要在这个阶段完成，这也是系统维护、更新或进一步推广的依据，因此该阶段的评价是一种全面的、综合的测试、分析和评估，也是在很多不确定因素基础上的评价，难度非常大^[15]。

信息系统评价不是一个单纯的阶段性工作，而是贯穿于系统建设的整个生命周期。信息系统评价的实践意义主要归为以下4个方面:

①判断功能:主要是指企业资源的合理分配，项目成功与否，建设效率和效果。

②控制功能:评价本身并不是目的，而是企业通过评价把项目的期望值传递给项目相关人员。

③学习功能:掌握类似项目建设的知识和提高解决问题的能力，提高系统评估和系统建设能力。

④理解功能:员工掌握项目如何支持企业的管理和发展，提高信息系统的使用效率^[16]。

8.3.4.2　信息系统评价主体及评价内容

信息系统是一个复杂的社会技术系统。信息系统在组织内的实施，不仅会涉及组织中的部门和员工，还会对企业外部的顾客、供应商甚至整个社会产生影响，产生所谓的扩散效益。因此，对信息系统评价的主体有多个，主要包括四类:系统用户、信息系统项目团队、高层管理人员和企业所有者、外部实体。

①系统用户。这是系统使用和维护的主体。系统用户可以分为主要用户和次要用户。主要用户是基于系统输出进行决策的群体，如组织中的管理人员;次要用户是为系统提供和维护数据的群体，但他们不直接从系统输出中获益，如数据录入者、控制人员等。从系统用户的角度来看，信息系统的价值很大程度上取决于信息系统能够帮助用户更有效、更高质量地完成工作的程度。不被用户所支持的信息系统，很明显将不能给组织提供价值。因此，系统用户主要评价系统及其服务质量。主要评价指标包括:

a.提供的信息产品的质量:主要评价信息系统的内容(如及时性、准确性、相关性)和提供的信息的方式(如格式、模式、界面友好性等);

b.系统人员和服务的质量:主要评价信息服务部门提供的信息服务的综合质量(如培训、文档化、开发流程和系统维护等)。

②信息系统项目团队。团队主要负责和支持系统的组织、实施和控制工作。项目经理为团队的领导者，团队成员包括系统分析师、程序员以及参与系统开发和实施的用户。因此，系统项目团队主要关注的是信息系统的技术特性，以及系统是否按照进度、预算和预期目标进行。主要评价指标包括:

a.系统建设评价指标:主要对信息系统的实施和管理过程进行评价，如用户需求满足程度、系统开发效率、资源利用效率、系统建设规范程度、系统整体先进程度等;

b.系统性能评价指标:主要评价系统可靠性、系统效率、系统适应性、系统可移植性、系统可维护性、系统可扩充性和系统的安全保密性等。

③高层管理人员和企业所有者。高层管理人员和企业所有者往往是企业信息系统项目的发起人和倡导者，主要负责信息系统实施的发起、计划、组织、协调和支持工作。他们的支持是企业信息系统实施成功的关键要素。他们支持信息系统项目实施的根本目的在于借助系统的实施来实现企业战略目标，并在未来为企业创造更大的竞争优势，如提高组织形象，吸引更多有价值的客户等。因此，高层管理者和企业所有者在评价信息系统成功与否时，主要考虑系统给企业带来的有形和无形利益，它们主要包括:

a)运作利益:节约成本，缩短周转周期，提高生产率，提高客户服务质量等;

b)管理利益:优化资源管理，优化决策制定，优化绩效控制等;

c)战略利益:支持业务创新，支持外部协作，支持全球性扩张，支持电子商务等;

d)IT基础利益:增加业务弹性，节约IT成本，提高IT基础能力等;

e)组织利益:支持组织变革，促进组织学习和提高员工技巧，形成共同愿景等。

④外部实体。企业信息系统的实施，还会影响到企业和客户、供应商等的合作关系。因此，客户、供应商等外部实体也将作为评价主体之一对信息系统的实施进行评价。此外，外部实体还包括第三方评价机构、参与项目的咨询机构等。客户、供应商等外部实体主要关心的问题可分为四类:时间、质量、性能和服务、成本。因此，外部实体对信息系统的评价也主要在于关于系统如何在这四个方面为他们带来更大的价值和满意感。相关的评价指标包括:

a)系统的实施是否缩短响应时间;

b)系统的实施是否提高产品和服务质量;

c)系统的实施是否能创造更大的价值;

d)系统的实施是否降低产品或服务的成本^[17]。

8.3.4.3　信息系统评价阶段

信息系统实施并不是简单地安装一个软件或采用一项新的技术，而是实施一个商业项目。信息系统的实施过程开始于对系统的计划阶段。当计划完成后，项目团队开始组建，并经历一系列具体的项目阶段。当系统上线并且运行后，还需要经历系统的稳定和提升阶段，并进行系统实施后的评价。基于此，信息系统的实施可分为计划、项目和提升三个阶段，信息系统的评价由此对应可分为事前评价、事中评价和事后评价三个阶段。

①计划阶段(事前评价):制定系统实施的指导原则和相关决策的过程。主要活动包括信息系统的选型，成立指导委员会，项目实施范围和实施方法的确定，项目团队经理的任命和资源分配等。

在计划阶段，因为项目还未正式开始，对信息系统的评价可以说是一种预测性评价。因此，计划阶段的主要评价内容为系统实施前期准备的充分程度。除了技术、资金等方面的准备外，还必须做好管理、意识的准备。通常将信息系统的事前评价和项目的可行性研究结合在一起。评价的主要内容包括:管理可行性、经济可行性、技术可行性和操作可行性。

②项目阶段(事中评价):对信息系统进行配置，并在整个组织内将它铺开的过程，即主要是从信息系统设置、安装到系统上线的整个过程。主要活动包括软件配置，系统集成，测试，数据转换，培训和实施等。

在项目阶段，系统评价的目的是保证系统实施的进度和质量，使系统实施朝着既定的目标发展。由于项目阶段集中了信息系统实施的主要开支，而取得的利益却很少，所以对进度和费用进行正确的控制便成为后继项目阶段顺利开展的前提。该阶段的主要评价内容为系统的进度、质量和成本。

③提升阶段(事后评价):系统从上线到正常运行，最终到稳定运行的过程。在这一阶段，企业开始从信息系统中获得商业利益，并计划实施新的技术。主要活动包括系统修补，升级IT基础设施，修改业务实践和业务流程，系统功能扩展和变革等。在提升阶段，旧系统被取代或更好地整合，新系统开始稳定运行，用户对新系统的操作逐渐熟练，管理者利用系统提供的数据进行决策，并对业务流程和软件配置进行附加的变革。

在提升阶段，信息系统评价的重点在于系统上线后关键绩效指标的波动和企业通过信息系统获得了哪些商业利益。主要的评价指标有:关键业务绩效达到正常或与其水平所需要的时间;取得的商业利益，如降低IT运作成本、节约库存保管费用后的利益等;系统稳定运行后，实施新版本、新技术、新变革的容易性^[18]。

8.3.4.4　信息系统评价方法

目前，对信息系统的评价方法众多，大致可以分为主观评价法和客观评价法两大类。

主观评价法是指以评价者或决策者的主观判断为基础的评价方法，应用较多的是指标权重专家评分法，通常以满意度、分数、序数和评语等作为评价的标准。主观评价法以定性分析为主，结合部分定量计算，不需要大量的指标和数学公式就可以对信息系统项目得出评价结果。

主观评价法的特点是操作简单，不需要大量的指标和数学公式就可以对信息系统项目得出评价结果，专家的丰富经验，对信息技术和行业背景的精通，很多无法定量分析的指标、无法分解的指标，可以直观评价代替。当专家对该项目非常熟悉时，评价结果比较准确。该方法的缺点是评价缺乏客观标准，具有很强的个人主观色彩，评价主观因素多，评价专家易被政策或其他因素左右意见，导致评价反映不了企业信息系统应用的实际状况。专家水平差异、个体差异和评价标准理解差异，导致评价结果可比性差，尤其当项目过于复杂、专家们的打分差异较大时，评价结果可能会受到质疑。

客观评价法是根据一定的规则，以定量计算分析为主，用一系列量化的指标客观反映评价对象的性质和状态，通过数学模型的运算，得到最终评价结果的评价方法。客观评价法通常不反映评价者或决策者的主观意愿，主要有费用效益分析、数据包络分析等。该方法的优点是评价标准一致，评价结果客观，具有较强的可比性和说服力。该方法的缺点是操作复杂，需要进行大量计算，并且当某些指标难以量化时，该方法就显得无能为力。由于信息系统项目应用过程中影响了企业生产经营活动的各个方面，对企业可以产生大量的直接利益和间接利益，有形利益和无形利益，并具有明显的滞后效应，因此如何选取适合数量的可量化的评价指标来反映信息系统项目对企业的影响，一直是信息系统项目客观评价法的重点和难点^[19]。

值得指出的是，近几年在信息系统评价的研究和实践中出现了一些新的面貌，即除了注重信息系统本身性能的评价外，也开始对系统的效用评价予以了越来越多的关注。传统上，对于信息系统效用的评价往往建立在信息系统本身的特性之上，如界面友好程度、系统的功能、系统的可访问性、文档结构、成本与维护、响应时间等。实际上，这种评价标准背后所隐含的是，从信息系统开发者的立场上，将信息系统作为一种商品来看待时所产生的衡量标准。但是，对大多数企业而言，信息系统不仅仅是一种商品，更多的应当被看做是企业的一种投入品。当把信息系统作为投入品的时候，就应当用它创造的产出结果来评价。那么信息系统的效用就不仅取决于其自身的特性，而更多地取决于其产出状况。

信息系统效用指的是信息系统所具有的、可以通过用户的使用，使用户绩效发生改变的能力，即是信息系统“实现的”效用。与信息系统本身所体现的价值不同，信息系统效用是通过用户的绩效改变所间接反映出来的，而前者则是直接的，不依赖于用户的使用。从信息系统开发者的角度看，他们最为关注的是系统本身的功能特性，因为功能特性的高低，决定了信息系统通过交易所获得的收益的大小。而从使用信息系统的企业、组织、个人来看，更应关注的是信息系统的使用者效用^[20]。

对于信息系统使用效用的评价，需要从用户的角度来进行。在具体的研究和实践中，用模型来测度信息系统的成功度，以及影响系统应用的因素，成为一种较为常用的手段和方法，例如TAM(Technology Acceptance Model)技术接受模型和TTF(Task-Technology Fit)。

作为一种测评和预测用户对于信息技术和信息系统接受程度的模型，TAM模型可以帮助信息系统技术人员更好地了解系统的应用和使用情况。该模型提出了两个主要的决定因素:①感知的有用性(perceived usefulness)，反映一个人认为使用一个具体的系统对他工作业绩提高的程度;②感知的易用性(perceived ease of use)，反映一个人认为容易使用一个具体的系统的程度。TAM认为，要让用户愿意使用信息系统，必须让用户认知到信息系统能够给他带来好处，而且这些好处不需用户花费太多精力和时间就可获得。

TTF模型是在TAM中加入考虑任务对使用的影响等因素而扩展形成的。TTF认为信息系统的使用绩效根源于任务与技术的匹配，即某项技术所具有的特征和所提供的支持是否恰好适合于某项任务的要求。TTF的基本模型有五个关键因子，“任务特征”、“技术特征”以及“个体特征”共同影响第四个因子，即任务技术的匹配度，其接下来影响产出变量因子(或绩效，或利用率)。TTF的研究在组织层面上，是考虑匹配与效用或适应性的相关;在个人层面上，则发现“系统/工作匹配”可以用来很好地预测信息系统的使用状况^[21]。

这些方法都是典型的用户评价方法。在此基础上，用户使用信息系统的行为与体验模型也被构建和应用，力求从更多样、更深层次的角度来测评信息系统的应用效果。