产品评价模型

本节首先探讨评价研究的概念界定，然后通过与一般的心理与教育科学研究的对比，说明评价研究的特点，最后讨论评价研究的具体类型。

一、评价研究的界定

评价研究在心理与教育领域的开展可以追溯到20世纪30年代，自那时起，许多研究者都从各自的理论框架与研究视角出发，对评价研究进行了不同角度的探讨，并对其界定提出了自己的看法。综合各家的众多定义，评价研究（或评鉴研究）（evaluation research）的界定大体可分为以下四种主要观点：

1.测量观　这种观点认为，评价研究是一种测量定向的研究活动，即通过测量来评价对象自身价值的过程。如根据学生在标准化测验中的得分来判断心理与教育方案或研究成果的使用价值。

2.专家评定观　这种观点认为，评价研究是一种具有较高专业水准的评价活动，即应由有关专家对方案或产品作出价值判断，譬如邀请有关专家来鉴定教育软件、审定教材、评议课堂教学等，最后得出评价结论。

3.比较观　比较观主张，评价研究是将方案或产品的使用结果与预定目标进行对比，依照符合程度来评判其价值的过程。这类研究者首先对评价目标下操作定义，然后采用各种测查方法，获取方案或产品的使用信息，继而与预定目标进行比较。

4，决策观　在决策观看来，评价研究是在收集各种重要信息的基础上判定方案或产品的价值，为人们的有效决策提供服务的过程。这类评价者一般是先广泛收集各类信息，然后详细提出一种或多种方案的优缺点，继而与决策者紧密合作，以便作出决策或选出富有价值的方案。

上述各种定义，虽然侧重点不同，但从中我们可看出，它们关注的焦点是评判一项已经完成的心理与教育科学研究成果的价值如何，哪些方面有待改进及达到目标的程度等等。也就是说，评价研究就是按照一定的标准，运用各种研究方法，收集有关资料，对业已完成的有关心理与教育科学研究成果（如课程、教法、教育软件等）的价值进行科学的评判，其目的在于确定目标的实现情况、了解已有工作存在的不足、为有关决策提供参考。

评价研究适用于以应用为目的、对有关心理与教育科学研究成果进行评估的有关课题。评价研究的意义在于，它能够提供大量科学的评估信息，使人们能够及时、确切地了解到有关方案或产品的价值。

二、评价研究的特点

评价研究与我们通常所提及的一般的心理与教育科学研究存在许多明显的区别。为更好地说明评价研究的特点，下面我们从研究目的、研究者、研究对象、研究结果及评价标准五个方面，将评价研究与一般的心理与教育科学研究作一对比。

1.从研究目的的角度看　一般研究主要是一种探求普遍性规律的过程，而评价研究则侧重说明某种特殊产品的价值。换言之，前者旨在揭示变量之间的关系，而后者则旨在按照一种或多种价值尺度来描述某一特殊事件及其背景。

2.从研究者的动机角度看　一般研究是通过提出某种创新性结论来满足研究者的求知欲，受探索真理的动机所驱动；而评价研究则是通过评判事物的价值来解决某一实际问题，受关注现实的动机所驱动。

3.从研究对象特征与课题来源角度看　一般研究旨在发现有关研究对象的某种科学“知识”，并且研究对象本身具有较高水平的跨时间、跨地域的普遍性；而评价研究则意在评判研究对象的“价值”，且研究对象往往不具有较大的跨时间、跨地域的普遍性。如一项以某个英语词汇学习软件为对象的评价研究，在时间、内容和地域上都不具有普遍性。

4.从研究结果的角度看　一般研究的结果重视外部推广性，而且具有较高的可重复性和可验证性；而评价研究则并不关注外部推广性，往往适用于某一特定的方案或产品，并且由于研究背景的多变性和操作的复杂性，评价研究常常难以重复或验证。

5.从评价标准的角度看　一般研究的评价标准大体上有两个方面，即通常所说的内部效度和外部效度。而评价研究的评价标准则有如下五个方面：（1）准确性，即获取的信息是否准确、如实地反映了客观现实；（2）可信度，即所获信息的可信程度如何；（3）功用性，即研究结果在实际中的应用程度如何；（4）可行性，即研究是否现实可行、费用大小及具体操作的难度等等；（5）伦理性，即研究是否合乎伦理与法律规范，能否保护有关人员的权利等。

三、评价研究的类型

从不同的角度或侧面可以将评价研究划分为不同的类型。从评价的时间维度，可划分为形成性评价和终结性评价；从评价者来源的维度，可划分为内在评价与外在评价；从研究方法的维度，可划分为定性评价与定量评价。

（一）形成性评价和终结性评价

斯库温（Scriven，1967）首次将评价研究划分为形成性评价和终结性评价。形成性评价（或形成性评量）（formative evaluation）实施于方案或产品的形成过程之中，旨在为研究者改进方案或产品提供有效的评价性信息。譬如，在某一教程的形成过程中，形成性评价可能大致包括：请有关专家审核内容、进行小样本被试的试用或在若干学校进行现场教学考察等。每一步的评价结果将同步反馈给教程开发者，以便及时修订。终结性评价（或总结性评量）（summative evaluation）则实施于方案或产品成形之后，目的在于对有关方案或产品的价值作出评估。如在某一教育软件完成之后，评价者将对软件内容、性能、效果及适用对象等进行评估，并向广大教育实践单位提供结果。

当然，在实际的心理与教育科学研究中，上述两种评价绝非截然对立，而只是侧重点不同。从两者在一项方案形成过程中的关系来看，在方案或产品成形的初期，形成性评价的作用大于终结性评价。随着方案成形过程的发展，前者的作用渐降，后者的作用渐升。但在方案成形的后期，形成性评价与终结性评价的划分取决于方案或产品开发者的需要。具体而言，如果开发者欲作进一步改进，则评价者适时提供的某些评价性信息便是形成性评价，但若开发者已无法改进，这时的评价则是终结性评价。

（二）内部评价与外部评价

从方案（产品）评价者的来源看，若评价者是与方案（产品）开发密切相关的人员，则将该研究称为内部评价（internal evaluation）；若评价者是与开发无关的人士，则将这种研究称为外部评价external evaluation）。

内部评价和外部评价有不同的适用条件。当经济条件不宽裕，因时间紧迫来不及或无力聘请其他专家时，多用内部评价。此外，由于内部评价者熟悉方案（产品）开发的起因、程序及运作过程，所以形成性评价更适合由内部评价来承担。当经济条件许可，时间也较宽裕，且内部人员不能胜任时，一般进行外部评价。

内部和外部评价都有各自的优缺点。内部评价的优点在于评价者本人更了解方案（产品）的开发过程，更熟悉某些细节信息；评价结果的反馈更直接、快捷；所需费用较小。但不足之处表现为，评价易受评价者自身偏见的影响；评价者容易囿于某些自己熟谙的细节信息，忽略关键性信息。

外部评价的优点在于方案（产品）的成败与评价者自身并无直接关系，评价者更可能保持公正无私的评价立场，特别是当方案（产品）具有争议性时，这一特点尤显重要；外部评价常带来新的观点或丰富的经验，易于发现内部评价熟视无睹的问题。但不足之处在于外部评价的质量水平在短期内无法论证；在评价初期，外部评价对方案（产品）不够熟悉，因而可能延长评价周期；而且信息反馈不如内部评价那么及时和直接；外部评价的费用支出也较大。

由于内部评价与外部评价各有自己的优点与不足，因此，在心理与教育科学研究工作中，应努力将两者很好地结合起来，使外部评价与内部评价通力配合，即在外部评价的咨询或指导下，由内部评价广泛收集所需的细节与背景信息，这样既开拓了内部评价者的视野，丰富了其评价经验，同时又可促进评价结果的公平性与可信度。

（三）定性评价与定量评价

研究者依据所采用的主要研究方法，将评价研究划分为定性评价和定量评价。

定性评价（qualitative evaluation）是运用定性研究的方法来进行心理与教育评价。该评价通常在诸如学校、社区等自然情境下进行，主张研究者采用多重收集资料的方法，尤其是运用参与观察和访谈法，强调对评价对象进行深入细致的描述，重视资料的真实性、丰富性和深刻性。此外，定性评价更强调评价操作的过程而非结果，在资料分析时多采用归纳法。

定量评价（quantitative evaluation）是运用定量研究的方法开展心理或教育方面的评价活动。该评价主张建立和验证某种假设，注重实验设计和统计分析方法的运用，强调测量的标准化、精确化和可靠性，侧重于收集适合统计检验的数据。

定量评价与定性评价并非互不相容，而是同一连续体上的两端，共同在评价研究中发挥着相得益彰的作用，定性评价能够挖掘出定量评价难以发现的有价值的信息，而定量评价则能提供简约化的结论及可供比较的证据。例如，在一项评价帮助孕妇戒毒方案的研究中，评价者把被试分成实验组和控制组。结果显示，虽然方案发挥了一定作用，但疗效远低于预期目标。为了进一步探究原因，评价研究者在深入访谈中发现，医务人员在咨询时忽略了某些方面，因而导致干预对象方案的接受程度下降，影响了方案的效用。不难发现，若仅仅采用定量研究方法来收集数据，则上述访谈中的有价值信息将无从获取，研究者将难以客观地解释研究结果，得出符合实际的结论。这一评价案例说明，在实际的心理与教育科学研究中，定量评价与定性评价相结合是十分必要的。