首页 理论教育 测评三角设计

测评三角设计

时间:2022-03-29 理论教育 版权反馈
【摘要】:任何一个国际大规模数学测评,都是一个系统。梅斯雷弗等人不断思考测评设计,同时在其参与的NRC研究工作中,将上述思考及框架构建加以应用和再思考,形成了测评三角。梅斯雷弗作为测评基础委员会的成员主持了测评框架设计工作,测评三角就此形成。NRC接受了梅斯雷弗等人对于测评本质的认识,并指出,一个教育测评往往需要具有多种目的,在不同的情境下使用。[24]测评三角中的三个角代表测评系统所需要的三个主要支柱或要素。
测评三角设计_国际视野下大规模数学测评研究

任何一个国际大规模数学测评,都是一个系统。系统不仅仅是一些事物的简单集合,而是由一组相互连接的要素构成的能够实现某个目标的整体。[20]对一个系统来说,目标、要素和内在是该系统三个必不可少的组成部分,它们之间相互联系,各司其职。

鉴于测评是对基于证据的推断过程的认识,梅斯雷弗等人在概念性测评框架中,强调相关证据推断链构成的基本要素及内在的关系,体现出对整个测评系统的整体性思考。梅斯雷弗等人不断思考测评设计,同时在其参与的NRC研究工作中,将上述思考及框架构建加以应用和再思考,形成了测评三角。

20世纪90年代,NRC指出,“近年来,有关测评的观念发生了重要的变化。在新的观念中,测评和学习是同一枚硬币的两面。”[21]NRC提出“为了学习的测评”理念的同时,深入研究了现代认知、测量理论及模型的发展,对教育测评面临的问题进行了梳理。在此基础上,1998年在美国国家科学基金(National Science Foundation,简称NSF)的资助下成立了测评委员会,云集了各个领域的专家,涉及认知发展心理学神经网络、测量、学习技术、学科教育及教育政策等与测评相关的领域,共同研究测评及其实践。梅斯雷弗作为测评基础委员会的成员主持了测评框架设计工作,测评三角就此形成。2001年,NRC发表的《知道学生知道了什么》(Know What Students Know)研究报告,将上述研究进行了汇总和归纳,为以后的教育测评实践起到很好的指导作用。

NRC接受了梅斯雷弗等人对于测评本质的认识,并指出,一个教育测评往往需要具有多种目的,在不同的情境下使用。它们看上去不同,但是具有共同的特征或本质,就是测评往往是基于证据的推断过程。[22]教育测评用以判断或确定学生的学习达到何种程度,是提升教育的有机组成部分,它向学生、教育工作者、家长、政策制定者及公众反馈教育服务的有效程度。[23]从这个意义上说,一个有效的测评系统不仅仅用于提供有效的数据,而且能为教育系统、教和学过程的改善提供帮助。这就要求测评系统的构成部分要充分体现出内在的一致性。在测评系统内在一致性的基础上,NRC提出测评系统构建的三大支柱:其一为表示学生在某个课程领域中表现知识和发展能力程度的认知模型;其二为用来观察学生表现的情境或任务;其三为由上述表现而获得的证据,并基于这些证据进行推断的解释模型。在大规模测试中,这个模型往往指的是测量模型。

NRC形象地将上述三大支柱比喻成整个测评系统的“测评三角”,并将上述三大支柱表述为:认知(cognition)、观察(observation)和解释(interpretation)。如图3-3所示。[24]

测评三角中的三个角代表测评系统所需要的三个主要支柱或要素。

要素一:学生在某领域中的认知,明确了学生作为测评对象,其所对应的测评的目标及维度。可以是学生就某一课程领域对知识和技能的描述和明确,也可以是对学生所需能力的特征表现的描述。这些都要依托于相应理论及其发展,或是一系列的信念(beliefs)。

图3-3 测评三角

要素二:哪些是可观察的,如一系列项目/试题,这些项目/试题的设计需要与认知模型相匹配,或者根据认知模型要求对项目或试题进行合理描述或说明,以此获取学生的清晰回答。同时,要收集数据信息,以便给学生知识技能或能力的程度及内在的结构推断提供证据。从这个意义上说,该要素主要是通过一系列项目/试题在不同测评维度上的分布,以及学生的实际表现,来获取观察变量的情况。

要素三:使这些证据获得意义的解释。它包含所有的方法和工具,便于测评对通过观察所收集到的数据形成证据并进行解释。该要素的作用在于观察模块中学生的表现或数据,使其成为测评推断的证据,这些证据或成为测评的结果,或成为新推断的依据。在大规模测评中,这种推理过程是基于统计意义上的,解释模块所用的方法往往使用统计测量模型,这样有助于通过数据来刻画学生不同的认知维度和认知层次。解释过程在凸显统计模型的运用的同时,也呼应原有设计中测评学生认知结构的要求。

作为一个成熟、有效的测评系统,这三个呈三角显示的基本要素是相互依赖、相互支撑的。其相互间的关系可以如下描述。

1.认知和观察:认知要素为观察所需的一系列项目/试题设计提供了理论依据,特别是认知方面的理论为测评学生的能力所需的情境设计等提供了依据和线索。同样,通过好的项目/试题设计,准确获取学生在每个项目或每道试题不同方面的所知所能的表现,并汇总起来,有助于获得学生整体在不同目标或维度上的表现。

2.认知和解释:认知要素为学生在项目上的表现,以及相应数据信息成为测评结果的解释,提供了分析方法和相关分析脉络。认知相关理论为我们刻画和分析学生在知识和能力方面的特征提供了相应的指导。同样,在解释要素中,相应的测试理论或模型等方法的运用,为测评结果中学生不同维度或层次的认知模型提供了有用的依据。

3.观察和解释:在解释要素中,不同的统计测量模型都存在一定的假设前提和应用限制,如果知道这些模型现有的局限性,在项目/试题设计中,就能适当注意,扬长避短,这样更有助于项目/试题在测评过程中的有效性和可靠性。在观察要素中,学生在所设计的项目/试题上的表现为解释要素的工作提供了最直接的材料和基础。

测评三角中的三个要素 —— 认知、观察、解释,从测量角度来看,分别体现了结构变量(construct variables)、观察变量(observation variables)和测量模型(measurement models)的运用及相互联系;从量化角度和推理角度来看,三者应高度统一;从系统角度来看,三者内在的相互影响和一致性是测评目标的集中体现,是整个测评系统综合、内在一致、连续、整合、高质量的基本保证。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈