首页 理论教育 以证据为中心的测评设计及框架

以证据为中心的测评设计及框架

时间:2022-03-29 理论教育 版权反馈
【摘要】:对于上述测评本质的认识,有助于形成证据推理链,为此梅斯雷弗等人系统考虑了在测评过程的相关要素及内在的联系。[15]最初梅斯雷弗等人负责的1997—1999年美国教育考试服务中心,在开发评价设计框架研究的项目中初步形成了相关评价框架,[16]在不断完善的基础上设计形成了概念性测评框架,并进行了系统阐述。其中包含测评所需的目标和操作要求、试题编制和评分的细则,以及统计模型的需要等。
以证据为中心的测评设计及框架_国际视野下大规模数学测评研究

对于上述测评本质的认识,有助于形成证据推理链,为此梅斯雷弗等人系统考虑了在测评过程的相关要素及内在的联系。[15]最初梅斯雷弗等人负责的1997—1999年美国教育考试服务中心(ETS),在开发评价设计框架研究的项目中初步形成了相关评价框架,[16]在不断完善的基础上设计形成了概念性测评框架(Conceptual Assessment Framework,简称CAF),并进行了系统阐述。[17]具体框架相关结构如图3-1所示。[18]

图3-1 概念性测评框架

在这个框架中,除了呈现模型主要考虑评价的呈现方式(基于计算机或基于纸笔),还对测评中所需要涉及的各个工作环节及技术要求作了罗列和整合。其中包含测评所需的目标和操作要求、试题编制和评分的细则,以及统计模型的需要等。测评的目标为单变量或多变量,这些需要通过学生在试题或项目上的表现呈现出来,借统计模型得以拟合分析。这里的关键是,学生模型中所要求的学生测评变量与学生在试题或项目上的表现能建立联系,以此推断学生在测评目标上所达到的程度。

该框架所体现出的就是学生测评目标和学生学业表现之间内在一致性的获取流程,力求保证测评结果的可靠性和有效性,凸显整个测评系统的整体性。

(一)学生模型

在学生模型中,要回答一个问题:测评些什么?它要根据测评的对象和目的来确定,或是涉及学科的内容领域,或是涉及技能领域等。该模型所涉及的领域呈现出多样性的特征,且具体的描述来自于不同的视角,或行为主义,或认知理论,或环境心理理论,或上述不同视角或理论的整合。

学生模型为测评提供了一个多维度的结构,而这些结构的架构或变量的数据,以及它们之间的关系,与测评的目的有着很大的联系,也与现有的经验和理论认识有着很强的联系。在图3-1的学生模型中,多个变量(用圆圈所示)之间用箭头相关联,表示这些变量之间可能存在某种关系,这些关系的获取或是经验判断,或是理论上存在的架构。这些关系需要不同的匹配模型。

学生模型中的各维度数据往往无法从学生的实际表现中直接获取。这就需要借助统计方法,充分建构相关统计变量来获取相关证据。

(二)证据模型

证据模型要解决的问题是如何测评,即学生在具体项目或试题所设情境中的表现如何,以及它为何成为推理的证据。确立学生模型中所示的结构、维度与学生的行为和表现之间的联系是证据模型的关键,也是测评过程中证据推理链形成的核心。该模型分两个子模型,其一为评价性子模型(evaluative submodel),其二为统计子模型(statistical submodel)。

1.评价性子模型

在图3-1的证据模型中,右侧框内即为评价性子模型,其名称为证据规则(Evidence Rules)或项目/试题评分(Item Score)。该模型根据学生在项目或试题上的实际表现和行为(子模型框中的右侧),对观测变量(子模型框中的左侧)的值进行判断。该观测变量往往是测评人员在项目或试题设计过程中有目的地观测的学生的核心表现或要素,其分数代表了相应核心表现或要素程度的高低。

2.统计子模型

统计子模型的目的在于:针对上述观测变量及相应的值,以及变量之间存在的关系,从统计方法的角度建立模型;或者根据已有模型进行数值拟合,从而对观测变量及其相应值,在解释学生模型结构和维度上建立内在的联系。

(三)项目/试题模型

项目/试题模型解决的是在哪里进行测评、哪些项目/试题能有助于所期望行为的表现等问题。项目或试题为测评对象提供了表达表现的环境,也为对测评对象所知所能进行量化提供了场所。根据测评的目的,以及所要体现的学生潜质或能力的测评结构及维度,测试设计人员力求体现项目或试题原有的目标和设想,包括题型、项目或题型中素材的使用,甚至涉及教师是否在教学中使用过相关指令等方面。

项目/试题模型在测评中扮演着很多角色,包括设计项目/试题,形成项目/试题的证据意义,整合测评,定义学生模型变量,以及明确学生变量与观察变量之间统计意义上的联系等。[19]

(四)组合模型

一般单个的数据或证据无法对学生的所知所能起到有效推断,特别是来自单个项目或试题的数据或证据。因此,需要将一系列相关项目或试题上所得的数据或证据加以整合,这就是组合模型所要解决的问题。我们需要在组合模型中关注学生模型、证据模型和项目/试题模型三者之间的联系,以此达到对学生模型中的相关维度或变量有一个精确有效的测量。该模型往往通过考试细目表或蓝图来呈现。考试细目表或蓝图主要将学生模型中不同维度所对应的试题分布一一罗列,也将项目/试题设计中的设计目标一一体现。

基于上述各个模型的描述,为了进一步显现它们之间的内在联系,我们绘制了图3-2。

图3-2 概念性测评框架内在模型关系图

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈