过程或表现期望分析

从上一章对TIMSS数学测评和PISA数学测评的梳理过程可以看出，过程或表现期望方面的构建有一个很重要的影响因素，就是量尺的形成。测评作为一个系统，系统内在的一致性必须得到保证。过程和表现期望作为目标层面的维度，量尺作为结果解释层面的维度，两者具有内在的联系性，是整个系统内在一致性的保证。但是认知可能暗含的层次性，以及认知界定的不确定性，使得试题实际所呈现的行为特征无法精准地在认知层面刻画，这也使得在量尺模型的构建上，无法轻易获得有效、可靠的变量。同样，这些变量对应认知结构层面，使得结果解释无法呈现清晰且准确的认知结构。这里蕴含着测量模型和认知过程模型两者间的匹配问题。

如何解决上述匹配问题，是多年来心理测量学界相当活跃的研究领域，弗雷德里克森（J.Frederiksen）、梅斯雷弗和恩布雷特森（S.E.Embretson）等人都着重研究过，但没有一个唯一正确或最佳的解决方案。^[5] TIMSS数学测评在认知领域的调整表现为删减（去掉问题解决和交流）或合并（合并知道和概念），如图5-5所示；PISA数学测评在能力及过程领域的调整表现为从层次到能力群再到数学化模型过程中的三个阶段，如图5-6所示。这些发展一定程度上显现出不断修正认知结构并逐步适合测量模型需求的特征。

图5-5　TIMSS 数学测评认知领域发展示意图

图5-6　PISA数学测评能力及过程领域发展示意图

（一）TIMSS数学测评

在TIMSS数学测评的目标维度设计中，将认知方面称为“表现期望”，实际反映的是试题要求所引发的学生行为特征。无论是1995年表现期望不同维度上的行为描述，还是2011年认知不同维度上的行为描述，都显示出深受布卢姆分类目标的影响，有学者认为是对布卢姆认知层面“知识、领会、运用、分析、综合、评价几个类别的细化和重组”。^[6]

值得注意的一个细节是：在2003年的TIMSS中删除了问题解决和交流的两个维度。TIMSS认为，问题解决和交流是数学教育中的重要结果，与内容领域中的许多主题有联系，它们是可以通过大部分主题内容领域的试题引发的有效行为，是内容和认知维度中所需要的重要基础。^[7]即问题解决和交流，是在不同内容领域试题上有反应的行为，具有共通性，故不再单列。从这里可以看到，TIMSS在认知方面所关注和考虑的是试题所引发的相关行为，并且注重了差异性。

2011年，专家团队决定充分考虑大多数学生的认知过程。^[8] TIMSS数学测评从便于区分或分类试题的角度，建立了相关的认知维度，分别是知道、应用和推理。“知道”主要侧重于问题解决所需的基础性知识，如基本概念和事实等；“应用”主要侧重于常规性问题，如各国课程教材中熟悉的“习题”，即使是有实际情境的问题，也是经过一定编辑和适当修正过的“拟实际”型问题；“推理”主要侧重于复杂的非常规性问题。

就试题的分类而言，上述分类似乎很明确。但不可否认的是，无论是从基础性到常规性问题再到非常规性问题，还是相应三个维度的行为表现，都体现出明显的层级性特征。这种层级性的特征会在一定程度上直接造成量尺解释的模糊性和重叠性。同时，这种认知维度的结构在解释上要求表明相关的行为特征，而且无法进一步明确是何原因造成或受何因素影响。这容易形成结果呈现和解释的局限性。

（二）PISA数学测评

PISA数学测评过程维度的设计，从最初到现在一直都是围绕问题解决展开。在它的设计过程中，一直在平衡问题解决过程（更宽泛地讲是信息处理过程）和影响因素或能力之间的结合点问题。 目的在于不仅讲清楚过程的分界及试题的归类问题，而且要探寻不同过程维度上的影响因素及相应特征。

从图5-6可知，2012年是发生变化最大的一年。这里变化的关键点就是取消对能力进行分层（或群），直接对问题解决过程的不同阶段进行分类，即分为表述、运用、解释/评估三类，如第四章图4-9所示。

这样做，既解决了问题解决过程中分类的界限问题，又通过不同学生在试题上的实际表现，体现不同技能和能力在过程阶段的表征。这有利于对不同阶段学生量尺的解释，从而凸显出测评目标中问题解决的核心地位。

（三）TIMSS数学测评和PISA数学测评在认知或过程上试题分布的交叉分析

从上述分析中，我们看到，TIMSS数学测评的认知设计受到布卢姆分类目标的影响较大。现有分类是按照基础—常规问题—非常规问题层层递进的方式进行处理，没有针对不同类的影响因素或潜质的分析。而PISA数学测评对过程的分类是基于对问题解决过程的认识。 目前，问题解决过程分三个阶段：表述、运用、解释/评估。结合试题上学生的实际表现，归纳分析7种数学能力在三个不同阶段上的表现特征，并形成三个阶段对应变量的量尺描述。为进一步了解两个测评认知或过程维度上的差异，玛格丽特将2003年的PISA数学测评试题，用TIMSS 2003数学测评的认知分类，进行了重新归类。^[9]为了与内容领域的分析保持一致，本书在玛格丽特工作的基础上，采用TIMSS 2011的认知类别，得到表5-6。^[10]

表5-6　2003年PISA数学试题按照2011年TIMSS数学测评认知分类分布表

由表5-6可知，PISA试题在应用层面，即体现常规问题的试题比重整体偏低，其试题主要集中在知道和推理两个认知维度上。知道维度，主要集中了再现和联系能力群的试题；而推理维度，主要集中了联系和反馈能力群的试题。

2003年TIMSS数学测评在上述认知维度上的试题分布如表5-7所示。

表5-7　2003年TIMSS数学测评认知维度试题分布表

2003年TIMSS数学测评试题和PISA数学测评试题，按2011年TIMSS数学测评的认知分类进行比较，如图5-7所示。

图5-7　2003年试题按2011年TIMSS数学测评认知维度分类分布条形图

TIMSS数学测评与PISA测评相比，有如下结论。首先，两个测评都非常重视对相关概念及事实等基础性知识的考察。结合上一节对内容方面的分析可知，虽然PISA数学测评在知识覆盖均衡性上不如TIMSS数学测评，但在体现基础知识的试题比重上，PISA不比TIMSS少。其次，TIMSS数学测评在应用维度，即常规性试题所占比重远远大于PISA，显然这跟两个测评的不同目的有关。最后，PISA数学测评在推理维度上的试题比重远远大于TIMSS数学测评，这体现出在高阶思维层面上PISA数学测评的整体要求较高。

在TIMSS数学测评和PISA数学测评中，有一个明显的不同，那就是PISA测评中提出了核心能力。^[11]在上述分析中，PISA数学测评将8个（2012年为7个）数学能力作为问题解决过程中不同阶段表现特征的主要影响因素，也将它们作为衡量和描述学生PISA数学素养的关键要素。而在TIMSS数学测评中，有些能力却是被忽略的，如问题解决和交流。事实上，如何看待核心能力及数学测评中的相关能力，是个值得关注的问题。

（四）核心能力^[12]

全球化和现代化正在创造一个日新月异且紧密联系的世界。为了更好地理解这个世界，每个人需要牢固掌握发展中的技术并理解相关的信息，这也使得当今世界中每个人都会直面很多复杂的挑战或问题。为了解决这些问题，每个人需要越来越多样化的复杂能力。每种能力在不同的实践情境中都存在着一定的局限性和整合性，但是否存在一些“核心能力”可作为上述所需能力的主要基础？或者说上述所需能力是否为“核心能力”的衍生？1997年，OECD组织成立了DeSeCo项目，进行相关研究。他们通过大范围学者、专家的通力合作，形成了对核心能力的基本认识。他们认为，核心能力应具备如下三个特点：能对社会和个人带来有价值的结果；能帮助个人在较大范围的实际情境中满足重要的需求；这种重要性，不仅仅对学者而言，更是对所有人而言。

同时，该小组将核心能力分为三大类，如图5-8所示，分别为：相互作用地使用工具、在不同人群中的相互影响和自主行动。

图5-8　eSeCo核心能力示意图^[13]

其一，相互作用地使用工具指的是，个体在其生活的情境中广泛使用各种工具，如语言工具，以发挥有效的、相互作用的影响；其二，在不同人群中的相互影响指的是，人需要与来自各种不同背景的人一起从事各项活动，凸显出人与人在不同的群体中相互影响的重要性；其三，自主行动指的是，个体能够为管理自己的生活，为在更大的社会背景下生存，为自主决定自己的行动等一系列活动承担其一定的责任。

第一类包含了三个核心能力，分别是使用语言、符号和文本的能力，使用知识和信息的能力，使用技术的能力。上一章叙述到PISA数学测评系统特征时，提及PISA数学测试中将数学作为一种语言。学生不仅需要学习数学中有关“设计”层面的内容，如名词、符号、程序，以及在特殊数学领域中某些操作过程所需的技能和每个数学领域中的结构等，还要学习在各种社会情境中解决非常规问题的思想方法及策略等。值得注意的是，数学设计层面的内容不仅仅包含一些在学校中所教的名词、过程和概念等，还包括如何对这些方面进行构建和使用。

从这意义上来看，PISA测评中的数学素养统摄于OECD的DeSeCo三个核心能力，体现的是知识、技能和态度的整合。同时，将细分的相关数学核心能力包含于过程层面。这里先对2003年和2012年PISA数学核心能力的运用作一比较分析。

在2000年中，PISA测评项目构建了数学大理念、数学能力、数学课程图、情境四个方面的目标分析框架。其中数学能力是指在问题解决、数学语言和数学建模中的一般技能和能力。在2000年的PISA数学测评中，认为数学能力是含有一系列技能的元素，包括数学思维、数学论证、建模、提出问题和解决问题、表示、符号化和形式化、交流、应用工具等8个方面。这些能力的确定过程中，OECD借鉴了丹麦数学教育家尼斯及其同事的研究工作——“能力与数学学习”的研究计划，^[14]目的是为丹麦数学教育的改革创造一个平台。尼斯认为，掌握数学就是拥有数学能力，而数学能力就是指能了解、判断及在各种不同的数学情境中使用数学。该研究结果将数学能力结构分成8个方面：数学思维、拟题和解题、数学建模、数学推理、数学表征、符号化和形式化、交流、工具的使用。

考虑到一道试题可能涉及多种能力，PISA数学测评根据上述能力不同程度的表现，合成不同的三类能力层次。^[15]

层次1：重现、定义和运算；

层次2：问题解决的联系和整合；

层次3：数学思维、一般化和特殊化。

上述技能在三个层次类别上有着不同的表现程度，这三个层次类别没有严格的层阶性。PISA数学测评根据上述三类能力层次对试题进行归类，以便于政策制定者认识到，他们所在的教育系统中学校和课程对相关技能的培养达到了何种程度。^[16]

在2000年的PISA数学测评中，提出了“数学化”过程，但是没有明确数学化过程与这些能力、技能或能力层次之间的关系。

2003年PISA测评的主测领域是数学素养，首先在2000年的基础上进一步明确了测评结构，如图5-9所示。^[17]

图5-9　2003年PLSA数学测评结构框架

围绕问题解决，PISA团队从三个方面进行了相应的设计。具体为：（1）问题情境，（2）用来解决问题的数学知识，（3）体现问题解决过程中所需的能力。由于涉及多个核心能力要求，这里用能力群来表示。该能力群是从2000年的三类能力层次对应而来。考虑到2000年将上述8种能力归为技能（skill）有欠妥当，2003年重新归纳了8种能力，分别为思维和推理、论证、交流、建模、问题的形成和解决、表达、使用符号化形式化和技术性的语言和操作、工具的使用。2003年的PISA数学测评延续了2000年对8种技能的界定需求，同时将原有的三类能力层次调整为三大能力群，分别是再现、联系和反馈。具体表现如下。

再现主要指对熟悉的材料用常规的方法解决，包括标准表示和定义、常规计算、常规过程、常规问题的解决。

联系主要指常规习题的整合、联系及适当拓展，包括一般建模、常规问题的解决转换和解释、多种方法的运用。

反馈主要指严格的论证、抽象、推广及在新情境中建模，包括复杂问题的解决和提出、反馈和探索、新的数学方法、多种复杂方法、推广。

与2000年的三类能力层次比较，应该说，2003年的三大能力群没有根本改变原有的分类，只是在内容表述上更加详细和具体。这三大能力群与8种能力之间的关系如第四章表4-13所示。

PISA 2003数学测评的试题根据上述8种能力在不同水平上的表现，分别归类为三大能力群，整体的能力框架呈现两维的结构。这样有利于对试题进行合理归类，将一道试题简单归入某一能力群中。这三大能力群是一个由低到高的连续体，符合学生在问题解决过程中的认知要求。通过学生在这三大能力群中的表现也可以直接反映出相应的能力高低，有利于诊断出学生相应能力的不足。从能力测量的刻度量尺的制定上来看，在满足试题单维性假设的前提下，有利于充分利用项目反应模型，建立连续的能力量尺，为结果的解释建立量化依据。同时，由于量化模型的使用符合能力的认识实际，这也为结果解释的可靠性和有效性打下了扎实的基础。

2003年与2000年的PISA数学测评相似，指出了“数学化”的过程模型。与2000年相比，改进的地方是，明确能力的体现是数学化过程中所必需的。但是如何将数学化过程与能力的体现有效地整合，在2003年的PISA数学测评中并没有体现。

2012年是PISA第二次对数学素养进行主测的年份，相距第一次对数学素养主测的2003年，正好9年。新一轮的测试中，OECD给出了一个数学素养的模型，如第四章图4-9所示。

根据上述模型，特别是问题解决过程中所需要的四个过程步骤——表述、运用、解释、评估，PISA团队将问题解决过程整合为三个阶段——表述、运用、解释/评估。同时对相关数学基本能力在这些过程阶段中的特征进行描述，以便于试题归类到不同过程阶段。三个过程阶段与7种数学能力之间的关系如第四章表4-14所示。

在PISA数学测评的产生、发展中，核心能力与问题解决评价相互契合，呈现出如图5-10的结构。

图5-10　核心能力和数学问题解决评价模型契合示意图

首先，PISA数学测评过程维度中，能力的叙述及比较分析，有如下三个显著的特点。

特点1：数学核心能力的提出，无论是2000年的三类能力层次，2003年的三大能力群，还是2012年的数学化过程中的三个阶段，PISA数学测评都坚定地对不同核心能力的表现进行分层描述，建立起以能力为中心的学科学业表现，改变以往以知识体系或线索为中心来表述学科学业表现的模式。

特点2： PISA数学测评的数学核心能力（2012年称为基本能力）不是简单地与情境、数学知识技能、问题解决一起构成一个平面上的网状结构，而是体现出内部存在的逻辑关系。这使得无论情境、数学知识技能还是能力运用，都围绕问题解决展开，凸显出问题解决过程的核心地位，体现出问题解决过程中的能力运用及能力层次。这也与PISA测评中数学素养是一种能力的定义相吻合。

特点3：将数学素养测评中的数学核心能力与问题解决（这里指数学化过程的阶段）直接对接。这样做，一改过去在试题中对能力群（或层次）或者对数学化过程进行纵向和横向分类的方法总是与过程隔着一层皮的局面。好处在于，将问题解决的过程与学生思维认知过程统一起来，有利于直接清晰地了解结果解释，了解学生群体在数学思维发展过程中的问题解决阶段，以及不同能力的表现状况，有助于对问题解决的教学进行反馈和改进。

其次，就PISA数学测评所呈现的相应结构特征，如下两个特点值得关注。

特点1：核心能力模型的呈现（如图5-10虚线框所示）。PISA数学测评整体呈现出在学生发展所需核心能力的基础上，学科内容和学科核心能力相整合的结构组织设计。学科的核心能力作为学科素养核心的组成部分，也是学业质量的重要组成部分。同时，学科素养从属于人的整体发展所需核心能力的框架，在TIMSS数学测评中几乎没有体现，这样的情况在目前的国际大规模数学测评中没有他例。这为基于核心能力的课程设计提供了借鉴和思考。

特点2：核心能力模型和数学问题解决评价模型（如图5-10实线框所示）的整合。TIMSS数学测评对于数学问题解决评价也有相应模型。以2011年为例，内容方面包括数、代数、几何、数据和机会，认知方面包括知道、应用、推理。PISA数学测评将数学问题解决评价模型与核心能力模型进行整合，显然在层次上和内涵上要比TIMSS数学测评的数学问题解决评价模型更加丰富。

总结对PISA数学测评和TIMSS数学测评在认知或过程方面的比较分析，呈现出如下几点。

1.结果报告量尺的形成，需促使认知过程与测量模型不断连接，一定程度上要求各自的构建维度更加清晰、界限明确。

2.TIMSS数学测评的认知分类，是考虑试题所需引发学生的行为特征。而PISA数学测评则是建立在问题解决的大框架下，先构建过程的维度设计，然后再去考虑试题的设计和编制。这里体现出两者在认知或过程设计上出发点的不同。

3.PISA数学测评中核心能力的提出以及对能力表现的描述，建立了以能力表现为中心的模式，改变了以往以知识体系或线索为中心来表述学科学业表现的模式。TIMSS数学测评深受布卢姆分类目标的影响，基本上还是体现出以知识体系为中心来表述学科学业表现的模式。

4.PISA数学测评体现出核心能力模型和数学问题解决评价模型相结合的结构特征。其中核心能力模型，以人的发展所需的核心能力为统摄，整合数学素养、数学知识、数学核心能力，形成完整性的框架结构。这是TIMSS数学测评所不具备的。

5.从试题在不同认知过程维度的分布上来看，两个测评都非常重视对相关概念及事实等基础性知识的考察。但TIMSS数学测评在应用维度（即常规性试题）上的试题所占比重远远大于PISA数学测评，PISA数学测评则在推理维度上的试题所占比重远远大于TIMSS数学测评。这体现出，在高认知层面上，PISA数学测评的要求较高。