判断的方法

鉴别评价程序是否存在偏差的一种有效方法就是请知识渊博的评论家仔细审查每一道测验题目，判断这些题目是否会对某亚群体的学生造成冒犯或不公平的惩罚。现在，在开发任何一个重要的高风险测验时，都会成立一个专门的“偏差审查小组”，这已经成为一种习惯。审查小组的职责就是仔细审查每一道测验题目，以便剔除任何一个有可能导致评价偏差的题目。下面我们先来看一下如何在高风险测验中运用上述审查程序，之后我们再来探讨任课教师如何对自己使用的评价程序实施偏差检测。

对于一些重要的高风险测验而言（如NCLB考试），一个“偏差审查小组”通常由15至25名评论专家组成，审查小组的成员必须非常熟悉测验的内容。例如，如果正在开发一项六年级NCLB语言艺术测验，那么偏差审查委员会的成员应该主要由六年级的教师以及少数语言艺术课程的专家或大学教授组成。如果测验对某个亚群体不利，那么“专家审查小组”应全部或几乎全部由来自这一亚群体的人员构成。也就是说，如果这份测验的施测对象是少数学生——这些学生是亚裔美国人、美洲土著、非裔美国人以及西班牙裔美国人，审查小组的成员则必须包括来自这些群体的代表。此外，审查小组应由男性、女性成员混合构成，以便检查出可能存在性别偏差的题目。

偏差审查小组成立后，要让其成员全面了解评价偏差的含义——可以参照本章前面的有关论述进行。理想情况下，可以给审查小组成员一些指导性的练习，让他们审查一些明显存在偏差的评价题目（例如一些具有冒犯性或者对某亚群体具有不公平处罚的内容），这种练习能够帮助审查小组成员更好地理解评价偏差。

在对小组成员进行指导之后，“偏差审查小组”的成员要针对每一道测验题目，回答下面的问题：

这道题目会因某一学生群体的特征（如性别、种族、宗教信仰等），对学生造成冒犯或不公平的处罚吗？

审查小组成员要就上面的问题对每一道题目作出“是”或“否”的判断。值得注意的是，审查不是要求审查小组成员判断这一题目是否将（would）导致冒犯性或不公正的惩罚，而是要判断这一题目是否可能（might）存在冒犯性或不公平的惩罚。换句话说，如果测验题目可能导致偏差，那么审查小组成员就要作出“是”的回答。

统计所有成员在每道题目上回答“否”的百分比，这样就可以得到每道题的偏差克服指数。之后，便能计算出整个测验的偏差克服指数。审查小组成员作出“否”的判断越多，则说明该题目存在的偏差越少。如果某一测验仍在开发过程中，开发者就可以直接删除那些审查组成员认为有偏差的题目。此外，审查小组成员还需说明判断一个测验题目存在偏差的理由（通常要作出简单的书面解释）。即使只有一个成员发现了某一题目的重大缺陷（该缺陷被其他成员所忽视），而这个问题的确是存在的，那么也应该删除该题目。

尽管让偏差审查小组仔细检查评价程序中的每一道题目是非常重要的，但是所有题目从总体上看仍有可能产生偏差，尤其是对某些学生具有一定程度的冒犯性。例如，当偏差审查小组的成员审查每一道题目时，他们发现不存在偏差的问题，但当作为一个总体来考虑时，这些题目就有可能存在冒犯性。例如，假设有一份内容宽泛的数学词汇测验题，各题目中涉及的个体几乎都是女性。虽然这种性别失衡难以从审查小组对每个题目的审查中反映出来，但对题目进行整体审查则很容易发现这一问题。通常，对题目的整体审查要回答下面的问题：

鉴于您对所有测验题目的审查，从总体上看，这些题目会由于某一学生群体的特征（如性别、种族、宗教信仰等），而对学生造成冒犯或不公平的惩罚吗？

与单个题目的判断类似，小组成员对整体偏差审查问题作出否定判断的百分比，可以作为判断该评价程序是否存在偏差的有效指标。与对每个题目进行判断一样，如果审查小组成员判断整个评价程序存在偏差，那么也要给出书面的解释。当对测验题目进行整体审查发现存在偏差时，要对测验进行修正而不是欣然接受。例如先前举的例子，在数学测验中有太多女性的描述，只需根据性别比例作出一定的调整，就可以解决性别比例失衡的问题。

总之，无论是对每一道题目进行判断，还是对测验程序进行整体判断，都能有效地鉴别出存在评价偏差的题目，而对这种存在偏差的题目应予以修改或删除。