测量与评价的信度课程

(一)信度的概念

信度又称一致性、可靠性,它是指采取同样方法对同一对象进行重复测量时,其所得结果相一致的程度。例如,用同一个问题问同一个人,第一次的回答是A,第二次的回答是B,第三次的回答是C,这说明该问题的答案信度比较低,如果每次得到的都是一样的答案,则说明该问题的信度比较高。

从另一方面来说,信度可以代表测量数据的可靠程度。如果你用一个体重计称体重,第一天读数是45kg,第二天读数是55kg,第三天读数是40kg,我们肯定认为这个体重计是有问题的、不可靠的。同理,低信度的社会测量也是不值得信赖的。

研究通常包括这样几个步骤:提出问题,研究背景,建立假说,收集资料,分析资料以得出结论,发表研究成果与同行进行交流。每个研究人员的价值观和知识背景都不一样,怎样才能最大限度地保证研究的质量呢钥其中一个原则就是研究的可重复性。也就是说,别人看了你的研究过程和研究结论以后,能够复制你的研究,检验你的研究结果,这样才能避免偏见和修正错误。科学客观的研究必须具有可重复性和较高的信度。

(二)信度的类型

信度指标一般用相关系数表示,即两次或多次测量结果的相关性如何,(正)相关系数越大,信度越高;相关系数越小,说明几次测量结果之间没什么关系,信度越低。在研究中,常见的几种测量信度的方法有:

1.再测信度

再测信度是指对同一组被调查人员采用相同的量表或调查问卷,在不同的时间点先后调查两次,比较两次调查结果之间的差异程度。这是最常见的一种测量信度的方法,第一次测量和第二次测量结果之间的相关系数就是该量表或问卷的信度。

再测信度反映时间变化所带来的随机误差的影响。两次测量间隔时间太短,被调查者较容易机械回忆出上次填的答案,形成“伪信度”;时间太长的话,被调查者较容易受外部影响而发生个人观点的变化,也会影响信度的测量。在评估再测信度时,一般间隔时间短则两周,长则6个月甚至一年。

2.复本信度

复本信度是指测量结果相对另一个非常相似的调查结果的变异程度,是对同一组被调查人员使用两份内容实质等价但具体题目不同的问卷进行调查,然后比较两组数据的相关程度。评估复本信度要用两个复本对同一群被调查者进行测试,再计算两次测量结果的相关系数,相关系数越大,信度越高。

复本信度的工作量比再测信度大,因为我们需要设计两份各方面等值的测量工具(调查问卷、心理量表等),相同的数量、类型、内容、难度的题目,类似各种考试的A、B卷。相应地,被调查对象的答题时间也会加倍,这可能导致调查费用的上升和答题质量的下降。复本信度的主要优点在于能够避免再测信度的一些问题,如记忆效果、练习效应,减少了辅导或作弊的可能性。

3.折半信度

折半信度是指在一项调查中,把所有的题目分成两半,计算这两半测验之间的相关性而获得的信度系数。通常的办法是将被调查对象的调查结果按照题目的单双号分成两部分计分,再根据各人在这两部分的分数,计算出来的相关系数即是折半信度。折半信度不需要复本,测量只实施一次,但是要注意分成两半的题目之间要有内在逻辑一致性。