首页 理论教育 信度的测量方法

信度的测量方法

时间:2022-05-09 理论教育 版权反馈
【摘要】:对性质相对稳定的问题,适宜用重测信度来表示研究工具的信度高低;对性质不稳定的问题,则不宜使用重测信度来表示研究工具的信度如何。内在一致性的测量是信度测量中应用最多的,因为它与重测信度相比,只需测量一次,不仅经济,而且更适合于测量心理社会方面的问题。其中,rxx代表研究工具的信度,rhh代表两折半组间的相关系数。

二、信度的测量方法

(一)稳定性

研究工具的稳定性的大小常用重测信度来表达。

1.重测信度(test-retest reliability) 是指用同一工具两次或多次测定同一研究对象,所得结果的一致程度。一致程度越高,则说明研究工具的稳定性越好,重测信度也就越高。

2.计算方法 重测信度用重测相关系数来表示,相关系数越趋近于1,则重测信度越高。具体做法是使用研究工具对研究对象进行第一次测试,隔一段时间以后对同一研究对象再使用同一研究工具进行测量,然后计算两次测量结果的相关系数,这个系数反映了研究工具重测信度的高低。实际工作中可利用SPSS等专业统计软件来计算相关系数,以提高工作效率,减少误差。

3.在使用重测信度时,需考虑以下几个问题

(1)两次测量之间的间隔时间 总的原则是时间的间隔要足够长,长到使第一次的测量对第二次的测量结果不会产生影响,但是也不能太长以至于客观情况发生了转变。多长时间合适,这就需要研究者根据具体情况确定间隔时间。有的可以在对研究对象进行第一次测量后马上就可进行第二次测量。如检验血压计的重测信度,可以在测量完第一次数值后立即进行第二次测量;如一份案例分析试卷,要考察护生对护理诊断的掌握和应用情况,也可以刚考完收回考卷后立刻再考一次同样的考卷,但要将两次案例的次序颠倒打乱,并且把患者的资料进行大幅度修改,使学生不容易将两次案例互相比较。通过这两次考试分数所得的相关系数,即可反映考卷这一研究工具的重测信度的大小。有的研究则需间隔相当长时间再测量第二次。如用一份人格问卷作为研究工具来了解学生的人格类型,刚给完问卷立刻再问一次就没有多大意义,因为学生们都会记得他们刚才的答案,这样得到的重测信度会非常高,但是并不代表研究工具的信度高,也可能只是代表学生的记忆力的好坏,在这种情况下可间隔1~2周或更长时间再进行第二次测量。

(2)所测量的变量的性质 由于重测信度的计算需要间隔一段时间再进行测量,因此当研究工具用于评估性质相对稳定的问题,如个性价值观、自尊、生活质量、成人身高、生活习惯等变量时,可以用重测信度来表示研究工具的信度。而诸如测量态度、行为、情感、知识等性质不稳定变量的工具,则不宜使用重测信度来反映其稳定性的高低。例如,某学校用一问卷对该校某班学生进行测量以了解学生对某一任课教师工作的满意程度,过一周后再次使用该问卷对同一群研究对象进行测量,以了解该问卷的重测信度如何。这时可能会发生学生第二次的答案与第一次有很大的不同,这不能说明研究工具的信度低、不可信,极有可能是这一周班级里发生了什么事情使学生对这位教师的认识发生了改变。因此,在使用重测信度来表示研究工具的稳定性时,应考虑此研究工具用来测量的变量的性质如何。对性质相对稳定的问题,适宜用重测信度来表示研究工具的信度高低;对性质不稳定的问题,则不宜使用重测信度来表示研究工具的信度如何。

(3)测量环境的一致性 在进行重测时,应尽量保证第二次测量的环境与第一次测量的环境相同,以减少外变量的干扰。如相同的测试者、相同的测量程序、相同的测量时间以及相似的周围环境等。

(二)内在一致性

内在一致性(internal consistency)是指组成研究工具的各项目之间的同质性或内在相关性。内在相关性越大或同质性越好,说明组成研究工具的各项目都在一致地测量同一个问题或指标,也就是说明工具的内在一致性越好,信度越高。如某问卷用于测量患者的焦虑程度,如果组成这个问卷的所有问题都是与焦虑有关的,则说明此问卷的内在一致性好、信度高,如果其中有一道或几道问题是用来评价患者的抑郁或其他情况的,则此问卷的内在一致性就差,信度便低。

内在一致性的测量是信度测量中应用最多的,因为它与重测信度相比,只需测量一次,不仅经济,而且更适合于测量心理社会方面的问题。反映研究工具的内在一致性的指标有折半信度、Cronbach′α系数与KR-20值等三种。

1.折半信度(Split—Half Reliability) 是测定内在一致性的最古老的方法之一。只用一个测量工具对同一群受试者实施一次测量,具体做法是将组成研究工具的各项目(如组成一份问卷中的各个问题)分成两部分,分别加以计分,对这两个部分的数值进行相关分析,然后采用Spearman-Brown公式计算信度。折半方法常用的有前后折半法、奇偶折半法。如一个有关护理系学生对护理专业老师教学工作满意度的调查问卷,由100题组成,已对10名学生进行了预调查。奇偶折半即指从每个学生所答的问卷中你可以得到两个数值,一个数值是每个人50道奇数题的总得分(即1、3、5、7、9…99题各题得分之和),另一个数值是每个人50道偶数题的总得分(即2、4、6、8、10…100题各题得分之和),然后计算奇数试题总分和偶数试题总分之间的相关系数,最后再计算出折半信度。前后折半法则是每人从第1题到第50题得到第一个总分,从第51题到第100题得到第二个总分,然后再计算这两个总分之间的相关系数,最后计算出折半信度。一般常用折半方法为奇偶折半,而非前后折半,目的是避免顺序效应。

下面以学生对老师的教学工作满意问卷的折半信度的计算为例,10名学生的问卷总分,奇数题得分和偶数题的得分如表6-1所示。

表6-1 学生对老师教学工作满意度问卷的折半情况

img17

根据在重测信度中所列的相关系数r的计算公式得出奇数项得分和偶数项得分的相关系数为0.64。实际工作中也可利用SPSS统计分析软件,计算出两折半组间的相关系数rhh=0.64,然后使用Spearman-Brown公式计算折半信度rxx:rxx=2rhh/(1+rhh)。其中,rxx代表研究工具的信度,rhh代表两折半组间的相关系数。因此,本题中,rxx=(2×0.64)÷(1+0.64)=0.78,即该研究工具的折半信度为0.78。

2.Cronbach′α系数与KR-20值(Kuder-Richardson formula 20) 折半信度的主要不足是不同的折半方法会导致不同的结果。如按奇偶项进行折半与按前后项进行折半计算所得的信度就很可能不同。而Cronbach′α系数与KR-20值所计算的是工具中所有项目间的平均相关程度,避免了折半信度计算的缺点。KR-20值是Cronbach′α的一种特殊形式,适用于二分制的研究工具,如回答“是”与“否”、“对”与“错”的研究。二者的计算较为复杂,可通过计算机来进行,如目前流行的统计分析软件SPSS即有Cron-bach′α系数与KR-20值的计算程序。

(三)等同性

等同性是指两个相似的测量工具反映被测量对象真实状况的能力。等同性的计算也是进行相关分析。表示研究工具的等同性这一特征的指标为评定者间信度和复本信度。研究工具的等同性常在以下两种情况下考虑:

1.评定者间信度(interrater reliability) 即不同评定者使用相同工具,同时测量相同对象时,需计算评定者间的一致程度,即评定者间信度。一致程度越高,则该测量工具等同性越好,信度越高。如使用观察法收集资料时,不同观察者使用同一研究工具进行观察时会产生观察者偏倚。因此这种情况下的研究工具应包括两部分,即所使用的观察表及进行观察的观察者们。在计算评定者间信度时,可以用评定者间的评定结果的一致程度来表示。一致程度越高,则该测量工具等同性越好,一般用两份评定表中取得相同结果的项目数/项目总数来表示信度r。如两名护理教师使用同样的一份无菌技术考核表(即评定工具),同时考核某学生的无菌操作情况,可用两名护理教师最后所得的两份评定表中取得的一致结果的项目数,除以测试项目的总数来简单估算信度。如果此评定表中含有30个条目,考核结束后,对比两名教师的评定结果,两份评定表中评定结果相同的条目有24个,有6个条目不相同,因此,评定者间的信度就可计算为24/(24+6)=0.8。如果观察结果是用数字表示的,则可计算观察者们的观察结果之间的相关系数,用此系数可以表示评定者间信度的大小。除此之外,还可以用方差分析、等级相关等来计算。

2.复本信度(alternate forms reliability) 若两个大致相同的研究工具同时被用于研究对象,需测定研究结果的一致程度,即复本信度。如教师用两份形式不同但考核知识点相同的A、B两份试卷连续考试同一班学生,两份试卷被回答的先后顺序是随机确定的,然后计算出两份试卷得分的相关系数r,就表示试卷的复本信度。相关系数越趋近于1,则试卷的等同性就越好,复本信度就越高,即两份试卷的得分所反映的学生掌握知识的情况是一致的。这种情况在护理研究中比较少见,主要用于进行某些方法学研究或有关教育方面的研究。

在进行护理科研的预试验时,一般选取10~20例样本进行研究工具信度的测试。相关系数达到多少说明研究工具的信度好呢?目前尚未有一个适用于各种不同情况下的统一的信度标准。一般认为相关系数高于0.7时工具的信度才可以被接受。但若使用问卷的项目数较少时,高于0.6或0.5也可被接受。当信度不够理想时,则需要对研究工具进行完善和修改。在研究报告中介绍研究工具的信度时,最好是报告出该工具的信度数值,并说明它是怎么计算出来的。这样,有利于别的读者做出自己的判断和选择。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈