编码信度和效度检验

三、编码信度和效度检验

为保证研究结果的客观性和真实性，对信度和效度进行验证是必不可少的。信度是对文献编码一致性、分类准确性和方法稳定性的检验；效度是指结论与事实的相符程度以及理论研究的适用性（邱均平和邹菲，2003）。

（一）编码信度检验

根据Perreault和Leigh（1989）、Kolbe和Burnett（1991）以及李本乾（2000）等的观点，内容分析的信度一般可以通过计算编码者的一致性程度得出。袁登华（2004）指出，根据数学中的集合原理，用三个编码者在各个类别上编码结果的“交集”分别除以各个类别上编码结果的“并集”，可以得到编码信度检验的计算公式:

式中:T₁为编码者A的编码个数；T₂为编码者B的编码个数；T₃为编码者C的编码个数；T₁∩T₂∩T₃为三个编码者编码归类相同的个数；T₁∪T₂∪T₃为三个编码者各自编码个数的并集。

一般而言，编码者的一致性程度达到0.80以上为可接受水平，在0.90以上为较好水平（Insch等，1997；Bos和Tarnai，1999；Ormerod，2000）。

本研究对三位编码者的编码结果进行一致性系数的检验，得到以下结果，如表3.3所示。

表3.3　组织服务导向概念构思编码一致性程度

从上表可以看出，编码者在需求匹配、服务创新和品质构建3个要素类别上都表现出了较高的一致性程度，其一致性系数均达到0.85以上，说明编码结果达到可接受的信度水平。

（二）编码效度检验

对内容分析技术的效度检验而言，最常用的检验方法是检查其内容效度（李本乾，2000）。本研究中，对内容分析的效度检验采用“内容效度比”（content validity ratio，CVR）来评定，其计算公式为:

式中:ne为评判中认为某项目很好地表示了测量内容范畴的编码者人数；N为编码者的总人数。该公式表明当认为项目内容适当的评判者人数不到一半时，CVR为负数。如果所有人认为内容不当时，CVR＝—1.0；当认为项目合适和不合适人数相等时，CVR值为零；而当所有评判者都认为项目内容很好时，CVR＝1.0（王重鸣，1998）。

在本研究中，我们分别计算了三位编码者对62个分析单元编码结果的CVR值，结果显示，有58个分析单元的CVR＝1.0；另外4个分析单元的CVR＝0.33。由此可见，本研究的编码结果具有较好的内容效度。