问卷的效度与信度

第五节　问卷的效度与信度

在传播学实地研究中，问卷设计初稿在用于大规模实地调查前，必须进行试调查，根据试调查所得到的数据评估问卷的信度与效度，剔除不合适的项目，从而获得高质量的问卷。另外，为了测量较为抽象的“态度”、“意见”、“看法”等，还必须设计一些量表，对这些量表也必须进行信度、效度的分析。

一、信度

信度即测量的可靠性程度，指的是测量工具测到所要测量内容的稳定程度，也就是说，信度指测量结果的一致性或稳定性，即测量工具能否稳定地测量所测事物或变量。如用温度计去量同一物体的温度，如果量了几次，都得到了一致的结果，说明温度计的信度很高；如果量了几次得到的结果各不相同，就说明温度计的信度不高。测量变量也是这样，用不同的测量方法对变量进行测量，所得结果的一致性越强，说明测量方法的信度越高，反之则越小。社会测量中，作为测量工具的问卷，如果设计不周密，题意不确切、含混或具某种倾向性，其信度必定不会高，以此问卷为依据进行的调查也没有什么科学依据。

测量信度通常以相关系数（r）表示，信度的测量有三种方法：再测信度、复本信度和折半信度。

1.再测信度

再测信度，是用同一种测量，对同一群被试者测量两次，根据两次测量的结果计算其相关系数，就得到该测量的再测信度。这种信度能表示两次测量结果有无变动，反映测量的稳定程度。具体方法是：用同样的问卷或量表，对同一组被调查者重复进行测验，然后将两次测验中各项的得分进行相关分析（显著的高度相关则表示信度高）或差异的显著性检验（无显著性差异则表示信度低），根据所得的结果，就可以说明该问卷或量表的调查信度的高低。这种方法特别适用于描述型的问卷，如性别、年龄等个人的基本情况，还有收视习惯、兴趣爱好等在短时间内不会发生显著变化的行为。对于态度量表或以测量态度为主的问卷，如果在短期内没有发生影响态度突变的重大事件，也可以用这种信度分析法。

这是一种较好的信度分析法，但必须注意两次测验之间的时间要适当。如果时间太短，被调查对象极易受上次调查的影响，而不能反映调查对象此时的真实态度；如果时间太长，可能会由于间隔期中发生一些变故，导致被调查对象的态度改变，从而影响测量的准确性。因此选择适当的时间，这就需要调查者的经验和对具体情况的理解。

2.折半信度

在一种测量没有复本，只能实施一次，没有条件进行重复调查的情况下，较好的选择是采用折半法估计信度，这种方法特别适用于态度量表。其具体做法是：将被试者的测量结果，按题目的单、双数分成两半记分，再计算这两半得分的相关系数，得到折半信度，依此为标准来衡量问卷和量表的信度。

态度量表在设计的时候，针对态度构成的每一个纬度，都至少需要两个语句（正向度和负向度各一句），以便互相验证。

你认为“美国之音”

____非常公正；____比较公正；____中立；____不公正；____非常不公正；

____非常不可信；____不可信；____不知道；____可信；____非常可信；

____很受欢迎；____比较欢迎；____中立；____不受欢迎；____非常不受欢迎。

3.复本信度

复本是指与调查使用的问卷在内容、数量、形式、难易程度等方面都保持一致，而只是在问法和用词上不同的问卷。如果测量有两个以上的复本，则可交替使用。根据一群被试者接受两个复本测量的结果计算相关系数，就得到复本信度。复本信度分析法与重测信度分析法较为类似，不同的是，复本信度法是在同一次调查中采用两个不同的问卷，调查结束后，信度就可以计算出来，不受时间的限制。而再测信度，是用同一份问卷在不同的时间进行调查，然后计算相关系数，受时间的限制。因此，在使用复本测量的方法来测量问卷的信度时，要注意真正的复本在题目的数量、形式、内容以及难度、鉴别度等方面都应保持一致；而使用再测法的时候则要注意两次调查的时间间隔。

使用复本信度分析法是信度分析的一种较好的方法，可以避免前两种方法的缺点，但必须注意的是，选用的复本必须是真正的复本。一般来说，如果时间、经费允许，最好采用这种方法来进行信度分析。

二、效度

效度即测量的有效性程度。它指的是测量工具或测量手段能够准确测出所要测量特质的程度，即能够准确、真实反映事物或变量的程度。也可以说，效度指的是测量标准或指标能够如实反映某一概念内涵的程度。当一次测量所测的正是它所希望测量的事物时，就称为测量有效度；反之则称测量没有效度。效度实质是测量指标与测量变量的契合度。比如，某一测量指标目标是测量甲事物，但如果测量结果反映甲事物的特征很少，或是甚至就是乙事物，就说明整个测量的效度很低或甚至没有效度。在社会测量中，对作为测量工具的问卷或量表的效度要求较高。鉴别效度需要明确测量的目的与范围，考虑所要测量的内容并分析其性质与特征，检查测量的内容是否与测量的目的相符，进而判断测量结果是否反映了所要测量的特质的程度。效度的类型主要有内容效度、准则效度和构念效度，我们将结合效度分析加以介绍。

1.内容效度分析法

内容效度分析法也称为表面效度分析，主要用于分析测量量表的内容效度。所谓内容效度指的是量表的语句陈述能否代表所要测量的内容或主题。一般来说，内容效度分析是凭借研究者或一些专家对于问卷和量表的主观判断，即量表或问卷“看起来”测量了所要测量的问题。但随着社会研究定量方法的发展，对于内容效度的分析也趋于定量化，单项和总和相关效度分析就是其中一种。其具体操作方法是：首先计算每个项目分数和总和，然后根据相关关系的显著性程度（相关系数的大小）来分析其效度。相关关系显著，其内容效度也高；反之，内容效度则低。

内容分析的另一种方法称为项目分析，即测量量表中各个项目的难易度和鉴别度。所谓难易度指的是项目的难易程度，具体方法是：将调查对象对于量表各项的总得分由低到高排列，将得分最高和最低的调查结果分为“高分组”和“低分组”（各占总体的四分之一），然后分别计算“高分组”和“低分组”中被调查对象在每题上的“通过率”（对于正向问题，为选择“同意”或“很同意”的比例，对于负向问题，则为选择“不同意”或“很不同意”的比例）。如果两组人对某一问题的通过率较高，说明这一问题较为容易，反之则较难。对于问题的难易度，要根据调查目的来确定。在传播研究的态度量表中，一般问题的难易度应适中。至于问题的鉴别度，就是量表的项目对所测特性的区分和鉴别能力。要具体考虑高分组与低分组在某一问题上的通过率。如果高分组通过率高而低分组通过率低，其鉴别力较高；反之高分组通过率极低，低分组通过率却极高，则说明问题的鉴别力较低。通过问卷或量表问题的鉴别力分析，可以剔除效度较低的问题，从而提高问卷或量表的整体效度。

2.准则效度分析法

准则效度也称为实用效度，它指的是用一种不同于以前的测量方式或指标对同一事物或变量进行测量时，以原有的测量方式或指标为准则，将新的测量方式或指标所得结果与原有准则的测量结果相比较，如果新的测量方式或指标具有与原有测量方式或指标同样的效度，那么就可以认为该测量方式或指标具有准则效度。在具体量表的效度分析过程中，其具体操作是：先根据某种已经得到的肯定的理论，选择一个与量表直接有关系的独立标准，以它为自变量，然后再分析量表所测特性与该自变量的关系，有显著相关（或对自变量的不同取值、特性表现出显著差异）的量表才是有效的量表。例如：当某种测量法A具有内容效度的时候，另一种测量法B的准则效度则由A决定；如果测试某样本，显示B与A高度相关，即可以说B准则效度高。

效度可以通过相关系数或决定系数的大小来表示，也可以用差异的显著性检验说明。

3.构念效度分析法

效度分析最理想的方法还是利用构念效度分析法来分析。构念效度是指如果在理论层次上，概念X和概念Y是相关的，那么，在经验层次上对X的测量z与对Y的测量也相关，假如有另一个对X的测量，则它也应该与Y的测量y相关，这就称为构念效度。构念效度分析利用与所测概念相关的理论命题或假设中的其他变量，即通过对相关变量的测量来说明测量结果对于概念的反映程度。在研究者设计问卷和量表时实际上是假设有某些结构存在的，然后由测量结果加以验证。构念效度主要通过因子分析来进行。用因子分析不仅可以考察所用量表是否能测出真正结构，从而验证研究假设能否成立，还可以进行探索性研究，增加效度分析的可信性。

因子分析的主要目的是通过从量表所量度的多个变量中提取一些公共因子，这些公共因子寓于可观测的变量之中，即可以用这些因子说明量表要测量的变量，因此公共因子也就代表了量表的基本结构。所以，因子分析不但可以测量量表的效度，还可以将所测变量进行分类。

与前几种效度分析相比，因子分析不但可以研究“态度量表”的构念效度，还可以研究意见式、看法式量表甚至是整个问卷的结构效度。因子分析的计算方法较为复杂，但由于电子计算机的广泛使用和社会统计技术的发展，通过使用国际上较为流行的SPSS系统，就可以迅速、准确地获得相关数据。

从内容效度到准则效度，再到构念效度，可以看成为是一种累进，即构念效度需要比准则效度更多的信息，准则效度需要比内容效度更多的信息。

信度与效度都是构想的概念，是相对于某种量表（测量工具）和测量目的而言的，效度比信度有更高的要求。它们之间的关系是：

（1）如果信度低，效度也会随之降低。也就是说，如果测量结果不可信，不可靠，那么，它就不能准确地说明被测量对象的状况。

（2）如果信度高，效度可能会高，也可能低。有时候具有较高信度的资料，也可能很少或根本不反映被测量对象的状况，这说明实际的测量与测量目标有所偏离。

（3）如果效度高，信度必然也高。如果研究有效地说明了某种现象，那么它的资料必然是真实可信的。

（4）如果效度低，信度可能高，也可能低。它与第二种的情况相似。

由此可以看出，测量的信度是效度的必要条件，没有信度的测量工具就谈不上具有效度，但信度高的测量工具未必具有高的效度。

三、问题设计中常见错误分析

1.语言陈述问题

问卷设计的语句陈述是研究者将研究内容与研究目的传播给调查对象的工具，是问卷设计中的关键，语句陈述的基本要求是简短、明确，通俗、易懂。

（1）问题的语言要尽量简单易懂。无论是问题还是答案，都应采用简单明了、通俗易懂的语言，而不要使用复杂的、抽象的概念以及专业术语，如“媒介接触时间”、“把关人”、“沉默的螺旋”等等。有些问卷设计者忽略了概念的操作化问题，使用了类似上述词语的专业术语或生僻词，使普通的调查对象难以理解，就造成了“概念抽象”的错误。例如：

你对我国的新闻检查制度有什么看法？

1.合理　　　　　　2.不合理　　　　　　3.不知道

问卷设计者忽略了“新闻检查制度”对于普通回答者来说是一个比较含糊的概念，且其本身就是一个抽象的专业术语。普通人往往不知道我国的“新闻检查制度”是什么，从而无法做出合适的回答。可想而知，这样的问题只会得到“不知道”的回答，也就失去了提问的意义。

民族之间的沟通渠道总是会改变的，您认为这些年在中国这种情况是：

1.改变得太快了　　　　2.还可以　　　　3.没有什么变化

什么是“民族之间的沟通渠道”？中国各个民族之间的沟通渠道又是什么呢？这些都是既抽象又笼统的概念。在不同的回答者中间，他们的含义是不同的。有的人会以为是语言方面的沟通，也有人认为是商务活动，还有人认为是生活习惯上的趋同，这样被调查对象根据自己的理解和猜度在备选答案中选择，由于各自理解的标准不同，得出的结果也不能说明任何问题。实际上民族之间的沟通包含许多方面，每一个方面又需要若干个具体的指标来测量。因此，要回答这一问题，需要的是一份包含若干个问题的问卷，而远不止这几个简单的答案。

您的家庭属于下列哪种类型：

1.单身家庭　　2.核心家庭　　3.主干家庭　　4.联合家庭

5.空巢家庭　　6.丁克家庭　　7.其他

对于绝大多数被调查对象来说，什么是“核心家庭”、“主干家庭”、“丁克家庭”、“空巢家庭”，他们是不清楚的，甚至是从未听说过的。如果问一个人他家里有哪些家庭成员，这是人人都可以回答的问题，但是一旦用上述的专用词汇，也许就会使许多人拒绝回答该道题目。

（2）问题的语言陈述应尽量简短。问题的陈述越长，就越容易产生模糊不清，或者甚至陈述本身就是错误的，就会给回答者造成歧义，从而造成回答上的偏误，即所谓的“问题含糊”，问题的含义不清楚，不明确。这种问题有些是由于问卷设计者对所提问题的目的和用意不清楚造成的，有些则是由于表达不当，对问题的用语反复推敲不够造成的。例如：

您认为我国的电视节目现在最需要：

1.全面改变　　　　2.部分改变　　　　3.不需要改变

哪些电视节目需要改变，是娱乐、游戏类节目、体育类节目、谈话类节目，还是电视剧、新闻类节目？答案中的“全面”包括哪些方面？“部分”又指哪些方面，是版面还是播出时间？全然不知。这样含含糊糊的问题也只可能得到含含糊糊的结果。例如：

您对新闻媒体近年来情况的感觉是：

1.几乎没有什么变化　　2.变化不大　　3.变化较大

4.变化很大

这道题目的问题有两个，一是没有明确指出具体的新闻媒体，是报纸杂志，还是广播电视？其次，答案中的四个选项的判断标准是什么，变化较大和变化很大的分界限在哪里。像这样笼统地问是得不出什么科学的结果的。问题不明确，就很难说所得的资料反映了现实。例如：

改革开放以来，我国的报刊事业得到了迅猛的发展，除了《人民日报》、《解放日报》、《大众日报》等政府机关的党报以外，还出现了大量的都市报，如《新民晚报》、《扬子晚报》、《新文化报》等，这说明我国的报业已经到了百家争鸣的时期。您是否同意上述说法？

1.同意　　　　2.不同意

我们这里不讨论被调查对象选择了哪一个选项，仅就问题的陈述而言，就存在严重的问题：“除了《人民日报》、《解放日报》、《大众日报》等政府机关的党报以外，还出现了大量的都市报，如……”，问卷设计者将《人民日报》、《大众日报》等归为党报，无形中将新出现的《新文化报》和各种晚报排除在党报的范围之外，从而出现了严重的论述错误。

（3）问题要避免带有双重或多重含义。双重或多重含义指的是在一个问题中，同时询问了两件或多件事情，即在同一句话中问了两个或多个问题，就造成了“问题有多重含义”的错误。例如：

你经常听广播和看电视吗？

1.经常　　　　2.偶尔　　　　3.从不

这里实际上询问了两件事：一是你是否经常听广播，一是你是否经常看电视。因此，那些经常看电视而不经常听广播的人，或经常听广播而不经常看电视的人，就无法回答这个问题，正确的问法应是：

1.你经常看电视吗？

（1）经常　　　　（2）偶尔　　　　（3）从不

2.你经常听广播吗？

（1）经常　　　　（2）偶尔　　　　（3）从不

（4）问题不能带有倾向性。即问题的提法和语言不能使被调查对象感到研究者希望他选什么，调查者不能暗示调查对象选择某个答案，应保持中立的提问方式，用中性的语言。否则的话，极易产生“问题带倾向性”的错误。例如：

有些专家认为，青少年犯罪是由于他们经常观看一些暴力色情的电影或电视节目造成的，那么，您是否赞成这种看法：

1.赞成　　　　2.不知道　　　　3.不赞成

问题的提法无疑具有明显的肯定倾向，它很可能导致回答者选择答案1。因为在问题的陈述中，“专家说”无疑对回答者做出了暗示，这样的问题回答者的一致性是很高的，从而降低了问题的判别力。例如：

人遇到实际问题和认识问题时，除了向家人、朋友询问以获得信息和帮助外，大众传播媒介也起了很大的作用，但大众传播媒介主要是用来传播知识、引导社会舆论、提供娱乐，那么对于处于现代社会中的人，每天接受大众传播媒体信息有那么多，是难以分辨有用无用的。但是每个人都有自己的选择，那么你认为，大众传播媒介（报纸、电视、广播）的作用主要是（限选三项）：

1.传播知识　　2.舆论监督　　3.娱乐　　4.引导消费

5.政治宣传　　6.其他

题目的目的在于了解回答者对于大众传媒作用的认识，但在问题中过多的陈述，甚至帮助调查者做出了答案（大众传播媒介主要是用来传播知识、引导社会舆论、提供娱乐），这样对于回答者来说，很容易地就选择前三个答案。

（5）一般不能用否定方式提问。在日常生活中，人们习惯于回答肯定问题，除了某些特殊情况外，一般不用否定方式提问。例如，“你平常不看电视是因为什么”，由于不习惯，许多回答者会忽略问题中的“不”字，并按照这种理解回答的话，会造成填答错误。因此，在问题设计时，应尽量不用否定方式提问，如果不能避免，就必须在问题中的否定词下加着重号使其容易被回答者识别。比如：

您不听广播的理由，你认为是：

1.没有收音机　　2.广播节目不如电视节目精彩　　3.没时间

4.其他（注明）

（6）问题的设计要与答案相适应。在封闭式问题中，问题与答案是不可分割的整体。因此，在设计问题时，同时应考虑答案的情况，使问题与答案相协调，否则，就会造成“答非所问”的错误，比如：

你经常看下列哪些类型的电视节目：　　经常　　偶尔　　不看

［1］新闻类（如《新闻联播》）

［2］经济类（如《今日财经》）

［3］深度报道类（如《焦点访谈》）

［4］法制类（如《案件聚焦》）

［5］体育类（如《体育大看台》）

［6］游戏类（如《智力大冲浪》）

［7］服务类（如《房屋买卖》）

［8］文艺类（如《越洋音乐杂志》）

［9］电影和电视剧

［10］专题片（如《纪录片编辑室》）

［11］教育类（如英语：《走遍美国》）

［12］少儿类（如动画片）

［13］综艺类（如《正大综艺》）

［14］广告（如《电视直销》）

［15］谈话类（如《有话大家说》）

这样的问题与答案形式将两个问题糅合在一起，就问题来看，需要回答的是电视节目的类型，但在答案中又设计有测量观看各类电视节目的频度，极易使回答者无所适从，极有可能选择与研究者意图相悖的答案，甚至拒绝回答。这种情况可以通过问题形式的单一化而得以避免，比如可以将问题改为：

您对于下列电视节目的观看情况是：　　经常　　偶尔　　不看

［1］新闻类（如《新闻联播》）

［2］经济类（如《今日财经》）

［3］深度报道类（如《焦点访谈》）

［4］法制类（如《案件聚焦》）

［5］体育类（如《体育大看台》）

［6］游戏类（如《智力大冲浪》）

［7］服务类（如《房屋买卖》）

［8］文艺类（如《越洋音乐杂志》）

［9］电影和电视剧

［10］专题片（如《纪录片编辑室》）

［11］教育类（如《英语：走遍美国》）

［12］少儿类（如动画片）

［13］综艺类（如《正大综艺》）

［14］广告（如《电视直销》）

［15］谈话类（如《有话大家说》）

（7）问题设计要为调研对象考虑。问题的设计要为调查对象考虑，不问回答者不知道的问题。在设计问题前，应考虑一下回答者是否具有回答问题的知识能力。如果问题所涉及的范围超出了回答者的可读解范围，即回答者对问题一无所知，可想而知，是无法得到回答的。比如询问样本：

你认为报刊的宣传对于中国足球水平的提高作用怎样：

1.有作用　　　　2.不知道　　　　3.没有作用

这个问题具体来说只适用于那些经常阅读报纸，且对于足球运动非常熟悉的回答者。如果回答者既不看报纸，又不喜欢足球运动，问题对他来说是毫无意义的，同时也就无法反映他们的看法。设计问题时，一定要对调查对象的基本情况有所了解，从而有针对性地设计问题，防止此类问题的出现。

（8）关于个人隐私等。对于涉及回答者的个人隐私或其他利害关系时，应采用间接询问的方式，使用较为委婉的语言，并尽量放在问卷的最后。对于此类问题，如果直接询问，极易引起并加强人们的自我防卫心理，从而导致较高的拒答率，甚至会导致调查的失败。因此对这一问题也不可小觑。近年来，随着社会现代化程度的提高，人们思想观念也不断发生着改变，以前的某些敏感问题如年龄、婚姻状况等已经不被视为禁区。但并不是任何问题都可以问，这一点在设计问卷时一定要明确。比如直接询问关于个人感情经历，家庭隐秘等。无论自填或访问，由于回答者对于回答的保密性没有信心，就有可能拒答或作出虚伪答案。这样，设计的问题就没有什么意义了。

（9）问题的提问方式要合理。即对于回答者来说，回答问题不存在非知识性干扰。在设计问卷时，研究者应考虑回答者填答问卷的主、客观障碍，提出适合回答者、较为妥当的问题。否则，就易犯“问题提法不妥”的错误。比如：

您认为下列观点正确与否：

1.舆论监督是对政府部门的行为进行批评　正确_____　错误_____

2.舆论监督一定不违反法律　　　　　　　正确_____　错误_____

3.舆论监督只是对社会丑恶现象的批判　　正确_____　错误_____

在问题中，设计者所想了解的是回答者对舆论监督的内容、法律认识的程度，但由于选用的提问方式是让回答者判定对错与否，这样无疑使回答者置身于考场，对于这种主观性极强的问题，往往使他们无所适从，难以回答，回答者也无法得到自己理想的资料。

对于这种问题，应以这样的方式来问：

您是否同意下列说法：

舆论监督是对政府部门的行为进行批评

1.同意　　　　2.不同意　　　　3.不知道

舆论监督一定不违反法律

1.同意　　　　2.不同意　　　　3.不知道

舆论监督只是对社会丑恶现象的批判

1.同意　　　　2.不同意　　　　3.不知道

这样得到的效果要好得多。

除此以外，还应注意一份问卷中，复杂问题和表格不宜太多，问题的设计要考虑人们的填答习惯。总之，设计问题在问卷的设计过程中是一项复杂并且重要的工作，一定要从变量的操作化开始，认真分析自变量、中间变量和因变量，紧紧围绕变量设计问题，从而获得满意的问卷。

2.样本偏差问题

在设计问卷之前，应该首先考察被调查对象的特点，根据不同的被调查对象，设计不同类型的问卷。这在问卷的类型一节已经有详细的介绍，这里就不赘言。

总而言之，制作一份高质量的问卷，首先要对问卷的特点和使用范围有明确的认识，处处从被调查对象出发，以严谨、科学、负责、求实的态度设计问卷。同时，要求调查者具备丰富的社会实践经验，深入到现实生活中，才能设计出理想的调查问卷。

同观察法、访问法和量表法一样，问卷法只是用来搜集资料的一种工具，有其优势和不足。在实际研究的过程中，可以采用多种方法进行，互为补充，以弥补方法上的各自缺陷。

【注释】

[1]戴元光：《大众传播学的定量研究方法》，上海交通大学出版社2000年版。