首页 理论教育 调查员背景对调查结果的可能影响

调查员背景对调查结果的可能影响

时间:2022-04-23 理论教育 版权反馈
【摘要】:本文仅针对调查员背景对本次调查结果的可能影响,进行了适度的分析,并在此基础上,对如何挑选调查员提出一些参考性的建议。本文拟从两个方面进行探讨,即对完成调查实施任务优劣的可能影响以及对两类问题调查结果的可能影响。

第四节 调查员背景对调查结果的可能影响

问卷调查的实施中,作为“小人物”的调查员实际上往往是“举足轻重”的,这已经成为了共识。所以,对调查员的挑选、培训和监督管理,就成为了现场实施质量控制的关键。本文仅针对调查员背景对本次调查结果的可能影响,进行了适度的分析,并在此基础上,对如何挑选调查员提出一些参考性的建议。

我国目前的调查员队伍主要来自在校大学生和下岗人员,一般认为,调查员应该具备一定的个人基本素质,其中包括:“外表形象要和善、有亲和力、说话吐字清楚、诚实可靠、有高度的工作责任感、能吃苦耐劳、踏实肯干、耐心细致、能服从管理”。[10]。由于经费条件的限制,本研究仅是搭车针对大学生调查员的情况作了一些初步的探索。假定参加本研究调查实施的调查员都具备上述基本素质,因为他们都是北京广播学院新闻学、传播学等专业方向的一年级研究生,经过了各种考试(笔试和面试),并且正在学习《传播学研究方法》的课程,他们也将这项调查的实施作为考核自己学习和锻炼自己社会实践能力的一种机会。

尽管作了这样的假定,但是这些学生调查员的个人背景还是有一些差别,哪些背景特征可能会对调查的结果产生影响呢?例如有些学生有过“访问经验”,有些则是第一次作调查员。一般认为有经验者可能更能胜任,但是也有不同的看法。此外,对参与调查实施的兴趣及其个人的心理素质,是否都有可能对调查结果产生某些影响?如果是的话,会产生什么可能的影响?等等,都是我们希望借助本次研究进行探讨的一些副产品。

还应当注意的是,本研究无意对学生调查员的情况做什么估计或推断,因为这些学生调查员并不是一个随机样本。

研究的具体方法如下:先请所有的调查员在参与实施之前填写一份基本情况登记表,结束之后再填写一个自我评价表。其中基本情况包括:性别(男、女);经验(曾经当过访问员,第一次当访问员);是否北京人(是,不是);普通话水平(自判:很好、还可以、不好);性格(外向、一般、内向);参与社会调查的兴趣(很有兴趣、一般兴趣、没有兴趣);信心(很有信心、还可以、没有什么信心);紧张(很紧张、一般紧张、不紧张);自我评价包括:完成情况(顺利、还算顺利、不顺利);自我评价(做得很好、还可以、做得不好);是否还愿意再做调查员(很愿意、还可以、不愿意)以及成功率等(详见附录中的调查员基本情况登记表和自我评价表)。

然后将调查结果的数据和有关调查员的基本数据结合在一起分析,以期探索两者之间可能的关联性。关于调查结果的数据,本文主要针对了两方面的内容:

(1)关于调查实施的完成结果方面的数据,采用了主、客观评价指标相结合的方法,主观评价指标主要包括调查员自评的三个指标,即“完成情况”、“自我评价”和“成功率”(=有效问卷份数/实际接触的人数);客观评价指标主要有两类,其一是问卷中项目“无回答”的数量(各类问题项目无回答的数量、整个问卷项目无回答的总量),其二是问卷中开放题“回答内容”的数量(若干个主要的开放题所给出的回答内容的类别的数量和总量)。

(2)关于两类问题的调查结果,其一是知识类的问答题(以第六题关于北京申办2008年奥运会的8个知识题为例);其二是态度类的问答题(以第十七题关于对申办奥运会的种种说法的13个态度题为例)。

由于各种原因,虽然参加调查的共有101名学生,但是最终完整地填写了两份表格的只有86人,个别项目只有85人。尽管如此,通过一系列的分析,仍然可以从中得到不少有益的启示。

一、调查员的基本情况

学生调查员的基本情况如表7—4—1所示,从中可以看到,参与本次研究的调查员中,女性(约61%)多于男性、多数没有过访问经验(近7成)、绝大多数都不是北京人(93%)、普通话水平都较好(自评为“不好”的只有2人,但愿这不只是测出了谦虚的人所占的比例)、性格大多为一般或外向(自评为“内向”的不到一成)、对参与调查大多有兴趣(自感“没有兴趣”的不到一成)、也有信心(只有一人觉得“没有什么信心”)、绝大多数不感紧张或只是一般紧张(感到“很紧张”的只有3人)。

在调查实施结束以后,绝大多数调查员都感到任务完成得还算顺利(自感“不顺利”的只有约8%)、而且绝大多数都感到自己的访问做得还可以(自评“做得不好”的只有4人)。不过由于调查员工作的艰辛,虽然多数还表示以后愿意或可以当调查员,但是也有二成多的学生(约24%)表示以后“不愿意”再做了。

表7—4—1:调查员的基本情况

img215

当然,还可以进一步地对调查员的类别做交叉分析。限于篇幅,此处仅列出对性别和其他特征的交叉分析。关于性别,目前不少调查机构都比较倾向于使用女性调查员,那么女性调查员一般情况下真的就优于男性吗?这也是本次研究希望探讨的重点之一。

从表7—4—2至7—4—6中可以看到,在以下几个方面,男性和女性调查员之间有着显著的差异(按照0.05的显著性检验水平):女性调查员中,曾经当过调查员的人数比例显著地高于男性;女性调查员的普通话水平好于男性;对于完成任务的自我评价也好于男性。但是在其他方面,男性和女性调查员之间则没有发现显著的差异。

表7—4—2:调查员的基本情况之一

img216

表7—4—3:调查员的基本情况之二

img217

表7—4—4:调查员的基本情况之三

img218

表7—4—5:调查员的基本情况之四

img219

表7—4—6:调查员的基本情况之五

img220

二、调查员的基本背景对调查结果的可能影响

大学生调查员的性别、是否北京人、普通话水平等基本背景,对于在北京地区进行面访或者电话调查,是否可能会产生一定的影响?本文拟从两个方面进行探讨,即对完成调查实施任务优劣的可能影响以及对两类问题调查结果的可能影响。

1.对完成调查实施任务优劣的可能影响

对于完成调查任务优劣的判定,主要考虑以下五个指标:

(1)关于调查实施“完成情况”

本次调查中,大学生调查员的“性别”对调查实施的“完成情况”没有呈现统计上的显著差异(表7—4—6);类似地,“是否北京人”和“普通话水平”也没有显著的影响(表7—4—7)。注:设定的检验水平为0.05。

表7—4—7:调查员背景对完成调查任务优劣的可能影响之一——完成情况

img221

(2)关于实施情况的“自我评价”

在对实施情况进行的“自我评价”中,“性别”的影响呈现出了统计上的显著差异(表7—4—5),女大学生调查员的自我评价好于男大学生调查员;但是,“是否北京人”和“普通话水平”对“自我评价”却没有呈现出显著的影响(表7—4—7)。注:设定的检验水平为0.05。

表7—4—8:调查员背景对完成调查任务优劣的可能影响之二——自我评价

img222

(3)关于访问的“成功率”

在从表7—4—9中可以看到,如果设定的检验水平为0.05,那么大学生调查员的性别、是否北京人、普通话水平等基本背景的不同水平,对于在北京地区进行面访或者电话调查,访问的“成功率”没有显示出统计上的显著差异。不过如果将检验水平放宽至0.10,则可以看到性别和普通话水平对“成功率”有可能还是稍有影响的。女性调查员的成功率稍高于男性调查员;普通话水平“很好”者,其成功率也稍高于“还可以”者;但是普通话水平自评“不好”的两位调查员,成功率高达75%,似乎有些不可思议,对此笔者的看法是:首先,只有两个个案,不足于做出任何统计上的推断;其次,这两位调查员的其他特征并没有被排除,也许这两位调查员的其他特质导致了他们较高的成功率;还有,自评的标准是由个人掌握的,自评“不好”也许实际上并没有这么差;总之,对于这种类似“奇异点”的现象,需要慎重对待。(注:本来应该追踪一下这两个学生调查员的情况,但是由于进行数据分析时,学生们已经毕业,原来负责的同学又找不到当时调查员对应的编号了。这也是本研究的一个缺陷和遗憾,对此教训笔者以后的研究会引以为鉴。)

表7—4—9:调查员背景对完成调查任务优劣的可能影响之三——成功率

img223

注:***表示P<0.01,**表示P<0.05,*表示P<0.10

(4)关于项目“无回答”的数量

除了采用上述两个主观指标和成功率来评价调查员之外,还采用了一些客观的评价指标,其中之一就是调查问卷中项目“无回答”的数量。所谓项目“无回答”或是数据缺失,就是针对所询问的问题,被访者没有给出答案或是说“不知道”的情况。无回答是一种典型的非抽样误差,调查员的访问质量是影响无回答数量多少的重要因素之一。在相同的条件下,优秀的调查员可以使“无回答”的数量减至最小。

本研究统计了每一个问答题的回答缺失情况,并且进行了适当的归类,分成:事实性问题(问卷中的一至四题:最关注的问题,平时是否看电视、听广播、看报纸、上网,对体育活动是否感兴趣和平时参加的频度)、封闭型知识性问题(问卷中的五至七题:是否知道申办2008年奥运会、有关申办奥运的8个知识题、关于9个消息以及接触渠道的问答题)、开放型知识性问题(问卷中的二十题:知道哪些有关申办奥运的活动)、封闭型态度性问题(问卷中的八、十二至十五、十七:涉及到对媒介报道、对申奥支持、信心、关注以及对种种有关说法的态度)、开放型态度性问题(问卷中的九、十、十一、十六、十八、十九、二十一和二十二题:关于申奥的意义、申奥的利弊条件、政府应做的工作、媒介宣传特点、对宣传的感受、意见或建议等)、个人背景问题(问卷中被访者基本情况中的全部8个题)等。

从表7—4—10中可以看到,按照“性别”、“是否北京人”和“普通话水平”的各组水平,比较各类问题的项目“无回答”数量的组间平均值,方差分析的结果(参看F比值和对应的概率值)显示:如果将检验水平定为0.05,那么除了性别对“封闭型知识性问题”、“知识性问题汇总”和“开放型态度性问题”的回答缺失可能有显著的影响之外,“性别”对其他类型的问题以及“是否北京人”和“普通话水平”对所有类别问题的回答缺失,都没有发现有统计上显著的影响。具体到“性别”的可能影响,对于知识性问题,女性调查员访问结果的平均“无回答”次数较多,而对于开放型的态度性问题,则是男性调查员访问结果的平均“无回答”次数稍多一些。猜测其原因,男大学生更容易让人产生“有知识”的感觉,因此,被访者相对来说可能也就不那么容易放弃对知识题的回答;而对于开放型的态度性问题,一般被访者会觉得麻烦而不愿回答,这时候调查员的态度、表情可能会起到一定的作用,女大学生更容易让人产生“亲切”或“怜爱”的感觉,因此被访者相对来说是需要调查员的追问技巧的,在这一方面,有可能女大学生调查员掌握得更好,所以缺失的就稍少一些。当然这种解释是否合适,还需要以后更多的实证研究的验证。

表7—4—10:调查员背景对完成调查任务优劣的可能影响之四——项目“无回答”(平均值)

img224

注:***表示P<0.01,**表示P<0.05,*表示P<0.10

(5)关于开放题“回答内容”的数量

问卷调查中的开放题,是对调查员的重要考验之一。优秀的调查员,不但能够促使被访者回答,而且懂得追问的技巧,能够尽可能全面、深入地挖掘被访者的看法和意见,对于开放题的“好的”回答,一般来说应该是既有“质”又有“量”的。本研究以问卷中开放题“回答内容”的数量为指标,来评价调查员的实施情况,表面上只是考察了“量”,但是由于这个数量指的是开放题所给出的回答内容的“类别”的数量,所以实际上也包含了一些“质”的意味。所以,用回答内容的“类别”数为指标,笔者觉得可以算是一种简易方便的“巧”方法。

本文涉及到了问卷中的9个开放题,它们分别是第九、十、十一、十六以及十八至二十二题(关于申奥的意义、申奥的利弊条件、政府应做的工作、准备做的贡献、申奥宣传中媒体的特点、北京组织过的活动、对申奥报到的感受、意见或建议),其中前5个题给出了一些可能答案的类别供调查员选择(根据前期的试调查和探索性研究得到的),并作了事先的编码,但是在调查实施中要求调查员“不要读出”这些备选答案,只是按照被访者现场的回答来“勾选”答案;而且调查员也不知道开放题的回答情况将是评价实施结果的一个指标。后4个题是完全的开放题,对调查员没有任何答案的提示,必须逐字记录被访者的回答,因此难度更大一些。本研究除了分别统计9个题“回答内容”的类别数之外,还统计了“回答内容总量”(9个题的“回答内容”类别数之和);并分别按照前5个题(有事先编码)和后4个题(无事先编码)“回答内容”的类别之和,计算了“回答内容总量1”和“回答问题总量2”。即共计12个类别数。

表7—4—11给出了按照调查员背景“性别”、“是否北京人”和“普通话水平”的各个水平计算的上述12个类别数的平均值,同时给出了对应方差分析的F检验的显著性结果,其中三个星号“***”、两个星号“**”和一个星号“*”分别表示在检验水平为0.01、0.05和0.10下显著,也就是说,对应的调查员背景和对应的开放题回答内容呈现出统计上的关联性;符号“——”表示检验结果不显著,即对应的背景和类别数没有什么显著的关联性。

可以看到,在调查员的背景中,相对来说,“性别”与开放题的“回答内容”的关联性最为显著,“是否北京人”与开放题的“回答内容”完全没有统计上的关联性,而“普通话水平”只是在少数的开放题上呈现出微弱的相关。

具体来说,男大学生调查员在前五个开放题中得到的“回答内容”的平均类别数高于女性调查员,其中有四个(编号2—5)差异在统计上达到了非常显著的水平;而女大学生调查员则在后四个特别是最后两个(编号8—9)开放题中,得到了比男大学生调查员更高的平均类别数。编号2—5的四个开放题和编号8—9的两个开放题有两个明显不同的特征:首先在形式上,前者是有事先编码的,而后者没有;其次在内容上,前者询问的是北京申奥的有利和不利条件、政府要做的工作以及个人准备为此做贡献的方式,都是比较“具体”和“理性”的内容;而后者询问的是有关媒体对申奥的宣传报道,个人有什么感受、想法、意见或建议,是相对比较“笼统”和“感性”的内容。本次研究发现男大学生调查员在询问比较“具体、理性”内容的、有事先编码的开放题时,表现更为出色;而女大学生调查员则在询问比较“笼统、感性”内容的、无事先编码的开放题时,表现更为出色。但是从表7—4—11最后三行的数据中看到,虽然男大学生调查员在总量1(有事先编码)上显著地高于女大学生,但是女大学生调查员在总量2(无事先编码)上高出的数量并没有统计上的显著性,因此,可以暂且排除有无“事先编码”这个因素,认为在开放题访问的质量方面,性别的差异主要表现在询问内容的性质上,男性更擅长“具体、理性”的内容,女性更擅长“笼统、感性”的内容。至于这个结论是否一般地成立,还需要更多的实证研究的检验和相关的理论(社会学、心理学)的支持;但是目前至少可以暂时将其设定为一个理论假设。

表7—4—11:调查员背景对完成调查任务优劣的可能影响之五——开放题的“回答内容”(类别数的平均值)

img225

注:***表示P<0.01,**表示P<0.05,*表示P<0.10(表示不显著)

大学生调查员是否北京人看来并不重要,但是其普通话的水平似乎与开放题的“回答内容”有一定的关联性。普通话水平“很好”的调查员,开放题的“回答内容”的平均类别数高于“还可以”的调查员,似乎是在常识之中;但是低于普通话水平“不好”的调查员,并在四个题项和总量1上达到了统计显著的水平,就不太容易理解了。注意到前面在访问“成功率”的分析中,也遇到了类似的问题。这两位自评普通话水平“不好”的调查员,在主观评价和客观评价的指标中,都表现比较突出。

2.对两类问题调查结果的可能影响

本次调查涉及到的问题主要有三大类:事实类、知识类和态度类的问题。这里仅重点考察调查员基本背景对若干知识类和若干态度类调查结果的可能影响。

表7—4—12:调查员背景对两类调查结果的可能影响——知识类和态度类问答题(总分的平均值)

img226

注:***表示P<0.01,**表示P<0.05,*表示P<0.10

表7—4—13:调查员背景对两类调查结果的可能影响——知识类问答题(第六题总分分段的交叉分析)

img227

表7—4—14:调查员背景对两类调查结果的可能影响——态度类问答题(第十七题总分分段的交叉分析)

img228

(1)关于知识类问答题

问卷中的第六题是比较典型的知识类问答题,共有8个小题,涉及到北京申办2008年奥运会的各种相关知识。为了节约篇幅,此处仅对8个小题回答结果加权后的总分进行分析。

参看表7—4—12中对第六题总分的分类平均值的比较,方差分析的结果表明,调查员的“性别”、“是否北京人”和“普通话水平”均与知识类问答题的总分没有什么统计上的关联性。也就是说,没有发现调查员的背景对知识类问答题的调查结果有显著的影响。

如果将第六题的总分按照从小到大的顺序分成五段,分别表示对有关申办奥运会的知识“不了解”、“不太了解”、“一般了解”、“了解”、“很了解”,然后与调查员背景的三个基本指标做交叉表(表7—4—13),这样就可以具体地看到不同背景的调查员所得到的各个了解程度水平的被访者的百分数。应当注意的是,虽然卡方检验的结果表明性别与调查结果之间有微弱的相关性(P=0.044),但是考虑到这是一个大样本的检验,而且列联系数C=0.082又远远小于参考的下限0.16或0.12,因此这种显著性实际上还是不存在的[11]

(2)

问卷中的第十七题是比较典型的态度类问答题,共有13个小题,涉及到对北京申办奥运会的各种说法的态度。为了节约篇幅,此处仅对13个小题的回答结果作过了逆向处理后的总分进行分析。

参看表7—4—12中对第十七题总分的分类平均值的比较,方差分析的结果表明,调查员的“性别”与态度类问答题的总分有显著的关联性,其中,女大学生调查员对态度类问答题的访问结果(48.36),总分的平均值显著地高于男大学生调查员的访问结果(46.42)。如果将检验的水平放宽至0.10,那么可以看到,调查员“是否北京人”与态度类问答题的总分也有微弱的关联性,来自北京的大学生调查员得到的平均总分(48.83)稍高于非北京的大学生调查员的访问结果(47.67)。但是调查员的“普通话水平”与态度类问答题的总分则没有显著的关联性。

如果将第十七题的总分按照从小到大的顺序分成四段,分别表示对北京申办奥运会的态度表现“不积极”、“不太积极”、“积极”、“很积极”,然后与调查员背景的三个基本指标做交叉表(表7—4—14),这样就可以具体地看到不同背景的调查员所得到的各个了解程度水平的被访者的百分数。表中看到,卡方检验的结果表明,调查员的“性别”与被访者的“态度”同样也显示出了非常显著的关联性。不过应当注意,原来方差分析显示出的调查员“是否北京人”与被访者的“态度”之间的微弱关联性消失了;而调查员的“普通话水平”与被访者的“态度”之间的卡方检验结果却显示了非常微弱的相关性(P=0.054),同样考虑到大样本和微小的列联系数C=0.093,因此这种显著性实际也是没有意义的。

综上所述,可以发现通过方差分析和列联表分析的两种方法,都说明调查员的“性别”可能会对态度类的问答题的调查结果产生影响,而调查员的其他两个特征对此则没有什么显著的影响。这个结论是否成立,也还需要以后更多的实证研究来证明。

三、调查员对调查的经验和兴趣对调查结果的可能影响

大学生调查员对调查的经验和兴趣,对于在北京地区进行面访或者电话调查,是否可能会产生一定的影响?此处同样也从两个方面进行探讨,即对完成调查实施任务优劣的可能影响以及对两类问题调查结果的可能影响。

1.对完成调查实施任务优劣的可能影响

对于完成调查任务优劣的判定,也同样考虑以下五个指标:

(1)关于调查实施“完成情况”

本次调查中,大学生调查员的“访问经验”和“参与调查的兴趣”与调查实施的“完成情况”都呈现出了统计上的显著关联性,从表7—4—13中可以看到,卡方检验的概率值分别为0.080和0.036;列联系数分别为0.238和0.330;其中“参与调查的兴趣”表现出的可能影响更为显著。

具体说来,有过“访问经验”的调查员自评实施的“完成情况”都是“很顺利”或“比较顺利”,而没有过“访问经验”的调查员中则有一成多(约12%)自评“不顺利”;不过没有过“访问经验”的调查员,其自评“很顺利”的比例(约13%)却高于有过“访问经验”的调查员。这说明没有经验“第一次当访问员”的大学生,也完全有可能完成得很顺利的。

对调查有无“兴趣”与“完成情况”密切相关,这比较容易理解,对调查“很有兴趣”或表示“一般兴趣”的调查员,其自评的“完成情况”优于对调查“没有兴趣的”;不过进一步的仔细分析可以发现,实际上任务完成相对最为顺利的,是对调查有“一般兴趣”的那些大学生,而不是预想中的那些表示“很有兴趣”的调查员。

这也说明调查员的“经验”和“兴趣”与实施任务的“完成情况”之间的关联性是“非线性的”,因此,如果我们采用的是一般的线性相关分析的方法,如表7—4—15的最后两行所示,也许就无法发现这种关联性了。

表7—4—15:调查员的“经验”和“兴趣”对完成调查任务优劣的可能影响之一——

img229

注:***表示P<0.01,**表示P<0.05,*表示P<0.10

(2)关于实施情况的“自我评价”

在对实施情况进行的“自我评价”中,“经验”的可能影响呈现出了统计上的显著性(表7—4—16),有过“访问经验”的大学生调查员的自我评价好于没有过“访问经验”的大学生调查员;但是,“参与调查的兴趣”对“自我评价”却没有呈现出显著的影响。

表7—4—16:调查员的“经验”和“兴趣”对完成调查任务优劣的可能影响之二——

img230

注:***表示P<0.01,**表示P<0.05,*表示P<0.10

(3)关于访问的“成功率”

从表7—4—17中可以看到,调查员的平均成功率约为62%。虽然“访问经验”和“参与调查的兴趣”水平不同的大学生调查员,对于在北京地区进行面访或者电话调查,访问的“成功率”不尽相同,但是不管将检验水平设定在哪个档次,这些差异都没有显示出统计上的显著性。

表7—4—17:调查员的“经验”和“兴趣”对完成调查任务优劣的可能影响之三——成功率

img231

(4)关于项目“无回答”的数量

表7—4—18:调查员的“经验”和“兴趣”对完成调查任务优劣的可能影响之四——项目“无回答”(平均次数)

img232

img233

注:**表示P<0.01,*表示P<0.05

从表7—4—18中可以看到,如果将检验水平定在0.05,比起“曾经当过访问员”的有经验的调查员,“第一次当访问员”的没有经验的调查员,对于各种类型的问答题,其访问的项目平均“无回答”的次数都要多一些,其中对于“开放型态度性问题”和“个人背景问题”的回答缺失上的差异,达到了统计上的显著性水平

进一步考察在“个人背景问题”调查结果的详细数据,可以看到“无回答”次数的差异主要体现在对敏感问题“收入”的回答上,没有回答“个人月收入”和“家庭月收入”的被访者分别是115位和276位(详细数据的表格此处从略),分别占总样本数的7.9%和18.9%;“无回答”的平均次数分别为0.08和0.19。从表7—4—19清楚地看到,无论是“个人月收入”还是“家庭月收入”,有过访问“经验”的调查员,结果的平均无回答次数(0.04和0.13)都显著地低于没有过访问“经验”的调查员(0.10和0.22)。

表7—4—19:调查员的“经验”对完成调查任务优劣的可能影响之四——“收入”的项目“无回答”(平均次数)

img234

从表7—4—18中还可以看到,大学生调查员“参与调查的兴趣”也与如下的三类问题的项目“无回答”次数有显著的关联性:“事实型问题”、“个人背景问题”和“知识型问题汇总”。但是出乎意料之外的是,在这三类问题中,“兴趣”与“无回答”形成一种“奇怪的”线性关系:即,“参与调查的兴趣”越高的大学生调查员,所完成的调查结果(这三类问题)的“无回答”的情况反而越严重,相比之下,自评对参与调查“没有兴趣”的调查员,其调查任务完成得反而更好(注意,仅就“无回答”的平均次数最低而言)。

因此看来,在减少项目的“无回答”方面,调查的“经验”可能还是起到了一定的积极作用,但是参与调查的“兴趣”,对减少“无回答”基本上是不起作用或是起到了相反的作用的。也许“兴趣”其实并不重要,更重要的可能是责任心:尽管没有太大的兴趣,但是只要负责任地努力去做,可能反而比单凭兴趣去做的为好。当然这种解释是否合适,也还需要以后更多的实证研究的验证。

(5)关于开放题“回答内容”的数量

表7—4—20给出了按照调查员的“访问经验”和“参与调查的兴趣”的各个水平计算的12个类别数的平均值,同时给出了对应方差分析的F检验的显著性结果。

可以看到,这两个特征与开放题的回答内容的类别数的关联性都不高,但是相对来说,“访问经验”与开放题的“回答内容”的关联性呈现得稍为显著一些,而“参与调查的兴趣”只是在极个别的开放题上呈现出微弱的相关。

具体来说,有过“访问经验”的大学生调查员在后四个无事先编码的开放题特别是在其中的两个(编号7—8)开放题中,得到了比没有过“访问经验”的大学生调查员更高的平均类别数,这两个题询问的分别是对北京组织过的有关申奥活动的了解情况以及对这次悉尼奥运会的宣传报道的感受。

而“参与调查的兴趣”只在无事先编码的一个开放题(编号6,关于媒体在申奥宣传中体现的特点)的回答中,呈现出了微弱的显著性,而且也是一种“奇怪的”负的线性关系,即自评“参与调查的兴趣”越低的调查员,询问这个开放题得到的平均回答类别数反而越高。

此处我们又一次地看到,在增加开放题“回答内容”方面,调查的“经验”可能还是起到了一定的积极作用,但是参与调查的“兴趣”,对增加“回答内容”的类别基本上是不起作用或是起到了相反的作用的。在有关“回答内容”方面的这个发现,又一次地验证了前一小节中关于“无回答”方面得到的相似结论。即也许“兴趣”其实并不重要,更重要的可能是责任心:尽管没有太大的兴趣,但是只要负责任地努力去做,可能反而比单凭兴趣去做的为好。当然这种解释是否合适,也还需要以后更多的实证研究的验证。

表7—4—20:调查员的“经验”和“兴趣”对完成调查任务优劣的可能影响之五——开放题的“回答内容”(类别数的平均值)

img235

注:***表示P<0.01,**表示P<0.05,*表示P<0.10(表示不显著)

2.对两类问题调查结果的可能影响

本次调查涉及到的问题主要有三大类:事实类、知识类和态度类的问题。这里仅重点考察调查员的“访问经验”和“参与调查的兴趣”对若干知识类和若干态度类调查结果的可能影响。

表7—4—21:调查员的“经验”和“兴趣”对两类调查结果的可能影响——知识类和态度类问答题(总分的平均值)

img236

注:***表示P<0.01,**表示P<0.05,*表示P<0.10

(1)关于知识类问答题

参看表7—4—21中对第六题总分的分类平均值的比较,方差分析的结果表明,调查员的“访问经验”与知识类问答题的总分没有什么统计上的关联性;但是调查员“参与调查的兴趣”与知识类问答题的总分呈现出了统计上的显著性,也就是说,调查员越有参与调查的兴趣,调查结果的知识题的平均总得分就越低。如何解释这种现象,是具有一定的偶然性的结果,还是具有某种规律性?需要我们在以后的研究中继续探讨。

(2)关于态度类问答题

参看表7—4—21中对第十七题总分的分类平均值的比较,方差分析的结果表明,态度类问答题的结果与知识类的正好相反。调查员的“访问经验”与态度类问答题的总分有显著的关联性,其中,有过访问经验的大学生调查员对态度类问答题的访问结果(48.13),总分的平均值稍高于没有过访问经验的大学生调查员的访问结果(47.55)。当然,这种关联性在统计上只是非常微弱的相关。但是调查员“参与调查的兴趣”与态度类问答题的总分则没有显著的关联性。

四、调查员的个性特征对调查结果的可能影响

本研究用三个简单的指标,即调查员自评的“性格”、“做访问的信心”和“做访问时的紧张程度”,来衡量大学生调查员的个性特征的某个侧面。希望了解这种个性特征的侧面(以下为叙述的方便,简称个性特征),对于在北京地区进行面访或者电话调查,是否可能会产生一定的影响?此处同样也从两个方面进行探讨,即对完成调查实施任务优劣的可能影响以及对两类问题调查结果的可能影响。

1.对完成调查实施任务优劣的可能影响

对于完成调查任务优劣的判定,也同样考虑以下五个指标:

(1)关于调查实施“完成情况”

本次调查中,大学生调查员的“性格”与调查实施的“完成情况”呈现出了统计上的显著关联性,从表7—4—22中可以看到,卡方检验的概率值为0.026;列联系数为0.341。但是,对做访问的“信心”和“紧张程度”,与调查实施的“完成情况”的关联,则都没有显示出统计上的显著性。

具体说来,性格自评为“外向”或“一般”的调查员,完成任务的顺利程度优于性格“内向”者,而且性格“外向”的又稍稍优于“一般”的调查员,即“性格”与“完成情况”呈现出一种线性的相关关系,从表7—4—20的最后两行相关分析的数据中,也可以看到类似的检验结果。看来性格“内向”的人在进

行调查访问工作时,可能会面对更大的困难。

表7—4—22:调查员的个性特征对完成调查任务优劣的可能影响之一——完成情况

img237

注:***表示P<0.01,**表示P<0.05,*表示P<0.10

(2)关于实施情况的“自我评价”

在对实施情况进行的“自我评价”中,“性格”和“信心”的可能影响呈现出了统计上的显著性(表7—4—23)。性格自评为“外向”的和“一般”的调查员,对完成访问的“自我评价”显著地优于性格“内向”的调查员(见卡方检验的结果),但是“性格”和“自我评价”并没有呈现出线性的关系(见相关分析的结果),也就是说,性格“外向”者的“自我评价”并不比性格“一般”者更好。而“信心”和“自我评价”之间则是显著线性相关的(见相关分析的结果),也就是说,做访问越有“信心”的大学生调查员,对完成任务的“自我评价”也就越好;需要注意的是,将这两个指标按照定类变量来处理的时候,这种显著的关联性就没能检测出来(见卡方检验的结果)。

表7—4—23:调查员的个性特征对完成调查任务优劣的可能影响之二——自我评价

img238

注:***表示P<0.01,**表示P<0.05,*表示P<0.10

(3)关于访问的“成功率”

从表7—4—24中可以看到,调查员的“性格”与访问的“成功率”之间有微弱的相关性。具体来说,就是“性格”越趋于外向者,访问的成功率就倾向于越高;越趋于内向者,成功率也就倾向于越低。而做访问的“信心”和是否“紧张”与访问的“成功率”之间都没有呈现出显著的关联性。

表7—4—24:调查员的个性特征对完成调查任务优劣的可能影响之三——成功率

img239

注:***表示P<0.01,**表示P<0.05,*表示P<0.10

(4)关于项目“无回答”的数量

表7—4—25:调查员的个性特征对完成调查任务优劣的可能影响之四——项目“无回答”(平均次数)

img240

img241

注:***表示P<0.001,**表示P<0.01,*表示P<0.05

为了简化叙述,此处仅讨论前5列非汇总的结果。从表7—4—25中可以看到一些很有趣的现象。对于“性格”特征不同的调查员,似乎越是自评为“内向”,其访问结果的无回答的平均次数反而越少;越是“外向”的,其无回答的现象反而倾向于越严重,其中在“封闭型知识性问题”和“个人背景问题”上,“性格”与“无回答”两个指标之间呈现出了这种显著的关联性。由此可见,虽然性格“内向”的调查员其访问的成功率可能相对较低,但是其访问的质量却相对较高。

“信心”与“无回答”也在“事实性问题”、“封闭型知识性问题”和“个人背景问题”上,显示出来类似的显著的关联性。即,对于“信心”水平不同的调查员,似乎越是自评为“没有信心”,其访问结果的无回答的平均次数反而越少;越是“有信心”的,其无回答的现象反而倾向于越严重。

“紧张程度”与“无回答”在“事实性问题”和“封闭型知识性问题”上,呈现出了显著的关联性。只是在“事实性问题”上,这个关联性不再像前两种情况那样是线性的,而是非线性的。即,自评是紧张程度“一般”的调查员,其访问结果的无回答的平均次数最高,而自评是“很紧张”和“不紧张”的调查员,无回答的次数相对较少。而在“封闭型知识性问题”上,两个指标则只是呈现了微弱的线性关系。

进一步考察在“个人背景问题”调查结果的详细数据,同样可以看到“无回答”次数的差异主要体现在对敏感问题“收入”的回答上,没有回答“个人月收入”和“家庭月收入”的被访者分别是115位和276位(详细数据的表格此处从略),分别占总样本数的7.9%和18.9%;“无回答”的平均次数分别为0.08和0.19。从表7—4—26清楚地看到,“个人月收入”与“家庭月收入”的无回答次数,与调查员的个人“性格”有非常显著的相关性,与调查员对访问的“信心”有显著的相关性,与调查员的“紧张程度”也有一些非常微弱的相关性。只是这些相关性的方向与我们平常的印象可能正好相反,具体说来,性格越是“外向”,对做访问越是“很有信心”越是“不紧张”的调查员,其对“收入”调查结果的平均无回答次数可能反而越高。换句话说,性格较为“内向”表示对做访问“没有什么信心”“很紧张”的调查员,在“收入”类敏感问题的访问中,更趋向于受到较少的拒答,在这个意义上访问的质量反而更好。

表7—4—26:调查员的个性特征对完成调查任务优劣的可能影响之四——“收入”的项目“无回答”(平均次数)

img242

注:***表示P<0.001,**表示P<0.01,*表示P<0.05

因此看来,调查员的个性特征在项目“无回答”方面所起的作用可能并不那样简单,为什么有这样的趋势,可能还需要有心理学方面专家的分析;此外,这种现象是否具有一般性,也还需要以后更多的实证研究的验证。

(5)关于开放题“回答内容”的数量

表7—4—27给出了按照调查员的“性格”,做访问的“信心”和“紧张程度”的各个水平计算的11个类别数的平均值,同时给出了对应方差分析的F检验的显著性结果。可以看到,这三个特征与开放题访问结果的回答内容的类别数的关联性比较高,在9个具体的题项中,半数左右的题项的回答类别数都与这些个性特征相关,特别是与“紧张程度”的关系,似乎更为密切。

具体看来,个性特征的各个水平上所显示出来的回答内容平均类别数,也呈现出了类似“无回答”中的有趣的趋势。即,性格越是“外向”,对做访问越是“很有信心”,越是“不紧张”的调查员,其对开放题访问结果的回答内容的平均类别数,反而可能越低。换句话说,性格较为“内向”,表示对做访问“没有什么信心”,“很紧张”的调查员,在开放题特别是有事先编码的开放题的访问中,更趋向于追问到了较多的内容,在这个意义上访问的质量反而更好。

这种现象和可能的趋势,也同样需要有心理学方面专家的分析,以及以后更多的实证研究的验证。

表7—4—27:调查员的个性特征对完成调查任务优劣的可能影响之五——开放题的“回答内容”(类别数的平均值)

img243

注:***表示P<0.01,**表示P<0.05,*表示P<0.10(表示不显著)

2.对两类问题调查结果的可能影响

针对本次调查涉及到的知识类和态度类的问题,考察调查员的个性特征对相应的调查结果有无可能的影响。

表7—4—28:调查员的个性特征对两类调查结果的可能影响——知识类和态度类问答题(总分的平均值)

img244

注:***表示P<0.01,**表示P<0.05,*表示P<0.10

参看表7—4—28中对第六题有关申办奥运的知识总分以及第十七题有关申奥的态度总分的分类平均值的比较,方差分析的结果表明,如果将检验水平定为0.05,那么调查员的个性特征的三个指标(“性格”、做访问的“信心”和“紧张程度”)与这两类问答题(知识类和态度类)的得分之间都没有什么统计上的关联性。但是如果将检验水平放松至0.10,那么做访问的“信心”与第六题的总分之间则呈现出微弱的相关关系。具体来说,就是表示对做访问越有信心的调查员,对第六题申奥知识类问答题访问结果的平均总得分就倾向于越低。如何解释这种现象,是具有一定的偶然性的结果,还是具有某种规律性?也还需要我们在以后的研究中继续探讨。

五、选什么样的调查员?——一点启示

选什么样的调查员?这个问题似乎已经不是问题了,因为许多有关的书籍中都给出了调查员应具备的条件和素质的一般原则[12],一般的调查公司也有自己的具体的标准,例如如果在北京选择大学生做调查,那么在基本条件相同的情况下,一般都会可能更倾向于录用女性、北京人、普通话水平好的、有经验的、对调查有兴趣的、性格比较外向开朗的、和不那么紧张的大学生作调查员。

那么,这些在调查行业里已经被比较认同和采用的具体的标准是否真的一般适用?或是针对不同性质的调查内容,选择的标准是否应该有所不同?如果是的话,具体应该如何有所不同?

本研究不可能对上述问题给出全面的准确的回答,但是希望借助一个个案来探讨一下调查员的个人背景、经验和兴趣以及个性特征对调查结果是否可能有所影响,可能的具体影响如何表现,等等,从而在如何选择调查员这个问题上,寻求一些更具体的有针对性的做法。

为了更加清晰地梳理本文前面的讨论和分析结果,现将其简要、直观地总结在表7—4—29中。

表7—4—29:调查员对调查结果的可能影响

img245

注:***表示P<0.01,**表示P<0.05,*表示P<0.10

从前面的分析以及表7—4—29的总结,我们对大学生调查员的选择提出以下的一些初步的看法,这些看法是否具有一般性,还需以后更多的实证研究进行验证。

1.在个人背景方面,“性别”是一个很重要的因素,而相比之下,“是否北京人”和“普通话的水平”就没有多少重要性。具体来说:

(1)“女性”调查员对完成调查任务的自我评价高于“男性”,例如访问的“成功率”较高,认为调查“做得很好”的比例也较高;

(2)对于访问成功的那些个案而言,“女性”调查员所完成的质量(针对项目无回答和开放题的追问)并不一定高于“男性”。相比之下,“男性”调查员在完成知识性、具体的、理性的问答题方面具有优势,“女性”调查员则在完成态度性、笼统的、感性的问答题方面具有优势;

(3)对于需要追求高的成功率的一般性调查,可以考虑更多地选择“女性”的调查员;对于比较有难度的、更多地追求个案回答质量的调查,则应视问答题的性质来决定:理性为主的可以更多考虑选择“男性”调查员,感性为主的则应多考虑选择“女性”调查员。

2.在经验和兴趣方面,访问的“经验”对完成调查任务似乎有一定的好作用,但是对做调查的“兴趣”,在完成任务中却没有积极的作用,有的可能还是相反的作用。具体来说:

(1)“曾经当过调查员”的大学生在完成任务的主观评价和完成质量的客观评价方面,基本上都优于“第一次做调查员”的大学生;

(2)对于做调查的“兴趣”与完成的质量之间呈现出一种预料之外的负向的线性关系,即,越是自评“没有兴趣”的调查员,其访问中出现的项目无回答的平均次数反而越少,而开放题的回答内容的平均类别数则越高;

(3)在选择调查员的时候,可以适当地考虑其“访问经验”,但是可以完全不顾及其对调查工作是否有“兴趣”,更关键的应该是调查员的责任心。

3.在个体特征方面,“性格”相对来说是最重要的因素,对做访问的“信心”和“紧张程度”在完成任务中也没有积极的作用,有的可能还是相反的作用。具体来说:

(1)与性格“内向”的调查员相比,性格“外向”或“一般”的调查员完成任务更为顺利,但是在完成访问的质量方面时,性格“内向”的调查员可能反而更好,很耐人寻味;

(2)虽然对于做访问的“信心”越强,对于完成任务的自我评价就越好;但是从完成访问的质量看,“信心”越弱的调查员的实际效果反而越好;

(3)对于做访问表示“不紧张”的调查员,其完成任务的质量也不如那些表示“很紧张”或“一般”的调查员;

(4)在选择调查员的时候,对“性格”因素的考虑类似于对“性别”的考虑:比较简单的、追求成功率的调查可以多考虑使用性格比较“外向”的调查员;而比较复杂的、敏感的调查,则不一定选用“外向”的,结合其他条件,性格“内向”的调查员也可能更适用。对于调查员事先对完成任务表示的“没有信心”和“很紧张”的情绪,不必过于在意,因为这不一定是坏事,或者完全可能转化成更大的动力。

4.调查员的个人背景、经验和兴趣以及个性特征对调查结果的可能影响,主要体现在对任务完成的顺利程度和调查质量方面的影响,对于具体的调查问答题的调查结果,例如知识类问答题和态度类问答题的总分,相比之下,则几乎没有什么很明显的影响。

5.在评价调查完成情况的两大类指标中,项目“无回答”的数量以及开放题的回答内容的类别数,是比较有效的客观独立的评价指标;而自评的关于完成情况和完成率自我估计的一些主观指标,与调查员自身有很大的关联性,最好只是作为参考的指标使用。

【注释】

[1]Morrison,D.E(1998)The Search for a Method—Focus Group and the Development of Mass-Communication Research,University of Luton Press

[2]常昌富、李依倩编选,关世杰等译,《大众传播学:影响研究范式》,中国社会科学出版社,2000年版

[3]斯蒂文.小约翰著,陈德明、叶晓辉译,《传播理论》,中国社会科学出版社,1999年版

[4]赵水福:《中国社会心理的轨迹——亚运宣传效果调查报告集》。

[5]柯惠新、黄京华、沈浩:《调查研究中的统计分析法》,北京广播学院出版社,1992年版。

[6]柯惠新、黄京华、沈浩:《调查研究中的统计分析法》,北京广播学院出版社1992年版。

[7]参考柯惠新等的“调查研究中的统计分析法”

[8]Wonnacott,T.H.and Wonnacott,R.J.(1984),Introductory Statistics for Business and Economics,John Wiley&Sons

[9]Wonnacott,T.H.and Wonnacott,R.J.(1984),Introductory Statistics for Business and Economics,John Wiley&Sons

[10]王文利等:《现场实施操作手册》,中国国际广播出版社,2000年出版。

[11]柯惠新、黄京华、沈浩,《调查研究中的统计分析法》,第254~255页,北京广播学院出版社,1992年版。

[12]柯惠新、刘红鹰:《民意调查实务》,中国经济出版社,1996年出版,第286~287页。王文利等:《现场实施操作手册》,中国国际广播出版社,2000年出版,第103页。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈