电话调查与网络调查方法的对比研究

第二节　电话调查与网络调查方法的对比研究

传统的面访调查方式,特别是入户面访由于成本高、拒访率上升等问题,采用的比例逐渐下降,电话调查尤其是计算机辅助电话调查(CATI)是目前调查研究最常使用的方法。而随着网络技术的发展和经济水平的提高,网民人数迅速增长,基于网络的调查研究显示出巨大的技术优势和发展潜力。

在西方国家,互联网早于中国起步,以网络为基础的市场调查发展极为迅速,已经成为电话调查之后的又一个重要的资料收集方式^[4]。2007年全球市场信息调查/市场研究项目中定量研究占84%,其中比例最大的是网络调查(29.8%),其次是电话访问(22.6%)和面访(14.2%)^[5]。相比较于全球总体定量调查中网络调查的比例,中国的网络调查/研究的比例相对较低,2007年行业调查结果表明,全国市场信息调查/市场研究项目中定量占68.6%,其中比例最大的是面访(36.0%),其次是电话访问(20.9%),而网络调查仅占到16.9%。

根据各种调查方式的比例,我们不难看出,网络调查已经占据了一定的份额,并对传统的调查方式产生了极大的冲击。从网络调查目前的实际应用来看,它已能够适用于相当部分的新闻传播研究领域,但网络调查的匿名性引发了调查结果有效性的较大争议,网络被访者固有的分布特征也与一般人群的基本分布特征存在一定差异。在有效性和代表性的质疑之外,网络调查方式同电话调查方式本身到底存在何种差异呢?

本次“北京奥运会传播效果”研究的国内受众调查部分在10城市中进行,在奥运会前和奥运会后的两次调查中,都分别采用了电话调查和网络调查的双重调查方法,用以考察网络调查结果的有效性,对比不同调研方式之间的差异。与此同时,运用多元统计方法,在排除混杂因素的条件下,找寻不同调研结果背后的真实影响因素。本节将以北京奥运会传播效果研究为例,对比研究电话调查和网络调查方法之间的差异。

一、电话调查与网络调查的样本比较

综合2008北京奥运会传播效果研究第一次(2008年3月)和第二次(2008年8月)的调查结果,发现电话调查与网络调查方法在样本人口统计特征、调研结果等方面有以下一些差异和特点。^[6]

(一)样本性别差异不大

随着网民人数的不断增加,网民中男女比例也趋于均衡,CNNIC(中国互联网信息中心)从1997年10月到2009年1月的24次连续调研显示,中国网民的男女分布呈现如图8．3．1的变化趋势。其中2009年1月发布的调查数据中国网民男女比例为52．5%∶47．5%,结构逐步优化,趋近于《中国统计年鉴(2008)》所显示的中国居民总人口男女性别比例51.5%∶48.5%。^[7]

这种趋势在本次奥运传播效果研究的前后两次调查中也得到了印证,前后两次网络调查男女比例均与电话调查呈现较强的一致性,虽然网络调查中女性比例仍然低于电话调查中的女性比例,但是差别并不是很大(图8．3．2、图8．2．3)。

图8．2．1　CNNIC中国网民调查男女分布

图8．2．2　第一次调查电话样本与网络样本的男女分布

图8．2．3　第二次调查电话样本与网络样本的男女分布

(二)网络样本较高比例为中青年

年龄方面,电话和网络调查呈现出较大的差异。两次电话调查的样本各年龄段分布较为均衡;网络调查则因网民年龄分布的固有原因,呈现出15—34岁被访者比例较高,45岁及以上被访者比例低于电话调查中比例的情况;另外,由于协助进行网络调查的SSI公司的样本库的构成的局限,调查样本中缺少对14岁及以下被访者的网络调查(图8．2．4、图8．2．5)。

图8．2．4　第一次调查电话样本与网络样本的年龄分布

图8．2．5　第二次调查电话样本与网络样本的年龄分布

(三)网络样本“高等教育程度”比例远高于电话样本

在教育程度的划分上,研究者将各个层次的被访者做了进一步的归类,将小学及以下的被访者归为“低等教育程度”;将初中、高中学历的被访者归为“中等教育程度”;将大专及以上的人群归为“高等教育程度”。

电话样本与网络样本在教育程度方面也呈现出巨大差异。电话样本中,“中等教育程度”人群比例最高,并覆盖“低等教育程度”人群;网络调查样本中,“高等教育程度”人群接近九成,且能够调查到的“低等教育程度”人群极少(图8．2．6、图8．2．7)。

图8．2．6　第一次调查电话样本与网络样本的教育程度分布

图8．2．7　第二次调查电话样本与网络样本的教育程度分布

(四)网络样本“中高收入”和“高收入”人群比例较高

依据电话样本的收入状况分布,研究者将被访者的收入水平做了进一步的归类,将收入在“0—1000元”之间的归为“低收入”人群,将收入在“1001—2500元”的归为“中低收入”人群,将收入在“2501—5000元”的归为“中高收入”人群,将收入在“5001元及以上”的归为“高收入”人群(图8．2．8)。

电话样本和网络样本的收入分布也存在差异。两次电话调查的样本中,“低收入”和“中低收入”的比例接近或超过80%,而在网络调查的样本中,“中高收入”和“高收入”的比例远高于电话样本,均超过20%,第二次网络调查样本更是超过了50%(图8．2．9)。

图8．2．8　第一次调查电话样本与网络样本的收入分布

图8．2．9　第二次调查电话样本与网络样本的收入分布

(五)网络样本中“白领上班族”的比例稳定在四成

两次调查均显示,网络样本中“白领上班族”的比例远高于电话样本,两次调查均稳定在40%左右;电话样本中“无业退休人员”的比例则高于网络样本,第一次调查电话样本中“无业退休人员”的比例甚至超过21%(图8．2．10、图8．2．11)。

图8．2．10　第一次调查电话样本与网络样本的职业分布

图8．2．11　第二次调查电话样本与网络样本的职业分布

(六)网络样本中“未婚”的比例高于电话样本

电话样本中“已婚”者的比例最高,达到甚至超过六成;而网络样本中“未婚”者的比例最高,超过50%(图8．2．12、图8．2．13)。

图8．2．12　第一次调查电话样本与网络样本的婚姻状况分布

图8．2．13　第二次调查电话样本与网络样本的婚姻状况分布

二、电话调查与网络调查的结果对比

综合两次调研,发现两种调查方式的结果在体育意识、媒介接触习惯、赞助商认知等事实型问题的回答上具有一定程度的一致性。在媒介接触习惯方面,虽然对于网络的接触时长、户外媒体的接触频次等问题存在一定差异,究其原因多半是由网络调查样本的人口统计特征差异造成的,如年龄集中在中青年,职业多为白领上班族群。可见网络调查结果对于事实型问题具有较高的有效性。

但值得注意的是,在第二次调查中有关奥运会的态度语句以及奥运认知系列题目,不同调查方式在态度型和知识型两类题目上产生的结果存在较大差异。

(一)态度型问题———奥运会态度语句上的差异(第二次调查)

第二次调查选取13个语句请被访者就自身对于奥运会的态度进行打分。由表8．2．1可见,电话调查和网络调查在13个题目上的平均得分均呈现显著差异。

虽然全部呈现显著差异,但是在有关奥运的负面态度问题(第2、4、7、10题)上没有呈现出规律性。第2和第10题,网络调查的平均分高于电话调查;第4和第7题电话调查的平均分高于网络调查。值得注意的是,第2和第10题,主要涉及奥运总体花费,以及对宏观经济的影响,而第4和第7题,重点关注了民生问题。结合网络和电话样本的情况,网络被访者由于受教育程度、收入水平更高,因此更加关注奥运对于宏观经济的影响,反思较多,倾向于给出低分;电话被访者在教育水平、收入状况方面分布广泛,普通百姓居多,因此对民生问题更为关注,感受强烈,倾向于在民生相关问题上给出低分。

另外,需要关注的是其余的正面态度语句,除12题以外,电话调查的平均分全部高于网络调查。可见两种不同的调查方法可能会影响态度型问题的调查结果,特别是正面态度表述的认同程度,后文将做进一步验证。

表8．2．1　奥运会态度语句打分电话和网络调查的差异(第二次调查)

(二)知识型问题———奥运认知情况上的差异(两次调查)

由图8．2．14、图8．2．15和图8．2．16我们不难看出,电话调查和网络调查被访者对于奥运的认知情况也呈现出一定的差异,网络样本对奥运认知的正确率普遍高于电话样本。第一次调查中对奥运会会徽和奥运军团人数两个问题的回答尤为明显。通过对第二次调查中奥运认知问题赋分合计(即每题正确赋1分,错误赋0分)发现,电话调查和网络调查在奥运认知总得分上呈现显著差异(T=-11.000,df=1794.607,双尾P值=0.000)。

这种情况的出现可能存在着多种因素的影响。研究方法方面,电话调查中混淆题项需要逐一读出,可能会引发被访者的烦躁情绪,影响作答准确性;而网络题项的提示性因素,网络搜索的便捷、答题环境宽松都可能提升奥运认知题目的正确率。另外,网络调查样本中“高等教育程度”的被访者比例高于电话调查,这也成为奥运认知情况良好的重要原因。

图8．2．14　电话样本和网络样本对奥运基本情况的认知度(第一次调查)

图8．2．15　电话样本和网络样本对奥运基本情况的认知得分(第二次调查)

三、调查方式对调查结果的可能影响

仅就上文呈现的存在差异的调研结果,不能简单论定调查方式对结果的影响。因为这些影响有可能是由于其他因素造成的,例如第一部分提到的样本差异。为此我们选取两种调查方式中差异较大的问题,运用多元回归等统计方法进行分析。多因素条件下,剔除样本偏差的影响,将调查方式的可能影响单独地提取出来,寻找可能引致结果差异的关键因素。

寻找因果关系,比较严格的方法是设计有控制组的科学实验,在没有条件采用科学实验的情况下,对于观察或调查的数据,只能采用近似地分析因果关系的方法,如多元回归分析。

我们选择差异较大的问题作为因变量,如上面提到的一些正面态度语句的打分,及奥运认知总得分。自变量则分别为表示样本分布和调查方式的哑变量(性别、职业、调查方式等)或定序变量(年龄分段和收入分段等)。具体的14个自变量如表8．2．2所示。

表8．2．2　多元回归分析中使用的14个初始变量

国内调查的被访者虽然来自10个城市,但是不同城市之间的奥运态度并无显著差异,这里选取的变量已经覆盖了几乎所有的被访者个人信息统计变量。由于两次调查采用的奥运语句不一致,这里以第二次调查中的奥运态度量表(13个态度语句)为例,对比观察电话调查与网络调查的差异。

(一)调查方式对于正面态度语句认同的可能影响

研究将第二部分所示的13个态度语句中所有的正面态度语句(第1、3、5、6、8、9、11、12、13)的评分相加,获得被访者对于奥运会正面态度的评价总分(图8．2．16)。

我们在研究之初,对两种调查方式获得正面态度的总分提出了如下研究假设:

假设1:由于与访问员的互动交流,被访者更倾向于表达积极的态度,电话调查获得的正面态度总分高于网络调查。

假设2:性别、受教育程度等因素对于正面态度总分有较大影响。特别是教育程度较高的被访者,反思问题的能力较强,可能对正面态度的打分更趋冷静和理智。

研究首先运用双独立样本T检验,发现两种调查方式被访者在对奥运会的正面评价方面存在显著差异(T=19.260,df=1876.795,sig=0.000),电话样本对于奥运会的正面评价程度明显高于网络样本。

图8．2．16　电话调查与网络调查奥运正面态度认同打分对比(第二次调查)

这与电话调查和网络调查的答题环境不无关系。电话调查通过访问员提问的方式回答问题,被访者不可避免地要将自己的态度曝光给陌生的访问员,难免存在一定的顾虑,可能更愿意表现自己对正面表述的认同。此外,被访者有可能受到访问员读出正面表述时的积极态度感染,倾向于给出更高的认同分。

网络调查则不同,答题环境开放,更有利于被访者坦率地给出观点,但回答的客观性、严谨性还有待考察。同时也必须排除一些混杂变量的影响,通过多元回归分析,探讨可能影响正面表述认同度的因素存在于何处。方差分析和回归分析的结果如表8．2．3和8．2．4所示。

表8．2．3　奥运正面态度认同打分的多因素方差分析(第二次调查)

表8．2．4　奥运正面态度认同打分的多元回归分析(第二次调查)

从上面的分析结果可以看到,在14个可能影响奥运认知综合得分的自变量中,经过(5次)逐步筛选,最终得到5个显著的变量,按其影响的大小顺序分别是:电话调查、教育程度、年龄分段、性别和婚姻状况。其中调查方式的可能影响最大,采用电话调查的方式,借由访问员的问询和交流,比较网络调查方式,较易获得对奥运会更强烈的正面认同。

其次是教育程度,受教育水平越高,对于奥运的正面认同越低;第三位可能影响因素为年龄,年龄越大,对于奥运的正面认同越高;另外,还有性别的可能影响,男性对奥运会的正面态度认同低于女性;排在最后的影响因素是婚姻状况,不过影响程度比较微弱。多元分析的结果基本验证了上述研究假设。

由此可见,电话调查更可能在正面态度问询方面获得较高认同,这可能是由于人们在交流状况下更倾向于一种积极的态度表达。而性别和教育程度的影响反映在网络调查的样本中,进一步造成了网络调查在正面态度打分方面的相对低值。同时,网络调查答题环境的宽松、独立也容易使被访者给出客观的评价分值。由于变量之间存在着多元共线性等问题,R square的水平也不高,所以上述结果并不是严格意义上的多因素分析,但仍然具有一定的参考价值。调查方式的真正影响和研究假设还有待进一步的检验。

(二)调查方式对于知识型题目正确回答的可能影响

为了考察受众对奥运的认知情况,第一次调查共设计了5个奥运知识问题(图8．2．14)。为便于分析,对这5个关于奥运认知问题的回答进行了赋分操作,正确回答的赋以1分,错误回答的为0分。将每位被访者5题的分数加总,考察其奥运认知情况。

围绕两种调查方式的奥运认知情况,我们提出了如下研究假设:

假设1:受教育程度对于奥运认知状况有较大的影响。受教育程度越高,对外界事物的观察和记忆能力越强,奥运认知得分越高。

假设2:网络调查由于样本的受教育程度和答题环境等因素优于电话调查,奥运认知得分较高。

将两种调查方式进行合并对比,发现两种调查被访者奥运认知平均分存在显著差异(T=-12.485,df=2184.47,sig=0.000),网络调查显示的奥运认知明显高于电话调查(图8．2．17)。

图8．2．17　电话调查与网络调查奥运认知平均分对比(第一次调查)

我们认为,这可能与网络调查中本题选项可视化的便捷性有关,另外,搜索技术的发展也方便被访者在无限制的情况下快速寻找答案。电话调查和网络调查因为其调查方式和受访者教育程度、职业等的不同,认知结果存在着明显的差异。如果要进行进一步的细致考察,仍需要考虑可能的混杂因素及不同调查方式造成的样本差异,为此我们运用多元回归分析,试图从众多可能影响奥运认知的因素中,筛选出主要的、可能有显著影响的因素。回归分析的因变量为有关奥运认知题目的综合得分,自变量为前面表8．2．2给出的14个变量。方差分析和回归分析的结果如表8．2．5和8．2．6所示。

表8．2．5　“奥运认知情况”的多因素方差分析(第一次调查)

表8．2．6　奥运认知情况”的多元回归分析(第一次调查)

从分析结果可以看到,在14个可能影响奥运认知综合得分的自变量中,经过(5次)逐步筛选,最终得到四类(5个)显著的变量,按其影响的大小顺序分别是:教育程度、电话调查、职业和性别。其中教育程度的影响最大,即教育程度越高,奥运认知水平也就越高;电话调查方式对于奥运认知的得分低于网络调查,一方面原因可能是电话调查方式本身会干扰被访者的正确作答,增大错误率,另一方面也可能是由于电话样本对于奥运的认知程度较网络样本低而造成的;职业方面,学生和白领上班族群对于奥运的认知水平较高;男性在奥运认知的综合得分方面高于女性。

通过如上的分析,我们可以看到两种调查方式得到的奥运认知水平差异显著表象下的深层影响因素。首先是教育程度,网络样本中“高等教育程度”的人群比例高于电话样本;其次是职业身份,网络样本中四成比例的白领上班族群在奥运认知方面也表现突出。当然,除了样本方面的影响,电话和网络本身的差异也不可忽视。电话调查过程中,访问员、时长等很多因素都可能会干扰被访者的回答;网络调查中相关题目均给出可视题项,方便被访者的勾选和思考,被访者甚至还可以通过网络搜索的方法提高命中率。

综合来看,影响奥运认知水平的绝不仅仅是调查方式这个单一因素,不同调查方式的不同样本构成,尤其是教育程度对于奥运认知的影响无疑是最主要的。不同调查方式在题项呈现方式等方面也可能较大程度地影响了奥运认知相关题目的作答,造成了电话和网络调查奥运认知水平的显著差异。当然,由于变量之间存在着多元共线性等问题,R square的水平也不高,所以上述结果也不是严格意义上的多因素分析,但同样仍然具有一定的参考价值。两种调查方式在知识型题目方面的差异和影响还有待通过科学实验等方法进一步验证。

四、调查方式研究的一些讨论

通过上述分析,可以得到如下一些初步认识:

第一,电话样本和网络样本的分布状况存在一定的差异。特别是在年龄、受教育程度等方面,网络样本相比较于电话样本,年龄多集中在中青年,即15—34岁之间,中等和高等教育程度占绝大部分。

第二,网络调查的结果在事实型问题上有效性强。在本次调查涉及的绝大部分内容,特别是体育意识、媒介接触、赞助商认知等事实型题目方面,网络调查同电话调查在结果上呈现较高的一致性。但是在一些态度型和知识型问题上存在较显著的差异。

第三,对于事实型题目,不同调查方式也出现了一些不同的结果(如网络的接触时长等),但主要是由样本的不同所造成的。随着技术和教育的发展,网络会更大规模地普及,网络调查样本与电话调查样本的人口分布会逐步趋同,事实型题目的网络调研结果大多都是可以信赖的。现阶段,针对与网民群体高度重叠的目标研究对象进行的事实型题目的调查研究,网络调查结果有效性较好。

第四,但是对于态度型和知识型题目的调查,我们不能忽视不同调查方式本身引致的结果差异。诚如麦克卢汉所说,“媒介即信息”,不同的调查方式本身所载携的信息也是不同的。

电话调查在问卷和被访者之间存在访问员这个中介,访问员的表述和理解也成为调查结果的干扰因素。被访者可能受到访问员的访问态度引导,给出偏向性的答案。或者受到依次读出的多个选项困扰,记忆混杂,难以给出正确答案。而在网络调查中较少存在这样的问题,被访者可以在宽松独立的答题环境中,按照自己的理解进行客观选择,甚至通过搜索引擎获取知识型题目的答案。

在电话调查(CATI)的实施现场,本研究的课题组成员作为督导,通过现场调查进一步验证了上面的推断。

有些访问员在读出态度语句的时候,可能添加了个人的理解色彩,在声调、音色方面存在差异,影响了被访者的判断。而网络调查中被访者面对的是客观严肃的文字,较易给出客观的态度打分。

“奥运认知情况”的5道问题出现在问卷中部,被访者可能已经出现答题疲劳,而复杂的混淆题项由访问员逐一读出,着实难以判断,经常出现需要反复诵读题项的情况,由此造成的高错误率也就不难理解。与此同时,网络调查是给出可视题项,被访者可以在毫无压力的情况对混淆的选项做出认真的辨别。但网络调查存在一个不可忽视的情况,那就是如今网络搜索技术越来越便利,网络被访者中较高比例的中等及高等教育程度存在认知优势,在自由宽松的答题环境中利用网络搜索提高问题的准确率就显得相对容易。