满意度研究流程

8.3　满意度研究流程

公共部门为了全面了解自身的公民满意度水平，即公民满意度指数，需要调查了解公众在接受公共部门服务提供过程中的主观感受，并利用统计分析方法将这些主观感受定量化，这是一个目的性和技术性都很强的调查研究活动。为了确保测评结果准确地反映现状并具有管理上的指导作用，公共部门需要有计划、有步骤地实施公民满意度指数测评工作，精心设计研究流程。公民满意度指数测评工作由调查准备、调查实施、调查分析和报告三个阶段，每个阶段又由一些具体的步骤组成，满意度研究流程参见图8-8。

8.3.1调查准备阶段

公共部门绩效满意度调查需要投入一定的人力、物力和财力，是一项系统工程，为了保证调查顺利实施，调查结果真实有效，在具体实施公民满意度调查之前，需要进行周密准备设计，主要包括:明确研究目标和需求、调查对象、调查内容并制定调查计划。

1.满意度研究需求

公民满意度测量中应首先明确研究目标和需求。具体来说:

一是明确公众的优先要求。在市场中取得成功的秘诀在于满足顾客需要，提供顾客想要的产品和服务。同理，在公共管理过程中，公众对公共产品和服务有多样化的需求。为了深层次了解目前公众的需求、满意情况以及公共部门的优劣势，以采取措施改进绩效，赢得公众的信赖和支持，增强合法性，需要着手开展满意度研究和测量。但是，结合不同类型的政府部门，公众的需要和期望不尽相同，有些东西对某些公众来说或许比其他东西重要得多。所以，首先需要明确公民满意结构中各个因素的相对重要性，找出影响公民满意度的关键因素，才能有针对性地作出正确的服务改进决策，有的放矢，合理配置组织资源，以确保公共部门在公众最关心的方面竭尽全力。

图8-8　公民满意度研究流程图

二是监测公共部门绩效表现。公民满意度调查的主要目的是测量公众感受到的组织表现和绩效水平。通过对影响公民满意度的因素进行分析，将公民满意结构各个内容细化、具体化，向公众全面了解公共部门的表现、公共产品和服务水平，追踪组织绩效表现。直观地了解到公共部门服务在公众心目中居于什么地位，并可做横向对比分析以及前瞻性分析。

三是确定改善措施的先后顺序。通过全面追踪公共部门绩效表现，明确影响公民满意度高低的关键因素，从研究中发现提高公民满意度的有效途径，在管理决策和改进措施上有的放矢，列出一个完全不同的措施改进顺序，并通过测量改善后的公民满意度来判断改善措施的效果，持续改进公共部门管理水平和服务质量。

2.明确调查对象

定义和识别顾客是顾客满意度调研面临的一个主要挑战，只有充分识别符合调研项目的顾客才能取得真实有效的信息。在进行公共部门绩效满意度调查之前，需要根据研究目的和需求，明确调查对象，具体包括对象类型判别和选取，即明确对哪些对象进行调查，是内部对象(顾客)还是外部对象(顾客)?如按照我国政府部门的类型划分，大致可分为综合管理部门和行政执法部门。综合管理部门较多地服务于内部顾客，行政执法部门较多地面向外部顾客。因而，通过明确调查对象，更加有利于将公共部门绩效评价满意度调查同处一个平台之上，增强评价结果的可比性。

此外，明确调查对象还需要明确界定公民满意度的操作化定义。在企业顾客满意度指数测评中，通常可采用两种顾客满意度的操作定义，特定交易满意度和积累满意度(或称整体满意度)。特定交易顾客满意度，指顾客在购买某一产品或服务之后对该产品和服务的满意程度，是顾客在短期内对自己的满意程度作出的判断;累积性顾客满意度，指顾客对自己以往消费经历的总体满意程度，包括顾客对产品和服务质量的满意程度，顾客对企业的营销活动的满意程度，顾客对企业形象的满意程度等。顾客往往会根据自己以往的消费经历，决定自己是否会再次购买企业的产品和服务。

因而，两种顾客满意度定义的选择需要在管理需求和理论深度两方面进行平衡。如果公共部门采用特定交易的满意度来定义，则通过调查能够直观了解公众某次享受公共服务的满意程度，如到行政审批办事大厅办理业务及时的满意度评价就属于此类。

3.明确调查内容和方法

由于公共部门绩效评价满意度调查的内容受到公民满意度影响因素重要性的确定方法和满意度指数生成方法的影响，因此需要确定这两种方法。

公民满意度影响因素重要性的确定方法很多，包括主观赋权法和客观赋权法。常用的主观赋权法，包括直接评定法、分值分配法和成对比较评定法等。客观赋权法包括多元线性回归分析、主成分回归分析、偏最小二乘回归、结构方程建模和改进的主成分回归分析等。各种方法都有优势和劣势，需要准确掌握各种方法的特点和适用性，科学选择。

公民满意度指数生成方法有多种，主流的做法是结构方程建模方法。基于结构方程建模的方法主要有两类:LISREL方法和PLS建模方法。PLS建模方法不需要设定严格的假定条件，又称为“软模型”，在顾客满意度评价中，由于顾客的满意评价常常为偏态，不满足正态分布的要求，因而PLS路径建模方法具有自身的优势。LISREL建模方法囊括了多种估计方法，例如极大似然估计、广义最小二乘法等，但要求变量服从正态分布，所以又称为“硬模型”。LISREL方法对于分析存在一定函数关系的问题具有优势。但也存在不足:线性关系的假设无法处理变量间的不对称等复杂的关系，从而不能得出更精确的测评结果;权重的计算对所收集的样本数据的质量要求较高，否则得到的结果会远离实际情况，计算程序相对繁琐^[28]。金勇进等学者通过实际案例分析发现PLS估计方法适用于测量效果差的情况，LISREL适用于测量效果好的情况^[29]。

4.制定调查计划

在调查计划中需要明确调查时间、调查组织方式、搜集数据的方法以及调查经费等。调查计划越细致，调查实施环节工作越有指导作用。

确定调查时间，一是明确调查内容本身所反映的时间，二是明确调查工作的起止时间。对于特定交易性满意度，往往选择对最近一次公共部门办事的满意度评价，对于累积性满意度则适合于近半年或1年内多次接受服务或总体的满意度评价。调查工作的起止时间是指搜集资料、数据整理、数据分析和撰写报告的时间安排。

在确定研究方式上，由于定量调研可以采取的方式包括:面访(包括入户访问、拦截式访问)、邮寄调查、电话调查、电话辅助式的邮寄调查、网上调查等。其中入户访问的要求比较高，要求知道被访者的住址，另外，访问成本是最高的。电话调查要求知道被访者的电话，对于没有电话联系方式的公众则会被排除在调查范围之外，造成样本框的误差。邮寄调查的问卷回收期比较长，另外回答者的构成可能与实际公众样本构成不一致。电话辅助的邮寄调查可以提高单纯的邮寄调查的回收率。拦截式访问的成本较低，访问比较容易受控制。网上调查是近年来新出现的一种调查方式，这种方法费用低廉，简捷便利，但随意性过大，较难控制样本容量和问卷完成进度，且很容易忽略那部分很少上网或不上网的公众，造成样本偏差。结合调研项目的要求，一般可以采取社区内入户调查和政府办事大厅门口拦截访问的方式，保证被访者分布的科学性。每种方法都有其特点和利弊，需要具体甄别选择。一般而言，面访法和电话调查是满意度调查中使用最频繁的两种方法。公共部门需要根据调查目的，结合经费预算，选择合适的数据搜集方法。

在调研机构的选择上，通常采取委托外部代理机构深入调查较好。优点在于外部代理机构比较专业，调查结果较为客观真实。作为第三方评价机构来进行公共部门绩效满意度调查成效较好，如华南理工大学地方政府绩效评价课题组开展对广东省地方政府绩效的满意度调查就属于此类。

8.3.2调查实施阶段

公共部门在调查实施环节具体展开公民满意度调查。调查实施阶段，重点做好以下几项工作，一是选择合适的调研机构，二是科学构建指标评价体系，三是采取适当方式搜集资料。

1.选择调研机构

为了确保获得真实的调查数据，通过合同外包，委托外部专业机构严格按照调查方案所确定的内容实施调查。由于公共部门工作任务较多，加上缺少专业的调查人员，因此有必要聘请外部调研机构进行调研。首先根据开展此次调研的具体要求分别向几家调研公司发出调研需求，规定在一两周内提交项目建议书。收到各调研公司的项目建议书后，通过招标的方式，结合各公司的能力、经验、报价，最终选择一家既能理解调研问题又具备提出合理化建议能力的调研公司来执行公共部门绩效的满意度调查。

2.构建指标评价体系

由于公共部门绩效评价具有多维性和综合性的特点，决定了不能通过简单的直接观测或经验而直接评价，因而需要寻找可以直接评价的要素和方法，这就需要建立科学的满意度测评指标体系。

根据相关资料和公民满意度理论分析，结合调研目的所涉及的内容，形成公共部门绩效的公民满意度基本评价指标;另外经过对公共部门内部人员，如对相关领导和部门公众人员进行访谈和对公众的定性研究，建立补充指标，把这两部分指标分别按照基础指标、辅助指标和相对指标分类，最终构成公共部门公民满意度指数测评指标体系。

基础指标一般由总体满意度来衡量;辅助指标包括不满意比例指标、关键因素满意度、公众信任度、公众抱怨频率、(加权)平均数指标等，相对指标包括:横向差距指标:对比公共部门标杆的差距。下面是一个满意度测评指标体系的示例^[30](见表8-1):

3.设计满意度测评问卷

为了获取更多更全面的信息，问卷采用了结构式和非结构式相结合的方法，所以调研问卷中同时使用了开放题和封闭题。

问卷主要包括两部分。第一部分是有关公众的基本情况，如性别、年龄、教育水平、职业、家庭月收入等有关社会人口特征的问题，以了解公众的人口统计特征。第二部分为主体问题，以指标评价体系为基础设计了10级李克特类型的态度测量问题。被访者在10级李克特量表上表明他们的赞同程度，从“非常不满意”到“非常满意”。主体问题部分还设计了相应的开放题以期更深入地了解公众对公共部门管理与服务的评价，以弥补封闭题难以详细全面的缺陷。

表8-1　公民满意度测评指标体系

4.实施满意度调查访问

在此环节，调研公司就需要按照调研方案中的时间进度、调查方式来实施研究的现场执行，在调研的过程中，绩效评价组织部门也可以派出相应的人员进行现场监控，以监督调查执行的可信度。

8.3.3调查分析和报告阶段

调查所获得的原始数据包含了大量公共部门管理所需的信息，为了将这些信息从零乱的数据中提炼出来，并组织成有价值的调研报告，还需要经过数据整理，综合运用统计分析方法和技术，进行模型运行、拟合，指数因素分析和报告撰写等几个步骤。

1.数据整理

通过满意度调查获得大量的原始数据是分散的、不系统的，因而需要进行数据整理。这里主要涉及两个方面的内容:缺失值的处理和异常值的处理。

产生缺失值的原因有多种，例如被访者拒绝回答某个问题、被访者对某个问题没有给出明确的答复或者被访者认为现有答案并没有包括自己的回答等。需要对每个变量、观测值逐个考察缺失的情况。由于数据缺失比例过大会降低变量的变异程度，从而导致估计值有偏差，因此缺失值的规模需要控制在一个合理的范围内。Cohen(1988)认为缺失率达到5%甚至是10%都是可以接受的，不会造成统计资料的不足。数据缺失情况通常包括下面三种类型:

(1)完全随机缺失(Missing Completely at Random，MCAR)，是随机数据问题中最简单的一种，是指缺失现象完全随机发生的。即难以直接观察出数据缺失部分可能存在的内在规律，而且不完整的数据资料与完整的数据资料之间不存在任何关系。这种情况更多的是由于问卷填写者或者数据资料输入者的一时疏忽造成的。统计分析中，如果将含有缺失的记录删除，估计结果不会有偏差或者偏差很小，通常采取删除法或均值替代法。

(2)随机缺失(Missing at Random，MAR)，是针对已获得调查数据中某一变量而出现的数据缺失。这一数据缺失模型的缺失比起完全随机缺失有所放宽。虽然也难以直接观测出数据缺失的规律，但是数据缺失的模式与数据问卷中的其他变量存在一定的相关关系，或者说数据缺失可能是由于数据文件中其他变量引起的。根据黄芳铭的观点，对于完全随机缺失的数据资料，通常采用删除法和替代法予以处理，对于随机缺失的数据资料，通常采用模型测算法来予以处理。模型测算法通常包括期望最大化法(Expectation Maximization，EM)、最大似然法(Maximization Likelihood，ML)和马尔科夫链—蒙特卡罗法(Markov Chain Monte Carlo，MCMC)等。

(3)非随机缺失(Missing not at Random，MNAR)，是指不满足以上两种缺失方式的情况。数据缺失的模式是非随机的，其缺失规律可以观测解释，不可从数据文件中的其他信息进行预测。

异常值将破坏计算结果的稳定性和准确性，异常值的甄别通常采用残差分析方法，但是残差分析需要以运行PLS模型为前提，利用结果来判断是否存在异常值。^[31]Bollen(1989)提出了一个不依赖于模型的异常值甄别方法。设X是一个n×k的数据表，其中，n为观测值个数，k为显变量个数。令a_ii为矩阵A主对角线上的元素，其中A=X(X'X)^－1X'。a_ii取值范围为0到1，反映了第i个观测值偏离所有变量均值的“距离”，∑i a_ii=k，则平均“距离”为k/n。如果某个观测值的a_ii取值靠近0，说明该观测值是一个“典型的”观测值，如果取值靠近1，则说明该观测值很可能是一个异常值。最常用的异常值处理方法是将观测值直接从数据表中删除。

2.模型运行

将整理后的数据应用公民满意度指数模型，并利用调查准备环节确定的相关方法进行计算。计算结果主要有两类:

一是公民满意度影响因素的重要性，又称为效应分析，或称影响力。效应可分为直接效应和间接效应，加总就是综合效应。效应大小直接反映了各个影响因素对公民满意度的影响程度，效应越大，说明该影响因素的变动会使公民满意度产生较大的变动，反之则较小。不仅可以计算公民满意度原因变量对公民满意度的效应，还可以计算各原因变量显变量对公民满意度的效应，也可以计算原因变量对结果变量的效应。

二是变量指数，是指公民满意度指数模型中所有变量的指数，包括隐变量指数和显变量指数。就隐变量指数而言，既包括原因变量指数、公民满意度指数，又包括结果变量指数。指数高低反映了公众对该变量表现(绩效)的评价，以公民满意度指数为例，公民满意度指数越高，说明公众对公共部门的满意程度越高，反之则越低。

3.指数因素分析

再好的评价体系也只能提供信息，而不能代替决策。运行模型后，得到各影响因素的权重和指数，就可以根据计算结果进行指数因素分析。Martilla和James(1997)创造的重要性—绩效分析(Importance Performance Analysis)是公民满意度指数最主要的指数因素分析方法。

公民满意度受许多相关因素的影响，而各个因素对公民满意度的影响程度各不相同。“重要性—满意度”矩阵分析就是一种偏于定性研究的诊断模型。它列出感知质量的主要指标，每个指标都有重要性和在该指标上的满意度这样两个属性。通过分析各项因素的重要程度和满意度，为公共部门绩效改进提出战略思考。

通常按照指标重要性评价和满意度评价的相对高低，将政府绩效的指标划分为四种类型，分属四个区域。绩效改进策略模型有两个坐标轴，纵轴代表重要程度，横轴代表满意度分值。两轴将图形划分为四个区域，分别为亟待改进区、次要改进区、锦上添花区和竞争优势区。每个区域都代表着不同的含义以及对应着不同的改进策略(见图8-9所示)。

图8-9　满意度—重要性矩阵

A区为亟待改进区:落在该区域的因素表示其具有较高的重要性，但同时在满意度方面较低。相应的改进策略即是高度重视，政府通过进一步调查，加强与群众沟通，分析公民满意度之所以低的原因，并需要立刻进行改善和提高，给予资源优先配置权，尽快使其转变为竞争优势。

B区为竞争优势区:落在该区域的因素无论是重要性还是满意度的评价都较高。这块区域的指标对政府绩效有着举足轻重的作用，一般而言，它往往是政府核心竞争力之所在，相应的策略是将该因素视为主要竞争力来源高度关注，在现有基础上可进一步发展和提高，突出竞争优势。

C区为次要改进区:落在该区域内的因素在重要性方面相对较低，同时满意度评价上也较低。相应的改进策略则是适当关注，在提高了亟待改进的因素后再加强这方面因素的改善。一旦它转化成亟待改进指标的可能性较大时，应当迅速做出反应，以增加资源投入;当它转化成锦上添花的指标可能性增大时，则应当充分考虑成本效益原则，适当维持即可。

D区为锦上添花区:落在该区域内的因素在重要性方面较低，却有比较高的满意度评价。相应的改进策略是适当给予关注，同时继续保持目前的状况为主。

通过分析该矩阵，可对政府目前的公民满意度进行诊断，寻找政府工作和服务的优势和不足，并针对具体情况制定实施、改进和调整的措施。这种找出最大的改进机会的方法称为MOSTER技术。Moster方法的作用就在于利用它能确定改进某个指标的工作，能够使多大比例的公民满意度发生明显的变化，即“改进敏感度”。很明显，当一个指标的满意度得分越低、其重要性越高、改进敏感度越高，则应该是优先改进的，改进该指标对于提升公民满意度的作用最大。

从以上公式来看，对于某一绩效指标而言，公民的重视程度越高，满意度越低，则改进的机会越大，应成为重点解决的问题。

4.撰写研究报告

经过数据的录入处理和分析，最后由调研公司的研究员撰写调研报告。调研报告包括技术报告、数据报告、分析报告及附件等^[32]。

技术报告:抽样是保证顾客满意度研究结果具有代表性的关键。此部分将详述如何定义调查对象、其代表性如何、样本框如何构成、采用何种抽样方法、具体的抽样步骤以及抽样中可能存在的偏差等;访问是保证结果真实性的关键。此部分还将详述访员的遴选、培训、督导中遇到的问题、实施进程，并向顾客说明如何对调查进行复核。

数据报告:将通过频数和百分比列表、图形、简单文字等说明本次调查的主要结果。

分析报告:将通过显著性分析、相关分析、聚类分析等统计方法对调查结果中的内在关系进行分析，用文字和图形来说明分析结果，采取的研究模型有因素贡献度分析模型、提高满意度行动原则模型和满意度比较模型等，最终报告描述了公共部门所处环境的定量轮廓:公共部门在评估层面上的满意度得分和排序、公民满意度的主要影响因素、各个部门的相对强势点和弱势点、各部门在不同公众接触点上的满意度水平的内部横向比较。分析报告还将包含结论与建议，研究人员根据数据报告、数据分析、文案研究、个人经验给出本次满意度研究的结论与建议，这些可能会对决策者有直接的意义。

分析报告附件:包括项目计划书、问卷、开放题统计结果、二手资料及其他对调查报告中的观点有说明意义的材料。比方说，因素贡献度模型是国际咨询业普遍应用的分析模型，附件可包括模型的假设:

①公民对不同公共部门提供的公共服务(或产品)的满意度是有差异的，对某种服务的满意度是由多种因素共同决定的;

②公民知道哪些因素是重要的，哪些是不重要的，知道自己对某项服务的哪些因素是满意的，哪些是不满意的;

③任何组织的资源都是有限的。服务的改进是受到各种因素制约的。因此在众多影响公民满意度的因素中，需要区别出哪些是急需改进的是有重要价值的因素。

④通过公民对因素重要性的评价和满意度评价，能够区分出四种类型的因素，其结果能够通过矩阵图(见图8-9)清晰直观地显示。