规划评价的类型

第三节　规划评价的类型

规划的评价应作为干预规划的组成部分，完整的评价应包括4个类型。

一、形成评价

形成评价（formative evaluation）在规划执行前或执行早期对规划内容所作的评价。包括为制订干预规划所做的需求评估及为规划设计和执行提供所需的基础资料。

形成评价总的目的是通过需求评估以了解所制订的规划目标和干预措施是否合适；规划实施前对靶人群的了解，以决定适用于该人群的最佳干预方法；产生新观念、探索新策略。

具体内容包括以下几点。

（1）了解目标人群对于各种措施的看法。

（2）选择教育信息并做预试验。

（3）了解教育资料发放系统，包括生产、贮存、批发、零售以及免费发放渠道。

（4）通过调查获得有价值的信息（如文盲率、方言、术语用词），为制订评价问卷提供依据。

（5）问卷的项目通过预调查作修改。

（6）提供定性资料为定量资料做解释或补充说明。

（7）发现实施早期阶段可能出现的问题。

形成评价主要评估现行规划目标是否明确合理、指标是否恰当；执行人员是否具有完成该规划的能力；资料收集的可行性以及项目资金使用的合理性等。总之，形成评价是使规划更完善、更合理、更可行、更容易为群众所接受。

二、过程评价

过程评价（process evaluation）测评的是投入（input）、活动和产出（output）过程。通过过程评价能发现项目执行过程中存在的问题，以便采取修正行动。过程评价的着重点在于项目日常持续进行的操作运转情况，旨在改善项目及其管理。过程评价与监测有相当大的重叠。

过程评价包括对规划的设计、组成、实施过程、管理、工作人员工作情况等进行评价。有人也把形成评价作为过程评价的一部分。过程评价是评估项目活动的质量与效率，而不是评估规划的效果和行为效应，目的在于控制规划的质量。因此，又称为质量控制或规划质量保证审查（quality assurance review，QAR）。

1.过程评价的内容

（1）评估规划实施情况并随时了解现场反应。如教育干预是否适合于教育对象，并为他们所接受；教育干预是否按既定程序得以实施（时间、频率）；干预实施质量如何，是否出现敷衍了事、不负责任的工作作风；教育材料是否全部发放给目标人群；教育干预的覆盖率多少，是否覆盖全部目标人群；目标人群参与情况如何，是否愿意或有可能参与规划，原因何在？干预方法是否有效，何种方法为佳，针对教育对象应如何调整干预方法；教育服务利用情况，如设立各类展览、咨询等服务项目，应了解其利用情况、利用率低原因何在；信息反馈系统是否健全，是否建立完整的信息反馈体系，及时有效地反映规划情况；是否建立必要的记录保存制度，记录的完整性和质量如何。

评估规划的现场反应（实质上就是规划监测）目的在于及时了解规划实施情况，以适时作出调整。因此应准备详细的规划任务书、进度表和各项工作的完成标准，以便对照检查。

（2）评估工作人员工作情况。工作人员的工作情况不仅是指工作人员的责任心与热情，还包括工作人员之间，与教育对象之间的配合与团结情况。应了解各有关部门是否能良好协作和高效地完成项目工作；工作人员对教育对象是否热情、耐心、以诚相待；工作人员的职业技能如何等。可通过内部、同行、领导、教育对象等各种形式进行评估。

（3）项目预试验。对教育材料（文字和形象教育资料）、传播媒介、资料收集表（调查表）等进行预试验并及时地加以修改。

2.过程评价的方法

（1）直接观察各项干预活动。

（2）专题讨论法，倾听提供者与接受者两方面的意见和看法，有助于获得真实情况。

（3）抽查少量目标人群了解他们是否得到有关信息。

（4）记录各项活动，这是最为重要的评估方法，它能提供动态的变化。规范化的报表有助于保证资料的一致性，便于总结和比较，还可将记录结果画成线图等。

三、效果评价

效果评价（effectiveness evaluation）应当证明哪些效果是项目投入造成的，哪些“效果”是非项目因素造成的，并对这两类影响加以鉴别。干预在目标社区的影响作用可与未曾暴露于干预措施下的相似社区（对照）比较。因此，在随访资料的收集中应注意发现一些特别问题，以便确定影响是怎么造成的，和影响的形成在多大程度上是由于项目投入。同时要把定量资料的收集与某些定性调查结合起来。

评价的另一个主要目的是提供如何改进未来的干预规划，以及得出的经验教训和项目推广的一些问题。因此，评价设计必须明确导致项目成功的因素，以及这些因素是否可以运用于其他社区。根据上述的原则应该运用定性研究方法，找出干预计划中哪个是形成影响的最重要的部分。同时，在资料收集时应注意目标人群有什么使项目成功的特点，而这些特点在其他社区是没有的。要重视推广评价结果，共享经验。

如果项目干预可以作为一个模式在别的社区重复，那么非常重要的一点是了解工作人员投入的时间，以及用来取得最大效应的项目设备和经费。保存项目投入的记录，包括工作人员时间以及产生满意的结果所需要的资源和支出。评估在其他社区重复相同水平的投入是否现实。还可在另一个社区投入较少经费，比较目标社区与对照社区的影响差别。如果更多的投入产生了更多的效果，明确更多的经费投入是否值得。总之，目标社区应当参与评价过程，并提供对任何可能已经发生的改变作出解释。

（一）效果评价的内容

1.近期和中期效果评价（impact evaluation）　又称效应评价，是规划评价的重要内容。评价的重点在于规划或规划的某方面对参与者的知识、态度、行为的直接影响。

（1）评估那些影响有关健康行为的倾向因素（包括知识、态度、信念等）、促成因素（资源、技术）及强化因素改变的程度。

（2）评估相关行为改变情况。如有益的健康行为有无增加；有损健康的行为是否得到控制，如人群的吸烟率下降了多少，疾病是否较早得到诊断，暴露于危险环境的机会是否减少，环境状况是否得以改善。

（3）评估政策、法规制定情况。如领导及关键人物的思想观念是否得到转变；是否制定有利于健康的政策、法律；各级行政领导对健康教育的干预参与程度，是否制定了相关的政策；是否为项目的开展创造了支持性环境等。

由于健康教育的效果是建立在知识、信念、行为的转变上，且其最终效果往往要几年、十几年甚至几十年才能表现出来，因此效应评价是健康教育规划评价的重要内容。要使评价结果更具科学性，更有说服力，其评价设计就要求更高，在工作中常需采用对照的方法。

2.结局评价（outcome evaluation）　也称远期效果评价，是评价健康促进规划的最终目的是否实现。结局评价分以下几个方面。

（1）效果。即规划对目标人群健康状况的影响，其评价指标是疾病发病率、死亡率、病残率的变化，了解规划是否影响某病的发病和流行情况，病人存活率及存活时间有无改变等。对于营养健康教育，则以参与者的身高、体重变化为指标。

（2）效益。效益指规划改变人群健康状况所带来的远期社会效益和经济效益。指标主要是生活质量指标，如劳动生产率、智力、福利、环境改善、长寿、人们精神面貌、降低卫生保健成本等。

（3）成本-效益和成本-效果。当我们在制定规划、选择某一方案、评价规划效果时，常常要考虑成本-效益分析（cost-benefit analysis，CBA）和成本-效果分析（cost-effectiveness analysis，CEA），作为科学决策的重要依据。成本-效益或成本-效果分析就是通过计算实施健康促进规划所花费资源（费用或成本）与健康收益进行分析比较，目的在于确定以最少的投入产生最大的效果的规划；比较不同规划的成本-效益（效果）以及决定某规划是否有继续实施的必要性。更重要的是为领导者提供科学依据，我们通常说健康促进规划是投资最小、收益最大，但需要有令人信服的数据，这对于开发领导、鼓励对健康促进的投资有非常重要的作用。

健康教育的最终目的是提高人们生活质量，创造健康文明的世界，有着潜在鲜为人知的巨大效益。因此，结局评价对提高人们思想认识有很大的作用。应该指出的是：效果评价和结局评价都同属于规划评价，规划评价通常处于变化状态，因而，规划评价时要尽可能控制结果的偏倚，但这样做的难度较大。另外，由于规划评价倾向于多面性，随机化方法可能行不通，故常采用准实验研究方法。

（二）效果评价的方法

（1）在干预组或社区中重复横断面调查（有对照组更好），提供基线资料与随访资料，以评估在某特定时期内行为改变情况。

（2）在靶人群中建立哨点监测发病情况，干预前后作比较（有对照组更好）。

（三）评价资料的收集方法

为达到结局评价的目的，可采用定量与定性相结合的方法收集资料：①定量研究方法对问题的回答以“多少”和“多常”表示，量化规划目标达到的程度，并可作统计学分析，如采用有代表性大样本可类推到所代表的全人群。KAP问卷前后调查就是定量的评价方法。②定性研究可获得有关他们是如何想的，什么人有这种想法等更深层的问题，说明某些行为为什么会发生。定性研究用于解释定量的结果而不是描述性的。这种方法是通过少数人的调查而不是随机概率样本。定性资料带有很大的主观性，通常是由少数人调查获得，因而不适于从中得出结论，而仅作为解释和领会之用。定量资料与定性资料相辅相成，不可偏废。

四、总结评价

总结评价（summative evaluation）是综合形成评价、过程评价、效果评价以及各方面资料作出总结性的概括。综合性指标更能全面地反映规划的成败。总结评价从规划的成本-效益，各项活动的完成情况作出判断，以期作出该规划是否有必要重复或扩大或终止的决定。

例如控制心血管病发病率的健康促进规划评价如表8-1所示。

表8-1　控制心血管疾病健康促进规划评价模式

五、评价研究

评价研究（evaluation research，ER）即健康教育的课题研究，往往需要大量的资源，这是社区、学校、企业或医院力所不能及的。需由特定的研究机构来进行，并由健康教育学、心理学、社会学和卫生统计学的专家们齐心协力，共同磋商。评价研究人员则必须具备测量、设计和统计分析等诸多技能。

评价研究是一种以研究为核心目的的健康规划，目的在于验证研究假设，揭示教育干预和结局之间的因果关系，从中获取可推广到其他场所或相似人群的理论知识和方法。因此研究者要充分考虑内外两方面的效力。并力求得出有说服力的结论，所谓内在效力（internal validity）是指规划效果直接归因于教育措施的程度；外在效力（external validity）是指这些归因于干预的效果能推广到相似人群或场所的程度。从现实观点来看，它是用于验证“老真理”、“新设想”的最佳武器。

评价研究的设计依研究目的不同而不同，是一项科学严密的健康教育干预规划。其评价内容广泛，可包括过程评价和效果评价的所有内容。其有别于规划评价，最主要的区别是评价研究是验证假设，为制定干预规划奠定理论基础。评价研究的另一特点是使用随机、对照、双盲的设计原则进行研究，通过标准化规划程序的实验设计以控制偏倚的来源以及外部因素对实验的干扰。简言之，评价研究的主要内容是以科学方法验证一个或多个干预方法的效果。为健康教育理论和实践工作提供科学依据。