农业科技传播效果的评估方法

第三节　农业科技传播效果的评估方法

评估是对传播工作进行阶段总结的综合过程。由于农业的持续发展，生产条件的不断变化，一项新技术在传播过程中难免会出现不适应农业发展的要求，因此，传播过程中应对技术应用情况和出现的问题及时进行总结。传播基本结束时，要进行全面、系统的总结和评估，以便再研究、再提高，充实、完善所传播的技术，并产生新的成果和技术。

对农业科技传播的技术或项目进行评估时，技术经济效果是评估传播成果的主要指标。同时，也应考虑经济效益、社会效益和生态效益之间的关系，不论进行到哪一步，都应该有一个信息反馈过程，使传播人员及时准确掌握项目传播动态，不断发现问题和解决问题，加快成果的转化速度。⁽⁵⁾

农业科技传播工作要遵循传播步骤，但更重要的是传播人员要根据当地实际情况灵活掌握和运用，不可生搬硬套。

一、农业科技传播效果的评估方式与方法

(一)农业科技传播工作的评估方式

1.自检评估

这是传播机构及人员根据评估目标及原则收集资料，对自身工作进行自我反思和自我诊断的一种主观效率评估方式。这种方式的特点是：传播机构的人员对自身情况熟悉，资料积累较完整，投入较低，所以评估成果就低。但由于评估人员对其他单位的情况了解不够，往往容易注重纵向比较而忽视横向比较，因而对本单位的问题诊断要么有一定的偏差，要么深度不够。所以要求评估人员要不断地了解本单位以外的各种信息。

2.项目的反应评估

这种方式通过研究农户对待传播工作的态度与反应，鼓励以工作小组的形式来对传播工作进行评估。这种方式在很多方面都优于主观的效率评估方式，它使传播人员能研究农户是如何看待传播项目的有效性，并能获得如何改进项目各方面工作的第一手资料。因为它将项目评估方法作了标准化和简化，用标准化的询问题目供人们填空，从而使对正式评估没有经验的人也能接受它，而且为在传播中修订项目计划提供了可行性的思路与观念。此外，由于在项目反应评估进程中允许使用义务工作人员，故使传播工作能更好地提高义务人员评估公共项目的能力，从而增强他们的领导技能。项目反应评估进程可以获得很多具体的信息。例如，农户对项目活动的反应，知识、技能的变化情况，采用行为的结果及其综合影响等等。这种方式可能遇到的问题有：

①评估人员可能并未理解项目评估步骤中所包含的逻辑；

②例证可能含糊不清；

③被询问者对项目价值的估计可能受到他们对项目工作人员及传播情况的看法的影响等。

因此，使用这一方式时，应尽可能多地利用探讨性问题来扩大对某一问题的回答范围，核实并取消那些没有事实根据的回答。

3.专家评估

这种方式是组织一些专家对某单位的传播工作进行评估。由于专家们具有广泛的传播经验，评估也较中肯，能较好地进行横向比较，并且从不同的角度对被评估单位的工作进行透视和剖析，从而能较好地发现深层次的问题。但这种方法花的时间及费用较多，有时专家碍于情面，不直接指出问题的所在。因此，需要在评估活动中创造一个宽松和谐的气氛。

(二)农业科技传播工作的评估方法

农业科技传播工作的评估方法是指评估时所采用的专门技术。评估的方法种类繁多，需要根据评估对象及评估目的加以选用。总的来说，从大的方面来讲评估方法可以分为定性方法和定量方法两大类。⁽⁶⁾各大类中又有很多小类，限于篇幅，这里只选择几种常用的评估方法加以阐述：

1.定性评估法

定性评估法是一个涵义很广的概念，是指通过被调查者的感受来进行评估的方法。在农业科技传播工作评估中常常用定性分析方法来评估一个传播单位或一个地区农业科技传播工作的各个方面，这种方法有助于从整体上把握一个地区或单位的传播状况。它把评估的内容分解成许多项目，再把每个项目划分为若干等级，要按重要程度设立分值，作为定性评估的量化指标。例如，在评估某传播机构开展技术传播的情况时，可以考虑选择以下几个评估项目：传播技术项目的多少；项目传播后取得的直接或间接效益的大小；技术开发研究能力的大小；各种传播方法的应用情况；传播人员的素质与工作热情；传播机构技术扩散机制的好坏；农村社区成员对传播过程的参与程度；传播机构与横向部门联系及配合情况等等。对于每一个评估项目，都可以让各个评估人员打分，然后计算平均分。通常可把定性评估项目及打分要求列表于下：

在定性评估时，评估人员应当通过各种途径，如访谈、查阅资料、听取汇报等，弄清基本情况和事实，然后根据评估要求在评估表的相关栏目内打勾。由于一般需要10名左右的评估人员，故最后还需计算各位评估人员的评估总分，得出的平均分即为该传播单位应得的评估分数。

2.比较分析法

这是一种很简单的定量分析评估方法。一般是将不同空间、不同时期、不同技术项目、不同农户等的因素或不同类型的评估指标进行比较。相比较的评估指标既可以是总量指标，也可以是相对指标或平均指标。比较的内容主要是：纵向比较、横向比较、点与面的比较等。纵向比较是现在与过去的对比，未来与当前的对比，这较多地运用评估某项技术采用前与采用后的效果比较，以及对某项技术未来采用的预期收益与现在的情况相比；横向比较是单位之间、地区之间、国内外的对比，也可以是不同技术项目采用状况的对比，或者是不同类型目标团体传播行为的对比；点与面的比较是个别与一般、局部与全局、具体事实与大背景的对比。

进行比较分析时，必须注意资料的可比性。例如，进行比较的同类指标的口径范围、计算方法、计量单位要一致；进行比较的技术、经济及社会现象之间，其性质必须是同一的，也就是说经济职能、技术性质、生产规模要基本相同，客观条件要基本相同；进行比较的评估指标的类型必须是一致的。

在农业科技传播评估中，比较分析法用得较多，特别是在评估不同农业技术措施的技术经济效益时，它不失为一种简便易行的评估方法。

3.综合评估法

这是一种将不同性质的若干个评估指标转化为同度量的并进一步综合为一个具有可比性的综合指标进行评估的方法。综合评估的方法主要有：

(1)关键指标法，即根据一项重要指标的比较对全局做出总评估。

(2)综合评分法，即选择若干重要评估指标，根据评估标准规定计分方法，然后按这些指标的实际完成情况进行打分，根据各项指标的实际总分做出全面评估。

(3)加权平均指数法，即选择若干重要指标，将实际完成情况和比较标准相对比计算出个体指数，同时根据重要程度规定每个指标的权数，计算出加权平均数，以平均指数值的高低做出评估。

在农业科技传播评估中，常常用综合评估法来评估不同技术方案的优劣，具体可参考如下应用步骤：

(1)确定评估指标和项目。首先考虑土地生产率、劳动生产率和资金产品率三类经济效果指标。土地生产率类指标一般有三个：每亩产量、每亩产值和每亩盈利。劳动生产率指标有两个：一个是以实物形态计算的，另一个以价值形态计算。资金产品率指标也有两个：每斤粮食成本和每元成本产值。一共是七个经济效果指标。为了有可比性，可以去掉其中的三个实物形态指标。同时考虑到这三种种植制度对土壤肥力的影响会很不相同，因而可以把不同种植制度对土地肥力的影响列为加权评分的项目。这样，一共选择了五个评估指标与项目：每亩产值、每亩盈利、每亩日产值、每元成本产值和对土地肥力的影响。

(2)对各个指标及项目进行加权。实际情况决定了各地区在不同条件下各个评估指标及项目有不同的重要性，因而要进行加权。现在假定该地区粮食已较丰足，劳动资源也十分丰富，人们要求多产细粮，比较侧重于在生产经营中多获盈利。这样，可对五个指标与项目按下列方式进行加权：

每亩产值(W 1) 30％

每亩盈利(W 2) 20％

每亩日产值(W 3) 10％

每元成本产值(W4) 15％

对土地肥力的影响(W 5) 25％

合计100％

(3)按选定的指标及项目确定评分标准。为简单起见，一般可采用五级评分。评分的范围可以按当地生产情况和调查或实验所得资料确定。例如每亩产值这个指标，取最低为M1，最高为M5，便可以在M1和M5之间划5段评分。低于M1元定为0分，M5为5分，如下表第二栏所示，其他几个指标的评分标准可以按照此法类推。

(4)编制综合评分表

根据已定的权重及评分，用权重的百分数乘以所评分数，就是积分，把积分加总就是积分合计。用公式表示为：某种种植制度的积分合计=W1P1+W2P2+…WnPn=，积分合计最高的就是综合经济效果最佳的生产技术措施。

4.函数分析法

函数分析法是运用数学中的函数概念，建立反映农业科技传播过程的数学模型，评估某些因素对农业科技传播工作的影响。在农业科技传播工作评估中最受欢迎的函数分析模型要数技术进步贡献分析模型和技术扩散数学模型。前者主要用来分析技术进步时经济发展的贡献，当然也可用来分析农业科技传播对农业发展的促进作用。后者主要借助技术扩散曲线来描述某项技术采用与扩散过程，包括扩散程度及扩散速度等多个方面的研究。常用的具体模型有：c—D函数模型、Comper2模型、Halter模型、Logistic模型、Probit模型等。

5.功效系数法

功效系数法是根据多目标规划原理，以功效系数对多目标问题做综合评价的方法。在进行农业科技传播效果的评估时，当评价方案的因数很多时，可以采用功效系数法，化多因数为单因数。其原理是，在多目标规划中，如果某个解使某一目标函数的值接近其最优值，就认为它对该目标的功效高，反之，就认为其功效差。实现目标的好坏，用功效系数来表示。功效系数法适用于给出了目标函数的上下限值，即可接受值与最优值的情况。同综合评分法一样，目标之间关系简单，一般是并列的，方案与目标之间是直接相关关系。所以，在进行多方案的比较选择时，功效系数法是比较常用的方法。

6.费用—效益分析法

费用—效益分析方法可分为静态分析方法和动态分析方法两大类。“费效”分析一般以货币为计量单位，由于货币使用的时间与流通的速度、方式都对货币的价值发生影响，所以在进行分析时，需要考虑货币的时间价值，尤其是那些投资额比较大，涉及的周期较长的项目更是如此。静态分析与动态分析的区别在于，前者不考虑资金的时间价值，后者把时间作为重要的因素加入分析。

7.统计分析法

统计分析方法的基本内容来源于统计学，统计学是19世纪的伟大成就。统计分析一般分为描述性统计分析和推断性统计分析。描述性统计分析是运用统计数学解释所研究的对象，目的是用较少的数字来解释对象，使我们能够更集中而清晰地看到有价值的内容。例如，如果我们要调查一项农业科技传播活动对5000个传播受众的影响，我们很难将5000个受众的答案写在一张纸上，也很难对5000个答案做出总结。但如果将5000个答案通过某种形式组织起来，分析这5000个答案就会变得容易得多。因此描述性统计分析对我们的研究是非常有帮助的。推断性统计是根据概率论和统计学的原理，将随机抽取的样本进行统计，获得各种数值，如百分数、平均数、相关系数等，并以此为基础去推断相应的总体的研究方法。

二、农业科技传播效果的评估步骤

农业科技传播工作的评估步骤是根据具体农业科技传播工作的特性而定的，它反映了评估工作的连续性和有序性。一般而言，它包括以下几个步骤：明确评估范围与内容、选择评估标准与指标、确定评估人员、收集评估资料、实施评估工作、编制评估报告。⁽⁷⁾

(一)明确评估范围与内容

一个地区或单位的农业科技传播工作要评估的范围和内容很多，它涉及到传播目标、对象、组织管理、方式方法等各个方面。然而，在特定时期和特定条件下，需要根据评估的目的，选择其中的某个方面作为重点评估范围与内容。例如，是控制评估还是最终评估；是评估不同传播方法的优劣还是评估传播组织机构的运行机制；是评估技术效益还是评估综合效益；是评估教育性农业科技传播目标实现的程度还是评估经济性及社会性农业科技传播目标的实现程度，等等。现实中，一般实施结果和实施方案的评估较多。当传播项目结束时，都要对项目全貌进行综合性的评估；引进项目适应性试验、示范、传播的各个环节结束时，也需要予以评估。当传播管理工作跟不上并影响农业科技传播工作时，需要总结经验、克服弊端，也可以把传播组织管理作为评估的主要内容；在项目实施中，若发现决策目标偏高或偏低，可以对决策目标进行评估，以便进行信息反馈。

(二)制定评估计划评估计划必须说明：

(1)评估的目的是什么；

(2)评估的主要内容是什么；

(3)什么时候进行评估；

(4)谁来进行评估；

(5)需要从哪里收集哪些资料；

(6)用什么方法进行评估；

(7)经费开支情况。

其中，评估人和评估技术方法的选择尤其重要。一般而言，任何一个需要了解项目情况的人或机构都应该进行评估，例如项目资助机构、推广人员、项目参加者、项目负责人、社会公众、行政管理机构、立法机关、专家等等。但是，项目的发起人、主持人或者执行人更有可能对项目进行评估。根据评估人与项目间的关系，通常将评估分为内部评估、外来评估和联合评估。内部评估是指由项目内部成员进行的评估，外来评估是指由项目外部人员进行的评估，联合评估是指由项目内部人员和外部人员共同进行的评估。这三种评估各有利弊，要根据评估的目的和时间等因素加以选择。例如，过程评估一般应由项目内部人员进行；阶段评估有时由项目外部人员进行，有时有项目内部人员参与；最终评估主要由项目外部人员进行。在制定评估计划时，一旦确定了评估的目的、范围和时间，便可以参考此表选择评估人。

可见，选择评估人在很大程度上取决于评估的目的和条件，而对评估人的选择反过来又决定要采用的评估技术或收集资料的方法。在项目评估中，经常使用的技术方法除了一般的调查法、访问法、观察法、对比法以外，还有集中采访法、推广销售分析法、传媒反馈法、问卷调查法、网络分析法、参与式农村评估法以及函数与模型分析法等。目前许多国家和地区在农业科技传播评估中，往往是把多种评估技术结合起来使用，美国采用的项目反应评估法就是—例。

(三)选择评估标准与指标

为了进行评估，我们必须有表明已达到目标程度的标准和指标。这些指标可以量化评估的项目，使传播绩效具体化。本章第二节中已对评估标准和指标作了详细的论述，这里我们必须把这些标准和指标编入评估计划之中。对于不同的评估内容，需要选择不同的评估标准和指标。然而对于大多数农业科技传播项目而言，以下几个标准是常用的：

(1)创新的扩散及其在目标群体中的分布；

(2)收入增加及生活标准的改善及其分布情况；

(3)传播人员同目标群体之间的联系状况；

(4)目标群体对传播项目的反应评估。

(四)确定评估人员

这包括评估人员数量与类型的选择。评估人员的数量应根据评估的内容而定，应有一定的代表性和鲜明的层次性。一般来说，对大型的传播项目或者时间跨度较大的项目，人数应多一些，反之则可少些。选择评估人员的类型在很大程度上取决于要回答的问题，对评估人员的选择反过来又决定要采用的方法。某些方法要求经过培训的专业人员。另一方面，我们要求评估能改善传播工作，通过传播人员参与评估和寻求目标团体的合作是达到这一目的的最佳途径。因此，在具体选择评估人员时，应当权衡各类评估人员的优缺点。在确定了评估的目的、范围与内容之后，下表可以作为决策的一个辅助手段。

各类评估人员的优点和缺点

(五)收集评估资料

这是农业科技传播工作评估的基础性工作，也是根据评估目标收集评估证据的过程。评估资料有现成的，也有采用各种方式收集的。评估资料收集的关键在于要拟定好评估调查设计方案，做到切合实际，既能满足评估工作的需要，又要易于操作、便于存档。

评估调查设计方案是根据评估内容和目的提出的。在实践中，通常是根据不同的评估内容寻找相应的硬件及软件资料：

(1)评估传播的最终成果时，需要在调查设计方案中列出：产量增减情况、农民收入变化情况、农民健康及生活环境状况等。

(2)评估技术措施采用状况时，需要列出对采用传播项目的认知、采用者的比例、数量及效果等。

(3)评估知识、技能、态度变化时，需要列出农民知识、技能提高的程度、对采用新技术的要求、学习的态度和紧迫感等。

(4)评估农业科技传播人员及其活动时，需要列出传播工作的准备、活动过程的观察、视听设备的利用情况、传播人员对其他完成任务情况的记录、通过非正式渠道了解到的评估信息等。

(5)评估传播投入时，需要列出传播人员活动所费时间、财力、物力、社会各界为支持传播活动所投入的人、财、物力等。

总之，要根据评估的主要内容，设计需要调查统计的数据和材料。在此基础上，采用一些具体的方法来收集资料。常用的资料收集方法有：

1.访问法

调查者直接到现场面对面地征求有关人员的意见，个别访问或开座谈会，配合查阅有关的资料，对了解到的情况做好记录，访问的对象有地方领导人、传播人员的同事及传播人员本身、农民、专家、学者等。这是一种双向沟通并有利于信息反馈的好方法。

2.直接观察法

通过直观考察，对日常传播工作的评估资料进行直接估量和检查，例如：农作物的实际生长情况，农民的生活情况，以前报告的内容与直接观察的情况是否一致。举办演讲会传播技术时，可以观察农民对演讲的态度，农民是否感兴趣等。使用这种方法应切忌主观因素或先入为主。其优点在于获得的资料准确性高，缺点是花费的人力和时间较多。

3.问卷调查法

根据评估的目标与内容，相应设计一些标准要素，制成表格，标明各要素的等级差别和对应的分值。然后将其发给有关人员征求意见，与调查对象不直接见面，是一种间接收集资料的方法。实践中常采用通讯方式，将调查表或调查问卷邮寄给被调查者，由被调查者按规定要求填好寄回，故又称为通讯法或邮寄法。

4.重点调查法

在调查对象中选择一部分重点单位进行调查，是非全面调查的一种。组织重点调查的重要问题是确定重点单位。重点单位的多少根据调查任务要求和调查对象的基本情况而定。一般说来，所选出的单位应该尽可能少些，而其标志值在总体中所占的比重应该尽可能大些。重点调查能以较少的投入、较快的速度取得较准确的反映主要情况或基本趋势的统计数据。它可以用于不定期的一次性调查，也可以用于经常的连续调查。

5.典型调查

它是在调查对象中有意识地选出个别的或少数的有代表性的典型单位进行深入和周密调查研究的方法。它一般是研究人员根据调查目的，拟定调查提纲，选定有代表性的单位，亲自深入下去开调查会或个别访问，然后根据座谈和访问记录，进行分析研究，找出有普遍意义和有规律性的东西来。从个别了解一般，从个性了解共性。一般说来，典型调查侧重于探索事物的质的规定性，研究事物的本质特征、内部结构、发展趋势，研究不同事物相互区别的界限，包括其数量界限。

6.抽样调查

它是按照随机原则在调查总体中选取一部分单位进行调查，取得资料，用以推算总体数量特征的调查方法。它与其他非全面调查比较，具有两个重要特点：一是随机原则，二是从数量上推算总体。重点调查的重点单位是总体中客观存在的具有重点特征的单位，典型调查是根据调查任务和目标有意识地在总体单位中选择有代表性的单位，而抽样调查则要求按照随机原则抽选调查单位，在总体中每一个单位被抽取的机会是均等的。重点调查没有推算总体的任务，典型调查一般也不用于推算总体数量，抽样调查则是为了推算总体数量而进行的。这种调查方法比较节省人、财、物力，且受人为干扰的可能性比较小，调查资料的准确性比较高，但是它一般只能提供宏观或某些主观的数据，不能提供微观数据。

7.文献法

文献法是通过搜集各种文献资料，获得与评估课题有关的情报的方法。从某种意义上说，文献调查是评估工作的基础工作，文献法是评估工作的基本方法。人类社会的进步是建立在积累的基础上的，是在不断总结前人经验、知识和探索成果的基础上向前发展的，而文献法是我们了解前人工作的常用方法。

(六)实施评估工作

这是将收集到的有关评估资料加工整理，运用各种评估方法形成评估结论的阶段。此阶段主要在室内完成，虽然时间不长，但任务较重，技术要求高。这一阶段的主要问题在于资料的整理和评估方法的选用。

首先要对现成资料和收集的资料，根据定量、定性评估需要，进行分类整理，并进行相应的统计分析或定性分析。然后依据资料分析结果，对照既定有关目标或标准(或原则)，让评估人员开展认真、充分的讨论，在此基础上，对评估对象做出客观、公正、明确的评估。

这里需要注意的有几点：一是农业科技传播工作评估的根本问题是效益问题，因此，评估农业科技传播工作好坏，应重点抓住传播项目、传播面积、实际效益、农民行为改变等方面来进行。二是不同地区的农业科技传播工作评估一定要考虑到当地自然特点和生产基础水平，关键评估其传播速度和增产幅度。三是不同地区的农业科技传播工作基础不同，传播条件不同，因此，评估时一定要考虑到被评估的传播机构或个人，其主观能动性是否得到最大限度的发挥。工作成绩是当年干出来的，还是几年积累发展来的；是机遇促成的，还是扎扎实实干出来的；是靠有利的自然条件形成的，还是主观努力取得的。所有这些，都要全面分析，认真评估。

农业科技传播评估资料的整理是根据研究的目的，将评估资料进行科学的审核、分组和汇总，或对已加工的综合资料进行再加工，为评估分析准备系统、条理化的综合资料的进程。它是进行评估分析的基础和前提。资料整理的好坏，直接关系到评估分析的质量和整个评估研究的结果。资料整理的基本步骤是：

(1)设计评估整理纲要，明确规定各种统计分组和各项汇总指标；

(2)对原始调查资料进行审核和订正；

(3)按整理表格的要求进行分组、汇总和计算；

(4)对整理好的资料进行再审核和订正；

(5)编制评估图表或评估资料汇编。

(七)撰写评估报告

将评估结果写成报告是一种很好的记录方式。相对而言，文字记载不受时间、空间的限制，不怕时日一久会回忆困难。写成报告后，除了用以了解工作成效、检查工作得失从而为未来项目发展与改进提供依据以外，还可供有关机构与人员参考应用，奠定公共关系基础，为项目继续进行或扩大项目提供支持。

农业科技传播效果评估报告的内容及写作格式视实际需要及报告的类型不同而异，例如，过程评估报告与最终评估报告就不一样。一般而言，报告内容至少应包括评估目的、评估方法、评估过程、评估结果等。当然，若根据评估结果，检查并发现问题所在，从而提出各种建议，那么评估报告就更为完善、更有实际价值。报告的写作格式可以按照以下顺序安排：扉页、摘要、目录、前言、项目的背景描述、评估目的、评估方法与过程、评估结果、对结果的解释、附录等。当然，不是所有的评估报告都要照此格式来写。例如，一份典型的农业科技传播效果评估的季度报告可以按照下列要求来构思：

——年度计划的目的及每月计划的具体目的

——对已做工作的简要评估

——绘制与传播建议有关的扩散曲线

——表示传播咨询人员与目标团体联系的表格

——调查的表述和关于目标团体情况的新资料

——关于项目进展及其影响范围的报告

——项目实施中的变动以及变动的原因

——对一些特定调查(例如产量调查、市场调查等)及其对传播产生的影响的描述

——关于项目成本和收入的统计报告

评估报告的撰写力求深入浅出、简明易懂。复杂难解的专业术语、公式、数字或长篇大论会使人既没能力也没耐心读完整篇报告。为使报告形象易懂，可适当使用一些图表，例如框图、圆形图、柱形图、象形图、线形图、数据统计表等。

(八)评估报告的利用

评估报告写成并非意味评估工作的终止，应当将其送交给有关的单位与个人，用各种方式提高评估报告的利用率。

一般而言，评估报告可以呈送给对项目感兴趣的各类人员或机构，例如项目赞助人、咨询委员与专家、传播机构、目标团体成员、项目管理机构、政府部门、商业机构、有关的专业性组织及民间组织等。应当根据不同的目的选择呈送对象，同时根据不同呈送对象的兴趣撰写报告。

总之，评估需要花费一定的时间和资金。但是，如果我们把评估理解为传播项目和计划的一个必要的组成部分，那么评估实际上没有导致额外的费用，而是项目总费用中必不可少的一部分。我们可以通过科学的评估向人们表明：评估能够提高各项资源的利用效率并且有利于实现预定的项目目标，因而评估是必需的。

驾驭效果评估这个工具，可以让农业科技传播效果以可测量的方式呈现出来，勾勒出传播对农民认知、态度和行为的影响，为策略的制定和调整提供依据，进而为整合传播的投资回报提供有效的支持。