基于柯氏四层次分析模型的网络教育统考培训评估指标体系构建

基于柯氏四层次分析模型的网络教育统考培训评估指标体系构建——以四川电大学习中心为例

四川广播电视大学　孙国容　花永春　张　华

【摘　要】　网络教育统考通过率直接影响高校网络教育的教育质量，也影响到高校网络教育本科层面的学员毕业率。因此，对网络教育统考考前培训进行分析、对其考前培训进行评估具有重要的意义。本文采用问卷调查法和柯克帕特里克四层次分析模型对我中心统考考前培训进行评估，以便给以后的考前培训提供一定的理论依据和建议。

【关键词】　网络教育；统考培训；柯克帕特里克四层次分析模型；评估指标体系

“统考”是指教育部对现代远程教育试点高校网络教育部分公共基础课实施的全国统一考试，即对我国网络高等学历教育部分公共基础课的全国统一测试。“统考”合格率直接影响高校网络教育的教育质量，也影响到高校网络教育本科层面的学员毕业率，因此，对网络教育统考考前培训进行分析、对其考前培训进行评估具有重要的意义。

一、统考培训评估的意义

自1999年教育部批准清华大学、北京大学、中国医科大学、大连理工大学等68所普通高等学校开展现代远程教育试点工作以来，我国网络教育呈蓬勃发展的趋势，试点规模不断扩大，发展顺利，取得了可喜的经验和成果。但是网络教育在发展中也存在着一些问题，为进一步加强网络教育的规范管理，提高网络教育的社会声誉，确保网络教育人才培养的质量，促进网络教育健康、有序地发展，经教育部研究决定对现代远程教育试点高校（以下简称试点高校）网络教育学生的部分公共课实行全国统一考试，即《教育部办公厅关于对现代远程教育试点高校网络教育学生部分公共课实行全国统一考试的通知》（教高厅[2004]2号），然后相继下发了相关的考生管理办法和考试大纲，规定网络教育本科层次的所有学员必须通过统考才能毕业。“统考”对于高校网络教育来讲非常重要，它不仅是评判各高校网络教育教学质量的重要指标，同时也直接影响到高校网络教育的毕业生情况和招生情况。

就四川省来讲，2012年参加统考考生达37 000余人次，缺考考生6188人次，有效考生约31 000人次；就全年考试数据统计显示（如表1所示），我省《大学英语A》统考科目合格率略高于全国合格率，《大学英语B》和《计算机应用基础》考试合格率低于全国相应科目的统考平均合格率。

表1　2012年四川省统考合格率与全国合格率统计表

由于统考合格率将直接影响到网络教育本科层次学生的毕业率和毕业时间，而作为一种标准化的水平考试，考前培训对帮助学生顺利通过考试有积极作用。考前培训的质量高低对学生的合格率有较大影响，因此，对网络教育统考考前培训的评估具有重要的意义。本文将采用柯克帕特里克模型对我中心近年来展开的网络教育统考考前培训实际情况进行分析，以期建立全面的评估指标体系，为以后的培训开展提供一定的理论依据和建议。

二、基于柯氏分析模型基础上的四川电大学习中心统考培训现状

（一）柯克帕特里克四层次分析模型介绍

1959年美国威斯康星大学的柯克帕特里克（Kirkpatrick）在其博士论文和1959年、1960年两年间连续发表的四篇文章中，详细阐述了培训评估的四层次模型的思想和方法，后来逐渐成为最著名的评估模型，也是目前国内外运用得最为广泛的培训评估方法。他主要以受训学员作为评估效果的对象，根据评估对象的活动状况从评估的深度和难度将培训效果分为4个递进的层次:反应层、学习层、行为层和效果层，即本文中所提到的“柯氏模型”，如表2所示。

表2　柯克帕特里克的四个层次评估模型

1．反应层评估

反应层评估（一级评估）是指受训人员对培训项目的总体印象。通过这个层面的评估，了解学员对本次培训的总体反应和感受。反应层评估的主要方法就是在培训项目结束时和项目结束后发放问卷进行调查，以收集受训人员对于培训项目的效果和有用性的反应。受训人员的反应对于重新设计或继续培训项目非常重要。

2．学习层评估

学习层评估（二级评估）主要是测量受训人员对培训的知识、原理、技能等培训内容的理解和掌握程度。培训者可以通过书面的考试对受训者进行测试，以检验受训者对培训过程中知识和原理的掌握程度，这是比较有效的方式。强调对学习效果的评价，有利于调动受训者的学习动力，也有利于发现培训课程的安排与培训的教学方法是否合理有效。

3．行为层评估

行为层的评估（三级评估）主要考察受训人员培训后在实际工作中行为的变化。这是判断受训者在培训中所学到的知识和技能对实际工作的影响。有研究者认为这是考查培训效果最重要的指标。这个层次的评估通常都是发生在培训结束后的一段时间，由受训者的上级、同事、下属或客户观察受训人员的行为在培训前后是否有差别，以及是否在工作中运用了培训中学到的知识。因此，这个层次的评估总的来讲，涉及受训者自身的感觉、下属和同事对其培训前后行为变化的对比、受训者本人的自评等方面，主要表现为受训者工作态度（如合作的热情、工作激情等）和工作技能两方面（如对环境和技术变化的适应能力、操作技能的熟练性等）。由于涉及的内容比较多，所以在这层进行评估时通常需要借助一系列的评估表。

4．结果层评估

结果层评估（四级评估）从组织的角度来判断受训者接受培训后是否对企业、单位的经营成果或者团体工作目标有具体而直接的贡献。这个层面评估内容是一个企业组织培训的最终目的。对这个层次的评估可以对组织的士气、生产率、流失率、成本和收益等指标进行评价。本文的研究对象主要是统考学员，因此，对这一层次的评估本文将结合统考学员学习情况的变化来分析。

（二）四川电大学习中心统考考前培训现状分析

截至2013年4月，我学习中心共计与11所高校开展网络教育，其中本科层次学生共计1272名，毕业生共计1175名，毕业率达92%。其中四川大学（网院）学生630名，重庆大学（网院）学生472名，北京大学（网院）学生45名，其他网院学生28名。

自2008年3月我学习中心开展统考培训以来，《大学英语B》和《计算机应用基础》两门培训课程共计培训学员980名，其中参加一次统考培训即通过统考的学员196名，占总人数的20%；参加2次以上统考培训统考合格的学员491名，约占总人数的50%。统计数据显示，目前的培训实用性和针对性较强，但是为了能使培训更加合理和完善，需要对目前的培训进行评估。

三、基于柯氏模型基础上的统考培训评估指标分析

根据英国管理服务委员会的定义，评估是对一个培训体系、培训课程或社会方案以及财务状况的总价值所进行的评价，培训效果评估是判断培训是否达到既定目标的过程。由于统考是确保网络教育人才培养质量的关键因素，同时也是人才培养考核的重要指标，因此，对统考培训进行分析、建立一套有效的评估体系是非常重要的。

（一）反应层分析

这类评估主要是考核受训者对培训内容的反应、对培训讲师的看法，培训内容是否合适等。通过这个层面的评估，了解学员对本次培训的总体反应和感受。培训讲师自身素质、备课质量和授课环境将直接影响到学员的学习状态和对培训内容的接受程度。为了更加客观地确定评价指标，我们对我学习中心已参加统考培训的200名学员进行了问卷调查。调查结果显示，86%的同学认为培训很有必要，87.5%的同学认为教师自身的素质和教师的备课情况直接影响到培训学生的培训结果。

表3　教师及授课环境对培训学员的重要程度调查表

从调查结果看，教师的自身素质，如专业技能、表达能力和教学方法等在培训过程中是非常重要的；同时，教师的备课质量，即培训内容也是至关重要的参数，如教材的实用性、培训内容的针对性等也将会在很大程度上影响学员的积极性和学习状态，如表3所示。

（二）学习层分析

柯氏模型的第二层是学习层。这一层面评估受训学员在培训结束对知识的掌握、技能提高和通过率等情况。其主要途径是通过对学员参加培训前和培训结束后的知识技能进行比较，以了解他们是否学习到新的内容。采用的方法可以有书面测验和考试、撰写学习心得报告、出勤考核等。对这一层面的考核不仅有利于统计学员通过培训后的知识掌握情况，更能完善培训内容。

2009年9月至2013年3月，我中心开展统考考前培训共计18次，参训人员共790人次；被调查的200名学员中，共138人通过《计算机应用基础》统考，合格率率达69%。而未参与培训的学员统考合格率仅有35%。从这个层面看，考前培训是非常必要，而且也非常重要的。

（三）行为层分析

这一层是受训学员的行为迁移层。对这一层面的评估可以确定受训学员是否在培训后运用了他们所学到的知识、技能，并且在态度上是否有所改进。这是整个评估中非常重要的一环。企业培训评估主要考核培训学员的工作技能提升和工作态度的改变。对应到统考培训上讲，学员的知识结构和日后的工作态度发生变化是评估统考培训有效性的重要标准。

首先是受训学员的工作技能的提升。统考培训的目的就是为了完善学员的知识结构，帮助他们通过统考且对以后的工作有所帮助，比如学员参加统考英语培训不只为顺利通过考试，还希望自己能在日后的工作中能较为顺畅地看懂英文报告，或者能处理英文邮件；同样，学员参加统考计算机培训后，也希望自身能在计算机操作和使用方面有很大的改观和提升。

其次，学员接受培训后在工作态度（主观）上也会有所改变，比如自信心增强，积极性增加等。所以在培训过程中，培训教师应根据市场和行业发展变化增强培训内容的实用性和指向性，以使学员能获取更好的培训效果。

（四）结果层分析

结果层评估是判断在接受学员培训后能否为自己所在的组织创造价值的检验。但是由于本文的研究对象是参加统考的学员，因此，根据实际情况，对这一层的分析主要集中在学员接受培训后学习技能的提升带来的工作效率变化和伴随学习态度的转变带来的缺勤率的降低给所在组织创造的价值来评估。

根据调查显示，参加培训的学员工作行业主要集中在护理、建筑和服务业等行业，在工作中涉及英语的使用和频繁的计算机使用，因此，工作效率可以通过由于计算机技能的提高所带来的生产率、事故率变化来检验。如果废品率和事故率越低，则工作效率相对越高；生产率是员工在单位时间内的工作量，与工作效率成正比；工作效率越高，则为组织带来的效益越大。

学员的学习态度所带来的影响主要体现在忠诚度和缺勤率等方面。学员的忠诚度受环境和人际关系的影响，忠诚度越高，则对组织越满意，工作也会越积极；缺勤率则通过学员培训中的出勤习惯有所改变。培训时纪律要求越严明，学员越容易养成好的习惯保持工作中。

表4　统考培训评估指标体系

四、基于柯氏模型基础上的统考培训评估指标体系构建

在前文利用柯氏四层次分析模型结合我学习中心的实际情况，利用问卷调查法对目前的统考培训进行分析的基础上，本文构建了针对统考培训评估的指标体系，如表4所示。

培训评估是培训管理中的重要环节，评估的目的不仅是为了考核已完成的培训工作，更是为了使以后的培训工作能取得更好的成效。对统考培训的评估不仅是为了考核之前已经完成的培训工作，更是为了能使以后的统考培训内容更加完善，使整个统考培训更具有实用性、更具有针对性。

参考文献

[1]《教育部办公厅关于对现代远程教育试点高校网络教育学生部分公共课实行全国统一考试的通知》（教高厅[2004]2号）

[2]《教育部关于开展现代远程教育试点高校网络教育部分公共课全国统一考试试点工作的实施意见》（教高[2004]5号）；《试点高校网络教育部分公共基础课统一考试试点工作管理办法（试行）》（网考委[2005]1号）；《试点高校网络教育部分公共基础课统一考试考试大纲》（网考委[2005]2号）

[3] 中国现代与远程继续教育网，统考信息，成绩管理，2012，http://www2.cdce.cn/tkinfo.aspx

[4] 中国现代远程与继续教育网，关于公布2012年4月、9月、12月统考成绩的通知，2012，http://www2.cdce.cn/ tkdetails.aspx?id=694

[5] D.L Kirk Partriek. Evaluation. ASTD Training and Development Handbook [M]，R.L.Craig.NewYork，McGraw一Hill，1996:294~312

[6] 高振勇. 企业员工培训效果测评探讨[J]. 经济师，2006（11）

[7] 宋夕平. 浅析柯氏模型在培训效果评估中的运用[J]. 科技管理研究，2007（2）

[8] 莱斯利·瑞. 培训效果评估[M]. 北京：中国劳动社会保障出版社，2003