e-learning中的学习评价方法研究

e-learning中的学习评价方法研究

e-learning中的学习评价方法研究^[1]

朱海萍^1，2　陈　妍^1，2　杨　扬^1，2

（1.西安交通大学计算机科学与技术系，西安，710049；

2.陕西省天地网技术重点实验室，西安，710049）

摘　要：本文针对当前e-learning评价中普遍缺乏对学生“情感”等非智力因素的获取，研究支持情感交互的e-learning学习评价方法。首先，通过分析网络学习过程中的情感交互模式，给出e-learning中情感等非智力评价信息的获取流程；其次，给出网络学习评价四元组和网络学习质量评价空间等形式化定义；最后，针对e-learning学习评价中存在的不确定性和不精确性，提出基于模糊评价和组合证据理论的多级综合评价方法。本研究有利于完善现有e-learning评价理论，为实现具有情感交互功能的社区式学习提供研究基础。

关键词：e-learning　情感交互　情感分析　学习评价

Research on Extraction and analysis of E-earning Evaluation Indicator

Zhu Haiping^1，2 Chen Yan^1，2 Yang Yang^1，2

（1.Department of Computer Science and Technology，Xi’an Jiaotong University，Xi’an，710049；2.Shaanxi Province Key Lab.of Satellite and Terrestrial Network Tech.R＆D，Xi’an，710049）

Abstract：The current research on e-learning evaluation is commonly lack consideration of nonintellectual factors such as sentiment.In the paper，we focused on novel e-learning evaluation mechanism which supported sentiment interactive.At first，the process of nonintellectual factors acquisition is proposed.Then the formalizations of e-learning evaluation indexes are given.To solve the uncertainty and inaccuracy of e-learning evaluation，a fuzzy quality evaluation method based on D-S evidence theory is proposed.In conclusion，this study is favor to perfect the theory and methodology of current research on e-learning evaluation.It can provide fundamental research to learning community which supported sentiment interactive.

Key Words：E-learning；Sentiment Interactive；Sentiment Analysis；E-learning Evaluation

一、引言

e-learning系统以其开放的网络平台和灵活自主的学习方式为人们提供了一种新型的学习平台^［1］。然而，师生之间因时空上的分隔缺乏情感交流，导致学习者情感缺失、信息迷航、学习热情衰减等问题，严重影响了学习效果。因此，如何保证网络教育的学习质量成为远程教育界所关心的热点问题。

近年来，越来越多的研究者围绕e-learning下的质量保证与评价已取得了一定的研究成果^［2-4］。但总的来说，目前已有的研究中普遍缺乏对学生“情感”因素的获取，而网络环境下师生缺乏面对面交流所带来的情感缺失恰恰成为影响网络学习质量的重要因素之一。已有研究文献证明个体的情感体验能够影响认知、动机和行为的结果^［5］，因此如何将情感与评价关联起来，综合考虑学习过程中情感变化所带来的学习者兴趣、学习动力的改变以及由此引发的学习质量无法保证等问题还亟待研究。

本文拟分析e-learning环境下情感因素对网络用户学习质量的影响，挖掘网络文本中所蕴含的情感、观点等非智力评价信息，为构建支持情感交互的e-learning学习评价体系提供基础。

二、e-learning评价的研究现状

e-learning评价的目的是检查和促进e-learner学习，以满足社会发展对人的需要和个人自身发展的需要。与传统学习相比，e-learning评价表现出独有的特点^［6］：

1）注重评价的过程性和及时性。强调对e-learning过程进行实时的监控，及时反馈信息来指导、调控和改进e-learning活动。

2）评价呈现多元化。e-learning评价包括学生学习的评价、教师教学的评价、网络资源的评价以及网络支持服务系统的评价四个层面，本文主要研究面向学生学习的评价。

3）评价依赖于网络教学支持系统。力求实现e-learning评价系统与网络教学支持系统的无缝结合，从教学活动记录中搜集有用的评价信息，实现对e-learning的动态评价和动态调控。

针对以上特点，国内外学者从不同的角度开展了对e-learning评价的研究。Ellen.B对e-learning评价的发展趋势进行了相关研究^［7］；Ga-jin In建立了面向关键活动指标（Key Activity Indicator）的e-Learning评估指标，用以检查e-learning的学习活动过程^［8］；Francesco Colace等人提出用层次分析法（AHP）建立e-learning平台和评估模型^［9］；北师大余胜泉设计了网络环境下的教学评价模型，从评价对象、方式、要素和过程等方面对网络教学的评价进行了阐述^［10］；浙江大学周勇等从过程管理角度研究elearning的评价问题，建立了e-learning过程能力成熟度模型^［11］。

相应的，世界上各大教育协会或质量标准化组织则致力于建立e-learning质量标准。美国国家教育政策研究所和B1ackBoard公司于2000年4月联合发布了“Quality On The Line”（在线基准质量）^［12］；Dr.Lynette Gillis提出“E-Learning Certification Standards（e-learning认证标准）”^［13］；ISO/IEC 19796-1提出面向学习、教育和培训信息技术的质量管理和质量保证体系^［14］；中国教育部科技司也于2000年启动了现代远程教育标准研究项目（Distance Learning Technology Standards，DLTS）^［15］，在该项目中提到了教学资源与教学环境的评价。

但总的来说，已有的研究和标准主要围绕描述性地定义e-learning评价指标、确定评价内容、组织评价实施等方面，忽视对学生的情感体验、探究能力和协作精神等方面的评价。P.A.Schutz在《Emotion in Education》一书中提出“感情、前提和效果”的学习反馈环，指出感情能影响学习，学习过程和结果又是学生评价和感情产生的前提^［16］。因此，如何获取和分析网络学习过程中的情感等非智力因素，并在此基础上提出支持情感交互的学习评价方法就成为e-learning评价新的挑战。

三、e-learning中的非智力评价信息获取

文本交互是e-learning中最常用的交互模式^［17］，广泛应用于BBS、网络答疑、MSN、QQ、Email等网络学习交互工具中。交互文本中蕴含丰富的情感、评论和观点，情感可以通过影响学习动机而间接地影响个体的认知行为。据美国Texas Austin大学Pennebaker教授统计，在英文形式的交互文本中，约有4%的词汇是情感词^［18］。因此，对e-learning学习过程中产生的交互信息进行有效的挖掘和分析，识别学生的情感变化趋向，得出学生对核心学习事件或者学习内容的观点信息（包括正面、负面和中性评价），能为e-learning评价提供真实反映学习者感受的评价数据，是研究e-learning评价的一个核心环节。

概括来说，e-learning中非智力性评价信息的获取主要包括以下几个关键问题，如图1所示。

图1　e-learning中的评价信息获取与分析

1）情感句标注：可以借助哈工大信息检索中心的开源语言技术平台LTP^［19］完成底层的分词、语义分析、语法分析等工作，并在此基础上结合情感词典从对话指向、句子分类、情感标签等多个维度对数据进行标记。

2）评价词语的抽取与判别：综合考虑符号、词汇、语言结构、话轮信息和情感状态变化等因素，提取网络文本信息中出现的情感词、短语和情感句，对其进行语义分析和统计。

3）评价主体和评价对象的抽取：由于评价对象可以是蕴涵于情感文本中的某些话题，因此可以使用话题模型^［20］来进行评价对象的识别，通过定义e-learning文本交互场景下的核心事件集，结合话题的分层特征和对话中的时间特征，使用话题模型抽取学生在网络学习过程中的评价对象及非智力评价信息。

4）评价对象倾向性分析：抽取情感句中的形容词或能够体现主观色彩的短语，对其逐一进行倾向性判断并赋予倾向值，最后将上述所有倾向值加权累加起来得到总的文本倾向性。基于监督学习的情感分析是一个研究主流，使用最多的监督学习算法是朴素贝叶斯、k最近邻（k-Nearest Neighbor），最大熵和支持向量机的方法^［21］。但监督学习对每个领域都需要大量有标签的训练样本，相反，非监督方法并不需要训练集，具备一定的移植性。因此可以考虑将这两种方法融合起来，基本思路是采用非监督方法为监督方法标注少量高类别隶属信任度样本，再采用这些标注样本来训练监督方法。

四、基于模糊评价和组合证据理论的网络学习综合评价

相比量表、问卷等客观评价数据，涉及学习认知状态、情感体验等非智力因素的学习评价更难以处理。尤其对于网络学习评价中的不可量化成分（比如学习满意度、自我效能感），e-learning下学习者无法对学习目标和内容给出明确的期望值，亦无法使用常规的量化评价方法进行评价。因此，本文拟采用模糊评价矩阵^［22］给出用户学习的主观评价。基本思想是：首先获得用户对每一个学习要素（知识元、概念或概念的集合）的评价等级和模糊评价权值向量，再对单个要素进行评价，得到要素与评价之间的模糊关系矩阵；最后采用合成算子对模糊关系矩阵与模糊向量进行合成，得到最终的评价结果。

（一）网络学习评价的形式化描述

e-learning中不同的学习者具有不同的知识背景和学习目标，具有不同的学习需求。有共同需求的学习者称为一类用户，e-learning系统为其提供同等或近似的学习服务，这种服务体现在知识的构建、导航和个性化推荐等各个方面。下面给出相关定义：

定义4-1　网络学习评价四元组：将与网络学习评价相关的因素表示为一个四元组（I，K，T，A），其中I表示学生个体特征描述（Individual Features），是对网络学习者的个体特征进行抽象；K表示认知状态（Knowledge），反映学生对所学知识的掌握程度；T表示情感迁移（Emotion Transition），记录学生在网络学习过程中的情感变化；A表示情感倾向性分析（Sentiment Analysis），分析结果为正面、负面和中性三类，在学习评价中重点关注负面情感对学习的影响。

定义4-2　网络学习质量空间：设e-learning中被评价对象（又称“网络学习要素”或“学习要素”）集合为S，S＝｛metaknowledge，concept；content｝，分别代表知识元、概念或者是知识元和概念的集合。针对S的评价指标包括可量化指标和不可量化的非智力性指标两大类，记为P＝P₁∪P₂，其中P1是可量化部分，包括网络响应时间、网络时延、用户在线学习时间等；P₂是不可量化部分，包括学习者的情感、兴趣和动机等，用模糊评价矩阵表示。存在函数f：S→P，s∈S，f（s）为描述网络学习要素服务质量的属性集，f₁（s）（f₂（s））为对于学习要素s来说，取值越大（越小）用户越满意的属性的集合，且f（s）＝f₁（s）∪f₂（s），f（s）P，f₁（s）P₁，f₂（s）P₂，f₁（s）∩f₂（s）＝φ.

定义4-3　用户主观评价矩阵：设网络学习用户的集合为U，网络学习要素的集合为S。s∈S，u∈U，用户u对某一网络学习要素s的服务质量的主观评价定义为模糊评价矩阵：

其中r_ij为用户u认为学习要素s的属性i的质量属于评价等级j的隶属度，学习要素s共有p个属性，用户对于每一属性的主观评价等级分为m级。

定义4-4　用户等级与网络学习质量的映射：设用户等级的集合为L，网络学习要素的集合为S，s∈S，l∈L，用户等级与学习要素QoS的映射函数为map：L×S→D₁×D₂×…×D_|f（s）|，其中|f（s）|为学习要素s的相关属性的个数，D_i为s的第i个属性的值域（1≤i≤|f（s）|），D₁×D₂×…×D_|f（s）|为学习要素s的所有属性值域的笛卡尔积。

（二）多等级网络学习质量评价算法

用户和学习要素之间是多对多的关系，一个用户可以使用多个学习要素（教学视频、图片、课件甚至单个知识元）并对其进行评价，这就导致存在不同粒度、不同层面的学习评价。从评价粒度而言，用户对某个网络学习要素的评价粒度是最小的。如果把在线学习的用户看作不同信息源，每一个信息源对学习要素有一个评价，那么所有用户对该学习要素的评价就可采用组合证据理论逐步得到。同理，可以获得所有用户对所有学习要素的综合评价。

1）单个用户对单个学习要素的主观评价β（u，s）

假设用户u对网络学习要素s指定属性权值向量E（u，s）＝（e₁，e₂，…，e_p），，模糊评价矩阵为R（u，s）。进行E与R的普通乘法合成，得到用户主观上认为网络学习质量属于每一个主观评价等级的隶属度向量（β₁，β₂，…，β_m），即为用户对单个学习要素的主观评价β（u，s）。

2）所有用户对单个学习要素的评价β（U_all，S）

s∈S，使用s的用户集合为U_sU。用户u使用学习要素s的评价等级向量为β（u，s）＝（β₁，β₂，…β_m），用户u′使用学习要素s的评价等级向量为β（u′，s）＝（β′₁，β′₂，…，β′_m），对β（u，s），β（u′，s）组合证据后得到的评价等级向量为，K是一个正则化因子，K＝∑β_j·β_′k。以此类推，逐步采用组合证据理论进行融合，可以得到所有用户对某学习要素的评价β（U_all，S）＝（β₁，β₂，…，β_m）。

3）特定用户对学习服务质量的综合评价β（U，S_all）

u≤U，u使用的学习要素集合为S_uS。用户u使用学习要素s的评价等级向量为β（u，s）＝（β₁，β₂，…，β_m），用户u使用学习要素s的评价等级向量为β（u，s′）＝（β′₁，β′₂，…，β′_m），采用类似的方法进行融合，可以获得该用户得到的服务质量综合评价β（U，S_all）。

4）所有用户对所有学习要素的综合评价β（U_all，S_all）

根据学习要素的综合服务质量模糊评价，采用类似的方法，可以得到所有用户对所有学习要素的综合评价β（U_all，S_all）。

五、结束语

考虑情感等非智力因素对网络学习的影响，有助于提升学习者在网络学习过程中的情感体验和学习效率。本文在分析e-learning中情感与评价相互作用的基础上，提出了基于模糊评价和组合证据理论的多级评价方法，能多角度地对网络学习进行评价。本研究是在课题组文本挖掘、兴趣感知以及情感识别等研究基础上的延续，下一步拟在课题组收集的大量网络交互数据和用户学习日志上对其进行验证与优化。

参考文献

［1］ P.A.Jaques，R.M.Vicari.A BDI approach to infer student’s emotions in an intelligent learning environment［J］，Computers ＆Education，2007，49：360-384.

［2］ Kao，H.-Y.；Liu，M.-C.；Huang，C.-L.；Chang，Y.-C.；E-learning Systems Evaluation with Data Envelopment Analysis and Bayesian Networks［C］.2009Fifth International Joint Conference on INC，IMS and IDC：1207-1210

［3］ Ozkan，S.；Koseler，R.Multi-Dimensional Evaluation of E-Learning Systems in the Higher Education Context：An Empirical Investigation of a Computer Literacy Course［C］，IEEE Frontiers in Education Conference FIE 2009：1-6

［4］ Pastor，R.；Hernandez，R.；Ros，S.；Read，T.；Castro，M.；Hernandez，R.；A complex tutoring system for e-learning：The new evaluation model［C］.IEEE Frontiers in Education Conference FIE 2010：S3J-1-S3J-6

［5］ Tianyi Jiang and Alexander Tuzhilin.Improving Personalization Solutions through Optimal Segmentation of Customer Bases［J］.IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING，2009.21（3）：305-320.

［6］ Meftah，I.T.；Nhan Le Thanh；Ben Amar，C.；Towards an Algebraic Modeling of Emotional States［C］.2010 Fifth International Conference on Internet and Web Applications and Services：513-518

［7］ Mandinach，Ellen B.The Development of Effective Evaluation Methods for E-Learning：A Concept Paper and Action Plan［J］.Teachers College Record，2005.107（8），1814-1835.

［8］ Ga-jin In，Korea Inst.of S＆T Evaluation ＆Planning，Seoul.Developing Evaluation Tool for e-Learning［J］.Portland International Center for Management of Engineering and Technology（PICMET），2007.1526-1537

［9］ Francesco Colace，Massimo De Santo，Mario Vento：A Multi Expert Approach for Bayesian Network Structural Learning［C］.HICSS 2010：1-11.

［10］ Yu，S.Q.，Wang，M.J.，＆amp；Che，H.Y.An exposition of the crucial issues in China’s educational informatization，Educational Technology Research and Development，2005.53（4），89-101

［11］ Yong Zhou；Jiping Zhang；A Quantitative Approach to eMM［J］.Seventh International Conference on Webbased Learning（ICWL）2008：69-72.

［12］ Quality on the Line：Benchmarks for Success in Internet-Based Distance Education，Prepared by：The institute for Higher Education Policy，http://www.ihep.com/quality.pdf.April 2000.

［13］ Lynette Gillis.Quality Standards for Evaluating Multimedia and Online Training［M］.McGraw-Hill 2000.

［14］ Information technology Learning，education and training Quality management，http://www.iso.org/iso/catalogue__detail?csnumber=33934.

［15］ 现代远程教育技术标准化委员会，现代远程教育技术规范（教学资源部分）v1.0 2001年4月

［16］ Paul Schutz.Emotion in Education［M］.ACADEMIC PRESS.2007

［17］ Heckhausen，J.，＆Chang，E.S.Can ambition help overcome social inequality in the transition to adulthood？［J］.Research in Human Development，2009：1-17.

［18］ Chen-YaWang，Seng-cho T.Choua，Hsia-Ching Chang.Emotion and Motivation：Understanding User Behavior of Web 2.0Application［C］.2009Sixth International Conference on Information Technology：New Generations：1341-1346.

［19］ 哈尔滨工业大学语言处理平台，哈尔滨工业大学信息检索研究中心，http://ir.hit.edu.cn/demo/ltp/，2010.

［20］ LS Larkey，FF Feng，M Connell，V Lavrenko.Language-specific Models in Multilingual Topic Tracking［C］.Proceedings of the 27th annual international conference on research and development in information retrieval.Sheffield，UK，2004：402-409.

［21］ Ruano，A.E.；Cabrita，C.；Oliveira，J.V.；Tikk，D.；Koczy，L.T.Supervised training algorithms for Bspline neural networks and fuzzy systems［C］.IFSA World Congress and 20th NAFIPS International Conference，2001：2830-2835.

［22］ 秦寿康，综合评价原理与应用［M］，电子工业出版社，2003

作者简介

朱海萍（1974-），女，博士，讲师，主要研究领域为智能网络学习理论与应用。

陈妍（1972-），女，博士，副教授，主要研究领域为情感计算。

【注释】

[1]基金项目：国家杰出青年基金项目（60825202）、国家自然科学基金项目（60633020）、中央高校基本科研业务费专项（xjj20100057，xjj20100052）。