实验数据的收集工具设计

实验数据的收集工具包括听力和口语前测和后测试题，下面将对试题的设计和评分标准进行专门描述。

一、口语前测和后测试题的设计和评分

（一）口语测试题选择的依据

不同的语言观和语言学习观对英语口语能力测试产生不同的影响，因而不同语言理论关照下的口语测试，在测试的目标和方法上各具特点。有学者认为，英语口语能力测试大致经历了科学前测试、结构主义测试和交际测试三个阶段。[1]科学前测试没有将听和说纳入考试范围，真正的口语测试开始于结构主义测试。结构主义语言理论认为语言是结构上相关的成分组成的意义系统，这些成分包括音位、形位、单词、结构和句子类型。所以，结构主义口语测试注重对语音语调、语法、词汇以及口语的流利程度和内容的检测，试题多采用客观题型，按照各个语言项目分项记分，然后求出总的得分，按总分把考生分成不同的级别。20世纪70年代，以海姆斯 （Hymes）为代表的社会语言学派在批判了乔姆斯基语言观的基础上提出了 “交际能力”的概念，并逐渐发展成为交际教学理论。该理论强调语言学习材料和练习任务的真实性和交际性、语言使用的流利性和得体性、学生在课堂学习活动中的主体性和教师对学生语法错误的宽容性。[2]交际测试主要在于测量学生完成某一交际任务的能力，不专门对语言形式进行检测和评价，试题采用主观的题型，由考官根据学生表现给出语言能力的总体印象分。交际口语测试是当今使用比较广泛的一种形式。

我们认为，准确性和流利性并非不可调和，厚此薄彼都有可能产生负面影响。由于测试具有很强的反拨效应，如果测试过于强调准确性，势必使教师在教学中将精力集中在词句和语法的讲解和分析上，而忽视对学生语言运用能力的培养；同样，为了追求流利性而宽容学生的语言错误，会使学生的语言错误得不到及时纠正而沉淀，影响语言交流。根据我国的英语教学实际，我们采用折中的测试，即把准确性、流利性和得体性作为口语测试的内容。

为了保障口语测试题的信度和效度，我们直接采用国内具有权威性的大学英语四级口语测试题。从2005年5月14日、5月15日和21日的口语测试题中选择四个话题范围 （topic area）[3]：现代城市话题 （Modern Cities Topic）、老年人话题 （Elderly People Topic）、信息技术话题 （Information Technology Topic）和大学生活话题 （University Life Topic）。四个话题范围分为四份试卷，学生抽签决定谈论的话题范围。该套试题由热身练习 （warm－u pquestions）、个人发言和讨论（Discussion）、进一步提问 （Lastquestions）三个部分组成。热身练习部分主要是使学生放松，以便进入良好的考试状态。考生首先轮流作简短的自我介绍，然后简单回答主考就主题范围的提问。第二部分是考试的重点，主要考核学生话语轮换 （turn－taking）的能力，以及进行交际时所用的会话策略，如：交际出现困难时修补话语 （discourse repair），协调意义 （negotiation of meaning），请求核实意义或重复 （requests for confirmat ionorre petition）等。主考提供给考生的提示信息是文字卡片或图片，要求考生就所给的提示在一分钟的准备之后作1.5分钟的发言。每位考生得到的提示信息均不同，因此考生除了自己发言还必须认真听其他两位考生的发言，以便参与随后的小组讨论。讨论中要求考生尽可能积极参与，发表意见，互相讨论，并争取达成共识。第三部分的考试给前两部分中表现不充分的考生以进一步展示自己英语口头交际能力的机会。在这一部分中，主考就该场考试的话题对考生进一步提问。[4]

由于我们的测试规模较小，所以采用学生两人一组的形式，学生分别回答了主考的提问之后，就主题话题进行两人对话，然后回答主考的进一步提问。每组测试时间在7分钟左右，测试当堂录音，测试完毕由研究者将学生的录音全部转录为文字，然后将学生录音和文字交由两位英语教师，请他们对每位学生进行评分。研究者对两位教师的平均分四舍五入，取整数分作为学生的口语成绩。

（二）评分标准

我们将准确性、流利性和得体性三大项细化为八小项，其中，准确性包括语音、语法和词汇的准确性；流利性分为语言的自然程度、表达的地道性和清晰度；得体性包括语体是否合适和内容是否切题。每一分项采用1～5个刻度，“1”表示该项表现最差，得最低分1分；“5”表示表现最好，得最高分5分。

如：语音的准确程度　不准确1　 2　 3　 4　 5准确

语法的正确度　不正确1　 2　 3　 4　 5正确

用词准确度　不准确1　 2　 3　 4　 5准确

语言的自然程度　不自然1　 2　 3　 4　 5自然

语言表达的清晰度　不清晰1　 2　 3　 4　 5清晰

语言表达的地道性　不地道1　 2　 3　 4　 5地道

叙述的内容　不切题1　 2　 3　 4　 5切题

语体的合适性　不合适1　 2　 3　 4　 5合适

由此，本套口语测试题的总分为40分。前测和后测由于相隔的时间较长，前后跨度为一个学期，又由于有四套题目轮流使用，所以口语前测和后测使用同样的试卷 （测试的具体评分标准见附录五）。

（三）评分的信度分析

口语测试属于主观性考试。对于口语测试的评分，尽管有评分标准作为参照，但是，由于 “对考生口语水平的评估取决于考官的主观判断，不同的考官对同一考生的能力可能会作出不同的判断，同一考官对同一考生的能力在不同时候也可能会作出不同的判断”[5]。因此，为了保障考试评分的信度，有必要对评分进行信度分析。

本研究在三个班中分别抽取综合英语成绩在本班排名前十位和后十位的学生各10名，共计60名学生的前、后测口语成绩进行信度检验。将两位教师对这些学生口语前、后测八个分项目的评分分别输入计算机，用SPSS13.0进行信度检验，结果见表6.1。

表6.1 两位教师的口语测试评分信度检验对照表

从表6.1可以看出，两位教师对前、后测的两次评分信度系数各不相同，每位教师的前后两次评分信度系数也有出入。其中，教师1的前测评分信度系数为0.859，后测评分信度系数则为0.869；教师2的前测评分信度系数为0.842，后测评分信度系数为0.848。不过，两位教师评分信度系数都达到了0.84以上，超过了0.80的较高信度值。说明评分具有较高的可信度。

二、听力前测和后测试题设计

本研究的听力试题设计以 《大学英语课程教学要求》中的一般要求为依据，即 “能听懂英语授课；能听懂日常英语谈话和一般性题材讲座；能基本听懂英语国家慢速英语节目，语速为每分钟130词左右；能掌握其中心大意，抓住要点；能运用基本的听力技巧帮助理解”。我们根据一般听力要求采用自编试卷的形式，主要检测学生听日常英语谈话和慢速英语广播的能力。

听力试题分两大部分。第一部分为听对话选择正确答案，一共10段对话，选自往年大学英语四级考试听力题，测试要点包括根据对话内容判断人物的职业、态度、对话发生的地点、主要内容以及根据对话内容作推断等。该部分试题每一题2分，总分20分。第二部分为慢速英语广播听力，选自美国之音特别英语节目，节目篇幅 （单词数）为357词，生词5个，该慢速英语广播节目的语速为每分钟110词左右，比 《大学英语课程教学要求》一般要求规定的每分钟130词的语速还要稍慢一点。之所以选择这样语速的广播，一方面是因为这是原声录音，与其修改它的速度还不如保持它的本来面貌；另一方面，根据我们在实验前所做的调查，学生平时听英语广播的机会和时间都很少，有40％的学生表示完全不能或很少能听懂VOA慢速英语广播的主要内容和重要细节，只有17％的学生表示多数或完全能听懂。所以，我们采用的听力材料从语速方面降低了考试的难度，使难易程度更适合学生的水平。这一部分的试题为根据内容判断正误和填空两大题。该部分的总分为30分，整份听力测试卷的满分为50分。

为了避免听力前测对后测的迁移，我们将听力测试的前测和后测试题设计为复本，即采用两套难度一致、题型相同但听力内容不同的试题 （见附录七）。由于听力试题都是客观题，且采用复本，难度接近大学英语四级。因此，没有对该项做信度分析。

三、学生英语听说能力的定义及衡量标准

在本研究中，英语听说能力和英语听说水平指同一概念。在讨论英语听说水平之前，有必要介绍外语水平的定义。什么是外语水平？不同的学者对此有不同的定义。比较有代表性的定义有三种。一种是拉多 （Lado）于1961年提出的“语言能力说”。他认为外语水平由知识和技能两大部分组成。知识包括语法、词汇和语音，技能包括听、说、读、写。[6]一种是海姆斯 （Hymes）在1972年提出的交际能力概念。他的交际能力包括四个方面的内容，即可能性 （是否符合语法规则，是否在形式上可能）；可行性 （某些语言是否能够付诸实施以及可实施的程度）；恰当性 （话语在特定的情境中是否得体，以及得体的程度）和有效性（话语是否已经付诸实施以及已经实施的程度）。有些学者把外语水平等同于交际能力。我国学者文秋芳在此基础上提出跨文化交际能力这一概念，认为把外语水平单纯等同为交际能力不够准确，外语交际的双方往往存在着文化差异。把外语水平定义为 “跨文化交际能力”更具有针对性。她把跨文化交际能力分为交际能力和跨文化能力。在本研究中，我们沿用外语水平即跨文化交际能力的定义。根据常识，交际 （communication）有口头交际和书面交际两种形式。本研究的英语听说水平所指的是口头交际水平 （能力）而不是书面交际水平。由于听力理解涉及口头交际中对说的一方的话语理解和非口头交际理解 （即单向的听广播电视、演讲等）两个方面。由此，我们将单向的听力理解单独列为一项进行测试，和跨文化口头交际水平一起构成学生的总体英语听说水平。

由于听力测试和口语测试为不同的试卷和评分标准，所以，不能简单地将两个分数相加来作为学生的英语听说水平。解决这个问题的有效方法是把原始分数转化为标准分数，也叫 “Z分数”。标准分数是以标准差为单位来衡量某一分数与平均数之差的，它适用于各种比较和计算。标准分数的转化公式为某一原始分数减去该组分数的平均数再除以该组分数的标准差，所得的值为Z分数。我们根据学生听力和口语测试的成绩，计算出每一项的标准分数，然后相加，得出每一个学生的英语听说标准分，以此来衡量学生的英语听说水平。

[1] 转引自文秋芳.英语口语测试与教学［M］.北京：外语教学与研究出版社，1999：31.

[2] 文秋芳.英语口语测试与教学 ［M］.北京：外语教学与研究出版社，1999：35.

[3] 中华英语学习网.www.100yingyu.com.

[4] 金艳.大学英语四、六级考试口语考试对教学的反拨作用 ［J］.外语界，2000（4）.

[5] 易千红，曾路.口语测试中的评分模板设置与应用［J］.现代外语（季刊），2004（1）.

[6] Lado，R.Language Testing.New York：Mac Grow Hill，1961.