首页 百科知识 国内的研究与发展_国际视野下大规模数学测评研究

国内的研究与发展_国际视野下大规模数学测评研究

时间:2020-10-23 百科知识 联系我们
国内的研究与发展_国际视野下大规模数学测评研究

与国际上这些比较成熟的测评相比,中国大规模测评的专业化程度比较低。近年来,很多学者不断学习研究并借鉴现代测量理论、测验编制技术及相关经验,努力提高中国大规模测评的质量。PISA测评和TIMSS测评都是国际上发展比较成熟的大规模测评,对中国大规模考试的发展具有重要的借鉴意义。中国的很多学者对这些考试的研究也很多,研究范围也很广,涉及内容有测评框架、试题设计、评分、编码、实施管理甚至政策研究等等。国家教育部考试中心从2006年开始实施PISA中国试测研究项目,实施了PISA测评工具翻译和预试调整、学校样本和学生样本提取、评价实施、编码阅卷、数据整理、统计分析和结果报告全环节评价的工作。“其目的在于通过PISA2006和PISA2009两轮中国试测研究实践,掌握和借鉴PISA先进的评价理念、理论和技术,为构建符合中国国情的、基于现有大规模考试的教育质量评价体系奠定基础、积累经验和锻炼队伍。”[48]

与国际上对TIMSS测评和PISA测评的横向比较相比,中国在相关领域的比较非常少。从中国期刊网上搜索显示,鲁毓婷[49]、赖小琴[50]黄慧娟等[51],就两者在测评目的、理论模型、框架、测评工具、内容和评分上的异同进行了分析比较。分析的方法基本采用定性描述,其中涉及相关内容之间内在关系的分析很少,基本以独立单元呈现,没有对测评结果和结果差异性的解释进行比较分析。

从上述相关文献综述中,我们可归纳如下要点:

1.国际大规模测评受到关注

各国均处于21世纪的经济全球化背景之下,人力资本在竞争越来越激烈的社会中呈现出日益显著的作用,这使得越来越多国家和地区关注本国或本地区教育系统输出结果的效率和效能。基于此,各国不仅通过了解国际大规模测评,甚至通过参与国际大规模测评,来判断和掌握本国学生学业成就在国际平台上的定位情况,进一步了解影响学生学业成就的相关因素,以此帮助构建或完善本国教育质量测评系统,以进一步推动本国或本地区教育系统的运作。国际大规模测评在这样的背景下,对各国教育政策的影响作用日益凸显,受到各国的重视。

2.数学是国际测评比较的良好载体

鉴于内在的学科体系性,数学在各国课程中具有更多的相似性,这使得这门学科成为国际比较测评的常规领域,以及了解各国学生学业成就,甚至课程实施情况的有效“渠道”。同时,正是国际数学测评的不断发展,为大规模国际测评的目标分析框架设计、测评管理、测量技术使用的不断完善提供了动力。反之,这些方面的理论或技术的日趋成熟,也为大规模国际测评结果的有效性和可靠性打下更为扎实的基础。

3.国际大规模数学测评拓展了教育领域的实证研究

国际大规模数学测评不仅有助于对不同国家学生数学学业成就进行合理描述,而且有助于对学业成就影响因素进行实证分析。无论是学生的学,还是教师的教,抑或是社会环境等若干因素,都极大拓展了教育学的研究领域和研究深度。相关的趋势研究,在为国际比较研究领域进一步拓展空间的同时,也为各国深入了解本国的课程、教学、学习之间的关系提供了更为独特的视角。

4.中国对于PISA 或 TIMSS国际大规模数学测评的研究现状

其一,描述局部内容的较多,从系统、整体角度进行分析的匮乏。

无论国内外,对两个测评的相关内容进行描述和分析的都比较多,如测评的框架、测评内容、抽样或测评评分等。国内的研究在这方面显得更为明显。一方面,这有利于人们更微观地了解两个测评,另一方面,这也是对于测评有效性检验的需要。但往往呈现单方面或局部层面的分析内容比较多,而对各个功能块面加以整合的系统有效性分析很少,这不利于对测试系统进行构建,也不利于对其整体性进行把握。

其二,关注测评结果及结果差异的影响因素的讨论。

对测评结果及结果差异的影响因素进行分析,这是两个测评所预设的,也是测评目的所要求的。这里既涉及学生的认知因素,如数学学习策略对于测评结果的影响,也涉及学生非认知因素对于测评结果的影响,如性别、学校氛围、数学兴趣等等。无论是国内的研究还是国外的研究,都对此体现出较为浓厚的兴趣。但是分析测评框架及内容设计等方面的差异对结果影响的并不多。特别在实证研究上,目前国内尚没有充分利用测量模型综合加以讨论、论证的相应论文。国内更多的关注点在于用定性描述的方法阐述差异性的存在,对于存在的原因则很少分析。从学者波斯尔思韦特关于比较研究目的的论述中可以看出,我们不仅要知道比较对象间的相似和不同之处,同时还要指出它们存在的原因。“现有的比较,人们通常比较对象的不同点;然而从方法论的角度看,我们也应十分关注对象的共同点,并注意研究从这些共同点可以引出什么样的进一步结论。”[52]从这个角度上,也反映出我们在相关技术运用上的匮乏。在当今世界教育评价研究领域,为了提高测评的有效性,人们往往关注新技术在获取学生结果上的应用。在这一领域至少有两个方面值得注意。一是心理测量模型与认知过程的联系更加密切;[53]二是对现有数据,应进一步利用IRT改良数学模型和估计方法,特别是多维模型和干扰项分析,[54]以便获取更多信息。而这些在目前中国大规模数学测评研究所公布的内容中比较少见。

这一定程度上反映了对于整个教育系统层面,大规模测评实施过程中技术运用的复杂性和综合性,也反映了对于相应测评队伍工作人员或工作团队的整体知识结构和技术运用能力的高要求。这反映出目前国内测评机构和相应研究团队较为薄弱的方面,也在一定程度上阻碍了相应研究的进一步实证和测评的进一步实施。

其三,与中国的教育评价体系或课程内容相比较的研究少。

测评的结果,可再一次检验教育测评体系的可靠性和有效性,同时反馈或检验课程实施的结果,特别有助于课堂实际教学。相比上述两个现状,这是一个更加复杂和宏观的思考,但也是最为根本的。在这方面,中外学者借助两个测评,充分利用国际数学测评及得到的数据库,作了较多的比较和研究工作。但相比外国的研究而言,中国的相关研究注重测评的工作流程,侧重就管理层面对本国评价系统提出建议,侧重定性描述或罗列。涉及对于数学课程内容的比较研究,则更趋向于课程内容结构和维度的思考,对于数学价值的理解及对于数学课程整体性把握的思考不多。这直接产生的结果就是,对于测评系统整体性设计的功能整合往往趋于含糊不清。而在国外,测评的整体性设计首先建立在对系统各个层面功能有着充分认识并进行了有效整合的基础上。

其四,对于课堂教学的反馈不足。

目前在中国,从资料显示来看,如何结合国际大规模数学测评,有效整合中国的相关测评研究,对课堂教学和学生学习进行评价和反馈,这方面的工作几乎没有看到,而国外则已经在进行中。这造成的不利影响就是,难以在课程、评价、教学三者之间形成循环往复、相互支撑、矫正的通道。评价这个环节断裂或被削弱,不利于课程的改革,也不利于课堂教学的实践和干预。

上述中国在PISA数学测评和TIMSS数学测评研究方面存在的问题,一定程度上也反映出目前国内对大规模测评整体性和系统性建设的忽视。无论如何,国际大规模数学测评不断尝试展现一系列颇具“野心”的目标,呈现了多目标、系统性、多层面、多种技术合成的大规模操作系统,为进一步探究教育系统结果的影响因素及内在的相关性提供了有力的工具。在知识经济的当下,它们为参与国的测评系统或教育体系更加科学、合理的构建提供了更加宽泛的平台及视角。这是值得我们进一步深入学习、思考及跟进的。

【注释】

[1]Husen T., Tuijnman A.C.M.onitoring standards in education: why and how it came about.in Tuijnman and Postlethwaite(eds).Monitoring the Standards of Education[C].Oxford:Pergamon Press, 1994:47.

[2]Foshay A.W..Educational Achievement of Thirteen-year-olds in Twelve Countries.in Results of an International Research 1959—1961[C].Hamburg: UNESCO Intitute of Education, 1962:124.

[3]资料来源于Hanushek, Eric A. and Woessmann, Ludger.The economic of international differences in educational achievement.Hanushek, Machin, Stephen, and Woessman, Ludger.Handbook of the economic of education.Vol.3.eds[C].Amsterdm;North Holland, 2011.89—200.Jay H.Moskowitz Maria Stephens.Comparing Learning Outcomes [M].London and New York: Routledge Falmer.2004.3—23;以及PISA测评官网(http://www.oecd.org/pisa/pisaproducts)和TIMSS测评官网(http://timss.bc.edu)等。

[4]Foshay A.W..Educational Achievement of Thirteen-year-olds in Twelve Countries.in Results of an International Research 1959—1961[C].Hamburg: UNESCO Intitute of Education, 1962:114.

[5]Shultz T..Investment in Human Capital: The Role of Education and of Research[M].New York: Free Press,1971.

[6]Becker G..Human Capital:A Theoretical and Empirical Analysis with Special Reference to Education(2nd ed) [M].Princeton, New Jersey: Princeton University Press, 1975.

[7]Jens Henrik Haahr, Thomas Kibak Nielsen, Martin Eggert Hansen and Siren Teglgaard Jakobsen.Explaining Student Performance Evidence from the International PISA, TIMSS and PIRLS Surveys [ M].Danish Technological Institute, 2005:47.

[8]Daniel L.Stufflebeam, George F.Madaus & Thomas Kellaghan.评估模型[M].苏锦丽等译.北京:北京大学出版社,2006:327.

[9]IEA.TIMSS 2003 Technical Report[EB/OL].http://tirnss.bc.edu/timss2003i/technicalD.html.2015-3-4.7.

[10]OECD.PISA 2003 Technical Report[EB/OL].http://www.oecd.org/pisa/pisaproducts/pisa2003technicalreport.htm.2015-3-4.4.

[11]The SA GE Encyclopedia of Social Research Methods.Consequential Validity[EB/OL].http://srmo.sagepib.com/view/the-sage-encyclopedia-of-social-research-methods/n158.xml.2014-10-7.

[12]UNESCO.World Declaration on Education for All: Meeting Basic Learning Needs .http://www.ecdgroup.corn/download/cn114awi.pdf.2015-01-24.

[13]Postlethwaite, T.N.T.he Encyclopeadia of Comparative Education and National Systems of Education[M].Oxford:Pergamon, 1988: xvii—xxvii.

[14]David F.Roblitaille,Kenneth J.Travers.International Studies of Achievement in Mathematics.in Douglas A.Grouws(ed.).Handbook of Rearch on Mathematics Teaching and Learning[C].Macmillan Publish Company, 2002:689.

[15]Robitaille, D.F., TIMSS: The Third International Mathematics and Science Study [ M ].Beitraege zum Mathematikunterricht, Hildesheim, Franzbecker, 1994:41.

[16]Kaiser, G., Luna, E. & Huntley, I. (Eds).International Comparisons in Mathematics Education[M].London: Falmer Press, 1999.

[17]Gee, J..Preamble to a literacy program[M].Madison: Department of Curriculum and Instruction.WI,1998:76.(www.guayunfan.com)

[18]经济合作与发展组织(OECD).面向明日世界的学习——国际学生评估项目(PISA)2003报告[M].上海上海教育出版社,2008:83—223.

[19]郑毓信.数学教育国际比较研究的合理定位和方法论[J].上海师范大学哲学社会科学基础教育版), 2004(9):1.

[20]Alexander, R., Culture in Pedagogy, Pedagogy across Cultures.in Alexander, R. & Broadfoot, P. & Philipps, D.(eds).Learning from Comparing: New Directions in Comparative Educational Research.Vol.1[M].Oxford: Symposium Books, 1999:149—180.

[21]Kaiser, G., International Comparisons in Mathematics Education under the Perspective of Comparative Education.[4], in Kaiser, G., Luna, E. & Huntley, L.(eds).International Comparisons in Mathematics Education [C].London:Falmer Press, 1999:3—15.

[22]郑毓信.数学教育国际比较研究的合理定位与方法论[J].上海师范大学(哲学社会科学基础教育版).2004(9):1.

[23]Mogens Niss.Investigations into Assessment in Mathematics Education: An ICMI Study[C].Kluwer Academis Publishers, 1993.

[24]David F.Robitaille & J.Stuart Donin.TIMSS: The Third International Mathematics and Science Study.in Investigations into Assessment in Mathematics Education: An ICMI Study[C].Kluwer Academis Publishers, 1993:229—243.

[25]Gila Hanna.The Validity of Internatioanl Performace Comparisons.in Investigations into Assessment in Mathematics Education: An ICMI Study[C].Kluwer Academis Publishers, 1993:245—252.

[26]Routitsky, A & Turner, R.I.tem format types and their influence on cross-national comparisons of student performance.Presentation given to the annual meeting of the American Educational Research Association.Chicago.2003.

[27]Turner, R. & Adams, R.J.T.he programme for International Student Assessment: An overview[ J ].Journal of Applied Measurement, 2007,8(3):237—248.

[28]包括:
Çigdem Ig Güzel & Giray Berberoglu.Students' affective characteristics and their relation to mathematical literacy measures in the programme for international student assessment( PISA) 2003[ J ].Eurasion Joural of Educational Research,2010(40):93—113.
Bos, K., Kuiper, W.M.odeling TIMSS data in a European comparative perspective: Exploring influencing factors on achievement in mathematics in grade 8[J].Educational Research and Evaluation, 1999,5(2):157—179.
Ig Güzel, Ç., Berberoglu, G.A.n analysis of the Programme for International Student Assessment 2000 (PISA 2000)mathematical literacy for Brazilian, Japanese and Norwegian students[ J].Studies in Educational Evaluation, 2005( 31) :283—314.
Ibrahim Demir, Serpil Kolic.Using PISA2003, Examing the factor affecting students' mathematics achievement.H.U.[J].Journal of Education, 2010(38) :44—54.

[29]Jolita Dudait, Aist Elijio.Change in Lithuanian Basic School Students' Mathematics Achievement through 1995—2003[EB/OL].http://www.nec.lt/failai/257_tyrimai_timss_pub_konf_TMDK_kaita.pdf.2015-4-6.

[30]任子朝.国际学生评价发展趋势—P—ISA评价[J].数学教学,2003(3):1—3,19.

[31]包括:
辛涛,李峰和李凌艳.基础教育质量监测的国际比较[J].北京师范大学学报,2007(6):5—10.
刘中正.上海义务教育阶段学生学习质量评价体系研究——基于教育管理视角[D].华东政法大学硕士论文,2012.

[32]岳晓琳.中考数学命题研究[D].华东师范大学硕士论文,2007.

[33]张华.国外中小数学教育评价研究述评及其启示[J].课程教材教法,2007(10):83—87.

[34]孔企平.国际数学学习测评:聚焦数学素养的发展[J].全球教育展望,2011(11):78—82.

[35]王正青.国际学业成绩测评:历史发展、当前热点与争论[J].外国教育研究,2009(5);24—28.

[36]徐波.国际教育成就评估的发展历程、研究项目及其争论[J].外国教育研究,2008(10):71—75.

[37]刘晓庆.大规模学业评价研究[D].华中师范大学博士论文,2013.

[38]Margaret Wu.2003年国际学生评价项目与国际数学及科学教育成就趋势数学成绩比较[J].教育展望:国际比较教育,2009(1):33—46.

[39]Liv Sissel Grφonmo, Rolf Vegar Olsen, TIMSS Versus PISA: the Case of Pure and Applied Mathematics, Norway:University of Oslo[EB/OL].http://www.timss.no/publications/.2015-4-15.12.

[40]Liv Sissel Grφnmo, Rolf Vegar Olsen, TIMSS Versus PISA: the Case of Pure and Applied Mathematics, Norway:University of Oslo[EB/OL].http://www.timss.no/publications/.2015-4-15.12.

[41]Margaret Wu.OECD Education Working Papers, N32: Comparing the Similatities an Differences of PISA 2003 and TIMSS[M].France: OECD Publishing, 2010.

[42]NCES.Comparing NAEP, TIMSS, and PISA in Mathematics and Science[EB/OL].http://nces.ed.gov/timss/pdf/naep_timss_pisa_comp.pdf.2014-12-6.

[43]Dr Graham Ruddock, Tandi Clausen-May Chris Purple and Rob Ager.Validation Study of the PISA 2000, PISA 2003 and TIMSS—2003 International Studies of Pupil Attainment, department for education and skills[EB/OL].http://dera.ioe.ac.uk/6448/1/RR772.pdf.2015-1-6.

[44]廖青.美国《共同核心州立标准》政策的形成及其初步实施[J].比较教育研究,2012(12):70.

[45]Sheila Byrd Carmichael, E.Stephen Wilson, Chester F.Finn, Jr., Amber M.Winkler & Stafford Palmieri.Stars By Which to Navigate? Scanning National and International Education Standards in 2009.An Interim Report on Common Core,NAEP, TIMSS and PISA2009[EB/OL].http://files.eric.ed.gov/fulltext/ED506714.pdf.2015-04-25.

[46]Michael Neubrand.What Student Know, What Teachers Know: Theories-Tools-Outcomes.课堂评价:促进学生的学习和发展[C].上海:华东师范大学出版社,2012:229—245.

[47]Mark Willson & Claus Carstensen.Assessment to improve learning in mathemati cs: The BEAR Assessment System[J].Journal of Educational Research and Development, 2005(12): 27—50.

[48]王蕾.基于大规模考试的质量评价.管理与评价[J].教育科学研究,2010(11):37.

[49]鲁毓婷.全球化背景下的学生学业成就比较研究——TIMSS和PISA[J].考试研究,2007(7):76—92.

[50]赖小琴.国际学生评价TIMSS和PISA的比较与反思[J].广西教育学院学报,2008(2):59—62.

[51]黄慧娟,王希,许明.关于三项著名国际学生评价项目的比较[J].福建师范大学学报(哲学社会科学版), 2004(4):141—146.

[52]郑毓信.数学教育国际比较研究的合理定位与方法论[J].上海师范大学学报(哲学社会科学基础教育版),2004(9):2.

[53]Frederiksen, J., Mislevy, R.J., & Bejar, I.(eds.).Test theory for a new generation of tests[ M].Hillsfale, NJ :Lawrence Erlbaum.1993:79.

[54]参考:
Adams, RT..,Wilson, MR. & Wang,W.T.he multidimensional random coefficients multinomial logit mode[lJ].Applied Psychological Measurement, 1997( 21) :1—23.
Wang, W..Rasch analysis of distractors in multiple—choice items[J].Journal of Outcome Measurement, 1998,2( 1) :43—65.