首页 理论教育 情境判断测验的形式和优点

情境判断测验的形式和优点

时间:2022-10-23 理论教育 版权反馈
【摘要】:情境判断测验通过模拟实际中的具体情景,考察个体与工作或学习直接相关的能力和技术。而情境判断测验提供了这样一种“新的”预测源。首先,情境判断测验具有与认知能力测验相接近的效度。情境判断测验在隐性知识的测量方面扮演了重要角色。其中最著名的当属斯腾伯格及其同事开展的使用情景判断测验实践智力的一系列研究。

第一节 情境判断测验

情境判断测验(Situational Judgment Tests,简称SJT)是近年使用较为广泛的一种人力资源评价方法。情境判断测验通过模拟实际中的具体情景,考察个体与工作或学习直接相关的能力和技术。在人力资源评价过程中,选拔、测验和评估的基本任务就是在选拔与测验过程中获得有限信息为基础,对一个人当前和将来的工作绩效进行精确预测。在选拔和测验的过程中,获得的信息越精确、越具相关性,则这种预测就越为准确。因此,更好、更有效地预测绩效的预测源的持续研究是非常关键的问题。而情境判断测验提供了这样一种“新的”预测源。

一、情景判断测验的形式

随着研究的发展,情境判断测验作为绩效的预测因子的使用越来越普及化。在典型的情境判断测验中,会给被试呈现其在工作、学习或生活中可能会遇到的各种情境——这些情境通常来自关键性事件或者工作、学习或生活。伴随着每种情境之后出现的是针对假设情境的各种可能的处理方法或反应方式。然后要求被试对可能出现的处理方法或反应方式作出迫选方式或等级评价判断。

典型的情景判断测验的题目示例如下。[1]

情境判断测验题目示例1

一个人向你汇报说,他/她不知道如何获得完成你安排给他/她的一项特殊任务所需要的相关资源(如预算、设备等)。你是这个人的管理者。

A.告诉他/她如何处理这件事情。

B.把这件事情交给另外一个对此熟悉的人去做。

C.告诉这个人“大胆去做吧”。

D.要求这个人思考一些备选做法,并且和你一起审查这些备选做法。

E.给这个雇员提供较多的资源

你认为以上反应,哪个是最好的?

你认为以上反应,哪个是最差的?

情境判断测验题目示例2

几个月以来,你一直尝试约会一个非常重要的潜在客户,但是你好像很难通过她的秘书这一关。秘书会筛选她老板的所有电话和电子邮件。选项如下:

当你顺路时,尝试顺便拜访一下这位潜在客户,并对她的秘书说,你将会等到见她为止。

你采用外交辞令的方式告诉这位秘书说,是她的老板,而不是她,应该决定是否见你。

给这位潜在客户写一封私密的或私人的信件,解释一下这种情况。

当秘书不在时,尝试在早上或者晚上,想办法接近老板。

尝试通过做一些不寻常的事情引起这位潜在客户的注意,例如,给这位老板送花、特别展览的门票或演唱会门票等。

用以下等级数字评估以上每个选项:

6=高度有效

5=中等有效

4=稍微有效

3=稍微无效

2=中等无效

1=高度无效

二、情境判断测验的优点

情境判断测验得到越来越广泛的使用,主要是因为有关研究显示出这种测验具有很多优点。首先,情境判断测验具有与认知能力测验相接近的效度。如有研究者搜集了有关研究中情境判断测验的102个效度系数,并估算了这些情境判断测验的效度系数的平均校正效度为0.34;此外,情境判断测验具有超过传统预测源诸如认知能力和人格的增值效度,这些研究表明情境判断测验能够捕捉到其他传统测验无法捕捉到的与绩效相关的独特因素。其次,平均的亚团体差异通常在小到中等之间,尤其是与认知能力测验相比,情境判断测验的种族性亚团体差异较小。再者,对于选拔程序来说,典型的情境判断测验所具有的表面效度是一个重要的优点。

三、情景判断测验在隐性知识研究中的使用

与其他测评技术相比具有的高表面效度、低成本、低仿真度和能够同时考察多种能力结构等优势使情境判断测验在近30年来备受关注。经过近几十年的探索,情境判断测验技术在理论发展和实践应用方面都获得了较大的进展。情境判断测验在隐性知识的测量方面扮演了重要角色。其中最著名的当属斯腾伯格及其同事开展的使用情景判断测验实践智力的一系列研究。

实践智力是成功智力三元理论的一个重要方面。实践智力由认知成分和行为成分组成,其中认知成分对知识有要求,这些知识是关于如何最有效地应对日常情境的,包括隐性知识和显性知识。斯腾伯格及其同事为教师、学校管理者、军队领导者、商学院申请人等职业设计了隐性知识的评估。斯腾伯格采用关键事件访谈的方法引发隐性知识,即由专家对各领域的工作人员、成功人士进行访谈,了解与其工作相关的典型事例以及解决方法,从而发现隐性知识。

斯腾伯格等人的研究从访谈特定领域(学术心理学、商业管理、销售和军队领导等领域)内富有经验的成功人士开始,请这些成功人士描述一些典型的与其工作相关的情景,这些情景有可能在一个工作周中遇到,然后提供一系列可供选择的行为,这些行为是针对这些情境的可能的解决方案。通过访谈并结合最初的理论框架,设计针对不同职业领域的一组与工作相关的情景及行为选项,最后通过项目分析来确定哪些能够区分出不同水平个体的情景与选项。

根据隐性知识的结构,斯腾伯格为管理人员、销售人员和军事领导者设计开发了相应的隐性知识测试问卷,用于测试个人隐性知识水平的高低。每个职业群体的被试一般分布在具有该领域不同经验的三个层次中(例如,商业管理人员、商业管理研究生和大学生)。该问卷采用李克特(Likert)量表,基本形式是呈现与工作相关的情景,每个情景后面有一系列处理该情景的相关选项,要求调查对象表明自己的态度。问卷主要通过呈现各个相关领域可能遇到的典型情景,让被试根据所给的七点量表(从“最不好”到“最好”)对处理每个情景的一系列相关选项进行等级评估。

下面是关于管理人员隐性知识测试条目的例子。

你是一家著名电视机生产公司负责市场的副总裁,有以下经历:在该公司从事了13年的人事工作;担任公司市场副总裁一职的时间为两年左右。

你所在的公司以前往往比其他竞争者更早设计出新的产品,而目前产品的生产线在迅速变化的市场中却比同行的领头军要慢三拍,市场占有额逐渐失去了稳定性。

你认为自己作为负责市场的副总裁,缺乏最新的有关电视机产品的知识和技术,这影响了公司的效益。你打算补上这些必需的知识,在工作时间表被安排得满满的情况下,你如何来获取新的知识和技术呢?请对下面所列方法按符合你的实际情况从1~7进行记分。

完全不符合(1) 基本不符合(2) 有点不符合(3) 不能确定(4) 有点符合(5) 基本符合(6) 完全符合(7)

1.申请一段时间的假期来学习先进的技术和知识。

2.要求有关人员做一个新闻剪报,提供大量有关的新信息和新资料。

3.订阅几种和你所在的公司生产与销售相关的技术性杂志。

4.订阅几种含有你所在的公司产品的消费者指南杂志。

5.开始参加业内的产品交易展示会。

6.要求列席每周由研究开发部举行的新产品讨论会。

7.参加公司邀请的进行技术介绍的研究学者的报告会。

8.雇用一个员工,其首要职责就是使你不落后于本行业当前的潮流。

9.要求生产部准备每月新产品的简要报告。

10.要求研究开发部和生产经营部每周对你和销售部的员工介绍相关的知识和技术。

四、情境判断测验的开发程序

情境判断测验试题在结构上包括四个方面的内容:题干(描述具体情景)、反应项目(给出每个情景下可能的行为反应)、指导语(明确测评方式)以及计分方式(确定如何计分,用于统计和计算分数)。情境判断测验的开发思路一般有两种模式,即经验性模式和逻辑性模式。[2]

经验性模式的情境判断测验是从工作分析出发,请岗位专家与熟手提供做好该岗位工作或学习的关键事件,将那些鉴别绩效有力的关键事件加工设置成试题题干,设置描述时应具体、典型、简洁、便于理解;接着请专家和该岗位不同熟练程度的人员提供行为反应,选出恰当地能代表不同有效性或不同程度的行为反应项作为试题选项;确定指导语和赋分办法;实际施测;针对实测结果来分析测验能测到什么内部特质(构念),考察测验的有效性。

逻辑性模式的情境判断测验的步骤大体是:从职务工作分析出发,确定应测构念的因素模式;对每一因素拟定操作性说明;针对每一因素操作说明开发情景与行为选项(以上三步除定性地作理论分析外,还同时作实证的定量分析);通过试验性测试作项目分析;通过实测采用探索与验证性因素分析作结构效度验证,以及建立恰当标效作并存与预测效度检验;通过多方面与反复的检验修改完成符合原定理论构想的测验。但实际开发过程中原定构想很可能要修改,而且工作中的各个环节处处都要注意吸取有关专家与熟手的经验,所以与前种模式并非决然对立。

五、情境判断测验的信效度问题

美国学者麦克丹尼尔等通过元分析发现情境判断测验的内部一致性系数为0.43~0.94[3];莫特维多等的研究发现,情景判断测验的内部一致性系数为0.56[4];而威克利和普劳哈特的研究发现情景判断测验的重测信度为0.84。[5]在使用情景判断测验研究隐性知识的研究中,赫德兰等使用的军队领导内隐知识量表的信度系数在营长、连长、排长三个样本中分别是:0.66、0.76、0.69[6];在关于学术隐性知识的研究中发现,学术隐性知识六因素模型的内部一致性系数分别是0.86、0.83、0.73、0.80、0.43、0.69,表明该模型具有良好的信度。[7]

以项目反应理论为基础,使用随机评价策略、项目对照策略发现在情境判断测验中,测验—重测和平行形式是最合适的信度估计方法“使用不同的项目去测量相同结构的平行形式信度为0.76”。

由于隐性知识主要来自于工作中相关的知识,因此使用情境判断测验隐性知识比测验一般认知能力对工作成绩有更好的预测效果。

有研究者对157名长官进行了军队长官隐性知识测验、语言能力测验(这里作为智力测验)、企业管理隐性知识测验,并考察了被试现任职务的时间长短。结果发现,被试隐性知识得分和工作成就之间存在着相关关系,而被试在企业管理者隐含知识测验上的得分及其任职时间的长短与其工作成就之间不存在相关,语言能力测验分数不如隐性知识测验分数对工作成就变异的解释。[8]

有研究者使用瓦格纳和斯腾伯格编制的隐性知识量表;认知、语言表达、计算和分析能力问卷;大学时的成绩、人格量表;时间管理行为量表;社会技巧调查、自我规则量表等调查70名不同专业的研究生。结果表明,隐性知识的分数与成绩评价显著相关(r=0.41,p<0.005),隐性知识对成绩具有预测作用,隐性知识与认知能力分析分数(r=0.25,p<0.005)、言语成绩(r=0.24,p<0.05)相关显著,并与人格维度(r=0.34,p<0.05)和经验(r=0.21,p<0.05)显著相关,但与自我规范、自我监控、时间管理和社会技巧无关。系列的回归分析发现,隐性知识和认知能力都具有显著的区分效度,但隐性知识的预测效度超过了人格测验和学习成绩测验,进一步的回归分析仍表明隐性知识的预测水平超过其他变量。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈