选择和研制测评工具与方法

第二节　选择和研制测评工具与方法

一、人员素质测评工具与方法的选择

人员素质测评的工具编制得好不好，不仅要看其在人员素质实际评价中是否有效，还要看它是否达到了几个通用的测量标准。一般来说，在保证实施测量标准化的条件下，对这些测量学的标准的遵循与该测评的有效性是一致的。只有遵循了信度、效度、项目分析和常模这些测量学的标准，才能保证人员素质测评的有效性。此外，测评方法与工具是服务于具体岗位和组织的，用统一的方法与工具去服务所有的岗位和组织是不可取的，违背了人事匹配的基本原则。因此，在选择测评方法时，应该从测评的管理目的、岗位职责的特点以及被测组织的特征这些方面进行选择。

(一)根据不同管理目的测评方法选择

1.用于招聘甄选的方法选择

针对招聘甄选工作的特点应注意如下几个问题:

(1)区分性。应聘者往往数量众多，要有效地将其按照不同的素质水平区分开来。在这里有两种策略，即汰劣与择优。汰劣要求使用成本低、容易实施、标准明确的测验方法，如能力倾向测验、职业能力测验、知识考试等。其往往用于一般人员的选拔或对大批应聘者的初步筛选;择优则要求对被试者进行全面、详细的考查，可以综合采用面试、面向高绩效的管理测验、评价中心等成本高、效度高的方法。择优测验往往用于选拔职位要求高、职责重大的人员。

(2)客观性。在招聘中，为了避免主观因素带来的偏差，要求所采用的方法有较高的客观性，如标准化测验、结构化面试和各种测验方式相互印证比较的评价中心等。

(3)灵活性。为了避免被试伪装和隐瞒信息，所选用的测验应该是灵活可变的，或者是具有测谎机制，或者是编制上采用了声东击西的策略，或者是各项分数能够相互印证比较。

(4)公平性。招聘过程需要公平、公正、公开，因此所选测验方法也要估计公平程度，避免统计性歧视以及具备较高的表面效度都是必要的。

2.用于晋升选拔的方法选择

晋升是职务工作的一种转换，是不同职务或岗位的调动。它是一种激励的杠杆，对保持组织自身吸引力和加强人员稳定性是有用的。在晋升过程中普遍存在三个问题。首先，从基层到中高层，管理职责差异很大，所需能力不同，在基层干得好的人在更高层的职务上未必干得好;其次，晋升的公平性问题，是应该基于能力、基于资历，还是基于绩效;最后，客观性问题即由谁来选拔的问题，这涉及从直接领导人到各级管理层的复杂关系。要解决这些问题，在建立合理的职位素质模型的基础上，应该采用标准化、客观化、明确、公开的测评方法，且预测效度更高，这样才能保证公平性和晋升工作的信誉。能力倾向测验、人格与个性测验、评价中心方法都是不错的选择。

3.用于培训的方法选择

人员素质测评作为培训需求分析的必要工具和评价培训效果的重要工具，属于开发性的测评，不像选拔性测评那样注重测评结果的区分功能。它需要保证的是测验的信度、效度和可行性，讲究成本适当，操作方便，测评结果准确可信，并有完备的常模标准进行对照。结合培训针对的素质能力，可选择相应的知识考试、职业技能测验、管理认识测验和公文筐等模拟测验等。

4.用于考核的方法选择

考核包括对工作业绩、工作能力、工作态度的测评。考核与人员素质测评是有区别的，前者是常规性的管理活动，以事实性的工作结果和行为时限为根据具有监督、指导、激励等功能;人员素质测评往往是一种应时性的咨询诊断工作，考查的的行为以及其背后的素质水平，其结果是客观的描述，不会对被测对象的行为产生实质的影响。它们之间的关联之处在于人员考核借鉴了素质测评的方法，两者可以互相补充。在心理测评工具中，能力测验的预测力和诊断力是最为可靠的，可以用做潜能考核的有效手段。

(1)多向能力测验:预测能力结构，依据优劣势分析，进行合理的工作安排和团队组合。

(2)管理数量分析能力测验、管理逻辑推理能力测验:预测管理潜力和创造潜力，判断是否易于实现有效管理。

(3)公文筐测验:适用于高层管理者，预测工商管理素质，评估综合管理技能，鉴别是否有全面系统的经验和独当一面的魄力。

(4)小组讨论:适用于中高层管理者，预测工商管理素质，评估领导意识和素质、表达能力和协调引导能力，预测管理功能和管理风格。

(5)面向高绩效的管理潜能开发测验:适用于中高层管理者，考查管理者的知识、技能水平和管理风格定位，强化管理效能和管理风格。

(二)针对岗位职责的测评方法选择

岗位职责，从纵向的层级划分，可以分为一般员工、中层员工和高层管理人员;从横向的职种划分，可分为生产、营销、财务、行政人事和技术岗位。

1.用于一般员工的测评方法选择

一般员工从事的工作有自主性低、工作责任和工作内容单一、任务量大、简单重复性高的特点。一般来说，没有必要对其做复杂能力素质的综合考查，一般是从工作要求出发，考查他们是否具有完成岗位任务的基本知识和技能。除了工作任务所要求的基本技能，人员素质测评也有必要调查一般员工的心态，如工作满意度、需求和动机等。值得注意的是，对于某些专业技术人员，也应该首先考查他们与工作有关的专业技术能力，然而，这些人员往往是组织的最大财富，其重要性与普通员工不可同日而语，因此，仔细调查其价值取向、满意度和需求动机，是留住人才的基本要求。

2.用于中层管理人员的测评方法选择

各部门的主管人或是项目负责人，构成了组织的中层管理阶层。中层管理阶层所肩负的责任是多元化的，所需要的品质也是多种多样的，包括能力、个性和人格倾向等多个方面，在设计中层管理人员的测评方案时，就有必要采用多种多样的测评工具，以全面涵盖待测的素质。然而，过多的测评会占用时间，造成疲劳，因此应该注意在全面的基础上，有重点地组合测评工具。对于关键的素质，采用高效度的小组讨论、情景模拟和结构化面试等;对于与测评的管理目的不那么密切的素质，可以采用心理测量表、问卷调查等较为易行的方法。

3.用于高层管理人员的测评方法选择

高层管理人员是企业的最高决策层，担任着经营决策、策划、指导与领导的职能。在选择测评方法时，因为被测对象是对企业组织的发展具有决定性影响的重要人员，测评本身受到多方关注，故一定要谨慎选择，保证测评工具的信度、效度和公平性。应该采用比较权威的个性、动机测验和领导行为、管理能力系列测验、公文筐、无领导小组讨论等评价中心方法。

4.用于不同岗位系列的测评方法选择

一般来说，无论一个企业的组织结构如何，其基本运作都包括生产、营销、财务、行政和技术职能。这些不同岗位系列的性质、难度、作用、技能和价值都存在差异，测评的对象和方法也具有差异。在选择测评方法的时候要考虑两个方面:一是该岗位的基本素质要求侧重哪些方面，从而选择相应的测评工具;二是测评方法是否适合该岗位，比如，对比较善于表达的营销系列人员可以采用更多讨论、面试和情景模拟的方法，而对财务人员则主要采用问卷、测验的方法。

(三)针对被测组织特征的测评方法选择

1.针对企业行业特征的测评方法选择

各个行业都有自己的规范和特征，对从业人员的能力、个性特征、动机需求等方面都有特别的要求。在测验的设计上应该反映行业的特点，特别是对那些具有突出的行业特征的企业。此外，不同行业的发展水平不同，管理规范不同，也可能影响对从业人员的水平要求。这些行业背景因素都应在测验设计过程中予以考虑，以有针对性地选择难度适宜的测验，或针对性地设定适宜的考查选拔标准。

2.针对企业文化特征的测评方法选择

企业文化是企业中长期形成的为所有成员共同接受的共同理想、作风、价值观念和行为标准，是一种具有企业个性的信念和行为风格。它有助于将企业目标与个人需要统一起来，提高员工的归属感和责任感。在针对企业进行测验设计时，有必要了解其理念和文化追求，了解企业文化的建设状况，据此有针对性地使用不同内容的测验，使测评的结果更加有实用性和应用价值。

二、人员素质测评工具与方法的设计手段

要建立一套比较完善的人员素质测评工具，首先就是要确定目标，根据目标确立合适的测评工具，这是决定测量效果的关键因素，根据相应的目标需要进一步选择不同的程序、方法。同时还要对人员素质测评工具的设计和编制的基本原则和技巧有所了解和掌握。一般而言，编制程序包括以下几个步骤:明确测验目的，制订编题计划，编辑题目，题目的试测与分析，组合成测验，将测验标准化，对测验的鉴定，编写测验说明书，等等。

(一)测验目标的分析

在编制测验时，测验编制者首先应明确自己所编制的测验是用来测量什么和所测量的是哪些对象。这就是我们所说的测验目的。测验目的不同，所设计的内容、测量工具的操作形式、所采用题目的形式、题目的范围和难度都会有所不同。

按照测验的目的来分类，测验可以分为显示性测验和预测性测验。当测验的题目和我们想要测评的行为相似时，这个测验就是一种显示;当我们所关心的是预测一些没有受到测评的行为时，这个测验就是一种预测。例如，成就型测验、态度测验就是显示性测验。再例如，各种能力倾向性测验、部分人格测验、角色扮演、公文筐测验都是预测性的测量工具。根据测验目标和所测验量的维度，我们从三个方面进行分析:

1.具有选拔和预测功能的预测性测验

这种测验的主要任务就是要对预测的行为活动进行具体分析，我们称为任务分析或是工作分析。这种分析包括两个步骤:

(1)要确定使所预测的活动达到成功所需要的心理特质和行为。例如，在职业兴趣测验中，某项工作包括打字，那么测验编制者可以假定手指的灵活性、手眼协调等能力是必需的。这种确定可以通过参阅前人的工作，从理论上分析，也可以通过对某项活动中已经成功的被试者的行为进行分析后得到。当测验编制者确定完成某项工作需要哪些能力、技能或特质后，他就可以编制测评这些能力或特质的题目了。

(2)要建立测评被试者是否成功的标准，这个标准称为效标，它可以作为鉴别测验的预测是否有效的重要指标。

2.测评一种特殊的心理品质或特质

首先必须给所要测量的心理和行为特质下定义，然后必须发现该维度将通过什么行为表现出来和怎么样测评得到。例如，创造力的测评，有人将创造力定义为发散性思维的能力，即对规定的刺激产生大量的、变化的、独特的反应。根据此操作定义，创造能力则应该从反应的流畅性、灵活性和详尽性三个方面来测评。

3.描述性显示测验

目标分析的主要任务是确定显示的内容和技能，从中取样。成就测验就是典型的描述性显示测验，它的内容分析过程主要体现在双向细目表的编制过程中。双向细目表是一个由测量的内容材料维度和行为技能维度所构成的表格。如果要检查新员工培训班的培训效果，就需要采用成就测验，双向细目表能够帮助这种测验的编制者决定应该选择哪些方面的题目以及各种题目应占的比例。双向细目表也适用于其他非成就测验。

(二)制订编题计划

编题计划，实际上就是编制测验的蓝图，通常是一张双向细目表，亦即测评指标体系及指标权重表，指出测验所包含的指标范围和内容，以及每个指标在指标体系中的相对重要性(权重)。在确定测验目标后，分析测量目标的结构，确定结构所包含的具体内容，以及各种内容所占的比重，亦即建立测评指标体系。由此，确定测验编制怎么样的题目，编多少题目。表9.3是一个小学自然常识“测验”的编题计划，即双向细目表。由于每一种行为特征的结构往往有其不同的层面或构成因素，因此，一个测验往往包括很多分测验，每个分测验又包括自己的测验内容。制订编题计划要充分考虑这一点。

表9.3　小学自然常识“测验”的编题计划

制订编题计划有两个好处:

(1)在编题阶段，计划可以根据对测验目标、结构及其内容的分析，确定应该写多少和写哪些种类的题目;题目编好后可以将题目的实际分布情况与编题计划对照，以确定测验题目是否恰当地代表了测验目标的结构和内容，核对重要方面的内容是否有遗漏。

(2)在计分时，可以按照每种内容所占的比重初步确定每类题目的分数。

(三)编辑项目或题目

1.搜集有关材料

测验计划编好后，就要搜集有关资料作为命题取材的依据。一个测验的好坏和测验材料的选择适当与否有密切关系。因此，要注意以下几个问题:材料来源要尽可能的丰富，这样测验便不至于偏颇，而且能提高行为样本的代表性;材料要有普遍性，尤其是成就测验，大家要公平，不要将某些被试者所熟知的题目用于测验一些没有学习过这类内容的被试者，并且要尽量避免文化背景差异的影响。

2.选择题目形式

测验编制者还必须确定题目的表现方式。在大多数情况下，任何题目都可以用几种形式呈现，应该如何选择最合适的形式呢?在一个测验中，可以采用一种形式，也可以采用几种形式。在选择时，应该考虑以下几点:(1)测验的目的和材料的性质。(2)接受测验的团体的特点。(3)各种实际因素。

3.编写和修订题目

编写题目的过程包括:写出、编辑、预试和修改等一系列过程。在获得比较满意的题目之前，这些步骤是不断重复进行的。在这个过程中，编制者要对题目进行反复的审查和修订，改正意义不明确的词句，取消一些重复和不适用的问题。在编制过程中编制者要注意以下几个问题:(1)题目的范围要与编题计划中确定的结构以及所包含的具体内容一致，比例恰当，题目要有代表性。(2)题目的数量要比所需的题目多一些，以备筛选和编制副本用。(3)题目的难度要符合测验目的需要，不要超过受测团体的知识或能力范围。(4)题目的说明必须清楚明白，可能引起误解的格式要避免。(5)题目的表述要准确，使用当代语言，不要使用艰深的词句，文字要简明扼要。(6)题目的表述要尽量避免主观性和情绪化的词句，不要出现伤害被试者或难以回答的问题。

(四)题目的试测和项目分析

初步筛选出的题目虽然在内容和形式上符合要求，但是否具有适当的难度与鉴别作用，必须通过实践来检验。也就是要通过试测进行项目分析，为进一步筛选题目提供客观依据。

试测应该注意以下几个问题:(1)试测对象应该取自将来准备正式施测的群体。(2)试测的实施过程与情境应力求与将来正式测验时的情况相似。(3)试测的时限可以稍微放宽一点，最好让每一个被试者都能将题目做完，以搜集较充分的反应资料，使统计结果更为可靠。(4)在试测的过程中，应对被试者的反应情形随时加以记录。比如，在不同时限内一般被试者所完成的题数、题意不清之处以及其他有关问题。

试测完成后，要对测试的结果进行项目分析。项目分析主要从质和量两个方面进行分析，根据分析结果，再选择和编制出比较好的测验。

(五)组合成测验和标准化

经过试测和项目分析，对各个题目的性能已经有可靠的资料作为评价的依据，这一步可以选出性能优良的题目加以适当的编排，组合成测验。

性能优良的题目主要有两个标准:具有良好的鉴别力和具有最适合的难度。鉴别力是指题目能测定所需要的特征;难度则是指构成测验的各个题目，应由较难的和较易的等各个不同程度的题目构成，测验要有一定的平均难度。

题目选出之后，要根据测验的目的与性质，并且考虑被试者在作答时的心理反应，加以合理的安排。一般题目有两种组合方式:并列直进式和混合螺旋式。前者是将整个测验按材料的性质归为若干分测验，依其难度由易到难排列;后者是先将各类试题依照难度分为若干不同的层次，再将不同性质的试题加以组合，作交叉性排列，其难度渐次升进。

然后要编制复本。测验的各个复本必须等值，需要符合下列几个条件:(1)各份测验测量的是同一种心理特性。(2)各份测验具有相同的内容和形式。(3)各份测验的题目不应有重复的地方。(4)各份测验题目数量相等，并且大体相同的难度。

复本编制好后，应该再试测一次，以决定各份是否等值。

至此，测验已经基本成型，可以进行标准化工作。标准化包括:确定实施规则(指导语、时限)及评分方法，更重要的是建立常模。

(六)对测验进行鉴定

测验编制好之后，必须对测验的可靠性和有效性进行考验。因此，要进行测量学方面的分析，搜集信度和效度资料。信度指的是测量的可靠性或一致性，一般采用相关法，以相关系数的大小表示信度的高低。效度指的是测量的有效性或是正确性。

(七)撰写测验说明书

为了使测验能够合理地实施和应用，在正式测验编写完成之后，还要编写一份说明书，即测验指导手册。主要是提供给用户实施的程序，也是用户评价、比较测验优劣的重要依据。测验手册一般包括以下的内容:

(1)标题名称、作者、实施形式、记录形式。

(2)测验的目的和功能，指出测验可以用于何种情境。

(3)测验编制的理论背景和选择题目的依据，一般还有提供选择题目的统计指标。

(4)测验的实施方法、时限和注意事项，包括指导语的充分性和对主试者的训练要求。

(5)测验的标准答案和评分方法。

(6)常模资料，包括常模表、常模适用的团体及对分数如何理解。

(7)测验的信度和效度资料。

结束以上几个步骤之后，一个测验就可以正式交付使用了。具体见图9.2。

图9.2　心理测验编制过程

资料来源:肖鸣政.人员测评理论与方法(第2版).北京:中国劳动社会保障出版社，2004.

三、测题的设计和测验的编制

编制测验的核心是题目，想要编制出比较好的测验。除了要遵循上面所介绍的一般程序之外，还要掌握编制题目的技术。

(一)命题的一般原则

测题的类型有很多种，它们的性质和功能有不同的地方，我们在编制命题的时候还是应该遵循一定的规则。

(1)试题要符合测验的目的。

(2)内容取样要有代表性。

(3)题目格式不要使被试者产生误会。

(4)文句要简明扼要，避免使用艰深的字句。

(5)应有不致引起争论的确定答案。

(6)各个试题必须是彼此独立的，不可相互牵连，不要使一个题目的回答影响另外一个题目的答案。

(7)题目中不可以含有暗示本题或是其他题目正确答案的线索。

(8)题目内容不要超出受测团体的知识和能力。

(9)所提问题应避免涉及社会禁忌和个人隐私。

(10)实施与评分要省时。

(二)测题的种类及其编制要领

测验题目的种类有很多种，可以根据测验的形式来进行分类。根据被试者所做的要求不同分为提供型和选择型:前者要求被试者提供答案，如论文题、简答题、填充题;后者要求被试者在几个选项中选择正确的答案，如是非题、匹配题、填充题。另一种常见的分类就是论文题和客观题。所有论文的题目都是提供型的，在这类题目中被试者必须以自己的语言或行为作出反应;客观题目则可以是提供型也可以是选择型，这要看被试者是要去建构一个反应还是从选项中选择一个反应而定。一个客观题的关键不在于它的反应形式而在于它的计分客观性如何。对论文题，两个或多个评分者通常不会给某种回答评以相同的等级。但客观题的计分必须在测验实施前做好准备，除施测者疏忽外，不同计分者会给予相同的分数。