研究生科研一般隐性知识测验工具的编制

第二节　研究生科研一般隐性知识测验工具的编制

一、研究生科研一般隐性知识测验工具的编制思路

经验性模式和逻辑性模式是情境判断测验的两种主要模式。经验性模式往往从具体岗位出发，搜集关键的任务情境和行为反应，经验性地编制出测验问卷，再对测验问卷测量到的构思进行分析。经验性模式下编制的情景判断测验可以获得较好的校标关联效度。但是经验性模式的编制思路缺乏理论基础和指导，存在一定的缺陷，如经验性模式过分关注测验的预测效度，而忽视其内容效度和构思效度，此外，情境反应项目的选择及其计分都依据实证数据进行调整，使得样本的代表性、选择的校标类型及测量对测验效度的影响较大，且效度数据会“特定”用于开发的样本，对测量的概化效度产生较大的影响。逻辑性模式则是首先通过理论分析确定测验应该测量的构思，且整个编制过程注重理论的指导。在逻辑性模式思路下，采用理论构思来指导测验问卷的编制，能更好地把握工作绩效的先决因素，同时情境反应项目的选择和计分强调对构思的检验，更能保证其普遍性，从而降低不稳定因素的影响。^[2]

本研究将结合经验性模式和逻辑性模式的指导思路来编制研究生科研一般隐性知识测验问卷。根据斯腾伯格关于隐性知识结构的理论，并结合实际访谈的结果，编制研究生科研一般隐性知识问卷。

二、研究生科研任务中典型情境和反应项目的确定

（一）典型情境的确定

访谈法是研究者通过与研究对象的交谈来收集对方有关心理特征与行为的数据资料的研究方法。访谈法是社会科学研究中运用较为广泛的研究方法之一。本研究在实际操作过程中，主要采用了关键事件访谈法和查阅资料法来收集关键情境及其反应项目。

首先，研究以斯腾伯格关于隐性知识的定义、特征为理论基础。斯腾伯格等认为，所谓隐性知识指的是以行动为导向的知识，是程序性的，它能促使个人实现自己所追求的价值目标。隐性知识的获得与运用，对于现实生活非常重要，它反映了个体从经验中学习的能力以及在追求和实现个人价值目标时运用知识的能力。隐性知识通常用来刻画成功个体在实践中区别于其他较少成功个体所拥有的知识类型的特色。^[3]研究针对隐性知识是以行为为导向的、程序性的特点为切入点，对研究生导师、硕士研究生和博士研究生进行关键事件访谈，请他们根据自身经历找出自己在科研过程中所遇到的典型情境，并提供当时遇到这些情境的时候采取了什么样的反应方式和措施。然后，我们从访谈对象的访谈资料中收集到15个典型情境。

针对访谈所获得的典型情境，我们进一步请三位已毕业的且现已在高校从事科研教学工作的博士研究生对这15个典型情境进行重要性评判，最后剩下11个典型情境。这些情境问题均是研究生平时遇到的典型情境。研究中访谈的对象来自华中科技大学和武汉大学。

（二）情境反应项目的收集

针对典型情境访谈内容的分析，根据访谈对象提供的典型情境下他们所采取的反应方式和措施，每个情境问题下有7～12个解决该问题的反应项。进一步请三位已毕业的且现已在高校从事科研教学工作的博士研究生根据自己的研究经历或者自己所带研究生的经历来对这些反应项进行甄别，最后11个典型情境下共有102个反应项。这些反应项目均符合隐性知识的三个特征：①通过研究生本人的经验获得的；②与研究生的行为密切相关，并不是通过正式培训和教育获得的；③和研究生的科研有关，但不属于研究生科研专业方面的问题。

（三）计分方法

问卷采用李克特自评式七点量表计分，从“完全不符合”到“完全符合”，并相应记为“1”到“7”分。其中“1”为“完全不符合”、“2”为“基本不符合”、“3”为“有点不符合”、“4”为不确定、“5”为“有点符合”、“6”为“基本符合”、“7”为完全符合。问卷要求被试回答每一情境问题时，按照自己的实际情况和反应项的符合程度进行等级评定。

三、测验题目区分度检验

测验编制过程中，为了改善和提高测验的信度和效度，在组成测验之前，需要对每个测试题目进行分析，即项目分析。项目分析就是对组成测验的每个测试题目进行分析。项目分析可以分为质的分析和量的分析。质的分析是指分析测试题目的内容和形式；而量的分析则采用统计方法来分析测试题目的品质，主要包括难度分析和鉴别力分析、效度、组间相关及多重选择题的选择分析等，用以筛选和修改测试题目的依据。

项目鉴别力分析主要是考察测验项目的鉴别力（又称为区分度），即测验项目对被试的心理特性的区分能力。项目的区分度是指项目对不同水平的被试反映的区分程度和鉴别能力。如果项目鉴别力高，则能力强、水平高的被试得分高，能力弱、水平低的被试得分低，否则就无鉴别力。

项目鉴别力的估计方法主要有项目鉴别指数、方差法、项目与总分相关、项目的组间相关以及项目与外部准则的相关——项目效度分析。其中项目鉴别指数是计算鉴别力时最常用的方法。将被试按总分高低排列，然后取得分最高的27%的被试作为高分组，得分最低的27%的被试作为低分组。通过比较高分组和低分组两组被试在题项上的得分差异，来考察测验的区分度。

项目分析的目的在于求出每个条目的“临界比率”（简称CR值），由此判断项目的鉴别指数。本研究将所有被试在问卷各条目上的得分总和按高低排序，得分前27%的被试为高分组，得分后27%的被试为低分组，并求出高低两组被试在每个条目得分上平均数差异的显著性检验，发现有两个条目的CR值高于0．05，因此剔除这两个条目，其他剩余条目则具有较好的区分度。

四、测验题目的因素分析

变量间的相关性是进行因素分析的先决条件，本研究参与因素分析的项目为100条，条目间的相关特点采用KMO和Bartlett’s球形检验。KMO（Kaiser－Meyer－Olkin）给出抽样充足量的测度，检验变量之间的偏相关是否过小。一般认为，KMO比较的是各变量间简单的相关性和偏相关的大小，取值范围为0～1。如果变量间存在内在联系，则由于计算偏相关时控制其他因素就会同时控制潜在变量，从而导致偏相关系数远远小于简单相关系数，此时KMO统计量就会接近1，进行因素分析效果好。Bartlett球形检验（Bartlett’s　Test　of　Sphercity）检验相关系数矩阵是否是单位矩阵，如果是，表明则不适合做因素分析。Bartlett球形检验用于验证各变量之间是否各自相互独立。如果结论不拒绝该假设，则说明这些变量之间可能独自提供一些信息，相互之间联系不大。

对回收的数据进行KMO和Bartlett’s球形检验，结果表明Bartlett’s球形检验的近似卡方值为18080．75（自由度为4950），显著性水平为0．000，说明变量内部有共享因素的可能性。KMO检验值为0．898，说明数据样本适于因素分析。

对261份问卷数据采用主成分法抽取公共因素，特征值大于1的因素共有23个，解释71．394%的总变异。因考虑到抽取的因素在旋转前至少能解释总变异的2%，每个因素至少包括三个条目，参考碎石图，抽取六个因素，能解释的总变异为46．032%。旋转后的因素分析结果见表6－1至表6－6。

表6－1　研究生科研一般隐性知识因素分析

表6－2　研究生科研一般隐性知识因素分析

表6－3　研究生科研一般隐性知识因素分析

表6－4　研究生科研一般隐性知识因素分析

（续表）

表6－5　研究生科研一般隐性知识因素分析

（续表）

表6－6　研究生科研一般隐性知识因素分析

（续表）

对各因素所含反应项的内容进行分析。因素1包含17个反应项，主要描述的是个体完成任务的背景或情形所需的关于自我管理方面的计划性、对活动的条理性等内容，如“对每个阶段的研究做总结”、“合理利用时间”等，将此因素命名为“日常计划与组织”；因素2包含17个反应项，主要描述的是个体对外在环境的期望以及个体价值体现的肯定方式，如“被同学认为科研能力比较强”、“获得奖励”等，命名为“社会激励的利用”；因素3包含10反应项，主要描述的是个体基于当前任务所进行的实践行动或计划，如“将课题组成员分成几个小组负责不同的研究任务”、“定期听取分管小组关于研究任务进展的报告并交流讨论”等，命名为“小组任务管理”；因素4包含20个反应项，主要描述的是与个体任务有关的具体解决技巧等，如“分析研究中出现的问题”、“阅读与该研究方向有关的文献”等，命名为“研究技能的训练与培养”；因素5包含15个反应项，主要描述的是个体从长远或整体的角度来对任务进行规划、总结等，如“确定具体的研究内容，制定研究方案”、“对自己的研究进展进行总结”等，命名为“学术研究的管理”；因素6包含13个反应项，主要描述的是完成目标的自我激励等方面的信念、行为等，如“考虑重新选择研究选题”、“选择发展前景一般、难度较小的研究方向”等，命名为“学术发展管理”。

五、研究生科研一般隐性知识测验问卷的信度与效度检验

（一）信度检验

测验信度是指测验结果的一致性和稳定性，是衡量测验质量的重要指标。学者们一致认为Cronbachα系数是对测验信度进行考量的常用指标，Cronbachα系数越高，则表明测验的可信程度就越高。一般情况下，Cronbachα系数大于或等于0．70时，测验结果则具有较高的信度。

以Cronbachα系数计算同质性信度，结果六个因素的同质性信度均在0．8237至0．9267之间，总问卷的α系数为0．9684，说明问卷及各个因素的内部一致性程度较高；对各分问卷及总问卷分半信度进行分析，结果表明，总问卷及分问卷的分半信度均在0．7626以上，说明研究生科研一般隐性知识测验问卷具有较高的信度。具体数据见表6－7。

表6－7　研究生科研隐性知识问卷的信度

（二）效度检验

研究生科研一般隐性知识测验问卷编制过程中，参考斯腾伯格等提出的关于隐性知识的三个特征，所有情景和反应项均来自访谈的内容，反应项均符合隐性知识的三个特征。问卷形成后，请相关专家对测验问卷的内容和条目进行评估和修改，并根据小范围试测的结果对问卷进行再次调整和修改并形成最终问卷，从而保证了问卷的内容效度。

研究生科研一般隐性知识测验问卷的因素分析表明，研究生科研一般隐性知识问卷包含六个因素，能解释的总变异为46．032%。

进一步对问卷的反应项和研究生科研一般隐性知识测验总问卷及其各分问卷之间的相关进行分析，结果表明，其相关关系均在显著水平以上，具体情况见表6－8。

表6－8　研究生科研一般隐性知识测验问卷各反应项与总问卷及其所属分问卷之间的相关分析

（续表）

（续表）

（续表）

（续表）

对研究生科研一般隐性知识测验总问卷及其各个分问卷之间的相关以及各个分问卷之间的相关进行分析，结果发现，研究生科研一般隐性知识测验问卷的六个分问卷之间显著相关，相关系数在0．249至0．729之间，因此各分问卷之间彼此相关，但又具有一定的独立性；而各分问卷与总问卷之间的相关系数要大于各分问卷之间的相关系数，因此，研究生科研一般隐性知识测验问卷的结构效度比较理想，详细情况见表6－9。

表6－9　研究生科研一般隐性知识各分问卷之间的相关系数

^＊＊p＜0．01

隐性知识通常用来作为成功者和较少成功者所拥有知识类型差异的指标，本研究采用个体对自我成功程度的主观感受作为研究生科研一般隐性知识问卷的效标。在研究生科研一般隐性知识问卷中，要求被试对自己在科研上成功的程度作出评价，以七点量表计算，其中“1”代表“完全不成功”、“2”代表“基本不成功”、“3”代表“有点不成功”、“4”代表“不确定”、“5”代表“有点成功”、“6”代表基本成功、“7”代表“完全成功”。将回答为“1”、“2”、“3”的被试作为感受不成功组，将回答为“5”、“6”、“7”的被试作为感受成功组。对这两组被试进行差异比较，结果见表6－10。表6－10的数据表明，感受成功者在科研领域一般隐性知识六个维度上的得分均高于感受不成功者，且两组被试之间均有显著性差异。因此，采用个体主观成功感受作为问卷效标的效度非常高。

表6－10　主观感受成功者与主观感受不成功者在科研隐性知识六个维度上的差异分析

^＊＊＊p＜0．001，^＊＊p＜0．01，^＊p＜0．05

从以上分析可以看出，研究生科研一般隐性知识测验问卷的效度比较理想，符合心理学测量的指标。