评价中心效度研究概述.docx
- 文档编号:15581947
- 上传时间:2023-07-05
- 格式:DOCX
- 页数:13
- 大小:59.97KB
评价中心效度研究概述.docx
《评价中心效度研究概述.docx》由会员分享,可在线阅读,更多相关《评价中心效度研究概述.docx(13页珍藏版)》请在冰点文库上搜索。
评价中心效度研究概述
评价中心的效度研究概述
学生XX:
巫田森
学号:
专 业:
应用心理学
课程教师:
陈永进博士
课程名称:
人力资源测量与评估
XX大学贸易与行政学院
二OO九年四月
评价中心的效度研究概述
巫田森
〔XX大学贸易与行政学院,XX400044〕
摘要:
评价中心作为一种流行的人才测评方式,其效度一直受到学者和实施者的关注。
本文通过收集国内外的相关专业文章,对评价中心的构造效度、校标关联效度及效度影响因素等方面进展了总结。
关键词:
评价中心;构造效度;校标关联效度
TheReviewoftheValidityofAssessmentCenter
WuTian-Sen
(ChongqingUniversity,InstituteofTradeandAdministration,Chongqing400044,China)
Abstract:
AssessmentCenterisapopularmethod forpersonnelappraisement,andit’svalidityhasalwaysbeenthefocusoftheresearchersandimplementers.Withcollectingandreadinglotsofrelatedpapersandarticles,Thisarticlesummarizedtheconstructvalidity,thediscriminantvalidityandinfluencingfactortotheAssessmentCenter.
Keywords:
AssessmentCenter;ConstructValidity;DiscriminantValidity.
引言:
评价中心源于20世纪20年代,是一种测定个体在多种情境作业中表现出的行为特征的操作程序[1]。
随着不断的开展和改良,评价中心已经成为国际上流行的、准确率较高的一种人才选拔技术。
作为一种先进的人才测评方法,其测评效度一直以后都是研究者和实际工作者极为关注的一个问题。
在心理测量学上,效度指的是一个测验对其所要测量的理论构造或特质测量到什么程度的估计。
其中,内容效度、构造效度和校标关联效度是支持效度结论的三个证据或者推论根底。
由于评价中心从测量设计到实际操作应用都以对目标岗位的工作分析作为出发点来设计测评内容,其典型的测评方法情境模拟练习更是强调模拟工作的真实性,从情境的取材要与目标岗位的工作内容尽量相关联,因而其内容效度在测评的设计与应用阶段已经得到了较好的控制。
[2]所以,现在对于评价中心的效度研究主要集中于研究评价中心的构造效度和效标关联效度,尤其是以评价中心的构造效度研究为主要方向。
据统计,在近十年来的评价中心相关文献中有近90%的研究都是关注与构造效度证据的获取。
[3]下面主要对评价中心的构造效度和校标关联效度的研究内容进展概述。
一、评价中心的构造效度研究
(一)考核评价中心构造效度的三个维度
构造效度(constructvalidity)指的是测验能说明理论所设想的构造或特质的程度,或者用某种构造或特质来解释测验分数的恰当程度,其着重点是测验本身、测验赖以编制起来的心理构造理论和测验测量到某理论构造或特质的能力。
对评价中心的构造效度的研究一般表现为三个方面[4]:
(1)会聚效度(convergentvalidity),指同一评分维度的评分在不同测评方法之间的相关,相关系数越高,说明会聚效度越好;
(2)区分效度〔discriminantvalidity〕,是指同一测评方法内不同评分维度之间评分的区分性,也用相关系数表示,相关越低,说明区分效度越好。
越好;(3)总体评价〔overallassessmentratings,OARs〕,它反映对被评价人员的绩效的全面性评价,因此除了包含前两个层面的水平外,总体评价还反映了其它来源的信息,例如同伴评价、人格测量、能力测验分等。
但总的看来,目前对评价中心构造效度的研究多集中于前两个层面,即:
会聚效度和区分效度,通过这两种指标能大体上反映评价中心构造效度的优劣。
(二)评价中心构造效度的研究方法
对于评价中心构造效度的研究,多采用多质多法〔MTMM〕和验证性因素分析〔CFA〕两种方法。
多质多法[5]是Campbell和Fiske于1959年提出的一种分析测验的设想效度的方法,这种方法适用于多种特质在多种测评方法中进展评定时对设想效度的检验。
对评价中心的设想效度进展验证时,测评维度被看成是特质,而测评方法(或称测评情景)那么被看成是方法;验证性因素分析[6]是20世纪60年代后从探索性因素分析开展而来,它根据潜在的构造而不是可观测的变量对MTMM进展解释。
通过拟合不同的模型,并对其进展验证,然后选取拟合最好的一种模型加以分析。
对于多质多法的批评意见,主要是认为这种方法以包含测量误差的可观测变量间的相关为根底,来对潜在的构造进展解释,而实际上测量误差每次是不一致的,从而会影响到相关系数,进而影响对潜在构造解释的准确性。
验证性因素分析方法那么可以解决这个问题,它对误差和相关的变量进展控制,进而得出一个更加令人满意的结果。
在这种方法中,同一特质不同测评方法所决定的因素代表测评的设想效度,而同一测评方法不同测评特质所代表的因素那么说明了测评方法的效应。
每一个可观测变量均由特质因素、方法因素和测量误差三局部组成。
其最大优点在于能对因素的负荷进展固定,并对提出的不同假设模型进展检验。
[7]
(三)关于评价中心构造效度的研究成果
几十年来,各国许多学者就评价中心的构造效度进展了大量的实证研究,但对于评价中心的构造效度还没有得出一致性的意见,甚至一度还出现了比拟大的争议。
其中争议的焦点可以归结为Klimoski&Brickher在1987年提出的关于AC的构造效度解释模型,即个体特征模式和角色一致模式。
[8]
1、个体特征模式观点
这类学者通过研究发现,评价中心的会聚效度与区分效度都比拟理想,会聚效度高于区分效度,即构造效度比拟理想。
如Neiding在研究中发现了中等程度的同质异法间相关,即在评价中心中发现了会聚效度,但同时也发现这些相关都明显都低于异质同法间的相关,且光环效应、区分效度低的现象在研究中也存在。
[9]另外,Shore和Thornton在研究中也得到了类似的研究结果。
[10]据此,他们提出评价中心能够在测评过程中就受测被试的特质维度进展评价,评价中心测量到了代表个体的特定特征,认为评价中心的按维度进展等级评分的模式可以反映北师的个体特征、技能和能力,并把不同的AC情境模拟练习看成是诱发被试与待测特质相关的系列行为的刺激。
即他们认为评价中心主要是以测评维度为导向的,Klimoski&Brickher把这种模式成为个体特征模式。
2、角色一致模式观点
这类学者那么在研究中发现了低的构造效度,特别是会聚效度往往低于区分效度。
如Sackett和Dreher(1982)[11]所做的一个著名的研究就是以多质多法为手段,对采自三个不同企业的评价中心的评分数据进展了研究。
结果说明,不同测评方法的同一维度之间没有相关,即会聚效度很差,同时还发现区分效度也差,而且同质异法间的相关低于异质同法间的相关。
Sackett与Harris(1988)[12]年采用验证性因素分析法,并在原有数据的根底上增加了两个企业评价中心的数据进展了重新论证分析,得到的结论仍然与之前的研究结果一致。
后来,很多学者的研究结果也说明评价中心的构造效度不显著〔Brannick,1989;Bycio,1987;Joyce,1994;Neubauer,1989;Russell,1987〕。
我国学者X志明等人的实证研究结果说明在评价中心中,会聚效度〔0.11〕低于区分效度〔0.455〕,构造效度不理想。
[7]另外,彭平根采用多质多法得出,反响会聚效度指标的同质异法间相关系数平均值为0.391,中等相关,会聚效度尚可;而反响区分效度指标的异质同法间的相关平均值为0.775,区分效度不理想;总体上认为评价中心的构造效度不是很理想。
[2]这类认为评价中心是以测验情境为导向性,测验结果所代表的主要是测评情境中的绩效水平,而不是各个测评维度上的绩效水平。
即AC的测评结果反映的是练习情境而不是特质维度,并不能真正就被试的深层次特质进展区分评价,Klimoski&Brickher把这种模式成为角色〔绩效〕一致模式。
Schleicher等人[13]认为测评方法〔情境〕导向性产生的原因有以下几点:
首先,评分者的信息加工能力有限,评分者在评分时难免会出现误差。
第二,评分者往往需要依据被评价者表现出的同样的行为,同时在几个能力维度上为其打分;而且,在不同的测试方法中,同一评分维度又可能有着不同的定义和解释,这些都可能造成测评方法效应。
第三,设计者对于评分维度的定义往往流于广泛,不够具体和操作化,这就更增加了评分的难度。
最后,评价中心技术是由几种不同的测评方法组成的,因此评分者的评分很容易受到测试方法的影响,而很难按照统一的评分维度进展评价。
所以,现在学术届对于评价中心的构造效度还没有达成一致的看法,这就需要学者们在以后进展进一步的深入研究,这将是今后关于评价中心研究的重点,也是研究的难点。
二、评价中心的效标关联效度研究
效标关联效度(criterion-relatedvalidity),也称实证效度,指一个测验对特定情境中的个体行为进展预测时的准确性,也就是对我们所感兴趣的行为能够预测得怎样。
虽然,评价中心存在着一定的局限性,但它具有较高的预测效度,其测评结果能够预测被试未来的工作表现。
国内外的研究证明,评价中心的效度远远高于心理测验。
[14]如心理测验中著名的人格测验16PF和MBTI,虽然被广泛地应用于商业测量,但它们对未来才成就的预测效度都很低,最高可能也就只有0.15;而评价中心的预测效度平均为0.41,其中构造化行为访谈为0.35-0.45,单个情境模拟为0.4左右。
[15]而且如果评价中心设计得好,它的预测效度可以到达0.53,甚至更高。
[16]
殷雷对1970年至1987年之间关于评价中心预测效度的研究结果进展了总结[17],结果发现评价中心测评总结果〔OAR〕的预测效度最低为0.27,最高为0.64,平均为0.41。
具体结果如下表所示:
Gaugler等人对关于评价中心的研究得出的107个效度系数进展了元分析[18],发现在不同的效标类型下,评价中心的效标关联效度分别是:
绩效评定为0.36、潜能评定为0.53、培训中的表现为0.35、职业生涯进展为0.36。
评价中心应用于不同目的时的效度是:
选拔为0.41、提升为0.30、早期识别为0.46、研究为0.48。
Clark曾经做过一次评价中心预测效度的元分析[19],结果发现,评价中心的预测效度为0.31-0.63,能力测验为0.25-0.53,行为型面试为0.24-0.40,人格测验为0.15-0.22。
可以看出,与其它测评方法相比,评价中心具有更好的效度。
彭平根的研究结果说明[2],在预测管理类岗位的受测被试的工作绩效上,评价中心的预测效度系数到达0.35;而对技术类岗位的受测被试,评价中心的预测效度系数仅为0.115。
说明评价中心在预测不同职位类别的工作表现的预测效度不同,在预测被试的管理潜质方面有一定的有效性,但不能有效地预测技术岗位被试的工作绩效,这一结果和Gaugler结果一样。
同时,评价中心的效标关联效度也会随着时间发生变化,但是其随时间变化的趋势尚无统一结论。
例如,Thornton和Byham[20]曾引用了A.Howward1981年的一个16年的追踪效度研究。
结果发现,对于207名大学毕业生,评价中心的效标关联效度在早些年逐渐增高并到达峰值,随后那么逐年降低,这说明评价中心的效度随时间变化的趋势成倒U曲线。
然而,对于148名非大学毕业生,效度那么随时间逐渐降低,说明评价中心的效度成平滑的降低曲线。
Gaugler等人[18]的元分析那么发现,评价中心的效度与效标施测的时间之间没有显著相关。
Tziner等人[21]研究发现,对于高层管理者进展的评价中心效度随时间呈降低趋势。
最后,在一些追踪研究中又得出了相反的结论[22]:
评价中心中的评分与效标〔如被评价者的晋升状况或薪酬增长状况〕之间的相关随时间呈增加趋势。
三、评价中心效度的影响因素:
(一)测评维度
评价者的信息加工能力有限,所以如果评分维度过多,就会增加评分者的信息加工负担,造成评分误差。
Russel的研究说明[23],如果评价中心的维度过多,评分者对某个维度的评分就会受到其它维度的影响,从而产生晕轮效应。
Gaugler和Thornton曾研究了评分维度的数目对于评分的影响[24],研究者让评分者分别使用3个、6个和9个维度对被评价者的行为进展评价。
结果说明,使用3个维度时,对行为分类和评分的准确度(ratingaccuracy)最高;而使用6个维度时,行为观察准确度(observationalaccuracy)最高。
因此,他们提出在评价中心中应尽量减少评分维度。
国内研究者X志明也曾做过相似的研究[25],他的研究说明,评分维度为3个和6个时,评分者的评分一致性都很高,而评分维度为9个时,评分者的评分一致性会有很大的下降。
因此从加强评分一致性与改善评分效果的角度出发,他建议在评价中心的一个测评情境中,评分维度应以6个左右为宜。
骆方,孟庆茂研究结果说明[26],以行为能力为测试维度时,评价中心的却分效度和会聚效度都比拟好;而当以心理特质为测评维度时,评价中心的却分效度和会聚效度都不大好。
说明评价维度本身的类型也会影响评价中心的构造效度,以行为能力为测评维度更为理想。
此外,Klimoski也提醒说[27],除了评价中心事先确定的评分维度外,评价人员从自身对目标岗位、管理工作及其效果的认知中也可能产生一种不同的维度构造,这套维度内隐于评价人员的认知中,可能间接对评价产生影响。
但是否有影响,有何影响,目前还没有研究来证实。
(二)评分方法
评价中心采用的评分方法一般有维度内评估方法(withindimensionrating)和情景内评估方法(within一exereiserating)两种。
前者指测评对象参加完所有的情景测验后,然后对其所有的维度综合进展评估的方法,可分为两种情况:
(1)测评师对能够反映所有情景表现的每个维度分别提供整体评价;
(2)测评师分别对每一种情景提供维度评估。
后者是指测评对象参加完每一种情景测验后,分别对每一种情景中的维度进展评估,此方法中,不同情景中的测评师可以是一样的,也可以是不同的。
有研究指出,维度内评分方法比情景内评分方法产生较高的会聚效度和区分效度[28]。
silverman,Dalessio等(1986)[29]的研究中探讨了评价中心如何影响测评师组织和加工信息的两种方式,以及测评师是如何评分的。
结果说明,维度内评估方法比情景内评估方法有更高的会聚和区分效度。
更多的统计分析说明,情景内评估方法存在更强的情景效应。
因素分析显示情景内评估方法有明显的情景效应,而在维度内评估方法中,测评师那么更多地从跨情景行为的相似性上考虑测评对象的表现。
另外,情景内评估方法可能造成测评师在评分中表现出更多的晕轮效应,并且在不同指标上少有差异。
Woehr,Arthu(2003)[30]对评价中心构造效度方法学因素的元分析说明,用维度内评估方法进展评估比用情景内评估方法能产生更高的会聚效度。
(三)评价者
评级者自身的能力和素质类型也会对评价中心的效度产生很重要的影响。
例如,Bartels等人研究了评价员的人格特征与他们对被试作出的评估等级之间的关系[31],运用16PF对承当某评价中心评价任务的评价员做了人格测验,发现聪明性、敏感性、坚韧性与评价员在评估等级时的要求显著相关,结果说明那些性格表现亲切的、敏感的评价员在评估等级时的要求更加严格。
TedH.Shore[32]那么通过研究发现在评价中心评分过程中,评价员的性别差异不会对评价结果造成影响。
测评师在参加测评前是否经过培训,他们是专家还是新手,测评时是否使用行为核查表,这些都将影响评分的准确性,从而影响到评价中心的构造效度。
Arthur,Woehr,Maldegen(2000)[33]研究说明,对测评师进展培训后,没有发现培训程序有助于形成测评师的内部一致性,但却发现有助于提高评价中心维度评估的会聚效度和区分效度。
而Jackson和Atkins等(2005)[34]研究发现评价中心培训可以提高非心理学家测评师内部一致性。
Sagie和Magnezy[35]比照了测评师的类型对评价中心构造效度的影响,在他们的研究中,每种情景中都包含五个维度,其中,人际关系、敏感性属于人际交往类,积极性、组织能力和分析力属于表现类,结果发现,心理学家的评价能够更好地反映出五个具体的维度,而经理的评价更倾向于反映两类大的维度。
Lievens和Klimoski(2001)[36]提出了两个理论模型,帮助理解测评师和评估过程是怎样影响评价中心构造测量的质量。
第一个模型指出,测评师拥有有限的信息加工能力,因此并不总是能够满足评价中心操作的认知需要。
第二个模型指出新手和专家在评估质量上的差异会导致评估质量的不同。
Lievens(2002)[37]研究验证了测评师和测评对象在评价中心构造效度上的影响。
文中用三种类型的测评师评价不同情景中测评对象的表现。
结果说明,不合理的设计、测评师、测评对象表现的跨情景不一致是评价中心缺乏构造效度的原因。
改善评分效果最有效的方法,就是在评分之前,由专家对评分者进展系统的培训。
目前最常用的培训方法有两种:
行为观察培训法〔BOT〕和参照系培训法〔FOR〕。
行为观察培训法着眼于评分者的“观察〞,而非“评分〞。
同时,BOT鼓励评分者先观察后评分,即观察时先详细记录被评价者的行为表现,待观察完毕后再统一评分。
参照系培训法强调按照统一的评分标准来培训评分者,即在所有评分者头脑中形成统一的评分参照系。
Woehr和Huffcutt[38]进展了一次元分析,比拟了不同培训方法的效果。
他们总结后发现,通常用来评估培训方法有效性的因变量有以下4种:
(1)晕轮效应;
(2)宽容效应;(3)评分准确度;(4)行为观察准确度。
其中,BOT可以显著提高行为观察准确度,而FOR培训法提高评分准确度的效果最为明显,同时,两种培训法都能在一定程度上降低晕轮效应和宽容效应。
Woehr和Huffcutt提出,在FOR培训中需要注意的是,培训者提出的评分标准是否反响了企业的真实要求;另外不同培训方法的组合〔例如将BOT和FOR相结合〕也许会产生更好的效果。
结语:
通过综述相关研究说明,评价中心作为一种流行使用的人才测评方法,虽然具备了很高的预测效度,但是其构造效度指标却不XX想,学术届对此也没有达成一致的意见。
所以,在今后对于评价中心的构造效度研究仍然会是对评价中心进展深入研究的一个重要方面。
参考文献:
[1]马欣川等著.人才测评---基于胜任力的探索.邮电大学.2021:
289
[2]彭平根.评价中心的测评有效性及其影响因素的实证研究.[D].2003,33
[3]谢小云,王重鸣.评价中心测验构思效度研究进展.人类工效学[J].2006,12
(1):
66-69
[4]王忠军,龙立荣.评价中心的构造效度研究.心理科学进展[J].2005,14〔3〕:
426-432
[5]CampbellDT,FiskeD.Convergentanddiscriminantvalidationbythemultitrait-multimethodmatrix,PsychologicalBulletin,1959,56:
81-105
[6]MarshHW.Confirmatoryfactoranalysesofmultitrait-multi-methoddata:
Manyproblemsandafewsolutions.AppliedPsychologicalMeasurement,1989,13:
335-361
[7]X志明,X厚粲.评价中心的设想效度和构造模型.心理学报.2001,33〔4〕:
372-378
[8]KlimoskiRG.&Brickher,M.Whydoassessmentcenterswork?
Thepuzzleofassessmentcentervalidity.PersonnelPsychology,1987,40:
243-260
[9]NeidingRD,NeidigPJMultipleassessmentcenterexerciseandjobrelatedness.JournalofAppliedPsychology,1984,69:
182-186
[10]ShoreTH,ThorntonGC,ShoreLM.Constructvalidityoftwocategoriesofassessmentcenterdimensionratings.PersonnelPsychology,1990,43
(1):
101-116。
[11]SackettPR,DreherGF.Constructsandassessmentcenterdimension:
sometroublingempiricalfindings.JournalofAppliedPsychology,1982,67:
401-410。
[12]SackettPR,Harris,MM.Afurtherexaminationoftheconstructsunderlyingassessmentcenterratings.JournalofBusinessandPsychology,1988,3
(2):
214-229
[13]SchleicherDJ,DayDV.ANewFrameforFrame-Of-ReferenceTraining:
EnhancingtheConstructValidityofAssessmentCenters.JournalofAppliedPsychology,2002,87:
735~746
[14]李峰.从姜太公选将到评鉴中心.人才评估.XX交通大学出社,2004:
124
[15]包晨星.测评技术之最新进展.人才评估.XX交通大学.2004:
25
[16]彭平根,丁彪,苏永华,LGD在选拔企业中高级管理人才方面的实证研究,心理科学.2002,(5):
576-579
[17]殷雷.关于评价中心假设干问题探讨.心理科学.2006,29(4):
1007-1009
[18]GauglerBB,RosenthalDB,ThorntonIIIGC,BentsonC.Meta-analysisofAssessmentCenterValidity.JournalofAppliedPsychology,1987,72:
493~511
[19]ClarkT.ManagementSelectionbyExecutiveRecruitmentConsultancies,JournalofManagerialPsycholo
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 评价 中心 研究 概述