Resultat från begåvningstest har sedan Hunter & Schmidts artikel från år 1998 stått i centrum för en effektiv och träffsäker urvalsprocess. Test som mäter begåvning (intelligens, logisk problemlösningsförmåga) har haft en självklar plats vid evidensbaserade personbedömningar i urvalssammanhang. Resultaten i den nya meta-analysen har ifrågasatt begåvningens betydelse för arbetsprestation och därmed hur resultat från begåvningstest bör användas i urvalsprocesser (Sackett et al., 2021). En viktig fråga är dock vad skillnaderna kan bero på.
I den nya meta-analysen pekar man på att tidigare meta-analyser (såsom Hunter & Schmidt, 1998) bygger på ”gammal” data då den samlades in före år 1980 och att arbetslivet ser annorlunda ut idag. Från mer traditionella industriarbeten har vi övergått till att i större utsträckning utföra arbeten inom tjänstesektorn, vilket inte skulle kräva samma egenskaper. Man pekar också på att tidigare studier primärt bygger på ett enda GCA-test, nämligen General Aptitude Test Battery, GATB, och att det finns en risk att icke-signifikanta studier aldrig har redovisats.
Men framför allt så riktas skarp kritik mot det sätt som man i tidigare studier beräknat den så kallade operationella validiteten på, närmare bestämt om och hur man ska korrigera för så kallad beskuren spridning. Beskuren spridning uppstår när man i en enskild valideringsstudie samlar data för en egenskap (i detta fall GCA) där egenskapen direkt eller indirekt har använts för urvalsbeslut på samma grupp som studiens resultat baseras på.
Direkt beskuren spridning uppstår när ett GCA-test har använts för urvalsbeslut, som t ex när polisen har ett gränsvärde för att kandidaterna ska komma in på polisutbildningen. Ett indirekt sätt som påverkar spridningen är när man granskar betyg, som har ett högt samband med GCA, innan man fattar ett urvalsbeslut. När man sedan undersöker sambandet mellan GCA och prestation, antingen i en samtidig eller prediktiv studie, är spridningen i GCA mycket mindre än om man hade kunnat genomföra studien på alla som sökte, inklusive de som inte fick jobbet eller kom in på utbildningen.
Utan att gå in på alltför tekniska detaljer kan man säga att Schmidt & Hunter i sin meta-analys från 1998 uppskattar den beskurna spridningen med tillgänglig data (som kan vara insamlad på andra grupper, en så kallad konstgjord distribution) medan Sackett et al. (2023) inte korrigerar för beskuren spridning över huvudtaget i den nya meta-analysen, trots att det finns tillförlitlig data om hur omfattande den är. Man utgår alltså från olika antaganden, och det är en livlig debatt mellan forskare om vad som är rätt sätt.
Kritiken mot det "nya" sättet att inte korrigera fullt ut i alla studier har inte låtit vänta på sig. Ones & Viswesvaran (2023) konstaterar att "många forskare anser att det är bra vetenskap att vara konservativ, men konservativa uppskattningar är per definition partiska. Vi anser att det är mer lämpligt att sträva efter opartiska uppskattningar eftersom forskningsmålet är att maximera noggrannheten hos de slutgiltiga uppskattningarna" (s. 363). Och Oh et al. (2023) menar helt enkelt att Sacketts nya sätt att korrigera (eller snarare avsaknad av korrigering) är orimlig och att mer arbete behövs för att fullständigt förstå representativiteten av uppskattningar av beskuren spridning och optimala korrektionsförfaranden under typiska förhållanden.
Vi på Assessment Engine har arbetat i över 20 år att validera olika typer av begåvningstest i många olika sample och vi har inte någon gång stött på ett urval där det inte förekommit beskuren spridning. Vår uppfattning är därför att det ”nya” uppskattade (okorrigerade) värdet på 0.22 är mycket konservativt men att det samtidigt är troligt att det "gamla" estimatet på 0.51 från Schmidt & Hunter (1998) kommer att korrigeras nedåt i framtiden. Innan dess är det viktigt att ha tålamod och invänta fler studier.
En försiktig rekommendation är att inte lägga riktigt lika stor vikt vid begåvning i urvalsarbete som gjorts tidigare. Notera att den rekommendationen har som utgångspunkt att man lagt mycket stor vikt vid begåvning tidigare. Vi är befinner oss alltså inte i ett läge där det finns fog för att bortse helt från begåvning.
I framtiden tror vi att en analys av hur mycket lärande det är i jobbet kommer ha en avgörande betydelse för hur stor vikt vi ska lägga på en begåvningspoäng i urvalssammanhang. Detta grundar sig i att på grund av den mycket starka positiva korrelationen mellan logisk problemlösningsförmåga och inlärning (se tex Roth et al, 2015), så bör yrken, där en central del av uppgiften är att lära sig nya saker, även i fortsättningen gynnas av en hög begåvningsnivå hos de som anställs.
I Sverige och Norden förlitar vi oss på nordamerikanska studier när det gäller kopplingen mellan individuella differenser och arbetsprestation. En förhoppning är att detta område, och andra områden som intervjuer och arbetsprov, även beforskas i nordiska sammanhang. Assessment Engine följer kontinuerligt forskningen och våra verktyg och rekommendationer kommer alltid uppdateras i enlighet med den senaste forskningen.
Referenser
Oh, I.-S., Mendoza, J., & Le, H. (2023). To correct or not to correct for range restriction, that is the question: Looking back and ahead to move forward. Industrial and Organizational Psychology: Perspectives on Science and Practice, 16(3), 322–327. https://doi.org/10.1017/iop.2023.38
Ones, D., & Viswesvaran, C (2023). Response to speculations about concurrent validities in selection: Implications for cognitive ability. Industrial and Organizational Psychology, 16, 358–365. https://doi.org/10.1017/iop.2023.43
Roth, B., Becker, N., Romeyke, S., Schäfer, S., Domnick, F., & Spinath, F. M. (2015). Intelligence and school grades: A meta-analysis. Intelligence, 53, 118–137. https://doi.org/10.1016/j.intell.2015.09.002
Sackett, P. R., Demeke, S., Bazian, I. M., Griebie, A. M., Priest, R., & Kuncel, N. R. (2023). A contemporary look at the relationship between general cognitive ability and job performance. Journal of Applied Psychology. Advance online publication. https://doi.org/10.1037/apl0001159
Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124(2), 262–274. https://doi.org/10.1037/0033-2909.124.2.262
.svg)
.png)
