Räcker det med matriser?

En av förklaringarna som Sackett et al. (2023) ger angående den höga validiteten i Hunter & Schmidts smått legendariska studier från 80-talet är att man i huvudsak använt ett test, nämligen General Aptitude Test Battery, GATB. GATB är förvisso ett (1) test men är ett batteri med 12 olika deltest som avser att mäta 9 olika kognitiva, perceptuella och psykomotoriska förmågor. GATB’s resultat på generell begåvning omfattar tre olika kognitiva förmågor: Vocabulary, Arithmetic Reasoning och Three Dimensional Space. De tre kognitiva förmågorna mäts med totalt 4 deltest.

Begåvningstest som består av enbart matriser har funnits på den kommersiella marknaden i över 100 år och det finns idag många väletablerade och välkända så kallade matristest. Särskilt i Sverige har det blivit mer regel än ett undantag att marknadsföra matristest som ”det är bästa sättet att mäta generell problemlösningsförmåga”.

Det finns en klar ekonomisk och kompetensmässig fördel med att ”bara” behöva utveckla, underhålla och leverera ett begåvningstest och det lyfts fram som en fördel för kandidaterna att enbart behöva besvara ett test.

Matriser, vars uppgiftsformat är icke verbalt marknadsförs också som fritt från kulturell och annan bias vilket inte stämmer men är ämnet för ett annat blogginlägg. 

För att skänka legitimitet till användningen av matriser generaliserar man forskningsresultat så som den av Hunter & Schmidt (1998) och Sackett et al. (2023) till sitt eget. Man utgår alltså från att matriser inte bara ger ett bra mått på generell begåvning utan att det är ett lika bra mått som t ex GATB. Men hur väl stämmer det egentligen? Innan ni lyfter upp diskussionen på deltestnivå så ska vi uppmärksamma den kritik som framkommit på senare tid som pekar på att flera grundläggande antaganden har glömts bort, missförståtts eller åsidosatts när man konstruerat nya och vidareutvecklat befintliga matristest (Raven, 2021). 

Det handlar om själva konstruktionen av uppgifterna där Raven (2021) menar att uppgifter i många matristest som utvecklats på senare år saknar den nödvändiga logiken för att uppgifterna ska fungera fullt ut; det är vanligt med endimensionella (vertikala eller horisontella) logiska mönster eller andra linjära serier av mönster eller figurer. 

För att en uppgift ska klassificeras som en matris ska cellerna påvisa samma progressiva förändring (logik) i två dimensioner (vertikalt och horisontellt) och därmed unikt bestämma vilken typ av del som krävs för att komplettera det övergripande mönstret, eller matrisen.

Men om vi ändå utgår ifrån att man har korrekt utvecklade uppgifter, som de facto kan klassificeras som matriser, så blir det viktigt att sätta i perspektiv till andra typer av uppgifter och till g. Spearmans teoretiska utgångspunkter var att g-faktorn inte är relaterad till någon specifik typ av problemlösning. Han benämner detta som ”indifferences of the indicator” – uppgifter som t ex innehåller verbal, spatial och numerisk information mäter alla g-faktorn. Detta syns vid faktoranalys av verbala, spatiala och numeriska uppgifter: de uppgifter (oberoende av typ) som bäst fångar g-faktorn är de som utmanar förmågan till att se dolda samband, fylla i luckor där information saknas, se relationer mellan objekt, hitta beröringspunkter mellan figurer som skiljer sig åt. Spearman benämner detta som förmågan till ”education of relations and correlates”.

Det viktiga är principen att se relationer mellan objekt, oberoende om det är verbala, spatiala eller numeriska item. Faktum är att ju fler typer av problemlösning som handlar om detta, desto bättre mått är det på g. På forskningsspråk benämns detta som konstruktrelevans. Om det är endast en typ av problemlösningsuppgift (oavsett vilken) så underrepresenterar det konstruktet. 

En studie som definitivt slår hål på påståendet att ett test med enbart matriser skulle vara tillräckligt för att ”mäta g” skrevs av Gignac (2015) och har titeln: Raven’s is not a pure measure of general intelligence: Implications for g factor theory and the brief measurement of g. Data i studien hämtades från sammanlagt tre stora databaser som finns tillgängliga för forskare där personer har fått genomföra en stor mängd olika intelligenstest (16-42 deltest av olika karaktär per individ). När alla dessa test analyserades visade det sig att matriser inte stod ut som den bästa indikatorn på g. Det var snarare så att matriser var ”medelbra” i jämförelser med särskilt numeriska och verbala test. I den data som var insamlad i Sverige var det talserier som visades ha högst samband med g (vilket också betyder att nej, talserier mäter inte bara numerisk förmåga).

Vilka slutsatser kan då dra av detta resonemang? 

• Jo, det finns ett oändligt antal olika uppgiftsformat som i varierande utsträckning mäter g. För att få ett bra mått på g behövs flera olika deltest som består av olika uppgiftstyper. 
• Även om matriser har sin plats i ett träffsäkert mått på begåvning så kan begåvningstest som enbart består av matriser inte på egen hand sägas mäta g, eller ens ge en tillfredsställande indikation på g.
• Det går således heller inte att generalisera resultat från meta-analyser som undersöker g som prediktor för t ex arbetsprestation till ett matristest (inte ens om testet är utvecklat på ett korrekt sätt), dvs rapporterade validitetsestimat gäller inte för matristest.
• De mått på g som används i dessa studier är nämligen i huvudsak baserade på bredare mått som innehåller fler deltest med lämpliga uppgiftsformat. Det är därför de kommer upp i den aktuella validitetsnivån.
• Ett matristest behöver alltså kompletteras med andra deltest som mäter verbala, numeriska och även spatiala förmågor.

‍

Referenser

Gignac, G. E. (2015). Raven's is not a pure measure of general intelligence: Implications for g factor theory and the brief measurement of g. Intelligence, 52, 71–79. https://doi.org/10.1016/j.intell.2015.07.006

Raven, J. (2021). Commentary on the Raven´s 2 Progressive Matrices Tests and Manual (Pearson, 2018). Testing International, 46, 14-21.

Sackett, P. R., Demeke, S., Bazian, I. M., Griebie, A. M., Priest, R., & Kuncel, N. R. (2023). A contemporary look at the relationship between general cognitive ability and job performance. Journal of Applied Psychology. Advance online publication. https://doi.org/10.1037/apl0001159

Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124(2), 262–274. https://doi.org/10.1037/0033-2909.124.2.262

‍