Vad bör man tänka på när man upphandlar bedömningstjänster i arbetslivet?

För att kunna göra jämförelser, komma till välinformerade beslut och därmed kunna sätta samman valida, reliabla och sunda urvalsprocesser där flera metoder ingår, är det viktigt att man jämför äpplen med äpplen och päron med päron. För det krävs att man separerar frågan om vad man mäter från hur man mäter. Utgångspunkten bör förstås vara vad man ska mäta, hur man sedan mäter det på bästa sätt kommer i nästa steg. Många verktyg mäter nämligen samma egenskaper (ibland faktiskt oavsett om man vill det eller inte), och det är snarare regel än undantag när verktygen inte är fullt ut standardiserade.

Mätningar av personlighet enligt femfaktormodellen och generell problemlösningsförmåga har visat sig vara användbara för att förutsäga arbetsrelaterade beteenden nästan oavsett roll eller yrke. Dessa egenskaper är därför nästan alltid relevanta att mäta.

Till grund för varje egenskap ligger ett så kallat konstrukt. Konstrukten ska noggrant definieras och beskrivas, vad betyder t ex Extraversion och vad är dess roll enligt teorin. Att inkludera konstrukt som alla har en koppling till kriteriet men som inte överlappar med varandra är en viktig del i urvalsprocesser.

Metoder som test, intervjuer, CV-granskning mäter per definition ingenting (ingen teori, inga begrepp). De representerar olika sätt att samla in information eller mäta på. Alla metoder har sina styrkor och svagheter. Några metoder är nära kopplade till vad som mäts, så som till exempel intervjun vars interpersonella format gör att den, vare sig avsikten är det eller inte, ofta mäter personlighetsegenskaper som Extraversion och Sympatiskhet. Några metoder är betydligt mer träffsäkra, har högre reliabilitet, på grund av fler indikatorer (t ex många frågor som mäter samma konstrukt i ett test jämfört med antalet frågor i en intervju). Och några är betydligt kostsammare än andra, både att utveckla och använda. För att avgöra vad som är det bästa tillvägagångssättet i en bedömningsprocess behöver man ta hänsyn till alla dessa, och fler, aspekter.

Till att börja med behöver metoder jämföras med metoder, och konstrukt jämföras med konstrukt. Det är inte möjligt att jämföra ”Extraversion” med ”intervjun”, eller ”generell problemlösningsförmåga” med ”arbetsprov”. Det är heller inte relevant att jämföra ”personlighetstest” med ”intervju” då personlighetstest som koncept specificerat vilka egenskaper som mäts medan intervjun endast representerar en metodik. Samma sak gäller för referenstagning, granskning av CV, assessment center övningar osv. Alla dessa metoder måste fyllas med mening och innehåll – vad mäter de (vilka konstrukt enligt vilken teori)? En intervju kan t ex mäta personlighet enligt femfaktormodellen liksom referenstagning.

Så precis som för test så ska det finnas en teoretisk modell, med definierade konstrukt och till det en mätmodell som utvärderats empiriskt och finns dokumenterad. Då kan vi utvärdera om t ex en intervju mäter det vi tror att den mäter och på så sätt jämföra den med andra metoder som mäter samma sak. Vi kan även jämföra den med andra metoder vad gäller giltighet och träffsäkerhet. 

Den största mängden modern forskning bygger på mätning av personlighet enligt femfaktormodellen i form av självskattningar, eller "personlighetstest" i folkmun. Att test som metod fått så starkt stöd forskningsmässigt och har en särställning även i praktiken för att mäta personlighet, trots att intervjuer, referenstagning, CV-granskning också skulle kunna mäta, och de facto mäter, personlighet, beror på flera saker. I jämförelse med andra metoder så är test reliabla, det vill säga träffsäkra; de är standardiserade (vilket betyder kontroll och som i sin tur möjliggör utvärdering, likabehandling osv.) och de är betydligt mer kostnadseffektiva än andra metoder som potentiellt konkurrerar om att mäta personlighet. Samma sak gäller för test som mäter generell problemlösningsförmåga. På dessa grunder kan man påstå att den ibland påstådda ”testhysterin” (https://www.svd.se/a/nQVEl5/personlighetstest-for-lagerjobb-lasare-om-nya-rekryteringssverige) är fullt befogad. Hittills har i alla fall inte någon kunnat lägga fram ett likvärdigt eller bättre alternativ.

Det har också visat sig att resultat från välutvecklade femfaktorbaserade personlighetstest och generell problemlösningsförmåga i stort sett är oberoende av varandra (bara för att två begrepp på teoretisk nivå är tänkta att vara oberoende så är det inte säkert att de på mätnivå är det, det är sådant som ska redogöras för). Detta är av stor vikt då kombinationen av mått på dessa egenskaper blir mycket effektiv.

I den utsträckning som resultat från två metoder ”överlappar” mäter man nämligen samma sak. Det innebär att man betalar för samma information två gånger. Det är inte enbart oerhört onödigt utan också oansvarigt när det handlar om offentliga medel. Och inte minst; individerna krävs på samma information två gånger, något som kan diskuteras ur både ett yrkesetiskt och ekonomiskt perspektiv.

Personlighetsdrag och problemlösningsförmåga är otvivelaktigt relevanta egenskaper att kartlägga i urvalssammanhang. Test är just nu det mest reliabla och effektiva sättet att mäta dessa egenskaper på, sett till både validitet, reliabilitet och kostnad. För det är mycket kostsamt att utveckla, kvalitetssäkra och dokumentera metoder (därför görs det i regel inte), och intervjuer och referenstagning är även kostsamma att utföra. Det betyder att andra metoder förutom test som gör anspråk på att mäta personlighet och problemlösningsförmåga har svårt att hävda sig. Det är förklaringen till varför personlighetstest och problemlösningstest ofta används som utgångspunkt att jämföra andra metoder emot. 

Samma kravställning gällande dokumentation och kvalitet gäller alltså för alla metoder, inte enbart test (för vilka det till och med finns formella granskningssystem). I praktiken utvärderas dock till exempel intervjuer mycket sällan. På så sätt blir det inte känt vad en aktuell intervju mäter eller vilka brister den har. Det går ej heller att avgöra om och i så fall med vilka andra metoder den med fördel kan kombineras i en bedömningsprocess eller om den är ekonomiskt försvarbar att använda.  

Även om det finns internationell forskning om till exempel validiteten i intervjuer så kan denna forskning inte generaliseras till så kallade kompetensbaserade intervjuer som marknadsförs ivrigt på den svenska marknaden. Metoder som intervjuer och referenstagning är alltså inte ”något annat” utan både kan och behöver utvärderas enligt samma principer som vi utvärderar psykologiska test.

Sammanfattningsvis:

• Var noga med arbetsanalysen så att du vet vilka konstrukt du behöver information om
• Säkerställ att de metoder du använder mäter de aktuella konstrukten 
• Säkerställ att metoderna mäter konstrukten på ett kostnadseffektivt sätt
• Säkerställ att metoderna mäter konstrukten på ett reliabelt sätt
• Säkerställ att du inte mäter samma konstrukt med flera metoder (dubbla kostnaden för samma information)
• Ställ krav på att dokumenterade kvaliteter redovisas, oavsett metod (test, intervju, referenstagning osv.) 

‍