Att ta hjälp av olika former av test vid urval är mycket vanligt. Men jag ställer mig frågan hur reflekterad och grundat valet av test är. Jag har en bakgrund som forskningsassistent vid Försvarshögskolan och vill nog påstå att jag kan en hel del om testkonstruktion, både psykologin och psykometrin. Detta inlägg är tänkt att ge en nyanserad bild av vilka frågor som är relevanta och ställa till din testleverantör och vilka svar du ska förvänta dig att få för att vara nöjd.

Frågorna du ska ställa till din testleverantör är följande:

  1. Vilken vetenskaplig grund vilar er test på?
  2. Vad avser ert test att mäta? Vilka belägg har ni för att testet mäter detta?
  3. Vilka samband finns mellan faktorerna i ert test och arbetsprestation? Vilka belägg har ni för detta?
  4. Hur hanterar ni problematiken med Skönmålning vid skarpt urval?
  5. Är testet normerat och dessutom normerat på en svensk population?
  6. Hur står sig ert test i relation till de andra testen på marknaden? Vilka belägg har ni för att just ert test ger mig mer information om de sökande än övriga tester?

Ni investerar mycket pengar på test och testanvändning så att be er leverantör ta sig tid och svara på dessa frågor är lätt att motivera. När ni gjort det är den lätta delen gjord, nu kommer problemet att ni kommer få svar, av alla! Även de som egentligen inte borde eller kan svara. Jag tänkte jag går igenom fråga för fråga vad ni vill ha för svar.

  1. De skall kunna förklara eller åtminstone redovisa i text vilka teoretiska grunder de har. Teorierna skall vara iaf hyfsat moderna (-70 och frammåt) och välkända. Gör en google sökning på begreppen som presenteras och kanske ring någon på närmaste universitet, har det inte hört talas om teorierna var försiktig.
  2. Vad testet avser att mäta skall vara lätt att förstå, speciellt efter att ha svarat på fråga 1. Försök också att få förklarat varför testet mäter vad det mäter, alltså vad var konstruktörens idé. Det för er direkt till nästa fundering i denna härrad, vilka belägg har leverantören för att testet faktiskt mäter vad de säger, ord väger lätt, vi vill ha statistik! Det skall finna en användarhandbok eller teknisk manual där det tydligt framgår samband mellan testet och andra liknande test eller delskalor som teoretiskt mäter samma sak. Många test klarar inte denna granskning, vilket gör att de inte är säkra på att de mäter vad de vill mäta. Det skall även finnas vetenskapliga referenser till de skalor som testet jämförs emot, finns inte det så var skeptisk.
  3. Finns det några studier som visar på samband mellan testet och arbetsprestation? Är det fler än en studie? Leverantörer berättar gärna att det finns samband, men kan ska kunna leverera ett aktuellt (säg 1995-). Dessutom skall sambanden definitift var större än 0.20 (perfekt korrelation är 1.0). Om de presenterar en studie skall du oxå vara noga med att kika på siffrorna som inte är signifikanta, varför är de inte det och känns svaret relevant? En vanlig teknik för att hitta samband är att korrelera många faktorer med varandra gärna med stora polulationer. Men se upp för då kommer slumpen att göra att det dyker upp signifikanta samband, och signifikant är inte nog. Storleken är i detta fall avgörande!
  4. Endast ett test som finns på marknaden idag klarar av att korrigera för skönmålning. Alla andra leverantörer antingen säger att skönmålning inte är ett problem (inte troligt..) alternativt hävdar att ett ipsativt svarsformat korrigerar för detta (inte troligt…). Leverantören skall klara av att beskriva sin ståndpunkt och hur du som testanvändare skall förhålla dig om testet inte korrigerar för skönmålning. Alla är inte överens med mig om att skönmålning är ett problemmen se t ex Heggestad et al (2006) och O’Connell et al (2011) för att bilda dig en egen uppfattning.
  5. Utan normering går det inte att basera ett urval på testet! Det går nämligen inte att säga något om den enskildes resultat i förhållande till andra i så fall. Normering bör vara gjord på en relativt stor population (ca <200 som tumregel), du skall oxå kunna få information om hur populationen som användes för nomeringen ser ut avseende t ex ålder, kön, utbildningsbakgrund etc. Detta är en kritisk del av ett urvalstests förmåga att vara praktiskt användbart överhuvudtaget.
  6. En bra leverantör vet vilka andra test som finns på marknaden. De skall veta vilka styrkor och svagheter dessa har. De skall även kunna på ett enkelt sätt förklara ev teoretiska skillnader. De ska vara kunniga inom det område de gör affärer helt enkelt. Helst ska leverantören kunna visa på studier som visar på samband/skillnader, även om detta är ovanligt.

Långt inlägg denna gång, men summan av kardemumman är STÄLL KRAV PÅ DIN TESTLEVERANTÖR! Det finns en stor mängd kvacksalvare på marknaden som säljer test till dig som du lika gärna kan vara utan.

Lycka till!

Referenser

Heggestad, E. D., Morrison, M., Reeve, C. L., & McCloy, R. A. (2006). Forced-choice assessments of personality for selection: Evaluating issues of normative assessment and faking resistance. Journal of Applied Psychology, 91, 9-24.

O’Connell, M. S., Kung, M.-C., & Tristan, E. (2011). Beyond Impression Management: Evaluating three measures of response distortion and their relationship to job performance. International Journal of Selection and Assessment, 19, Issue 4 (December), pages 340–351, 340-351.