01
Begynd med måleobjektet
Spørg først: Hvad hævder værktøjet at måle? Personlighedstræk, adfærd, motivation, evner, værdier, interesser eller noget andet? Mange dårlige testdiskussioner opstår, fordi forskellige konstrukter bliver blandet sammen og vurderet efter de samme kriterier.
Et værktøj kan være stærkt til ét formål og svagt til et andet. Et teamværktøj behøver ikke kunne forudsige individuel performance for at være nyttigt i teamudvikling. Omvendt bør et instrument, der bruges til selektion, kunne dokumentere relevans for de kriterier, der faktisk indgår i beslutningen.
02
Spørg hvordan svar bliver til et resultat
En professionel profil bør kunne forklare vejen fra rå svar til output. Er resultatet blot en summering af point? Bruges normgrupper? Er der ipsativ scoring, normative elementer eller algoritmer, der korrigerer for bestemte svarmønstre? Hvordan håndteres manglende data og flere datakilder?
Det er især relevant ved Belbin, fordi den officielle rapport ikke svarer til de gamle selvscorende skemaer, som stadig cirkulerer online. Belbins aktuelle system analyserer og normerer svarene og kan integrere observatørfeedback. Derfor kan en simpel kopi af spørgsmål og point ikke sidestilles med den officielle profil.
03
Reliabilitet er nødvendigt – men ikke hele kvalitetsbegrebet
Reliabilitet handler grundlæggende om konsistens. Et ustabilt mål kan ikke give stærke konklusioner. Men meget høj intern konsistens kan også være resultatet af mange næsten ens spørgsmål og siger ikke automatisk, at instrumentet måler det rigtige eller er nyttigt i praksis.
Se derfor reliabilitet i sammenhæng med konstruktionen. Belbin offentliggør eksempelvis alpha-værdier for alle ni Teamroller og forklarer samtidig, hvorfor adfærd ikke forventes at være lige så statisk som personlighed. Det er mere informativt end at sammenligne rå alpha-tal mellem instrumenter, der måler forskellige ting.
04
Validitet skal matche den påstand, leverandøren laver
Spørg ikke kun 'er testen valideret?'. Spørg hvilken validitet der er dokumenteret, på hvilke data, mod hvilke kriterier og med hvilken version af værktøjet. Et instrument kan have dokumentation for konstruktvaliditet uden dermed at dokumentere alle de kommercielle effekter, som en brochure antyder.
Den disciplin er vigtig for både leverandør og kunde. Jo mere præcis påstanden er, desto lettere er den at dokumentere. Belbin bør eksempelvis vurderes som et værktøj til Teamrolle-adfærd og teamarbejde – ikke som et universelt mål for talent, intelligens eller personlighed.
05
Undersøg om én datakilde får lov at ligne hele sandheden
Selvrapportering kan være en legitim datakilde, men den er stadig personens eget perspektiv. Hvis formålet handler om synlig adfærd og samarbejde, er det værd at spørge, om andre perspektiver kan tilføjes systematisk.
Observer-ratings har i meta-analytisk forskning vist inkrementel værdi ud over self-ratings i flere kriterier. Derfor er Belbins observatørdel ikke blot en ekstra feedbackfunktion. Den ændrer datagrundlaget fra én persons selvbeskrivelse til et sammenhold mellem selvopfattelse og flere kollegers observationer.
06
Vurder feedbackdesignet – ikke kun rapportens design
Et flot dashboard kan gøre et svagt instrument let at købe. Et stærkt værktøj kan omvendt miste effekt, hvis brugeren får en rapport uden ramme for fortolkning. Spørg derfor, hvordan resultatet skal debriefes, hvilke misfortolkninger leverandøren forebygger, og hvordan resultatet omsættes til konkrete handlinger.
Et godt feedbackdesign gør også plads til uenighed. Det bør være legitimt at udfordre resultatet, tilføje kontekst og undersøge konkrete eksempler. Profilen skal kvalificere samtalen – ikke lukke den.
07
Den sidste test: Kan organisationen forklare, hvad resultatet ikke må bruges til?
Et modent værktøj har tydelige grænser. Hvis leverandøren fremstiller samme profil som løsning på rekruttering, teamudvikling, stress, ledelse, motivation, konflikter, performance og karriere uden at skelne mellem formålene, bør det udløse flere spørgsmål.
Kvalitet handler derfor også om intellektuel disciplin: at kunne sige præcist, hvad data understøtter, hvad der kræver andre datakilder, og hvor fortolkningen bliver hypotese frem for konklusion.