Evaluering

Alle vores indsatser bliver evalueret

For at skabe ny viden om mulige løsninger på velfærdssamfundets centrale udfordringer, kræver det, at vi ved, om de nye indsatser, vi udvikler på baggrund af vores undersøgelser, gør en positiv og vedvarende forskel på omkostningseffektiv vis.

Hvis vi på baggrund af vores undersøgelser beslutter at udvikle en afprøvning af indsatsen i praksis, sørger vi for, at slutresultatet bliver effektevalueret efter de højeste videnskabelige standarder, ofte gennem et lodtrækningsforsøg (randomized controlled trial), eller i et mixed methods design. Alle evalueringer udføres i tæt samarbejde med eksterne, uafhængige forskere. Analyseplaner og efterfølgende resultater offentliggøres altid.

Hvorfor bruger vi lodtrækningsforsøg?

Et lodtrækningsforsøg er en effektevalueringsmetode, hvor man trækker lod om hvem, der bliver tilbudt et nyt initiativ. De, der ikke bliver udtrukket til at få tilbuddet, fungerer som kontrolgruppe og får den eksisterende indsats, som alle i øvrigt får, hvis de ikke deltager i evalueringen.

Lad os tage et eksempel: Vi har udviklet en virksomhedsrettet ungeindsats, NExTWORK, og nu vil vi gerne vide, om indsatsen er bedre til at få de unge i uddannelse eller arbejde end den eksisterende kommunale indsats, de ellers ville have fået.

Hvis vi lod de unge selv vælge, om de ville have NExTWORK eller den sædvanlige indsats i jobcenteret, ville det måske være de mest motiverede unge, som meldte sig til NExTWORK. Når vi så senere sammenlignede de to grupper, var der flere NExTWORK-unge, som var startet i job eller uddannelse end dem, som havde fået den sædvanlige indsats. Men det var jo ikke på grund af NExTWORK; de havde bare lettere ved at komme i gang med uddannelse eller job i udgangspunktet. Derfor er det nødvendigt at trække lod om, hvem der får hvilken indsats.

Lodtrækning og mange deltagere

Lodtrækning sikrer, at de to grupper bliver så ens som muligt, når blot grupperne er store nok. Derfor skal mange unge deltage i evalueringen, før vi kan sige noget præcist om indsatsens effekt.

Lodtrækning og mange deltagere er altså to vigtige ingredienser i et lodtrækningsforsøg. De sikrer, at når vi senere sammenligner NExTWORK-unge med kontrolgruppen, så ved vi, at en forskel mellem de to grupper skyldes NExTWORK, da de to grupper ellers er helt ens i gennemsnit.

Kan det betale sig?

Hvis vi finder, at flere NExTWORK-unge er i job eller uddannelse end kontrolgruppen, er det vigtigt at holde denne forbedring op imod, hvor mange ekstra ressourcer NExTWORK kræver i forhold til den eksisterende indsats i jobcentrene for at vurdere, om indsatsen er omkostningseffektiv.

Et lodtrækningsforsøg fortæller os altså ikke bare, om indsatsen virker, men også hvor stor effekten er i forhold til den eksisterende indsats på området. Når vi sammenholder denne forandring med det relative ressourceforbrug i indsatsen, kan vi finde frem til, om indsatsen skaber positive forandringer på en omkostningseffektiv måde og dermed kan være til gavn for samfundet.

Kvalitative indsigter

Når vi laver en effektevaluering, kan de kvantitative resultater fra et lodtrækningsforsøg ikke stå alene. Det er nødvendigt at koble disse resultater med kvalitative indsigter fra selve implementeringsfasen: hvad ser ud til at virke, hvordan, hvornår og under hvilke omstændigheder. Observationer og interviewdata komplementerer og nuancerer de kvantitative resultater, og derfor suppleres vores effektevalueringer med implementeringsevalueringer.

Troværdig evaluering

Det er afgørende for os, at resultaterne af vores evalueringer er troværdige. Derfor lader vi eksterne forskere lede evalueringerne, og resultaterne bliver altid publiceret. For at sikre gennemsigtighed i arbejdet med data, laver vi analyseplaner, som offentliggøres, inden vi har adgang til de endelige data. En analyseplan er en forskningsartikel (på engelsk: pre-analysis plan), hvor man fastlægger i detaljer, hvordan man vil analysere data, og hvilke resultater man vil præsentere i den endelige evalueringsrapport. På den måde kan vi over for offentligheden sikre, at alle – både positive og negative – resultater bliver præsenteret, og undgå mistanke om, at bestemte resultater er håndplukkede.