EVALUERING

Alle vores interventioner bliver evalueret

For at skabe ny viden om mulige løsninger på velfærdssamfundets centrale udfordringer, kræver det, at vi ved, om vores løsningsforslag skaber en positiv og vedvarende forskel på omkostningseffektiv vis. Derfor effektevalueres alle vores interventioner efter de højeste standarder inden for forskningen, så vidt muligt med et lodtrækningsforsøg (randomized controlled trial). Alle effektevalueringer udføres i tæt samarbejde med eksterne forskere, og analyseplaner og efterfølgende resultaterne offentliggøres altid.

Hvorfor bruger vi lodtrækningsforsøg?

Et lodtrækningsforsøg er en effektevalueringsmetode, hvor man trækker lod om hvem, der bliver tilbudt en ny intervention. De, der ikke bliver udtrukket til at få tilbuddet, fungerer som kontrolgruppe og får den eksisterende indsats, som alle i øvrigt får, hvis de ikke deltager i evalueringen.

Lad os tage et eksempel: Vi har udviklet en virksomhedsrettet ungeindsats, NExTWORK, og nu vil vi gerne vide, om indsatsen er bedre til at få de unge i uddannelse eller arbejde end den eksisterende kommunale indsats, de ellers ville have fået.

Hvis vi lod de unge selv vælge, om de ville have NExTWORK eller den sædvanlige indsats i jobcenteret, ville det måske være de mest motiverede unge, som meldte sig til NExTWORK. Når vi så senere sammenlignede de to grupper, var der flere NExTWORK-unge, som var startet i job eller uddannelse end dem, som havde fået den sædvanlige indsats. Men det var jo ikke på grund af NExTWORK; de havde bare lettere ved at komme i gang med uddannelse eller job i udgangspunktet. Derfor er det nødvendigt at trække lod om, hvem der får hvilken indsats.

Lodtrækning og mange deltagere

Lodtrækning sikrer, at de to grupper bliver så ens som muligt, når blot grupperne er store nok. Derfor skal mange unge deltage i evalueringen, før vi kan sige noget præcist om indsatsens effekt.

Lodtrækning og mange deltagere er altså to vigtige ingredienser i et lodtrækningsforsøg. De sikrer, at når vi senere sammenligner NExTWORK-unge med kontrolgruppen, så ved vi, at en forskel mellem de to grupper skyldes NExTWORK, da de to grupper ellers er helt ens i gennemsnit.

Kan det betale sig?

Hvis vi finder, at flere NExTWORK-unge er i job eller uddannelse end kontrolgruppen, er det vigtigt at holde denne forbedring op imod, hvor mange ekstra ressourcer NExTWORK kræver i forhold til den eksisterende indsats i jobcentrene for at vurdere, om indsatsen er omkostningseffektiv.

Et lodtrækningsforsøg fortæller os altså ikke bare, om indsatsen virker, men også hvor stor effekten er i forhold til den eksisterende indsats på området. Når vi sammenholder denne forandring med det relative ressourceforbrug i indsatsen, kan vi finde frem til, om indsatsen skaber positive forandringer på en omkostningseffektiv måde og dermed kan være til gavn for samfundet.

Kvalitative indsigter

Når vi laver en effektevaluering, kan de kvantitative resultater fra et lodtrækningsforsøg ikke stå alene. Det er nødvendigt at koble disse resultater med kvalitative indsigter fra selve implementeringsfasen: hvad ser ud til at virke, hvordan, hvornår og under hvilke omstændigheder. Observationer og interviewdata komplementerer og nuancerer de kvantitative resultater, og derfor suppleres vores effektevalueringer med implementeringsevalueringer.

Igangværende evalueringer

Ud over evalueringen af NExTWORK er vi også i gang med at evaluere andre indsatser.

Vi evaluerer om trivselsmaterialet Perspekt 2.0 kan øge trivslen i 4. og 5. klasse. Vi vil i løbet af 2020 kende de første resultater af heraf.

Vi har ligeledes igangsat en evaluering af en forældrerettet sprogindsats, TipsByText, hvor børnehavebørns forældre modtager ugentlige SMSer med tips til at stimulere børnenes sprogudvikling.

Links til vores igangværende evalueringer: PERSPEKT, TipsByText og NExTWORK.

En troværdig evaluering

Det er afgørende for os, at resultaterne af vores evalueringer er troværdige. Derfor lader vi eksterne forskere lede evalueringerne, og resultaterne bliver altid publiceret. For at sikre gennemsigtighed i arbejdet med data, laver vi analyseplaner, som offentliggøres, inden vi har adgang til de endelige data. En analyseplan er en forskningsartikel (på engelsk: pre-analysis plan), hvor man fastlægger i detaljer, hvordan man vil analysere data, og hvilke resultater man vil præsentere i den endelige evalueringsrapport. På den måde kan vi over for offentligheden sikre, at alle – både positive og negative – resultater bliver præsenteret, og undgå mistanke om, at bestemte resultater er håndplukkede.

Link til analyseplan PERSPEKT.

Alle evalueringer

Få vores nyheder direkte i din inbox

Tilmeld