Evalueringsmetoder

Evalueringsfeltet er i stadig utvikling, og god praksis forutsetter bevisste metodevalg. Her finner du en oversikt over sentrale, grunnleggende metoder.

Evalueringer benytter et bredt spekter av samfunnsvitenskapelige forskningsmetoder, fordi feltet er både variert og komplekst. Her får du en kort oversikt over de viktigste hovedtypene. Hver kategori omfatter ulike metoder og teknikker.  Ord i kursiv kan brukes som søkeord for å finne mer informasjon. De fleste evalueringer kombinerer flere metoder for å gi et mest mulig helhetlig bilde.

 

I alle evalueringer er det viktig å velge metoder som svarer på de konkrete evalueringsspørsmålene. Metodevalget må begrunnes og beskrives tydelig, slik at det kommer klart fram hvordan funn og konklusjoner er utledet og hva de bygger på.

Kvantitative metoder baserer seg på målbare og tellbare data. Når gode data er tilgjengelige, gir slike metoder ofte tydelig og presis informasjon om i hvilken grad bistandsprogrammets mål er nådd. Ved store datamengder kan kvantitative analyser også avdekke om bistanden faktisk har ført til de ønskede resultatene.

Kvalitative metoder ser på informasjon som er vanskeligere å måle. Disse metodene egner seg spesielt godt til å utforske hvordan bistand virker i komplekse sammenhenger, og til å analysere forhold som ikke kan telles.

Både kvantitative og kvalitative metoder har sine styrker og svakheter, og valg av metode har stor betydning for evalueringen. For eksempel kan man sende ut spørreskjemaer til mange for å analysere svarene kvantitativt, eller intervjue et utvalg personer for å få dypere, kvalitativ innsikt. Ingen metode passer til alt. Derfor kombinerer de fleste evalueringer begge tilnærmingene.

Disse metodene kan gi verdifulle svar på om målene er nådd, altså om situasjonen har blitt bedre der bistanden gis. Likevel har både kvantitative og kvalitative metoder utfordringer med å vise årsakssammenheng – det vil si om det faktisk var bistanden som førte til resultatene.

Effektevalueringer utgjør en egen kategori. Denne metoden har som mål å gi så sikre svar som mulig på hvilken virkning et tiltak har, ved å benytte eksperimentelle og kvasi-eksperimentelle metoder.

En effektevaluering sammenligner to grupper: én tiltaksgruppe som mottar tiltaket, og en kontrollgruppe som ikke gjør det. Når gruppene er like og ingen andre faktorer påvirker dem, kan man gjennomføre en motfaktisk analyse. Dersom det skjer en endring i tiltaksgruppen, men ikke i kontrollgruppen, kan endringen tilskrives tiltaket.

For å sikre at gruppene er like, kan man trekke lodd om hvem som får tiltaket (eksperimentell metode eller randomisert studie). Alternativt kan man bruke kvasi-eksperimentelle metoder for å lage en simulert kontrollgruppe. Hvor strenge metodene er, avgjør hvor pålitelige resultatene blir.

En effektevaluering ser også på hvordan og hvorfor et tiltak gir visse effekter, og bruker både kvantitative og kvalitative metoder.

Det er viktig å være klar over at effektevalueringer krever mye ressurser – spesielt hvis de ikke planlegges fra starten av et prosjekt. Denne metoden passer heller ikke for alle typer bistand eller evalueringsspørsmål.

For eksempler og mer informasjon om effektevalueringer, se 3ie eller Verdensbankens ressurs om effektevalueringer.

Årsakssammenheng i bistand 

Ansvar for å dokumentere måloppnåelse for hvert bistandstiltak ligger hos dem som styrer tiltaket. Samtidig betyr ikke måloppnåelse nødvendigvis at det var selve tiltaket som førte til suksessen.

Ofte forsøker evalueringer å vurdere årsakssammenhenger og finne ut hva bistanden faktisk har bidratt til. Noen sentrale spørsmål er:

Måloppnåelse: Er ønsket forbedring oppnådd?

Bidragsanalyse: Er det sannsynlig at bistanden bidro til forbedringen?

Attribusjon: Kan vi måle hvor mye bistanden bidro med?

Motfaktisk analyse: Hva ville skjedd uten tiltaket?

Ofte er det vanskelig eller umulig å gi sikre svar på spørsmål om attribusjon eller motfaktiske forhold, fordi det mangler tilstrekkelig data eller gode metoder. Likevel kan evaluatorene gjøre en kvalifisert vurdering av hvor sannsynlig det er at tiltaket har bidratt til resultatene.