Evalueringsmetoder

Evalueringer bygger på et bredt spekter av forskjellige metoder, noe som gjenspeiler at evalueringsfaget henter kunnskap og inspirasjon fra alle deler av den samfunnsvitenskapelige forskningen.

Her er en grov oversikt over noen grunnleggende metodevalg. Innenfor hver kategori fins mange forskjellige metoder og teknikker man kan ta i bruk. Ord i kursiv er nyttige søkeord om du ønsker mer informasjon. De fleste evalueringer bruker en kombinasjon av metoder.

I alle evalueringer kreves det at evalueringsmetodene er velegnet til å svare på de aktuelle evalueringsspørsmålene, godt begrunnet og beskrevet i tilstrekkelig detalj til at det ikke er tvil om hvordan man har kommet fram til sine funn og konklusjoner og hvilket evidensgrunnlag disse bygger på.

• Kvantitative metoder gjør bruk av informasjon (data) som er målbart og tellbart (kvantifiserbart). Når det er mulig å framskaffe de nødvendige data, er slike metoder best egnet til å gi mest mulig konkret og presis informasjon, for eksempel om i hvilken grad målene for bistand er oppnådd.
  I spesielle tilfeller, når man har mye data tilgjengelig, kan det også være mulig å slå fast i hvilken grad bistanden faktisk er årsak til at disse målene ble oppnådd.
• Kvalitative metoder gjør bruk av informasjon som er vanskeligere å telle og måle. Slike metoder er godt egnet til å forstå hvordan bistand virker inn i kompliserte samfunnsforhold og til å analysere informasjon som vanskelig kan uttrykkes gjennom tall.
  Både kvantitative og kvalitative metoder har styrker og svakheter, og dette er et viktig spørsmål når evalueringer planlegges. Man kan for eksempel velge mellom å sende de samme spørsmålene til hundrevis av mennesker og analysere svarene statistisk (kvantitativt), eller invitere noen få personer til en lang samtale for å prøve å forstå ting bedre (kvalitativt). Det er ikke gitt hva som er best, for de ulike metodene gir forskjellig type informasjon. De fleste evalueringer gjør derfor bruk av begge sett med metoder.

Både kvalitative og kvantitative metoder kan si en del om måloppnåelse, altså om de ønskede forbedringer har skjedd i et område som har mottatt bistand. Men begge sett med metoder innebærer store utfordringer med tanke på å konkludere om kausalitet, altså spørsmålet om hvorvidt bistanden faktisk er årsak til de forbedringene man har observert.

Effektevalueringer (impact evaluation) er en egen type evaluering som søker å gi mest mulig pålitelig informasjon om effektene av tiltak gjennom såkalte eksperimentelle eller kvasi-eksperimentelle metoder.

Det skjer ved å sammenligne to grupper: de som får tilgang til et bistandstiltak, og en «kontrollgruppe» som ikke får tilgang til det man undersøker effekten av. Dersom disse to gruppene er like (og det ikke er noen andre forhold som påvirker gruppene), kan det danne grunnlag for en kontrafaktisk analyse: Om man observerer en endring i den ene gruppen og ikke i den andre gruppen, er dette en endring som kan tilskrives tiltaket.

For å sikre at gruppene er så like som mulig, kan man velge tilfeldig hvem som får tilgang på prosjektet (eksperimentell metode, kalles også en randomisert studie), eller man benytter kvasi-eksperimentelle metoder for å «simulere» en kontrollgruppe. Kvaliteten på disse metodene vil avgjøre hvor pålitelige resultatene er.

En effektevaluering forsøker også å forklare hvordan tiltaket gir effekter. Dette kan undersøkes ved å benytte både kvantitative og kvalitative metoder.

Effektevalueringer er ofte ressurskrevende, særlig om det ikke er planlagt for å bruke slike metoder ved oppstart av et tiltak, og kan ikke gjennomføres for alle typer bistand og alle evalueringsspørsmål.

For eksempler og mer informasjon om effektevalueringer i kan du besøke organisasjonen 3ie eller Verdensbankens ressurssider om effektevalueringer.

Kausalitet i bistand

Den ansvarlige for hvert enkelt bistandstiltak har ansvar for å dokumentere måloppnåelse gjennom det løpende resultatarbeidet. Men måloppnåelse sier ikke noe i seg selv om hvorvidt det var bistanden som førte til at målet ble oppnådd.

Evalueringer tar ofte sikte på å vurdere årsakssammenhenger (kausalitet), så man kan si noe om hvilken forskjell bistanden egentlig gjorde.

Spørsmålet om bistandens resultater kan besvares på flere måter:

• Har den planlagte forbedringen skjedd (måloppnåelse)?
• Er det sannsynlig at tiltaket har bidratt til forbedringen (bidragsanalyse, contribution analysis)?
• Kan det slås fast med stor grad av sikkerhet hvor mye tiltaket har bidratt til forbedringen (attribusjon)?
• Hva ville skjedd uten tiltaket (kontrafaktisk analyse)?

I mange typer bistand er det enormt ressurskrevende eller umulig å svare sikkert på spørsmål om attribusjon eller kontrafaktisk analyse, simpelthen fordi det ikke finnes tilgjengelige data og metoder som gjør dette mulig. Men man kan alltid gjøre en vurdering av sannsynligheten for at et tiltak har bidratt til måloppnåelse.