Evaluering
Unintended Effects in Evaluations of Norwegian Aid
Utilsiktede effekter av bistand dokumenteres sjelden I bistand dokumenterer man oftest resultater ved hjelp av indikatorer som er basert på hva man trodde om bistandens resultater ved prosjektstart. Erfaring og forskning forteller oss at bistand også har utilsiktede effekter. Disse blir ofte ikke rapportert, kanskje fordi de ikke passer inn i de forhåndsbestemte indikatorene. Det kan gjelde positive og negative effekter ved de enkelte bistandstiltak, men også utilsiktede negative effekter som først og fremst har betydning på et samlet, overordnet nivå. Dette gjelder blant annet på områder som økonomisk vekst, statsadministrasjon, og politisk utvikling. Slike effekter passer ikke naturlig inn i rapporteringen om resultater av hvert enkelt tiltak fordi de negative effektene av hvert enkelt tiltak er marginal, mens summen av mange tiltak kan være alvorlig. Om slike utilsiktede effekter ikke rapporteres, innebærer tapte muligheter for å forbedre bistanden gjennom å jobbe systematisk for å forsterke positive resultater og redusere negative effekter. Studie av evalueringsrapporter Dette er bakgrunnen for at Evalueringsavdelingen bestilte en studie for å se på hvordan utilsiktede effekter kom til uttrykk i evalueringer. Studien ble gjennomført av forskerne Henrik Wiig og Jørn Holm-Hansen ved Norsk institutt for by- og regionforskning (NIBR). Forskerne gikk gjennom alle evalueringsrapporter bestilt av Evalueringsavdelingen i perioden 2010-2013, samt et utvalg rapporter bestilt av andre giverland. Rapporten gir en oversikt over hva forskning og annen litteratur sier om utilsiktede effekter av bistand. Noen slike effekter er relevante for nesten all bistand, slik som negative makroøkonomiske konsekvenser av mye bistand, administrativ belastning på mottakerlandet, og politiske og samfunnsmessige effekter. Andre er mer spesifikke, avhengig av hvert enkelt tiltak. Noen slike kan være relativt enkle å forutsi, andre blir man først kjent med i ettertid. Sjeldent etterspurt og omtalt Deretter går rapporten inn på hvordan evalueringer har bidratt til å identifisere slike. Gjennomgangen viser at Evalueringsavdelingen i Norad etterspør informasjon om utilsiktede effekter i mindre enn halvparten av evalueringsoppdragene. Selv når det var etterspurt, var det mindre enn to tredeler av evalueringene som faktisk endte opp med å gi slik informasjon. Til gjengjeld er det flere evalueringer som har tatt opp utilsiktede konsekvenser selv når det ikke har vært etterspurt av Evalueringsavdelingen. Forfatterne mener at når utilsiktede effekter nevnes, er det med hovedvekt på positive effekter, samt små og mindre betydningsfulle negative effekter. Større og potensielt mer alvorlige negative effekter, for eksempel bredere politiske effekter av bistand, nevnes i liten grad. Slike effekter på makronivå er effekter som ikke gjør seg gjeldende for hvert enkelt tiltak, men som kan være en skadelige effekt av den samlede bistanden når denne utgjør store volum. Men selv uintenderte effekter som kunne vært enkelt å forutse, blir lite omtalt, ifølge rapporten. Forfatterne mener også at evalueringsrapportene formulerer seg på en forsiktig måte når de skriver om utilsiktede effekter, kanskje for å unngå lange diskusjoner med de som er under evaluering. Det kan føre til at selv det som framkommer av informasjon om utilsiktede effekter, ikke blir tatt tilstrekkelig hensyn til. Noen givere har eksplisitte retningslinjer Forfatterne har også sett på hvordan andre givere jobber med utilsiktede effekter. Storbritannia (DFID) og Sverige (Sida) har retningslinjer som innebærer at man ser eksplisitt på uintenderte konsekvenser. Hos andre givere som ikke legger like systematisk til rette for dette, som Norge, er uintenderte konsekvenser indirekte dekket gjennom retningslinjer fra OECDs utviklingskomite. Rapporten finner likevel ikke vesentlige forskjeller på hvordan utilsiktede effekter blir omtalt i norske evalueringer sammenlignet med de svenske og britiske.