Evaluering
EVALUERING AV EFFEKT-PROGRAMMET
Vår konklusjon er at IKT- og endringsprogrammet EFFEKT ble gjennomført på en god måte (operasjonelt perspektiv), de har til dels hatt måloppnåelse på effektmålene (taktisk perspektiv) og at tiltaket var relevant, levedyktig og lønnsomt i samfunnsmessig forstand (strategisk perspektiv). På oppdrag for Concept-programmet ved NTNU har Menon Economics i samarbeid med A-2 gjennomført en etterevaluering av EFFEKT-programmet. EFFEKT var et stort IKT- og endringsprogram i utlendingsforvaltningen som ble gjennomført i perioden 2007-2013. Programmet oppsto i en periode der utlendingsforvaltningen hadde hatt lange saksbehandlingstider over lengre tid, noe som påførte både etater og brukere ekstra kostnader. Aktørbildet i utlendingsforvaltningen var komplekst, og samhandling og dialog mellom aktørene var ikke tilpasset en digitalisert hverdag. Det var utstrakt bruk av postombæring av fysiske mapper både innad i og mellom etatene. Mye av saksbehandlingstiden gikk med til å innhente og registrere informasjon om søkerne uten kontroll på om denne hadde blitt registrert tidligere i en annen etat. EFFEKT ble igangsatt for å modernisere og effektivisere utlendingsforvaltningen gjennom reduserte saksbehandlingstider, og bidra til en mer helhetlig forvaltning, blant annet gjennom samhandling på tvers av aktørene i utlendingsforvaltningen. Denne etterevalueringen av EFFEKT har benyttet Concepts evalueringsmodell som består av seks overordnede evalueringskriterier: produktivitet, måloppnåelse, virkninger, relevans, levedyktighet og samfunnsøkonomisk lønnsomhet. Vi har triangulert metoder der det har vært mulig og hensiktsmessig. Dokumentanalyse har vært hovedmetoden, støttet av semistrukturerte dybdeintervjuer og kvantitative analyser. Sentrale informanter i UDI og Justisdepartementet har fått mulighet til å gå gjennom et utkast av rapporten, for å redusere risiko for misforståelser og feil. En utfordring i evalueringen av EFFEKT-programmet har vært å vurdere ambisjonsnivået til både resultatmålene og effektmålene. En årsak til dette, er at det verken ble vurdert et alternativt konsept for EFFEKT-programmet eller gjennomført en KS1 etter den statlige KS-ordningen. Det ble utarbeidet to KS2-rapporter som hadde ulike tids- og kostnadsrammer. Vi har funnet det mest riktig å evaluere etter programmets tildelte rammer og mål slik det gikk fram av den siste KS2-rapporten. Det har også vært svært krevende å isolere effekten av EFFEKT fra andre forhold som har påvirket resultatene. Det skyldes at det har skjedd en rekke endringer parallelt med EFFEKT, blant annet kom det ny utlendingslov i 2010 som påvirket saksbehandlingen i utlendingsforvaltningen. Flyktningkrisen i 2015 har også virket inn på resultatene, selv om denne først og fremst var knyttet til asylområdet. Det har også vært krevende å gjennomføre en god samfunnsøkonomisk lønnsomhetsanalyse i etterkant. Det knytter seg til i hovedsak to forhold: 1) den samfunnsøkonomiske analysen ex ante har en del forutsetninger som er mangelfullt forklart, 2) det var veldig mange revisjoner av den samfunnsøkonomiske analysen ex ante. Vi har valgt å se på dette kriteriet på lik linje med de andre kriteriene og gjennomført en forenklet samfunnsøkonomisk lønnsomhetsvurdering. I denne vurderinger har vi tatt utgangspunkt i den siste versjonen av ex ante samfunnsøkonomiske analysen, replisert denne og oppdatert med nye tall under samme forutsetninger. Figuren under viser resultatet av evalueringen samlet, per kriterium og tilhørende usikkerhetsvurdering. En utdypende vurdering under hvert kriterium er kort beskrevet under figuren.