Vinneren av Evalueringsprisen 2016

Offentliggjort under Evalueringskonferansen

Vinneren av Evalueringsprisen ble annonsert i forbindelse med Evalueringskonferansen 2016 i Trondheim. Prisen tildeles for god planlegging, gjennomføring og/eller oppfølging og bruk av en evaluering. Det er tredje gang prisen deles ut.

eval-3-2015

Prisen tildeles i år: «A Baseline Study of Norwegian Development Cooperation within the areas of Environment and Natural Resources Management in Myanmar»

Evalueringen er gjennomført av Svein Erik Stave med team fra FAFO Resarch Foundation. Dette er evalueringen av innsamling og analyse av grunnlagsdata i Myanmar, gjennomført av FAFO på oppdrag for NORAD. Vi gratulerer!

Juryen for 2016 har bestått av Tone Alm Andreassen, professor, Høgskolen i Oslo og Akershus, Jan Roar Beckstrøm, avdelingsdirektør, Riksrevisjonen og Espen Frøyland, avdelingsdirektør, Politidirektoratet. Norsk evalueringsforenings sekretariat ved Marthe Rosenvinge Ervik har bistått juryen administrativt. Prisen ble delt ut av styreleder Gro Holst Volden i Norsk evalueringsforening og juryrepresentant Espen Frøyland.

Mandat

Svein Erik Stave, FAFO
Svein Erik Stave, FAFO

Evalueringsprisen kan tildeles for god planlegging, formidling, gjennomføring og/eller oppfølging og bruk av en evaluering. Prisen knyttes således til en bestemt evaluering gjennomført de senere år. Alle som er medlem av Evalueringsforeningen kan foreslå priskandidater. Forslaget utformes skriftlig, og relevant dokumentasjon vedlegges. Styret for NEF oppnevner årlig en jury for å vurdere foreslåtte kandidater. Juryen består av tre personer med god kunnskap om evaluering. Juryen skal utforme en skriftlig innstilling til prisvinner. I vurderingen skal juryen legge vekt på følgende:
1) Faglig forståelse. Det vil si at bestiller, utfører og bruker eller bestiller har utvist god og sikker forståelse for den faglige og metodiske diskusjonen evalueringen inngår i. Denne kan dreie seg om metode, policy, språk eller anvendelsesmuligheter.
2) Forståelsen av evalueringens samfunnsmessige kontekst. Det vil si at utfører, bruker eller bestiller har hatt god forståelse av egen og andres rolle.
3) Innovative grep. Det vil si nyskapende grep som har gitt godt resultater. Med nyskapende menes ny i en bestemt kontekst; organisasjon, form for evaluering, presentasjon eller på andre måter.
4) God formidling. Det vil si at evalueringen er formidlet på en interessant og informativ måte til relevante aktører

I disse vurderingene skal også de ressursmessige rammene for evalueringen tillegges vekt.

Juryens fortolkning av mandatet

Juryen har vurdert alle de nominerte kandidatene i forhold til alle de fem kriteriene. Det er kun nominert 4 kandidater til evalueringsprisen for 2016, en nedgang fra 5 kandidater i 2015. Norsk evaluerings­virksomhet er omfattende. Vi oppfordrer derfor til at flere bestillere og utførere nominerer kandidater til prisen for 2017.

De fire nominerte evalueringene er:

  • A Baseline Study of Norwegian Development Cooperation within the areas of Environment and Natural Resources Management in Myanmar. FAFO
  • Evaluering av påbudet om bruk av flyteutstyr i fritidsbåt. Oxford Research AS
  • Evaluering av satsingen på helse, arbeidsmiljø og sikkerhet i PETROMAKS og PETROMAKS2. Oxford Research AS
  • Striking the Balance’ Evaluation of the Planning, Organisation and Management of Norwegian Assistance related to the Syria Regional Crisis. Norad som bestiller er nominert.

Vurdering av kandidatene

Alle de fire nominerte skårer høyt på en eller flere av vurderingskriteriene. Juryens vurdering er imidlertid at det særlig er én kandidat som skårer høyt på samtlige. Dette er evalueringen av innsamling og analyse av grunnlagsdata i Myanmar, gjennomført av FAFO på oppdrag for NORAD. En viktig begrunnelse for utarbeidelse av rapporten er at Norge er i startfasen av et langsiktig samarbeid med myndigheter og andre aktører i Myanmar. Innsamling av grunnlagsdata vil gi muligheten for senere å måle resultater og effekter av den norske innsatsen. Evalueringen ble gjennomført i løpet av første halvår i 2015 og budsjettet var på 850 000 kroner.

Juryen legger vekt på at evaluator har besvart en vanskelig oppgave på tross av krevende kontekstuelle faktorer. Det er blant annet fortsatt uro i flere deler av Myanmar. Evaluator har valgt å inkludere lokale forskere i Myanmar i evalueringsarbeidet. Det har gitt nødvendig innsikt i relevante sider ved Myanmars statsapparat og byråkrati og det bidrar til å bygge opp forskningskompetansen på feltet i Myanmar.

I evalueringen gis det en grundig vurdering av hva som må på plass for å gjøre gode baselinestudier. Å kartlegge statistikkilder og datakvalitet kan være utfordrende, særlig for evalueringer med fokus på effekter. Denne studien legger således et helt nødvendig grunnlag for fremtidige evalueringer av resultater og effekter. Evaluator skisserer også på en god måte en baselinemodell og juryen mener at dette er et arbeid som må gjøres før det er mulig å gjennomføre baselinestudier i Myanmar. Juryen mener at dette er en av rapportens største styrker.

Evaluator har gjort et omfattende arbeid med å kartlegge data i offentlige etater i Myanmar. Juryen ser for seg at det har vært krevende å avklare hva som finnes av data, hvem som sitter på det, hvordan data er blitt samlet inn mv. Evaluator har også gode betraktninger rundt hvilke faktorer som påvirker datakvalitet i Myanmar. Juryen vil videre peke på at evaluator formidler innhold i rapporten på en god måte. Selv om man ikke kjenner feltet – verken Myanmar eller baselinestudier – er det enkelt å følge argumentasjonen i rapporten.

Avslutningsvis vil juryen vil peke på at evaluator har solid funderte anbefalinger med hensyn til hvordan bistands­arbeidet rettet mot Myanmar generelt kan bli bedre.

Konklusjon

Juryen vurderer alle de nominerte arbeidene som interessante kandidater. Ut fra en samlet vurdering gir vi årets pris til FAFO og evalueringen «A Baseline Study of Norwegian Development Cooperation within the areas of Environment and Natural Resources Management in Myanmar». Juryens vurdering er enstemmig.

Oslo 21. september 2016