Evalueringsstandarder/Veiledninger

Mange nasjonale evalueringsforeninger og internasjonale organisasjoner har utarbeidet nyttige standarder for god evalueringspraksis. Nedenfor finner du en oversikt over og lenke til noen av disse.

American Evaluation Association (AEA): Guiding principles for evaluators

AEA fremmer fem prinsipper for god evalueringspraksis:

  1. Tekniske standarder for systematisk, empiriske undersøkelser – stiller krav til passende metodebruk, transparens når det gjelder design, svakheter osv.
  2. Nødvendig kompetanse for utførelse- krav til ulike former for kompetanse, utvikling av kompetanse osv
  3. Integritet og ærlighet – krav til å forhandle redelig med klienter og være åpen om kostnader, metodiske svakheter og andre begrensninger. Rapportere endringer i plan og hvorfor planen måtte endres osv.
  4. Respekt for mennesker – krav til å følge gjeldende etiske standarder, krav til å maksimere nytten av evalueringen, respektere respondenter, forstå kontekst osv.
  5. Ansvar for samfunnet – krav om å inkludere alle relevante perspektiver, vurdere implikasjoner og konsekvenser for andre, vurdere klientens interesser opp mot andre aktørers interesser.

Canadian Evaluation Society (CES)
Canada Evaluation Society har to sett med standarder. De har ett sett med retningslinjer for etisk atferd. Dette er delt inn i tre overskrifter: competence, integrity og accountability. Under hver overskrift er det 3-4 korte, normative utsagn på formen «evaluators should …».
I tillegg fastsatte den kanadiske evalueringsforeningen i januar 2012 «Program Evaluation Standards» som er identiske med American Evaluation Association: The Program Evaluation Standards. Disse standardene er redegjort for og utdypet i boka Yarbrough, D. B., Shulha, L. M., Hopson, R. K., and Caruthers, F. A. (2011). The program evaluation standards: A guide for evaluators and evaluation users (3rd ed.). Thousand Oaks, CA: Sage.

Société Francaise de l’Évaluation
Den franske evalueringsforeningen vedtok i 2003 et charter med evaluation guiding principles. Prinsippene er satt opp med følgende seks overskrifter/tema: pluralisme, uavhengighet, kompetanse, respekt for individers integritet, transparens og ansvar. Alt har fått plass på én side, og er lett tilgjengelig.

UK Evaluation Society (UKES)
“Guidelines for good practice in evaluation” er delt inn som fire guidelines for:

  • For evaluators
  • For commissioners
  • For self-evaluation
  • For evaluation participants

Formuleringene er ulike, slik at det for evaluators formuleres som krav, mens det for commissioners skrives langt mer forsiktig (“To ensure good practice in evaluation, it would be helpful if commissioners….”). Kravene til evaluator er av typen være ekplisitte når det gjelder metode, lagre data forsvarlig osv. Det er også formulert mer “myke” krav av typen “demonstrate a commitment to the integrity of the process of evaluation and its purpose to increase learning in the public domain.” For de som deltar i evalueringene er guidelines formulert som “det man kan forvente seg hvis man blir evaluert”.

Swiss Evaluation Society (SEVAL)
Standardene til den sveitsiske evalueringsforeningen skriver seg fra 2000 og framstår som et 20 siders dokument. Først kommer en innledning over knappe tre sider om hva som er formålet med standardene. Formålet er å bidra til profesjonalisering av evaluering i Sveits. Dessuten skal de bidra til økt troverdighet, kvalitet og tillit til evalueringer. Dette er avhengig av at alle de involverte partene følger standarden.

Standarden er inndelt i fire tematiske tema: Utility (U), Feasability (F), Propriety (P) og Accuracy (A). Denne inndelingen er identisk med den amerikanske og den kanadiske standarden. Under hvert normative utsagn følger en utdypende kommentar om hva som ligger i standardens enkelte krav.

På slutten av dokumentet gjøres det grundig rede for prosessen som ledet fram til standardene. Her kommer det klart fram at utgangspunktet har vært den amerikanske standarden for programevaluering. Alle avvik fra dette utgangspunktet er det gjort grundig rede for med tilhørende begrunnelse.

DeGEval
Den tyske foreningen har organisert sine 25 standarder etter fire overordnede prinsipper: nytte, gjennomførbarhet, eierskap og nøyaktighet. Disse ble vedtatt av foreningen i 2001.

Både disse standardene, og de sveitsiske, er en tilpasning av den amerikanske ”Joint Committe on Standards for Educational Evaluation”, i likhet med en rekke andre nasjonale standarder: http://www.jcsee.org/program-evaluation-standards-statements

Andre typer standarder: 

OECD DAC Network on Development Evaluation (EvalNet) har definert seks evalueringskriterier – relevans, sammenheng, effektivitet, effektivitet, innvirkning og bærekraft – og to prinsipper for deres bruk. Publikasjon: Better critieria for better evaluation (2019).

OECD Development Assistance Committee (DAC) – Standarder for evalueringskvalitet

Bistandskomiteen (DAC) i OECD godkjente i 2010 standarder for evaluering av internasjonalt utviklingssamarbeid. Standardene bygger på prinsippene om at evalueringer skal være upartiske, uavhengige, pålitelige og nyttige.

Hensikten med standardene er at de skal bidra til å forbedre kvaliteten på evalueringsprosesser og evalueringsprodukt. I tillegg skal standardene bidra til økt samarbeid gjennom igangsettelse av fellesevalueringer samt bruk av hverandres evalueringer.

Standardene beskrives for hver fase i en typisk evalueringsprosess herunder:

  • Beskrivelse av evalueringens rasjonale, formål og delmål (klar beskrivelse av bakgrunnen for evaluering hvorfor den blir gjennomført, spesifikasjon av målsettinger og evalueringsspørsmål)
  • Planlegging og design (ta interessenter med i prosessen, klargjøre evalueringskriterier (relevans, måloppnåelse(effectiveness), bærekraft (sustainability), produktivitet (efficiency), virkning (impact));
  • Gjennomføring og rapportering (valg av upartiske og uavhengige evalueringsteam, kritisk vurdering og triangulering av informasjonskilder, beskrive evalueringsmetodene og begrensingene til evalueringen, tilkjennegi interessentene sine synspunkt inkludert uenigheter om funn og konklusjoner); og
  • Læring fra og bruk av evalueringsresultat (klare, relevant anbefalinger, systematisk oppfølging av anbefalingene, åpenhet om evalueringsfunn internt og eksternt)

Standardene er ikke ment å utgjøre en manual som skal følges punkt for punkt, men er tenkt å skulle tilpasses nasjonale og lokal omgivelser samt målsettingen for den enkelte evaluering.

European Commission

I forbindelse med arbeidet med ”smart regulation”, har EU Kommisjonen utarbeidet egne standarder for evaluering. Standardene grupperes i fem kategorier:

  1. Ressurser og organisering av evalueringsaktiviteter
  2. Planlegging av evalueringsaktiviteter
  3. Design av evalueringer
  4. Gjennomføring
  5. Formidling og bruk av evalueringsresultater

Norge – RSK 001 Standard for forvaltningsrevisjon – kommuner
Siden 1999 har Norges Kommunerevisorforbund (NKRF) operert med en egen standard for gjennomføring av forvaltningsrevisjon av kommunal virksomhet. Siden det er mange likhetstrekk mellom forvaltningsrevisjon og evaluering, tas også denne med i denne gjennomgangen. Standarden angir hva som er å anse som god kommunal revisjonsskikk i forvaltningsrevisjon. God kommunal revisjonsskikk er en rettslig standard i kommuneloven. Hensikten med standarden er å gi normer og veiledning om planlegging, gjennomføring og rapportering av forvaltningsrevisjonsprosjekter i kommuner og fylkeskommuner. Standarden er prosessorientert og inneholder følgende tematiske bolker: krav til revisor, bestilling, revisjonsdialogen, prosjektplan, problemstillinger, revisjonskriterier, metode og data, vurderinger og konklusjoner, anbefalinger, prosjektrapport, dokumentasjon, kvalitetssikring og kvalitetskontroll. Alle revisjonsenheter som er medlemmer i NKRF, er underlagt en forbundsbasert og kollegabasert kvalitetskontroll . Når det gjelder kvalitetskontroll av forvaltningsrevisjon, vurderes det i hvilken grad prosjektet er gjennomført i henhold til standarden.