Om malen
Denne malen gir råd til virksomheter som skal evaluere håndteringen av covid-19. Målgruppen er virksomheter med ansvar for kritiske samfunnsfunksjoner, men også andre offentlige, private og frivillige virksomheter og organisasjoner kan ha nytte av malen. For enkelthets skyld har vi valgt å gjennomgående bruke begrepet virksomhet i malen.
Malen fremhever temaer og problemstillinger som vi mener er viktig å belyse. Malen bør likevel justeres og tilpasses formålet og avgrensningen i evalueringen som skal gjennomføres.
I evalueringen kan følgende temaer og problemstillinger være sentrale:
Beredskap: Hvor forberedt var vår virksomhet på et alvorlig pandemiutbrudd?
Situasjonsbildet: Hvordan har krisen påvirket vår virksomhet? Krisen forstås her som både covid-19 utbruddet óg smitteverntiltakene.
Håndtering: Hvordan har vår virksomhet håndtert krisen?
Råd angående fokus i evalueringen
- Forsøk å fokusere på systemlæring, ikke på å finne syndebukker.
- Evalueringen bør ikke utelukkende se etter forbedringspunkter, men fremheve både positive og negative læringspunkter.
- Reflekter over årsakssammenhenger, og still spørsmålene hvorfor finner vi dette læringspunktet og hva kunne vært gjort annerledes?
1. Formål og avgrensning
Beskriv hva som er formålet med evalueringen virksomheten skal gjennomføre. Definer tydelige problemstillinger som evalueringen skal gi svar på, og hva resultatene skal brukes til. Beskriv også hvilken tidsperiode evalueringen gjelder for.
Det overordnede formålet for enhver evaluering etter hendelser bør være å svare på:
- Hva kan vi som virksomhet/samfunn lære av denne hendelsen?
- Hvordan kan vi bruke lærdommen fra denne hendelsen til å forebygge, og til å bedre håndteringen av kommende hendelser?
2. Krav og forventninger
Beskriv hva som er det formelle grunnlaget for arbeidet til virksomheten knyttet til denne krisen. Hva er kravene og forventningene til virksomheten:
- til å være forberedt på en slik hendelse?
- når en slik hendelse oppstår?
Definer evalueringskriterier, men let også etter «faktor X»
Evaluering av en hendelse er en systematisk datainnsamling, analyse og vurdering. Den gir uttrykk for hva som fungerte bra og hva som fungerte mindre bra i en virksomhets arbeid før, under og/eller etter en hendelse.
For å vurdere dette utledes det ofte evalueringskriterier som arbeidet vurderes opp imot. Slike kriterier kan utledes fra ulike krav og forventinger. Krav og forventninger kan for eksempel finnes i lover, forskrifter og instrukser, eller i planverk, retningslinjer og standarder som er utarbeidet av virksomheten selv.
Det kan også være viktige læringspunkter som ikke kan knyttes til de fastsatte evalueringskriteriene. Ha derfor ha et våkent blikk for det nye og det ukjente – "faktor X". Det som faller utenfor de fastsatte kriteriene, men som likevel gir viktig lærdom. Faglig skjønn vil som regel være utgangspunkt for vurderingene av slike funn.
3. Metode og prosess
Beskriv hvordan evalueringen er gjennomført, det vil si datainnsamlingsprosessen, kildegrunnlaget og hvilke aktører som har vært involvert. Gi også en kort vurdering av kvaliteten på kildegrunnlaget.
Formål og problemstillinger har betydning for hvem som bør involveres i evalueringen. Det er viktig at evalueringen omfatter innspill fra alle relevante aktører og funksjoner. Disse kan ha ulike perspektiver som evalueringen bør få frem.
Innsamlingen av erfaringer og inntrykk kan for eksempel foregå gjennom førsteinntrykkssamlinger, intervjuer og spørreundersøkelser. Logger, møtereferater og annen skriftlig dokumentasjon er også aktuelle kilder for evalueringen.
Tenk igjennom:
- Hvilken informasjon trenger vi for å kunne svare på problemstillingene?
- Hva vet vi allerede?
- Er det behov for å samle inn informasjon selv, og/eller er det mulig å benytte informasjon som andre har samlet inn?
- Hvilke datainnsamlingsmetoder bør vi benytte?
Om metoder for datainnsamling
Datainnsamling ved hjelp av kvalitative og kvantitative metoder vil gi ulik type informasjon om de samme problemstillingene. Det er derfor viktig å se valg av metode for datainnsamling i sammenheng med evalueringens formål og problemstillingene som er formulert.
Ofte er det nødvendig å kombinere flere metoder i samme evaluering for å få en mest mulig helhetlig forståelse av hendelsen og håndteringen av den.
Eksempler på kvalitative metoder: evalueringsmøter, intervjuer, observasjoner og dokumentanalyse.
Eksempler på kvantitative metoder: spørreskjemaundersøkelser, kvantitativ innholdsanalyse og innhenting av data fra statistikk og registre.
Les mer om metodiske tilnærminger i evalueringer:
4. Beredskap
Beskriv virksomhetens arbeid med beredskap for pandemiutbrudd. Spørsmålene nedenfor kan være et utgangspunkt. Disse kan romme flere underspørsmål og det kan også være andre hovedspørsmål som bør omtales.
Identifiser læringspunkter og vurder oppfølgingstiltak. Begrunn tiltakene og vurder hvem som skal ha ansvaret for oppfølging.
Som en del av evalueringen bør virksomheten vurdere hvor forberedt den var på å håndtere denne krisen. Dette kan få frem nyttige tiltak for virksomhetens videre arbeid med beredskap i denne og kommende hendelser.
En slik vurdering kan ta utgangspunkt i følgende spørsmål:
Hvor forberedt var virksomheten på å håndtere et alvorlig pandemiutbrudd?
- Var denne type hendelse omtalt i risiko- og sårbarhetsanalyser og i beredskapsplaner?
- Har virksomheten gjennomført eller deltatt i relevante øvelser?
- Var roller og ansvar tilstrekkelig avklart i forkant av denne krisen?
I hvilken grad har virksomheten hatt nytte av disse forberedelsene?
- Hvordan har risiko- og sårbarhetsanalyser, ev. andre undersøkelser og analyser blitt brukt i håndteringen?
- Hvordan har generelle beredskapsplaner, eller mer spesifikke planer (kontinuitetsplaner, planer for håndtering av pandemi eller smitteutbrudd mv.) blitt brukt under hendelsen?
- Hvis beredskapsplanene og/eller risiko- og sårbarhetsanalysene ikke er brukt, hva er grunnen til det?
Hva er de sentrale læringspunktene, og er det behov for tiltak?
5. Situasjonsbildet for virksomheten
Beskriv hvordan covid-19-utbruddet óg smitteverntiltakene har påvirket:
- virksomheten (personell, innsatsfaktorer fra underleverandører)
- virksomhetens leveranser og tjenester
- bransjen/sektoren som helhet
Hvis virksomheten har ansvar for kritiske eller viktige samfunnsfunksjoner er det spesielt viktig å evaluere hvordan og i hvilken grad krisen har påvirket virksomhetens leveranser og tjenester.
Lag en tidslinje
Lag gjerne en tidslinje over hva som skjedde når, for eksempel grafisk eller i tabellformat. I eksempelet nedenfor ses påvirkningen på virksomheten i sammenheng med utviklingen globalt og nasjonalt. Hvilke utviklingstrekk og tiltak globalt og nasjonalt som er mest relevante vil variere mellom virksomheter.
En tidslinje kan være et nyttig pedagogisk verktøy for å få oversikt og vurdere hvordan egen virksomhet har blitt berørt underveis i hendelsen. Dette er nyttig både for bruk internt, og i kommunikasjonen med andre involverte aktører.
Hendelsesloggen med situasjonsrapporter og møtereferater er ofte et godt utgangspunkt for å beskrive situasjonsbildet og sette opp en tidslinje.
>> Se eksempel på tidslinje utformet som tabell
6. Krisehåndtering
Beskriv hvordan virksomheten har håndtert krisen (covid-19-utbruddet óg smitteverntiltak). Få frem hva som har fungert bra og hva som har fungert mindre bra i krisehåndteringen.
Fokusområdene nedenfor kan være et utgangspunkt for å systematisere evalueringen. Områdene kan omfatte flere aspekter og spørsmål enn det som nevnes her. Det kan også være andre fokusområder som er særlig relevante for den enkelte virksomhet.
Identifiser læringspunkter og vurder oppfølgingstiltak for hvert tema. Begrunn tiltakene og vurder hvem som skal ha ansvaret for oppfølging.
Koordinering, samarbeid og informasjonsdeling med andre virksomheter
- Hvordan har samarbeidet og koordineringen med andre aktører fungert?
- I hvilken grad har håndteringen avdekket et behov for å avklare roller og ansvar opp mot andre aktører?
- Hvordan har etablerte samarbeidsarenaer fungert?
- Ble det nødvendig å etablere nye samarbeidsrelasjoner eller -arenaer?
- Hvordan har nytteverdien av de ulike møtearenaene vært?
- Hvordan har informasjonsdeling via ulike kanaler fungert?
- I hvilken grad har det vært informasjon som har falt utenfor alle informasjons- eller rapporteringskanaler?
Myndighetenes beslutninger, råd og tiltak
- Hvordan har beslutninger, råd og tiltak fra myndighetene påvirket virksomheten?
- Hva er virksomhetens erfaringer med å forholde seg til sentrale, regionale og lokale forskrifter?
- Har virksomheten hatt en dialog med ulike myndigheter angående de nye forskriftene? Hvordan har dialogen fungert?
- Hva er virksomhetens oppfatning av myndighetenes formidling av beslutninger, råd og tiltak?
- Veilederne fra sentrale myndigheter har hatt til hensikt å klargjøre forskrifter og smitteverntiltak – hva er virksomhetens erfaringer med bruk av disse?
Mediehåndtering og krisekommunikasjon
- Har virksomheten hatt en egen strategi for kommunikasjonen under denne krisen, inkludert en strategi for å nå spesielle målgrupper som medier, befolkningen, brukere og/eller kunder?
- Ble det satt i verk spesielle kommunikasjonstiltak som følge av denne krisen?
- Hvilke kommunikasjonskanaler ble benyttet (mediene, egen nettside, Facebook, digitale møter o.l.)? Hvilke kanaler var velegnet til å nå fram med budskap?
- Hvilke erfaringer har virksomheten fra kommunikasjonen med ulike målgrupper; som befolkningen, brukere/kunder og media? Var det grupper som var vanskelig å nå?
- I hvilken grad har det vært pågang av henvendelser til virksomheten fra medier, befolkningen og andre målgrupper? Hvordan har henvendelsene vært håndtert?
- Hvordan har virksomheten håndtert innsynsbegjæringer (omfang, verdivurdering, koordinering med andre aktører mv.)?
Kontinuitetsplanlegging
- Hvordan har virksomheten organisert seg for å vurdere utviklingen av krisen frem i tid og behov for tiltak?
- Har virksomheten hatt tilgang på tilstrekkelig kunnskap som grunnlag for kontinuitetsplanlegging? Hva har ev. manglet?
- I hvilken grad er virksomheten forberedt på å opprettholde sine kritiske leveranser av varer og tjenester dersom vi får en økning i smitte og gjeninnføring av strenge smitteverntiltak?
- I hvilken grad er virksomheten forberedt på å håndtere mulige samtidige hendelser?
>> Se også DSBs veileder for kontinuitetsplanlegging
Restriksjoner på fysiske møter og nettbasert kommunikasjon
- Hvordan har nettbasert kommunikasjon påvirket krisehåndteringen?
- Hvordan har virksomheten løst behovet for utstyr og ressurser til hjemmekontorløsning?
- I hvilken grad har informasjonssikkerheten blitt ivaretatt ved bruk av nettbasert kommunikasjon?
Det kan være nyttig å lage et aktørkart for å vise kommunikasjonslinjene og informasjonskanalene mellom aktørene. Kartet kan gjerne utarbeides med egen virksomhet i sentrum og vise linjer og kanaler ut til andre aktører, og mellom disse.
7. Oppsummering og oppfølging
Oppsummer læringspunkter og tiltak som har kommet fram gjennom evalueringen. Plasser ansvaret for oppfølging av tiltak på konkrete funksjoner og/eller seksjoner/avdelinger i virksomheten, gjerne med tidsfrister dersom det lar seg gjøre.
Det kan være tiltak der det er aktører utenfor virksomheten som har ansvaret for oppfølgingen, eller der ansvaret er delt. Beskriv dette tydelig, og lag en plan for oppfølging og dialog med de eksterne aktørene. Beskriv hvordan virksomheten planlegger å følge opp evalueringen.
Bruk for eksempel en tabell til å oppsummere læringspunkter og tiltak. Dette gir en god oversikt over det viktigste evalueringen har avdekket, og er nyttig for den videre oppfølgingen.
Evalueringen og oppfølgingen bør være en del av virksomhetsstyringen
For å sikre at evalueringen følges opp bør hele evalueringsprosessen ha en tydelig forankring i ledelsen og inngå som en del av virksomhetsstyringen.
Det bør utarbeides en tiltaksplan som det rapporteres på til ledelsen (statusrapporter). En måte å gjøre dette på er å arrangere et erfaringsseminar der de involverte i evalueringen sammen utarbeider en tiltaksplan som alle forplikter seg til å følge opp.