Utfordringer ved kvalitativ forskning som beslutningsgrunnlag

Forskningsbasert er blitt et nytt trendord. I tråd med økt informasjonstilgang har kvaliteten på informasjon blitt viktigere, og ulike interessenter kappes om å være mest forskningsbasert. Dette er vel og bra, men vi skal være varsomme med å kjøpe argumenter selv om de har forankring i forskning, og særlig noen former for forskning.

NB: Alle eksempler i dette innlegget er fiktive, og er kun ment for å illustrere teoretiske poeng. De har ikke rot i virkeligheten.

Kvalitativ og kvantitativ forskning

Forskning kan i hovedsak deles inn i to typer: kvantitativ og kvalitativ.

Kvantitativ metode kjennetegnes ved at alle resultater tallfestes, slik at man senere kan regne på resultatene og finne trender.

Kvalitativ analyse skiller seg fra kvantitativ analyse, ved å undersøke én eller få observasjoner i dybden og ved å samle inn data som beskrives i tekstform.

I tillegg til dette finnes det mange måter å blande de to variantene, men det ser vi bort fra i denne artikkelen da de bare gjør poenget mindre tydelig.

Utvalg

Når man foretar en studie vil man av praktiske årsaker som regel foreta et utvalg, altså å undersøke noen eksempler for å finne trender som skal gjelde for mange flere (populasjonen) enn de tilfellene man har undersøkt.

Eksempel: Vi finner at norske bedrifter (populasjonen) i snitt har økt omsetningen med 5% de forrige 5 årene. Resultatet er basert på en undersøkelse blant 100 norske bedrifter (utvalg).

Antagelsen om at et utvalg representerer flere gir en opplagt feilkilde dersom man skal omtale hele populasjonen. Det viser seg likevel at man ved å ha nok eksempler kan få et resultat som er tilnærmet representativt for hele populasjonen man ønsket å studere.

Eksempel: Hvis vi økte antallet bedrifter vi sjekker i eksempelet over fra 100 til 500 finner vi at omsetningen i gjennomsnitt har økt med 4,9%.

Når vi så vet at man ved å sjekke tallene for alle bedrifter ser at det objektivt rette svaret er 4,8% ser vi at man ved å øke utvalget fra 100 til 500 bedrifter får et resultat som er nærmere det korrekte resultatet. Dette er ikke overraskende siden vi har undersøkt flere bedrifter og derfor øker sjansen for å få riktig gjennomsnittlig resultat. Det er langt fra alltid man har mulighet til å kontrollsjekke resultater mot en objektiv kilde (staten har omsetningstall for norske bedrifter), og da blir det straks mer usikkerhet rundt svarene.

Leter man etter resultater som kan bekreftes eller ei?

Eksempelet over er relativt enkelt ettersom man i prinsippet kan finne et sikkert svar ved å undersøke alle bedriftene. Dersom man lar utvalget være likt populasjonen vil man få at omsetningen i gjennomsnitt økte med 4,8%. Mange studier vil dog være av en annen art, der man ser etter trender som ikke kan verifiseres ved å ha et stort utvalg.

Eksempel: Vi vil undersøke hva gjennomsnitlig omsetning det kommende året blir for norske bedrifter.

I dette tilfellet har vi ikke en fasit (i alle fall ikke før om et år). Sannsynligheten for at svaret blir riktig kan vi regne med at fortsatt blir bedre ved å undersøke mange bedrifter, men det er en vesentlig feilkilde hva gjelder generelle konjunkturer, forskningsdesign osv.

Usikkerhet med tanke på utvalg og feilkilder må vi leve med, men i kvantitative undersøkelser er det som regel relativt greit for utenforstående å forholde seg til dem, og man kan greit kritisere datasett dersom man ikke mener disse er troverdige.

Eksempel på dårlig datasett: Vi brukte norske oljebedrifter som utvalg av norske bedrifter.

I dette eksempelet er det raskt gjort å se at resultatet sannsynligvis ikke kan være rett da oljebedrifter ikke er representative for norske bedrifter, selv om de står for en veldig stor del av norske næringsliv.

Alle eksempelene over er av kvantitativ art, men hva som med kvalitative studier?

Utfordringer med kvalitiative studier

Små utvalg som følge av metode

En av de viktige utfordringene med kvantitative studier var som nevnt at et for lite utvalg med stor sannsynlighet vil gi skjeve svar. Kvalitative studier er metodologisk krevende, og det er som regel vanskelig å få store utvalg. Du kan selv tenke deg hvordan det ville vært om man skulle ha dybdeintervju med et representativt utvalg av norske bedriftsledere, det ville blitt enormt kostbart. Som konsekvens ser man gjerne bort fra deler av denne problemstillingen i kvalitiative studier, og nøyer seg med å si at et lite utvalg er en “metodologisk utfordring”.

Selv om dette er greit nok for fagfolk som kjenner metodene og som skal bruke studiene er det problematisk når utenforstående bruker konklusjonene.

Eksempel: Vi finner at norske bedrifter tror omsetningen det kommende året vil gå ned 2% det kommende året, undersøkelsen er basert på dybdeintervju av 5 bedriftsledere på Vestlandet.

Dette er opplagt svært problematisk. Selv om dybdeintervjuene nok kan ha gitt et greit anslag for de 5 bedriftene så er det på ingen måte sannsynlig at resultatet har overføringsverdi til hele sektoren, og enda mindre hele næringslivet.

Selv har jeg utført en studie hvor jeg kom opp i denne problematikken. På grunn av tidsnød fikk jeg ikke gjennomført alle intervjuene som var ønskelig, og endte opp med å ha intervjuet to personer som trolig var noenlunde enige, mens jeg ikke fikk intervjuet motparten (målet var 2 for og 2 mot). Studien problematiserte dette, men det er vanskeligere for lesere å justere resultatene i henhold til slike problemer i en kvalitativ studie enn i en kvantitativ undersøkelse. Hvem vet hva resultatet ville vært med de to ekstra intervjuene. Det er fort gjort å anta at de er steile forkjempere for sin sak, men kanskje ville de gitt balanserte svar. Vi får aldri vite det, og med så få eksemper blir selv en enkelt feilkilde avgjørende for konklusjonen.

Små utvalg som følge av små populasjoner

En annen viktig utfordring er problemet med små populasjoner, og korte tidsserier. I mange tilfeller er det vanskelig å i det hele tatt få store nok populasjoner og tidsserier til at forskning blir noe annet enn kvalifisert synsing.

Eksempel A (liten populasjon): I Bergen finnes to ballongbutikker og man ser at ingen av disse selger mange avlange ballonger. Konklusjonen er at det ikke er et marked for avlange ballonger i Bergen.

Når et forskningsprosjekt kun har en total populasjon på 2 bedrifter er det nesten ikke mulig å trekke konklusjoner, i alle fall ikke uten å kjenne veldig godt til bedriftene, og jobbe med lange tidsserier. Kanskje har ingen av de to butikkene god markedsføring, kanskje har de ikke valgt gode leverandører? Korrigerer man for alle slike muligheter med så små populasjoner ender man med så stor usikkerhet at hele undersøkelsen i beste fall er tvilsom, i værste fall helt ubrukelig.

Eksempel B (tidsserie): Nav gjennomførte en reform i 2012, og resultatene i 2014 er nedslående. Konklusjonen er at reformen er misslykket.

Dette er med stor sannsynlighet urimelig ettersom man har en svært kort tidsperiode som grunnlag. Det kan være rett, men dette er avvik som først er relevante når tidsserien blir stor nok.

Eksempel: Nav gjennomførte i 1990 en reform, og ved å studere resultatene (ikke bare de økonomiske resultatene) fra NAV i 24 år har man funnet at reformen var misslykket.

Her er det altså den totale resultatsvikten over en svært lang periode man ser på, og det virker langt rimeligere å kunne støtte konklusjonen.

Dette er problematikk vi ser særlig klart når vi leser om reformer og fusjoner i media. Det går gjerne 1-2år før media og opposisjonspolitikere er ute å kategoriserer tiltaket som misslykket dersom det ikke har hatt umiddelbar suksess.

Kvalitative studier kan ikke bøte på problemene med små populasjoner, man må bare som leser være klar over dem, og se hvor liten vekt de gjerne bør tillegges.

Eksempel: Jeg intervjuer to direktører om deres syn på arbeidsplass A.

Her er utvalget så lite at dine egne betraktninger gjerne er like gode som dem jeg gjør meg i min “forskning”. Intervjuene kan gjerne være gode, og det er ikke fånyttes å lese dem, men det blir bare tull å bruke en slik studie til å underbygge en mediesak med noe ala “forskning viser at arbeidsplass A har et utmerket arbeidsmiljø”. Man burde gjerne nøye seg med “Jeg tror arbeidsplass A har et utmerket arbeidsmljø”, og bruke momenter fra intervjuene i eget resonnement.

Og her er kjernen, kvalitativ forskning vil ofte bære preg av synsing. La det være klart at synsing er viktig, men det skal mye til før kvalitative studier får en slik troverdighet at de kan brukes til å falsifisere eller utelukke andre resultat. Som regel bør det brukes som tankeføde til å danne egne meninger.

Den gylne regel

Den gyldne regel er å alltid huske på at forskning er sannsynligheter. Alle forskningsresultater er altså mer eller mindre gode beskrivelser av virkeligheten, også kvalitative resultater. Tenk da nøye gjennom hvor stor sannsynlighet du tror det er for at en (kvalitativ) studie faktisk viser et objektivt riktig resultat. Å påberope seg at et standpunkt er forskningsbasert er et kraftig virkemiddel, og et virkemiddel man bør spare til de situasjoner hvor man er trygg på at svaret sannsynligvis er riktig.

Notis: Dette notatet ble til etter å ha blitt presentert NIFU-step sin rapport om hvilke betydning ulike styringsmodeller har for høyere utdanning. Rapporten er langt på vei basert på intervjuer med ledelsen på noen få institusjoner (små utvalg som følge av metode), og hele premisset har kun vært tilgjengelig i relativt få år (lite utvalg som følge av liten populasjon).

Det kommer neppe som noen overraskelse at jeg er skeptisk til verdien av en slik undersøkelse.

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s