226 Michael 2 / 2 0 0 9 Michael 2009;6:226–9.
Pawson R. Evidence-based Policy: A realist perspective.London: Sage Publications, 2006. XI, 196 s.,ill. ISBN 1-4129-1060-9. Pris: USD 43,65(Amazon)
«How does “evidence” speak to “power”? What do you get if you cross “research” with “realpolitik”? Where lies the ground between the “ivory tower”and “corridors of power”? What hope is there for nuptials between “knowing” and “doing”? The answer to all these questions has coalesced in a new millenium big idea called “evidence-based policy”» (Pawson, 2006, s1)
Foran meg på kontorpulten ligger et par artikler fra BMJ, noen fra Journal of Epidemiology and Community Health og en Cochrane review om«Population-based interventions for the prevention of fall-related injuries in older people». I bokhylla på mitt folkehelserådgiverkontor står det mange handlingsplaner, strategiplaner og utredninger fra departement og direktorat. På nettet vet jeg veien til vellykkede sentrale satsinger som Helsebiblioteket, men også til mindre vellykkede som«Kommunehelseprofilene».
På pulten har jeg også boka Evidence-based Policy: A Realist Perspectiveav Ray Pawson, publisert i 2006.
Ray Pawson foreleser i «Social Research Methodology» ved University of Leeds. Han har i en rekke år både skrevet om og bedrevet evaluering. Først i boka gir han i korte trekk rede for behovet for og utfordringene ved systematiske oversikter. Videre tar et kort kapittel for seg den realistiske metodologien. Dette danner utgangspunkt for den senere kritiske analysen av den tradisjonelle meta-analyse for blant annet å studere effekten av tiltakog ikke minst for bokens viktigste del, som er en grundig gjennomgang av et alternativ til denne. Tre kapitler er viet til å vise hvordan man kan bruke et slikt alternativ i praksis. Blant eksemplene er en svært illustrerende og tankevekkende review av den amerikanske Megan’s Law. Det er en lov som krever at hver stat skal informere innbyggerne i lokalsamfunnet hvis enfarlig seksualforbryter flytter dit. Hvordan skal man evaluere effekten av det?
I de fleste handlingsplaner og policydokumenter som jeg har lest, står det velvalgte ord som «folkehelsearbeidet må bli kunnskapsbasert» og «det forebyggende arbeidet må i fremtiden bygge på tiltak som har dokumentert effekt». Da jeg for ti år siden startet å arbeide i den sentrale helseforvaltningen, hadde mange tro på en politikk og en praksis som var tuftet på «kunnskapsoppsummering» av effektstudier. Det smittet over. Det var en stund jeg trodde at man ikke kunne anbefale kommuner å strø fortauene om vinteren fordi det manglet en kunnskapsoppsummering om den fallforebyggende effekt av tiltaket – med «end point» behandlede brudd.
Når Nasjonalt kunnskapssenter for helsetjenesten skriver om seg selv og sin arbeidsform, ordlegger de seg slik: «Kunnskapsbasert medisin (fra engelskevidence based medicine – EBM) er et sentralt begrep innen klinisk medisin, først og fremst for ulike behandlingstiltak, hvor systematiske oversikter over relevante og pålitelige effektstudier er en gullstandard for å avgjøre om tiltaket virker. […] Arbeidsformen er bredt akseptert og benyttet internasjonalt for å fremskaffe den best mulige faglige dokumentasjon som grunnlag for beslutninger om tiltak i helsevesenet. Denne arbeidsformen utgjør også basis for store deler av Nasjonalt kunnskapssenter for helsetjenesten […] All forskning er ikke like pålitelig, og det er ofte vanskelig å vite om tiltak virker eller om balansen mellom nytte og skade er riktig. For å sikre pålitelighet og relevans, stilles det kvalitetskrav til hvilke studier som inkluderes i slike systematiske kunnskapsoppsummeringer. Derfor vil mange studier også bli utelatt»
«Et sentralt begrep innen klinisk medisin», heter det altså. Et sentralt poeng i boka Evidence-based Policy – A Realist Perspective er at bruken av begrepet, arbeidsformen og gullstandarden ikke begrenser seg til klinisk medisin, men tar med seg den virkelighetsforståelsen og vitenskapsteorien som der ligger til grunn, ut i f.eks. folkehelsevirkeligheten. Eller sagt med Kunnskapssenterets egne ord: «Etter vår vurdering er det faktisk særlig viktig at beslutninger om tiltak på folkehelseområdet understøttes av systematiske oversikter som inkluderer forskning utført med gode metoder, og utelater potensiell misvisende forskning.»
Jeg har selv etter hvert fått begrenset tro på oppsummereringene av hvilke folkehelsetiltak som virker. Spesielt har jeg i liten grad funnet oppsummeringer som har betydning for de av oss som nå befinner seg ute i praksisfeltet. Det jeg har lest har virket tynt. Effekten av tiltaket kommer ofte med to streker under, men antall studier som har vært inkludert har gjerne vært få på grunn av «metodologiske svakheter» og en god beskrivelse av tiltaket/intervensjonen finnes mange ganger ikke. Kan det være fordi kunnskapsoppsummerne bruker feil metode for utvelgelse av studier? Kan det være de prøver å «gjøre likt» det som ikke er det, ved å bruke samlebetegnelser som f. eks. «fallforebyggendetiltak» eller «lokalbaserte tiltak for reduksjon av fedme» og derved dekker over forskjeller som finnes i selve utførelsen av tiltaket/intervensjonene? Kan det hende selve metoden kunnskapsoppsummering er lite egnet i store deler av praktisk folkehelsearbeid?
«The typical product is in fact meta-equivocation. Alternatively, so much is winnowed away that meta-analysis is left with only a few studies that pass methodological muster. In this case, it may produce a result with magnitude and an ostensible degree of certitude, but the chances are that it is artifical and misleading» (Pawson, 2006, s 43).
Boka støtter denne tvilen og er i den første delen en realismekritikk av den kunnskapsbaserte tradisjonen a la Cochrane og Campbell. I tillegg til å være en kritikk, beskriver boka altså et alternativ som tar konsekvensene av at tiltakene som har blitt evaluert i seg selv er komplekse systemer som settes i verk i samfunnet – et samfunn som er et åpent, komplekst system som ikke kan reduseres til et lukket system.
Boka, kritikken og alternativet til den tradisjonelle forskningssyntese baserer seg altså på en annen metodologi. Realisme er en metodologisk retning som har sitt grunnlag i vitenskapsfilosofi og samfunnsvitenskap. Som de fleste slike retninger er det sammensatt og komplisert å trenge inn i, men Pawson gjør det enklere for leseren ved å skrive lett og pedagogisk, med anekdoter og eksempler fra egen forskning og evalueringsarbeid som gjør boka til en fornøyelse å lese.
Realismen er basert på en «generative model of causation» som søker å avdekke de underliggende kausale mekanismerne i objektet eller strukturen som undersøkes. I tillegg til mekanismeforståelsen er vektleggingen av det kontekstuelle viktig for forståelsen av metoden. Dette knytter seg både til selve utførelsen av intervensjonen og til det stedet der intervensjonen skjer.
Pawson beskriver intervensjoner som teorier om hvordan få til forandring i samfunnet på et område, endre atferd etc. Lengden på intervensjonskjeden og variasjonene fra sted til sted vil bli mange, men variasjon sees ikke på som et problem som skal reduseres eller kontrolleres for. Variasjonen i studieform, intervensjon og sted er ofte grunnlaget for å innhente mange typer informasjon.
Denne samfunnsfaglig baserte og teorisøkende retningen ekskluderer ikke studier ut fra et forhåndsbestemt hierarki av studiedesign. I stedet forå basere syntesen på å «stable mange like studier oppå hverandre», henter en realistisk syntese inn resultater fra en lang rekke ulike typer studier oginformasjonskilder. Målet er ikke å få to streker under et regnestykke eller en kulepunktliste over «best buys», men få en god beskrivelse av hvordan intervensjonen er tenkt å virke, hvordan den har virket eller ikke virket og hva som kan læres av dette når nye intervensjoner skal utformes og utføres.
«Evaluative research only really begins if it tackles the question of “what works for whom in what circumstances”?» (Pawson 2006 s 25).
Mange kunne ha nytte og glede av å lese denne boka, men særlig stor nytte ville det hatt hvis bestillere av synteser i departement og direktorat hadde brukt tid på å lese den. På sikt ville det kunnet gi oss oppsummeringer som hadde hatt noe større verdi for sluttbrukerne. Men det ville kreve en grundigere vitenskapsfilosofisk gjennomgang av basis for det kunnskapsbaserte.
Og siden en slik syntese ville være et sant tverrfaglig arbeid, ville dette kanskje være en jobb for de «gamle» kunnskapssentrene – universiteter og høyskoler?
Bent Olav Olsen
samfunnsgeograf
folkehelsekoordinator i Fredrikstad kommune
tribento@gmail.com
2 kommentarer:
Her var det mye å være enig i. En ting som slår meg, er at problemet med oppsummeringene bunner i at det de oppsummerer ofte er svært forskjellig beskrevet, målt og utført. Man kunne kanskje ønske seg en mer standardisert kunnskapsproduksjon for å løse problemet, men slik standardisering liker ikke den frie forsker. Og det ville nok gå på bekostning av kreativiteten. Vanskelig avveining uten klare svar.
standardiseringen er nok ikke veien å gå. tvert i mot. hverken i tiltak, forskning eller kunnskapsopsummering
Legg inn en kommentar