/
/

Frågor och svar om evidensbaserad praktik

  • Ämne: Evidensbaserad praktik

Innehåll


Vad innebär evidens?

Ordet evidens kommer från latinets evidentia som betyder tydlighet men som i detta sammanhang kan översättas med bevis om (eller vetenskapligt stöd för) insatsers effekter.

Vetenskapliga bevis om insatsers effekter är en viktig del av den evidensbaserade praktiken. Men evidens är inte ett absolut tillstånd utan det handlar om graden av tillförlitlighet, den bästa tillgängliga vetenskapliga kunskapen.

Utvärderingens utformning är viktig

Att människor förändras är inget säkert bevis för att en viss behandlingsinsats har haft effekt. För att kunna bedöma förändringen krävs utvärderingar som genom sin utformning kontrollerar vad som skulle ha hänt om insatsen inte hade inträffat. De viktigaste delarna av en sådan utvärdering är att det finns en jämförelsegrupp (som får en annan insats eller ingen insats alls) samt att de som deltar i utvärderingen undersöks både före och efter insatserna.

Randomiserad kontrollerad studie

Ett av de allvarligaste hoten mot utvärderingens resultat är att grupperna som undersöks är olika redan från början. Förändringar som sker över tid i respektive grupp kan då bero på de ursprungliga skillnaderna mellan grupperna – inte på skillnad i insatser. Det bästa sättet att kontrollera de ursprungliga skillnaderna mellan grupper är att använda en randomiserad utvärderingsdesign (randomiserad kontrollerad studie, RCT), det vill säga att låta slumpen avgöra vilka som får respektive insats. I teorin gör slumpen att de undersökta grupperna i genomsnitt blir lika varandra i allt utöver skillnaden i insats. Så länge det inte finns säker kunskap om vilken insats som är mest effektiv är det etiskt att använda randomisering.

Det är dock inte alltid som insatser går att undersöka med hjälp av ett randomiserat experiment. Det är då viktigt att utforma utvärderingen så att det finns minst en jämförelsegrupp.

Bortfall

Ett annat hot mot utvärderingars trovärdighet är olika omfattande bortfall i de grupper som undersöks, vilket kan leda till att undersökningsgrupper som från början varit i genomsnitt lika inte längre är det vid eftermätning.

Implementering

Ett tredje hot handlar om den insats som undersökts inte implementerats i hela sin omfattning. En sådan utvärdering riskerar att ”kasta ut barnet med badvattnet” eftersom insatsen inte ges en riktig chans att testas.

Vad är skillnaden mellan en kunskapsbaserad och en evidensbaserad praktik?

För evidensbaserad praktik finns en definition som de flesta är överens om. Kunskapsbaserad praktik däremot saknar tydlig definition.

Socialstyrelsen har valt att använda begreppet evidensbaserad praktik för att betona att det inte är all kunskap som ger tillräckligt säkert stöd (evidens) för att en insats är effektiv (se fråga Vad krävs för att en insats skall betraktas som evidensbaserad?) och att det inte bara är vetenskaplig kunskap som är betydelsefull i beslutsfattandet i det enskilda fallet (se fråga Vad är evidensbaserad praktik?).

Vad krävs för att en insats ska betraktas som evidensbaserad?

Ordet evidens kan i sammanhanget översättas med vetenskapligt stöd för insatsers effekter. Men evidens är inte ett absolut tillstånd utan handlar om graden av tillförlitlighet – den för tillfället bästa tillgängliga vetenskapliga kunskapen.

Validitet

Två faktorer är särskilt viktiga för att värdera tillförlitlighet: intern validitet, att förändringar beror på insatsen och inget annat, och extern validitet, att insatsen är effektiv i arbetet på vitt skilda håll.

Trovärdiga utvärderingar

En grov indelning av utvärderingars trovärdighet är i fallande skala:

  1. randomiserat kontrollerade utvärderingar
  2. icke-randomiserade utvärderingar med jämförelsegrupp
  3. för- och eftermätningar utan jämförelsegrupp
  4. sambandsstudier
  5. experters åsikter.

Vanligtvis anses endast de två första utvärderingstyperna producera kunskap som ger en tillräckligt säker beslutsgrund. De tre senare har visat sig ge en alltför osäker kunskap om insatsers effekter.

Viktigt att undvika felaktiga rekommendationer

En viktig utgångspunkt är att det är bättre att missa en effektiv behandling (så kallat Typ II-fel) än att betrakta en ineffektiv behandling som effektiv (så kallat Typ I-fel) Skälet är att en felaktig rekommendation kan leda till användning av metoder som inte är effektiva. Det är kostsamt på flera sätt att implementera nya insatser; det tar tid från klientarbetet och det förhindrar i realiteten implementering av nya (och mer effektiva) metoder under en period.

Räcker det att bevisa att en insats fungerar eller behöver man också bevisa varför?

Med rätt forskningsupplägg behöver man i princip inte visa varför en insats fungerar, endast att den faktiskt gör det. I en randomiserat kontrollerad studie (den säkraste utvärderingsformen) där försökspersonerna fördelas på undersökningsalternativen (insats respektive annan insats eller ingen insats alls) med lottens hjälp, kommer alla möjliga påverkansfaktorer på resultatet att i teorin fördelas lika i de undersökta grupperna. Den enda genomgående skillnad som finns mellan grupperna är då de olika insatser som försökspersonerna får. Det betyder att den skillnad i resultat som uppstår över tid mellan grupperna i huvudsak beror på skillnaden i insatser. Allt annat som också spelat roll för resultaten förekommer i lika stor utsträckning i grupperna och kan inte förklara skillnaden i resultat. Om det finns flera av varandra oberoende utvärderingar med olika forskare som visar samma resultat ökar trovärdigheten i slutsatsen om insatsens effekter.

Det finns de som menar att det inte är tillräckligt att veta att en insats fungerar utan att man också måste veta varför den fungerar. Dessvärre är det sällan möjligt eftersom en effektiv insats i allmänhet består av flera effektiva komponenter. För att kunna avgöra vilka komponenter i en insats som är effektiva krävs en utvärdering där komponenterna varieras systematiskt mellan olika undersökningsgrupper. Vill man exempelvis ta reda vilka komponenter som fungerar i en missbruksbehandling till ungdomar som består av stöd till föräldrar och stöd till ungdomen, kräver det en grupp där enbart föräldrarna får stöd, en annan grupp där enbart ungdomen får stöd och en tredje där både föräldrarna och ungdomen får stöd.

Ofta består en insats inte bara av två komponenter utan av flera, vilket snabbt ökar antalet grupper som behöver jämföras. De flesta förklaringar brukar därför stanna på en teoretisk nivå utan empiriska bevis. På senare år har man dock lyckats med att räkna ut olika faktorers relativa betydelse för hur en insats fungerar med hjälp av kvantitativa översikter (metaanalys).

Kan man använda både kvantitativa och kvalitativa forskningsmetoder i utvärderingsforskning?

Det är frågeställningen som avgör hur en studie genomförs. Kunskap om insatsers effekter förutsätter en kvantitativ utvärdering där den insats som utvärderas jämförs med ett alternativ (en annan specifik insats, traditionell behandling, väntelista, ingen insats) och där individerna undersöks både före och efter insatsen. Dessa jämförelser är nödvändiga för att kunna kontrollera för förändringar som människor normalt sett genomgår.

En vanlig missuppfattning är att man använder sig av olika datainsamlingsmetoder och information när man gör kvalitativa respektive kvantitativa studier, men så är inte fallet. Kvalitativ evidens får man exempelvis från intervjuer, observationer av människor, analys av dokument och fokusgruppsdiskussioner. Kvantitativ evidens får man från precis samma datakällor. Skillnaden ligger i hur data kan analyseras. Kvantitativa analyser bygger på data som går att mäta.

Att ställa olika typer av forskning mot varandra är olyckligt. Olika forskningstradi¬tioner stödjer varandra eftersom de besvarar olika frågor. Kvalitativa fallstudier kan exempelvis vara ett utmärkt sätt att identifiera relevanta frågeställningar som kan följas upp i studier av annan karaktär. Experimentella undersökningar med många deltagare kan vara mycket kostsamma. Det kan därför vara klokt att göra en studie av ett större antal individer vid ett enda tillfälle (så kallad tvärsnittstudie). Detta kan fungera som ett test av om de samband som fallstudien identifierat också existerar bland en större grupp människor. Om sambanden är starka kan det finnas anledning att gå vidare och undersöka dessa i experimentella studier där troliga orsakssamband kan prövas.

Vad betyder det att en metod är skadlig?

En evidensbaserade praktik har sin grund i etiska ställningstaganden – att det är oetiskt att intervenera i människors liv om det inte finns ett stöd för att insatserna åtminstone inte är skadliga. Socialtjänstens brukare omfattar några av de svagaste grupperna i samhället, och socialtjänstens insatser utgör några av de mest ingripande insatser som samhället förfogar över. Socialtjänstens brukare är dessutom starkt beroende av insatserna på kort, men ofta även lång sikt. Därför är det ett etiskt krav att de insatser som används, så långt som möjligt har testats vetenskapligt och befunnits i varje fall inte vara skadliga. Det räcker inte att enskilda socionomer eller professionen i sin helhet tror att en viss insats är bra.

När empiriska studier visar att en åtgärd är mer effektiv än en annan innebär det inte att den fungerar för alla. Det är den genomsnittliga effekten för gruppen som ligger till grund för slutsatserna. Det är därför viktigt att det finns vetenskapliga belägg för att insatsen inte kan orsaka skada.

Det kan tyckas som att skadliga insatser är ovanliga, men det finns exempel på motsatsen. Två olika metaanalyser av insatser för antisociala ungdomar visade att 29 procent hade skadliga effekter i det ena fallet och 11 procent i det andra. En översikt av psykosociala insatser mot missbruk visar att mellan 7 och 15 procent av deltagarna hade en sämre situation efter behandlingen jämfört med före. Andra exempel på insatser som visat sig öka klienters problem är attachment terapi för olydiga barn (dödsfall), det drogförebyggande skolprogramet DARE/Våga (ökad alkoholkonsumtion) och scared straight för unga kriminella (ökad kriminalitet).

Det räcker således inte med vällovliga teorier, goda avsikter, hårt arbete och enighet om att en viss insats är effektiv. Inte heller räcker det med att klienter tycker en insats är bra. Exemplen åskådliggör också faran med devisen ”Det alltid är bättre att göra något än att inte något alls!” Den viktigaste uppgiften för en evidensbaserad praktik är att försäkra sig om att behandlingarna åtminstone inte skadar.

Hur många behöver bli hjälpta (till exempel familjer med barn med beteendeproblem) för att det ska betraktas som en god metod?

Det är en viktig etisk princip att samhälleliga insatser ska hjälpa samtidigt som de inte får skada. En evidensbaserad insats innebär per definition att insatsen i genomsnitt har positiva effekter. Detta är emellertid ingen garanti för att insatsen hjälper alla.

Det finns inte något exakt svar på hur många som ska bli hjälpta för att en insats ska anses vara tillräckligt bra. En insats som endast har svaga behandlingseffekter är fortfarande etiskt motiverad om alternativen innebär sämre resultat. En insats med svagare effekt kan också vara motiverad om den är billigare än andra alternativ och därmed möjliggör att flera kan få hjälp.

När två insatser jämförs är effekterna i allmänhet begränsade. Generellt brukar man tala om att en skillnad på 10 procent betraktas som liten effekt, 25 procent som medelstor och 40 procent som stor effekt. Om 60 procent fortsätter att ha problem i en behandlingsgrupp och 35 procent i en annan kan effekten beskrivas som medelstor (60-35=25). Normalt sett är effekten av en insats större när den jämförs med en grupp som inte fått någon insats alls, än när den jämförs med en grupp som fått en annan insats.

Spelar någon roll – är det inte relationen mellan klient och socialarbetare som avgör hur det går?

Båda sakerna är viktiga. I allt mänskligt samspel har relationer betydelse. Relationen mellan den professionelle och klienten är viktig. Hur klienten upplever att behandlaren förstår honom eller henne, hur väl behandlaren kan förklara ett budskap och motivera till förändring har stor betydelse. Likaså är kunskapen om hur man på bästa sätt hjälper klienten – det som inom olika professioner kallas metod, insats, behandling respektive intervention – viktig.

Ett exempel på att insatsen spelar roll märks i socialtjänstens arbete med att förebygga att unga lagöverträdare återfaller i brott. De behandlingsinriktningar som mest konsekvent har en positiv effekt är dels familjebaserade insatser som fokuserar på att förbättra vårdnadshavares föräldrakompetenser, dels insatser med kognitiv-beteendeterapeutisk inriktning som syftar till att förändra ungdomars sätt att tänka, känna och handla.

Äventyrsprogram (Wilderness programs) har svagare effekter, medan insatser som innebär att de unga deltar i lägerverksamhet med militär disciplin, exercis, ceremonier och ett fysiskt ansträngande arbete (Boot Camp) saknar effekt.

Insatser som försöker skrämma ungdomar till laglydnad genom studiebesök på exempelvis fängelser (Scared straight) ökar ungas kriminalitet. Det är alltså inte godtyckligt vilken metod som väljs. Professionella kan i värsta fall göra ont värre, trots goda resurser och ett gott uppsåt.

På 1970-talet genomfördes ett fullskaleförsök i svenska förskolor med den så kallade Dialogpedagogiken. Hypotesen var att dialogen mellan vuxna och barn i förskolan var avgörande för barnens utveckling. Detta ledde till att metodkunskap nedprioriterades till förmån för förskolepersonalens personlighetsutveckling så att de senare skulle kunna möta barnen i en jämlik dialog (snarare än att vuxna uppfostrade barn). Dialogpedagogiken ledde till stora problem i förskolorna och efter några år återinfördes metodkunskap på förskollärarutbildningarna och metoder i förskolorna.

 

Kontakt

Ulrika Bergström
075-247 42 28