/
/
/

Socialstyrelsens granskning av standardiserade bedömningsmetoder

Socialstyrelsen granskar standardiserade bedömningsmetoder som används i socialt arbete för att identifiera och kommentera styrkor och svagheter hos metoden, i relation till dess dokumentation och tekniska kvaliteter.

Noggrann och relevant granskning

Syftet med att granska bedömningsmetoder är att identifiera och kommentera deras styrkor och svagheter i relation till dokumentation och tekniska kvaliteter. Målet med processen för granskning är att genomföra granskningarna noggrant och relevant för den särskilda bedömningsmetoden samt att granskningarna ska vara objektiva och fria från personliga intressen. 

Granskningsprocessen

1. Socialstyrelsen söker information om metoden

En granskning börjar med att Socialstyrelsen samlar relevant dokumentation. Det kan vara manual, rapporter och artiklar om metoden. Socialstyrelsen gör också sökningar i relevanta databaser efter vetenskapliga artiklar i vilka bedömningsmetoden testats. Artiklarna bedöms utifrån relevans, på samma sätt som för processen för systematiska kunskapsöversikter. Hur man tar fram systematiska kunskapsöversikter beskrivs på sidan Så sammanställer vi kunskap om insatsers effekter.

2. Granskare utses

Socialstyrelsen utser sedan två av varandra externa oberoende granskare för varje bedömningsmetod, varav minst en ska ha särskilt kunnande i psykometri. Proceduren genomförs på samma sätt som vid granskning av artiklar till vetenskapliga tidskrifter, så kallad peer-review-granskning.

De som granskar en bedömningsmetod får inte vara direkt involverade i arbete med den bedömningsmetod som är aktuell, med andra ord får de inte vara till exempel utvecklare, leverantörer eller konkurrenter. Däremot är det positivt om granskarna har kunskap om bedömningsmetoden och känner till dess bakgrund.

Granskarna måste uppfylla Socialstyrelsens krav på objektivitet, saklighet och opartiskhet vid hanteringen av utredningar och ärenden. Ett jävsavtal tecknas mellan granskaren och Socialstyrelsen, som intygar objektivitet och frånvaro av jäv för metoden som ska granskas. Under granskningen har granskarna kontakt med Socialstyrelsen, men inte med metodens företrädare eller med varandra.

3. Granskningen genomförs utifrån standardformulär och underlag

Granskarna har ett standardformulär till sitt förfogande som underlag för granskningen. Materialet som granskarna får som underlag inkluderar det som företrädaren och Socialstyrelsen bifogar. Det är oftast bedömningsinstrumentet (formuläret) med användarmanual, information om utbildning, vetenskaplig dokumentation, tekniska rapporter och liknande. Även om granskarna är fria att söka annan information bör granskningen vila på dokumentation som finns tillgänglig för användarna.

4. Granskarnas bedömningar kvalitetssäkras

När de två granskarna gått igenom och bedömt materialet sammanställer socialstyrelsen granskarnas bedömningar och gör ett första utkast till kvalitetsbedömning. Utkastet sänds till företrädaren för bedömningsmetoden för kommentarer. Det ger företrädaren möjlighet att rätta till misstag i granskningen. Tillägg och ändringar i utkastet görs av Socialstyrelsen efter förslag från granskarna, eventuellt konsulterade granskare och företrädare för metoden.

Vid granskning av bedömningsmetoder som Socialstyrelsen tagit fram säkerställs objektivitet, saklighet och opartiskhet genom att en oberoende person istället sammanställer granskarnas bedömningar.

5. Vad är det som granskas?

I granskningen av den standardiserade bedömningsmetoden är det framför allt två ansatser som är viktiga:

  • Beskrivning av syfte med och innehåll i metoden.
  • Kvaliteten på och informationen om vetenskaplig testning av bedömningsmetoden.

Dessa två ansatser bryts ned i detaljerade punkter och för varje avsnitt görs en värdering enligt en skala. Granskningarna grundas i första hand på den dokumentation som är tillgänglig för den normala användaren av instrumentet.  

6. Dokumentation

En bedömningsmetod är aldrig bättre än den dokumentation som finns om det. Det handlar om det som användaren har tillgång till i termer av teknisk information samt beskrivning och syfte.

Med kvaliteten på den tekniska informationen menas kvaliteten på den psykometriska informationen med tillhörande förklaringar. Beskrivning och syfte innebär hur klargörande manualer och annan dokumentation beskriver olika faktorer och tydlighet inom ett antal områden.

7. Värdering

Denna del handlar om granskarens värdering av instrumentet med summering av vad som visar styrkor och svagheter särskilt med tanke på användning i praktiken. För varje granskningsområde används en fyrgradig skala med efterföljande motiveringar och vid behov förslag till förbättringar.

Granskningsområdena är:

  1. Materialets utformning. Utformningen av informationsmaterialet, till exempel om informationen är väl strukturerat och sammanhållet.
  2. Beskrivning av metoden. Bedömningsmetodens detaljer. Namn, hemvist, kostnader och kompetenskrav hos användare samt administration och skalor. Om det krävs särskild yrkesutbildning eller utbildning i metoden, för vilka det är avsett, hur lätt eller komplicerat det är att använda för den professionella och klienten med mera. Underlag för bedömning är om det finns tillräcklig information för att bedömningsmetoden ska kunna administreras, för att bedömning ska kunna genomföras och för att resultaten i de enskilda fallen ska kunna tolkas på ett adekvat sätt.
  3. Tekniska/vetenskapliga kriterier.Värderingen av den tekniska delen innebär en sammanvägning av de statistiska beräkningar som genomförts och förklaringar med belägg för hur data ska tolkas statistiskt och i relation till enskilda fall. Bevis på adekvat nivå av reliabilitet med beskrivning av vad reliabiliteten innebär för tolkning av enskilda fall. Adekvata bevis för validitet med beskrivning av vad måtten för validitet betyder för tolkning av enskilda fall. Beroende på instrumentet och hur det ska användas är det i de flesta fall någon form av psykometriska mått som efterfrågas men även till exempel innehållsvaliditet. Validitet som accepteras anges och motiveras i granskningen. Det gäller även lämpliga normeringar (om instrumentet är normrelaterat).

Graderingar

Bedömning av materialets utformning 

0 = Bristfälligt strukturerat och sammanhållet, bristfälligt tryck.
1 = Bristfälligt strukturerat och sammanhållet, bra tryck.
2 = Väl strukturerat och sammanhållet, bristfälligt tryck.
3 = Väl strukturerat och sammanhållet med bra tryck.

Samlad värdering av beskrivning av metoden 

0 = Beskrivningen är inte möjlig att gradera då information saknas eller inte är tillräcklig.
1 = Beskrivningen bör omarbetas och klargöras.
2 = Beskrivningen bör kompletteras.
3 = Beskrivningen är bra.

Värderingar av tekniska/vetenskapliga kriterier

Värderingarna görs med tanke på förklaringarna till i vilket syfte metoden ska användas, hur metoden utvecklats/anpassats, vilka belägg det finns för att tolkningar av resultat är korrekta samt om det finns relevanta förklaringar till konsekvensen/följden av den enskildas resultat.

0 = Kriteriet är inte möjligt att gradera på grund av avsaknad eller otillräcklig information.
1 = Kriteriet bör omarbetas och klargöras.
2 = Kriteriet bör kompletteras.
3 = Förklaringen till kriteriet är god.