Temadrøftelse om evalueringer i Sundheds- og Omsorgsforvaltningen

Problemstilling

Sundheds- og Omsorgsudvalget har på udvalgsmødet den 17. august 2017 bedt forvaltningen om at udarbejde et oplæg til temadrøftelse om Sundheds- og Omsorgsforvaltningens evalueringer.

2. Principper for effektmåling og effektevaluering

Effektmålingsstudierne har til formål at give en viden om, hvorvidt der rent faktisk kommer de tilsigtede effekter ud af den indsats, der gennemføres. Effektmålinger gør det muligt at sammenholde effekterne af forskellige indsatser, så der fremkommer et mønster af, hvorvidt bestemte indsatstyper er mere hensigtsmæssige at anvende end andre. I en politisk sammenhæng er det således effektmåling med henblik på prioritering og ressourceallokering.

Forvaltningen baserer grundlæggende sin tilgang til effektmåling og effektevaluering på et teoretisk grundlag, men altid med øje for hensigtsmæssigheden i de enkelte konkrete tiltag. Overordnet er effekttilgangen inspireret af resultatbaseret styring, som blandt andet handler om, at de rette, handlingsorienterede data leveres real-time til rette medarbejdere og ledere på rette tidspunkt. Det vil sige, at effektmåling ikke kun skal bidrage til den politiske prioritering, men også understøtte det daglige arbejde ved at monitorere borgerens udvikling.

Der er i dansk kontekst stor politisk fokus på effektmåling og der er evidens for, at indikatormonitorering fører til højere kvalitet, når bestemte forudsætninger er til stede.
Anden forskning viser, at anvendelsen af effektmålingsredskaber i daglig klinisk praksis forbedrer kommunikationen mellem borger og behandler, forbedrer diagnosticeringen og opmærksomheden på problemer.

Forvaltningen arbejder således ud fra den tilgang til effektmåling og effektevaluering, at den viden som skabes, først og fremmest skal omsættes til læring og styring af indsatserne. Dette hviler på en række principper:

• Effektmåling skal kunne anvendes til politisk styring, idet viden om effekt dels skal dokumentere, at vi skaber værdi for borgerne, dels kan danne grundlag for at foretage politiske prioriteringer.

• Effektmåling skal kunne anvendes på forvaltningsniveau, således at det er muligt at sige noget om effekterne af forvaltningens indsats såvel på kort som på langt sigt.

• Effektmåling skal kunne bruges på medarbejderniveau som dagligt arbejdsredskab, hvor medarbejderen kan følge den enkelte borger.

• Effektmåling skal medvirke til at anskueliggøre fremgang for borgeren og give borgeren mulighed for indsigt i egne data og opnåede effekter.

• Effektmålene skal afspejle, at forvaltningens opgave er at forebygge og rehabilitere, yde pleje og omsorg mv. således at borgerne i så høj grad som muligt selv kan klare hverdagen. Sundheds- og Omsorgsforvaltningen har et bredere borgerperspektiv end det regionale sundhedsvæsen, hvor man opererer med patienter, der skal behandles og blive raske.

• Effektmåling skal bygge på anerkendte og validerede metoder og redskaber.

3. Effektmåling fra borgerperspektivet

Set fra borgerperspektiv kan effektarbejdet inddeles i tre områder:

A) Borgere, der modtager varige ydelser
På pleje- og omsorgsområderne har indsatsen en karakter, som gør det vanskeligt at anvende et almindeligt effekt-setup, som baserer sig på en relativ lineær forståelse af positiv udvikling hos borgerne efter en tidsafgrænset indsats. I stedet undersøger vi borgernes oplevelse af kvaliteten af den pleje og omsorg, de modtager, og de temaer, som er vigtige i Ældrepolitikken. Den borgeroplevede kvalitet måles gennem de årlige tilfredshedsundersøgelser, ’BRUS’. Her er der løbende gennem de seneste par år sket en indholdsmæssig justering af de spørgeskemaer, som anvendes i brugerundersøgelserne. Fokus er således ændret fra kun at omhandle brugertilfredshed til i højere grad at omhandle borgeroplevet effekt af indsatserne med henblik på at kunne effektmåle i relation til implementering af Ældrepolitikken.

B) Borgere, der modtager et tidsafgrænset forløb
De tidsafgrænsede forløb omfatter genoptræningsforløb, forebyggelsesindsatser og rehabilitering. På dette område har forvaltningen arbejdet med systematisk effektmåling de seneste 4 år. Med systematisk effektmåling forstås et setup, hvor borgere besvarer samme batteri af spørgsmål ved start og afslutning af deres forløb. Data registreres i Suiten/Cura og stilles til rådighed for både medarbejdere og ledere, enten i SUF’s elektroniske ledelsesinformationssystem, hvor den enkelte leder kan tilgå tidstro data for egen driftsenhed, eller i andre former for ledelsesinformation.

De spørgebatterier, der udvælges, er validerede og er ofte PRO-skemaer, det vil sige borgerrapporterede effektmål (patient reported outcomes). Dermed gives borgernes oplevelse en forrang frem for eksempelvis medicinske mål for effekt.

Den effekt, der måles på disse forløb, er den, som borgerne umiddelbart har opnået – at de har genoptrænet knæet og kan løbe igen og gå på arbejde; at de er holdt op med at ryge eller bedre kan mestre deres kroniske sygdom; eller at de selv kan klare at gå i bad igen. Og i naturlig forlængelse heraf har behov for mindre hjælp fra det offentlige, eksempelvis hjemmepleje, færre indlæggelser etc.

Især på forebyggelsesområdet kan mange af effekterne vise sig på langvarig sigt og kan være svære at tilskrive den kommunale forebyggelsesindsats. Dette kan kun vanskeligt håndteres i det nuværende effekt-setup.

Case: Effektmåling af genoptræningsforløb

De ca. 14.000 borgere, der årligt modtager et genoptræningsforløb på et af kommunens træningscentre, skal ved deres startsamtale besvare PSFS (personspecifik funktionel skala), som består af, at borgeren skal nævne 3-5 aktiviteter, som er vigtige for dem, men som de ikke er i stand til at udføre på grund af den skade eller funktionsnedsættelse, der har bragt dem til træningscentret. Hver af aktiviteterne skal de derefter score på en skala fra 0-10. Dette gentager sig ved afslutningssamtalen. For hver borger udregnes derefter en score og en beregning af, om borger har opnået en fremgang.

Figuren viser fordelingen af effekt blandt de borgere, der har afsluttet et forløb i 2017. Tre ud af fire oplever en positiv klinisk relevant fremgang og 1 ud af fire har en uforandret situation i forhold til at varetage de ønskede aktiviteter. Kun ganske få (1 %) oplever en tilbagegang.

Forvaltningen har valgt PSFS ud fra de ovennævnte principper, nemlig at redskabet skal kunne anvendes af medarbejderne i samtalen med borgerne og være med til at sætte retning for borgernes forløb.

Efter at PSFS har været anvendt på alle træningsområder de seneste to år er status nu, at 79 % af alle borgere besvarer PSFS ved start og 41 % af alle borgere svarer ved afslutningen. Erfaringen fra træningscentrene - nu sundhedshusene - er at PSFS bidrager til, at det, der er vigtig for borgerne, kommer i fokus og at den konkrete målsætning for genoptræningsforløbet bliver lettere at formulere.

C) Borgere, der indgår i projekter og andre udviklingstiltag
Udover ovennævnte evalueringer af varige ydelser og tidsafgrænsede forløb til borgere, gennemfører forvaltningen også evalueringer af projekter, udviklingstiltag og nye indsatser.

I de fleste – og især i de strategisk vigtige evalueringer – er ambitionen at undersøge effekten gennem flere datakilder, både kvalitative og kvantitative – eksempelvis data fra KOS/Cura, Brugerundersøgelserne og spørgeskemaundersøgelser. Effektdesignet varierer, afhængig af evalueringens genstandsfelt, og hvad der er muligt at indsamle af data. Vi anvender før-efter data, kohorter og kontrolgrupper.

I nedenstående figur ses oversigt over de hyppigst anvendte datakilder samt de resultat- og effektmål, de bruges til at afdække.

I nedenstående tabel ses de udarbejdede og afsluttede evalueringer 2016-17.

Case: Evaluering af udrednings- og rehabiliteringsforløb

Evalueringen af udrednings- og rehabiliteringsindsatsen er et eksempel på evaluering af en ny indsats, hvor vi med et før-efter design og triangulering af data lavede en effektevaluering af modelprojekterne.

I denne indsats anvendes både PSFS og borgers behov for hjælp ved start og slut som et tydeligt udtryk for den opnåede effekt. Der måles således både på den borgeroplevede effekt og på omfanget af de ydelser, som borgeren modtager før og efter indsatsen.  Medarbejdere og ledere har adgang til real-time aktivitets- og effektdata således, at de fortsat kan udvikle og styre indsatsen, både på borgerniveau i det daglige arbejde i driften og på aggregeret niveau til overordnede beslutninger om nye tiltag.

4. Perspektivering

Forvaltningens arbejde har således resulteret i, at der i relation til især sundhed, genoptræning og rehabilitering arbejdes med systematisk indsamling og anvendelse af effektmålinger. Og at der i relation til nye projekter og andre udviklingstiltag gennemføres systematisk vurdering af indsatsernes effekt.

Der eksisterer dog stadig et potentiale for videreudvikling af effektmåling, herunder:

• Udbredelse til flere områder: SUF arbejder mod at udbrede brug af effektmåling til alle ydelsesområder, hvor det kan bidrage til at løfte den faglige og borgeroplevede kvalitet. Først og fremmest inden for tidsafgrænsede forløb og i forbindelse med projekter og udviklingsindsatser.

• Anvendelse: SUF arbejder mod at etablere endnu bedre kultur og forståelse for, hvordan effektdata kan anvendes på forvaltningens enheder og projekter. Både i forbindelse med ledelse og styring af enheder og i forhold til politisk og strategisk prioritering.

• Behov for bedre data: Der arbejdes systematisk med at indsamle tilstrækkeligt gode effektdata eller data til at måle kvaliteten af en given indsats. I den systematiske effektmåling løftes svarprocenterne ved at udvikle en effektforståelse og datakultur såvel som at mindske frafaldet til både start- og slutsamtaler.

• Behov for bedre måleredskaber: Der er fokus på udvikling af bedre borgerrettede spørgeskemaer, idet mange af de validerede spørgeskemaer er udviklet til forskningsbrug og opleves ofte ikke som relevante og brugbare. Der skal udvikles bedre og kortere måleredskaber, som optimalt set både kan anvendes aktivt i selve indsatsen såvel som til effektmåling.

• Bedre forventningsafstemning omkring evalueringer og effektmåling: Evaluering og effektdata skal i højere grad tænkes ind i etableringen af indsatser og projekter, så der er klarhed omkring hvilken form for data, der kan/skal indsamles, og hvilken type målinger og resultater, man kan forvente at kunne realisere.

På denne baggrund indstiller forvaltningen til en drøftelse af evalueringer i SUF blandt andet med udgangspunkt i følgende:  

• Hvordan kan SUF’s effektmålinger og effektdata i endnu højere grad gøres nyttig og anvendelig for Sundheds- og Omsorgsudvalget?
  
  

• Er der ydelsesområder eller borgermålgrupper, hvor Sundheds- og Omsorgsudvalget ser et særligt behov for, at der etableres effektmålinger?

Økonomi

Indstillingen har ingen økonomiske konsekvenser.

Videre proces

Forvaltningen arbejder videre med udvalgets tilbagemeldinger i den fremtidige tilrettelæggelse af evalueringer i SUF.

Lars Gregersen

                                           /Clea Bach

Indstillingen blev drøftet