4. En sammanfattning av organisations­fältets synvinkel: vad består goda utvärderingar av – hur ser situationen ut?

Varför borde ungdomsorganisationerna fundera över hur effektiv deras verksamhet är? Man kan också vända på frågan. Är det möjligt att leda och utveckla organisationernas verksamhet utan att utvärdera effektiviteten? Utvärdering är en viktig del av det strategiska ledarskapet och bedömningen av det. Genom att utvärdera vet vi att vi har lyckats med våra mål.

På ungdomsområdet är resursbristen en ständig utmaning som inte ser ut att försvinna. Många aktörer kämpar om den alltmer sparsamma finansieringen. Effektivitet är inte bara att åstadkomma mer med mindre resurser, utan också hur man motiverar att den egna verksamheten ska få finansiering. Ungdomsarbetet är inte ett stort verksamhetsområde ur samhällelig synvinkel, men dess effektivitet är betydligt större än dess storlek. När vi talar om finansiering måste vi också kunna lyfta fram denna aspekt. Genom att utvärdera vår verksamhet kan vi också bedöma om vi gör rätt saker och om våra resurser fördelas på rätt sätt. Sammanfattningsvis kan man säga att ungdomsarbetets effektivitet handlar om i vilken utsträckning en verksamhet förbättrar de ungas liv och därigenom hela samhället.

Förenklat kan man tänka sig att effektivitet handlar om att uppnå mål; effektiviteten uppstår ju alltid i förhållande till målen. Därför börjar arbetet med utvärderingen redan då man sätter upp mål. Fastställande av mål och åtgärder som är kopplade till dem är en förutsättning för utvärderingen. Det är också viktigt att definiera målgruppen så att vi vet i vilken grupp vi ska iaktta förändringar. I ungdomsarbetet baserar sig utvärdering ofta på respons från unga, inte så mycket på ett gemensamt mål. Skulle vi kunna få mer till stånd om utvärderingen började med att skapa delade mål?

I ungdomsarbetet är denna mätning inte alltid enkel. Hur utvärderar vi om de ungas välfärd ökar, om deras delaktighet förbättras eller om deras ensamhet minskar? Även om det är möjligt att göra en utvärdering, hur mäter vi ungdomsarbetets andel i förhållande till effektiviteten av andra aktörer, till exempel skolväsendet eller hälso- och sjukvården? Det är ingen lätt uppgift, men just därför behöver vi en effektevaluering i ungdomsarbetet. Det handlar i stor utsträckning om hur vi synliggör de förändringar som vårt arbete medför för de unga och för samhället som helhet.

Hur vet vi då att en förändring har skett? Förändringar kan utvärderas med hjälp av olika mätare och enkäter, inte bara kvantitativa utan också kvalitativa utvärderingar, inte bara subjektivt utan också objektivt. Man får heller inte glömma bort ekonomisk analys och förhållandet mellan använda medel och resultat. Vid effektevaluering är det delvis alltid också fråga om det språk som används. Det är lätt att berätta om antalet deltagare i verksamheten, men svårare att sätta ord på vilken betydelse verksamheten har för deltagarna. På liknande sätt krymper ungdomsarbetet lätt i tankarna till att spela biljard och dricka kaffe, även om det väsentliga är något helt annat. I stället för metoder borde vi kunna berätta om effekterna.

Inom tredje sektorn har man under de senaste åren börjat fundera på effektevaluering. Man ser ett behov av detta arbete, men det har ännu inte tilldelats tillräckliga resurser. Finansiärernas krav styr givetvis organisationerna att utveckla utvärderingen av sin verksamhet. Organisationsfältet är i detta avseende polariserat. Vissa organisationer utvärderar sin verksamhet systematiskt, medan andra knappt gör det alls. Det finns också stora skillnader i utvärderingskompetensen. Det finns redan stöd och utbildning för att utveckla utvärderingen, men organisationerna har inte nödvändigtvis resurser att ta emot detta stöd. Det är på sätt och vis fråga om en ond cirkel. Utveckling av verksamheten och ökning av resurserna förutsätter effektevaluering och synliggörande av arbetets resultat. Samtidigt leder de minskande resurserna till att man gallrar i utvecklandet eller att utvärderingen inte ses som en central faktor i utvecklandet av verksamheten.

Det här projektet har varit ett sätt att öka förståelsen för läget med ungdomsorganisationernas effektevaluering. De observationer som gjorts under projektet stöder den tidigare uppfattningen att utvärdering anses vara viktigt och att man vill utveckla den, men att resurserna inte räcker till för utvecklingsarbetet. Det är just därför som det behövs stöd från de nationella aktörerna för detta arbete. Publikationen innehåller några exempel på utvärdering, men det står klart att utbytet av goda verksamhetsmodeller måste vidareutvecklas och fortsättas. Det behövs särskilt stöd till ungdomsorganisationer för att utveckla utvärderingen och till och med organisationsspecifik sparrning för att påvisa effektiviteten. Som jag konstaterade i början av detta kapitel handlar det ibland om enkla saker. När målen är tydliga blir det lättare att mäta dem. När man har mätare och siffror ska de ”översättas” till effektivitetens språk. Här hjälper det att besvara frågan om hur vårt arbete förändrar ungdomar och samhället.

En viktig utmaning för utvärderingen av arbetet med unga är hur vi mäter det som inte har skett. Hur mäter man att en person inte marginaliserades eller att någon trodde på sina möjligheter mer än förut? Än vilken roll och betydelse har ungdoms­arbetet i allt detta? I vilken utsträckning kan de förändringar som skett bland unga ses som ungdomsarbetets förtjänst och i vilken utsträckning till exempel den tidigare nämnda utbildningens och hälsovårdens förtjänst? Ungdomsorganisatio­ner­nas och ungdomsarbetets effektivitet över lag är ofta invecklade och komplexa fenomen. Då är det vår uppgift att definiera vår roll i den positiva utveckling som vi försöker skapa. Då framhävs betydelsen av synliggörande inom utvärderingen.

Ungdomsorganisationernas effektevaluering ligger naturligtvis i deras eget intresse, men är också viktigt för dem som styr och finansierar verksamheten. Utvärderingen är därför av gemensamt intresse. Utvärderingen av organisationernas verksamhet har betydelse för hela organisationsfältet, men också för de ministerier och kommuner som finansierar verksamheten samt för hela samhället. Det är viktigt för samhället att finansieringen riktas till de områden där de mest önskade förändringarna kan åstadkommas. Därför borde organisationsstödet i detta arbete utvecklas, och även de som finansierar verksamheten och samarbetspartnerna borde delta i utvecklingen. Organisationerna behöver fungerande verktyg och utbildning, men också en dialog mellan organisationerna om vad som ska mätas och hur. Denna dialog kan inte skiljas åt från diskussionen om värderingar. Vilken betydelse har civilsamhället för medborgarnas välfärd, vilket värde har till exempel gemenskaper och hur uppskattar vi förhållandet mellan produktivitet och delaktighet?

Mot denna bakgrund är det till och med förvånande att ungdomsorganisationernas effektivitet knappt alls har undersökts. Detta framgår av litteraturöversikten i utredningen. Det är klart att för att utveckla verksamheten inom den tredje sektorn behövs forskning och objektiv utvärdering som stöd för arbetet. Eftersom det finns ett klart samhälleligt intresse av att utveckla effektevalueringen, skulle man tro att det också finns finansiering för arbetet.

Effektivitet är något som man gärna talar om i samband med finansiering. Och inte utan orsak, vi vill säkert alla anslå medel till de handlingar och åtgärder som medför de största förändringarna. Effektevaluering ska dock inte göras enbart för att trygga de kommande årens finansiering för vår verksamhet. Det kan vara ett skäl, och det är givetvis ett bra skäl, men man måste framför allt utgå från målet att göra rätt saker. Utan utvärdering och uppföljning av verksamhetens effekter kan vi inte veta om det finns en efterfrågan på och ett behov av det vi gör och om det leder till de önskade resultaten. Utan en utvärdering skjuter vi slumpmässigt i hopp om att någon ska träffa målet. Genom utvärdering förbättrar vi träffsäker­heten och sparar ammunition. Genom effektevaluering av vår verksamhet ökar vi de ungas välfärd.