3. Data som samlats in av forskningsgruppen om utvärderings- och rapporteringspraxis bland ungdomsorganisationer i de nordiska länderna

Skribenter: Anu Gretschel, Viola Särkiluoto & Kai Tarvainen

3.1 Litteraturöversikter och intervjuer

Vår forskningsgrupp har undersökt vilka medel och verktyg de nordiska ungdomsorganisationerna har för att utvärdera sin verksamhet. Vi bekantade oss med ämnet genom att läsa publikationer och göra intervjuer. För denna rapport har vi sammanställt de mest intressanta exemplen i samarbete med styrgruppen. För att undvika upprepningar i texten belyser varje exempel frågor som inte har tagits upp särskilt mycket i denna publikation i övrigt. Vi strävar särskilt efter att besvara följande frågor:

Hurdana rutiner kring utvärdering och rapportering har utvecklats inom ungdomsorganisationer i de nordiska länderna?
Hurdana teman lyfter utvärderingen fram ur verksamheten?
Hurdana utmaningar hänger ihop med utvärderingen?

För publikationernas del fokuserade vi vår sökning på rapporter med ett undersökande arbetssätt och riktlinjer till organisationer om utvärdering och rapportering. Publikationerna beställdes av organisationen själv, eller också sammanställdes de som en avhandling eller inköpta tjänster. Med riktlinjer för utvärdering avser vi exempelvis riktlinjer som fastställts av finansieringsorgan, såsom den offentliga förvaltningen, och handböcker för utvärdering som utarbetats av ungdomsorganisationernas paraplyorganisationer. Vi undersökte publikationer från de senaste tio åren. Vi gick igenom över 70 publikationer från olika nordiska länder. Med anledning av denna period kan forskningsgruppen och styrgruppen vara relativt säkra på att en betydande del av den viktiga utvärderingslitteraturen inom ungdomsorganisationernas område har beaktats i denna publikation, även om den är begränsad till de senaste åren. Syftet med denna begränsning var att säkerställa att vi skulle förse allmänheten med den mest aktuella informationen om varje organisations verksamhet.

Forskningsgruppen kände redan i viss mån till ungdomsorganisationernas verksamhet i Finland. För de övriga nordiska länderna använde gruppen först databasen Youth Wiki, som ger landspecifik information om ungdomsorganisationernas verksamhet. På så sätt fick vi en uppfattning om ungdomsorganisationernas roll i förhållande till det kommunala ungdomsarbetet och fritidsaktiviteter för unga liksom information om finansieringen av ungdomsorganisationernas verksamhet.

Vi letade efter undersökningar, rapporter och studier om utvärderingen och effektiviteten av ungdomsorganisationernas verksamhet i flera databaser. Vi hittade dock de flesta studierna genom sökningar på Google och Google Scholar. Vi sökte också efter studier i akademiska databaser (EBSCOhost, SocINDEX och ProQuest), ResearchGate och indexsökningen vid Helsingfors universitets bibliotek. På Google och Google Scholar började vi litteratursökningen med nyckelorden youth organisation (nuorisojärjestö, ungdomsorganisation) i kombination med vissa anknytande sökord, såsom effects (vaikutukset, effekter), quality (laatu, kvalitet), evaluation (arviointi, evaluering), method (menetelmä, metod), social impact (vaikuttavuus, effektivitet) och olika kombinationer (OCH/ELLER) och sammansättningar (t.ex. effektvaluering). Eftersom sökresultaten var mycket begränsade inkluderade vi de svenska sökvillkoren utvärderingsrapport och effektrapport i kombination med söktermer som ungdom och unga. De ovanstående och de motsvarande nyckelorden användes på norska, svenska, finska och danska samt på engelska i en bred omfattning av kombinationer. I takt med att processen fortsked utökade vi listan över nyckelord till exempel genom att lägga till namnen på olika ungdomsorganisationer. Detta resulterade i att vi hittade ett stort antal kandidatavhandlingar särskilt från Finland på Google Scholar. En stor del av kandidatavhandlingarna undersökte emellertid till exempel effekten av tjänster och projekt inom socialservice samt mental- och missbrukarvård för unga snarare än ungdomsorganisationers verksamhet. Vi undersökte närmare de magistersavhandlingar vi hittade genom Google Scholar som innehöll konkreta teman i anslutning till utvärdering eller sociala effekter i ungdomsorganisationer.

Vi hittade bara några få vetenskapliga undersökningar och rapporter om utvärderingen av ungdomsorganisationernas verksamhet. Även Hanna Laitinen (2018, 28) konstaterar i sin doktorsavhandling att det har gjorts endast ett fåtal akademiska studier om ungdomsorganisationer i Finland. Det var också uppenbart att nyckelorden i publikationerna sällan innehöll utvärdering, effekter och effektivitet, utan i stället andra ord som gällde ungdomsorganisationernas verksamhet. De nyckelord som använts i denna studie ledde därmed inte nödvändigtvis till träffar. För att komplettera litteraturen vi hittade i databaserna fick vi hjälp av representanter för ungdomsorganisationernas paraplynätverk som fastställts för projektet. Dessutom fick vi tips av både intervjupersonerna och av kontakterna vid Nordic Youth Wiki. Vi tog också del av organisationers och myndigheters webbplatser samt av hur organisationer genomför forsknings- och utvecklingsprocesser.

Vi genomförde sammanlagt 13 intervjuer i olika nordiska länder. Varje berörd organisation fick ta del av sin intervju. Intervjupersonerna fick möjlighet att kontrollera riktigheten i sina intervjucitat. Sammanlagt deltog 15 personer och de representerade 16 olika organisationer. Dessa organisationer var ungdomsorganisationer eller andra organisationer som arbetar med ungdomar, deras paraplyorganisationer, organisationer som bedriver forsknings- och utvecklingsprocesser i ungdomsorganisationer, vid ministerier och i deras kommittéer samt organ som inrättats av ministerier. Varje intervju varade en timme och gjordes via webbapplikationen Teams.

3.2 Glasögon för läsaren: utvärderingssamband för att bättre förstå den egna verksamheten och verksamhetsmiljön

3.2.1 Utvärdering som reflektion

I denna rapport avser vi med utvärdering att systematiskt undersöka om en verksamhet uppfyllde förväntningarna som ställts eller som kunde ställas under eller efter verksamheten. Härnäst beskriver vi den tidlösa naturen av reflekterandet genom att citera Donald A. Schöns (1987, 1983/2007) klassiska texter. För att vara exakt använder Schön inte ordet utvärdering i sina texter – han förknippar reflektion med utformningen av verksamhet och struktureringen av utformningsbehov. Vi anser dock att Schöns tankesätt också fungerar som en bra skildring av den reflektion som ingår i utvärdering.

Schön använder termen “kunskap-i-handling” när man vet hur man ska agera mycket professionellt i en praktisk situation, men inte medvetet väljer mellan olika åtgärder. Med termen “reflektion-i-handling” syftar Schön på mer avancerad reflektion som avser att aktören kan överväga och verkligen överväger valen kring handlingarna. Reflektion om “reflektion-i-handling” handlar å andra sidan om att undersöka djupet i reflektionen. Enligt Schön är handlingen, situationerna och de eventuella problemen med dessa inte som sådana tillräckligt väletablerade för att kunna lösas. Enligt honom är de ganska osäkra, unika eller motstridiga. I detta fall räcker det inte med att fundera på vilken typ av väg som ska byggas om vi har ignorerat frågan om huruvida vägen överhuvudtaget ska byggas. Till exempel kan ekonomiska, miljömässiga, politiska och mer omfattande värderelaterade frågor påverka beslutet. Schön ser inte reflektion som en enskild förekomst av optimering, utan som en process som tar hänsyn till osäkerhet, situationernas unika karaktär och möjligheten till konflikter. (se Schön 1987, 1, 4, 6, 39, 41.)

Enligt Schön (1987, 5) förekommer det ofta tävling om vilka perspektiv som ska beaktas i utvecklingen av verksamhet. När det gäller de nordiska ungdomsorganisationernas utvärderingsexempel är det exakt så: de måste överväga om de ska fokusera på antalet aktiviteter eller till exempel på tillgänglighet och jämlikhet. Enligt Schön ignoreras i en alltför snäv teknisk undersökning oavsiktliga biverkningar, risker eller till och med miljön (Schön 1987, 6). När man arbetar med unga kan det hända att man bortser från så pass viktiga frågor som att begrunda saker med de unga och ur deras perspektiv.

Om vi beskriver Schöns åsikter med egna ord, kan vi säga att en person som reflekterar över sina handlingar i en något osäker praktisk situation agerar på samma sätt som en forskare. Att reflektera är inte begränsat till att överväga vilka åtgärder som ska vidtas i förhållande till de fastställda målen, utan att svara mot utmaningarna man ställs inför genom att beakta både syftena och sätten flexibelt. I tanken ingår också att om en viss person kan anses ha kunskap om ett ämne, till exempel på grund av sin ställning, är det genom visdom som personen identifierar att hen möjliggör lärande för sig själv och för andra, då personen erkänner andras kunskaper och tar med dem i samtalet. (se Schön 1983/2007, 68, 300.)

Enligt Schön är kampen om hur man ska definiera verksamheten, situationen och problemen samt de nödvändiga politiska åtgärderna alltid en blandning av undersökningar och politik. Synen på utmaningarnas natur är kognitiva konstruktioner som byggts ur ett visst perspektiv och som skapar utrymme för att använda politisk kraft. I den bredare samhällsdebatten är det positioneringen av verksamheten, situationen och problemen, definitionen av policyn och tolkningen av bakgrunden som lett till att situationen omfattar både utredningsperspektiv och politiska perspektiv. (Schön 1983/2007, 348.) För ungdomsorganisationernas självständighet är det viktigt att även ungdomsorganisationerna själva proaktivt deltar i att identifiera behoven av sin verksamhet och i att fastställa sin roll från lokal till global nivå. Ett bra exempel på denna typ av verksamhet hittades i Danmark. Där gjorde DUF, ungdomsorganisationernas paraplyorganisation, en undersökning om ungas politiska aktivitet och DUF:s egna ansträngningar att göra det danska samhället mer demokratiskt. I Norge såg paraplyorganisationen LNU publikationerna av forskningsinstitutet Senter for forskning på sivisamfuun og frivillig sektor som ett viktigt litterärt exempel när det gäller utvärdering. I publikationerna diskuteras tillgången till fritidsaktiviteter som ordnas av organisationerna, sambandet mellan ungdomars behov och behovet av att utveckla attraktionskraft, med hänsyn till de ungas olika bakgrund.

3.2.2 Förändringsteori/-teorier

I denna studie om nordiska ungdomsorganisationers utvärdering framkom några exempel där förändringsteorier används i ungdomsorganisationer i Sverige och Finland. Exemplen beskrivs för båda länderna i denna rapport. Härnäst presenteras huvuddragen i förändringsteorin.

Sue Cooper (2018, 18–19) studerar effektiviteten av ungdomsarbete i organisationerna och inom den offentliga sektorn i England. Enligt Cooper är syftet med att använda förändringsteorin att kunna skapa ett utvärderingssystem som lämpar sig för utvärdering av social verksamhet och som kan beakta verksamhetsmiljöns egenskaper och verksamhetens komplexitet.

Enligt Cooper har det varit populärt att använda förändringsteorin både bland utvärderarna och bland finansieringsorganen i olika länder i mer än ett halvt århundrade. Även om ordet teori ingår i namnet, är förändringsteorin ändå inte en enda teori, utan snarare en uppsättning idéer som varje organisation kan använda för att belysa hur verksamheten väntas leda till förändring och vad denna förändring kan vara. Cooper har träffande konstaterat att dessa antaganden i själva verket är de verkliga ”teorierna” i förändringsteorin. Cooper använder här ordet teorier i plural, eftersom varje organisation, till och med varje åtgärd i organisationen, har sina egna teorier. (se Cooper 2018, 18–22; Fox & Grimm & Caldeira 2017 som också talar om förändringsteorierna i plural.) I den del av rapporten som fokuserar på Sverige hänvisas till den rådande praxisen i landet där organisationer definierar “Vår förändringsteori” som en del av att skriva sina effektivitetsrapporter. Fox et al. (2017, 49) hävdar att organisationens anställda och olika intressenter i stor utsträckning ska vara involverade i att skriva en organisations egen förändringsteori. De poängterar också att de avsedda effekterna ska kunna uppnås, men dessutom ska de vara begripliga för alla som är involverade i processen.

Serrat (2017, 237–241) börjar med att definiera förändringsteorin som vilken förändring som helst i samhällsordningen som en social förändring. Enligt honom är det meningsfullt att tillämpa förändringsteorin på utvärdering av sociala förändringar. Till exempel beskrivs förändringar som orsakas av en verksamhet eller ett projekt ofta som en förgrenad kedja. Kedjan demonstrerar hur mellanliggande resultat genom utveckling leder till ett mer omfattande avsett resultat. Enligt Serrat kan vissa förändringar som behövs för målet också ske som en dominoeffekt, utan nya åtgärder.

Cooper (2018) använder termen ”förutsättning” för att beskriva de så kallade mellanliggande resultaten och understryker därmed att de är absolut nödvändiga för att de slutliga resultaten ska nås. Cooper undersökte i sin studie effektiviteten av ungdomsarbete genom att använda förändringsteorin. Enligt Cooper upplevde unga en känsla av samhörighet och ökat förtroende för ungdomsarbete. Cooper menar att när dessa två villkor uppfylldes blev det möjligt för unga att ta ansvar för sina handlingar på medellång sikt och man kunde vänta sig prosocialt beteende av de unga, vilket var det viktigaste resultatet på lång sikt.

I nästa underkapitel ligger fokus på Finland. Av kapitlet framgår hur viktig konstruktionen av indikatorer är i förändringsteorin så att förändringen kan övervakas – å andra sidan ingår i teorin också att lära sig från förändringen. Enligt Serrat (2017, 241) är tillämpningen av förändringsteorin en medveten, reflekterande och kreativ visualiseringsövning, snarare än något som slutförs på en gång. Han observerar att en utvärdering baserad på förändringsteorin fortskrider enligt cykeln planera–utför–kontrollera–agera.

3.3 Översikt över utvärderingsdebatten i ungdomsorganisationer i olika nordiska länder

3.3.1 Finland

3.3.1.1 Organisationssektorn vaknar upp till utmaningen att synliggöra effektiviteten

Under de senaste åren har debatten om att främja effekter och om effektevaluering i de finska ungdomsorganisationerna intensifierats i takt med att finansieringsorganen vill använda begränsade resurser på ett effektivt sätt. Laitinen (2018, 170) konstaterar att rapporteringskraven har ökat och att tillgången till finansiering generellt sett har skärpts. De underliggande orsakerna är bland annat intressena hos finansieringsorganen, såsom ministerier, men att effektivisera verksamheten anses också vara viktigt inom organisationssektorn. Ett gott exempel är projektet Hyvän mitta (Gott mått) som koordineras av föreningen Arvo (2016–2019) och där tillämpningen av effektkedjan fortfarande används i stor utsträckning som grund för arbetet med utveckling av utvärdering. Projektets viktigaste partner och finansieringsorgan var FPA, stiftelsen Me-säätiö, Utbildningsstyrelsen, Undervisnings- och kulturministeriet, Sitra, Social- och hälsoorganisationernas understödscentral (STEA) och Statsrådets kansli. Enligt publikationen Vaikuttavuuden jäljillä – opas yhteiskunnallisen vaikuttavuuden kehittämiseen (Att söka sociala effekter – en guide för att utveckla samhällseffekter) som producerades inom projektet spelade att ömsesidigt lärande mellan organisationer en viktig roll när det gällde att skapa modellen med effektkedjetänkandet. Till exempel har förändringsteorin som diskuterades i det föregående underkapitlet också använts i utveckling av effektkedjan. (se Anoschkin 2019.)

Enligt den ovan nämnda publikationen Vaikuttavuuden jäljillä, är effektkedjan ett verktyg och en tankemodell som kan användas för att definiera de sociala effekterna av verksamheter både när det gäller enskilda åtgärder och på olika nivåer i hela organisationen. Kedjan består av sju led: behov, vision, mål, resurser, åtgärder, resultat och sociala effekter. Delarna är nära förbundna med varandra under arbetsfasen. Effektivitet, behov och vision beskriver den sociala nivån medan andra länkar beskriver den konkreta åtgärdsnivån. Eftersom länkarna i modellen har ett orsakssamband med varandra är varje aspekt av länken viktig. Betydelsen av början av kedjan betonas emellertid särskilt, det vill säga behov och vision. Det första steget är att identifiera det sociala behovet och att lägga fram en vision för verksamheten som följer av detta behov. Det är först efter dessa två steg som vi kan bedöma målen för verksamheterna. I det skedet borde målet vara att beskriva och utvärdera den typ av konkreta förändringar som behövs i målgruppen för att uppnå visionen. Sedan kan vi gå vidare längs kedjan till de stadier där vi kan komma med nya lösningar och nödvändiga resurser. På så sätt skapar effektkedjan en bild av den önskade sociala förändringen som verksamheten syftar till att åstadkomma. När datainsamlingen och de rätta indikatorerna kombineras med det ovannämnda konceptet kan vi kontrollera de sociala effekterna av verksamheten genom att använda modellen. (Ovannämnd författare, 7.)

På basis av projektet Hyvän Mitta kan vi identifiera två större trender när det gäller utvecklingen av utvärdering. Den första är behovet av en mer noggrann och mer omfattande definition av vad samhället behöver och av vilka slags aktörer. Då förtydligas också den sociala visionen som guidar verksamheten. Den andra trenden är behovet av en gemensam uppsättning indikatorer för organisationssektorn. (se Anoschkin 2019.) Det sistnämnda arbetet utförs nu inom Kentauri, ett kompetenscentrum för ungdomsarbete tillsatt av Undervisnings- och kulturministeriet (se Fields 2021). Kompetenscentret Kentauri inom ungdomssektorn utför mångsidiga uppgifter, men en av prioriteringarna är att utveckla gemensamma indikatorer som kan användas av ungdomsorganisationer. Ministeriets mål var att koppla indikatorerna till teman som rör hållbar utveckling. För det första ligger fokus på perspektivet med social hållbarhet för vilket åldersspecifika indikatorer för inkludering har utvecklats. (Gruppintervju 15.2.2022, Kentauri.)

Kentauri tillhandahåller också utbildning i utvärdering inom organisationssektorn. 2021 hölls sex separata utbildningar kring sociala effekter. Utbildningarna omfattade effektkedja och koncept, mål och indikatorer, insamling och analys av utvärderingsdata, hantering och koordinering av sociala effekter och utvärdering, kommunikation om sociala effekter samt användning av utvärderingsdata. En representant för Kentauri menar att utmaningen som identifierades under dessa utbildningar var att organisationernas representanter inte hade tillräckligt med tid för att utföra utvecklingsuppgifterna som var en del av utbildningen, trots att webbinarierna hade tillräckligt med deltagare och responsen var god. I framtiden bör sättet att erbjuda utbildningsprocessen därmed omorganiseras. (Gruppintervju 15.2.2022.)

Enligt representanter för ungdomssektorns takorganisation i Finland Allians och Kentauri har ungdomsorganisationernas intresse för att använda effektkedjan vuxit betydligt under de senaste åren (gruppintervju 15.2.2022). En av användarna är Finlands Ungdomsförbund, som erbjuder kulturhobbyer, såsom dans, teater, cirkus, musik och idrott för alla åldrar. I intervjun säger en representant för organisationen att effektkedjan och dess verksamhetsstruktur används i organisationen, först och främst som en norm för att se till att verksamheten genomförs som planerat i respektive faser. För det andra diskuterades en ram för att se till alla delar av verksamheten är på plats och genomförs i relation till helheten. Över lag anser organisationen att användningen av effektkedjan har lett till en ökad reflektion över verksamhetens målinriktning, vilket i sin tur anses vara bra för organisationens utveckling. (Finlands Ungdomsförbundföreningen, intervju 8.4.2022.)

Liksom många andra organisationer övervakar även Finlands Ungdomsförbund bland annat antalet medlemmar, deltagare, deltaganden, evenemang och sammankomster. Dessutom har de med bestämdhet börjat utveckla sin egen metod för effektevaluering i vilken både kvantitativa och kvalitativa indikatorer används. Finlands Ungdomsförbund kombinerar för sitt eget utvecklingsarbete element från två huvudtrender: Föreningen samarbetar med sådana organisationer som Kentauri i att utveckla indikatorer för inkludering i ovan nämnd ungdomsorganisationsverksamhet samt med vuxenutbildningsanstalten Medborgarforum när det gäller att öka medvetenheten om effektiviteten av ungas kulturverksamhet. I samband med utvärderingen av kulturverksamhetens effektivitet skapades ett frågeformulär för att hjälpa organisationen att identifiera verksamhetens inverkan på deltagarnas fysiska, psykiska och sociala välfärd samt på inlärning och samarbete.

Bakgrundsmaterialet som används i Medborgarforumets utvecklingsarbete är Världshälsoorganisationens rapport om konstens och kulturens roll för att förbättra hälsa och välbefinnande (Fancourt & Finn 2019), se också finska Taikusydän 2021; information per e-post av H. Pulkkinen Medborgarforum 15.8.2022.

Organisationen har ansträngt sig för att inkludera både utvecklingsprojekt i de effektundersökningar som den erbjuder sina intressenter på Pokka-plattformen

Utvärderingsverktyget Pokka ger möjlighet att jämföra de egna resultaten med andra aktörer i samma område eller som har samma typ av verksamhet. Utvärderingsverktyget tillhandahåller färdiga anpassningsbara frågeformulär med vilka en organisation kan samla in information om verksamhetens resultat, effektivitet och utvecklingsbehov. Kukunori ansvarar för utvärderingsverktyget Pokka och Vertics för det tekniska genomförandet. Källa: Pokka (kukunori.fi)

. (Finlands Ungdomsförbund, intervju 8.4.2022.)

Enligt en bedömning av en representant för Allians finns utvärderingsstöd och hjälp tillgängligt för organisationerna, men det kan diskuteras huruvida organisationerna har resurser att ta emot stöd och hjälp. Som paraplyorganisation syftar Allians till att uppmuntra organisationer att skaffa omfattande utvärderingsutbildning. Samtidigt kanske en organisation endast är involverad i korta sparringevenemang som täcker vissa tillämpningar men inte får tillträde till organisationens övergripande verksamhet. Till exempel kan organisationens värderingar vara väl genomtänkta och avspeglas i dess strategi. Samtidigt syns de ännu inte i utvärderingen. (Gruppintervju 15.2.2022, Allians.)

Enligt en representant för Allians rapporteras särskilt organisationernas öppna verksamhet (såsom klubbar, läger och exkursioner) fortfarande för det mesta i form av antalet aktiviteter, trots att man vet att dessa aktiviteter till exempel kan minska ensamhet. Denna aspekt nämns inte i rapporteringen. Denna typ av synlighet förväntas dock redan av organisationerna. När det gäller att utveckla indikatorerna anser Allians att det är viktigt att olika ungdomsorganisationer tillsammans med olika slags unga i olika åldrar kan använda indikatorerna och på så sätt skulle informationen som fås vara jämförbar. (Gruppintervju 15.2.2022, Allians.)

I en intervju betonar representanter för Kentauri och Allians betydelsen av utvärdering inom organisationssektorn. Det tar dock tid att utveckla utvärdering, indikatorer och verktyg. Det finns ett ökat behov av öppen diskussion om hur mycket som kan förväntas av medborgarsamhällets aktörer när det gäller att utvärdera kvalitet och sociala effekter. De finansieringsrelaterade utvärderingskraven är också kopplade till frågor om självständighet och inneboende värde i civilsamhällets verksamhet. Å andra sidan är det viktigt att se till att de medel som anslås för civilsamhällets verksamhet också används för rätt verksamhet. En rädsla för att finansieringen ska minska hänger ofta ihop med utvecklingen av utvärderingen. Denna möjlighet att uppdatera verksamhetsmodellerna, som ibland är flera decennier gamla, uppmärksammas inte i debatten. Enligt representanter för Allians och Kentauri skulle gemensamma indikatorer kunna ge information om de gemensamma effekterna och effektiviteten av arbetet inom organisationssektorn. (Gruppintervju 15.2.2022.)

Utöver effektkedjan finns det många olika utvärderingsmetoder inom den finska organisationssektorn. Härnäst belyser vi utvecklingsarbete som har utförts av föreningen Non Fighting Generation (nedan NFG) kring utvärdering samt av enheten Sovari som samlar in nationella utvärderingsdata inom ungdomsarbete och i verkstäder. Båda exemplen belyser ungas roll som utvärderare av verksamheten.

3.3.1.2 Över tio år av systematisk utvärdering

Timo Purjo och Maria Tervahauta har sammanställt en studie om verksamheten inom och resultaten av NFG under flera års tid, Nuorten väkivallattomuuskasvatus - Tuloksia, vaikutuksia ja vaikuttavuutta (Fostran om icke-våld för unga - resultat, effekter och effektivitet) (Purjo & Tervahauta 2014). Purjo är grundare av organisationen och Tervahauta är utvecklare och direktör för organisationen. Studien var dock mer invecklad och oförutsägbar än väntat, och på första sidan berättas att utan stöd för utvärdering kan organisationerna finna det svårt att genomföra en storskalig utvärdering. Det beror bland annat på att ett allmänt understöd ofta är otillräckligt för att täcka den tid och de finansiella utgifter som krävs. Organisationen var verksam i nästan 20 år innan en publikation skrevs om verksamhetens resultat, effekter och effektivitet. Tanken om att skriva en publikation fanns, men arbetet sköts länge upp, inte bara på grund av bristen på tilldelade medel utan också på grund av att utvärderingen inte ansågs vara särskilt väntad. Resultaten av organisationens och dess partners verksamhet var kända och det ansågs viktigt att använda tid och mottagna medel för verksamhet för ungdomar (se T. Purjo 2014).

Non Fighting Generation är en nationell ungdomsorganisation som har varit aktiv sedan 1996. Kärnan i verksamheten är fostran om icke-våld för unga. Organisationen samarbetar i synnerhet med skolor, men också med andra organ, såsom fängelser och institutioner för ungdomsarbete och socialt arbete. En av organisationens viktigaste verksamhetsmodeller är att organisera diskussionsgrupper för unga som brukar våld och för unga med symtom som tar sig ut som mobbning. (T. Purjo 2014). I dag utför organisationen också omfattande individuell rådgivning för nästan hundra ungdomar varje år. Ungefär hälften av de unga som får individuell rådgivning kommer via barnskyddets öppenvårdstjänster, medan resten kommer genom att skolor, polisen och vårdnadshavare tar kontakt.

NFG övervakar och utvärderar systematiskt verksamhetens framgång och effektivitet (Tervahauta 2014, 38; T-L. Purjo, e-postkommunikation, 28.2.2022). Resultaten och effektiviteten av verksamheten har övervakats en lång tid genom respons som samlats in av partner såsom skolor och barnskyddstjänster. (T. Purjo 2014, 27–30.) För närvarande ombeds de unga som deltar, instruktörerna för diskussionsgrupperna och de som hänvisat de unga till diskussionsgrupperna (särskilt skolor och socialtjänsten) att fylla i utvärderingar elektroniskt. Utvärderingar begärs ofta i början och i slutet av verksamheten, men vid långsiktig verksamhet begärs också respons i mitten. (T-L. Purjo, e-postkommunikation, 28.2.2022.) Den viktigaste frågan att ta upp är hur den unga förändras under gruppverksamheten och under deras inflytande. Detta utvärderas till exempel genom intervjuer med unga efter att gruppverksamheten avslutats liksom genom observationer och rapporter av instruktörerna. (Tervahauta 2014, 38.) Enligt e-postkorrespondens med NFG:s verkställande direktör Tuija-Leena Purjo, är återkopplingen via de elektroniska utvärderingsformulären omfattande: ungefär hälften av partnerna och upp till 70 procent av de unga svarar på utvärderingarna.

Organisationen har också genomfört långsiktig övervakning. Tervahauta (2014) undersöker i sin artikel verksamhetens effektivitet utifrån intervjumaterial som samlats in både kort efter eller högst två år efter att gruppverksamheten avslutats. (Den tidigare nämnda studien 46–50.) Utöver att producera utvärderingsstudier och -rapporter, samarbetar organisationen med studerande som skriver avhandlingar och publicerar studier om organisationens teoretiska ramverk (Tervahauta 2014, 38; e-postkommunikation T-L. Purjo 2022). Omfattningen av efterfrågan har också setts som en indikator på kvaliteten på organisationens verksamhet. Nivån på efterfrågan är för närvarande ungefär 30 procent högre än vad organisationen har kapacitet för med resurserna av finansieringsorganen (T. Purjo 2014, 7; T-L. Purjo, e-postkommunikation, 28.2.2022).

3.3.1.3 Nyckeltal och experimentell kunskap hos riktat ungdomsarbete per organisation, region och riksomfattande

Till skillnad från organisationernas öppna ungdomsarbete har ett gemensamt utvärderingssystem använts sedan 2016 i de institutioner som anordnar uppsökande ungdomsarbete eller verkstäder, till exempel organisationer. Resultaten av de nationella Sovari-undersökningarna om verkstadsverksamhet och uppsökande ungdomsarbete publicerades 2021 i ”Pystyn asioihin, joihin en uskonut pystyväni” Työpajatoiminnan valtakunnalliset Sovari 2020 -tulokset (“Jag klarar av saker jag inte trodde” Verkstadsverksamhetens nationella Sovari-resultat 2020) och ”Tuntuu, että on pidetty huolta” Etsivän nuorisotyön valtakunnalliset Sovari 2020 -tulokset (“Jag upplever att man bryr sig om” Det uppsökande ungdomsarbetets nationella Sovari-resultat 2020). Resultaten bedömer effektiviteten av verkstadsverksamheten och det uppsökande ungdomsarbetet (Kinnunen 2021a; 2021b). Sovari är en indikator på den sociala förstärkningen som utvecklats och upprätthålls av föreningen Into – uppsökande ungdomsarbete och verkstadsverksamhet. Sovari mäter tjänsternas kvalitet och den sociala förstärkningens effektivitet. Indikatorn har utvecklats i samarbete med aktörerna inom verkstadsverksamhet och uppsökande ungdomsarbete liksom med klienterna. (Kinnunen 2021a, 3.) Dess användarbas har sedan dess ökat årligen och användningen har stabiliserats (Kinnunen 2021a, 4; Kinnunen 2021b, 5.). Sovari mäter hur framgångsrikt det huvudsakliga målet för verkstadsverksamheten och det uppsökande ungdomsarbetet nås: den sociala förstärkningen hos klienterna.

Vid sidan av Sovari används statistiska uppgifter om sociala effekter (PAR-statistikdatasystemet följer till exempel hur klienter placerar sig inom utbildning, sysselsättning eller andra tjänster) inom verkstadsverksamhet och uppsökande ungdomsarbete. Kinnunen belyser i sin rapport fördelarna med att använda indikatorn i stor skala: enhetliga och nationellt jämförbara nyckeltal och data om sociala effekter. Sovari-indikatorn presenterar data som kan användas för att demonstrera tjänsternas effektivitet för klienternas livssituation och belyser därmed betydelsen och behovet av tjänster i servicesystemet. Informationen som erhålls från indikatorn kan också användas för att utveckla tjänster. (Kinnunen 2021a, 3.)

I Sovari mäts kvaliteten på och effektiviteten av uppsökande ungdomsarbete och verkstadsverksamhet genom två anonyma undersökningar på webben. I den första utvärderingsdelen av verkstadsverksamheten bedömer deltagarna genomförandet och kvaliteten på verksamheten inom tre huvudområden: 1) arbetsuppgifter och deltagande, 2) gemenskap och 3) vägledning och stöd för arbete och individuell handledning. I avsnittet om utvärdering av uppsökande ungdomsarbete ingår följande områden: 1) servicens tillgänglighet, 2) servicens konfidentialitet och smidigheten i dialogen mellan de unga och aktörerna samt 3) hjälpen och stödet som fås i servicen för att främja den ungas livssituation och hitta en lämplig väg för den unga. I det andra avsnittet bedöms i undersökningar om både verkstadsverksamhet och uppsökande ungdomsarbete de upplevda förändringarna i den sociala förstärkningen inom fem områden: 1) självkännedom, 2) social kompetens, 3) livshantering, 4) vardagshantering samt 5) studie- och arbetslivshantering. Enligt Kinnunen utgör undersökningarna också en kanal som främjar deltagandet bland de unga och de som handleds. I undersökningarna kan de unga och de som handleds uttrycka sina åsikter om genomförandet av uppsökande ungdomsarbete och verkstadsverksamhet och på så sätt påverka utvecklingen av verksamheten. (Kinnunen 2021a, 3–4; Kinnunen 2021b, 3.)

Enligt Kinnunen (2021a) producerar Sovari nyckeltal och sammanställer erfarenhetsdata mycket omfattande, både på en organisatorisk, en regional och en nationell nivå. Arrangörerna av uppsökande ungdomsarbete och verkstadsverksamhet är inte ensamma ansvariga för att producera information. Into, som är ett kompetenscentrum inom ungdomssektorn utsett av Undervisnings- och kulturministeriet, utarbetar årliga sammanfattningar och nationella rapporter som är specifika för regioner och koordineringsområden eller organisationer. (Den tidigare nämnda studien 3–4.)

3.3.1.4 Allt kan inte mätas inom ramen för orsakssamband, men det innebär inte att betydelsen av att utveckla utvärderingskompetens ska äventyras

Under 2022 kommer Undervisnings- och kulturministeriet att anslå cirka 18,5 miljoner euro i statsstöd till nationella ungdomsorganisationer (Undervisnings- och kulturministeriet, nationella organisationer inom ungdomssektorn u.å.). För att vara kvalificerad till statsstöd ska en organisation först godkännas som berättigad till stödet. När man ansöker om att vara berättigad till statsstöd bedöms verksamhetens landsomfattande täckning, kvalitet, omfattning och sociala effekter, liksom hur organisationen främjar icke-diskriminering, jämlikhet och social delaktighet bland unga. Villkoren för berättigande till statsstöd liksom kriterierna för fördelning av stödet fastställs i ungdomslagen och i statsrådets förordning om ungdomsarbete och ungdomspolitik. Kriterierna för fördelning av understöd är kvalitet, omfattning, sociala effekter, ekonomisk förvaltning och främjande av ungas delaktighet (Undervisnings- och kulturministeriet, lagar och förordningar: Ungdomar u.å.).

I intervjun påpekar representanterna för Undervisnings- och kulturministeriet och dess utvärderings- och understödskommission att ministeriet bedömer organisationernas sociala effekter på basis av organisationernas självutvärdering av hur relevant deras verksamhet är både när det gäller ungdomsarbete och ungdomspolitik liksom inom organisationens sektor. Effektevalueringen bygger också på ministeriets utvärdering av betydelsen av organisationens verksamhet i förhållande till andra organisationer inom ungdomssektorn liksom vilken inverkan organisationernas verksamhet har på unga och sektorn i sig. När det gäller att främja inkludering uppmanas organisationerna att specificera vilka möjligheter de ger unga att framhäva sitt deltagande i beslutsfattandet och hur organisationen bidrar till ungas förmåga och kapacitet att fungera i samhället på andra sätt. Målen för organisationernas verksamhet kan fastställas som både årliga och långsiktiga mål. De kan gälla ett begränsat antal människor eller vara mer relevanta för samhället som helhet. På grundval av värdesystemet för den egna verksamheten kan organisationen i stor utsträckning avgöra vilka frågor som övervakas vid utvärderingen av den egna verksamheten, vilka resultat som förväntas och vilka uppgifter som används för rapporteringen av genomförandet. Samma kvantitativa verksamhetsuppgifter samlas in av alla organisationer. (Gruppintervju 24.3.2022.)

På basis av samma intervju kan avsaknaden av systematisk utvärdering av organisationernas egen verksamhet avspeglas i att organisationerna ber sina medlemmar om respons, men i slutändan inte kanaliserar den till utvecklingen av verksamheten. Det är dock uppenbart att nivån på planeringen och utvärderingen av organisationernas verksamhet hela tiden förbättras. Tecken på utvecklingen kan anses vara att organisationernas genomförda och planerade verksamhet betygsätts enligt de tidigare fastställda kriterierna och att resultaten offentliggörs på ministeriets webbplats liksom att kompetenscentret Kentauri inom ungdomssektorn har fått i uppgift att hjälpa organisationer att utveckla sitt utvärderingssystem. Ministeriet anordnar också seminarier för organisationer om aktuella utvärderingsområden såsom hållbar utveckling. Dessutom beställer ministeriet ett visst antal avhandlingar eller praktikplatser i relation till finansiering av organisationsverksamhet. För närvarande pågår arbetet med en avhandling om kvaliteten på organisationernas icke-diskriminerings- och jämställdhetsplanering. (Gruppintervju 24.3.2022.)

På basis av samma intervju ålägger ministeriet inte organisationerna att använda någon särskild utvärderingsmetod som grund för dokumentation av verksamheten. I allmänhet sker den kvantitativa dokumentationen av verksamheten mer systematiskt i organisationerna än utvärderingen av hur de fastställda målen uppnås. Enligt representanter för ministeriet och dess bistående kommitté är effektevalueringen i organisationsarbetet bara i ett tidigt utvecklingsstadium. Å andra sidan är ministeriet också medvetet om att inte ens kopplingen mellan framgångsrik organisatorisk verksamhet och till exempel utvecklingen av unga människors tillväxt och levnadsvillkor i samhället i stort kan rapporteras kausalt fullt ut. (Gruppintervju 24.3.2022.)

3.3.2 Sverige

3.3.2.1 Ifrågasättande av utvärderingskriterier som angetts av finansieringsorganen

Fryshuset, som är verksamt på mer än 60 orter i Sverige

Fryshuset har projekt och allaktivitetshus i olika utsträckning i Göteborg, Hammarby Sjöstad, Helsingborg, Husby, Malmö, Nacka, Nybro, Torsås och Östra Göinge.

, var den huvudsakliga partnern i landet i detta projekt. Fryshuset är verksamt inom fyra områden: Arbete och entreprenörskap, Föredöme och framtidstro, Skolor och Ungdomskultur. Fryshuset är också verksamt i andra länder, bland annat i Norge, Kuba, Nederländerna, Armenien och Danmark. Verksamheten finansieras exempelvis genom donationer av stiftelser och företag samt genom offentlig finansiering av städer och staten. Fryshusets grundläggande princip är att grunda verksamheten på de ungas behov. Strategin är att först ta reda på hur de unga har det och vad de behöver, och sedan ansöka om finansiering för denna verksamhet. Fryshuset publicerar mycket litteratur, både behovsrapporter och projektresultat. (Fryshuset, intervju, 25.3.2022.)

Fryshuset anser att utvärderingskraven under de senaste fem åren har skärpts som ett villkor för att få finansiering till exempel från företag. Utvärderingen måste planeras, den avsedda effektiviteten och den typ av utvärderingsdata som används för att kontrollera effektiviteten måste identifieras i förväg. Tidigare var finansieringsorganen mer intresserade till exempel av antalet unga. Sedan 2019 har organisationernas personal fått instruktioner om att använda en utvärderingsmetod baserad på förändringsteorin/-teorierna. Förändringsteorin används allmänt i Sverige som grund för organisationernas utvärdering, och användningen av den är en del av målet för Giva Sverige, som garanterar den etiska karaktären på kapitalanskaffningen och kräver att dess organisationer följer utvärderingsprinciperna (Giva Sverige 2020). I praktiken innebär detta till exempel att varje organisation beskriver sin egen förändringsteori som en del av sin effektrapport och som är kopplad till Givas webbplats varje år. Bland Givas medlemsorganisationer finns cancerbekämpning, djurskydd, ungdomssektorn och äldreomsorgsorganisationer. Alla medlemmars effektrapporter finns på Givas medlemssida (Giva Sverige, medlemmar u.å.; se t.ex., Fryshuset 2020; samma sidor innehåller också effektrapporter av nästan alla organisationer som presenteras härnäst i denna rapport: Svenska Röda Korset 2021; Raoul Wallenberg Academy 2021; Mind 2021; Tjejzonen 2021).

Fryshuset är en del av en kommitté där organisationer, kommuner, olika forsknings- och utvecklingsorganisationer och företag samarbetar för att utveckla utvärderingssystem i syfte att standardisera indikatorerna för effektmätning (se Svenska institutet för standarder u.å.). Enligt Fryshuset syftar kommittén till att förse aktörer och finansieringsorgan med information om olika mätningar och terminologi som kan användas. Detta arbete pågår fortfarande och kommer att ta minst ett år att slutföra. (Fryshuset, intervju, 25.3.2022.)

Fryshuset strävar efter att utföra utvärderingar på lämplig nivå. Om projektet har som mål att åstadkomma stora samhällsförändringar måste det också synliggöras. I Fryshusets publikation Civilsamhallet i Orten (Nilsson Lundmark & Nilsson 2020) beskrivs hur projekt som eftersträvar förändring inte bara syftar till att snabbt lösa problem på operativ nivå utan också till att utveckla en försöks- och inlärningsstrategi med förtroendeskapande åtgärder i samarbete med deltagare och andra berörda organisationer. I detta fall söker man till exempel en lösning för att undvika att unga blir utanför utbildning och arbete genom att öka känslan av stolthet och hopp bland unga som bor i ett visst grannskap genom att uppmärksamma de strukturella aspekter som påverkar områdets atmosfär och kultur. Ett av de förväntade resultaten kommer att mäta den framtida tillväxten av ungas tro och framhäva de åtgärder som har bidragit till att uppnå detta mål. När det gäller strukturförändringar kommer planeringen och utvärderingen av verksamheten först och främst att övervaka behovet av Fryshusets verksamhet till den del som inte täcks av andra aktörer i området. För det andra framhävs i publikationen de åtgärder som vidtagits för att se till att effektiviteten också når den strategiska nivå som kommer att medföra de nödvändiga strukturella förändringarna. (Nilsson Lundmark & Nilsson 2020, 9, 21, 33–51.)

Ur Fryshusets synvinkel hänger utvärderingens utmaningar samman med det faktum att det ibland är omöjligt eller åtminstone svårt att fråga deltagarna och organisatörerna hur de känner sig, eftersom det tar lång tid att svara på enkäter och inte alla kan eller vill svara. Å andra sidan underlättas utvärderingen av det faktum att samma människor tenderar att delta i Fryshusets verksamhet om igen. I det fall brukar de unga känna sig trygga med instruktörerna och i situationerna vilket återigen underlättar diskussionen. Det är också värt att notera att ett långt frågeformulär i sig kan försvaga motivationen att svara. För att utveckla och utvärdera verksamheten krävs ett brett spektrum av information av deltagarna. Det finns dock ingen anledning att ställa alla frågor på en gång. Fryshuset har ställt frågor om olika saker vid olika tidpunkter. Till exempel samlar man in utvärderingsinformation om de ungas nöjdhet eller självkänsla vissa månader. Respondenterna är inte alltid desamma och ibland kan det hända att alla som är närvarande eller vissa grupper får frågor. Fryshuset anser också att flexibiliteten i utvärderingen är en viktig faktor. Enligt Fryshuset borde finansieringsorganen godta att utvärderingen är anpassad till verksamhetens art. I första hand bör utvärderingen stöda organisationen själv att fungera bättre, inte finansieringsorganens intressen. De unga är trots allt den viktigaste resursen för verksamheten och Fryshuset är tacksamt för att så många unga fortfarande vill delta och berätta hurdan verksamhet som behövs. (Fryshuset, intervju, 25.3.2022.)

3.3.2.2 Utvärdering kan inte endast utvecklas utifrån

Svenska Röda Korsets Ungdomsförbund organiserar verksamhet för och med unga på en bred front. Verksamheten omfattar till exempel grupper kring barns skoluppgifter, diskussioner om barns rättigheter, intressebevakning och att nå marginaliserade unga. En representant för organisationen säger i intervjun att effektiviteten också varierar från en individuell till en nationell nivå. År 2021 gjordes ett nytt strategiskt planerat tillägg: organisationen kommer att öka sin fysiska närvaro och organisera aktiviteter i lokala närområden i olika delar av landet. Organisationen anser att finansieringsorganens förväntningar på utvärderingarna har ökat. Finansieringsorganen kan definiera vad som borde mätas, men inte hur informationen samlas in. De är intresserade av effektiviteten, men detta avspeglas mer i tillämpningsfasen som ett prognoskrav, snarare än ingående i rapporteringen om hur medlen används. I en organisation som har varit verksam i många år, anses det vara lätt att förutsäga effektiviteten i och med att arbetsmetoderna under årens lopp har visat sig vara effektiva. (Svenska Röda Korsets Ungdomsförbund, intervju 27.4.2022b.)

Halvårsvis utvärderar Svenska Röda Korsets Ungdomsförbund vad som behöver utvecklas, och detta kan betraktas som den största utvärderingsprocessen. En extern utvärdering görs också med ett par års mellanrum och i den tillfrågas både personal och frivilliga hur väl målen har uppnåtts. Deltagarna i frivilligverksamheten har också en viktig roll i utvärderingen då de regelbundet tillfrågas om synpunkter på vad en viss verksamhet kan ha tillfört deltagarnas liv. De viktigaste framtida utmaningarna i utvärderingen är kopplade till hur organisationen bättre kan fastställa deltagarnas egna perspektiv. Eftersom många deltagare deltar i verkstadsverksamhet på samma gång, ställs frågorna till deltagarna i detta fall via enkäter. Om antalet deltagare i vissa verksamheter är litet används metoder för insamling av kvalitativa uppgifter. Å andra sidan är organisationernas förmåga att utvärdera alla sina åtgärder otillräcklig. Organisationen anser att finansieringen kommer att vara bättre tillgänglig i framtiden ju fler deltagare som har bidragit till utvärderingen. (Svenska Röda Korset, intervju 27.4.2022b.)

Svenska Röda Korsets Ungdomsförbund anser att utvärderingslösningar i olika typer av organisationer inte kan vara desamma eftersom organisationernas målgrupper, arbetssätt och sektorer är olika. Dessutom kan utvärderingen inte utvecklas helt utifrån eftersom det krävs exakta kunskaper om varje organisation och dess verksamhetsmiljö. Svenska Röda Korsets Ungdomsförbund anser att utvärderingen är så viktig och användbar att vi skulle ha nytta av en mer omfattande utvärdering. I detta fall skulle utvärderingen dock antagligen sluka alltför mycket resurser. (Svenska Röda Korsets Ungdomsförbund, intervju 27.4.2022b.)

3.3.2.3 Förändringar i värdegrund och tankar kan inte mätas i pengar

Sedan 2001 har Raoul Wallenberg Academy arbetat med unga och lärare för att bekämpa orättvisa och ojämlikhet enligt Raoul Wallenbergs exempel. Metoderna omfattar ett ledarskapsprogram för unga, olika skolprogram, lärarutbildning och materialproduktion. Akademins verksamhet handlar om internaliseringen av värderingar kring mänskliga rättigheter och demokrati och skapande av kunskap med unga om hur de kan uppnå förstärkta positioner och påverka världen vid en viss tidpunkt. Liksom för ungdomsorganisationer i allmänhet är utmaningen med utvärderingen att kontrollera verksamhetens vidare och mer långsiktiga effektivitet – organisationen drar slutsatsen att dess verksamhet till exempel inte är riktad mot att minska kostnaderna för samhället, även om bland annat bekämpning av drogmissbruk i viss mån kan ses som sådan. I stället syftar rapporten efter att belysa en förändring av värderingar och åsikter, trots att vissa av de organ som finansierar verksamheten fortfarande verkar vara mer intresserade av till exempel antalet organiserade aktiviteter och möten. Den som intervjuas poängterar att denna typ av inställning till utvärdering kan innebära att man i utvärderingen inte tar hänsyn hur unga känner inför aktiviteter och möten och huruvida de är goda eller dåliga. Organisationer tävlar inte endast om finansiering från exempelvis stiftelser utan också om enskilda personer som donerar jämför effektrapporter eftersom de vill att medlen ska användas så effektivt som möjligt

Ett exempel på en svensk debatt om så kallad effektiv altruism, det vill säga osjälviskhet (se Anderljung 2018).

. (Raoul Wallenberg Academy, intervju 13.5.2022.)

3.3.2.4 Adding value in relation to the Sustainable Development Goals of the United Nations

Organisationen The Mind främjar läsning av utvärderingslitteratur och lärande av utvärderingstips av andra organisationer. Samtidigt vill de behålla ett starkt egenansvar över hur utvärderingen bedöms och styrs. Ämnet som mäts ger bevis på sociala effekter som sedan kan rapporteras vidare. Det praktiska utvärderingsarbetet ger också en inlärningserfarenhet i att tolka indikatorerna och deras funktioner. Detta ger information om hur saken kan hanteras och skötas i framtiden. Enligt organisationen blir ideell verksamhet mer professionell i takt med att utvärderingen utvecklas vilket innebär att det finns mer betald arbetskraft och det går att kontrollera att värdena har uppnåtts på ett mer effektivt sätt. Det finns naturligtvis också en rädsla för att förlora organisationsidentiteten eller för att utvärderingen görs endast i syfte att erhålla finansiering och kontrollera användningen av den, inte för att målgruppen för verksamheten ska ha nytta av utvärderingen och att den ska vara en inlärningserfarenhet. I Mind baseras utvärderingsstrukturen på förändringsteorin som har finslipats med hjälp av värdekedjan (se Hanh & Hök & Jannesson 2016). Enligt värdekedjetänkandet är det viktigt att se till att verksamhetens mål beaktas och synliggörs till exempel inom ramen för FN:s mål för hållbar utveckling (se Förenta Nationerna u.å.). (Mind, intervju 27.4.2022a.)

En av de viktigaste tjänsterna som Mind erbjuder är Självmordslinjen som vem som helst i behov av hjälp kan kontakta via telefon eller chatt. 2019 genomfördes en utvärderingsprocess som gällde kontakter via chatten. Chattkontakterna var 27 000 till antalet, varav 4 500 som tog kontakt var unga personer under 24 år. Det bör också noteras att 135 av dem var barn i åldern 7 till 12 år. Personen som kontaktat tjänsten ombeds att delta i utvärdering av tjänsten i slutet av diskussionen. Med hjälp av en färdig lista med frågor tillfrågas personen vad de fick ut av diskussionen och vad de skulle ha gjort om diskussionen inte ägt rum. Utmaningen med utvärdering är att det ofta är svårt att motivera både de personer som känner sig svagast och de som känner sig starkast att utvärdera. Deltagarna i utvärderingen kommer alltid att ha yttrandefrihet och de kan använda den som de vill. Organisationen påpekar att utvärderingar alltid borde planeras så att de passar målgruppen. Det är omöjligt att fråga om allt, särskilt av dem som befinner sig i sårbara situationer. Gränserna för utvärderingarna borde fastställas så att också denna del av diskussionen gynnar tjänstens användare. (Mind, intervju 27.4.2022a.)

Även de frivilliga som deltar i diskussionen deltar i utvärderingen och utvärderar bland annat om de upplever att de kunde hjälpa dem som behövde hjälp. Diskussion om i vilken utsträckning det är möjligt att hjälpa till hjälper både organisationen att utveckla sin tjänst och de frivilliga att klara av arbetet. Åtgärderna kan ha varit riktiga och samtalet framgångsrikt, även om en ändring inte skedde eller var synlig. Och även om åtgärderna var effektiva är det viktigt att komma ihåg att personer som kontaktar tjänsterna ofta också har andra kontakter. Det innebär att en eventuell förändring inte kan spåras tillbaka till någon särskild organisation. Åtminstone har Minds verksamhet ett betydande värde när det gäller att skapa ytterligare en diskussionskanal och Mind samarbetar med andra aktörer för att bygga upp ett säkerhetsnät. (Mind, intervju 27.4.2022a.)

3.3.2.5 Utvärderingssätten är många och att hitta det bästa sättet för den egna verksamheten kan ta tid

Det finns olika utvärderingsmetoder och det kan ta tid att hitta de bästa metoderna för verksamheten. År 2018 publicerade Mötesplats Social Innovation, eller MSI, studien Alla pratar om det men få gör det – en handbok i effektmätning. I studien diskuteras modeller för utvärdering av sociala effekter och aktörerna som har bidragit till att utveckla modellerna och fortsättningsvis utvecklar dem för att möta behov hos företag och organisationer. Studien är en handbok som presenterar perspektiv på att mäta sociala effekter samt innebörd, bakgrund och mätmetoder. Syftet med handboken är att stegvis dechiffrera effektmätningsprocessen för läsaren. Redaktören för handboken, Erika Augustinsson, nämner samma fenomen i förordet till handboken som vi har stött på i diskussioner med intervjupersonerna: effektmätningar är ett bra sätt att klargöra och stärka organisationens egna mål och att kommunicera om effektiviteten och utvecklingen av arbetet till finansieringsorganen. Samtidigt kräver effektmätning resurser och sakkunskap, vilket gör att det kan vara svårt att genomföra den parallellt med den huvudsakliga verksamheten. (Augustinsson 2018, 5.)

MSI är en sakkunskaps- och samarbetsplattform som grundats av Malmö universitet och som kombinerar social innovation och socialt företagande. Till dess partner hör flera universitet och Malmö stad. Målet för MSI är att bygga upp innovationskapacitet med institutioner för högre utbildning, företag samt aktörer inom den offentliga och den tredje sektorn, och därmed möjligheter att möta dagens samhällsutmaningar. (Augustinsson 2018.)

I handboken granskas olika metoder för effektevaluering, såsom Pestel-analysen (analys av politiska, ekonomiska, sociala, tekniska, miljömässiga och rättsliga faktorer) för utvärdering av företagsmiljöer och SWOT-analyser (analys av styrkor, svagheter, möjligheter och hot). Vid utvärdering som bygger på förändringsteorin rekommenderas att man mäter verksamhetens utgångsläge, antalet åtgärder, resultaten och de sociala effekterna, och använder dessa mätningar vid kontrollen. Mätmetoderna kan vara undersökningar eller intervjuer, beroende på verksamhetens art och målgrupp. I handboken betonas beredskap att ändra frågorna som används utifrån tidigare mätningar och erfarenhet från verksamheten. Dessutom betonas i handboken vilken viktig roll reflektion har för att fastställa effektiviteten i förhållande till grundscenariot och data som samlats in under verksamheten. (Augustinsson 2018, 13–29.)

MSI-handboken presenterar praktiska exempel på effektmätning och aktörer som tillhandahåller tjänster för att hjälpa företag och organisationer med frågor som rör kvalitetsutveckling och effektevaluering. Exempel utgörs av Tjejzonen, vars nuvarande utvärderingsmodell skapades i samarbete med organisationen Social Initiative (se även Prine 2018).

Tjejzonen är en ideell organisation baserad i Stockholm med uppdraget att erbjuda trygga rum för flickor i åldern 15–25 år för att träffas och umgås. På så sätt stöds flickors och unga kvinnors psykiska välbefinnande. De viktigaste tjänsterna hos organisationen Tjejzonen är en chatt på webben dygnet runt samt storasyster- och lillasysterverksamhet. (Larsson et al., 2016.) Ansträngningar görs ständigt för att utveckla verksamheten i samverkan med referensgruppen och på grundval av deras behov (Tjejzonen 2016). Under 2011–2014 genomförde Örebro universitet ett forskningsprojekt om Tjejzonens könsorienterade förebyggande drogarbete som genomfördes som systeraktiviteter för flickor. I studien undersöktes bland annat hur viktig systerverksamheten är för flickor och frivilliga och hur den påverkar dem. Materialet samlades in både i form av enkäter och intervjuer med unga och frivilliga som deltog i verksamheten under flera år. Utmaningen i den longitudinella studien var att nå deltagarna. Den första undersökningen hade 109 deltagare i rollen som småsystrar. Av dem valde 17 att svara anonymt, vilket innebar att ytterligare frågeformulär inte kunde skickas till dem. Svarsfrekvensen var låg i den andra och tredje undersökningen och därmed kunde inga allmänna slutsatser dras. (Larsson et al., 2016.) Efter utvecklingsprojektet har Tjejzonen sedan 2015 fortsatt utveckla ett eget verktyg för effektevaluering som bygger på förändringsteorin (Tjejzonen 2018)

Ett exempel på de utvärderingsutmaningar som nämns i MSI:s handbok är särdragen i systerverksamheten som Tjejzonen ordnar och som är en utmaning för organisationen när det gäller övervakning och effektevaluering. För många unga är anonymt deltagande och ett strikt skydd av privatlivet en förutsättning för att de ska söka sig till verksamhet, vilket är orsaken till att det kan vara svårt att utföra omfattande övervakning och effektivitetsstudier (Tjejzonen 2016). För närvarande mäts organisationens effektivitet utifrån omfattningen av dess verksamhet som bygger på antalet interaktioner och chattdiskussioner på webben och i närkontakt samt frivilliga undersökningar av tillfredsställelsen som deltagarna kan svara på om de vill (Tjejzonen 2020). Tjejzonen rapporterade att utvärderingen och metoderna för att aktivt studera effektiviteten av verksamheten fortfarande utvecklas (e-postkommunikation 17.1.2022.)

3.3.2.6 Utöver utveckling av utvärderingar kan även andra utvecklingsåtgärder vara nödvändiga

En intervjuperson från Gröna Studenter talar om en situation där de viktigaste utvecklingsbehoven hänger ihop med allt magrare verksamhet, snarare än att utvärdering övervägs. Organisationen får medel från partiet i enlighet med en viss processandel, även om det har funnits press på att minska denna andel. Under valår är verksamheten till stor del knuten till valet. Andra gånger är verksamheten mer omfattande och inkluderar att lära känna beslutsfattandet, att ta initiativ kring partiinriktningen och att ge medlemmarna möjligheter till förstärkning på olika sätt. Organisationen påpekar att verksamhetens resultat är mycket kontextualiserade och att även det minsta resultatet kan vara betydande när verksamheten bedrivs med begränsade resurser. När verksamhetens omfattning bedöms ska man beakta att partiernas och välgörenheternas attraktionskraft som en finansieringskälla kan variera avsevärt över tiden, till exempel på grund av politiska cykler eller allmänna diskussioner, och att finansieringsmängden påverkar verksamhetens omfattning. (Gröna Studenter, intervju 13.5.2022b.)

3.3.2.7 Ungdomsorganisationernas experimentella kunskaper tas på allvar i den myndighetsstyrda utvecklingen av instrument för effektevaluering

Myndigheten för ungdoms- och civilsamhällesfrågor (MUCF) är en myndighet som syftar till att regeringens politiska mål i frågor kring ungdomar och civilsamhället möts. Mål som fastställs i lag kan inbegripa ett positivt bidrag till utvecklingen av ungas förmåga att organisera eller förbättra tjänsternas kvalitet. Som ett resultat av mandaten av regeringen kommer effektiviteten av MUCF-finansieringen att bedömas mer i detalj. Effektevalueringen utvecklas med hjälp av intervjuer i organisationer som har fått finansiering av myndigheten att samla in synpunkter på hur effekterna av en viss verksamhet kan bidra till att mer omfattande mål nås

Dessa intervjuer har rapporterats till exempel i publikationen Organisationsbidragens användning och effekter 2021. Återrapportering av tre statsbidrag till ideella organisationer (Löving 2021).

. (MUCF, intervju 28.4.2022.)

Syftet med myndighetens arbete med utveckling av utvärderingen är att hitta en utvärderingsmetod som skulle möjliggöra jämförelse av olika aktiviteter genom att gå längre, kombinera och utmana befintliga utvärderingsmetoder. Uppgiften beskrivs som utmanande då myndigheten anslår flera olika typer av medel. De erbjuder stöd till projekt som syftar till att bekämpa rasism, och organisationer som arbetar med olika ålders-, språk- och kulturgrupper såsom ungdomsorganisationer. Bakom de finansierade verksamheterna ligger ett brett spektrum av lagar som beskriver de mål som eftersträvas. Det är också svårt att visa på hur korttidsfinansierade perioder kan leda till långsiktiga effekter, särskilt när organisationer, verksamheter och samhället ständigt förändras. (MUCF, intervju 28.4.2022.)

3.3.3 Norge

3.3.3.1 Att hålla civilsamhället livskraftigt

Landsrådet för Norges barn- och ungdomsorganisationer (Landsrådet for Norges barne- og ungdomsorganisasjoner, LNU) är paraplyorganisation för 102 organisationer som arbetar med barn och unga. Liksom i Danmark är paraplyorganisationen i Norge också engagerad i att distribuera statlig finansiering till sina medlemsorganisationer. I praktiken kan finansiering till ungdomsorganisationer huvudsakligen erhållas från två källor. Det nationella verksamhetsunderstödet består av ett årligt grundunderstöd som bestäms av ministeriet och ett värderingsbaserat understöd som förändras. De ekonomiska förslagen läggs fram av Fordelingsutvalget (Fördelningsnämnden), ett administrativt organ under det norska barn- och familjeministeriet. Det består av sju medlemmar som utses av ministeriet, av vilka tre väljs av organisationerna och minst två måste föreslås av LNU, paraplyorganisationen för barn- och ungdomsorganisationer. En del av organisationerna ansöker naturligtvis också om finansiering direkt från ministerierna. (se Fordelingsutvalget for tilskudd til frivillige barne- og ungdomsorganisasjoner. u.å.; LNU, intervju 21.3.2022.)

Ungdomsorganisationer (förutom till exempel idrottsorganisationer med egna kommittéer) kan ansöka om nationella grundunderstöd, om de arbetar riksomfattande med barn och ungdomar samt med frågor som rör och som involverar barn och unga. Organisationerna måste också uppfylla andra finansieringskriterier. Dessa omfattar tillgänglighet och icke-diskriminering, tydligt fastställda regler, budgetar, bokslut och årsredovisningar för både centrala och lokala organisationer, en demokratisk struktur som gör det möjligt för alla över 15 att delta, nationella val som hålls minst vart fjärde år, ett centralt medlemsregister och minst 700 medlemmar. Det måste finnas minst fem lokala organisationer. När det gäller mindre organisationer kan villkoren för medlemskap vara mer flexibla och organisationerna kan också ansöka om ett separat understöd för att täcka organisationens startkostnader. (Forskrift. u.å.; se också rapporten Fordelingsutvalget 2019.)

Den betydande finansiering som LNU tillhandahåller på området gäller olika fria verksamhetsgrupper som har möjlighet att ansöka om understöd från Frifond, som upprättades av det norska parlamentet 2000 och som kanaliserar överskottet från hasardspel. Frifonds finansiering är avsedd att göra det möjligt för barn och unga att genomföra självständiga projekt och aktiviteter, både i form av verksamhetsunderstöd och projektunderstöd. Frifonds projektunderstöd är tillgängliga för teater- och musikprojekt liksom för projekt som ordnas av barn och unga. Musikunderstöden förvaltas av Norsk musikkråd och omfattar ett understöd för att återuppliva barns och ungas musikgrupper och verksamheter efter pandemin. Teaterunderstödet liksom understöden för barn och unga koordineras av paraplyorganisationen för unga LNU. Frifonds finansiering marknadsförs som den enklaste och minst byråkratiska ansökningsprocessen i landet. (LNU, støtteordninger. u.å.; Frifond, om Frifond. u.å.; Frifond, om Frifond-ordningene. u.å.; Frifond, retningslinjer for støtte. u.å.; Norsk musikkråd, frifond. u.å.; LNU, intervju 21.3.2022.)

I Norge spelar centralorganisationen en aktiv roll i att övervaka intressena inom sektorn för ungdomsorganisationer när det gäller den offentliga förvaltningens beslutsfattande om finansieringskriterier. Enligt LNU:s representant finns det inget krav på att aktivt specificera verksamhetens effektivitet när det gäller tilldelning av finansiering och rapportering. Det beror på att verksamheten i många organisationer, såsom studentorganisationer och politiska organisationer har verksamhet som tar år, till och med årtionden. Intressena hos beslutsfattarna, regeringens relativa styrka och tidsplaner påverkar genomförandet. Dessutom kan det alltid finnas aspekter av lärande och lycka genom misstag. LNU anser att utvärdering av vilket parti som har mest inflytande blir en farlig trend. Det är svårt att förutse och rapportera en prestation. Det är också svårt att tolka om orsakssambandet uppnås exakt genom vad som har gjorts och vad som kan mätas. Det är också möjligt att då effektmätning betonas, får institutionaliserade och stora organisationer som har resurser för att utveckla mätverksamhet övertaget. (LNU, intervju 21.3.2022.)

I LNU är utvärderingen främst inriktad på den demokratiska förvaltningen av de verksamheter som organiseras genom finansiering. Med detta i åtanke är de viktigaste frågorna i utvärderingen följande: Hur väljer man mellan olika verksamhetsalternativ, deltar unga i beslutsfattandet, hur nöjda är medlemmarna och utvärderas organisationskultur och praxis regelbundet? LNU bidrar också till att säkerställa att kriterierna för finansiering och att ansöknings- och rapportblanketter hålls så enkla att organisationer på alla nivåer kan ansöka om finansiering och att alltför mycket av de sökandes resurser inte spenderas på ansökan. Enligt LNU finns det ett inneboende värde i att bevara mångfalden i civilsamhället, liksom i att samarbeta i civilsamhället, att påverka andra människor och att skapa ett demokratiskt samhälle. (LNU, intervju 21.3.2022.)

I följande exempel från Norge diskuteras utmaningarna med utvärdering när det gäller att förbättra världen, möjligheterna att motivera behovet av verksamhet genom vetenskapliga data och att utveckla tillgänglighet, attraktionskraft och matchning av verksamhet med ungas behov.

3.3.3.2 Hur utvärdera om vår verksamhet har lett till en minskning av ojämlikheten

Arbetet som Changemaker Norway utför för att avhjälpa orättvisan i världen innefattar ständiga möten med politiker, lobbyverksamhet, upprätthållande av pressrelationer, organisering av demonstrationer, skolbesök, miljöprojekt, veckoslutsmöten och anordnande av ledarskapsstudier. Organisationen anser att det är viktigt att utvärderingen är lika mångsidig som verksamheterna. En organisation kan organisera evenemang för att analysera kampanjer på sociala medier för att aktivera unga. De kan ägna uppmärksamhet åt att öka ungas kunskaper genom utbildning och kurser. De kan också bekräfta hur de hanterat lokala händelser.

Enligt organisationens representant är debatten om hur man ska framhäva effekterna av verksamheten ännu inte särskilt långt framskriden. Det finns dock ett konkret exempel. När internationell beskattning diskuterades i regeringen fick de respons på att utan organisationens verksamhet skulle vissa av förändringarna inte ha nåtts. Organisationen har varit verksam i 30 år, och det är möjligt att vissa av de saker som gjordes för 20 år sedan först nu börjar få effekt. (Changemaker Norway, intervju 6.5.2022.)

Organisationsrepresentanten som intervjuades poängterar att det är svårt att se förändringen i politiken liksom när det gäller barn och unga. Enligt representanten måste vi komma ihåg att även den minsta kontakten med en 14- eller 15-åring kan vara början på en betydande interaktion. Unga accepterar inte automatiskt vem som helst som samtalspartner. Detta måste var och en förtjäna genom sina handlingar från det första mötet. (Changemaker Norway, intervju 6.5.2022.)

Changemaker Norway förväntar sig att utvärderingen kommer att utvecklas. En av utmaningarna är att inte många av de unga som är involverade är medlemmar i organisationen och att de deltar endast under en kort tid. De unga är intresserade av verksamheten, inte av att utvärdera den. Det skulle inte finnas någon utvärderingskultur utan organisationens anställda. Den kvartalsvisa diskussionen med organisationens styrelse, som utvärderar hur saker och ting går och vad mer som behövs, spelar en viktig roll. Finansiering kommer från flera olika källor, och olika parter begär rapportering på olika sätt. Organisationen har tur i att de största finansieringsorganen har allt under kontroll, en tydlig bild av vad som kan förväntas av verksamheten i en organisation som denna och hur utvärdering och rapportering kan göras. (Changemaker Norway, intervju 6.5.2022.)

3.3.3.3 Inget behov av att mäta allt själv om det finns andra pålitliga organ som kan erbjuda en grund att bygga på

Organisationen Psoriasis- och eksemförbundents unga i Norge (Psoriasis- og eksemforbundents ung i Norge, nedan PEF-unga) erkänner vikten av att träffa andra människor i samma ålder och i samma situation till exempel när det gäller ett sjukdomsrelaterat särdrag. Det är viktigt att delta i verksamhet som gör det möjligt att bli av med känslan av skam och stigmatisering. Det är emellertid nästan omöjligt att mäta förbättringen av självkänslan till följd av en viss verksamhet. Därför har organisationen i fråga funnit att avsnittet om bakgrundsinformation är särskilt viktigt när det gäller att göra finansieringsansökningar. I detta avsnitt kan en organisation hänvisa till resultaten från olika forskningsgrupper. Enligt dem kan personer med en specificitet lätt kan drabbas av problem såsom psykiska hälsoproblem och farhågor. Dessa kan förebyggas genom att till exempel ha vänner och en förtrolig atmosfär där man kan tala och träffa andra i samma situation. Det kanske inte är lika lätt att tala med andra som inte fullt ut förstår problemet. Organisationen bygger upp sin sakkunskap på exakt vad medlemmarna behöver och på sin förmåga att organisera det för medlemmarna. Finansieringsansökningar måste framhäva behoven, omvandla dem till mål och definiera hur de ska uppnås. Organisationen själv har inte möjlighet att bedriva grundlig vetenskaplig forskning, och därför är det bra att det finns pålitliga organ vars forskning man kan hänvisa till. (PEF-unga, intervju 2.6.2022.)

Även om PEF-unga ännu inte har försökt göra någon omfattande effektevaluering utför de fortfarande utvärderingar. Efter mötena tillfrågas deltagarna om de är nöjda med hur mötena organiserats och till exempel om gäster (såsom läkare specialiserade på dermatologi eller reumatologi osv. eller fysioterapeuter el.dyl) lyfte fram de utvalda ämnena tillräckligt tydligt och om deltagarna ansåg att ämnena var relevanta. När det gäller genomförandet av olika projekt utvärderade organisationen resultatet av verksamheten tillsammans med deltagarna, till exempel serier om specificitet och om människor är nöjda. När de färdiga arbetena, till exempel serierna, publiceras på sociala medier skapas synlighet som kan bidra till att öka medvetenheten. I detta fall kan till exempel antalet klick som serierna får dokumenteras. Organisationen fick också kvalitativ återkoppling på serierna av exempelvis yrkespersoner som hyllade serien för att den var lämpligt informativ och tog hänsyn till målgrupperna. Yrkespersonerna uppgav också att de gärna skulle dela serierna med barn och unga med specificiteten i fråga. (PEF-unga, intervju 2.6.2022.)

Enligt en representant för PEF-unga är det möjligt att de ökade kraven på utvärdering kommer att öka professionaliseringen av verksamheter på ett sätt som ökar avståndet till gräsrotsverksamhet. PEF-unga anser att finansieringsansökningarna som erbjuds av olika enheter är mycket olika när det gäller standarder; vissa är mycket svåra. Enligt representanten för PEF som intervjuades kan man få fel uppfattning av verksamheten inom sektorn genom att läsa finansieringsansökningar och listor av sökande, eftersom vissa organisationer inte kan ansöka om viss finansiering på grund av resursbrist. PEF-unga har lyckats hitta de finansieringskanaler som är tillgängliga för dem. Dessa finansieringsorgan har det tidigare nämnda avsnittet om bakgrundsinformation där forskningsdata som tagits fram av andra organ om behoven hos organisationens medlemssektor kan läggas till. Intervjupersonen hävdar att utan avsnittet skulle det vara omöjligt att göra en ansökan. (PEF-unga, intervju 2.6.2022.)

3.3.3.4 Kumulering av kunskap om dem som deltar och hur man kan hjälpa dem som inte deltar att engagera sig

I sin forskningsrapport Samfunnsengasjert ungdom. Deltakelse i politikk og organisasjonsliv blant unge i Oslo, som publicerades 2017, undersöker Guro Ødegård och Adun Fladmoe ungas deltagande i frivilligarbete och politisk verksamhet i Oslo. Syftet med studien var att ta reda på hur många unga som deltar i verksamheten som organisationer eller politiska ungdomsorganisationer ordnar och om det har skett några förändringar under de senaste tjugo åren. Dessutom syftade studien till att identifiera skillnader i deltagande mellan olika kön och mellan unga från olika etnisk och socioekonomisk bakgrund. Variabler som beaktades vid jämförelsen var till etnisk bakgrund, bostadsområde, socioekonomisk status och föräldrarnas organisatoriska aktivitet. I studien undersöktes dessutom om samma unga alltid deltar i organisationer och politisk verksamhet, hurdan verksamhet som uppfattas som attraktiv och om vissa grupper utesluts. (Ødegård & Fladmoe 2017.)

I denna studie används resultaten från undersökningen Ung i Oslo 2015, som fler än 24 000 högstadie- och gymnasieelever (i åldern 13–19 år) från Osloregionen svarade på. Uppgifterna från 2015 jämfördes med data från 2006 och 2012 för att se utvecklingen från olika årtionden. Omkring två tredjedelar (65 %) av alla svarande deltog i minst en organisations verksamhet. Idrottsorganisationer var mest populära bland de unga. Denna sektor uppvisade också de största skillnaderna när det gäller ungas minoritetsbakgrund och socioekonomiska bakgrund. Flickor som tillhör minoriteter var underrepresenterade i organisationerna. Allra minst deltog dessa flickor i idrottsorganisationers verksamhet. Barn till föräldrar som var aktiva i organisationer var mest aktivt engagerade, medan skillnaderna i politiskt deltagande mellan minoritets- och majoritetsunga inte var särskilt stora. Utgående från uppgifterna verkar unga var åtminstone lika aktiva, om inte något mer aktiva, i organisationssektorn som de var för 10–20 år sedan. Studien publicerades av forskningscentret Senter for forskning og frivillig sektor. (Ødegård & Fladmoe 2017.)

Samma år publicerade samma forskningscenter också en annan intressant publikation om temat: Norsk frivillighet: Utviklingstrender og samfunnseffekter (Kraglund & Enjolras 2017). I publikationen undersöks minoriteters deltagande i civilsamhället, hur organisationerna fungerar, vilka utmaningar de står inför i sitt arbete och hur samarbetet med de kommunala myndigheterna uppfattas. Enligt publikationen kan organisations- och frivilligverksamheten ha varierande sociala effekter: direkt eller indirekt, kortsiktig eller långsiktig samt påverka enskilda personer, lokalsamhällen och samhället i stort. Effekter på folkhälsa, integrationsarbete, räddningsverksamhet och förebyggande insatser mot radikalisering kan användas som exempel. Enligt publikationen är personer med invandrarbakgrund i Norge relativt väl integrerade på arbetsmarknaden och inom utbildning jämfört med andra OECD-länder. Jämfört med majoriteten av befolkningen är emellertid deltagandet bland minoritetsrepresentanter i civilsamhället mer begränsat. I publikationen beskrivs hur organisationsverksamhet och frivilligarbete kan skapa och stärka nätverk, skapa en kultur av ömsesidighet och öka den sociala inkluderingen, vilket särskilt skulle gynna invandrare. (Kraglund & Enjolras 2017, 63–65.)

Publikationen Norsk frivillighet: Utviklingstrender og samfunnseffekter granskar också den longitudinella undersökningen från 2012 och 2015. En artikel som ursprungligen publicerades 2012, Rekruttering av barn og unge til frivillige organisasjoner. Barrierer, tiltak og institusjonelt samarbeid om uppstartfasen av en studie undersökte deltagande bland unga i organisationsverksamheten i fyra norska städer (Ødegård, Steen-Johnsen och Ravneberg 2012). I artikeln betonas de hinder som unga människor möter i fråga om att delta i organisationsverksamhet på en individuell, organisatorisk och social nivå samt hur organisationerna har avskaffat hindren. Särskilt uppmärksammades deltagandet bland unga från etniska minoriteter som är mindre benägna att delta i ungdomsorganisationers verksamhet, såsom idrotts- och fritidsorganisationer, än resten av befolkningen. Materialet samlades in förutom genom dokumentär analys också genom intervjuer med vuxna representanter för skolor och idrottsklubbar. Studien visade att tröskeln att delta är lägst i fråga om idrottsorganisationers verksamhet eftersom de inte driver någon religiös eller politisk agenda som skulle kunna hindra unga med invandrarbakgrund från att delta. I studien konstaterades till exempel att deltagandet bland flickor som tillhör etniska minoriteter är särskilt lågt och de lägger ofta av med sina hobbyer i början av puberteten. På individnivå utgjordes hindren för deltagande av socioekonomiska resurser och svåra familjeförhållanden, dåliga kunskaper i norska, bristande erfarenhet av lokal organisationskultur samt religiösa och/eller kulturella sedvänjor. På organisationsnivå utgjorde till exempel bristen på frivilliga och kontinuiteten i verksamheten en utmaning. (Ødegård et al. 2012, 88.)

Artikeln innehåller också en översyn över de strategier och åtgärder som vidtagits för att engagera unga i dessa organisationer. Åtgärder inom olika områden var att kommunicera muntligt och ansikte mot ansikte i stället för skriftligen med de ungas föräldrar, att engagera de unga i planeringen av verksamheten, att erbjuda förebilder, att göra verksamheten mångsidigare samt att utöva samarbete mellan kommunala aktörer och organisationer när det gäller att kommunicera med och nå ut till unga. Enligt artikeln krävs det en tydligare koordinering för att få med och involvera unga samt långsiktiga mål ur dessa perspektiv för att engagera de unga i verksamheten. (Ødegård et al. 2012, 90–93.)

I en annan studie som publicerades 2017, Levende drabantbyer Ungdoms deltakelse i organiserte fritidsaktiviteter i flerkulturelle lokalsamfunn, undersökte Ingunn Eriksen och Lars Frøyland ungas deltagande i fritidsaktiviteter. Ett intresseområde i studien var i vilken utsträckning unga deltar i fritidsaktiviteter. I studien undersöktes också organisationernas medel och strategier för att få med unga i fritidsaktiviteterna. Man undersökte samma kommuner som i den föregående studien. De har alla en relativt stor andel invånare med invandrarbakgrund, upp till 50 procent av stadens totala befolkning. Eftersom det var en tid sedan den föregående studien 2012, var det möjligt att identifiera effekterna av de tidigare rekryteringsåtgärderna vid övervakningen. Varje stad hade under de senaste fem åren tagit initiativ till eller genomgått fysiska och sociala åtgärder för att utveckla området och förbättra tjänsterna. När det gäller att utveckla organisationsverksamheten syftade åtgärderna till att utveckla ett system som gör det möjligt att mer systematiskt lyssna till de ungas perspektiv och att starta nya fritidsgrupper utifrån ungas önskemål. (Eriksen & Frøyland 2017.)

3.3.4 Danmark

3.3.4.1 Demokrati som ett viktigt utvärderingskriterium

I Danmark är projektets partner paraplyorganisationen för barn- och ungdomsorganisationer Danska ungdomsrådet (Dansk Ungdoms Fællesråd DUF), som har 80 medlemsorganisationer. DUF har som mål att främja möjligheter för unga att påverka, stärka deras delaktighet och tillfällen till dialog samt att engagera unga i demokrati, samhälle och organisationer på nationell och internationell nivå. (DUF, information om organisationen u.å.)

I likhet med den centrala organisationen i Norge har DUF en viktig roll i Danmark mellan centralförvaltningen och organisationerna. Dess roll kan beskrivas som finansdistributör, finansieringsorgan, lobbyaktör och portvakt (DUF, intervju 15.3.2022). Härnäst kommer vi att först att redogöra för dessa roller när det gäller finansiering och finansieringsrelaterade kriterier, såsom demokrati. Därefter följer en kort genomgång av DUF:s roll som lobbyist och portvakt, och vi ger några exempel på ungdomsorganisationernas utvärderingar.

Förutom att DUF finansierar organisationernas verksamhet, bidrar den också till fördelningen av statsunderstöd och hasardspelsöverskott till medlemsorganisationerna. Bland kriterierna för finansiering av ungdomsorganisationer ingår organisationens aktiva verksamhet i olika delar av landet, demokratiskt styre och arbetsmetoder, gemenskapsanda, aktivt deltagande och aktörskap bland unga, tillgänglighet för alla, utveckling av verksamheten, respons av de unga samt systematik i rapporteringen. Dessutom kan organisationerna välja att identifiera andra mål som är nära kopplade till deras verksamhet och rapportera om huruvida dessa mål har uppnåtts. (DUF, intervju 15.3.2022.)

Organisationer kan ansöka om finansiering för både grundläggande och specifika verksamheter. Många organisationer har ett antal finansieringskällor, både offentliga och privata. Ansökningar om finansiering från DUF bedöms i samarbete mellan DUF och kulturministeriet. Ungdomsorganisationer liksom idrottsorganisationer och aktörer i civilsamhället i allmänhet finansieras ofta genom det överskott som genereras av hasardspel. Å andra sidan finansierar många andra ministerier också organisationernas verksamhet. Organisationer som inte är medlemmar i DUF ansöker om finansiering direkt från exempelvis finansministeriet. (DUF, intervju 15.3.2022.)

Intervjupersonen berättar att DUF främjar demokratiska ideal i sin verksamhet och anser att det finns ett behov av att ”utbilda demokratiska muskler i organisationer”. Enligt intervjupersonen är det lätt att tro att den ökade demokratiska verksamheten påverkar endast exempelvis politiska ungdomsorganisationer när den i själva verket påverkar alla, såsom studentorganisationer och fredsrörelser. DUF har noterat att när aktörer samlas för att reflektera över demokratisk praxis tenderar aktörer med mycket olika bakgrund att finna en gemensam grund. (DUF, intervju 15.3.2022.) DUF har bland annat påverkat kriterierna för utdelning av hasardspelsvinster, vilket kräver att de organisationer som får stöd har en demokratisk struktur. Detta anses å sin sida bevisa att organisationer främjar sina medlemmars demokratiska engagemang och förståelse för demokrati. Det måste också finnas inslag i verksamheten som stöder social inkludering. Dessutom måste unga få möjligheter att utveckla sin kompetens, såsom ansvarstagande, samarbetsförmåga och ledarskapsförmåga genom organisationernas verksamhet. Stöd från samma finansiering till initiativet att organisera oberoende aktiviteter för barn och unga kan också anses främja demokrati (se Tipsungdomsnævnet 2016 Tilskudsbekendtgørelsen §1, §2, §27.)

DUF noterar att de indikatorer den fastställer i allmänhet inte är strikta utan snarare vägledande, eftersom det viktigaste målet med ”civilsamhällets DNA” är att skapa demokratiskt fungerande gemenskaper. Stora projekt syftar till exempel inte till att rapportera om enskilda personers tillväxt, utan om verksamhetens storlek och andra allmänna indikatorer. I sin egen verksamhet samarbetar DUF exempelvis med skolor och där uppmuntras unga att påverka. DUF undersöker till exempel väljarentusiasm både före och efter verksamheten. (DUF, intervju 15.3.2022.)

För sin egen kunskapsbas, sina medlemsorganisationers kunskapsbas och samhället i stort har DUF sedan 2011 genomfört undersökningen Demokratianalysen för att identifiera ungas attityder, sociala inkludering och deltagande i organisationer samt digitala färdigheter. I resultatrapporten från 2021 presenteras bland annat ungas medlemskap i olika organisationer och formerna av deras deltagande i det politiska livet. I rapporten undersöks också de ungas åsikter om utvecklingen i Danmark och i världen, liksom deras intresse för politik och sociala frågor. Utvärderingen görs årligen och jämförelsen ger oss en uppfattning om de förändringar som sker i ungas attityder och delaktighet. Uppgifterna som användes i undersökningen Demokratianalysen samlades in via paneler på webben under en treveckorsperiod. Uppgifterna omfattade sammanlagt ungefär 1 700 webbintervjuer, av vilka nästan 600 utfördes med unga i åldern 16–25 år, medan de återstående 1 100 gjordes med personer som var minst 25 år gamla. (Dansk Ungdoms Fællesråd 2021.)

I intervjun säger en representant för DUF att organisationer använder ett oändligt antal olika utvärderingsmetoder, såsom narrativ eller kvantitativ rapportering. Enligt representanten finns det också organisationer vars utvärdering mer påminner om rapportering än om utvärdering. Många av dessa organisationer strävar dock efter att ställa upp mätbara mål. För de partipolitiska ungdomsorganisationerna kan denna typ av mål gälla att öka ungas valdeltagande i ett visst område. Å andra sidan noterar den som intervjuas att allt inte kan mätas. Det är särskilt svårt när en organisation försöker genomföra något nytt, och saker och ting inte går enligt planerna. Med detta i åtanke antyder representanten att kärnan i organisationsverksamheten till sist och slut handlar om att lära sig genom att göra. (DUF, intervju 15.3.2022.)

Tillsammans med sina medlemsorganisationer har DUF sammanställt en verktygslåda från olika källor för utvärdering av internationella projekt. Paketet innehåller ett avsnitt som stöder självutvärderingar för gruppen som genomfört ett projekt. Gruppen får här möjlighet att fundera över om det som planerades har genomförts, om arbetet har haft någon effekt och om de rätta sakerna har gjorts. Det finns flera verktyg för att förbättra projektet. Man kan till exempel belysa de positiva och negativa effekter som har uppstått under projektet, specificera om effekterna tros ha orsakats av projektet eller av något annat, registrera de största förändringarna och placera projektet på en tidslinje. De ger också vägledning för att bygga upp en logisk kedja från projektets huvudsakliga mål, delmål och funktioner på ett sätt som beaktar också exempelvis oväntade effekter (DUF, Toolbox til internationale projekter. u.å.)

DUF:s roll som lobbyist och portvakt för ungdomsorganisationer handlar om att agera i deras närhet. Enligt representanten för organisationen kan DUF på många sätt agera närmare organisationerna än tjänstemän vid ministerierna. I Danmark har utvecklingen av indikatorer för utvärdering av ungdomsorganisationers verksamhet delegerats till DUF, på samma sätt som idrottsorganisationer under samma ministerium har anförtrotts sin paraplyorganisation. DUF står inför en lång rad utmaningar när det gäller att utveckla utvärderingen. Att ansöka om finansiering och rapportera om hur den används får inte bli för komplicerat och svårt för organisationerna. DUF:s telefonrådgivning handleder organisationer i att tolka exempelvis termerna ”verksamhet” eller ”aktiv medlem” eller vad miniminivån som måste uppnås i varje fråga är. DUF kan enkelt svara på dessa frågor på en praktisk nivå, eftersom man känner till verkligheten på fältet. Å andra sidan är DUF:s roll att hålla ministeriet medvetet om utmaningarna i det praktiska arbetet och att styra utvärderingsskyldigheterna i rätt riktning. (DUF, intervju 15.3.2022.)

Härnäst kommer vi att granska andra utvärderingsexempel från Danmark. Det första exemplet gäller alla nordiska organisationer som använder finansiering från Erasmus+. Ett exempel från idrottsverksamhet gäller behovet av att skräddarsy verksamheten och utvärderingen till målgruppens behov, i det här fallet flickor. Till exempel i scoutrörelsen förklarar hur utvärderingen är kopplad till verksamhet i vardagen och varför det är viktigt att lyfta fram olika aspekter i utvärderingen utan att glömma ungdomsarbetets kärna: att ha roligt och umgås. Danmarks avsnitt avslutas med betoning på demokrati, där allt började. Ungdomsön inspirerar med sin verksamhetsmodell och även med anledning av den typ av frågor som de ville ta upp genom utvärderingen.

3.3.4.2 Erasmus+: Danska ungdomsorganisationer som regelbundet deltar i en undersökning på europeisk nivå

I rapporten Monitorering af ungdomsusdvekslinger under Erasmus+: Ungdom som publicerades 2020 undersöker Carsten Yndigegn resultaten av utbytesprogrammet Erasmus+ för Danmark. Studien genomfördes av RAY, or Research-based Analysis and Monitoring of Erasmus+: Youth in Action Programme, ett självständigt europeiskt forskningsnätverk. Nätverket bidrar till utvecklingen och kvalitetssäkringen av programmet Erasmus+ Youth och till utvecklingen av en ungdomspolitik som bygger fakta och forskning. Det bidrar också till att identifiera lärande i kontexten av rörlighet över landsgränser inom ungdomssektorn och till dialog mellan forskning, politik och praxis inom ungdomssektorn. (Yndigegn 2020, 18.)

Nätverket RAY genomför en övervakningsundersökning för att säkerställa kvaliteten på och effekterna av verksamheten Erasmus+ Youth. Undersökningen genomförs årligen, till dags dato 2009–2012 och 2015–2020. Undersökningen är inriktad på ungdomar som deltar i projekt inom Erasmus+ Youth samt projektorganisatörer och ansvariga personer. Syftet är att undersöka vilken inverkan deltagandet har på deltagare och organisationer på en rad olika sätt. I rapporten undersöks också praxis, administrativa ramar och finansiering av projekt samt möjligheterna att utveckla dem. Tidigare har prioriteringarna för övervakningen av forskningen omfattat förändringar i deltagarnas värderingar, attityder och beteenden, erfarenheter av inkludering samt hur internationella projekt främjar deltagarnas medborgerliga och sociala färdigheter och interkulturella färdigheter. (se Yndigegn 2020, 19.)

Undersökningen har utvecklats under åren och består idag av 30–40 flervalsfrågor, 5–10 öppna frågor och enskilda frågor avseende mer specifik bakgrundsinformation. På det hela taget innehåller frågemallen cirka 200 delfrågor. Verktyget Youthpass används i deltagarnas självutvärderingar. Eftersom studiens referensgrupp är uppdelad på flera länder, av praktiska skäl och av tillgänglighetsskäl, utförs övervakningsundersökningen som en nätbaserad undersökning efter projekt och sänds samtidigt till alla deltagande länder. Som ett resultat av utvärderingen konstaterar Yndigegn i sin rapport (2020) att effektiviteten av Erasmus+ Youth-projekten och projektverksamheten som genomförts inom ramen för programmet hittills har bidragit till målen för utbytesprogrammet Erasmus+ Youth, såsom att stärka den kulturella och europeiska förståelsen och erkänna utvecklingen av informellt lärande, till exempel värderingar och attityder.

3.3.4.3 Att förändra idrottsutbudet och utvärderingsmetoderna för att tillgodose flickors behov

Sedan 2016 har Danmarks olympiska kommitté och Danmarks idrottsförbund (Danmarks Idrætsforbund DIF) samarbetat med Center for Ungdomsstudier och tio idrottsföreningar i projektet Gode idrætsmiljøer for piger (“goda idrottsmiljöer för flickor”) (Center for Ungdomsstudier, u.å.). Detta forsknings- och utvecklingsprojekt byggde på att bland de unga är flickor underrepresenterade i idrottsklubbar. Skolan och idrotten ses som en utmanande kombination, och antalet medlemmar i idrottsklubbar minskar kraftigt när unga slutar högstadiet och börjar gymnasiet, och det är främst flickor som hoppar av (se handboken som skapades under projektet Jensen & Østergaard 2018.) Syftet med projektet var att studera, identifiera och öka förståelsen för flickors särdrag i idrottsverksamhet, till exempel deras tendens till perfektionism, och att hitta sätt att stärka flickors deltagande i idrottsklubbar. Projektet eftersträvade till exempel verktyg för att förmedla prestationskrav och förväntningar inom idrott för flickor samt att skapa trygga rum och verksamhetskulturer och på så sätt bättre engagera unga flickor i idrottsklubbsverksamhet. (Center for Ungdomsstudier, u.å.)

Utöver handboken tog projektet fram ett insamlingsmaterial som publiceras på webbplatsen för Center for Ungdomsstudier. Både handboken och insamlingsmaterialet är avsedda att användas i idrottsverksamhet för flickor, och samlingen omfattar även utvärderingsmodeller som skapats inom ramen för projektet, av vilka den kortaste beskrivs mer i detalj i handboken Gode idrætsmiljøer for piger (Jensen & Østergaard 2018).

Denna modell för självutvärdering kan användas antingen under träningar eller efter idrottstävlingar, med laget eller med enskilda personer. Unga kan först fylla i utvärderingsformuläret på egen hand eller i små grupper, varefter svaren granskas tillsammans med tränaren. Självutvärderingen består av fem öppna frågor om den unga idrottarens framgångar och utveckling. Utvärderingen kommer att inriktas på de idrottsrelaterade faktorer som de unga själva kan påverka. En särskild egenskap hos modellen för självutvärdering är att fokus ligger på idrottarens framgångar och utvecklingsprocess, snarare än på idrottsprestationer eller tävlingsresultat. Utvärderingsmodellen fungerar som ett verktyg som hjälper flickor att identifiera och reflektera över sin utveckling. I mallen nämns att utvärderingen kan användas för att stöda idrottaren eller laget i att formulera och övervaka framtida mål. Det rekommenderas att utvärderingen utförs på olika sätt självständigt, i små grupper eller i ett lag, hemma, under träningar eller tävlingar, så att temat undersöks på olika sätt. (Jensen & Østergaard 2018.)

3.3.4.4 Det är viktigt att det syns i utvärderingen att man har roligt och gör saker tillsammans

Intervjupersonen från den danska scoutkåren (Det Danske Spejderkorps) säger att de uppmätta målen, indikatorerna och mätmetoden beror på finansieringsorganet. Ibland ligger fokus på kvalitet, ibland på kvantitet. Antalet nya medlemmar och frivilliga är avgörande, särskilt i organisationer i stora städer där unga står på väntelistor på grund av verksamhetens höga popularitet. Detta har beaktats i organisationens långsiktiga plan genom att man har startat nya underenheter och därmed förkortat väntelistorna så mycket som möjligt. (Danska scoutkåren, intervju 26.4.2022.)

Intervjupersonen uppger att hen inte är oroad över att förlora organisationens egen vilja bland utvärderingsmålen hos finansieringsorganen. Problemet är att ha tillräckligt med personalresurser för att utveckla utvärderingen, även om denna stora organisation har 25 000 medlemmar. Å andra sidan kommer en särskild typ av utvärdering att genomföras om nödvändigt så länge det finns välgrundade skäl. (Danska scoutkåren, intervju 26.4.2022.)

Danska scoutkåren erkänner vikten av att i högre grad få med unga deltagares perspektiv i kvalitetsutvärderingen. Till exempel används opinionsundersökningar med olika färgade bollar för ändamålet. Det är enkelt att ta en bild av bollarnas fördelning och bifoga den till rapporteringen. Intervjupersonen lyfter också fram frågan om forskningstillstånd som måste beaktas när man arbetar med unga. När man använder bollar krävs det endast att de unga är villiga att delta. Detsamma gäller dock inte för intervjuer. Undersökningar används också ofta, men de utgör en mer krävande process för unga eftersom de måste vara beredda att läsa och skriva. En gång scout, ofta alltid scout livet ut. Organisationens tidskrift omfattar biografier som berikar perspektivet på verksamhetens meningsfullhet. Å andra sidan har berättelserna ännu inte använts som material för att utvärdera effektiviteten. (Danska scoutkåren, intervju 26.4.2022.)

Som intervjupersonen noterade kan utvärderingar av verksamhetens art belysa många saker: att ha roligt, göra saker tillsammans, vistas i naturen, använda naturresurser hållbart, matlagning, göra något som inte involverar skärmar, vara lycklig - vilket är särskilt viktigt under coronapandemin. Organisationen har också ett stort projekt med 12 000 barn och unga som arbetar inom naturvetenskap. Syftet är att till exempel väcka intresse för att studera naturvetenskaper. (Danska scoutkåren, intervju 26.4.2022.)

3.3.4.5 Ungdomsön och plats för samhörighet

I en rapport som publicerades 2021, Ett fælleskab i bevegelse. Unges perspektiver på Ungdomsøens fællesskab, undersöker Benjamin Henriksen ungas erfarenheter av gemenskap och samhörighet på Ungdomsøen, liksom ungas uppfattning om vad öns verksamhet borde inriktas på. I rapporten presenteras också unga som är aktivt engagerade och deras erfarenheter av ösamhället. Den tredje huvudpunkten i undersökningen är hur unga hittar till gemenskapen och till öns verksamhet. (Henriksen 2021.)

Ungdomsøen (Ungdomsön) är en ö utanför Köpenhamn som fungerar som ett upplevelse- och utvecklingscentrum för unga. På ön kan ungdomar skapa och genomföra aktiviteter och evenemang, delta i kurser, träffa andra unga och skapa nya gemenskaper. Syftet är att stöda ungas egna initiativ och sociala ansvar samt att stärka deras tro på att de kan skapa positiva förändringar i sina egna och andra ungas liv. (Ungdomsøen u.å.) Ön är en gammal fästning som förvärvades och donerades till den danska scoutrörelsen 2015 av A. P. Møller Fonden och Nordeafonden. Stiftelserna finansierade renoveringen av öns fastigheter och utomhusområden, och Ungdomsøen öppnades för unga i sin nuvarande form i augusti 2019. (Nordeafonden u.å.)

Effektrapportens data samlades in med ett frågeformulär (n=50) om hur unga människor upplevde öns gemenskap. Individuella intervjuer med aktiva unga (n=8) och en fokusgruppintervju med unga från GEÅ. Unga från GEÅ, eller frivilliga från Giv-et-år, är unga som bor på ön ett år och som bland annat arbetar på ön med reparation och underhåll samt verksamhet och organisation. Dessutom användes de informella diskussioner som ägde rum under fältarbetet vid utvärderingen. Att vara närvarande på fältet gav en praktisk inblick i gemenskapens dynamik. (Henriksen 2021.)

90 procent av dem som svarade på enkäten ansåg att det fanns plats för alla i gemenskapen, medan 50 procent ansåg att det fortfarande fanns utrymme för att förbättra mångfalden av verksamheter och att möta olika grupper. Vissa team och små grupper på ön står varandra närmare än andra. Ön och dess samhälle förändras också ständigt, eftersom ön har skapats med och av unga för unga. I rapporten betonas därför att det är särskilt viktigt att skapa ett säkert samhälle genom att utveckla möjligheten för alla unga att bli inkluderade. Det finns många sätt att delta i öns verksamhet. Det första steget kan vara genom sociala medier, ett skolbesök, att träffa en av öns ambassadörer eller att gå en kurs. Att gå med i gemenskapen kräver initiativ från de ungas håll, men det finns många vägar, och ön och dess samhälle är tillgängliga både på webben och fysiskt. (Henriksen 2021.)

3.4 Sammanfattning av forskningsresultaten

Ovan i denna del, som skrivits av Finnish Youth Research Networks forskningsteam, granskades de exempel i anslutning till utvärderingen som hittats hos de nordiska ungdomsorganisationerna ur tre synvinklar. För det första granskades hurdana rutiner för utvärdering och rapportering organisationerna anammat. För det andra var ett intresseområde vilka teman man vill lyfta fram med utvärderingen. För det tredje utreddes de utmaningar som ungdomsorganisationerna stött på i samband med utvärderingen. Som forskningsmaterial användes exempel i litteratur och intervjuer.

I denna undersökning avses med utvärdering granskning av den egna verksamheten – i form av reflekterande – som i viss mån borde vara närvarande i all verksamhet som vi utövar. I bästa fall är utvärdering verksamhet där man inte bara kritiskt granskar resultaten utan också målsättningens hållbarhet i den verksamhet som utvärderas, men också hur förnuftiga utvärderingssätten och de uppställda kriterierna är i förhållande till verksamheten (se Schön 1987). Trots att perioden då man bekantade sig med de nordiska ungdomsorganisationerna var relativt kort, fann man i organisationernas exempel berömvärd kritiskhet. Genom de utvärderingar som genomförts i organisationerna utreds till exempel om verksamheten är av tillräckligt hög kvalitet och om verksamheten motsvarar de ungas behov. En del av organisationerna iakttar sin egen och samhällets verksamhet särskilt med tanke på främjandet av demokratin, huruvida verksamheten gör det möjligt för unga att delta i diskussionen och huruvida de ungas åsikter har någon inverkan. Som utvärderingskriterier används också till exempel aspekter som gemenskap, delaktighet, jämlikhet

Jämlikhetsaspekten kan anses omfatta till exempel utvärdering och utökning av verksamhetens tillgänglighet ur olika minoritetsgruppers synvinkel.

eller hållbar utveckling.

Vid finslipningen av utvärderingskriterierna utnyttjades till exempel tankar om Social Return on Investment.

Organisationernas förhållande till utvärderingen kan utifrån exemplen beskrivas som realistiskt. Med det menar vi att ungdomsorganisationerna inte verkar tro att en utvärdering någonsin avslöjar hela sanningen när det gäller att berätta om verksamhetens framgång. Därför verkar målet snarare vara att göra en utvärdering i varje enskilt fall på bästa möjliga sätt med beaktande av de resurser som reserverats för utvärderingen i varje enskilt fall. Trots en realistisk inställning vill många organisationer lära sig mer om utvärdering. En del organisationsrepresentanter berättade att de skaffar mer information genom att läsa, delta i utbildningar och vara med i olika arbetsgrupper som utvecklar utvärderingen. Det anses viktigt att lära sig av egna och andra organisationers utvärderingsprocesser.

För att lära sig utvärdera skriver många organisationer sin egen effektteori, I den egna effektteorin presenteras vilka mål som först måste uppnås för att följande ska kunna nås och vilken värdegrund som ska användas. För att fastställa sina mål och uppnåendet av dem utnyttjar organisationerna olika slags information om sin omvärld: forskningsdata fås till exempel från litteratur eller genom egna undersökningar, men å andra sidan samlas empirisk kunskap in till exempel genom att man ställer frågor till unga eller frivilliga som arbetar med unga. Samtidigt verkar organisationerna ha förståelse för finansiärernas behov av att samla in nyckeltal som kan jämföras med andra organisationer för att till exempel visa verksamhetens volym, såsom antalet deltagare, möten, diskussioner med politiker, projekt, program eller klickningar i sociala medier samt deltagarnas tillfredsställelse. Som ett viktigt mål för utvärderingen och rapporteringen nämner organisationerna över huvud taget vikten av att främja transparensen i ekonomin också i civilsamhället.

I en del av de nordiska länderna har organisationerna tydligt gått med i att främja effektmätningen av verksamheten. En del organisationer försöker påvisa sin inverkan på ungas tankar, känslor och värderingar, hur svårt det än må vara. I en del organisationer är effekterna förändringar som åstadkommits tillsammans med de unga i den ungas livssituation. Målet kan också vara förändringar i de roller som de unga tar i samhället. Det kan även handla om en förändring av de förhållanden som unga lever i, till exempel i bostadsområdets klimat. Som effekter mäts också förändringar i det fysiska, psykiska eller sociala välbefinnandet eller lärande av olika färdigheter. En påminnelse gällde att när man arbetar med unga är en viktig del av påverkan att möjliggöra kamratverksamhet och att skapa glädje. Det framkom också att organisationerna har ett behov av att fundera över de element som behövs för en systematisk samhällelig förändring. Därmed kan det finnas behov till exempel av att utveckla samarbetet med olika aktörer.

I en del av de nordiska länderna betraktas kravet på effektmätning i viss mån som en risk mot upprätthållandet av ett mångsidigt civilsamhälle. Exemplet beror på att uppnåendet av ett visst mål ofta kan vara beroende av externa faktorer på ett avgörande sätt: politikernas vilja, maktfördelningen, slumpen, tidsperioderna för beslutsfattande, mångfalden av frågor som rör ungas liv och andra frågor som sammanfaller med dagordningen.

Enligt många av de organisationsrepresentanter som intervjuades kommer den information som samlas in från unga att i fortsättningen spela en allt viktigare roll i utvärderingen med tanke på att erhålla finansiering. De ungas utvärderingar av verksamhetens kvalitet och effekter tillfrågas till exempel genom intervjuer och enkäter. Dessutom har organisationerna utvecklat lättare sätt att få reda på hur nöjda de unga som deltar är, såsom att rösta med bollar i olika färger under verksamheten. Insamlingen av de ungas perspektiv har också fördelats på olika månader, för att utvärderingen inte alltför mycket ska påfresta själva verksamheten och de unga.

Budskapen om vad som ska betonas mer inom utvärdering i ungdomsorganisationer kan sammanfattas i åtta steg, se tabell 1.

Tabell 1.

När man utvärderar finns det enligt studieobjekten behov av att
1. Koppla ihop värderingarna, målen och utvärderingen
2. Förstå att utvecklingen av utvärderingen aldrig tar slut
3. Eftersträva balans mellan ”er teori” och (jämförbara) kvantitativa fakta
4. Lyssna till åsikterna hos unga och dem som arbetar med de unga
5. Förstå betydelsen av forskningsdata
6. Bygga icke-statliga organisationers gruppstyrka för att utmana finansiärerna om hurdana resultat som kan väntas
7. Veta att utvärdering alltid har sina begränsningar
8. Säkerställa att civilsamhället förblir civilsamhället

Av dessa åtta steg är särskilt det första viktigt att hålla i minne, det vill säga hurdana värderingar ungdomsorganisationerna har i sitt arbete, se också tabell 2.

Tabell 2.

Enligt studieobjekten finns det många mål och värden som måste beaktas i utvärdering när det gäller ungdomsorganisationer
Glädje
Kontakt med kamrater
Att finnas där; att svara mot behoven hos unga människor (med unga människor)
Demokrati
Gemenskap (engagemang)
Hållbarhet
Jämlikhet
Tillgänglighet
Uppsökande
Transparens
Användning av pengar
Resultat av utvärderingsprocesser

Studien avslöjade också andra upplevda utmaningar med utvärdering. Dessa utmaningar gällde i större utsträckning hur utvärderingarna är organiserade. Hur kan man se till att varje organisation har den sakkunskap och tid som behövs för utvärderingen? Hur kan man motivera unga att delta i utvärderingen? Hur ska organisationernas egen sakkunskap beaktas när utvärderingskriterierna utarbetas? Hur gör man utvärderingen så att den inte hindrar verksamheten till exempel i känsliga situationer där den unga får hjälp? Hur kan man göra det så lätt att ansöka om finansiering samt att utvärdera och rapportera i anslutning till det att även små organisationer har möjlighet att ansöka om finansiering på ett mångsidigt sätt från olika källor? Hur kan man garantera en utvärderingsnivå som stöder organisationerna i att uppnå sina mål till fullo i den mån det är möjligt?

Vad som sagts i intervjuerna

Uttalandena är språkmässigt stiliserade av forskningsteamet, innehållet motsvarar det som sagts i intervjuerna.

om de möjligheter och hot som utvärderingen medför för ungdomsorganisationerna:

“Att bygga styrka genom att ta med mer utvärderande röster av unga i rapporterna.”
”Det finns inte tillräckligt anställda för utvärdering.”
”Det finns hjälp att få för icke-statliga organisationer för att utveckla utvärderingen, men organisationerna har inte resurser för att utnyttja detta.”
På grund av att samtalen är anonyma anser vi att det är svårt att undersöka samtalens effekter på lång sikt och att koppla samtalen till effekterna på samhällsnivå.”
Icke-statliga organisationer känner till sina värderingar men de är ännu inte kopplade till utvärdering.”
”Utvärdering betyder en möjlighet för icke-statliga organisationer att uppdatera sin praxis.”
“Tid för utvärdering kan innebära mindre tid för de unga.”
”I hur stor utsträckning behöver civilsamhället utvärdering?” Låt oss också försäkra oss om att civilsamhället förblir civilsamhället.”

3. Data som samlats in av forskningsgruppen om utvärderings- och rapporterings­praxis bland ungdoms­organisationer i de nordiska länderna