3. Tutkimustiimin kokoamaa tietoa nuorisojärjestöjen arviointi- ja raportointikäytänteistä Pohjoismaissa

Kirjoittajat: Anu Gretschel, Viola Särkiluoto & Kai Tarvainen

3.1 Kirjallisuushakuja ja haastatteluja

Tutkimustiimimme selvitti, millaisia keinoja ja työkaluja Pohjoismaisilla nuorisojärjestöillä on käytössä toimintansa arvioinnissa. Asiaan perehdyimme lukemalla julkaisuja sekä toteuttamalla haastatteluja. Olemme tätä raporttia varten koostaneet yhteen kiintoisimmat löytyneistä esimerkeistä yhteistyössä ohjausryhmän kanssa. Pyrimme tekstissä välttämään toistoa, joka tarkoittaa, että kussakin esimerkissä korostuvat ne seikat, jotka eivät muiden julkaisujen ja haastattelujen osalta ole tulleet esille. Pyrimme tekstissä vastaamaan erityisesti seuraaviin kysymyksiin:

Millaisia arvioinnin ja raportoinnin tapoja nuorisojärjestöillä on käytössä eri Pohjoismaissa?
Millaisia teemoja arvioinnilla nostetaan toiminnasta esille?
Millaisia haasteita arviointiin nähdään liittyvän?

Julkaisujen osalta kohdistimme etsinnän sekä tutkimuksellisella otteella tehtyihin raportteihin kuin myös ohjeistuksiin, joita järjestöille annetaan liittyen arviointiin ja raportointiin. Julkaisut oli toteutettu järjestön itsensä toimesta, opinnäytteinä tai esimerkiksi ostopalveluina. Arvioinnin ohjeistuksilla tarkoitamme esimerkiksi rahoittajien, kuten valtionhallinnon, antamia ohjeistuksia ja esimerkiksi nuorisojärjestöjen kattojärjestöjen tuottamia arviointioppaita. Kartoitimme julkaisuja viimeisen kymmenen vuoden ajalta. Läpikäytyjä nimekkeitä kertyi eri Pohjoismaista yhteensä yli 70. Tämän työskentelyjakson ansiosta tutkijatiimi ja ohjausryhmä voi olla suhteellisen varma siitä, että huomattava osa tärkeästä arviointikirjallisuudesta nuorisojärjestökentältä on tässä julkaisussa huomioitu, vaikkakin rajattuna muutamaan viimeiseen vuoteen. Tällä rajauksella haluttiin varmistaa se, että julkisuuteen antaisimme kunkin järjestön toiminnasta mahdollisimman ajantasaista kuvaa.

Tutkimustiimille nuorisojärjestöjen toiminta Suomessa oli tuttua jossain määrin jo ennalta. Muiden Pohjoismaiden osalta tutustumisessa hyödynnettiin aluksi Youth Wiki -tietokannan tarjoamaa maakohtaista tietoa nuorisojärjestöjen toiminnasta. Näin kartutettiin ymmärrystä nuorisojärjestöjen roolista suhteessa kunnalliseen nuorisotyöhön ja nuorten vapaa-ajan toimintaan sekä saatiin tietoa nuorisojärjestöjen toiminnan rahoituksesta.

Nuorisojärjestöjen toiminnan arviointia ja vaikuttavuutta käsitteleviä selvityksiä, raportteja ja tutkimuksia etsittiin monesta eri tietokannasta. Suurelta osin löytämämme teokset löytyivät kuitenkin Google ja Google Scholar hakusivujen kautta. Teoksia etsittiin myös akateemisista tietokannoista (EBSCOhost-, SocINDEX ja ProQuest), ResearchGatesta sekä Helsingin yliopiston kirjaston kokoelmahausta. Googlessa ja Google Scholarissa kirjallisuushaku aloitettiin hakusanoilla nuorisojärjestö (ungdomsorganisation) yhdistettynä erilaisiin asiaan liittyviin hakusanoihin, kuten vaikutukset (effekter), laatu (kvalitet), arviointi (evaluering), menetelmä (metod), vaikuttavuus (effektivitet) sekä näiden sanojen erilaisilla yhdistelmillä (AND/OR) ja näistä sanoista muodostetuilla yhdyssanoilla (esim. effektevaluering). Koska hakutulokset jäivät suppeiksi, hakusanoiksi otettiin ruotsiksi myös utvärderingsrapport ja effektrapport yhdistettynä hakusanoihin kuten ungdom, unga. Hauissa käytettiin edellä mainittuja ja vastaavia hakusanoja norjan, ruotsin, suomen ja tanskan kielillä sekä englannin kielellä hyvin monenlaisina eri yhdistelminä. Hakusanalistaa laajennettiin prosessin edetessä muun muassa lisäämällä mukaan eri nuorisojärjestöjen nimiä. Lopputuloksena esimerkiksi Google Scholarista löytyi huomattava määrä alemman korkeakoulutason opinnäytetöitä varsinkin Suomesta, mutta useat niistä käsittelivät esimerkiksi nuorille suunnattujen sosiaali-, mielenterveys-, päihdetukipalvelujen ja -hankkeiden vaikutuksia eivätkä niinkään nuorisojärjestöjen toimintaa. Google Scholarin kautta löytyneistä ylemmän korkeakoulutason tutkielmista otettiin lähempään tarkasteluun sellaiset opinnäytteet, jotka sisälsivät konkreettisia arviointiin tai vaikuttavuuteen nuorisojärjestöissä liittyviä teemoja.

Tieteellisiä selvityksiä ja raportteja suoraan nuorisojärjestöjen toiminnan arvioinnista jäi haaviin vain jonkin verran. Myös Hanna Laitinen (2018, 28) toteaa väitöskirjassaan nuorisojärjestöjä tarkastelevia akateemisia tutkimuksia tehdyn esimerkiksi Suomessa vähänlaisesti. Oli myös nähtävissä, ettei julkaisujen hakusanoiksi ollut useinkaan määritelty arviointia, vaikutuksia ja vaikuttavuutta, vaan joitakin muita nuorisojärjestöjen toimintaan liittyviä sanoja. Näin tässä tutkimuksessa käytetyt hakusanat eivät siis välttämättä taanneet osumia. Tietokannoista löytynyttä kirjallisuutta täydennettiin sekä hankkeessa perustetun nuorisojärjestöjen kattojärjestöverkoston edustajien, kuin myös sekä haastateltujen että Pohjoismaisten Youth Wiki -kirjeenvaihtajien antamien vinkkien avustuksella. Lisäksi selattiin järjestöjen ja viranomaisten sivuja sekä perehdyttiin järjestöissä tutkimus- ja kehitysprosesseja toteuttavien organisaatioiden tuotantoon.

Haastatteluja eri Pohjoismaihin tehtiin yhteensä 13 kappaletta. Niihin osallistui yhteensä 15 ihmistä, edustaen 16 eri organisaatiota. Nämä organisaatiot olivat nuorisojärjestöjä tai muita nuorten kanssa toimivia järjestöjä, niiden kattojärjestöjä, nuorisojärjestöissä tutkimus- ja kehitysprosesseja toteuttavia organisaatioita, ministeriöitä ja niiden toimikuntia sekä ministeriöiden asettamia virastoja. Haastattelut olivat pituudeltaan tunnin mittaisia ja ne toteutettiin verkossa Teamsin kautta.

3.2 Silmälaseja lukijalle: arvioinnin kytkökset oman toiminnan tai toimintaympäristön parempaan ymmärtämiseen

3.2.1 Arviointi reflektointina

Ymmärrämme tässä raportissa arvioinnin toimintana, jossa systemaattisesti mietitään toiminnan aikana tai sen jo tapahduttua, vastasiko toiminta sille asetettuja tai asetettavissa olevia odotuksia. Arviointiin liittyvän ajattelutyön reflektoivaa ajatonta luonnetta kuvaamme seuraavassa lainauksin Donald A. Schönin (1987, 1983/2007) klassikkoteoksista. Alkuun kerrottakoon tarkennuksena, ettei Schön teoksissaan käytä sanaa arviointi - hän liittää reflektoinnin toiminnan muotoiluun (design) ja muotoiluun kohdistuvien tarpeiden jäsentämiseen. Schönin ajattelu toimii kuitenkin mielestämme hyvin myös arviointiin liittyvien ajatteluprosessien kuvauksena.

Schön käyttää termiä ”knowing-in-action” tilanteesta, jossa ihminen tietää kuinka toimia käytännön tilanteessa, hyvinkin ammattimaisesti, mutta ei tietoisesti tee valintoja erilaisten toimintavaihtoehtojen välillä. ”Reflection-in-action” -termillä Schön tarkoittaa edellistä kehittyneempää ajattelua siinä mielessä, että toimija osaa reflektoida ja tosiasiallisesti reflektoi niitä valintoja, jotka liittyvät siihen, miten toimitaan. Reflection on ”reflection-in-action” taas liittyy reflektoinnin syvällisyyden tarkasteluun. Schönin mukaan toiminta, tilanteet ja niihin liittyvät mahdolliset ongelmat eivät ole sellaisenaan ”hyvin muotoutuneita” ratkaistaviksi. Ennemminkin ne ovat hänen mukaansa ”uncertain, unique or conflicted.” Tällöin ei riitä pohtia, millainen tie rakennetaan, jos ei ole pohdittu rakennetaanko ollenkaan. Päätökseen voivat vaikuttaa esimerkiksi taloudelliset, ympäristölliset, poliittiset ja arvoihin laajemmin liittyvät seikat. Schön näkee reflektoinnin, ei kertaluonteisena optimointina, vaan prosessina, joka huomioi epävarmuuden, tilanteiden ainutkertaisuuden ja konfliktien mahdollisuuden. (ks. Schön 1987,1, 4, 6, 39, 41.)

Schönin (1987,5) mukaan usein vallitsee kilpailua siitä, mitä näkökulmia halutaan huomioida toiminnan kehittämisessä. Mitä tulee arviointiesimerkkeihin Pohjoismaisista nuorisojärjestöistä, tilanne on juuri tuo: mietitään, halutaanko painottaa toiminnan määrää vai esimerkiksi saavutettavuutta ja yhdenvertaisuutta. Schönin mukaan liian kapeassa teknisessä tarkastelussa esimerkiksi tarkoituksettomat sivuvaikutukset, riskit tai vaikka ympäristö jää huomiotta (Schön 1987, 6). Nuorten kanssa työskenneltäessä voi huomiotta samalla tavoin jäädä niinkin tärkeä asia kuin asioiden tarkastelu nuorten kanssa ja heidän näkökulmastaan.

Schönin ajatuksia mukaillen voi sanoa toimintaansa aina hieman epävarmassa käytännön tilanteessa reflektoivan toimivan kuin tutkija. Reflektoidessa ei rajauduta pohtimaan toiminnan keinoja vain suhteessa ennalta määriteltyihin toiminnan tavoitteisiin, vaan reagoidaan vastaan tulleisiin haasteisiin sekä tavoitteita että keinoja joustavasti pohtien. Ajatukseen kuuluu myös, että vaikka jonkun tietyn henkilön voisi esimerkiksi asemansa perusteella ajatella tietävän jostakin asiasta, viisautta on, että myös tämä ihminen tietää mahdollistavansa oppimista itselleen ja muille, kun myöntää muidenkin tietävän ja ottaa heidät mukaan keskusteluun. (ks. Schön 1983/2007, 68, 300.)

Kamppailu toiminnan, tilanteen ja ongelman määrittelytavoista ja ratkaisuihin tarvittavista poliittisista toimista, on Schönin mukaan aina sekoitus selvitystyötä ja politiikkaa. Näkemykset haasteiden luonteesta ovat jostain näkökulmasta käsin rakennettuja kognitiivisia rakennelmia, joiden syntymä luo tilaa poliittiselle voimankäytölle. Laajoissa yhteiskunnallisissa keskusteluissa toiminnan, tilanteen ja ongelman asettelu, politiikan määrittäminen ja tulkinta tilanteeseen johtaneista taustoista sisältää sekä selvitystyötä että poliittisia kantoja. (Schön 1983/2007, 348.) Nuorisojärjestöjen autonomian kannalta on tärkeää, että nuorisojärjestöt myös itse osallistuvat proaktiivisesti toimintaansa kohdistuvien tarpeiden selvittämiseen ja oman roolinsa määrittämiseen paikalliselta aina globaalille tasolle asti. Hyvänä esimerkkinä tämäntyyppisestä toiminnasta saatiin esimerkiksi Tanskasta, jossa nuorisojärjestöjen kattojärjestö DUF organisoi kyselyä liittyen nuorten poliittiseen aktiivisuuteen ja DUF:n ottamiin tavoitteiseen lisätä omalla toiminnallaan tanskalaisen yhteiskunnan demokraattisuutta. Norjassa kattojärjestö LNU piti tärkeänä arviointiin liittyvänä kirjallisuusesimerkkinä Senter for forskning på sivilsamfunn og frivillig sektor -tutkimuslaitoksen julkaisuja, joissa käsitellään järjestöjen organisoiman vapaa-ajan toiminnan saavutettavuutta, nuorten tarpeisiin vastaavuutta ja vetovoimaisuuden kehittämistarpeita nuorten erilaiset taustat huomioiden.

3.2.2 Muutoksen teoria(t)

Tässä nyt käsillä olevassa Pohjoismaisten nuorisojärjestöjen arviointia koskevassa selvitystyössä esille tuli muutoksen teoriaa nuorisojärjestöissä hyödyntäviä esimerkkejä Ruotsista ja Suomesta. Näistä esimerkeistä kerrotaan tässä raportissa erikseen kummankin maan kohdalla. Muutoksen teorian pääpiirteet esitellään seuraavaksi kuitenkin yhteisesti.

Englannissa järjestöissä ja julkisen sektorin toimesta toteutettavan nuorisotyön vaikutuksia tutkivan Sue Cooperin (2018, 18–19) mukaan tavoitteena muutoksen teorian käytössä on pystyä rakentamaan sellainen sosiaalisen toiminnan arviointiin soveltuva arviointiasetelma, jossa voidaan huomioida toimintaympäristön piirteet ja toiminnan monimutkaisuus.

Cooperin mukaan muutoksen teorian (Theory of Change) käyttö on ollut suosittua sekä arviointia toteuttavien tahojen että toimintaa rahoittavien keskuudessa laajasti eri maissa jo yli puolivuosisataa. Vaikka muutoksen teorian nimessä esiintyy sana teoria, ei kyseessä oikeastaan ole yksittäinen teoria, vaan enemmänkin ajatuskokonaisuus, jolla kukin organisaatio voi tuoda näkyväksi, kuinka juuri sen toteuttaman toiminnan oletetaan aikaansaavan muutosta ja mitä tämä muutos voi olla. Cooper on osuvasti todennut kyseisten oletusten itse asiassa olevan muutosten teorian varsinaiset ”teoriat”. Cooper puhuu teorioista tässä kohti nimenomaan monikossa, koska jokaisella organisaatiolla tai jopa sen jokaisella prosessilla on omansa. (ks. Cooper 2018, 18–22; monikossa muutoksen teoriasta kirjoittaa myös Fox & Grimm & Caldeira 2017.) Esimerkiksi tämän raportin Ruotsia käsittelevässä osuudessa viitataan maassa vallalla olevaan käytäntöön, jossa järjestöt määrittelevät ”meidän muutoksen teorian” (”Our Theory of Change; ”Vår förändringsteori”) osana tehokkuusraporttejansa kirjoittamista. Fox kumppaneineen (2017, 49) toteavat, että organisaation oman muutoksen teorian kirjoittaminen on sen tyyppinen asia, johon organisaatiossa toimivien ja erilaisten sidosryhmien tulee osallistua laajasti. He korostavat myös, että sen lisäksi, että tavoiteltavien vaikutusten tulee olla tavoitettavissa olevia, tulee niiden olla myös kaikkien prosessiin liittyvien tahojen ymmärrettävissä.

Serrat (2017, 237–241) lähtee muutoksen teorian kuvailussa liikkeelle määrittelemällä sosiaalisen muutoksen olevan mikä tahansa muutos yhteiskunnan sosiaalisessa järjestyksessä. Hänen mukaansa muutoksen teorian soveltaminen sosiaalisen muutoksen arviointiin on määrätietoista toimintaa, jossa esimerkiksi toiminnan tai projektin liikkeelle laittamia muutoksia kuvataan useasti haarautuvana ketjukokonaisuutena. Ketjun haarautumisella osoitetaan päämääräksi asetettuun laajempaan muutokseen pääseminen aiemmin toteutuvien välitulosten kautta kehittymällä. Hänen mukaansa osa matkalla päämäärään vaadittavista muutoksista voi toteutua myös dominoefektinä, ilman uusia toimenpiteitä.

Cooper (2018) käyttää niin sanotuista välivaiheiden tuloksista nimitystä ”edellytys” (precondition) korostaen näin niiden ehdottomuutta lopputuloksiin pääsemisen kannalta. Cooper selvitti omassa tutkimuksessaan nuorisotyön vaikutuksia hyödyntämällä muutoksen teoriaa. Hänen mukaansa nuoret kokivat nuorisotyössä yhteenkuuluvuuden tunnetta ja heidän luottamuksensa lisääntyi. Näiden kahden edellytyksen täyttyminen mahdollisti hänen mukaansa toiminnan keskiaikavälin tavoitteeksi asetetun nuorten vastuunottamisen mahdollistumisen ja lupasi pidemmällä aikavälillä päätavoitteeksi asetetun nuorten pro-sosiaalisen käyttäytymisen toteutumista.

Kuten seuraavassa alaluvussa ilmenee, on muutoksen teoriassa olennaista toisaalta mittareiden rakentaminen, jotta muutosta voidaan seurata – toisaalta teoriaan kuuluu myös muutoksesta oppiminen. Serratin (2017, 241) mukaan muutoksen teorian soveltaminen on enemmän tietoinen, reflektoiva ja luova visualisaatioharjoitus ennemmin kuin jotain, joka valmistuu kerralla. Hän toteaa muutoksen teoriaan pohjautuvan arvioinnin etenevän suunnittele-toteuta-tarkista-toimi -kehää.

3.3 Tilannekuva nuorisojärjestöissä käytävästä arviointikeskustelusta eri Pohjoismaissa

3.3.1 Suomi

3.3.1.1 Järjestökenttä on heräämässä haasteeseen vaikutusten esille saamiseksi

Viime vuosina keskustelu suomalaisen nuorisojärjestötoiminnan vaikutusten ja vaikuttavuuden arvioinnin edistämisestä on vilkastunut liittyen rahoittajien toiveeseen hyödyntää rajalliset resurssit tehokkaasti. Kuten myös Laitinen (2018, 170) toteaa, ovat raportointivaatimukset lisääntyneet ja rahoitusten saaminen ylipäätään on kiristynyt. Taustalla vaikuttavat siis rahoittajien, kuten ministeriöiden, intressit, mutta toiminnan kehittäminen vaikuttavammaksi koetaan tärkeäksi myös järjestökentällä, tästä esimerkkinä Arvoliitto ry:n koordinoima Hyvän mitta -hanke (2016–2019), jossa syntynyt vaikuttavuusketju-sovellus on laajalti pohjana edelleen tapahtuvalle arvioinnin kehitystyölle. Hankkeen pääkumppaneina ja rahoittajina toimivat Kela, Me-säätiö, Opetushallitus, opetus- ja kulttuuriministeriö, Sitra, Sosiaali- ja terveysjärjestöjen avustuskeskus STEA ja valtioneuvoston kanslia. Hankkeessa tuotetussa julkaisussa Vaikuttavuuden jäljillä – opas yhteiskunnallisen vaikuttavuuden kehittämiseen todetaan järjestöjen välisellä vertaisoppimisella olleen tärkeä rooli Vaikuttavuusketju-ajattelumallin luomisessa. Lisäksi Vaikuttavuusketjun kehittämisessä on hyödynnetty muun muassa edellisessä alaluvussa käsiteltyä muutoksen teoriaa. (ks. Anoschkin 2019.)

Edellä mainitun Vaikuttavuuden jäljillä -julkaisun mukaan Vaikuttavuusketju on työkalu ja ajattelumalli, jota voidaan hyödyntää toiminnan vaikuttavuuden määrittelyyn niin yksittäisissä toimenpiteissä kuin koko organisaation eri tasoilla. Ketju sisältää seitsemän lenkkiä: tarve, visio, tavoite, resurssit, toimenpiteet, tulokset ja vaikuttavuus. Työskentelyssä lenkin osat linkitetään tiiviisti toisiinsa. Lenkeistä vaikuttavuus, tarve sekä visio kuvaavat yhteiskunnallista tasoa, muut osa-alueet konkreettisen toiminnan tasoa. Koska mallin lenkit ovat syy ja seuraus -suhteessa keskenään, on lenkin jokainen osa-alue tärkeä. Vaikuttavuusketjussa painotetaan kuitenkin erityisesti ketjun alkupään tärkeyttä, tarvetta ja visiota. Ensiksi tulee tunnistaa yhteiskunnallinen tarve ja miettiä toiminnalle tarpeesta johdettu visio. Vasta näiden vaiheiden jälkeen edetään pohtimaan toiminnan tavoitteita. Tässä vaiheessa pyritään kuvaamaan ja arvioimaan minkälaisia konkreettisia muutoksia kohderyhmässä tarvitaan, jotta visio toteutuisi. Tämän jälkeen edetään ketjussa niihin vaiheisiin, jossa mietitään ratkaisuja ja niihin vaadittavia resursseja. Vaikuttavuusketjun avulla luodaan siis kuvaus halutusta yhteiskunnallisen ilmiön muutoksesta, joka toiminnalla pyritään saamaan aikaan. Kun edellä mainitun kaltaiseen kokonaisuuteen liitetään tiedonkeruu ja oikeanlaiset mittarit, on toiminnan vaikuttavuus mahdollista todentaa mallia hyödyntämällä. (mts, 7.)

Hyvän Mitta hankkeen -tuloksista on mahdollista nostaa esille kaksi isompaa arvioinnin kehittämisen suuntaa. Ensimmäinen niistä on tarve julkisen vallan tarkemmalle ja laajemmalle määrittelylle siitä, mitä yhteiskunta tarvitsee ja millaisen toimijakentän toimesta, koska silloin myös järjestöjen toimintaa ohjaava yhteiskunnallinen visio kirkastuisi. Toisena esille nousee tarve yhteiselle järjestökentän mittaristolle. (ks. Anoschkin 2019.) Näistä erityisesti jälkimmäistä työtä tehdään nyt Kentaurissa opetus- ja kulttuuriministeriön nimeämänä nuorisoalan osaamiskeskuksena (ks. Fields 2021). Kentaurin osaamiskeskustehtävät ovat moninaiset, mutta yhtenä painopisteenä on yhteisten mittarien kehittäminen nuorisoalan järjestöjen käyttöön. Ministeriön toiveena oli nivoa mittarit kestävän kehityksen teemoihin. Ensimmäisenä niistä huomio on kiinnitetty sosiaalisen kestävyyden näkökulmaan, johon liittyen on kehitetty ikätasoisia osallisuusmittareita. (Ryhmähaastattelu 15.2.2022, Kentauri.)

Kentauri myös kouluttaa järjestökenttää arviointiin. Vuonna 2021 tarjolla oli kuusi erillistä vaikuttavuuteen liittyvää koulutusosiota, joissa sisältöinä olivat: vaikuttavuusketju ja käsitteet, tavoitteet ja mittarit, arviointitiedon kerääminen ja analyysi, vaikuttavuuden ja arvioinnin johtaminen sekä koordinointi, vaikuttavuusviestintä ja arviointitiedon hyödyntäminen. Kentaurin edustaja toteaa kyseisissä koulutuksissa huomatun haasteeksi se, ettei järjestöjen edustajilla riittänyt aikaa koulutukseen kuuluneiden kehittämistehtävien toteuttamiseen, vaikka webinaareihin tuli hyvin osallistujia ja palaute oli hyvää. Jatkossa koulutusprosessin tarjoutumisen tapaa tullaan tästä syystä miettimään uudenlaiseksi. (Ryhmähaastattelu 15.2.2022.)

Suomen nuorisoalan kattojärjestö Allianssin ja Kentaurin edustajien mukaan nuorisojärjestöjen kiinnostus Vaikuttavuusketjun käyttöön on kasvanut viime vuosina (Ryhmähaastattelu 15.2.2022). Yksi sitä käyttävistä tahoista on Suomen Nuorisoseurat ry., joka tarjoaa kaikenikäisille osallistujille kulttuurisia harrastuksia, kuten tanssia, teatteria, sirkusta, musiikkia ja liikuntaa. Järjestön edustaja kertoo haastattelussa Vaikuttavuusketjua toiminnan jäsentelyineen hyödynnettävän järjestössä ensinnäkin mittapuuna varmistamassa toiminnan eri vaiheissaan olevan suunnitellun mukaista. Toisekseen sen voi nähdä kehikkona, jolla varmistetaan kaikkien toiminnan osasten toteutuvan ja olevan paikoillaan kokonaisuuteen nähden. Kaiken kaikkiaan järjestössä koetaan Vaikuttavuusketjun hyödyntämisen tuoneen mukanaan lisää toiminnan tavoitteellisuuden pohtimista, minkä taas koetaan olevan järjestön kehitykselle hyväksi. (Suomen Nuorisoseurat, haastattelu 8.4.2022.)

Monelle järjestölle tyypillisesti myös Suomen Nuorisoseuroissa seurataan lukuja, kuten jäsenten, harrastajien, järjestettyjen harrastuskertojen, tapahtumien sekä tilaisuuksien määriä. Lisäksi siellä on määrätietoisesti lähdetty kehittämään omaa vaikuttavuuden arvioinnin tapaa, jossa määrällisten mittareiden ohelle otetaan laadullisia mittareita. Omaan kehitystyöhön Suomen Nuorisoseurat kokoaa ajatteluunsa elementtejä kahdesta pääsuunnasta: Kentaurin kanssa se tekee yhteistyötä liittyen esimerkiksi aiemmin mainittuun nuorisojärjestötoiminnan osallisuusmittariston kehittämiseen ja Opintokeskus Kansalaisfoorumin kanssa liittyen nuorten kulttuuriharrastamiseen liittyvien vaikutusten esille saantiin. Kulttuuriharrastamisen vaikutusten arviointiin liittyen järjestölle on luotu kyselyä kartoittamaan toiminnan vaikutuksia osallistujien fyysiseen, henkiseen ja sosiaaliseen hyvinvointiin sekä oppimiseen ja yhteistoimintaan.

Kansalaisfoorumin kehittämistyössä tausta-aineistona on käytetty WHO:n taiteen ja kulttuurin terveysvaikutuksia esiin tuovaa raporttia (Fancourt & Finn 2019), suomeksi ks. myös Taikusydän 2021; sähköpostitiedon anto H. Pulkkinen Kansalaisfoorumi 15.8.2022.

Kumpikin kehitystyö on järjestössä pyritty saamaan mukaan vaikutuksia kartoittaviin lomakkeisiin, jotka järjestö tarjoaa sidosryhmilleen vastattavaksi Pokka-alustalla

Pokka-arviointityökalu mahdollistaa omien tulosten vertailun muihin saman alan toimijoihin, tai samaa toimintamuotoa käyttäviin tahoihin. Se tarjoaa valmiita muokattavissa olevia kyselypohjia, joiden avulla järjestö saa kerättyä tietoa toimintansa tuloksellisuudesta, vaikutuksista sekä kehittämistarpeista. Pokka-arviointityökalusta vastaa Kukunori ry ja teknisestä toteutuksesta Vertics Oy. Lähde: Pokka (kukunori.fi)

. (Suomen Nuorisoseurat, haastattelu 8.4.2022.)

Allianssin edustajan arvion mukaan tukea ja apua arviointiin on järjestöjen saatavilla, mutta on eri asia, onko järjestöillä resurssia ottaa sitä vastaan. Allianssi pyrkii kattojärjestönä kannustamaan järjestöjä kouluttautumaan arvioinnissa kokonaisvaltaisesti. Samaan aikaan saattaa olla, että järjestöstä osallistutaan vain lyhyisiin tiettyihin hakemuksiin liittyviin sparraustilanteisiin, joissa ei päästä käsiksi järjestön toiminnan kokonaisuuteen. Järjestön arvot esimerkiksi saattavat olla hyvinkin pohdittuja ja näkyvät sen strategiassa. Samaan aikaan ne eivät näy arvioinnissa vielä ollenkaan. (Ryhmähaastattelu 15.2.2022, Allianssi.)

Allianssin edustajan mukaan toiminnan sanoittaminen on etenkin järjestöjen avoimen toiminnan, kuten kerhot, leirit ja retket, puolelta edelleen enemmän sitä, että tyydytään kertomaan toiminnan määriä, vaikka samalla tiedetään, että kyseisellä toiminnalla pystytään esimerkiksi vähentämään yksinäisyyttä. Raportoinnissa tätä aspektia ei tuoda esiin. Järjestöiltä tämän tyyppistä asioiden tuomista näkyväksi kuitenkin jo odotetaan. Allianssissa pidetään tärkeänä mittareiden kehitystyössä, että hyvinkin erilaiset ja eri-ikäisten nuorten kanssa nuorisojärjestöt pystyvät niitä käyttämään ja syntynyt tieto olisi näin vertailukelpoista. (Ryhmähaastattelu 15.2.2022, Allianssi.)

Vaikuttavuusketjun lisäksi suomalaisella järjestökentällä on käytössä lukuisia erilaisia arvioinnin tapoja. Nostamme seuraavassa niistä esimerkeiksi Non Fighting Generation ry:n (tästä edespäin NFG) kehitystyön arviointiin liittyen sekä valtakunnallista arviointitietoa etsivässä nuorisotyössä ja työpajoilla keräävän Sovari-kokonaisuuden. Molemmissa esimerkeissä korostuu nuorten rooli toiminnan arvioijina.

3.3.1.2 Jo yli kymmenen vuotta systemaattista arviointia

Timo Purjo sekä Maria Tervahauta ovat kirjoittaneet NFG:n toimintaa ja tuloksia useamman vuoden ajalta esittelevän teoksen Nuorten väkivallattomuuskasvatus - Tuloksia, vaikutuksia ja vaikuttavuutta (Purjo & Tervahauta 2014). Purjo on mainitun järjestön perustaja ja Tervahauta toimii järjestössä toiminnan kehittäjänä ja ohjaajana. Teos ei kuitenkaan syntynyt helpolla ja ennakoidusti, sillä jo heti sen ensisivuilla todetaan, että ilman arviointiin kohdennettuja avustuksia voi laajamittainen arvioinnin toteuttaminen järjestöissä olla haastavaa. Tämä johtuu siitä, että usein esimerkiksi yleisavustus ei riitä kattamaan siihen tarvittavaa ajallista ja rahallista menoerää. Kyseinen järjestö toimi lähes 20 vuotta ennen julkaisun kirjoittamista toiminnan tuloksista, vaikutuksista ja vaikuttavuudesta. Ajatus julkaisun kirjottamisesta muhi pitkään, mutta itse kirjoittamisen lykkääntyminen johtui paitsi siihen osoitetun rahoituksen puuttumisesta ja siitä, ettei arvioinnilla koettu olevan kiire. Järjestöllä ja sen yhteistyötahoilla toiminnan tulokset olivat tiedossa ja aika sekä saadut resurssit haluttiin käyttää toimintaan nuorten kanssa (ks. T. Purjo 2014).

Non Fighting Generation ry on valtakunnallinen vuodesta 1996 alkaen toiminut nuorisojärjestö, jonka toiminnan ydin on nuorten väkivallattomuuskasvatuksessa. Järjestö tekee yhteistyötä etenkin koulujen, mutta myös muiden tahojen kanssa, kuten vankilat sekä nuoriso- ja sosiaalityö. Yksi järjestön keskeisistä toimintamalleista on keskusteluryhmien järjestäminen väkivaltaisesti käyttäytyville nuorille, ja nuorille, jotka oireilevat kiusaamalla. (T. Purjo 2014.) Nykyisin järjestössä tehdään laajasti myös yksilöohjausta lähes sadan nuoren kanssa vuosittain. Yksilöohjauttavista nuorista noin puolet tulee lastensuojelun avohuollon kautta, muut koulujen, poliisin ja huoltajien yhteydenottojen perusteella.

NFG:ssa seurataan ja arvioidaan toiminnan tuloksellisuutta ja vaikuttavuutta systemaattisesti (Tervahauta 2014, 38; T-L. Purjo, sähköpostitiedonanto, 28.2.2022). Toiminnan tuloksia ja vaikutuksia on seurattu järjestössä jo pitkään yhteistyötahoilta, kuten kouluilta ja lastensuojelusta, kerättyjen palautteiden avulla. (T. Purjo 2014, 27–30.) Nykyisin arviointeja pyydetään sähköisesti sekä toiminnassa mukana olevilta nuorilta, keskusteluryhmien ohjaajilta, että tahoilta, jotka ovat ohjanneet nuoret keskusteluryhmiin (erityisesti koulut ja sosiaalitoimi). Arvioinnit pyydetään usein toiminnan alussa sekä lopussa, mutta pitkään jatkuvassa toiminnassa myös välipalautteena. (T-L. Purjo, sähköpostitiedonanto, 28.2.2022.) Tärkeimpänä selvitettävänä asiana järjestössä pidetään nuoressa ryhmän aikana ja sen vaikutuksesta tapahtunutta muutosta. Sitä arvioidaan muun muassa nuorten haastattelujen avulla ryhmän päättymisen jälkeen, sekä ohjaajien tekemien havaintojen ja raporttien avulla. (Tervahauta 2014, 38.) NFG:n toiminnanjohtajalta Tuija-Leena Purjolta sähköpostitse saadun tiedonannon mukaan sähköisten arviointilomakkeiden palauteprosentti on kattava, yhteistyötahoista arviointeihin vastaa noin puolet ja nuorista jopa 70 %.

Järjestössä on toteutettu myös pitkän aikavälin seurantaa. Artikkelissaan Tervahauta (2014) tarkastelee toiminnan vaikutuksia haastatteluaineistolla, joka on kerätty vaihtelevasti melko pian ryhmän päättymisen jälkeen tai enimmillään kahden vuoden jälkeen. (mts. 46–50.) Järjestön tuottamien arviointiin liittyvien selvitysten ja raporttien lisäksi järjestössä tehdään yhteistyötä opiskelijoiden kanssa opinnäytetöiden merkissä sekä julkaistaan teoksia järjestön teoriapohjasta (Tervahauta 2014, 38; sähköpostitiedonanto T-L. Purjo 2022). Yhtenä toiminnan laadun mittarina on järjestössä pidetty myös kysynnän volyymia, kysyntää on nykyään vuosittain noin 30 % enemmän kuin mitä järjestö voi rahoittajien mahdollistamilla resursseillaan toteuttaa (T. Purjo 2014, 7; T-L. Purjo, sähköpostitiedonanto, 28.2.2022).

3.3.1.3 Tunnuslukuja ja kokemustietoa kohdennetusta nuorisotyöstä organisaatiokohtaisittain, alueittain ja valtakunnallisesti

Toisin kuin järjestöjen avoimessa työssä nuorten kanssa, ovat etsivää nuorisotyötä tai työpajatoimintaa järjestävät tahot, kuten järjestöt, käyttäneet vuodesta 2016 yhteistä arviointijärjestelmää. Vuonna 2021 julkaistuissa raporteissa ”Pystyn asioihin, joihin en uskonut pystyväni” Työpajatoiminnan valtakunnalliset Sovari 2020 -tulokset ja ”Tuntuu, että on pidetty huolta” Etsivän nuorisotyön valtakunnalliset Sovari 2020 -tulokset arvioidaan työpajatoiminnan ja etsivän nuorisotyön vaikuttavuutta (Kinnunen 2021a; 2021b). Sovari on Into – etsivä nuorisotyö ja työpajatoiminta ry:n kehittämä ja ylläpitämä sosiaalisen vahvistumisen mittari, jolla mitataan palvelun laatua ja sosiaalisesti vahvistavia vaikutuksia. Mittaria on kehitetty yhteistyössä työpaja- ja etsivän nuorisotyön toimijoiden sekä asiakkaiden kanssa. (Kinnunen 2021a, 3.) Tämän jälkeen sen käyttäjäkunta on laajentunut vuosittain ja kentällä sen käyttö on vakiintunut (Kinnunen 2021a, 4; Kinnunen 2021b, 5.) Sovarilla mitataan työpajatoiminnan ja etsivän nuorisotyön keskeisen tavoitteen, asiakkaan sosiaalisen vahvistumisen, onnistumista.

Sovarin lisäksi työpajatoiminnassa ja etsivässä nuorisotyössä on käytössä tilastollisia vaikuttavuustietoja (PAR-tilastot mm. asiakkaiden sijoittumisesta koulutukseen, työhön tai muihin palveluihin). Kinnunen tuo raportissaan esiin mittarin laajamittaisen käytön edut: yhdenmukaiset ja valtakunnallisesti vertailtavat tunnusluvut sekä vaikuttavuustiedot. Sovari-mittari tekee näkyväksi sen tiedon, jolla voidaan osoittaa palveluiden vaikutuksia asiakkaiden elämäntilanteisiin ja siten tuoda esiin palveluiden merkitys ja tarve palvelujärjestelmässä. Mittarista saatua tietoa voidaan hyödyntää myös palveluiden kehittämiseen. (Kinnunen 2021a, 3.)

Sovarissa etsivän nuorisotyön ja työpajatoiminnan palvelujen laatua ja vaikutuksia mitataan kahdella erilaisella anonyymilla nettikyselyllä. Työpajatoiminnassa ensimmäisessä arviointiosiossa valmentautujat arvioivat työpajatoiminnan toteutusta ja laatua kolmella keskeisellä osa-alueella: 1) työtehtävät ja osallisuus, 2) yhteisöllisyys sekä 3) työ- ja yksilövalmennuksessa tarjottu ohjaus ja tuki. Etsivän nuorisotyön arviointiosiossa osa-alueet ovat: 1) palvelun saavutettavuus, 2) palvelun luottamuksellisuus ja keskusteluyhteyden sujuvuus nuoren ja toimijoiden välillä sekä 3) palvelusta saatu apu ja tuki elämäntilanteen edistämisessä sekä nuorelle sopivan polun löytäminen. Toisessa osiossa sekä työpajatoiminnan että etsivän nuorisotyön kyselyissä arvioidaan koettuja sosiaalisen vahvistumisen muutoksia viidellä eri osa-alueella: 1) itsetuntemus, 2) sosiaaliset taidot, 3) elämänhallinta, 4) arjen asioiden hallinta sekä 5) opiskelu- ja työelämävalmiudet. Kinnusen mukaan kyselyt ovat myös nuorten ja valmentautujien osallisuutta edistävä kanava. Nuoret ja valmentautujat voivat tuoda kyselyissä esiin omia näkemyksiä etsivän nuorisotyön ja työpajatoiminnan toteutuksesta ja siten vaikuttaa niiden kehittämiseen. (Kinnunen 2021a, 3–4; Kinnunen 2021b, 3.)

Kinnusen (2021a) mukaan Sovari tuottaa tunnuslukuja ja kokoaa kokemustietoa hyvin laajasti niin organisaatiokohtaisesti, alueellisesti kuin valtakunnallisestikin. Tiedon tuottaminen ei myöskään jää yksin etsivän nuorisotyön tai työpajatoimintaa järjestävän tahon vastuulle, sillä opetus- ja kulttuuriministeriön nimeämänä nuorisoalan osaamiskeskuksena Into laatii vuosittain alueelliset, koordinaatioalue- ja organisaatiokohtaiset yhteenvedot sekä valtakunnalliset raportit. (mts. 3–4.)

3.3.1.4 Vaikka kaikkea ei voi mitata syy-yhteyksien kautta, arviointiosaamisen kehittämisen merkityksestä ei tulisi tinkiä

Vuonna 2022 valtakunnallisille nuorisoalan järjestöille jaettiin opetus- ja kulttuuriministeriön toimesta valtionavustusta noin 18,5 miljoonaa euroa (OKM, valtakunnalliset nuorisoalan järjestöt n.d.). Valtionavustuksen saamisen edellytyksenä on, että järjestölle on myönnetty valtionapukelpoisuus tästä määrärahasta. Valtionapukelpoisuutta haettaessa huomioidaan toiminnan valtakunnallisuus, laatu, laajuus ja yhteiskunnallinen vaikuttavuus ja se, miten järjestö edistää nuorten yhdenvertaisuutta, tasa-arvoa ja osallisuutta. Valtionapukelpoisuuden ehdot ja myös ne perusteet, joilla avustusta jaetaan, nousevat nuorisolaista ja nuorisotyötä ja -politiikkaa koskevasta asetuksesta. Avustuksia jaettaessa kriteerit ovat toiminnan laatu, laajuus, yhteiskunnallinen vaikuttavuus, taloudenhoito ja nuorten osallisuuden edistäminen (OKM, lait ja asetukset: Nuoriso n.d.).

Opetus- ja kulttuuriministeriön sekä sen yhteydessä toimivan arviointi- ja avustustoimikunnan edustajat toteavat haastattelussa ministeriön toteuttaman järjestöjen yhteiskunnallisen vaikuttavuuden arvioinnin pohjautuvan järjestöjen itsearviointiin toimintansa merkityksellisyydestä niin nuorisotyössä ja -politiikassa kuin myös järjestön toimialalla, mutta myös ministeriön arviointiin järjestön toiminnan merkityksellisyydestä suhteessa muiden nuorisoalan järjestöjen toimintaan sekä järjestön toiminnan vaikutuksilla nuoriin ja toimialaan. Osallisuuden edistämisen osalta järjestöjä pyydetään erittelemään sen nuorille tarjoamia mahdollisuuksia osallistua päätöksentekoon, sekä sitä, miten järjestö muilla tavoin edistää nuorten kykyä ja edellytyksiä toimia yhteiskunnassa. Järjestöjen toiminnan tavoitteet voivat olla vuositavoitteita kuin myös pidemmällä aikavälillä toteutettavia. Ne voivat kohdentua rajattuun joukkoon ihmisiä tai olla enemmän koko yhteiskuntaa koskevia. Järjestö voi itse pitkälti oman toimintansa arvopohjaan perustuen määritellä, mitä asioita se oman toimintansa arvioinnissa seuraa, millaisin tulosodotuksin ja millaisen aineiston perusteella toteumaa raportoi, mutta kaikilta järjestöiltä kerätään samat määrälliset toimintatiedot. (Ryhmähaastattelu 24.3.2022.)

Samaan haastatteluun pohjautuen, järjestöjen oman arviointitoiminnan systemaattisuuden puute saattaa näkyä esimerkiksi niin, että järjestöt kysyvät palautetta jäseniltään, mutta eivät loppujen lopuksi kanavoi sitä toimintansa kehittämiseen. On kuitenkin nähtävissä, että järjestöjen toiminnan suunnittelun ja arvioinnin taso parantuu koko ajan. Yhtenä syynä kehitykselle voidaan pitää järjestöjen toteutuneen ja suunnitellun toiminnan pisteytystä ennalta tiedossa olevien perusteiden mukaisesti, sekä pisteytystulosten esillä oloa julkisena dokumenttina ministeriön sivulla ja sitä, että nuorisoalan valtakunnalliselle osaamiskeskukselle Kentaurille on annettu osaamiskeskustehtävänä auttaa järjestöjä arvioinnin kehittämisessä. Lisäksi ministeriö tarjoaa järjestöille seminaareja ajankohtaisista arviointiin liittyvistä teemoista, kuten kestävästä kehityksestä. Ministeriö teettää myös jonkin verran opinnäyte- tai harjoittelutöitä, joilla on yhtymäpintaa järjestöjen toiminnan rahoittamiseen. Tällä hetkellä on käynnissä opinnäytetyö liittyen järjestöissä tehtävän yhdenvertaisuus ja tasa-arvosuunnitteluun laatuun. (Ryhmähaastattelu 24.3.2022.)

Samaan haastatteluun pohjautuen, ministeriö ei velvoita järjestöjä käyttämään mitään tiettyä arvioimisen tapaa toiminnan dokumentoinnin pohjana. Yleensä ottaen toiminnan dokumentointi määrällisin tunnusluvuin on järjestöissä systemaattisemmin hoidettu kuin asetettujen tavoitteiden saavuttamiseen kohdentuva arviointi. Mitä tulee vaikutusten arviointiin järjestötyössä, ollaan siinä haastateltujen ministeriön ja sen avustustoimikunnan edustajien mukaan vasta alkutekijöissä. Toisaalta ministeriössä tiedostetaan myös, ettei onnistuneenkaan järjestötoiminnan yhteyttä esimerkiksi nuorten kasvu- ja elinolojen kehittymiseen laajemmin yhteiskunnan tasolla pystytä loppujen lopuksi ikinä kokonaan ”kausaaliketjumaisesti raportoimaan.” (Ryhmähaastattelu 24.3.2022.)

3.3.2 Ruotsi

3.3.2.1 Rahoittajien asettamien arviointikriteerien haastamista

Hankkeen pääyhteistyökumppani Ruotsissa oli Fryshuset, joka toimii yli 60 paikkakunnalla ympäri maata. Fryshuset toimii neljällä osa-alueella: Työ ja yrittäjyys, Roolimallit ja usko tulevaisuuteen, Koulut, ja Nuorisokulttuuri. Fryshusetilla on toimintaa myös muissa maissa, kuten Norjassa, Kuubassa, Alankomaissa, Armeniassa ja Tanskassa. Toimintaa rahoitetaan esimerkiksi säätiöiden ja yritysten lahjoituksilla sekä kaupunkien ja valtion julkisella rahoituksella. Fryshusetin perusperiaatteen mukaisesti toiminta lähtee nuorten tarpeista. Strategiana on ensin selvittää, miten nuorilla menee ja mitä he tarvitsevat, ja sen jälkeen hakea rahoitusta kyseiseen toimintaan. Fryshuset julkaisee runsaasti materiaalia, sekä tarpeita ja toiminnan edellytyksiä kartoittavia selvityksiä, että hankkeiden tuloksia. (Fryshuset, haastattelu, 25.3.2022.)

Fryshusetissa koetaan arviointiin liittyvien vaatimusten lisääntyneen rahoituksen saamisen ehtona viimeisen viiden vuoden aikana esimerkiksi yritysten suunnalta. Arvioinnin täytyy olla suunniteltua, tavoitellut vaikutukset tulee nimetä etukäteen ja se, millaisella arviointitiedolla vaikutukset todennetaan. Aiemmin rahoittajia kiinnostivat enemmän vain esimerkiksi nuorten määrät. Järjestön henkilökuntaa on vuodesta 2019 opastettu käyttämään muutoksen teoriaan (englanniksi ”Theory of Change”) pohjautuvaa arviointitapaa (ks. 3.2.2 tässä teoksessa).

Muutoksen teoriaa käytetään Ruotsissa yleisesti järjestöjen arvioinnin pohjalla ja sen käyttö on osa varainkeruun eettisyyttä turvaavan Giva Sverige (englanniksi ”the Swedish Fundraising Association”) jäsenjärjestöiltään velvoittamaa arviointiperiaatteistoa (Giva Sverige 2020). Käytännössä tämä tarkoittaa esimerkiksi sitä, että kukin järjestö kuvailee omaa muutoksen teoriaansa osana vaikuttavuusselvitystään, jonka linkki julkaistaan Givan verkkosivuilla vuosittain. Givan jäsenjärjestöihin kuuluu muun muassa syöpäjärjestöjä, eläinten hyvinvointiin, nuorisoalaan ja vanhuspalveluihin keskittyviä järjestöjä. Kaikkien jäsenjärjestöjen vaikuttavuusselvitykset löytyvät Givan jäsensivuilta (Giva Sverige, jäsenet n.d.; ks. esim. Fryshuset 2020; samoilta sivuilta löytyvät myös lähes kaikkien tässä raportissa seuraavaksi esiteltävien järjestöjen vaikutusraportit: Ruotsin Punainen Risti (ruotsiksi ”Svenska Röda Korset”) 2021; Raoul Wallenberg Academy 2021; Mind 2021; Tjejzonen 2021).

Fryshuset on mukana toimikunnassa, jossa järjestöt, kunnat, erilaiset tutkimus- ja kehitysorganisaatiot ja yritykset työskentelevät yhdessä arvioinnin kehittämisen eteen tähdäten vaikutusten mittaamisen standardisointiin (ks. Svenska institutet för standarder n.d). Fryshusetin mukaan komitea pyrkii tarjoamaan toimijoille ja rahoittajille tietoa erilaisista mittausmenetelmistä ja -terminologiasta, joita voidaan hyödyntää. Työ jatkuu edelleen ja saadaan päätökseen aikaisintaan vuoden päästä. (Fryshuset, haastattelu, 25.3.2022.)

Fryshusetilla pyritään toteuttamaan arviointi tarkoituksenmukaisella tasolla. Jos hankkeessa pyritään isoihin yhteiskunnallisiin muutoksiin, on niitä pyrittävä myös tuomaan näkyväksi. Fryshusetin julkaisussa Civilsamhallet i Orten (Nilsson Lundmark & Nilsson 2020) kuvataan, kuinka syvemmin muutoshakuisissa hankkeissa ei haeta vain jonkin tietyn ongelman nopeaa ratkaisua toiminnallisella tasolla, vaan pyritään luottamusta lisäävin toimin kehittämään kokeilevaa ja oppivaa otetta yhteistyössä toimintaan osallistuvien kuin myös muiden asian piirissä toimivien organisaatioiden kanssa. Tällöin ratkaisua esimerkiksi nuorten koulutuksen ja työn ulkopuolisuuteen haetaan esimerkiksi kasvattamalla tietyllä asuinalueella asuvien nuorten ylpeyden ja toivon tunnetta kiinnittämällä huomiota alueen ilmapiiriin ja kulttuuriin vaikuttaviin rakenteellisiin seikkoihin. Yhtenä odotettuna tuloksena mitataan tällöin nuorten tulevaisuuden uskon kasvua sekä tuodaan esille, millaisin toimin tavoitteeseen päästiin. Rakenteellisen tason muutosten osalta toiminnan suunnittelussa ja arvioinnissa seurataan ensinnäkin sitä, millainen tarve Fryshusetin toiminnalle on muiden alueella olevien toimijoiden muutoin väliin jäävässä tilassa. Toisekseen tuodaan esille, millä toimin varmistetaan, että vaikutuksissa päästään myös strategiselle, tarvittavia rakennemuutoksia aikaansaavalle tasolle. (Nilsson Lundmark & Nilsson 2020, 9, 21, 33–51.)

Arvioinnin haasteet liittyvät Fryshusetin näkökulmasta siihen, ettei toimintaan osallistuvilta ja sitä organisoivilta henkilöiltä voi aina kysyä, miltä heistä tuntuu, koska kyselyihin vastaaminen vie aikaa, eivätkä kaikki ylipäätään jaksa tai uskalla vastata. Toisaalta arviointia helpottaa, että usein Fryshusetin toimintaan osallistuvat samat ihmiset yhä uudelleen. Tällöin nuoret kokevat ohjaajat ja tilanteet yleensä jo valmiiksi keskustelulle turvallisiksi. On hyvä huomioida myös se, että jo kyselylomakkeen mitta voi jo itsessään heikentää motivaatiota vastata kyselyyn. Toiminnan kehittämistä ja arviointia varten tarvitaan kuitenkin monenlaista tietoa toimintaan osallistuvilta. Kaikkea ei kuitenkaan tarvitse kysyä yhdellä kertaa. Fryshusetissa onkin pyritty kysymään eri asioista eri aikoina, esimerkiksi nuorten tyytyväisyydestä tai itsetunnosta kerätään tietoa arviointia varten tiettyinä kuukausina. Vastaajat eivät aina ole samoja ja välillä kysytään esimerkiksi kaikilta paikallaolijoilta tai tietyiltä ryhmiltä. Fryshusetissa koetaan myös tärkeäksi arvioinnin joustavuus. Heidän mukaansa rahoittajien tulisi hyväksyä arvioinnin mukautuminen toiminnan luonteeseen. Ensisijaisesti arvioinnin tulee tukea organisaatiota itseään toimimaan paremmin, eikä rahoittajien tiedollisia intressejä. Nuoret ovat loppujen lopuksi toiminnan tärkein voimavara ja Fryshusetissa ollaan kiitollisia siitä, että he haluavat edelleen niin sankoin joukoin tulla mukaan toimintaan ja kertovat, millaista toimintaa tarvitaan. (Fryshuset, haastattelu, 25.3.2022.)

3.3.2.2 Arviointia ei voi kehittää vain ulkopuolelta käsin

Ruotsin Punaisen Ristin Nuoret (Svenska Röda Korsets Ungdomsförbund) järjestää monipuolista toimintaa nuorille ja nuorten kanssa, kuten lasten läksykerhoja, keskustelutilaisuuksia lasten oikeuksista, edunvalvontaa ja toimia, joilla pyritään tavoittamaan syrjäytyneitä nuoria. Kuten järjestön edustaja toteaa haastattelussa, myös vaikutukset vaihtelevat yksilötasolta aina valtakunnalliselle tasolle asti. Toimintaan on lähiaikoina tulossa mukaan myös uusi strategisesti mietitty aluevaltaus – järjestö alkaa olla enemmän fyysisesti läsnä ja järjestämässä toimintaa yhteisöllisen naapurustotoiminnan merkeissä eri puolilla maata. Sen, mitä rahoittajat odottavat arvioinneilta, koetaan järjestössä kasvaneen. Kysytään tarkemmin, mitä on tehty ja miksi jotain ei olla tehty. Rahoittajien suunnasta voi tulla määriteltynä mitä mitataan, mutta ei se, millä tavoin tieto hankitaan. Vaikutuksista ollaan kiinnostuneita, mutta enemmän se näkyy vaikutusten ennakointitarpeena hakemusvaiheessa, ei niinkään syvällisesti enää rahoituksen käytön raportoinnissa. Pitkään toimineessa järjestössä vaikutusten ennakointi koetaan siinä mielessä helpoksi, että käytössä olevat toimintatavat ovat vuosien varrella toimiviksi testattu. (Ruotsin Punaisen Ristin Nuoret, haastattelu 27.4.2022b.)

Ruotsin Punaisen Ristin Nuoret arvioivat kehitystarpeitaan puolen vuoden välein, ja tätä voidaan pitää järjestön suurimpana arviointiprosessina. Lisäksi muutaman vuoden välein toteutetaan ulkopuolinen arviointi, jossa kysytään sekä henkilöstöltä että vapaaehtoisilta, miten hyvin tavoitteet ovat saavutettu. Vapaaehtoistoimintaan osallistuvilla on arvioinnissa muutoinkin tärkeä rooli, sillä heiltä kysytään säännöllisesti myös näkemyksiä siitä, mitä asioita jokin toiminto on mahdollisesti tuonut osallistujien elämään. Kaikista suurimmat tulevaisuuden haasteet arvioinnissa liitetään järjestössä siihen, kuinka tavoittaa entistä enemmän osallistujien itsensä näkökulmaa. Työpajatyyppisessä toiminnassa osallistujia on kerralla paljon, tällöin heiltä usein kysytään kyselylomakkeella. Jos taas osallistujien määrät joissain toiminnoissa ovat pieniä, käytetään laadullisia tiedonkeruun keinoja. Toisaalta järjestöllä ei ole riittävästi kapasiteettia arvioida kaikkea toimintaansa. Järjestössä koetaan, että jatkossa rahoitusta on mahdollisuus saada sitä paremmin, mitä enemmän osallistujien ääntä on mukana arvioinnissa. (Ruotsin Punaisen Ristin Nuoret, haastattelu 27.4.2022b.)

Ruotsin Punaisen Ristin Nuorten näkökanta on, etteivät arviointiratkaisut erilaisissa ja eri tavoin toimivissa järjestöissä voi olla kaikille samoja, koska järjestöjen kohderyhmät, toimintatavat ja -alueet ovat erilaisia. Arviointia ei myöskään voi kehittää kokonaan ulkopuolisin voimin, koska siihen tarvitaan kunkin järjestön ja sen toimintaympäristön tarkka tuntemus. Ruotsin Punaisen Ristin Nuoret koetaan, että arviointi on niin tärkeää ja hyödyllistä, että sitä olisi hyödyllistä tehdä nykyistä enemmän, mutta tällöin se veisi todennäköisesti liikaa resursseja toiminnoilta. (Ruotsin Punaisen Ristin Nuoret, haastattelu 27.4.2022b.)

3.3.2.3 Muutoksia arvopohjassa ja ajatuksissa ei voi mitata rahassa

Raoul Wallenberg Academy on vuodesta 2001 alkaen työskennellyt nuorten ja opettajien kanssa epäoikeudenmukaisuutta ja epätasa-arvoa vastaan Raoul Wallenbergin antaman esimerkin mukaisesti. Työskentelyn keinoina ovat nuorille suunnattu johtajuusohjelma, erilaiset kouluohjelmat, opettajien koulutus ja materiaalin tuotanto. Akatemian toiminta liittyy ihmisoikeuksiin ja demokratiaan liittyvien arvojen sisäistämiseen ja tiedon muodostumiseen nuorten kanssa siitä, miten he kulloinkin voivat ottaa toimijuuden asemia ja vaikuttaa maailmaan. Kuten nuorisojärjestöillä yleensä, arvioinnin haasteena on todentaa toiminnan laajempia ja pitkäaikaisempia vaikutuksia – järjestöstä todetaan, ettei sen toiminnan tavoitteena ole esimerkiksi pyrkimys vähentää yhteiskunnan kustannuksia, kuten esimerkiksi huumeiden käytön vastaisella työllä voidaan jossain määrin katsoa olevan. Sen sijaan raportoinnissa pyritään nostamaan esille arvojen ja ajatusten muutosta, tämä siitäkin huolimatta, että osa toimintojen rahoittajista tuntuu edelleen olevan enemmän kiinnostunut esimerkiksi aikaansaatujen toimintojen ja kohtaamisten määristä. Haastateltava huomauttaa, että raadollisimmillaan tämän tyyppinen asenne arviointiin voi tarkoittaa, ettei arvioinnissa huomioida, miten nuoret kokevat toiminnot ja kohtaamiset, hyvinä vai huonoina. Kilpailu rahoituksista järjestöjen välillä ei koske vain esimerkiksi säätiöiden myöntämää rahoitusta, myös lahjoittamista harjoittavat yksityishenkilöt vertailevat organisaatioiden vaikutusraportteja, koska lahjoitettavien varojen toivotaan auttavan kohteessa mahdollisimman tehokkaasti

Esimerkki ruotsalaisesta keskustelusta koskien niin sanottua ”tehokasta altruismia” eli ”tehokasta epäitsekkyyttä” (ks. Anderljung 2018).

. Raoul Wallenberg Academy, haastattelu 13.5.2022.

3.3.2.4 Yhdistyneiden kansakuntien kestävän kehityksen tavoitteita edistämässä

Mind- järjestössä luetaan arviointikirjallisuutta ja poimitaan hyviä oppeja arviointiin muista järjestöistä. Samaan aikaan halutaan pitää vahva omistajuus siihen tapaan, miten arvioidaan ja miten arviointia ohjeistetaan. Sen osalta, mitä saadaan mitatuksi, saadaan todisteita yhteiskunnallisista vaikutuksista, joita voidaan sitten raportoida eteenpäin. Samalla arvioinnin käytännön työssä opitaan, mitä mikäkin indikaattori tarkoittaa. Saadaan tietoa, miten johtaa ja hoitaa asia jatkossa. Järjestön mukaan yleishyödyllinen toiminta on muuttumassa arvioinnin kehittymisen myötä ammattimaisemmaksi, on enemmän palkallista työvoimaa, enemmän arvopohjan toteutumisen todentamista. Toki on myös pelkoa siitä, että toiminnassa aletaan puhua jonkun toisen tahon puhetta tai että arviointia tehdään vain rahan saamiseksi ja sen käytön kontrollointia varten, ei niin että toiminnan kohderyhmä hyötyisi ja että arvioinnista opittaisiin. Mindissa arvioinnin rakenne pohjautuu muutoksen teoriaan (Theory of Change), jota on terävöitetty arvonlisäysketju-ajattelun avulla (ruotsiksi ”värdeskapandekedjan”) (ks. Hanh & Hök & Jannesson 2016). Arvonlisäysketjun mukaisessa ajattelussa pidetään tärkeänä toiminnan tavoitteiden suhteuttamista ja näkyväksi tekemistä esimerkiksi Yhdistyneiden kansakuntien (ks. United Nations n.d.) kestävyystavoitteita esillä pitäen. (Mind, haastattelu 27.4.2022a.)

Yksi Mind:n tärkeimmistä tarjottavista palveluista on itsemurhien ehkäisyyn tarkoitettu keskustelukanava, johon kuka tahansa apua tarvitseva voi ottaa yhteyttä. Vuonna 2019 kaikkiaan 27 000 yhteydenotosta 4500 tuli alle 24-vuotiailta nuorilta. Huomionarvoista on myös, että 135 niistä oli 7–12-vuotiaita. Palvelun vaikutusten arviointia toteutetaan yhteyttä ottaneen kanssa keskustelun lopussa. Yhteydenottajalta kysytään valmiin listan avulla, mitä hän koki keskustelusta saaneensa ja mitä hän olisi tehnyt, ellei keskustelua olisi käyty. Arvioinnin haasteena on, että sekä heikoiten että parhaiten voivia on usein vaikea motivoida arvioimaan. Arviointiin osallistuvilla on aina myös puheen vapaus, ja he voivat käyttää sen haluamallaan tavalla. Järjestössä huomautetaan, että arvioinnit tulee aina miettiä kohderyhmän mukaisesti. Kaikkea ei voi kysyä, varsinkaan haavoittuvissa tilanteissa olevilta. Arvioinnin raja tulee laittaa siihen, että myös keskustelun arviointia toteuttava osuus hyödyttää vielä myös palvelun käyttäjiä. (Mind, haastattelu 27.4.2022a.)

Myös keskustelijoina toimivat vapaaehtoiset osallistuvat arviointiin, he arvioivat muun muassa, kokevatko he pystyneensä auttamaan apua tarvitsevaa. Keskustelu siitä missä määrin ketäkin on mahdollista auttaa, auttaa niin palvelun kehittämisessä kuin myös vapaaehtoisia itseään jaksamaan työssä. Toimet ovat voineet olla oikeita, puhelu onnistunut, vaikka muutosta ei saada aikaan tai näkyviin. Ja vaikka vaikutuksia olisi ollut, on tärkeää pitää mielessä se, että yhteyttä ottavilla ihmisillä on usein myös muita kontakteja. Tällöin mahdollinen muutos ei yksistään synny esimerkiksi jonkun tietyn järjestön toimesta. Mindin toiminnalla on aina kuitenkin merkittävä arvo yhden lisäkanavan muodostamisessa keskustelumahdollisuudelle, Mind toimii yhteistyössä muiden toimijoiden kanssa rakentaen turvaverkkoa. (Mind, haastattelu 27.4.2022a.)

3.3.2.5 Arviointitapoja on useita ja niistä parhaimman löytäminen omaan toimintaan voi olla työn takana

Mötesplats Social Innovation eli MSI:n vuonna 2018 julkaisemassa Alla pratar om det men få gör det – en handbok i effektmätning (suom. “Kaikki puhuvat siitä, mutta harva tekee sitä – vaikutusmittauksen käsikirja”) teoksessa käsitellään vaikuttavuusarviointimalleja sekä toimijoita, joiden avuin vaikuttavuusarviointimalleja on kehitetty ja kehitetään yritysten ja järjestöjen tarpeisiin. Teos on opaskirja, jossa esitellään näkökulmia vaikuttavuusmittaukseen sekä mittausten merkityksiä, taustoja ja toteutusmuotoja. Oppaan tavoitteena on avata lukijalle vaikuttavuusmittausprosessia askel askeleelta. Oppaan toimittanut Erika Augustinsson mainitsee oppaan esipuheessa saman ilmiön, johon olemme törmänneet edellä myös haastateltujen kanssa keskusteltaessa: vaikuttavuusmittaukset ovat hyvä tapa selkeyttää ja vahvistaa organisaation omia tavoitteita ja viestiä rahoittajille työn vaikutuksista ja kehityksestä. Samalla vaikuttavuusmittaus vaatii resursseja ja osaamista, ja siksi toteuttaminen voi olla haasteellista pääasiallisen toiminnan rinnalla. (Augustinsson 2018, 5.)

MSI on Malmön yliopiston perustama sosiaalisen innovaation ja sosiaalisen yrittäjyyden yhdistävä osaamis- ja yhteistyöalusta. Sen yhteistyötahoihin kuuluu useampi yliopisto, ja se toimii yhteistyössä muun muassa Malmön kaupungin kanssa. MSI:n tavoitteena on rakentaa korkeakoulujen, yritysten sekä julkisen ja kolmannen sektorin toimijoiden kanssa innovaatiokykyä ja sitä kautta mahdollisuuksia vastata nykypäivän yhteiskunnallisiin haasteisiin. (Augustinsson 2018.)

Oppaassa käydään läpi erilaisia vaikuttavuusarviointeihin liittyviä menetelmiä kuten toimintaympäristön analyysiin suositeltuja Pestel:iä (jossa analysoidaan poliittisia, taloudellisia, sosiaalisia, teknologisia, ympäristöllisiä ja laillisia osatekijöitä) ja SWOT:ia (jossa tarkastellaan toiminnan vahvuuksia, heikkouksia, mahdollisuuksia ja uhkia). Muutoksen teoriaan (Theory of Change) pohjautuvassa arvioinnissa suositellaan käytettäväksi mahdollisuuksien mukaan mittauksia niin toiminnan lähtötilanteessa kuin toiminnan määrän ja lopputulosten kuin myös sosiaalisten vaikutusten todentamisessa. Mittausmenetelmien todetaan voivan olla toiminnan luonteesta ja kohderyhmästä riippuen kyselytutkimuksia tai haastatteluja. Oppaassa korostetaan valmiutta käytettävien kysymysten muokkaamiseen aiemman mittauksen ja toiminnassa saadun kokemuksen pohjalta. Lisäksi korostetaan reflektoinnin olevan tärkeässä roolissa, kun vaikutuksia määritetään suhteessa lähtötilanteeseen ja toiminnan aikana kerättyyn aineistoon. (Augustinsson 2018, 13–29.)

MSI:n oppaassa esitellään käytännön esimerkkejä vaikuttavuusmittauksista ja toimijoista, jotka tarjoavat palveluita auttaakseen yrityksiä ja järjestöjä toiminnan laadun kehittämiseen ja vaikuttavuusarviointiin liittyvissä kysymyksissä. Case-esimerkkeinä nostetaan esiin muun muassa Tjejzonen, jonka nykyinen arviointimalli on luotu yhteistyössä Social Initiative -järjestön kanssa (ks. myös Prine 2018).

Tjejzonen on Tukholmasta käsin toimiva voittoa tavoittelematon järjestö, jonka tehtävänä on tarjota 15–25-vuotiaille tytöille turvallisia tiloja kohtaamisiin ja kanssakäymiseen, ja siten tukea tyttöjen ja nuorten naisten psyykkistä hyvinvointia. Tjejzonen-järjestön keskeisimpiä palveluja ovat netissä toimiva keskustelupäivystys-chat, sekä isosisko-pikkusisko-toiminta. (Larsson ym. 2016.) Toimintaa pyritään alati kehittämään vuorovaikutuksessa viiteryhmän kanssa ja heidän tarpeisiinsa pohjautuen (Tjejzonen 2016). Vuosina 2011–2014 Örebron yliopisto toteutti tutkimushankkeen Tjejzonenin sukupuolisuuntautuneesta ennaltaehkäisevästä päihdetyöstä, jota toteutettiin tytöille suunnatun sisartoiminnan muodossa. Tutkimuksessa kartoitettiin muun muassa, millainen merkitys sisartoiminnalla oli tytöille ja vapaaehtoisille sekä miten toiminta heihin vaikutti. Aineisto kerättiin usean vuoden aikana toimintaan osallistuneilta nuorilta ja vapaaehtoisilta, sekä kyselyjen että haastattelujen muodossa. Pitkittäistutkimuksessa haasteena oli osallistujien tavoittaminen. Alkukyselyyn vastasi 109 toimintaan osallistunutta pikkusiskon roolissa osallistunutta, joista 17 valitsi nimettömän vastaamisen eikä jatkokyselyitä voitu heille lähettää. Toisessa ja kolmannessa kyselyssä vastausprosentti oli alhainen, joten siitä ei voitu vetää yleistettäviä johtopäätöksiä. (Larsson ym. 2016.) Tutkimushankkeen jälkeen Tjejzonen on vuodesta 2015 jatkanut omien vaikuttavuusmittaustyökalujensa kehittämistä muutoksen teorian pohjalta (Tjejzonen 2018).

Esimerkkinä MSI:n oppaassakin mainituista arvioinnin haasteista voidaan mainita Tjejzonenin järjestämän sisartoiminnan erityiset piirteet, jotka luovat järjestölle haasteita toiminnan seurannalle ja vaikuttavuuden arvioinnille. Monelle nuorelle nimetön osallistumismahdollisuus ja yksityisyyden tarkka suojaaminen ovat ehtoja sille, että he uskaltavat hakeutua toiminnan pariin, ja tästä syystä kattavia seuranta- ja vaikuttavuustutkimuksia voi olla haastava toteuttaa (Tjejzonen 2016). Tällä hetkellä järjestön vaikuttavuuden mittareita ovat toiminnan laajuus, joka pohjautuu mm. verkossa ja lähikontaktissa tapahtuvien vuorovaikutusten sekä chat-keskustelujen määrään, sekä vapaaehtoiset tyytyväisyyskyselyt, joihin toimintaan osallistuneet voivat halutessaan vastata (Tjejzonen 2020). Tjejzonesta kerrottiin, että arviointia ja tapoja tutkia toiminnan vaikutuksia kehitetään edelleen aktiivisesti (Sähköpostitiedonanto 17.1.2022.)

3.3.2.6 Arviointien kehittämisen lisäksi myös muut kehittämistoimet voivat olla tarpeen

Green Students -järjestöstä haastateltu henkilö kertoo tilanteesta, jossa päällimmäiset kehittämistarpeet liittyvät niukan toiminnan lisäämiseen, ei niinkään arvioinnin miettimiseen. Rahoitusta järjestö saa puolueelta tietyn prosessiosuuden mukaan, johon on tosin liittynyt vähentämispaineita. Vaalivuosina toiminnot liittyvät paljolti vaaleihin, muulloin toiminta on laajempaa, tutustutaan päätöksentekoon, tehdään aloitteita puolueen suuntaamiseen liittyen ja mahdollistetaan eri tavoin jäsenten vaikuttamismahdollisuuksia. Järjestöstä muistutetaan, että toiminnan tulokset ovat hyvin kontekstisidonnaisia, pienillä resursseilla toimiessa pieneltä kuulostava tulos voi olla merkittävä. Toiminnan volyymiä arvioitaessa olisi huomioitava, että puolueiden ja esimerkiksi hyväntekeväisyysjärjestöjen houkuttelevuus rahoituskohteena voi vaihdella hyvinkin paljon ajan kuluessa esimerkiksi poliittisista suhdanteista tai yleisestä keskustelusta johtuen ja rahoituksen määrä vaikuttaa toiminnan määrään. (Green Students, haastattelu 13.5.2022b.)

3.3.2.7 Nuorisojärjestöjen kokemustietoon suhtaudutaan vakavasti vaikuttavuusarviointityökalujen viranomaisjohtoisessa kehittämisessä

Myndigheten för ungdoms- och civilsamhällesfrågor (MUCF) (englanniksi: ”Swedish Agency for Youth and Civil Society”) on viranomaistaho, jonka pyrkimyksenä on varmistaa, että hallituksen asettamat nuoriso- ja kansalaisyhteiskuntapoliittiset tavoitteet saavutetaan. Tällaisia laeissa nimettyjä tavoitteita voivat olla esimerkiksi pyrkimys vaikuttaa myönteisesti nuorten toimijuuteen tai palvelujen laadun parantaminen. Hallituksen antaman toimeksiannon johdosta MUCF:n myöntämien rahoitusten vaikuttavuutta arvioidaan aiempaa tarkemmin. Vaikutusten arvioinnin kehittämisessä hyödynnetään aiempina vuosina järjestöissä tehtyjä haastatteluja, joissa on kerätty näkemyksiä siitä, kuinka tietyillä toiminnoilla aikaansaaduilla vaikutuksilla voi olla merkitystä laajempien tavoitteiden saavuttamisessa

Näitä haastatteluja on raportoitu esimerkiksi julkaisussa Organisationsbidragens användning och effekter 2021. Återrapportering av tre statsbidrag till ideella organisationer (Löving 2021).

. (MUCF, haastattelu 28.4.2022.)

Virastosta kerrotaan arvioinnin kehitystyössä tavoitteena olevan sellaisen arviointitavan löytäminen, joka mahdollistaisi erilaisten toimintojen vertailua ylittämällä, yhdistämällä ja haastamalla nykyiset arvioinnin tavat. Tehtävän luonnehditaan olevan haastava siinä mielessä, että virasto jakaa useanlaista rahoitusta. On tukia rasisminvastaista työtä tekeville järjestöille, ja sitten järjestöille, jotka työskentelevät erilaisten ikä-, kieli- ja kulttuuriryhmien kanssa, kuten nuorisojärjestöt. Projekteilla, joita myös rahoitetaan, on taas selkeä alku ja loppu. Rahoitettavien toimintojen taustalla on myös runsaasti erilaisia lakeja, joissa luonnehditaan, millaisiin tavoitteisiin tulee pyrkiä. Haastetta on myös siinä, kuinka lyhyistä rahoitetuista jaksoista voidaan rakentaa ymmärrystä pitkäaikaisista vaikutuksista, varsinkin kun samaan aikaan niin organisaatiot, toiminnot ja yhteiskunta muuttuvat. (MUCF, haastattelu 28.4.2022.)

3.3.3 Norja

3.3.3.1 Pidetään kansalaisyhteiskunta elinvoimaisena

The Norwegian Children and Youth Council (norjaksi ”Landsrådet for Norges barne- og ungdomsorganisasjoner, LNU”) on 102 lasten ja nuorten kanssa toimivan organisaation kattojärjestö. Kuten Tanskassa, myös Norjassa kattojärjestö osallistuu valtion rahoituksen jakamiseen jäsenjärjestöilleen. Käytännössä rahoituksen jakaminen nuorisojärjestöille tapahtuu pääosin kahta tietä. Kansallinen toiminta-avustus koostuu ministeriön vuosittain määrittelemästä perusavustuksesta sekä pisteytykseen perustuvasta niin sanotusta muuttuvasta apurahasta. Rahoitusesitykset tekee Fordelingsutvalget (suom. avustustoimikunta), joka on Norjan lapsi- ja perheasiainministeriön alainen hallintoelin. Siihen kuuluu seitsemän ministeriön nimeämää jäsentä, joista kolme järjestöjen valitsemaa, ja joista vähintään kahden on oltava lapsi- ja nuorisojärjestöjen kattojärjestö LNU:n ehdottamia. Toki osa järjestöistä hakee rahoitusta ministeriöistä myös suoraan. (ks. Fordelingsutvalget for tilskudd til frivillige barne- og ungdomsorganisasjoner. n.d.; LNU, haastattelu 21.3.2022.)

Kansallisia perusavustuksia voi hakea lapsi- ja nuorisojärjestöt (pois lukien mm. urheilujärjestöt, joilla oma toimikuntansa), jotka työskentelevät valtakunnallisesti lasten ja nuorten sekä heitä koskevien kysymysten parissa, ja joiden toimintaan osallistuu lapsia ja nuoria. Lisäksi järjestöjen on täytettävä muut rahoitukselle asettamat ehdot, joihin kuuluvat mm. saavutettavuus ja syrjimättömyys, selkeästi kirjatut säännöt, budjetit, tilinpäätökset ja toimintakertomukset niin keskus- kuin paikallisjärjestöillä, demokraattinen rakenne, joka mahdollistaa osallistumisen kaikille 15 vuotta täyttäneille, valtakunnalliset vaalit, jotka järjestetään vähintään joka neljäs vuosi, keskusjäsenrekisteri sekä vähintään 700 jäsentä. Paikallisjärjestöjä on oltava vähintään viisi. Pienempien järjestöjen kohdalla jäsenmääriä koskevista ehdoista voidaan joustaa, ja järjestöt voivat hakea erillistä tukea myös järjestön perustamiskuluihin. (Forskrift. n.d.; see also the report of Fordelingsutvalget 2019.)

Merkittävä LNU:n suoraan kentälle jakama rahoitus koskee erilaisia vapaita toimintaryhmiä, joilla on mahdollisuus hakea avustusta Norjan parlamentin vuonna 2000 perustamasta Frifond-rahastosta, jonne kanavoidaan rahapeleistä syntynyttä ylijäämää. Frifond-rahoitus on tarkoitettu erityisesti lasten ja nuorten omatoimisten projektien ja toiminnan mahdollistamiseen sekä toiminta-avustusten että projektiapurahojen muodossa. Frifond-projektiapurahaa voi hakea teatteri- ja musiikkiprojekteihin sekä lasten ja nuorten järjestämiin projekteihin. Musiikkiavustuksia hallinnoi Norsk musikkråd, ja niihin sisältyy esimerkiksi myös restart-avustus, jolla tuetaan lasten ja nuorten musiikkiryhmien ja -toiminnan elvyttämistä pandemian jäljiltä. Teatteriavustusta sekä lasten ja nuorten avustuksia koordinoi nuorisojärjestöjen kattojärjestö LNU. Frifond- rahoitusta mainostetaan hakuprosessiltaan maan helpoimmaksi ja vähiten byrokratiaa vaativaksi. (LNU, støtteordninger. n.d.; Frifond, om Frifond. n.d.; Frifond, om Frifond-ordningene. n.d.; Frifond, retningslinjer for støtte. n.d.; Norsk musikkråd, frifond. n.d.; LNU, haastattelu 21.3.2022.)

Norjassa keskusjärjestöllä on aktiivinen rooli nuorisojärjestökentän edunvalvojana valtionhallinnon rahoituskriteereistä päätettäessä. LNU:n edustajan mukaan toiminnan vaikutuksia ei rahoituksen jaossa ja raportoinnissa pyydetä aktiivisesti yksilöimään, koska monella, kuten vaikka opiskelija- ja poliittisilla järjestöillä toiminta on sen luonteista, että tiettyjä asioita ajetaan eteenpäin vuosia, jopa kymmeniä vuosia. Asian toteutumiseen vaikuttavat päättäjien intressit, hallituksen voimasuhteet ja aikataulut. Lisäksi läpimenoihin voi aina liittyä myös erehdyksen kautta oppimisen ja onnen aspektit. LNU:n näkemyksen mukaan sen arvioiminen, millä taholla on eniten aikaansaatua vaikutusta, on vaarallinen tie. On vaikea ennakoida ja raportoida jonkin saavuttamista. On myös epävarmaa, että kausaalisuus rakentuu juuri sille välille, mitä on tehty ja mitä pystytään mittaamaan. Lisäksi on mahdollista, että vaikutusten mittaamisen korostaminen suosii institutionalisoituja ja isoja organisaatioita, joilla on resursseja kehittää mittaamista. (LNU, haastattelu 21.3.2022.)

LNU:ssa arvioinnin pääpaino halutaan pitää siinä, että toiminta, jota rahoituksilla organisoidaan, on demokraattisesti hallinnoitua. Näin ajateltaessa arvioinnin tärkeimpiä kysymyksiä ovat esimerkiksi seuraavat: Miten valintoja tehdään eri toimintavaihtoehtojen välillä, ovatko nuoret mukana päättämässä, kuinka tyytyväisiä jäsenet ovat ja arvioidaanko organisaatiokulttuuria ja toimintatapoja säännöllisesti? LNU myötävaikuttaa myös siihen, että rahoituksen hakemisen kriteerit sekä hakemiseen ja raportointiin liittyvät lomakkeet pysyvät yksinkertaisina, jotta rahoitusta olisi kaikilla tahoilla mahdollista hakea, eikä hakijoiden resursseista liian suuri osa menisi hakemiseen. LNU:n mukaan kansalaisyhteiskunnan moninaisuuden säilyttämisellä on itseisarvonsa, samoin on yhdessä työskentelyllä osana kansalaisyhteiskuntaa sekä kanssaihmisiin vaikuttamisella ja yhteiskunnan luomisessa demokraattiseksi. (LNU, haastattelu 21.3.2022.)

Seuraavassa Norjasta esille nostetut esimerkiksi käsittelevät arvioinnin haasteita liittyen maailman parantamiseen, oman toiminnan tarpeellisuuden perustelumahdollisuuksia tieteellisen tutkimustiedon avulla sekä toiminnan saavutettavuuden, vetovoimaisuuden ja nuorten tarpeisiin vastaavuuteen kehittämistä.

3.3.3.2 Kuinka arvioida sitä, onko toiminta johtanut eriarvoisuuden vähenemiseen

Changemaker-järjestössä tehtävä työ maailmassa tapahtuvan epäoikeudenmukaisuuden voittamiseksi tarkoittaa jatkuvia tapaamisia politiikkojen kanssa, lobbaamista, lehdistösuhteiden ylläpitämistä, mielenilmaisujen järjestämistä, kouluvierailuja, ympäristöprojekteja, viikonlopputapaamisia ja johtamisopintojen järjestämistä. Järjestössä pidetään tärkeänä, että arviointi on yhtä monimuotoista kuin toimintakin. On sosiaalisen median kampanjoiden analysoimista nuorten aktivoijina. On huomion kiinnittämistä nuorten tietämyksen kasvuun opetukseen ja kasvatukseen liittyvässä toiminnan seurauksena. Tai sen todentamista, miten onnistuttiin paikallistason tapahtumien kanssa.

Järjestön edustajan mukaan keskustelu toiminnan vaikutusten esille saannista ei kuitenkaan ole kovin pitkällä. Yksi konkreettinen esimerkki kuitenkin löytyy. Kun kansainvälisen verotuksen asioita käsiteltiin maan hallituksessa, tuli palautetta, että ilman järjestön aktiivisuutta osa muutoksista olisi jäänyt saamatta. Järjestö on toiminut 30 vuotta, voi olla myös niin, että jotkut 20 vuotta sitten tehdyt asiat vaikuttavat nyt. (Changemaker, haastattelu 6.5.2022.)

Haastateltu järjestön edustaja toteaa muutoksen olevan vaikea nähdä niin politiikassa kuin lapsissa ja nuorissa. Hänen mukaansa on muistettava, että jokainen pienikin kosketus 14–15-vuotiaan kanssa voi olla merkittävän vuorovaikutuksen alku. Nuoret eivät automaattisesti hyväksy kaikkia tahoja vuorovaikutuskumppaneikseen. Se asema on jotain, mikä pitää omalla toiminnalla ansaita alkaen ensikohtaamisesta. (Changemaker, haastattelu 6.5.2022.)

Changemakerissa lähdetään siitä, että arviointia kehitetään. Yksi haasteista on, ettei toiminnassa mukana olevista nuorista monikaan ole järjestön jäsen ja mukana vain lyhyen aikaa. Nuoria kiinnostaa toiminta, ei sen arviointi. Arvioinnin kulttuuria ei syntyisi, ellei järjestöllä olisi työntekijöitä. Tärkeässä roolissa on neljännesvuosittain käytävä keskustelu järjestön hallituksen kanssa, jossa arvioidaan, miten menee ja mitä kaivataan lisää. Rahoitusta saadaan useasta eri lähteestä ja eri tahoille raportoidaan eri tavoin – tavoilla, joita he pyytävät. Järjestöllä on onni sen suhteen, että päärahoittajilla on homma hyvin hanskassa, on selkeä kuva, mitä tämäntyyppisen organisaation toiminnalta voi odottaa ja miten sitä voi arvioida ja raportoida. (Changemaker, haastattelu 6.5.2022

3.3.3.3 Kaikkea ei tarvitse mitata itse, jos muut luotettavat tahot tarjoavat perustan, jolle rakentaa

PEF- Psoriasis- og eksemforbundents ung i Norge -järjestössä (englanniksi ” The Psoriasis and Eczema Youth Association of Norway”, jatkossa PEF) tiedetään, kuinka tärkeää on tavata muita samanikäisiä samassa tilanteessa, jos itsellä on jokin esimerkiksi sairauteen liittyvä erityisyys. Sellaisessa toiminnassa mukana olo, joka mahdollistaa häpeän ja stigman tunteen hiipumista ja itsearvostuksen vahvistumista, on silloin lähes välttämätöntä. Itsearvostuksen parantumista juuri jonkun tietyn toiminnan seurauksena on kuitenkin lähes mahdotonta mitata. Tästä syystä kyseisessä järjestössä on huomattu rahoitushauissa erityisen tärkeää olevan sen, mitä kirjoitetaan kohtaan ”Taustatiedot.” Siinä osuudessa voi viitata erilaisten tutkimusryhmien tuloksiin, joiden mukaan ihmisillä, joilla on jokin erityisyys, voi helposti olla enemmän esimerkiksi mielenterveysongelmia ja pelkoja, joita taas voi ennaltaehkäistä esimerkiksi ystävien olemassaolo, luottamuksellinen ilmapiiri, jossa voi puhua ja vertaisten tapaamiset. Muiden kuin vertaisten kanssa ei välttämättä voi puhua niin, että voi olla varma siitä tietävätkö toiset mistä puhutaan. Järjestö kartuttaa asiantuntemustaan siitä, mitä juuri heidän jäsenensä tarvitsevat ja kykyään järjestää sitä heille. Rahoitushakemuksissa tarpeet täytyy tuoda esille, muuntaa tavoitteiksi ja määritellä se, miten tavoitteisiin päästään. Järjestöllä itsellään ei ole mahdollisuutta tutkia asioita tieteellisen perinpohjaisesti ja siksi on hyvä, että on luotettavia tahoja, joiden tutkimuksiin voi viitata. (PEF, haastattelu 2.6.2022.)

Vaikkei PEF:ssä ole lähdetty itse yrittämään kokonaisvaltaista vaikutusten arviointia, arviointia kuitenkin tehdään. Tapaamisten jälkeen kysytään, ovatko osallistujat tyytyväisiä tapaamisten järjestelyihin ja esimerkiksi sitä, saivatko he tietää asioista riittävästi ja olivatko järjestäjät riittävän selkeitä asioiden kertomisessa. Erilaisten projektien toteuttamisessa arvioidaan yhdessä tekemisen lopputulosta, kuten erityisyydestä kertovia sarjakuvia ja mietitään, ollaanko tyytyväisiä. Kun tuotokset, kuten sarjakuvat, julkistetaan sosiaalisessa mediassa, syntyy asialle näkyvyyttä, joka voi omalta osaltaan lisätä tietoisuutta. Tällöin voi dokumentoida esimerkiksi klikkausten määriä sen osalta, mitä esimerkiksi sarjakuvien julkistus on saanut. Sarjakuvan osalta laadullista palautetta saatiin lisäksi esimerkiksi ammattilaisilta, jotka kehuivat sarjakuvaa oikealla tavalla informatiiviseksi kohderyhmät huomioiden ja kertoivat jakavansa sitä mielellään lapsille ja nuorille, joilla on kyseinen erityisyys. (PEF, haastattelu 2.6.2022.)

PEF:n edustajan mukaan on mahdollista, että arviointiin liittyvien vaatimusten kasvaminen lisää toiminnan ammattimaistumista tavalla, joka lisää etäisyyttä ruohonjuuritason toimintaan. PEF:ssa koetaan eri tahojen tarjoamien rahoitushakujen olevan vaatimustasoiltaan hyvin erilaisia, osan hyvinkin vaikeita. Tästä seuraa haastatellun PEF:n edustajan mukaan se, että kentän toiminnasta voi rahoitushakemuksia tai hakijatahojen listauksia lukemalla saada väärän kuvan, koska osa järjestöistä ei voi hakea tietyissä hauissa resurssien puutteen takia. PEF on löytänyt ne rahoituskanavat, joihin sillä on ovi auki – yksityiskohtana mainittakoon, että näiden rahoittajien lomakkeissa on juuri se riittävä ”taustatiedoiksi” nimitetty tila, johon voi lisätä muiden tahojen tuottamaa tutkimustietoa koskien järjestön jäsenkentän tarpeita. Haastateltu toteaa, että ilman tuota tilaa hakemusta olisi aika mahdotonta tehdä. (PEF, haastattelu 2.6.2022.)

3.3.3.4 Tiedon kerääminen osallistujista ja osallistumisen edistäminen

Guro Ødegård ja Adun Fladmoe tarkastelevat vuonna 2017 julkaistussa, Samfunnsengasjert ungdom. Deltakelse i politikk og organisasjonsliv blant unge i Oslo -tutkimusraportissaan nuorten osallistumista vapaaehtoistoimintaan ja poliittiseen toimintaan osallistuvia Oslossa. Tutkimuksen tavoitteena oli selvittää, kuinka moni nuori osallistuu järjestötoimintaan tai poliittisten nuorisojärjestöjen toimintaan, ja onko muutoksia tapahtunut viimeisten parinkymmenen vuoden aikana. Lisäksi pyrittiin selvittämään, millaisia osallistumisen eroja eri sukupuolten välillä ja erilaisista etnisistä ja sosioekonomisista taustoista tulevien nuorten välillä on. Vertailussa muuttujina huomioitiin muun muassa etninen tausta, asuinalue, sosioekonominen asema ja vanhempien järjestöaktiivisuus. Lisäksi selvitettiin, osallistuuko järjestötoimintaan ja poliittisiin aktiviteetteihin aina vain samat nuoret, millainen toiminta koetaan houkuttelevaksi ja jäävätkö jotkin ryhmät ulkopuolelle. (Ødegård & Fladmoe 2017.)

Kyseisessä tutkimuksessa aineistona käytetään Ung i Oslo 2015 -kyselyn tuloksia, johon vastauksia oli saatu yli 24 000 yläkoulu- ja lukioikäiseltä (13–19 v.) nuorelta Oslon alueelta. Vuoden 2015 aineistoa verrattiin vuosien 2006 ja 2012 aineistoihin, jotta nähtiin kehitys eri vuosikymmeniltä. Kaikista vastanneista nuorista noin kaksi kolmesta (65 %) oli mukana vähintään yhden järjestön toiminnassa. Nuorten keskuudessa urheilujärjestöt olivat kaikista suosituimpia ja se on myös sektori, missä näkyivät suurimmat eroavaisuudet nuorten vähemmistö- ja sosioekonomisissa taustoissa. Vähemmistöjä edustavat tytöt olivat aliedustettuina järjestöissä, kaikista vähiten he osallistuivat urheilujärjestöjen toimintaan. Aktiivisimmin mukana järjestötoiminnassa olivat järjestöissä aktiivisten vanhempien lapset, kun taas poliittisessa osallistumisessa vähemmistö- ja enemmistönuorten välillä erot eivät olleet merkittäviä. Aineiston perusteella nuoriso vaikuttaa olevan vähintään yhtä aktiivista, ellei hieman aktiivisempaa järjestökentällä kuin 10–20 vuotta sitten. Tutkimus on julkaistu Senter for forskning på sivilsamfunn og frivillig sektor -tutkimuskeskuksen toimesta (englanniksi ”The Centre for Research on Civil Society and Voluntary Sector”). (Ødegård & Fladmoe 2017.)

Sama tutkimuskeskus julkaisi samana vuonna myös toisen teemaan liittyvän mielenkiintoisen julkaisun. Se on nimeltään Norsk frivillighet: Utviklingstrender og samfunnseffekter (Kraglund & Enjolras 2017). Siinä on erilaisten tapaustutkimusten avulla tarkasteltu vähemmistöjen osallistumista kansalaisyhteiskuntaan, sekä miten järjestöt työskentelevät, millaisia haasteita ne työssään kohtaavat, sekä miten yhteistyö kunnallisten viranomaisten kanssa koetaan. Julkaisussa todetaan yhdistystoiminnan ja vapaaehtoistyön yhteiskunnallisten vaikutusten voivan olla monenlaisia: suoria tai epäsuoria, lyhyen tai pitkän aikavälin vaikutuksia kohdistuen niin yksilöihin, paikallisyhteisöihin kuin myös laajemmin yhteiskuntaan. Esimerkkeinä vaikutuksista nostetaan vaikutukset muun muassa kansanterveyteen, integraatiotyöhön, pelastustoimintaan ja radikalisaation vastaiseen ennaltaehkäisevään työhön. Norjassa maahanmuuttajataustaustaiset ihmiset ovat julkaisun mukaan muihin OECD-maihin verrattuna suhteellisen hyvin integroituneita työmarkkinoille ja koulutukseen. Kuitenkin vähemmistöjen edustajien osallistuminen kansalaisyhteiskunnan kentälle on vähäistä verrattuna valtaväestöön. Julkaisussa muistutetaan, kuinka yhdistystoiminnan ja vapaaehtoistyön kautta voidaan luoda ja vahvistaa verkostoja, luoda vastavuoroisuuden kulttuuria ja lisätä sosiaalista osallisuutta, mikä olisi eduksi nimenomaan esimerkiksi maahanmuuttajille. (Kraglund & Enjolras 2017, 63–65.)

Samassa julkaisussa Norsk frivillighet: Utviklingstrender og samfunnseffekter tarkastellaan myös pitkittäistutkimusta vuosilta 2012 ja 2015. Alun perin vuonna 2012 julkaistussa tutkimuksen alkutilannetta käsittelevässä artikkelissa Rekruttering av barn og unge till frivillige organisasjoner. Barrierer, tilltak og institusjonelt samarbeid tarkasteltiin nuorten järjestöosallistumista neljässä norjalaisessa kaupungissa (Ødegård, Steen-Johnsen ja Ravneberg 2012). Artikkeli tuo esille, millaisia esteitä nuorten järjestöosallistumiselle on yksilö- organisaatio- ja yhteiskunnallisella tasolla, ja miten järjestöt ovat niitä poistaneet. Erityisesti haluttiin selvittää etenkin etnisiä vähemmistöjä edustavien nuorten osallistumista, sillä he osallistuvat muuta väestöä harvemmin nuorisojärjestöjen, kuten liikunta- ja vapaa-ajan järjestöjen toimintaan. Aineisto kerättiin dokumenttianalyysien lisäksi haastattelemalla koulujen ja urheiluseurojen aikuisia edustajia. Urheilujärjestöjen katsottiin tutkimuksessa edustavan osallistumisen kannalta kaikkein helpoimpia yhteisöjä, koska ne eivät toiminnassaan edistä uskonnollisia tai poliittisia agendoja, jotka voisivat olla este maahanmuuttajataustaisten nuorten osallistumiselle. Esimerkiksi etnisiin vähemmistöihin kuuluvien tyttöjen osallistuminen toimintaan oli erityisen vähäistä, ja he usein lopettivat harrastukset murrosiän kynnyksellä. Osallistumisen esteiksi nousivat yksilötasolla mm. sosioekonomiset resurssit ja haastavat perhetilanteet, vähäiset norjan kielen taidot sekä kokemattomuus paikallisesta järjestökulttuurista sekä uskontoon ja/tai kulttuuriin liittyvät käytänteet. Organisatorisella tasolla haasteena olivat esimerkiksi vapaaehtoisten puute ja toiminnan jatkuvuus. (Ødegård ym. 2012, 88.)

Kyseisessä artikkelissa käydään myös läpi strategioita ja toimenpiteitä, joiden avulla nuoria pyrittiin saamaan mukaan järjestöihin. Toimenpiteisiin eri alueilla lukeutuivat esimerkiksi suullinen ja kasvokkainen viestintä nuorten vanhemmille kirjallisen sijaan, nuorten osallistaminen toiminnan suunnitteluun, roolimallien tarjoaminen, toiminnan monipuolistaminen sekä kunnallisten toimijoiden ja järjestöjen välinen yhteistyö viestinnässä ja nuorten tavoittamisessa. Artikkelissa todetaan, että nuorten toimintaan mukaan saaminen edellyttää nuorten rekrytoinnin ja osallistamisen selkeämpää koordinointia ja sitä, että pitkän aikavälin tavoitteita asetettaisiin myös näistä näkökulmista. (Ødegård ym. 2012, 90–93.)

Vuonna 2017 julkaistussa jatkotutkimuksessa, Levende drabantbyer Ungdoms deltakelse i organiserte fritidsaktiviteter i flerkulturelle lokalsamfunn, Ingunn Eriksen ja Lars Frøyland tarkastelivat edellisen tutkimuksen tavoin nuorten vapaa-ajantoimintaan osallistumista. Yhtenä kiinnostuksen kohteena tutkimuksessa oli nuorten osallistumisen laajuus järjestöjen vapaa-ajantoimintaan. Tutkimuksessa tarkasteltiin myös keinoja ja strategioita, joita järjestöt käyttävät rekrytoidakseen nuoria mukaan vapaa-ajan toimintaansa. Kunnat olivat samoja kuin aiemmassa tutkimuksessa. Yhteistä niille on maahanmuuttajataustaisten asukkaiden suhteellisen suuri osuus, jopa 50 % kaupungin kokonaisasukasmäärästä. Koska aikaa oli kulunut tutkimuksen aiemmasta kierroksesta vuonna 2012, pystyttiin seurannassa kartoittamaan aiempien rekrytointitoimenpiteiden toteutuneita vaikutuksia. Jokaisessa kaupungissa oli kuluneen viiden vuoden aikana aloitettu tai läpikäyty fyysisiä ja sosiaalisia toimenpiteitä alueen kehittämiseksi sekä palvelujen parantamiseksi. Järjestötoiminnan kehittämisen osalta toimenpiteet liittyivät esimerkiksi nuorten näkökulmien systemaattisemman kuulemisen kehittämiseen ja uusien harrasteryhmien aloittamiseen nuorten toiveiden perusteella. (Eriksen & Frøyland 2017.)

3.3.4 Tanska

3.3.4.1 Demokratia keskeisenä arviointikriteerinä

Tanskassa hankkeen yhteistyötahona toimii lapsi- ja nuorisojärjestöjen kattojärjestö Dansk Ungdoms Fællesråd (DUF) (englanniksi Danish Youth Council), jolla on 80 jäsenorganisaatiota. DUF:n tavoitteena on edistää nuorten mahdollisuuksia vaikuttamiseen, vahvistaa nuorten osallisuutta ja mahdollisuuksia dialogiin sekä osallistaa nuoria mukaan demokratiaan, yhteiskuntaan ja järjestöihin kansallisella ja kansainvälisellä tasolla. (DUF, tietoa järjestöstä n.d.)

Kuten myös Norjassa keskusjärjestöllä, on Tanskassa DUF:lla vahva rooli valtionhallinnon ja järjestöjen välillä. Roolia voidaan kuvata termeillä rahoituksen jakaja, rahoittaja, edunvalvoja ja portinvartija (DUF, haastattelu 15.3.2022). Seuraavassa näitä rooleja hahmotetaan ensin rahoitukseen ja siihen liittyvien kriteerien, kuten demokraattisuuden, näkökulmasta. Tämän jälkeen tarkastellaan lyhyesti DUF:n roolia edunvalvojana ja portinvartijana sekä kerrotaan muutamasta nuorisojärjestöihin liittyvistä arviointiesimerkeistä.

DUF sekä rahoittaa järjestöjen toimintaa että osallistuu valtionavustusten ja veikkausylijäämän jakamiseen jäsenjärjestöilleen. Nuorisojärjestöille rahoituksen saannin kriteerejä ovat esimerkiksi järjestön aktiivinen toiminta eri puolilla maata, demokraattinen hallinto ja toimintatavat sekä yhteisöllisyys, nuorten aktiivisuus osallistumisessa ja toimijoina, kaikkien mahdollisuus toimia, toiminnan kehittyminen, nuorilta saatu palaute mutta myös raportoinnin systemaattisuus. Lisäksi järjestöt voivat halutessaan nimetä toimintaansa luontevasti liittyviä muita tavoitteita, ja raportoida saavutettiinko tavoitteet. (DUF, haastattelu 15.3.2022.)

Rahoitusta järjestöt voivat hakea sekä perustoimintaan että tiettyihin aktiviteetteihin kohdennetusti. Monilla järjestöillä on useita rahoituslähteitä, sekä julkisia että yksityisiä. DUF:n jakamaa rahoitusta koskevat hakemukset arvioidaan DUF:n ja kulttuuriministeriön yhteistyönä. Nuorisojärjestöille tuleva rahoitus on usein peräisin veikkaustoiminnan tuottamasta ylijäämästä, samoin kuin esimerkiksi urheilujärjestöille ja kansalaisyhteiskunnan toimijoille laajemminkin. Toisaalta järjestöjen toimintaa rahoittavat myös monet muut ministeriöt. Ne järjestöt, jotka eivät ole DUF:n jäseniä, hakevat rahoitusta suoraan muun muassa valtiovarainministeriöstä. (DUF, haastattelu 15.3.2022.)

Haastateltu toteaa DUF:n vaalivan toiminnassaan demokraattisia ihanteita ja näkevän tarvetta ”demokraattisten lihasten harjoittelulle järjestöissä”. Hänen mukaansa helposti ajatellaan demokraattisen toiminnan lisäämisen koskettavan vain esimerkiksi poliittisia nuorisojärjestöjä, vaikka se koskee kaikkia, kuten esimerkiksi myös opiskelijajärjestöjä ja rauhanliikkeitä. DUF:ssa on koettu, että kun toimijoita saatetaan yhteen pohtimaan demokraattisia käytänteitä, huomaavat hyvin erilaiset toimijat omaavansa yhteistä keskenään. (DUF, haastattelu 15.3.2022.) DUF on ollut vaikuttamassa muun muassa veikkausvoittovarojen jakoperusteisiin, jotka edellyttävät tuettavilta järjestöiltä demokraattista rakennetta, jonka osaltaan nähdään edistävän jäsenistön demokraattista sitoutuneisuutta sekä ymmärrystä demokratiasta. Järjestöjen toiminnassa tulee myös olla elementtejä, jotka tukevat yhteiskunnallista osallisuutta. Lisäksi nuorten tulee saada järjestötoiminnan kautta mahdollisuuksia kehittää kompetensseja, kuten vastuunottoa, yhteistyötaitoja sekä johtamistaitoja. Demokratiapainotteisuudeksi voidaan laskea myös samasta rahoituksesta jaettava aloitetuki lasten ja nuorten oma-aloitteisen toiminnan järjestämiseen. (ks. Tipsungdomsnævnet 2016 Tilskudsbekendtgørelsen §1, §2, §27.)

DUF:sta todetaan, etteivät sen kentälle tarjoamat indikaattorit usein ole tiukkoja vaan enemmänkin suuntaa antavia, koska tärkeintä ”kansalaisyhteiskunnan DNA:ssa” on joka tapauksessa demokraattisesti toimivien yhteisöjen luominen. Isoissa hankkeissa ei pyritä niinkään raportoimaan esimerkiksi yksilöiden kasvua, vaan esimerkiksi toiminnan volyymiä ja muita yleisiä indikaattoreita. Omassa toiminnassaan DUF tekee esimerkiksi kouluyhteistyötä, jossa nuoria aktivoidaan vaikuttamaan ja esimerkiksi äänestysinnokkuutta kysytään sekä ennen että jälkeen aktiviteettien. (DUF, haastattelu 15.3.2022.)

Omaksi, jäsenjärjestöjensä ja laajemmin yhteiskunnan toiminnan tietopohjaksi DUF on vuodesta 2011 alkaen toteuttanut Demokratianalysen-tutkimusta, jossa kartoitetaan nuorten asenteita, yhteiskunnallista osallisuutta ja osallistumista järjestötoimintaan, sekä digitaitoja. Demokratianalysen 2021 -tulosraportissa esitellään muun muassa nuorten jäsenyyttä erilaisissa järjestöissä ja poliittiseen toimintaan osallistumisen muotoja. Lisäksi selvitetään nuorten mielipiteitä Tanskan ja maailman tilan kehitykseen liittyen, sekä nuorten kiinnostusta politiikkaa ja yhteiskunnallisia kysymyksiä kohtaan. Arviointi tapahtuu vuosittain ja vertailun avulla saadaan kuvaa, millaisia muutoksia nuorten asenteissa ja osallistumisessa tapahtuu. Vuonna 2021 Demokratianalysen-tutkimuksessa käytetty aineisto kerättiin kolmen viikon aikana verkkopaneelien kautta. Aineisto koostui kaiken kaikkiaan noin 1700 verkkohaastattelusta, joista lähes 600 toteutettiin 16–25-vuotiaiden kanssa, loput noin 1100 yli 25-vuotiaiden kanssa. (Dansk Ungdoms Fællesråd 2021.)

DUF:n edustaja kertoo haastattelussa järjestöjen käyttävän ääretöntä määrää erilaisia arvioinnin menetelmiä, kuten tarinamuotoista raportointia tai määrällisiä lukuja. Hänen mukaansa on myös järjestöjä, joiden arviointi on edelleen oikeastaan raportointia eikä arviointia. Järjestöistä monet pyrkivät kuitenkin asettamaan itselleen mitattavia tavoitteita. Esimerkiksi puoluepoliittisille nuorisojärjestöille tämäntyyppinen tavoite voi olla nuorten äänestysaktiivisuuden kasvu tietyllä alueella. Toisaalta haastateltu muistuttaa, ettei kaikkea voi mitata. Erityisen vaikeaa se on, kun järjestö pyrkii toteuttamaan jotain uutta eivätkä asiat etene suunnitelman mukaan. Tähän liittyen haastateltu kysyy, että eikö nuorisojärjestötoiminnan ydin lopuksi ole aina jossain määrin tekemällä oppimisessa. (DUF, haastattelu 15.3.2022.)

DUF on jäsenjärjestöjensä kanssa koonnut eri lähteistä työkalupaketin kansainvälisten projektien arviointiin. Paketissa on mukana projektia toteuttaneen tiimin itsearviointia tukeva osio, jossa tiimi miettii, toteutuivatko suunnitellut asiat, oliko työllä ollut vaikutusta ja tehtiinkö oikeita asioita. Projektin tarinoittamiseen välineitä on tarjolla useita koskien sekä projektin aikana ilmenneiden positiivisten ja negatiivisten vaikutusten esilletuontia, eritellen ajatellaanko niiden aiheutuneen projektista vai jostakin muusta syystä, suurimpien aikaansaatujen muutosten kirjaamista ja projektin sijoittamista aikajanalle. Lisäksi ohjeistetaan hankkeen päätavoitteiden, osatavoitteiden ja toimintojen rakentamista loogiseksi ketjuksi, joskin niin, että esimerkiksi myös odottamattomat vaikutukset huomioidaan. (DUF, Toolbox til internationale projekter. n.d.)

Mitä tulee DUF:n roolin nuorisojärjestöjen edunvalvojana ja portinvartijana, sen tehtävä on toimia lähellä järjestöjä. Haastatellun järjestön edustajan mukaan se pystyykin monella tapaa toimimaan lähempänä niitä kuin ministeriöiden virkamiehet. Tanskassa nuorisojärjestöjen toiminnan arviointiin tarkoitettujen indikaattoreiden kehittäminen on delegoitu DUF:lle, samalla tavoin kuin saman ministeriön alla olevilla urheilujärjestöillä se on annettu tehtäväksi heidän kattojärjestölleen. Arvioinnin kehittämisessä DUF:ssa nähdään monenlaisia haasteita. Rahoituksen hakeminen ja sen käytön raportointi ei saa mennä liian monimutkaiseksi ja vaikeaksi järjestöille. DUF:n auttava linja neuvoo järjestöjä, siinä mitä tarkoitetaan esimerkiksi termeillä ”aktiviteetti” tai ”aktiivinen jäsen” tai että millainen on minimitaso, mikä missäkin asiassa pitää saavuttaa. DUF:n on näihin kentän esittämiin kysymyksiin helppo vastata käytännön tasolta, koska se tuntee kenttätyön realiteetit. Toisaalta DUF:n tehtävä on pitää edunvalvonnallaan myös ministeriö tietoisena käytännön työn haasteista ja pitää arviointivelvoitteet oikean suuntaisina. (DUF, haastattelu 15.3.2022.)

Seuraavaksi perehdytään Tanskan osalta esille nostettuihin muihin arviointiesimerkkeihin. Niistä ensimmäinen koskee kaikkia niitä Pohjoismaisia järjestöjä, jotka hyödyntävät Erasmus+ rahoitusta. Urheilusta nostettu tapausesimerkki tuo esille toiminnan ja arvioinnin räätälöintitarpeita vastaamaan kohderyhmän, tässä tapauksessa tyttöjen, tarpeita. Partioliikkeen esimerkissä kerrotaan, kuinka arviointia linkitetään arjen toimintaan ja kuinka arvioinnissa on tärkeää nostaa esille erilaisia aspekteja unohtamatta nuorisotoiminnan perusydintä: hauskuutta ja yhdessäoloa. Tanskan osuus päättyy demokratiapainotukseen eli samaan mistä se alkoikin. Nuorten saari inspiroi niin toimintamallillaan kuin myös sen ansiosta, millaisia asioita siellä arvioinnilla haluttiin nostaa esiin.

3.3.4.2 Erasmus+: tanskalaiset nuorisojärjestöt osallistuvat säännöllisesti Euroopan laajuiseen kyselyyn

Vuonna 2020 julkaistussa Monitorering af ungdomsusdvekslinger under Erasmus+: Ungdom raportissa Carsten Yndigegn tarkastelee Erasmus+ vaihto-ohjelman tuloksia Tanskan osalta. Tutkimuksen on toteuttanut RAY eli Research-based Analysis and Monitoring of Erasmus+: Youth in Action Programme, joka on itsenäinen eurooppalainen tutkimusverkosto. Se osallistuu Erasmus+ Youth -ohjelman kehittämiseen ja laadunvarmistukseen, näyttöön ja tutkimukseen perustuvaan nuorisopolitiikan kehittämiseen, lisäksi se edistää kansainvälisen liikkuvuuden yhteydessä tapahtuvan oppimisen tunnistamista nuorisoalalla sekä edistää vuoropuhelua nuorisoalan tutkimuksen, politiikan ja käytännön välillä. (Yndigegn 2020, 18.)

RAY-verkosto toteuttaa Monitor-kyselyä seuratakseen Erasmus+ Youth toiminnan laatua ja vaikuttavuutta. Kysely kohdennetaan sekä Erasmus+ Youth -projekteihin osallistuville nuorille, että hankkeiden järjestäjille ja vastuuhenkilöille. Sen tarkoituksena on kartoittaa monipuolisesti osallistumisen vaikutuksia osallistujiin ja organisaatioihin. Lisäksi tarkastellaan hankkeiden käytäntöjä, hallinnollisia puitteita ja rahoitusta, sekä edellisten kehittämismahdollisuuksia. Aiemmin tutkimuksellisia painopisteitä vastaavassa seurannassa ovat olleet osallistujien arvo-, asenne- ja käyttäytymismuutokset, osallisuuden kokemus sekä miten kansainväliset hankkeet edistävät osallistujien kansalais- ja vuorovaikutustaitoja, kielitaitoa sekä kulttuurienvälisiä kompetensseja. (ks. Yndigegn 2020, 19.)

Kyselyä on vuosien aikana kehitetty, ja tällä hetkellä se koostuu 30–40 monivalintakysymyksestä, 5–10 avoimesta kysymyksestä ja yksittäisistä, tarkempia taustatietoja käsittelevistä kysymyksistä. Kaiken kaikkiaan kysymyspohja sisältää noin 200 osakysymystä. Osallistujien tekemissä itsearvioinneissa hyödynnetään Youthpass-työkalua. Koska kyselyn viiteryhmä on jakautunut moniin maihin, Monitor-kysely toteutetaan käytännöllisyys- ja saavutettavuussyistä projektin jälkeen täytettävänä verkkokyselynä ja se lähetetään samanaikaisesti kaikkiin osallistujamaihin. Arvioinnin tuloksena Yndigegn toteaa raportissaan (2020), että Erasmus+ Youth -projekteilla olevan vaikutusta ja ohjelman puitteissa tapahtuvan projektitoiminnan tähän mennessä edistäneen Erasmus+-nuorisovaihto-ohjelman tavoitteiden saavuttamista, kuten kulttuurisen ja eurooppalaisen ymmärryksen vahvistamista ja informaalin oppimisen, kuten arvojen ja asenteiden kehittymisen tunnistamista.

3.3.4.3 Urheilutarjonnan ja arviointitapojen muokkaaminen tyttöjen tarpeisiin

Tanskassa on vuodesta 2016 alkaen toteutettu hanketta ”Hyviä urheiluympäristöjä tytöille” (tanskaksi ”Gode idrætsmiljøer for piger”). Hanketta on toteuttanut Tanskan urheiluliitto (tanskaksi ”Danmarks Idrætsforbund DIF”, englanniksi National Olympic Committee and Sports Confederation of Denmark) yhteistyössä Center for Ungdomsstudier ja kymmenen lajiyhdistyksen kanssa. (Center for Ungdomsstudier, n.d.) Kyseinen tutkimus- ja kehityshanke pohjautui huomioon, että nuorten keskuudessa urheiluseuroissa tytöt ovat jäsenistössä aliedustettuina. Koulu ja urheilu koetaan haastavaksi yhdistää, ja yläasteelta lukioon siirryttäessä tapahtuu merkittävä pudotus urheiluseurojen jäsenmäärissä, ja pois jättäytyjät ovat useimmiten tyttöjä (hankkeessa syntynyt opas ks. Jensen & Østergaard 2018.) Hankkeen tavoitteena oli tutkia, tunnistaa ja lisätä ymmärrystä tyttöjen liikuntaan liittyvistä erityispiirteistä, kuten taipumuksesta perfektionismiin, sekä löytää tapoja vahvistaa tyttöjen osallisuutta liikuntaseuroissa. Työkaluja etsittiin mm. urheilussa vaadittavien suoritusten ja odotusten kommunikointiin tytöille, turvallisten tilojen ja toimintakulttuurien luomiseen ja sitä kautta nuorten tyttöjen sitouttamiseen entistä paremmin urheiluyhdistysten toimintaan. (Center for Ungdomsstudier, n.d.)

Oppaan lisäksi hankkeessa tuotettiin materiaalikokoelma, joka on julkaistu Center for Ungdomsstudier-keskuksen verkkosivuilla. Sekä opas että materiaalikokoelma ovat tarkoitettuja hyödynnettäväksi tyttöjen urheilutoiminnassa, ja kokoelmaan sisältyy myös projektin puitteissa luodut arviointimallit, joista lyhyempi esitellään tarkemmin Gode idrætsmiljøer for piger -oppaassa (Jensen & Østergaard 2018).

Kyseistä itsearviointimallia voidaan käyttää joko harjoittelun yhteydessä tai urheilukisojen jälkeen, joukkueen kanssa tai kukin yksin. Nuoret voivat ensin täyttää arviointilomakkeen omatoimisesti tai pienryhmissä, jonka jälkeen vastaukset käydään läpi yhdessä valmentajan kanssa. Itsearviointi koostuu viidestä avoimesta kysymyksestä, jotka koskevat onnistumisia ja nuoren urheilijan omaa kehitystä. Arvioinnissa painotetaan urheiluun liittyviä tekijöitä, joihin nuoret itse voivat vaikuttaa. Erityinen piirre itsearviointimallissa on, että painopiste on urheilijan onnistumisissa ja kehitysprosessissa sen sijaan, että mittauksen kohteena olisi ainoastaan urheilusuoritukset tai kilpailun tulokset. Arviointimalli toimii työkaluna, joka tukee tyttöjä tunnistamaan ja reflektoimaan omaa kehittymistään. Mallipohjasta mainitaan, että arviointia voidaan käyttää tukena urheilijan tai joukkueen tulevien tavoitteiden laatimisessa ja tavoitteiden seurannassa. Suosituksena on, että arviointia tehdään vaihtelevasti itsenäisesti, pienryhmissä tai joukkueen kesken, kotona, harjoitusten tai kisojen yhteydessä, jotta aiheen tarkastelu olisi monipuolista. (Jensen & Østergaard 2018.)

3.3.4.4 Myös hauskanpidon ja yhdessäolon tavoitteita on tärkeää nostaa esille arvioinnissa

Haastateltu partiolaisjärjestö ”Det Danske Spejderkorps:sta” (englanniksi ” The Danish Guide and Scout Association”) toteaa riippuvan rahoittajasta, mitä arvioidaan, millaisen indikaattorin avulla sekä miten mitataan. Joskus keskitytään laatuun, joskus määrään. Uusien jäsenten ja vapaaehtoisten määrät ovat avainasemassa, varsinkin kun järjestössä on tilanne, että toimintaan mukaan pääsyä joutuu suurissa kaupungeissa jonottamaan suuren suosion takia. Järjestön pitkän aikavälin suunnitelmassa tämä on huomioitu uusia alayksiköiden käynnistämisenä ja sitä kautta jonotuslistan saamiseksi niin lyhyeksi kuinka mahdollista. (The Danish Scout Corps, haastattelu 26.4.2022.)

Haastateltu toteaa, ettei rahoittajien suunnalta tulevissa arviointitavoitteissa pelota se, että järjestön oma tahto jotenkin sekoittuisi. Ongelma on työntekijäresurssin riittäminen arvioinnin kehittämiseen, vaikka kyseessä on niinkin suuri kuin 25 000 jäsenen järjestö. Toisaalta jos jotakin tietyntyyppistä arviointia tarvitaan, se tehdään, kunhan on tiedossa perustelut sille. (The Danish Scout Corps, haastattelu 26.4.2022.)

The Danish Scout Corps:ssa on ymmärretty, että laadun arvioinnissa on tärkeä kysyä näkemyksiä yhä enemmän nuorilta osallistujilta. Tähän käytetään esimerkiksi mielipideäänestyksiä erivärisin palloin. Pallojen jakautumisesta on helppo ottaa kuva ja liittää raportointiin. Haastateltu tuo esille myös tutkimuslupa-asiat, joita tulee miettiä nuorten kanssa toimiessa – palloilla äänestämiseen ei tarvitse muuta kuin halukkuuden kysymisen nuorilta, toisin on esimerkiksi haastatteluja tehtäessä. Usein käytetään myös kyselyitä, mutta ne ovat nuorille vaativampi prosessi, koska niissä pitää asennoitua lukemaan ja kirjoittamaan. Partiolaiset ovat partiolaisia usein koko elämänkaaren. Elämänkertatarinoita on esillä järjestön lehdessä tuomassa perspektiiviä toiminnan merkityksellisyyden ymmärtämiseen. Arviointimateriaalina vaikutuksia osoittamassa tarinoita ei sen sijaan ole toistaiseksi ainakaan käytetty. (The Danish Scout Corps, haastattelu 26.4.2022.)

Kuten haastateltu toteaa, voi arvioinneissa toiminnan luonteesta tuoda esille monia asioita. On hauskaa, tehdään yhdessä, ollaan luonnossa, hyödynnetään luonnonvaroja kestävästi, kokataan, ollaan pois laitteiden äärestä ja saadaan hyvää mieltä, mikä on erityisen tärkeää myös korona-aikaan liittyen. Järjestöllä on myös iso hanke, jossa 12 000 lasta ja nuorta toimii luonnontieteiden parissa. Tavoitteena on herättää kiinnostusta esimerkiksi luonnontieteiden opiskeluun. (The Danish Scout Corps, haastattelu 26.4.2022.)

3.3.4.5 Nuorten saari ja yhteisöllinen tila

In a report published in 2021, Et fællesskab i bevægelse. Unges perspektiver på Ungdomsøens Benjamin Henriksen selvittää vuonna 2021 julkaistussa raportissa Ett fælleskab i bevegelse. Unges perspektiver på Ungdomsøens fællesskab nuorten kokemuksia Ungdomsøen-nuorisosaaren yhteisöstä ja yhteisöllisyydestä, sekä nuorten ajatuksia siitä, mihin saaren toiminnassa tulisi keskittyä. Lisäksi raportissa esitellään aktiivisesti mukana olevia nuoria ja heidän kokemuksiaan saaren yhteisöstä. Kolmantena tarkastelukohteena ovat nuorten tiet mukaan yhteisöön ja saaren toimintaan. (Henriksen 2021.)

Ungdomsøen (suom. Nuorten saari) on Kööpenhaminan edustalla sijaitseva saari, joka toimii elämys- ja kehityskeskuksena nuorilta nuorille. Saarella nuoret voivat itse luoda ja toteuttaa toimintaa ja tapahtumia, osallistua kursseille, tavata muita nuoria sekä luoda uusia yhteisöjä. Tavoitteena on tukea nuorten omaa aktiivisuutta ja sosiaalisen vastuun ottamista, sekä vahvistaa nuorten uskoa siihen, että he itse voivat luoda myönteisiä muutoksia omaan ja muiden nuorten elämään. (Ungdomsøen n.d.) Saari on vanha linnoitus, joka hankittiin ja lahjoitettiin Tanskan partioliikkeelle vuonna 2015 A. P. Møller -säätiön ja Nordeasäätiön toimesta. Saaren tiloja ja ulkoalueita remontoitiin säätiöiden rahoituksen turvin, ja Ungdomsen avattiin nykyisessä muodossaan nuorille elokuussa 2019. (Nordeafonden n.d.)

Arviointiraportin aineisto kerättiin kyselyllä (n=50), jossa käsiteltiin nuorten kokemuksia saaren yhteisöllisyydestä. Aktiivinuorten yksilöhaastattelut (n=8) sekä fokusryhmähaastattelu GEÅ-nuorten kanssa. GEÅ-nuoret, eli Giv-et-år-vapaaehtoiset, ovat nuoria, jotka asuvat saarella vuoden ajan ja osallistuvat siellä muun muassa saaren kunnostus- ja ylläpitotehtäviin, toimintaan ja sen järjestämiseen. Lisäksi kenttätyön aikana tapahtuneita epävirallisia keskusteluja on hyödynnetty arvioinnissa, ja kenttätyössä läsnäolo on antanut käytännön kuvan yhteisön dynamiikasta. (Henriksen 2021.)

Kyselyyn vastanneista 90 % oli sitä mieltä, että yhteisössä on tilaa kaikille, toisaalta 50 % mielestä toiminnan monipuolisuudessa ja eri ryhmien kohtaamisissa olisi vielä kehittämisen varaa. Jotkut tiimit ja pienyhteisöt ovat saarella toisia tiiviimpiä. Saari ja sen yhteisö ovat myös jatkuvassa muutoksessa, koska saari on luotu nuorten kanssa ja nuorilta nuorille. Raportissa korostetaan, että tästä johtuen on erityisen tärkeää luoda yhteisöstä turvallinen kehittämällä kaikkien nuorten mahdollisuutta kokea osallisuutta. Teitä saaren toimintaan osalliseksi pääsyyn on sinänsä monenlaisia, ensiaskel voi olla sosiaalisen median kautta, kouluvierailu, saarilähettilään kohtaaminen tai osallistuminen kurssille. Mukaan tuleminen vaatii nuorilta omaa aktiivisuutta, mutta reittejä on monia ja saari ja sen yhteisö ovat saavutettavissa sekä verkossa että fyysisesti. (Henriksen 2021.)

3.4 Yhteenveto tutkimustuloksista

Edellä tässä Nuorisotutkimusseuran tutkimustiimin kirjoittamassa osuudessa tarkasteltiin Pohjoismaisista nuorisojärjestöistä löytyneitä arviointiin liittyneitä esimerkkejä kolmesta näkökulmasta. Ensinnäkin tarkasteltiin millaisia arvioinnin ja raportoinnin rutiineja järjestöille on muodostunut. Toisekseen oltiin kiinnostuneita siitä, millaisia teemoja arvioinnilla halutaan nostaa esille. Kolmanneksi selvitettiin nuorisojärjestöjen kokemia haasteita arviointiin liittyen. Tutkimusaineistona käytettiin kirjallisuudessa ja haastatteluissa esiintyneitä esimerkkejä.

Arviointi ymmärretään tässä tutkimuksessa oman toiminnan tarkasteluna – reflektointina –, jonka pitäisi jossain määrin olla läsnä kaikessa toiminnassa mitä teemme. Parhaimmillaan arviointi on toimintaa, jossa tarkkaillaan kriittisesti tulosten lisäksi arvioitavan toiminnan tavoitteenasettelun kestävyyttä, mutta myös arviointitapojen ja asetettujen kriteerien järkevyyttä suhteessa toimintaan (ks. Schön 1987). Vaikka tutustumisjakso Pohjoismaisiin nuorisojärjestöihin oli verrattain lyhyt, löytyi järjestöjen esimerkeistä kiitettävästi kriittisyyttä. Järjestöissä toteutetuilla arvioinneilla selvitetään esimerkiksi, onko toiminta riittävän laadukasta ja vastaako toiminta nuorten tarpeisiin. Osa järjestöistä tarkkailee omaa ja yhteiskunnan toimintaa erityisesti demokratian edistämisen näkökulmasta, mahdollistaako toiminta nuorten osallistumisen keskusteluun ja onko nuorten mielipiteillä vaikutusta. Arviointikriteereinä käytetään myös esimerkiksi yhteisöllisyyden, osallisuuden, yhdenvertaisuuden

Yhdenvertaisuusaspektiin voi katsoa sisältyvän esimerkiksi toiminnan saavutettavuuden arvioinnin ja lisäämisen erilaisten vähemmistöryhmien näkökulmista.

tai kestävän kehityksen aspekteja.

Arviointikriteerien hiomisessa hyödynnettiin esimerkiksi ajatuksia Social Return on Investment:sta.

Järjestöjen suhdetta arviointiin voi esimerkkien pohjalta kuvata realistiseksi. Tällä tarkoitamme sitä, etteivät nuorisojärjestöt tunnu uskovan arvioinnilla koskaan päästävän koko totuuteen toiminnan onnistumisesta kertomisessa. Tämän takia tavoitteena tuntuu enemmänkin olevan arvioinnin tekeminen kussakin tilanteessa parhaalla mahdollisella tavalla huomioiden arviointiin kulloinkin varatut resurssit. Realistisesta suhtautumisesta huolimatta arvioinnista halutaan monessa järjestössä oppia lisää. Osa järjestön edustajista kertoi hankkivansa lisätietoa lukemalla, osallistumalla koulutuksiin ja erilaisiin arviointia kehittäviin työryhmiin. Oppimista oman ja muiden järjestön arviointiprosesseista pidetään tärkeänä.

Arvioinnin haltuunotossa moni järjestöistä käyttää keinona oman muutoksen teoriansa kirjoittamista. Omaan muutoksen teoriaan paketoidaan näkyviin, mitä tavoitteita täytyy saavuttaa ensin, jotta voidaan saavuttaa seuraavia ja millaisella arvopohjalla toimitaan. Tavoitteidensa ja niiden saavuttamisen määrittelyssä järjestöt hyödyntävät monenlaista tietoa toimintaympäristöstään: tutkimustietoa saadaan esimerkiksi kirjallisuudesta kuin myös toteuttamalla tutkimuksia itse, toisaalta kokemustietoa kerätään esimerkiksi kysymällä nuorilta tai nuorten kanssa työskenteleviltä vapaaehtoisilta. Samaan aikaan järjestöissä tuntuu olevan ymmärrystä rahoittajien tarpeelle kerätä muiden järjestöjen kanssa vertailtavissa olevia tunnuslukuja osoittamaan esimerkiksi toiminnan volyymia, kuten osallistujien, kohtaamisten, poliitikkojen kanssa käytyjen keskustelujen, projektien, ohjelmien tai sosiaalisessa mediassa saatujen klikkausten määriä sekä osallistujien tyytyväisyyttä. Ylipäätään arvioinnin ja raportoinnin yhdeksi tärkeäksi tavoitteeksi järjestöt mainitsevat taloudenpidon läpinäkyvyyden edistämisen tärkeyden myös kansalaisyhteiskunnassa.

Osassa Pohjoismaita järjestöt ovat selkeästi lähteneet mukaan edistämään toiminnan vaikutusten mittaamista. Osa järjestöistä pyrkii tuomaan esille aikaansaamansa vaikutusta nuorten ajatuksiin, tunteisiin ja arvomaailmaan, niin vaikeata kuin se kenties onkin. Osalla järjestöissä vaikutukset ovat nuorten kanssa yhdessä aikaansaatuja muutoksia nuoren elämäntilanteessa. Tavoitteena voi olla myös muutos niissä rooleissa, joita nuoret yhteiskunnassa ottavat. Tai muutos olosuhteissa, joissa nuoret elävät, kuten vaikkapa asuinalueen ilmapiirissä. Vaikutuksina mitataan myös fyysisen, henkisen tai sosiaalisen hyvinvoinnin muutoksia tai erilaisten taitojen oppimista. Siitä muistutettiin, että nuorten kanssa toimiessa tärkeää vaikuttavuutta on vertaistoiminnan mahdollistuminen ja ilon tuottaminen. Esille tuli myös järjestöjen tarve pohtia systemaattiseen yhteiskunnalliseen muutokseen tarvittavia elementtejä, jolloin tarvetta voi olla esimerkiksi eri tahojen tekemän yhteistyön kehittämisessä.

Osassa Pohjoismaita vaatimusta vaikutusten mittaamisesta pidetään jossain määrin riskinä monipuolisen kansalaisyhteiskunnan ylläpysymiselle. Tämä esimerkiksi siitä syystä, että useasti tietyn tavoitteen saavuttaminen voi riippua ratkaisevissa määrin ulkopuolisista tekijöistä: poliitikkojen tahdosta, vallanjaon tilanteesta, sattumasta, päätöksenteon aikajänteistä, nuorten elämiseen liittyvien asioiden monimuotoisuudesta ja asialistoille samaan aikaan sattuvista muista asioista.

Monien haastateltujen järjestöjen edustajien mukaan nuorilta kerättävän tiedon rooli arvioinnissa on jatkossa entistä tärkeämpää rahoitusten saamiseksi. Nuorten arvioita toiminnan laadusta ja vaikutuksista kysytään esimerkiksi haastatteluin ja kyselyin. Lisäksi järjestöt ovat kehittäneet kevyempiä tapoja saada selville osallistuvien nuorten tyytyväisyyttä kuten erivärisillä palloilla äänestäminen toiminnan aikana. Nuorten näkökulman keräämistä on myös rytmitetty eri kuukausille, jottei arviointi rasittaisi liikaa itse toimintaa ja nuoria.

Tutkimustiimin kirjallisuudesta ja haastatteluista löytämät viestit nuorisojärjestöjen arvioinnin kehittämiseksi voidaan tiivistää kahdeksaksi askelmaksi, ks. taulukko 1.

Taulukko 1.

Nuorisojärjestöjen arvioinnissa on tarpeen…
1. Yhdistää arvot, tavoitteet ja arviointi
2. Ymmärtää, ettei arvioinnin kehittäminen lopu koskaan
3. Pyrkiä tasapainoon "oman teorian" ja (vertailukelpoisten) määrällisten tunnuslukujen välillä
4. Kuunnella nuorten ja heidän kanssaan työskentelevien mielipiteitä
5. Ymmärtää tutkimustiedon rooli
6. Vahvistaa kansalaisjärjestöjen ryhmävoimaa, kun haastetaan rahoittajia siinä, millaisia tuloksia voidaan odottaa
7. Ymmärtää, että arvioinnilla on aina rajansa
8. Varmistaa, että kansalaisyhteiskunta voi pysyä kansalaisyhteiskuntana

Näistä kahdeksasta vaiheesta on erityisen tärkeää pitää mielessä ensimmäinen, joka koskee sitä, millaisen arvomaailman mukaisesti nuorisojärjestöt työskentelevät, katso taulukko 2..

Taulukko 2.

Nuorisojärjestöjen toiminnan arvioinnissa on otettava huomioon esimerkiksi seuraavia arvoja ja tavoitteita:
ilo
yhteys ikätovereihin
läsnä oleminen, nuorten tarpeisiin vastaaminen (nuorten kanssa)
demokratia
yhteisöllisyys (sitoutuminen)
vastuullisuus
tasa-arvo
saavutettavuus
tavoittavuus
läpinäkyvyys esimerkiksi rahan käytössä ja arviointien tulosten julkistamisessa

Lisäksi esille tuli arviointien organisointiin liittyviä haasteita. Kuinka saada kuhunkin järjestöön varmistettua arviointiin tarvittava asiantuntijuus- ja aikaresurssi? Kuinka saada nuoria motivoitua osallistumaan arviointiin? Kuinka huomioida järjestöjen oma asiantuntemus arviointikriteerejä laadittaessa? Kuinka suorittaa arviointi niin, ettei se haittaa toimintaa esimerkiksi sensitiivisissä tilanteissa, joissa nuorelle annetaan apua? Kuinka tehdä rahoituksen hakemisesta ja siihen liittyvästä arvioinnista ja raportoinnista niin kevyttä, että myös pienillä järjestöillä on mahdollisuus hakea rahoitusta monipuolisesti eri lähteistä? Entä kuinka turvata arvioinnin taso sellaiseksi, että se tukee järjestöjä saavuttamaan tavoitteensa mahdollisimman täysimittaisesti?

Haastatteluissa sanottua arvioinnin tuomista mahdollisuuksista ja uhista nuorisojärjestöille

"Vahvistutaan lisäämällä nuorten ääntä arvioinnissa.”
“Arviointiin ei riitä tekijöitä.”
“Apua järjestöille on tarjolla arvioinnin kehittämiseen, mutta järjestöillä ei ole resursseja ottaa sitä vastaan.”
“Keskustelut ovat anonyymeja. On vaikea osoittaa pitkän aikavälin vaikutuksia tai yhteyttä laajempiin yhteiskunnallisiin vaikutuksiin.”
“Järjestö tietää arvonsa, mutta niitä ei yhdistetä arviointiin.”
“Arviointi tarjoaa mahdollisuuden uudistaa toimintaa.”
“Arviointiin menevä aika voi tarkoittaa vähemmän aikaa nuorille.”
“Kuinka paljon kansalaisyhteiskuntaa tarvitsee arvioida? Mahdollistetaan sen olemassaolo myös jatkossa.”

3. Tutkimustiimin kokoamaa tietoa nuorisojärjestöjen arviointi- ja raportointi­käytänteistä Pohjoismaissa