4. Yhteenveto järjestökentän näkökulmasta: mistä on hyvät arvioinnit tehty – miltä tilanne näyttää?

 
Miksi nuorisojärjestöjen tulisi miettiä toimintansa vaikuttavuutta? Kysymyksen voisi kääntää myös toisinpäin. Onko järjestöjen toimintaa mahdollista johtaa ja kehittää arvioimatta vaikuttavuutta? Arviointi on olennainen osa strategista johtamista ja sen arvioimista, mistä tiedämme onnistuneemme tavoitteissamme.

Nuorisoalalla resurssien pienuus on jatkuva haaste, joka ei ole poistumassa. Tiukkenevista rahoituksista kamppailevat monet toimijat. Vaikuttavuus ei ole vain sitä, että pienemmillä resursseilla saataisiin enemmän aikaan, vaan myös sitä, miten perustella rahoitus omalle toiminnalle. Nuorisotyö ei yhteiskunnallisesti tarkasteltuna ole suuri toimiala, mutta sen vaikuttavuus on merkittävästi kokoaan suurempi. Rahoituksesta puhuttaessa on meidän kyettävä nostamaan myös tämä puoli esiin. Arvioimalla toimintaamme pystymme lisäksi arvioimaan sitä, teemmekö oikeita asioita ja kohdentuvatko resurssimme oikein. Tiivistetysti voidaan sanoa, että nuorisotyössä vaikuttavuudessa on kyse siitä, missä määrin jokin toiminta parantaa nuorten elämää ja sitä kautta koko yhteiskuntaa. 

Yksinkertaistetusti voidaan ajatella, että vaikuttavuudessa on kyse tavoitteiden saavuttamisesta, rakentuuhan vaikuttavuus aina suhteessa tavoitteisiin. Tästä syystä arvioinnin rakentaminen lähtee liikkeelle jo tavoitteiden asettamisesta. Tavoitteiden ja niihin liittyvien toimenpiteiden määrittely on edellytys arvioinnille. Myös kohderyhmän määrittely on olennaista, jotta tiedämme, missä joukossa tapahtuvia muutoksia tarkastelemme. Nuorisotyössä arviointi perustuu usein nuorilta saatavaan palautteeseen, ei niinkään yhteisesti jaettuun tavoitteeseen. Voisimmeko saada enemmän aikaan, jos arvioinnissa lähdettäisiinkin liikkeelle yhdessä jaettujen tavoitteiden luomisesta?

Nuorisotyössä tämä mittaaminen ei ole aina yksinkertaista. Miten arvioimme nuorten hyvinvoinnin lisääntymistä, osallisuuden kasvua tai yksinäisyyden vähentymistä? Ja vaikka arviointi olisikin mahdollista, niin miten mittaamme nuorisotyön osuutta suhteessa muiden toimijoiden, esimerkiksi koululaitoksen tai terveydenhuollon, vaikuttavuuteen? Ei helppo tehtävä, mutta juuri tästä syystä tarvitsemme nuorisotyössä vaikuttavuuden arviointia. Kyse on pitkälti siitä, kuinka teemme näkyväksi työmme aiheuttamia muutoksia nuorissa ja koko yhteiskunnassa.

Mistä sitten tiedämme, että muutos on tapahtunut? Muutoksia voidaan arvioida erilaisilla mittareilla, kyselyillä, tarkastelemalla paitsi määriä, niin myös laatua, arvioimalla paitsi subjektiivisesti, niin myös objektiivisesti. Ei pidä unohtaa myöskään taloudellista tarkastelua, ja käytettyjen varojen suhdetta tuloksiin. Osaltaan vaikuttavuuden arvioinnissa on kyse aina myös käytetystä kielestä. On helppo kertoa toimintaan osallistuneiden määriä, mutta vaikeampaa sanallistaa toiminnan merkitystä osallistujille. Samaan tapaan nuorisotyö helposti kutistuu ajatuksissa biljardin peluuksi ja kahvin juonniksi, vaikka olennainen on jotain aivan muuta. Menetelmien sijaan meidän tulee osata kertoa vaikutuksista.

Kolmannella sektorilla vaikuttavuuden arviointiin on viime vuosina herätty. Tarve tälle työlle nähdään, mutta siihen ei vielä kohdenneta riittävästi resursseja. Rahoittajien vaatimukset toki osaltaan ohjaavat järjestöjä kehittämään toimintansa arviointia. Järjestökenttä on tässä suhteessa polarisoitunut. Osa järjestöistä arvioi toimintaansa systemaattisesti, kun taas toiset eivät tee tätä juuri lainkaan. Myös arviointiosaamisessa on suuria eroja. Tukea ja koulutusta arvioinnin kehittämiseen on jo tarjolla, mutta järjestöillä ei välttämättä ole resursseja ottaa tätä tukea vastaan. Kyseessä onkin eräällä tavalla noidankehä, jossa toiminnan kehittäminen ja resurssien lisääminen edellyttäisivät vaikuttavuuden arviointia ja työn tulosten näkyväksi tekemistä, mutta samalla pienenevät resurssit johtavat karsimaan kehittämisestä tai että arviointia ei nähdä keskeiseksi tekijäksi toiminnan kehittämisessä.

Tämä hanke on ollut yksi tapa pyrkiä lisäämään ymmärrystä nuorisojärjestöjen vaikuttavuuden arvioinnista tilasta. Hankkeen aikana tehdyt havainnot tukevat aiempaa näkemystä siitä, että arviointi nähdään tärkeäksi, ja sitä halutaan kehittää, mutta että resurssit eivät riitä kehitystyöhön. Juuri tästä syystä tarvitaan valtakunnallisten toimijoiden tukea tähän työhön. Tässä julkaisussa on koottuna joitain esimerkkejä arvioinnista, mutta selvää on, että hyvien toimintamallien jakamista tulee edelleen kehittää ja jatkaa. Tarvitaan erityisesti nuorisojärjestöille suunnattua tukea arvioinnin kehittämiseen ja jopa järjestökohtaista sparrausta vaikuttavuuden osoittamiseksi. Kuten tämän luvun alussa todettiin, toisinaan kyse on yksinkertaisista asioista. Kun tavoitteet ovat selkeät, on niiden mittaaminen helpompaa. Kun mittareita ja lukuja on saatu, tulee ne “kääntää” vaikuttavuuden kielelle. Tässä auttaa vastaaminen kysymykseen, miten työmme muuttaa nuoria ja yhteiskuntaa.

Nuorten parissa tehtävän työn arvioinnin keskeinen haaste on, kuinka mittaamme sitä, että jotain ei tapahtunut. Miten mitata sitä, että joku ei syrjäytynyt tai että joku uskoikin mahdollisuuksiinsa enemmän kuin ennen. Entä mikä siinä kaikessa on nuorisotyön rooli ja merkitys. Missä määrin nuorissa tapahtuneet muutokset voidaan laskea nuorisotyön ansioksi, ja missä määrin taas vaikkapa aiemmin mainitun koulutuksen ja terveydenhoidon. Nuorisojärjestöjen, ja nuorisotyön ylipäätään, vaikuttavuudesta puhuttaessa, puhumme usein monimutkaisista ja kompleksisista ilmiöistä. Tällöin on meidän itsemme tehtävänä osaltamme määritellä roolimme positiivisissa kehityskuluissa, joita pyrimme luomaan. Tällöin arvioinnissa korostuu näkyväksi tekemisen merkitys.

Nuorisojärjestöjen vaikuttavuuden arviointi on luonnollisesti järjestöjen itsensä intresseissä, mutta se on tärkeää myös toimintaa ohjaaville ja rahoittaville tahoille. Arviointi onkin yhteinen intressi. Järjestöjen toiminnan arvioinnilla on merkitystä koko järjestökentälle, mutta myös toimintaa rahoittaville ministeriöille ja kunnille sekä koko yhteiskunnalle. On yhteiskunnallisesti tärkeää, että rahoitusta suunnataan sinne, missä sillä saadaan eniten toivottuja muutoksia aikaiseksi. Siksi järjestöjen tukea tässä työssä tulee kehittää, ja kehittämisessä tulee olla mukana myös toimintojen rahoittajat ja yhteistyökumppanit. Tarvitaan järjestöille toimivia työkaluja ja koulutusta niiden käyttöön, mutta myös järjestöjen välistä vuoropuhelua siitä, mitä tulee mitata ja miten. Eikä tätä vuoropuhelua voi irrottaa keskustelusta arvoista. Mikä on kansalaisyhteiskunnan merkitys kansalaisten hyvinvoinnissa, mikä arvo on esimerkiksi yhteisöillä ja miten arvotamme vaikkapa tuottavuuden ja osallisuuden välistä suhdetta.

Tätä taustaa vasten on jopa yllättävää, ettei nuorisojärjestöjen vaikuttavuutta ole juurikaan tutkittu. Tämä kävi ilmi tämän selvityksen kirjallisuuskatsauksessa. Selvää on, että voidaksemme kehittää kolmannen sektorin toimintaa, tarvitaan työn tueksi tutkittua tietoa ja objektiivista arviointia. Koska vaikuttavuuden arvioinnin kehittämiselle on selkeä yhteiskunnallinen intressi, luulisi rahoitustakin tällaiseen työhön löytyvän. 

Vaikuttavuus on asia, josta puhutaan mielellään rahoituksen yhteydessä. Eikä syyttä, haluamme varmasti kaikki kohdentaa rahoitusta tekoihin ja toimiin, jotka saavat eniten muutoksia aikaiseksi. Vaikuttavuuden arviointia ei kuitenkaan tule tehdä vain siksi, että turvaisimme toimintamme rahoituksen tuleville vuosille. Se voi olla yksi syy, ja hyvä syy toki onkin, mutta arvioinnin lähtökohtana tulee olla ennen kaikkea tavoite siitä, että teemme oikeita asioita. Ilman arviointia ja toiminnan vaikutusten seurantaa emme voi tietää onko tekemillemme asioille tilaus ja tarve, ja johtavatko ne haluttuihin lopputuloksiin. Ilman arviointia ammumme sattumanvaraisesti toivoen, että joku ammus osuisi maaliin. Arvioinnin kautta parannamme osumatarkkuutta ja säästämme ammuksia. Arvioimalla toimintamme vaikuttavuutta lisäämme nuorten hyvinvointia.