Avoimen nuorisotyön arviointivälineen käyttöönotto (2018–2020)

Hankkeessa otetaan käyttöön avoimelle nuorisotyölle kehitettyä monitahoarvioinnille pohjautuvaa arviointivälinettä. Pilotoimassa on mukana kuntia, seurakuntia ja järjestöjä. Arviointivälineen toimivuutta testataan arvioimalla sen avulla Lounais-Suomen alueella tuotettuja nuorisotyön lähipalveluja sekä kahta valtakunnallista verkkopalvelua. Hanketta vetävät Satakunnan ja Varsinais-Suomen kuntien nuorisopalvelujen yhteistyötä koordinoivat hankkeet, joita rahoittaa Lounais-Suomen Aluehallintovirasto (AVI). Koordinointitahoina toimivat Loimaan (-2018), Turun (2019-) ja Rauman kaupungit. Arviointidatan keräämisessä hyödynnetään soveltuvin osin Kunnallisen nuorisotyön osaamiskeskus Kanuunan sähköisen dokumentoinnin työkalua Logbookia. Yhteistyötä tehdään myös Etelä-Karjalan AVI-rahoitteisen nuorisotyön arvioinnin kehittämishankkeen kanssa, jota koordinoi Lappeenrannan kaupunki. Arviointivälineen käyttöönotossa tutkimusyhteistyötahona toimii Nuorisotutkimusverkosto.

Arviointidataa kerätään kahden vuoden sykleissä

Arviointivälineen käyttöönoton pilotti tapahtuu vaiheittain, yksi neljästä arviointivälineen osa-alueesta kerrallaan. Kukin osa-alue käsitellään ja työstetään kokeiluvalmiiksi yhdessä mukanaolevien tahojen kanssa. Yhteiset kokoontumiset ovat tässä avainasemassa. Kokeiluvaiheen jälkeen kukin osio viilataan valmiiksi käyttökokemusten perusteella. Arviointivälineen käyttöönoton pilotti kestää noin kaksi vuotta – saman mitä arviointikierros myös pysyvästi käyttöönotettuna tulee jatkossa kestämään. Jokainen arvioinnin osa-alue toteutetaan siis kerran kahdessa vuodessa (ellei organisaatiolla itsellään ole tarvetta nopeampaan rytmitykseen).

Arviointivälineen osa-alueet

Nyt käyttöönotettavan arviointivälineen vahvuus piilee siinä, että a) arviointitietoa kootaan usealta eri taholta: nuorilta, nuorisotyötä tekeviltä ja päätöksentekijöiltä ja b) hyvin erilaisin välinein kuten vuorovaikutteisen arvioinnin avulla, kyselyllä sekä itse- ja vertaisarvioinnin keinoin ja c) pyrkien tavoittamaan työn useita erilaisia aspekteja. Käytännössä arviointiprosessi on jaettu neljään eri osa-alueeseen, joita ovat 1. palvelujen käyttöaste, 2. palvelujen tarpeisiin vastaavuus, 3. palvelun käyttäjien tyytyväisyys ja heidän arvionsa vaikutuksista sekä 4. yhdenvertaisuuskartoitus. Edellä mainitut osa-alueet ovat jo itsessään tärkeitä, tarjoten mielenkiintoisia tuloksia ja tunnuslukuja, lisäksi niiden pohjalta on mahdollista muodostaa 5. toiminnallista tehokkuutta kuvaava tunnusluku (ks. kuvio 1). Voidaankin todeta, että toiminnallisen tehokkuuden tunnusluvussa nivoutuvat yhteen laadun (saatavuus, toimivuus, käytettävyys ja tarpeisiin vastaavuus) ja vaikuttavuuden kysymykset kuin myös toimet palvelun yhteisvertaisen saavutettavuuden edistämisestä.

Toiminnallista tehokkuutta osoittava tunnusluku muodostetaan laskemalla yhteen jokaisesta osa-alueesta saatu tulos. Maksimissaan toiminnallinen tehokkuus on 100 % ja hyvän tuloksen aikaansaaminen edellyttää palvelun onnistumista kaikilla osa-alueilla. Tunnusluvun muodostumiseen liittyvät yksityiskohdat määritellään tarkemmin arviointivälineen koekäyttöön osallistuvien tahojen kanssa, vielä ei esimerkiksi ole tiedossa millaiseksi määrittyy ”hyvän toiminnan taso.” Kukin arviointivälineen käyttöönottoon osallistuva taho osallistuu saatujen tulosten validointiin myös vertaisarvioijan roolissa.

 

Kuvio 1. Avoimen nuorisotyön toiminnallista tehokkuutta osoittavan tunnusluvun sisältämät osa-alueet ovat seuraavat: palvelujen käyttöaste (20 %), palvelujen tarpeisiin vastaavuus (20 %), palvelun käyttäjien tyytyväisyys (20 %) ja heidän arvionsa vaikutuksista (20 %). Yhdenvertaisuusnäkökulma huomioidaan sekä erikseen (20 %) että jokaisessa osa-alueessa.

Avoimen nuorisotyön arviointivälineen käyttöönoton kaksivuotinen aikataulu syyskuusta 2018 – elokuuhun 2020 (edistyminen 2/5)

1. Palvelun käyttöaste

Palvelun käyttöasteen määrittely tarkoittaa palvelun kävijä- ja käyttömäärien suhteuttamista palvelun luonteeseen ja käytettävissä oleviin resursseihin. Käytännössä tämä tarkoittaa kirjallisen selosteen kirjoittamista eritellen palvelun nuorisotyöllistä luonnetta, sijaintia, alueella tai verkossa olevaa muuta vastaavaa tarjontaa, palveluun liittyviä yksilö-, ryhmä- ja yhteisötason prosesseja sekä nuorille avautuvia mahdollisuuksia toimia ja vaikuttaa. Selosteessa kuvataan myös mahdolliset toiminnan rajat: mielekkään toiminnan ryhmäkoon maksimi, tila- ja työntekijäresurssit, työntekijöiden koulutustarpeet, tiedossa olevat palveluun liittyvät kehittämistarpeet esimerkiksi liittyen palvelujen yhdenvertaiseen saavutettavuuteen.

Aikataulu:

Palvelun käyttöastetta koskevat selosteet ovat valmiit arvioitaviksi tammikuussa 2019, vertaisarviointi tapahtuu helmi-maaliskuussa 2019.

2. Palvelujen tarpeisiin vastaavuus

Usein palveluja arvioidaan vain näkökulmasta "tehdäänkö asiat oikein" unohtaen pohtia ovatko asiat, joita toteutetaan, ylipäätään oikeita ja vieläpä tulevaisuuden valossa. Tässä osiossa nuorilla, nuorisotyön palveluja paikallisella tasolla tuottavilla nuorisotyön toimijoilla ja päättäjillä on tilaisuus yhdessä neuvotellen ottaa kantaa, siihen mihin suuntaan arvioitavaa palvelua kannattaa kehittää ja toisaalta, miten palvelun toimivuutta voidaan parantaa tässä ja nyt. Osio toteutetaan toteuttamalla vuorovaikutteinen arviointi keskustelupäivämenetelmän avulla. 

Aikataulu:

Pilottiorganisaatioille järjestettiin keskustelupäivämenetelmää koskeva koulutus Turussa 11.2.2019 (koulutuspäivän ohjelma), ks. diasarja ja ohjeistus ja muistio. Keskustelupäivän välineet: keskustelutyökirja (word ja pdf) ja etenemissuunnitelma (word ja pdf). Keskustelutilaisuuspäivien toteutus pilottiorganisaatioissa tapahtuu aikavälillä huhtikuu 2019-lokakuu 2019. Kutsukirjemalli nuoret, päättäjät ja media.

 

Avoimen nuorisotyön arviointiin soveltuvan välineen taustoista

Nuorisotyön tunnuslukujen verkostomainen kehittäminen hankkeessa (2015) arvioitiin nuorten kanssa kahdenlaisia palveluja: Lahdessa nuorisotyön lähipalveluja ja valtakunnan tasolla verkkopalveluja. Samaan aikaan oli nuorisokeskuksilla käynnissä Erasmus+ -rahoitteinen hanke kansainvälisen nuorisotyön arviointiin liittyen. Hankkeet tiivistyivät havaintoon, että tarvitaan uudenlainen tapa arvioida avointa nuorisotyötä: Hyvinkin toimiva palvelu saattoi olla vaarassa, koska palvelua rahoittaville tahoille ei pystytty osoittamaan:

- nuorten tarvetta palvelulle
- palvelun hyvää toimivuutta (prosessin laatua),
- palvelun vaikutuksia tai
- palvelun käyttökapasiteettia, joka saattoi olla esimerkiksi täynnä (jolloin lisäresurssin tarve).

Päättäjille esiteltiin päätöksenteon pohjaksi esimerkiksi vain kävijämääriä, jotka taas riippuivat hyvin paljon palvelun luonteesta tai vaikkapa nuorten määrästä ylipäätään ko. maantieteellisellä alueella. Nyt käyttöönotettavassa arviointivälineessä avointa nuorisotyötä hahmotetaan ja mitataan monesta eri näkökulmasta yhtä aikaa, kyseessä on siis monitahoarviointi.

Lisätietoja avoimen nuorisotyön arviointivälineestä ja sen kehittämistyöstä voi lukea seuraavista julkaisuista:

Gretschel, Anu (2017b) Nuorisotyön tarpeellisuutta kuntapäättäjille perustelemassa: ehdotus arvioinnin menetelmäpaketiksi. Teoksessa Tommi Hoikkala & Johanna Kuivakangas (toim.) Kenen nuorisotyö? Yhteisöpedagogiikan kentät ja mahdollisuudet. Humanistinen ammattikorkeakoulu, julkaisuja 42 & Nuorisotutkimusverkosto & Nuorisotutkimusseura, julkaisuja 196. Helsinki: Humanistinen ammattikorkeakoulu & Nuorisotutkimusverkosto/Nuorisotutkimusseura, 295–304. https://www.theseus.fi/bitstream/handle/10024/139570/978-952-456-279-9.pdf?sequence=1).

Gretschel, Anu (Ed.) & Cupar, Tina & Linno, Merle & Kiilakoski, Tomi & Hästbacka, Noora & Korhonen, Antti (2017) Studying the impact of international youth work – Towards developing an evaluation tool for youth centres. Helsinki: Finnish Youth Centres Association. Suomen nuorisokeskusyhdistyksen julkaisuja, 1/2017. Finnish Youth Research Society/Finnish Youth Research Network, Internet Publications 113. http://www.snk.fi/boost

Gretschel, Anu (2016) Nuorisotyön verkko- ja lähipalveluiden arvioinnin kehittäminen. Teoksessa Anu Gretschel, Pirjo Junttila-Vitikka ja Anne Puuronen. Suuntaviivoja nuorisotoimialan määrittelyyn ja arviointiin. Verkkojulkaisuja 96. Helsinki: Nuorisotutkimusverkosto/-seura, 63–113. http://www.nuorisotutkimusseura.fi/julkaisut/verkkokauppa/verkkojulkaisut/1243-suuntaviivoja

Cooper, Sue & Gretschel, Anu (2018) Evaluating youth work in its contexts. Teoksessa Pam Alldred, Fin Cullen, Kathy Edwards and Dana Fusco (toim.) SAGE Handbook of Youth Work Practice. Lontoo: Sage, 608–622.

 

Tutkijat

Anu Gretschel

Anu Gretschel

Erikoistutkija

FT

Tämä sähköpostiosoite on suojattu spamboteilta. Tarvitset JavaScript-tuen nähdäksesi sen.

040 516 9189

Tutkijan profiili