Avoimen nuorisotyön arviointivälineen käyttöönotto (2018–2020)

Hankkeessa otetaan käyttöön avoimelle nuorisotyölle kehitettyä monitahoarvioinnille pohjautuvaa arviointivälinettä. Pilotoimassa on mukana kuntia, seurakuntia ja järjestöjä. Arviointivälineen toimivuutta testataan arvioimalla sen avulla Lounais-Suomen alueella tuotettuja nuorisotyön lähipalveluja sekä kahta valtakunnallista verkkopalvelua. Hanketta vetävät Satakunnan ja Varsinais-Suomen kuntien nuorisopalvelujen yhteistyötä koordinoivat hankkeet, joita rahoittaa Lounais-Suomen Aluehallintovirasto (AVI). Koordinointitahoina toimivat Loimaan (-2018), Turun (2019-) ja Rauman kaupungit. Arviointidatan keräämisessä hyödynnetään soveltuvin osin Kunnallisen nuorisotyön osaamiskeskus Kanuunan sähköisen dokumentoinnin työkalua Logbookia. Yhteistyötä tehdään myös Etelä-Karjalan AVI-rahoitteisen nuorisotyön arvioinnin kehittämishankkeen kanssa, jota koordinoi Lappeenrannan kaupunki. Arviointivälineen käyttöönotossa tutkimusyhteistyötahona toimii Nuorisotutkimusverkosto.

Arviointidataa kerätään kahden vuoden sykleissä

Arviointivälineen käyttöönoton pilotti tapahtuu vaiheittain, yksi neljästä arviointivälineen osa-alueesta kerrallaan. Kukin osa-alue käsitellään ja työstetään kokeiluvalmiiksi yhdessä mukanaolevien tahojen kanssa. Yhteiset kokoontumiset ovat tässä avainasemassa. Kokeiluvaiheen jälkeen kukin osio viilataan valmiiksi käyttökokemusten perusteella. Arviointivälineen käyttöönoton pilotti kestää noin kaksi vuotta – saman mitä arviointikierros myös pysyvästi käyttöönotettuna tulee jatkossa kestämään. Jokainen arvioinnin osa-alue toteutetaan siis kerran kahdessa vuodessa (ellei organisaatiolla itsellään ole tarvetta nopeampaan rytmitykseen).

Arviointivälineen osa-alueet

Nyt käyttöönotettavan arviointivälineen vahvuus piilee siinä, että a) arviointitietoa kootaan usealta eri taholta: nuorilta, nuorisotyötä tekeviltä ja päätöksentekijöiltä ja b) hyvin erilaisin välinein kuten vuorovaikutteisen arvioinnin avulla, kyselyllä sekä itse- ja vertaisarvioinnin keinoin ja c) pyrkien tavoittamaan työn useita erilaisia aspekteja. Käytännössä arviointiprosessi on jaettu neljään eri osa-alueeseen, joita ovat 1. palvelujen käyttöaste, 2. palvelujen tarpeisiin vastaavuus, 3. palvelun käyttäjien tyytyväisyys ja heidän arvionsa vaikutuksista sekä 4. yhdenvertaisuuskartoitus. Edellä mainitut osa-alueet ovat jo itsessään tärkeitä, tarjoten mielenkiintoisia tuloksia ja tunnuslukuja, lisäksi niiden pohjalta on mahdollista muodostaa 5. toiminnallista tehokkuutta kuvaava tunnusluku (ks. kuvio 1). Voidaankin todeta, että toiminnallisen tehokkuuden tunnusluvussa nivoutuvat yhteen laadun (saatavuus, toimivuus, käytettävyys ja tarpeisiin vastaavuus) ja vaikuttavuuden kysymykset kuin myös toimet palvelun yhteisvertaisen saavutettavuuden edistämisestä.

Toiminnallista tehokkuutta osoittava tunnusluku muodostetaan laskemalla yhteen jokaisesta osa-alueesta saatu tulos. Maksimissaan toiminnallinen tehokkuus on 100 % ja hyvän tuloksen aikaansaaminen edellyttää palvelun onnistumista kaikilla osa-alueilla. Tunnusluvun muodostumiseen liittyvät yksityiskohdat määritellään tarkemmin arviointivälineen koekäyttöön osallistuvien tahojen kanssa, vielä ei esimerkiksi ole tiedossa millaiseksi määrittyy ”hyvän toiminnan taso.” Kukin arviointivälineen käyttöönottoon osallistuva taho osallistuu saatujen tulosten validointiin myös vertaisarvioijan roolissa.

Kuvio 1. Avoimen nuorisotyön toiminnallista tehokkuutta osoittavan tunnusluvun sisältämät osa-alueet ovat seuraavat: palvelujen käyttöaste (20 %), palvelujen tarpeisiin vastaavuus (20 %), palvelun käyttäjien tyytyväisyys (20 %) ja heidän arvionsa vaikutuksista (20 %). Yhdenvertaisuusnäkökulma huomioidaan sekä erikseen (20 %) että jokaisessa osa-alueessa.

Avoimen nuorisotyön arviointivälineen käyttöönoton kaksivuotinen aikataulu syyskuusta 2018–elokuuhun 2020 (edistyminen 3/5)

 

Arviointivälineen käyttöönottoa kuvaava lyhyt power point esitys (esitetty Satakunnan nuorisotointen verkostopäivillä Porissa 25.4.2019)

 

1. Palvelun käyttöaste: selosteen kirjoittaminen

Palvelun käyttöasteen määrittely tarkoittaa palvelun kävijä- ja käyttömäärien suhteuttamista palvelun luonteeseen ja käytettävissä oleviin resursseihin. Käytännössä tämä tarkoittaa kirjallisen selosteen kirjoittamista eritellen palvelun nuorisotyöllistä luonnetta, sijaintia, alueella tai verkossa olevaa muuta vastaavaa tarjontaa, palveluun liittyviä yksilö-, ryhmä- ja yhteisötason prosesseja sekä nuorille avautuvia mahdollisuuksia toimia ja vaikuttaa. Selosteessa kuvataan myös mahdolliset toiminnan rajat: mielekkään toiminnan ryhmäkoon maksimi, tila- ja työntekijäresurssit, työntekijöiden koulutustarpeet, tiedossa olevat palveluun liittyvät kehittämistarpeet esimerkiksi liittyen palvelujen yhdenvertaiseen saavutettavuuteen.

Aikataulu:

Palvelun käyttöastetta koskevat selosteet ovat valmiit arvioitaviksi keväällä 2019, vertaisarviointi tapahtuu helmi-kesäkuussa 2019.

Esimerkkejä valmistuneista palvelun käyttöastetta kuvaavista selosteista:

Sekä Turussa että Raumalla arviointikohteena oli nuorisotilan tai -talon avoin iltatoiminta. 

Turku Lauste

Rauma Kuovi

Turun ja Rauman selosteissa on huomioitu palaute, jonka ne saivat vertaisarviointitiimiltään, johon niiden lisäksi kuuluivat Salo ja Lappeenranta. Jokainen organisaatio saa siis arviot kolmelta muulta organisaatiolta ja voi kehittää selostettaan sen pohjalta. Osana selostetta työyhteisö ehdottaa palvelulle arvosanaa, joka on maksimissaan 20%.

2. Palvelujen tarpeisiin vastaavuus: Vuorovaikutteisen keskustelupäivän järjestäminen

Usein palveluja arvioidaan vain näkökulmasta "tehdäänkö asiat oikein" unohtaen pohtia ovatko asiat, joita toteutetaan, ylipäätään oikeita ja vieläpä tulevaisuuden valossa. Tässä osiossa nuorilla, nuorisotyön palveluja paikallisella tasolla tuottavilla nuorisotyön toimijoilla ja päättäjillä on tilaisuus yhdessä neuvotellen ottaa kantaa, siihen mihin suuntaan arvioitavaa palvelua kannattaa kehittää ja toisaalta, miten palvelun toimivuutta voidaan parantaa tässä ja nyt. Osio toteutetaan järjestämällä vuorovaikutteinen arviointi keskustelupäivämenetelmän avulla. 

Aikataulu:

Pilottiorganisaatioille järjestettiin keskustelupäivämenetelmää koskeva koulutus Turussa 11.2.2019 (koulutuspäivän ohjelma), ks. diasarja ja ohjeistus ja muistio. Keskustelupäivän välineet: keskustelutyökirja (word ja pdf) ja etenemissuunnitelma (word ja pdf). Keskustelutilaisuuspäivien toteutus pilottiorganisaatioissa tapahtuu aikavälillä huhtikuu 2019-lokakuu 2019. Kutsukirjemalli nuoret, päättäjät ja media.

Esimerkkejä toteutetuista keskustelupäivistä:

9.4.2019 Uusikaupunki (tästä Uudenkaupungin keskustelupäivän tulossivulle)

17.5.2019 Mannerheimin Lastensuojeluliitto ry. (nuorille suunnatut verkkopalvelut) ja Nuori Kirkko ry. (Nettisaapas) (keskustelupäivän materiaalit tulossa tähän)

Toimintamallia siihen, kuinka keskustelupäivän tulokset raportoidaan skaalalla 0-20% ollaan luomassa käyttäen esimerkkinä Uudenkaupungin tilaisuutta.

3.  Tyytyväisyys palveluun ja arvio vaikutuksista: kysely nuorille

Kyselylomaketta suunniteltiin pilottiorganisaatioiden toimesta Turussa 24.4.2019 (päivän sisältö ennakkodiasarjana)

Kyselyn näkökulmiksi sovittiin:

Tyytyväisyys

- Tila, paikka, aika (aukioloajat), varustus, välineet (infrastruktuuri)
 -Ilmapiiri, hyväksyntä, arvostus, vaikutusmahdollisuudet, yhdenvertaisuus, ulkopuolisuus
- Toiminta, aktiviteetit, tapahtumat
- Miten tärkeänä pidetään

Vaikutukset

- Huomiointi, hyväksyntä, arvostus
- Yksinäisyys, kaverit, ystävät
- Oma kokemus oppimisesta ja vaikuttamisesta
- Tieto ja neuvonta
- Merkitys itsenäistymiselle (ja muille elämän osa-alueille)

Aikataulu:

Lomakkeen suunnittelu tapahtuu koordinaattoreiden ja tutkijan toimesta kesän aikana 2019, palautteet ja testaus syksyllä 2019. 

4. Yhdenvertaisuuskartoitukset (tulossa marraskuusta 2019 alkaen)


5. Toiminnallisen tehokkuuden tunnusluku (muodostuu edellisten pohjalta) (kevät 2020)

 

Avoimen nuorisotyön arviointiin soveltuvan välineen taustoista

Nuorisotyön tunnuslukujen verkostomainen kehittäminen hankkeessa (2015) arvioitiin nuorten kanssa kahdenlaisia palveluja: Lahdessa nuorisotyön lähipalveluja ja valtakunnan tasolla verkkopalveluja. Samaan aikaan oli nuorisokeskuksilla käynnissä Erasmus+ -rahoitteinen hanke kansainvälisen nuorisotyön arviointiin liittyen. Hankkeet tiivistyivät havaintoon, että tarvitaan uudenlainen tapa arvioida avointa nuorisotyötä: Hyvinkin toimiva palvelu saattoi olla vaarassa, koska palvelua rahoittaville tahoille ei pystytty osoittamaan:

- nuorten tarvetta palvelulle
- palvelun hyvää toimivuutta (prosessin laatua),
- palvelun vaikutuksia tai
- palvelun käyttökapasiteettia, joka saattoi olla esimerkiksi täynnä (jolloin lisäresurssin tarve).

Päättäjille esiteltiin päätöksenteon pohjaksi esimerkiksi vain kävijämääriä, jotka taas riippuivat hyvin paljon palvelun luonteesta tai vaikkapa nuorten määrästä ylipäätään ko. maantieteellisellä alueella. Nyt käyttöönotettavassa arviointivälineessä avointa nuorisotyötä hahmotetaan ja mitataan monesta eri näkökulmasta yhtä aikaa, kyseessä on siis monitahoarviointi.

Lisätietoja avoimen nuorisotyön arviointivälineestä ja sen kehittämistyöstä voi lukea seuraavista julkaisuista:

Gretschel, Anu (2017b) Nuorisotyön tarpeellisuutta kuntapäättäjille perustelemassa: ehdotus arvioinnin menetelmäpaketiksi. Teoksessa Tommi Hoikkala & Johanna Kuivakangas (toim.) Kenen nuorisotyö? Yhteisöpedagogiikan kentät ja mahdollisuudet. Humanistinen ammattikorkeakoulu, julkaisuja 42 & Nuorisotutkimusverkosto & Nuorisotutkimusseura, julkaisuja 196. Helsinki: Humanistinen ammattikorkeakoulu & Nuorisotutkimusverkosto/Nuorisotutkimusseura, 295–304. https://www.theseus.fi/bitstream/handle/10024/139570/978-952-456-279-9.pdf?sequence=1).

Gretschel, Anu (Ed.) & Cupar, Tina & Linno, Merle & Kiilakoski, Tomi & Hästbacka, Noora & Korhonen, Antti (2017) Studying the impact of international youth work – Towards developing an evaluation tool for youth centres. Helsinki: Finnish Youth Centres Association. Suomen nuorisokeskusyhdistyksen julkaisuja, 1/2017. Finnish Youth Research Society/Finnish Youth Research Network, Internet Publications 113. http://www.snk.fi/boost

Gretschel, Anu (2016) Nuorisotyön verkko- ja lähipalveluiden arvioinnin kehittäminen. Teoksessa Anu Gretschel, Pirjo Junttila-Vitikka ja Anne Puuronen. Suuntaviivoja nuorisotoimialan määrittelyyn ja arviointiin. Verkkojulkaisuja 96. Helsinki: Nuorisotutkimusverkosto/-seura, 63–113. http://www.nuorisotutkimusseura.fi/julkaisut/verkkokauppa/verkkojulkaisut/1243-suuntaviivoja

Cooper, Sue & Gretschel, Anu (2018) Evaluating youth work in its contexts. Teoksessa Pam Alldred, Fin Cullen, Kathy Edwards and Dana Fusco (toim.) SAGE Handbook of Youth Work Practice. Lontoo: Sage, 608–622.

 

Tutkijat

Anu Gretschel

Anu Gretschel

Erikoistutkija

FT

Tämä sähköpostiosoite on suojattu spamboteilta. Tarvitset JavaScript-tuen nähdäksesi sen.

040 516 9189

Tutkijan profiili