Avoimen nuorisotyön arviointivälineen käyttöönotto (2018–2020)

Hankkeessa otetaan käyttöön avoimelle nuorisotyölle kehitettyä monitahoarvioinnille pohjautuvaa arviointivälinettä. Pilotoimassa on mukana kuntia, seurakuntia ja järjestöjä. Arviointivälineen toimivuutta testataan arvioimalla sen avulla Lounais-Suomen alueella tuotettuja nuorisotyön lähipalveluja sekä kahta valtakunnallista verkkopalvelua. Hanketta vetävät Satakunnan ja Varsinais-Suomen kuntien nuorisopalvelujen yhteistyötä koordinoivat hankkeet, joita rahoittaa Lounais-Suomen Aluehallintovirasto (AVI). Koordinointitahoina toimivat Loimaan (-2018), Turun (2019-) ja Rauman kaupungit. Arviointidatan keräämisessä hyödynnetään soveltuvin osin Kunnallisen nuorisotyön osaamiskeskus Kanuunan sähköisen dokumentoinnin työkalua. Yhteistyötä tehdään myös Etelä-Karjalan AVI-rahoitteisen nuorisotyön arvioinnin kehittämishankkeen kanssa, jota koordinoi Lappeenrannan kaupunki. Arviointivälineen käyttöönotossa tutkimusyhteistyötahona toimii Nuorisotutkimusverkosto.

Arviointidataa kerätään kahden vuoden sykleissä

(päivitetty 4.5.2020)

 

Kutsu Nuorisotyön kuumat perunat -etäseminaariin 6.5.2020

(Kyseiseen Lounais-Suomen AVIN järjestämään seminaariin on ennakkoilmoittautuminen, tallenne on myöhemmin saatavana.)

 

Arviointivälineen käyttöönoton pilotti tapahtuu vaiheittain, yksi neljästä arviointivälineen osa-alueesta kerrallaan. Kukin osa-alue käsitellään ja työstetään kokeiluvalmiiksi yhdessä mukanaolevien tahojen kanssa. Yhteiset kokoontumiset ovat tässä avainasemassa. Kokeiluvaiheen jälkeen kukin osio viilataan valmiiksi käyttökokemusten perusteella. Arviointivälineen käyttöönoton pilotti kestää noin kaksi vuotta. Tämän jälkeen arviointivälineen osa-alueita, niiden sisältöjä, toteutusjärjestystä ja aikataulutusta on mahdollista hioa käyttöönottokokemusten perusteella.

Arviointivälineen osa-alueet

Nyt käyttöönotettavan arviointivälineen vahvuus piilee siinä, että... 

a) Arviointitietoa kootaan usealta eri taholta: nuorilta, nuorisotyötä tekeviltä ja päätöksentekijöiltä. 

b) Hyvin erilaisin välinein kuten vuorovaikutteisen arvioinnin avulla, kyselyllä sekä itse- ja vertaisarvioinnin keinoin. 

c) Pyrkien tavoittamaan työn useita erilaisia aspekteja.

Arviointiprosessi on jaettu neljään eri osa-alueeseen, joita ovat 1. palvelujen käyttöaste, 2. palvelujen tarpeisiin vastaavuus, 3. palvelun käyttäjien tyytyväisyys ja heidän arvionsa vaikutuksista sekä 4. yhdenvertaisuuskartoitus. Osa-alueet ovat jo itsessään tärkeitä, tarjoten mielenkiintoisia tuloksia ja tunnuslukuja, lisäksi niiden pohjalta on mahdollista muodostaa 5. toiminnallista tehokkuutta kuvaava tunnusluku (ks. kuvio 1). Voidaankin todeta, että toiminnallisen tehokkuuden tunnusluvussa nivoutuvat yhteen laadun (saatavuus, toimivuus, käytettävyys ja tarpeisiin vastaavuus) ja vaikuttavuuden kysymykset kuin myös toimet palvelun yhteisvertaisen saavutettavuuden edistämisestä.

Toiminnallista tehokkuutta osoittava tunnusluku muodostetaan laskemalla yhteen jokaisesta osa-alueesta saatu tulos. Maksimissaan toiminnallinen tehokkuus on 100 % ja hyvän tuloksen aikaansaaminen edellyttää palvelun onnistumista kaikilla osa-alueilla. Tunnusluvun muodostumiseen liittyvät yksityiskohdat määritellään tarkemmin arviointivälineen koekäyttöön osallistuvien tahojen kanssa, vielä ei esimerkiksi ole tiedossa millaiseksi määrittyy ”hyvän toiminnan taso.” Kukin arviointivälineen käyttöönottoon osallistuva taho osallistuu saatujen tulosten pätevyyden todentamiseen myös vertaisarvioijan roolissa.

Kuvio 1. Avoimen nuorisotyön toiminnallista tehokkuutta (max 100%) osoittavan tunnusluvun sisältämät osa-alueet ovat seuraavat: palvelujen käyttöaste (20 %), palvelujen tarpeisiin vastaavuus (20 %), palvelun käyttäjien tyytyväisyys (20 %) ja heidän arvionsa vaikutuksista (20 %). Yhdenvertaisuusnäkökulma huomioidaan sekä erikseen (20 %) että jokaisessa osa-alueessa.

Avoimen nuorisotyön arviointivälineen käyttöönoton kaksivuotinen aikataulu syyskuusta 2018–elokuuhun 2020 (edistyminen 3/5)

 

Arviointivälineen käyttöönottoa kuvaavat power point esitykset:

power point esitys (14.11.2019) (muokattu versio pilottiorganisaatioiden tapaamisesta 6.11.2019 ja Nuorisotutkimuspäivillä Mikkelissä 8.11.2019 pidetystä esityksestä)

power point esitys (esitetty Satakunnan kuntien nuorisotoimien verkostopäivillä Porissa 25.4.2019)

 

1. Palvelun käyttöaste: selosteen kirjoittaminen

Palvelun käyttöasteen määrittely tarkoittaa palvelun kävijä- ja käyttömäärien suhteuttamista palvelun luonteeseen ja käytettävissä oleviin resursseihin. Käytännössä tämä tarkoittaa kirjallisen selosteen kirjoittamista eritellen palvelun nuorisotyöllistä luonnetta, sijaintia, alueella tai verkossa olevaa muuta vastaavaa tarjontaa, palveluun liittyviä yksilö-, ryhmä- ja yhteisötason prosesseja sekä nuorille avautuvia mahdollisuuksia toimia ja vaikuttaa. Selosteessa kuvataan myös mahdolliset toiminnan rajat: mielekkään toiminnan ryhmäkoon maksimi, tila- ja työntekijäresurssit, työntekijöiden koulutustarpeet, tiedossa olevat palveluun liittyvät kehittämistarpeet esimerkiksi liittyen palvelujen yhdenvertaiseen saavutettavuuteen.

Aikataulu:

Palvelun käyttöastetta koskevat selosteet ovat valmiit arvioitaviksi keväällä 2019, vertaisarviointi tapahtuu helmi-kesäkuussa 2019.

Esimerkkejä valmistuneista palvelun käyttöastetta kuvaavista selosteista:

Sekä Turussa että Raumalla arviointikohteena oli nuorisotilan tai -talon avoin iltatoiminta. 

Turku Lauste (Lausteen nuorisotila on sittemmin muuttanut Skanssin kauppakeskukseen, mutta seloste on tässä mallin vuoksi.)

Rauma Kuovi

Uusikaupunki Vantti

Loimaa Hirvikoski

Laitilan nuorisotalo Nuokkari

Aura Kulttuurinen nuorisokahvila Cafesco

Huittinen nuorisovaltuusto

MLL nuorille suunnatut verkkopalvelut

Nuori kirkko ry. Nettisaapas

Yllä olevissa selosteissa on huomioitu vertaisarvioinnissa saatu palaute. Jokainen organisaatio on saanut vertaisarviot 2-3 muulta organisaatiolta ja voinut kehittää selostettaan sen pohjalta. Selosteissa on mukana työyhteisön ehdottama arvosana, joka on maksimissaan 20%. Tuota %-muotoista tulosta tarvitaan toiminnallisen tehokkuuden laskemiseen, tärkeintä palvelusta vastaaville päättäjille toki sinällään jo tieto millainen on arvioidun palvelun käyttö suhteutettuna palvelun ja toimintaympäristön luonteeseen, resursseihin yms.

2. Palvelujen tarpeisiin vastaavuus: Vuorovaikutteisen keskustelupäivän järjestäminen

Usein palveluja arvioidaan vain näkökulmasta "tehdäänkö asiat oikein" unohtaen pohtia ovatko asiat, joita toteutetaan, ylipäätään oikeita ja vieläpä tulevaisuuden valossa. Tässä osiossa nuorilla, nuorisotyön palveluja paikallisella tasolla tuottavilla nuorisotyön toimijoilla ja päättäjillä on tilaisuus yhdessä neuvotellen ottaa kantaa, siihen mihin suuntaan arvioitavaa palvelua kannattaa kehittää ja toisaalta, miten palvelun toimivuutta voidaan parantaa tässä ja nyt. Osio toteutetaan järjestämällä vuorovaikutteinen arviointi keskustelupäivämenetelmän avulla. 

Aikataulu:

Pilottiorganisaatioille järjestettiin keskustelupäivämenetelmää koskeva koulutus Turussa 11.2.2019 (koulutuspäivän ohjelma), ks. diasarja ja ohjeistus ja muistio. Keskustelupäivän välineet: keskustelutyökirja (word ja pdf) ja etenemissuunnitelma (word ja pdf). Keskustelutilaisuuspäivien toteutus pilottiorganisaatioissa tapahtuu aikavälillä huhtikuu 2019-lokakuu 2019. Kutsukirjemalli nuoret, päättäjät ja media.

Toteutetut keskustelupäivät:

9.4.2019 Uusikaupunki (tästä Uudenkaupungin keskustelupäivän tulossivulle)

17.5.2019 Mannerheimin Lastensuojeluliitto ry. (nuorille suunnatut verkkopalvelut) ja Nuori Kirkko ry. (Nettisaapas)

2.10.2019 Laitila (tästä Laitilan keskustelupäivän tulossivulle)

29.10.2019 Rauma

19.11.2019 Aura (esimerkki keskustelupäivänä tehdystä etenemissuunnitelmasta)

20.11.2019 Turku

23.1.2020 Loimaa

Huittisen keskustelupäivä (teemana nuorten ja nuorisovaltuuston vaikutusmahdollisuudet kunnassaan) siirtyy syksyyn 2020 Koronan vuoksi.

 

Keskustelupäivissä tärkeintä on neuvottelu nuorten, työyhteisön ja päättäjien välillä siitä, miten palvelua voidaan kehittää ja pitää tarpeisiin vastaavana sekä ajantasalla. Toiminnallisen tehokkuuden laskemista varten luotiin/hiotaan myös toimintamallia, kuinka keskustelupäivän tuloksia voitaisiin raportoida skaalalla 0-20%.

3.  Tyytyväisyys palveluun ja arvio vaikutuksista: kyselyt nuorille ja päättäjille

Kyselylomaketta suunniteltiin pilottiorganisaatioiden toimesta Turussa 24.4.2019 (päivän sisältö ennakkodiasarjana)

Kyselyn näkökulmiksi sovittiin:

Tyytyväisyys

- Tila, paikka, aika (aukioloajat), varustus, välineet (infrastruktuuri)
 -Ilmapiiri, hyväksyntä, arvostus, vaikutusmahdollisuudet, yhdenvertaisuus, ulkopuolisuus
- Toiminta, aktiviteetit, tapahtumat
- Miten tärkeänä pidetään

Vaikutukset

- Huomiointi, hyväksyntä, arvostus
- Yksinäisyys, kaverit, ystävät
- Oma kokemus oppimisesta ja vaikuttamisesta
- Tieto ja neuvonta
- Merkitys itsenäistymiselle (ja muille elämän osa-alueille)

Aikataulu:

Lomakkeen suunnittelu tapahtuu koordinaattoreiden ja tutkijan toimesta kesän aikana 2019, pilottiorganisaatiot antoivat lomakkeesta palautetta Turun tapaamisessa 6.11.2019. Päätettiin toteuttaa kysely nuorten lisäksi myös päättäjille, jolloin saadaan nuorten näkökulmien lisäksi kartoitettua myös päättäjien käsitystä nuorten tyytyväisyydestä, koetuista vaikutuksista ja siitä, millaisia vaikutuksia päättäjät ajattelevat nuorisotyön palvelujen tuottavan.

Nuorisotaloja koskeva kysely nuorille toteutettiin helmikuussa 2020, kyselylomake tässä. Kysely toteutettiin Webropolilla, kännykällä täyttö oli mahdollinen. Salossa kyselyn toteuttamisessa kokeiltiin Mentimeteriä. Sama kysely muokattiin myös päättäjien täytettäväksi. Korona siirsi päättäjäkyselyn syyskaudelle 2020. Huittisissa ehdittiin toteuttaa nuorisovaltuustotoimintaa arvioiva kysely nuorille, päättäjäkysely siirtyi sielläkin syyskaudelle. MLL:n verkkopalveluille ja Nuoren Kirkon Nettisaappaalle toteutettavat kyselyt siirtyivät syyskaudelle 2020 sekä nuorten että päättäjien osalta. Kyselyjä tullaan muokkaamaan saatujen käyttökokemusten perusteella. Tavoitteena on myös lyhentää kyselyjä - kunhan ensin keksitään, mistä päästä kysymyksiä voidaan vähentää, kaikki kun tuntuvat niin tarpeellisilta.

Pilottiorganisaatioiden tapaamisessa 6.11.2019 päätettiin myös, että tulevina vuosina (arvioinnin jatkokierroksilla) kysely toteutetaan ennen keskustelupäivää, jolloin kyselyn tuloksista voidaan keskustella myös kasvokkain nuorten ja päättäjien kesken. Huittisissa tätä järjestystä on tarkoitus kokeilla ensimmäisenä syyskaudella 2020.

4. Yhdenvertaisuuskartoitukset (siirtyi Koronan takia toteutettavaksi syyskaudella 2020)


5. Toiminnallisen tehokkuuden tunnusluku (muodostuu edellisten pohjalta) (syksy 2020)

 

Avoimen nuorisotyön arviointiin soveltuvan välineen taustoista

Nuorisotyön tunnuslukujen verkostomainen kehittäminen hankkeessa (2015) arvioitiin nuorten kanssa kahdenlaisia palveluja: Lahdessa nuorisotyön lähipalveluja ja valtakunnan tasolla verkkopalveluja. Samaan aikaan oli nuorisokeskuksilla käynnissä Erasmus+ -rahoitteinen hanke kansainvälisen nuorisotyön arviointiin liittyen. Hankkeet tiivistyivät havaintoon, että tarvitaan uudenlainen tapa arvioida avointa nuorisotyötä: Hyvinkin toimiva palvelu saattoi olla vaarassa, koska palvelua rahoittaville tahoille ei pystytty osoittamaan:

- nuorten tarvetta palvelulle
- palvelun hyvää toimivuutta (prosessin laatua),
- palvelun vaikutuksia tai
- palvelun käyttökapasiteettia, joka saattoi olla esimerkiksi täynnä (jolloin lisäresurssin tarve).

Päättäjille esiteltiin päätöksenteon pohjaksi esimerkiksi vain kävijämääriä, jotka taas riippuivat hyvin paljon palvelun luonteesta tai vaikkapa nuorten määrästä ylipäätään ko. maantieteellisellä alueella. Nyt käyttöönotettavassa arviointivälineessä avointa nuorisotyötä hahmotetaan ja mitataan monesta eri näkökulmasta yhtä aikaa, kyseessä on siis monitahoarviointi.

 

Lisätietoja avoimen nuorisotyön arviointivälineestä ja sen kehittämistyöstä:

Gretschel, Anu (2017b) Nuorisotyön tarpeellisuutta kuntapäättäjille perustelemassa: ehdotus arvioinnin menetelmäpaketiksi. Teoksessa Tommi Hoikkala & Johanna Kuivakangas (toim.) Kenen nuorisotyö? Yhteisöpedagogiikan kentät ja mahdollisuudet. Humanistinen ammattikorkeakoulu, julkaisuja 42 & Nuorisotutkimusverkosto & Nuorisotutkimusseura, julkaisuja 196. Helsinki: Humanistinen ammattikorkeakoulu & Nuorisotutkimusverkosto/Nuorisotutkimusseura, 295–304. https://www.theseus.fi/bitstream/handle/10024/139570/978-952-456-279-9.pdf?sequence=1).

Gretschel, Anu (Ed.) & Cupar, Tina & Linno, Merle & Kiilakoski, Tomi & Hästbacka, Noora & Korhonen, Antti (2017) Studying the impact of international youth work – Towards developing an evaluation tool for youth centres. Helsinki: Finnish Youth Centres Association. Suomen nuorisokeskusyhdistyksen julkaisuja, 1/2017. Finnish Youth Research Society/Finnish Youth Research Network, Internet Publications 113. http://www.snk.fi/boost

Gretschel, Anu (2016) Nuorisotyön verkko- ja lähipalveluiden arvioinnin kehittäminen. Teoksessa Anu Gretschel, Pirjo Junttila-Vitikka ja Anne Puuronen. Suuntaviivoja nuorisotoimialan määrittelyyn ja arviointiin. Verkkojulkaisuja 96. Helsinki: Nuorisotutkimusverkosto/-seura, 63–113. http://www.nuorisotutkimusseura.fi/julkaisut/verkkokauppa/verkkojulkaisut/1243-suuntaviivoja

Cooper, Sue & Gretschel, Anu (2018) Evaluating youth work in its contexts. Teoksessa Pam Alldred, Fin Cullen, Kathy Edwards and Dana Fusco (toim.) SAGE Handbook of Youth Work Practice. Lontoo: Sage, 608–622.

Gretschel, Anu (2019) Mittaamattoman arvokasta, nuorten osallisuuden tunne. Teoksessa Satu Hotari (toim.) Osallisuudesta elämään – nuorten ajatuksia osallisuudesta. Virrat: Nuorisokeskus Marttinen, 49-50.

Gretschel, Anu & Korhonen, Antti (2019) What the European co-operation teach us about the nature of tools used in evaluation of (open) international youth work. International Journal of Open Youth Work, Issue 3, 83-92. 

 

Tutkijat

Anu Gretschel

Anu Gretschel

Erikoistutkija

FT

Tämä sähköpostiosoite on suojattu spamboteilta. Tarvitset JavaScript-tuen nähdäksesi sen.

040 516 9189

Tutkijan profiili