Tapani Purola, Kyösti Urponen ja Harri Sintonen (1987) Vaikuttavuuden arvioinnin mahdollisuuksista ja menetelmistä sosiaalihuollossa. Sosiaalihallituksen julkaisuja 18.

Juha Kääriäinen ja Juhani Iivari (1989). Sosiaalihuolto maailmanparantajana. Sosiaalihallituksen julkaisuja 4.

Virtanen, Petri (2001) Teemanumeron pääkirjoitus: Arviointiyhteiskunta? Hallinnon tutkimus 20 (3), 99–101.

Virtanen, Petri (2002) Ohjelma-arviointi. Metodologisia ja arviointitiedon tiedonmuodostukseen liittyviä näkökohtia. Hallinnon tutkimus 21 (2), 128–140.

Ohjelma-arviointi – pdf (journal.fi)

Petteri Paasio (2003) Vaikuttavuuden arvioinnin mahdollisuudet ja rakenne sosiaalialalla. Stakes. FinSoc Työpapereita 3.

Paasio, P. (2006). Yleinen ja erityinen viitekehys arvioinnista. Hallinnon tutkimus, 25(3), 92-107.

HT 3 (06).indd (researchgate.net)

Koivisto, J. (2006). Sosiaalialan näyttökeskustelu: miten sosiaalisten interventioiden vaikuttavuus osoitetaan? Janus Sosiaalipolitiikan ja sosiaalityön tutkimuksen aikakauslehti, 53-60.

Marketta Rajavaara (2007) Vaikuttavuusyhteiskunta. Sosiaalisten olojen arvostelusta vaikutusten todentamiseen. Kelan tutkimusosasto. Sosiaali- ja terveysturvan tutkimuksia 84.

Vaikuttavuusyhteiskunta – sosiaalisten olojen arvostelusta vaikutusten todentamiseen (helsinki.fi)

Sinkkonen, M. (2008). Sosiaalipalvelujen vaikuttavuuden arvioinnista. Hallinnon tutkimus, 27(1).

Kivipelto, M. (2008). Osallistava ja valtaistava arviointi: johdatus periaatteisiin ja käytäntöihin. Stakesin työpapereita 17.

T17-2008-VERKKO.pdf (julkari.fi)

Rajavaara, M. (2012). Sosiaalityön vaikuttavuustietoa tavoittelemassa (Pohjola, Anneli & Kemppainen, Tarja & Väyrynen, Sanna (toim.): Sosiaalityön vaikuttavuus). Janus Sosiaalipolitiikan Ja sosiaalityön Tutkimuksen Aikakauslehti, 20(3), 302–305.

https://journal.fi/janus/article/view/50669

Tapani Purola, Kyösti Urponen ja Harri Sintonen (1987) Vaikuttavuuden arvioinnin mahdollisuuksista ja menetelmistä sosiaalihuollossa. Sosiaalihallituksen julkaisuja 18.

Suomessa on poikkeuksellisen niukasti evaluaatiotutkimusta sosiaalihuollosta. Suomi poikkeaa tässä suhteessa muista Euroopan ns. korkean sosiaaliturvan maista. Sosiaalivaltion ja myös sosiaalihuollon kannatuspohja Suomessa on vankka, niiden toiminnan legitimiteettiä ei epäillä. Sosiaalihuollon vaikuttavuuden arviointi kriittisenä tutkimushankkeena on täynnä ongelmia. Sosiaalihallitus on käynnistänyt sosiaalihuollon vaikuttavuutta selvittävän tutkimus- ja kehittämisprojektin, jonka ensimmäisenä vaiheena tilattiin kolmelta professorilta aihepiirin teoreettisia perusteita ja metodologiaa käsittelevät selvitykset. Toisena vaiheena on käynnistynyt Helsingin yliopiston Lahden tutkimuskeskuksen kanssa esitutkimusvaihe, jolla tähdätään empiirisen evaluaatiomallien rakentamiseen ja kokeiluun kuntien sosiaalitoimessa.

Tapani Purola: Näkökohtia suunnittelun ja evaluaation tasoista ja tavoista

Sivut 5–8: Oikeutuksen ja vaikuttavuuden ongelma: Aluksi lienee aihetta kiinnittää huomio kolmeen asioiden ryhmään:

• käsitteisiin, tutkimustuloksiin ja teorioihin, joilla tieteellinen työ paitsi kuvaa ja selittää todellisuutta myös neuvoo ihmisiä ja heidän kauttaan organisaatioita sosiaalihuoltoa koskevissa asioissa,
• kriteereihin, joiden nojalla ymmärretään, mikä on haluttua ja kysyttyä ja mikä taas ei-haluttua tai vastustettavaa, sekä
• käsityksiin, jotka koskevat hyvän saavuttamisen hyvää tapaa vallitsevin tai muutettavissa olevien organisoitumismuotojen sekä suunnittelu- ja toimintatapojen puitteissa.

Nämä sosiaalipolitiikassa ja sosiaalihuollossa keskeiset kolme näkökohtaa voidaan ilmaista myös käsittein deskriptiiviset teoriat, normatiiviset teoriat ja interventioteoriat. Kysymys sosiaalihuollon vaikuttavuudesta liittyy käsityksiin todellisuudesta ja sen osien keskinisistä vaikuttavuussuhteista. Eri näkökulmat eivät ole toiminnallisesti eriytettävissä. Reaalitoiminnassa sama teoria implikoi kaikki kolme osaansa. Usein tämä tukee näkyviin juuri reaalitoiminnassa syntyvien ristiriitojen myötä. 

Tieteellisesti ymmärrettyjen havaintojen ja teorioiden sijasta sosiaalihuollolla tavoitellut hyvät ja sen eri toimenpiteiden aiheuttamat hyvät ja pahat arvioidaan reaalipolitiikassa peremmiltään uskottavuuden kriteereiden.  Ne koskettavat kahta asiaa, joista käytetään nimitystä oikeutuksen ideologia (ideology of justification) ja toimeenpanon ideologia (ideology of implementation). Edellinen koskee sitä, ylittävätkö itse asiaan ryhtymistä puoltavat näkökohdat vastustavien näkökohtien painon. Jälkimmäisessä taas on kysymys siitä, onko asian saavuttamistapa hyväksyttävä ja onko se hyväksyttävämpi kuin joku toinen tapa.

Ekonomistisessa tarkastelussa, johon käsite vaikuttavuus tavallisimmin liitetään, oikeutuksen ongelmaan vastataan kustannus/hyötyanalyysilla ja toimeenpanon ongelmaan kustannus/vaikuttavuus -analyysilla. Ekonomistinen (utilitaristinen) ratkaisu on täsmällinen ideaalityyppisessä mielessä, mutta ilmeisen kapea sosiaalihuollon vaikuttavuusarviointien ainoaksi lähtökohdaksi. Sosiaalipolitiikkaan liittyy ainakin kolme muuta kriteeriä: hyvinvointi, vapaus ja tasa-arvo. Sammalla kun viimeksi mainittuja korostetaan, on tärkeä huomata, että pyrkimys hyvien ja pahojen systemaattiseen punnintaan sekä vaihtoehtoisten toimintamuotojen keskinäisen perusteltavuuden analysointiin, on sinänsä välttämätön. Sitä ei voida hylätä siksi, että ekonomistinen sovellutus on riittämätön ja jossakin katsannossa tai tilanteessa jopa arvelluttava.

Sivut 8–17: Sosiaalihuollon arvot ja evaluaatio: Sosiaalihuollon vaikuttavuuden tutkimuksessa arvosidonnaisuus konkretisoituu, koska huomio joudutaan kiinnittämään arvojen toimimiseen reaalisosiaalipolitiikassa ja sen tutkimuksessa. Sosiaalihuolto on moniulotteisten ja monen laatuisten toimintojen verkosto eli systeemi:

• Politiikka, sosiaali- ja terveyspolitiikka
• Yhteisö- ja yhteiskuntaprosessit
• Sosiaali- ja terveyshallinto
• Kansalaiset ja arkielämä
• Jakelu ja markkinat
• Palvelusten tuotanto

Käytännön suunnittelussa ja arvioinnissa noudatetaan vaihtelevia arvojen hierarkioita. Tällä seikalla on olennainen merkitys myös siihen tapaan, jolla evaluatiivinen tutkimus ”neuvoo” käytännön sosiaalihuoltoa. Konkreettisten tapausten kanssa työskentelevä sosiaalityöntekijä joutuu arvioimaan työnsä tulokset yksittäistapauksessa näkyvän vaikutuksen mukaan. Yleisemmin tällöin on kysymys työtavoista, metodeista ja niiden vaikuttavuudesta yksittäistapauksessa (efficacy). Tällöin on kysymys ennen muuta siitä, onko toiminta hyvää tuottavaa (beneficial) vai haitallista (harmful) asiakkaan näkökulmasta.

Sivut 17–19: Evaluaatio ja suunnittelun tasot. Arviointikriteerit vaihtelevat eri tasoilla: politiikka, operatiivinen, yksilö. Olennaista on tutkimuksen tavoiteasetelman tietoinen selkiyttäminen ja fokusointi tässä suhteessa. Tällöin tulee esiin reaalimaailman ja tieteellisen tutkimuksen ero: reaalimaailmassa ongelmat ovat aina symbioottisia kokonaisuuksia, mutta tieteellinen työskentely perustuu johonkin rajattuun näkökulmaan, jolloin reaaliongelmaa ei ainoastaan rajoiteta, vaan sen sisäiset yhteydet samalla katkaistaan.

Sosiaalihuollon tutkimuksessa keskitytään helposti ongelmiin ja käsitteisiin, jotka saavat vahvistusta vallitsevalta tutkimusperinteeltä. Tutkitaan ja evaluoidaan sitä, mikä on – vakiintuneen tavan, käsitteistön ja metodologisen sääntöjen mukaan – selkeimmin ja helpoimmin tutkittavissa.

Sivut 20–22: Tieteellinen ja tekninen evaluaatio: Vaikutusten arvioinnilla tarkoitetaan tavallisesti ns. tieteellistä tai teknistä evaluaatiota: kehitetään teoriaa ja testataan siihen liittyviä hypoteeseja. Evaluaatiotutkimuksessa on 1960-luvulta alkaen laajentumaan jo vakiintuneiden tai aloitettaviksi päätettyjen ohjelmien arviointiin. Kirjallisuutta on viime vuosina ilmestynyt runsaasti, koska tämä suuntaus liittyy yleistyneeseen kokonaisvaltaisen rationaalisen suunnittelun ideaaliin.  Perinnettä on kutsuttu tekniseksi evaluaatioksi, koska pyrkimyksenä ei ole teorian tai hypoteesin testaus vaan minkä hyvänsä annetun tavoitteen toteutumisen arviointi.

Sivu 22–29: Evaluaatio oppimisprosessina: Poliittisessa reaalimaailmassa tavoitteita suostutaan harvoin ilmaisemaan täsmällisesti operationalisoitavissa olevalla tavalla, koska aina on varauduttava uuteen tilanteeseen ja uusiin tavoitteisiin. Sosiaalihuollon arvioinnissa kriittiseksi tulee, miten voidaan ottaa huomioon uudet pyrkimykset ja kehitystavoitteet ja edistää niiden mukaista toimintaa. Uutena soveltamistapana voidaan puhua kokeilusta. Se, joka tieteellisen kokeessa suljetaan pois luotettavuutta vähentävänä virhevarianssina, ymmärretään kokeilussa luovana toimintana, innovaationa, johon ennen muuta tähdätään. Kokeiluevaluaatio on ennen muuta organisaation tai toimintaryhmän oppimista itsestään, työstään ja suhteestaan ympäristöön. Se tähtää keskeisesti tieto- ja asennemuutoksiin, eikä annetun tavoitteen saavuttaminen ole välitön tavoite.

Kokeilussa korostuu ”sisältä päin” tapahtuva itseohjaus ja osallistuminen. Osallistujiksi tulevat myös oletetut asiakkaat ja heidän omat kokemuksensa sekä arviot ja vaikuttavuus niiden suunnassa.

Sivut 25–28: Arviointikriteerien valintatavoista: Kirjallisuudessa käytetään käsitetty ’politiikkaa muotoilevat yhteisöt: poliittiset päättäjät, hallinnolliset virkamiehet, operatiiviset toimeenpanijat, mutta myös asiakkaat sekä yhteiskunnalliset ryhmittymät. Sosiaalihuollon vaikuttavuustutkimuksessa tulisi aina kysyä, millä arvoperusteilla arviointikriteerit valitaan: jääkö se tutkijoiden persoonakohtaiseksi asiaksi, otetaanko lähtökohdaksi hallinnon asettamat kriteerit, jne. Ellei tähän metodologiseen peruskysymykseen saada edes jotenkuten kelvollista ratkaisua, tutkimuksen suunnittelua tuskin kannattaa jatkaa. Kun tutkijat asettavat kysymykset, saatetaan tuottaa tuloksia, jotka kertovat enemmän tutkijoista ja heidän arvoistaan kuin siitä asiasta, jota sosiaalihuollossa on tarkoitus evaluoida. Jos tukeudutaan päätöksentekijöiden tavoitekonsensukseen, jää vastattavaksi, tarjoaako tietyssä tilanteessa saavutettu poliittinen konsensus tavoitteista lähtökohdan evaluaatiolle.

Kyösti Urponen: Vaikuttavuuden arviointi sosiaalihuollossa ja -työssä – Näkökohtia arviointimenetelmistä, ongelmista ja haasteista.

Sivut 35–36: Sosiaalihuollon vaikuttavuuden arviointiin avautuu lähinnä kaksi lähestymisotetta, tekninen ja rakentava. Teknisessä otteessa arviointia perustuu aiemmin luodulle teoreettiselle pohjalle. Rakentavassa otteessa arviointiin ei ole käytettävissä valmista järjestelmää, joka voitaisiin muualta siirtää. Tässä yhteydessä valitaan rakentava lähestymistapa seuraavin perustein: 

• Sosiaalihuoltoon ei löydy sen omiin tarpeisiin luotua tuloksellisuuden arviointijärjestelmää.
• Pääosa tarjolla olevista keskittyy taloudelliseen arviointiin.
• Toiminnan tuloksellisuuden arviointi on tavallisimmin rakennettu systeemiteorian tai sen sovellutusten pohjalle, mitä ei voi ottaa annettuna sosiaalihuollon tuloksellisuuden arvioinnin pohjaksi.

Edellä esitetystä seuraa, että tuloksellisuuden arvioinnista voidaan puhua vasta sitten, kun arviointi on systemaattisesti rakennettu suunnattuna projekti- ja tehtäväkohtaisesti. Toinen keskeinen kysymys liittyy subjektiin eli arvioijaan, joita sijoittuu useille tasoille sosiaalityöntekijöistä ministeriöön.

Sivut 37–43: Tuloksellisuuden arviointi ja sen kehitys: Hallinnon ja toiminnan suunnittelussa tähdennetään usein seurantaa:

• Seuranta lisää informaatiota täsmentäen kuvaa päämääristä, toimintaympäristöstä ja toiminnan ’pullonkaulasta’.
• Seurannalla on koulutuksellinen tehtävä. Informaation avulla voidaan arvioida toimenpiteitä ja muuttaa toimintatapoja.
• Seuranta toimii rationaliteetin tehostajana, koska informaatio vaihtoehdoista sekä toimenpiteiden ja tiedon rajoista lisääntyy.
• Seurantaan sisältyy ”muutosfunktio”, koska toimenpiteitä voidaan suunnata uudelleen, korjata tulosten puutteita, tarkistaa lähtökohtia ja toiminnan perustetta sekä vaikuttaa toimijoihin.

Seuranta tuottaa perustietoa toiminnasta ja sosiaalisista prosesseista. Sen avulla voidaan, ainakin periaatteessa lisätä sosiaalisen muutoksen hallintaa ja muutostyön rationalisuutta. Käytännön vaikeuksia ovat:

• Käsitteet ja menetelmät ovat epätäsmällisiä ja vakiintumattomia.
• Käsittelyn tehostamiseen sisältyy eettisiä ongelmia, jotka sosiaalityön ammatillistuessa voivat nousta keskeisiksi.
• Kaikkiin tärkeisiin kysymyksiin ei seurannalla saada vastauksia. Tästä seuraa edellytyksiä kiistoille tulosten arvioinnissa.

Toimintaan lähdettäessä kerätään, valikoidaan tietoa ja järjestetään tietoa tehtävän valmisteluun liittyviä päätöksiä varten.  Mitä laajemmasta ja monipuolisemmasta tehtäväalueesta on ja mitä suuremmasta olosuhteiden vaihtelusta on kyse, sitä vähäisemmät ovat mahdollisuudet antaa sitovia ohjeita. Toimijalta edellytetään itsenäisyyttä. Tilanteessa vaaditaan kykyä kerätä tietoa, analysoida sitä ja jäsentää hankittu tieto uuden toiminnan turvaamiseksi.

Evaluaatio liittyy usein prosessin tai toiminnan loppuvaiheisiin. Tietoa hankitaan, jotta voitaisiin ratkaista, onko toiminta toteutunut tarkoitetulla tavalla ja onko tavoite saavutettu, tai onko ilmennyt jotain, joka osoittaisi käytetyt toimenpiteet virheellisiksi tai puutteellisiksi. Evaluaatio palvelee oppimista, koska se rikastuttaa käsitystä toimijoista, kohteesta ja siihen suunnatuista toimenpiteistä. Onnistuneen evaluoinnin jälkeen on käytettävissä tietoa, joka tarjoaa perustan muutokselle, aiempaa osuvammalle toiminnalle.

Terveydenhuollon ja sosiaalityön välillä vallitsee oleellisia eroja, jotka vaikuttavat arvioinnin mahdollisuuksiin ja luonteeseen. Sosiaalityössä tieteellisellä tiedolla ja sen tuottamalla teknisellä arvioinnilla ei ole käytännön tilanteessa aina ollut sellaisenaan kovin paljon käyttöä tai merkitystä. Sosiaalisen tapahtuman arviointiin joudutaan sisällyttämään tulkintaa. Kysymys saattaa olla sosiaalikulttuurisesta etäisyydestä, kun maailmaa tarkastellaan erilaisista näkökulmista. Tutkijat etsivät omista lähtökohdistaan varmaa tietoa. Tästä seuraa, että tarkastelu formuloidaan usein liian ahtaasti. Polttavia ongelmia sivuutetaan. Kovin harvoin tutkitaan esimerkiksi resurssien rajallisuutta. Ongelman ratkaisun strategisia pisteitä ei arvioida. Poliittisten prosessien merkityksen aliarviointia esiintyy.

Tekninen arviointi ja ohjaus saattavat rajata oleellisesti toiminnan autonomiaa ja tietoperustaa. Esineellistäessään toimintaa ne voivat ehkäistä eettisten periaatteiden toteutumista. Inhimillisen toiminnan seuranta kohtaa sosiaalihuollon näkökulmasta ongelmia, jos toimintaa hyvin mekaanisesti arvioidaan pelkkien tehokkuuskriteerien pohjalta. Esimerkiksi erityisen rationaalisena ei voi pitää lastensuojelua, joka ottaa huostaan mahdollisimman monta lasta, vaikka sitä ehkä voidaankin pitää tehokkaana.

Sivut 43–48: Arvioinnin välineet: Arviointitiedon tuottaminen voidaan jakaa evaluointiin, seurantatutkimuksiin ja tarkkailuun. Evaluoinnissa seurataan ohjelman tai sen eri vaiheiden etenemistä. Toiminta rakentuu informaatiojärjestelmälle ja sen tuottaman tiedon analysoimiselle kahdessa suunnassa: Hallinnonalaa seurataan yleisesti tilastojärjestelmillä ja muulla vuosittain tuotetulla tiedolla, sekä projektikohtaisella seurannalla. Evaluointi rakentuu systemaattisesti kerätyn tiedon varaan. Muita ominaispiirteitä ovat

• Pyritään identifioimaan syitä esimerkiksi kokeilutoiminnan avulla.
• Evaluointi voidaan rakentaa laaja-alaiseksi, jolloin kuitenkin helposti menetetään tietoa tai informaatiota yksinkertaistamalla liiasti yksityiskohtia.
• Rajoituksena on kalleus ja se, ettei seurantatietoa ole aina välittömästi saatavilla.

Seurantatutkimusten menetelmät ovat usein systeemiteoriaperusteisia ja kehitetty talous- ja insinööritieteissä: kustannus-hyötyanalyysi, operaatiotutkimus, systeemianalyysi ja systeemiteknologia. Tiedon tuottaminen kestää usein kauan. Tieto ei ole ongelmatonta, koska vaikutusyhteyksien määrittelyt voidaan suorittaa vain tilastollisesti, mikä ei ole aina sama kuin todellinen vaikutus. Ilmiöitä ei voi eristää ja ihmiset voivat korjata toimintaansa tapahtuman aikana tavalla, joka ei paljastu tutkijoille. Tietoa saadaan lähinnä ilmiöistä, jotka voidaan kvantidioida.

Edellä esitettyjen menetelmien ohella tietoa työprosessien tuloksellisuudesta voidaan saada myös niiden yhteydessä tarkastelulla, johon sisältyy seuraavia piirteitä:

• Tarkastelulla saadaan välitöntä ja jatkuvaa palautetta.
• Kiistattomia etuja ovat nopeus ja halpuus verrattuina varsinaiseen tutkimukseen.
• Tieto on tilannekohtaista, ei systemaattista.
• Tilannekohtaisuudesta seuraa, että todellisia ongelmia ei aina kyetä identifioimaan.

Tarkkailu rakentuu asiantuntija-arvioinnille, jota suorittavat joko toimipisteen työntekijät tai joka rakentuu ulkopuolisen tarkastuksen varaan. Välitöntä ja tilannekohtaista arviointitietoa voidaan saada myös keskustelemalla asiakkaiden kanssa.

Sivut 49–55: Arvioinnin kriteerit ja tietolähteiden soveltaminen. Katso Antti Kariston ja Kauko Nymannin esittämät kaaviot. Sivut 52–55: Diagnostisessa arvioinnissa tarkastellaan systemaattisesti niitä ohjelman kohtia, joissa se epäonnistuu, uhkaa pettää tai osoittaa kehittämistarpeita:

• Paljastaa asiat, joita ei ole otettu huomioon tai joiden suhteen on tapahtunut laiminlyöntiä.
• Paljastaa ne kohdat, joissa ohjelma toimii tehottomasti.
• Auttaa tarvemäärittelyssä paljastaessaan ei toivotun tilan laajuuden.
• Auttaa ymmärtämään ilmiön määrällisten piirteiden lisäksi sen laadullisia piirteitä.

Tämä menettely sopii erityisesti sosiaalisten ongelmien määrittelyyn. Saavutusten sijasta tarkastellaan, mitä ei kyetty saavuttamaan tai missä esiintyy tarpeita toimenpiteille. Esimerkkinä menetelmistä mainittakoon

• avaininformoijat, haastatellaan ilmiökentän kanssa sen eri puolilla työskenteleviä,
• kylä- ja asukaskokoukset, ja
• epidemiologityyppinen tutkimus.

Sivut 55–61: Seurannan informaatiojärjestelmistä: 1) tilastot, 2) sosiaali-indikaattorit, 3) koejärjestelyt, sekä 4) organisaatio- ja projektikohtaiset laskenta- ja tarkkailujärjestelmät.

• Tilastot ovat tehneet uudella tavalla mahdolliseksi tarkkailun ja valvonnan. Niissä valvojat vetäytyvät näkymättömiin. Valvottavat tehdään tilastojärjestelmien avulla näkyviksi. Keskeisiä pulmakysymyksiä ovat
• Ne rakentuvat hallinnon kategorioille.
• Kvantitatiivinen tieto yli korostuu, esimerkkinä talous ja väestö.
• Kehittyvät nopeimmin alueilla, joista on helppo saada kvantitatiivista tietoa. Sosiaalisia ongelmia koskevat tilastot ovat kehittymättömämpiä.
• Taloudellisesti painottuvissa ja taloudellista kehitystä kuvattaessa jäävät negatiiviset seuraukset huomiotta.
• Varjoon saattaa jäädä hyvinkin tärkeitä yhteiskunnallisia kehitystrendejä.
• Tilastointiperusteita voidaan muuttaa suhteellisen harvoin.
• Tilastoja ei ole rakennettu yhteiskuntateorian tai yksittäisiä projekteja ohjaavien teorioiden varaan.
• Koejärjestelyillä täydennetään tilastojärjestelmien puutteita. Yhteiskunnallisen kokeeseen perustuvat tutkimuksiin liittyy kuitenkin monia ongelmia ja epävarmuustekijöitä.
• Sosiaali-indikaattorit ovat laajentuneet ja vakiintuneet makrotasoisessa tutkimuksessa, joka vaatii systemaattista inventiota alueyksikön tilasta ja tiloihin vaikuttavista tekijöistä kuten yhteiskunnan muutosilmiöistä. alueellisesta erilaisuudesta, sosiaalisesta kerrostuneisuudesta, jne.  Lähes indikaattoriliikkeen luonteiseksi laajentunut toiminta on laantunut 1970- ja 1980-luvuilla.

Sivut 61–67: Intressi evaluoinnin ongelmana: Sosiaalihuollon tulokselliseen arvioinnin kehittämisen tuottamat kokemukset antavat muutamia opetuksia: 1) demokraattisuuden ongelma, 2) arviointikriteerien määrittelyn ongelma, sekä 3) sosiaalisten ilmiöiden teoriaperustan ongelma.

Julkiset palvelut liittyvät yleensä laajojen ihmisjoukkojen intresseihin. Tuotanto rakentuu demokraattisten prosessien varaan. Arvioija törmää monien intressien kenttään, jossa hän voi periaatteessa rakentaa toimintansa kolmelle strategialle:

• Tuloksellisuutta pyritään arvioimaan intressin taustalla olevan moninaisuuden pohjalta. Arviointiin liittyy kiinteästi poliittinen prosessi, jonka varaan rakentuu myös tulkinta. Arvioija suorittaa tehtävänä määriteltyjen perusteiden pohjalta.
• Arvioija toimii palvelujen käyttäjien asiamiehenä. Hän pyrkii luomaan ’hyvän palvelun’ kriteeristön. Ongelmana on ”hyvän määrittely”. Arviointi pelkistyy helposti tehokkuustarkasteluksi, joka ei läheskään aina ole legitiimi sosiaalisten ilmiöiden lähestymistapa.
• Arvioija voi lähteä ammatillisuudesta: niiden pitää sanoa eniten, jotka tietävät eniten. Arvioija toimii ryhmänsä valtuuttamana. Ongelmia syntyy, kun arvioija tuo mukanaan omat intressinsä, vaikkapa ammatilliset, arvioinnin perustaksi ja nämä poikkeavat julkisesti määritellyistä standardeista.

Tavoitteiden (toivomusvaltaisi vs. ihannevaltaisia) ja arviointikriteerien (julkisesti määriteltyjä vs. ammatillisia) nelikentässä nousee näkyviin neljä menettelytapaa: demokraattinen, demokratisoituva, ammatillistuva sekä teknoraattis-ammatillinen menettely. Tämä tarkastelu osoittaa, että tavoitteiden asettaminen ja arviointikriteerien määrittelytapa eivät ole lainkaan merkityksettömiä. Tähän problematiikkaan on vain vähän kiinnitetty huomiota keskusteltaessa arvioinnista.

Sivut 67–69: Arviointikriteerien ja mittareiden laatimiseen liittyviä ongelmia: Mittauksen vaatimuksia ovat luotettavuus, pätevyys ja herkkyys muutoksille sekä tietty legitimiteetti. Mittareiden osoittimet eivät suinkaan ole arvovapaita. Usein eletään arvovapauden harhan vallassa ja altistetaan toiminta määrittelemättömille ulkoisille arvoille. Jos kansalaisen intressit unohdetaan, on vaarana ajautua asiantuntijavaltaan. Sosiaalisektorin ratkaisut eivät voi perustua suoraan taloudelle. Tavoite on pikemminkin ratkaisu, jota voidaan pitää tyydyttävänä ja hyväksyttävänä. Tuloksellisuuden arvioinnissa tämä merkitsee, että

• mittarit tulee rakentaa termeille ja välineille, jotka eri osapuolet voivat hyväksyä ja joista on saavutettu yhteisymmärrys,
• toiminta ei voi johtaa tilanteeseen, jossa joku osapuoli saa erityisen vaikutusvallan tai kontrollimahdollisuuden toiseen.
• informaation ja toiminnan tulee olla perusluonteeltaan avointa.
• mittaamisen on oltava jatkuvaa, koska olot ja edellytykset muuttuvat jatkuvasti.
• mittaamisen tulee olla laajaa, monitahoisen ilmiökentän kattavaa, jotta katvealueita ei jää ja toimenpiteet eivät vinoudu.

Sivut 69–73: Sosiaalisten ilmiöiden luonteesta ja metodologisista valinnoista tuloksellisuuden arvioinnissa: Sosiaalihuollossa arvioinnin kohteen luonne muodostaa toiminnan perusongelman. Kysymys inhimillisen toiminnan ja luonnonilmiöiden välisestä suhteesta on varsin monimutkainen. Inhimilliseen toimintaan liittyy usein tietoisuus tavalla, joka erottaa sosiaalisen toiminnan luonnon ilmiöistä. Niin kauan kuin ihmiset ottavat huomioon samat asiat, voidaan tietty säännönmukaisuus havaita. Kun he päättävät ottaa huomioon jotkut toiset asiat, toteutuu toinen säännönmukaisuus. Sosiaalisissa normeissa ja niitä ilmentävissä lainalaisuuksissa ”syitä” ovat asiat, joita yksilöt ottavat huomioon. Sosiaalisen lainalaisuuden muuttuminen voi tapahtua tietoisuuden muutoksen tuloksena.

Jos edellä esitetty pitää paikkansa, sosiaalitoimen evaluoinnin legitiimi lähestymistapa ei olisi naturalistinen evaluointi tai systeemiperusteiden asioiden analysointi. Peruskysymys on pikemminkin seuraava: Onko otettu huomioon ne asiat, jotka tulee ottaa huomioon? Epäilen, että sosiaalitoimen ja sosiaalityön ohjeistamisessa ei ole otettu riittävästi huomioon toimintaympäristöön liittyviä näkökohtia. Jos tuloksellisuutta ei ole saavutettu ja ympäristössä esiintyy ongelmia, joudutaan kyvymään muiden toimintaa ja heidän huomioonottamia asioita.

Sivut 73–74: Johtopäätökset: Sosiaalihuollon tuloksellisuuden arvioinnissa tulisi etsiä vastauksia seuraaviin kysymyksiin:

• Mitkä ovat tuloksellisuuden arvioinnin tavoitteet?
• Miten toteutuu demokraattisuus ja mitä se merkitsee sosiaalitoimen arvioinnissa?
• Miten edistää monipuolista tiedonhankintaa ja ylittää eri tietojen kuilut?
• Mikä on toiminnan metodologinen perusta?
• Mikä on taloudellisen ja sosiaalisen asema, entä tehokkuuskriteerien sekä oikeudenmukaisuuden, tasa-arvoisuuden jne.?
• Miten vastataan ulkopuolisiin odotuksiin, jotka eivät ole kaikilta osin samoja kuin sosiaalitoimen sisällä?

Nämä kysymykset nousevat esille ennen arvioinnin teknisiä ongelmia. Jatkossa olisi syytä lähteä liikkeelle tämän luvun perustana olevasta rakentavasta lähestymistavasta.

Harri Sintonen. Sosiaalihuollon vaikuttavuusprojekti – sosiaalipolitiikan ja erityisesti sosiaalihuollon arviointi metodologisten kysymysten mm. kustannushyötyanalyysin näkökulmasta.

Tässä selvityksessä tarkastelen lähinnä sosiaalihuollon ”esievaluatiivisen” tutkimuksen ongelmia. Painopiste on sen tarkastelussa 1) mitä lopullisessa evaluaatiossa pitäisi mitata ja 2) miten sitä tulisi operationalisoida. Lisäksi pitäisi pohtia, 3) kuka päättää mitä ”pitäisi”. Tarkastelu tapahtuu taloudellisen evaluaation näkökulmasta.

Evaluointitutkimus voidaan jakaa

• ei-taloudelliseen: tavoitteensaavuttamisanalyysi ja kustannusanalyysi.  Ensin mainitussa hyvyyden kriteerinä on toiminnan vaikuttavuus ja jälkimmäisessä kustannus
• taloudelliseen, jossa hyvyyden kriteerinä on tehokkuus, rajatummin tuottavuus.

Toiminnan elementit ovat 1) panokset (voimavarat ja kustannukset), 2) toiminta-/tuotantoprosessi (voimavarojen yhdistely), 3) tuotos (suoritteet ja palvelukset) sekä 4 vaikuttavuus.

Tässä luvussa on käsitelty eräitä teoreettisia ja metodisia ongelmia, joihin törmätään, jos sosiaalihuollossa pyritään tekemään evaluaatiota, erityisesti taloudellista evaluaatiota. Pääpaino on ollut vaikuttavuusmittareiden määrittelyssä ja rakentamisessa sekä itse vaikuttavuuden mittaamisessa. Esityksessä on pyritty tunnistamaan väistämättömät arvo-ongelmat sekä antamaan käsitteellistä, teoreettista ja metodista evästystä niiden eksplisiittiseksi ratkaisemiseksi. Tämä on välttämätön edellytys evaluaatiotutkimukselle – muutoin evaluaatio on subjektiivista, ”mutu -menetelmään” perustuvaa.

Juha Kääriäinen ja Juhani Iivari (1989). Sosiaalihuolto maailmanparantajana. Sosiaalihallituksen julkaisuja 4.

Käsillä oleva julkaisu sisältää kaksi sosiaalihuollon evaluoinnin mahdollisuuksia hahmottavaa selvitystä, jotka ovat syntynet sosiaalihuollon vaikuttavuusprojektin tuloksena. Juha Kääriäisen selvitys on valmistunut mainitun projektin esitutkimushankkeena. Sen painopiste on sosiaalihuollon evaluaatiotutkimuksen tarpeiden ja ongelmien hahmottamisessa laajemmalla tasolla. Juhani Iivari on selvittänyt vaikuttavuuden arviointia alhaalta ylöspäin erityisesti ns. interventiotutkimuksen kehyksessä.

Juha Kääriäinen: Evaluaatiotutkimuksen perinteistä ja suomalaisen sosiaalihuollon vaikuttavuuden arviointimahdollisuuksista.  Sivut 1–50.

1. Johdanto: Esitutkimuksen tarkoitus ja keinot. Evaluaatiotutkimuksen kehityksestä. Mitä evaluaatiotutkimus on?

Sosiaalityön vakava ja kriittinen tutkimus on maassamme vasta ottamassa ensi askeliaan. Mitä sosiaalihuolto tai sosiaalityö on, siitä vasta keskustellaan. Tämä raportti heijastanee niitä vaikeuksia, joita tutkija on kohdannut ja kuvastaa samalla koko hankkeenkin väistämättä kohtaamia ongelmakohtia. Tässä raportissa pyritään vuonna 1987 julkaistujen kolmen asiantuntija-artikkelin jatkoksi suuntaamaan ja rajaamaan sosiaalihuollon evaluointia mahdolliseksi empiiriseksi tutkimukseksi. Lopussa esitetään eräitä vaihtoehtoisia etenemisnäkökulmia niihin liittyvine ongelmineen.

Tämä raportti ei ehkä ole sosiaalihuollon tuloksellisuuden tutkimuksesta kiinnostuneille kovin kannustava. Ei ole kyetty osoittamaan pitäviä teoreettisia eikä metodisia perusteluja empiiriselle tutkimusasetelmalle, jonka avulla huoltotyön tehokkuus- ja vaikuttavuuskysymykset voitaisiin ratkaista. Tässä yhteydessä on kiinnitetty huomiota arviointitutkimuksen voimakkaaseen kausaaliajatteluun, mikä on usein johtanut yhteiskunnallisia vaikutusyhteyksiä yksinkertaistavan kokeellisen mallin soveltamiseen. On oletettu, että yhteiskuntapoliittisten interventioiden vaikutukset voidaan eristää kokeelliseen tutkimusasetelmaan. Luonnontieteissä käytetyn tutkimusasetelman suora ja tarkka jäljittely yhteiskunnallisten ilmiöiden kyseessä ollen ei tunnu tässä yhteydessä perustellulta.

• Havaintoja sosiaali- ja yhteiskuntapoliittisten ohjelmien ja yksilökohtaisten työmenetelmien vaikuttavuudesta: Yhdysvaltalaisia kokemuksia. Pohjoismaisia kokemuksia.
• Mitä sosiaalihuollossa kannattaisi evaluoida? Sosiaalihuoltoon kohdistuvista odotuksista. Vaihtoehtoisia empiirisen tutkimuksen asetelmia. Eräs mahdollinen konkreettinen ehdotus.
• Jälkisanat

Sivut 21–25: Johtopäätökset siitä, että tähänastiset pohjoismaiset evaluaatiotutkimukset ovat jokseenkin hyödyttömiä sosiaalipoliittisten toimenpiteiden systemaattisen arvioinnin kannalta johtivat osaksi tutkijoiden asettamista kovista metodivaatimuksista ja niiden yksinkertaistamasta tutkimusprosessista. Myös Yhdysvalloissa julkaistuille tuloksellisuuden arviointitutkimuksille on ominaista liika formaalisuus. Vahvasti positivistiseen perinteeseen sitoutuneiden evaluaatiometodien tuottamissa tutkimuksissa jää huomaamatta, että poliittiset ja hallinnon asettamat tavoitteet ovat usein niin täynnä arkipäiväistä analysoimatonta toiveajattelua ja todellisuuden kanssa ristiriitaisia oletuksia, että ei ole ihme, jos niiden varaan rakennetut evaluaatiotutkimukset tuottavat nollatuloksia. Sosiaalihuollon vaikuttavuuden tutkiminen virallisesti asetettujen tavoitteiden kriteeristöllä tuntuu varsin ongelmalliselta.

Sivut 25–33: Empiiriselle evaluaatiotutkimukselle voidaan karkeita perustyyppejä:

• Kokonaisen sosiaalihuollon palvelu- tai avustussektorin tuottavuuden tarkastelu.
• Sosiaalipalveluja tuottavien organisaatioiden toimintaa koskevat arvioinnit.
• Jonkin sosiaalihuollon kokonaisen palvelu- tai avustussektorin yhteiskunnallisen vaikututtavuuden arviointi.
• Yksittäisten sosiaalihuollon työmenetelmien vaikuttavuuden tutkimus.

Sosiaalityössä on useita menetelmiä, joiden tavoitteet ja työkäytännöt voidaan korkeintaan tyydyttävästi mitata yksiselitteisesti. Mikä itseasiassa on ollut sosiaalityön osuus asiakkaan elämäntilanteessa mahdollisesti tapahtuneiden muutosten aikaansaamisessa? Riittääkö sosiaalityön monesti varsin vähäinen kosketuspinta aiheuttamaan muutoksia yksilöiden elämänkulussa ja jos riittää, millaisissa tapauksissa näin käy? Yhteisöihin kohdistuvien sosiaalityön tavoitteet ja työkäytännöt ovat usein edellisiäkin epätäsmällisemmin perusteltuja, jolloin niiden yksiselitteinen evaluaatio käy myös vaikeammaksi. Empiirisen vaikuttavuustutkimukset ovat metodisten ongelmien lisäksi rajoittuneita kahdessa suunnassa:

• Vain harvoin liikkeelle lähdetään asiakkaan kokonaiselämäntilanteesta käsin tarkastelemaan sosiaalihuollon toimenpiteen reagointi- ja vaikuttamismahdollisuuksia.
• Usein lähdetään naivistisesta olettamuksesta, että sosiaalihuollon toimenpiteiden tavoitteet olisivat ristiriidattomasti ja yksiselitteisesti formuloitavissa.Saattaisi olla kiinnostavaa paneutua siihenkin mahdollisuuteen, että sosiaalihuolto täyttää muitakin kuin sille eksplisiittisesti asetettuja tehtäviä ja että nämä muuta tehtävä voivat olla ristiriidassa varsinaisten tavoitteiden kanssa.

Periaatteellisia ehdotuksia tavanomaisesti muotoiltujen evaluaatioasetelmien kehittämiseksi:

• Tarkastellaan toimenpiteiden merkitystä yksilön elämäntilanteen kokonaisuudessa ja lähdetään liikkeelle asiakkaiden odotusten suunnassa. Voitaisiin löytää elämäntilannetyyppejä, joihin sosiaalihuollon järjestelmä reagoi eri tavalla. Menetelmänä olisi asiakkaiden teemahaastattelut, joiden tulisi ulottua palvelukokemuksista yksilöllisen historiaan.
• Yhteiskunnallisia odotuksia voitaisiin tarkastella suhteellisen autonomisissa kokonaisuuksissa. Tutkimustehtävässä voisi perustua yhdyskuntatutkimukseen paikallisyhteisöissä.

Sivut 33–41: Sosiaalihuollon yleistä vaikuttavuutta voitaisiin arvioida kaksivaiheisessa tutkimusasetelmassa. Ensin havainnoitaisiin tilastotietojen valossa pieniä ja keskikokoisia eteläsuomalaisia kuntia. Toisessa vaiheessa tarkasteltaisiin lähemmin kuntia, joissa sosiaalihuollon hyvinvointivaikutukset tulivat ensivaiheen selvityksessä todennäköisimmin näkyviin. Havaintoyksikköinä toimisivat suhteellisen homegeeniset noin 5000–30 000 asukkaan kunnat. Kunta-analyysin perusperiaatteen tulisi olla kunnianhimoinen: Miten sosiaalihuollon asema ja merkitys ja sitä kautta hyvinvointivaikutukset kunnissa määräytyvät, millaisissa oloissa tavoitteellinen sosiaalihuolto voi kehittyä, mitkä ovat hyvin toimivan sosiaalihuollon ulkoiset ja sisäiset kehitysedellytykset ja esteet?

Jälkisanat, sivut 42–44: Tässä raportissa hahmoteltu esitys perustuu olettamukselle, että yksittäisen kunnan tasolla muodostuu viime kädessä sellainen yhteiskunnallinen, sosiaalinen ja hallinnollinen ympäristö, jossa hyvässä tapauksessa tuloksellinen sosiaalihuolto voi kehittyä. Jos oletus hyväksytään, kysymys luonnollisesti kuuluu: mitä ovat ne kuntatasolla ilmenevät ja monipuolisen yhdyskuntatutkimuksen keinoin mahdollisesti havaittavissa olevat tuloksellisen sosiaalihuollon esteet?

Sosiaalihuolto ei vain lievennä tai poista huono-osaisuutta vaan voi myös joutua sitä osaltaan uusintamaan, pitämään yllä sosiaalisia ongelmia. Jos näin on, eikä olisi syytä juuri evaluaatiotutkimuksessa koettaa avoimesti ja realistisesti eritellä, millaisissa tilanteissa sosiaalihuollon aidosti huono-osaisuutta vähentävät elementit voivat jäädä sellaisten sosiaalihuoltoon kohdistuvien odotusten jalkoihin, joiden tarkoituksena on pikemminkin säilyttää rakenteellisia eriarvoisuuksia kuin purkaa niitä?

Juhani Iivari. Vaikuttavuustutkimuksen – erityisesti intervention – menetelmistä sosiaalihuollossa. Sivut 51–78.

1. Evaluaatiotutkimuksesta yleisesti: Lähtökohdista Suomessa. Makrotasolta rajattujen ohjelmien arvioimiseen.
2. Toiminnan vaikuttavuuden ja intervention tutkimus: Vallitsevan toiminnan evaluointi. Interventio-ohjelman rajankäynti muuhun tutkimukseen.
3. Interventiotutkimuksen muodoista
4. Operationalisoinnin ja arvion toteuttamisen ongelmasta: Arvojen ja normien operationalisoimisesta. Mittaamisen toteuttamisesta. Vaikutusten väljempi mittaaminen – tulosten suunta.
5. Tutkijan vaikuttamisesta
6. Vaikuttavuustutkimuksen jatkamisesta: Yleisiä lähtökohtia. Vaikuttavuustutkimuksen tehtävistä.

Virtanen, Petri (2002) Ohjelma-arviointi. Metodologisia ja arviointitiedon tiedonmuodostukseen liittyviä näkökohtia. Hallinnon tutkimus 21 (2), 128–140.

Ohjelma-arviointi – pdf (journal.fi)

Olen toivottavasti pystynyt esittämään, että ohjelma-arviointi (ja projektien arvioinnissa, kuten tässä artikkelissa olen kuljettanut ohjelma-arvioinnin rinnalla myбΡs projektiarviointia) on vaikea taiteenlaji. Havaitut muutokset eivät ole nettomuutoksia, arvioinnilla on erilaisia motiiveja, arviointia tehdään ohjelman toteutuksen eri vaiheissa ja arvioinnissa hyбdynnetääп erilaisia empiirisiä tiedonkeruumenetelmiä, empiirisistä havainnoista pitää voida johtaa toimenpidesuosituksia, arvioinnin konkreettiset tutkimusmenetelmät edellyttävät laajaa osaamista, arviointien hyödyntäminen ei ole itsestään selvää ja niin edelleen. Olen kuitenkin kohtalaisen vakuuttunut siitä, että ohjelma-arviointien tekijбiden kysyntä hallinnossa tulee lähivuosina kasvamaan. Suomen keskushallinnon käynnissä olevat uudistushankkeet johtavat aikaa myöten uuden ohjelma­-ajattelun lisääntymiseen ja politiikkakeskeiseen (policy-oriented) ajatteluun hallinnon toimeenpa­norakenteissa. Milloin muutos toden teolla tapah­tuu – sitä en uskalla arvioida – mutta olen varma, että elämme tällaista kehitystä jo nyt parhaillaan julkishallinnossa.

Politiikkakeskeisyys on valtava haaste suoma­laiselle julkiselle hallinnolle. Totutut budjettimo­mentit – ja erityisesti näiden budjettimomenttien ·vartijat” -eivät välttämättä ole täysin ihastuneitatästä muutoksen tuulesta. Muutos kun merkit­see paitsi uutta ajattelua myös entisten valta­asetelmien uudelleen virittymistä ja virittämistä.Muutos on haaste myös politiikan tekijöille ja arvi­ointien tekijöille. Miten tarjota uskottavaa, koetel­tua ja sovellettavissa olevaa tietoa suomalaisesta yhteiskunnasta?

Petteri Paasio (2003) Vaikuttavuuden arvioinnin mahdollisuudet ja rakenne sosiaalialalla. Stakes. FinSoc Työpapereita 3.

Työpapereita303 (julkari.fi)

Koivisto, J. (2006). Sosiaalialan näyttökeskustelu: miten sosiaalisten interventioiden vaikuttavuus osoitetaan? Janus Sosiaalipolitiikan ja sosiaalityön tutkimuksen aikakauslehti, 53-60.

Sosiaalialan näyttökeskustelu: miten sosiaalisten interventioiden vaikuttavuus osoitetaan? (julkari.fi)

Sosiaalialaa koskevaan keskusteluun on 2000-luvun alkupuolella tullut ns. evidence-based practice -ajattelu, jossa sosiaalityön ja sosiaalisten interventioiden vaikuttavuudesta perätään tutkimuksellista näyttöä. Näyttökeskustelu on ollut erityisen kiivasta Britanniassa. Siellä vuonna 1997 valittu työväenpuolueen hallitus esitti toimintapoliittisessa julkilausumassaan, että näyttöperustaisuus olisi yksi tehokkaan toimintapolitiikan ydinpiirteitä. Näytöllä ei tarkoitettu pelkästään tutkimustietoa,
vaan sen katsottiin sisältävän asiantuntijatietoa, tilastoja, asianosaisten konsultaatiota, aikaisempia toimintapolitiikan arviointeja, internetin, vaihtoehtoisten toimintapoliitikkojen kustannuksia, taloudellisen ja tilastollisen mallintamisen tuotoksia.

Rationaalinen ontologia tarkastelee sosiaalista todellisuutta materiaalisesti heterogeenisinä verkostoina (sosiomateriaalinen, sosiotekninen). Todellisuutta ei siis jäsennetä kahtiajakojen avulla, vaan suhteina. Verkostojen elementtejä voivat ihmisten lisäksi olla mitkä tahansa materiaaliset elementit, esimerkiksi tekniset artefaktit, raha, arkkitehtuuri, arvot, päämäärät ja normit. Muut
elementit välittävät ihmisten toimintaa ja vuorovaikutusta (ks. Latour 1993). Mitään ei kuitenkaan ole itsestään olemassa, vaan kaikki entiteetit syntyvät verkostoissa. Entiteetit ovat suhteita, niitä ei ole olemassa ilman muita entiteettejä. Ne ovat paremminkin ”verbejä” kuin ”substantiiveja”. Niitä tarkastellaan tuloksina.

Relationaalinen arviointi tutkii ja kuvaa sitä, miten muutosta tapahtuu asiakkaan, sosiaalialan työntekijän ja muiden mahdollisten toimijoiden teknisesti välittyneen (esimerkiksi työmallit, normit ja säännöt) vuorovaikutuksen tuloksena. Tapahtumaa muokkaavat siis ihmisten lisäksi monet erilaiset elementit. Interventiotapahtumassa neuvotellaan ja päätetään asiakkaan päämääristä, tarpeista ja ongelmista, nämä eivät ole etukäteen määräytyneet. Tapahtumaa seuraava muutos ei selity millään
yksittäisellä elementillä. Interventiossa noudatetulla ”interventiomenetelmällä” ei ole ominaisuutta hyvä tai huono. Käytettävän menettelyn arvo määrittyy sosiomateriaalisen verkoston suhteissa.

Relationaalisen arvioinnin metodi on periaatteessa yksinkertainen: seurataan, mitä toimijat ikinä tekevätkään ja miten muutosta tapahtuu toimijoiden teknisesti välittyneen vuorovaikutuksen tuloksena. Kaikkea ei kuitenkaan voi seurata. On päätettävä
ketä seurataan ja millaisin tutkimusmetodein.

Marketta Rajavaara (2007) Vaikuttavuusyhteiskunta. Sosiaalisten olojen arvostelusta vaikutusten todentamiseen. Kelan tutkimusosasto. Sosiaali- ja terveysturvan tutkimuksia 84.

Vaikuttavuusyhteiskunta – sosiaalisten olojen arvostelusta vaikutusten todentamiseen (helsinki.fi)

Arvioinnin käytännöt ovat levinneet laajasti suomalaiseen yhteiskuntaan ja hyvinvointivaltion hallinnointiin. Samalla vaikuttavuuden käsite on saanut sananvaltaa hyvinvointivaltion toiminnoissa. Tutkimuksen kohteena on ”vaikuttavuusyhteiskunnan” ilmaantuminen eli kysymys siitä, miten sosiaalipolitiikkaa ja hyvinvointivaltion käytäntöjä alettiin tarkastella vaikuttavuuden käsitteen avulla. Sosiaalista imaginaatiota koskevat tarkastelut, Michel Foucault’n näkemykset nykyisen historiasta, hallinnallisuudesta ja genealogisesta ja arkeologisesta tutkimuksesta sekä Ian Hackingin käsitykset dynaamisesta nominalismista ja järkeilytyyleistä ovat olleet keskeisiä käsitteellisiä ja metodologisia lähtökohtia tutkimuksessa. Lisäksi tutkimuksessa hyödynnetään Luc Boltanskin ja Laurent Thévenot’n ideoita toimijoiden arvojärjestyksistä.

Arviointi ymmärretään yleensä erilliseksi tietokulttuuriksi tai käytännöksi, mutta tutkimuksessa se jäsennetään tiedonmuodostukseksi, jota sisältyy hallinnoinnin ja eri tieteenalojen käytäntöihin. Tutkimuksessa analysoidaan vaikutusten tietokäytäntöjen ja järkeilytyylien ilmaantumista yhteiskuntapolitiikan, sosiaalipolitiikan ja sosiaalityön tutkimuksen välityksellä. Tutkimuksessa käytetään tapausesimerkkejä, jotka ovat sosiaalipalvelujen ja sosiaalityön vaikutusten ja laadun arviointiin liittyviä ajankohtaisraportteja tai akateemisia opinnäytteitä.

Sosiaalipolitiikan ja hyvinvointivaltion muotoilua koskeviin diskursseihin on aina sisältynyt epävarmuutta ja epäluottamusta hyvinvointipolitiikkojen vaikutuksista, vaikka vaikutukset ovat olleet miltei näkymätön teema tutkimuksessa. Tutkimuksessa osoitetaan, että hyvinvointivaltion hallinnointiin on ilmaantunut kahdeksan vaikutusten arvioinnin järkeilytyyliä: tilastollinen, tavoiteperusteinen, tarveperusteinen, kokeellinen, vuorovaikutteinen, tuloksellisuuden ja auditoinnin sekä näyttöperusteinen järkeilytyyli.

Sosiaalipolitiikan ja sosiaalityön tutkimus on osallistunut vaihtelevin tavoin vaikutusten tietokäytäntöjen aikaansaamiseen.
1980-luvun lopulla alkaneessa hyvinvointivaltion suunnanmuutoksessa palvelujen markkinaehtoisuutta alettiin lisätä, julkisia hyvinvointitehtäviä ryhdyttiin kaventamaan ja uuden julkisjohtamisen (New Public Management) toimintamallit tulivat käyttöön. Muutokset merkitsivät vaikuttavuuden käsitteen läpimurtoa sekä uusien tilivelvollisuuden käytäntöjen eli tuloksellisuuden ja auditoinnin sekä näyttöperusteisen järkeilytyylin voimistumista hallinnoinnissa. Yhteiskuntatutkimus ja arviointi
ovat tulleet toisistaan riippuvaisiksi, vaikka myös näiden tietomuotojen eriytymistä on tapahtunut.

Käsitteillä vaikutetaan maailman tapaan toimia. On harmillista, että vaikuttavuusyhteiskunta ei sisällä myönteistä muutosvoimaa. Vaikutuksia tultaneen selvittämään niin kauan kuin on olemassa yhteiskuntapolitiikkaa tai sosiaalipolitiikkaa, sillä vaikutusten järkeilytyylit ja teknologiat liittyvät oleellisesti hyvinvointipolitiikkoihin sisältyvän tiedollisen epävarmuuden hallintaan. Vaikuttavuus on kuitenkin saanut merkillisen paljon sananvaltaa yhteiskunnassa ottaen huomioon, että se on tyhjä käsite. Vasta kun tiedustellaan sitä, millaisten pyrkimysten valossa jokin yhteiskunnallinen käytäntö on vaikuttava, käsite tulee tärkeäksi. Hyvinvointivaltiollinen hallinta tuotoksista ja vaikutuksista käsin päätynee aikaa myöten umpikujaan. Pahimmillaan sen seurauksena yhteiskunnassa ei enää muisteta, tiedetä tai kyetä sopimaan siitä, mitä tarkoituksia varten hyvinvointivaltion toiminnot, palvelut ja etuudet ovat ylipäätänsä olemassa.

Sinkkonen, M. (2008). Sosiaalipalvelujen vaikuttavuuden arvioinnista. Hallinnon tutkimus, 27 (1).

Sosiaalipalvelujen vaikuttavuuden arvioinnista | Hallinnon Tutkimus (journal.fi)

Artikkelissa läpikäytyjen arvioinnin osa-alu­eiden (tarvearviointi; toimintastrategian ilmai­seminen; toteutuksen arviointi; vaikuttavuuden arviointi; arvioinnin hyödyntäminen) tarkastelu tämän tutkimuksen antamien tietojen valossa paljastaa sen tosiasian, että toiminta kunnan sosiaalitoimessa sijoittuu nyt arviointiprosessin vaiheisiin 1 ja 2 (sosiaalisten ongelmien tunnis­taminen ja palveluita tarvitsevan kohdeväestön tunnistaminen sekä toimintastrategian ilmaisemi­nen) ja varsinainen vaikuttavuuden arviointi on vielä saavuttamatta.

Toteutuksen arviointi rajau­tuu kuntien sosiaalitoimessa vain toiminnassa käytettyjen resurssien tarkasteluun eikä vastaa kysymyksiin palvelun tavoittavuudesta, kriteerei­den saavuttamisesta tai asiakkaiden hyvinvoin­nin muutoksesta. Arviointi rajautuu hyvin pitkälle yhden prosessin osan kustannusten tarkasteluun eikä siihen, mitä koko prosessissa tai palvelukokonaisuu­dessa tuotetaan. Vaikuttavuuden arvioiminen jää usein myös (mikäli sitä tehdään) tapauskohtai­sen vaikuttavuuden tasolle eikä yhdisty palvelu­jen vaikuttavuuden arvioinniksi – puhumattakaan yhteiskunnallisesta vaikuttavuudesta.

Sosiaalialalla elää vahva myytti, että vaikut­tavuuden arviointi on vaikeaa. Vaikuttavuuden arviointi sosiaalialalla on vasta alussa ja sosiaa­lialan suuri haaste lähitulevaisuudessa on luoda sille välineitä. Vaarana on, että jos sosiaalialalla ei aleta itse toimita ja luoda välineitä vaikutta­vuuden arvioinnille, joku muu tekee sen alan ulkopuolelta (ks. myös Pakarinen 2005). Talous on sosiaalitoimessa usein nähty ”hyvänä viholli­sena”. Toimiminen muuttuvassa yhteiskunnassa, jossa resurssit ovat rajalliset, edellyttää kuiten­kin tämän mielikuvan muuttamista; talous täytyisi mielikuvissa muuttaa kahleesta voimavaraksi!

Seuraavassa tämän tutkimuksen myötä nous­seet näkemykset siitä, miten kehittämistyötä pitäisi jatkossa viedä eteenpäin.

1. Taloudellisen vaikuttavuuden arvioinnin tar­peen tiedostaminen ja motivointi, asenne­muutos: – aikaa strategiselle suunnittelulle- osaamisen vahvistaminen koulutuksella.

2. Organisaation tavoitteiden ja toimintatapojentiedostaminen ja auki kirjaaminen, perusteh­tävän kirkastaminen: – strategiset onnistumisen polut- johdolle työvälineitä- kanavat tiedon välittymiselle.

3. Tilastoinnin kehittäminen ja yhdenmukaistaminen- tietojen luotettavuus, systemaattisuus: – yhdenmukaiset kriteerit eri toimialojen ja lähikuntien kesken-kerätty tieto myös kunnan omaan käyt­töön.

4. Taloudellisen vaikuttavuuden arvioinnin käynnistäminen ja arviointitiedon hyödyntäminen: – tietoinen päätös arvioinnin käyttöön­otosta-arviointikriteerien luominen- arviointitiedon käyttöönotto (työntekijät, johto, tarkastuslautakunta)

Kivipelto, M. (2008). Osallistava ja valtaistava arviointi: johdatus periaatteisiin ja käytäntöihin. Stakesin työpapereita 17.

T17-2008-VERKKO.pdf (julkari.fi)