Arviointi/evaluaatio tuli suomalaiseen keskusteluun sosiaali- ja terveydenhuollon kehittämisestä 1960-luvulla. Ensimmäisenä suurena tehtävänä oli sairausvakuutuslain toimeenpanon vaikutusten arviointi. Keskustelu arvioinnista laajeni siinä määrin, että vuosituhannen vaihteessa puhuttiin ’arviointiyhteiskunnasta’. Vähitellen arvioinnin rinnalle nousi ’vaikuttavuus’. Arviointiyhteiskunta muuttui ’vaikuttavuusyhteiskunnaksi’. Olen tähän koosteeseen poiminut kiinnostaviksi kokemiani julkaisuja arvioinnista ja vaikuttavuudesta ja niistä valikoituja poimintoja.

• ”Ihmisten ja yhteiskunnan hallintaan suuntautuva tiedonhalu näyttää viime vuosikymmeninä muuntuneen ennennäkemättömäksi vimmaksi arvioida hyvinvointivaltiollisia käytäntöjä. Arviointikäytännöt ovat levinneet Suomessa miltei kaikkiin hyvinvointivaltion toimintoihin, palveluihin ja etuuksiin. Kyse ei ole vain arvioinnin halusta vaan myös vaatimuksista, sillä lainsäädännössämme oli vuoden 2006 alussa ainakin 80 arviointiin velvoittavaa säädöstä.  Ne koskevat esimerkiksi vaikutusten, laadun, toiminnan, vaarojen, suunnitelmien toteutumisen, palvelun ja hoidon tarpeiden, oppisuoritusten, tuotteiden ja henkilöiden arviointia. Arvioinnin velvoitteet on säädetty pääosin 1990- ja 2000-luvuilla.”  (sivu 12)
• ”Vaikuttavuustietoon tukeutuvaa hallinnointia voidaan nimittää vaikuttavuushallinnaksi. Sen haasteet ja epävarmuudet ilmenevät tällä hetkellä kouriintuntuvasti tieteellisiin näyttöihin perustuvien politiikkojen ja käytäntöjen (evidence-based policy, evidence-based practice) kehittämisessä. Tämä ”evidenssiliike” on laajentunut 1990-luvun lopulta alkaen. Sen yhteydessä haluttaisiin saada aikaan vaikuttavuustietoon perustuvia toimintakäytäntöjä keskeisillä yhteiskuntapolitiikan toiminta-alueilla, kuten terveydenhuollossa, mielenterveystyössä, kuntoutuksessa, työvoimapolitiikassa, sosiaalipalveluissa ja sosiaalityössä.” (sivu 27) (Marketta Rajavaaran Vaikuttavuusyhteiskunta. Sosiaalisten olojen arvostelusta vaikutusten todentamiseen.  Kela, Tutkimusosasto, Sosiaali- ja terveysturvan tutkimuksia 84, 2007. Vaikuttavuusyhteiskunta – sosiaalisten olojen arvostelusta vaikutusten todentamiseen (helsinki.fi))

Tapani Purola, Kyösti Urponen ja Harri Sintonen (1987) Vaikuttavuuden arvioinnin mahdollisuuksista ja menetelmistä sosiaalihuollossa. Sosiaalihallituksen julkaisuja 18.

Juha Kääriäinen ja Juhani Iivari (1989). Sosiaalihuolto maailmanparantajana. Sosiaalihallituksen julkaisuja 4.

Helsingin kaupunki: Terveydenhuollon vaikuttavuus 1983->

Tuure Lehto, Sirkka-Lisa Aho ja Anneli Pulkkinen. Terveydenhuollon vaikuttavuus II. Yhteiskunnallisen vaikuttavuuden ja palvelukyvyn arviointia 1980-luvulla. Helsingin kaupungin terveysviraston raportteja. Sarja A. 17/1987.

Sirkka-Lisa Aho, Sirkka Elfving, Anneli Pulkkinen. Terveydenhuollon vaikuttavuus III. Yhteiskunnallisen vaikuttavuuden ja palvelukyvyn arviointia 1980-luvulla. Helsingin kaupungin terveysviraston raportteja. Sarja A. 56/1990.

 Sirkka-Lisa Aho, Anneli Pulkkinen, Esa Katajamäki. Terveydenhuollon vaikuttavuustutkimus IV. Sosioekonomisen sairastavuusindeksin seuranta 1992. Helsingin kaupungin terveysviraston raportteja. Sarja A. 69/1992.

Pirkko Vartiainen (1993) Monitahoarviointi palveluorganisaatioiden vaikuttavuuden arvioinnin malina. Proceedings of the Unversity of Vaasa. Discussion Papers 161. Vaasa.

Risto Eräsaari, Tuija Lindqvist, Mikko Mäntysaari ja Marketta Rajavaara. Arviointi ja asiantuntijuus. Gaudeamus 1999.

Virtanen, Petri (2001) Teemanumeron pääkirjoitus: Arviointiyhteiskunta? Hallinnon tutkimus 20 (3), 99–101.

Virtanen, Petri (2002) Ohjelma-arviointi. Metodologisia ja arviointitiedon tiedonmuodostukseen liittyviä näkökohtia. Hallinnon tutkimus 21 (2), 128–140.

Ohjelma-arviointi – pdf (journal.fi)

Petteri Paasio (2003) Vaikuttavuuden arvioinnin mahdollisuudet ja rakenne sosiaalialalla. Stakes. FinSoc Työpapereita 3.

Paasio, P. (2006). Yleinen ja erityinen viitekehys arvioinnista. Hallinnon tutkimus, 25(3), 92-107.

HT 3 (06).indd (researchgate.net)

Koivisto, J. (2006). Sosiaalialan näyttökeskustelu: miten sosiaalisten interventioiden vaikuttavuus osoitetaan? Janus Sosiaalipolitiikan ja sosiaalityön tutkimuksen aikakauslehti, 53-60.

Marketta Rajavaara (2007) Vaikuttavuusyhteiskunta. Sosiaalisten olojen arvostelusta vaikutusten todentamiseen. Kelan tutkimusosasto. Sosiaali- ja terveysturvan tutkimuksia 84.

Vaikuttavuusyhteiskunta – sosiaalisten olojen arvostelusta vaikutusten todentamiseen (helsinki.fi)

Sinkkonen, M. (2008). Sosiaalipalvelujen vaikuttavuuden arvioinnista. Hallinnon tutkimus, 27(1).

Kivipelto, M. (2008). Osallistava ja valtaistava arviointi: johdatus periaatteisiin ja käytäntöihin. Stakesin työpapereita 17.

T17-2008-VERKKO.pdf (julkari.fi)

Rajavaara, M. (2012). Sosiaalityön vaikuttavuustietoa tavoittelemassa (Pohjola, Anneli & Kemppainen, Tarja & Väyrynen, Sanna (toim.): Sosiaalityön vaikuttavuus). Janus Sosiaalipolitiikan Ja sosiaalityön Tutkimuksen Aikakauslehti, 20(3), 302–305.

https://journal.fi/janus/article/view/50669

Tapani Purola, Kyösti Urponen ja Harri Sintonen (1987) Vaikuttavuuden arvioinnin mahdollisuuksista ja menetelmistä sosiaalihuollossa. Sosiaalihallituksen julkaisuja 18.

Suomessa on poikkeuksellisen niukasti evaluaatiotutkimusta sosiaalihuollosta. Suomi poikkeaa tässä suhteessa muista Euroopan ns. korkean sosiaaliturvan maista. Sosiaalivaltion ja myös sosiaalihuollon kannatuspohja Suomessa on vankka, niiden toiminnan legitimiteettiä ei epäillä. Sosiaalihuollon vaikuttavuuden arviointi kriittisenä tutkimushankkeena on täynnä ongelmia. Sosiaalihallitus on käynnistänyt sosiaalihuollon vaikuttavuutta selvittävän tutkimus- ja kehittämisprojektin, jonka ensimmäisenä vaiheena tilattiin kolmelta professorilta aihepiirin teoreettisia perusteita ja metodologiaa käsittelevät selvitykset. Toisena vaiheena on käynnistynyt Helsingin yliopiston Lahden tutkimuskeskuksen kanssa esitutkimusvaihe, jolla tähdätään empiirisen evaluaatiomallien rakentamiseen ja kokeiluun kuntien sosiaalitoimessa.

Tapani Purola: Näkökohtia suunnittelun ja evaluaation tasoista ja tavoista

Sivut 5–8: Oikeutuksen ja vaikuttavuuden ongelma: Aluksi lienee aihetta kiinnittää huomio kolmeen asioiden ryhmään:

• käsitteisiin, tutkimustuloksiin ja teorioihin, joilla tieteellinen työ paitsi kuvaa ja selittää todellisuutta myös neuvoo ihmisiä ja heidän kauttaan organisaatioita sosiaalihuoltoa koskevissa asioissa,
• kriteereihin, joiden nojalla ymmärretään, mikä on haluttua ja kysyttyä ja mikä taas ei-haluttua tai vastustettavaa, sekä
• käsityksiin, jotka koskevat hyvän saavuttamisen hyvää tapaa vallitsevin tai muutettavissa olevien organisoitumismuotojen sekä suunnittelu- ja toimintatapojen puitteissa.

Nämä sosiaalipolitiikassa ja sosiaalihuollossa keskeiset kolme näkökohtaa voidaan ilmaista myös käsittein deskriptiiviset teoriat, normatiiviset teoriat ja interventioteoriat. Kysymys sosiaalihuollon vaikuttavuudesta liittyy käsityksiin todellisuudesta ja sen osien keskinisistä vaikuttavuussuhteista. Eri näkökulmat eivät ole toiminnallisesti eriytettävissä. Reaalitoiminnassa sama teoria implikoi kaikki kolme osaansa. Usein tämä tukee näkyviin juuri reaalitoiminnassa syntyvien ristiriitojen myötä. 

Tieteellisesti ymmärrettyjen havaintojen ja teorioiden sijasta sosiaalihuollolla tavoitellut hyvät ja sen eri toimenpiteiden aiheuttamat hyvät ja pahat arvioidaan reaalipolitiikassa peremmiltään uskottavuuden kriteereiden.  Ne koskettavat kahta asiaa, joista käytetään nimitystä oikeutuksen ideologia (ideology of justification) ja toimeenpanon ideologia (ideology of implementation). Edellinen koskee sitä, ylittävätkö itse asiaan ryhtymistä puoltavat näkökohdat vastustavien näkökohtien painon. Jälkimmäisessä taas on kysymys siitä, onko asian saavuttamistapa hyväksyttävä ja onko se hyväksyttävämpi kuin joku toinen tapa.

Ekonomistisessa tarkastelussa, johon käsite vaikuttavuus tavallisimmin liitetään, oikeutuksen ongelmaan vastataan kustannus/hyötyanalyysilla ja toimeenpanon ongelmaan kustannus/vaikuttavuus -analyysilla. Ekonomistinen (utilitaristinen) ratkaisu on täsmällinen ideaalityyppisessä mielessä, mutta ilmeisen kapea sosiaalihuollon vaikuttavuusarviointien ainoaksi lähtökohdaksi. Sosiaalipolitiikkaan liittyy ainakin kolme muuta kriteeriä: hyvinvointi, vapaus ja tasa-arvo. Sammalla kun viimeksi mainittuja korostetaan, on tärkeä huomata, että pyrkimys hyvien ja pahojen systemaattiseen punnintaan sekä vaihtoehtoisten toimintamuotojen keskinäisen perusteltavuuden analysointiin, on sinänsä välttämätön. Sitä ei voida hylätä siksi, että ekonomistinen sovellutus on riittämätön ja jossakin katsannossa tai tilanteessa jopa arvelluttava.

Sivut 8–17: Sosiaalihuollon arvot ja evaluaatio: Sosiaalihuollon vaikuttavuuden tutkimuksessa arvosidonnaisuus konkretisoituu, koska huomio joudutaan kiinnittämään arvojen toimimiseen reaalisosiaalipolitiikassa ja sen tutkimuksessa. Sosiaalihuolto on moniulotteisten ja monen laatuisten toimintojen verkosto eli systeemi:

• Politiikka, sosiaali- ja terveyspolitiikka
• Yhteisö- ja yhteiskuntaprosessit
• Sosiaali- ja terveyshallinto
• Kansalaiset ja arkielämä
• Jakelu ja markkinat
• Palvelusten tuotanto

Käytännön suunnittelussa ja arvioinnissa noudatetaan vaihtelevia arvojen hierarkioita. Tällä seikalla on olennainen merkitys myös siihen tapaan, jolla evaluatiivinen tutkimus ”neuvoo” käytännön sosiaalihuoltoa. Konkreettisten tapausten kanssa työskentelevä sosiaalityöntekijä joutuu arvioimaan työnsä tulokset yksittäistapauksessa näkyvän vaikutuksen mukaan. Yleisemmin tällöin on kysymys työtavoista, metodeista ja niiden vaikuttavuudesta yksittäistapauksessa (efficacy). Tällöin on kysymys ennen muuta siitä, onko toiminta hyvää tuottavaa (beneficial) vai haitallista (harmful) asiakkaan näkökulmasta.

Sivut 17–19: Evaluaatio ja suunnittelun tasot. Arviointikriteerit vaihtelevat eri tasoilla: politiikka, operatiivinen, yksilö. Olennaista on tutkimuksen tavoiteasetelman tietoinen selkiyttäminen ja fokusointi tässä suhteessa. Tällöin tulee esiin reaalimaailman ja tieteellisen tutkimuksen ero: reaalimaailmassa ongelmat ovat aina symbioottisia kokonaisuuksia, mutta tieteellinen työskentely perustuu johonkin rajattuun näkökulmaan, jolloin reaaliongelmaa ei ainoastaan rajoiteta, vaan sen sisäiset yhteydet samalla katkaistaan.

Sosiaalihuollon tutkimuksessa keskitytään helposti ongelmiin ja käsitteisiin, jotka saavat vahvistusta vallitsevalta tutkimusperinteeltä. Tutkitaan ja evaluoidaan sitä, mikä on – vakiintuneen tavan, käsitteistön ja metodologisen sääntöjen mukaan – selkeimmin ja helpoimmin tutkittavissa.

Sivut 20–22: Tieteellinen ja tekninen evaluaatio: Vaikutusten arvioinnilla tarkoitetaan tavallisesti ns. tieteellistä tai teknistä evaluaatiota: kehitetään teoriaa ja testataan siihen liittyviä hypoteeseja. Evaluaatiotutkimuksessa on 1960-luvulta alkaen laajentumaan jo vakiintuneiden tai aloitettaviksi päätettyjen ohjelmien arviointiin. Kirjallisuutta on viime vuosina ilmestynyt runsaasti, koska tämä suuntaus liittyy yleistyneeseen kokonaisvaltaisen rationaalisen suunnittelun ideaaliin.  Perinnettä on kutsuttu tekniseksi evaluaatioksi, koska pyrkimyksenä ei ole teorian tai hypoteesin testaus vaan minkä hyvänsä annetun tavoitteen toteutumisen arviointi.

Sivu 22–29: Evaluaatio oppimisprosessina: Poliittisessa reaalimaailmassa tavoitteita suostutaan harvoin ilmaisemaan täsmällisesti operationalisoitavissa olevalla tavalla, koska aina on varauduttava uuteen tilanteeseen ja uusiin tavoitteisiin. Sosiaalihuollon arvioinnissa kriittiseksi tulee, miten voidaan ottaa huomioon uudet pyrkimykset ja kehitystavoitteet ja edistää niiden mukaista toimintaa. Uutena soveltamistapana voidaan puhua kokeilusta. Se, joka tieteellisen kokeessa suljetaan pois luotettavuutta vähentävänä virhevarianssina, ymmärretään kokeilussa luovana toimintana, innovaationa, johon ennen muuta tähdätään. Kokeiluevaluaatio on ennen muuta organisaation tai toimintaryhmän oppimista itsestään, työstään ja suhteestaan ympäristöön. Se tähtää keskeisesti tieto- ja asennemuutoksiin, eikä annetun tavoitteen saavuttaminen ole välitön tavoite.

Kokeilussa korostuu ”sisältä päin” tapahtuva itseohjaus ja osallistuminen. Osallistujiksi tulevat myös oletetut asiakkaat ja heidän omat kokemuksensa sekä arviot ja vaikuttavuus niiden suunnassa.

Sivut 25–28: Arviointikriteerien valintatavoista: Kirjallisuudessa käytetään käsitetty ’politiikkaa muotoilevat yhteisöt: poliittiset päättäjät, hallinnolliset virkamiehet, operatiiviset toimeenpanijat, mutta myös asiakkaat sekä yhteiskunnalliset ryhmittymät. Sosiaalihuollon vaikuttavuustutkimuksessa tulisi aina kysyä, millä arvoperusteilla arviointikriteerit valitaan: jääkö se tutkijoiden persoonakohtaiseksi asiaksi, otetaanko lähtökohdaksi hallinnon asettamat kriteerit, jne. Ellei tähän metodologiseen peruskysymykseen saada edes jotenkuten kelvollista ratkaisua, tutkimuksen suunnittelua tuskin kannattaa jatkaa. Kun tutkijat asettavat kysymykset, saatetaan tuottaa tuloksia, jotka kertovat enemmän tutkijoista ja heidän arvoistaan kuin siitä asiasta, jota sosiaalihuollossa on tarkoitus evaluoida. Jos tukeudutaan päätöksentekijöiden tavoitekonsensukseen, jää vastattavaksi, tarjoaako tietyssä tilanteessa saavutettu poliittinen konsensus tavoitteista lähtökohdan evaluaatiolle.

Kyösti Urponen: Vaikuttavuuden arviointi sosiaalihuollossa ja -työssä – Näkökohtia arviointimenetelmistä, ongelmista ja haasteista.

Sivut 35–36: Sosiaalihuollon vaikuttavuuden arviointiin avautuu lähinnä kaksi lähestymisotetta, tekninen ja rakentava. Teknisessä otteessa arviointia perustuu aiemmin luodulle teoreettiselle pohjalle. Rakentavassa otteessa arviointiin ei ole käytettävissä valmista järjestelmää, joka voitaisiin muualta siirtää. Tässä yhteydessä valitaan rakentava lähestymistapa seuraavin perustein: 

• Sosiaalihuoltoon ei löydy sen omiin tarpeisiin luotua tuloksellisuuden arviointijärjestelmää.
• Pääosa tarjolla olevista keskittyy taloudelliseen arviointiin.
• Toiminnan tuloksellisuuden arviointi on tavallisimmin rakennettu systeemiteorian tai sen sovellutusten pohjalle, mitä ei voi ottaa annettuna sosiaalihuollon tuloksellisuuden arvioinnin pohjaksi.

Edellä esitetystä seuraa, että tuloksellisuuden arvioinnista voidaan puhua vasta sitten, kun arviointi on systemaattisesti rakennettu suunnattuna projekti- ja tehtäväkohtaisesti. Toinen keskeinen kysymys liittyy subjektiin eli arvioijaan, joita sijoittuu useille tasoille sosiaalityöntekijöistä ministeriöön.

Sivut 37–43: Tuloksellisuuden arviointi ja sen kehitys: Hallinnon ja toiminnan suunnittelussa tähdennetään usein seurantaa:

• Seuranta lisää informaatiota täsmentäen kuvaa päämääristä, toimintaympäristöstä ja toiminnan ’pullonkaulasta’.
• Seurannalla on koulutuksellinen tehtävä. Informaation avulla voidaan arvioida toimenpiteitä ja muuttaa toimintatapoja.
• Seuranta toimii rationaliteetin tehostajana, koska informaatio vaihtoehdoista sekä toimenpiteiden ja tiedon rajoista lisääntyy.
• Seurantaan sisältyy ”muutosfunktio”, koska toimenpiteitä voidaan suunnata uudelleen, korjata tulosten puutteita, tarkistaa lähtökohtia ja toiminnan perustetta sekä vaikuttaa toimijoihin.

Seuranta tuottaa perustietoa toiminnasta ja sosiaalisista prosesseista. Sen avulla voidaan, ainakin periaatteessa lisätä sosiaalisen muutoksen hallintaa ja muutostyön rationalisuutta. Käytännön vaikeuksia ovat:

• Käsitteet ja menetelmät ovat epätäsmällisiä ja vakiintumattomia.
• Käsittelyn tehostamiseen sisältyy eettisiä ongelmia, jotka sosiaalityön ammatillistuessa voivat nousta keskeisiksi.
• Kaikkiin tärkeisiin kysymyksiin ei seurannalla saada vastauksia. Tästä seuraa edellytyksiä kiistoille tulosten arvioinnissa.

Toimintaan lähdettäessä kerätään, valikoidaan tietoa ja järjestetään tietoa tehtävän valmisteluun liittyviä päätöksiä varten.  Mitä laajemmasta ja monipuolisemmasta tehtäväalueesta on ja mitä suuremmasta olosuhteiden vaihtelusta on kyse, sitä vähäisemmät ovat mahdollisuudet antaa sitovia ohjeita. Toimijalta edellytetään itsenäisyyttä. Tilanteessa vaaditaan kykyä kerätä tietoa, analysoida sitä ja jäsentää hankittu tieto uuden toiminnan turvaamiseksi.

Evaluaatio liittyy usein prosessin tai toiminnan loppuvaiheisiin. Tietoa hankitaan, jotta voitaisiin ratkaista, onko toiminta toteutunut tarkoitetulla tavalla ja onko tavoite saavutettu, tai onko ilmennyt jotain, joka osoittaisi käytetyt toimenpiteet virheellisiksi tai puutteellisiksi. Evaluaatio palvelee oppimista, koska se rikastuttaa käsitystä toimijoista, kohteesta ja siihen suunnatuista toimenpiteistä. Onnistuneen evaluoinnin jälkeen on käytettävissä tietoa, joka tarjoaa perustan muutokselle, aiempaa osuvammalle toiminnalle.

Terveydenhuollon ja sosiaalityön välillä vallitsee oleellisia eroja, jotka vaikuttavat arvioinnin mahdollisuuksiin ja luonteeseen. Sosiaalityössä tieteellisellä tiedolla ja sen tuottamalla teknisellä arvioinnilla ei ole käytännön tilanteessa aina ollut sellaisenaan kovin paljon käyttöä tai merkitystä. Sosiaalisen tapahtuman arviointiin joudutaan sisällyttämään tulkintaa. Kysymys saattaa olla sosiaalikulttuurisesta etäisyydestä, kun maailmaa tarkastellaan erilaisista näkökulmista. Tutkijat etsivät omista lähtökohdistaan varmaa tietoa. Tästä seuraa, että tarkastelu formuloidaan usein liian ahtaasti. Polttavia ongelmia sivuutetaan. Kovin harvoin tutkitaan esimerkiksi resurssien rajallisuutta. Ongelman ratkaisun strategisia pisteitä ei arvioida. Poliittisten prosessien merkityksen aliarviointia esiintyy.

Tekninen arviointi ja ohjaus saattavat rajata oleellisesti toiminnan autonomiaa ja tietoperustaa. Esineellistäessään toimintaa ne voivat ehkäistä eettisten periaatteiden toteutumista. Inhimillisen toiminnan seuranta kohtaa sosiaalihuollon näkökulmasta ongelmia, jos toimintaa hyvin mekaanisesti arvioidaan pelkkien tehokkuuskriteerien pohjalta. Esimerkiksi erityisen rationaalisena ei voi pitää lastensuojelua, joka ottaa huostaan mahdollisimman monta lasta, vaikka sitä ehkä voidaankin pitää tehokkaana.

Sivut 43–48: Arvioinnin välineet: Arviointitiedon tuottaminen voidaan jakaa evaluointiin, seurantatutkimuksiin ja tarkkailuun. Evaluoinnissa seurataan ohjelman tai sen eri vaiheiden etenemistä. Toiminta rakentuu informaatiojärjestelmälle ja sen tuottaman tiedon analysoimiselle kahdessa suunnassa: Hallinnonalaa seurataan yleisesti tilastojärjestelmillä ja muulla vuosittain tuotetulla tiedolla, sekä projektikohtaisella seurannalla. Evaluointi rakentuu systemaattisesti kerätyn tiedon varaan. Muita ominaispiirteitä ovat

• Pyritään identifioimaan syitä esimerkiksi kokeilutoiminnan avulla.
• Evaluointi voidaan rakentaa laaja-alaiseksi, jolloin kuitenkin helposti menetetään tietoa tai informaatiota yksinkertaistamalla liiasti yksityiskohtia.
• Rajoituksena on kalleus ja se, ettei seurantatietoa ole aina välittömästi saatavilla.

Seurantatutkimusten menetelmät ovat usein systeemiteoriaperusteisia ja kehitetty talous- ja insinööritieteissä: kustannus-hyötyanalyysi, operaatiotutkimus, systeemianalyysi ja systeemiteknologia. Tiedon tuottaminen kestää usein kauan. Tieto ei ole ongelmatonta, koska vaikutusyhteyksien määrittelyt voidaan suorittaa vain tilastollisesti, mikä ei ole aina sama kuin todellinen vaikutus. Ilmiöitä ei voi eristää ja ihmiset voivat korjata toimintaansa tapahtuman aikana tavalla, joka ei paljastu tutkijoille. Tietoa saadaan lähinnä ilmiöistä, jotka voidaan kvantidioida.

Edellä esitettyjen menetelmien ohella tietoa työprosessien tuloksellisuudesta voidaan saada myös niiden yhteydessä tarkastelulla, johon sisältyy seuraavia piirteitä:

• Tarkastelulla saadaan välitöntä ja jatkuvaa palautetta.
• Kiistattomia etuja ovat nopeus ja halpuus verrattuina varsinaiseen tutkimukseen.
• Tieto on tilannekohtaista, ei systemaattista.
• Tilannekohtaisuudesta seuraa, että todellisia ongelmia ei aina kyetä identifioimaan.

Tarkkailu rakentuu asiantuntija-arvioinnille, jota suorittavat joko toimipisteen työntekijät tai joka rakentuu ulkopuolisen tarkastuksen varaan. Välitöntä ja tilannekohtaista arviointitietoa voidaan saada myös keskustelemalla asiakkaiden kanssa.

Sivut 49–55: Arvioinnin kriteerit ja tietolähteiden soveltaminen. Katso Antti Kariston ja Kauko Nymannin esittämät kaaviot. Sivut 52–55: Diagnostisessa arvioinnissa tarkastellaan systemaattisesti niitä ohjelman kohtia, joissa se epäonnistuu, uhkaa pettää tai osoittaa kehittämistarpeita:

• Paljastaa asiat, joita ei ole otettu huomioon tai joiden suhteen on tapahtunut laiminlyöntiä.
• Paljastaa ne kohdat, joissa ohjelma toimii tehottomasti.
• Auttaa tarvemäärittelyssä paljastaessaan ei toivotun tilan laajuuden.
• Auttaa ymmärtämään ilmiön määrällisten piirteiden lisäksi sen laadullisia piirteitä.

Tämä menettely sopii erityisesti sosiaalisten ongelmien määrittelyyn. Saavutusten sijasta tarkastellaan, mitä ei kyetty saavuttamaan tai missä esiintyy tarpeita toimenpiteille. Esimerkkinä menetelmistä mainittakoon

• avaininformoijat, haastatellaan ilmiökentän kanssa sen eri puolilla työskenteleviä,
• kylä- ja asukaskokoukset, ja
• epidemiologityyppinen tutkimus.

Sivut 55–61: Seurannan informaatiojärjestelmistä: 1) tilastot, 2) sosiaali-indikaattorit, 3) koejärjestelyt, sekä 4) organisaatio- ja projektikohtaiset laskenta- ja tarkkailujärjestelmät.

• Tilastot ovat tehneet uudella tavalla mahdolliseksi tarkkailun ja valvonnan. Niissä valvojat vetäytyvät näkymättömiin. Valvottavat tehdään tilastojärjestelmien avulla näkyviksi. Keskeisiä pulmakysymyksiä ovat
• Ne rakentuvat hallinnon kategorioille.
• Kvantitatiivinen tieto yli korostuu, esimerkkinä talous ja väestö.
• Kehittyvät nopeimmin alueilla, joista on helppo saada kvantitatiivista tietoa. Sosiaalisia ongelmia koskevat tilastot ovat kehittymättömämpiä.
• Taloudellisesti painottuvissa ja taloudellista kehitystä kuvattaessa jäävät negatiiviset seuraukset huomiotta.
• Varjoon saattaa jäädä hyvinkin tärkeitä yhteiskunnallisia kehitystrendejä.
• Tilastointiperusteita voidaan muuttaa suhteellisen harvoin.
• Tilastoja ei ole rakennettu yhteiskuntateorian tai yksittäisiä projekteja ohjaavien teorioiden varaan.
• Koejärjestelyillä täydennetään tilastojärjestelmien puutteita. Yhteiskunnallisen kokeeseen perustuvat tutkimuksiin liittyy kuitenkin monia ongelmia ja epävarmuustekijöitä.
• Sosiaali-indikaattorit ovat laajentuneet ja vakiintuneet makrotasoisessa tutkimuksessa, joka vaatii systemaattista inventiota alueyksikön tilasta ja tiloihin vaikuttavista tekijöistä kuten yhteiskunnan muutosilmiöistä. alueellisesta erilaisuudesta, sosiaalisesta kerrostuneisuudesta, jne.  Lähes indikaattoriliikkeen luonteiseksi laajentunut toiminta on laantunut 1970- ja 1980-luvuilla.

Sivut 61–67: Intressi evaluoinnin ongelmana: Sosiaalihuollon tulokselliseen arvioinnin kehittämisen tuottamat kokemukset antavat muutamia opetuksia: 1) demokraattisuuden ongelma, 2) arviointikriteerien määrittelyn ongelma, sekä 3) sosiaalisten ilmiöiden teoriaperustan ongelma.

Julkiset palvelut liittyvät yleensä laajojen ihmisjoukkojen intresseihin. Tuotanto rakentuu demokraattisten prosessien varaan. Arvioija törmää monien intressien kenttään, jossa hän voi periaatteessa rakentaa toimintansa kolmelle strategialle:

• Tuloksellisuutta pyritään arvioimaan intressin taustalla olevan moninaisuuden pohjalta. Arviointiin liittyy kiinteästi poliittinen prosessi, jonka varaan rakentuu myös tulkinta. Arvioija suorittaa tehtävänä määriteltyjen perusteiden pohjalta.
• Arvioija toimii palvelujen käyttäjien asiamiehenä. Hän pyrkii luomaan ’hyvän palvelun’ kriteeristön. Ongelmana on ”hyvän määrittely”. Arviointi pelkistyy helposti tehokkuustarkasteluksi, joka ei läheskään aina ole legitiimi sosiaalisten ilmiöiden lähestymistapa.
• Arvioija voi lähteä ammatillisuudesta: niiden pitää sanoa eniten, jotka tietävät eniten. Arvioija toimii ryhmänsä valtuuttamana. Ongelmia syntyy, kun arvioija tuo mukanaan omat intressinsä, vaikkapa ammatilliset, arvioinnin perustaksi ja nämä poikkeavat julkisesti määritellyistä standardeista.

Tavoitteiden (toivomusvaltaisi vs. ihannevaltaisia) ja arviointikriteerien (julkisesti määriteltyjä vs. ammatillisia) nelikentässä nousee näkyviin neljä menettelytapaa: demokraattinen, demokratisoituva, ammatillistuva sekä teknoraattis-ammatillinen menettely. Tämä tarkastelu osoittaa, että tavoitteiden asettaminen ja arviointikriteerien määrittelytapa eivät ole lainkaan merkityksettömiä. Tähän problematiikkaan on vain vähän kiinnitetty huomiota keskusteltaessa arvioinnista.

Sivut 67–69: Arviointikriteerien ja mittareiden laatimiseen liittyviä ongelmia: Mittauksen vaatimuksia ovat luotettavuus, pätevyys ja herkkyys muutoksille sekä tietty legitimiteetti. Mittareiden osoittimet eivät suinkaan ole arvovapaita. Usein eletään arvovapauden harhan vallassa ja altistetaan toiminta määrittelemättömille ulkoisille arvoille. Jos kansalaisen intressit unohdetaan, on vaarana ajautua asiantuntijavaltaan. Sosiaalisektorin ratkaisut eivät voi perustua suoraan taloudelle. Tavoite on pikemminkin ratkaisu, jota voidaan pitää tyydyttävänä ja hyväksyttävänä. Tuloksellisuuden arvioinnissa tämä merkitsee, että

• mittarit tulee rakentaa termeille ja välineille, jotka eri osapuolet voivat hyväksyä ja joista on saavutettu yhteisymmärrys,
• toiminta ei voi johtaa tilanteeseen, jossa joku osapuoli saa erityisen vaikutusvallan tai kontrollimahdollisuuden toiseen.
• informaation ja toiminnan tulee olla perusluonteeltaan avointa.
• mittaamisen on oltava jatkuvaa, koska olot ja edellytykset muuttuvat jatkuvasti.
• mittaamisen tulee olla laajaa, monitahoisen ilmiökentän kattavaa, jotta katvealueita ei jää ja toimenpiteet eivät vinoudu.

Sivut 69–73: Sosiaalisten ilmiöiden luonteesta ja metodologisista valinnoista tuloksellisuuden arvioinnissa: Sosiaalihuollossa arvioinnin kohteen luonne muodostaa toiminnan perusongelman. Kysymys inhimillisen toiminnan ja luonnonilmiöiden välisestä suhteesta on varsin monimutkainen. Inhimilliseen toimintaan liittyy usein tietoisuus tavalla, joka erottaa sosiaalisen toiminnan luonnon ilmiöistä. Niin kauan kuin ihmiset ottavat huomioon samat asiat, voidaan tietty säännönmukaisuus havaita. Kun he päättävät ottaa huomioon jotkut toiset asiat, toteutuu toinen säännönmukaisuus. Sosiaalisissa normeissa ja niitä ilmentävissä lainalaisuuksissa ”syitä” ovat asiat, joita yksilöt ottavat huomioon. Sosiaalisen lainalaisuuden muuttuminen voi tapahtua tietoisuuden muutoksen tuloksena.

Jos edellä esitetty pitää paikkansa, sosiaalitoimen evaluoinnin legitiimi lähestymistapa ei olisi naturalistinen evaluointi tai systeemiperusteiden asioiden analysointi. Peruskysymys on pikemminkin seuraava: Onko otettu huomioon ne asiat, jotka tulee ottaa huomioon? Epäilen, että sosiaalitoimen ja sosiaalityön ohjeistamisessa ei ole otettu riittävästi huomioon toimintaympäristöön liittyviä näkökohtia. Jos tuloksellisuutta ei ole saavutettu ja ympäristössä esiintyy ongelmia, joudutaan kyvymään muiden toimintaa ja heidän huomioonottamia asioita.

Sivut 73–74: Johtopäätökset: Sosiaalihuollon tuloksellisuuden arvioinnissa tulisi etsiä vastauksia seuraaviin kysymyksiin:

• Mitkä ovat tuloksellisuuden arvioinnin tavoitteet?
• Miten toteutuu demokraattisuus ja mitä se merkitsee sosiaalitoimen arvioinnissa?
• Miten edistää monipuolista tiedonhankintaa ja ylittää eri tietojen kuilut?
• Mikä on toiminnan metodologinen perusta?
• Mikä on taloudellisen ja sosiaalisen asema, entä tehokkuuskriteerien sekä oikeudenmukaisuuden, tasa-arvoisuuden jne.?
• Miten vastataan ulkopuolisiin odotuksiin, jotka eivät ole kaikilta osin samoja kuin sosiaalitoimen sisällä?

Nämä kysymykset nousevat esille ennen arvioinnin teknisiä ongelmia. Jatkossa olisi syytä lähteä liikkeelle tämän luvun perustana olevasta rakentavasta lähestymistavasta.

Harri Sintonen. Sosiaalihuollon vaikuttavuusprojekti – sosiaalipolitiikan ja erityisesti sosiaalihuollon arviointi metodologisten kysymysten mm. kustannushyötyanalyysin näkökulmasta.

Tässä selvityksessä tarkastelen lähinnä sosiaalihuollon ”esievaluatiivisen” tutkimuksen ongelmia. Painopiste on sen tarkastelussa 1) mitä lopullisessa evaluaatiossa pitäisi mitata ja 2) miten sitä tulisi operationalisoida. Lisäksi pitäisi pohtia, 3) kuka päättää mitä ”pitäisi”. Tarkastelu tapahtuu taloudellisen evaluaation näkökulmasta.

Evaluointitutkimus voidaan jakaa

• ei-taloudelliseen: tavoitteensaavuttamisanalyysi ja kustannusanalyysi.  Ensin mainitussa hyvyyden kriteerinä on toiminnan vaikuttavuus ja jälkimmäisessä kustannus
• taloudelliseen, jossa hyvyyden kriteerinä on tehokkuus, rajatummin tuottavuus.

Toiminnan elementit ovat 1) panokset (voimavarat ja kustannukset), 2) toiminta-/tuotantoprosessi (voimavarojen yhdistely), 3) tuotos (suoritteet ja palvelukset) sekä 4 vaikuttavuus.

Tässä luvussa on käsitelty eräitä teoreettisia ja metodisia ongelmia, joihin törmätään, jos sosiaalihuollossa pyritään tekemään evaluaatiota, erityisesti taloudellista evaluaatiota. Pääpaino on ollut vaikuttavuusmittareiden määrittelyssä ja rakentamisessa sekä itse vaikuttavuuden mittaamisessa. Esityksessä on pyritty tunnistamaan väistämättömät arvo-ongelmat sekä antamaan käsitteellistä, teoreettista ja metodista evästystä niiden eksplisiittiseksi ratkaisemiseksi. Tämä on välttämätön edellytys evaluaatiotutkimukselle – muutoin evaluaatio on subjektiivista, ”mutu -menetelmään” perustuvaa.

Juha Kääriäinen ja Juhani Iivari (1989). Sosiaalihuolto maailmanparantajana. Sosiaalihallituksen julkaisuja 4.

Käsillä oleva julkaisu sisältää kaksi sosiaalihuollon evaluoinnin mahdollisuuksia hahmottavaa selvitystä, jotka ovat syntynet sosiaalihuollon vaikuttavuusprojektin tuloksena. Juha Kääriäisen selvitys on valmistunut mainitun projektin esitutkimushankkeena. Sen painopiste on sosiaalihuollon evaluaatiotutkimuksen tarpeiden ja ongelmien hahmottamisessa laajemmalla tasolla. Juhani Iivari on selvittänyt vaikuttavuuden arviointia alhaalta ylöspäin erityisesti ns. interventiotutkimuksen kehyksessä.

Juha Kääriäinen: Evaluaatiotutkimuksen perinteistä ja suomalaisen sosiaalihuollon vaikuttavuuden arviointimahdollisuuksista.  Sivut 1–50.

1. Johdanto: Esitutkimuksen tarkoitus ja keinot. Evaluaatiotutkimuksen kehityksestä. Mitä evaluaatiotutkimus on?

Sosiaalityön vakava ja kriittinen tutkimus on maassamme vasta ottamassa ensi askeliaan. Mitä sosiaalihuolto tai sosiaalityö on, siitä vasta keskustellaan. Tämä raportti heijastanee niitä vaikeuksia, joita tutkija on kohdannut ja kuvastaa samalla koko hankkeenkin väistämättä kohtaamia ongelmakohtia. Tässä raportissa pyritään vuonna 1987 julkaistujen kolmen asiantuntija-artikkelin jatkoksi suuntaamaan ja rajaamaan sosiaalihuollon evaluointia mahdolliseksi empiiriseksi tutkimukseksi. Lopussa esitetään eräitä vaihtoehtoisia etenemisnäkökulmia niihin liittyvine ongelmineen.

Tämä raportti ei ehkä ole sosiaalihuollon tuloksellisuuden tutkimuksesta kiinnostuneille kovin kannustava. Ei ole kyetty osoittamaan pitäviä teoreettisia eikä metodisia perusteluja empiiriselle tutkimusasetelmalle, jonka avulla huoltotyön tehokkuus- ja vaikuttavuuskysymykset voitaisiin ratkaista. Tässä yhteydessä on kiinnitetty huomiota arviointitutkimuksen voimakkaaseen kausaaliajatteluun, mikä on usein johtanut yhteiskunnallisia vaikutusyhteyksiä yksinkertaistavan kokeellisen mallin soveltamiseen. On oletettu, että yhteiskuntapoliittisten interventioiden vaikutukset voidaan eristää kokeelliseen tutkimusasetelmaan. Luonnontieteissä käytetyn tutkimusasetelman suora ja tarkka jäljittely yhteiskunnallisten ilmiöiden kyseessä ollen ei tunnu tässä yhteydessä perustellulta.

• Havaintoja sosiaali- ja yhteiskuntapoliittisten ohjelmien ja yksilökohtaisten työmenetelmien vaikuttavuudesta: Yhdysvaltalaisia kokemuksia. Pohjoismaisia kokemuksia.
• Mitä sosiaalihuollossa kannattaisi evaluoida? Sosiaalihuoltoon kohdistuvista odotuksista. Vaihtoehtoisia empiirisen tutkimuksen asetelmia. Eräs mahdollinen konkreettinen ehdotus.
• Jälkisanat

Sivut 21–25: Johtopäätökset siitä, että tähänastiset pohjoismaiset evaluaatiotutkimukset ovat jokseenkin hyödyttömiä sosiaalipoliittisten toimenpiteiden systemaattisen arvioinnin kannalta johtivat osaksi tutkijoiden asettamista kovista metodivaatimuksista ja niiden yksinkertaistamasta tutkimusprosessista. Myös Yhdysvalloissa julkaistuille tuloksellisuuden arviointitutkimuksille on ominaista liika formaalisuus. Vahvasti positivistiseen perinteeseen sitoutuneiden evaluaatiometodien tuottamissa tutkimuksissa jää huomaamatta, että poliittiset ja hallinnon asettamat tavoitteet ovat usein niin täynnä arkipäiväistä analysoimatonta toiveajattelua ja todellisuuden kanssa ristiriitaisia oletuksia, että ei ole ihme, jos niiden varaan rakennetut evaluaatiotutkimukset tuottavat nollatuloksia. Sosiaalihuollon vaikuttavuuden tutkiminen virallisesti asetettujen tavoitteiden kriteeristöllä tuntuu varsin ongelmalliselta.

Sivut 25–33: Empiiriselle evaluaatiotutkimukselle voidaan karkeita perustyyppejä:

• Kokonaisen sosiaalihuollon palvelu- tai avustussektorin tuottavuuden tarkastelu.
• Sosiaalipalveluja tuottavien organisaatioiden toimintaa koskevat arvioinnit.
• Jonkin sosiaalihuollon kokonaisen palvelu- tai avustussektorin yhteiskunnallisen vaikututtavuuden arviointi.
• Yksittäisten sosiaalihuollon työmenetelmien vaikuttavuuden tutkimus.

Sosiaalityössä on useita menetelmiä, joiden tavoitteet ja työkäytännöt voidaan korkeintaan tyydyttävästi mitata yksiselitteisesti. Mikä itseasiassa on ollut sosiaalityön osuus asiakkaan elämäntilanteessa mahdollisesti tapahtuneiden muutosten aikaansaamisessa? Riittääkö sosiaalityön monesti varsin vähäinen kosketuspinta aiheuttamaan muutoksia yksilöiden elämänkulussa ja jos riittää, millaisissa tapauksissa näin käy? Yhteisöihin kohdistuvien sosiaalityön tavoitteet ja työkäytännöt ovat usein edellisiäkin epätäsmällisemmin perusteltuja, jolloin niiden yksiselitteinen evaluaatio käy myös vaikeammaksi. Empiirisen vaikuttavuustutkimukset ovat metodisten ongelmien lisäksi rajoittuneita kahdessa suunnassa:

• Vain harvoin liikkeelle lähdetään asiakkaan kokonaiselämäntilanteesta käsin tarkastelemaan sosiaalihuollon toimenpiteen reagointi- ja vaikuttamismahdollisuuksia.
• Usein lähdetään naivistisesta olettamuksesta, että sosiaalihuollon toimenpiteiden tavoitteet olisivat ristiriidattomasti ja yksiselitteisesti formuloitavissa.Saattaisi olla kiinnostavaa paneutua siihenkin mahdollisuuteen, että sosiaalihuolto täyttää muitakin kuin sille eksplisiittisesti asetettuja tehtäviä ja että nämä muuta tehtävä voivat olla ristiriidassa varsinaisten tavoitteiden kanssa.

Periaatteellisia ehdotuksia tavanomaisesti muotoiltujen evaluaatioasetelmien kehittämiseksi:

• Tarkastellaan toimenpiteiden merkitystä yksilön elämäntilanteen kokonaisuudessa ja lähdetään liikkeelle asiakkaiden odotusten suunnassa. Voitaisiin löytää elämäntilannetyyppejä, joihin sosiaalihuollon järjestelmä reagoi eri tavalla. Menetelmänä olisi asiakkaiden teemahaastattelut, joiden tulisi ulottua palvelukokemuksista yksilöllisen historiaan.
• Yhteiskunnallisia odotuksia voitaisiin tarkastella suhteellisen autonomisissa kokonaisuuksissa. Tutkimustehtävässä voisi perustua yhdyskuntatutkimukseen paikallisyhteisöissä.

Sivut 33–41: Sosiaalihuollon yleistä vaikuttavuutta voitaisiin arvioida kaksivaiheisessa tutkimusasetelmassa. Ensin havainnoitaisiin tilastotietojen valossa pieniä ja keskikokoisia eteläsuomalaisia kuntia. Toisessa vaiheessa tarkasteltaisiin lähemmin kuntia, joissa sosiaalihuollon hyvinvointivaikutukset tulivat ensivaiheen selvityksessä todennäköisimmin näkyviin. Havaintoyksikköinä toimisivat suhteellisen homegeeniset noin 5000–30 000 asukkaan kunnat. Kunta-analyysin perusperiaatteen tulisi olla kunnianhimoinen: Miten sosiaalihuollon asema ja merkitys ja sitä kautta hyvinvointivaikutukset kunnissa määräytyvät, millaisissa oloissa tavoitteellinen sosiaalihuolto voi kehittyä, mitkä ovat hyvin toimivan sosiaalihuollon ulkoiset ja sisäiset kehitysedellytykset ja esteet?

Jälkisanat, sivut 42–44: Tässä raportissa hahmoteltu esitys perustuu olettamukselle, että yksittäisen kunnan tasolla muodostuu viime kädessä sellainen yhteiskunnallinen, sosiaalinen ja hallinnollinen ympäristö, jossa hyvässä tapauksessa tuloksellinen sosiaalihuolto voi kehittyä. Jos oletus hyväksytään, kysymys luonnollisesti kuuluu: mitä ovat ne kuntatasolla ilmenevät ja monipuolisen yhdyskuntatutkimuksen keinoin mahdollisesti havaittavissa olevat tuloksellisen sosiaalihuollon esteet?

Sosiaalihuolto ei vain lievennä tai poista huono-osaisuutta vaan voi myös joutua sitä osaltaan uusintamaan, pitämään yllä sosiaalisia ongelmia. Jos näin on, eikä olisi syytä juuri evaluaatiotutkimuksessa koettaa avoimesti ja realistisesti eritellä, millaisissa tilanteissa sosiaalihuollon aidosti huono-osaisuutta vähentävät elementit voivat jäädä sellaisten sosiaalihuoltoon kohdistuvien odotusten jalkoihin, joiden tarkoituksena on pikemminkin säilyttää rakenteellisia eriarvoisuuksia kuin purkaa niitä?

Juhani Iivari. Vaikuttavuustutkimuksen – erityisesti intervention – menetelmistä sosiaalihuollossa. Sivut 51–78.

1. Evaluaatiotutkimuksesta yleisesti: Lähtökohdista Suomessa. Makrotasolta rajattujen ohjelmien arvioimiseen.
2. Toiminnan vaikuttavuuden ja intervention tutkimus: Vallitsevan toiminnan evaluointi. Interventio-ohjelman rajankäynti muuhun tutkimukseen.
3. Interventiotutkimuksen muodoista
4. Operationalisoinnin ja arvion toteuttamisen ongelmasta: Arvojen ja normien operationalisoimisesta. Mittaamisen toteuttamisesta. Vaikutusten väljempi mittaaminen – tulosten suunta.
5. Tutkijan vaikuttamisesta
6. Vaikuttavuustutkimuksen jatkamisesta: Yleisiä lähtökohtia. Vaikuttavuustutkimuksen tehtävistä.

Helsingin kaupunki: Terveydenhuollon vaikuttavuus 1983->

Tuure Lehto, Sirkka-Lisa Aho ja Anneli Pulkkinen. Terveydenhuollon vaikuttavuus II. Yhteiskunnallisen vaikuttavuuden ja palvelukyvyn arviointia 1980-luvulla. Helsingin kaupungin terveysviraston raportteja. Sarja A. 17/1987.

Sirkka-Lisa Aho, Sirkka Elfving, Anneli Pulkkinen. Terveydenhuollon vaikuttavuus III. Yhteiskunnallisen vaikuttavuuden ja palvelukyvyn arviointia 1980-luvulla. Helsingin kaupungin terveysviraston raportteja. Sarja A. 56/1990.

 Sirkka-Lisa Aho, Anneli Pulkkinen, Esa Katajamäki. Terveydenhuollon vaikuttavuustutkimus IV. Sosioekonomisen sairastavuusindeksin seuranta 1992. Helsingin kaupungin terveysviraston raportteja. Sarja A. 69/1992.

Helsingin kaupungin terveysvirastossa alkoi vuonna 1982 terveydenhuollon toimitusjohtajan nimeämä työryhmän työnä arviointiprojekti ’Terveydenhuollon vaikuttavuus’. Vuodesta 1982 on etsitty yhteistyössä kaupungin tietokeskuksen kanssa terveysindikaattoreita väestön palvelutarpeen ja hyvinvoinnin seuraamiseksi.  Tavoitteena oli lähinnä yhteiskunnallisen vaikuttavuuden seuranta.

Helsingin kaupungin johtajistotoimikunta hyväksyi vuonna 1987 kauungissa käytettävän tuloksellisuuden arvioinnin kehikon, jossa toiminnan vaikuttavuutta selvitetään mittaamalla 1) yhteiskunnallista vaikuttavuutta tai 2) palvelukykyä. Terveydenhuollon vaikuttavuudella tarkoitettiin toiminnalla saavutettavaa myönteistä tulosta ihmisten ja ympäristön terveyteen. Terveydenhuolto voi kuitenkin vaikuttaa näihin vain rajoitetusti. Terveydenhuollon vaikuttavuuden tulee lähteä sen tehtävästä, joka määriteltiin vuoden 1991 alussa voimaantulleessa kaupungin terveysjohtosäännössä seuraavasti:

”Terveydenhuollon toimenpitein parannetaan kaupungin terveydellisiä olosuhteita, ylläpidetään ja edistetään asukkaiden terveyttä ja toimintakykyä sekä ehkäistään ja vähennetään terveydellisiä ongelmia ja niiden haittavaikutuksia”.

Aluksi kehitettiin noin 100 indikaattoria kuvaamaan suurpiirien terveystasoa koko kaupungin tasoon verrattuna. Vuonna 1990 julkaistussa raportissa tuli esiin voimakas muutos aikaisempaan nähden, erityisesti työttömyydessä ja toimeentulotuen saajissa. Samalla etsittiin menetelmää, joka antaisi saman tukoksen suppeammalla indikaattorimäärällä. Yhdeksän indikaattorin avulla laskettiin sosio-ekonominen sairastavuusindeksi kuvaamaan kokonaistilanneetta myös 33 peruspalvelupiirin tasolla

Raportti II/1987: Yhteenveto ja ehdotukset: Suunnitelmallisen terveydenhuollon tuloksellisuuden arviointi edellyttää sekä tuottavuuden että palvelujen vaikuttavuuden seurantaa. Terveydenhuollon vaikuttavuudella tarkoitetaan toiminnalla saavutettavaa myönteistä tulosta ihmisten terveyteen. Vaikuttavuuden seuranta ja laadun mittaaminen ovat luonteeltaan selvittävää, tutkivaa ja analysoivaa. Pitkien aikasarjojen valossa voimme väitellen nähdä, olemmeko lähestyneet niitä tavoitteita, joita olemme asettaneet toiminnallemme. Yksittäisten toimintojen vaikuttavuutta voidaan katsoa lyhyemmälläkin tähtäimellä.

Terveydenhuolto voi vaikuttaa suoraan yksilön ja ympäristön terveyteen vain rajallisesti. Olelliseksi kysymykseksi nousee, miten ja millä toimenpiteillä terveydenhuolto voi vaikuttaa ns. ”muun maailman” kautta.

Terveyspolitiikan keinot jakaantuvat kolmeen ryhmään: terveyden edistäminen rakenteellisia edellytyksiä luomalla, terveysongelmien ehkäiseminen riskitekijöihin vaikuttamalla, sekä sairauksien ja tapaturmien hoito ja kuntoutus.

Terveysindikaattoreiden valossa on pyritty hahmottamaan helsinkiläisten hyvinvoinnin toteutuminen ja ongelmat peruspiiritasolla vuosina 1980–1985. On kuitenkin huomattava, että peruspiirien sisälläkin tilanne vaihtelee. Korttelikohtaiset hyvinvointi- tai ongelmaerot saattavat hukkua keskiarvoihin.

Sosiaalinen ja terveydellinen hyvinvointi kulkivat rinnan. Yksikään peruspiiri ei tehnyt tästä poikkeusta.  Edellä olevan perusteella ehdotetaan, että

• käynnistetään terveydenhuollon ja sosiaalityön aluekohtainen kehittämistyö yhteistyössä alueella toimivan henkilökunnan kanssa väestön terveyden edistämiseksi ja hyvinvoinnin kohottamiseksi,
• terveydenhuollon voimavarojen jakautumista arvioidaan uudelleen terveysindikaattoreita hyväksi käyttäen, sekä
• pyritään lisäksi muiden hallintokuntien ja yhteisöjen kanssa luomaan edellytyksiä väestön ja ympäristön terveyden edistämiseksi.”

Raportti III/1990: Raportissa huomautettiin, että toiminnan tavoitteena ei voi olla taloudellisin ratkaisu, vaan inhimillisesti arvioitu paras ja oikeudenmukaisin hoitotulos. Yksilökohtaisten terveyspalvelujen lisäksi terveydenhuolto painottuu yhä enemmän ympäristö- ja yhteisöterveydenhuoltoon – vaikuttamisena muiden kuin terveydenhuoltopalvelujen kautta.

Palvelukyvyn mittaamisen katsottiin jakautuvan ulkoiseen ja sisäiseen arviointiin, molemmissa toiminnan seuraamiseen ja tulosjohtamiseen. Ulkoisen palvelukyvyn arvioinnissa tutkittiin mm.

• väestön tyytyväisyyttä palvelujen saantimahdollisuuksiin,
• asiakastyytyväisyyttä palveluihin,
• palvelujen riittävyyttä (peittävyys, saatavuus ja saavutettavuus) ja
• hoidon jatkuvuutta.

Sisäisen palvelukyvyn mittaaminen perustui työilmapiirin kartoittamiseen, henkilökunnan vaihtuvuuteen ja henkilökunnan ammattitaitoon.

Palvelukyvyn tarkastelua: ”Sisäinen palvelukyky: Henkilöpula on kasvanut 1980-luvun loppupuolella. Hoitohenkilöstön vakanssien täyttövajetta kuvaava prosenttiluku on kasvanut noin neljänneksellä vuodesta 1985. Koko hoitohenkilökunta, vakansseista täyttämättä 9,5 % vuoden1989 päättyessä. Terveysasemien sairaspoissaolot sairauden vuoksi ovat lisääntyneet 18 %.
Ulkoinen palvelukyky: Erikoissairaanhoidon jonot ovat kasvanet vuosina 1985-1989: 4260 -> 8000. Kansaneläkelaitoksen väestötutkimuksen mukaan noin puolet aikuisväestöstä katsoi, että heillä on tietty lääkäri. Prosenttiluku oli alhaisin Koillisessa (34 %) ja korkein Eteläisessä ja Keskisessä suurpiirissä (56 %). Neljäsosa väestöstä katsoi hoitomahdollisuuksien parantuneen viime vuosina ja 12 % arvioi niiden huonontuneen. Eniten (20 %) huonontumista koki Kaakkoisen ja Itäisen suurpiirin väestö.”

”Omalääkärikokeilun seurauksen on väestön tyytyväisyys palveluihin parantunut erityisesti peruspiireissä, joissa väestövastuu pystyi toimimaan. Joillakin alueilla väestöpohjat olivat lääkäriä kohti liian suuria. Väestökyselyissä huomattiin, miten tärkeää helsinkiläiselle on tunne, että palveluja antava henkilöstön on kiinnostunut hänen terveydestään ja ongelmistaan. Terveydenhuoltoon voitaisiin liittää nykyistä enemmän potilaskohtaista seurantaa. Potilaan hakeuduttua hoitoon olisi myös tarkistettava hänen selviytymistään.”

Helsingin kaupunki: Sosiaalihuollon vaikuttavuusprojekti 1987->

Juha Kääriäinen: Sosiaaliset ongelmat, asuinalueiden segregoituneisuus ja paikallisyhteisöllisyys – Helsingin sosiaalisten ongelmien asuinalueittaisen vaihtelun tarkastelua. Halsingin kaupungin sosiaaliviraston julkaisuja A 3/1987.

Helsingin kaupungin sosiaalivirasto. Sosiaalipalvelujen ja sosiaalityön kohde, merkitys ja vaikutukset. Arvioinnin kriteerit ja käytännöt. Vaikuttavuusprojektin 1. osaraportti. Julkaisusarja A 3/1990.

Helsingin kaupungin sosiaalivirasto. Palvelutoiminnan arviointivälineen kehittelyä I. Vaikuttavuusprojektin 2. osaraportti. Julkaisusarja A 4/1990.

Helsingin kaupungin sosiaalivirasto. Palvelutoiminnan arviointivälineen kehittelyä II. Vaikuttavuusprojektin 3. osaraportti. Julkaisusarja A 5/1990.

Helsingin kaupungin sosiaalivirasto. Palvelutoiminnan arviointivälineen kehittelyä III Vaikuttavuusprojektin 4. osaraportti. Julkaisusarja A 6/1990.

Helsingin kaupungin sosiaalivirasto. Sosiaalipalvelujen ja sosiaalityön kohde, merkitys ja vaikutukset. Arvioinnin kriteerit ja käytännöt. Vaikuttavuusprojektin 1. osaraportti. Julkaisusarja A 3/1990.

 Helsingin kaupungin sosiaalivirasto. Vaikuttavuuden arviointikokeilu Lastensuojelun avohuollossa vuonna 1990. Esitystapojen demonstrointia 1990. Julkaisusarja A 2/1991.

Aulikki Kananoja/Esipuhe/A2 1991: ”Helsingin kaupungin sosiaaliviraston vaikuttavuusprojektissa luodut menetelmät ovat parhaillaan muotoutumassa asiakastyön vakiintuneeksi osaksi. Asiakkaiden elämäntilanteiden muutosten seuranta on saamassa systemaattisen muodon. Erityisen merkittävää on, että toisen kokeiluvaiheen tuottama tieto on koottuna nyt käsillä olevassa raportissa.

Vaikka tähän saakka on lähinnä kokeiltu seurantamenetelmiä – seurannat eivät vielä ole keskeisiin johtopäätöksiin oikeuttavia – on jo nyt mahdollista ennakoida kysymyksiä ja lastensuojelun tehtäviä, joista kehittämistyön haasteet lähivuosina nousevat.  Ei tarvitse enää toimia pelkästään yleisten tuntumien varassa, vaan työ voi perustaa sosiaalityöntekijöiden laajaan arviointiin. Avohuollon asiakastyössä – kiitos vaikuttavuuden seurantamenetelmien rakentamiseen paneutuneiden työntekijöiden – sisällöllinen pohdinta on kulkenut tekniikan käyttöönoton edellä. Tämän ansiosta asiakastietojärjestelmää voidaan nyt hyödyntää lastensuojelun sisällölliseen kehittämiseen.”

Harri Sintonen, Markku Pekurinen, Eero Linnakko. Terveystaloustiede. WSOY 1997.

Harri Sintonen ja Markku Pekurinen. Terveystaloustiede. WSOY 2006

”Terveydenhuollossa tuotos muodostuu suoritteista eli palveluista, toimenpiteistä ja tekniikoista. kuten lääkärikontakteista, leikkauksista, rokotuksista ja tutkimuksista. Näillä taas on enemmän tai vähemmän vaikutusta terveydenhuollon perimmäiseen tavoitteeseen eli ihmisten terveydentilaan. Tätä vaikutusta kutsutaan vaikuttavuudeksi (E=effectiveness). Toiminnan vaikuttavuus on yksinkertaisesti se nettomuutos toiminnan perimmäisessä tavoitteessa, joka on luettava toiminnan ansioksi, terveydenhuollossa puhuttaessa muutos terveydentilassa. On kuitenkin huomattava, että vaikuttavuudella tarkoitetaan terveydentilan muutosta terveydenhuollon tavanomaisessa toiminnassa. Jos terveydentilan muutos saadaan aikaan ihanteellisissa oloissa, puhutaan tehosta (efficacy). Ihanteelliset olosuhteet vallitsevat esimerkiksi erityisesti suunnitelluissa ja organisoiduissa kliinisissä kokeissa.

Vastaavalla tavalla voidaan tarkastella terveydenhuollon ulkopuolisia tekijöitä. Niillä on oma vaikuttavuutensa, terveysvaikutuksensa. Kun otetaan näiden tekijöiden vaikuttavuus ja lisätään ne ennen toimintaa vallinneeseen terveydentilaan, päätytään terveyden tuotannon lopputulokseen.”  (1997, 40–42.  2006, 52–53)

”Elämme epätäydellisen tiedon ja epävarmuuden maailmassa. Tietomme erilaisten toimenpiteiden seurauksista ovat varsin puutteelliset. Tämä koskee erityisesti toimenpiteiden vaikuttavuutta, mutta suuressa määri myös niiden kustannuksia. Jotta nykyisten tai kehitettävien vaihtoehtoisten toimenpiteiden joukosta pystyttäisiin valitsemaan tehokkaimmat, on pyrittävä selvittämään ja mittamaan niiden vaikuttavuutta ja kustannuksia. Tätä valintaa ja päätöksentekoa avustavaa selvittämistyötä kutsutaan taloudelliseksi arvioinniksi eli evaluaatioksi. Sen tarkastelussa liikumme alla olevan kuvion harmaalla rajatulla alueella

Evaluaatiolla tai arvioinnilla tarkoitetaan yhden tai useamman toiminnan tai toimenpiteen ”hyvyyden” arviointia. Evaluaatiotutkimuksesta puhutaan silloin kun arvioinnissa sovelletaan tieteellisiä periaatteita, menetelmiä ja teorioita. Evaluaatio voi kohdistua suunniteltuun, käynnissä olevaan tai lopetettuun toimintoon. Evaluointitutkimus voidaan jakaa ei-taloudelliseen ja taloudelliseen evaluaatioon. Ei-taloudellinen evaluaatio voidaan jakaa tavoitteensaavuttamisanalyysiin ja kustannusanalyysiin. Edellisessä  on hyvyyden kriteerinä toiminnan vaikuttavuus, jälkimmäisessä kustannus ja taloudellisessa analyysissä tehokkuus. Tuottavuusanalyysissä oletetaan, että suoritteiden ja vaikuttavuuden välinen suhde on yksi yhteen, mikä pitää erittäin harvoin paikkansa.

Evaluoinnin tehtävänä on löytää vaikuttavin toiminto tai toimintojen yhdistelmä jonkin arvostetun tavoitteen saavuttamiseksi. Tällöin ei kiinnitetä ainakaan nimenomaisesti huomiota mahdollisiin rajoituksiin ja kustannuksiin, joihin tavoitteeseen pyrkimisessä törmätään. Johtoajatuksena siis on: mitä vaikuttavampi, sitä parempi.

Tunnettu taloustieteilijä Victor Fuchs (1974) on kutsunut tällaista näkökulmaa romanttiseksi ja monotekniseksi, koska se ei ota huomioon voimavarojen niukkuutta eikä tavoitteiden moninaisuutta. Ratkaisu, joka on ideaalinen esimerkiksi terveyden kannalta, ei olekaan sitä, kun otetaan huomioon muut tavoitteet. Se saattaa vaatia liian paljon niukkoja voimavaroja tai haitata liiaksi muiden tavoitteiden saavuttamista.

Taloudellisessa evaluaatiossa otetaan huomioon sekä vaikuttavuus että kustannukset eli se mitä toiminnan vuoksi toisaalla menetetään. Hyvyyden kriteeri on tehokkuus. Pyrkimys tehokkuuteen eli siihen, että toiminnan tavoitteet saavutetaan mahdollisimman pitkälle annettujen rajoitusten puitteissa (joista keskeisin on käytettävissä olevat voimavarat) on taloudellisessa evaluaatiossa kaikkein tärkeintä. Jos ei kustannuksia eikä hyötyjä oteta huomioon, evaluaation merkitys suunnittelun ja päätöksenteon apuna jää vähäiseksi.” (1997: sivut 202–205. 2006: sivut 246–250.)

Pirkko Vartiainen (1993) Monitahoarviointi palveluorganisaatioiden vaikuttavuuden arvioinnin malina. Proceedings of the Unversity of Vaasa. Discussion Papers 161. Vaasa.

Suomalaisen julkisen hallinnon tuottavuudesta ja toiminnan vaikuttavuudesta on keskusteltu tutkijapiireissä vuosikymmenten ajan. Suomalaisessa tutkimuksessa on keskusteltu hallinnon ja toiminnan uudistusten vaikutuksista ja vaikuttavuustutkimuksen metodeista, esim. Pitkänen (1969, 1986), Ahonen (1985, 1991) ja Lumijärvi (1987, 1990).

Tänä päivänä toimintaa pyritään arvioimaan lähes kaikilla alueilla, usein kapea-alaisesti mittaamalla mekaanisesti tuloksellisuutta. Mittareista ja mittauksen rytmistä on aivan liian harvoin käyty vakavaa keskustelua. Laaja tehokkuus- ja vaikuttavuusarviointia koskeva keskustelu on edelleen tarpeellista. Päämääräsuuntautuneissa tehokkuus- ja vaikuttavuusarvioinneissa kriittinen kysymys on päämäärien asettaminen. Systeemiajatteluun perustuvat tutkimukset ovat pureutuneet juuri vaikuttavuuden arvioinnin kriteereiden pohtimiseen.

Päämäärä- ja systeemilähestymistavoissa uskotaan mahdollisuuteen yleisten sopimuksenvaraisten arviointikiriteerien muodostamiseen. Monitahoarvioinnissa korostetaan eri näkökulmien tärkeyttä, mutta ei pyritä vaikuttavuuden kokonaisvaltaiseen arviointiin. Eri ryhmät pitävät organisaatiota eri syistä tehokkaana. Monitahoarviointi edellyttää ensinnäkin organisaation avainryhmien kartoittamista ja toiseksi niiden priorisointia, jolloin saadaan selville niiden merkitys arvioinnin antajina. Mitä tyytyväisempiä arviointia tekevät avoinryhmät ovat, sitä paremmin organisaation voidaan katsoa täyttäneen tehtävänsä. MTA-arvioinnissa vastataan kolmeen kysymykseen:

• Mitkä ovat organisaation keskeiset avainryhmät?
• Onko niiden arviointi artikuloitavissa organisaation käyttöön sopivalla tavalla?
• Millaisia seurauksia arvioinnilla on organisaation toiminnalle?

MTA-malleissa arvioidaan organisaation toiminnan tehokkuutta ja vaikuttavuutta sen avainryhmien kautta. MTA-arvioinnin mallit voidaan ryhmitellä:

• Laaja-alainen keskittyy kysymykseen, millaisena avainryhmät pitävät organisaation toimintaa. Tärkeintä eivät ole tavoitteet ja niiden asettaminen, vaan toiminta, vuorovaikutus ja sen mukanaan tuoma käsitys organisaation toiminnan vaikuttavuudesta. Muodostetaan kokonaiskuvaa organisaation toiminnasta siten, että toiminta tulee näkyväksi avainryhmien silmin. Laaja-alaisen MTAn merkitys näyttää liittyvän organisaation tosiasiallista toimintaa koskevan tiedon välittämiseen, kerätään ja tuotetaan tietoa avainryhmien mielipiteistä käytettäväksi toiminnan arvioinnin perustana.
• Neuvottelevassa MTAssa organisaation valtakoaliitio neuvottelee niistä kriteereistä, joilla vaikuttavuutta arvioidaan. Neuvotteleva MTAta pidetään tehokkaana organisaatioissa, joiden ensisijaisena tehtävänä on tyydyttää valtaa omaavien tarpeet ja taata samalla itselleen näiden tuen ja resurssien jatkuvan saatavuuden. Hyvinvointipalveluissa tämä tarkoittaa, että arviointia tekeviksi muodostuvat polittiista ja taloudellista valtaa omaavat avainryhmät.
• Sosiaalista oikeudenmukaisuustta korostava MTA nostaa keskeiseksi oikeudenmukaisuuden yhtenä vaikuttavuuden arvioinnin periaatteena. Tehokas organisaatio pyrkii minimoimaan ne rasitteet, joita sen toimintaan osallistuminen aiheuttaa avaintyhmille: ”Tehokkain organisaatio minimoi heikoimmassa asemassa olevien heikkoudet.”
• Evolutionaarisessa MTAssa tulkitaan organisaation muutosta suhteessa ympäristön muutokseen ja oletetaan, että organisaation on sopeuduttava tähän. Näkökulmaan sisältyy aika, joka muissa malleissa ei ole tärkeimpien joukossa. Pääkysymykseksi nousee: Miten organisaatio voi toimia tehokkaasti pitkällä tähtäimellä silloin kun se toimii dynaamisessa sosiaalisessa kontekstissa. Evalutionaarinen MTA kiinnitä huomion organisaation sopeutumiskykyyn.  

Malleissa on eroa avainryhmien painotuksissa: Minkä   vaateet tulisi ottaa huomioon organisaation toiminnassa? Tämä johtaa kahteen osakysymykseen: 

• miten organisaation vaikuttavuuden arviointi tulisi sovittaa eri avainryhmien vaateisiin sekä
• miten em. arviointi vaikuttaa organisaation toimintaan tulevaisuudessa?

Yhteenveto: Arviointia tekevien avainryhmien valitseminen on monitahoarvioinnin kannalta tärkeää. MTA-arvioinnissa tehokuuden ja vaikuttavuuden määrittely perustuu avainryhmien esittämiin arvioihin organisaation toiminnasta.  Ilmeisen selvää on, että eri ryhmät ja yksilöt omaavat erilaisia näkemyksiä siitä, miten organisaatiota tulisi arvioida. Toisena ongelmana avainryhmien vaateiden muuntuvuus. Kolmanneksi avainryhmillä on ristiriitaisia vaateita organisaation toiminnasta. Konfliktitilanteiden ratkaiseminen muodostuu MTA-mallin käytön kannalta merkittäväksi.

Avainryhmien kartoittaminen on merkittävä osa monitahoarviointia.  Mahdollisimman monen arviointitahon ottaminen mukaan monipuolista arviointittulosta. Merkittävin vahvuus on joustavuus ja eri avainryhmien intressien huomioiminen.

Risto Eräsaari, Tuija Lindqvist, Mikko Mäntysaari ja Marketta Rajavaara. Arviointi ja asiantuntijuus. Gaudeamus 1999.

Mikko Mäntysaari: Millaista asiantuntijuutta arviointitutkimus antaa? Sivut 7–13.

1990-luvulla Suomi on saanut todistaa arviointitutkimuksen ripeää edistymistä. Tämän kirjan keskeinen viesti on, että kun arviointitutkimusta käytetään yhä enemmän, syntyy uudentyyppistä asiantuntijuutta. Kun tarkastellaan arviointitutkimusta uudenlaisen asiantuntijuuden muotona, tarkastelun kohteena ei ole pelkästään arviointi eikä pelkästään asiantuntemus, vaan niiden yhdistelmä. Millaista asiantuntemusta arviointitutkimus edellyttää ja millaista asiantuntijuutta se tuottaa? Millaista arviointitutkimus oikeastaan on – ja kuka siitä hyötyy? Miksi käytännön arviointityötä, jota kaikissa organisaatioissa on aina harrastettu, tulisi ryhtyä nimittämään evaluaatioksi tai arviointitutkimukseksi?

Petri Uusikylä: Politiikan ja hallinnon arviointi. Sivut 17–30.

Arvioinnin puolesta puhujat näkevät siinä uuden mahdollisuuden jäntevöittää päätöksentekoa käyttämällä hyväksi systemaattista arviointitietoa. Innostus arviointia kohtaan onkin luonut kokonaan uuden ”arviointiosaajien ammattikunnan”, joka koostuu julkishallinnon virkamiesten lisäksi yliopistotutkijoista ja konsulteista. Arviointitutkimuksen kasvavaa kysyntää ja ”uutta tulemista” julkishallintoon voidaan selittää ainakin neljällä tekijällä:

1. Viimeisen kymmenen vuoden aikana toteutetut hallinnon uudistushankkeet ja uusi tulosjohtamiskulttuuri ovat aiheuttaneet sen, että päätösvaltaa on tietoisesti siirretty ”alas” virastoille ja laitoksille sekä kunnille. Perinteiset ohjausvälineet (normiohjaus ja resurssiohjaus) on korvattu informaatio-ohjauksella ja tulosohjauksella. Arviointitieto on uudessa tulosohjausjärjestelmässä tärkeää. Sen avulla voidaan myös välittää palautetta hallituksen poliiikan toimeenpanosta ja vaikuttavuudesta.
2. Euroopan unionin jäsenyys ja laajeneva osallistuminen kansainvälisiin projekteihin ovat velvoittaneet suomalaiset perehtymään arviointitutkimukseen ja arviointitiedon laajempaan hyväksikäyttöön.
3. Hajautetussa ja monitasoisessa poliittishallinnollisessa järjestelmässä politiikan tulosten ja vaikutusten arviointi on tärkeää myös hallinnon avoimuuden ja tilivelvollisuuden näkökulmasta. Tiedotusvälineet ovat yhä kiinnostuneempia seuraamaan poliittistenohjelmien toimeenpanoa. Tämä on lisännyt päätöksentekijöiden kiinnostusta arviointitiedon hyödyntämiseen. Toisaalta päätöksentekijät haluavat entistä enemmän käyttää yhteiskuntatieteellistä tietoa tai tutkimusta yhä enemmän itse politiikan teon ja tehtyjen toimenpiteiden legitimaation välineenä. Tällainen symbioottinen evaluaatiotiedon käyttö lisää luonnollisesti arviointitutkimuksen määrää, mutta samalla se saattaa kyseenalaistaa arviointitiedon objektiivisuuden sekä arvioijien riippumattomuuden poliitikkojen ja virkamiesten intresseistä. Samanlaista kritiikkiä on esitetty policy-analyysia sekä muuta politiikkaa ja hallintoa palvelevasta tiedon tuottamisesta kohtaan jo aikaisemmin.
4. Yhteiskuntatieteen professionalisoituminen, politiikan ja hallinnon tieteellistyminen sekä asiantuntijavallan kasvu jälkiteollisissa yhteiskunnissa selittävät myös arviointitutkimuksen kasvua. Neuvonantajaelimien ja hallintoa palvelevien konsulttiyritysten määrä on kasvanut. Hallinnossa työskentelee suuri joukko tutkijakoulutuksen saaneita asiantuntijoita, jotka hallitsevat tutkimuksen teon käsitteet ja periaatteet. Hallinnon yhteiskuntatieteellistyminen on ollut omiaan syventämään tiedeyhteisön ja hallinnon symbioottista suhdetta.

Tässä luvussa tarkastellaan arviointitiedon ja tutkimuksen merkitystä nykyaikaisen managerialistisen hallinnon ja laajemmin yhteiskunnan hallinnan (governance) näkökulmasta.  Aluksi määritellään evaluaatiotutkimuksen peruskäsitteet, sen käyttötarkoitus julkisessa hallinnossa ja tarkastellaan sitä suhteessa hallintoa palvelevan asiantuntijatiedon hyväksi käyttämiseen.  Tämän jälkeen tarkastellaan arviointitutkimuksen ongelmia ja rajoitteita laajemmasta yhteiskuntatieteellisen tiedon soveltamisen ja hyväksikäytön näkökulmasta. Tarkastelussa kyseenalaistetaan arviointitiedon taustalla oleva oletus rationaalisesta päätöksentekijästä ja ylipäätään mahdollisuuksista hahmottaa yhteiskunnallisia lainalaisuuksia. Lopuksi pohditaan yleisemmin, miten hallinnon ja politiikan suhde voidaan määrittää yhteiskunnallisen vastuullisuuden ja tilivelvollisuuden näkökulmasta ja mikä rooli arviointtiiedolla on pyrittäessä kohti hyvää yhteiskuntaa.

Arviointitiedon hyödyntäminen hallinnossa: Arviointitutkimuksen ”ensimmäinen aalto” oli yhteydessä 1960- ja 1970-lukujen suunnitteluoptimismiin. Sitä leimasi eräänlainen ”etupainotteisuus”; asiantuntijatiedolla pyrittiin ensisijaisesti auttamaan päätöksentekijöitä erilaisten tavoite-keinovaihtoehtojen valinnassa ja päätösten vaikutusten ennakoimisessa. Tämä oli pääasiassa etukäteisarviointia(ex ante) riittävän systemaattisen seurantatiedon ja ohjelmien  vaikutusten arvioinnin jäädessä puutteelliseksi.

Toinen tuleminen liittyy 1980-luvun alun hallinnon reformiaaltoon. Uutta oli hallinnon hajauttaminen ja tulosohjaus. Tutkimuksella pyrittiin usein hakemaan oikeutusta valtionhallinnon purkamiseen sekä menoleikkauksille. Hajautetussa ja monitahoisessa hallinnossa tarvittiin systemaattista arviointi- ja seurantajärjestelmää julkisen sektorin toiminnan sekä palveluiden määrää ja laatua kuvaavia yhdenmukaisia indikaattoreita. Valtionhallinnon arviointialoitteet tulivat usein organisaatioilta itseltään tai hallinnonalaa ohjavalta ministeriöltä. Arviointeja tekijät tavallisimmin yliopistot ja korkeakoulut, valtion tutkimuslaitokset tai erilliset selvitysmiehet.

Arviointien taustalla oli olettamus toiminnalle asetettujen selkeiden päämäärien ja näiden saavuttamiseksi tarvittavien vaihtoehtoisten keinojen olemassaolosta. Poikkeuksena oli monitahoarviointi, jonka mukaan tavoite- ja keinopreferenssit vaihtelevat tilanteesta ja toimijasta toiseen eikä arvioinnille voi asettaa yksiselitteisiä standardeja; kun otetaan huomioon vaihtoehtoiset näkemykset, voidaan tavoite-keino -ketjut jälkikäteen jäljittää.

Kuviossa kuvataan neljä ideaalityyppistä evaluaatiomallia tavoitteiden selkeyden ja informaation täydellisyyden mukaan jäsenneltynä. Keskeisiä kysymyksiä ovat 1) kenen tai keiden tavoitteita tarkastellaan, 2) keiden näkökulmasta tavoitteiden saavuttamista tarkastellaan, 3) miten muuttumattomina tavoitteiden saavuttamista voidaan pitää, 4) otetaanko tavoitteiden saavuttamisen arvioinnissa huomioon myös ei-aiotut ja ei toivotut vaikutukset, 5) tai halutaanko tavoitteiden toteutumista (esimerkiksi poliittisista syistä) lainkaan? Laajempi ongelma liittyy tavoitteiden määrittelyn vaikeuksien sijaan päätösten muotoutumisen logiikkaan ja tavoite-keino -rationalismin toteutumisen rajoitteisiin hallinnon toiminnassa.

Arvioitavat tavoitteet		Tieto syy-seuraussuhteista
		Täydellinen informaatio	Puutteellinen informaatio
	Selkeät	LABORATORIO Tavoite: Toimeenpanon suuranta ja valvonta Keinot: Monitorointitekniikka, raportointi- ja seurantajärjestelmät	”SOCIAL ENGINEERING” Tavoite: Oikean keinovalikoiman löytäminen soveltavan tutkimuksen avulla Keinot: Kokeellinen/puolikokeellinen tutkimus
	Epäselvät	POLIITINEN KENTTÄ Tavoite: Konsensuksen rakentaminen Keinot: Monitahoarviointi, konsultointi ja sovittelu	SUMEA KENTTÄ Tavoite: Tarpeiden ja vaihtoehtoisten lähestymistapojen selvittäminen Keinot: Naturalistinen arviointiote, tapaustutkimus

                                                                              T

Vaikeasti hahmotettavissa oleva arviointikohde ja toiminnan kohteiden jäsentymättömyys asettavat arvioijan ja arviointitiedon hyväksikäyttäjän tai tilaajan vaikean tilanteen eteen. Arvioijan on pystyttävä murtautumaan teknokraattisesta, liian yksinkertaisia kausaalisuhteita korostavasta arviointikehikostaan ja näkemään arviointikohde moniulotteisena kenttänä, jossa arvioijan tehtävänä ei ole ainoastaan vastata annettuihin kysymyksiin, vaan aktiivisesti ja ongelmakeskeisesti etsiä uusia näkökulmia ja kysymyksiä:

• Ovatko arvioitavan ohjelman tavoitteet perusteltuja suhteessa ongelmatilanteisiin?
• Onko olemassa tilanteita ja tekijöitä, jotka vaativat poikkeuksen tavoitteisiin?
• Ovatko kaikki tavoitteet yhtä tärkeitä ongelmatilanteeseen nähden?

Kyse on siis viime kädessä eron tekemisestä arvioitavana olevan ohjelman vaikutusten ja niiden todellisen merkityksen ymmärtämisen välillä. Tämä painottaa ymmärtävää tutkimusotetta, on ensisijaisesti normatiivinen ja vasta sitten empiirinen. Myös arvioinnin tilaajan on muutettava suhtautumistaan, kyettävä asettamaan realistisia tavoitteita arviointitutkimukselle. Hänen on nähtävä arviointitutkimus vain yhtenä osana johtamista ja päätöksentekoa palvelevaa asiantuntijainformaation kokonaisuutta.                         

Lopuksi: Arviointitutkimuksesta on tullut realistisempaa sitten 1970-luvun suunnitteluoptimismin. Sekä arvioinnin tilaajat että tekijät ovat ymmärtäneet, että poliittishallinnolliseen päätöksentekoon liittyvä tilannesidonnaisuus ja julkilausumattomat tavoitteet aiheuttavat sen, että päätöksiin vaikuttavat pitkälle muut tekijät kuin systemaattinen evaluaatiotieto. Tämä näkyy arviointiviitekehyksen väljentymisenä ja siirtymisenä metodologisesta monismista kohti teoreettista ja metodista pluralismia. Uusimmissa arviointitutkimuksen otteissa korostetaankin tutkimuksen hyödynnettävyyttä. Tieteellisesti tuotetun arviointitiedon rinnalle on tullut muita tietolähteitä.

Avoimessa yhteiskunnassa tekninen arviointitieto ei saa liiaksi ohjata poliittisten referenssien muotoutumista. Arviointitutkimus tarjoaisi hyvän apuvälinen monimutkaisten usein näkymättömien vastuu- ja velvollisuusketjujen paikantamiselle. Arviointiosaamisen levittäminen ja arviointikulttuurin juurruttaminen suomalaiseen julkiseen hallintoon ovat paras keino tehdä arviointiodotuksista realistisempaa, vakiinnuttaa oikeita eettisiä menettelytapoja ja kytkeä arviointi paremmin poliittishallinnolliseen päätöksentekoon.                   

Marketta Rajavaara: Arviointitutkimuksen hyödynnettävyys (Sivut 31–53)

Arvottaminen erottaa arvioinnin ja arviointitututkimuksen muusta yhteiskuntatieteellisestä tutkimuksesta, sekä seurannasta (monitoring) että tarkkailusta. Arvioinnille ja arviointitutkimukselle löytyy kirjallisuudesta useita määritelmiä:

• Arviointitutkimus tarkoittaa sosiaalitieteiden menetelmien systemaattista soveltamista sosiaalisten toimenpideohjelmien arvioimiseksi, niiden käsitteellistämiseksi, suunnittelemiseksi, toimeenpanemiseksi ja hyödyllisyyden takaamiseksi.
• Arviointi on systemaattista tiedonkeruuta toimenpideohjelmien piirteistä, toiminnoista ja tuloksista.
• Arvioinnilla voidaan pyrkiä kolmeen tulokseen: tilivelvollisuuden täyttämiseen, kehittämistyön edistämiseen tai uuden tiedon tuottamiseen, joista viimeksi mainittu tulee lähimmäksi arviointitutkimuksen käsitettä.
• Arviointi voidaan jakaa tieteelliseen ja tekniseen. Tieteellisessä arvioinnissa jäljitellään kokeellisen tutkimuksen ihannetta, teknisessä keskitytään annettujen tavoitteiden toteutumiseen. Molemmissa strategioissa korostuvat arviointiin liittyvät oppimisprosessit ja käyttöorientaatiot.

Ihmisten heikentynyt usko perinteisiin auktoriteetteihin on sekä korostanut että kyseenalaistanut arviointitutkimuksen merkitystä. Arviointitutkimus, jossa tieteellinen auktoriteetti ulotetaan käytännön päätöksiin ja toimintaan, on tarjonnut yhden tavan oikeuttaa julkisen vallan toimintaa. Toisaalta samanaikaisesti tiede on menettänyt ensisijaisen auktoriteettinsa tutkimusten tilaajien silmissä ja on yhä enemmän muodostumassa vain yhdeksi tietolähteeksi muiden ohella. Vaikka arviointitietoa yhä enemmän kysytään, sen kysyjät ja hyödyntäjät eivät enää välttämättä luota tieteellisiin vastauksiin.

Ilman toimeksiantorahoitusta arviointitutkimusta tuskin tehtäisiin. Joissakin tilanteissa toimeksiantorahoitus saattaa jopa lisätä tutkimustulosten hyväksyttävyyttä. Jos tutkimustuloksia ei tuotettaisi kohtuullisessa ajassa, niitä tuskin hyödynnettäisiin: koska arviointitutkimus kohdistuu usein päivänpolttavien sosiaalisten kysymysten, riskien ja ongelmien ratkaisuyrityksiin, tuotettu tieto voi vanhentua jopa yhdessä yössä.

Hyödyntämisen lähikäsitteitä ovat välittäminen (dissemination), joka ei sisällä tutkimustiedon aktiivista hankkimista eikä sen soveltamista päätöksenteossa. Toinen lähikäsite on diffuusio, joka tarkoittaa tutkimuksen tulosten ja ajattelutapojen leviämistä yhteiskunnan kulttuurin osaksi. Kolmas lähikäsite on soveltaminen (application), joka tarkoittaa tulosten suoraa siirtämistä päätöksentekoprosessin osaksi.

Tutkimustiedon hyödyntämiseen on esitetty useita näkökulmia:

• Tarjontalähtöisessä mallissa oletetaan, että tutkimustiedon hyödyntäminen liittyy läheisesti alan perustutkimukseen, joka luo edellytykset soveltavalle tutkimukselle. kehitystyölle ja viimein tiedon soveltamiselle.
• Kysyntäpohjaisessa mallissa ongelmanratkaisussa korostetaan tutkimustulosten syntymistä vastauksena joihinkin kysymyksiin ja ongelmiin, jotka ovat syntyneet poliittishallinnollisella kentällä.
• Interaktiivisessa mallissa tutkimustiedon nähdään tulevan hyödynnettäväksi vuorovaikutusprosesseissa ja verkostoissa tutkijoiden, poliitikkojen, hallintovirkamiesten, ammatilaisten, suunnittelijoiden, journalistien, asiakkaiden ja tuttavien kesken.
• Poliittisessa mallissa tutkimuksen nähdään toimivan päätöksenteon legitimoijana.
• Valistusmallissa tutkimus vaikuttaa tapoihin, joilla päätöksentekijät muotoilevat kysymyksensä, sekä tuottaa uusia näkökulmia ja perehtyneisyyttä ongelma-alueeseen.
• Kulttuurimallissa korostetaan tutkimuksen merkitystä yhtenä kulttuurin osa-alueena, jolloin sen oletetaan vaikuttavan päätöksentekoon samalla tavalla kuin muidenkin kulttuurin tuotteiden, esimerkiksi joukkotiedotuksen, kaunokirjallisuuden, elokuvien ja teatterin.

Arviointitutkimukselle on 1960-luvulta alkaen kehittynyt neljä näkökulmaa:

• Kokeellisen arviointitutkimuksen naiivit hyödyntämisodotukset: Arviointitutkijat rakensivat 1960- ja 1970-lukujen taitteessa suuren unelman ”eksperimentoivasta yhteiskunnasta”. Menetelmällisenä esikuvana olivat kokeelliset, kvantitatiivista tietoa tuottavat tutkimusasetelmat koe- ja kontrolliryhmineen. Jos nämä eivät olleet mahdollisia, voitiin hyödyntää kvasikokeellisia, tilastolliseen kontrolliin perustuvia asetelmia. Tutkijat halusivat päästä käsiksi kausaalisuuden kysymykseen eli kysymykseen siitä, tuottavatko toimenpideohjelmat todella havaitut vaikutukset vai ovatko ne joidenkin muiden tekijöiden seurausta. Laboratoriomaisille tutkimusohjelmille oli ominaista, että niissä arvolähtökohdat ja arvottaminen asetettiin tutkimuksen ulkopuoliseksi asiaksi, jolloin tutkimuksen tehtäväksi jäi vain mittaaminen ja sen pohjalla tehtävät päätelmät ja suositukset. Koska tutkijat pitivät itsestään selvänä, että heidän ensiarvoisen tärkeinä pidettyjä tutkimustuloksia järjestelmällisesti käytetään poliittishallinnollisessa päätöksenteossa, he eivät paljoakaan kiinnittäneet huomiota tutkimustensa hyödyntämiseen. Tutkijat otaksuivat tuottamansa tiedon olevan suoraviivaisesti välineellisellä tavalla hyödynnettävissä.
• Hyödynnettävyys pragmaattisen arviointitutkimuksen lähtökohtana: Tutkijat havaitsivat, että erilaisia uudistuksia ja toimenpideohjelmia käynnistettiin ja lakkautettiin riippumatta tutkijoiden suosituksista. Tutkimukset jätettiin kokonaan lukematta ja ottamatta huomioon. Lähestymässä olevat vaalit saattoivat johtaa tutkimustulosten sivuuttamiseen tai vääristelyyn.  Huomattiin, ettei uudistuksia tehdä rationaalisen päätöksenteon mallin mukaisesti yhtenä tiettynä ajankohtana niiden vaikuttavuutta koskevien tulosten valmistuttua.  Sen sijaan uudistusten nähtiin syntyvän inkrementaalisen päätöksenteon seurauksena vähittäisissä askelaskeleelta etenevissä valinnoissa ja päätöksissä. Nämä saattavat perustua muun muassa entisiin tapoihin, improvisointiin, sopeutumiseen, neuvotteluihin ja sopimuksiin. Arviointitutkimuksen ymmärrettiin olevan monella tavalla poliittista.

Samaan aikaan alettiin painottaa, että tutkimusta olisi suunnattava entistä enemmän tiedon käytön, poliittishallinnollisen päätöksenteon näkökulmasta käsin. Arviointi alkoi kehittyä pragmaattisemmaksi ja siirryttiin tarjontalähtöisestä tutkimustiedon tuottamisesta ja hyödyntämisestä kysyntäpohjaisen ongelmanratkaisumallin mukaiseen vuorovaikutukseen. Yhdysvalloissa vuonna 1980 julkaistuissa laatuvaatimuksissa pidettiin arviointitutkimuksen laadun kriteereinä hyödyllisyyttä, uskottavuutta, oikeudenmukaisuutta ja tarkkuuttaa. Metodisten vaatimusten sijasta yhä keskeisemmäksi kriteeriksi alkoi tulla tiedon relevanssi käyttäjien näkökulmasta.

Arviointitutkimus alkoi 1970-luvulla kohdentua uudistusten ja toimenpideohjelmien toteutukseen, ja niin kutsuttu toimeenpanotutkimus sai alkunsa. Kun toimeenpanokysymykset tulivat huomion kohteeksi , tutkimus alkoi määräytyä yhä enemmän alempien virkamiesten, ammattihenkilöiden ja myöhemmin palvelujen käyttäjien tietotarpeista käsin. Ymmärrettiin, että nämä tahot eivät niinkään ole kiinnostuneita yleisistä tuloksista kuin siitä miten toimenpideohjelmia ja palveluja tuli toteuttaa ja kuinka niitä voidaan kehittää.

Tämä arviointitutkimuksen painopisteen siirtyminen sai aikaan uudenlaisen hyödyntämisajattelun murtautumisen sellaisten arviointihankkeiden rinnalle, joissa otaksuttiin toimeenpanon ja kehittämisen etenevän ylhäältä alas, alkoi syntyä myös arviointia, joissa niiden ajateltiin etenevän alhaalta ylös. Monologisesta tutkimustulosten välittämisestä alettiin siirtyä dialogiseen malliin, jossa tutkimustulokset tuoteteen ja välitetään läheisessä vuorovaikutuksessa tutkijoiden ja arvioitavan toiminnan asianosasten kesken.

• Arviointitiedon hyödyntäjien osallisuus konstruktiivisessa tiedonmuodostuksessa: 1970-luvulla arviointitutkimukseen tuotiin ”stakeholderin”, arviointitutkimuksen osallisen, intressitahon, avainhenkilön tai avainryhmän käsite. Ymmärrettiin, ettei arviointitutkimusten hyödyntäjiä kannata nähdä vain passiivisena yleisönä, vaan tietoa muodostavat ja hyödyntävät aina ihmiset. Uusi käsite auttoi käyttäjälähtöisten, konstruktiivisten, osallistavien ja yhteistoiminnallisten arviointilähestymistapojen kehittymistä. Kun aiemmat arviointisuuntaukset painottivat tutkijan ulkopuolisuutta suhteessa arvioitaviin käytäntöihin, tämän suuntauksen edustajat pitivät tätä neutraalisuutta mahdottomana.

Yhtenä tuloksen oli monitahoarvioinniksi (multiple constituency) kutsuttu strategia, jossa edetään neljässä vaiheessa. Ensin identifioidaan osalliset, minkä jälkeen eritellään heidän vaateitaan, kokemuksiaan ja käsityksiään. Sitten kerätään aineistoa erityisesti ratkaisemattomista kysymyksistä ja lopulta neuvotellaan syntyneestä tiedosta. Arvioinnista syntyy yhteinen, vuorovaikutuksellinen oppimisprosessi tutkijan ja muiden toimijoiden kesken. Näiden oppimisprosessien kautta uudistuksista, toimenpideohjelmista ja palveluista vastuussa olevat toimijat hyödyntävät syntyvää tietoa jo hankkeen kuluessa.

Arviointiote mahdollistaa palveluiden käyttäjien ja muiden toimijoiden vaateiden ja kokemusten autenttisen esiintulon sekä edesauttaa palveluista vastaavia ammattilaisia kehittämään toimintaansa. Se saattaa myös lisätä toimijoiden kiinnostusta ja kykyä ylipäätänsä hyödyntää tutkimuksia.

Kun kokeellinen arviointi on ollut vaikeuksissa täydellisen kontekstin häivyttämisen vuoksi, konstruktiivinen arviointi on suorastaan liimaantunut toimintaympäristöönsä, josta myös seuraa, että tuotetusta tiedosta on hankala tehdä yleistyksiä ja sitä on hankalaa siirtää toisiin toimintaympäristöihin.

• Arviointitiedon hyödyntäjistä tiedon tuottajiksi: Tällä vuosikymmenellä arviointi ja arviointitutkimus ovat tulleet uuteen tilanteeseen, kun arvioinnin merkitys julkisella sektorilla on hyvinvointivaltion kustannuspaineiden ja ajattelutapojen muutosten vuoksi entisestään korostunut. Hallinnon uudistusohjelmat ovat suosineet julkisten toimintojen tehostamista, supistamista, hajauttamista ja palvelujen yksityistämistä sekä tuoneet markkinalähtöiset opit, lähestymistavat ja käsitteet julkisten organisaatioiden ja palvelujen kehittämiseen. Kustannusvaikuttavuudesta on tullut yhteiskunnallista vaikuttavuutta tärkeämpi arvo, jonka toteuttamisen seuraamiseksi hallinnollisten, organisaatioiden sisällä tehtävien tilivelvollisuusarviointien tarve on räjähdysmäisesti kasvanut. Budjetointi. ja tulosvastuiden siirtyessä uudistuksista vastaaville ammattilaisille heidän ammattitaitonsa on kehittymässä uudentyyppiseksi asiantuntijuudeksi, jossa hyödynnetään uudenlaista itsearvioinnin ja itsetarkkailun menetelmää, muun muassa liikkeenjohdollisen tulosohjauksen käsitteistöä.

Arviointi näyttäisi kehittyvän uudella tavalla ylhäältä alas johdetuksi toiminnaksi. Uudistuksia ja palveluja hallinnoidaan ja ohjataan yhä enemmän. Samanaikaisesti ammattihenkilöistä on tullut arvioinnin itseoikeutettuja tekijöitä: heidän odotetaan omatoimisesti tarkkailevan ja säätelevän toiminnan kustannuksia, tehokkuutta ja laatua aiempaa enemmän.”

Lopuksi: Pitääkö arviointitutkijan edistää tutkimustiedon hyödyntämistä? Kokeellisen arviointitutkimuksen tekijät eivät osaa vastata tähän kysymykseen, kun he eivät ole huomanneet sitä kysyä itseltään tai toisiltaan. Pragmaattisen arviointitutkimuksen edustajat ihmettelevät, miksi moista edes kysytään. He eivät näe mitään mieltä koko arviointitutkimuksessa elleivät se alusta pitäen ota huomioon tutkimusten hyödyntäjien tietotarpeita ja pyri vastaamaan niihin. Konstruktiivisen arvioinnin edustajat ovat pragmaattisen arviointisuunnan edustajien tapaan valmiita laajentamaan dialogia arviointitiedon hyödyntäjien kanssa. He muodostavat tietoa yhdessä toimenpideohjelmien ja palvelujen osallisten kanssa, mutta useinkaan kukaan muu ei kysy tämän tiedon perään.   

Risto Eräsaari, Tuija Lindqvist, Mikko Mäntysaari ja Marketta Rajavaara. Arviointi ja asiantuntijuus. Gaudeamus 1999.

Mikko Mäntysaari: Millaista asiantuntijuutta arviointitutkimus antaa? Sivut 7–13.

1990-luvulla Suomi on saanut todistaa arviointitutkimuksen ripeää edistymistä. Tämän kirjan keskeinen viesti on, että kun arviointitutkimusta käytetään yhä enemmän, syntyy uudentyyppistä asiantuntijuutta. Kun tarkastellaan arviointitutkimusta uudenlaisen asiantuntijuuden muotona, tarkastelun kohteena ei ole pelkästään arviointi eikä pelkästään asiantuntemus, vaan niiden yhdistelmä. Millaista asiantuntemusta arviointitutkimus edellyttää ja millaista asiantuntijuutta se tuottaa? Millaista arviointitutkimus oikeastaan on – ja kuka siitä hyötyy? Miksi käytännön arviointityötä, jota kaikissa organisaatioissa on aina harrastettu, tulisi ryhtyä nimittämään evaluaatioksi tai arviointitutkimukseksi?

Petri Uusikylä: Politiikan ja hallinnon arviointi. Sivut 17–30.

Arvioinnin puolesta puhujat näkevät siinä uuden mahdollisuuden jäntevöittää päätöksentekoa käyttämällä hyväksi systemaattista arviointitietoa. Innostus arviointia kohtaan onkin luonut kokonaan uuden ”arviointiosaajien ammattikunnan”, joka koostuu julkishallinnon virkamiesten lisäksi yliopistotutkijoista ja konsulteista. Arviointitutkimuksen kasvavaa kysyntää ja ”uutta tulemista” julkishallintoon voidaan selittää ainakin neljällä tekijällä:

1. Viimeisen kymmenen vuoden aikana toteutetut hallinnon uudistushankkeet ja uusi tulosjohtamiskulttuuri ovat aiheuttaneet sen, että päätösvaltaa on tietoisesti siirretty ”alas” virastoille ja laitoksille sekä kunnille. Perinteiset ohjausvälineet (normiohjaus ja resurssiohjaus) on korvattu informaatio-ohjauksella ja tulosohjauksella. Arviointitieto on uudessa tulosohjausjärjestelmässä tärkeää. Sen avulla voidaan myös välittää palautetta hallituksen poliiikan toimeenpanosta ja vaikuttavuudesta.
2. Euroopan unionin jäsenyys ja laajeneva osallistuminen kansainvälisiin projekteihin ovat velvoittaneet suomalaiset perehtymään arviointitutkimukseen ja arviointitiedon laajempaan hyväksikäyttöön.
3. Hajautetussa ja monitasoisessa poliittishallinnollisessa järjestelmässä politiikan tulosten ja vaikutusten arviointi on tärkeää myös hallinnon avoimuuden ja tilivelvollisuuden näkökulmasta. Tiedotusvälineet ovat yhä kiinnostuneempia seuraamaan poliittistenohjelmien toimeenpanoa. Tämä on lisännyt päätöksentekijöiden kiinnostusta arviointitiedon hyödyntämiseen. Toisaalta päätöksentekijät haluavat entistä enemmän käyttää yhteiskuntatieteellistä tietoa tai tutkimusta yhä enemmän itse politiikan teon ja tehtyjen toimenpiteiden legitimaation välineenä. Tällainen symbioottinen evaluaatiotiedon käyttö lisää luonnollisesti arviointitutkimuksen määrää, mutta samalla se saattaa kyseenalaistaa arviointitiedon objektiivisuuden sekä arvioijien riippumattomuuden poliitikkojen ja virkamiesten intresseistä. Samanlaista kritiikkiä on esitetty policy-analyysia sekä muuta politiikkaa ja hallintoa palvelevasta tiedon tuottamisesta kohtaan jo aikaisemmin.
4. Yhteiskuntatieteen professionalisoituminen, politiikan ja hallinnon tieteellistyminen sekä asiantuntijavallan kasvu jälkiteollisissa yhteiskunnissa selittävät myös arviointitutkimuksen kasvua. Neuvonantajaelimien ja hallintoa palvelevien konsulttiyritysten määrä on kasvanut. Hallinnossa työskentelee suuri joukko tutkijakoulutuksen saaneita asiantuntijoita, jotka hallitsevat tutkimuksen teon käsitteet ja periaatteet. Hallinnon yhteiskuntatieteellistyminen on ollut omiaan syventämään tiedeyhteisön ja hallinnon symbioottista suhdetta.

Tässä luvussa tarkastellaan arviointitiedon ja tutkimuksen merkitystä nykyaikaisen managerialistisen hallinnon ja laajemmin yhteiskunnan hallinnan (governance) näkökulmasta.  Aluksi määritellään evaluaatiotutkimuksen peruskäsitteet, sen käyttötarkoitus julkisessa hallinnossa ja tarkastellaan sitä suhteessa hallintoa palvelevan asiantuntijatiedon hyväksi käyttämiseen.  Tämän jälkeen tarkastellaan arviointitutkimuksen ongelmia ja rajoitteita laajemmasta yhteiskuntatieteellisen tiedon soveltamisen ja hyväksikäytön näkökulmasta. Tarkastelussa kyseenalaistetaan arviointitiedon taustalla oleva oletus rationaalisesta päätöksentekijästä ja ylipäätään mahdollisuuksista hahmottaa yhteiskunnallisia lainalaisuuksia. Lopuksi pohditaan yleisemmin, miten hallinnon ja politiikan suhde voidaan määrittää yhteiskunnallisen vastuullisuuden ja tilivelvollisuuden näkökulmasta ja mikä rooli arviointtiiedolla on pyrittäessä kohti hyvää yhteiskuntaa.

Arviointitiedon hyödyntäminen hallinnossa: Arviointitutkimuksen ”ensimmäinen aalto” oli yhteydessä 1960- ja 1970-lukujen suunnitteluoptimismiin. Sitä leimasi eräänlainen ”etupainotteisuus”; asiantuntijatiedolla pyrittiin ensisijaisesti auttamaan päätöksentekijöitä erilaisten tavoite-keinovaihtoehtojen valinnassa ja päätösten vaikutusten ennakoimisessa. Tämä oli pääasiassa etukäteisarviointia(ex ante) riittävän systemaattisen seurantatiedon ja ohjelmien  vaikutusten arvioinnin jäädessä puutteelliseksi.

Toinen tuleminen liittyy 1980-luvun alun hallinnon reformiaaltoon. Uutta oli hallinnon hajauttaminen ja tulosohjaus. Tutkimuksella pyrittiin usein hakemaan oikeutusta valtionhallinnon purkamiseen sekä menoleikkauksille. Hajautetussa ja monitahoisessa hallinnossa tarvittiin systemaattista arviointi- ja seurantajärjestelmää julkisen sektorin toiminnan sekä palveluiden määrää ja laatua kuvaavia yhdenmukaisia indikaattoreita. Valtionhallinnon arviointialoitteet tulivat usein organisaatioilta itseltään tai hallinnonalaa ohjavalta ministeriöltä. Arviointeja tekijät tavallisimmin yliopistot ja korkeakoulut, valtion tutkimuslaitokset tai erilliset selvitysmiehet.

Arviointien taustalla oli olettamus toiminnalle asetettujen selkeiden päämäärien ja näiden saavuttamiseksi tarvittavien vaihtoehtoisten keinojen olemassaolosta. Poikkeuksena oli monitahoarviointi, jonka mukaan tavoite- ja keinopreferenssit vaihtelevat tilanteesta ja toimijasta toiseen eikä arvioinnille voi asettaa yksiselitteisiä standardeja; kun otetaan huomioon vaihtoehtoiset näkemykset, voidaan tavoite-keino -ketjut jälkikäteen jäljittää.

Kuviossa kuvataan neljä ideaalityyppistä evaluaatiomallia tavoitteiden selkeyden ja informaation täydellisyyden mukaan jäsenneltynä. Keskeisiä kysymyksiä ovat 1) kenen tai keiden tavoitteita tarkastellaan, 2) keiden näkökulmasta tavoitteiden saavuttamista tarkastellaan, 3) miten muuttumattomina tavoitteiden saavuttamista voidaan pitää, 4) otetaanko tavoitteiden saavuttamisen arvioinnissa huomioon myös ei-aiotut ja ei toivotut vaikutukset, 5) tai halutaanko tavoitteiden toteutumista (esimerkiksi poliittisista syistä) lainkaan? Laajempi ongelma liittyy tavoitteiden määrittelyn vaikeuksien sijaan päätösten muotoutumisen logiikkaan ja tavoite-keino -rationalismin toteutumisen rajoitteisiin hallinnon toiminnassa.

Arvioitavat tavoitteet		Tieto syy-seuraussuhteista
		Täydellinen informaatio	Puutteellinen informaatio
	Selkeät	LABORATORIO Tavoite: Toimeenpanon suuranta ja valvonta Keinot: Monitorointitekniikka, raportointi- ja seurantajärjestelmät	”SOCIAL ENGINEERING” Tavoite: Oikean keinovalikoiman löytäminen soveltavan tutkimuksen avulla Keinot: Kokeellinen/puolikokeellinen tutkimus
	Epäselvät	POLIITINEN KENTTÄ Tavoite: Konsensuksen rakentaminen Keinot: Monitahoarviointi, konsultointi ja sovittelu	SUMEA KENTTÄ Tavoite: Tarpeiden ja vaihtoehtoisten lähestymistapojen selvittäminen Keinot: Naturalistinen arviointiote, tapaustutkimus

                                                                              T

Vaikeasti hahmotettavissa oleva arviointikohde ja toiminnan kohteiden jäsentymättömyys asettavat arvioijan ja arviointitiedon hyväksikäyttäjän tai tilaajan vaikean tilanteen eteen. Arvioijan on pystyttävä murtautumaan teknokraattisesta, liian yksinkertaisia kausaalisuhteita korostavasta arviointikehikostaan ja näkemään arviointikohde moniulotteisena kenttänä, jossa arvioijan tehtävänä ei ole ainoastaan vastata annettuihin kysymyksiin, vaan aktiivisesti ja ongelmakeskeisesti etsiä uusia näkökulmia ja kysymyksiä:

• Ovatko arvioitavan ohjelman tavoitteet perusteltuja suhteessa ongelmatilanteisiin?
• Onko olemassa tilanteita ja tekijöitä, jotka vaativat poikkeuksen tavoitteisiin?
• Ovatko kaikki tavoitteet yhtä tärkeitä ongelmatilanteeseen nähden?

Kyse on siis viime kädessä eron tekemisestä arvioitavana olevan ohjelman vaikutusten ja niiden todellisen merkityksen ymmärtämisen välillä. Tämä painottaa ymmärtävää tutkimusotetta, on ensisijaisesti normatiivinen ja vasta sitten empiirinen. Myös arvioinnin tilaajan on muutettava suhtautumistaan, kyettävä asettamaan realistisia tavoitteita arviointitutkimukselle. Hänen on nähtävä arviointitutkimus vain yhtenä osana johtamista ja päätöksentekoa palvelevaa asiantuntijainformaation kokonaisuutta.                         

Lopuksi: Arviointitutkimuksesta on tullut realistisempaa sitten 1970-luvun suunnitteluoptimismin. Sekä arvioinnin tilaajat että tekijät ovat ymmärtäneet, että poliittishallinnolliseen päätöksentekoon liittyvä tilannesidonnaisuus ja julkilausumattomat tavoitteet aiheuttavat sen, että päätöksiin vaikuttavat pitkälle muut tekijät kuin systemaattinen evaluaatiotieto. Tämä näkyy arviointiviitekehyksen väljentymisenä ja siirtymisenä metodologisesta monismista kohti teoreettista ja metodista pluralismia. Uusimmissa arviointitutkimuksen otteissa korostetaankin tutkimuksen hyödynnettävyyttä. Tieteellisesti tuotetun arviointitiedon rinnalle on tullut muita tietolähteitä.

Avoimessa yhteiskunnassa tekninen arviointitieto ei saa liiaksi ohjata poliittisten referenssien muotoutumista. Arviointitutkimus tarjoaisi hyvän apuvälinen monimutkaisten usein näkymättömien vastuu- ja velvollisuusketjujen paikantamiselle. Arviointiosaamisen levittäminen ja arviointikulttuurin juurruttaminen suomalaiseen julkiseen hallintoon ovat paras keino tehdä arviointiodotuksista realistisempaa, vakiinnuttaa oikeita eettisiä menettelytapoja ja kytkeä arviointi paremmin poliittishallinnolliseen päätöksentekoon.                   

Marketta Rajavaara: Arviointitutkimuksen hyödynnettävyys (Sivut 31–53)

Arvottaminen erottaa arvioinnin ja arviointitututkimuksen muusta yhteiskuntatieteellisestä tutkimuksesta, sekä seurannasta (monitoring) että tarkkailusta. Arvioinnille ja arviointitutkimukselle löytyy kirjallisuudesta useita määritelmiä:

• Arviointitutkimus tarkoittaa sosiaalitieteiden menetelmien systemaattista soveltamista sosiaalisten toimenpideohjelmien arvioimiseksi, niiden käsitteellistämiseksi, suunnittelemiseksi, toimeenpanemiseksi ja hyödyllisyyden takaamiseksi.
• Arviointi on systemaattista tiedonkeruuta toimenpideohjelmien piirteistä, toiminnoista ja tuloksista.
• Arvioinnilla voidaan pyrkiä kolmeen tulokseen: tilivelvollisuuden täyttämiseen, kehittämistyön edistämiseen tai uuden tiedon tuottamiseen, joista viimeksi mainittu tulee lähimmäksi arviointitutkimuksen käsitettä.
• Arviointi voidaan jakaa tieteelliseen ja tekniseen. Tieteellisessä arvioinnissa jäljitellään kokeellisen tutkimuksen ihannetta, teknisessä keskitytään annettujen tavoitteiden toteutumiseen. Molemmissa strategioissa korostuvat arviointiin liittyvät oppimisprosessit ja käyttöorientaatiot.

Ihmisten heikentynyt usko perinteisiin auktoriteetteihin on sekä korostanut että kyseenalaistanut arviointitutkimuksen merkitystä. Arviointitutkimus, jossa tieteellinen auktoriteetti ulotetaan käytännön päätöksiin ja toimintaan, on tarjonnut yhden tavan oikeuttaa julkisen vallan toimintaa. Toisaalta samanaikaisesti tiede on menettänyt ensisijaisen auktoriteettinsa tutkimusten tilaajien silmissä ja on yhä enemmän muodostumassa vain yhdeksi tietolähteeksi muiden ohella. Vaikka arviointitietoa yhä enemmän kysytään, sen kysyjät ja hyödyntäjät eivät enää välttämättä luota tieteellisiin vastauksiin.

Ilman toimeksiantorahoitusta arviointitutkimusta tuskin tehtäisiin. Joissakin tilanteissa toimeksiantorahoitus saattaa jopa lisätä tutkimustulosten hyväksyttävyyttä. Jos tutkimustuloksia ei tuotettaisi kohtuullisessa ajassa, niitä tuskin hyödynnettäisiin: koska arviointitutkimus kohdistuu usein päivänpolttavien sosiaalisten kysymysten, riskien ja ongelmien ratkaisuyrityksiin, tuotettu tieto voi vanhentua jopa yhdessä yössä.

Hyödyntämisen lähikäsitteitä ovat välittäminen (dissemination), joka ei sisällä tutkimustiedon aktiivista hankkimista eikä sen soveltamista päätöksenteossa. Toinen lähikäsite on diffuusio, joka tarkoittaa tutkimuksen tulosten ja ajattelutapojen leviämistä yhteiskunnan kulttuurin osaksi. Kolmas lähikäsite on soveltaminen (application), joka tarkoittaa tulosten suoraa siirtämistä päätöksentekoprosessin osaksi.

Tutkimustiedon hyödyntämiseen on esitetty useita näkökulmia:

• Tarjontalähtöisessä mallissa oletetaan, että tutkimustiedon hyödyntäminen liittyy läheisesti alan perustutkimukseen, joka luo edellytykset soveltavalle tutkimukselle. kehitystyölle ja viimein tiedon soveltamiselle.
• Kysyntäpohjaisessa mallissa ongelmanratkaisussa korostetaan tutkimustulosten syntymistä vastauksena joihinkin kysymyksiin ja ongelmiin, jotka ovat syntyneet poliittishallinnollisella kentällä.
• Interaktiivisessa mallissa tutkimustiedon nähdään tulevan hyödynnettäväksi vuorovaikutusprosesseissa ja verkostoissa tutkijoiden, poliitikkojen, hallintovirkamiesten, ammatilaisten, suunnittelijoiden, journalistien, asiakkaiden ja tuttavien kesken.
• Poliittisessa mallissa tutkimuksen nähdään toimivan päätöksenteon legitimoijana.
• Valistusmallissa tutkimus vaikuttaa tapoihin, joilla päätöksentekijät muotoilevat kysymyksensä, sekä tuottaa uusia näkökulmia ja perehtyneisyyttä ongelma-alueeseen.
• Kulttuurimallissa korostetaan tutkimuksen merkitystä yhtenä kulttuurin osa-alueena, jolloin sen oletetaan vaikuttavan päätöksentekoon samalla tavalla kuin muidenkin kulttuurin tuotteiden, esimerkiksi joukkotiedotuksen, kaunokirjallisuuden, elokuvien ja teatterin.

Arviointitutkimukselle on 1960-luvulta alkaen kehittynyt neljä näkökulmaa:

• Kokeellisen arviointitutkimuksen naiivit hyödyntämisodotukset: Arviointitutkijat rakensivat 1960- ja 1970-lukujen taitteessa suuren unelman ”eksperimentoivasta yhteiskunnasta”. Menetelmällisenä esikuvana olivat kokeelliset, kvantitatiivista tietoa tuottavat tutkimusasetelmat koe- ja kontrolliryhmineen. Jos nämä eivät olleet mahdollisia, voitiin hyödyntää kvasikokeellisia, tilastolliseen kontrolliin perustuvia asetelmia. Tutkijat halusivat päästä käsiksi kausaalisuuden kysymykseen eli kysymykseen siitä, tuottavatko toimenpideohjelmat todella havaitut vaikutukset vai ovatko ne joidenkin muiden tekijöiden seurausta. Laboratoriomaisille tutkimusohjelmille oli ominaista, että niissä arvolähtökohdat ja arvottaminen asetettiin tutkimuksen ulkopuoliseksi asiaksi, jolloin tutkimuksen tehtäväksi jäi vain mittaaminen ja sen pohjalla tehtävät päätelmät ja suositukset. Koska tutkijat pitivät itsestään selvänä, että heidän ensiarvoisen tärkeinä pidettyjä tutkimustuloksia järjestelmällisesti käytetään poliittishallinnollisessa päätöksenteossa, he eivät paljoakaan kiinnittäneet huomiota tutkimustensa hyödyntämiseen. Tutkijat otaksuivat tuottamansa tiedon olevan suoraviivaisesti välineellisellä tavalla hyödynnettävissä.
• Hyödynnettävyys pragmaattisen arviointitutkimuksen lähtökohtana: Tutkijat havaitsivat, että erilaisia uudistuksia ja toimenpideohjelmia käynnistettiin ja lakkautettiin riippumatta tutkijoiden suosituksista. Tutkimukset jätettiin kokonaan lukematta ja ottamatta huomioon. Lähestymässä olevat vaalit saattoivat johtaa tutkimustulosten sivuuttamiseen tai vääristelyyn.  Huomattiin, ettei uudistuksia tehdä rationaalisen päätöksenteon mallin mukaisesti yhtenä tiettynä ajankohtana niiden vaikuttavuutta koskevien tulosten valmistuttua.  Sen sijaan uudistusten nähtiin syntyvän inkrementaalisen päätöksenteon seurauksena vähittäisissä askelaskeleelta etenevissä valinnoissa ja päätöksissä. Nämä saattavat perustua muun muassa entisiin tapoihin, improvisointiin, sopeutumiseen, neuvotteluihin ja sopimuksiin. Arviointitutkimuksen ymmärrettiin olevan monella tavalla poliittista.

Samaan aikaan alettiin painottaa, että tutkimusta olisi suunnattava entistä enemmän tiedon käytön, poliittishallinnollisen päätöksenteon näkökulmasta käsin. Arviointi alkoi kehittyä pragmaattisemmaksi ja siirryttiin tarjontalähtöisestä tutkimustiedon tuottamisesta ja hyödyntämisestä kysyntäpohjaisen ongelmanratkaisumallin mukaiseen vuorovaikutukseen. Yhdysvalloissa vuonna 1980 julkaistuissa laatuvaatimuksissa pidettiin arviointitutkimuksen laadun kriteereinä hyödyllisyyttä, uskottavuutta, oikeudenmukaisuutta ja tarkkuuttaa. Metodisten vaatimusten sijasta yhä keskeisemmäksi kriteeriksi alkoi tulla tiedon relevanssi käyttäjien näkökulmasta.

Arviointitutkimus alkoi 1970-luvulla kohdentua uudistusten ja toimenpideohjelmien toteutukseen, ja niin kutsuttu toimeenpanotutkimus sai alkunsa. Kun toimeenpanokysymykset tulivat huomion kohteeksi , tutkimus alkoi määräytyä yhä enemmän alempien virkamiesten, ammattihenkilöiden ja myöhemmin palvelujen käyttäjien tietotarpeista käsin. Ymmärrettiin, että nämä tahot eivät niinkään ole kiinnostuneita yleisistä tuloksista kuin siitä miten toimenpideohjelmia ja palveluja tuli toteuttaa ja kuinka niitä voidaan kehittää.

Tämä arviointitutkimuksen painopisteen siirtyminen sai aikaan uudenlaisen hyödyntämisajattelun murtautumisen sellaisten arviointihankkeiden rinnalle, joissa otaksuttiin toimeenpanon ja kehittämisen etenevän ylhäältä alas, alkoi syntyä myös arviointia, joissa niiden ajateltiin etenevän alhaalta ylös. Monologisesta tutkimustulosten välittämisestä alettiin siirtyä dialogiseen malliin, jossa tutkimustulokset tuoteteen ja välitetään läheisessä vuorovaikutuksessa tutkijoiden ja arvioitavan toiminnan asianosasten kesken.

• Arviointitiedon hyödyntäjien osallisuus konstruktiivisessa tiedonmuodostuksessa: 1970-luvulla arviointitutkimukseen tuotiin ”stakeholderin”, arviointitutkimuksen osallisen, intressitahon, avainhenkilön tai avainryhmän käsite. Ymmärrettiin, ettei arviointitutkimusten hyödyntäjiä kannata nähdä vain passiivisena yleisönä, vaan tietoa muodostavat ja hyödyntävät aina ihmiset. Uusi käsite auttoi käyttäjälähtöisten, konstruktiivisten, osallistavien ja yhteistoiminnallisten arviointilähestymistapojen kehittymistä. Kun aiemmat arviointisuuntaukset painottivat tutkijan ulkopuolisuutta suhteessa arvioitaviin käytäntöihin, tämän suuntauksen edustajat pitivät tätä neutraalisuutta mahdottomana.

Yhtenä tuloksen oli monitahoarvioinniksi (multiple constituency) kutsuttu strategia, jossa edetään neljässä vaiheessa. Ensin identifioidaan osalliset, minkä jälkeen eritellään heidän vaateitaan, kokemuksiaan ja käsityksiään. Sitten kerätään aineistoa erityisesti ratkaisemattomista kysymyksistä ja lopulta neuvotellaan syntyneestä tiedosta. Arvioinnista syntyy yhteinen, vuorovaikutuksellinen oppimisprosessi tutkijan ja muiden toimijoiden kesken. Näiden oppimisprosessien kautta uudistuksista, toimenpideohjelmista ja palveluista vastuussa olevat toimijat hyödyntävät syntyvää tietoa jo hankkeen kuluessa.

Arviointiote mahdollistaa palveluiden käyttäjien ja muiden toimijoiden vaateiden ja kokemusten autenttisen esiintulon sekä edesauttaa palveluista vastaavia ammattilaisia kehittämään toimintaansa. Se saattaa myös lisätä toimijoiden kiinnostusta ja kykyä ylipäätänsä hyödyntää tutkimuksia.

Kun kokeellinen arviointi on ollut vaikeuksissa täydellisen kontekstin häivyttämisen vuoksi, konstruktiivinen arviointi on suorastaan liimaantunut toimintaympäristöönsä, josta myös seuraa, että tuotetusta tiedosta on hankala tehdä yleistyksiä ja sitä on hankalaa siirtää toisiin toimintaympäristöihin.

• Arviointitiedon hyödyntäjistä tiedon tuottajiksi: Tällä vuosikymmenellä arviointi ja arviointitutkimus ovat tulleet uuteen tilanteeseen, kun arvioinnin merkitys julkisella sektorilla on hyvinvointivaltion kustannuspaineiden ja ajattelutapojen muutosten vuoksi entisestään korostunut. Hallinnon uudistusohjelmat ovat suosineet julkisten toimintojen tehostamista, supistamista, hajauttamista ja palvelujen yksityistämistä sekä tuoneet markkinalähtöiset opit, lähestymistavat ja käsitteet julkisten organisaatioiden ja palvelujen kehittämiseen. Kustannusvaikuttavuudesta on tullut yhteiskunnallista vaikuttavuutta tärkeämpi arvo, jonka toteuttamisen seuraamiseksi hallinnollisten, organisaatioiden sisällä tehtävien tilivelvollisuusarviointien tarve on räjähdysmäisesti kasvanut. Budjetointi. ja tulosvastuiden siirtyessä uudistuksista vastaaville ammattilaisille heidän ammattitaitonsa on kehittymässä uudentyyppiseksi asiantuntijuudeksi, jossa hyödynnetään uudenlaista itsearvioinnin ja itsetarkkailun menetelmää, muun muassa liikkeenjohdollisen tulosohjauksen käsitteistöä.

Arviointi näyttäisi kehittyvän uudella tavalla ylhäältä alas johdetuksi toiminnaksi. Uudistuksia ja palveluja hallinnoidaan ja ohjataan yhä enemmän. Samanaikaisesti ammattihenkilöistä on tullut arvioinnin itseoikeutettuja tekijöitä: heidän odotetaan omatoimisesti tarkkailevan ja säätelevän toiminnan kustannuksia, tehokkuutta ja laatua aiempaa enemmän.”

Lopuksi: Pitääkö arviointitutkijan edistää tutkimustiedon hyödyntämistä? Kokeellisen arviointitutkimuksen tekijät eivät osaa vastata tähän kysymykseen, kun he eivät ole huomanneet sitä kysyä itseltään tai toisiltaan. Pragmaattisen arviointitutkimuksen edustajat ihmettelevät, miksi moista edes kysytään. He eivät näe mitään mieltä koko arviointitutkimuksessa elleivät se alusta pitäen ota huomioon tutkimusten hyödyntäjien tietotarpeita ja pyri vastaamaan niihin. Konstruktiivisen arvioinnin edustajat ovat pragmaattisen arviointisuunnan edustajien tapaan valmiita laajentamaan dialogia arviointitiedon hyödyntäjien kanssa. He muodostavat tietoa yhdessä toimenpideohjelmien ja palvelujen osallisten kanssa, mutta useinkaan kukaan muu ei kysy tämän tiedon perään.   

Virtanen, Petri (2002) Ohjelma-arviointi. Metodologisia ja arviointitiedon tiedonmuodostukseen liittyviä näkökohtia. Hallinnon tutkimus 21 (2), 128–140.

Ohjelma-arviointi – pdf (journal.fi)

Olen toivottavasti pystynyt esittämään, että ohjelma-arviointi (ja projektien arvioinnissa, kuten tässä artikkelissa olen kuljettanut ohjelma-arvioinnin rinnalla myбΡs projektiarviointia) on vaikea taiteenlaji. Havaitut muutokset eivät ole nettomuutoksia, arvioinnilla on erilaisia motiiveja, arviointia tehdään ohjelman toteutuksen eri vaiheissa ja arvioinnissa hyбdynnetääп erilaisia empiirisiä tiedonkeruumenetelmiä, empiirisistä havainnoista pitää voida johtaa toimenpidesuosituksia, arvioinnin konkreettiset tutkimusmenetelmät edellyttävät laajaa osaamista, arviointien hyödyntäminen ei ole itsestään selvää ja niin edelleen. Olen kuitenkin kohtalaisen vakuuttunut siitä, että ohjelma-arviointien tekijбiden kysyntä hallinnossa tulee lähivuosina kasvamaan. Suomen keskushallinnon käynnissä olevat uudistushankkeet johtavat aikaa myöten uuden ohjelma­-ajattelun lisääntymiseen ja politiikkakeskeiseen (policy-oriented) ajatteluun hallinnon toimeenpa­norakenteissa. Milloin muutos toden teolla tapah­tuu – sitä en uskalla arvioida – mutta olen varma, että elämme tällaista kehitystä jo nyt parhaillaan julkishallinnossa.

Politiikkakeskeisyys on valtava haaste suoma­laiselle julkiselle hallinnolle. Totutut budjettimo­mentit – ja erityisesti näiden budjettimomenttien ·vartijat” -eivät välttämättä ole täysin ihastuneitatästä muutoksen tuulesta. Muutos kun merkit­see paitsi uutta ajattelua myös entisten valta­asetelmien uudelleen virittymistä ja virittämistä.Muutos on haaste myös politiikan tekijöille ja arvi­ointien tekijöille. Miten tarjota uskottavaa, koetel­tua ja sovellettavissa olevaa tietoa suomalaisesta yhteiskunnasta?

Petteri Paasio (2003) Vaikuttavuuden arvioinnin mahdollisuudet ja rakenne sosiaalialalla. Stakes. FinSoc Työpapereita 3.

Työpapereita303 (julkari.fi)

Tom Erik Arnkil ja Jaakko Seikkula (2005). Tuomariksi houkuteltu tiede. Julkaisussa Sakari Hänninen, Jouko Karjalainen, Tuukka Lahti (toim.) Toinen tieto Kirjoituksia huono-osaisuuden tunnistamisesta. Stakes. Sivut 52–76.

MUU211_Toinen tieto.pdf (julkari.fi)

”Valtiovalta on terästäytynyt vaatimaan näyttöä niin meillä kuin muuallakin. Vaatimus ei koske vain mielenterveystyötä, vaan terveys- ja sosiaalipalveluja laajemminkin, ja muitakin sektoreita. Peruspalveluministeri Liisa Hyssälä kirjoitti Helsingin Sanomien Vieraskynä-palstalla 1.12.2004: ”Yhtenäiset kiireettömän hoidon kriteerit on valmisteltu Käypä hoito -ohjeiden perusteella, eli pohjana on tieteellisesti tutkittu tieto hoitojen vaikuttavuudesta. Tarkoitus on siis keskittyä vaikuttavaan hoitoon ja karsia niitä menetelmiä, joiden vaikuttavuudesta on vähän tai ei ollenkaan näyttöä.” Hoitoon pääsyä ja hoitokäytäntöjä säädellään. Yhtäällä pisteytetyt vaivat, toisaalla tutkitut käytännöt. Välissä politiikka, joka saattaa nämä osapuolet vihdoinkin oikeaan kosketukseen. Kuulostaa vastaansanomattomalta. On kuitenkin kysyttävä: näyttöä mistä.” (sivu 54)

”Väitämme, että on muotoutumassa kolmen toisiaan tukevan toimijatason kerrostuma, joka vahvistaa interventionistista asiantuntijakeskeistä otetta ammattiauttamisessa. On satunnaisotantaan perustuva kontrollitutkimus, joka pelkistävien asetelmiensa vuoksi tunnistaa vain interventionistiset käytännöt, kohteiden muuttamisen rajatuilla operaatioilla, on tutkimusten meta-analyysit, jotka hyväksyvät tarkasteluihinsa vain tuollaiset yksinkertaistavat koeasetelmatutkimukset, ja on hallinto, joka perustelee valintojaan em. tutkimuksilla ja käyttää niitä paikalliskontekstien ohjaamiseen etäisyyden päästä. (sivu 52.)

”Dialogisten hoito- ja auttamiskäytäntöjen olennaisimpia puolia ei tavoiteta yksinkertaistavissa asetelmissa. Ne seikat, jotka ovat keskeisimpiä luovuttaessa asiantuntija- ja interventiokeskeisestä ”kohteiden käsittelystä”, verkostojen kohtaaminen, yhteisen kielialueen muodostuminen ja vastavuoroiset vaikutussuhteet, eivät pelkisty muuttujia kontrolloivaan koeasetelmaan. Avointen dialogien käytäntö toteutuu:

• välittömänä apuna. Verkostot kutsutaan koolle 24 tunnin sisällä.
• sosiaalisten verkostojen huomiointina. Mukaan kutsutaan ne henkilöt, joita asia koskee.
• joustavuutena ja liikkuvuutena. Kriisiin joutunutta ei oteta vakiomuotoinen hoito-ohjelman potilaaksi, vaan kokonaisuus räätälöidään tarpeen mukaan.
• työryhmän vastuullisuutena. Työntekijä ei voi lähettää asiakasta eteenpäin lähettämättä myös itseään. Näin estetään sellainen ”luukutus”, jossa ihmiset joutuvat noukkimaan palvelunsa palasia sektoroituneen järjestelmän yksiköistä.
• psykologisena jatkuvuutena. Dialogi-istuntoja jatketaan niin kauan ja niin usein kuin tarpeellista. Hoito-ohjelmaa ei lyödä lukkoon etukäteen.
• epävarmuuden sietona. Diagnosointiin tai muuhun määrittelyyn ei kiirehditä. Asiakkaan ja hänen läheistensä kanssa muodostetaan jaettua kieltä; koetetaan löytää mahdollisuutta pukea sanoiksi vaikeita kokemuksia.
• dialogisuutena. Hoito tähtää dialogin synnyttämiseen eri äänten välillä. Jotta vastaukseen suuntautuva puhe ja yhteisen kielialueen muodostuminen mahdollistuisivat, ammattilaisten tulee ennen kaikkea kuunnella, seurata asiakkaan ja läheisten kieltä, puhua omasta näkökulmastaan ja välttää monologisia, sulkeutuvia ilmaisuja, joissa määritellään, miten asiat ovat tai miten toisten tulisi niistä ajatella. (sivu 53)

”Dialogisten hoito- ja auttamiskäytäntöjen olennaisimpia puolia ei tavoiteta yksinkertaistavissa asetelmissa. Ne seikat, jotka ovat keskeisimpiä luovuttaessa asiantuntija- ja interventiokeskeisestä ”kohteiden käsittelystä”, verkostojen kohtaaminen, yhteisen kielialueen muodostuminen ja vastavuoroiset vaikutussuhteet, eivät pelkisty muuttujia kontrolloivaan koeasetelmaan.” (sivu 55)

”Norjassa on toteutettu suurimittainen hanke ns. monisysteemisen auttamismallin (multi system treatment) juurruttamiseksi koko maahan. Intervention yhteyteen on rakennettu mittava seurantatutkimus. (Ks. Ogden & Halliday-Boykins 2004.) Tuo hanke ja sen seuranta ovat erityisen kiinnostavia tarkoittamiemme hyvien käytäntöjen yleistämisen kannalta, sillä kyseessä oli verkostomaisten keinojen käyttö, ei lääkkeen, yhden toimenpiteen tms. vaikutus kohteeseen. Se on arvomaailmaltaankin enemmän dialogisten käytäntöjen suunnassa kuin yksiviivaiset interventiot. Rikoksia tekevien, auttamisjärjestelmien perinteisillä keinoilla tavoittamattomissa olevien nuorten syrjäytymisriskiä pyrittiin vähentämään menetelmäkokonaisuudella, jossa kyseiseen menetelmään koulutetut henkilöt ovat tiiviissä kanssakäymisessä nuorten, heidän perheidensä ja muidenkin verkostojen kanssa.

Kysymyksessä oli koe siitä, voiko Yhdysvalloissa tutkitusti tuloksellisen toiminnan toistaa Norjassa. Toteutuiko menetelmä siis kaikkialla täsmälleen samanlaisena? Tuskin. On syytä olettaa, että menetelmän toimivuuden ehtona oli, että sen käyttäjät pystyivät käyttämän sitä generatiivisesti, joustaen ”kontekstin vaatimusten” mukaan, tehden muunnoksia, joita kukin vuorovaikutustilanne nuorten ja heidän verkostojensa kanssa vaati. Tekivätkö he vain menetelmään liittyviä asioita, eliminoiden ehkä ”omana itsenään” olemisen? He tuskin onnistuivat tässä, jos sitä ehkä yrittivät.

Kun tutkimuksessa pyrittiin yleistettävään tietoon, tavoitteena oli löytää vaikuttavat tekijät. Mutta vastausta siihen, mikä viime kädessä aiheutti havaitun tuloksen, ei saatu. Itse menetelmähän ei kohtaa, auta tai paranna ketään. Psykososiaalisen työn menetelmät elävät aina menetelmien käyttäjien toimintana. Uuden menetelmän oppiminen vaikuttaa aina sen käyttäjien kokonaisuuteen. He saattavat nyt olla kiinnostuneempia asiakkaistaan kuin aikaisemmin, he saattavat luoda toisenlaisen suhteen asiakkaihinsa ja kumppaneihinsa, he saattavat tarkkailla itseään ja omaa toimintaansa eri tavalla kuin ennen, he saattavat puhua eri tavalla kuin ennen, he saattavat hakea ja saada liikkumavaraa johtamisjärjestelmässään, he voivat toimia uudella tavalla yhteistyösuhteissaan. Jos menetelmään ajan oloon kyllästytään tai siitä tulee tavanomaista rutiinia, tulokset ovat luultavasti erilaiset, vaikka itse menetelmä ei ole muuttunut lainkaan. (sivu 61-62)

”Sana ”implementointi” kuvaa huonosti sitä poliittista toimintojen yhteenliittymää, jonka tuloksena jokin käytäntö oikeutetaan, yleistyy ja saa jatkuvuutta. Sana on kuin jäänne aikakaudelta, jolloin hallinnon luottamus omiin ohjailumahdollisuuksiinsa oli korkeimmillaan. Hyvät käytännöt kohotetaan normin asemaan, vaikka niitä ei määritelläkään säädöksinä. Normatiivisen aseman niille antaa tiede. Tuomariaseman saa evidence based -tutkimus. Tällainen tutkimus on näennäisesti epäpoliittista, viileän neutraalia koe- ja vertailutoimintaa, mutta tuleekin kiedotuksi tiiviisti politiikkaan.

Kun ohjattavana on asiantuntijajärjestelmä – sosiaalipalvelu- terveydenhuolto-, koulutus-, työvoimapalvelu- yms. järjestelmät koulutettuine henkilöstöineen –, hallinnon suositus eksperteille ei ole riittävän vakuuttava, vaikka sen esittäisi korkea taho. Ylimmältäkin administratiiviselta portaalta tuleva suosius on vain hallinnon suositus alan asiantuntijoille. Suosituksilta puuttuu tiukan normin ja tarkasti määritellyn resursoinnin ryhdistävä vaikutus. Niinpä hallinto lainaa puuttuvaa auktoriteettia tiedejärjestelmältä: Lahjomattomien meta-analyysien pohjalta osoitetaan, ettei tämä tai tuo suositus ole vain kulloisenkin hallinnon ideologinen preferenssi tai satunnainen tulos, vaan yleinen, kaikkialla pätevä tieteellinen selitys ilmiöön vaikuttamisen pätevistä keinoista. Kun hallinnon keskuksesta lähetetään tieteen auktorisoimaa informaatiota konteksteihin x’, x’’ ja x’’’, näyttäisi tarjoutuvan mahdollisuus niiden hallintaan ilman, että loukataan vallan delegoinnin periaatteita. Nyt karsitaan kansalaisten edun nimissä riittämättömään vaikuttavuusnäyttöön perustuvia käytäntöjä. Kunnilla ja muilla paikallistoimijoilla on toki vapausasteita toimia myös tieteellisiä totuuksia vastaan. Tuollaisiin käytäntöihin ei tosin osoiteta ohjelmissa määrärahoja.” (sivut 66–67)

”Näyttöön perustuva tutkimus kuvaa tutkimiaan ilmiöitä sellaisina – ja vain sellaisina – kuin ne esittäytyvät sen asetelmissa sen tutkimusmenetelmille, ei ilmiötä ”sellaisenaan”. Pystyttäessään asetelmaansa tutkimus konstruoi kohdetta. Jotain saadaan tarkastelun piiriin, jotain ei. Käännellessään käytäntöjä sopiviin asentoihin ja rajatessaan kuvaa tutkimus on kaikkea muuta kuin neutraalia.” (sivu 71)

”Pätevien tulosten aikaansaamiseksi ja ihmisiin kohdistuvien vaikutusten ennakoimiseksi tieteen olisi sitouduttava vahvemmin – keskivahvasti – niihin konteksteihin, joissa sen tutkimat ilmiöt ilmenevät ja joita sen tulosten tuottamat vaikutukset koskevat. He uskovat, että tällä tavoin voidaan tuottaa sosiaalisesti ”tanakkaa”, elinvoimaista (”socially robust”) tietoa. Sosiaalinen tieto on päässyt vaikuttamaan siihen, se pätee laboratorio-olosuhteiden ulkopuolellakin, ja sitä voi jatkuvasti testata.

Mielestämme vankkumaton usko yhteiskunnalliseen suunnitteluun ja tieteen ennustettavuuteen ja sitä ilmentävä evidence based -tutkimuksen suosio ovat modernisaation kliimaksin jääräpäinen jäänne. Keskeistä olisi havaita yhteiskunta–tiede-suhteiden tiivistyminen (tieteen kontekstualisoituminen) sekä sosiaalisesti jaetun asiantuntemuksen ilmaantuminen. Mielestämme koeasetelmiin pohjautuvan evidence based -tutkimuksen kohoaminen käytäntöjen käypyyden tuomariksi on itse juuri tuota yhteiskunta–tiede-suhteiden tiivistymistä. Näennäisesti neutraali tiede saa poliittisin perustein rahoituspreferenssejä ja se tulee poliittisten valintojen perusteluksi. Poliitikot alkavat puhua evidence based -jargonia.

Tuloksellisuustutkimukselta lainataan ohjausauktoriteettia – korkoa vastaan. Randomisointitutkijoille tarjoutuu houkutus esiintyä ”tieteen”, ei paradigman nimissä. Mikäli näyttötutkimuksen tulokset halutaan kiistää, ne on kiistettävä toisilla satunnaistettuihin otantoihin perustuvilla kontrollitutkimuksilla, siis hallitsevan paradigman piirissä. Uusi ”tiedeperustainen politiikka” hyötyy sellaisesta tieteestä, joka ei näytä poliittiselta lainkaan, ja sellainen tiede, jolta kysytään tuomariarvioita, hyötyy politiikasta, jonka valinnat eivät näytä lainkaan poliittisilta.

Tarvitaan hyvää tuloksellisuustutkimusta, joka osallistuu keskusteluun valintojensa oikeutuksesta. Hyvien käytäntöjen yleistämiseen ei ole oikotietä. Toimijoiden on luotava – omista tai toisten kokemuksista ja tutkimustietoa hyödyntäen – hyvät käytännöt niissä konteksteissa, joissa he toimivat. Mikäli kontekstissa x toteutuneet käytännöt – esimerkiksi avoimet dialogit – on kuvattu hyvin ja rikkaasti ja tuloksia on punnittu problematisoiden, ne voidaan konteksteissa x’, x’’ ja x’’’ omaksua paikallisen oppimisen aineistoiksi. Ehkäpä kontekstin x konkareita kutsutaan kuultaviksi. Heidän välineitään ja niiden käyttötapoja voi omaksua, mutta toimijoiden ei toisissa konteksteissa tarvitse uskoa, että heille on esitetty universaali mekanismi, joka vaikuttaa vain yhteen suuntaan.” (sivut 73–74)

Koivisto, J. (2006). Sosiaalialan näyttökeskustelu: miten sosiaalisten interventioiden vaikuttavuus osoitetaan? Janus Sosiaalipolitiikan ja sosiaalityön tutkimuksen aikakauslehti, 53-60.

Sosiaalialan näyttökeskustelu: miten sosiaalisten interventioiden vaikuttavuus osoitetaan? (julkari.fi)

Sosiaalialaa koskevaan keskusteluun on 2000-luvun alkupuolella tullut ns. evidence-based practice -ajattelu, jossa sosiaalityön ja sosiaalisten interventioiden vaikuttavuudesta perätään tutkimuksellista näyttöä. Näyttökeskustelu on ollut erityisen kiivasta Britanniassa. Siellä vuonna 1997 valittu työväenpuolueen hallitus esitti toimintapoliittisessa julkilausumassaan, että näyttöperustaisuus olisi yksi tehokkaan toimintapolitiikan ydinpiirteitä. Näytöllä ei tarkoitettu pelkästään tutkimustietoa,
vaan sen katsottiin sisältävän asiantuntijatietoa, tilastoja, asianosaisten konsultaatiota, aikaisempia toimintapolitiikan arviointeja, internetin, vaihtoehtoisten toimintapoliitikkojen kustannuksia, taloudellisen ja tilastollisen mallintamisen tuotoksia.

Rationaalinen ontologia tarkastelee sosiaalista todellisuutta materiaalisesti heterogeenisinä verkostoina (sosiomateriaalinen, sosiotekninen). Todellisuutta ei siis jäsennetä kahtiajakojen avulla, vaan suhteina. Verkostojen elementtejä voivat ihmisten lisäksi olla mitkä tahansa materiaaliset elementit, esimerkiksi tekniset artefaktit, raha, arkkitehtuuri, arvot, päämäärät ja normit. Muut
elementit välittävät ihmisten toimintaa ja vuorovaikutusta (ks. Latour 1993). Mitään ei kuitenkaan ole itsestään olemassa, vaan kaikki entiteetit syntyvät verkostoissa. Entiteetit ovat suhteita, niitä ei ole olemassa ilman muita entiteettejä. Ne ovat paremminkin ”verbejä” kuin ”substantiiveja”. Niitä tarkastellaan tuloksina.

Relationaalinen arviointi tutkii ja kuvaa sitä, miten muutosta tapahtuu asiakkaan, sosiaalialan työntekijän ja muiden mahdollisten toimijoiden teknisesti välittyneen (esimerkiksi työmallit, normit ja säännöt) vuorovaikutuksen tuloksena. Tapahtumaa muokkaavat siis ihmisten lisäksi monet erilaiset elementit. Interventiotapahtumassa neuvotellaan ja päätetään asiakkaan päämääristä, tarpeista ja ongelmista, nämä eivät ole etukäteen määräytyneet. Tapahtumaa seuraava muutos ei selity millään
yksittäisellä elementillä. Interventiossa noudatetulla ”interventiomenetelmällä” ei ole ominaisuutta hyvä tai huono. Käytettävän menettelyn arvo määrittyy sosiomateriaalisen verkoston suhteissa.

Relationaalisen arvioinnin metodi on periaatteessa yksinkertainen: seurataan, mitä toimijat ikinä tekevätkään ja miten muutosta tapahtuu toimijoiden teknisesti välittyneen vuorovaikutuksen tuloksena. Kaikkea ei kuitenkaan voi seurata. On päätettävä
ketä seurataan ja millaisin tutkimusmetodein.

Marketta Rajavaara (2007) Vaikuttavuusyhteiskunta. Sosiaalisten olojen arvostelusta vaikutusten todentamiseen. Kelan tutkimusosasto. Sosiaali- ja terveysturvan tutkimuksia 84.

Vaikuttavuusyhteiskunta – sosiaalisten olojen arvostelusta vaikutusten todentamiseen (helsinki.fi)

Tiivistelmä: Arvioinnin käytännöt ovat levinneet laajasti suomalaiseen yhteiskuntaan ja hyvinvointivaltion hallinnointiin. Samalla vaikuttavuuden käsite on saanut sananvaltaa hyvinvointivaltion toiminnoissa. Tutkimuksen kohteena on ”vaikuttavuusyhteiskunnan” ilmaantuminen eli kysymys siitä, miten sosiaalipolitiikkaa ja hyvinvointivaltion käytäntöjä alettiin tarkastella vaikuttavuuden käsitteen avulla. Sosiaalista imaginaatiota koskevat tarkastelut, Michel Foucault’n näkemykset nykyisen historiasta, hallinnallisuudesta ja genealogisesta ja arkeologisesta tutkimuksesta sekä Ian Hackingin käsitykset dynaamisesta nominalismista ja järkeilytyyleistä ovat olleet keskeisiä käsitteellisiä ja metodologisia lähtökohtia tutkimuksessa. Lisäksi tutkimuksessa hyödynnetään Luc Boltanskin ja Laurent Thévenot’n ideoita toimijoiden arvojärjestyksistä.

Arviointi ymmärretään yleensä erilliseksi tietokulttuuriksi tai käytännöksi, mutta tutkimuksessa se jäsennetään tiedonmuodostukseksi, jota sisältyy hallinnoinnin ja eri tieteenalojen käytäntöihin. Tutkimuksessa analysoidaan vaikutusten tietokäytäntöjen ja järkeilytyylien ilmaantumista yhteiskuntapolitiikan, sosiaalipolitiikan ja sosiaalityön tutkimuksen välityksellä. Tutkimuksessa käytetään tapausesimerkkejä, jotka ovat sosiaalipalvelujen ja sosiaalityön vaikutusten ja laadun arviointiin liittyviä ajankohtaisraportteja tai akateemisia opinnäytteitä.

Sosiaalipolitiikan ja hyvinvointivaltion muotoilua koskeviin diskursseihin on aina sisältynyt epävarmuutta ja epäluottamusta hyvinvointipolitiikkojen vaikutuksista, vaikka vaikutukset ovat olleet miltei näkymätön teema tutkimuksessa. Tutkimuksessa osoitetaan, että hyvinvointivaltion hallinnointiin on ilmaantunut kahdeksan vaikutusten arvioinnin järkeilytyyliä: tilastollinen, tavoiteperusteinen, tarveperusteinen, kokeellinen, vuorovaikutteinen, tuloksellisuuden ja auditoinnin sekä näyttöperusteinen järkeilytyyli.

Sosiaalipolitiikan ja sosiaalityön tutkimus on osallistunut vaihtelevin tavoin vaikutusten tietokäytäntöjen aikaansaamiseen.
1980-luvun lopulla alkaneessa hyvinvointivaltion suunnanmuutoksessa palvelujen markkinaehtoisuutta alettiin lisätä, julkisia hyvinvointitehtäviä ryhdyttiin kaventamaan ja uuden julkisjohtamisen (New Public Management) toimintamallit tulivat käyttöön. Muutokset merkitsivät vaikuttavuuden käsitteen läpimurtoa sekä uusien tilivelvollisuuden käytäntöjen eli tuloksellisuuden ja auditoinnin sekä näyttöperusteisen järkeilytyylin voimistumista hallinnoinnissa. Yhteiskuntatutkimus ja arviointi
ovat tulleet toisistaan riippuvaisiksi, vaikka myös näiden tietomuotojen eriytymistä on tapahtunut.

Käsitteillä vaikutetaan maailman tapaan toimia. On harmillista, että vaikuttavuusyhteiskunta ei sisällä myönteistä muutosvoimaa. Vaikutuksia tultaneen selvittämään niin kauan kuin on olemassa yhteiskuntapolitiikkaa tai sosiaalipolitiikkaa, sillä vaikutusten järkeilytyylit ja teknologiat liittyvät oleellisesti hyvinvointipolitiikkoihin sisältyvän tiedollisen epävarmuuden hallintaan. Vaikuttavuus on kuitenkin saanut merkillisen paljon sananvaltaa yhteiskunnassa ottaen huomioon, että se on tyhjä käsite. Vasta kun tiedustellaan sitä, millaisten pyrkimysten valossa jokin yhteiskunnallinen käytäntö on vaikuttava, käsite tulee tärkeäksi. Hyvinvointivaltiollinen hallinta tuotoksista ja vaikutuksista käsin päätynee aikaa myöten umpikujaan. Pahimmillaan sen seurauksena yhteiskunnassa ei enää muisteta, tiedetä tai kyetä sopimaan siitä, mitä tarkoituksia varten hyvinvointivaltion toiminnot, palvelut ja etuudet ovat ylipäätänsä olemassa.

Poimintoja: ”Tilastollinen järkeilytyyli otettiin laajaan käyttöön, kun alkava teollistuminen ja yhteiskunnalliset jännitteet kehittyvässä kansallisvaltiossa saivat aikaan 1800-luvun lopulla tiedonhalun, joka kohdistui maaseutu- ja kaupunkiväestön elinoloihin. Tilastot mahdollistivat politiikkakeskustelun tiedon subjektien eli tutkijoiden, selvitysten tekijöiden, päätöksentekijöiden ja hallinnon kesken. Kansalaiset eivät sisältyneet tiedon subjekteihin, vaan heidän sosiaaliset olonsa olivat ”arvostelun” kohteena. Tiedonmuodostus kehittyi kansallisvaltiokehykseen. Sitä alettiin vakiinnuttaa valtiollisten tilastointi- ja tutkimusinstituutioiden. Vaikutus tai kannattavuus saatettiin esittää perusteluna ”tarkoituksenmukaisille” uudistuksille”. (sivut 171-172)

”Vaikuttavuuden käsite alkoi asettua hyvinvointivaltion hallinnointiin ja tietokäytäntöihin 1980-luvun lopulla. Vaikuttavuus on ollut tärkeä käsite esimerkiksi talous- ja lääketieteellisessä tutkimuksessa, mutta sosiaalipolitiikan ja sosiaalityön tutkijoiden keskuudessa ei vaikuttavuuden käsitettä ole juuri käytetty ennen tätä ajankohtaa. Sen sijaan on puhuttu esimerkiksi toiminnan vaikutuksesta, vaikutuksista ja seurauksista.” (sivu 171)

”Tieteelliseen näyttöön perustuvien politiikkojen ja käytäntöjen kehittäminen on tullut Suomessa keskusteluun 2000- luvulla. Siinä on kyse laajenevasta, globaalista liikkeestä, jossa korostetaan palvelujen, interventioiden ja toimintojen vaikuttavuudesta tehtävien systemaattisten tutkimuskatsausten asemaa. Toimintatapa perustuu verkostotyöhön ja Internet-pohjaisuuteen. Tiedon vakiinnuttamisen verkostot ovat globaaleja, valtiollisia ja paikallisia. Tämän järkeilytyylin ilmaantumisen voitaisiin tulkita liittyvän hyvinvointivaltion karsinnan politiikkoihin ja menettelyihin ja niiden aikaansaamiin tiedonhaluihin. Haluttaisiin mieluiten rahoittaa vain sellaisia palvelutoimintoja, joiden vaikuttavuudesta on olemassa tieteellistä näyttöä.” (sivu 176)

”Ihmisten ja yhteiskunnan hallintaan suuntautuva tiedonhalu näyttää viime vuosikymmeninä muuntuneen ennennäkemättömäksi vimmaksi arvioida hyvinvointivaltiollisia käytäntöjä. Arviointikäytännöt ovat levinneet Suomessa miltei kaikkiin hyvinvointivaltion toimintoihin, palveluihin ja etuuksiin. Kyse ei ole vain arvioinnin halusta vaan myös vaatimuksista, sillä lainsäädännössämme oli vuoden 2006 alussa ainakin 80 arviointiin velvoittavaa säädöstä.  Ne koskevat esimerkiksi vaikutusten, laadun, toiminnan, vaarojen, suunnitelmien toteutumisen, palvelun ja hoidon tarpeiden, oppisuoritusten, tuotteiden ja henkilöiden arviointia. Arvioinnin velvoitteet on säädetty pääosin 1990- ja 2000-luvuilla.”  (sivu 12)

”Vaikuttavuustietoon tukeutuvaa hallinnointia voidaan nimittää vaikuttavuushallinnaksi. Sen haasteet ja epävarmuudet ilmenevät tällä hetkellä kouriintuntuvasti tieteellisiin näyttöihin perustuvien politiikkojen ja käytäntöjen (evidence-based policy, evidence-based practice) kehittämisessä. Tämä ”evidenssiliike” on laajentunut 1990-luvun lopulta alkaen. Sen yhteydessä haluttaisiin saada aikaan vaikuttavuustietoon perustuvia toimintakäytäntöjä keskeisillä yhteiskuntapolitiikan toiminta-alueilla, kuten terveydenhuollossa, mielenterveystyössä, kuntoutuksessa, työvoimapolitiikassa, sosiaalipalveluissa ja sosiaalityössä.” (sivu 27)

”Näytön vaatimus on kuitenkin osoittautunut perin visaiseksi asiaksi. Miten tärkeää on se, että palvelu, etuus tai ohjelma toimii vaikuttavasti (what works)? Miten vaikuttavuusnäyttöjä voidaan aikaansaada ja hyödyntää? Millaista olisi vaikuttavuusnäyttöihin perustuva yhteiskuntapolitiikka? Mihin poliittista argumentointia tarvittaisiin? Asiantuntijoilla on osoittautunut olevan useita keskenään kilpailevia näkökantoja siitä, mitä näyttö kulloisissakin toiminnallisissa yhteyksissä tarkoittaa, millaisista asioista näyttöjä tulee ja voidaan hankkia, ja miten tieto muodollisesti kelpuutetaan vaikuttavuusnäytöksi. Tavanmukaisesti näytöksi haluttaisiin näissä yrityksissä hyväksyä lääketieteellisen ihanteen mukainen, satunnaistetuilla kokeilla aikaansaatu ja läpi työstetty tieto. Tieteellisten näyttöjen hankinta ei ole kuitenkaan usein edes terveydenhuollossa käytettävien menetelmien kohdalla yksinkertaista, ja useimmissa hyvinvointipalveluissa se on lähes mahdotonta.” (sivu 28)

”Tieteellisiin näyttöihin perustuvien politiikkojen ja toimintakäytäntöjen kehittäminen on vain yksi mutta nähtävästi edelleen voimistuva pyrkimys vaikuttavuusyhteiskunnassa. Vaikuttavuusyhteiskunta merkitsee vaikutustiedon halujen ympärille kehittyneiden tietokulttuurien ja -käytäntöjen läpäisemää yhteiskuntaa. Vaikuttavuuden tietokulttuurit ovat erilaisia paikallisesti, eri tieteenaloilla sekä erilaisissa hallinto- ja asiantuntijaympäristössä. Vaikuttavuusyhteiskunta on pohjimmiltaan erilaisten ”vaikuttavuuksien” yhteiskunta. Koska vaikuttavuus niveltyy useanlaisiin tietokulttuureihin, monenlaiset liittoutumat, torjunnat ja kamppailut eri vaikuttavuuskulttuurien kesken ovat mahdollisia. Lisäksi kunkin tietokulttuurin sisällä voi vallita monia vaikutustiedon haluja, käytäntöjä ja käsityksiä pätevästä tiedosta.” (sivu 28)

”Tässä tutkimuksessa kohteena on ”vaikuttavuusyhteiskunnan” ilmaantuminen eli kysymys siitä, miten sosiaalipolitiikkaa ja hyvinvointivaltion käytäntöjä alettiin tarkastella vaikuttavuuden käsitteen avulla. Hyvinvointivaltion käytäntöjä arvioidaan kuitenkin monista suunnista: päätöksentekijöillä, yritysmaailmassa, eri tieteenaloilla ja asiantuntijakulttuureissa sekä kansalaisten keskuudessa on lukuisasti erilaisia käsityksiä siitä, miten hyvinvointivaltion vaikutusten kysymyksiä on aiheellista lähestyä. Katselijoiden runsauden vuoksi tutkimuksessa valitaan lähtökohdaksi yhteiskuntapolitiikan, sosiaalipolitiikan ja sosiaalityön tutkijoiden näkökulma: miten hyvinvointivaltiollisten toimintojen vaikutuksia koskeva tiedonhalu ja arvioiva mielikuvitusovat ilmenneet heidän tietokäytännöissään? (sivu 29)

Vaikutukset eivät ole ainut arvioinnin näkökulma hyvinvointivaltion käytäntöihin, vaan niiden rinnalla esiintyvät muun muassa tuottavuus, tehokkuus, taloudellisuus, riskit sekä laatu. Esimerkiksi tuottavuuden käsitteeseen viitaten vähennetään tällä hetkellä valtionhallinnon henkilöstöä ja lisätään tietotekniikan käyttöä. Tuloksellisuuden arvioinnissa painotetaan erilaisten näkökulmien tasapainoa, joista vaikuttavuus on vain yksi muiden joukossa. Samoin tuotokset (outputs) ovat eri asia kuin vaikutukset (outcomes). Vaikutuksia voidaan lisäksi jäsentää monella tavalla. Voidaan puhua esimerkiksi välittömistä (immediate), välitason (intermediate) ja viimesijaisista (ultimate) vaikutuksista. Vaikuttavuuden käsitteen tarkastelu erillään muista arviointikäsitteistä ei ehkä tee oikeutta arvioinnin kehitykselle ja lähestymistavoille. Diskurssien tarkastelemiseksi näin voitaneen kuitenkin menetellä. Aivan tarkka rajankäynti on tosin vaikeaa. Vaikuttavuuden ja laadun käsitteiden käytön vaihtelu on pantavissa merkille julkisten palvelujen kehittämisessä. Laatu oli ehkä ottamassa 1990-luvulla vaikuttavuuden sananvaltaa. Siten tutkimuksessa otetaan huomioon myös laadun käsitteen ilmaantuminen hyvinvointipalveluihin. Vaikuttavuuteen vedotaan kuitenkin tällä hetkellä yhä useammin palvelujen ja etuuksien ylläpidosta tai kehittämisestä keskusteltaessa. Lisäksi vaikuttavuus näyttää muita arvioinnin näkökulmia enemmän askarruttavan yhteiskuntatutkijoita. Näistä syistä tutkimuksessa keskitytään ”vaikuttavuusyhteiskuntaan”. Se on heuristinen ja imaginatiivinen, vaikuttavuustiedon halua ja tietokulttuureita kiteyttävä käsite. Se ei ole normatiivinen ideaali eikä myöskään (toivottavasti) sellaisenaan nykyisen tai tulevan yhteiskunnan kuva.” (sivut 33–34)

”Arvioinnista on tullut kiistelty asia, mutta tutkimuksessa yritetään ottaa käyttöön viileän tiedollinen ote arvioinnin ilmaantumisen tarkasteluun. Ajankohtaiskeskusteluissa arvioinnin laajeneminen tuodaan joskus esiin näitä tietokäytäntöjä väheksyvin kommentein ja vihjauksin arviointien tekijöiden mahdollisesta moraalisesta huonommuudesta oman alan toimijoihin verrattuna. Arvioinnista on tullut sen tutkimustoimintaan ulottumisen myötä tutkijoille yhteinen hyvä vihollinen. Jos arviointiin suunnataan yksipuolisesti vain torjuntaa, yhteiskuntatutkijat menettävät mahdollisuuden analysoida ja tulkita yhteiskunnan ja hyvinvointivaltion muutoksia, joita arvioinnin ilmaantumiseen liittyy. Lisäksi arviointiin saatetaan suunnata kritiikkiä tietokulttuurien yhteisöllisten kuvitelmien pohjalta. Vaikuttavuuden kysymyksissä voidaan otaksua esimerkiksi, että lääkäri penää aina satunnaistettua koetta, juristi vaatii säädösmuutoksen arviointia, ekonomisti laskee euroja ja yhteiskuntatieteilijä erittelee diskurssien kieltä. Kun (vaikuttavuuden) tietokulttuureihin tulee uppoutuneeksi, löytää runsaasti poikkeamia yleistävistä kuvitelmista. Vaikuttavuutta käsittelevää tiedonmuodostusta ei voitane juuri hallita. Olisi silti ihanteellista, jos laaja-alainen ja monipuolinen vaikutusten tietokäytäntöjen ymmärrys olisi mahdollista.” (sivu 36)

”Suomalaisissa teksteissä viitattiin vielä 1990-luvun alussa arviointiin pääosin vierasperäisellä käsitteellä evaluaatio, mutta nykyisin käytetään yleisesti arvioinnin käsitettä5 . Arvioinnin käsitteiden kääntämisen ja käytön hankaluuksia ilmentää osuvasti ohjelma-arvioinnin (program evaluation) käsite. Yhdysvalloissa, jossa yhteiskuntapolitiikkaa on toteutettu ajalliselta kestoltaan määriteltyjen yhteiskunnallisten ohjelmien avulla, käsite on keskeinen. Se on tarkoittanut lähes synonyymiä tälle yleisemmälle arvioinnin käsitteelle. Pohjoismainen, institutionaalinen hyvinvointivaltio on perustunut oletukseen yhteiskuntapolitiikan, palvelujen ja etuuksien jatkuvuudesta ja vakaudesta. Ohjelma-arvioinnin käsite katsottiin aiemmin Suomeen soveltumattomaksi (Iivari 1989, 57; vrt. Robson 2001, 8–9 ja 24–25), mutta hyvinvointivaltion hallinnoinnin kehityttyä ohjelmalliseen suuntaan sitä on alettu viime aikoina pitää hyödyllisenä käsitteenä (Virtanen 2002).” (sivu 46)

”Aiemmin arvioinnin määrittelyn ongelmana pidettiin sen suhdetta seurannan käsitteeseen. Jotkut tutkijat pitivät arviointia yleiskäsitteenä ja seurantaa alakäsitteenä, mutta toiset näkivät näiden käsitteiden suhteen toisinpäin. (Sinkkonen & Kinnunen 1994, 28–29.) Vähitellen arviointi näyttää imeneen voiman seurannan termistä. Arvioinnin käsitteistö venyi entisestään, kun laadun arviointiin ja kehittämiseen liittyvät uuskäsitteet ja menettelyt, kuten laatujohtaminen, laadunhallinta, laadun varmistaminen, laatupalkinnot ja laatujärjestelmät, otettiin 1990-luvulla laajasti käyttöön julkisella sektorilla (Lumijärvi & Jylhäsaari 2000). Laadun käsitteiden omaksuminen ei ole vähentänyt vaikuttavuuden käsitteen merkitystä, ja vaikuttavuus sisältyy yhtenä näkökulmana moniin laatumenettelyihin. Laadun ja vaikuttavuuden käsitteiden suhteesta on kuitenkin myös useita käsityksiä. Joskus ne nähdään toistensa synonyymeinä, toisinaan vaikuttavuus nähdään osaksi laatua tai sitten toisinpäin. (Lumijärvi 1994b, 16.)” (sivu 47)

”1980-luvulla korostettiin sitä, että arvioinneilla avustetaan poliittista päätöksentekoa eri tavoin (Sintonen 1981, 19 ja 1987, 80–81). Arvioinnin tarkoitukset ovat näistä ajoista lisääntyneet. Eleaor Chelimsky (1997, 10–18) esittää, että arvioinneilla pyritään kolmeen päämäärään: tilivelvollisuuden tai vastuullisuuden täyttämiseen, kehittämistyön edistämiseen tai uuden tiedon tuottamiseen. Tämän pohjalta hän erottelee kolmenlaista arviointia. Ne ovat tilivelvollisuus- tai vastuullisuusarviointi (evaluation for accountability), kehittävä arviointi (evaluation for development) sekä tiedontuotantoarviointi (evaluation for knowledge). Ensimmäinen tarkoittaa tilivelvollisuuden todentamiseksi tai täyttämiseksi tarvittavaa toiminnan tuloksellisuuden arviointia, kuten tehokkuuden, taloudel­lisuuden tai vaikuttavuuden mittaamista. Se liittyy kiinteästi julkisen sektorin tulosohjaukseen ja sen avuksi kehitettyihin arviointityyppeihin (performance monitoring tai performance measurement). Kehittävä arviointi tukee kehittämistoimintaa, organisaatioiden ja työyhteisöjen muutostyötä sekä työn ja palvelujen uudelleenmuotoilua. Tiedontuotantoarviointi, joka tarkoittaa miltei samaa asiaa kuin arviointitutkimus, tarjoaa uutta tietoa, käsitteitä, kehyksiä, kritiikkiä ja empiirisiä tuloksia päätöksenteon tueksi ja yhteiskuntapolitiikan toteutukseen.” (sivu 51)

”Arvioinnin läpimurto on tullut 1990-luvulta alkaen yhteiskuntatutkijoiden huomion kohteeksi. Arvioinnin kysymyksiä on pohdittu opinnäytteissä, artikkelikokoelmissa sekä hallinto-, kasvatus- ja sosiaalitieteellisissä aikakauslehdissä. Hallinnon tutkimus -lehti on julkaissut vuosittaisen arvioinnin suplementin vuodesta 2001 alkaen yhdessä Suomen arviointiyhdistys ry:n kanssa. Arvioinnista keskustellaan myös tiedotusvälineiden välityksellä, ja tutkijat osallistuvat tähänkin keskusteluun. Miten yhteiskuntatutkijat pohtivat arvioinnin tietomuotoa, ja miten heidän tekstinsä voivat toimia perustana vaikuttavuuden arvioinnin ilmaantumisen tarkastelulle? Asian tarkastelun voi aloittaa esimerkin avulla. Sosiaalipolitiikan ja sosiaalityön tutkimuksen aikakauslehti Janus toteutti kymmenisen vuotta sitten arviointitutkimuksen teemanumeron. Siihen oli pyydetty artikkelit tanskalaiselta arvioinnin asiantuntijalta Erik Albaekilta (1997a) sekä suomalaisilta arvioinnin kysymyksiä hallitsevilta sosiaalipolitiikan tutkijoilta. Mikko Mäntysaari ja Ilmari Rostila (1997, 369) aloittavat lehden pääkirjoituksen toteamuksella ”Kaikki evaluoivat”. Heidän mielestään arvioinnista on tullut olennainen osa hyvinvointivaltion toimintaa, joten siitä tarvittaisiin keskustelua ja tutkimusta. Lisäksi he esittävät useita kannanottoja ja kysymyksiä:

”Mielestämme suomenkielinen käsite ”arviointitutkimus” voi hyvin korvata käännöslainan ”evaluaatiotutkimus”. Käsitteen sisältö kuitenkin ratkaisee. Mutta mikä sisältö? Millaisia uusia ansioita nykyisessä arviointitutkimuksessa on verrattuna aikaisempaan, toimenpiteiden, politiikan seurauksiin keskittyvään sosiaalitutkimukseen? Onko kysymyksessä keisarin uudet vaatteet? Eikö hyvässä sosiaalitutkimuksessa ole usein selvitetty toimenpiteiden ja politiikan seurauksia ja arvioitu niiden hyviä ja huonoja puolia? Vai onko kyse vain siitä, että hallinto tai EU vaatii arviointia?” (Mäntysaari & Rostila 1997, 369.)” (sivu 59)

”Edellisestä ilmenee, että vaikutustiedon hallinnallisuuden perustat ovat laajentuneet vähitellen kansallisvaltiollisesta hallinnasta subjektien itsehallinnaksi ja globaalin kilpailutalouden hallinnaksi. Arvioinnin järkeilytyylejä ja sanastoja otetaan yhä useammin käyttöön tilanteissa, joissa on kyse joko paikalliseen tai globaaliin toimintaan liittyvästä tiedonmuodostuksesta. Näin ollen arvioinnin tietoa vakiinnutetaan tällä hetkellä sekä kansallisten, ylikansallisten että paikallisten instituutioiden avulla.” (sivu 176)

”Hyvinvointivaltiota on muovattu vähitellen tavoitteelliseksi, auditoivaksi, tulosohjatuksi, kustannusvaikuttavaksi ja yhä suuremmassa määrin näyttöperusteiseksi. Lisäksi sen odotettaisiin tietävän kansalaisten hyvinvoinnin tilasta, vastaavan ihmisten tarpeisiin, kompensoivan tulonsiirtojen avulla sosiaalisia riskejä sekä tukevan palveluilla heidän toimintakykyään. On epäselvää, missä määrin hallinnoinnissa ylenpalttisen aseman saanut tilivelvollisuusajattelu voi palvelujen toiminnallisissa yhteyksissä saada aikaan vaikuttavan hyvinvointivaltion. Luultavasti siihen päästäisiin mieluummin tilivelvollisuuteen ja näyttöihin liittyvää vaikuttavuushallintaa löysäämällä kuin tiukentamalla. Se edellyttäisi luottamusta hyvinvointivaltion toimijoihin ja ammattilaisten itseohjautuvuuden periaatteen arvon uudelleen tunnustamista. Voi vain toivoa, että yhteiskunnassa huomataan pitää tärkeinä myös yhteisöllisiin päämääriin ja intresseihin, huolenpitoon ja kodinomaisuuteen sekä luovuuteen ja kekseliäisyyteen liittyviä arvomaailmoja. Tieto on suuressa määrin haluamisen, kuvittelemisen, luottamuksen, toisten ihmisten kunnioittamisen ja arvojen kysymys. Vaikuttavuuden käsitteen käytöstä ei tarvitse luopua, mutta jos sitä ei otettaisi liian vakavasti, sen käytön seuraukset kyettäisiin ehkä pitämään hallinnassa.” (sivut 189-190)

”Tässä tutkimuksessa yhteiskuntaa ja hyvinvointivaltiota on tarkasteltu hallinnan ja tiedon kiinnityspintoina. Niihin on eri aikoina ilmaantunut erilaisia vaikutustiedon haluja, käsitteitä sekä hallintaa tukevia tietokäytäntöjä. Tutkimuksessa on analysoitu vaikuttavuusyhteiskunnan ilmaantumista yhteiskuntapolitiikan, sosiaalipolitiikan ja sosiaalityön tutkimuksen välityksellä. Arviointi ymmärretään tavallisesti omintakeiseksi, itsenäiseksi tietokulttuuriksi ja -käytännöksi. Koska arviointi on levinnyt kaikkialle, sen kehityksestä on vaikeaa saada otetta tästä näkökulmasta käsin. Tutkimuksessa kokeiltiin siten lähestymistapaa, jossa arvioinnin ymmärretään muodostuvan erilaisten tietokulttuurien, kuten hallinnoinnin ja tutkimuksen, käytäntöjen yhteydessä. Jaottelu arviointiin tietokäytäntönä ja arviointiin tietokäytännöissä muodostettiin siksi, että tutkimuksessa haluttiin tehdä selkoa siitä, miten on päädytty ”vaikuttavuusyhteiskuntaan”, jossa vaikuttavuustieto ja -hallinta ovat muuntuneet keskeisiksi vaatimuksiksi ja erilaiset vaikutusten tiedonkulttuurit ovat levittäytyneet hyvinvointivaltion hallinnointiin.

Yhteiskunnassa ja hyvinvointivaltiossa merkitykselliseksi tulleen tietomuodon, arvioinnin, historiaa on aiemmin tarkasteltu vähäisesti. Koska arviointi on tarttunut yhteiskunnallisiin käytäntöihin sangen laaja-alaisesti, arvioinnin kokonaishistorian tarkastelu oli mahdotonta. Tästä syystä tutkimuksessa yritettiin kehittää osahistoriallista tarkastelutapaa vaikutusten arvioinnin ilmaantumiseen. Tarkastelussa käytettiin apuna ajankohtaisartikkeleita ja tutkimuksia sosiaalipolitiikan tutkijoilta, joilla on ollut läheistä tuntumaa hyvinvointipolitiikkojen toiminnallisiin yhteyksiin. Tarkoituksena ei ole kehitetyn jaottelun perusteella esittää, että yhteiskuntapolitiikan, sosiaalipolitiikan tai sosiaalityön tutkimuskäytännöt ovat tai niiden tulisi olla arviointia. Tarkoituksena ei ole myöskään sanoa, ettei arvioinnin asiantuntijuutta ole lainkaan olemassa.” (sivu 191)

”Tiedonmuodostuksen heteronomisoitumista on jäsennetty puhumalla kahdesta tiedontuotantomallista. Helga Nowotny, Peter Scott ja Michael Gibbons (2004) lähtevät siitä, että tiede, yhteiskunta ja hyvinvointivaltio ovat menettäneet aiempia sisältöjään, jolloin niiden rajat ovat hämärtyneet. Kompleksisuuden lisääntyessä yhteiskuntiin on muodostunut uudenlaisia, avoimia tiedontuotannon järjestelmiä. Tutkijaryhmä kehitteli alun perin tämänkaltaisia ajatuksiaan vuonna 1994 ilmestyneessä julkaisussa ”The new production of knowledge”, (Gibbons ym. 2004). Siinä he kuvasivat yliopistollisen tieteenalakohtaisen tutkimuksen (Mode 1) rinnalla toteutuvaa, toista tiedontuotannon mallia (Mode 2). Siinä tieto tuotetaan välittömästi hyödyntämisympäristöissään eikä tieteenalojen mukaan järjestäytyneissä tutkimusyhteisöissä. Tiedontuotanto tarkoittaa enemmän kuin tieteenalojen yhteistyötä, sillä tiedonmuodostuksessa hyödynnetään monenlaista tietoa käytännön kokemuksesta alkaen.

Tiedonmuodostuksen onnistumisen kannalta ydinkysymys on, miten siinä otetaan käyttöön ja sovitetaan yhteen tiedollisia elementtejä. Tällä tavoin muodostunut tieto ei kumuloidu samanlaisin mekanismein kuin tieteenalakohtainen tieto. Tiedon tuottajien pätevyydet eivät ole tarkoin määriteltyjä, ja kansalaisten tieto ja kokemukset voivat tulla tärkeiksi. Tiedontuotannon toteutusympäristöt vaihtelevat, ja virtuaalisten toimintaympäristöjen merkitys korostuu. Tietoa tuottavien yhteisöjen rajat ja jäsenyydet käyvät epäselviksi. Miltei kuka tahansa kiinnostunut voi osallistua tiedon tuottamiseen tai ainakin hyödyntää sitä. Tällaisen tiedonmuodostuksen laatukriteerit ovat melko epäselviä. Kirjoittajat puhuvat sosiaalisesti järeästä tiedosta, mutta on epävarmaa, miten tiedon koettelu tapahtuu käytännössä.

Arvioinnin ilmaantuminen hyvinvointivaltion hallinnoinnin kiinteäksi osaksi voidaan nähdä tiedonmuodostuksen autonomisoitumisen ja heteronomisoitumisen yhdeksi seuraukseksi. Jälkimmäisen tiedontuotantomallin (Mode 2) avulla on helppoa luonnehtia arvioinnin käytäntöjä.  Arvioinnin tieto tuotetaan siellä, missä se miltei välittömästi hyödynnetään.” (sivu 197)

”Arviointitutkimusten tekeminen merkitsee tutkijalle suoraa pääsyä hyvinvointipolitiikkojen säilyttämistä, kehittämistä ja karsintaa koskevien kamppailujen kentille. Hyvinvointivaltion uudelleenmuotoilun vuoksi vaikuttavuustiedolle on tullut lähes huutava kysyntä. Tällaista tutkimusta ja selvitystyötä halutaan tällä hetkellä rahoittaa. Uudistusten ja toimintojen vaikutuksia käsittelevät tutkimukset ovat kuitenkin usein lohdutonta työtä ja surullista luettavaa. Tutkimuksissa esitetään enimmäkseen alakuloisia näkymiä kansalaisten hyvinvoinnin myönteisten muutosten mahdollisuuksista jo siksi, että alun perin uudistuksiin ja hankkeisiin on viritetty kustannussäästöjen aikaansaamisen tai yhteiskunnallisten vastuiden muille toimijoille vierittämisen pyrkimykset. (sivu 199)

Sinkkonen, M. (2008). Sosiaalipalvelujen vaikuttavuuden arvioinnista. Hallinnon tutkimus, 27 (1).

Sosiaalipalvelujen vaikuttavuuden arvioinnista | Hallinnon Tutkimus (journal.fi)

Artikkelissa läpikäytyjen arvioinnin osa-alu­eiden (tarvearviointi; toimintastrategian ilmai­seminen; toteutuksen arviointi; vaikuttavuuden arviointi; arvioinnin hyödyntäminen) tarkastelu tämän tutkimuksen antamien tietojen valossa paljastaa sen tosiasian, että toiminta kunnan sosiaalitoimessa sijoittuu nyt arviointiprosessin vaiheisiin 1 ja 2 (sosiaalisten ongelmien tunnis­taminen ja palveluita tarvitsevan kohdeväestön tunnistaminen sekä toimintastrategian ilmaisemi­nen) ja varsinainen vaikuttavuuden arviointi on vielä saavuttamatta.

Toteutuksen arviointi rajau­tuu kuntien sosiaalitoimessa vain toiminnassa käytettyjen resurssien tarkasteluun eikä vastaa kysymyksiin palvelun tavoittavuudesta, kriteerei­den saavuttamisesta tai asiakkaiden hyvinvoin­nin muutoksesta. Arviointi rajautuu hyvin pitkälle yhden prosessin osan kustannusten tarkasteluun eikä siihen, mitä koko prosessissa tai palvelukokonaisuu­dessa tuotetaan. Vaikuttavuuden arvioiminen jää usein myös (mikäli sitä tehdään) tapauskohtai­sen vaikuttavuuden tasolle eikä yhdisty palvelu­jen vaikuttavuuden arvioinniksi – puhumattakaan yhteiskunnallisesta vaikuttavuudesta.

Sosiaalialalla elää vahva myytti, että vaikut­tavuuden arviointi on vaikeaa. Vaikuttavuuden arviointi sosiaalialalla on vasta alussa ja sosiaa­lialan suuri haaste lähitulevaisuudessa on luoda sille välineitä. Vaarana on, että jos sosiaalialalla ei aleta itse toimita ja luoda välineitä vaikutta­vuuden arvioinnille, joku muu tekee sen alan ulkopuolelta (ks. myös Pakarinen 2005). Talous on sosiaalitoimessa usein nähty ”hyvänä viholli­sena”. Toimiminen muuttuvassa yhteiskunnassa, jossa resurssit ovat rajalliset, edellyttää kuiten­kin tämän mielikuvan muuttamista; talous täytyisi mielikuvissa muuttaa kahleesta voimavaraksi!

Seuraavassa tämän tutkimuksen myötä nous­seet näkemykset siitä, miten kehittämistyötä pitäisi jatkossa viedä eteenpäin.

1. Taloudellisen vaikuttavuuden arvioinnin tar­peen tiedostaminen ja motivointi, asenne­muutos: – aikaa strategiselle suunnittelulle- osaamisen vahvistaminen koulutuksella.

2. Organisaation tavoitteiden ja toimintatapojentiedostaminen ja auki kirjaaminen, perusteh­tävän kirkastaminen: – strategiset onnistumisen polut- johdolle työvälineitä- kanavat tiedon välittymiselle.

3. Tilastoinnin kehittäminen ja yhdenmukaistaminen- tietojen luotettavuus, systemaattisuus: – yhdenmukaiset kriteerit eri toimialojen ja lähikuntien kesken-kerätty tieto myös kunnan omaan käyt­töön.

4. Taloudellisen vaikuttavuuden arvioinnin käynnistäminen ja arviointitiedon hyödyntäminen: – tietoinen päätös arvioinnin käyttöön­otosta-arviointikriteerien luominen- arviointitiedon käyttöönotto (työntekijät, johto, tarkastuslautakunta)

Kivipelto, M. (2008). Osallistava ja valtaistava arviointi: johdatus periaatteisiin ja käytäntöihin. Stakesin työpapereita 17.

T17-2008-VERKKO.pdf (julkari.fi)