Arviointi\/evaluaatio tuli suomalaiseen keskusteluun sosiaali- ja terveydenhuollon kehitt\u00e4misest\u00e4 1960-luvulla. Ensimm\u00e4isen\u00e4 suurena teht\u00e4v\u00e4n\u00e4 oli sairausvakuutuslain toimeenpanon vaikutusten arviointi. Keskustelu arvioinnista laajeni siin\u00e4 m\u00e4\u00e4rin, ett\u00e4 vuosituhannen vaihteessa puhuttiin ’arviointiyhteiskunnasta’. V\u00e4hitellen arvioinnin rinnalle nousi ’vaikuttavuus’. Arviointiyhteiskunta muuttui ’vaikuttavuusyhteiskunnaksi’. Olen t\u00e4h\u00e4n koosteeseen poiminut kiinnostaviksi kokemiani julkaisuja arvioinnista ja vaikuttavuudesta ja niist\u00e4 valikoituja poimintoja.<\/p>\n\n\n\n
<\/p>\n\n\n\n
<\/p>\n\n\n\n
<\/p>\n\n\n\n
<\/p>\n\n\n\n
<\/p>\n\n\n\n
<\/p>\n\n\n\n
Ohjelma-arviointi – pdf (journal.fi)<\/a><\/p>\n\n\n\n HT 3 (06).indd (researchgate.net)<\/a><\/p>\n\n\n\n Vaikuttavuusyhteiskunta – sosiaalisten olojen arvostelusta vaikutusten todentamiseen (helsinki.fi)<\/a><\/p>\n\n\n\n T17-2008-VERKKO.pdf (julkari.fi)<\/a><\/p>\n\n\n\n https:\/\/journal.fi\/janus\/article\/view\/50669<\/p>\n\n\n\n <\/p>\n\n\n\n Suomessa on poikkeuksellisen niukasti evaluaatiotutkimusta sosiaalihuollosta. Suomi poikkeaa t\u00e4ss\u00e4 suhteessa muista Euroopan ns. korkean sosiaaliturvan maista. Sosiaalivaltion ja my\u00f6s sosiaalihuollon kannatuspohja Suomessa on vankka, niiden toiminnan legitimiteetti\u00e4 ei ep\u00e4ill\u00e4. Sosiaalihuollon vaikuttavuuden arviointi kriittisen\u00e4 tutkimushankkeena on t\u00e4ynn\u00e4 ongelmia. Sosiaalihallitus on k\u00e4ynnist\u00e4nyt sosiaalihuollon vaikuttavuutta selvitt\u00e4v\u00e4n tutkimus- ja kehitt\u00e4misprojektin, jonka ensimm\u00e4isen\u00e4 vaiheena tilattiin kolmelta professorilta aihepiirin teoreettisia perusteita ja metodologiaa k\u00e4sittelev\u00e4t selvitykset. Toisena vaiheena on k\u00e4ynnistynyt Helsingin yliopiston Lahden tutkimuskeskuksen kanssa esitutkimusvaihe, jolla t\u00e4hd\u00e4t\u00e4\u00e4n empiirisen evaluaatiomallien rakentamiseen ja kokeiluun kuntien sosiaalitoimessa.<\/p>\n\n\n\n Tapani Purola: N\u00e4k\u00f6kohtia suunnittelun ja evaluaation tasoista ja tavoista<\/strong><\/a><\/strong><\/p>\n\n\n\n Sivut 5\u20138: Oikeutuksen ja vaikuttavuuden ongelma<\/em>: Aluksi lienee aihetta kiinnitt\u00e4\u00e4 huomio kolmeen asioiden ryhm\u00e4\u00e4n:<\/p>\n\n\n\n N\u00e4m\u00e4 sosiaalipolitiikassa ja sosiaalihuollossa keskeiset kolme n\u00e4k\u00f6kohtaa voidaan ilmaista my\u00f6s k\u00e4sittein deskriptiiviset teoriat, normatiiviset teoriat<\/em> ja interventioteoriat<\/em>. Kysymys sosiaalihuollon vaikuttavuudesta liittyy k\u00e4sityksiin todellisuudesta ja sen osien keskinisist\u00e4 vaikuttavuussuhteista. Eri n\u00e4k\u00f6kulmat eiv\u00e4t ole toiminnallisesti eriytett\u00e4viss\u00e4. Reaalitoiminnassa sama teoria implikoi kaikki kolme osaansa. Usein t\u00e4m\u00e4 tukee n\u00e4kyviin juuri reaalitoiminnassa syntyvien ristiriitojen my\u00f6t\u00e4. <\/p>\n\n\n\n Tieteellisesti ymm\u00e4rrettyjen havaintojen ja teorioiden sijasta sosiaalihuollolla tavoitellut hyv\u00e4t ja sen eri toimenpiteiden aiheuttamat hyv\u00e4t ja pahat arvioidaan reaalipolitiikassa peremmilt\u00e4\u00e4n uskottavuuden kriteereiden. Ne koskettavat kahta asiaa, joista k\u00e4ytet\u00e4\u00e4n nimityst\u00e4 oikeutuksen ideologia <\/u>(ideology of justification) ja toimeenpanon ideologi<\/u>a (ideology of implementation).<\/em><\/strong> Edellinen koskee sit\u00e4, ylitt\u00e4v\u00e4tk\u00f6 itse asiaan ryhtymist\u00e4 puoltavat n\u00e4k\u00f6kohdat vastustavien n\u00e4k\u00f6kohtien painon. J\u00e4lkimm\u00e4isess\u00e4 taas on kysymys siit\u00e4, onko asian saavuttamistapa hyv\u00e4ksytt\u00e4v\u00e4 ja onko se hyv\u00e4ksytt\u00e4v\u00e4mpi kuin joku toinen tapa.<\/p>\n\n\n\n Ekonomistisessa tarkastelussa, johon k\u00e4site vaikuttavuus tavallisimmin liitet\u00e4\u00e4n, oikeutuksen ongelmaan vastataan kustannus\/hy\u00f6tyanalyysilla ja toimeenpanon ongelmaan kustannus\/vaikuttavuus -analyysilla. Ekonomistinen (utilitaristinen) ratkaisu on t\u00e4sm\u00e4llinen ideaalityyppisess\u00e4 mieless\u00e4, mutta ilmeisen kapea sosiaalihuollon vaikuttavuusarviointien ainoaksi l\u00e4ht\u00f6kohdaksi. Sosiaalipolitiikkaan liittyy ainakin kolme muuta kriteeri\u00e4: hyvinvointi, vapaus ja tasa-arvo. Sammalla kun viimeksi mainittuja korostetaan, on t\u00e4rke\u00e4 huomata, ett\u00e4 pyrkimys hyvien ja pahojen systemaattiseen punnintaan sek\u00e4 vaihtoehtoisten toimintamuotojen keskin\u00e4isen perusteltavuuden analysointiin, on sin\u00e4ns\u00e4 v\u00e4ltt\u00e4m\u00e4t\u00f6n. Sit\u00e4 ei voida hyl\u00e4t\u00e4 siksi, ett\u00e4 ekonomistinen sovellutus on riitt\u00e4m\u00e4t\u00f6n ja jossakin katsannossa tai tilanteessa jopa arvelluttava.<\/p>\n\n\n\n Sivut 8\u201317: Sosiaalihuollon arvot ja evaluaatio:<\/em> Sosiaalihuollon vaikuttavuuden tutkimuksessa arvosidonnaisuus konkretisoituu, koska huomio joudutaan kiinnitt\u00e4m\u00e4\u00e4n arvojen toimimiseen reaalisosiaalipolitiikassa ja sen tutkimuksessa. Sosiaalihuolto on moniulotteisten ja monen laatuisten toimintojen verkosto eli systeemi:<\/p>\n\n\n\n K\u00e4yt\u00e4nn\u00f6n suunnittelussa ja arvioinnissa noudatetaan vaihtelevia arvojen hierarkioita. T\u00e4ll\u00e4 seikalla on olennainen merkitys my\u00f6s siihen tapaan, jolla evaluatiivinen tutkimus \u201dneuvoo\u201d k\u00e4yt\u00e4nn\u00f6n sosiaalihuoltoa. Konkreettisten tapausten kanssa ty\u00f6skentelev\u00e4 sosiaality\u00f6ntekij\u00e4 joutuu arvioimaan ty\u00f6ns\u00e4 tulokset yksitt\u00e4istapauksessa n\u00e4kyv\u00e4n vaikutuksen mukaan. Yleisemmin t\u00e4ll\u00f6in on kysymys ty\u00f6tavoista, metodeista ja niiden vaikuttavuudesta yksitt\u00e4istapauksessa (efficacy). T\u00e4ll\u00f6in on kysymys ennen muuta siit\u00e4, onko toiminta hyv\u00e4\u00e4 tuottavaa (beneficial) vai haitallista (harmful) asiakkaan n\u00e4k\u00f6kulmasta.<\/p>\n\n\n\n Sivut 17\u201319: Evaluaatio ja suunnittelun tasot<\/em>. Arviointikriteerit vaihtelevat eri tasoilla: politiikka, operatiivinen, yksil\u00f6. Olennaista on tutkimuksen tavoiteasetelman tietoinen selkiytt\u00e4minen ja fokusointi t\u00e4ss\u00e4 suhteessa. T\u00e4ll\u00f6in tulee esiin reaalimaailman ja tieteellisen tutkimuksen ero: reaalimaailmassa ongelmat ovat aina symbioottisia kokonaisuuksia, mutta tieteellinen ty\u00f6skentely perustuu johonkin rajattuun n\u00e4k\u00f6kulmaan, jolloin reaaliongelmaa ei ainoastaan rajoiteta, vaan sen sis\u00e4iset yhteydet samalla katkaistaan.<\/p>\n\n\n\n Sosiaalihuollon tutkimuksessa keskityt\u00e4\u00e4n helposti ongelmiin ja k\u00e4sitteisiin, jotka saavat vahvistusta vallitsevalta tutkimusperinteelt\u00e4. Tutkitaan ja evaluoidaan sit\u00e4, mik\u00e4 on \u2013 vakiintuneen tavan, k\u00e4sitteist\u00f6n ja metodologisen s\u00e4\u00e4nt\u00f6jen mukaan – selkeimmin ja helpoimmin tutkittavissa.<\/p>\n\n\n\n Sivut 20\u201322: Tieteellinen ja tekninen evaluaatio<\/em>: Vaikutusten arvioinnilla tarkoitetaan tavallisesti ns. tieteellist\u00e4 tai teknist\u00e4 evaluaatiota: kehitet\u00e4\u00e4n teoriaa ja testataan siihen liittyvi\u00e4 hypoteeseja. Evaluaatiotutkimuksessa on 1960-luvulta alkaen laajentumaan jo vakiintuneiden tai aloitettaviksi p\u00e4\u00e4tettyjen ohjelmien arviointiin. Kirjallisuutta on viime vuosina ilmestynyt runsaasti, koska t\u00e4m\u00e4 suuntaus liittyy yleistyneeseen kokonaisvaltaisen rationaalisen suunnittelun ideaaliin. Perinnett\u00e4 on kutsuttu tekniseksi evaluaatioksi, koska pyrkimyksen\u00e4 ei ole teorian tai hypoteesin testaus vaan mink\u00e4 hyv\u00e4ns\u00e4 annetun tavoitteen toteutumisen arviointi.<\/strong><\/p>\n\n\n\n Sivu 22\u201329: Evaluaatio oppimisprosessina:<\/em> Poliittisessa reaalimaailmassa tavoitteita suostutaan harvoin ilmaisemaan t\u00e4sm\u00e4llisesti operationalisoitavissa olevalla tavalla, koska aina on varauduttava uuteen tilanteeseen ja uusiin tavoitteisiin. Sosiaalihuollon arvioinnissa kriittiseksi tulee, miten voidaan ottaa huomioon uudet pyrkimykset ja kehitystavoitteet ja edist\u00e4\u00e4 niiden mukaista toimintaa. Uutena soveltamistapana voidaan puhua kokeilusta. Se, joka tieteellisen kokeessa suljetaan pois luotettavuutta v\u00e4hent\u00e4v\u00e4n\u00e4 virhevarianssina, ymm\u00e4rret\u00e4\u00e4n kokeilussa luovana toimintana, innovaationa, johon ennen muuta t\u00e4hd\u00e4t\u00e4\u00e4n. Kokeiluevaluaatio on ennen muuta organisaation tai toimintaryhm\u00e4n oppimista itsest\u00e4\u00e4n, ty\u00f6st\u00e4\u00e4n ja suhteestaan ymp\u00e4rist\u00f6\u00f6n. Se t\u00e4ht\u00e4\u00e4 keskeisesti tieto- ja asennemuutoksiin, eik\u00e4 annetun tavoitteen saavuttaminen ole v\u00e4lit\u00f6n tavoite.<\/p>\n\n\n\n Kokeilussa korostuu \u201dsis\u00e4lt\u00e4 p\u00e4in\u201d tapahtuva itseohjaus ja osallistuminen. Osallistujiksi tulevat my\u00f6s oletetut asiakkaat ja heid\u00e4n omat kokemuksensa sek\u00e4 arviot ja vaikuttavuus niiden suunnassa.<\/p>\n\n\n\n Sivut 25\u201328: Arviointikriteerien valintatavoista: Kirjallisuudessa k\u00e4ytet\u00e4\u00e4n k\u00e4sitetty \u2019politiikkaa muotoilevat yhteis\u00f6t: poliittiset p\u00e4\u00e4tt\u00e4j\u00e4t, hallinnolliset virkamiehet, operatiiviset toimeenpanijat, mutta my\u00f6s asiakkaat sek\u00e4 yhteiskunnalliset ryhmittym\u00e4t. Sosiaalihuollon vaikuttavuustutkimuksessa tulisi aina kysy\u00e4, mill\u00e4 arvoperusteilla arviointikriteerit valitaan: j\u00e4\u00e4k\u00f6 se tutkijoiden persoonakohtaiseksi asiaksi, otetaanko l\u00e4ht\u00f6kohdaksi hallinnon asettamat kriteerit, jne. Ellei t\u00e4h\u00e4n metodologiseen peruskysymykseen saada edes jotenkuten kelvollista ratkaisua, tutkimuksen suunnittelua tuskin kannattaa jatkaa. Kun tutkijat asettavat kysymykset, saatetaan tuottaa tuloksia, jotka kertovat enemm\u00e4n tutkijoista ja heid\u00e4n arvoistaan kuin siit\u00e4 asiasta, jota sosiaalihuollossa on tarkoitus evaluoida. Jos tukeudutaan p\u00e4\u00e4t\u00f6ksentekij\u00f6iden tavoitekonsensukseen, j\u00e4\u00e4 vastattavaksi, tarjoaako tietyss\u00e4 tilanteessa saavutettu poliittinen konsensus tavoitteista l\u00e4ht\u00f6kohdan evaluaatiolle.<\/p>\n\n\n\n Sivut 35\u201336: Sosiaalihuollon vaikuttavuuden arviointiin avautuu l\u00e4hinn\u00e4 kaksi l\u00e4hestymisotetta, tekninen ja rakentava. Teknisess\u00e4 otteessa arviointia perustuu aiemmin luodulle teoreettiselle pohjalle. Rakentavassa otteessa arviointiin ei ole k\u00e4ytett\u00e4viss\u00e4 valmista j\u00e4rjestelm\u00e4\u00e4, joka voitaisiin muualta siirt\u00e4\u00e4. T\u00e4ss\u00e4 yhteydess\u00e4 valitaan rakentava l\u00e4hestymistapa seuraavin perustein: <\/p>\n\n\n\n Edell\u00e4 esitetyst\u00e4 seuraa, ett\u00e4 tuloksellisuuden arvioinnista voidaan puhua vasta sitten, kun arviointi on systemaattisesti rakennettu suunnattuna projekti- ja teht\u00e4v\u00e4kohtaisesti. Toinen keskeinen kysymys liittyy subjektiin eli arvioijaan, joita sijoittuu useille tasoille sosiaality\u00f6ntekij\u00f6ist\u00e4 ministeri\u00f6\u00f6n.<\/p>\n\n\n\n Sivut 37\u201343: Tuloksellisuuden arviointi ja sen kehitys<\/em>: Hallinnon ja toiminnan suunnittelussa t\u00e4hdennet\u00e4\u00e4n usein seurantaa:<\/p>\n\n\n\n Seuranta tuottaa perustietoa toiminnasta ja sosiaalisista prosesseista. Sen avulla voidaan, ainakin periaatteessa lis\u00e4t\u00e4 sosiaalisen muutoksen hallintaa ja muutosty\u00f6n rationalisuutta. K\u00e4yt\u00e4nn\u00f6n vaikeuksia ovat:<\/p>\n\n\n\n Toimintaan l\u00e4hdett\u00e4ess\u00e4 ker\u00e4t\u00e4\u00e4n, valikoidaan tietoa ja j\u00e4rjestet\u00e4\u00e4n tietoa teht\u00e4v\u00e4n valmisteluun liittyvi\u00e4 p\u00e4\u00e4t\u00f6ksi\u00e4 varten. Mit\u00e4 laajemmasta ja monipuolisemmasta teht\u00e4v\u00e4alueesta on ja mit\u00e4 suuremmasta olosuhteiden vaihtelusta on kyse, sit\u00e4 v\u00e4h\u00e4isemm\u00e4t ovat mahdollisuudet antaa sitovia ohjeita. Toimijalta edellytet\u00e4\u00e4n itsen\u00e4isyytt\u00e4. Tilanteessa vaaditaan kyky\u00e4 ker\u00e4t\u00e4 tietoa, analysoida sit\u00e4 ja j\u00e4sent\u00e4\u00e4 hankittu tieto uuden toiminnan turvaamiseksi.<\/p>\n\n\n\n Evaluaatio liittyy usein prosessin tai toiminnan loppuvaiheisiin. Tietoa hankitaan, jotta voitaisiin ratkaista, onko toiminta toteutunut tarkoitetulla tavalla ja onko tavoite saavutettu, tai onko ilmennyt jotain, joka osoittaisi k\u00e4ytetyt toimenpiteet virheellisiksi tai puutteellisiksi. Evaluaatio palvelee oppimista, koska se rikastuttaa k\u00e4sityst\u00e4 toimijoista, kohteesta ja siihen suunnatuista toimenpiteist\u00e4. Onnistuneen evaluoinnin j\u00e4lkeen on k\u00e4ytett\u00e4viss\u00e4 tietoa, joka tarjoaa perustan muutokselle, aiempaa osuvammalle toiminnalle.<\/p>\n\n\n\n Terveydenhuollon ja sosiaality\u00f6n v\u00e4lill\u00e4 vallitsee oleellisia eroja, jotka vaikuttavat arvioinnin mahdollisuuksiin ja luonteeseen. Sosiaality\u00f6ss\u00e4 tieteellisell\u00e4 tiedolla ja sen tuottamalla teknisell\u00e4 arvioinnilla ei ole k\u00e4yt\u00e4nn\u00f6n tilanteessa aina ollut sellaisenaan kovin paljon k\u00e4ytt\u00f6\u00e4 tai merkityst\u00e4. Sosiaalisen tapahtuman arviointiin joudutaan sis\u00e4llytt\u00e4m\u00e4\u00e4n tulkintaa. Kysymys saattaa olla sosiaalikulttuurisesta et\u00e4isyydest\u00e4, kun maailmaa tarkastellaan erilaisista n\u00e4k\u00f6kulmista. Tutkijat etsiv\u00e4t omista l\u00e4ht\u00f6kohdistaan varmaa tietoa. T\u00e4st\u00e4 seuraa, ett\u00e4 tarkastelu formuloidaan usein liian ahtaasti. Polttavia ongelmia sivuutetaan. Kovin harvoin tutkitaan esimerkiksi resurssien rajallisuutta. Ongelman ratkaisun strategisia pisteit\u00e4 ei arvioida. Poliittisten prosessien merkityksen aliarviointia esiintyy.<\/p>\n\n\n\n Tekninen arviointi ja ohjaus saattavat rajata oleellisesti toiminnan autonomiaa ja tietoperustaa. Esineellist\u00e4ess\u00e4\u00e4n toimintaa ne voivat ehk\u00e4ist\u00e4 eettisten periaatteiden toteutumista. Inhimillisen toiminnan seuranta kohtaa sosiaalihuollon n\u00e4k\u00f6kulmasta ongelmia, jos toimintaa hyvin mekaanisesti arvioidaan pelkkien tehokkuuskriteerien pohjalta. Esimerkiksi erityisen rationaalisena ei voi pit\u00e4\u00e4 lastensuojelua, joka ottaa huostaan mahdollisimman monta lasta, vaikka sit\u00e4 ehk\u00e4 voidaankin pit\u00e4\u00e4 tehokkaana.<\/p>\n\n\n\n Sivut 43\u201348: Arvioinnin v\u00e4lineet: Arviointitiedon tuottaminen voidaan jakaa evaluointiin, seurantatutkimuksiin ja tarkkailuun. Evaluoinnissa seurataan ohjelman tai sen eri vaiheiden etenemist\u00e4. Toiminta rakentuu informaatioj\u00e4rjestelm\u00e4lle ja sen tuottaman tiedon analysoimiselle kahdessa suunnassa: Hallinnonalaa seurataan yleisesti tilastoj\u00e4rjestelmill\u00e4 ja muulla vuosittain tuotetulla tiedolla, sek\u00e4 projektikohtaisella seurannalla. Evaluointi rakentuu systemaattisesti ker\u00e4tyn tiedon varaan. Muita ominaispiirteit\u00e4 ovat<\/p>\n\n\n\n Seurantatutkimusten menetelm\u00e4t ovat usein systeemiteoriaperusteisia ja kehitetty talous- ja insin\u00f6\u00f6ritieteiss\u00e4: kustannus-hy\u00f6tyanalyysi, operaatiotutkimus, systeemianalyysi ja systeemiteknologia. Tiedon tuottaminen kest\u00e4\u00e4 usein kauan. Tieto ei ole ongelmatonta, koska vaikutusyhteyksien m\u00e4\u00e4rittelyt voidaan suorittaa vain tilastollisesti, mik\u00e4 ei ole aina sama kuin todellinen vaikutus. Ilmi\u00f6it\u00e4 ei voi erist\u00e4\u00e4 ja ihmiset voivat korjata toimintaansa tapahtuman aikana tavalla, joka ei paljastu tutkijoille. Tietoa saadaan l\u00e4hinn\u00e4 ilmi\u00f6ist\u00e4, jotka voidaan kvantidioida.<\/p>\n\n\n\n Edell\u00e4 esitettyjen menetelmien ohella tietoa ty\u00f6prosessien tuloksellisuudesta voidaan saada my\u00f6s niiden yhteydess\u00e4 tarkastelulla, johon sis\u00e4ltyy seuraavia piirteit\u00e4:<\/p>\n\n\n\n Tarkkailu rakentuu asiantuntija-arvioinnille, jota suorittavat joko toimipisteen ty\u00f6ntekij\u00e4t tai joka rakentuu ulkopuolisen tarkastuksen varaan. V\u00e4lit\u00f6nt\u00e4 ja tilannekohtaista arviointitietoa voidaan saada my\u00f6s keskustelemalla asiakkaiden kanssa.<\/p>\n\n\n\n Sivut 49\u201355: Arvioinnin kriteerit ja tietol\u00e4hteiden soveltaminen.<\/em> Katso Antti Kariston ja Kauko Nymannin esitt\u00e4m\u00e4t kaaviot. Sivut 52\u201355: Diagnostisessa arvioinnissa tarkastellaan systemaattisesti niit\u00e4 ohjelman kohtia, joissa se ep\u00e4onnistuu, uhkaa pett\u00e4\u00e4 tai osoittaa kehitt\u00e4mistarpeita:<\/p>\n\n\n\n T\u00e4m\u00e4 menettely sopii erityisesti sosiaalisten ongelmien m\u00e4\u00e4rittelyyn. Saavutusten sijasta tarkastellaan, mit\u00e4 ei kyetty saavuttamaan tai miss\u00e4 esiintyy tarpeita toimenpiteille. Esimerkkin\u00e4 menetelmist\u00e4 mainittakoon<\/p>\n\n\n\n Sivut 55\u201361: Seurannan informaatioj\u00e4rjestelmist\u00e4<\/em>: 1) tilastot, 2) sosiaali-indikaattorit, 3) koej\u00e4rjestelyt, sek\u00e4 4) organisaatio- ja projektikohtaiset laskenta- ja tarkkailuj\u00e4rjestelm\u00e4t.<\/p>\n\n\n\n Sivut 61\u201367: Intressi evaluoinnin ongelmana<\/em>: Sosiaalihuollon tulokselliseen arvioinnin kehitt\u00e4misen tuottamat kokemukset antavat muutamia opetuksia: 1) demokraattisuuden ongelma, 2) arviointikriteerien m\u00e4\u00e4rittelyn ongelma, sek\u00e4 3) sosiaalisten ilmi\u00f6iden teoriaperustan ongelma.<\/p>\n\n\n\n Julkiset palvelut liittyv\u00e4t yleens\u00e4 laajojen ihmisjoukkojen intresseihin. Tuotanto rakentuu demokraattisten prosessien varaan. Arvioija t\u00f6rm\u00e4\u00e4 monien intressien kentt\u00e4\u00e4n, jossa h\u00e4n voi periaatteessa rakentaa toimintansa kolmelle strategialle:<\/p>\n\n\n\n Tavoitteiden (toivomusvaltaisi vs. ihannevaltaisia) ja arviointikriteerien (julkisesti m\u00e4\u00e4riteltyj\u00e4 vs. ammatillisia) nelikent\u00e4ss\u00e4 nousee n\u00e4kyviin nelj\u00e4 menettelytapaa: demokraattinen, demokratisoituva, ammatillistuva sek\u00e4 teknoraattis-ammatillinen menettely. T\u00e4m\u00e4 tarkastelu osoittaa, ett\u00e4 tavoitteiden asettaminen ja arviointikriteerien m\u00e4\u00e4rittelytapa eiv\u00e4t ole lainkaan merkityksett\u00f6mi\u00e4. T\u00e4h\u00e4n problematiikkaan on vain v\u00e4h\u00e4n kiinnitetty huomiota keskusteltaessa arvioinnista.<\/p>\n\n\n\n Sivut 67\u201369: Arviointikriteerien ja mittareiden laatimiseen liittyvi\u00e4 ongelmia: Mittauksen vaatimuksia ovat luotettavuus, p\u00e4tevyys ja herkkyys muutoksille sek\u00e4 tietty legitimiteetti. Mittareiden osoittimet eiv\u00e4t suinkaan ole arvovapaita. Usein elet\u00e4\u00e4n arvovapauden harhan vallassa ja altistetaan toiminta m\u00e4\u00e4rittelem\u00e4tt\u00f6mille ulkoisille arvoille. Jos kansalaisen intressit unohdetaan, on vaarana ajautua asiantuntijavaltaan. Sosiaalisektorin ratkaisut eiv\u00e4t voi perustua suoraan taloudelle. Tavoite on pikemminkin ratkaisu, jota voidaan pit\u00e4\u00e4 tyydytt\u00e4v\u00e4n\u00e4 ja hyv\u00e4ksytt\u00e4v\u00e4n\u00e4. Tuloksellisuuden arvioinnissa t\u00e4m\u00e4 merkitsee, ett\u00e4<\/p>\n\n\n\n Sivut 69\u201373: Sosiaalisten ilmi\u00f6iden luonteesta ja metodologisista valinnoista tuloksellisuuden arvioinnissa:<\/em> Sosiaalihuollossa arvioinnin kohteen luonne muodostaa toiminnan perusongelman. Kysymys inhimillisen toiminnan ja luonnonilmi\u00f6iden v\u00e4lisest\u00e4 suhteesta on varsin monimutkainen. Inhimilliseen toimintaan liittyy usein tietoisuus tavalla, joka erottaa sosiaalisen toiminnan luonnon ilmi\u00f6ist\u00e4. Niin kauan kuin ihmiset ottavat huomioon samat asiat, voidaan tietty s\u00e4\u00e4nn\u00f6nmukaisuus havaita. Kun he p\u00e4\u00e4tt\u00e4v\u00e4t ottaa huomioon jotkut toiset asiat, toteutuu toinen s\u00e4\u00e4nn\u00f6nmukaisuus. Sosiaalisissa normeissa ja niit\u00e4 ilment\u00e4viss\u00e4 lainalaisuuksissa \u201dsyit\u00e4\u201d ovat asiat, joita yksil\u00f6t ottavat huomioon. Sosiaalisen lainalaisuuden muuttuminen voi tapahtua tietoisuuden muutoksen tuloksena.<\/p>\n\n\n\n Jos edell\u00e4 esitetty pit\u00e4\u00e4 paikkansa, sosiaalitoimen evaluoinnin legitiimi l\u00e4hestymistapa ei olisi naturalistinen evaluointi tai systeemiperusteiden asioiden analysointi. Peruskysymys on pikemminkin seuraava: Onko otettu huomioon ne asiat, jotka tulee ottaa huomioon? Ep\u00e4ilen, ett\u00e4 sosiaalitoimen ja sosiaality\u00f6n ohjeistamisessa ei ole otettu riitt\u00e4v\u00e4sti huomioon toimintaymp\u00e4rist\u00f6\u00f6n liittyvi\u00e4 n\u00e4k\u00f6kohtia. Jos tuloksellisuutta ei ole saavutettu ja ymp\u00e4rist\u00f6ss\u00e4 esiintyy ongelmia, joudutaan kyvym\u00e4\u00e4n muiden toimintaa ja heid\u00e4n huomioonottamia asioita.<\/p>\n\n\n\n Sivut 73\u201374: Johtop\u00e4\u00e4t\u00f6kset: Sosiaalihuollon tuloksellisuuden arvioinnissa tulisi etsi\u00e4 vastauksia seuraaviin kysymyksiin:<\/p>\n\n\n\n N\u00e4m\u00e4 kysymykset nousevat esille ennen arvioinnin teknisi\u00e4 ongelmia. Jatkossa olisi syyt\u00e4 l\u00e4hte\u00e4 liikkeelle t\u00e4m\u00e4n luvun perustana olevasta rakentavasta l\u00e4hestymistavasta.<\/p>\n\n\n\n T\u00e4ss\u00e4 selvityksess\u00e4 tarkastelen l\u00e4hinn\u00e4 sosiaalihuollon \u201desievaluatiivisen\u201d tutkimuksen ongelmia. Painopiste on sen tarkastelussa 1) mit\u00e4 lopullisessa evaluaatiossa pit\u00e4isi mitata ja 2) miten sit\u00e4 tulisi operationalisoida. Lis\u00e4ksi pit\u00e4isi pohtia, 3) kuka p\u00e4\u00e4tt\u00e4\u00e4 mit\u00e4 \u201dpit\u00e4isi\u201d. Tarkastelu tapahtuu taloudellisen evaluaation n\u00e4k\u00f6kulmasta.<\/p>\n\n\n\n Evaluointitutkimus voidaan jakaa<\/p>\n\n\n\n Toiminnan elementit ovat 1) panokset (voimavarat ja kustannukset), 2) toiminta-\/tuotantoprosessi (voimavarojen yhdistely), 3) tuotos (suoritteet ja palvelukset) sek\u00e4 4 vaikuttavuus.<\/p>\n\n\n\n T\u00e4ss\u00e4 luvussa on k\u00e4sitelty er\u00e4it\u00e4 teoreettisia ja metodisia ongelmia, joihin t\u00f6rm\u00e4t\u00e4\u00e4n, jos sosiaalihuollossa pyrit\u00e4\u00e4n tekem\u00e4\u00e4n evaluaatiota, erityisesti taloudellista evaluaatiota. P\u00e4\u00e4paino on ollut vaikuttavuusmittareiden m\u00e4\u00e4rittelyss\u00e4 ja rakentamisessa sek\u00e4 itse vaikuttavuuden mittaamisessa. Esityksess\u00e4 on pyritty tunnistamaan v\u00e4ist\u00e4m\u00e4tt\u00f6m\u00e4t arvo-ongelmat sek\u00e4 antamaan k\u00e4sitteellist\u00e4, teoreettista ja metodista ev\u00e4styst\u00e4 niiden eksplisiittiseksi ratkaisemiseksi. T\u00e4m\u00e4 on v\u00e4ltt\u00e4m\u00e4t\u00f6n edellytys evaluaatiotutkimukselle \u2013 muutoin evaluaatio on subjektiivista, \u201dmutu -menetelm\u00e4\u00e4n\u201d perustuvaa.<\/p>\n\n\n\n <\/p>\n\n\n\n <\/p>\n\n\n\n K\u00e4sill\u00e4 oleva julkaisu sis\u00e4lt\u00e4\u00e4 kaksi sosiaalihuollon evaluoinnin mahdollisuuksia hahmottavaa selvityst\u00e4, jotka ovat syntynet sosiaalihuollon vaikuttavuusprojektin tuloksena. Juha K\u00e4\u00e4ri\u00e4isen selvitys on valmistunut mainitun projektin esitutkimushankkeena. Sen painopiste on sosiaalihuollon evaluaatiotutkimuksen tarpeiden ja ongelmien hahmottamisessa laajemmalla tasolla. Juhani Iivari on selvitt\u00e4nyt vaikuttavuuden arviointia alhaalta yl\u00f6sp\u00e4in erityisesti ns. interventiotutkimuksen kehyksess\u00e4.<\/p>\n\n\n\n Sosiaality\u00f6n vakava ja kriittinen tutkimus on maassamme vasta ottamassa ensi askeliaan. Mit\u00e4 sosiaalihuolto tai sosiaality\u00f6 on, siit\u00e4 vasta keskustellaan. T\u00e4m\u00e4 raportti heijastanee niit\u00e4 vaikeuksia, joita tutkija on kohdannut ja kuvastaa samalla koko hankkeenkin v\u00e4ist\u00e4m\u00e4tt\u00e4 kohtaamia ongelmakohtia. T\u00e4ss\u00e4 raportissa pyrit\u00e4\u00e4n vuonna 1987 julkaistujen kolmen asiantuntija-artikkelin jatkoksi suuntaamaan ja rajaamaan sosiaalihuollon evaluointia mahdolliseksi empiiriseksi tutkimukseksi. Lopussa esitet\u00e4\u00e4n er\u00e4it\u00e4 vaihtoehtoisia etenemisn\u00e4k\u00f6kulmia niihin liittyvine ongelmineen.<\/p>\n\n\n\n T\u00e4m\u00e4 raportti ei ehk\u00e4 ole sosiaalihuollon tuloksellisuuden tutkimuksesta kiinnostuneille kovin kannustava. Ei ole kyetty osoittamaan pit\u00e4vi\u00e4 teoreettisia eik\u00e4 metodisia perusteluja empiiriselle tutkimusasetelmalle, jonka avulla huoltoty\u00f6n tehokkuus- ja vaikuttavuuskysymykset voitaisiin ratkaista. T\u00e4ss\u00e4 yhteydess\u00e4 on kiinnitetty huomiota arviointitutkimuksen voimakkaaseen kausaaliajatteluun, mik\u00e4 on usein johtanut yhteiskunnallisia vaikutusyhteyksi\u00e4 yksinkertaistavan kokeellisen mallin soveltamiseen. On oletettu, ett\u00e4 yhteiskuntapoliittisten interventioiden vaikutukset voidaan erist\u00e4\u00e4 kokeelliseen tutkimusasetelmaan. Luonnontieteiss\u00e4 k\u00e4ytetyn tutkimusasetelman suora ja tarkka j\u00e4ljittely yhteiskunnallisten ilmi\u00f6iden kyseess\u00e4 ollen ei tunnu t\u00e4ss\u00e4 yhteydess\u00e4 perustellulta.<\/p>\n\n\n\n Sivut 21\u201325: Johtop\u00e4\u00e4t\u00f6kset siit\u00e4, ett\u00e4 t\u00e4h\u00e4nastiset pohjoismaiset evaluaatiotutkimukset ovat jokseenkin hy\u00f6dytt\u00f6mi\u00e4 sosiaalipoliittisten toimenpiteiden systemaattisen arvioinnin kannalta johtivat osaksi tutkijoiden asettamista kovista metodivaatimuksista ja niiden yksinkertaistamasta tutkimusprosessista. My\u00f6s Yhdysvalloissa julkaistuille tuloksellisuuden arviointitutkimuksille on ominaista liika formaalisuus. Vahvasti positivistiseen perinteeseen sitoutuneiden evaluaatiometodien tuottamissa tutkimuksissa j\u00e4\u00e4 huomaamatta, ett\u00e4 poliittiset ja hallinnon asettamat tavoitteet ovat usein niin t\u00e4ynn\u00e4 arkip\u00e4iv\u00e4ist\u00e4 analysoimatonta toiveajattelua ja todellisuuden kanssa ristiriitaisia oletuksia, ett\u00e4 ei ole ihme, jos niiden varaan rakennetut evaluaatiotutkimukset tuottavat nollatuloksia. Sosiaalihuollon vaikuttavuuden tutkiminen virallisesti asetettujen tavoitteiden kriteerist\u00f6ll\u00e4 tuntuu varsin ongelmalliselta.<\/p>\n\n\n\n Sivut 25\u201333: Empiiriselle evaluaatiotutkimukselle voidaan karkeita perustyyppej\u00e4:<\/p>\n\n\n\n Sosiaality\u00f6ss\u00e4 on useita menetelmi\u00e4, joiden tavoitteet ja ty\u00f6k\u00e4yt\u00e4nn\u00f6t voidaan korkeintaan tyydytt\u00e4v\u00e4sti mitata yksiselitteisesti. Mik\u00e4 itseasiassa on ollut sosiaality\u00f6n osuus asiakkaan el\u00e4m\u00e4ntilanteessa mahdollisesti tapahtuneiden muutosten aikaansaamisessa? Riitt\u00e4\u00e4k\u00f6 sosiaality\u00f6n monesti varsin v\u00e4h\u00e4inen kosketuspinta aiheuttamaan muutoksia yksil\u00f6iden el\u00e4m\u00e4nkulussa ja jos riitt\u00e4\u00e4, millaisissa tapauksissa n\u00e4in k\u00e4y? Yhteis\u00f6ihin kohdistuvien sosiaality\u00f6n tavoitteet ja ty\u00f6k\u00e4yt\u00e4nn\u00f6t ovat usein edellisi\u00e4kin ep\u00e4t\u00e4sm\u00e4llisemmin perusteltuja, jolloin niiden yksiselitteinen evaluaatio k\u00e4y my\u00f6s vaikeammaksi. Empiirisen vaikuttavuustutkimukset ovat metodisten ongelmien lis\u00e4ksi rajoittuneita kahdessa suunnassa:<\/p>\n\n\n\nPetteri Paasio (2003) Vaikuttavuuden arvioinnin mahdollisuudet ja rakenne sosiaalialalla. Stakes. FinSoc Ty\u00f6papereita 3.<\/h4>\n\n\n\n
Paasio, P. (2006). Yleinen ja erityinen viitekehys arvioinnista. Hallinnon tutkimus<\/em>, 25<\/em><\/strong>(3), 92-107.<\/h4>\n\n\n\n
Koivisto, J. (2006). Sosiaalialan n\u00e4ytt\u00f6keskustelu: miten sosiaalisten interventioiden vaikuttavuus osoitetaan? Janus Sosiaalipolitiikan ja sosiaality\u00f6n tutkimuksen aikakauslehti<\/em>, 53-60.<\/h4>\n\n\n\n
Marketta Rajavaara (2007) Vaikuttavuusyhteiskunta. Sosiaalisten olojen arvostelusta vaikutusten todentamiseen. Kelan tutkimusosasto. Sosiaali- ja terveysturvan tutkimuksia 84.<\/h4>\n\n\n\n
Sinkkonen, M. (2008). Sosiaalipalvelujen vaikuttavuuden arvioinnista. Hallinnon tutkimus<\/em>, 27<\/em>(1).<\/h4>\n\n\n\n
Kivipelto, M. (2008). Osallistava ja valtaistava arviointi: johdatus periaatteisiin ja k\u00e4yt\u00e4nt\u00f6ihin. Stakesin ty\u00f6papereita 17.<\/h4>\n\n\n\n
Rajavaara, M. (2012). Sosiaality\u00f6n vaikuttavuustietoa tavoittelemassa (Pohjola, Anneli & Kemppainen, Tarja & V\u00e4yrynen, Sanna (toim.): Sosiaality\u00f6n vaikuttavuus). Janus Sosiaalipolitiikan Ja sosiaality\u00f6n Tutkimuksen Aikakauslehti<\/em>, 20<\/em>(3), 302\u2013305. <\/h4>\n\n\n\n
<\/h3>\n\n\n\n
Tapani Purola, Ky\u00f6sti Urponen ja Harri Sintonen (1987) Vaikuttavuuden arvioinnin mahdollisuuksista ja menetelmist\u00e4 sosiaalihuollossa. Sosiaalihallituksen julkaisuja 18.<\/h2>\n\n\n\n
\n
\n
Ky\u00f6sti Urponen: Vaikuttavuuden arviointi sosiaalihuollossa ja -ty\u00f6ss\u00e4 \u2013 N\u00e4k\u00f6kohtia arviointimenetelmist\u00e4, ongelmista ja haasteista.<\/strong><\/a><\/strong><\/h4>\n\n\n\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
<\/a>Harri Sintonen. Sosiaalihuollon vaikuttavuusprojekti \u2013 sosiaalipolitiikan ja erityisesti sosiaalihuollon arviointi metodologisten kysymysten mm. kustannushy\u00f6tyanalyysin n\u00e4k\u00f6kulmasta.<\/a><\/h4>\n\n\n\n
\n
Juha K\u00e4\u00e4ri\u00e4inen ja Juhani Iivari (1989). Sosiaalihuolto maailmanparantajana. Sosiaalihallituksen julkaisuja 4.<\/a><\/h2>\n\n\n\n
Juha K\u00e4\u00e4ri\u00e4inen: Evaluaatiotutkimuksen perinteist\u00e4 ja suomalaisen sosiaalihuollon vaikuttavuuden arviointimahdollisuuksista. Sivut 1\u201350.<\/a><\/h4>\n\n\n\n
\n
\n
\n