Metody a nástroje hodnocení
Metody a nástroje hodnocení - v soukromém i veřejném sektoru
Funkce hodnocení ve veřejném sektoru/veřejných službách slouží především k těmto účelům:
- podpora rozhodovacího procesu – poskytuje pracovníkům zodpovědným za rozhodování znalosti a hodnotovou základnu umožňující posoudit hodnotu akce a/nebo zdůvodnit přijatá rozhodnutí a provedené řídící kroky, nebo
- podpora poskytování informací a odpovědnosti vůči zainteresovaným stranám a širší veřejnosti za naplňování cílů a průběžný výkon veřejného sektoru/ veřejných služeb.
Hodnocení by v obou případech měl jeho zadavatel/financovatel zaměřit tak, aby poskytovalo konkrétní informace k těmto otázkám :
- Je plánovaný/realizovaný rozpočtový či právní závazek opodstatněný vzhledem ke konceptu projektu a alokovaným finančním prostředkům, je účelné cíle sledovat nebo ne, je žádoucí cíle upravit a/nebo
- jsou řídící struktury spojené s plánovaným/realizovaným rozpočtovým či právním závazkem dostatečné pro dosažení stanovených cílů a/nebo
- vede plánovaný/realizovaný rozpočtový či právní závazek k pozitivním nebo negativním dopadům, neočekávaným výsledkům a je, se zřetelem k nákladům, efektivní, účinný nebo udržitelný?
Pokud jde o metody a nástroje hodnocení, v soukromém i veřejném sektoru existuje řada různých technik, které jsou časově náročné a vyžadují značné teoretické znalosti a praktické zkušenosti. Některé nástroje/metody se vzájemně doplňují, jiné jsou alternativní, některé jsou široce aplikovatelné, zatímco jiné mají jen omezené možnosti využití. Tyto techniky se tradičně dále člení podle toho, zda podporují:
- návrh/strukturu hodnocení a/nebo
- sběr/získávání dat a/nebo
- analýzu dat a/nebo
- posuzování (formulování zjištění a závěrů).
Při výběru metod a nástrojů vhodných pro konkrétní hodnocení je nutno zvážit:
- účel hodnocení – rozhodování nebo odpovědnost vůči subjektům uvnitř i vně veřejného sektoru, zdůvodnění akce, posouzení řídících struktur/kapacity, posouzení osvědčených postupů a jejich nákladů,
- typ intervence – socioekonomické cíle, cílové skupiny, zainteresované strany, délka realizace,
- rozsah hodnocení – závažnost výsledků a zjištění hodnocení, přidělené finanční prostředky, požadovaná hloubka analýzy (všeobecná nebo podrobná),
- Fáze cyklu programu/politiky – předchozí/ex-ante hodnocení nebo střednědobé/ následné/ ex-post hodnocení.
Pokud jde o základní kritéria hodnocení, využívají hodnotitelé nástroje tak, aby byli schopni posoudit některé nebo všechny následující klíčové otázky:
- Relevance - Udržitelnost
- Efektivnost - Udržitelnost
- Účinnost - Mrtvá váha (deadweight)
- Využitelnost / dopad
Přehled některých častěji používaných metod a nástrojů
Následující tabulka obsahuje přehled některých častěji používaných metod a nástrojů s uvedením role a využití v jednotlivých fázích procesu hodnocení:
| Návrh | Předchozí - ex ante | Následné - střednědobé/ex-post | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Všeobecné | Podrobné | Všeobecné | Podrobné | ||||||||||
| Metody / nástroje | Návrh / struktura | Získávání dat | Analýza dat | Posouzení | Získávání dat | Analýza dat | Posouzení | Získávání dat | Analýza dat | Posouzení | Získávání dat | Analýza dat | Posouzení |
| Konzultace se zainteresov. stranami | |||||||||||||
| Posouzení hodnotitelnosti | |||||||||||||
| Logické modely | |||||||||||||
| Mapování koncepcí nebo témat/ otázek | |||||||||||||
| Místní hodnocení | |||||||||||||
| Sociální šetření | |||||||||||||
| Průzkumy mezi příjemci | |||||||||||||
| Individuální pohovory (se zainteres. stranami) | |||||||||||||
| Hodnocení priorit | |||||||||||||
| Skupinové diskuse (Focus Groups) | |||||||||||||
| Případové studie | |||||||||||||
| Participační postupy a metody | |||||||||||||
| Formativní/ rozvojové hodnocení | |||||||||||||
| Využití dat z druhotných zdrojů | |||||||||||||
| Využití administrativních dat | |||||||||||||
| Pozorovací techniky | |||||||||||||
| Institucionální analýza | |||||||||||||
| Šetření sledující veřejné výdaje | |||||||||||||
| Analýza vstupů/ výstupů | |||||||||||||
| Ekonometrické modely | |||||||||||||
| Regresní analýza | |||||||||||||
| Experimentální a kvaziexperimentální postupy | |||||||||||||
| Delfské šetření | |||||||||||||
| SWOT | |||||||||||||
| Analýza nákladů a přínosů | |||||||||||||
| Benchmarking | |||||||||||||
| Analýza nákladové efektivnosti | |||||||||||||
| Hodnocení rizika | |||||||||||||
| Hodnocení ekonomického dopadu | |||||||||||||
| Hodnocení sociálního dopadu | |||||||||||||
| Hodnocení dopadu na rovnost pohlaví | |||||||||||||
| Hodnocení dopadu na životní prostředí | |||||||||||||
| Hodnocení dopadu strategií/politik na ŽP | |||||||||||||
| Multikriteriální analýza | |||||||||||||
| Expertní panely | |||||||||||||
Výběr zásadních materiálů renomovaných institucí
Existuje mnoho materiálů a metodických pokynů k aplikaci jednotlivých metod a nástrojů hodnocení, které vydala profesní sdružení hodnotitelů a různé organizace ze soukromého i veřejného sektoru na mezinárodní a národní úrovni. Do níže uvedeného výběru titulů jsou zahrnuty především materiály renomovaných institucí, které nabízejí buď ucelený přehled hodnotících metod a nástrojů nebo užitečné stručné reference týkající se některých běžněji používaných technik. Další materiály, včetně dokumentů o využití a aplikaci jednotlivých metod a nástrojů hodnocení, lze získat od organizací uvedených v Užitečných odkazech.
Evropská komise
V návaznosti na sborník MEANS Collection (Means for Evaluating Actions of a Structural Nature, (Prostředky pro hodnocení akcí strukturální povahy), který byl poprvé vydán v r.1995 jako podrobný soubor příruček k hodnocení socioekonomického rozvoje se zvláštním zaměřením na strukturální fondy a politiku soudržnosti EU/ES, publikovala Evropská komise v r. 2003 Hodnocení socioekonomického rozvoje – Příručka a zdrojové materiály (The Evaluation of Socio-Economic Development – The Guide and Sourcebooks: 1 (Témata a oblasti politiky), 2 (Techniky a nástroje) a 3 (Rozvoj kapacity)). Sourcebook 1 uvádí typy hodnotících nástrojů, technik, dat a indikátorů vhodných pro jednotlivá témata a oblasti politiky, Sourcebook 2 popisuje vybrané metody a techniky vhodné pro různé fáze hodnocení socioekonomického rozvoje, a Sourcebook 3 zahrnuje případové studie týkající se nedávného rozvoje kapacity v oblasti hodnocení ve třech různých členských státech EU.
Evropská komise: Podrobné pokyny k provádění hodnocení dopadu v rámci Komise ve vazbě na politické nástroje (legislativní a rozpočtové) byly poprvé vydány v r. 2002. V r. 2006 vyšla jejich nejnovější aktualizace zahrnující Přílohy pokynů k hodnocení dopadu (Annexes to Impact Assessment Guidelines), které obsahují přehled různých modelů a nástrojů pro posouzení jednotlivých aspektů a srovnání dopadů (např. mikro- a makroekonomické dopady, nákladová efektivnost, administrativní výdaje, netržní dopady).
Ministerstvo pro místní rozvoj ČR
Ministerstvo pro místní rozvoj ČR na základě těchto materiálů v r. 2005 vydalo podobnou metodickou příručku k socioekonomickému hodnocení v češtině (Evaluace socioekonomického rozvoje) doplněnou dalšími texty a přílohami (Evaluace socio-ekonomického rozvoje – doplňující texty k metodické příručce), která popisuje různé hodnotící nástroje a uvádí příklady z praxe. Druhý díl (doplňující texty) zahrnuje 6 hlavních částí (A – F) obsahujících mimo jiné :
Evaluace socioekonomického rozvoje - Metodická příručka
Ćást C - Metody a techniky - Doplňující texty k Metodické příručce
Část D - Sociální průzkumy - Doplňující texty k Metodické příručce
Část E - Analýza vstupů a výstupů - Doplňující texty k Metodické příručce
Část F - Techniky vhodné pro posouzení výhod a nevýhod hodnocených programů/projektů - Doplňující texty k Metodické příručce
Skupina Světové banky
Skupina Světové banky: skupina Světové banky využívá hodnocení intervencí veřejného sektoru již od r. 1973, kdy bylo založeno Oddělení pro hodnocení operací (Operations Evaluation Department), která se nyní nazývá Nezávislá evaluační skupina (Independent Evaluation Group, IEG) a vydala řadu užitečných příruček o metodách a nástrojích hodnocení, např.:
-
Uživatelská příručka k analýze chudoby a sociálního dopadu (A User’s Guide to Poverty and Social Impact Analysis), rok vydání: 2003. Příručka obsahuje přehled hlavních zásad, jimiž by se měla analýza řídit, jejích fází a nejdůležitějších nástrojů podporujících analýzu, z nichž každý je prezentován v samostatné tabulce uvádějící: o jaký nástroj/metodu jde, pro které politické reformy je vhodný, na které typy otázek nabízí odpovědi, jaké má vazby na jiné nástroje/metody, jaké má hlavní prvky, náročnost na data, čas, dovednosti, software, dále nákladnost, omezení nástroje/metody a reference a využití v jednotlivých zemích.
-
Dopad hospodářských politik na chudobu a rozdělení příjmů (The Impact of Economic Policies on Poverty and Income Distribution), rok vydání: 2003. Příručka nabízí podrobný přehled řady mikro- a makroekonomických analytických nástrojů využitelných v širokém spektru oblastí hospodářské politiky. Upozorňuje na osvědčené techniky vhodné pro vyhodnocení variant hospodářské politiky, kvantifikaci dopadů a přesnější kvantifikaci výhod a nevýhod variantních scénářů. Příručka také obsahuje stručný popis jednotlivých nástrojů s uvedením, jak určitý nástroj funguje, k čemu se používá, jakou má náročnost na data, čas, dovednosti, software a jakou nákladnost atd.
-
Monitorování a hodnocení, některé nástroje, metody a postupy (Monitoring and Evaluation – Some Tools, Methods and Approaches), rok vydání: 2004. Příručka obsahuje stručný přehled vzorku nejdůležitějších nástrojů, metod a postupů, včetně několika metod sběru dat, analytických rámců a typů hodnocení a přezkumu. U každého nástroje je stručně popsán jeho účel a využití, výhody a nevýhody, přibližné náklady, potřebné dovednosti, časová náročnost a také nejdůležitější reference.
-
Provádění kvalitních hodnocení dopadů při rozpočtových, časových a datových omezeních (Conducting Quality Impact Evaluations Under Budget, Time and Data Constraints), rok vydání 2006. Materiál poskytuje stručný přehled osvědčené praxe v navrhování a plánování hodnocení při omezení rozpočtu, času a/nebo dat. Pracovníkům plánujícím hodnocení dopadu radí, jak si při omezeních, s nimiž se musí vyrovnat, vybrat co nejpřesnější metody na základě kompromisu mezi přesností hodnocení a rozpočtem, časem a daty, které jsou pro hodnocení k dispozici.
