Oscar Barberá Aresté - La institucionalización de la evaluación de políticas públicas

La evaluación de impacto trata de contrastar la validez de la teoría del cambio que guía todo programa de intervención. En la mayoría de casos esto supone utilizar herramientas de control de cierta complejidad metodológica que, además, pueden ser notablemente variadas (v. g. Blasco y Casado: 2009; Gertler et al.: 2011; Khandker, Koolwal y Samad: 2010). El diseño con mayor capacidad explicativa es el experimental basado en selección aleatoria de diversos grupos con controles previos y posteriores a la intervención. Si además de la selección aleatoria es posible realizar controles en el tiempo, se habla entonces de la utilización del método de las dobles diferencias o diferencias en diferencias (double difference) . Cuando no es posible la selección aleatoria previa se tiende a utilizar otros diseños como el pareamiento (matching) o la regresión discontinua que pretenden solucionar mediante métodos estadísticos los problemas de sesgo en la selección de los grupos. Otros diseños de control menos rigurosos, pero también comunes, son los llamados cuasi-experimentos que tratan de establecer controles temporales (antes-después o series temporales) sobre uno o diversos grupos no seleccionados aleatoriamente. Finalmente, cuando ni la selección aleatoria ni los controles temporales son posibles, todavía pueden realizarse ciertos controles a través de estimaciones estadísticas multivariantes.

Los usos y propósitos de la evaluación

Siguiendo a Stufflebeam y Shinkield (1987), Bustelo ha señalado las tres principales funciones que suele darse a la evaluación (Bustelo: 2003): la función de mejora (improvement) que está fundamentalmente pensada como retroalimentación y aprendizaje institucional de la experiencia de la intervención pública; la función de rendimiento de cuentas (accountability) , que señala el valor de la evaluación como instrumento para informar a los distintos agentes implicados en la política pública de las actuaciones que se están llevando a cabo así como de su éxito o fracaso. La última función, y más abstracta, es la de constituirse como guía para futuras acciones (enlightenment) .

Más allá de estas funciones generales, Subirats y sus colegas han señalado diversos usos más instrumentales que los actores pueden hacer de la evaluación (Subirats et al.: 2008). En primer lugar, puede utilizarse como una herramienta de ventaja competitiva. La información proporcionada por las evaluaciones, especialmente cuando son realizadas por trabajos de consultoría directa puede servir para detectar puntos muy sensibles para la organización. En segundo lugar, las evaluaciones pueden utilizarse para reforzar la posición estratégica de una agencia o departamento, especialmente si su actuación ha sido cuestionada. Estos autores identifican algunas situaciones típicas en que esto sucede como movilizar apoyos a favor o en contra de un proyecto o medida concreta, para contribuir a delimitar el ámbito de actuación de una política pública frente a otras, o como herramienta para argumentar a favor de mayor o menor regulación pública. En tercer lugar, las evaluaciones pueden proporcionar información «objetiva» sobre la situación de una política pública en distintos contextos políticos y sociales, sobre todo si tienen carácter comparado o supranacional. Los informes de la OCDE o del Banco Mundial pueden ser buenos ejemplos de este tipo de usos. En cuarto lugar, el recurso creciente de las diversas administraciones a utilizar evaluaciones puede generar comunidades de investigadores (públicos o privados) especializados en este tipo de prácticas. Las comunidades de evaluadores pequeñas y muy cerradas pueden terminar teniendo efectos un tanto perversos por la dependencia de estos grupos del dinero público. En cambio, si estas son abiertas y plurales sin duda pueden evitar estos problemas y constituir un recurso muy valioso para las diversas administraciones. Finalmente, más allá de sus contenidos específicos, las evaluaciones pueden utilizarse como actos simbólicos dedicados a ganar tiempo por parte de administraciones o agencias en determinados momentos críticos. La evaluación puede servir para posponer, por ejemplo, la asunción de responsabilidades o frenar determinadas actividades legislativas.

2.LA INSTITUCIONALIZACIÓN DE LA EVALUACIÓN

La institucionalización de los sistemas de evaluación y la cultura de evaluación

Históricamente, el desarrollo de la evaluación de las políticas públicas está vinculado tanto con los intentos por racionalizar el gasto en los programas públicos como con la consolidación del Estado de Bienestar. La introducción de medidas de racionalización como el Programming, Planning and Budgeting System (PPBS) en el Departamento de Defensa de los ee. uu. con evaluaciones ex ante de la eficacia y eficiencia de programas, así como el desarrollo de sistemas presupuestarios multianuales es un hito incontestable en este proceso. Sin embargo, la expansión del PPBS a otros departamentos no tuvo el mismo éxito (Ballart: 1992; Derlien: 1990). Por otro lado, la evaluación también se ha ido desarrollando tanto en EE. UU. como en diversos países occidentales como una herramienta para tratar de establecer el impacto y la eficiencia del gasto en programas sociales, educativos y de salud.

Los estudios sobre el desarrollo de la evaluación tienen dos dimensiones básicas: la primera se centra en la creación de normas y estructuras administrativas que aseguren su realización y difusión. Estos estudios tienden a hacer énfasis en lo que denominan la institucionalización de la evaluación. La segunda dimensión se centra en las actitudes, predisposiciones y usos de la evaluación por los diversos actores implicados en la gestión de la política. Esta segunda dimensión tiende a centrarse en valores y comportamientos y suele denominarse cultura de evaluación. Ambas dimensiones están muy presentes en los principales intentos que la academia ha hecho para medir el desarrollo de la evaluación en distintos países y departamentos. También en las recomendaciones que se hacen para su mejora.

Hasta la fecha, el International Atlas of Evaluation constituye uno de los principales esfuerzos académicos para dar una visión lo más exhaustiva posible del desarrollo de la evaluación en distintos países (Furubo, Rist y Sandahl: 2002; Jacob, Speer y Furubo: 2015). Los autores de este estudio combinaron el análisis de las estructuras administrativas (institucionalización) en el ejecutivo, como de las actitudes y comportamientos (cultura) en otras instituciones y en la sociedad civil. Los principales aspectos que se abordaron en el Atlas fueron:

1.Una visión de conjunto histórica de cómo las instituciones se han relacionado con la evaluación.

2.Una descripción de la profesionalización en el campo de la evaluación.

3.Una descripción de la evaluación en la rama ejecutiva y ministerial.

4.Una descripción de la evaluación en la rama legislativa-parlamentaria del Gobierno.

5.Realización de observaciones concluyentes de dónde el sistema nacional está presente y hacia dónde tiene que ir.

Una de las principales innovaciones de Atlas fue la combinación de todas estas cuestiones en un índice de institucionalización de la evaluación. Este índice permitió elaborar rankings y comparaciones sincrónicas entre países en 2001 y en 2011 (Furubo, Rist y Sandahl: 2002; Jacob, Speer y Furubo: 2015; Varone y Jacob: 2004). Sin embargo, lo más importante es que sirven para dar evidencias de los ámbitos en que esta se extiende (o no) en cada país y, eventualmente, comprobar sus cambios en el tiempo. De hecho, lo más importante de este índice no es la cuestionable capacidad de comparar entre países, sino la posibilidad de realizar estudios diacrónicos para mostrar el desarrollo de la evaluación en un mismo país o entre varios países en el tiempo.