Oscar Barberá Aresté - La institucionalización de la evaluación de políticas públicas

El índice de institucionalización de la evaluación propuesto en el International Atlas of Evaluation consta de nueve indicadores (Furubo, Rist y Sandahl: 2002):

1.La evaluación tiene lugar en diversas políticas sectoriales (policy domains) . Este indicador mide la extensión y frecuencia de las actividades de evaluación: si se llevan a cabo de modo aislado y exclusivamente en una política pública o programas concretos; si lo hacen con frecuencia en algunas (pero no todas) las políticas públicas; o si su uso es común y está extendido en todo el sector público.

2.Hay oferta de evaluadores especializados en diferentes disciplinas y con dominio de diversas metodologías.

Este criterio pretende captar el pluralismo de metodologías y de instituciones que realizan tareas de evaluación. Se diferencia entre aquellos países donde solo unas pocas instituciones (públicas o privadas) realizan evaluaciones con un único enfoque metodológico, de aquellos donde existe una gran diversidad de centros y una amplia pluralidad de enfoques.

3.Hay un enfoque propio sobre cómo debe llevarse a cabo la evaluación.

Con este indicador se analiza en qué medida el debate sobre los criterios de evaluación, la organización de las estructuras de evaluación o la formación de los evaluadores se basa en la experiencia adquirida por la comunidad o se trata de una importación (policy transfer) . Fundamentalmente opone aquellos países que han tendido a desarrollar su propio enfoque (en diálogo con la experiencia comparada), de los que se dedican a importar directamente la metodología o estructuras de otros contextos políticos.

4.Existe una comunidad de evaluadores.

Este criterio se centra en el desarrollo de sociedades nacionales o, más genéricamente, de entidades dedicadas a compartir experiencias (a través de reuniones y/o publicaciones periódicas) y/o a debatir las normas éticas de la profesión. Se distingue entre aquellos países en los que existen dichas sociedades nacionales, los que organizan reuniones periódicas, pero sin que exista una única institución promotora, y aquellos en los que solo hay encuentros esporádicos de expertos.

5.El Gobierno dispone de mecanismos para realizar evaluaciones y difundir sus resultados entre los decisores políticos.

La realización de evaluaciones puede ser poco efectiva si luego no son utilizadas por los responsables de tomar decisiones. Este criterio trata de dar cuenta en qué medida existen mecanismos o protocolos formalizados para la realización de evaluaciones y, también, para asegurar que al menos formalmente las evaluaciones son tenidas en cuenta por los responsables de los distintos programas dentro del ejecutivo. Esto separa aquellos países que han desarrollado estructuras y procesos tanto para realizar evaluaciones como para diseminar sus resultados de aquellos que no los tienen.

6.El Parlamento dispone de mecanismos para realizar evaluaciones y difundir sus resultados entre los decisores políticos.

Este indicador mide lo mismo que el anterior, pero aplicándolo al ámbito parlamentario. La razón para separarlos es que la perspectiva del parlamento no tiene por qué coincidir con la de los responsables de los programas en el Gobierno. Esto puede llevar a que se planteen evaluaciones con preguntas y perspectivas distintas a las del Gobierno.

7.Hay pluralismo dentro de las distintas políticas sectoriales (policy domains) : diferentes agencias o instituciones encargan y realizan evaluaciones.

Este criterio pretende capturar el pluralismo en la realización de evaluaciones dentro de cada ámbito político. Cuando en un campo hay un solo responsable de la evaluación este suele decidir también la metodología, los evaluadores, etc., lo que limita el pluralismo y, por lo tanto, el contraste de pareceres. Lo contrario sucede cuando existen varios actores que encargan y realizan evaluaciones.

8.La institución suprema de auditoría lleva a cabo actividades de evaluación. Este es seguramente uno de los criterios más cuestionables del índice porque las actividades de evaluación no tienen por qué estar vinculadas con las instituciones supremas de auditoría (Tribunal de Cuentas, etc.). Pese a ello, parece existir cierta relación entre el grado de desarrollo de la evaluación y el trabajo llevado a cabo por estas instituciones. Por esto los autores dividen entre aquellos países en los que la evaluación juega un papel muy importante dentro de estas autoridades y aquellos en los que no realizan ningún tipo de evaluación.

9.Las evaluaciones no solo se centran en la producción o en la relación entre insumos y productos.

Este indicador analiza si las evaluaciones tienen como objeto medir la producción y el coste de bienes y servicios (km de carreteras, horas de clase) o, por el contrario, analizan los impactos de estos bienes y servicios en la sociedad. Como ya hemos señalado, este tipo de enfoque va más allá de centrarse en la correcta gestión del gasto o en la eficiencia económica de los programas. El criterio distingue, por lo tanto, aquellos países que realizan evaluación pensando en los impactos de los que se centran en la producción de bienes y servicios, así como en sus criterios de eficiencia económica.

Este índice ha sido contrastado con los resultados de otras investigaciones parecidas que, en vez de medir madurez, se centran en el concepto (similar) de institucionalización de distintos sistemas de evaluación de modo comparado (Jacob, Speer y Furubo: 2015; Jacob y Varone: 2004; Varone y Jacob: 2004). Una de las principales dificultades de estas investigaciones reside en la metodología utilizada para la recolección de datos. Casi todas ellas se basan en unas pocas entrevistas a expertos nacionales y, solo en menor medida, en el uso de documentación indirecta referente a cada país. El trabajo más sistemático de recolección de la información de modo comparado fue el del Atlas aunque también allí la información procedente de las entrevistas a expertos era determinante para el análisis comparado.

En este informe se ha adoptado un enfoque distinto con respecto a la recolección de las evidencias para la Comunitat Valenciana. En vez de una encuesta a expertos se ha optado por utilizar una combinación de información procedente de entrevistas semiestructuradas y datos procedentes de fuentes tanto primarias como secundarias. Todo esto se analiza con más detalle en los anexos metodológicos del libro.

Principales etapas de desarrollo de la evaluación y factores de su institucionalización

En la introducción hemos abordado las principales dimensiones vinculadas con la institucionalización o maduración de los sistemas de evaluación. También de las principales propuestas de medición realizadas por la literatura comparada. En este apartado abordamos las principales lecciones que pueden extraerse de la literatura comparada.

Los estudios comparados sobre los procesos de institucionalización de los sistemas de evaluación son todavía bastante escasos (Derlien: 1990, 2001; Furubo, Rist y Sandahl: 2002; Jacob, Speer y Furubo: 2015; Jacob y Varone: 2004; Varone y Jacob: 2004). Uno de los trabajos pioneros en este campo ha dividido el desarrollo de la evaluación en los países occidentales en tres grandes etapas (Derlien: 1990, 2001): en la primera, durante las décadas de 1960 y 1970, la evaluación tuvo como uso predominante la información para la mejora del funcionamiento de los programas públicos. Los responsables de la evaluación eran los responsables de los distintos proyectos en distintos departamentos del Gobierno que impulsaban nuevas políticas públicas. A partir de los años 1980, los problemas fiscales de muchos estados propiciaron cambios importantes en su uso. Los responsables pasaron a ser ahora los ministerios de Hacienda o el entorno (unidades centrales) de los presidentes y primeros ministros que ahora tenían como propósito la contención o el recorte del gasto público. La función básica de estos estudios de evaluación era favorecer una mejor reasignación del dinero público, lo que también desplazó el interés por los impactos hacia el interés por la eficiencia en la provisión de resultados (outputs) de las políticas. A partir de finales de los años 1990, Derlien observa un cierto desplazamiento de la evaluación hacia el Parlamento y, en los países europeos, una creciente importancia de la evaluación promovida por la Unión Europea. Este desplazamiento también ha sido detectado por otros autores posteriores (v. g. Furubo, Rist y Sandahl: 2002). Es posible que con la crisis económica de finales de la primera década del siglo XXI se haya regresado de nuevo al uso de la evaluación como contención y reasignación del gasto público.