Oscar Barberá Aresté - La institucionalización de la evaluación de políticas públicas

Tabla 1.3

La cultura de la evaluación en diferentes países (2011)

Fuente : Jacob, Speer y Furubo: 2015.

El contraste entre los resultados del año 2001 y 2015 permite, además, realizar un análisis longitudinal de los progresos (o retrocesos) experimentados por los diversos países. Por un lado, vemos un salto cualitativo en países que, teniendo puntuaciones muy bajas en la primera etapa, ahora han crecido en gran medida. El caso de Japón es especialmente paradigmático, ya que pasó de tener 3 puntos en 2001 a alcanzar la cifra de 11,3 en el 2011. En esta misma línea encontramos el caso de Suiza, que obtuvo un incremento de 8,4 puntos en el segundo estudio respecto del primero. España también experimentó un crecimiento significativo al pasar de 5 puntos a 11,3. Por otro lado, hubo países que bajaron su puntuación ligeramente, como es el caso de Estados Unidos de 18 a 15,8; Australia de 16 a 13,7; o Canadá de 17 a 16. Otros, como Alemania y los Países Bajos, se quedaron prácticamente con las mismas puntuaciones. Al mismo tiempo, cabe señalar que las distancias entre los países más puntuados y los más rezagados se redujo considerablemente. En el 2001 la media de los que más puntuación obtuvieron fue de 17 puntos, pero en el 2011 bajó a 16,3. Por su parte, la media de los que menos puntos consiguieron en 2001 fue de 6,2 puntos, mientras que en el 2011 aumentó hasta 10,3.

Principales recomendaciones de la literatura dedicada a implantar sistemas de evaluación

Además de la literatura comparada sobre los procesos de institucionalización de la evaluación en diversos países, también es posible extraer algunas recomendaciones de las obras especializadas en la implantación de sistemas de seguimiento y evaluación. Este tipo de obras es de carácter básicamente normativo y suele basarse en la experiencia acumulada por sus autores o en la institución por la que trabajan. Las recomendaciones no están dirigidas a países sino a los responsables de la implementación de estos sistemas en sus respectivos departamentos (altos cargos y altos funcionarios).

Un ejemplo de este este tipo es la obra Manual para gestores del desarrollo. Diez pasos hacia un sistema de seguimiento y evaluación basado en resultados (Kusek y Rist: 2004). Sus autores son asesores habituales del Banco Mundial en temáticas relacionadas con la evaluación y el desarrollo de las misma en políticas públicas. Según comentan Kusek y Rist en su obra, la implantación de sistemas de seguimiento y evaluación constituye una fantástica herramienta pública de gestión que puede mejorar la manera en que los Gobiernos logran sus resultados, ya que posibilita rastrear los avances de un proyecto, programa o políticas determinadas y demostrar su impacto.

La primera recomendación que hacen estos autores para implantar estos sistemas es la existencia de un compromiso riguroso, continuado en el tiempo y una voluntad política firme. Además, nos proponen una metodología basada en 10 pasos que resumimos brevemente.

1.Hacer una estimación de la preparación

Se trata de ofrecer un contexto analítico en el que evaluar la capacidad organizativa de un país o departamento determinado y ver, además, la voluntad política que se tiene para hacer el seguimiento, así como para evaluar las metas que se proponen. Dicho de otra manera, el análisis de los recursos y la voluntad política es fundamental para saber si puede iniciarse el proceso ya que brinda el contexto analítico para calificar la habilidad que tiene cada país o departamento para hacer un seguimiento efectivo y la evaluación de sus planes y programas.

2.Elegir los impactos (outcomes) para monitorearlos y evaluarlos

Los impactos nos van a ayudar a entender cuál será el éxito del plan. A partir de ellos se mostrará qué decisiones se van a tomar para corregirlos. De lo que se trata, pues, es de que haya el mayor acuerdo posible en la identificación de los efectos para así hacer su seguimiento y poder evaluarlos. Los outcomes remiten al impacto (económico, social, ambiental...) de la intervención de las administraciones en la sociedad, no a los bienes y servicios generados.

3.Seleccionar los indicadores clave para monitorear los efectos

El adecuado control de los efectos de una política precisa de la correcta selección y medición de indicadores. Sin indicadores ni evidencias (cuantitativas o cualitativas) es imposible saber los cambios o el impacto social que producen las medidas propuestas. Los indicadores son necesarios para hacer un seguimiento a los avances respecto de los recursos utilizados, las actividades llevadas a cabo, los productos y los servicios ofrecidos. Pero también, y, sobre todo, de los efectos generados en la sociedad. De este modo, los indicadores nos van a servir para entender si se están haciendo progresos tanto en la implementación de la política como en los efectos esperados.

4.Recoger información antes de la intervención

Se trata de recoger datos básicos que ayuden a determinar la situación actual y establecer un plan de seguimiento para cambios futuros. Los datos servirán para informar a los encargados del proceso decisorio sobre las circunstancias actuales (necesidades) y con ello llevar a cabo unos patrones de intervención y de seguimiento. Eso sí, será necesario que la construcción y análisis de los datos básicos sea rigurosa. Para ello es importante identificar fuentes de datos y métodos de recolección de datos fiables.

5.Planificar para mejorar. Seleccionar objetivos de resultados.

La identificación de los objetivos que pretenden conseguirse, así como de las políticas que se demandan para su consecución es fundamental. La confección de los objetivos debe permitir identificar el nivel deseado de resultados y seleccionar los objetivos de desempeño, esto es, el nivel deseado de desempeño que debe alcanzarse dentro de un periodo determinado.

6.Hacer seguimiento (monitorización) para obtener resultados

El seguimiento de cómo se está desarrollando el plan es necesario para su éxito. Los datos deben proporcionar no solo evidencias sobre el desempeño, sino marcar los cambios que se puedan producir en la sociedad. De este modo se analizará no solamente la eficiencia del plan, sino también su efectividad. Para esta consecución serán necesarios, entre otras cosas, hacer un seguimiento de la ejecución y de resultado, así como del nexo entre ellos.

7.Determinar el papel de las evaluaciones

Si bien es cierto que el sistema de seguimiento proporciona una información permanente, estos datos no pueden abordar las fortalezas y debilidades en el diseño del proyecto, ni tampoco la certeza de que los impactos se producen debido a la intervención. Por eso se hace necesario abordar la fortaleza de la teoría del cambio social en el momento de diseño el plan. Y también establecer metodologías para ser capaces de vincular los impactos sociales con las intervenciones producidas. Con la evaluación se consigue una suerte de mediación planificada que determina la pertenencia, eficiencia, eficacia, impacto y sostenibilidad del plan. Desde este punto de vista, el seguimiento y la evaluación son complementarios.

8.Presentar informes sobre hallazgos

La información el seguimiento y la evaluación debe ser continua, crítica y en tiempo real. Por ello, los informes sobre los hallazgos deberán estar previstos en el tiempo y bien articulados. Esto obliga también a la organización a planificar y concentrarse en las dimensiones metodológicas de acumular, estimar y preparar análisis e informes.