Oscar Barberá Aresté - La institucionalización de la evaluación de políticas públicas

Más allá de esta breve caracterización general sobre el proceso de institucionalización de la evaluación, la academia ha centrado parte de sus esfuerzos en tratar de señalar cuáles son los factores que explican las diferencias en su desarrollo y maduración. Derlien (2001) ha indicado, desde una perspectiva fundamentalmente institucionalista, diversos factores que han tendido a propiciar desarrollos diferenciados de la evaluación en los países que primero la adoptaron:

1.La situación fiscal de los países que impulsaron procesos de evaluación durante años de expansión económica frente a los que los empezaron a desarrollarlos en un contexto de crisis (finales de los años 70). De este modo, unos países fueron más expansivos en la evaluación de sus políticas, mientras que otros fueron más comedidos en el gasto dedicado a evaluación.

2.El color político de los Gobiernos puede haber favorecido que las políticas se lleven hacia una determinada dirección u otra. Gobiernos conservadores han tendido a centrarse más en la rentabilidad económica, mientras que los Gobiernos más progresistas han dado prioridad a analizar los impactos sociales de los distintos programas.

3.Las relaciones entre el ejecutivo y el legislativo. Por un lado, en los sistemas parlamentarios la evaluación se ha llevado a cabo fundamentalmente por el ejecutivo. Por otro lado, en los sistemas presidenciales ha sido llevada a cabo por el poder legislativo.

4.La evaluación ha sufrido cambios significativos en función del nivel de descentralización territorial. En algunos países los principales programas públicos se han desarrollado desde las instituciones centrales del Gobierno (Francia o Reino Unido); en otros, por el contrario, se han llevado a cabo a través de distintos niveles de gobierno (Canadá o Alemania).

Por su parte, Furubo, Rist y Sandahl (2002) también trataron de determinar los principales factores que explican la adopción de la evaluación por parte de distintos países. A diferencia de Derlein, estos autores centraron su explicación en dos conjuntos de presiones: las internas y las externas. Las presiones internas obedecen fundamentalmente a factores culturales:

1.Cierta predisposición social y política a rendir cuentas por el hecho de ser democracias con un cierto arraigo y, sobre todo, por partir de una determinada cultura política orientada hacia actitudes racionalistas.

2.La relevancia de una cultura administrativa abierta a la innovación y a la adopción de procedimientos típicos de las ciencias sociales y, eventualmente, a la influencia de la tradición de evaluación de los Estados Unidos.

3.El tercer elemento que destacan es que la evaluación crece con el desarrollo de amplios programas de intervención social típicos del Estado del Bienestar.

Además de estos factores los autores también tratan de indicar aquellos otros vinculados a las teorías de la difusión que pueden haber contribuido a la institucionalización de la evaluación. Entre este conjunto de presiones externas destacan:

1.La presión exterior bien en forma de ayudas al desarrollo del Banco Mundial u otras organizaciones internacionales similares.

2.En el caso de gran parte de los países europeos, la importancia decisiva de la Unión Europea.

El estudio de Furubo, Rist y Sandahl se realizó en paralelo a otra investigación muy parecida llevada a cabo en 18 países de la OCDE por Varone y Jacobs. Estos han tratado de explicar la relación entre diversos factores contextuales e institucionales y el grado de institucionalización de los sistemas de evaluación (Varone y Jacob: 2004). Sus principales factores explicativos son:

1.Complejidad de la acción política que tiene cada país en función de su contexto político-administrativo. No será la misma situación la que ocurra en un país ultracentralizado como Francia, que en un país con una gran descentralización como Alemania.

2.Las dificultades de su legitimación y puesta en marcha. Este hecho tiene que ver con la cultura política que tiene cada país y con cómo se aceptan por la sociedad civil las nuevas implementaciones en materia de evaluaciones.

3.La profesionalización del análisis de las políticas públicas. En función de cada país, puede que existan —o no—, organismos creados ad hoc que sirvan el análisis efectivo de las políticas públicas.

Las conclusiones de su estudio son un tanto sorprendentes pues señalan que ninguna de las variables analizadas parece tener una relación muy directa con el nivel de institucionalización de la evaluación de los países analizados. Esto lo atribuyen a los casos seleccionados y a la forma de medición de sus variables.

Cambios en la institucionalización de la evaluación

A partir de las presiones internas y externas anteriormente mencionadas, Furubo y sus colegas elaboran una clasificación de cómo se ha producido el proceso de institucionalización de la evaluación en diversos países. La hipótesis central (si bien un tanto implícita) del Atlas of International Evaluation parece ser que aquellos países que tengan presiones internas (o internas y externas) avanzarán más en la institucionalización de sus sistemas de evaluación que aquellos que tengan solo tengan presiones externas. Una hipótesis derivada de esta es que allí donde la institucionalización de la evaluación se produzca por presiones externas este proceso puede chocar con importantes resistencias internas e incluso generar «islas de cultura de evaluación» limitadas a aquellas políticas donde la presión externa ha obligado a cambiar las dinámicas institucionales.

Tabla 1.1

Institucionalización de la evaluación en diversos países en función de presiones internas y externas (2001)

Fuente : Furubo, Rist y Sandahl: 2002, 21.

Para tratar de comprobar estas y otras hipótesis los autores elaboraron el índice de institucionalización de la evaluación que ha sido comentado anteriormente y situaron en sus diferentes indicadores a un conjunto de 19 países con datos del año 2001 (Tabla 1.1). Sin duda, uno de los aspectos más cuestionables del estudio era el carácter eminentemente subjetivo de la clasificación. Con todo, la comparación entre los distintos países dio resultados visiblemente diferentes. Los tres países que más puntuación obtuvieron fueron los Estados Unidos (18), Canadá (17) y Australia (16); mientras que los peores valorados son Nueva Zelanda, Irlanda e Italia (7), España (5) y Japón (3). Estos datos parecían subrayar la importancia de la presión interna como factor clave en el desarrollo de la institucionalización. Aquellos países con una presión interna fuerte eran los que obtenían mejores puntuaciones mientras que los de presión débil quedaban más rezagados. La presión exterior parecía jugar un papel secundario. De hecho, algunos de los países con menor puntuación como España o Italia ya en los primeros años del siglo XXI tenían fuertes presiones exteriores para mejorar sus sistemas de evaluación.

Tabla 1.2

La cultura de la evaluación en diferentes países (2001)

Fuente : Furubo, Rist y Sandahl: 2002

Una década después de la primera investigación, un nuevo equipo de investigadores trató de compilar información similar a la del Atlas para ver los cambios producidos en los distintos países. El resultado de su análisis mostró algunos cambios notables con respecto a los hallazgos de 2001 (Tabla 1.2). En esta ocasión en 2011 (Tabla 1.3), los países que consiguieron mejor puntuación fueron Finlandia (16.6), Suiza (16.4) y Canadá (16). Excepto el caso suizo, el resto de países tenían presiones internas fuertes en 2001 (Tabla 1.1). El caso de Suiza sorprende por los espectaculares avances en institucionalización de un país que una década antes partía de presiones internas y externas débiles. Los países con peores puntuaciones de 2011 seguían siendo España (11.3), Italia (10.7) e Irlanda (9). En los tres casos, el incremento paulatino de la presión externa por parte de la Unión Europea y otros organismos internacionales (OCDE) no parecían ser suficientes para dejar las últimas posiciones de la lista. Sin embargo, esto no significa que no hubiera habido progresos. La media general se situaba esta vez en 13,7 y era algo superior a la del proceso anterior (11,2). Lo más destacado era, además, la reducción de la distancia entre los mejores y los peores países de 11 a 6 puntos de diferencia.