Oscar Barberá Aresté - La institucionalización de la evaluación de políticas públicas

1.LA EVALUACIÓN DE POLÍTICAS PÚBLICAS

La evaluación y su práctica

El uso común de la evaluación alude a significados distintos. En su sentido más genérico evaluar es poner en relación valores (criterios, normas) con hechos. En términos aplicados al análisis de políticas públicas, la evaluación se refiere «al proceso de establecer el valor o el significado de una actividad, política o programa, [...] tan sistemático y objetivo como sea posible, de una intervención planeada, en curso o completa» (OCDE, 2000: 21). En otras palabras, evaluar políticas o programas públicos supone (Ballart: 1992; Weiss: 1972): definir los objetivos de la política, establecer criterios de éxito, proveer evidencias sobre los resultados obtenidos y sobre su relación con los criterios de éxito, señalar la relación de los resultados con la teoría del cambio social que fundamenta la intervención y, finalmente, prescribir consejos para su mejora.

Es preciso tener presente, sin embargo, que toda evaluación es potencialmente controvertida. Hay diversos motivos para ello: puede que no haya acuerdo en la relación entre los resultados y valores normativos establecidos (v. g. se discute que los resultados de un programa se puedan interpretar como «malos»); puede que la falta de acuerdo esté en los mismos criterios o valores (v. g. se cuestiona el baremo de evaluación que debe establecerse en unos u otros niveles); o que se cuestione la imparcialidad o intencionalidad de quien realiza la evaluación, etc. En este sentido, Fisher ha distinguido diversos niveles de la evaluación en función de su impugnación social y política (Fisher: 1995). En el primer nivel, el de verificación (program verification) , la evaluación se centra en señalar si el programa funciona o no, es decir, si cumple los objetivos inicialmente establecidos. En este nivel la clave es el impacto social (outcomes) y el discurso predominante es el científico-técnico. En el segundo nivel, el análisis se centra en la pertinencia del programa (situational validation) . Lo que se evalúa no es ya si el programa cumple sus objetivos, sino si sirve para resolver el problema social por el que se puso en marcha. En este sentido, lo que se pone en cuestión es si la teoría del cambio que provocó la intervención pública es efectivamente válida o no. En un tercer nivel, más propiamente socio-político, estarían aquellas evaluaciones que lo que pretenden es cuestionar los valores u objetivos del programa (societal vindication) . La clave de este tipo de evaluaciones es cuestionar si el problema es relevante, es decir, si merece la pena la intervención pública en comparación con otros posibles problemas sociales. Finalmente, el nivel más abstracto de la evaluación es el que entra a considerar en qué medida la aproximación o la ideología política que está en la base de una intervención es deseable o no como instrumento para la resolución de conflictos sociales.

Es por estas razones que la evaluación va obviamente más allá del control administrativo y no puede considerarse una actividad puramente científica o aislada del contexto en que se produce. De hecho, la naturaleza política de la evaluación ha sido abundantemente subrayada en este campo desde sus orígenes (v. g. Fisher: 1995; Palumbo: 1987; Scriven: 1980; Taylor y Balloch: 2005). Bustelo señala como mínimo tres implicaciones de esta especificidad que se traducen en demandas de credibilidad e imparcialidad para poder sobrevivir al contexto político y social en que se produce la evaluación, de flexibilidad para adaptar esta práctica a las diversas circunstancias que puede producirse durante su desarrollo y de temporalidad para dar cuenta de los resultados en el momento oportuno para alimentar procesos de retroalimentación en la toma de decisiones (Bustelo: 2003).

La necesidad de diferenciar la evaluación de otras prácticas profesionales y académicas cercanas marcó los orígenes de esta disciplina. La vía para hacerlo fue a través de técnicas cuantitativas o experimentales y de una concepción fuertemente positivista sobre la objetividad y la imparcialidad de los analistas (v. g. Langbein: 1980; Rossi y Freeman: 1985). Las limitaciones de estos estudios han sido señaladas por la literatura posterior que aboga por una orientación más pluralista que generalmente tiende a incluir las visiones de más actores además del analista (Ballart: 1992; Guba y Lincoln: 1989; Subirats: 1995). Esto no obsta para que, con el tiempo, se haya generado un cierto acuerdo para diferenciar la evaluación de la investigación y de la monitorización (Blasco: 2009 a ; Bustelo: 2003). La evaluación se diferencia de la investigación en su carácter aplicado y por su finalidad centrada en la mejora de la intervención pública, no en la construcción de conocimiento. La particular finalidad de la evaluación implica, a su vez, destinatarios diferentes. La diferencia entre evaluación y el seguimiento o monitorización de políticas es un tanto más difusa. En un sentido estricto, la monitorización tiene relación con la gestión de los programas para garantizar su cumplimiento mientras que la evaluación pretende emitir juicios globales sobre sus impactos. Sin duda evaluar no es hacer un mero seguimiento de indicadores, pero también lo es que hay aspectos de la monitorización que comportan actividad evaluativa. En la práctica no es extraño considerar la monitorización como un tipo un tanto particular de evaluación (Lázaro y Obregón: 2009; Rossi, Freeman y Lipsey: 1999; Royse, Thyer et al.: 2009).

Finalmente, conviene también señalar la diferencia entre evaluación y meta-evaluación entendida esta última como juicios de valor sobre la bondad y méritos de una o diversas evaluaciones (Scriven: 1969 citado por García Sanchez: 2011). El propósito central de la metaevaluación es verificar el grado de validez de los resultados y conclusiones de estudios ya previamente existentes. El desarrollo de este subcampo ha seguido debates muy parecidos al de la evaluación, por ejemplo, respecto del uso de técnicas de investigación y ya hay instituciones que empiezan a especializarse en este campo (Newcomer, Hatry y Wholey: 2013, cap. 25). En un texto relativamente reciente, Chalmers y sus colegas han tratado de establecer una clasificación de diferentes investigaciones que tradicionalmente encajarían como metaevaluaciones. En este sentido diferencian (Chalmers, Hedges, y Cooper: 2002): las revisiones sistemáticas (systematic review) que utilizan estrategias destinadas a limitar los posibles sesgos en la recolección y enfoque de los estudios relevantes sobre un tema; los metaanálisis (meta-analysis) que utilizan datos comparables pero procedentes de distintos estudios para realizar nuevas investigaciones sobre un tema; mientras que las síntesis de evaluación (evaluation synthesis) son aquellas investigaciones que integran las conclusiones de distintas evaluaciones disponibles sobre un tema y tratan de obtener nuevas generalizaciones.

Tipos de evaluación

Existen diversas tipologías de evaluación. En términos generales, cabe distinguir entre las que utilizan como criterio básico el momento de realización de la evaluación de las que se centran en los enfoques. En realidad, las conexiones entre ambas tipologías son bastante claras (v. g. Blasco: 2009; Subirats et al.: 2008).

En función del momento se tiende a diferenciar los análisis previos (ex ante) , de proceso (in itinere) y final (ex post) (Harguindéguy: 2014; Palumbo: 1987). Los análisis previos se centran en evaluar la necesidad y viabilidad de la intervención pública. El foco de atención de los análisis de proceso es asegurar que la política pública se lleva a cabo tal y como se había previsto. Finalmente, la evaluación ex post tiende a valorar los impactos producidos.