Oscar Barberá Aresté - La institucionalización de la evaluación de políticas públicas

La figura 1 resume los principales tipos de evaluación en función del enfoque utilizado (Ballart: 1992; Blasco: 2009 a ): La evaluación de necesidades sirve para analizar la viabilidad técnico-política de una política pública. Por eso pone en relación las particularidades del problema con los recursos disponibles para afrontarla. Las evaluaciones de diseño tratan de poner de manifiesto la verosimilitud de la teoría del cambio social en que se fundamenta una o diversas políticas públicas. Tratan de mostrar en qué medida los impactos esperados del programa van a servir para solucionar el problema social en el que se pretende intervenir. Generalmente suelen realizarse antes de la intervención pública. Las evaluaciones de proceso o de implementación tratan de señalar lo que la política pública está realizando para, eventualmente, llevar a cabo las oportunas correcciones antes de que esta se dé por terminada. Trata de asegurar que el uso de los recursos, las actividades realizadas y los productos obtenidos se ajusten a lo que estaba establecido inicialmente. Las evaluaciones de eficiencia ponen en relación los recursos utilizados con los resultados e impactos obtenidos. Son evaluaciones fundamentalmente económicas y suelen ser ex post . Finalmente, las evaluaciones de impacto lo que pretenden es establecer las principales consecuencias sociales de la intervención pública. En este sentido, tratan de señalar en qué medida los impactos sociales de un programa se deben a una política pública u a otros factores externos y son evaluaciones ex post .

Figura 1.1

Tipos de evaluación según su enfoque

Fuente : Guía IVÀLUA n.º 1

Principales técnicas y metodologías de evaluación

Las técnicas y metodologías de evaluación cambian de modo notable en función del enfoque de evaluación utilizado. En general, las técnicas de recogida de información, así como de su análisis suelen combinar el uso de una variada gama de metodologías cualitativas y cuantitativas típico de las ciencias sociales. Por razones de espacio y economía en este apartado no se pueden entrar a considerar los detalles de cada una de las técnicas. Para un análisis más detallado puede consultarse la numerosa bibliografía aplicada que existe (v. g. Laughlin y Broadbent: 1996; Newcomer, Hatry y Wholey: 2013; Royse, Thyer et al.: 2009).

La evaluación de necesidades (needs assessment) suele combinar metodologías tanto cualitativas como cuantitativas (Casado: 2009; Royse, Staton-Tindall et al.: 2009). Su uso depende en gran medida de la disponibilidad de tiempo y recursos económicos. Cuanto menos tiempo y dinero se disponga, más frecuente es el uso de técnicas cualitativas y de fuentes de información secundarias. Entre las principales técnicas cualitativas de recogida de información están el método Delphi (uso de cuestionarios entre expertos) o los focus groups (reuniones de discusión con pequeños grupos). La principal técnica de recogida de datos cuantitativa es la encuesta, muy utilizada por ejemplo en sanidad (encuestas de salud). Aunque puedan parecer menos importantes, el uso de bases de datos ya existentes o de otras fuentes secundarias de información suele ser también muy habitual. Es importante señalar que en este tipo de estudios lo habitual es combinar el máximo de información disponible.

La evaluación de diseño pretende contrastar la validez de la teoría del cambio social asociada con la política pública que se analiza (Blasco: 2009 b ). Contrastar la teoría sin haber realizado la intervención (es decir, sin tener evidencias) supone un reto considerable. Por esta razón la evaluación de diseño no utiliza metodologías de análisis de tipo cuantitativo o cualitativo, sino que tiende a centrarse en contrastar la coherencia lógica de la teoría y en buscar evidencias comparadas que ayuden a reforzar su plausibilidad. Una de las herramientas más utilizadas en la evaluación de diseño es la llamada Metodología del Marco Lógico (MML, logic models ) (Ortegón, Pacheco y Prieto: 2005; Wholey, Hatry y Newcomer: 2010). Este tipo de herramientas tratan de ayudar a explicitar las principales hipótesis y, sobre todo, los mecanismos causales en los que se basa el programa. La búsqueda de otras experiencias de intervención que hayan utilizado teorías de cambio parecidas en contextos sociales similares resulta una estrategia también muy útil para reforzar su plausibilidad.

La evaluación de proceso (formative evaluation o process evaluation) se centra en verificar que, durante la fase de implementación, los resultados se adecuen a lo establecido en el diseño del programa y que estos llegan a los grupos sociales adecuados (Lázaro y Obregón: 2009). En otras palabras, trata de identificar qué servicios se proveen, a quién y (cada) cuánto (Royse, Thyer et al.: 2009). Como en la evaluación de necesidades, el elemento fundamental de las evaluaciones de proceso es el establecimiento de fuentes de recogida de información lo más fiables y exhaustivas posible. Royse y sus colegas distinguen tres grandes herramientas de recogida y análisis de información para la evaluación de procesos (Royse, Thyer et al.: 2009): la monitorización (program monitoring) , los sistemas de garantía de calidad (quality assurance) y los sistemas de mejora continua (total quality management o continuous quality improvement) .

La monitorización de programas requiere el establecimiento y el adecuado mantenimiento de sistemas de información sobre los avances y resultados del programa. Para ello es bastante habitual establecer herramientas de gestión como los Cuadros de Mando (v. g. Fernández Hatre: 2004). La evaluación aplicada a la monitorización precisa, como mínimo, cierto contraste entre los resultados producidos y los objetivos o estándares fijados en el diseño del programa. También es bastante usual utilizar comparaciones en el tiempo o con datos de otros programas (Newcomer, Hatry y Wholey: 2013). Por otro lado, los sistemas de calidad se caracterizan por tratar de identificar y, eventualmente, corregir, aquellas deficiencias que puedan surgir en la adecuada provisión de los servicios. Desde hace tiempo es bastante habitual que estos sistemas se rijan por estándares de calidad internacionales como los de la International Standards Organization (ISO) u otros (v. g. Ruíz López, Cuellar Martín y Del Pino Matute: 2009). La existencia de estos estándares (y no los criterios internos del programa) es lo que diferencia los sistemas de calidad frente a los de monitoreo. Finalmente, los sistemas de mejora continua pretenden ir un paso más allá al dejar que sean los usuarios los que (re)definan la calidad y que, por tanto, las mejoras se ajusten constantemente a sus preferencias. Los sistemas de mejora continua sí incorporan técnicas cuantitativas y/o cualitativas de recogida de información, especialmente para medir la satisfacción de los usuarios de los servicios y, de modo más general, de todos los grupos implicados en la política (Goetsch y Davis: 2014). La principal crítica a todos los sistemas de evaluación de proceso reside en que implican cargas suplementarias de trabajo o tiempo para el personal (e incluso para los usuarios).

La evaluación de la eficiencia (cost-analysis) implica una valoración del uso de los recursos. Por esta razón también suelen denominarse evaluaciones económicas (Parera: 2009; Raya y Moreno: 2013). Entre las principales metodologías de estos análisis destacan los análisis coste-beneficio (cost-benefit) y los análisis de rendimiento (cost-efectiveness) . Dado que el análisis económico es un campo que escapa del enfoque adoptado en este informe, no se profundizará mucho más en sus metodologías de análisis.