Raquel Bernal - Guía práctica para la evaluación de impacto

GRÁFICA 1.1. Probabilidad de deserción escolar ante un choque económico negativo

En términos más generales, la buena focalización no debe siempre considerase como un resultado positivo. Y a la inversa, la mala focalización no debe percibirse, en todos los casos, como un resultado negativo. Muchos programas autofocalizados llegan mayoritariamente a los más pobres de los pobres, pues los demás individuos los rechazan por ineficaces o poco efectivos. Otros programas se concentran en los estratos intermedios porque, por diseño, fueron concebidos como mecanismos de redistribución entre los de arriba y los del medio. Los subsidios a las universidades públicas no están bien focalizados, no llegan a los más pobres, pues fueron diseñados con otro propósito. La mala focalización no es en este caso un mal resultado, es una característica inherente, definitoria del programa en cuestión.

El análisis factual debe estar acompañado de un rigoroso análisis contextual. El evaluador debe conocer en detalle el marco institucional, las normas y leyes que sustentan el programa en cuestión, y debe también hacer un esfuerzo por entender la historia del programa, el nivel de compromiso de los beneficiarios, las percepciones ciudadanas, etc. Un buen entendimiento del contexto es muy útil para interpretar los resultados y puede ser útil incluso para encontrar fuentes de variación exógena que, en ausencia de experimentos aleatorios, ayudan a definir los grupos de comparación (Ravallion, 1999). 3

Si bien este texto se enfoca en el estudio de técnicas cuantitativas, la evaluación cualitativa es un complemento muy importante. Así la evaluación no contemple formalmente la recolección de información cualitativa, el evaluador debe informalmente programar reuniones con grupos de administradores, beneficiarios y encuestadores. La información cualitativa sirve, entre otras cosas, para anticipar la heterogeneidad, para intuir algunas de las características y atributos de los individuos que afectan o confunden los impactos y, en general, para interpretar mejor los resultados de la evaluación de impacto cuantitativa. En el programa de Hogares Comunitarios ya mencionado, las visitas de campo pusieron de manifiesto las grandes diferencias en conocimiento, actitud y compromiso de las madres comunitarias, esto es, las visitas de campo alertaron sobre la gran heterogeneidad en el tratamiento, lo que, a su vez, influyó sobre el análisis cuantitativo (Bernal et ál., 2009).

Finalmente, el evaluador debería identificar los principales mecanismos o canales de transmisión a través de los cuales el programa podría incidir sobre los resultados. White (2009) presenta un ejemplo ilustrativo de un análisis causal para el Programa Integrado de Nutrición de Bangladesh, que, como ya se dijo, entrega alimentos y asesoría nutricional a las madres de niños desnutridos. La figura 1.1resume los principales elementos del análisis. El diagrama muestra que la magnitud del impacto dependería de tres factores: 1) la identificación correcta de la población objetivo, 2) la relevancia del tratamiento (la cantidad y calidad de los alimentos y la pertinencia de la asesoría) y 3) la suficiencia de los cambios de comportamiento y de los alimentos entregados. El impacto depende de la simultaneidad de estos tres factores. Si alguno no funciona, el impacto sería nulo o despreciable.

FIGURA 1.1. Mapa causal para un proyecto de nutrición

Los mapas causales con frecuencia son incompletos, excluyen los efectos no lineales, los dinámicos y los no esperados, pero son fundamentales. Ordenan el trabajo empírico y orientan la elaboración de los cuestionarios. No hay análisis empírico sin al menos alguna teoría implícita que guíe la recolección y la interpretación de los resultados. Por transparencia conviene no sólo elaborar el mapa causal, sino también darlo a conocer a los interesados en los resultados de la evaluación. Finalmente, al identificar y entender los canales de transmisión del programa, es también más fácil definir variaciones o correctivos de la política que permitan amplificar los efectos positivos o disminuir los no deseados.

La evaluación de proyectos (el análisis de rentabilidad de programas de infraestructura) difiere sustancialmente de la evaluación de impacto (el análisis contrafactual de intervenciones sociales). La primera está basada en un análisis ex ante detallado de los beneficios y los costos esperados de un proyecto. En el caso de la construcción de una nueva vía, por ejemplo, es necesario estimar el número esperado de usuarios y los beneficios correspondientes: los ahorros de tiempo y dinero para un horizonte temporal previamente definido. Los beneficios deben compararse con los costos estimados, para así calcular la tasa de retorno del proyecto.

La evaluación de impacto, o ex post, está basada en un análisis contrafactual, en la comparación entre los resultados efectivamente observados en presencia del programa y los que habrían sido observados en su ausencia. Esta comparación permite, bajo algunos supuestos adicionales, calcular la tasa de retorno del programa o proyecto evaluado. En la evaluación de proyectos, la clave está en el cálculo correcto de los beneficios y los costos esperados; en la evaluación de impacto, en la estimación adecuada del contrafactual, 4 para establecer una relación causal entre la política y los impactos generados. Ambos tipos de análisis son complementarios y ambos brindan una importante información para la toma de decisiones.

El análisis de proyectos no permite obviamente tener en cuenta los beneficios o efectos no esperados. El análisis de impacto, en la mayoría de los casos, no permite medir efectos de largo plazo o efectos dinámicos. Hoy en día casi la totalidad de los proyectos de infraestructura cuentan con un análisis exhaustivo de costo-beneficio. De la misma manera, los programas sociales deberían contemplar, desde su mismo diseño, un análisis exhaustivo del impacto. El impacto estimado del programa es un insumo indispensable para la medición de los beneficios del programa que se requieren para el análisis costo-beneficio. Este tipo de análisis, como se dijo previamente, contribuye a aumentar la calidad del gasto y la eficiencia de las iniciativas sociales. 5 Sin embargo, para el caso de las políticas sociales, es difícil realizar un análisis costo-beneficio robusto. Con frecuencia, los resultados son muy sensibles a la manera como se valoran los beneficios de las intervenciones y a los supuestos que se hacen.

El libro logra un balance entre la diversidad de temas cubiertos y la profundidad con la que se describe cada uno. Este libro hace una presentación clara, detallada y exhaustiva de las principales metodologías de evaluación de impacto en un lenguaje fácil. La presentación es rigorosa pero no se centra en los aspectos técnicos. En cambio, se enfatiza la intuición detrás de los métodos. En cada capítulo se combina una explicación rigorosa de los temas con la presentación de diversos ejemplos y casos de la vida real. Las diferentes metodologías se ponen en perspectiva, enfatizando las ventajas y desventajas de las técnicas de manera comparativa, así como los requerimientos técnicos y de datos de cada una, para orientar al evaluador en la escogencia de la metodología más apropiada. El libro pretende ayudar a los evaluadores que operan bajo restricciones; no sólo se discute cuál es el ideal evaluativo, sino que también se proveen consejos prácticos acerca de qué metodologías se pueden aplicar cuando los datos no son ideales, que es un hecho la mayoría de las veces.