Raquel Bernal - Guía práctica para la evaluación de impacto

Gaviria, A. y C. E. Vélez, 2001, “¿Quiénes soportan la carga del crimen en Colombia?”, Coyuntura Económica , vol. XXXI, No. 2, 75-93.

Heckman, J., R. LaLonde y J. Smith, 1999, “The Economics and Econometrics of Active Labor Market Programs,” en O. Ashenfelter y D. Card, capítulo 31, Handbook of Labor Economics , Vol. IV, 1865-2073.

Lasso, F., 2004, “Incidencia del gasto público social sobre la distribución del ingreso y la reducción de la pobreza”, Misión para el Diseño de una Estrategia para la Reducción de la Pobreza y la Desigualdad, Departamento Nacional de Planeación, Colombia.

Perotti, R., 2005, “Public Spending on Social Protection in Colombia: Analysis and Proposals”, en Alberto Alesina (ed.), Institutional Reforms: The Case of Colombia . Cambridge: MIT Press.

Ravallion, M., 1999, “The Mystery of the Vanishing Benefits: Ms. Speedy Analyst’s Introduction to Evaluation”, Policy Research Working Paper 2153, World Bank, Development Economics Research Group, Washington, D.C.

Robinson, J. A. y T. Ragnar, 2005, “White elephants”, Journal of Public Economics , vol. 89, 197-210.

Smith, J., 2000, “A Critical survey of Empirical Methods for Evaluating Active Labor Market Policies”, Schweizerische Zeitschrift fr Volkswirthschaft und Statistik , 136(6), 1-22.

White, H., 2009, “Theory-Based Impact Evaluation: Principles and Practice”, Working Paper No. 3, International Initiative for Impact Evaluation, junio.

1Robinson y Ragnar (2005) argumentan que, en general, los políticos prefieren los proyectos de baja rentabilidad y bajo impacto social, pues éstos son más eficaces para demostrar ante sus electores su capacidad de influir sobre los presupuestos públicos.

2Filmer y Pritchett (2001) argumentan que la clasificación socioeconómica basada en las características de las viviendas y la posesión de activos fijos es menos susceptible a las fluctuaciones de corto plazo que la basada en el ingreso o en el consumo corriente. Gaviria y Vélez (2001) compararon ambas clasificaciones, con base en la Encuesta de Calidad de Vida de Colombia, y no encontraron diferencias sustanciales.

3Ver, por ejemplo, el capítulo 7 de este libro para mayor detalle al respecto.

4Ver capítulo 2 para la definición detallada del contrafactual en una evaluación de impacto.

5Arnold Harberger, uno de los principales promotores de la evaluación en los países en desarrollo, ha dicho reiteradamente que para manejar la macroeconomía de un país basta con cinco o seis personas, pero que para gastar bien se necesita un ejército de evaluadores de programas y proyectos.

6Ver, por ejemplo, Heckman, LaLonde y Smith (1999), Blundell y Costa Dias (2009), Smith (2000).

PARTE I

EL PROBLEMA DE EVALUACIÓN DE IMPACTO

DEFINICIÓN DE PARÁMETROS DE IMPACTO DEL TRATAMIENTO

El problema de evaluación consiste en medir el impacto del programa (o tratamiento) sobre un conjunto de variables de resultado en un conjunto de individuos. Por ejemplo, el efecto que tiene un programa de nutrición en los indicadores antropométricos (estatura y peso) de los individuos participantes. Las variables de resultado son las variables sobre las cuales se espera que el programa tenga un efecto en los individuos beneficiarios del programa evaluado. En nuestro ejemplo, serían los indicadores de estado nutricional porque el programa es un programa de nutrición.

El problema de evaluación de impacto consiste entonces en establecer la diferencia entre la variable de resultado del individuo participante en el programa en presencia del programa y la variable de resultado de ese individuo en ausencia del programa. Esta diferencia es lo que se conoce como efecto del tratamiento o programa. El problema fundamental que se enfrenta en una evaluación de impacto es que para construir el efecto del tratamiento necesitaríamos conocer la diferencia entre la variable de resultado del individuo participante una vez se ha implementado el programa y la variable de resultado que habría obtenido ese individuo en el caso hipotético de que no existiera el programa. Claramente, no se pueden observar ambos resultados para el mismo individuo al mismo tiempo. El segundo resultado, es decir, el resultado del individuo participante si el programa no existiera, es hipotético y, por ende, no se observa. Este resultado hipotético se denomina resultado contrafactual en la literatura de evaluación de impacto.

El marco teórico estándar para formalizar el problema de la evaluación de impacto se basa en el modelo de resultado potencial o modelo Roy-Rubin (Roy (1951) y Rubin (1974)). Formalmente, definimos el indicador del tratamiento como Di . En el caso en que el tratamiento es binario (por ejemplo, el niño participa en el programa de nutrición o no participa) entonces Di = 1 si el individuo i recibe el tratamiento (es tratado) y 0 de lo contrario. Las variables de resultado las definimos como Yi ( Di ) para cada individuo i = 1 … N y N denota la población total. Es decir, Yi (1) es la variable de resultado si el individuo i es tratado y Yi (0) es la variable de resultado si el individuo i no es tratado. El efecto del tratamiento (o impacto del programa) para un individuo i se puede escribir como:

De nuevo, el problema fundamental de la evaluación de impacto es que en la realidad sólo se da uno de los dos resultados potenciales Yi (1) o Yi (0) para cada individuo i pero no ambos. Es decir, en los datos solamente queda registrado Yi (1) si Di = 1 y Yi (0) si Di = 0. En otras palabras, el investigador no dispone del resultado con tratamiento si el individuo no fue tratado, Yi (1) si Di = 0, ni dispone del resultado en ausencia del tratamiento si el individuo ha sido efectivamente tratado, Yi (0) si Di = 1. Note que el impacto del programa (medido por la diferencia (2.1)) se refiere a un momento dado en el tiempo y, por tanto, no es equivalente a comparar el mismo individuo en dos momentos distintos del tiempo (antes y después de la intervención). 7 Por tanto, el resultado observado se puede escribir como:

En este caso, y en adelante, se entiende que una variable es observada si la información existe y está registrada en los datos a disposición del investigador. De manera análoga, una variable no observada es aquella que no existe o no quedó registrada en la base de datos disponible.

En últimas, debido a que uno de los dos resultados en la ecuación (2.1) no es observable para cada individuo i , no es posible estimar el efecto individual del tratamiento, i . El análisis se debe concentrar en el impacto promedio del programa en la población o en subconjuntos de la población (dependiendo del interés de política que se tenga). En primera instancia, se puede estimar el impacto promedio del programa (o efecto medio del tratamiento ) en la población (o ATE 8 ):

donde E [·] denota el operador de expectativas.