Raquel Bernal - Guía práctica para la evaluación de impacto

Una representación simple de la variable de resultado con base en el modelo de regresión lineal está dada por:

El efecto ATE se interpreta como el cambio promedio en la variable de resultado cuando un individuo escogido al azar pasa aleatoriamente de ser participante a ser no participante. Este parámetro es particularmente relevante en el caso de la evaluación de un programa universal. En la mayoría de los casos, sin embargo, el tratamiento o programa no es universal sino que sólo está disponible para un subconjunto de la población, generalmente porque el programa ha sido focalizado. En este caso, es posible utilizar un estimador que únicamente promedie el efecto sobre la población elegible.

Por un lado, se puede utilizar el impacto promedio del programa sobre los tratados (o ATT 9 ), que es, por lo general, el parámetro de mayor interés en una evaluación de impacto. Es decir, el efecto promedio del tratamiento en el subconjunto de individuos que fueron efectivamente tratados. Éste corresponde a la diferencia entre la media de la variable de resultado en el grupo de los participantes y la media que hubieran obtenido los participantes si el programa no hubiera existido:

donde E [.| D ] denota el operador de expectativas condicional.

En este caso, E [ Y i(0)| D i= 1] es el valor esperado de la variable de resultado en el grupo de tratamiento en presencia del tratamiento y E [ Y i(0)| D i= 1] que se conoce como el resultado contrafactual , es el valor esperado de la variable de resultado en el grupo de tratamiento en ausencia del tratamiento. Evidentemente, el promedio contrafactual, es decir, el resultado promedio de los individuos tratados de no haber existido el programa o tratamiento, es un resultado hipotético, por lo cual no se observa en la realidad, y por tanto no queda registrado en los datos. El efecto promedio del programa sobre los tratados es particularmente relevante para definir si un programa existente debe continuar o, por el contrario, debe eliminarse o modificarse.

Por otra parte, se puede estimar el impacto promedio del programa sobre los no participantes (o ATU 10 ), que corresponde a la diferencia entre la media de la variable de resultado que habrían tenido los no participantes si hubieran participado en el programa y la media de la variable de resultado que efectivamente tuvieron los no participantes al no haber participado:

En este caso, el resultado contrafactual , E [ Y i(0)| D i= 1], corresponde al promedio de la variable de resultado de los no participantes si hubieran participado en el programa, dado que estos individuos no han sido tratados. Evidentemente, este contrafactual es hipotético, por lo cual no se observa en la realidad, y por tanto no queda registrado en los datos. El parámetro ATU es relevante cuando la evaluación tiene por objetivo investigar si el programa se debe extender o no a otros grupos de la población.

En cualquiera de los dos casos, ATT o ATU , es necesario escoger una aproximación apropiada (o sustituto) del contrafactual dado que este es un resultado hipotético que no se observa en la realidad, y por tanto no queda registrado en los datos. Por ejemplo, en el caso del ATT se requiere una aproximación de E [ Y i(0)| D i= 1], es decir, el promedio de la variable de resultado entre los participantes en ausencia del programa. En principio, se podría utilizar el promedio de la variable de resultado entre los individuos no participantes pero elegibles para participar en el programa (conocido en la jerga de evaluación de impacto como el grupo de control o grupo de comparación ), E [ Y i(0)| D i= 1], como una aproximación de E [ Y i(0)| D i= 1] Es decir, se podría utilizar el resultado de los no participantes (pero elegibles) como una aproximación del resultado que habrían tenido los participantes si el programa no hubiera existido.

Sin embargo, esta comparación podría generar estimaciones inexactas del efecto del programa, dado que los participantes y los no participantes generalmente son diferentes, aun en ausencia del programa. 11 Por ende, las variables de resultado del grupo de tratamiento y el grupo de control podrían ser diferentes, aun si el programa no existiera. Este problema se conoce como sesgo de autoselección . Por ejemplo, es posible que los niños participantes en el programa de nutrición provengan de familias más vulnerables que los niños elegibles pero que no participan en el programa. Las variables de vulnerabilidad, como el ingreso del hogar y la educación de los padres, pueden tener efectos directos sobre los indicadores antropométricos que estamos utilizando como variable de resultado, aparte del efecto directo del programa evaluado. Por ejemplo, en hogares con más ingreso la dieta puede ser mejor que en hogares con menos ingresos. De ser así, al comparar los resultados de desnutrición, por ejemplo, del grupo de tratamiento con los del grupo de control podríamos estar atribuyendo al programa un efecto negativo que en realidad se debe a que el grupo de niños tratados es más pobre y de padres menos educados que el grupo de niños usados como control. En este caso, estaríamos subestimando el efecto del programa, debido a que no hemos tenido en cuenta las diferencias preexistentes entre los dos grupos que afectan tanto la probabilidad de participación en el programa como la variable de resultado (desnutrición). 12

Además de posibles diferencias observadas entre los dos grupos (como ingresos del hogar y educación de los padres), es también posible que existan diferencias no observadas o no medidas entre los dos grupos. Por ejemplo, puede ser que las madres de familia participantes en el programa estén más motivadas o atentas o sean más proactivas respecto al desarrollo de sus hijos, por lo cual se esmeraron en lograr la participación en el programa. El problema de autoselección radica en que la motivación de las madres (que no observamos y sería difícil de medir) afecta no sólo la probabilidad de participar en el programa, sino también el estado nutricional de los niños. Esto es porque las madres más motivadas podrían vigilar mejor la dieta de sus hijos. Por tanto, la diferencia observada en el estado nutricional de los niños de los dos grupos se podría deber parcialmente a la diferencia en el nivel de motivación de las madres, y no exclusivamente a que un grupo participa en el programa y el otro no.