Raquel Bernal - Guía práctica para la evaluación de impacto

GUÍA PRÁCTICA PARA LA EVALUACIÓN DE IMPACTO

GUÍA PRÁCTICA PARA LA EVALUACIÓN DE IMPACTO

Raquel Bernal

Ximena Peña

Bernal Salazar, Raquel

Guía práctica para la evaluación de impacto / Raquel Bernal, Ximena Peña. -Bogotá: Universidad de los Andes, Facultad de Economía, Centro de Estudios sobre Desarrollo Económico; Ediciones Uniandes, 2011.

ISBN edición impresa 978-958-695-599-7

1. Investigaciones evaluativas (Programas de acción social) 2. Investigación social 3. Evaluación de proyectos 4. Acción social -Evaluación I. Peña-Parga, Ximena II. Universidad de los Andes (Colombia). Facultad de Economía. CEDE III. Tít.

Primera edición: abril de 2011

Primera reimpresión: agosto de 2011

Segunda edición: marzo de 2012

© Raquel Bernal y Ximena Peña

© Universidad de los Andes

Facultad de Economía, Centro de Estudios sobre Desarrollo Económico (CEDE)

Ediciones Uniandes

Carrera 1 núm. 19-27, edificio AU 6

Bogotá, D. C., Colombia

Teléfonos: 339 49 49 – 339 49 99, ext. 2133

infeduni@uniandes.edu.co http://ediciones.uniandes.edu.co

ISBN edición impresa: 978-958-695-599-7

ISBN edición digital 978-956-14-2550-7

Corrección de pruebas: Santiago Melo

Diseño de carátula y armada electrónica: Proceditor Fotografía de carátula: Zandra Hurtado

Impresión: Nomos Impresores

Diagonal 18 bis núm. 41-14, Bogotá, D. C.

Teléfono: 208 6500

Diagramación digital: ebooks Patagonia

info@ebookspatagonia.com

www.ebookspatagonia.com

Todos los derechos reservados. Esta publicación no puede ser reproducida ni en su todo ni en sus partes, ni registrada en o transmitida por un sistema de recuperación de información, en ninguna forma ni por ningún medio sea mecánico, fotoquímico, electrónico, magnético, electroóptico, por fotocopia o cualquier otro, sin el permiso previo por escrito de la editorial.

CONTENIDO

1. INTRODUCCIÓN

1.1. El impacto de las evaluaciones de impacto

1.2. Los pasos previos a la evaluación

1.3. Evaluación de proyectos vs. evaluación de impacto

1.4. Estructura del libro

Agradecimientos

Bibliografía

PARTE I. EL PROBLEMA DE EVALUACIÓN DE IMPACTO

2. DEFINICIÓN DE PARÁMETROS DE IMPACTO DEL TRATAMIENTO

Bibliografía

3. SESGO DE SELECCIÓN

Bibliografía

PARTE II. EXPERIMENTOS SOCIALES CONTROLADOS Y EXPERIMENTOS NATURALES

4. EXPERIMENTOS ALEATORIOS (SOCIALES)

4.1. Intervenciones a nivel individual vs . conglomerados

4.2. El modelo de diferencias

4.3. El estimador de diferencias con regresores adicionales

4.4. El estimador de diferencias con efectos heterogéneos

4.5. El estimador de diferencias en el tiempo

4.6. Problemas potenciales de la aleatorización

4.7. Verificación de la aleatorización

4.8. Desventajas de los métodos experimentales

4.9. Implementación del modelo de diferencias en Stata

4.10. Conclusiones y ejemplos

Bibliografía

5. EXPERIMENTOS NATURALES O CUASI EXPERIMENTOS

5.1. El modelo de diferencias-en-diferencias

5.2. El estimador de diferencias-en-diferencias con regresores adicionales

5.3. El estimador de diferencias-en-diferencias para múltiples períodos

5.4. Diferencias-en-diferencias utilizando datos de corte transversal repetidos

5.5. Implementación del modelo de diferencias-en-diferencias en Stata

5.6. Conclusiones y ejemplos

Bibliografía

PARTE III. ESTUDIOS NO EXPERIMENTALES

6. EL MÉTODO DE EMPAREJAMIENTO

6.1. Probabilidad de participación

6.2. Soporte común

6.3. Selección de un algoritmo de emparejamiento

6.4. Calidad del emparejamiento

6.5. Errores estándar

6.6. Pruebas de falsificación

6.7. Implementación del método de emparejamiento en Stata

6.8. Conclusiones y ejemplos

Bibliografía

7. MÉTODO DE VARIABLES INSTRUMENTALES

7.1. Definición de variable instrumental

7.2. Estimación por el método de variables instrumentales

7.3. Elección de los instrumentos

7.4. Evaluación de la variable instrumental

7.5. Problemas potenciales del estimador de variables instrumentales

7.6. Implementación empírica del estimador de variables instrumentales

7.7. Conclusiones y ejemplos

Bibliografía

8. MÉTODO DE REGRESIÓN DISCONTINUA (RD)

8.1. El diseño de regresión discontinua nítida

8.2. El diseño de regresión discontinua borrosa (RDB)

8.3. Implementación empírica del estimador de RD

8.4. Implementación del diseño RD en Stata

8.5. Conclusiones y ejemplos

Bibliografía

9. FUNCIONES DE CONTROL

9.1. Estimación del modelo

9.2. Implementación del modelo de funciones de control en Stata

9.3. Conclusiones y ejemplos

Bibliografía

10. ESTIMACIÓN DE MODELOS ESTRUCTURALES

10.1. El modelo estructural y la forma reducida del modelo

10.2. Métodos de estimación

10.2.1. Método de máxima verosimilitud

10.2.2. Método de momentos simulado

10.3. Modelos estructurales dinámicos

10.4. Conclusiones y ejemplos

Bibliografía

11. DURACIÓN DE LA EXPOSICIÓN AL TRATAMIENTO

11.1. Efectos de la duración de exposición al tratamiento con respecto al grupo de no participantes

11.2. Análisis de intensidad: comparando individuos tratados según la duración de exposición al programa

11.3. Conclusiones y ejemplos

Bibliografía

12. CONCLUSIONES

¿Qué técnica usar y cuándo?

Evaluadores y ejecutores

¿Evaluar o no evaluar?

Bibliografía

13. ANEXOS

Anexo 1: Estimación de mínimos cuadrados ordinarios

Anexo 2: El estimador de MCO es insesgado

Anexo 3: Estimador del impacto del programa por MCO en el modelo de diferencias

Anexo 4: Estimación de variables binarias: probabilidad lineal, logit y probit

Anexo 5: Traducción y explicación de una salida de Stata

INTRODUCCIÓN

El uso de métodos cuantitativos para medir el impacto de programas sociales ha cobrado un gran interés recientemente. En los últimos años han surgido organizaciones dedicadas a la elaboración y el financiamiento de evaluaciones de impacto. Las entidades multilaterales de crédito y las agencias de cooperación han enfatizado, cada vez con mayor fuerza, la necesidad de evaluar concienzudamente los proyectos de desarrollo. Muchos países han creado oficinas independientes de evaluación y monitoreo de programas públicos. Las evaluaciones de impacto han comenzado a desempeñar un papel preponderante en el diseño de políticas públicas y, por ende, en el control político y la controversia democrática.

Hace apenas unos años la evaluación de impacto era un tema casi desconocido en la gestión social. En el mejor de los casos, se percibía como una curiosidad de especialistas; en el peor, como un desperdicio de recursos y un obstáculo tecnocrático a las iniciativas sociales. El impacto de la mayoría de las políticas públicas era desconocido. La pregunta sobre el impacto no se planteaba y menos aún se respondía. Las buenas intenciones y la inercia operativa desplazaban cualquier intento de escrutinio cuantitativo.