Amanda Alvarado Cortés - Reforma rural integral - ¿Oportunidad que se desvanece?

Habiendo aclarado lo anterior, el objetivo de este capítulo es aportar a la interpretación crítico-propositiva sobre el seguimiento-cumplimiento del Punto 1 (RRI) del Acuerdo Final. Esto se hace considerando que la RRI es una política pública que requiere seguimiento y evaluación, con mecanismos idóneos. En esa dirección, se analizan el alcance, los objetivos y la función del seguimiento al citado punto. Además, se identifican conceptos, métodos y resultados de los ejercicios de seguimiento llevados a cabo por actores sociales e institucionales, con el ánimo de generar reflexiones y aprendizajes acerca de los resultados, de manera que permitan potenciar el seguimiento al cumplimiento de la RRI.

De acuerdo con Guba y Lincoln (2001), la evaluación es una forma de indagación que produce construcciones o juicios de mérito o valor. En ese sentido, la evaluación puede indagar sobre la calidad intrínseca de un programa, proceso, organización o persona, independientemente de la configuración en la cual pueda encontrar aplicaciones (juicio de mérito). Así también, la evaluación puede indagar por las construcciones de valor en las que se identifica la utilidad o la aplicabilidad extrínseca del evaluado, en un entorno local específico (juicio de valor).

Actualmente, puede recurrirse a diferentes perspectivas para hacer evaluaciones orientadas al conocimiento del desempeño institucional y a los efectos de las políticas y programas, en el ámbito de la acción pública. Diferentes autores han reconocido estas perspectivas, por ejemplo, Guba y Lincoln (1989), primero, reconocen cuatro “generaciones” y, segundo, han abordado las principales características de cada una. En la tabla 1.1se presenta un resumen de algunas de estas generaciones de evaluación, donde se incluye una nueva propuesta: la quinta generación.

Tabla 1.1 Generaciones de las formas de evaluación

Fuente: elaboración propia a partir de Guba y Lincoln, 1989, 2001; Muñoz, 2007; Scriven, 2011a; 2011b.

La primera generación de evaluación se orientó, en sus inicios, a la medición del rendimiento escolar de los niños, mediante exámenes y pruebas psicométricas, que fueron bien recibidas, después, también en la industria militar. La evaluación fue llevada luego al escenario de la productividad en los negocios y la industria, a principios del siglo XX, donde se tenía la pretensión de encontrar a los trabajadores mejor calificados y los métodos más productivos de trabajo. Pero, más allá del objetivo inicial del ejercicio evaluativo, puede afirmarse que el fundamento de este tipo de evaluación es la medición matemática de datos considerados verídicos y cuantificables, aplicables en cualquier lugar, independientemente del contexto. En esta metodología, prima el criterio de eficiencia productiva, es decir, la relación de eficiencia entre recursos y resultados (Subirats et al., 2008).

De esta manera, siguiendo con la propuesta de Scriven (2011a), en la primera generación de evaluación aparecieron dos tipos de rol: la población objetivo y el evaluador. Cabe aclarar que el evaluador debe cumplir con el perfil de ser técnico y tener amplio conocimiento en instrumentos de medición, para ser usados en cualquier contexto. Para garantizar la objetividad de la evaluación, el experto debe aplicar el método científico y, dentro de este marco, emplear los instrumentos técnicos adecuados para la recolección, medición y comprobación objetiva de la información, a partir de la cual es posible emitir un diagnóstico igualmente objetivo.

De acuerdo con el enfoque positivista, tales elementos aportan legitimidad a los estudios sociales, ya que este enfoque científico permite a las ciencias sociales extrapolar los métodos utilizados en las “ciencias duras”, los cuales garantizarían precisión en la medición de los fenómenos sociales y, en últimas, el descubrimiento de “la verdad” (Guba y Lincoln, 1989; Muñoz, 2007). Asimismo, los datos cuantitativos procesados a través de la estadística y la matemática proveen soporte al diagnóstico causal-lineal de la evaluación.

La segunda generación surgió de reconocer las graves falencias de la primera, especialmente, porque se tenía a los estudiantes como los objetos de la evaluación y no a las estructuras educativas ni los elementos que las componen (Guba y Lincoln, 1989, p. 27). A partir de esto, se planteó la necesidad de evaluar los planes de estudio en práctica, para determinar si, en efecto, funcionaban para los fines que se pensaba lograr cuando fueron implementados. En otras palabras, la segunda generación de la evaluación introdujo un elemento adicional al proceso: la descripción de un contexto más amplio que el solo objeto focalizado, es decir, esta vez se incluyó un marco referencial. Así pues, en esta generación de la evaluación, se identificaron tres tipos de rol (Scriven 2011a): el evaluador (técnico experto), la organización (objeto de evaluación) y la población objetivo (objeto de evaluación).

El rol del evaluador responde a un doble papel: realizar una caracterización o descripción del marco referencial, para aplicar luego los instrumentos válidos para la medición (Muñoz, 2007). Dentro de este marco referencial, se cuenta la organización de la política o programa, los patrones, estrategias y materiales que los hacen posibles; también el personal encargado. De esta manera, los componentes de la evaluación pasan por 1) la descripción de los objetivos, donde el experto contextualiza la evaluación; 2) la construcción de instrumentos de medición, adecuados según el contexto; y 3) la recolección de la información, la medición y su comprobación.

Con los elementos anteriores, el técnico evaluador puede emitir una evaluación formativa, en la que, gracias a la estadística y la matemática, es posible comparar una situación de fortalezas y debilidades en relación con el logro de los objetivos de la política o programa. En otras palabras, el propósito de la segunda generación de evaluación es medir y valorar, objetivamente, el cumplimiento de los objetivos, identificando fortalezas y debilidades de acuerdo con el mismo criterio principal de la primera generación: la eficiencia productiva.

A pesar de que la segunda generación amplió el panorama de la evaluación, al incluir el contexto interno de la política o programa, es decir, los objetivos, estrategias, materiales y organización que se plantean, no logró garantizar la identificación de la pertinencia. Para superar esta limitación, apareció una tercera generación de evaluación, basada en las críticas que había hecho Michael Scriven en 1967, quien señaló que el proceso evaluativo debe problematizar el valor extrínseco de los objetivos (Guba y Lincoln, 1989).

Para problematizar el valor de tales objetivos es inevitable que el evaluador también tenga un papel como juez, toda vez que, siendo el descriptor y técnico experto, la persona más objetiva posible. De esta manera, los componentes de la evaluación conservan las características de las generaciones anteriores: describir objetivos, construir instrumentos, recolectar información, medir y comprobar y, a partir de esto, evaluar internamente la política. No obstante, a este proceso se suma que la evaluación debe comparar, además, los objetivos con estándares externos a la política. A partir de ello, se debe, primero, emitir juicios de valor internos y externos (contextuales) y, segundo, determinar si la política y sus objetivos son pertinentes o no.