Gonzalo Varela - La evaluación de los académicos

En suma, la investigación se concentró en los problemas detectados por la comunidad en el proceso de evaluación, en los efectos de este y en las posibles soluciones, con la guía de las siguientes interrogantes:

— ¿Los mecanismos y procesos de evaluación instalados desde la década de 1980 están alineados con los cambios que se han dado en la producción del conocimiento y la evolución de los contextos institucional, nacional y mundial?

— ¿Cuánto y de qué manera la política de evaluación orientó el desempeño de los académicos?

— ¿Es posible afirmar que la evaluación de los académicos, tal y como se aplica en el país, ha llegado a su límite, o se trata más bien de introducir ajustes?

— ¿Cuáles serían los límites desde la percepción de la comunidad científica?

— ¿Cuáles serían los ajustes necesarios, desde la percepción de la comunidad científica?

— ¿Qué muestra el análisis documental sobre los límites y ajustes?

— ¿Existe superposición o complementariedad en los dos tipos de evaluación de los académicos: SNI e institucional?

— ¿Es posible homologar criterios y procedimientos para el conjunto de la comunidad científica? ¿Cuáles serían las principales especificidades a tomar en cuenta?

— ¿Cuáles son los límites de continuar con la imbricación entre la política salarial y las políticas de educación superior y ciencia y tecnología basadas en la evaluación ligada a la complementariedad de ingresos?

Aunque en principio el propósito era diagnosticar cada uno de los mecanismos de evaluación al individuo —SNI, evaluación en la institución de adscripción y Programa de Mejoramiento del Profesorado (PROMEP)—, el estudio terminó enfocándose en el SNI y en su interacción con la evaluación de los académicos en sus instituciones de adscripción. Para reforzar el análisis de los resultados obtenidos con la encuesta aplicada a miembros del SNI, se llevó a cabo una aproximación cualitativa con académicos, lo que fue complementado revisando la documentación que acompaña las evaluaciones de las IES y el SNI, concretamente en su parte de definición de criterios y procedimientos mediante reglamentos y tabuladores.

Si bien no se emprendieron estudios de caso en profundidad en las IES e institutos de salud por limitaciones de tiempo y recursos, la discusión con grupos de investigadores de algunas de estas instituciones y las entrevistas individuales permitieron conocer sus percepciones sobre la interacción que se viene discutiendo.

Los principales instrumentos que se utilizaron para delimitar la problemática y diagnosticar la percepción de la comunidad académica sobre la EI fueron la revisión de la literatura sobre el tema, el diseño y aplicación de una encuesta de opinión dirigida a una muestra representativa de los investigadores del SNI y la realización de grupos de discusión y entrevistas individuales con evaluados y evaluadores de diversas instituciones y regiones. Hay que decir que estos son los sujetos más evaluados en el medio académico, ya que por lo general participan en al menos dos mecanismos de evaluación (en el SNI y en la institución de adscripción), además de que lo cumplen periódicamente y a lo largo de su trayectoria. Es decir, se trata de un grupo siempre sujeto al escrutinio de las instancias de evaluación, por lo que los hallazgos y propuestas resultantes de esta investigación no responden a modelos preconcebidos fuera del ámbito académico. Por el contrario, se basan en la amplia experiencia de los investigadores como sujetos evaluados y evaluadores —en el SNI, en sus instituciones, en revistas arbitradas, en programas de posgrado y los proyectos del Consejo Nacional de Ciencia y Tecnología (Conacyt) en sus diversas modalidades, entre otros.

Sin embargo, faltan más elementos para validar las conclusiones y recomendaciones que surgieron de esta investigación. En especial se deberían contrastar las percepciones recogidas en este estudio con las trayectorias de los investigadores del SNI y de otros que no pertenecen al sistema, tomando en cuenta sus etapas y resultados. De esta forma, sería posible evaluar el desempeño real y los efectos de los mecanismos de la EI en relación con sus objetivos originales y a los que se les fueron asignando a lo largo de los últimos treinta años. Lamentablemente, esta cuestión estuvo fuera del alcance de este equipo de investigación, al menos en esta etapa.

Luego de esta introducción, los resultados de investigación se han organizado en este libro como se describe enseguida.

En el capítulo I se recuperan los antecedentes del debate nacional e internacional sobre los temas asociados a la evaluación académica de los individuos, los cuales provienen tanto de la literatura especializada como de la prensa nacional. En el II se detalla la metodología utilizada en sus dimensiones cuantitativa y cualitativa. El tercer capítulo está dedicado a la descripción de las estadísticas básicas del SNI mientras que los resultados de la encuesta aplicada a los miembros del SNI vigentes y no vigentes, más las opiniones vertidas en los grupos de discusión y en las entrevistas individuales se incluyen en el capítulo IV.

Por su parte, en el capítulo V se revisan los requisitos establecidos para ingresar y permanecer en las diversas categorías del SNI y la relación de esto con los criterios específicos de evaluación —que son complementarios al Reglamento del SNI—, en las siete áreas que lo integran, así como su evolución reciente. El propósito de este capítulo es triple: a) evalúa en qué medida los criterios de dictaminación por áreas presentan diferencias entre sí al determinar la cantidad o calidad de los productos a evaluar, cuestión que se relaciona con las diferentes percepciones recogidas en la encuesta y con los grupos de discusión según las diferentes disciplinas; b) examina cómo estos criterios interpretan los requisitos reglamentarios: ¿restringen, amplían o precisan los requisitos reglamentarios?, y c) analiza en qué medida las opiniones de los investigadores incluidas en este estudio —publicado en la página web del FCCyT desde 2014— han sido atendidas en las respectivas reformas de dichos instrumentos y cuáles podrían considerarse en otras futuras.

El capítulo VI se dedica al análisis de la relación entre los sistemas de evaluación institucional y el SNI a la luz de diferentes situaciones donde ambos interactúan de modo complementario y se combinan de distintas maneras o, por el contrario, se encuentran del todo desvinculados. Además se abordan las modalidades y problemáticas de la evaluación institucional derivando de ello algunas de las recomendaciones.

Finalmente, el capítulo VII del libro contiene las conclusiones y recomendaciones.

I. La evaluación en la perspectiva internacional y desde las políticas de educación superior y de ciencia y tecnología de 1990 a 2016

Antecedentes y contexto

El objetivo de la revisión de antecedentes que se incluye en este capítulo es ofrecer al lector el panorama más amplio en el que se inscribe la emergencia del Sistema Nacional de Investigadores (SNI) en México. Para ello, a continuación se presentan las características que distinguen a los procesos de evaluación de los académicos, desde una perspectiva internacional. El siguiente aspecto a tratar es el sistema de evaluación de la educación superior en México con el que, a pesar de su autonomía, el SNI guarda una estrecha relación, si bien se extiende a otros ámbitos como el de la investigación científica y la innovación.

Perspectiva internacional

Los propósitos que impulsan la implantación de la evaluación de la educación superior y la investigación científica a nivel internacional han sido variados: transparencia en el uso de los fondos públicos asignados al sector; mejorar la calidad de la educación; estimular la competitividad entre instituciones; verificar las diferencias de calidad en instituciones de reciente creación (públicas o privadas); asignar rangos de prestigio a algunas de ellas de acuerdo a su desempeño; regular las relaciones entre los gobiernos y las instituciones de educación superior (IES); proveer información para estudiantes y empleadores, o para la aplicación de financiamientos; promover comparaciones entre países, y facilitar la movilidad de estudiantes entre instituciones (Brennan, 1998).[1] Una evaluación así responde a un enfoque conductista que induce a la adaptación o readaptación de las instituciones en función de cambios en el contexto social local o internacional. La publicidad debida a resultados comprobados y rankings atrae la atención del público sobre los conceptos de rendición de cuentas y mejora educativa. Las ventajas que se prometen pueden ser financieras, de prestigio o incluso políticas; mientras que para las instituciones de educación superior (IES) y de investigación científica y tecnológica en general son una señal de la necesidad de cambiar y de acceder a prácticas de las cuales depende la obtención de dichas ventajas.