Gonzalo Varela - La evaluación de los académicos

En los primeros días del SNI, se distinguía entre productos primarios y secundarios para evaluar. Los primarios se refieren a publicaciones de calidad; los secundarios, fundamentalmente son docencia y difusión. Los secundarios presentan dificultades específicas porque, si bien es importante su vinculación con la investigación, que ello se cumpla no es fácil de comprobar. En todo caso no se acepta que estos últimos sustituyan a las publicaciones, que son elemento central de juicio. Tampoco ha sido sencillo —aunque ha habido avances— valorar la investigación aplicada, cuando no se verifica en publicaciones sino en resultados distintos como las patentes. Como al iniciar este sistema de investigación había pocos participantes y escasa producción, se valoraba sobre todo la cantidad de productos sometidos a evaluación. El énfasis en la calidad, sopesando el prestigio de los sellos editoriales o, tratándose de revistas, su factor de impacto, fue posterior.

Desde su creación en 1984, el sistema ha ido delineando el perfil de lo que sería un buen investigador basándose en estimar la cantidad y calidad de la producción, el liderazgo de grupos de investigación, la independencia de juicio, las citas obtenidas (en especial en revistas de impacto), la dirección de tesis (en especial de doctorado, para los niveles II y III), la publicación en conjunto con estudiantes, la participación en comités editoriales y eventualmente la proyección internacional de la obra y de su autor. Sin embargo, han transcurrido más de treinta años desde entonces y a pesar del consenso de los beneficios que el SNI ha traído a las trayectorias individuales de los académicos, se ha observado la necesidad de mejorar aspectos de su diseño e implementación, como lo confirman los resultados de la investigación que se recoge en este libro.

El SNIen revisión

La revisión de la literatura que analiza los efectos positivos y algunos de los problemas del diseño e implementación de los mecanismos de evaluación, principalmente del SNI, así como la opinión de investigadores, funcionarios y otros participantes en diversos foros, dio fundamento a la construcción del cuestionario y la guía de los grupos de discusión y entrevistas individuales que se han empleado en esta investigación. El interés central de las distintas contribuciones recogidas en este apartado fue mejorar el desempeño de los mecanismos de evaluación por lo que, sin ignorar los avances logrados, se concentran más bien en identificar los problemas más relevantes. Puede adelantarse que, aunque las respuestas obtenidas en esta investigación no siempre avalaron los cuestionamientos más extremos, sí hay una gran coincidencia respecto a cuáles son las principales tensiones que se deben atender para lograr el fortalecimiento del SNI, tal como se observa en los siguientes apartados y en las conclusiones de este estudio.

Se ha destacado en la literatura especializada que la evaluación del desempeño de la investigación individual idealmente examina la productividad, el impacto científico y la calidad de la investigación (Sahel, 2011); y que simultáneamente genera impactos en la dirección y conformación de agendas de la investigación (Elzinga, 1988; Whitley, 2007; Van der Most, 2010). Sin embargo, en el ámbito nacional, se registran tanto opiniones positivas como otras que destacan los problemas que se fueron originando a través de los sistemas de evaluación. Por ejemplo, entre los resultados positivos, se destaca que la evaluación asociada a estímulos y recompensas ha modificado la conducta del personal académico que ha recibido el beneficio (los profesores investigadores de tiempo completo) en diversos aspectos. Uno de los resultados es que mientras en 1992 el 3% de los académicos de tiempo completo de las universidades públicas estatales tenía el grado de doctor, este porcentaje alcanzó el 34%, en 2007 (Valenti, 2013). Además de esta mejora en el ingreso, se consiguió retenerlos en las instituciones y se ha señalado que aumentó la productividad medida por el número de publicaciones científicas y tecnológicas mexicanas, mismas que, según el Institute of Scientific Information (ISI), se multiplicaron más de nueve veces en 25 años: entre 1984 y 2009 pasaron de un total de 1 002 a 9 488; al tiempo que el número de investigadores pertenecientes al SNI se triplicó en la década del 2000 (Valenti, 2013).

Al analizar en particular los efectos positivos del SNI, un grupo de investigadores convocados por el FCCyT (Valenti, 2013) encontró que ha inducido a una mayor valoración de la investigación científica dentro de las instituciones de educación superior y centros de investigación; ha motivado que se diversifiquen las áreas de conocimiento que pasaron de tres a siete y ha promovido la formación de redes internacionales y la publicación en revistas indexadas, lo que fue acompañado de la creación del Padrón de Revistas Científicas del Conacyt. De igual modo, ha permitido que las IES con posgrados tengan personal académico de alto nivel, lo que contribuyó a su inclusión en el PNPC (Valenti, 2013). Uno de los problemas identificados en esa investigación fue que el ingreso y permanencia en el SNI se ha enfocado en una evaluación que en ocasiones privilegia criterios cuantitativos y deja en segundo plano algunas aportaciones sustantivas de sus miembros (Valenti, 2013). Se ha mencionado además que los miembros del SNI se concentran en todo lo que les permita permanecer o ascender en el SNI en detrimento de actividades como la docencia o la gestión (Valenti, 2011).

Otros estudios sugieren que hay un desequilibrio en la evaluación de la investigación individual y el SNI que favorece la producción de conocimiento fundamental-básico y no la de conocimiento aplicado u orientado hacia la resolución de problemas (Amaro et al., 2009; Galaz y Gil, 2009; Galaz et al., 2008; Grediaga, 1998; Rivera et al., 2011; Valenti, 2011). Adicionalmente, se coincide en que existe un desplazamiento desde las actividades de enseñanza y docencia hacia las de investigación (Galaz Fontes et al., 2008; Cordero et al., 2003; Gil, 2002; Ibarra, 1998, 1999; Grediaga, 1998).

En este sentido, se puede sostener que la evaluación no solo aparece vinculada a los resultados de investigación (Elzinga, 1988), sino que además orienta las actividades académicas (investigación, enseñanza y vinculación) hacia las mejor recompensadas. Esto alerta sobre la necesidad de evaluar y corregir los efectos no deseados o no buscados por la política (Bianco et al., 2014). En particular, hay que considerar los efectos negativos asociados al SNI en tanto se trata de uno de los instrumentos centrales de la política pública en ciencia, tecnología e innovación (CTI) de México.

Como es de esperar, los efectos positivos o negativos que se observen, tanto en la producción de conocimiento como en la importancia relativa que los académicos asignen a las distintas actividades de su quehacer, dependerá —entre otras cosas— de las características específicas del sistema de evaluación (Whitley, 2007). En particular, de lo que ese sistema reconoce y valora, y cómo lo recompensa: reconocimiento social y prestigio o una remuneración económica. En cuanto a esto último, el SNI en México, aparte de ser una fuente de prestigio y reconocimiento social, representa una porción sustancial de los ingresos mensuales de los académicos categorizados como investigador nacional.

Al analizar las declaraciones y estudios publicados por los medios de opinión pública, resulta sorprendente la consistencia en la identificación de los principales beneficios y problemas relacionados al SNI, su asociación con los efectos no deseados del sistema y la articulación de las propuestas para contribuir a revertir los efectos no buscados.

Es posible señalar algunas áreas de oportunidad para mejorar el desempeño del SNI y minimizar sus efectos no deseados sobre la producción de conocimiento y el desempeño de los investigadores: a) las comisiones dictaminadoras y b) los criterios de evaluación. Abajo se discute cómo estas dos áreas de oportunidad en interacción explican en buena medida los principales efectos no deseados del sistema, y después se muestra muy sintéticamente cómo las propuestas recogidas intentan revertirlos.