Gonzalo Varela - La evaluación de los académicos

Más allá de los avances a lo largo de la existencia del SNI respecto a sus comisiones dictaminadoras,[17] las inconformidades vinculadas con el número de sus integrantes, su cantidad por áreas de conocimiento, los criterios para su designación y los de evaluación que utilizan, continúan debatiéndose entre los diversos actores que conforman el sistema (autoridades, evaluadores e investigadores).

Los problemas de la integración de las comisiones dictaminadoras, que se expresan en la percepción de que son pocas e insuficiente el número de sus integrantes (ante el crecimiento del número de investigadores desde 1984), se asocian al desequilibrio regional, institucional, disciplinar y de género.[18] La escasez, tanto de la cantidad de comisiones como del número de sus integrantes, se refiere a lo cuantitativo y a lo cualitativo. Esto es así en la medida en que a veces no se garantiza un dictamen bien fundamentado, una evaluación ajustada al contexto regional e institucional en el que se desarrolla la investigación, ni tampoco de acuerdo a la diversidad de campos del conocimiento, disciplinas y subdisciplinas que existen en México.

En el mismo sentido, el estudio de Valenti (2013) destaca entre los mayores problemas que el SNI privilegiaba —por lo menos hasta entonces— los criterios cuantitativos sobre los cualitativos, ejerciendo así una presión para publicar debido a los perentorios periodos de evaluación con lo que desalentaba la exploración de nuevas temáticas y metodologías para minimizar el riesgo y asegurar los resultados.

La revisión de los estudios citados y diversas opiniones recogidas en distintos foros y en la prensa, y que dieron lugar a la construcción de nuestro cuestionario, pone de manifiesto dos tensiones presentes a lo largo de la historia del SNI, en las que ha coincidido la gran mayoría de quienes se han preocupado por mejorar su desempeño. A saber,

1 Número de dictaminadores y de solicitudes. Son pocos los dictaminadores y creciente la demanda de solicitudes, lo que genera una presión que termina afectando la evaluación y la calidad del dictamen que recibe el solicitante. Esto se observa en las valoraciones apresuradas y parciales que se elaboran acerca de las aportaciones de los investigadores y que se traducen en dictámenes poco deta­llados que no representan una instancia de aprendizaje para el evaluado (Esteinou, 2013a).[19]

2 Criterios cuantitativos y cualitativos. Esto se refiere al conocimiento necesario para evaluar, comparar y seleccionar (Bianco et al., 2014), lo cual se expresa como falta de acuerdos respecto de los criterios de evaluación. Ello se vincula al debate sobre el predominio de indicadores bibliométricos como medidas aproximadas de calidad, relativamente económicos en términos de tiempo y energía, pero que descuidan un análisis más cualitativo de las solicitudes (Bianco et al., 2014; Valenti, 2013; Jaso, 2007)[20] y ajustado al contexto en el que el investigador desempeña sus actividades.[21]

Estas dos tensiones representan señales que, sin negar las aportaciones del SNI, llaman a problematizar el mecanismo de evaluación por pares y sus criterios para evaluar, comparar y seleccionar.

Por un lado, conduce a la pregunta sobre qué es un par. En el contexto del SNI y sus comisiones dictaminadoras, el par se define como un investigador que ha alcanzado el máximo rango en el sistema (nivel III o Emérito) (Reglamento SNI, 2013), lo que no significa que sea un experto o especialista en la disciplina o tema en que se produce el conocimiento objeto de evaluación (Roy, 1984). Por otro, lleva al cuestionamiento de si en el SNI se evalúa efectivamente por pares, o más bien se contabilizan (algunos) productos de investigación, bajo el supuesto de que, como cumplen ciertas características, son entonces producción de calidad y excelencia. Sin embargo, este último procedimiento no ha estado exento de críticas ni en el ámbito nacional ni en la bibliografía internacional basada en la evidencia empírica de los diversos países que aplican o han aplicado el mismo criterio.

Butler (2003) y Kostoff (1997, 1998), entre otros, señalan que el número de citas de las publicaciones no es un indicador de calidad. En México, las posiciones al respecto señalan lo mismo y añaden que basarse en el factor de impacto del órgano de publicación no permite evaluar adecuadamente el valor de la contribución intelectual de la producción de conocimiento nacional.[22] Sobre esto es ilustrativa la declaración de los biólogos de San Francisco que, a través de la Declaration on Research Assessment (DORA) de 2012, recomiendan eliminar el uso de criterios de evaluación basados en el factor de impacto de las revistas y apreciar la investigación a partir de sus propios méritos.[23]

Como una consecuencia de lo anterior, en la bibliografía especializada internacional se documenta que la producción de conocimiento publicable en revistas indexadas, internacionales y de alto impacto muchas veces niega temas de investigación asociados a problemas de política pública o relevancia local (Van Dalen y Henkes, 2012; Katz, 1999). Además, puede castigar la producción de conocimiento orientada a la resolución de problemas complejos, transdisciplinaria y que involucre a diversos actores (Rafols et al., 2012; Nowotny et al., 2003), básicamente porque las medidas de calidad basadas en el factor de impacto generan sesgos hacia la investigación disciplinar (Rafols et al., 2012).

En el ámbito nacional, la crítica sostiene que los actuales criterios de evaluación imponen una barrera para que los investigadores transformen el conocimiento básico en aplicado u orientado a la resolución de problemas.[24] Dicho de otro modo, tales criterios dificultan que el conocimiento científico y tecnológico y la innovación se pongan al servicio del desarrollo económico y social de México (Esteinou, 2013a),[25] no equilibran el vínculo entre ciencia básica y aplicada y no reconocen la complejidad del fenómeno ni la necesidad de la inter, trans y multidisciplina para enfrentar los desafíos del conocimiento y el estudio y exploración de soluciones para los problemas nacionales.[26]

En cuanto al factor de impacto de las revistas, se ha objetado que este puede ser bajo por la alta especialización de la revista, lo que deriva en una masa crítica pequeña de investigadores en el área. Por su parte, la bibliografía especializada internacional documenta que los factores de impacto no están normalizados y de ese modo distorsionan la importancia y relevancia de una contribución científica (Gläser y Laudel, 2007). Paralelamente, los indicadores construidos a partir del Social Science Citation Index subrepresentan la producción de conocimiento en ciencias sociales y humanidades y están sesgados hacia publicaciones en inglés (Kostoff, 1997; Katz, 1999; Hicks, 2004, 2006). Una crítica recurrente en el ámbito nacional se refiere a que los indicadores bibliométricos no reflejan adecuadamente la producción en ciencias sociales y humanidades y que hay una preferencia por la publicación extranjera y en inglés frente a la nacional (Esteinou, 2013b).

Relacionado con ello, pero desde una perspectiva más general, los criterios de evaluación basados en indicadores bibliométricos desconocen las diversas formas en que se difunden los resultados de investigación y sus audiencias objetivo (De Jong et al., 2011; Hicks, 2004, 2006, 2013). En el ámbito nacional, se destaca que es necesario acercar el conocimiento y sus instituciones a la sociedad ya que, para explotar estratégicamente la riqueza cognitiva acumulada por México, es indispensable difundir el conocimiento a públicos más amplios y externos a la academia.[27]

Van Dalen y Henkens (2012) sugieren que la presión por publicar ha obligado a los científicos a producir resultados publicables a cualquier costo. La presión en este rubro ha llevado a que a los investigadores les importe más cuan seguido se escribe y con quién, que lo que se escribe y para quién (audiencias), y ha provocado que los científicos se alejen de proyectos de alto riego y en su lugar apliquen el salami tactics (dividir una contribución intelectual en varios artículos y publicarlos en diferentes revistas). Asimismo, a través de la metáfora “carrot-and-stick logic behind the publish-or-perish culture”, señalan que la confianza en las citas y en las publicaciones ha estimulado la productividad individual por lo que la producción de artículos ha aumentado. Sin embargo, se observan consecuencias no deseadas cuando los académicos se enfrentan a otras múltiples tareas, que son desplazadas y que tradicionalmente se atribuyen a las instituciones académicas.