AAVV - Educación superior, gestión, innovación e internalización

Falta de consenso en el concepto de calidad

En la sección anterior, se vio que las metodologías de ARWU, THE y QS comparten con muchos rankings nacionales el seleccionar indicadores y asignarles pesos específicos para llegar a una cifra final única (Salmi & Saroyan, 2007). Desde su surgimiento se han señalado varias dificultades concomitantes con esta orientación metodológica (CHERPA-Network, 2010; Hazelknorn, 2011a; 2012a; Lloyd, Ordorika, & Rodríguez-Gómez, 2011; Marginson & Wende van der, 2007a; Marginson & Wende van der, 2007b; Salmi & Saroyan, 2007).También se ha observado que los indicadores seleccionados tienen limitaciones, en algunas ocasiones drásticas, para medir la realidad que buscan representar. En cada ranking, los indicadores y sus porcentajes correspondientes se determinan a partir de un conjunto de supuestos que asumen implícitamente un concepto de lo que constituye la calidad de la ES. Por esta razón sería de esperarse que la metodología de cada ranking partiera de una discusión amplia sobre esta noción. Sin embargo, los juicios en que se basan estas decisiones básicas –los indicadores mismos y sus pesos correspondientes– no son explícitos ni tienen la sistematización requerida 20como se vio en la sección anterior, creándose la impresión de que, en última instancia, los guía una inclinación subjetiva, o bien consideraciones prácticas sobre la disponibilidad y confiabilidad de la información que se requiere para determinar sus valores, tal como se ha señalado por Dill and Soo (2005), Kehm and Stensaker (2009), Longden (2011), Marginson and Wende van der (2007a), Usher and Medow (2009), Usher and Savino (2006), and Vught van and Ziegele (2012). En particular, las razones por las cuales se elige cada indicador, en vez de otros del mismo tipo, no se apoyan en una fundamentación teórica (Vught van & Westerheijden, 2010). Esta falta de bases constituye un hueco metodológico que se ha señalado como un elemento de arbitrariedad en estos rankings. Ello ha dado como resultado la falta de consenso en el concepto de calidad que en cada caso se asume (Hazelkorn, 2012a). La relatividad de estos rankings, mostrada en esta falta de acuerdo, no es una objeción definitiva en sí misma, ya que cada uno podría estar asumiendo un enfoque parcial sobre lo que constituye la calidad de la ES, que sería complementario a los demás. Desafortunadamente esto no es posible como se verá en el siguiente apartado.

Un solo modelo de universidad

Como se mencionó en la tercera sección, los rankings ARWU, THE y QS consideran de manera preferente la investigación al comparar y evaluar IES. Esta decisión se basa en tres supuestos: 1) que la calidad de la enseñanza y el aprendizaje está determinada por la investigación que se lleva a cabo en una institución; 2) que las IES con mayor calidad, es decir aquellas que son de clase mundial, son las dedicadas a la investigación intensiva con resultados «de punta»; 3) es difícil conseguir información confiable y relevante que pueda ser internacionalmente comparable en funciones universitarias como el aprendizaje, la transferencia de conocimientos o el involucramiento regional. Basta recordar que ARWU (80%), THE (62.5%) y QS (60%) le asignan a los indicadores de investigación el mayor porcentaje ( Tabla 5), y los indicadores de aprendizaje quedan reducidos al 10%, 30% y 20%, respectivamente ( Tabla 6). De acuerdo con las empresas que los producen, esta falta de proporción se justifica en gran medida en el hecho de que se evalúa un tipo particular de universidades (Baty, 2011a; Liu & Cheng, 2005). Las razones para esta preferencia se explican, en parte, por las dificultades para llevar a cabo comparaciones globales con otros modelos de universidades (Marginson & Wende van der, 2007a). Con ello, se reconoce implícitamente que estos rankings son inadecuados para evaluar el desempeño de IES con una misión diferente. Por lo demás, el precio de tener como parámetro al modelo de universidad de investigación de clase mundial, y específicamente a su modalidad norteamericana, es la exclusión de otras instituciones con altos estándares de calidad académica como es el caso de IES de tipo vocacional y tecnológico de gran prestigio mundial como las Fachhochschulen de Alemania y las Grandes Écoles de Francia. Con ese enfoque, se deja fuera también a instituciones como los colegios de artes liberales (Wende van der, 2008). Esta consecuencia refuerza aún más la conclusión del párrafo anterior de que hay aspectos de la calidad de la ES que no se consideran en los rankings como THE y QS .

Otra razón que muestra lo insuficiente que es evaluar el desempeño de todas las IES con una sola dimensión es que no existe una relación necesaria entre la investigación, la calidad de la docencia y la del aprendizaje de los egresados (Verburgh, Elen & Lindblom, 2007). Desde luego, esta relación no debe confundirse con la implementación de actividades de aprendizaje basadas en enfoques docentes que ejercitan habilidades cognitivas de orden superior utilizando modelos de razonamiento científico como el planteamiento de problemas y el diseño de preguntas e hipótesis de investigación. 21Más aún, no hay métodos globalmente aceptados para medir la calidad de la docencia y evaluar su impacto en los estudiantes (Altbach, 2006). Esto sugiere que la contribución de la investigación a la formación de los estudiantes se debe buscar a través de los resultados de aprendizaje, es decir, midiendo los conocimientos, habilidades y actitudes que poseen los estudiantes al graduarse. Ésta es una de las razones que hacen promisoria la evaluación internacional de éstos como se propone hacerlo el programa Assessment of Higher Education Learning Outcomes (AHELO), (Nusche, 2008).

La dificultad de comparar el desempeño de las IES también se debe a razones metodológicas señaladas reiteradamente por varios autores (Dill & Soo, 2005; Hazelkorn 2012a; 2012b;Liu & Cheng, 2005;Lloyd, Ordorika & Rodríguez-Gómez, 2011;Marginson & Wende van der, 2007a; 2007b;Ordorika & Rodríguez-Gómez, 2010; Raan van, 2007; Salmi and Saroyan, 2007; Wende van der, 2008;Wende van der & Westerheijde; 2009). Estas críticas señalan varias limitaciones que surgen como consecuencia de:

a. El número reducido de indicadores en contraste con los usados en los rankings nacionales.

b. El uso de indicadores que no reflejan adecuadamente la calidad que pretenden medir.

c. El proceso mismo mediante el cual se calcula el puntaje final; y

d. El hecho mismo de representar la calidad de una institución a través de una cifra final única.

A continuación se abordan brevemente algunas de estas deficiencias.

Limitaciones en la selección de indicadores

Por la dificultad de recabar información confiable en fuentes internacionales, ARWU, THE y QS usan un número reducido de indicadores en contraste con los rankings nacionales. Si a esto se agrega que se restringen a un solo modelo institucional, se tiene el riesgo de distorsionar los resultados (Vught van & Westerheijden, 2010). Sin embargo, una limitación mayor de los indicadores se encuentra en que carecen de los recursos para fungir como representaciones de realidades complejas.

Problemas con el cómputo de una cifra final

El proceso de cómputo vuelve a introducir el problema de la falta de fundamentación. No es sólo la falta de consenso sobre un concepto de calidad, sino que el cálculo de la cifra a partir de la cual se asigna una posición también carece de bases sólidas (CHERPA-Network, 2010; Dill & Soo, 2005; Longden, 2011; Marginson, 2012; Rauhvargers, 2011; Vught van & Ziegele, 2012; Wende van der & Westerheijden, 2009). Por otra parte, la interpretación de la calificación final plantea un problema adicional: ¿Es posible representar el desempeño de una IES a través de un solo valor numérico? Esta pregunta no hace sino volver a plantear lo que constituye una de las limitaciones más importantes de estos instrumentos: no tener un concepto objetivo e incluyente de lo que constituye la calidad de la ES. Los rankings globales le asignan a cada institución una posición definida como si fuera un todo homogéneo, sin tomar en cuenta su diversificación interna, tanto horizontal como vertical (CHERPA-Network, 2010; Wende van der, 2008). Es común que las facultades o departamentos de una universidad tengan diferente prestigio; así mismo es frecuente que tengan unidades académicas con distintos grados de consolidación o dedicadas a varias funciones. Considérese, como ejemplo, el caso de instituciones como la Universidad Nacional Autónoma de México (UNAM) para percatarse de la dificultad de evaluarla holísticamente, dada la variedad de ciclos educativos, facultades, escuelas, institutos de investigación, y etapas de crecimiento y maduración de cada dependencia académica. 22Esta diferenciación dificulta la comparación holística de las IES dentro de un sistema de ES, y es un obstáculo para contrastarlas con instituciones de otros países y regiones del mundo. Finalmente, la metodología de los rankings como ARWU, THE y QS tiene la falla de que al asignar posiciones absolutas se da el caso de que un cambio en el lugar no corresponde, en realidad, a las diferencias estadísticas que se dan en los puntajes que obtienen (Wende van der, 2008).