Juan Carlos Rodríguez Macías - Prácticas de investigación aplicada a contextos educativos

La segunda edición de las directrices (Muñiz et al., 2013) propuso un marco integral que busca que la adaptación consiga, con respecto al test original, el máximo nivel de equivalencia lingüística, cultural, conceptual y métrica posible. Éstas son entendidas como un esquema que orienta a los investigadores y profesionales en el proceso de adaptación. A través de veinte directrices, agrupadas en seis categorías, se propone un proceso ordenado y global que considera todas las fases y cuestiones relevantes en la adaptación de test. Así, las nuevas directrices (Muñiz et al., 2013), se agrupan de la siguiente manera:

Directrices previas. Resaltan el respeto a los derechos de propiedad intelectual y a los acuerdos sobre el uso de los test vigentes en los países implicados. Además, proponen el estudio de la influencia de las diferencias culturales o lingüísticas en la medición, y de la relevancia del constructo en la población de interés.

Directrices sobre el desarrollo del test. Sugieren que el proceso de adaptación sea el más pertinente para las poblaciones de interés y que valore la utilización de juicios de expertos, para estimar si el proceso de adaptación considera las diferencias lingüísticas, psicológicas y culturales suficientes. Asimismo, se interesan por que las instrucciones, contenido, formato, escalas, formas de aplicación y demás aspectos relacionados con el test y los ítems, tengan el mismo significado y sean pertinentes en las poblaciones implicadas.

Directrices de confirmación. Fijan su atención en ofrecer información empírica acerca de la equivalencia de constructo, de método y entre los ítems en todas las poblaciones implicadas. De la misma manera, señalan la necesidad de obtener evidencias sobre la confiabilidad y validez del test adaptado y de establecer el nivel de comparabilidad entre las puntuaciones obtenidas por el test en sus dos versiones.

Directrices sobre la aplicación. Se enfocan en la disminución de las diferencias culturales y lingüísticas derivadas de los procedimientos de aplicación o de los formatos de respuesta; y en la especificación de las condiciones de aplicación de manera que no se vea amenazada la validez de las inferencias originadas de las puntuaciones del test.

Directrices sobre puntuación e interpretación. Comunican la necesidad de considerar información demográfica pertinente al momento de realizar las interpretaciones de las diferencias de las puntuaciones entre los grupos bajo estudio. También, resaltan la importancia de utilizar el nivel de invarianza establecido para la escala de puntuación sobre la que se hacen las comparaciones.

Directrices sobre documentación. Señalan la importancia de proporcionar toda la documentación técnica acerca de las modificaciones del test adaptado, donde además se incluyan las evidencias de la equivalencia con la versión original e información a los usuarios sobre el uso correcto del test en la población a la que va dirigido.

Las directrices para la traducción y adaptación de pisa son un claro ejemplo de la importancia de contar con procesos rigurosos y específicos en traducción y adaptación de pruebas de medición psicológica o educativa. pisa es un estudio realizado en un gran número de países con diferentes idiomas, culturas y sistemas escolares, orientados a la evaluación de las competencias de los estudiantes en lectura, matemáticas, ciencia y resolución de problemas. Estas evaluaciones incluyen cuestionarios de contexto que ayudan a explicar las diferencias observadas en los resultados obtenidos entre y a través de los países, así como manuales de operaciones y de procedimientos que buscan asegurar la estandarización de la aplicación de los instrumentos.

Dado que uno de los objetivos de esta evaluación es realizar comparaciones internacionales, la equivalencia de los instrumentos y materiales utilizados es un requisito imprescindible. Por ello, el consorcio responsable de la implementación de pisa elaboró un conjunto de recomendaciones y directrices, para asegurar la equivalencia de todas las versiones de cada país, a través de un proceso de traducción que no introduzca sesgo o comprometa las comparaciones internacionales entre las pruebas (Organization for Economic Co-operation and Development, 2010).

Las directrices para la traducción y adaptación de pisa están basadas en la revisión de la literatura internacional de test, en directrices similares desarrolladas en estudios previos y en la experiencia adquirida de la verificación de los materiales de pisa. Dichas normas se organizan en seis secciones:

Directrices generales de traducción/adaptación. Establecen la necesidad de construir los test, cuestionarios de contexto y otros materiales de apoyo a través del trabajo de dos traductores independientes y de la posterior revisión de una tercera persona, quien concilia una sola versión. Asimismo, se debe documentar cualquier adaptación, cultural o de uso local, implementada a los materiales de evaluación. Este conjunto de directrices también considera el análisis de los ítems, para determinar las cualidades psicométricas de los mismos.

Instrucciones generales. Incluyen la descripción de los materiales utilizados en la evaluación, así como de las obligaciones de las personas responsables del proyecto en cada país, los requerimientos de seguridad y los perfiles y las obligaciones de los traductores y del conciliador. En el mismo sentido, se resalta la importancia de hacer un seguimiento meticuloso de cualquier error identificado y de las modificaciones a cualquier material de evaluación.

Traducción de instrumentos. Incluye recomendaciones que tratan con los obstáculos comunes en el proceso de traducción de los materiales, tales como la variación de una versión a otra, de la presentación de las ilustraciones y los elementos gráficos, la inclusión de expresiones propias del idioma, técnicas, afectivas, metafóricas, etcétera.

Adaptación de material cognitivo. Se incluye un listado de cuidados que se consideran deseables, aceptables u obligatorios cuando se traducen los test cognitivos de pisa. Se trata de evitar que los estudiantes se enfrenten a expresiones o conceptos que no les son familiares, pero sin alterar el significado sustantivo del texto o del ítem. De manera general, no se deben adaptar o alterar los formatos de los ítems, o incluir notas explicativas o instrucciones adicionales; y se debe valorar la pertinencia de adaptar nombres de personas, lugares, símbolos, abreviaciones y fórmulas matemáticas.

Directrices específicas sobre la traducción de cuestionarios de contexto. Para traducir adecuadamente los cuestionarios de contexto, la cuestión central es mantener el mismo significado, en todas las versiones de los países participantes, de las preguntas sobre el contexto educativo y las instrucciones de ejecución del cuestionario. Para ello, los responsables de la evaluación deben encontrar las palabras o expresiones de mayor equivalencia con la versión original.

Directrices específicas sobre la traducción de los manuales de operación. Consideran procedimientos que pueden, o no, modificarse en los manuales de aplicación. Además, se hace hincapié en la elaboración de un registro detallado y completo de todos los cambios realizados a cada estímulo, ítem o procedimiento, pues esta información es necesaria para la interpretación de los resultados y en la revisión de la calidad psicométrica de los ítems.

Como parte de los procedimientos de control de calidad implementados por pisa, se incluyó un listado de verificación que es utilizado por los revisores internacionales, para identificar posibles problemas de traducción, y sugerir modificaciones y correcciones.