Juan Carlos Rodríguez Macías - Prácticas de investigación aplicada a contextos educativos

No obstante, es necesario diferenciar entre cambios que resultan en puntuaciones comparables (acomodaciones) y cambios que pueden no producir puntuaciones que sean comparables con las obtenidas por el test original (modificaciones). La presente edición de los estándares propone entender las adaptaciones de pruebas como un continuo donde en un extremo se encuentran las acomodaciones (cambios relativamente menores a la presentación o formato de los test, aplicación del test, o de los procesos de respuesta que mantienen el constructo original y resulta en puntuaciones comparables con el test original), y en el extremo opuesto, las modificaciones (cambios que transforman el constructo que está siendo medido, incluyendo el contenido del test o las condiciones de evaluación, para obtener una medida diferente pero que mide el constructo de manera apropiada en los sujetos esperados).

En cuanto a la eficacia de las adaptaciones, ello depende del grado en que incrementan el acceso de los sujetos al constructo medido por el test. Dicha evidencia puede recolectarse a través de estudios cuantitativos y cualitativos, donde el juicio de expertos tiene un rol determinante en las decisiones acerca de los cambios a realizar en el test o en las condiciones de aplicación. Aquellos que informan, interpretan o utilizan las puntuaciones de un test adaptado, requieren desarrollar un completo entendimiento de la utilidad y limitaciones de los procedimientos de diseño de los test, así como reconocer cuáles adaptaciones proporcionan puntuaciones comparables con las del test original y cuáles adaptaciones no las proporcionan.

Concretamente, esta nueva edición de los estándares sugiere que a) los diseñadores de pruebas son responsables del desarrollo de test y de minimizar la posibilidad de que éste se vea afectado por características lingüísticas, comunicativas, cognitivas, culturales o físicas irrelevantes al constructo [estándar 3.2: 64]; b) cuando un test es traducido y adaptado de un idioma a otro, los diseñadores y los usuarios del test son responsables de describir los métodos utilizados, para establecer la idoneidad de la adaptación y documentar la evidencia empírica, o lógica, para determinar la validez de las interpretaciones y el uso de las puntuaciones [estándar 3.12: 68] y c) cuando un test está disponible en más de un idioma, la documentación debe brindar información de los procedimientos empleados para traducir y adaptar el test y, cuando sea factible, la información también debe contener evidencias de confiabilidad/precisión y validez para la forma adaptada [estándar 7.6: 127].

Uno de los principales propósitos de la Comisión Internacional de los Test (itc, por sus siglas en inglés) ha sido preparar y diseminar un conjunto de directrices para la adaptación de test e instrumentos de medición psicológica y educativa, y para el establecimiento de la equivalencia de puntuaciones entre los grupos lingüísticos y culturales considerados. Se entiende por directriz para la adaptación de instrumentos a aquellas prácticas que se consideran importantes a realizar y evaluar dentro del proceso de adaptación o de construcción paralela de instrumentos de medición psicológica o educativa, para uso en poblaciones que difieren en aspectos culturales o lingüísticos (Hambleton, 1996).

El empleo de las directrices de la itc permite detectar problemas potenciales en el proceso de adaptación y problemas que necesitan tratarse antes de que la versión adaptada se pueda considerar aceptable en el nuevo contexto (Hambleton, Yu y Slater, 1999).

Así, la itc puso en marcha en 1992 un proyecto para la elaboración de las directrices, el cual se conformó por un comité de 12 representantes de distintas organizaciones (European Association of Psychological Assessment, European Test Publishers Group, International Association for Cross-Cultural Psychology, International Association of Applied Psychology, International Association for the Evaluation of Educational Achievement, International Language Testing Association and International Union of Psychological Science). Dicho comité trabajó durante varios años definiendo 22 directrices, que después fueron sometidas a prueba en trabajos de campo (Hambleton, Mereda y Spielberger, 2005; Hambleton et al., 1999; Hambleton, 2001; Tanzer y Sim, 1999).

En una primera edición, las directrices para la traducción y adaptación de test fueron integradas y ordenadas en cuatro áreas generales que orientan el proceso de adaptación de test: contexto, construcción y adaptación, aplicación e interpretación (Hambleton, 1996). Estos lineamientos se describen a continuación.

Las directrices de contexto tratan con la equivalencia de los constructos medidos en las poblaciones de interés. Buscan minimizar los efectos de las diferencias culturales y evaluar el solapamiento de los constructos en las poblaciones, lo cual permite decidir si es adecuado adaptar el test a la nueva población.

El área de construcción y adaptación de test busca asegurar una correcta adaptación, cuidando que los contenidos, formatos, estímulos y que todos los demás componentes del test original tengan la misma familiaridad para los sujetos de las dos culturas implicadas. Esta área enfatiza la necesidad de utilizar juicios analítico-racionales y técnicas estadísticas que permitan garantizar que el test es válido para las dos poblaciones.

Las directrices del área de aplicación incluyen todos aquellos aspectos necesarios para realizar una aplicación correcta de los test.

Las directrices propuestas para el área de interpretación de puntuaciones se centran en detectar la importancia de realizar las interpretaciones con base en las evidencias contenidas en toda la documentación generada en los procesos de las áreas anteriores.

En general, las veintidós directrices buscan prevenir las diferentes fuentes de error que se presentan en el proceso de adaptación de test y, al mismo tiempo, ofrecen acciones para controlarlas (Muñiz et al., 2013).

Se pueden distinguir dos contextos de aplicación de dichas directrices. Uno de ellos se refiere a la adaptación de test existentes y el otro al desarrollo de nuevos test para comparaciones a nivel internacional. La evidencia recopilada durante una década sobre la aplicabilidad de las directrices confirmó su utilidad en una amplia variedad de contextos (Hambleton, 2001; itc, 2010). No obstante, el análisis de contenido de las directrices llevado a cabo por Tanzer y Sim (1999), identificó que las directrices trataban principalmente con principios fundamentales en el proceso de adaptación de test y que había algunas inconsistencias y ambigüedades en las mismas, de tal manera que algunas necesitaban ampliarse, clarificarse, combinarse, o requerían una mayor orientación sobre su aplicación; y c) resultaba necesario indagar sobre más tipos de evidencias para establecer la equivalencia de los test, y sobre ideas, diseños y técnicas estadísticas que permitieran investigar el posible sesgo a nivel de constructo, de método o de ítem de los test traducidos y adaptados.

Es importante observar que dichas directrices eran normativas y no prescriptivas (Solano-Flores et al., 2009; Tanzer y Sim, 1999). Es decir, no proveían un método específico para obtener test multiculturales o multi-lingüísticos válidos. Por otro lado, para que los principios normativos provistos por las directrices pudieran transformarse en aplicaciones prácticas, era necesario desarrollar un compendio de las dificultades y soluciones en el proceso de adaptación de test, y también se requiere la institucionalización de programas de formación para los constructores y usuarios de los mismos (Tanzer, 2005).

Tanto los análisis de contenido de las directrices, como los avances metodológicos, psicométricos y sustantivos en el campo de la adaptación de test, hicieron necesaria una revisión de las directrices originales (Muñiz et al., 2013). De esta manera, la itc coordinó un nuevo grupo de trabajo interdisciplinar compuesto por representantes de asociaciones de psicólogos de cinco países (Reino Unido, Turquía, Bélgica, España y Holanda), para realizar la revisión y modificación de las directrices originales, a la luz de los nuevos desarrollos.