Juan Carlos Rodríguez Macías - Prácticas de investigación aplicada a contextos educativos

En la edición de 1999 se propusieron nueve estándares que versan sobre los procesos de adaptación de test y de las evaluaciones interculturales, distribuidos en 4 capítulos (tabla 4). En esta edición se propusieron nuevos planteamientos entre los que destacan: a) la realización del cálculo de la confiabilidad y de los errores de medida cuando se enfatice la diferencia entre dos puntuaciones observadas de sujetos o de grupos [estándar 2.3: 32]; b) la inclusión de la función de información del test (fit), la apropiación del contenido, la estructura interna de las respuestas, la relación de las puntuaciones del test con otras variables y los procesos de respuesta utilizados por los examinados como criterio de variación y comparación de los subgrupos que conforman la muestra [estándar 2.11: 34 y estándar 7.1: 80]; c) la participación de los responsables de la construcción del test en la identificación y eliminación del vocabulario, símbolos, palabras, frases y contenido que se consideren ofensivos por parte de miembros de un grupo racial, étnico, de género u otros grupos, excepto cuando se juzgue necesario para una adecuada representación del constructo [estándar 7.4: 82] y d) la descripción y presentación de evidencia empírica y lógica del método utilizado para establecer la adecuación de la traducción [estándar 9.7: 99].

Nota: elaboración propia basada en los Standards for Educational and Psychological Testing (aera, apa y ncme, 1999).

Es importante destacar que esta versión retoma el concepto de sesgo expuesto con anterioridad e introduce los términos de equivalencia de constructo, funcionamiento diferencial del ítem y equivalencia de traducción; conceptos centrales en el proceso de adaptación de test y de las evaluaciones interculturales.

Desde la edición de 1999, diversas organizaciones, empresas y especialistas en el campo de la medición psicológica y educativa han propuesto nuevos enfoques y desarrollos relacionados con el diseño de pruebas de medición y con las técnicas del análisis, normalización, interpretación y uso de las puntuaciones que de ellas se desprenden. Como respuesta, en 2005 un comité conformado por miembros de la aera, apa y ncme determinó que la edición de 1999 demandaba una revisión y actualización. Posteriormente, en 2008 un segundo comité, conformado por 15 miembros de diferentes organizaciones, desarrolló la nueva versión de los estándares y en 2011 fueron revisados tanto por las organizaciones patrocinadoras (aera, apa y ncme) como por 35 asociaciones profesionales, diez empresas orientadas a la medición, cuatro centros de investigación, tres organismos acreditadores y seis instituciones independientes. La revisión se orientó hacia cuatro áreas principales: avances tecnológicos en medición, incremento en el uso de pruebas para la rendición de cuentas y política pública, inclusión, temas vinculados con el uso de pruebas en el contexto laboral.

Al igual que las ediciones anteriores, estos nuevos estándares son prescriptivos y no contienen reglas específicas para su aplicación; fueron formulados con la intención de ser consistentes con otros estándares, directrices y códigos de conducta publicados por estas organizaciones. Los Standards 2014 buscan promover las buenas prácticas de medición y proporcionar las bases para evaluar la calidad de las mismas. A diferencia de las ediciones anteriores, esta propuesta organiza los estándares de una manera diferente (tabla 5). Así, la sección Fundamentos concentra los capítulos de validez, confiabilidad/precisión, errores de medida y equidad de las pruebas. La sección Operación concentra los estándares asociados al diseño, desarrollo, aplicación, calificación y normalización de los test, así como los derechos y responsabilidades de los examinados y usuarios de los test. Por último, la sección Aplicaciones de pruebas contiene los estándares asociados con los distintos contextos de aplicación y con el uso de las pruebas (evaluación psicológica, ámbito laboral y acreditación, evaluación educativa y evaluación de programas, política pública y rendición de cuentas).

Nota: elaboración propia basada en Standards for Educational and Psychological Testing (aera, apa y ncme, 2014).

En lo particular, los principales estándares que ayudan a orientar las prácticas en traducción y adaptación de pruebas se encuentran en los capítulos 3 y 7 (Equidad en las pruebas y Documentación de apoyo para los test, respectivamente). En comparación con las anteriores, esta edición sitúa a la equidad como un tipo de evidencia inherente y fundamental de la validez de un test, misma que requiere atenderse en todas las etapas del diseño, desarrollo y uso del instrumento.

La equidad es entendida como la sensibilidad hacia las características individuales y contextuales de las pruebas y los sujetos, de manera que las puntuaciones que se desprenden de ellas permitan interpretaciones válidas para los usos esperados. En síntesis, las características de todos los individuos de la población bajo estudio (raza, etnicidad, género, edad, nivel socioeconómico y contexto lingüístico o cultural), deben considerarse durante todas las etapas de desarrollo, aplicación, calificación, interpretación y uso de las pruebas.

De hecho, los nuevos estándares reconocen la existencia de situaciones donde el test no es apropiado para todos los sujetos bajo estudio, aun cuando éste haya sido desarrollado bajo los principios y prácticas de equidad. En este sentido, se establece que algunas adaptaciones pueden ser necesarias para aquellos individuos cuyas características impedirían su participación en el proceso de evaluación. Las adaptaciones, dependiendo de las circunstancias de aplicación, los objetivos del test y las características de los sujetos, redundan en cambios en el contenido o presentación de los ítems, en las condiciones de aplicación o en los procesos de respuesta, a fin de incrementar el acceso al test a todos los sujetos.