Виктор Звонников - Контроль качества обучения при аттестации - компетентностный подход

11. Качество содержания и размерность пространства измерений междисциплинарного гетерогенного теста, состоящего из междисциплинарных заданий, необходимо обосновывать путем применения методов многофакторного анализа. Для этого из матрицы интеркорреляций между заданиями должны быть выделены независимые факторы, а в каждом факторе со значимыми нагрузками выделяются непересекающиеся подмножества заданий междисциплинарных тестов.

Общие требования к форме представления тестовых заданий во всех видах тестов представлены ранее (см. Основные подходы к разработке измерителей ) .

Итоговые тесты, используемые для целей аттестации, обязательно должны проходить процедуру статистического обоснования качества. При представлении результатов обоснования на сертификацию необходимо указать теоретическую базу (классическую теорию или IRT), использованную разработчиком для статистического обоснования качества теста.

1. Статистические данные о результатах выполнения задания должны включать: распределение ответов испытуемых (в процентах) по выделенным кодам и/или баллам; процент испытуемых, не приступавших к выполнению задания; значения точечно-бисериального коэффициента по каждому коду или баллу, включая группы не приступавших к выполнению задания, выполнивших задание неправильно, выполнивших задание частично и полностью выполнивших задание правильно.

2. Тестовое задание с выбором ответов должно сопровождаться оценками качества работы дистракторов, которые необходимо получать в долях испытуемых, выбравших каждый дистрактор, и в виде бисериального коэффициента корреляции. Дистрактор считается работающим, если доля испытуемых отлична от нуля, а бисериальный коэффициент принимает отрицательное значение и значимо отличается от нуля.

3. Тестовое задание должно иметь статистическую оценку трудности в долях правильных ответов испытуемых, в процентах правильных ответов или в шкале логитов, если использовалась современная теория конструирования тестов.

4. Тестовое задание должно иметь оценку валидности, полученную с помощью индекса дискриминативности, точечного бисериального коэффициента или параметра дифференцирующей способности.

5. Распределение статистик по каждому варианту теста должно удовлетворять критериям правдоподобности при проверке гипотезы о нормальном распределении эмпирических результатов (для нормативно-ориентированных тестов).

6. Распределение индивидуальных (сырых) баллов должно иметь правостороннюю асимметрию (для критериально-ориентированных тестов).

7. Для комплекта вариантов теста необходимы нормы, включающие среднее значение сырых баллов, дисперсию с указанием временного промежутка действия норм. Среднее значение должно быть в центре распределения индивидуальных баллов, дисперсия должна значимо отличаться от нуля без нарушения нормальности распределения.

8. Для комплекта вариантов теста необходимо указать надежность с указанием метода оценки; надежность не должна быть менее 0,8.

9. Для комплекта вариантов теста необходимо указать результаты экспертного оценивания содержательной валидности теста.

10. Для аттестационных тестов требуется обоснование параллельности вариантов с указанием необходимых для обоснования статистик. При использовании якорных тестов для компоновки вариантов приводится процедура выравнивания вариантов.

11. Для полидисциплинарных тестов, состоящих из отдельных гомогенных субтестов, необходимо выбрать и обосновать основания для определения относительных весов при суммировании баллов испытуемых по отдельным субтестам в процедуре подсчета итогового балла.

12. Для гетерогенных междисциплинарных тестов, состоящих из комплексных междисциплинарных заданий, необходимо определить и обосновать основания выбора шкал: описание использованных методов многомерного шкалирования и результаты факторного анализа.

13. Число заданий любого варианта теста не должно быть менее 25.

1. Каждое задание банка должно иметь индивидуальный номер и храниться в форме, позволяющей управляющей программе извлекать его из банка для компьютерной сборки теста или тематической распечатки.

2. Каждое задание банка должно иметь код тематической принадлежности и код контролируемого элемента содержания.