Виктор Звонников - Контроль качества обучения при аттестации - компетентностный подход

Таблица 6.4 Коэффициенты корреляции заданий

Анализ 9-го столбца табл. 6.4 с максимальной суммой 4,6495, приведенной в конце, указывает на наличие ряда довольно высоких значений коэффициента корреляции (φ 9,8= 0,6124; φ 9,7= 0,7638; φ 9,10= 0,6667), которые могут получить различную трактовку в зависимости от вида разрабатываемого теста. Для тематических тестов высокая корреляция между заданиями неизбежна, так как они в большинстве своем имеют слабо варьирующее исходное содержание, что вполне объяснимо назначением теста. Однако для итоговых тестов высокой корреляции между заданиями по возможности стараются избегать, поскольку вряд ли имеет смысл включать в итоговый тест несколько заданий, оценивающих одинаковые содержательные элементы. Поэтому в итоговых аттестационных тестах обычно стремятся к невысокой положительной корреляции, когда значения коэффициента варьируют в интервале (0; 0,3), и каждое задание привносит свой специфический вклад в общее содержание теста.

Далее с помощью подсчета значений точечного бисериального коэффициента корреляции можно оценить валидность отдельных заданий теста. Бисериальный коэффициент корреляции используется в том случае, когда один набор значений распределения задается в дихотомической шкале, а другой – в интервальной. Под эту ситуацию подпадает подсчет корреляции между результатами выполнения каждого задания (дихотомическая шкала) и суммой баллов испытуемых (интервальная или квазиинтервальная шкала) по заданиям теста.

Формула для вычисления значения точечного бисериального коэффициента r pbis, имеет вид:

(6.7)

где ( X̅ 1) j — среднее значение индивидуальных баллов испытуемых, выполнивших верно j- е задание теста; ( X̅ 0) – среднее значение индивидуальных баллов испытуемых, выполнивших неверно j -е задание теста; S x — стандартное отклонение по множеству значений индивидуальных баллов; ( N 1) j – число испытуемых, выполнивших верно j-е задание теста; ( N 0) j— число испытуемых, выполнивших неверно j -е задание теста; N — общее число испытуемых, N = N 1+ N 0 .

Применение формулы (6.7) для данных по 5-му заданию рассматриваемого примера матрицы дает достаточно высокое значение точечного бисериального коэффициента.

так как 1, 4, 5, 9 и 10-й испытуемые выполнили задание 5 верно.

так как 2, 3, 6, 7 и 8-й испытуемые выполнили задание 5 неверно. Стандартное отклонение, подсчитанное для рассматриваемого примера ранее, S x ≈ 2,6; ( N 1) 5 = ( N 0) 5= 5; N = 10. Поэтому

Значения бисериального коэффициента корреляции десяти заданий с суммой баллов по тесту r bis, рассчитанные с помощью компьютерных программ для данных матрицы, приводятся в табл. 6.5

Таблица 6.5 Значения коэффициента бисериальной корреляции

Анализ значений коэффициента бисериальной корреляции в табл. 6.5 указывает на два довольно неудачных задания теста – 3-е [( r bis) 3= 0,26] и 8-е [( r bis) 8= 0,24], которые имеют низкую валидность и должны быть удалены из теста. В целом задание можно считать валидным, когда значение (r bis) j≈ 0,5 или выше этого числа. Оценка валидности задания позволяет судить о том, насколько оно пригодно для работы в соответствии с общей целью создания теста. Если эта цель – дифференциация студентов по уровню подготовки, то валидные задания должны четко отделять хорошо подготовленных от слабо подготовленных испытуемых тестируемой группы.

Решающую роль в оценке валидности задания играет разность ( X̅ 1) j – ( X̅ 0) j , находящаяся в числителе дроби формулы (6.7). Чем выше значение этой разности, тем лучше работает задание на общую цель дифференциации испытуемых. Значения, близкие к нулю, указывают на низкую дифференцирующую способность заданий теста. В том случае, когда в разности доминирует вклад ( X̅ 0), а не ( X̅ 1), задание следует просто удалить из теста. В нем побеждают слабые испытуемые, а сильные выбирают неверный ответ либо пропускают задание при выполнении теста. Таким образом, подлежат удалению все задания, у которых r bis< 0.