Олег Мерецков - Создание компьютерных тестов и диалоговых тренажёров

При составлении подготовке материалов для контроля знаний в электронной образовательной среде автору следует заранее предусмотреть вариант реализации конкретного вопроса, исходя из специфики, контролируемой области знаний.

Важно отметить, что варианты неправильных ответов также должны быть разработаны автором. Перекладывание выполнения данной очевидной, на первый взгляд, функции автора на других участников команды – программистов, сценаристов или методистов, зачастую приводит к существенному ухудшению качества контроля знаний. Это объясняется тем, что подготовленные несведущими в предметной области специалистами варианты ответов легко обнаруживаются учащимися, что позволяет показать последним завышенный относительно реальных знаний результат тестирования.

При разработке авторских материалов для контроля знаний в рамках электронной образовательной среды не рекомендуется применять кроссвордный стиль формулирования заданий (например, «вставьте пропущенное слово»), т.к. такой подход не способствует закреплению в сознании учащегося связки «вопрос – ответ» (за редким исключением).

Помимо вышеизложенных ограничений, хочется дать еще несколько общих рекомендаций к составлению тестов:

• не следует нумеровать вопросы внутри заданий, если предполагается их отображение в случайном порядке;

• такая же рекомендация относится к численно-буквенному обозначению предлагаемых вариантов ответов для случаев, когда они должны быть случайным образом перемешаны;

• общий объем теста должен быть ограничен максимальным временем непрерывной работы за компьютером для целевой категории обучаемых (как правило, не более одного часа);

• желательно, чтобы количество предлагаемых вариантов ответов в тестовых вопросах было не менее 4-х (включая дистракторы) – для повышения статистически значимой достоверности результатов теста по сравнению со случайным угадыванием;

• в случае отображения всех вопросов теста одновременно на одном экране в прямой последовательности моментальная обратная связь по ответам не применяется, в таких случаях к разбору ошибок переходят только после полного завершения тестирования.

При разработке контрольных вопросов автору теста также следует продумать и описать следующие моменты, которые являются ключевыми в тестировании:

• количество вопросов, которые будут заданы в рамках одной попытки;

• количество предоставляемых попыток прохождения теста;

• наличие или отсутствие ограничений по времени ответа на вопросы;

• траекторию отображения вопросов (произвольную, по темам, в зависимости от результата ответа на предыдущие вопросы, возможность или невозможность пропускать вопросы и изменять уже принятые ответы и т. д.);

• систему начисления баллов за различные варианты ответов (полные, неполные, частично правильные, удельный вес вопросов в зависимости от сложности, количество использованных попыток для получения правильного варианта и т. п.);

• критерии оценки успешности тестирования (проходной балл).

Каждый ответ на вопрос в тесте оценивается в баллах. Вы можете управлять начислением баллов, определяя свои правила в пределах принятых ограничений технической реализации.

В общем случае у Вас имеется следующий арсенал оценивания ответов:

• начислять баллы за правильный ответ;

• начислять или не начислять баллы за частично правильный ответ;

• начислять, не начислять или вычитать баллы за неправильный ответ.

Количество начисляемых баллов в каждом случае определяет автор теста. Это открывает широкие возможности дифференцированной оценки ответов на вопросы разного уровня сложности, учета частично правильных ответов, а также влияния на итоговый результат теста грубых ошибок. При допущении грубых ошибок тест может быть завершен досрочно с отрицательным результатом.

Для того, чтобы рассмотреть механизм реализации такого варианта завершения тестирования рассмотрим более общую категорию – траекторию отображения тестовых вопросов.

При создании тестов на бумаге мы привыкли к тому, что вопросы следуют в прямом порядке, одинаковом для всех экземпляров теста внутри одного варианта.

Основным гарантом достоверности полученных в ходе такого тестирования результатов является контроль за соблюдением условий его проведения и защиты материалов от копирования, а также последующего анализа и распространения.