Виктор Звонников - Контроль качества обучения при аттестации - компетентностный подход

Иногда спецификацию делают в развернутой форме, содержащей указания на тип заданий, которые будут использоваться для оценки достижений студентов, время выполнения теста, число заданий и т.д. Спецификация очень важна при создании параллельных вариантов, необходимых в условиях массового тестирования, поскольку в ней закрепляется структура содержания всех вариантов одного теста.

Один из наиболее распространенных подходов к созданию спецификации основан на сопряжении системы знаний и умений с процентным соотношением заданий по различным разделам или по различным содержательным линиям проверяемой дисциплины в тесте. Гипотетический пример реализации подобного сопряжения без привязки к какому-либо предмету приведен в табл. 4.1. В нее включен перечень знаний и умений по четырем содержательным разделам:

А – знание понятий, определений, терминов;

В – знание законов и формул;

С – умение применять законы и формулы для решения задач;

D – умение интерпретировать результаты на графиках и схемах;

E – умение проводить оценочные суждения.

Таблица 4.1 Пример структуры спецификации

Для заполнения таблицы в качестве первоначальной длины теста было выбрано 60 заданий. Вес каждого из разделов в процентах указан в первой строке табл. 4.1. Конечно, при заполнении таблицы в распределении заданий удается лишь приближенно отобразить пропорции разделов. К тому же не во все ячейки должны быть вписаны числа (например, ячейка на пересечении второго столбца и пятой строки), поскольку некоторые умения могут оказаться несовместимыми с содержанием отдельных разделов. Однако даже в таком приближенном видении общей раскладки заданий есть огромная польза для планирования теста.

Естественно, что в процессе работы над тестом первоначальная раскладка заданий будет претерпевать различные изменения. Это объясняется тем, что не все задания окажутся удачными и уместными в той мере, как это считается на этапе планирования. Поэтому с одной частью заданий разработчику приходится расстаться после экспертизы содержания, с другой – в процессе углубленного анализа, проводимого по результатам статистической обработки эмпирических данных выполнения теста. В этой связи после коррекции теста необходима доработка спецификации для приведения ее в соответствие с окончательными пропорциями содержания теста.

Общие принципы отбора содержания теста способствуют обеспечению его высокой содержательной валидности [28].

Первый принцип – репрезентативность – регламентирует процедуру отбора содержания таким образом, чтобы обеспечить оптимальную полноту и правильность пропорций содержания теста.

Второй принцип – значимость – предписывает включать в тест наиболее значимые элементы содержания, относящиеся к опорным темам курса. Выделение опорных элементов требует структурирования содержания предмета перед его отбором в тест.

Третий принцип – системность – предполагает подбор упорядоченных содержательных элементов, связанных между собой определенной иерархией и общей структурой знаний.

Оценка качества содержания теста должна проводиться по определенной методике независимыми экспертами, не участвовавшими в разработке теста. Как правило, число экспертов составляет не менее трех человек по каждому тесту.

Методика экспертизы качества содержания теста обычно включает три раздела, которые выстраивают сообразно трем направлениям работы экспертов. Перед началом работы каждый эксперт должен ознакомиться со спецификацией рецензируемого теста, содержащей пояснения по его структуре и планируемому к проверке содержанию. Один из вариантов подобных методик для оценки качества содержания аттестационного теста приводится далее.

Работа экспертов по первому направлению заключается в анализе качества содержания отдельных заданий теста. При работе по первому направлению вначале эксперт сам выполняет весь тест, сопоставляя полученные правильные ответы с ключом ответов автора для заданий с выбором ответа и анализируя оценочные категории, представленные автором к заданиям со свободно конструируемым ответом.