Виктор Звонников - Контроль качества обучения при аттестации - компетентностный подход

В общем случае в процессе планирования при разработке измерителей важно идентифицировать:

• цель измерения, связав ее с функциями контроля и областью применения результатов измерения;

• порции и временные интервалы применения;

• содержание измерителей (предметное описание содержания, планируемые к проверке умения и виды деятельности).

Если в качестве измерителя выбран тест для итоговой аттестации, то в начале работы над тестом необходимо:

• подход к созданию теста и интерпретации результатов измерения (нормативно-ориентированный, критериально-ориентированный или смешанный);

• виды шкал тестовых баллов или других результатов измерения с детальным описанием правил оценивания отдельных заданий;

• представительные выборки студентов или выпускников, стратифицированные в соответствии с основными факторами;

• инструкции по выполнению теста (краткую и развернутую), инструкции для экзаменаторов и инструкции по проверке в том случае, если привлекаются эксперты;

• время выполнения теста или временные промежутки, если есть субтесты.

Если основная цель тестирования – итоговая аттестация, то создается стандартизованный итоговый тест, обеспечивающий высокую точность измерений, поскольку его результаты используются для принятия административных решений. Поэтому при разработке аттестационного теста необходимо выполнить все указанные ниже этапы в полном объеме и провести несколько апробаций на репрезентативных выборках выпускников учебного заведения. В частности, необходимо:

• определить подход к созданию аттестационного теста (нормативно– или критериально-ориентированный);

• провести анализ содержания учебной дисциплины, определить степень полноты, необходимую для репрезентативного отображения требований ФГОС в тесте;

• определить структуру теста и стратегию расположения заданий;

• разработать спецификацию теста, осуществить априорный выбор длины теста, форм его заданий и времени его выполнения;

• создать задания в каждой из выбранных тестовых форм;

• отобрать задания в тест и ранжировать их согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий;

• провести экспертный анализ качества содержания заданий и теста;

• провести экспертизу формы предтестовых заданий;

• переработать содержание и формы заданий по результатам экспертизы;

• сформировать выборку для апробационного тестирования;

• разработать инструкции для студентов и преподавателей, проводящих апробацию теста;

• провести апробационное тестирование для сбора эмпирических результатов;

• провести статистическую обработку результатов апробации;

• выполнить интерпретацию результатов обработки и наметить пути коррекции теста;

• провести чистку теста и добавить новые задания для улучшения характеристик теста (оптимизации трудности заданий, повышения их валидности, улучшения системообразующих свойств заданий, повышения надежности и валидности теста);

• повторить этап апробации для доказательства достигнутого повышения качества теста (неоднократно, если в этом есть потребность);

• установить нормы выполнения теста и построить шкалу или шкалы для оценки результатов испытуемых.

Возникает своеобразный цикл, так как после чистки теста разработчику приходится возвращаться к этапу сбора эмпирических данных. Как правило, стандартизованные тесты, используемые в образовании для принятия ответственных управленческих решений, проходят не менее 3–4 апробаций, результаты которых позволяют получить устойчивую стандартную шкалу тестовых баллов. Немалое значение для обеспечения высокой точности и валидности измерений имеет представительность выборки испытуемых, используемой при апробации теста. Успех создания теста во многом зависит от высокого качества начального тестового материала, которое обеспечивается правильным отбором проверяемого содержания и умением разработчика корректно отобразить его в заданиях теста. Крайне важен этап обработки эмпирических результатов тестирования, для выполнения которого необходимы специальные программные средства для профессиональной разработки тестов (ConQuest, Testan и др.) [41].

Для административных управленческих решений, связанных с переводом студентов из группы в группу, изменением программы обучения, аттестацией студентов и выпускников учебных заведений, а также при принятии аккредитационных решений необходимы стандартизованные тесты.