Виктор Звонников - Контроль качества обучения при аттестации - компетентностный подход

Первая схема (рис. 2.10) указывает наиболее нежелательный путь с точки зрения корректности последующих управленческих решений, но она жизнеспособна в силу простоты и распространена в практике. Измерение начинается с качественного сбора данных и их последующего анализа, который предваряет этап перевода качественных данных в некоторые числовые символы, носящие условный характер и обычно выражающие отношение порядка по измеряемой переменной. Количественная интерпретация полученных числовых символов, их упорядочение, рейтингование и вычисление ранговой корреляции входят в число возможных преобразований, с помощью которых качественные данные переводятся в удобную шкалу и используются в управлении качеством образования.

Примеры реализации первой схемы довольно многочисленны. Они сплошь и рядом встречаются в повседневном контроле знаний студентов, когда преподаватель выставляет оценки во время устных опросов или традиционных контрольных работ без применения тестов, а затем подвергает баллы студентов в четырехбалльной шкале количественной интерпретации, сравнивая результаты. В ЕГЭ примером количественной интерпретации качественных результатов может служить обработка данных экспертов по результатам проверки заданий КИМ со свободно конструируемым ответом на основе моделей IRT и последующее представление результатов выпускников в метрической шкале.

Вторая схема, приведенная на рис. 2.11, соответствует случаю, который довольно часто встречается в практике образования, поскольку любые результаты тестирования всегда подвергаются качественной интерпретации для объяснения количественных результатов измерения.

Рис. 2.11. Вторая схема реализации бипарадигмальных методов измерения

Результаты измерений могут использоваться в самых различных целях: например, для принятия управленческих решений в учебном процессе, связанных с усилением акцентов на отдельных разделах учебной программы, выделением дополнительного времени для повторения и так далее либо для осуществления диагностики пробелов в обучении, отбора студентов со специальными целями (обучение по индивидуальным программам и т.д.), проведения аттестации, оценки эффективности деятельности учебных заведений, планирования образовательной политики. Однако вне зависимости от сферы использования количественные данные должны пройти этап качественной интерпретации, чтобы стать информационной основой любых управленческих решений в образовании.

Особенно важны качественные методы в том случае, когда тесты разрабатываются на основе критериально-ориентированного подхода, позволяющего качественно интерпретировать количественные результаты тестирования при аттестации (процент освоенного содержания обучения) по отношению к содержательной области, включенной в тест и снабженной определенными критериями выполнения (см. Основные подходы к разработке измерителей ). Вначале балл каждого студента подсчитывается путем перевода в проценты доли правильно выполненных заданий по отношению к общему числу заданий теста. Затем полученный для каждого студента процент сравнивается со стандартами выполнения – критериями, установленными экспертным путем и прошедшими эмпирическую валидизацию в процессе конструирования теста. Таким образом, в самом критериально-ориентированном подходе заложена идея качественной интерпретации с использованием конкретной области содержания и участием экспертов для выбора критериев выполнения тестов.

Третья и четвертая схемы, приведенные на рис. 2.12, кажутся подобными первым двум, хотя речь идет не о последующей интерпретации, расширяющей возможности количественных или качественных методов измерения, а об объединении методов в рамках последовательного дизайна в едином измерительном процессе.

Рис. 2.12. Последовательный дизайн реализации бипарадигмальных методов в измерении (схемы 3, 4)

Последовательный дизайн имеет отличающиеся по времени выполнения уровни измерения, поэтому его можно назвать двухстадийным. На верхней схеме качественные методы измерения предшествуют количественным, что соответствует практической ситуации, когда анкетирование предваряет тестирование по заданиям с выбором ответов. На нижней схеме ситуация полностью противоположна: студентов сначала тестируют, а затем собирают дополнительную информацию на основе анкет, опросных листов или собеседований для углубленного анализа данных тестирования и расширения возможностей интерпретации при использовании результатов измерений в управлении качеством образования. Обе схемы на рис. 2.12 предполагают анализ взаимного влияния данных качественного и количественного уровней, когда результаты тестирования пытаются соотнести с социально-экономическими, демографическими или другими факторами для корректного сопоставления количественных данных и получения долгосрочных прогнозов в управлении качеством образования.