Мередит Бруссард - Искусственный интеллект [Пределы возможного] [litres]

Я спроектировала и написала софт, способный выполнять необходимый анализ данных. Я поговорила с учителями. Я поговорила с учениками. Я была в школах и сидела на встречах Комиссии по школьной реформе. Спустя шесть месяцев я поняла, что тест можно пройти. Но не благодаря хитрому алгоритму, а благодаря невероятно нетехнологичной практике: чтению книг, содержащих ответы.

Филадельфия – восьмой по количеству учащихся регион в стране, а ученики общеобразовательных школ невероятно бедны: в 2013 г. 79 % из них могли себе позволить обедать либо бесплатно, либо по сниженной цене. Лишь 64 % оканчивали школу, и меньше чем половине удалось пройти тестирование PSSA в 2013 г.

Если проблема существует в школах Филадельфии, значит, она есть и в других районах по всей стране. Одной из явных проблем, наблюдаемых в округах Нью-Йорка, Вашингтона, Чикаго, Лос-Анджелеса и других крупных городов, является то, что школы не могут себе позволить покупать учебники. В аккаунте школьного округа Филадельфии в Twitter однажды появился пост с фотографией бывшего мэра Майкла Наттера, раздающего 2000 книг, пожертвованных ученикам начальной школы. Но, к сожалению, знакомство детей с классической литературой не поможет им писать тесты с высокими результатами.

Все потому, что тесты не основываются на программе общеобразовательной подготовки. Я выяснила, что вопросы опираются на весьма конкретные знания, содержащиеся в конкретных учебниках – учебниках, созданных авторами тестирования.

Все это оказывается тесно связано с экономической стороной тестирования. По всей стране разработкой тестов занимаются лишь три компании: CTB/McGraw-Hill, Houghton Mifflin Harcourt (HMH) и Pearson. Они создают тесты и системы их оценки, а также выпускают учебники, по которым школьникам следует готовиться. Согласно материалам в прессе, HMH занимает 38 % рынка, а в 2013 г. прибыль компании составила $1,38 млрд.

В том же году штат Пенсильвания заключил многомиллионный контракт с компанией Data Recognition Corporation (DRC) для оценки тестов PSSA. Как оказалось, DRC сотрудничала с McGraw-Hill в рамках федерального контракта, по которому консорциуму следовало разрабатывать и оценивать тесты для всей страны. Тем временем McGraw-Hill также писала учебники и разрабатывала программы, которые школы покупали, чтобы подготовить детей к тестам. Например, «Математика на каждый день» (Everyday Math), брендированная программа, по которой учатся пятиклассники в большинстве пенсильванских школ, выпущена как раз McGraw-Hill.

Иначе говоря, учитель, который хочет подготовить учеников к тестам, должен учить их по учебнику одного из трех издательств. И, если посмотреть на содержание учебников и вопросы в тестах, окажется, что ответы на большинство вопросов действительно есть – это заметит даже третьеклассник. В 2012 г. издательство Pearson пережило серьезный скандал: выяснилось, что один из абзацев в тесте был полностью скопирован из учебника, изданного ими.

Проблемы возникают даже не столько с фактами или цифрами, сколько с конкретными словами. Предлагаю вам вопрос из теста PSSA за 2009 г., где третьеклассника просят записать четное трехзначное число и объяснить, почему выбрано именно это число. На рис. 5.1 мы видим пример корректного ответа, представленного Пенсильванским департаментом образования. Следом, на рис. 5.2, мы видим частично правильный ответ, за который ученик заработал один балл из двух возможных.

Второй ответ оказался лишь частично верным попросту потому, что третьеклассник не обладает определенной концептуальной базой, чтобы объяснить, почему его вариант ответа правильный. Подробное решение этой задачи можно найти в учебниках «Математика на каждый день» (Everyday Math), а в методических пособиях советуют также закрепить пройденный материал вопросами вроде «Каково правило различения целых и нецелых чисел? Как узнать, что подсчет верен?». Третьеклассник, у которого нет учебника, вполне может научиться различать оба типа чисел, однако сложности возникнут все равно, поскольку ему будет сложно угадать, как именно должен выглядеть ответ по мнению экзаменатора. В общем, эти тесты скорее подходят для «слабого» интеллектуального развития, но не «общего». Система обращается с детьми как с программами машинного обучения: если предполагается, что они должны выдавать правильный ответ на заданный вопрос (уже сомнительная цель, не так ли?), в них необходимо внедрить корректные данные – из учебников.