Борислав Козловский - Максимальный репост. Как соцсети заставляют нас верить фейковым новостям

Допустим, «пустышка» – одна рекомендация искусственного интеллекта из ста. Тогда, может быть, все не так и страшно? Логика обычно другая: если не повезет, то конкретно вы будете получать 100 % вредных советов. Или читать у себя в ленте 100 % записей друзей, отобранных экспериментаторами с умыслом. В том же блоге OkCupid можно найти статью с малопонятным техническим названием «Недостатки A/B-тестирования в соцсетях» {99} 99 McMenamin B. The pitfalls of A/B testing in social networks. Apr 2017 ( https://tech.okcupid.com/the-pitfalls-of-a-b-testing-in-social-networks ). , где объясняют: если пользователь оказался внутри эксперимента, проще всего его оттуда не выпускать, по крайней мере временно. И вот почему. Предположим, что сервис интересует реакция на два разных дизайна страницы – один, например, в красных тонах, другой – в синих. Если человек будет по очереди видеть у себя на экране то одно, то другое, то необъяснимая смена синего на красный введет его в ступор. Поэтому лучше сделать так, чтобы одни видели только синий сайт, а другие только красный. Ясно, что такой подход годится не только для экспериментов с дизайном.

В отличие от эксперимента Facebook, в случае OkCupid речь идет уже не об испорченном настроении на ближайшие пару дней. Свидание может иметь последствия длиной в десять, двадцать и даже тридцать лет – и на совести авторов эксперимента наверняка какое-то количество несостоявшихся свадеб людей, которые друг другу подходят, и несчастливых отношений среди тех, кого искусственный интеллект убедил, что они идеальная пара друг другу.

Плохо, если вас подводят алгоритмы сайта знакомств, но гораздо хуже, когда такой алгоритм определяет все ваши жизненные перспективы. Правительство Китая несколько лет назад запланировало запустить к 2020-му «систему социального кредита» на основе машинного обучения, которая вычисляет для каждого гражданина страны специальный рейтинг {100} 100 Fullerton, Jamie. China’s ‘social credit’ system bans millions from travelling/The Telegraph, 24 March 2018 ( https://www.telegraph.co.uk/news/2018/03/24/chinas-social-credit-system-bans-millions-travelling ). . Если он низкий, человеку запросто могут не продать билет на самолет и не выдать велосипед без залога. Совершенно неясно, какие конкретно алгоритмы будут за это отвечать – нейросети, линейные модели или решающие деревья, – но все их недостатки до 2020 года совершенно точно никуда не денутся. Пилотный проект уже работает в нескольких десятках городов.

С точки зрения разработчиков, было бы неразумно обойтись в такой сложной системе без контрольной группы хотя бы в 1 %. При населении страны в 1,4 млрд это будет примерно 14 млн человек, пораженных в правах по неизвестной для них причине.

Кэти О’Нил защитила диссертацию по математике в Гарварде и много лет преподавала аспирантам алгебраическую теорию чисел (область математики, выросшую когда-то из попыток доказать Великую теорему Ферма). Но в нулевые лучших математиков стали переманивать из университетов финансисты – им нужны были математические модели, предсказывающие поведение рынка. Представители новой профессии стали называть себя «кванты» (квантовая механика здесь ни при чем: слово quant – сокращение от термина quantitative analyst, «количественный аналитик»). И университетская преподавательница ушла работать в хедж-фонд на Уолл-стрит.

А потом случился финансовый кризис 2008 года, одной из причин которого называли как раз работу «квантов» – прежде всего, модели, которые слишком оптимистично оценивали риск, что кто-нибудь не расплатится с долгами. В следующем году жюри конкурса World Press Photo объявило «фотографией года» черно-белый снимок фотожурналиста Энтони Сво: полицейский с пистолетом осматривает дом, откуда только что выставили семью, не справившуюся со своими ипотечными платежами.

Обнаружив, что ее работа с числами привела к появлению новых бездомных, О’Нил уволилась из хедж-фонда и села писать книгу «Оружие математического поражения» – про то, как алгоритмы из лучших соображений портят людям жизнь. Книга вышла в 2016-м и сразу попала в длинный список Национальной книжной премии США {101} 101 O’Neil, C. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Broadway, 2016. .

Кто будет сомневаться в пользе алгоритма, который помогает предотвращать преступления? У полиции есть многолетняя статистика убийств, грабежей и наркоторговли – а нейросеть на основе этой статистики решает, когда и в какие районы города стоит перебросить больше полицейских патрулей. Анализ данных доказывает, что прогнозы программы сбываются: в проблемных районах, на которые указал искусственный интеллект, в итоге действительно ловят больше нарушителей.