Борислав Козловский - Максимальный репост. Как соцсети заставляют нас верить фейковым новостям

Что здесь не так? К примеру, часто такие алгоритмы ведут себя как расисты. Ясно, что расу потенциальных преступников в США никто не станет использовать как явный фактор математической модели, но алгоритмы настойчиво ведут полицейских в «черные» кварталы. Кэти О’Нил предлагает представить себе патруль, который выехал на дежурство и третий час кружит по району. Если ему попадется подросток с пивом, спрятанным в бумажном пакете, – его, скорее всего, задержат (хотя никакая патрульная машина не выехала бы специально по вызову «мы подозреваем, что тут подросток на улице пьет пиво»). В сводке о правонарушениях появится новая запись, и алгоритм будет иметь больше оснований считать район криминогенным. В таких районах будет больше арестов за преступления без жертв (такие как распитие пива на улице или марихуана в кармане). Для самих же правонарушителей, у которых в личном деле появляются записи об аресте, перспективы найти работу и зажить спокойной благополучной жизнью падают, а шансы стать преступниками в условиях сузившегося выбора, наоборот, возрастают. Потому что для окружающих они теперь подростки, у которых проблемы с полицией. У их белых сверстников, которые точно так же пьют пиво, спрятанное в бумажные пакеты, или курят марихуану в благополучном, по мнению алгоритма, районе, риск быть задержанными намного ниже. Физики называют такой эффект «петлей положительной обратной связи», а социологии – «самосбывающимися прогнозами».

Математическим моделям доверяют оценивать людей, не только когда речь идет о преступлениях. Их используют банки для оценки вашей платежеспособности, университеты при отборе абитуриентов и американское министерство образования при анализе работы учителей.

И если алгоритмы приемной комиссии Гарварда отбракуют 5 % соискателей, которые на самом деле заслуживают там учиться, нет простого механизма обратной связи, который мгновенно продемонстрирует этому университету, каких гениев он упустил.

Во всех этих случаях способов понять, что модель систематически промахивается, рассуждает О’Нил, нет – и пока система, работающая на основе машинных прогнозов, в целом справляется, нет поводов менять алгоритмы. Особенно пока (и если) компания, которая использует алгоритмы, воспринимает термин «искусственный интеллект» всерьез. Это тот случай, когда выбор слов определяет отношение к технологии. «Алгоритмы» и «машинное обучение» – просто способы превращать одни цифры в другие, таких способов может быть много, и алгоритмы естественно улучшать. А вот «искусственный интеллект» обозначает какую-то загадочную разумную силу, про которую естественно думать, что она заведомо разбирается в предмете лучше нас. Чем дальше заказчики математических моделей от математики – тем естественней ждать, что они будут относиться к каким-нибудь решающим деревьям именно так, с благоговением, а ставить под сомнение их рекомендации не будут.

Без алгоритмов машинного обучения все эти проблемы исчезнут. Но только потому, что не станет ни сайтов знакомств, ни соцсетей, ни рекомендательных сервисов, которые, не исключено, показали вам эту книгу.

1. По анкетным данным пассажира «Титаника» – пол, возраст, класс каюты, сколько стоил билет, сколько членов семьи было с ним на борту – можно с 80 %-ной точностью предсказать, выжил он или погиб при кораблекрушении.

2. Машинное обучение – это способ свести задачу про «Титаник» или вопрос, показывать ли вам запись друга в ленте Facebook, к универсальной математической процедуре. На входе – характеристики пассажира или записи в цифрах, на выходе – односложный ответ: «выживет – не выживет», «показывать – не показывать».

3. Нейросети – самый модный, но не единственный и даже не самый популярный на практике пример таких алгоритмов. У каждого семейства таких алгоритмов свои недостатки, которые мешают им правильно реагировать, например, на иронию или скрытые цитаты – и Facebook без повода блокирует вас на неделю.

4. Чтобы алгоритмы хорошо обучались, им необходим «режим исследования», когда искусственный интеллект дает пользователю случайные или даже вредные советы. Сайт знакомств OkCupid признался, что в этом режиме намеренно предлагал людям неподходящих партнеров.

5. Есть риск, что соцсеть определит вас в небольшую «контрольную группу» пользователей, которая получает неудачные рекомендации (или видит френдленту без самых важных записей друзей) из раза в раз.