Ханна Фрай - Hello World. Как быть человеком в эпоху машин

В судебной системе происходит то же самое. В сущности, алгоритм позволяет нам поставить вопрос так: какая доля данной социальной прослойки предположительно попадет в группу высокого риска при абсолютно справедливом устройстве общества? Программа может сразу выдать численный ответ. Или, если нам кажется, что нецелесообразно одним махом исключать все перекосы в судопроизводстве, можно велеть алгоритму идти к конечному результату поэтапно.

Кроме того, к оценке подсудимых из группы высокого риска тоже можно подходить по-разному. В случае освобождения под залог, когда главный фактор для машинного прогноза — это риск неявки обвиняемого в суд в назначенный день и час, стандартным решением станет отказ всем обвиняемым из группы высокого риска. Однако можно было бы предусмотреть в алгоритме и выяснение вероятных причин неявки в суд. Есть ли у подсудимого возможность приехать в суд? Может быть, родительские обязанности помешали ему явиться вовремя? Нельзя ли написать программу так, чтобы социальные диспропорции не усугублялись, а сглаживались?

Ответы на эти вопросы скорее найдутся не на советах директоров частных компаний, а в открытых общественных дискуссиях и на заседаниях правительства. Отрадно, что все громче звучат призывы наладить в этой сфере контроль за компьютерными программами. Подобно тому, как Управление по контролю качества продуктов питания и лекарств (FDA) следит за состоянием дел в американской фармацевтике, аналогичный регулирующий орган, не вынося сор из избы, проверял бы, насколько верны, согласованны и справедливы решения, и обладал бы полномочиями одобрять или запрещать применение того или иного программного продукта в работе с живыми людьми. А пока этого не произошло, очень хорошо, что ProPublica и ей подобные организации неустанно привлекают алгоритмы к ответу. Ровно до тех пор, пока не будет выдвинуто требование запретить все алгоритмы, которым инкриминировали несправедливые оценочные методики. По крайней мере, стоит хорошенько подумать, куда они могут нас завести, если мы их сохраним.

Мучительный выбор

Мы должны обсудить жизненно важный вопрос. Если вообще отказаться от помощи компьютеров, какую судебную систему мы получим? Ведь разнобой в решениях — не единственная беда, с которой, как выяснилось, сталкиваются судьи.

По закону, классовые, расовые и гендерные различия не должны влиять на приговор. (Все-таки предполагается, что Фемида слепа.) Но несмотря на то, что судьи в подавляющем большинстве стараются сохранять объективность, мы вновь и вновь наблюдаем случаи дискриминации. Как показали проведенные в США исследования, чернокожие обвиняемые в среднем отправляются в тюрьму на более долгий срок [123], у них меньше шансов выйти на свободу под залог [124]и больше — оказаться в камере смертников [125], при этом вероятность приведения смертного приговора в исполнение для них выше [126]. Были сделаны и другие выводы: за одни и те же преступления мужчины получают более суровые приговоры, чем женщины [127], а обвиняемые с относительно низким уровнем доходов и образования — гораздо более продолжительные сроки [128].

Как и для компьютерных программ, далеко не всегда необъективность объясняется явными предрассудками, поскольку история повторяется. Социальные и культурные предубеждения могут стать неизбежным следствием действий, которые совершаются для выбора решения.

Чтобы найти причины, сначала надо на самом элементарном уровне разобраться в том, как работает интуиция, поэтому на минутку отлучимся из зала суда и попробуем решить такую задачку:

Бита в комплекте с мячом стоит 1 фунт 10 пенсов.

Бита на 1 фунт дороже мяча.

Сколько стоит мяч?

Задачка из великолепной книги экономиста и психолога, нобелевского лауреата Даниэля Канемана “Думай медленно… решай быстро” [129]указывает нам, в какую коварную ловушку мы все попадаемся, пока размышляем.

Чтобы найти правильный ответ, надо немного подумать, зато неправильный готов сорваться с языка мгновенно. Наверняка вы едва не выпалили: “Десять пенсов!” [130]

Не расстраивайтесь, если не угадали (5 пенсов) — 71,8 % судей тоже промахнулись. Даже тем, кто справился с задачкой, надо было подавить в себе первый интуитивный порыв.

История с судейскими решениями объясняется той самой борьбой между интуицией и зрелым размышлением. В целом психологи сходятся на том, что у нас есть два способа мышления. Система 1 — это автоматическое, инстинктивное мышление с высокой вероятностью ошибки. Это она заставляет нас среагировать мгновенно и ответить: десять пенсов. Система 2 — медленные, вдумчивые, осознанные рассуждения, хотя зачастую эта система довольно ленива [131] [132].