Ханна Фрай - Hello World. Как быть человеком в эпоху машин

Вроде пока мы не требуем ничего сверхвозможного. Однако не все так очевидно. К сожалению, некоторые условия объективности несовместимы с точки зрения математики.

Сейчас объясню. Предположим, вы останавливаете прохожих и с помощью своего алгоритма оцениваете вероятность того, что они кого-нибудь убьют. Поскольку подавляющее большинство убийц — мужчины (действительно, по всему миру 96 % убийств совершают мужчины [118]), то при условии, что программа для выявления убийц работает хорошо, в группе высокого риска неизбежно окажется больше мужчин, чем женщин.

Предположим, точность прогнозов для нашего алгоритма составляет 75 %. Иначе говоря, три четверти тех, кому она присвоила высокие значения риска, действительно являются Дартами Вейдерами.

Рано или поздно, приставая к прохожим, вы наберете 100 потенциальных (с точки зрения программы) убийц. Согласно статистике, 96 из них должны быть мужчинами, а 4 — женщинами. Посмотрите на иллюстрацию справа. Черные кружки соответствуют мужчинам, светло-серые — женщинам.

Далее, поскольку программа дает прогнозы для мужчин и женщин с одинаковой точностью 75 %, то четверть всех женщин и четверть всех мужчин на самом деле окажутся Люками Скайуокерами — то есть опасности для общества они не представляют, а в возможные убийцы их записали на основании неверного расчета.

По второй диаграмме после несложных подсчетов вы можете увидеть, что против мужчин будет выдвинуто больше незаслуженных обвинений, чем против женщин — по той простой причине, что вообще среди убийц мужчин больше, чем женщин.

Это сухой математический факт, не имеющий никакого отношения ни к преступности, ни к компьютерным программам. Перекос в результате вытекает из перекоса в жизни. Убийства чаще совершают мужчины, поэтому мужчин чаще подозревают в том, что они могут совершить убийство [119].

С математической точки зрения невозможно разработать тест, который будет одинаково точно работать для всех слоев общества и при этом выдавать одинаковый процент ложноположительных и ложноотрицательных прогнозов во всех группах обвиняемых, если только в каждой такой группе доля людей, совершивших преступление, не будет одной и той же.

Афроамериканцы, безусловно, веками испытывали на себе гнет неравенства и предвзятого отношения. По этой причине до сих пор в нижних социально-экономических стратах и на верхних строках криминальной статистики большинство составляют афроамериканцы. Кроме того, некоторые факты свидетельствуют о повышенном интересе полиции к гражданам с темной кожей — по крайней мере в США, в определенных видах преступности. Скажем, и черные, и белые курят марихуану на равных, однако афроамериканцы попадаются на ней в несколько раз чаще, чем белые, и эта разница может быть восьмикратной. Каковы бы ни были причины диспропорции, в США, как ни грустно, показатели приводов в полицию различаются в зависимости от расы. За повторные правонарушения черных арестовывают чаще, чем белых. Алгоритм не судит их по цвету кожи — он руководствуется теми факторами, которые стали логичным следствием выраженного социального неравенства, исторически сложившегося в Америке. Пока во всех социальных и расовых группах показатели по арестам не сравняются, подобная необъективность останется в силу законов математики.

Это не умаляет важности проделанной интернет-изданием работы. Журналистское расследование показало, как легко алгоритмы закрепляют былое неравенство. Но и для алгоритма это тоже не оправдание. Если компания зарабатывает на анализе персональных данных, то, с точки зрения морали (если уж не закона), она обязана отвечать за свои промахи и недостатки методики расчета. Однако компания Equivant (бывшая Northpointe ), разработчик алгоритма COMPAS, по-прежнему держит его детали в строжайшем секрете под предлогом защиты интеллектуальной собственности [120] [121].

Здесь возможны варианты. Алгоритмы такого типа не содержат каких-либо неотъемлемых элементов, из-за которых обязательно должны были бы проявиться пережитки прошлого. Все зависит только от исходных данных. Мы можем оставаться, как выразился Ричард Берк, “твердолобыми эмпириками” и довольствоваться имеющимися показателями, а можем признать несправедливость нынешней ситуации и с учетом этого скорректировать цифры.

В качестве иллюстрации попробуем поискать в Google картинки по запросу “профессор математики”. Вы получите несметное множество изображений белого мужчины средних лет на фоне исписанной формулами доски — хотя, возможно, ничего другого вы и не ждали. В первой двадцатке картинок я обнаружила одну-единственную женщину, что отражает реальность с удручающей достоверностью: среди профессоров математики примерно 94 % — мужчины [122]. Однако при любой точности расчета можно было бы возразить, что алгоритм — не самое подходящее зеркало для нашего мира, особенно если отраженная в нем нынешняя реальность — всего лишь результат многовекового неравноправия. Но Google при желании мог бы слегка подправить свой алгоритм, так чтобы первыми показывались ссылки с профессорами женского пола или другой расы, немного уравновесить таким образом поиск и создать картину не реального мира, а мира нашей мечты.