Юваль Ной Харари - 21 урок для XXI века [Версия с комментированными отличиями перевода]

В конце XX века демократии, как правило, демонстрировали больше успехов, чем диктатуры, поскольку лучше справлялись с обработкой данных. Демократия распределяет возможности обработки информации и принятия решений среди многих людей и институтов, тогда как при диктатуре информация и власть концентрируются в одной точке. В условиях технологий XX века чрезмерная концентрация информации и власти в одних руках оказывалась неэффективной. Никто не в состоянии в одиночку достаточно быстро проанализировать данные и принять правильное решение. Это одна из причин, по которым Советский Союз принимал менее удачные решения, чем США, а советская экономика отставала от американской.

Но искусственный интеллект вскоре может заставить маятник качнуться в другую сторону. Искусственный интеллект позволяет централизованно обрабатывать огромные массивы информации. С ним централизованные системы действуют гораздо эффективнее распределенных, потому что машинное обучение работает тем лучше, чем больше данных анализирует. Если вы соберете все сведения о миллиарде человек в одной базе данных, не заботясь о приватности, то путем машинного обучения создадите гораздо более эффективные алгоритмы по сравнению с теми, которые хранят в базе только часть сведений о миллионе человек, соблюдая требования защиты персональных данных. Например, если авторитарное правительство прикажет всем гражданам отсканировать ДНК и передать свои медицинские данные в некое центральное учреждение, оно получит колоссальное преимущество в генетических и медицинских исследованиях перед теми странами, где строго соблюдается приватность таких данных. Главный недостаток авторитарных режимов XX века – стремление сосредоточить всю информацию в одном месте – в XXI веке может превратиться в преимущество.

Как только алгоритмы изучат нас достаточно хорошо, авторитарные правительства получат над гражданами абсолютный контроль, какого не знала даже нацистская Германия, и сопротивляться подобным режимам будет практически невозможно. Власти не только во всех подробностях узнают, что вы чувствуете, – они еще и заставят вас чувствовать то, что нужно им. Диктатору не обязательно гарантировать гражданам равенство или высокий уровень здравоохранения – ему достаточно внушить им любовь к себе и ненависть к своим врагам. Демократия в ее нынешней форме не переживет слияния ИТ и биотехнологий. Либо демократия успешно трансформируется, приняв совершенно новую форму, либо людям придется жить в условиях «цифровых диктатур».

Это не станет возвращением к временам Гитлера и Сталина. Цифровые диктатуры будут отличаться от нацистской Германии, как нацистская Германия отличалась от Старого порядка во Франции. Людовик XIV был автократом, стремившимся сосредоточить всю власть в своих руках, но не обладал технологиями построения современного тоталитарного государства. Никакой оппозиции у него не было, но в отсутствие радио, телефона и поездов он практически не контролировал повседневную жизнь людей – не только крестьян в отдаленных деревнях Бретани, но и горожан в самом центре Парижа. У него не было ни желания, ни возможности основать всенародную партию, инициировать общенациональное молодежное движение или ввести систему всеобщего образования [71] William Beik, Louis XIV and Absolutism: A Brief Study with Documents (Boston, MA: Bedford/St Martin’s, 2000). . Именно технологии XX века дали Гитлеру стимулы и возможности для таких действий. Мы не в силах предсказать мотивы и возможности цифровых диктатур в 2084 году, но маловероятно, что они будут просто копировать режимы Гитлера или Сталина. Того, кто готовится к повторению битв 1930-х, застигнет врасплох атака совсем с другой стороны.

Даже если демократия сумеет приспособиться и выжить, люди рискуют стать жертвами новых видов угнетения и дискриминации. Уже сегодня банки и госучреждения все чаще используют алгоритмы для анализа данных и принятия решений, связанных с клиентами. Если вы обратитесь в банк за кредитом, ваше заявление, скорее всего, будет обрабатывать алгоритм, а не человек. Алгоритм проанализирует большой массив данных о вас и статистику, отражающую поведение миллионов других людей, а затем решит, достаточно ли вы надежны, чтобы выдать вам кредит. Зачастую алгоритм оказывается эффективнее банкира из плоти и крови. Но проблема в том, что, если алгоритм необоснованно дискриминирует ту или иную группу людей, узнать об этом трудно. Когда банк отказывает вам в кредите, вы спрашиваете: «Почему?» Банк отвечает: «Алгоритм вам отказал». – «Но почему алгоритм мне отказал? Что со мной не так?» – недоумеваете вы, а банк в ответ: «Мы не знаем. Никто не понимает этот алгоритм, потому что он основан на самом современном машинном обучении. Но мы верим ему и не выдадим вам кредит» [72] O’Neil, Weapons of Math Destruction, цитируемая работа; Penny Crosman, ‘Can AI Be Programmed to Make Fair Lending Decisions?’, American Banker, 27 September 2016, https://www.americanbanker.com/news/can-ai-be-programmed-to-make-fair-lending-decisions , ссылка актуальна на 17 September 2017. .