Бен Орлин - Математика с дурацкими рисунками. Идеи, которые формируют нашу реальность

«Записки федералиста», написанные в 1787 году, помогли задать американскую форму правления. Они полны политической мудрости, изощренной аргументации и неустаревающих афоризмов («зрелище смут и раздоров» — вы оценили?). Это могло бы стать убойной строчкой в резюме, но есть одна загвоздка.

Авторы не подписали свои имена.

Историки смогли установить, что 43 письма написаны Александром Гамильтоном, 14 — Джеймсом Мэдисоном, пять — Джоном Джеем и еще три письма написаны в соавторстве. Однако оставалось тайной, кто авторы еще 12 писем. Гамильтон или Мэдисон? Даже два века спустя головоломка не была разгадана.

Наступили 1960-е годы, и на сцене появились два специалиста по статистике: Фредерик Мостеллер и Дэвид Уоллес [213]. Фред и Дейв осознали всю тонкость проблемы. Предложения, написанные Гамильтоном, состояли в среднем из 34,55 слов; написанные Мэдисоном — в среднем из 34,59 слов. «По некоторым параметрам, — пишут исследователи, — авторы почти что близнецы». И дальше они сделали шаг, который совершают все специалисты по статистике, когда сталкиваются с изощренной проблемой.

Они порезали «Записки федералиста» на мелкие куски [214].

Контекст? Неважен. Смысл? Уничтожен. Пока «Записки» оставались набором текстов отцов-основателей, они были бесполезны. Они должны были стать клочками бумаги, совокупностью тенденций — иными словами, набором данных.

Даже после этого большинство слов оставались бесполезными. Их частотность зависела не от автора, а от темы. Например, «война». «Когда речь шла о вооруженных силах, частота предсказуемым образом была высокой, — пишут Фред и Дэйв. — Когда речь шла о выборах — низкой». Они присвоили таким словам статус «контекстуальные» и предприняли все усилия, чтобы избавиться от них. Они были слишком осмысленными.

Их поиски лишенных смысла слов увенчались успехом, когда они взялись за предлог upon («на основании»), который Мэдисон не употреблял почти никогда, а Гамильтон при каждом удобном случае:

Вооруженные этими данными, Фред и Дейв смогли свести каждого автора к чему-то вроде колоды карт, раздающей те или иные слова с предсказуемой вероятностью. Затем, отследив частотность определенных слов в письмах с неустановленным авторством, они смогли узнать, из какой «колоды» взят каждый текст.

Метод сработал. Их вывод: «Практически наверняка эти 12 писем написаны Мэдисоном».

Полвека спустя эта технология стала стандартной. Она помогла установить авторство древнегреческой прозы, сонетов елизаветинцев и речей Рональда Рейгана. Бен Блатт применил этот алгоритм около 30 000 раз, используя 250 общеупотребительных слов, чтобы определить, кто из двух авторов написал определенную книгу. Он получил 99,4 % верных ответов.

Мой разум знает, что здесь нет подвоха. Но мои чувства бунтуют. Как можно понять книгу, измельчив ее на биты?

В 2011 году команда авторов из Лаборатории литературоведения Стэнфорда совершила ловкий кульбит: они идентифицировали уже не авторов , а жанры [215]. Они использовали два метода: анализ частотности употребления слов и более изощренный анализ на уровне предложений (под названием «Докускоп»). К их удивлению, оба метода позволили точно определять жанры текстов.

Присмотримся к фрагменту абзаца со страницы, которую компьютер счел наиболее «готической» во всем корпусе, включающем 250 романов:

Он шел по шатким плитам через двор, пока не достиг арки; здесь он остановился, ибо ему снова стало страшно. Однако, набравшись храбрости, он пошел дальше, все еще пытаясь следовать за той фигурой, и внезапно оказался в разрушенном зале, вид которого был более диким и пустынным, чем все увиденное им до сих пор. Охваченный непреодолимым ужасом, он направился обратно, но услышал ослабший измученный голос. Сердце замерло при этом звуке, его бросило в дрожь, и он был совершенно не в силах сойти с места. Звук, похожий на предсмертный стон, повторился…

У меня ползут мурашки по спине, и на то есть две причины. Во-первых, вся эта жуткая готика: разрушенные арки и предсмертные стоны. Во-вторых, жутковато, что компьютер распознал готическую атмосферу, даже не обратив внимания на слова «арка», «разрушенный» или «предсмертный стон». Он выделил этот отрывок на основе употребления местоимений, вспомогательных слов и глагольных конструкций.