Мэттью Джокерс - Код бестселлера

Для тех, кто интересуется разбором по частям речи, группа обработки естественного языка Стэнфордского университета предлагает демонстрационную программу, доступную в интернете: http://nlp.stanford.edu:8080/parser/index.jsp. ( Примеч. авторов. )

Использовать для этого программу разбора зависимостей первоначально предложили два студента Мэтта – Габи Кириллофф и Джонатан Чен. ( Примеч. авторов. )

«Мэй понимала, что Рената за ней наблюдает, и знала, что сама таращится в некоем ужасе» ( англ .).

Разбор предложения проведен с помощью демонстрационной онлайн-версии программы разбора зависимостей, разработанной в Стэнфордском университете и доступной в интернете по адресу: http://nlp.stanford.edu:8080/parser/index.jsp. ( Примеч. авторов. )

Мэй ( англ .).

Знала ( англ .).

Наблюдает ( англ .).

Конечно, реальная жизнь сложнее, и, будь у нас подлинные данные по продажам книг, мы могли бы использовать их вместо бинарного разграничения (книга либо попала, либо не попала в список бестселлеров NYT). При наличии таких данных мы также могли бы использовать совершенно иной набор прогностических алгоритмов. Следует заметить, что в самых первых экспериментах мы использовали три класса книг – романы, попавшие на первое место в списке бестселлеров, романы, которые попали в список, но не заняли первого места, и небестселлеры. Удивительно, что наша модель смогла с уверенностью в 80 % определить разницу между бестселлером номер один и бестселлерами, занявшими 2–15-е места в списках. То же было верно в отношении «двузначных» книг, то есть тех, которые остаются в списке бестселлеров месяцами. Подобные нюансы мы сочли слишком мелкими для включения в данную книгу, но наблюдать их было чрезвычайно интересно. ( Примеч. авторов. )

Действительно, по-настоящему ( англ. ).

Чтобы границу было легче увидеть, мы изменили расположение книг на плоскости, убрав те, что оказались ближе всего к границе. ( Примеч. авторов. )

В использованных нами алгоритмах обучения задействована довольно сложная математика. Прекрасный обзор методов KNN и SVM содержится в работе An Introduction to Statistical Learning by James, Witten, Hastie и Tibshirani. Springer: New York, 2013. Очень краткое описание метода Nearest Shrunken Centroids можно найти по адресу http://statweb.stanford.edu/~tibs/PAM/Rdist/howwork.html, вместе со ссылкой на научную работу «Diagnosis of multiple cancer types by shrunken centroids of gene expression», в которой описано первое испытание этого алгоритма. Заинтересованные читатели могут также ознакомиться со статьей: Jockers Matthew L. and Daniela M. Witten . A Comparative Study of Machine Learning Methods for Authorship Attribution // Literary and Linguistic Computing, 25.2, 2010, 215–224. ( Примеч. авторов. )

Мы экспериментировали с различными значениями К. лучшие результаты получались при К = 15. ( Примеч. авторов. )

Мы также изучали получившиеся матрицы ошибок, чтобы лучше понять факторы, влияющие на точность модели, но это уже выходит за рамки послесловия. ( Примеч. авторов. )

Более подробное, но все же без явного технического уклона описание интеллектуального анализа текста и машинного обучения можно найти в работе: Jockers Matthew L. and Underwood Ted. Text-Mining the Humanities // New Companion to the Digital Humanities / Eds. Susan Schreibman, Ray Siemens, John Unsworth. Wiley-Blackwell, 2016. ( Примеч. авторов. )