Педро Домингос - Верховный алгоритм

Книга Case-Based Reasoning* Джанет Колоднер (Morgan Kaufmann, 1993) — учебник по рассуждениям на основе прецедентов. В статье Using case-based retrieval for customer technical support* Евангелоса Симудиса (IEEE Expert, 1992) объясняется применение этого метода в службах поддержки. Eliza описана в статье Rise of the software machines* (Economist, 2013) и на сайте компании IPsoft. Кевин Эшли рассматривает рассуждения на основе прецедентов в юриспруденции в своей книге Modeling Legal Arguments* (MIT Press, 1991). Дэвид Коуп подытоживает свой подход к автоматизированному сочинению музыки в статье Recombinant music: Using the computer to explore musical style (IEEE Computer, 1991). Дедре Джентнер предложил картирование структур в статье Structure mapping: A theoretical framework for analogy* (Cognitive Science, 1983). В статье The man who would teach machines to think Джеймса Сомерса (Atlantic, 2013) рассмотрены взгляды Дугласа Хофстадтера на искусственный интеллект.

Алгоритм RISE я описал в статье Unifying instance-based and rule-based induction* (Machine Learning, 1996).

Глава 8

В книге Элисон Гопник, Энди Мельцоффа и Пэта Кула The Scientist in the Crib (Harper, 1999) описаны открытия психологов в области механизмов обучения новорожденных и маленьких детей.

Алгоритм k -средних изначально был предложен Стюартом Ллойдом из Bell Labs в 1957 году в техническом отчете под названием Least squares quantization in PCM* (позже он был издан в виде статьи в IEEE Transactions on Information Theory in 1982). Первая статья о EM-алгоритме — Maximum likelihood from incomplete data via the EM algorithm* Артура Демпстера, Нэн Лэрд и Дональда Рубина (Journal of the Royal Statistical Society B, 1977). Иерархическая кластеризация и другие методы описаны в книге Finding Groups in Data: An Introduction to Cluster Analysis* Леонарда Кауфмана и Питера Руссо (Wiley, 1990).

Метод главных компонент — один из старейших в машинном обучении и статистике. Он был предложен Карлом Пирсоном еще в 1901 году в статье On lines and planes of closest fit to systems of points in space* (Philosophical Magazine). Разновидность уменьшения размерности, используемая при оценке эссе на экзаменах SAT, была введена Скоттом Дирвестером и соавторами в статье Indexing by latent semantic analysis* (Journal of the American Society for Information Science, 1990). Йегуда Корен, Роберт Белл и Крис Волинский объясняют, как работает коллаборативная фильтрация в стиле Netflix, в статье Matrix factorization techniques for recommender systems* (IEEE Computer, 2009). Алгоритм Isomap появился в статье A global geometric framework for nonlinear dimensionality reduction* Джоша Тененбаума, Вина де Сильвы и Джона Лэнгфорда (Science, 2000).

Книга Reinforcement Learning: An Introduction* Рича Саттона и Энди Барто (MIT Press, 1998) — стандартный учебник по обучению с подкреплением. Universal Artificial Intelligence* Маркуса Хаттера (Springer, 2005) — попытка создать общую теорию данного вида обучения. Пионерской работе Артура Сэмюэла по обучению игре в шашки посвящена его статья Some studies in machine learning using the game of checkers* (IBM Journal of Research and Development, 1959). В ней встречается одно из первых упоминаний в печати термина «машинное обучение». Крис Уоткинс сформулировал проблему обучения с подкрепле­нием в своей диссертации Learning from Delayed Rewards* (Cambridge University, 1989). Обучающийся алгоритм с подкрепле­нием DeepMind, применяемый в компьютерных играх, описан в статье Human-level control through deep reinforcement learning* Владимира Мниха и соавторов (Nature, 2015).

Пол Розенблюм рассказывает о развитии алгоритма образования фрагментов в статье A cognitive odyssey: From the power law of practice to a general learning mechanism and beyond (Tutorials in Quantitative Methods for Psychology, 2006). A/B-тестирование и другие методики онлайн-экспериментов объясняются в статье Practical guide to controlled experiments on the Web: Listen to your customers not to the HiPPO* Рона Кохави, Рэндала Хенне и Дэна Зоммерфельда (Proceedings of the Thirteenth International Conference on Knowledge Discovery and Data Mining, 2007). Инкрементное моделирование — многомерное обобщение A/B-тестирования — тема седьмой главы книги Predictive Analytics Эрика Зигеля (Wiley, 2013).

В книге Introduction to Statistical Relational Learning* под редакцией Лизы Гетур и Бена Таскара (MIT Press, 2007) рассмотрены основные подходы в области статистического реляционного обучения. Итоги работы по моделированию сплетен мы с Мэттом Ричардсоном подводим в статье Mining social networks for viral marketing (IEEE Intelligent Systems, 2005).

Глава 9

Введение в метаобучение — тема книги Model Ensembles: Foundations and Algorithms* Чжоу Чжихуа (Chapman and Hall, 2012). Первая статья о стэкинге — Stacked generalization* Дэвида Уолперта (Neural Networks, 1992). Лео Брейман ввел бэггинг в статье Bagging predictors* (Machine Learning, 1996), а случайный лес — в Random forests* (Machine Learning, 2001). Бустинг описан в статье Experiments with a new boosting algorithm Йоава Фройнда и Роба Шапире (Proceedings of the Thirteenth International Conference on Machine Learning, 1996).

В статье I, Algorithm Анила Анантасвами (New Scientist, 2011) можно познакомиться с хроникой поиска объединения логики и вероятности в науке об искусственном интеллекте. В соавторстве с Дэниелом Лоудом я написал введение в логические сети Маркова — книгу Markov Logic: An Interface Layer for Artificial Intelligence* (Morgan & Claypool, 2009). На сайте Alchemy (alchemy.cs.washington.edu) вы найдете руководства, видео, MLN, наборы данных, публикации, указатели на другие системы и еще много интересного. Логическая сеть Маркова для робо­тизированного картирования описана в статье Hybrid Markov logic networks* Вана Цзюэ и Педро Домингоса (Proceedings of the Twenty-Third AAAI Conference on Artificial Intelligence, 2008). Томас Дитрих и Бао Синьлун описывают применение MLN в PAL — одном из проектов DARPA — в статье Integrating multiple learning components through Markov logic* (Proceedings of the Twenty-Third AAAI Conference on Artificial Intelligence, 2008). Статья Extracting semantic networks from text via relational clustering* Стэнли Кока и Педро Домингоса (Proceedings of the Nineteenth European Conference on Machine Learning, 2008) описывает получение семантических сетей на базе интернета.