Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Проблема в том, что в го существует более 10 170возможных позиций для полноразмерной доски 19 × 19. Если найти гарантированно кратчайший маршрут на карте относительно легко, найти гарантированную победу в го почти нереально. Даже если гонять алгоритм миллиард лет, он сможет исследовать лишь крохотную часть полного дерева возможностей. Отсюда вытекает два вопроса. Первый: какую часть дерева должна исследовать программа? Второй: какой ход она должна сделать, исходя из той части древа, которую исследовала?

Сначала ответим на второй вопрос. Основная идея, используемая практически во всех прогностических программах, состоит в том, чтобы приписывать оценку ценности ответвлениям дерева — самым отдаленным будущим состояниям — и затем двигаться назад, выясняя, насколько хороши варианты выбора ближе к корню [336]. Например, посмотрев на две позиции в нижней части схемы на рис. 16, можно дать оценку +5 (с точки зрения черных) позиции слева и +3 позиции справа, поскольку камень белых в углу намного более уязвим, чем сбоку. Если эти оценки верны, то черные могут ожидать от белых хода вбок, что приведет к позиции, представленной справа; следовательно, разумно приписать ценность +3 начальному ходу черных в центр. С небольшими вариациями это схема, использованная шахматной программой Артура Самуэля, победившей своего создателя в 1955 г. [337], Deep Blue, обыгравшей чемпиона мира по шахматам Гарри Каспарова в 1997 г., и AlphaGo, одолевшей бывшего чемпиона мира по го Ли Седоля в 2016 г. Для Deep Blue написали фрагмент программы, оценивавший позиции как ответвлений, на основании, главным образом, своего собственного знания шахмат. Программы Самуэля и AlphaGo изучили их сами по опыту тысяч или миллионов тренировочных игр.

Первый вопрос — какую часть дерева должна исследовать программа — является примером одного из самых важных вопросов в сфере ИИ: какие вычисления должен делать агент? В случае игровых программ это жизненно важно, поскольку они располагают малым, фиксированным временем, и тратить его на бесцельные расчеты — верный путь к проигрышу. Для людей и других агентов, действующих в реальном мире, это еще важнее, потому что реальный мир несравненно сложнее: без качественного выбора никакое количество вычислений не сделает ни малейшей зарубки в проблеме принятия решения о том, как действовать. Если вы ведете машину и на дорогу выходит лось, нет смысла размышлять о том, следует ли обменять евро на фунты стерлингов или черным сделать первый ход в середину доски.

Способность людей управлять своей вычислительной деятельностью так, чтобы принимать разумные решения в разумное время, по меньшей мере столь же потрясающа, как и их способность верно воспринимать информацию и рассуждать. Представляется, что мы приобретаем ее естественно и без усилий. Когда отец учил меня играть в шахматы, то объяснил мне правила, но не учил конкретным умным алгоритмам выбора, какую часть дерева исследовать, а какую игнорировать.

Как это происходит? На основании чего мы направляем ход своих мыслей? Ответ заключается в том, что вычисление ценно лишь постольку, поскольку повышает качество ваших решений. Процесс выбора вычислений называется метарассуждением , что означает рассуждение о рассуждении. Как действия можно выбирать рационально, исходя из ожидаемой ценности, так и вычисления. Это так называемое рациональное метарассуждение [338]. Оно строится на очень простой идее:

Выполняйте те вычисления, которые обеспечат наибольшее ожидаемое повышение качества решения, и прекращайте их, когда затраты (выраженные во времени) превысят ожидаемое улучшение.

Вот и все. Никаких новомодных алгоритмов! Этот простой принцип обеспечивает эффективное вычислительное поведение применительно к широкому спектру задач, включая шахматы и го. Представляется вероятным, что наш мозг реализует похожий процесс, что объясняет, почему нам не нужно изучать новые алгоритмы рассуждения, привязанные к конкретной игре, всякий раз, как мы учимся играть в новую игру.

Разумеется, исследование дерева возможностей, вырастающего в будущее из нынешнего состояния, не единственный путь к решению. Часто более разумно двигаться ретроспективно от цели. Например, наличие лося на дороге предполагает цель избежать столкновения с лосем , что, в свою очередь, предполагает три возможных действия: резко повернуть налево, резко повернуть направо или ударить по тормозам. Не предполагаются такие действия, как обмен евро на фунты стерлингов или помещение черного камня в центр доски. Таким образом, цели оказывают на наше мышление прекрасный эффект фокусировки. Никакие современные игровые программы не используют это преимущество; на самом деле они в массе своей рассматривают все возможные допустимые действия. Это одна из (многих) причин того, что я не боюсь, что AlphaZero захватит мир.