Клиффорд Пиковер - Искусственный интеллект. Иллюстрированная история. От автоматов до нейросетей

Этот сценарий может показаться неправдоподобным, однако он призван привлечь внимание к серьезному моменту: у ИИ может не быть понятных нам «человеческих» мотивов. Даже безобидные цели могут оказаться опасными, если ИИ получит возможность эволюционировать и создавать новые усовершенствованные машины (см. главу «Интеллектуальный взрыв»). Кто даст гарантии, что цели ИИ и встроенные в него математические функции выгоды и вознаграждения останутся стабильными и понятными на протяжении десятилетий и столетий? Как добиться того, чтобы нам всегда были доступны «выключатели»? Что, если программы и схемы вознаграждения заставят ИИ потерять интерес к внешнему миру и направить всю энергию на максимизацию сигнала вознаграждения, – подобно тому, как человек, принимая наркотики, выпадает из социума? Что делать, если разные страны и политические режимы будут использовать в своих ИИ-системах разные функции вознаграждения?

Авторство другого известного примера, так называемой катастрофы гипотезы Римана, приписывают Марвину Мински. Представим себе сверхразумную ИИ-систему, созданную с целью подтвердить или опровергнуть эту сложную и важную математическую гипотезу. Не исключено, что такая система будет направлять все больше вычислительных ресурсов и энергии на выполнение этой задачи, захватывая и создавая все более совершенные системы в ущерб интересам человечества.

СМ. ТАКЖЕ «Дарвин среди машин» (1863), Интеллектуальный взрыв (1965), Герметичный ящик для искусственного интеллекта (1993)

Даже если мы поставим перед ИИ благую цель,такую как эффективное производство скрепок, что произойдет, если система решит превратить всю планету в гигантский скрепочный завод?

«В шахматах был Deep Blue , – пишет журналист Марк Андерсон. – В Jeopardy! был Watson . В бейсболе есть саберметрика, описанная в книге Moneyball и снятом по ней фильме. В каждой игре выявление и анализ закономерностей в корне меняет расстановку сил». Волнующее событие с участием ИИ в области словесных игр произошло в 2006 г., когда программа Quackle победила бывшего чемпиона мира Дэвида Бойза на турнире по скреблу в Торонто. Проиграв три партии из пяти, Бойз заявил: «И все-таки человеком быть лучше, чем компьютером».

Скребл изобрел в 1938 г. американский архитектор Альфред Баттс (1899–1993). В ходе игры участники выкладывают фишки с буквами на игровое поле размером 15 × 15 клеток. На каждой фишке нанесена одна буква и указана ее стоимость (от 1 до 10 очков), зависящая от частотности буквы в языке. Например, в английской версии гласные оцениваются в одно очко, а Q и Z стоят по 10 очков. Игроки по очереди добавляют буквы на поле таким образом, чтобы каждая строка или столбец букв всегда образовывали слово.

Эта довольно сложная игра требует не только богатого словарного запаса. Например, чтобы выстроить стратегию, важно понимать, какие буквы еще не выложены; кроме того, нужно стараться выкладывать фишки на особые клетки, увеличивающие стоимость букв и слов. Скребл, как и покер, считается игрой с неполной информацией, поскольку соперники не видят фишки друг друга.

Quackle решает, какие фишки использовать, на основе модели, анализирующей поле с помощью функции оценки. Эту программу создала группа специалистов, в которую входил Джейсон Кац-Браун, один из лучших в мире игроков в скребл. В ходе увлекательных исследований разработчики неоднократно заставляли Quackle играть саму с собой, чтобы она лучше оценивала стоимость составления разных слов по сравнению с другими возможными словами, а также с учетом слов, которые могут быть выложены на следующем ходу.

СМ. ТАКЖЕ Четыре в ряд (1988), Deep Blue обыгрывает чемпиона мира по шахматам (1997), Реверси (1997), AlphaGo – чемпион по игре в го (2016), Искусственный интеллект играет в покер (2017)

В игре скребл на каждой фишке нанесена одна букваи указана ее стоимость (от 1 до 10 очков), зависящая от частотности буквы в языке.

Кен Дженнингс (р. 1974), чемпион мира по телевикторине Jeopardy! , так писал о своем состязании с ИИ по имени Watson : «Когда меня выбрали одним из двух игроков-людей, которые будут противостоять суперкомпьютеру IBM Watson в показательном матче „Человек против машины“, я был польщен и почувствовал себя почти героем. Я представлял себя Великой Углеродной Надеждой перед лицом нового поколения думающих машин…»