Владимир Бровко - Хронологии. Современные пророки. Т. 6

Писатели, такие как Бостром, используют термин суперинтеллекция вместо ультраинтеллектуала Гуда.

Следуя Вернору Винджу, идея Гуда о взрыве интеллекта стала связана с идеей «технологической сингулярности». Бостром и исследователи из MIRI выразили скептицизм по поводу взглядов сторонников сингулярности, таких как Рэй Курцвейл, что суперинтеллекция «находится за углом».

Исследователи MIRI выступают за раннюю работу по обеспечению безопасности в качестве меры предосторожности, утверждая, что прошлые предсказания прогресса ИИ не были надежными.

Степень надежности и толерантность к ошибкам в ИИ

Документ о приоритетах исследований Института Будущего Жизни (FLI) гласит:

Математические инструменты, такие как формальная логика, вероятность и теория принятия решений, дали значительное представление об основах рассуждений и принятия решений.

Однако в основе рассуждений и решений по-прежнему остается множество открытых проблем. Решения этих проблем могут сделать поведение очень способных систем намного более надежными и предсказуемыми. Примеры исследований в этой области включают рассуждения и решения в рамках ограниченных вычислительных ресурсов à la Horvitz and Russell, как учитывать корреляции между поведением AI-систем и поведением их окружения, агентов, как агенты, встроенные в их среду, или других детерминированных вычислений. Эти темы могут выиграть от совместного рассмотрения, поскольку они кажутся глубоко связанными

Стандартные процедуры принятия решения недостаточно точно определены (например, в отношении контрфактов), для того, чтобы быть оформленными как алгоритмы. Исследователь Machine Intelligence Research Institute Бенья Палленштейн и тогдашний исследователь Нейт Соареш пишут, что теория причинно-следственных решений «неустойчива при отражении» в том смысле, что рациональный агент, следующий за теорией причинно-следственных решений, «правильно идентифицирует, что агент должен изменить себя, чтобы прекратить использовать теорию причинно-следственных решений для принятия решений".

Исследователи идентифицируют «логические теории принятия решений» как альтернативы, которые лучше выполняют общие задачи принятия решений.

Если система ИИ выбирает действия, которые наилучшим образом позволяют ей выполнить задание, то избегать условий, которые препятствуют тому, чтобы система продолжала выполнять задачу, является естественным подцелем (и, наоборот, поиск безусловных ситуаций иногда является полезной эвристикой).

Однако это может стать проблематичным, если мы хотим перераспределить

Текст предоставлен ООО «ЛитРес».

Прочитайте эту книгу целиком, купив полную легальную версию на ЛитРес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.