Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Первое упоминание о рандомизированной стратегии в играх: Pierre Rémond de Montmort , Essay d’analyse sur les jeux de hazard , 2nd ed. (Chez Jacques Quillau, 1713). В книге упоминается некий монсеньор де Вальдграв в качестве автора оптимального рандомизированного решения для карточной игры Ле Гер. Сведения о личности Вальдграва раскрываются в статье: David Bellhouse, «The problem of Waldegrave», Electronic Journal for History of Probability and Statistics 3 (2007).

Задача полностью определяется, если задать вероятность того, что Алиса забивает гол в каждом из следующих четырех случаев: если она бьет вправо от Боба, и Боб бросается вправо или влево, и если она бьет влево от Боба, и он бросается вправо или влево. В данном случае эти вероятности составляют 25, 70, 65 % и 10 % соответственно. Предположим, что стратегия Алисы — бить вправо от Боба с вероятностью p и влево с вероятностью 1 — p, тогда как Боб бросается вправо с вероятностью q и влево с вероятностью 1 — q. Выигрыш Алисы: U A= 0,25 pq + 0,70 p (1 − q) + 0,65 (1 − p)q + 0,10 (1 − p) (1 − q), Боба: U B= −U A. В равновесии ∂U A/∂p = 0 and ∂U B/∂q = 0, что дает p = 0,55 и q = 0,60.

Исходную задачу теории игр предложили Меррил Флуд и Мелвин Дрешер в RAND Corporation. Такер увидел матрицу выигрышей, зайдя к ним в кабинет, и предложил сопроводить ее «историей».

Специалисты теории игр обычно говорят, что Алиса и Боб смогли сотрудничать друг с другом (отказались давать показания) или предать подельника. Мне эти определения кажутся вводящими в заблуждение, поскольку «сотрудничество друг с другом» не тот выбор, который каждый агент может сделать индивидуально, а также из-за влияния общепринятого выражения «сотрудничать с полицией», когда за сотрудничество можно получить более легкий приговор и т. д.

Интересное решение на основе доверия для дилеммы заключенного и других игр см.: Joshua Letchford, Vincent Conitzer, and Kamal Jain, «An ‘ethical’ game-theoretic solution concept for two-player perfect-information games», in Proceedings of the 4th International Workshop on Web and Internet Economics , ed. Christos Papadimitriou and Shuzhong Zhang (Springer, 2008).

Источник трагедии общих ресурсов : William Forster Lloyd, Two Lectures on the Checks to Population (Oxford University, 1833).

Современное рассмотрение темы в контексте глобальной экологии: Garrett Hardin, «The tragedy of the commons», Science 162 (1968): 1243–48.

Весьма вероятно, что, даже если бы мы попытались создать интеллектуальные машины на основе химических реакций или биологических клеток, объединения этих элементов оказались бы реализацией машины Тьюринга нетрадиционным способом. Вопрос о том, является ли объект универсальным компьютером, никак не связан с вопросом о том, из чего он сделан.

Эпохальная статья Тьюринга дает определение понятию, в настоящее время известному как машина Тьюринга , основополагающему в компьютерной науке. Entscheidungsproblem , или проблема принятия решения , в названии статьи есть проблема выбора следования в логике первого порядка: Alan Turing, «On computable numbers, with an application to the Entscheidungsproblem», Proceedings of the London Mathematical Society , 2nd ser., 42 (1936): 230–65.

Хорошее исследование отрицательной емкости от одного из ее изобретателей: Sayeef Salahuddin, «Review of negative capacitance transistors», in International Symposium on VLSI Technology, Systems and Application (IEEE Press, 2016).

Намного лучшее объяснение квантовых вычислений см. в кн.: Scott Aaronson, Quantum Computing since Democritus (Cambridge University Press, 2013).

Статья, проводящая четкое различие с точки зрения теории сложности между классическими и квантовыми вычислениями: Ethan Bernstein and Umesh Vazirani, «Quantum complexity theory», SIAM Journal on Computing 26 (1997): 1411–73.

Следующая статья известного физика представляет собой хороший обзор современного состояния теоретического понимания и технологии квантовых вычислений: John Preskill, «Quantum computing in the NISQ era and beyond», arXiv:1801.00862 (2018).

О максимальной вычислительной способности килограммового объекта: Seth Lloyd, «Ultimate physical limits to computation», Nature 406 (2000): 1047–54.

Пример предположения, что люди могут представлять собой вершину физически достижимой разумности, см. в статье: Kevin Kelly, «The myth of a superhuman AI», Wired , April 25, 2017: «Мы склонны верить, что предел далеко от нас, далеко „впереди“ нас, как мы „впереди“ муравья… Что доказывает, что не мы являемся этим пределом?»

Если вам интересно, можно ли решить проблему остановки простой хитростью: очевидный метод просто выполнять программу, чтобы узнать, завершится ли она, не работает, потому что необязательно имеет конец. Вы можете прождать миллион лет, но так и не узнать, застряла программа в бесконечном цикле или ей просто нужно время.