Элиезер Юдковски: Таинственные ответы на таинственные вопросы

Но вместо того, чтобы заподозрить розыгрыш, я, сильно постаравшись, заставил свою модель реальности объяснить аномалию, которая никогда не происходила . И я знал , насколько постыдны подобные поступки. Я знал, что полезность модели измеряется не тем, что она может объяснить, а тем, что она объяснить не может. Ничего не запрещающая гипотеза позволяет всё, тем самым терпя неудачу в попытке упорядочить ожидания будущего.

Cила рационалиста состоит в способности быть озадаченным вымыслом больше, чем реальностью. Если ты одинаково хорошо объясняешь любой исход, то знаний у тебя — ноль.

Временами все мы слабы. Тогда я был способен быть сильнее, но, увы, совершил ошибку. У меня была вся информация, необходимая для правильного ответа, я даже заметил проблему — а затем я её проигнорировал. Замешательство было Подсказкой, а я выбросил свою Подсказку.

Ощущение натянутости заслуживает львиной доли внимания.

Замешательство — важная подсказка на пути к истине, часть твоей силы, силы рационалиста. Серьёзный дизайнерский недочёт человеческого мышления заключается в том, что это ощущение лишь тихо шуршит на самой границе восприятия, вместо того, чтобы под вой сирен вешать яркую неоновую надпись «ЛИБО ТВОЯ МОДЕЛЬ НЕВЕРНА, ЛИБО ЭТА ИСТОРИЯ ЛОЖНА».

Перевод:

BT

http://lesswrong.com/lw/if/your_strength_as_a_rationalist/