Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

В настоящее время отсутствуют реализуемые на практике рекомендации, которыми могли бы воспользоваться правительства и другие организации для решения вопросов контроля над ИИ-системами. Такие установления, как «ИИ-системы должны быть надежными и контролируемыми», ничего не дают, поскольку эти понятия пока не имеют точного значения, а также из-за отсутствия общепринятой инженерной методологии обеспечения этой безопасности и контролируемости. Однако будем оптимистами и представим, что всего через несколько лет продуктивность подхода к созданию ИИ на принципе «доказуемой полезности» доказана как математическим анализом, так и практической реализацией в форме полезных приложений. Например, у нас появляются личные цифровые помощники, которым можно доверить пользоваться нашими кредитными картами, фильтровать звонки и электронную почту и управлять нашими финансами, потому что они адаптировались под наши личные предпочтения и знают, когда можно действовать самостоятельно, а когда лучше обратиться за указаниями. Наши автономные автомобили научились хорошим манерам при взаимодействии друг с другом и с водителями, а домашние роботы прекрасно справляются даже с самым невыносимым дошкольником. По счастью, ни одна кошка не была зажарена на ужин и ни разу на торжественном обеде членов Партии зеленых не было подано китовое мясо.

На этом этапе представляется вполне уместным составление шаблонов разработки программного обеспечения, которым должны соответствовать разные типы приложений, чтобы их можно было продавать или подключать к интернету, как сейчас приложения должны пройти ряд программных тестов, прежде чем их пустят в App Store или Google Play. Продавцы программного обеспечения могут предложить собственные шаблоны, если сумеют доказать их соответствие требованиям безопасности и контролируемости (на тот момент уже тщательно проработанным). Будут созданы механизмы информирования о проблемах и обновления программных комплексов, выдающих нежелательное поведение. Тогда будет иметь смысл также разработать профессиональные кодексы поведения, основанные на идее доказуемой безопасности программ ИИ, и интегрировать соответствующие теоремы и методы в программы подготовки мотивированных практиков в области ИИ и машинного обучения.

Для опытного спеца из Кремниевой долины это может звучать довольно наивно. Любого рода регулирование встречает здесь яростное сопротивление. Если мы привыкли к тому, что фармацевтические компании обязаны доказывать безопасность и (благоприятную) эффективность путем клинических испытаний, чтобы получить возможность продавать продукт потребителям, индустрия программного обеспечения следует другому комплексу правил, а именно их пустому множеству. «Компания придурков, потягивающих „Ред булл“» [333]в фирме — разработчике программного обеспечения может выпустить продукт или обновление, которые могут повлиять буквально на миллиарды человек, без какого-либо контроля незаинтересованной стороны.

Однако сфера технологий неизбежно должна будет признать, что от ее продуктов очень многое зависит, следовательно, важно, чтобы они не причиняли вреда. Это значит, что появятся законы, управляющие характером отношений с людьми, запрещающие разработки, которые, скажем, последовательно манипулируют предпочтениями или формируют зависимость. Я не сомневаюсь, что переход от нерегулируемого мира к регулируемому будет болезненным. Будем надеяться, что для преодоления сопротивления профессиональной среды не потребуется катастрофа масштаба Чернобыльской (или хуже).

Регулирование может быть болезненным для разработчиков программного обеспечения, но станет невыносимым для «Доктора Зло», строящего планы по захвату мира в тайном подземном бункере. Без сомнения, криминальный элемент, террористы и некоторые страны могут иметь стимул обойти любые ограничения, налагаемые на устройство разумных машин, чтобы их можно было использовать для контроля оружия или для разработки и осуществления преступных действий. Опасно не столько то, что системы злоумышленников могут оказаться успешными, сколько то, что они могут потерять контроль над плохо разработанными интеллектуальными системами — в особенности получившими вредоносные задачи и доступ к оружию.

Это не причина отказываться от регулирования (в конце концов, у нас есть законы против убийства, хотя они часто нарушаются), однако возникает очень серьезная политическая проблема. Мы уже проигрываем в борьбе с хакерскими программами и киберпреступлениями. (В недавнем отчете даются оценки в более чем 2 млрд потерпевших и около $600 млрд ежегодных потерь [334].) Противостоять вредоносному программному обеспечению в форме высокоинтеллектуальных программ будет намного сложнее.