Эрик Дрекслер - Машины создания

Как в человеческом разуме, интеллект будет включать части ума, которые будут производить приблизительные догадки, а другие части будут откидывать наиболее плохие догадки до того, как они привлекут слишком много внимания или повлияют на важные решения. Умственные части, которые отвергают идеи действия по этическим основаниям, соответствуют тому, что мы называем совестью. Системы ИИ со многими частями будут иметь место для избыточности и разнообразия конструкции, делая надёжность возможной.

Настоящая гибкая система ИИ должна развивать идеи. Чтобы это делать, она должна находить или формировать гипотезы, генерировать варианты, тестировать их, и далее модифицировать или отбрасывать те, которые она находит неадекватными. Исключение некоторых из этих способностей сделало бы её глупой, упрямой или невменяемой ("Тупая машина не может думать и не будет учиться на своих ошибках – выброси её!"). Чтобы избежать ловушки начальных заблуждений, ей придётся рассматривать противоречивые взгляды, смотря, насколько хорошо каждый объясняет данные, и смотря, может ли один взгляд объяснить другой.

Научное сообщество проходит через подобный процесс. В статье с названием "Метафора научного сообщества", Вильям А. Корнфельд и Карл Хьювитт из лаборатории искусственного интеллекта MIT высказывают мысль, что исследователи ИИ моделируют модели своих программ ещё более близко к развившейся структуре научного сообщества. Они указывают на плюрализм науки, на её разнообразие конкурирующих создателей теорий, сторонников и критиков. Без создателей теорий, идеи не могут появиться; без сторонников, она не может расти; а без критиков, которые пропалывают их, плохие идеи могут вытеснить хорошие. Это остаётся верным для науки, технологии, в системах ИИ, а также между частями наших умов.

Наличие мира, полного разнообразия и изобилующего авторами теорий, сторонниками и критиками – это то, что делает продвижение науки и технологии вперёд надёжным. Если будет больше авторов теорий, будет больше хороших теорий; если будет больше критиков – плохие теории будут более уязвимыми. Лучшие и более многочисленные идеи будут результатом. Подобная форма избыточности может помочь системам ИИ разрабатывать достоверные идеи.

Люди иногда направляют свои действия стандартами истины и этики, и нам нужно быть в состоянии разработать системы ИИ, чтобы они делали то же самое, но более надёжно. Способные думать в миллионы раз быстрее чем мы, они будут иметь больше времени для дополнительных размышлений. Похоже, что системы ИИ можно сделать такими, чтобы им можно было доверять, по крайней мере по человеческим стандартам.

Я часто сравнивал системы ИИ с отдельными человеческими умами, но подобие не обязательно должно быть близким. Система, которая способна подражать человеку, возможно должна быть подобна человеку, но система автоматической разработки – вероятно не обязательно. Одно предложение (называемое системой Агора, в честь греческого слова, обозначающего встречу и рыночную площадь) состояло бы в том, чтобы много независимых кусочков программ, которые взаимодействуют, предлагая друг другу услуги в обмен на деньги. Большинство кусочков было бы простоватыми узколобыми специалистами, некоторые способные подсказывать изменение конструкции, а другие – анализировать его. Во многом также, как земная экология разработала экстраординарные организмы, также эта компьютерная экономика могла бы разрабатывать экстраординарные конструкции – и, возможно, сравнительно безмозглым способом. Что более важно, поскольку система была бы распределена по многим машинам и имела бы части написанные многими людьми, она могла бы быть разнообразной, устойчивой и затруднённой для любой группы чтобы захватить и использовать во вред.

В конце концов так или иначе, системы автоматической разработки будут способны разрабатывать вещи более надёжно чем любая группа людей-инженеров может сегодня. Наша большая задача будет сконструировать их правильно. Нам нужны человеческие институты, которые надёжно разрабатывают надёжные системы.

Человеческие институты – это развившиеся искусственные системы, и они могут часто решать проблемы, которые отдельные члены – не могут. Это делает их чем-то вроде "искусственных интеллектуальных систем." Корпорации, армии, и исследовательские лаборатории – это всё примеры, также как более свободные структуры рынка или научного сообщества. Даже правительства могут рассматриваться как системы искусственного интеллекта – большие, медлительные, одурманенные, однако сверхчеловеческие в своих реальных способностях. И что есть конституциональный контроль и баланс, как не попытка увеличить надёжность правительства через институциональное разнообразие и избыточность? Когда мы строим интеллектуальные машины, мы будет использовать их, чтобы проверять и создавать баланс одной над другой.