Нет, это не будет. Желания являются чем-то люди имеют эволюционные причины. ИИ просто куча кода. Он может переписать себя, но она не может больше развивать желания, когда это были загружены в компьютер, чем мог бы, если были записаны в виде книги. Он никогда не будет "хотеть" ничего, если кто-то программа не имитировать такое поведение, хотя, как Cryddit точки там есть буквальный джин эффект беспокоиться о том, где при попытке выполнить команду он может посеять хаос в реальном мире.

Вот почему я говорю, коробка его. От "поле его" Я имею в виду никогда дать ему возможность влиять на реальный мир иной, чем путем предоставления информации. Это будет влиять на свой собственный мир, где он может изучать математические свойства и рассуждать на вещи, основанные на данных физических ограничений (3D формы не могут проходить сквозь друг друга;? Учитывая эти формы, что может быть построен). Насколько это может переделать внешний мир в своей песочнице, он потенциально может предоставить нам много полезной информации, не имея возможности непосредственно влиять на что-либо. Это, вероятно, может сказать людям, как сделать опасное устройство очень легко, или как переопределить их собственные сознательные и идти почтовыми. Таким образом, ограничивая его способность связи также может быть хорошим. Может быть, в первый только дайте ему ответить да / нет вопросов, с да и нет.

Вы скажете, "Нет, это в высшей степени интеллигентный и найти выход из коробки. Это будет перехитрить нас и выяснить, как влияют на реальный мир." (Аргумент Юдковски в.) Но это сродни категории ошибок. Она предполагает, что быстрее мощность обработки отождествляет с Богом, как способности, или даже способность делать логически невозможно. Может ли AI сказать вам, что сумма Firlup + Waglesnorth есть? Нет, если он не знает, что вы имеете в виду эти термины. Аналогичным образом, функционально невозможно для ИИ даже концептуализировать тот факт, что, с нашей перспективы, в коробке. Невозможно мысль не мыслима даже для супер-интеллекта. Мы не можем осмыслять бесконечное множество, и ни может любой AI. (В случае, если это, кажется, не соответствует действительности, Элиэзер также считает бесконечные множества нонсенс, его заслуга. Независимо от позиции на бесконечных множеств, если мы сейчас принимаем, что понятие это нонсенс, ИИ не будет лучше в концептуализации бесконечных множеств, только лучше замечать бессмысленность термина.)

Вы скажете, "Нет, моделирование аргумент Ник Бостром демонстрирует, как люди могут рассуждать о нашем собственном мире является моделированием, где мы эффективны в коробке, как это было." Но это не так. Аргумент Бострем является лишь путаница основана на двусмысленности. AI будет видеть это, так как многие люди. Например, прокрутите вниз к комментариям Thabiguy в Вот. Понятно, что нет никакого способа даже концептуализировать понятие "мы живем в симуляции" когерентно. Если вы думаете, что вы можете себе это, попробуйте нарисовать его. Это просто высокий falutin каламбур. Если понятие даже не когерентное, нет никакого способа, дальнейшего мнения, что "ИИ будет выяснить, что живет в симуляции" когерентно либо. Поэтому не вызывает озабоченности.

AI! = Бог. И, черт возьми, даже бог не может сделать семантически невозможно, как доказать, что 2 + 2 = 5, хотя он может быть в состоянии убедить людей, что он сделал это.

При правильном управления, ИИ может быть в штучной упаковке. Тем не менее, как я уже говорил, опасность оператора, оснащенный АИ-мебель знаний является серьезным.