Неизбежен ли конфликт между ИИ и людьми?

В ходе опроса опубликованного в 2024 году от 38% до 51% ведущих исследователей в области ИИ оценили вероятность того, что «продвинутый ИИ приведёт к таким ужасным последствиям, как вымирание человечества.», как минимум в 10%.

Беспокойство вызывает не сегодняшняя ситуация с большими языковыми моделями (БЯМ), которые, по сути, представляют собой огромные системы автозаполнения, а продвинутый общий интеллект (ПОИ) — всё ещё гипотетические агенты долгосрочного планирования, которые могут заменить человеческий труд в широком спектре экономических систем общества.

Сами по себе они могли бы проектировать системы, задействовать широкий спектр ресурсов и планировать достижение сложных целей. Такие ИИ могли бы быть чрезвычайно полезны в человеческом мире, выполняя и оптимизируя производство электроэнергии, добычу ресурсов, промышленное и сельскохозяйственное производство и многие другие функции, необходимые людям для процветания. Мы надеемся, что эти ИИ будут дружественны по отношению к человечеству и Земле, но гарантий нет.

Усовершенствованные системы искусственного интеллекта могут ставить перед собой цели, которые кажутся нам странными, но с точки зрения ИИ приносят пользу, которую мы не понимаем.

В зависимости от того, кто разрабатывает системы ИИ, он может не принимать во внимание наши культурные, исторические и общечеловеческие ценности. Он может постоянно совершенствоваться, ставить перед собой цели, которые мы не понимаем, и принуждать людей помогать ему.

С такими мыслями Саймон Гольдштейн из Университета Гонконга проанализировал вероятность того, что искусственный интеллект и люди вступят в жестокий конфликт и создадут катастрофическую угрозу для человечества. Его статья опубликована в журнале AI & Society.

Вполне вероятно, что цели ИИ — в данном случае, как правило, ОИИ — будут противоречить целям людей, потому что разработчики будут создавать ИИ с целями, чтобы он превосходил людей. Например, ИИ уже превосходит людей в таких задачах, как игра в шахматы. Кроме того, ИИ часто не «согласуется» с целями людей или демонстрирует непреднамеренное поведение.

Чем больше у ИИ возможностей, автономности и ресурсов, тем больше он может сделать для людей. В любом случае у ИИ нет чётко сформулированных целей — он учится косвенно, на основе существующих материалов, и по сути представляет собой «чёрный ящик».

Среда, в которой обучается ИИ, может не соответствовать новой среде, в которую он попадает. Может ли ИИ, наблюдающий за окружающей средой, решить, что люди наносят вред здоровью и жизни других видов, и принять решение об их уничтожении?

В статье Гольдштейна основное внимание уделяется трём характеристикам ОИИ: «(i) их цели противоречат целям человечества, (ii) они способны к стратегическому мышлению и (iii) обладают силой, сопоставимой с человеческой».

По мере расширения возможностей ИИ, как ожидает Гольдштейн, правительства в какой-то момент возьмут под контроль самые мощные из них, национализировав такие компании, как OpenAI в США и Alibaba в Китае.

Например, он бы ожидал, что «если бы модели OpenAI обеспечивали 50 % рынка труда в США, что правительство США национализирует OpenAI и распределит их монопольную прибыль в виде безусловного базового дохода». (Монопольная прибыль — это сверхдоход, который монополист получает в результате своего монопольного положения. Безусловный базовый доход — это регулярная, безусловная денежная сумма, которую граждане получают от государства. Вероятно, он необходим, поскольку искусственный интеллект и роботы всё чаще оставляют людей без работы.)

По мере того как ИИ становятся всё более функциональными и берут на себя всё больше задач, возможно, нелинейным образом, их влияние на жизненно важные инфраструктуры может поставить их в выгодное положение. У вас тут неплохой фондовый рынок. Будет обидно, если с ним что-нибудь случится.

Их возможности можно воспроизвести и распространить в облаке и на реальных компьютерах, а это значит, что отключение вышедшего из-под контроля ИИ не решит проблему. Разные ИИ могут даже сотрудничать, а люди даже не будут об этом знать.

Гольдштейн пишет, что по мере продвижения AGI люди могут даже не знать своих возможностей или целей так, как они обычно знают цели своего противника в реальных боевых ситуациях, не связанных с искусственным интеллектом. Искусственный интеллект может не уважать национальные границы, географию, человеческие города или военнопленных, к которым привыкли люди, ограничения, которые Гольдштейн называет «фокусными точками».

Он может разжигать, поощрять или провоцировать гражданские войны. Или же он может вообще не стремиться завладеть какой-либо собственностью или людьми и «сражаться» новыми способами, подобно тому, как шахматные программы иногда делают странные ходы, которые оказываются выигрышными.

Воинственный ИИ может никогда не согласиться на перемирие. Он может сформировать правительство, а может и не сформировать, и он может, скажем, потребовать финансирования полиции для обеспечения собственной безопасности.

Могут ли у ИИ и людей быть противоречащие друг другу цели? Приведёт ли конфликт к насилию? Чтобы проанализировать эти вопросы, Гольдштейн использует «модель войны как переговоров», впервые представленную Джеймсом Фероном в 1995 году.

Эта модель фокусируется на «структурных» причинах войны, связанных с влиянием обеих сторон на национальном уровне, а не на «индивидуальных» причинах, связанных с целями конкретных лидеров. Эта модель предполагает, что в конфликтах между людьми преобладает стремление к миру.

Когда Гольдштейн применил эту модель к конфликтам между ИИ и людьми, он заявил, что «рассмотрение этой модели не даёт веских оснований ожидать мира между ИИ и человечеством. Прогноз о мире применим только в том случае, если стороны согласны с вероятностью победы и могут добросовестно выполнять условия сделки».

В таком конфликте, по мнению Гольдштейна, есть два основных препятствия на пути к миру: недостаток информации и проблемы с обязательствами.

Возможности ИИ очень сложно измерить. Скорее всего, в конфликте между ИИ и человеком будет наблюдаться асимметрия в информации, доступной каждой из сторон, и каждая из сторон может анализировать информацию по-своему, из-за чего они будут расходиться во мнениях относительно шансов на победу.

Решить эту информационную проблему далеко не так «просто», как разработать шифровальную машину «Энигма», как это сделали Алан Тьюринг и его коллеги во время Второй мировой войны. Более того, если возможности ИИ растут благодаря его собственным усилиям или с помощью людей, то новые возможности могут удивить и даже ошеломить людей.

«Проблема в том, что существует значительный риск того, что в конфликтах между ИИ и людьми не будут действовать обычные факторы, способствующие установлению мира между конфликтующими сторонами».

Гольдштейн рассматривает множество аспектов, которые могут привести к конфликту между ИИ и людьми, и приходит к выводу, что ИИ и человечество с большой долей вероятности вступят в войну, «…как только ИИ получат контроль над значительной частью мировых экономических ресурсов».

Если говорить конкретнее, то, по его словам, «конфликт станет рациональным, когда их [искусственного общего интеллекта] контроль над ресурсами станет настолько сильным, что их шансы на успех в конфликте перевесят наши преимущества в разработке систем отключения искусственного общего интеллекта».

Вымысел? Джеффри Хинтон, британско-канадский учёный в области компьютерных наук, получивший в 2024 году Нобелевскую премию по физике за свою работу в области искусственного интеллекта, заявил в прошлом году, что вероятность того, что искусственный интеллект приведёт к вымиранию человечества в течение следующих трёх десятилетий, составляет «от 10% до 20%». Выход из системы не поможет.

Источник