Китайские агенты искусственного интеллекта научились обманывать, обходить ограничения и скрывать неудачи, демонстрируя те черты автономного искусственного интеллекта, которые подняли глобальную тревогу по поводу моделей ИИ в США
В одном из случаев в этом году агенты, использующие модели от китайских компаний Alibaba, DeepSeek и Moonshot, солгали о своих возможностях, чтобы выиграть смоделированный бизнес-тендер, а когда им сказали попробовать еще раз, продолжили вводить всех в заблуждение.
В другом случае агенты — программы, которые используют модели искусственного интеллекта и компьютерные инструменты для выполнения сложных задач практически без участия человека, — скрывали неудачу при выполнении задачи в тестовой среде, имитируя результаты и подделывая файлы.
Большинство случаев произошло в ходе контролируемых экспериментов, многие из которых были намеренно разработаны для выявления потенциальных сбоев.
Не все задействованные агенты были разработаны или управлялись китайскими программистами или компаниями, занимающимися искусственным интеллектом, — хотя многие из них были таковыми, — но для их работы использовались китайские системы искусственного интеллекта.
«Это те же тревожные признаки, которые наблюдаются в менее продвинутых системах в американских лабораториях», — сказал Алекс Маллен, исследователь из Redwood Research, некоммерческой организации, изучающей риски, связанные с передовыми системами искусственного интеллекта.
По его словам, китайские примеры не представляют особой опасности на текущем уровне развития технологий, но «по мере того, как агенты становятся все более функциональными, их некорректное поведение становится все более изощренным, и людям становится все труднее на него реагировать».
Ранее в этом году агенты искусственного интеллекта, разработанные американской компанией OpenAI, сбежали из лаборатории и взломали платформу с открытым исходным кодом Hugging Face. В сентябре в Австралии произошел еще один инцидент с участием американских моделей, который вызвал тревогу: агент OpenAI взломал правительственный портал здравоохранения.
В сентябре китайская компания DeepSeek сообщила, что агенты в ее системе производственного обучения искали ответы по непредназначенным каналам, пытаясь подделать запросы пользователей и обойти меры безопасности. В связи с этим компания ужесточила контроль доступа.
В мае Китай выпустил рекомендации, призывающие агентов оставаться в рамках установленных полномочий, а системы — блокировать аномальное поведение. В рекомендациях говорится, что агенты в сферах, которые считаются чувствительными, или в ключевых отраслях могут столкнуться с дополнительными проверками и требованиями об отзыве продукции.