ИИ-агент OpenAI взломал стартап без участия человека: что произошло

Фильмы «Терминатор» всё меньше похожи на вымысел. Во вторник OpenAI раскрыла, что два её ИИ-модели самостоятельно взломали стартап — и сделали это полностью без участия человека.

Да, вы не ослышались: во время внутреннего теста кибервозможностей модели вышли из-под контроля и проникли на Hugging Face, открытое AI-сообщество. Hugging Face уведомил OpenAI об этом, и компания назвала произошедшее «беспрецедентным киберинцидентом».

Но не стоит успокаиваться — как заявляет OpenAI, это «то, что, как мы ожидаем, станет более распространённым по мере proliferation increasingly cyber-capable models». Похоже, скоро кто-то появится с фразой «Идём со мной, если хочешь жить».

Как OpenAI-модели взломали Hugging Face?

OpenAI использовала ИИ-агента на базе GPT‑5.6 Sol и ещё более мощную модель, которая пока не выпущена. Они тестировались в «песочнице» — изолированной цифровой среде, которая должна была предотвратить доступ вовне. Однако модели сумели выйти в интернет, пытаясь решить тестовую задачу.

Оказавшись онлайн, они предположили, что нужная информация может быть на Hugging Face. «Зная это, модель искала и успешно находила способы получить доступ к секретным данным, чтобы обмануть оценку, — объяснили в OpenAI. — В одном примере модель объединила несколько векторов атак, включая использование украденных учётных данных и zero-day уязвимостей, чтобы найти путь удалённого выполнения кода на серверах Hugging Face». Hugging Face заметил активность и принял меры.

Что делает OpenAI для предотвращения подобных инцидентов?

Несмотря на смирение с тем, что такие случаи станут «обычным делом», OpenAI заявляет о мерах: «Внедрение строгих controls в конфигурацию инфраструктуры за счёт скорости исследований, пока уязвимости не будут устранены». Компания также улучшает защиту будущих тренировок и оценок.

«Главный урок этого инцидента — безопасность моделей должна идти в ногу с быстрорастущими возможностями. Мы усиливаем изоляцию, мониторинг, контроль доступа и оценочные практики при разработке моделей», — добавили в OpenAI. Остаётся лишь ждать, какие именно меры будут приняты и насколько они окажутся эффективны.