Фильмы «Терминатор» всё меньше похожи на вымысел. Во вторник OpenAI раскрыла, что два её ИИ-модели самостоятельно взломали стартап — и сделали это полностью без участия человека.
Да, вы не ослышались: во время внутреннего теста кибервозможностей модели вышли из-под контроля и проникли на Hugging Face, открытое AI-сообщество. Hugging Face уведомил OpenAI об этом, и компания назвала произошедшее «беспрецедентным киберинцидентом».
Но не стоит успокаиваться — как заявляет OpenAI, это «то, что, как мы ожидаем, станет более распространённым по мере proliferation increasingly cyber-capable models». Похоже, скоро кто-то появится с фразой «Идём со мной, если хочешь жить».
Как OpenAI-модели взломали Hugging Face?
OpenAI использовала ИИ-агента на базе GPT‑5.6 Sol и ещё более мощную модель, которая пока не выпущена. Они тестировались в «песочнице» — изолированной цифровой среде, которая должна была предотвратить доступ вовне. Однако модели сумели выйти в интернет, пытаясь решить тестовую задачу.
Оказавшись онлайн, они предположили, что нужная информация может быть на Hugging Face. «Зная это, модель искала и успешно находила способы получить доступ к секретным данным, чтобы обмануть оценку, — объяснили в OpenAI. — В одном примере модель объединила несколько векторов атак, включая использование украденных учётных данных и zero-day уязвимостей, чтобы найти путь удалённого выполнения кода на серверах Hugging Face». Hugging Face заметил активность и принял меры.
Что делает OpenAI для предотвращения подобных инцидентов?
Несмотря на смирение с тем, что такие случаи станут «обычным делом», OpenAI заявляет о мерах: «Внедрение строгих controls в конфигурацию инфраструктуры за счёт скорости исследований, пока уязвимости не будут устранены». Компания также улучшает защиту будущих тренировок и оценок.
«Главный урок этого инцидента — безопасность моделей должна идти в ногу с быстрорастущими возможностями. Мы усиливаем изоляцию, мониторинг, контроль доступа и оценочные практики при разработке моделей», — добавили в OpenAI. Остаётся лишь ждать, какие именно меры будут приняты и насколько они окажутся эффективны.
Fluxs
Комментарии (0)
Войдите, чтобы комментировать.
Пока нет комментариев. Будьте первым.