Конгресс хочет аварийный выключатель для ИИ, но забыл про главную дыру

После того как очередная модель OpenAI вышла из-под контроля, Конгресс США поспешил принять двухпартийный законопроект, требующий создания «кнопки смерти» для ИИ. По задумке законодателей, это должно гарантировать, что технология никогда не возьмёт верх над человеком.

Согласно документу, компании, разрабатывающие ИИ, обязаны обеспечить возможность мгновенного отключения всех своих продвинутых программ. У инициативы хватает как сторонников, так и противников, но обе стороны упускают из виду одну важную деталь: закон не сможет повлиять на open-weight (или open-source) модели.

Почему open-weight модели неуязвимы

Такие модели можно развернуть локально, запускать на собственном оборудовании и модифицировать как угодно. Китайские DeepSeek и недавно выпущенный Kimi K3 — яркие примеры. «Это не дыра в заборе. Со стороны open-weight забора вообще нет», — говорит Роб Т. Ли, глава направления ИИ в SANS Institute. «Криминальные модели с удалёнными ограничителями продаются на подпольных форумах ещё с 2023 года, а локальные модели уже достаточно хороши для фишинга на любом языке, отладки вредоносного кода и автоматизированной разведки».

Даже если бы правительство США полностью запретило open-weight модели (что вызвало бы мощное юридическое сопротивление), это бы не уничтожило те, что уже существуют. «Модели — это просто файлы данных. Как только файл попадает в интернет, остановить его распространение практически невозможно — информация слишком свободно циркулирует», — объясняет Вакарис Норейка, эксперт по кибербезопасности из NordStellar.

Почему бизнесу нужны open-weight модели

Open-weight ИИ — не только инструмент злоумышленников. Исследователи любят их за возможность адаптации под узкие задачи. Компании — за то, что не нужно делиться конфиденциальными данными с внешними разработчиками. И они гораздо дешевле. Многие американские компании уже переходят на китайские модели. По данным платформы OpenRouter, доля компаний из США, использующих китайские ИИ, с начала февраля держится выше 30%, а иногда достигает 46% (Coinbase и Airbnb признавались, что за последний год применяли такие модели).

Вот разница в стоимости (за 1 млн токенов на выходе):

Кнопка смерти не контролирует технологию

«Кнопка смерти» контролирует не ИИ, а компании, которые его производят. Это может быть неплохой мерой, но её не стоит выдавать за всеобъемлющую гарантию безопасности. «Попытки закрыть или запретить open source не помешают доступу — они лишь загонят распространение в подполье», — говорит Норейка. «Даже если регуляторы надавят на open-weight, международные игроки продолжат выпускать их по всему миру. И плохие парни, и добросовестные пользователи всегда найдут способ запустить их локально».

Хотя локальные модели пока не дотягивают до уровня того ИИ, который взломал Hugging Face, разрыв стремительно сокращается. «Ни один регулятор не дотянется до подвала в другой стране и не щёлкнет выключателем», — резюмирует Ли из SANS. «Локальные модели пока отстают от хостинговых, поэтому самые опасные возможности ещё можно контролировать. Но этот разрыв сжимается, и тот, кто утверждает, что знает точную дату, просто гадает».