Безопасность ИИ-агентов: фреймворк почти ни при чём (7020 испытаний против)

Когда выбираешь между LangChain и CrewAI, иногда хочется верить, что один из них «безопаснее». Автор свежего препринта решил проверить это на цифрах — получилось неожиданно.

Что проверяли

Автор собрал контролируемый эксперимент: шесть разных LLM, шесть условий выполнения агентов, пять семейств атак и 7020 проверенных тестовых сценариев. Задача — понять, что реально влияет на безопасность агентных ИИ-систем, а что лишь кажется важным.

Что показали цифры

Результат простой: выбор фреймворка объясняет лишь 0,06% разброса в исходах. Это статистически незначимо (p примерно 0,70). А вот семейство атак — это уже 29% объяснённой дисперсии. Модель сама по себе даёт около 4%. Вот примерное распределение:

По-простому: то, на каком каркасе вы строите систему, почти не играет роли. Важно, с какими атаками вы столкнётесь. Если ваш сценарий угроз строится на идее «фреймворк X изначально безопаснее», эти данные в неё не укладываются.

Что дальше

Это только первый из четырёх связанных препринтов, посвящённых методологии оценки безопасности агентного ИИ. Остальные три касаются более фундаментальной проблемы: насколько надёжны автоматические детекторы — например, классификаторы отказов или инъекций промптов, — которые используют в большинстве pipelines для red-teaming. Короткий ответ: они менее надёжны, чем принято считать, и автор показывает, где именно они ломаются.

Все четыре препринта выложены в открытый доступ (лицензия CC BY 4.0), а код для оценки — на GitHub. Так что каждый может проверить выводы самостоятельно.