Shadow AI: почему бесконтрольный ChatGPT ломает комплаенс и что с этим делать

Shadow AI — это когда сотрудники используют нейросети вроде ChatGPT без ведома IT-безопасности. Не из злого умысла, а потому что удобно: написать резюме, закончить код, разобрать таблицу. Проблема в том, что такой подход оставляет дыру в комплаенсе.

Пока всё работает, на это закрывают глаза. Но когда приходит аудит или случается инцидент, выясняется: клиентские данные, исходный код, юридическая переписка и внутренние прогнозы уже ушли в неизвестность. Никто не знает, где они обрабатывались, как долго хранились и повлияли ли на поведение модели.

Почему это ломает комплаенс

Системы корпоративного контроля держатся на прослеживаемости. Аудитор ждёт, что вы покажете, кто имел доступ к чувствительной информации, какая обработка происходила и какие ограничения действовали. Shadow AI рвёт эту цепочку: данные уходят в чёрный ящик, а в логах остаётся только факт обращения к внешнему сервису — и то не всегда.

Типичные нарушения выглядят так:

• конфиденциальные данные попадают в неутверждённые промпты;
• нет записей о согласии на обработку или правовом основании;
• правила хранения и удаления не соблюдаются;
• сгенерированные результаты используются без подтверждения источника;
• модель или провайдер меняются без документации;
• невозможно воспроизвести, как было принято решение на основе ИИ.

Особенно остро это чувствуется в регулируемых сферах и в науке. Сгенерированная выжимка может потерять важный контекст, а код, написанный нейросетью, — притащить небезопасные зависимости или несовместимые лицензии. Если связать результат с исходным материалом, моделью, пользователем и политикой не получается, разобраться в ошибке почти нереально.

Для организаций, работающих с медицинскими и биологическими данными, это критично вдвойне. Персональную информацию о здоровье нельзя подставлять в обычный чат-интерфейс — такие данные должны обрабатываться как управляемые активы, а не как случайный текст.

Что делать: строить слой доказательств

Запретить ChatGPT — не решение. Блокировка домена просто заставит людей пользоваться личными устройствами или альтернативными сервисами. Вместо этого нужна инфраструктура, в которой ИИ доступен, но его использование видно и подчиняется правилам.

Практический подход — собрать машинно-читаемый слой доказательств. Он связывает пользователей, наборы данных, модели, промпты, выводы, политики и согласования. Тогда можно спокойно ответить на вопросы: использовались ли ограниченные данные? Какая политика применялась? Требовалась ли ручная проверка? Можно ли повторить результат?

В этом помогают графовые архитектуры. Например, open-source проект TrustGraph как раз показывает, как хранить комплаенс-записи в виде графа, а не разрозненных логов и таблиц. Связи между активами сохраняются, и аудит перестаёт быть гаданием.

Технически уровень доказательств строится на событиях идентификации, классификации данных, метаданных модели, решениях политики и хэшах выходов. Каждое взаимодействие с ИИ превращается в проверяемую запись — без необходимости хранить каждый чувствительный промпт открытым текстом. Политические движки могут оценивать эти записи автоматически, а служба безопасности — отслеживать исключения и повторяющиеся паттерны риска.

Запрет или управление — сравниваем

Разница принципиальная. В первом случае вы не знаете, что происходит. Во втором — знаете всегда, и это позволяет давать людям свободу без потери контроля.

Типичные ошибки при внедрении

1. Начать с запретов и не предложить альтернативу. Сотрудники всё равно найдут способ — просто станут скрывать.
2. Считать, что хватит корпоративного чат-бота. Если он неудобный и медленный, им перестанут пользоваться.
3. Ограничиться списком разрешённых инструментов, не настроив сбор доказательств.
4. Игнорировать человеческий фактор: без обучения политика заканчивается там, где начинается лень.
5. Пытаться хранить все промпты в открытом виде. Правильнее — сохранять хэши и метаданные, а не содержимое.

Управление — это не про ограничение свободы, а про предсказуемость. Когда сотрудник знает, что его действия фиксируются, он становится аккуратнее. А компания получает возможность разбирать инциденты, а не разводить руками.

Цель — не убрать генеративный ИИ. Цель — сделать его видимым, атрибутируемым, управляемым политиками и пригодным для аудита.

Если встроить управление прямо в инфраструктуру, то эксперименты можно продолжать, не отдавая чувствительные данные на сторону. Это не компромисс, а единственный способ не выбирать между инновациями и безопасностью.