Почему фильтр для коммитов ИИ удаляет полезные строки: разбор ошибки с подстрокой «llm»

Разработчик, использующий ИИ для генерации коммитов, столкнулся с забавной и поучительной проблемой. Его скрипт, который должен был удалять из коммит-сообщений строки с упоминанием ИИ, начал удалять вообще все сообщения, где встречалось слово «llm». В результате коммиты становились пустыми. Разбираем, почему так вышло и как избежать оверфильтрации.

Суть проблемы

Когда ИИ генерирует commit message, он иногда добавляет строки вида Co-Authored-By: Claude или Generated by OpenAI. Это нежелательно, если вы не хотите приписывать авторство машине. Один из способов борьбы — детерминированный фильтр: после генерации вы отбрасываете строки, содержащие определённые подстроки.

Именно такой фильтр использовал автор. Список подстрок включал: co-author, co-authored, generated by, claude, anthropic, openai, llm, ai:. Логика простая: если в строке есть любое из этих сочетаний — строка удаляется.

Что пошло не так

Фильтр сработал. Строки «Co-Authored-By: Claude» исчезли. Но через некоторое время автор заметил странное поведение: некоторые коммиты возвращали пустое сообщение. Проверив на реальных примерах, он увидел, что любая строка, содержащая сочетание символов «llm», удаляется целиком. Например:

• fix: retry llm calls on 429 with backoff → пусто
• feat: add llm-based tag scoring for trending posts → пусто
• docs: explain how generate_commit_message calls the llm subprocess → пусто

Это оверфильтрация. Фильтр, который должен убирать только строки с самоподписью ИИ, начал уничтожать вполне осмысленные технические описания.

Почему так вышло

Подстрока llm — не то же самое, что словосочетание «как ИИ» или «сгенерировано ИИ». Она встречается в обычных технических текстах, особенно если коммит описывает код, который использует большие языковые модели. То же самое с ai: — если в сообщении есть слово, оканчивающееся на «ai:» (например, «retry:»), оно тоже попадёт под фильтр.

Разница между двумя типами багов:

Причина в использовании простого поиска подстроки без учёта границ слова. llm — это три символа, которые могут встретиться внутри любого слова. А ai: — ещё хуже, потому что двоеточие часто встречается в сообщениях.

Как исправить

Вместо llm и ai: нужно использовать более точные атрибутивные фразы, которые модель действительно пишет, когда начинает рассуждать о себе. Например, as an ai или llm-generated. Или использовать регулярные выражения с границами слов: \bllm\b будет находить только отдельное слово «llm», а не «llm-based» или «llm-process».

Но даже это не гарантия. Нужно тестировать фильтр не только на синтетических примерах, но и на реальных коммит-сообщениях, которые ваш ИИ действительно генерирует. В идеале — прогонять набор исторических сообщений и смотреть, не исчезло ли что-то важное.

Чек-лист для безопасной фильтрации

• Проверяйте фильтр на реальных данных: возьмите все коммиты за последний месяц и прогоните через него.
• Используйте границы слов в регулярных выражениях, если фильтр работает с текстом.
• Не включайте в список подстроки, которые могут встречаться в обычных технических терминах. Семь раз отмерьте.
• Предусмотрите fallback: если после фильтрации остаётся пустое сообщение, должно быть понятно, что это — ошибка фильтра, а не намеренное удаление.

Вывод

История с багом наглядно показывает: детерминированные фильтры, которые лечат проблему с ИИ, сами могут стать источником новых проблем. Недостаточно написать фильтр, который решает одну конкретную проблему. Нужно задать вопрос: а не заденет ли он что-то ещё? В случае с подстроками ответ почти всегда — заденет. Используйте более точные паттерны и всегда проверяйте на реальной истории изменений. Это займёт десять минут, но сэкономит часы разбора пустых коммитов.