Агенты кодинга: одних токенов мало, нужны доказательства

Когда вы смотрите на отчёт об использовании агента кодинга, что вы видите? Скорее всего, цифры: токены по моделям, расходы по дням, может быть, сессии. Это полезно для учёта, но не говорит, изменил ли дорогой запуск нужные файлы, запустил ли тесты или просто долго крутился вокруг ошибки.

Проект agentacct (ранняя альфа, локальный) пытается соединить эти вопросы. Его документация описывает импорт данных из локальных сессий клиента с записью шагов задачи и проверок машины, а затем объединяет два потока доказательств с помощью реальных идентификаторов сессии или транскрипта.

Самая ценная деталь — не дашборд, а словарь неопределённости:

• Импортированные токены помечаются как client_reported.
• Стоимость — это оценка по прайс-листу, а не счёт от провайдера.
• Пройденная проверка машины отличается от собственного утверждения агента.
• Привязка может быть точной, высокой, средней или низкой достоверности; недоказуемая связь остаётся пробелом.

Это более здоровый подход к разработке агентов. Привязка с низкой достоверностью не должна молча становиться фактом затрат по задаче только потому, что интерфейсу нужно число. А утверждение, что агент «запустил тесты», не должно весить столько же, сколько запись пройденного теста.

Практические компромиссы

У проекта есть операционные издержки. Требуется Python 3.11+, а настройка может создать глобальное состояние или состояние проекта и добавить конфигурацию интеграции с клиентом. «Локальный» — это преимущество для приватности, но не равно нулевой проверке. Репозиторий называет проект ранней альфой, так что разработчику стоит изучить инструкцию по установке и таблицу истинности использования перед включением на рабочей машине.

Я не тестировал agentacct. Это обзор только публичной документации, файлов и структуры репозитория; совместимость, производительность и интеграцию нужно проверять отдельно. Проект распространяется по лицензии MIT.