Как за 30 минут проверить open-weight модель на своих задачах и не обжечься

Каждые пару недель на таймлайне вспыхивает новая open-weight модель. Последняя — MiniMax, до неё была другая. Графики впечатляют, чат пестрит горячими мнениями, и только один вопрос остаётся без ответа: справится ли эта штука с вашим кодом, с вашими багами и вашими задачами. Обычно все решают по бенчмарку из анонса, и это ошибка.

Почему публичные бенчмарки не отвечают на ваш вопрос

Дело не в том, что бенчмарки врут. Просто они отвечают на другой вопрос — как модель справляется с тщательно отобранными задачками и чистыми промптами. Ваша реальность грязнее: в коде куча файлов, комментарии устарели, миграция API сделана наполовину, а в кодстайле есть местные заморочки, которых нет ни в одном датасете. Модель может быть первой в лидерборде и при этом выдумать сигнатуру внутреннего логгера. Единственный точный тест — ваш собственный, на ваших задачах из бэклога.

Тридцать минут, три шага

Процесс из трёх шагов. Но не спешите концентрироваться на цифрах: половина времени уходит на подготовку, а не на прогон.

Шаг 1 — заморозить задачи (10 минут)

Держите под рукой файл с 8–12 реальными задачами, которые вы недавно делали сами. Не надо ничего выдумывать — берите то, что реально было в работе. Туда войдут: небольшой фикс бага, рефакторинг с жёсткими ограничениями, тест на новую функцию, обновление докстрингов или README и одна по-настоящему сложная задача, для которой вы уже знаете правильный ответ и его тонкость.

Шаг 2 — прогон вслепую (10 минут)

Запускаете одинаковые промпты и на новой модели, и на той, которой пользуетесь каждый день. Температуру и контекст ставите одинаковые. А чтобы не поддаться обаянию новинки, подписываете результаты буквой A или B и только потом смотрите, какая модель что выдала.

Шаг 3 — чеклист вместо ощущений (10 минут)

Каждую задачу оцениваете по чеклисту, по пунктам 0 или 1. Сумма баллов почти всегда оказывается скучнее, чем обещают анонсы, а иногда вылезает регрессия на именно той группе задач, которая вам нужна.

На весь процесс уходит 30 минут. Даже если нет платной подписки, можно уложиться в бесплатные лимиты. Главный бонус: у вас появляется доказательство, которое можно защитить на ревью, а не «оно мне понравилось».

Публичный бенчмарк против собственного евала

Что делать в следующий раз

Когда на таймлайне появится новая open-weight модель, не бросайтесь переводить рабочий процесс на неё. Потратьте 10 минут и подготовьте набор из 8–12 задач из собственного недавнего бэклога — до того, как она выйдет. Тогда для новой модели вам останется только прогнать A/B. Это дешевле и честнее, чем очередной восторженный тред.

Бенчмарк из анонса показывает общую производительность. Ваш тридцатиминутный евал показывает, будет ли модель полезна именно вам. Доверять стоит только второму.