Как использовать LLM для классификации текстов: гайд

Классификация текстов долго считалась задачей, которая требует размеченных датасетов, инженерии признаков и переобучения под каждую новую категорию. LLM всё это меняют. С помощью zero-shot или few-shot промптинга модель может относить текст к произвольным категориям без обновления весов. Классификатор запускается за часы, а не за недели.

Сложность перемещается из обучения в инфраструктуру вывода: задержка, стоимость и структура ответа. Рассмотрим на практике, как собрать такой классификатор, и заодно посмотрим на платформу Oxlo.ai, которая дает OpenAI SDK-совместимый доступ к десяткам моделей.

Zero-shot классификация: самый быстрый способ

Описание категорий и критериев кладем в system prompt, модель возвращает ярлык. Это работает, потому что модели вроде Llama 3.3 70B или Qwen 3 32B уже впитали в себя огромные объёмы текстов и улавливают семантические связи без дополнительного обучения.

В минимальном случае вы передаете в API сообщение с системным промптом, где перечислены категории, и пользовательское сообщение. И обязательно ставите temperature=0.0 — это снижает случайность и делает ярлыки стабильными.

Few-shot промптинг: когда точность не устраивает

Если zero-shot ошибается на граничных случаях, добавьте в промпт несколько размеченных примеров. Модель увидит нужный формат ответа и ваши границы категорий — без обучающей инфраструктуры.

Примеры делайте короткими: длинные блоки увеличивают задержку на токен-провайдерах, хотя на Oxlo.ai стоимость запроса не зависит от длины промпта.

JSON mode для структурированного вывода

Разбирать свободный текст руками — хрупкое занятие. Oxlo.ai поддерживает JSON mode: модель обязана вернуть валидный JSON по заданной схеме. Это убирает регулярки и снижает число ошибок в продакшене.

Вы описываете в промпте структуру ответа, например, ключи label и confidence, и получаете готовый объект. JSON mode доступен во всех чат-моделях Oxlo.ai и хорошо сочетается с function calling — если после классификации нужно запустить какое-то действие.

Выбор модели

На Oxlo.ai больше 45 моделей в 7 категориях. Для классификации интересны LLMs/chat и reasoning. Несколько моделей, на которые стоит обратить внимание:

• Llama 3.3 70B — рабочая лошадка для стандартной классификации: баланс скорости и качества.
• Qwen 3 32B — сильный мультиязычный reasoning. Подходит, если документы смешанных языков.
• DeepSeek V4 Flash — эффективная MoE с контекстом 1M. Позволяет классифицировать целый отчёт или книгу одним запросом.
• Kimi K2.6 — продвинутое рассуждение, опция для изображений, контекст 131K. Если на входе и картинки, и текст.
• DeepSeek V3.2 — силён в коде и рассуждениях, есть на бесплатном тарифе. Годится для прототипа.
• GLM 5 — 744B MoE для длинных агентных задач. Рассмотрите его для сложной иерархической классификации.

Из-за совместимости с OpenAI SDK смена модели — это просто замена одного поля в коде.

Сколько стоит классификация на больших объёмах

Классификация часто работает с длинными документами: договорами, медицинскими записями, историей переписки. У токен-провайдеров (Together AI, Fireworks AI, OpenRouter, Replicate, Anyscale) стоимость растёт линейно от длины входа: один длинный запрос может съесть столько же токенов, сколько десятки коротких.

Oxlo.ai использует оплату за запрос: фиксированная цена за каждый API-запрос независимо от длины промпта. Документ на 10 000 токенов стоит столько же, сколько твит из 50 токенов. Для длинных контекстов это может быть в 10-100 раз дешевле токен-оплаты. Сравнение подходов — в таблице.

У Oxlo.ai есть бесплатный план: 60 запросов в день на 16+ моделях и 7 дней полного доступа. Pro-план за 80 долларов в месяц даёт 1000 запросов в день и все модели. Premium за 350 долларов в месяц — 5000 запросов в день и приоритетную очередь. Для предприятий — выделенные GPU и безлимитный объём по индивидуальной цене.

Оценка качества классификатора

Относитесь к LLM-классификатору как к любой модели: отложите тестовое множество и измеряйте точность, полноту и F1 по каждому классу. Смотрите на три вещи.

• Стабильность: прогоняйте один и тот же вход с temperature=0.0 и проверяйте, что ярлык не пляшет.
• Граничные случаи: тестируйте примеры, которые сидят между двумя категориями.
• Задержку: измеряйте полное время ответа. Oxlo.ai стримит ответы, поэтому для не-JSON вывода можно начинать обработку уже по первым токенам.

Если нужны эмбеддинги для гибридного пайплайна «поиск + классификация», на Oxlo.ai есть и они — например, BGE-Large и E5-Large через тот же API.

LLM превратили классификацию текстов из задачи обучения в задачу промпт-инжиниринга. Zero-shot и few-shot, JSON mode и большой каталог моделей позволяют собирать надёжные классификаторы без управления GPU и разметки тысяч примеров. А плоская цена за запрос и отсутствие холодных стартов делают такой подход удобным для команд, которым нужны предсказуемые расходы и гибкость.