Шесть decision-моделей за 16 дней: как устроены Jev, Clef и другие

15 сентября TypeSafe выпустила Jev и назвала её первой моделью класса System One. Модель получает состояние системы и набор типизированных вопросов, а возвращает распределение вероятностей по допустимым ответам. Весь ответ считается за один прямой проход, без генерации токенов.

За 16 дней вышли ещё пять реализаций той же идеи: Clef и Clef-flash от Cloudflare, pplx-decider-v1–27b от Perplexity, Strands Decider 2B от AWS, Laya от Convai Innovations и GLiDE от Fastino. Интерфейс у них почти общий, а внутри пять разных решений: замороженная LLM с обучаемым выходным слоем, LLM с заменённой LM head, pointer-механизм, энкодер на 322 млн параметров и рассуждение, которое включается по требованию.

Зачем агентам отдельная модель

Во многих агентных системах LLM вызывается на каждом шаге, хотя на большинстве шагов текст не нужен. Агент выбирает инструмент, проверяет, закончена ли задача, решает, можно ли выполнять команду. Полная генерация на таком шаге стоит дороже и работает медленнее, чем требует выбор, а ответ ещё приходится парсить и проверять на соответствие формату.

TypeSafe предложила для этих шагов отдельный быстрый контур и назвала его System One, по аналогии с быстрым интуитивным мышлением, которое Канеман назвал Системой 1. Название Jev отсылает к парадоксу Джевонса: чем дешевле ресурс, тем больше его потребляют. Сама Jev стоит 0,042 доллара за миллион входных токенов, TypeSafe заявляет задержку 70–500 мс и контекст 32K токенов.

Интерфейс: состояние и типизированные вопросы

Запрос состоит из двух частей. Состояние (state) — текст или JSON: тикет, страница, трасса агента, история переписки. Вопросы к нему бывают трёх типов: noul (вероятность ответа «да»), choice (один вариант из списка, у Jev до 255 вариантов) и score (уровень на упорядоченной шкале).

В ответе приходит вероятность для каждого допустимого ответа каждого вопроса. Выходных токенов нет, поэтому Jev, Clef и pplx-decider тарифицируют только вход. Несколько вопросов к одному состоянию выгодно отправлять одним запросом: состояние оплачивается один раз. Clef принимает до 64 вопросов за запрос.

Что меняется в архитектуре

В обычной LLM трансформер переводит вход в скрытые состояния, а последний слой, LM head, проецирует вектор последней позиции на словарь из десятков или сотен тысяч токенов. Decision-модель оставляет только prefill. Вместо проекции на словарь стоит выходной слой, который оценивает допустимые варианты, и softmax по ним.

Следствий три: ответы на все вопросы к состоянию считаются за один проход параллельно; ответ всегда входит в допустимое множество, парсить и валидировать нечего; пропускная способность GPU определяется скоростью prefill, а она намного выше скорости генерации.

Шесть моделей в одной таблице

• Jev (TypeSafe) — основа не раскрыта, доступ по API, 0,042 доллара за миллион входных токенов, контекст 32K.
• Clef (Cloudflare) — замороженная Qwen3.8–27B плюс LoRA, API и веса под Apache 2.0, 0,24 доллара, контекст 64K.
• Clef-flash (Cloudflare) — замороженная Qwen3.5–9B плюс LoRA, API и веса под Apache 2.0, 0,09 доллара, контекст 64K.
• pplx-decider-v1–27b (Perplexity) — переобученная Qwen3.8–27B на 26,1 млрд параметров, фиксированный выход на 255 решений, API и веса под Apache 2.0, 0,042 доллара, контекст 62K.
• Strands Decider 2B (AWS) — Qwen3.5–2B плюс LoRA на 1,9 млрд, pointer-head примерно на 1 млн параметров, веса под Apache 2.0, бесплатно на своём железе.
• Laya (Convai Innovations) — ModernBERT на 421 млн или mmBERT на 322 млн, маркер [MASK] на каждый вариант, веса под Apache 2.0, бесплатно на своём железе.
• GLiDE (Fastino) — основа не раскрыта, быстрый проход с рассуждением при неуверенности, API, 0,30 доллара включая токены рассуждения, контекст 40K.

Clef и Clef-flash

Cloudflare оставила базовую модель нетронутой: у Clef это замороженная Qwen3.8–27B, у Clef-flash Qwen3.5–9B. Обучаются LoRA-адаптеры и отдельный механизм маршрутизации внимания между вариантами. После prefill выходной слой оценивает все варианты параллельно. Визуальный энкодер Qwen сохранён, поэтому обе модели принимают до четырёх картинок за запрос.

Веса открыты под Apache 2.0 и запускаются через Transformers, vLLM или SGLang. В Workers AI модели стоят 0,24 и 0,09 доллара за миллион входных токенов при контексте 65 536 токенов. По тестам Cloudflare, Clef или Clef-flash первые в 7 из 10 decision-бенчмарков. На BANKING77 Clef обходит Jev на 14,5 пункта (94,2 против 79,7), а на When2Call проигрывает 8,6.