TabPFN-3.5: новая табличная модель бьёт рекорды на бенчмарках
Prior Labs выпустила TabPFN-3.5 — фундаментальную модель для табличных данных, работающую без подбора весов под конкретный датасет. Она заняла первое место на семи табличных бенчмарках и набрала 1866 Elo на TabArena.
- TabPFN-3.5 заняла первое место на семи табличных бенчмарках со средним винрейтом 78% против конкурирующих табличных базовых моделей
- На TabArena модель набрала 1866 Elo, вариант TabPFN-3.5-Thinking — 1910 Elo, у TabPFN-3 было 1631 Elo
- На TALENT средний ранг составил 2.95 на 274 датасетах против 5.35 у TabICLv2 и 4.48 у TabPFN-3
Prior Labs представила TabPFN-3.5 — новую флагманскую фундаментальную модель для табличных данных. Технический отчёт опубликован на arXiv. Модель работает без подбора весов под конкретный датасет: она сразу выдаёт результат на новых таблицах.
Разработчики расширили скрытую размерность трансформера до 1024, объединили классификацию и регрессию в одной сети и заменили внешний препроцессинг обучаемыми признаками Фурье и ранжированием по эмпирическому распределению.
Результаты на бенчмарках
TabPFN-3.5 заняла первое место на семи табличных бенчмарках со средним винрейтом 78% против конкурирующих табличных базовых моделей и 89% против классических алгоритмов. На TabArena модель набрала 1866 Elo, а вариант TabPFN-3.5-Thinking — 1910 Elo. Для сравнения: у TabFM 1780 Elo, у TabPFN-3 — 1631 Elo.
На бенчмарке TALENT средний ранг TabPFN-3.5 составил 2.95 на 274 датасетах. У TabICLv2 этот показатель 5.35, у TabPFN-3 — 4.48.
Варианты модели
Для быстрого инференса выпущен вариант TabPFN-3.5-Fast — он работает до 3 раз быстрее TabPFN-3, сохраняя большую часть прироста точности. Также обновлён TabPFN-3.5-Plus: расширены мультимодальные возможности с продвинутой обработкой текста и дат, добавлены проприетарные оптимизации инференса.
Вышла новая версия режима Thinking — TabPFN-3.5-Thinking. Она масштабирует вычисления во время инференса и работает до 12 раз быстрее TabPFN-3-Thinking.
Модель доступна на GitHub и Hugging Face. Авторы отмечают, что нативная мультимодальность и максимальная скорость инференса остаются закрытыми enterprise-решениями.
Для профиТехнические детали: архитектура, цифры, ссылки
Архитектура: скрытая размерность трансформера расширена до 1024; классификация и регрессия объединены в одной сети; внешний препроцессинг заменён обучаемыми признаками Фурье и ранжированием по эмпирическому распределению.
Бенчмарки:
- TabArena: 1866 Elo (TabPFN-3.5-Thinking — 1910 Elo), против 1780 у TabFM и 1631 у TabPFN-3
- TALENT: средний ранг 2.95 на 274 датасетах, против 5.35 у TabICLv2 и 4.48 у TabPFN-3
- Средний винрейт 78% против табличных базовых моделей и 89% против классических алгоритмов на семи бенчмарках
Варианты: TabPFN-3.5-Fast — до 3x быстрее TabPFN-3; TabPFN-3.5-Plus — мультимодальность с обработкой текста и дат, проприетарные оптимизации; TabPFN-3.5-Thinking — до 12x быстрее TabPFN-3-Thinking.
Ссылки: arXiv, GitHub, Hugging Face.
Вопросы и ответы
- Что такое TabPFN-3.5?
- Фундаментальная модель для табличных данных от Prior Labs, работающая без подбора весов под конкретный датасет.
- Какие результаты у TabPFN-3.5 на бенчмарках?
- Первое место на семи табличных бенчмарках, 1866 Elo на TabArena, средний ранг 2.95 на TALENT.
- Где скачать TabPFN-3.5?
- Модель доступна на GitHub (PriorLabs/TabPFN) и Hugging Face (Prior-Labs/tabpfn_3_5).
