Aleph Alpha выпустила Kolibri — открытую модель на 78 млрд параметров
Aleph Alpha представила Kolibri — открытую немецко-английскую языковую модель на 78 млрд параметров. Веса доступны на Hugging Face под лицензией Apache 2.0, обучение шло на 768 GPU B200 в Германии и Финляндии.
- Kolibri — модель на 78 млрд параметров, около 3 млрд активны на токен через mixture-of-experts.
- Модель поддерживает контекст до 1 млн токенов и обучена на 768 GPU B200 в Германии и Финляндии.
- Веса опубликованы на Hugging Face под лицензией Apache 2.0.
Немецкая компания Aleph Alpha выпустила Kolibri — открытую языковую модель для немецкого и английского языков. У неё 78 млрд параметров, но благодаря архитектуре mixture-of-experts на каждый токен активны лишь около 3 млрд. Веса выложены на Hugging Face под лицензией Apache 2.0.
По заявлению Aleph Alpha, Kolibri находится на границе Парето по качеству и стоимости работы в обоих языках, обходя сопоставимые модели со схожей архитектурой, некоторые из которых заметно старше (март, апрель 2026 года), по одному из этих показателей. Немецкий язык занимает 21,3% обучающих данных — для проекта построили отдельный пайплайн. Синтетические данные для обучения также генерировали с помощью китайских моделей.
Kolibri набирает 71% на немецких бенчмарках и декодирует быстрее таких моделей, как GPT OSS A5B, Qwen 3.6 A3B и Gemma 4 A4B. Модель поддерживает контекстное окно до 1 млн токенов.
Разработка велась с учётом европейского законодательства и EU AI Act. Целевые сферы применения — госуправление, авиация и промышленность. Обучение проходило на 768 GPU B200 в Германии и Финляндии, согласно техническому отчёту.
Для профиТехнические детали: архитектура, цифры, ссылки
- Параметры: 78 млрд всего, ~3 млрд активных на токен (MoE).
- Контекст: до 1 млн токенов.
- Лицензия: Apache 2.0.
- Обучение: 768 GPU B200, Германия и Финляндия; 21,3% данных — немецкий язык; синтетика генерировалась в том числе китайскими моделями.
- Бенчмарки: 71% на немецких бенчмарках; быстрее GPT OSS A5B, Qwen 3.6 A3B, Gemma 4 A4B при декодировании.
- Доступ: веса на Hugging Face.
Вопросы и ответы
- Сколько параметров у Kolibri?
- 78 млрд, но из-за mixture-of-experts на каждый токен активны около 3 млрд.
- Под какой лицензией выложена модель?
- Apache 2.0, веса доступны на Hugging Face.
- На каком оборудовании обучали Kolibri?
- На 768 GPU B200 в Германии и Финляндии.
