«ГигаЧат» добавил генерацию видео со звуком на модели Kandinsky 6.0 Video
Сбер открыл пользователям «ГигаЧата» генерацию видео со звуком на новой модели Kandinsky 6.0 Video. Ролики создаются в Full HD бесплатно, а сама модель выложена в опенсорс под лицензией MIT.
- Kandinsky 6.0 Video — первая российская нейросеть, создающая видео с синхронным звуком.
- Максимальная длительность ролика со звуком — пять секунд, в будущем её планируют увеличить.
- Модель доступна разработчикам бесплатно в опенсорсе под лицензией MIT и в инструментах FAL, Diffusers, ComfyUI и других.
Пользователи «ГигаЧата» получили возможность создавать видео с речью, музыкой и звуками окружения. Генерация работает в Full HD и доступна бесплатно — на новой модели Kandinsky 6.0 Video, которая создаёт ролики с синхронным звуком. Об этом сообщили представители Сбербанка.
Чтобы получить ролик с озвучкой, достаточно описать сцену текстом или загрузить первый кадр и добавить описание звукового ряда. Максимальная длительность видео со звуком — пять секунд, со временем разработчики планируют её увеличить. Если звук не нужен, можно попросить нейросеть создать видео без него.
Kandinsky 6.0 Video — мультимодальная модель, которая одновременно «видит» и «слышит» то, что генерирует. Поэтому диалоги, эффекты и фоновая музыка синхронизированы с картинкой, а губы героя движутся вместе с речью. Модель создаёт звук в диапазоне от разговора и цифровых эффектов до шагов, шума ветра или звука проезжающей машины, в качестве 44 кГц — стандартном для большинства стриминговых сервисов.
Модель стала лучше передавать физику реального мира: движения людей, животных и техники в роликах выглядят естественнее. В «ГигаЧате» пользователи смогут выбрать качество прямо в окне ввода перед отправкой запроса — SD для быстрой генерации, HD или Full HD для более чёткой картинки.
Разработчикам Kandinsky 6.0 Video доступна в опенсорсе под лицензией MIT — её можно бесплатно интегрировать в собственные продукты. Модель также будет доступна в инструментах для запуска и интеграции нейросетей: FAL, Diffusers, FastVideo, ComfyUI, SGLang и vLLM-omni.
Антон Фролов, старший вице-президент, руководитель блока «Развитие генеративного ИИ» Сбербанка, заявил: «Мы хотим, чтобы генеративный ИИ стал таким же естественным инструментом креатора, как сегодня текстовый редактор или камера телефона. Любой человек получает возможность снимать более выразительные личные видео. А для профессионального контента это означает более быстрое и выгодное производство. Модель Kandinsky 6.0 Video мы отдаем разработчикам бесплатно и без ограничений — строить на ней свои сервисы может каждый».
Kandinsky 6.0 Video состоит из двух связанных модулей, отвечающих за создание видео и звука. Звуковой модуль обучен более чем на 20 млн видео со звуком. Для обучения команда отбирала ролики только с чистым качественным звуком, а также видео с говорящими людьми крупным планом для точной синхронизации речи и мимики.
Для профиТехнические детали: архитектура, цифры, ссылки
Kandinsky 6.0 Video — мультимодальная модель из двух связанных модулей: генерации видео и генерации звука. Звуковой модуль обучен более чем на 20 млн видео со звуком; для обучения отбирались ролики с чистым звуком и видео с говорящими людьми крупным планом.
- Разрешение: до Full HD, выбор SD/HD/Full HD в интерфейсе.
- Длительность ролика со звуком: до 5 секунд.
- Звук: 44 кГц, синхронизация речи и мимики.
- Лицензия: MIT, доступна в опенсорсе.
- Интеграции: FAL, Diffusers, FastVideo, ComfyUI, SGLang, vLLM-omni.
По данным Сбербанка, Kandinsky 6.0 Video Pro лучше Kandinsky 5.0 в среднем в 71% случаев по всем критериям и обходит открытую LTX 2.5. В задаче оживления изображения модель превосходит закрытую Veo 3.1 Fast по визуальному качеству, соответствию исходному изображению и движению камеры.
Что это значит для России
Kandinsky 6.0 Video — российская разработка Сбербанка, доступная пользователям «ГигаЧата» бесплатно. Модель выложена в опенсорс под лицензией MIT, что позволяет интегрировать её в собственные продукты без ограничений.
Для разработчиков это означает возможность строить сервисы на отечественной модели генерации видео со звуком, не прибегая к зарубежным аналогам.
Вопросы и ответы
- Сколько стоит генерация видео в «ГигаЧате»?
- Бесплатно. Модель Kandinsky 6.0 Video доступна пользователям «ГигаЧата» без оплаты.
- Какая максимальная длительность ролика со звуком?
- Пять секунд. Со временем разработчики планируют увеличить длительность.
- Можно ли использовать Kandinsky 6.0 Video в своём продукте?
- Да, модель выложена в опенсорс под лицензией MIT и доступна для бесплатной интеграции.
