Все материалы по теме в хронологическом порядке.
На Хабре вышла статья о том, как устроена инфраструктура для запуска больших языковых моделей. Автор объясняет, почему расчёт «размер модели делить на память одной карты» не работает и какие компоненты определяют скорость ответа.
OpenAI представила режим GPT-6 Astra Ultrafast, работающий на GPU NVIDIA Blackwell. Он генерирует токены до 8 раз быстрее Astra Standard и уже доступен в API и для части пользователей ChatGPT.
Nvidia связала экономику AI-фабрик с инференсом и эффективностью по токенам на ватт. Вице-президент компании Иан Бак рассказал, что Blackwell обеспечил 30-кратный рост токенов на ватт, а ускоритель Groq 3 LPX повышает скорость рассуждений.
Исследовательская фирма Epoch AI выпустила отчёт, согласно которому стоимость использования искусственного интеллекта снижается почти на 50% каждый квартал и в 13 раз за год. Это быстрее, чем падение цен на литиевые батареи, секвенирование ДНК и вычислительные мощности.
Автор развернул Gemma 4 26B A4B в Q4-кванте на облачном сервере с RTX 4090 и запустил её двумя способами — через Ollama и напрямую через llama.cpp. Он описал установку, настройку HTTP API и подготовку к замерам скорости.
OpenAI раскрыла детали разработки своего ИИ-чипа Jalapeno, представленного в июне. Использование ИИ на этапе проектирования сократило сроки с 18–24 месяцев до девяти, но инженеров не заменило.
Инфраструктурный провайдер для инференса ИИ-моделей Modal Labs близок к привлечению $750 млн во главе с Accel. Оценка компании с учётом инвестиции составит $15,75 млрд.
На Хабре вышла статья о том, сколько стоит инференс претрейна Yandex AliceAI-Foundation-80B-A3B-Base. Автор выяснил, что для запуска модели нужно 4 GPU A100, и рассказал о сложностях с арендой железа в облаке.
Yandex Research исследует, как сделать LLM-агента интерактивным без переобучения модели — за счёт манипуляций с KV-кешем. Подход описан в работах Hogwild Inference и AsyncReasoning.
Аналитики Jon Peddie Research изучили судьбу конкурентов Nvidia на рынке ИИ-чипов и пришли к выводу, что большинство из них не выживет. Причина — покупатели всё чаще выбирают совместимость с существующим ПО и инфраструктурой, а не производительность.
