Все материалы по теме в хронологическом порядке.
Автор развернул Gemma 4 26B A4B в Q4-кванте на облачном сервере с RTX 4090 и запустил её двумя способами — через Ollama и напрямую через llama.cpp. Он описал установку, настройку HTTP API и подготовку к замерам скорости.
Разработчик выпустил Ollivo 0.3 — программу для Windows, в которой локальные нейросети запускаются как обычное приложение. Главная функция — оценка, потянет ли компьютер модель, ещё до её скачивания.
Энтузиаст разогнал локальную Qwen3.8–27B Q4 на двух RTX 3060 12 ГБ с 9 до 39,6 токенов/с в реальной сессии OpenCode при контексте 128K. Ключевым изменением стал переход с распределения по слоям на тензорное распараллеливание в llama.cpp.
