Все материалы по теме в хронологическом порядке.
Cortiq Mobile — открытое приложение для Android и iOS, запускающее модели формата CMF прямо на телефоне без интернета. Оно умеет вести чат по документам, переводить и принимать решения для программ.
Разработчик выпустил Ollivo 0.3 — программу для Windows, в которой локальные нейросети запускаются как обычное приложение. Главная функция — оценка, потянет ли компьютер модель, ещё до её скачивания.
Энтузиаст разогнал локальную Qwen3.8–27B Q4 на двух RTX 3060 12 ГБ с 9 до 39,6 токенов/с в реальной сессии OpenCode при контексте 128K. Ключевым изменением стал переход с распределения по слоям на тензорное распараллеливание в llama.cpp.
Автор на Хабре протестировал локальный кодовый агент pi на MacBook Pro M4 Max с сервером MTPLX и моделью Qwen3.8–27B. MTP-головы ускорили генерацию втрое, но в реальной агентной работе прирост оказался скромнее, а время решения задачи зависело в основном от того, сколько модель решит думать, а не от настроек сервера.
AI-лаборатория PrismML создала версию своей крошечной языковой модели для умных очков на чипах Qualcomm Snapdragon. На саммите Snapdragon Summit чипмейкер показал 1-битную модель Bonsai, которая работает локально на очках с платформой AR1 Gen 1.
