Продукт

PagedAttention

Все материалы по теме в хронологическом порядке.

Сегодня

14:37

На Хабре вышла статья о механизмах внимания в современных LLM. Автор объясняет, как MHA, MQA, GQA и MLA влияют на размер KV cache и скорость декода.

2 минДля профи