Ця стаття розглядає ключову проблему ефективного використання пам'яті у великих мовних моделях за допомогою нової системи динамічного керування пам'ятью. Вона має на меті оптимізувати розподіл ресурсів, зменшити обчислювальні витрати та забезпечити більш масштабоване та економічно ефективне розгортання великих мовних моделей у різноманітних реальних застосуваннях.

Інференс LLM страждає від фрагментації пам'яті, оскільки довжина вихідної послідовності невідома заздалегідь. Стандартні фреймворки резервують максимально можливу пам'ять, що призводить до 'внутрішньої фрагментації', коли дорогі ресурси пам'яті GPU зарезервовані, але не використовуються, що різко обмежує кількість одночасних запитів (batch size), які може обробити GPU.

Автори пропонують механізм посторінкової уваги (Paged Attention). Замість виділення суцільної пам'яті для матриць ключів (Key) і значень (Value) механізму уваги, вони ділять KV кеш на блоки фіксованого розміру. Таблиця блоків управляє відображенням між логічними токенами (структура речення) та фізичними блоками (місця в пам'яті GPU). Ядро уваги переписане для отримання даних через ці таблиці блоків, що дозволяє динамічне виділення.

Запропонований метод досягає майже нульових втрат пам'яті (<4% порівняно з 60-80% у стандартних системах). Ця ефективність дозволяє збільшити розмір пакету в 2-4 рази на тому ж обладнанні. Як наслідок, пропускна здатність обслуговування значно зростає без погіршення точності моделі. Система підтримує декодування дуже довгих послідовностей, які раніше викликали помилки нестачі пам'яті (OOM).

Ця робота представляє фундаментальний зсув у проектуванні систем інференсу LLM. Розглядаючи управління пам'яттю GPU як проблему ОС, а не як проблему статичного виділення тензорів, вона відкриває величезний потенціал ефективності. Однак це значно підвищує інженерну складність, перекладаючи тягар з фреймворку (PyTorch) на розробника двигуна обслуговування. Залежність від кастомних ядер створює технічний борг.