Ефективна квантизація мовних моделей для периферійних пристроїв
Автори: David Green, Eva Black, Frank Blue
Опубліковано: 2026-01-27
Переглянути на arXiv →Анотація
Дослідження представляє нову техніку квантизації, яка значно зменшує обчислювальні та пам'ятні вимоги великих мовних моделей, роблячи їх розгортання можливим на периферійних пристроях з обмеженими ресурсами. Цей прорив дозволяє створювати конфіденційні ШІ-застосування на пристроях та розширює охоплення складного NLP на ширший спектр апаратного забезпечення.