Закони масштабування для енергоефективності локальних великих мовних моделей
Автори: Ander Alvarez, Alessandro Genuardi, Nilotpal Sinha, Antonio Tiene, Samuel Mugel, Román Orús
Опубліковано: 2025-12-18
Переглянути на arXiv →Анотація
Розгортання локальних великих мовних моделей та візуально-мовних моделей на периферійних пристроях вимагає балансу між точністю та обмеженими обчислювальними й енергетичними бюджетами. Ця стаття систематично тестує LLM та VLM на рівнях ЦП, виявляючи закони масштабування обчислювальних витрат із довжиною токена та роздільною здатністю зображення, а також показуючи, що квантово-інспіроване стиснення може зменшити споживання енергії до 62% при збереженні точності, що дозволяє екологічне виведення на периферії.