Закони масштабування для енергоефективності локальних великих мовних моделей

Автори: Ander Alvarez, Alessandro Genuardi, Nilotpal Sinha, Antonio Tiene, Samuel Mugel, Román Orús

Опубліковано: 2025-12-18

Переглянути на arXiv →
#cs.AI

Анотація

Розгортання локальних великих мовних моделей та візуально-мовних моделей на периферійних пристроях вимагає балансу між точністю та обмеженими обчислювальними й енергетичними бюджетами. Ця стаття систематично тестує LLM та VLM на рівнях ЦП, виявляючи закони масштабування обчислювальних витрат із довжиною токена та роздільною здатністю зображення, а також показуючи, що квантово-інспіроване стиснення може зменшити споживання енергії до 62% при збереженні точності, що дозволяє екологічне виведення на периферії.

Закони масштабування для енергоефективності локальних великих мовних моделей

Автори: Ander Alvarez, Alessandro Genuardi, Nilotpal Sinha, Antonio Tiene, Samuel Mugel, Román Orús

Опубліковано: 2025-12-18

Переглянути на arXiv →
#cs.AI

Анотація

Розгортання локальних великих мовних моделей та візуально-мовних моделей на периферійних пристроях вимагає балансу між точністю та обмеженими обчислювальними й енергетичними бюджетами. Ця стаття систематично тестує LLM та VLM на рівнях ЦП, виявляючи закони масштабування обчислювальних витрат із довжиною токена та роздільною здатністю зображення, а також показуючи, що квантово-інспіроване стиснення може зменшити споживання енергії до 62% при збереженні точності, що дозволяє екологічне виведення на периферії.

FEEDBACK

Проекти

Немає проектів