Обрізка як гра: Спарсифікація нейронних мереж, керована рівновагою.

Автори: Zubair Shah, Noaman Khan

Опубліковано: 2025-12-26

Переглянути на arXiv →
#cs.AI

Анотація

Обрізка нейронних мереж широко використовується для зменшення розміру моделі та обчислювальних витрат. Однак більшість існуючих методів розглядають розрідженість як зовнішнє обмеження, що нав'язується за допомогою евристичних оцінок важливості або регуляризації під час навчання. У цій роботі ми пропонуємо принципово інший погляд: розгляд обрізки як результату стратегічної взаємодії між компонентами моделі. Ми моделюємо групи параметрів (наприклад, ваги, нейрони або фільтри) як гравців у безперервній некооперативній грі, де кожен гравець обирає свій рівень участі в мережі, щоб збалансувати внесок з надмірністю та конкуренцією. Розрідженість природно виникає в цій структурі, коли постійна участь стає домінуючою стратегією в стані рівноваги. Ми аналізуємо отриману гру і показуємо, що для гравців за м'яких умов ті, хто знаходиться в невигідному становищі, сходяться до нульової участі, надаючи принципове пояснення поведінки обрізки. На основі цього ми виводимо простий алгоритм обрізки, керований рівновагою, який спільно оновлює параметри мережі та змінні участі, не покладаючись на явні оцінки важливості. Експерименти на стандартних еталонах демонструють, що запропонований підхід досягає конкурентоспроможних компромісів між розрідженістю та точністю, пропонуючи інтерпретовану, теоретично обґрунтовану альтернативу існуючим методам обрізки.