Ця стаття представляє Dora, фреймворк для оптимізації розподіленого периферійного навчання та висновків ШІ з урахуванням якості досвіду (QoE). Він зосереджений на гібридному паралелізмі, керуванні гетерогенними обчисленнями та схильними до конфліктів мережами для максимізації ефективності та дотримання цілей QoE у реальних розгортаннях ШІ, підвищуючи продуктивність периферійних систем ШІ.

Запуск сучасних глибоких нейронних мереж на одному периферійному пристрої часто неможливий через обмеження пам'яті та обчислень. Існуючі рішення часто зосереджуються лише на одному типі паралелізму (даних або моделі) або ігнорують нестабільну природу периферійних мереж (фактори QoE, такі як джиттер затримки та обмеження енергії).

Автори моделюють розподілену периферійну систему як граф і формулюють задачу оптимізації для максимізації QoE. Вони використовують евристичний алгоритм (можливо, на основі генетичних алгоритмів або навчання з підкріпленням) для визначення оптимальних точок розрізу в архітектурі нейронної мережі та призначення цих розділів конкретним периферійним вузлам. Метод включає фазу профілювання для збору даних про затримку та енергію.

Фреймворк досягає значного зниження затримки виведення (наприклад, 20-40%) порівняно з чистим вивантаженням або виконанням лише локально. Він підтримує високу точність моделі, балансуючи енергетичне навантаження в кластері, подовжуючи термін служби вузлів з живленням від батареї. Система успішно визначає оптимальні точки розподілу динамічно при зміні умов мережі.

Стаття пропонує переконливе рішення проблеми 'ресурсної стіни' в Edge AI шляхом об'єднання паралелізму даних і моделей. Однак складність запропонованого планувальника може призвести до затримок, які нівелюють виграш для менших моделей. Припущення про лінійність масштабування ресурсів також є потенційним слабким місцем у реальних гетерогенних мережах.