Оптимізація шляхів декодування в моделях маскованої дифузії шляхом кількісного визначення невизначеності

Автори: Ziyu Chen, Xinbei Jiang, Peng Sun, Tao Lin

Опубліковано: 2025-12-24

Переглянути на arXiv →
#cs.AI

Анотація

Моделі маскованої дифузії (MDM) забезпечують гнучке неавторегресійне генерування, але якість їхнього виводу дуже чутлива до порядку декодування. Ця стаття формалізує цю проблему, приписуючи мінливість кумулятивній прогнозуючій невизначеності вздовж генеративного шляху. Вона вводить "Ентропію денойзінгу" як обчислювану метрику для кількісного визначення цієї невизначеності, яка служить внутрішнім сигналом для оцінки генеративного процесу. Запропоновано два алгоритми, метод вибору "пост-хок" та стратегію керування в реальному часі, для оптимізації шляху декодування. Експерименти показують, що ці керовані ентропією методи значно покращують якість генерування та точність у складних завданнях міркування, планування та кодування, ефективно перетворюючи невизначеність на перевагу для високоякісних рішень у генеративному ШІ.