Це дослідження представляє оптимізацію політики за допомогою самодистиляції (SDPO), алгоритм навчання з підкріпленням за стратегією, розроблений для значного покращення продуктивності великих мовних моделей (LLM) шляхом ефективного використання багатого, токенізованого зворотного зв'язку з навколишнього середовища. На відміну від традиційних методів, що покладаються на розріджені скалярні винагороди, SDPO перетворює цей детальний зворотний зв'язок на щільний навчальний сигнал, дозволяючи LLM навчатися на власних пояснених помилках без потреби у зовнішній моделі-вчителю. Цей інноваційний підхід суттєво підвищує ефективність вибірки та точність у складних завданнях міркування та кодування, прискорюючи виявлення у важких завданнях з бінарною винагородою з меншою кількістю спроб та обіцяючи більш ефективне навчання LLM.