Ця стаття представляє DRIFT (Dissatisfaction-Refined Iterative preFerence Training), новий підхід до навчання переваг у реальних розгортаннях великих мовних моделей. Він використовує численні неявні сигнали незадоволення користувачів, які є більш поширеними, ніж явні відгуки про задоволення, для покращення відповідності моделі.

Стандартне навчання з підкріпленням на основі відгуків людей (RLHF) покладається на явно розмічені дані про преференції (наприклад, 'Відповідь А краща за В'), які є статичними, дорогими та важко масштабуються. Однак у реальних умовах генеруються масиви нерозмічених даних взаємодії, де користувачі неявно сигналізують про незадоволення, уточнюючи свої промпти. Сучасні методи не можуть ефективно використовувати ці дані 'спроб і помилок' через шум та відсутність істинних міток.

Автори пропонують ймовірнісний фреймворк, який інтерпретує послідовність (промпт, відповідь, уточнення) як сигнал відносної переваги. Вони визначають модель прихованої винагороди, яка оцінює ймовірність незадоволення користувача. Метод включає: 1) Збір історій, де користувачі уточнюють промпти. 2) Генерацію розподілу відповідей 'заднім числом' (те, що модель *мала б* сказати), використовуючи уточнені промпти. 3) Навчання моделі з використанням цільової функції навчання з підкріпленням (off-policy), яка максимізує ймовірність кращої відповіді (заднім числом) і мінімізує ймовірність оригінальної незадовільної відповіді, враховуючи зсув розподілу.

Експериментальні результати демонструють, що DRIFT значно перевершує базові методи (такі як DPO, навчений на евристично виведених парах) у багатьох тестах. Метод успішно відновлює валідні сигнали преференцій з шумних історій уточнень. У контрольованих середовищах агенти DRIFT досягли вищих показників перемог порівняно зі стандартними моделями RLHF, доводячи, що неявні сигнали незадоволення в історіях розмов є багатим, невикористаним ресурсом для узгодження (alignment) моделей.

Стаття вирішує значну проблему в життєвому циклі LLM: високу вартість та дефіцит якісних даних про преференції. Формалізуючи інтуїцію, що уточнення користувачів означають незадоволення, DRIFT пропонує теоретично обґрунтований метод використання величезних обсягів існуючих логів. Розподілений підхід до моделювання відповідей 'заднім числом' є розумним рішенням проблеми невідповідності політик (off-policy mismatch). Однак метод спирається на припущення, що уточнення в першу чергу викликані незадоволенням, а не дослідженням або помилкою користувача, що не завжди вірно. Крім того, обчислювальні витрати на генерацію та семплювання розподілів під час навчання можуть бути вищими, ніж у стандартного DPO.