Ця платформа перетворює сигнали "наступного стану" в реальному часі від взаємодій агентів ШІ на безперервні джерела онлайн-навчання. Вона відновлює як неявні оціночні, так і явні директивні сигнали, дозволяючи агентам досягати швидкої персоналізації в розмовних середовищах та покращувати продуктивність у різноманітних загальних агентних завданнях, таких як термінал, GUI, SWE та середовища виклику інструментів. Це дозволяє агентам покращуватися просто завдяки їх використанню, адаптуючись до повторних запитів користувачів, виправлень та явного зворотного зв'язку.

Проєктування функцій винагороди та налаштування середовищ RL зазвичай вимагає глибоких знань у предметній області та виснажливого інжинірингу методом спроб і помилок, що серйозно обмежує доступність, швидкість і масштабованість застосунків RL для неспеціалістів.

Структура використовує конвеєр перекладу підказок у винагороди за допомогою найсучасніших LLM. Користувач веде багатоетапний діалог для визначення бажаної поведінки. LLM генерує функції винагороди на основі Python та обгортки середовища, які компілюються та використовуються для навчання стандартного алгоритму RL (наприклад, PPO) в ітеративному циклі зворотного зв'язку, де коригування поведінки здійснюється через розмову.

Експерименти в стандартних середовищах безперервного керування та дискретних середовищах показують, що агенти, навчені за допомогою розмовних винагород, досягають паритету з власноруч розробленими винагородами у 85% оцінених завдань, одночасно зменшуючи час налаштування людиною приблизно на 70%.

Хоча розмовний інтерфейс масово знижує поріг входу, система сильно залежить від можливостей програмування LLM. Вона може давати збої без попередження, якщо згенерована функція винагороди містить тонкі логічні помилки, що призводять до зламу винагороди. Налагодження цих функцій все ще неминуче вимагає певного рівня експертних знань.