Ця стаття пропонує OGER, нову гібридну структуру навчання з підкріпленням, яка синергійно інтегрує офлайн-керівництво експертів з онлайн-дослідницьким відкриттям через спеціалізовану лінзу моделювання винагороди. OGER використовує спільне навчання з кількома вчителями та конструює допоміжну винагороду за дослідження, яка порівнює онлайн-траєкторії з ансамблем високоякісних офлайн-траєкторій вчителів за дивергенцією. Цей механізм стимулює автономне дослідження та сприяє відкриттю за межами імітації, досягаючи значних покращень продуктивності в бенчмарках математичного та загального міркування, забезпечуючи при цьому надійну узагальненість для задач, що виходять за межі домену.