Переосмислення стійкості в імітаційному навчанні: що є вирішальним для Sim-to-Real?

Автори: Lukas Schultes, M. Fatih C. Kucuk, Jan Peters

Опубліковано: 2023-11-15

Переглянути на arXiv →
#cs.AI

Анотація

Імітаційне навчання (ІН) стало багатообіцяючою парадигмою для навчання робототехнічних політик на основі демонстрацій експертів. Однак значною проблемою в реальній робототехніці є розрив у стійкості між моделюванням та розгортанням у реальному світі, часто званий розривом "Sim-to-Real". Ця стаття критично розглядає концепцію стійкості в імітаційному навчанні для передачі Sim-to-Real. Ми досліджуємо різні фактори, які сприяють успіху або невдачі політик ІН при розгортанні у фізичному світі, включаючи зміни розподілу даних, варіації навколишнього середовища, шум сенсорів та недосконалості виконавчих механізмів. Завдяки емпіричному аналізу та теоретичним дискусіям ми висвітлюємо ключові аспекти стійкості, які необхідно врахувати для досягнення ефективної передачі Sim-to-Real. Ми пропонуємо комплексну основу для оцінки та покращення стійкості агентів ІН, враховуючи як узагальнення політики, так і безпеку. Наші висновки свідчать про те, що явне врахування різноманітних збурень та структуровані методології навчання є життєво важливими для подолання розриву Sim-to-Real, що призводить до більш надійних та розгортаних робототехнічних систем.