Навчання моделей світу прихованих дій у реальному світі
Автори: Quentin Garrido, Tushar Nagarajan, Basile Terver, Nicolas Ballas, Yann LeCun, Michael Rabbat
Опубліковано: 2026-01-09
Переглянути на arXiv →Анотація
Агенти, здатні розмірковувати та планувати в реальному світі, потребують здатності передбачати наслідки своїх дій. Хоча моделі світу мають цю можливість, вони найчастіше вимагають міток дій, які може бути складно отримати в масштабі. Наша робота присвячена проблемі навчання моделей світу прихованих дій на відео «в дикій природі», розширюючи сферу існуючих робіт, які зосереджені на простих симуляціях робототехніки, відеоіграх або даних маніпуляцій. Ми виявляємо, що безперервні, але обмежені приховані дії здатні вловлювати складність дій із відео «в дикій природі», чого не робить звичайна векторна квантування. Наші аналізи та експерименти забезпечують крок до масштабування моделей прихованих дій у реальному світі.