На шляху до універсального втіленого ШІ з великими мовними моделями

Автори: Yuqi Cui, Weihang Ren, Junzhe Wang, Zhaocheng Huang, Haohong Lin, Bojun Zhang, Guangxuan Li, Xiaofeng Mao

Опубліковано: 2023-11-16

Переглянути на arXiv →
#cs.AI

Анотація

Втілений ШІ, який спрямований на розробку інтелектуальних агентів, здатних сприймати, діяти та міркувати у фізичних або змодельованих середовищах, представляє собою великий виклик у штучному інтелекті. Поява великих мовних моделей (LLM) з їхніми потужними можливостями міркування та планування відкрила нові шляхи для досягнення більш універсального втіленого інтелекту. Ця стаття досліджує синергетичну інтеграцію LLM із системами втіленого ШІ. Ми обговорюємо, як LLM можуть служити планувальниками високого рівня, інтерпретаторами інструкцій природною мовою та генераторами виконуваного коду для робототехнічних агентів. Ми розглядаємо різні архітектури для поєднання LLM з модулями сприйняття та управління, починаючи від прямого керування на основі підказок до ієрархічних рамок планування. Завдяки огляду останніх досягнень ми підкреслюємо потенціал LLM для надання втіленим агентам можливості виконувати складні багатоетапні завдання, адаптуватися до нових ситуацій та брати участь у більш інтуїтивній взаємодії людина-робот. Ми також розглядаємо ключові виклики, включаючи заземлення мови в фізичній реальності, управління обчислювальною складністю та забезпечення безпеки та надійності в реальних розгортаннях.