Ми представляємо V-Agent, нову багатоагентну платформу, розроблену для розширеного пошуку відео та інтерактивних розмов між користувачем і системою. Шляхом доналаштування візуально-мовної моделі (VLM) за допомогою невеликого набору даних уподобань відео та її покращення за допомогою вектора вилучення з моделі вилучення зображень і тексту, ми долаємо обмеження традиційних текстових систем вилучення в мультимодальних сценаріях. Ця система значно покращує точність та інтерактивність виявлення та управління відеоконтентом, роблячи складний пошук відео більш інтуїтивно зрозумілим та ефективним для користувачів.

Традиційний пошук відео покладається на метадані або просте візуальне зіставлення, що не спрацьовує, коли користувачі мають складні, багатокомпонентні або нечіткі запити (наприклад, конкретні дії, послідовності подій або абстрактні концепції). Користувачам важко перекласти свій намір у запит, зрозумілий системі.

Система використовує ієрархічний агентний підхід. LLM-'Планувальник' декомпозує запит користувача природною мовою на виконувані кроки. 'Шукач' отримує кандидати відеосегментів, використовуючи векторну подібність (ембеддинги CLIP). 'Перевіряючий' (VLM) візуально перевіряє ці сегменти для підтвердження дрібних деталей. Система зберігає історію діалогу, дозволяючи користувачеві уточнювати пошук або агенту просити про допомогу, коли впевненість низька.

V-Agent демонструє кращу продуктивність порівняно з базовими методами (такими як прямий пошук CLIP або неінтерактивний QA) на бенчмарках, таких як Ego4D або NExT-QA. Він особливо відзначається в 'точності часової локалізації' та 'успішності багатоходових запитів', зменшуючи кількість хибних спрацьовувань шляхом перевірки кандидатів перед представленням їх користувачеві.

Стаття представляє вагомий прогрес у семантичному пошуку відео, виходячи за рамки простої подібності ембеддингів. Використання агентного фреймворку дозволяє обробляти значно складніші запити користувачів. Однак залежність системи від ітеративних викликів VLM створює значні бар'єри щодо затримки та вартості, які не повністю вирішені. Хоча 'інтерактивність' є ключовою особливістю, на практиці користувачі часто віддають перевагу миттєвим результатам, а не розмові з пошуковою системою. Успіх V-Agent значною мірою залежить від еволюції швидкості та вартості базових VLM.