Сегментація зображень з нульовим пострілом за допомогою підказок
Автори: Tao Yu, Qingfeng Chen, Hao Zhao
Опубліковано: 2023-11-15
Переглянути на arXiv →Анотація
Сегментація зображень з нульовим пострілом, завдання сегментації невидимих категорій об'єктів без необхідності будь-яких позначених прикладів, є складним, але дуже бажаним завданням для багатьох реальних застосувань комп'ютерного зору. Останні досягнення у великомасштабних візіоно-мовних моделях відкрили нові шляхи для вирішення цієї проблеми. У цій статті пропонується нова структура для сегментації зображень з нульовим пострілом за допомогою підказок. Наш підхід використовує багаті семантичні знання, вбудовані в попередньо навчені візіоно-мовні моделі, обумовлюючи процес сегментації текстовими підказками. Ми досліджуємо різні стратегії для генерації ефективних підказок, включаючи описові фрази природною мовою та ключові слова, специфічні для завдання, щоб направляти модель до сегментації цільових об'єктів. Завдяки обширним експериментам на різноманітних наборах даних ми демонструємо, що наш підхід, керований підказками, значно перевершує існуючі методи сегментації з нульовим пострілом, досягаючи найсучаснішої продуктивності за кількома показниками. Крім того, ми надаємо розуміння ролі дизайну підказок та можливостей великих візіоно-мовних моделей у забезпеченні надійної та гнучкої сегментації з нульовим пострілом.