Від модерації контенту до його кураторства, застосування, що вимагають візуальних класифікаторів для візуальних концепцій, стрімко розширюються. Існуючі підходи «людина в циклі» зазвичай припускають, що користувачі починають з чіткого, стабільного розуміння концепції, щоб мати можливість надавати високоякісний нагляд. Насправді користувачі часто починають з розпливчастої ідеї та повинні ітеративно уточнювати її шляхом «обговорення концепції» – практики, яку ми виявили під час структурованих інтерв'ю з експертами з модерації контенту. Ми перетворюємо поширені стратегії обговорення, які використовують реальні модератори контенту, на фреймворк «людина в циклі» під назвою «Гнучке обговорення», який явно підтримує розвиваючі та суб'єктивні концепції. Система підтримує користувачів у визначенні концепції для себе, надаючи їм граничні випадки. Система робить це за допомогою двох етапів обговорення: (1) визначення обсягу концепції, що розкладає початкову концепцію на структуровану ієрархію підконцепцій, та (2) ітерація концепції, яка виявляє семантично граничні приклади для обміркування та зворотного зв'язку з користувачем, щоб ітеративно узгодити класифікатор зображень з мінливим наміром користувача. Оскільки обговорення концепції за своєю суттю є суб'єктивним та інтерактивним, ми ретельно оцінюємо фреймворк протягом 18 сесій з користувачами, кожна тривалістю 1,5 години, а не за стандартними наборами даних для бенчмаркінгу.