Це дослідження пропонує новий підхід до виявлення дезінформації щодо зміни клімату шляхом інтеграції візуально-мовних моделей із зовнішніми джерелами знань. Мультимодальна система аналізує як текстові, так і візуальні підказки у контенті, перехресно посилаючись на перевірену інформацію для виявлення та позначення оманливих наративів, пропонуючи важливий інструмент у боротьбі з поширенням шкідливої дезінформації в Інтернеті.

Кліматична дезінформація стає все більш мультимодальною, поєднуючи оманливі зображення з неправдивим текстом. Традиційна перевірка фактів є повільною і не масштабується, тоді як існуючим моделям ШІ часто бракує конкретних наукових знань, необхідних для спростування складних міфів, що призводить до низького рівня виявлення та галюцинацій.

Автори пропонують 'Мультимодальний детектор, керований знаннями'. Він складається з двопотокового кодера (обробка зображення та тексту окремо з використанням варіантів CLIP/BERT). Модуль пошуку опитує векторну базу даних, проіндексовану абзацами зі звітів IPCC та перевірених кліматичних новин. Отримані текстові докази об'єднуються з ембеддингами зображення-тексту за допомогою механізму перехресної уваги. Нарешті, класифікаційна голова визначає правдивість, а декодер LLM генерує пояснення природною мовою.

Запропонована модель досягла показника F1 0.89 на тестовому наборі, перевершивши базовий рівень CLIP на 12%. Компонент RAG зменшив 'галюциновані' пояснення приблизно на 40% порівняно зі стандартним підходом LLM. Абляційні дослідження показали, що якість отриманих наукових документів є найбільш критичним фактором для продуктивності.

Стаття розглядає критичну та актуальну проблему. Методологія є обґрунтованою, використовуючи сильні сторони RAG для зменшення галюцинацій LLM. Однак залежність системи від статичної або періодично оновлюваної бази знань є слабким місцем перед обличчям наративів дезінформації, що швидко еволюціонують. Крім того, метрика оцінки в основному зосереджена на точності класифікації, тоді як якість і переконливість згенерованих пояснень для кінцевого користувача залишаються недостатньо вивченими.