Досліджує, чи виявляють великі мовні моделі (LLM) уподобання, схожі на заздрість, у багатоагентних середовищах, надаючи уявлення про їхній соціальний інтелект та упередження у прийнятті рішень. Розуміння цих складних моделей поведінки є життєво важливим для розгортання LLM в інтерактивних та конкурентних сценаріях реального світу, забезпечуючи етичну та передбачувану взаємодію.

Оскільки великі мовні моделі (LLM) отримують завдання автономного прийняття рішень у багатоагентних середовищах, невідомо, чи виявляють вони контрпродуктивні соціальні упередження, такі як заздрість. Якщо агент ШІ відкидає вигідний результат лише тому, що конкурент отримує більше, це порушує принцип раціональної максимізації корисності, що призводить до неефективності автоматизованих ринків та систем співпраці.

Автори пропонують 'neuralFOMO' — набір тестів, що включає діадичні (для двох гравців) текстові ігри. Вони використовують гру «Ультиматум» (ініціатор пропонує поділ, відповідач приймає/відхиляє) та варіанти гри «Диктатор». Вони тестують такі моделі, як GPT-4, Llama 3 та Claude. Вони маніпулюють «Коефіцієнтом нерівності» (наскільки більше отримує інший агент) і вимірюють «Рівень прийняття» досліджуваної моделі. Вони визначають «Заздрість» як кореляцію між зростаючою невигідною нерівністю та ймовірністю відхилення позитивної ненульової винагороди.

Дослідження демонструє, що LLM мають вимірюваний «коефіцієнт заздрості». Коли їм пропонували розподіл ресурсів, де вони отримують 10 доларів, а опонент — 100 доларів, моделі, вирівняні за допомогою RLHF, відхиляли пропозицію у 60-80% випадків, фактично обираючи 0 доларів замість 10, щоб покарати нерівність. Базові моделі (без донавчання) виявляли менше заздрості, що свідчить про те, що така поведінка засвоюється з даних про людські уподобання. Ефект був послідовним для різних «персон», якщо тільки не було прямої вказівки бути «ідеально раціональними».

Стаття пропонує переконливий погляд на ненавмисні побічні ефекти RLHF. Роблячи моделі більш «людиноподібними», ми імпортували людські вади, такі як заздрість. Однак дослідження ризикує надмірно антропоморфізувати статистичну ймовірність. Чи справді модель, що відмовляється від несправедливого поділу, є «заздрісною», чи просто передбачає, що людина в її навчальних даних відмовилася б? Ця відмінність важлива для пом’якшення наслідків. Якщо це просто передбачення, системна підказка може це виправити. Якщо це глибоко вкорінене в моделі винагороди, це вимагає перенавчання. Використання простих економічних ігор є хорошим проксі, але може не охопити складність реальної багатоагентної координації, де репутація та довгострокова пам'ять відіграють роль.