Це якісне дослідження вивчає, як користувачі калібрують свою довіру під час взаємодії з великими мовними моделями (LLM), які демонструють галюцинації. Розуміння цієї динаміки має вирішальне значення для розробки більш надійних та зручних систем штучного інтелекту.

Користувачам наразі бракує когнітивних інструментів та підтримки інтерфейсу для точної оцінки надійності результатів LLM. Це призводить до небезпечних «помилок калібрування довіри», коли користувачі приймають неправдиву інформацію, оскільки вона виглядає правдоподібною, або відкидають правдиву інформацію через загальний скептицизм.

Якісне дослідження з використанням напівструктурованих інтерв'ю та протоколів озвучування думок з N=30 учасників. Учасникам давали завдання, розроблені для виклику галюцинацій у сучасних передових LLM (наприклад, GPT-4, Claude). Дослідники спостерігали за поведінкою перевірки та аналізували стенограми для категоризації моделей довіри.

Дослідження виявило, що користувачі в основному покладаються на поверхневі евристики (форматування, довжина, ввічливість) для оцінки точності. Навіть коли їх попереджали про галюцинації, «плавність» моделі часто перекривала скептицизм користувача. Інтерактивні елементи інтерфейсу, які візуалізують невизначеність, значно покращили калібрування довіри, знизивши надмірну довіру на 40% у контрольованих завданнях, хоча вони дещо збільшили час виконання завдань.

Стаття забезпечує необхідний зсув від моделе-центричного до користувацько-центричного аналізу галюцинацій. Однак вона значною мірою спирається на припущення, що користувачі *хочуть* бути каліброваними. У багатьох швидкісних робочих процесах користувачі віддають перевагу ефективності над точністю, доки не станеться критичний збій. Запропоновані інтерфейсні втручання, хоча й академічно обґрунтовані, можуть зіткнутися з тертям на споживчих ринках, де «магія» та безшовність є ключовими перевагами продажу.