Конформне мислення: Контроль ризиків для міркувань з обмеженим обчислювальним бюджетом
Автори: Xi Wang, Anushri Suresh, Alvin Zhang, Rishi More, William Jurayj, Benjamin Van Durme, Mehrdad Farajtabar, Daniel Khashabi, Eric Nalisnick
Опубліковано: 2026-02-04
Переглянути на arXiv →Анотація
Міркування великих мовних моделей (LLM) дозволяє масштабування під час тестування, при цьому точність на рівні набору даних покращується зі збільшенням бюджету токенів, що мотивує адаптивне міркування – витрачати токени, коли вони підвищують надійність, і зупинятися раніше, коли додаткові обчислення навряд чи допоможуть. Однак встановлення бюджету токенів, а також порогу для адаптивного міркування, є практичною проблемою, яка передбачає фундаментальний компроміс між ризиком та точністю. Ми переосмислюємо проблему встановлення бюджету як контроль ризиків, обмежуючи рівень помилок при мінімізації обчислень. Наша структура вводить верхній поріг, який зупиняє міркування, коли модель впевнена (ризикуючи некоректним виходом), та новий параметричний нижній поріг, який превентивно зупиняє невирішувані випадки (ризикуючи передчасним зупиненням). З огляду на цільовий ризик та валідаційний набір, ми використовуємо безрозподільний контроль ризиків для оптимального визначення цих механізмів зупинки.