Чому оптимізація Pass@k може погіршувати Pass@1: Інтерференція підказок у пост-тренуванні великих мовних моделей
Автори: Emily Chen, David Lee, Sarah Johnson, Michael Brown, Anna Garcia, Daniel Wilson, Olivia Taylor
Опубліковано: 2026-02-25
Переглянути на arXiv →Анотація
Це дослідження розкриває феномен "інтерференції підказок" під час пост-тренування LLM, пояснюючи, чому оптимізація для метрик Pass@k (де k>1) може ненавмисно призвести до погіршення продуктивності Pass@1, зокрема в завданнях генерації коду. Стаття надає уявлення про пом'якшення цих суперечливих цілей для більш надійного та стабільного тонкого налаштування LLM, що є життєво важливим для розробки ефективних асистентів кодування ШІ та покращення робочих процесів розробки програмного забезпечення.