Чому оптимізація Pass@k може погіршувати Pass@1: Інтерференція підказок у пост-тренуванні великих мовних моделей

Автори: Emily Chen, David Lee, Sarah Johnson, Michael Brown, Anna Garcia, Daniel Wilson, Olivia Taylor

Опубліковано: 2026-02-25

Переглянути на arXiv →
#cs.AI

Анотація

Це дослідження розкриває феномен "інтерференції підказок" під час пост-тренування LLM, пояснюючи, чому оптимізація для метрик Pass@k (де k>1) може ненавмисно призвести до погіршення продуктивності Pass@1, зокрема в завданнях генерації коду. Стаття надає уявлення про пом'якшення цих суперечливих цілей для більш надійного та стабільного тонкого налаштування LLM, що є життєво важливим для розробки ефективних асистентів кодування ШІ та покращення робочих процесів розробки програмного забезпечення.

Чому оптимізація Pass@k може погіршувати Pass@1: Інтерференція підказок у пост-тренуванні великих мовних моделей

Автори: Emily Chen, David Lee, Sarah Johnson, Michael Brown, Anna Garcia, Daniel Wilson, Olivia Taylor

Опубліковано: 2026-02-25

Переглянути на arXiv →
#cs.AI

Анотація

Це дослідження розкриває феномен "інтерференції підказок" під час пост-тренування LLM, пояснюючи, чому оптимізація для метрик Pass@k (де k>1) може ненавмисно призвести до погіршення продуктивності Pass@1, зокрема в завданнях генерації коду. Стаття надає уявлення про пом'якшення цих суперечливих цілей для більш надійного та стабільного тонкого налаштування LLM, що є життєво важливим для розробки ефективних асистентів кодування ШІ та покращення робочих процесів розробки програмного забезпечення.

FEEDBACK

Проекти

Немає проектів