Як агенти виконують оптимізацію коду? Емпіричне дослідження.
Автори: Huiyun Peng, Antonio Zhong, Ricardo Andrés Calvo Méndez, Kelechi G. Kalu, James C. Davis
Опубліковано: 2025-12-25
Переглянути на arXiv →Анотація
Оптимізація продуктивності є критично важливим, але складним аспектом розробки програмного забезпечення, що часто вимагає глибокого розуміння поведінки системи, компромісів в алгоритмах та ретельної модифікації коду. Хоча останні досягнення в агентах ШІ для кодування прискорили генерацію коду та виправлення помилок, мало відомо про те, як ці агенти виконують завдання оптимізації продуктивності в реальному світі. Ми представляємо перше емпіричне дослідження, що порівнює оптимізаційні коміти, створені агентами та людьми, аналізуючи 324 згенеровані агентами та 83 створені людьми PR з набору даних AIDev за параметрами прийняття, супроводжуваності, оптимізаційних шаблонів та практик валідації. Ми виявляємо, що створені ШІ PR для підвищення продуктивності рідше включають явну валідацію продуктивності, ніж створені людьми PR (45,7% проти 63,6%, p=0,007). Крім того, створені ШІ PR здебільшого використовують ті ж самі оптимізаційні шаблони, що й люди. Ми також обговорюємо обмеження та можливості для вдосконалення оптимізації коду агентами.