Маломасштабна система для авторегресивного синтезу програм, що забезпечує контрольоване експериментування

Автори: Russ Webb, Jason Ramapuram

Опубліковано: 2026-02-09

Переглянути на arXiv →
#cs.AI

Анотація

Ця стаття представляє Cadmus, систему, розроблену для дослідження синтезу програм за допомогою невеликих моделей, що дозволяє уникнути складнощів та високих обчислювальних вимог великих мовних моделей (LLM). Cadmus включає віртуальну машину цілих чисел (VM), набір даних із справжніми програмами для різноманітних завдань та авторегресивну модель-трансформер, яку можна навчити менш ніж за 200 доларів. Вона забезпечує ефективний та доступний детальний контроль для вивчення завершення програм, представлень поза розподілом, індуктивного міркування та виконання інструкцій, перевершуючи GPT-5 зі 100% точністю у простому арифметичному завданні, забезпечуючи при цьому прозорість щодо зв'язку набору даних із проблемою.

Маломасштабна система для авторегресивного синтезу програм, що забезпечує контрольоване експериментування | ArXiv Intelligence