Ця стаття представляє Self-Distillation Fine-Tuning (SDFT), метод, що дозволяє великим мовним моделям безперервно набувати нових навичок та знань з демонстрацій без катастрофічного забування. SDFT використовує навчання в контексті, застосовуючи саму модель як вчителя, перевершуючи традиційне тонке налаштування та дозволяючи моделям накопичувати численні навички з часом.