This paper presents Semantic Soft Bootstrapping, a novel method enabling long context reasoning in Large Language Models without reliance on reinforcement learning, representing a potential breakthrough in LLM efficiency and capability.

Стаття «Semantic Soft Bootstrapping» представляє нову парадигму навчання, яка вирішує проблему нестабільності та високих обчислювальних витрат навчання з підкріпленням (RL) при застосуванні до міркувань у довгому контексті у великих мовних моделях (LLM). Використовуючи механізм самонавчання, де модель вчиться на власних семантично відфільтрованих виводах («бутстрепінг»), автори пропонують більш стабільну альтернативу PPO. Метод ефективно використовує метрики семантичної подібності для присвоєння м'яких міток згенерованим ланцюжкам міркувань, що дозволяє моделі розрізняти якісні та неякісні шляхи міркування без бінарних винагород. Критичною перевагою є зменшення «злому винагороди» (reward hacking), поширеного в RLHF. Проте методологія має обмеження: вона сильно залежить від початкових можливостей базової моделі (проблема «холодного старту») і ризикує призвести до «колапсу режимів» (mode collapse), коли модель сходиться на вузькому наборі шаблонів міркувань, які задовольняють семантичний фільтр, але не мають різноманітності. Крім того, обчислювальні витрати на розрахунок семантичної подібності у надзвичайно довгих контекстах залишаються значними.