DeepSeek-V3.2 представляє DeepSeek Sparse Attention та масштабований фреймворк навчання з підкріпленням, досягаючи чудової логіки та продуктивності агента, порівнянної з провідними пропрієтарними моделями, та відмінних результатів на міжнародних олімпіадах.

Стаття представляє DeepSeek-V3, значну віху в ландшафті відкритих великих мовних моделей (LLM). Її головне технічне диво полягає не лише в масштабуванні, а й в архітектурній ефективності. Використовуючи багатосторонню приховану увагу (MLA) та нову стратегію балансування навантаження без допоміжних втрат для архітектури «Суміш експертів» (MoE), автори досягли продуктивності, порівнянної з GPT-4o та Claude 3.5 Sonnet, за частку вартості навчання (прибл. 5,5 млн доларів проти 100 млн+ у конкурентів). Використання навчання змішаної точності FP8 є сміливим інженерним досягненням, яке підтверджує ефективність навчання з низькою точністю у величезних масштабах. Однак величезний розмір моделі (671 млрд параметрів, хоча лише 37 млрд активних) все ще створює високий бар’єр VRAM для локального розгортання, обмежуючи її «відкритість» підприємствами або висококласними дослідниками, а не звичайними користувачами. Крім того, хоча інженерія є трансформаційною, стаття зосереджена переважно на оптимізації витрат та архітектурі, а не на нових парадигмах міркування.