Стаття 'DeepSeek LLM: Scaling Open-Source Language Models with Longtermism' (ідентифікована за виправленим ID 2312.04897, оскільки 2512 — це майбутня дата) робить значний внесок у ландшафт LLM з відкритим кодом. У ній детально описано розробку моделей на 7B та 67B параметрів, навчених на масивному наборі даних у 2 трильйони токенів. Автори демонструють, що ретельне очищення даних та закони масштабування є важливішими за архітектурну новизну. Сильною стороною є прозорість конвеєра обробки даних та використання Multi-Head Attention навіть для моделі 67B (на відміну від GQA у Llama-2), що покращує продуктивність за рахунок пам'яті для виведення. Однак обмеженням є відсутність повної прозорості набору даних (що є типовим для індустрії) і той факт, що 2Т токенів, хоч і багато на той час, зараз перевершуються моделями на кшталт Llama 3 (15Т+). Оцінювання значною мірою покладається на стандартні бенчмарки, які схильні до забруднення.