Бенчмаркінг малих мовних моделей та малих мовних моделей міркувань для класифікації серйозності системних логів

Автори: Yahya Masri, Emily Ma, Zifu Wang, Joseph Rogers, Chaowei Yang

Опубліковано: 2026-01-13

Переглянути на arXiv →
#cs.AI

Анотація

Ця стаття оцінює дев'ять малих мовних моделей (SLM) та малих мовних моделей міркувань (SRLM) щодо класифікації серйозності системних логів, використовуючи реальні дані `journalctl` з виробничих серверів Linux. Вона оцінює продуктивність за умови запитів з нульовим, невеликим і доповненим пошуком (RAG), виявляючи сильну стратифікацію та значні покращення з RAG для деяких моделей. Крихітна Qwen3-0.6B помітно досягає 88,12% точності з пошуком, незважаючи на слабку продуктивність без нього.

Бенчмаркінг малих мовних моделей та малих мовних моделей міркувань для класифікації серйозності системних логів

Автори: Yahya Masri, Emily Ma, Zifu Wang, Joseph Rogers, Chaowei Yang

Опубліковано: 2026-01-13

Переглянути на arXiv →
#cs.AI

Анотація

Ця стаття оцінює дев'ять малих мовних моделей (SLM) та малих мовних моделей міркувань (SRLM) щодо класифікації серйозності системних логів, використовуючи реальні дані `journalctl` з виробничих серверів Linux. Вона оцінює продуктивність за умови запитів з нульовим, невеликим і доповненим пошуком (RAG), виявляючи сильну стратифікацію та значні покращення з RAG для деяких моделей. Крихітна Qwen3-0.6B помітно досягає 88,12% точності з пошуком, незважаючи на слабку продуктивність без нього.

FEEDBACK

Проекти

Немає проектів

Бенчмаркінг малих мовних моделей та малих мовних моделей міркувань для класифікації серйозності системних логів | ArXiv Intelligence