Великі мовні моделі (LLM) продемонстрували вражаючі можливості в різних галузях, революціонізуючи обробку природної мови та поширюючи свій вплив на наукові дослідження. Цей огляд надає доступний вступ до LLM та їхніх зростаючих застосувань у наукових відкриттях. Ми охоплюємо фундаментальні концепції LLM, включаючи їхні архітектури (наприклад, Transformer), методології навчання (наприклад, попереднє навчання, точне налаштування) та ключові функціональні можливості, що стосуються наукових завдань (наприклад, генерація тексту, узагальнення, відповіді на запитання). Потім ми надаємо всебічний огляд того, як LLM використовуються в різних наукових дисциплінах, таких як матеріалознавство, хімія, біологія та фізика. Конкретні застосування включають генерацію гіпотез, проектування експериментів, аналіз даних, огляд наукової літератури та автоматизовану генерацію коду для моделювання. Нарешті, ми обговорюємо поточні виклики та майбутні напрямки, підкреслюючи етичні міркування, інтерпретованість та інтеграцію LLM з традиційними науковими методами.

Обсяг наукових даних зростає експоненціально, що робить неможливим для людини прочитати кожну статтю або проаналізувати кожну молекулу. Хоча LLM показали успіх у загальних сферах, існує прогалина в знаннях щодо ефективного застосування їх до спеціалізованих наукових проблем через унікальні виклики, такі як складна термінологія, мультимодальні дані (графи, рівняння) та висока ціна помилок.

Стаття використовує методологію підручника та систематичного огляду. Вона починається зі встановлення технічних основ LLM (Трансформери, Закони масштабування). Потім надається таксономія наукових завдань, придатних для LLM. Автори синтезують результати різних досліджень, щоб проілюструвати «життєвий цикл» створення наукової LLM: Збір даних -> Архітектура моделі -> Навчання -> Оцінка. Нові експериментальні дані не представлені; натомість систематизуються існуючі знання.

Стаття робить висновок, що LLM діють як ефективні «полімати» в науці. Основні висновки включають: 1) LLM можуть прискорити огляд літератури та вилучення знань. 2) Вони демонструють перспективи в генеративних завданнях, таких як дизайн білків та генерація молекул, якщо розглядати їх як мовні проблеми. 3) Моделі загального призначення часто не справляються зі спеціалізованим науковим мисленням без донавчання або RAG. 4) Підхід «людина в контурі» наразі є найбезпечнішим та найефективнішим способом розгортання цих моделей.

Ця стаття є життєво важливим початковим посібником для галузі, що швидко розвивається. Вона успішно демістифікує складні концепції ШІ для профільних науковців. Однак її характер «миттєвого знімка» означає, що вона пропускає зовсім недавні досягнення, такі як ефективність Mixture-of-Experts (MoE) або новітні моделі з довгим контекстом (Gemini 1.5). Вона значною мірою покладається на обіцянки LLM, згладжуючи значні енергетичні витрати та «кризу відтворюваності», яка може погіршитися через недетерміновані вихідні дані моделей. Різниця між «запам'ятовуванням» та справжнім «мисленням» у наукових контекстах могла б бути розглянута критичніше.