Генерація з доповненим пошуком (RAG) є критично важливою для великих мовних моделей (LLM) при обробці довгих документів, але поточні моделі пошуку не відповідають цьому завданню через такі проблеми, як врахування контексту, причинно-наслідковий зв'язок та обсяг пошуку. У цій статті пропонується AttentionRetriever, нова модель пошуку довгих документів, яка використовує механізм уваги та пошук на основі сутностей для створення контекстно-орієнтованих вбудовувань та визначення обсягу пошуку. Широкі експерименти показують, що AttentionRetriever значно перевершує існуючі моделі пошуку на наборах даних довгих документів, зберігаючи ефективність, порівнянну з щільними моделями пошуку.