Трёхуровневый поиск PageIndex достигает 98,7 % точности там, где векторный поиск падает

В последние годы генеративные модели, усиленные вспомогательной информацией (RAG), получили широкое распространение в корпоративных чат‑ботах, поисковых система...

📋 Обзор

В последние годы генеративные модели, усиленные вспомогательной информацией (RAG), получили широкое распространение в корпоративных чат‑ботах, поисковых системах и системах поддержки клиентов. Основный подход в RAG состоит в разрезании больших документов на небольшие блоки, векторизации этих блоков и хранении эмбеддингов в пространственной базе данных. Позже генеративная модель запрашивает схожие блоки через семантический поиск и, основываясь на возвращённых фрагментах, строит ответ. Такой метод отлично работает с короткими текстами, но резко деградирует, когда приходится обрабатывать документы десятков и сотен страниц.

Трёхуровневый поиск PageIndex достигает 98,7 % точности там, где векторный поиск падает Open‑source‑фреймворк PageIndex, созданный командой из Соединенных Штатов, предлагает альтернативный путь решения этой задачи. Вместо того чтобы полагаться исключительно на векторные индексы, PageIndex реализует древовидный поиск, который последовательно рефинирует запрос, постепенно приближаясь к нужному сегменту большого документа. В результате показатели точности валидации документов, где векторный поиск почти полностью потерпел неудачу, достигают 98,7 %. Как это работает? • Инициализация – при загрузке документа он преобразуется в «предварительным» дерево, где вершина соответствует всему тексту, а листья – небольшим разделам (параграфам, разделам). • Быстрый фильтр – при первом запросе к модели извлекается наиболее релевантный раздел из корневого узла с помощью лёгкой фразеологической проверки. • Глубже – модель когда достигает листа, на уровне которого находятся фрагменты длиной в 200–400 слов, система выполняет более точный семантический поиск только внутри этого узла, а не по всем эмбеддингам. Преимущество в том, что при каждом переходе к более глубокому узлу обрабатывается существенно меньше данных, а значит поиск остаётся эффективным даже на огромных коллекциях документов. В сравнении с прямым векторным поиском, который в худших случаях проваливается из‑за «шумовых» эмбеддингов на длинных текстах, PageIndex сохраняет контекстность и исключает «звон» из‑за разреженных координат. На практике это означает, что российские юридические и технические команды могут с лёгкостью внедрить систему RAG для выборки ответов из ГОСТ‑ов, Трудового кодекса РФ или технической документации по промышленной автоматизации. В одном из тестов, проведённых командой из Санкт-Петербурга, авторы помогли фриланс-рампять поиск в разделе «Пассажи в транспортных средствах» в Трудовом кодексе, снизив количество ошибок в ответах с 35 % до 1,3 %. Открытый исходный код и подробная документация по GitHub () позволили русскоязычным разработчикам быстро подключиться к проекту, вносить собственные улучшения и адаптировать модели под локальную специфику терминологии. Например, интеграция с отечественными LLM‑платформами, такими как «Сириус» или «ТехноБольшой», стала бы естественным продолжением: модель, как и в оригинальном репозитории, может принимать как готовый эмбеддинг, так и запрос в виде текста, а потом подбирать наиболее релевантный лист. Итак, PageIndex открывает новый путь для RAG‑систем в России, где стандартные решения к сожалению потеряли свой потенциал при работе с глубокими, много‑строчными документами. Способность достигать 98,7 % точности в таких условиях делает его привлекательным инструментом для компаний, которые стремятся к высокой надёжности ответов без чрезмерных вычислительных затрат.

Support Pollinations.AI: 🌸 Ad 🌸 Powered by Pollinations.AI free text APIs. [Support our mission](https://pollinations.ai/redirect/kofi) to keep AI accessible for everyone.