Новые модели Ettin Reranker для точного ранжирования результатов поиска
Содержание
- 📋 Обзор
- Что такое Reranker и зачем он нужен
- Как использовать модели Ettin Reranker
- Детали архитектуры моделей Ettin Reranker
- Результаты экспериментов
Компания Hugging Face представила новое семейство моделей Ettin Reranker, предназначенных для улучшения результатов поиска. Эти модели используют архитектуру CrossEncoder и могут быть использованы для точного ранжирования результатов поиска.
Что такое Reranker и зачем он нужен
Reranker - это нейронная модель, которая принимает на вход пару запрос-документ и выдаёт единственный балл релевантности. Отличие от модели эмбеддинга заключается в том, что reranker позволяет двум текстам взаимодействовать друг с другом на каждом слое трансформера, что делает его более точным, но и более дорогим в вычислительном отношении.
Как использовать модели Ettin Reranker
Модели Ettin Reranker можно использовать с помощью библиотеки Sentence Transformers. Для этого необходимо загрузить модель и использовать её для ранжирования результатов поиска.
Детали архитектуры моделей Ettin Reranker
Модели Ettin Reranker используют архитектуру ModernBERT с непadded вниманием, RoPE positional encodings и GeGLU. На основе каждой модели создается классификационный head, состоящий из четырёх модулей.
Результаты экспериментов
Модели Ettin Reranker были протестированы на базе MTEB(eng, v2) Retrieval и показали высокие результаты. Были также проведены эксперименты по сравнению моделей с разными размерами и показано, что модели с большим размером показывают лучшие результаты.
Источник: HF