Компании, работающие с искусственным интеллектом, давно сталкиваются с проблемой обновления моделей ИИ без повторной тренировки. Новая система MeMo, разработанная исследователями из нескольких университетов, предлагает решение этой проблемы, позволяя обновлять модели ИИ без повторной тренировки и повышая производительность на 26%.

Проблема обновления моделей ИИ

Обновление моделей ИИ является важной задачей для компаний, работающих с искусственным интеллектом. Однако текущие методы обновления моделей ИИ имеют ряд недостатков. Одним из наиболее распространенных методов является использование не-параметрических методов, таких как retrieval-augmented generation (RAG) и in-context learning. Однако эти методы имеют ограничения, связанные с размером контекстного окна и качеством полученных результатов.

Работа MeMo

MeMo представляет собой модульную архитектуру, состоящую из двух отдельных компонентов: MEMORY модели и EXECUTIVE модели. MEMORY модель является небольшой языковой моделью, обученной для кодирования новой информации в свои параметры. EXECUTIVE модель является замороженной, готовой моделью ИИ, которая функционирует как двигатель рассуждений. Когда пользователь задает вопрос, EXECUTIVE модель обращается к MEMORY модели как к внешнему оракулу, выдавая целевые подзапросы для сбора фактов и синтезируя эти факты в окончательный ответ.

Преимущества MeMo

MeMo имеет ряд преимуществ по сравнению с существующими методами обновления моделей ИИ. Одним из наиболее важных преимуществ является возможность обновлять модели ИИ без повторной тренировки, что может занять много времени и ресурсов. Кроме того, MeMo позволяет использовать готовые модели ИИ, что может сэкономить время и ресурсы на разработке и тренировке новых моделей.

Эксперименты и результаты

Исследователи провели ряд экспериментов для оценки эффективности MeMo. Результаты показали, что MeMo доминирует в задачах рассуждения на длинных документах, достигая 53,58% точности на NarrativeQA benchmark. Это значительно выше, чем результаты, достигнутые традиционными методами RAG и другими современными системами.