Компания IBM представила две новые модели обработки естественного языка, способные работать с более чем 200 языками и обрабатывать контекст до 32К токенов
Компания IBM представила две новые модели обработки естественного языка - Granite Embedding Multilingual R2, которые способны работать с более чем 200 языками и обрабатывать контекст до 32К токенов. Это значительный шаг вперед в области обработки естественного языка и открывает новые возможности для разработчиков и исследователей.
Что изменилось в новой версии
Новые модели построены на основе ModernBERT и имеют два варианта: компактную модель с 97 миллионами параметров и полноценную модель с 311 миллионами параметров. Обе модели поддерживают работу с 52 языками и могут обрабатывать контекст до 32К токенов, что в 64 раза больше, чем предыдущая версия.
Кому это важно и что будет дальше
Новые модели будут интересны разработчикам и исследователям, работающим в области обработки естественного языка. Они могут быть использованы для решения задач, таких как перевод текста, суммаризация и анализ настроений. Кроме того, новые модели будут полезны для компаний, которые работают с большими объемами текстовых данных и cần эффективные инструменты для их обработки.
Источник: HF