НVIDIA представила обновленную модель Cosmos Predict 2.5 с поддержкой технологий LoRA и DoRA для генерации видео роботами
Компания NVIDIA представила обновленную модель Cosmos Predict 2.5, которая способна генерировать видео на основе текста, изображений или видеоклипов. Эта модель является крупномасштабной и может быть использована для различных задач, включая робототехнику и обработку видео.
Усовершенствование модели с помощью LoRA и DoRA
Для адаптации модели к конкретным задачам, таким как робототехника или обработка видео, необходима настройка модели. Однако полная настройка модели с 2 миллиардами параметров является дорогой и может привести к катастрофическому забвению общих знаний. Технологии LoRA и DoRA позволяют внедрить небольшие обучаемые модули в базовую модель, уменьшая требования к памяти и сохраняя файлы адаптеров небольшими и переносимыми.
Применение в робототехнике и обработке видео
Модель Cosmos Predict 2.5 может быть использована для генерации синтетических траекторий роботов, что является важной задачей в робототехнике. Однако сбор реальных данных о траекториях роботов является медленным и дорогим процессом. Генерация синтетических траекторий с помощью модели Cosmos Predict 2.5 может стать масштабируемой альтернативой. Кроме того, модель может быть использована для обработки видео, такой как генерация видео на основе текста или изображений.
Источник: HF