NVIDIA выпустила Cosmos-H-Dreams — интерактивный симулятор хирургической робототехники, который генерирует видео операции со скоростью около 160 кадров в секунду на одной видеокарте RTX PRO 6000.
Содержание
- Почему хирургических роботов так сложно тестировать
- От модели мира к интерактивной среде
- Дистилляция: как большую модель научили работать быстро
- FlashDreams: 160 кадров в секунду на одной видеокарте
- Адаптация под собственные данные
- К замкнутому контуру хирургического физического ИИ
Хирургическая робототехника быстро движется от телеуправления к политикам класса «зрение — язык — действие», но обучать и проверять такие системы по-прежнему крайне сложно: физические платформы дороги, эксперименты медленно воспроизводятся, а любая ошибка способна повредить инструменты или биологический материал. NVIDIA предложила решение — Cosmos-H-Dreams, генеративный симулятор, который в реальном времени показывает, как хирургическая сцена отреагирует на действия робота, и позволяет управлять ею в замкнутом контуре.
- Почему хирургических роботов так сложно тестировать
- От модели мира к интерактивной среде
- Дистилляция: как большую модель научили работать быстро
- FlashDreams: 160 кадров в секунду на одной видеокарте
- Адаптация под собственные данные
- К замкнутому контуру хирургического физического ИИ
Почему хирургических роботов так сложно тестировать
Классические симуляторы давно используются как безопасная альтернатива реальным операциям, однако хирургические сцены исключительно трудны для моделирования. Деформируемые ткани, тонкое взаимодействие инструментов, зеркальные блики на металле, шовный материал, иглы, дым от коагуляции и постоянные перекрытия объектов — всё это имеет значение, и всё это нужно воспроизводить убедительно.
Мировые фундаментальные модели предлагают иной путь: вместо ручного описания каждого объекта и физического взаимодействия они обучают визуальную динамику напрямую из синхронизированных видеозаписей и кинематики робота. Именно так работал представленный ранее Cosmos-H-Surgical-Simulator — он генерировал будущее видео операции по исходному кадру сцены и последовательности действий робота, обеспечивая оценку политик быстрее физического времени и синтез данных в экосистеме Open-H-Embodiment.
Для российских исследовательских групп и медицинских центров, где доступ к дорогостоящим роботизированным платформам ограничен, подобный подход особенно ценен: он позволяет вести эксперименты, не привязывая каждый запуск к дефицитному оборудованию.
От модели мира к интерактивной среде
Cosmos-H-Surgical-Simulator построен на базе NVIDIA Cosmos-Predict2.5-2B и дообучен на датасете Open-H-Embodiment. Получив контекстный кадр операции и будущую траекторию робота, модель генерирует видео с вероятными визуальными последствиями этих действий. Записанную или сгенерированную политикой траекторию можно отправить в модель, получить соответствующий роллаут и оценить результат — без многократного выполнения движений на физическом роботе. Это удобно для офлайн-оценки политик и генерации синтетических данных.
Cosmos-H-Dreams переводит модель в режим реального времени. Отправная точка — мультиплатформенные хирургические приоры, усвоенные Cosmos-H-Surgical-Simulator; далее модель специализируют под настольное наложение швов на исследовательском комплексе da Vinci Research Kit (dVRK) и дистиллируют в каузальную ученическую модель, генерирующую сцену авторегрессионно. Выпущенная модель получает начальный RGB-кадр и живой поток кинематики робота, после чего выдаёт следующий блок кадров и продолжает работу со следующим блоком действий.
Гибкость системы подтверждает сотрудничество с CMR Surgical и Cambridge Consultants: Cosmos-H-Dreams интегрировали с хирургическим контроллером Versius, обеспечив работу в реальном времени на этой платформе.
Дистилляция: как большую модель научили работать быстро
Главная инженерная задача — сохранить полезную хирургическую динамику, радикально снизив стоимость генерации. Для этого команда построила конвейер «учитель — ученик», рассчитанный на длинные авторегрессионные роллауты.
Двунаправленный учитель стартует с чекпоинта Cosmos-H-Surgical-Simulator Open-H, использующего унифицированное 44-мерное представление действий. Для выпущенной настольной модели dVRK содержимое действий двух манипуляторов — относительное перемещение и вращение конечного эффектора плюс состояние захвата — отображается в это общее представление. Затем учителя дообучают на смеси данных JHU dVRK tabletop, куда входят не только успешные демонстрации, но и неудачные и выходящие за распределение эпизоды: падения иглы, промахи при броске, неудавшиеся узлы. Это принципиально важно: симулятор, предназначенный для оценки политик, обязан воспроизводить последствия плохих действий, а не только идеальные сценарии.
Для устойчивости на длинных роллаутах временной горизонт обучения постепенно наращивают: стартуют с 12 кадров и последовательно доводят до 72, на каждом увеличении горизонта инициализируя прогретую модель предобученными весами.
Следующий этап — каузальный прогрев. Траектории денойзинга учителя предварительно вычисляются и кэшируются; каузальный ученик инициализируется от учителя и учится имитировать эти кэшированные траектории. Так модель осваивает каузальное внимание и потоковый KV-кэш ещё до того, как начнёт обучаться на собственной сгенерированной истории.
Наконец, применяется дистилляция с самопринуждением (self-forcing). Авторегрессионные модели сталкиваются с известной проблемой: на обучении они видят чистый эталонный контекст, а в работе вынуждены опираться на собственные несовершенные выходы, из-за чего мелкие ошибки накапливаются. Во время обучения ученик Cosmos-H-Dreams разворачивает сцену на собственном сгенерированном контексте, а замороженный учитель через сопоставление распределений подталкивает эти роллауты к реалистичному хирургическому видео. Итоговая модель поддерживает малошаговую диффузию — всего два шага денойзинга на латентный кадр вместо многошагового процесса полного учителя.
FlashDreams: 160 кадров в секунду на одной видеокарте
Дистилляция — только половина истории про реальное время. Модель обслуживается через FlashDreams, ускоренную библиотеку инференса NVIDIA для авторегрессионных мировых и видеомоделей. Она превращает дистиллированного ученика в низколатентную потоковую систему за счёт набора взаимодополняющих оптимизаций: потокового KV-кэша, захвата CUDA Graph и компиляции модели.
Совокупный эффект впечатляет: примерно с десяти кадров в секунду, характерных для стандартного инференса Cosmos-H-Surgical-Simulator, дообученная хирургическая модель разгоняется до интерактивных ~160 кадров в секунду на единственной видеокарте NVIDIA RTX PRO 6000.
Cosmos-H-Dreams также включает интерфейсы человек — машина, превращающие генерацию во взаимодействие. Браузерный клиент передаёт команды с клавиатуры и получает сгенерированные кадры по WebRTC. Клиент для Meta Quest преобразует движения отслеживаемых контроллеров в действия робота и показывает синтезированную сцену через WebXR. Ту же модель можно подключить к обученной хирургической политике: сгенерированные наблюдения и предсказанные действия циркулируют внутри замкнутого контура.
Адаптация под собственные данные
Хотя в комплект входит предобученный чекпоинт для настольного наложения швов, система изначально спроектирована расширяемой под конкретную роботизированную платформу пользователя.
Чтобы обучить собственного ученика реального времени на своём датасете, разработчики предлагают полный рецепт дообучения учителя и дистилляции с самопринуждением — с пошаговым руководством. Это открывает дорогу лабораториям, работающим с другими манипуляторами и типами вмешательств.
К замкнутому контуру хирургического физического ИИ
Cosmos-H-Dreams открывает новое направление: среды, выученные из реальных роботизированных данных и достаточно отзывчивые, чтобы в них можно было «жить» и работать. Ближайший шаг — оценивать не только визуальное качество. Полезный хирургический симулятор должен корректно реагировать на действия, сохранять структуру инструментов и сцены на длинных роллаутах и давать выводы, переносимые на физического робота.
Отсюда новое семейство замкнутых бенчмарков: точность достижения и позы кончика инструмента, достоверность циклов захвата, стабильность в покое, разнообразие контрфактических действий, дрейф на длинных горизонтах и согласованность исходов политик в симуляции и в реальности.
Модели мира реального времени могут стать активными партнёрами в разработке хирургических политик: генерировать редкие отказы по запросу, предоставлять масштабируемые среды для обучения с подкреплением и имитационного обучения, ускорять оценку новых политик без привязки каждого эксперимента к дефицитному железу. Дальше на горизонте — телехирургия с учётом задержек, где мировая модель помогает поддерживать стабильную картинку, интерактивная репетиция операций, планирование вмешательств и интраоперационная поддержка решений.
В NVIDIA подчёркивают: Cosmos-H-Dreams — это исследовательская платформа, а не диагностическая система, не замена интраоперационной визуализации и не контроллер физического хирургического робота. Но по мере роста точности моделей, временной стабильности и энергоэффективности оборудования генеративная симуляция реального времени способна объединить обучение хирургов, синтез данных, тренировку и оценку политик в единой среде физического ИИ.
Источник: HF