NVIDIA запускает реальное время генеративные симуляторы для хирургической робототехники
NVIDIA представила Cosmos-H-Dreams — новую платформу для интерактивных симуляций в области хирургической робототехники. Эта система позволяет генерировать видеоряд в реальном времени на основе действий хирургических роботов, обеспечивая обучение политик без затрат физических роботов и рисков повреждения инструментов.
# NVIDIA превращает хирургию в интерактивную симуляцию
Компания NVIDIA объявила о выпуске Cosmos-H-Dreams, модели, способной генерировать видеопоток в реальном времени для симуляции действий хирургического робота. Этот прорыв позволяет ученым и инженерам создавать среды для тестирования алгоритмов управления, где виртуальные действия вызывают реалистичные визуальные последствия без риска поломки дорогостоящего оборудования.
Ранние версии технологий NVIDIA, такие как Cosmos-H-Surgical-Simulator, уже демонстрировали способность предсказывать развитие сценария, но работали с ограничениями по времени. Новая модель переводит эти возможности в режим "реального времени", делая симуляцию пригодной для интерактивного использования, в том числе в замкнутых контурах управления.
От статических моделей к интерактивным симуляторам
Ключевое отличие Cosmos-H-Dreams от предшественника заключается в скорости обработки данных. Если предыдущие модели генерировали кадры со скоростью около 10 кадров в секунду, то новая система, работающая на одной видеокарте NVIDIA RTX PRO 6000, достигает интерактивной скорости примерно в 160 кадров в секунду.
Это достигается за счет использования библиотеки ускоренного вывода FlashDreams, которая оптимизирует вычислительные процессы, включая потоковое кэширование контекста и компиляцию моделей. Система принимает начальный RGB-фрейм и поток кинематики хирургического робота, а затем мгновенно генерирует следующий набор кадров, показывая, как ткани реагируют на движение инструментов.
Особое внимание уделено точности воспроизведения деформируемых тканей. Модель учитывает взаимодействие тонких инструментов со специфическими поверхностями, включая работу с нитями, иглами и игнорирование дымовых эффектов или засветок. Это позволяет симулировать не только успешные операции, но и сложные ситуации, такие как пропуск броска или завязывание узла.
Сжатие знаний для ускорения генерации
Чтобы уместить мощные возможности в режим реального времени, инженеры NVIDIA использовали метод дистилляции знаний. В основе лежит подход "учитель-ученик":
1. Модель-учитель: Крупная модель Cosmos-H-Surgical-Simulator обучается на больших данных, включая успешные и неудачные эпизоды (например, падение иглы). 2. Модель-ученик: Компактная каузальная модель, которая учится воспроизводить результаты учителя, но делает это быстро и по шагам.
В процессе обучения используется метод "самопринуждения" (self-forcing distillation). Это предотвращает накопление ошибок при предсказании будущих кадров: студент генерирует контекст сам, а учителю дается задача скорректировать распределение, чтобы результат соответствовал реальности. Также применяется каузальный теплый старт, где студент учится работать со своим собственным генерируемым историческим контекстом.
Выход за пределы визуального качества
Несмотря на высокую скорость, команда подчеркивает, что цель проекта — не просто красивый видеоэффект. Следующий шаг развития — создание закрытых контуров физических ИИ. В будущих версиях симулятор будет проверяться не только по визуальной правдоподобности, но и по точности позиционирования наконечника инструмента, стабильности и соответствию поведения физических объектов в виртуальной и реальной средах.
Такие технологии открывают возможности для дистанционной телехирургии, где модель помогает поддерживать стабильное изображение, или для планирования операций в виртуальной среде перед вмешательством в организм пациента. Система также может использоваться для генерации редких аварийных ситуаций "по требованию" для тренировки роботов.
NVIDIA напоминает, что эта платформа является инструментом для исследований и разработки, а не диагностической системой, заменяющей внутриоперационную визуализацию.