Gemini Robotics ER 2: Новый «мозг» для роботов, способный видеть, планировать и работать в команде
Google DeepMind представил Gemini Robotics ER 2 — модель, предназначенную для работы как высокоразумный мозг в робототехнике. Эта система обеспечивает пространственное понимание в реальном времени, управление многошаговыми задачами и координацию между несколькими роботами, что позволяет машинам действовать безопаснее и эффективнее в физических условиях.
# Gemini Robotics ER 2: Эпоха «встроенного мышления» в робототехнике
Команда Google DeepMind объявила о выпуске Gemini Robotics ER 2, описывая этот релиз как качественный скачок в возможностях роботов. Новая модель разработана для того, чтобы наделять физических агентов способностью не только выполнять движения, но и думать о них в реальном времени. В отличие от предыдущих версий, способных реагировать только на статичные снимки, ER 2 работает с непрерывными видеопотокми, что позволяет роботам отслеживать свой прогресс, корректировать действия на лету и завершать сложные操作流程ы, требующие высокой скорости реакции.
Высокая скорость и непрерывное планирование
Главным вызовом в робототехнике является задержка между принятием решения и его исполнением в физическом мире. Предыдущие модели часто вынуждены были останавливаться для долгого размышления, что приводило к «рывкам» в движении. Gemini Robotics ER 2 решает эту проблему, интегрируясь с Gemini Live API через двунаправленный поток данных, оптимизированный для задач с чувствительностью к задержкам.
Система позволяет роботам выполнять многошаговые задачи без длительных пауз «думать-действовать». Например, в демонстрационном проекте с роботом Spot от Boston Dynamics модель координировала навигацию и манипуляции, чтобы поднести попкорн, отвечая на естественный голосовой запрос. Разработчики могут подключить низкослойные интерфейсы управления, такие как модели Vision-Language-Action (VLA) или навигационные API, и передавать им мультимодальные данные (видео, аудио, текст). ER 2 превосходит предыдущую версию (ER 1.6) по эффективности оркестрации инструментов во всех режимах управления, включая удаленное управление человеком.
Понимание прогресса и точные моменты
Одним из самых сложных аспектов робототехники является определение момента завершения действия. ER 2 вводит два фундаментальных механизма: классификацию прогресса и поиск моментов (moment finding).
В режиме классификации прогресса робот анализирует каждое видеокадр и распределяет его в одну из пяти категорий выполнения задачи (от 0–20% до 80–100%). Это дает системе ситуационную осведомленность: если робот обнаруживает отклонение от плана, он может адаптировать действия без перезапуска всего процесса. На тестовых данных модель достигла 57,4% точности в классификации прогресса.
Механизм поиска моментов позволяет выявлять конкретные кадры, где происходит критическое событие, например, момент, когда чашка наполняется до краев. Точность здесь достигает 91,3%, а среднеквадратичная ошибка по времени составляет всего 0,96 секунды. При этом вычислительные затраты значительно ниже, а скорость выполнения в четыре раза выше, что критично для безопасной работы в реальном мире.
Сотрудничество нескольких роботов
Ни один робот не может решить все задачи сам. В колесных роботах эффективнее работать внутри помещений, тогда как гуманоидные модели лучше чувствуют себя на неровной местности. Gemini Robotics ER 2 позволяет создавать семантически связанные группы роботов. Различные машины могут обмениваться информацией и передавать задачи друг другу для выполнения сложных рабочих процессов, которые одиночный агент не справился бы.
В демонстрационном сценарии показано, как робот-дрон Apptronik Apollo 2 и гуманоид Franka F3 Duo координируют свои действия. Такая гибкость позволяет создавать универсальные роботизированные команды, способные решать задачи любой сложности в совместной работе.
Безопасность и работа с инструментами
Система прошла значительное тестирование в области безопасности. Она успешно останавливает движение гуманоидного робота, если рядом появляется человек, и возобновляет работу, когда зона считается безопасной. Модель показывает высокую эффективность в выполнении инструкций по безопасности и распознавании людей в непосредственной близости.
Эксперты также отмечают улучшение общего пространственного интеллекта. Модель научилась работать с десятками типов измерительных приборов: от традиционных манометров до современных цифровых дисплеев и линейных шкал. Это позволяет роботам считывать показания в реальных производственных условиях, где часто отсутствуют текстовые инструкции.
Выводы
Gemini Robotics ER 2 представляет собой не просто улучшение существующих моделей, а новую парадигму в робототехнике, где машинное зрение, понимание контекста и безопасная координация сливаются в единой системе. Это открывает перспективы для широкого внедрения автономных роботов в логистике, медицине, строительстве и других сферах, где требуется высокая точность и надёжность.