Час не стоит: новые подходы к обучению ИИ-агентов в реальном времени
В мире, где время линейно и неумолимо, искусственные интеллекты часто действуют как туристы в музее, разглядывающие экспонаты по расписанию, в то время как музей за их спиной меняет вывески. Новая работа исследователей из arXiv описывает попытку заставить агентов на базе больших языковых моделей (LLM) работать в режиме реального времени, преодолевая разрыв между скоростью размышления человека и мгновенностью смены обстоятельств. Вводится бенчмарк RealtimeBench и метод обучения TORSI, позволяющий агенту учиться на своих ошибках, не теряя счет времени.
# Когда мир не ждет: вызов скорости для ИИ-агентов
Большие языковые модели (LLM) демонстрируют поразительную способность решать сложные задачи. Однако их работа часто требует времени на анализ ситуации и выбор следующего шага. В статичной среде, где правила не меняются, это время на размышление — преимущество. Но в динамичном мире, где контекст устаревает быстрее, чем завершается вычисление, правильная реакция, пришедшая слишком поздно, бесполезна. Исследователи из arXiv (cs.AI) поднимает эту проблему, предположив, что текущие методы оценки и обучения агентов не учитывают критический фактор — «живые часы» реальности.
Проблема запаздывания в динамичных средах
Центральная идея новой работы заключается в контрасте между идеальными условиями симуляции и хаосом реального взаимодействия. Авторы отмечают, что хотя LLM-агенты теоретически способны справляться со сложными интерактивными задачами, процессы мышления и вызов инструментов занимают время. В непрерывно меняющейся среде действие, которое было бы верным при застывшем времени, может оказаться неактуальным к моменту исполнения.
Для решения этой проблемы исследователи представляют RealtimeBench. Это новый набор данных, содержащий 180 задач, распределенных по шести различным типам игр. Главное отличие этого бенчмарка от предыдущих заключается в методе оценки: игры продолжают выполняться во время инференса (вывода), а не останавливаются для анализа. Это имитирует реальность, где время не ставится на паузу ради принятия решения.
В ходе парных тестов было выявлено важное различие между моделями. Более продвинутая модель GPT-6.1-sol, обладающая большими возможностями для глубокого анализа, превосходит более быструю модель Jev, когда игры ставятся на паузу. Однако в режиме непрерывного течения времени GPT-6.1-sol уступает, так как её размышления не успевают за движущейся мишенью. Это доказывает, что в динамике скорость реакции часто важнее глубины статического рассуждения.
*Мягкий комментарий редактора:* В такой ситуации агенты похожи на шахматиста, который слишком долго думает над ходом: к моменту, когда он находит идеальный план, его соперник уже переставил фигуру и выиграл партию. Технологии должны научиться думать не только глубже, но и быстрее, синхронизируя внутреннее время с внешним потоком.
Метод TORSI: Обучение через временные масштабы
Чтобы преодолеть разрыв между мощным, но медленным учителем и быстрым, но менее опытным учеником, авторы предлагают инновационный подход — Two-Timescale Offline Recursive Self-Improvement (TORSI). Этот метод организует процесс обучения, разделяя его на два временных масштаба.
Суть подхода заключается в следующем: 1. Медленный учитель: Мощная модель (учитель) изучает собственные неудачи и ошибки, совершенные агентом в симуляциях. Она анализирует эти сбои в паузах между попытками игры. 2. Генерация инструкций: На основе анализа, учитель создает повторимо используемые инструкции (рекоммендации) для коррекции поведения. 3. Быстрый ученик: Агенты (ученики) получают эти инструкции и действуют самостоятельно в режиме реального времени, без постоянных запросов к учителю во время геймплея. Выбор между разными версиями инструкций основывается на валидационных оценках успеха.
Результаты применения TORSI в двух раундах обучения показали впечатляющие улучшения. Средний тестовый балл модели Jev вырос с 13.51 до 24.19 по шкале прогресса от 0 до 100. Эти улучшения были зафиксированы во всех шести тестируемых типах игр.
Более того, сгенерированные инструкции оказались универсальными. Они позволили повысить средние баллы еще трем другим моделям без необходимости их перенастройки. Это свидетельствует о том, что метод TORSI способен извлекать общие паттерны поведения, полезные для широкого класса агентов.
Перспективы реального времени
Найденные результаты указывают путь к формированию реального интеллекта. Целью является создание агентных систем, способных оставаться эффективными в мире, который не останавливается ради их раздумий. Организация délibération (размышления), обучения и действия через разные временные масштабы становится ключом к этому.
Существенным открытием также является возможность улучшения нескольких моделей одновременно с помощью единого набора инструкций, сгенерированных одним учителем. Это открывает потенциал для масштабирования интеллектуальных систем без экспоненциального роста вычислительных затрат на каждое отдельное обучение. Хотя метод все еще находится на стадии экспериментов и требует дальнейшей валидации, он задает новый вектор развития: от статического анализа ситуаций к динамической адаптации в потоке времени.
Таким образом, работа «The World Won't Wait» (Мир не ждет) предлагает не просто новый набор тестов, а философский и технический сдвиг: чтобы быть полезным в реальном мире, искусственный интеллект должен уважать время, в котором живет этот мир.