Долгосрочные испытания агентов: новый стандарт LHTB 2.0 оценивает не только результат, но и процесс
В мире искусственного интеллекта, где агенты все чаще берут на себя роль исследователей и инженеров, критически важно понять, как они ведут себя в течение длительного времени. Группа исследователей, опубликовавшая статью на arXiv, представила Long-Horizon-Terminal-Bench 2.0 (LHTB 2.0) — улучшенную систему тестирования, способную отслеживать прогресс модели не по бинарному финалу, а по промежуточным шагам в задачах, требующих от нескольких часов до трех часов выполнения.
# LHTB 2.0: Новые горизонты для оценки автономных агентов
Искусственный интеллект перешел от простых диалоговых систем к агентам, способным выполнять сложные последовательные действия. Однако традиционные методы тестирования часто фокусируются только на конечном результате: выполнено задание или нет. Для реальных рабочих процессов, где ошибки накапливаются и путь к цели столь же важен, как и сама цель, требуется более тонкий инструмент оценки. Именно такую потребность решает новая версия бенчмарка Long-Horizon-Terminal-Bench 2.0.
Архитектура бенчмарка: от 46 к 77 задачам
Новая версия платформы сохраняет все 46 оригинальных задач предыдущей итерации, но при этом устраняет ряд дефектов как в самих заданиях, так и в инфраструктуре их оценки. Более того, команда исследователей расширила набор, добавив 31 новую задачу. Итоговый набор LHTB 2.0 состоит из 77 задач, распределенных по 13 различных областям знаний и охватывающих восемь типов задач.
Ключевая инновация заключается в пайплайне автоматизированного восстановления задач (reconstruction-task pipeline). Этот процесс начинается с существующего работающего научного или инженерного артефакта. Затем с использованием параметризованного референсного реализации генерируется множество различных сценариев. Из них шесть разрабатываются как доказательство поведения (behavioral evidence), три резервируются для оценки, а остальная часть используется для создания «лестницы прогресса» (progress ladders). Эта лестница позволяет награждать частичные успехи и предотвращает запоминание публичных выходов моделями.
Измерение устойчивого прогресса
Одной из самых значимых технических изменений в LHTB 2.0 является увеличение горизонта оценки. Если предыдущие версии ограничивались 90 минутами, то теперь агенты работают в течение трех часов. В системе установлены контрольные точки верификатора каждые 30 минут, что позволяет напрямую измерять способность модели поддерживать прогресс на протяжении всего сеанса, а не просто достичь финального состояния.
Исследователи провели масштабное тестирование, проанализировав 1 145 завершенных прогонов от 15 передовых моделей. Результаты показали, что модель GPT-6-astra занимает лидирующую позицию с плотным средним вознаграждением (dense mean reward) 0.69, выполнив успешно 37 задач с рейтингом не менее 0.95. На втором месте находится GPT-5.6-sol с показателем 0.67 и 32 успешными задачами.
Промежуточные победы против финального результата
Важнейшим выводом исследования стало сравнение методов оценки. В рамках 30 задач восстановления (reconstruction tasks), основанных исключительно на бинарном верификаторе (успех/неудача), средний балл составил всего 0.221. Однако, когда использовалась плотная шкала лестниц прогресса, учитывающая промежуточные этапы, средний балл вырос до 0.653. Этот разрыв доказывает, что оценка только по конечному результату игнорирует существенную часть работы, выполненной агентом по дороге к цели. Для разработки надежных систем, способных работать автономно в течение часов, такой процесс-ориентированный подход является фундаментально необходимым.