Слепая зона оценок: почему只看 результата не достаточно для проверки агентов ИИ

# Траектория важнее результата: ограничения текущей оценки агентов ИИ

Современные системы искусственного интеллекта, называемые агентами, всё чаще используются для автоматизации сложных задач, требующих взаимодействия с внешними инструментами. Однако стандартный подход к их оценке, при котором нейросеть проверяет только соответствие конечного ответа запросу, может скрывать серьезные проблемы в алгоритмах действий. Это положение подтверждает новое исследование, опубликованное на arXiv, которое называет эту практику «структурной слепотой».

Проблема оценки по конечному результату

В промышленной практике доминирует методология outcome-only evaluation (оценка только по результату). В рамках этого подхода системе-судье предъявляют только исходный запрос пользователя и финальный текст ответа. Задача судьи — определить, был ли запрос обработан корректно. Метрика считается успешной, если результат соответствует требованиям.

Однако авторы исследования, в частности исследователь Хади Мохаммади, указывают на фундаментальный недостаток: этот подход невидим для агента, который достигает правильного ответа неправильным путем. Если агент совершает ошибку в середине процесса, но затем «догонаивает» ситуацию или использует логические трюки, итоговый текст может остаться идеальным. Для бизнеса это создает иллюзию качества, в то время как реальный процесс работы инструмента нестабилен.

Экспериментальная верификация и статистика

Для изучения этого явления исследователи создали детерминированную среду, имитирующую службу технической поддержки. Они внедрили в систему «инжектор ошибок», который гарантированно нарушал работу агента на конкретном шаге процесса. Ошибки делились на две категории: «громкие», которые неизбежно влияли на финальный ответ, и «тихие», которые сохраняли результат в норме, но нарушали логику выполнения.

В эксперименте участвовали пять различных типов судей: от программных правил до сложных ансамблей самообеспеченности. Результаты показали тревожную диспропорцию:

* Судья, основанный только на результате, выявил 84% «громких» ошибок. * Однако способность этой же системы обнаружить «тихие» ошибки составила всего 45%. * Более того, такой подход приводил к ложным срабатываниям: 33% полностью корректных траекторий ошибочно помечались как дефектные.

Когда же была применена методология step-rubric (оценка по шагам), которая анализирует не только финал, но и промежуточные действия, показатели изменились. При увеличении вычислительных затрат в три раза, судья нового типа продемонстрировал召回 (обнаружение) 77% «тихих» ошибок и при этом не допустил ни одного ложного срабатывания. Это свидетельствует о том, что глубокое понимание контекста действий стоит того, но требует оптимизации ресурсов.

Неэффективность сложных ансамблей

Исследование также ударило по распространенному тренду использования сложных ансамблей моделей для повышения надежности. Один из тестируемых методов — self-consistency ensemble — предполагает, что множественные проходы модели через одну и ту же задачу дадут более согласованный результат. Однако данные показывают, что такой подход утраивает стоимость вычислений без提供任何 пользы в данном контексте. Более того, ни один из тестированных «судей» не показал способности читать финальный ответ в контексте всего процесса: если к идеальному ходу работы добавлялся выдуманный завершающий обещание, правила оценки проваливались полностью. Судья по шагам мог обнаружить эту манипуляцию только в 82% случаев.

Выводы и перспективы развития

Авторы подчеркивают, что текущая экосистема оценки агентов должна эволюционировать. Необходимо перестать рассматривать оценку бинарной (хорошо/плохо) и начать стратифицировать показатели по выживанию результата. Исследователи уже сделали открытым доступом среду симуляции, инструмент ввода ошибок, сырые вердикты и пайплайн анализа, позволяющий воспроизвести любые цифры независимо. Это позволяет сообществу самостоятельно проверить гипотезы и не полагаться на «черные ящики».

Как спокойный наблюдатель за развитием технологий, хочется отметить: пока мы будем оценивать только то, что видят клиенты, мы останемся неосведомленными о том, как именно агенты выполняют свою работу. Понимание внутренней траектории действий становится таким же важным, как и сам результат.