Где скрывается ценность оптимизации? Локальные победы и ловушка равномерного распределения в эволюции агентов
Традиционные методы эволюции промптов часто рассматривают обертку модели как единый плоский текст, однако новое исследование показывает, что оптимизационная ценность сконцентрирована исключительно в одном секторе — управлении и рефлексии. Попытки равномерно разделить вычислительный бюджет между всеми элементами могут быть не просто неэффективными, но и вредными, приводящими к полному застреванию системы.
# Где живет ценность оптимизации агентов?
В последние годы значительное внимание уделяется улучшению больших языковых моделей (LLM), функционирующих как автономные агенты. Основной метод этого улучшения заключается в эволюции их "хенесса" (harness) — текстовой обвязки вокруг модели, включающей роль, стратегию, правила форматирования и контрольные эвристики. Однако подход к оптимизации этого текста часто остается примитивным.
Большинство существующих методов, использующих рефлексивную эволюцию промптов, оптимизируют этот "хенесс" как единый, плоский массив символов. Группа исследователей, представившая работу на arXiv под заголовком "Where Does Harness-Optimization Value Live?", предлагает иной взгляд. Они задают фундаментальный вопрос: действительно ли ценность оптимизации распределена равномерно, или же она локализована в конкретных частях обертки?
Фрагментация и локализация ценности
Исследователи разработали метод HARNESSEVO, который деконструирует "хенесс" на четыре независимо эволюционируемых слота: роль, задача-стратегия, правила инструментов/формата и, наконец, рефлексию/контроль. Для проведения экспериментов была использована замороженная модель объемом 7 миллиардов параметров (7B backbone) на тестовом окружении ALFWorld.
Результаты общего бинарного успеха показали неожиданный вывод. Общий уровень успеха метода HARNESSEVO (0.657) не статистически отличался от исходного стандартного "хенесса" (0.642) или результатов эволюции плоской строки (0.642). На первый взгляд, сложная модульная эволюция не принесла очевидных преимуществ на уровне общей задачи.
Однако глубинный анализ на уровне слотов раскрыл скрытую динамику. Почти вся полезная ценность оптимизации оказалась локализована в одном из компонентов — слоте "рефлексия/контроль". Именно этот элемент продемонстрировал прирост эффективности в +0.119 при оставлении "на входе" (leave-one-in gain). Остальные три слота показали нулевой индивидуальный вклад. Это указывает на то, что в данной конфигурации именно механизмы внутреннего контроля и самоанализа являются критическими факторами успеха, в то время как перефразирование роли или правил форматирования не дает значимого прироста.
*Примечание редактора:* Важно понимать, что это не универсальная истина для всех задач. В исследовании упоминается, что эффект зависит от конкретной задачи. На другом окружении, WebShop, все слоты "заморозились" на пустых значениях, и все методы показали идентичные результаты. Это говорит о том, что в некоторых сценариях отсутствуют повторяющиеся, вербализуемые ошибки управления, которые могли бы быть исправлены эволюцией промпта.
Ловушка равномерного распределения бюджета
Одна из самых важных находок работы касается управления вычислительными ресурсами, или бюджета. Традиционный интуитивный подход предполагает равномерное распределение ограниченного числа прогонов (rollouts) между всеми эволюционирующими частями системы.
Исследование показало, что такая стратегия может быть активно вредной. Когда общий бюджет в 64 прогона распределялся равномерно на четыре слота, на каждый приходилось лишь 16 прогонов. Это количество оказалось ниже порога эффективного поиска для используемого оптимизатора. В результате каждый слот "залипал" на своей исходной пустой загрузке, не имея достаточного количества данных для обучения и улучшения.
В отличие от этого, концентрация всего бюджета на высокоэффективном слоте "контроль" позволила восстановить утерянные показатели. При использовании лишь половины от начального бюджета, но сфокусированного на правильной компоненте, общий успех системы вырос до 0.761. Это наглядно демонстрирует, что слепое разделение ресурсов может быть разрушительным для процесса эволюции агента.
Выводы и будущее эволюции агентов
Итоговые выводы работы указывают на необходимость смены парадигмы при разработке саморазвивающихся агентов. Ценность оптимизации "хенесса" не является равномерной; она сосредоточена в узких точках, таких как рефлексия и контроль. Кроме того, стратегии равномерного распределения вычислительного бюджета между всеми компонентами могут привести к системному провалу, так как они не учитывают реальную способность каждого слота к обучению.
Перед началом структурированной эволюции агентов необходимо провести тщательный анализ распределения "кредита" (credit assignment). Понимание того, какие именно части текстовой обвязки влияют на успех, должно предшествовать попыткам оптимизации всей системы в целом. Только так можно избежать ловушки равномерного распределения и достичь реального прогресса в автоматизации сложных задач с помощью ИИ.
Глоссарий
* Harness (Хенесс): В контексте ИИ это совокупность текстовых инструкций, правил, ролей и эвристик, окружающих саму языковую модель. Это "скелет" или интерфейс, который направляет поведение модели. * Rollouts (Прогоны): Последовательности взаимодействий агента с окружающей средой, используемые для сбора данных и оценки того, насколько успешна та или иная конфигурация промпта. * Leave-one-in / Leave-one-out: Методы анализа, при которых один компонент системы исключается или включается изолированно, чтобы измерить его индивидуальный вклад в общий результат. * Freeze (Заморозка): В процессе эволюции это состояние, когда алгоритм не может улучшить параметр или слот, оставаясь на исходном значении из-за недостатка данных или неудачи в поиске улучшений.
*Статья подготовлена на основе публикации на платформе arXiv (cs.CL) от 25 июня 2026 года.*