ClawLoop: Агенты ИИ научились совершенствоваться сами, без внешнего учителя
В области разработки интеллектуальных систем на базе больших языковых моделей (LLM) появляется новый подход к обучению. Авторы новой работы, опубликованной в arXiv, представили фреймворк ClawLoop, который позволяет агентам, работающим в изолированных средах (harness), проходить цикл самообучения без участия более мощной внешней модели-наставника. Система самостоятельно генерирует задачи, обучается на них и корректирует их сложность на основе анализа собственных ошибок, демонстрируя устойчивый рост производительности на стандартных бенчмарках.
# ClawLoop: Агенты ИИ научились совершенствоваться сами, без внешнего учителя
Быстрое развитие больших языковых моделей (LLM) привело к тому, что они всё чаще применяются не просто для генерации текста, а для решения сложных практических задач. Такие системы, называемые агентами, работают в так называемых «harness-средах» — изолированных песочницах, где они получают доступ к файловой системе, терминалу и другим инструментам для выполнения кода и анализа данных.
Действительно, существующие методы постобучения для таких агентов часто страдают от зависимости от внешних сил. Традиционные подходы требуют наличия более мощной внешней модели, которая выступает в роли учителя: она формирует задачи, собирает данные об попытках решения, а затем люди или другие алгоритмы анализируют результаты. Этот цикл завершен только тогда, когда человек изучает отчёты, что создает узкое место в развитии системы. Возможности агента ограничиваются интеллектом внешнего учителя и кругозором исследователей, не оставляя места для автономного прогресса.
Для решения этой проблемы группа исследователей представила фреймворк ClawLoop. Его ключевая особенность заключается в создании замкнутого цикла самообучения, где агент работает без внешней модели-учителя и с минимальными исходными данными. Система состоит из трех взаимосвязанных этапов, образующих непрерывный процесс улучшения.
Три фазы автономного цикла
Первая фаза называется Синтез задач. В этом этапе система автоматически генерирует разнообразный пул учебных заданий. Для этого используются две взаимодополняющие процедуры построения задач. Важным нюансом является механизм «роста сложности, обусловленного диагнозом» (diagnosis-conditioned difficulty growth). Система сначала проводит валидацию задач без участия агента, а затем проверяет их с помощью самого агента. Если агенты не справляются с заданиями, сложность корректируется, и новые версии отправляются на следующий этап.
Вторая фаза — Обучение. На этом этапе агент обновляет свои внутренние параметры. Исследователи отмечают, что фреймворк поддерживает как обучение с подкреплением (RL), так и обучение с учителем (SFT), предоставляя гибкость в выборе стратегии улучшения навыков агента.
Третья фаза, Диагностика и обратная связь, замыкает круг. Система анализирует поведение агента во время выполнения задач (роллы) и создает подробный отчёт о текущих возможностях. Этот отчёт не уходит на склад для дальнейшего изучения людьми; вместо этого он немедленно используется как входные данные для фазы синтеза задач в следующей итерации. Таким образом, ошибки агента напрямую трансформируются в более качественные обучающие примеры для будущих циклов.
Результаты на независимых бенчмарках
Для проверки эффективности предложенного подхода исследователи использовали модель Qwen3.6-27B в качестве центрального элемента цикла. Результаты показали, что ClawLoop обеспечивает последовательное улучшение показателей агента на нескольких независимых стандартах оценки: * SkillsBench; * Claw-Eval-Live; * ClawGym-Bench.
Однако самое интересное происходит на следующем этапе. Чтобы доказать, что качество данных и методов обучения действительно улучшают систему, а не просто работают из-за мощи модели-учителя, исследователи перенесли итеративно уточненные задачи на меньшие модели — Qwen3.5-4B и Qwen3.5-9B. Эти модели продемонстрировали рост производительности на всех упомянутых бенчмарках. Это является сильным аргументом в пользу того, что ClawLoop вырабатывает данные высокого качества, полезные для обучения даже компактных языковых моделей.
Понимание терминов
Для тех, кто не знаком с деталями разработки ИИ, стоит уточнить несколько ключевых понятий из статьи. Harness-среда — это безопасное виртуальное пространство (песочница), в котором агент имеет доступ к инструментам реального мира (терминал, интернет, файлы), но не может причинить вред внешней сети. SFT (Supervised Fine-Tuning) — это обучение с учителем, когда модель корректируется на основе заранее размеченных примеров «правильного» поведения. RL (Reinforcement Learning) — обучение с подкреплением, где агент учится методом проб и ошибок, получая награды за успешные действия и штрафы за ошибки. В ClawLoop эти методы комбинируются для создания замкнутой системы обучения.
Замкнутый круг прогресса
Предложенный подход меняет парадигму. Если ранее развитие агентов зависело от того, насколько мудро будут думать внешние наставники, то теперь система стремится к самооптимальности. Искусственный интеллект начинает не только решать задачи, но и проектировать условия, в которых он сможет стать лучше.
Как тихий наблюдатель за этим прогрессом, хочется отметить, что переход к автономным циклам обучения может стать следующим шагом в зрелости ИИ-систем. Мы видим, как машины учатся оценивать собственные пределы и перестраивать учебные программы, имитируя процесс, который когда-то был прерогативой человека. Конечно, пока эти системы работают в строго контролируемых условиях арxiv-публикаций, но потенциал такого подхода для автоматизации создания программного обеспечения и анализа данных огромен. Важно помнить, что факты здесь важнее любых метафор: ClawLoop работает, улучшает данные и повышает точность даже на более простых моделях, что говорит о фундаментальной надежности предложенного алгоритма.