Когда цепочка мыслей спасает, а когда вредит: новые данные о лимитах рассуждений в ИИ

# Когда цепочка мыслей спасает, а когда вредит

Технологии больших языковых моделей (LLM) давно ассоциируются с магией мгновенного понимания. Однако за фасадом гладких ответов скрывается сложная архитектура. Одним из самых распространенных приемов улучшения качества вывода стал промпт «цепочка мыслей» (Chain-of-Thought, CoT), требующий от модели явно расписывать логику решения. Долгое время считалось, что CoT универсально полезен. Новое исследование, проведенное автором Тугханбулут Куртулушем, вносит существенную коррективу в эту догму, раскрывая архитектурные ограничения современных трансформеров.

Архитектурное узкое горло и пропускная способность

В основе открытий лежит концепция «H_dp bandwidth bound» (граница пропускной способности глубины), описанная ранее Ченом и коллегами. Исследователи выделили фундаментальное ограничение: архитектура трансформера имеет фиксированную пропускную способность для обработки данных в один проход. Если задача требует обработки информации последовательно (серийно) глубже, чем позволяет один проход через слои сети, вычисления становятся перегруженными.

В этой ситуации промпт CoT выступает не как магический инструмент улучшения логики, а как «обходной путь» пропускной способности (bandwidth bypass). Он позволяет вынести часть сложной последовательной вычислительной нагрузки за пределы внутреннего контекста, распределяя её по более длинной последовательности шагов.

*Маленький нюанс от редактора:* Часто мы говорим с ИИ, как с человеком, который думает медленно и последовательно. На деле же модель просто перестраивает свой внутренний график памяти, чтобы вместить длинную историю рассуждений там, где её физически не хватило бы для сжатого ответа.

Глубина задач: где CoT дает прирост, а где нет

Авторы эксперимента проанализировали работу трех моделей инструкционного тонна: Qwen-2.5 (размеры 7B и 32B) и Llama-3.1-8B. Испытания проходили на пяти стандартных бенчмарках NLP с учетом практических ограничений контекстного окна.

Результаты четко разделили задачи на классы в зависимости от их «глубины» сложности:

1. Глубокие задачи класса P-полноты (GSM8K, MATH): Здесь последовательная обработка критически важна. На таких задачах использование CoT дает значительный эффект восстановления. Точность ответов повышается на 54–68 процентных пунктов для всех протестированных моделей. Это подтверждает теорию: когда нагрузка превышает однократный проход, CoT становится незаменимым. 2. Поверхностные задачи класса TC^0 (MMLU, ARC): Эти задачи имеют низкую глубину. Исследование показало, что для них CoT структурно избыточен. Разница в точности между методами с использованием и без цепочки мыслей составляла от 0.0 до +4.6 процентных пунктов и не была статистически значимой. * Примечание: Высокие базовые показатели точности для некоторых задач (до 95% на ARC) могут быть следствием «загрязнения» данных (data contamination), поэтому отсутствие эффекта здесь скорее говорит об избыточности метода, чем об абсолютной невозможности улучшения. 3. Средняя сложность (HumanEval): В случае задач по программированию результат зависит от размера модели. Модели среднего размера (32B) показали прирост на 23.2%, а 8-миллиардная модель — на 9.1%. Однако модель 7B продемонстрировала падение точности на 28.7%, что указывает на то, что для менее мощных нейросетей добавление лишних последовательных шагов может ухудшить ситуацию.

Статистическая значимость и выводы

Анализ корреляции между глубиной задачи и эффектом восстановления показал статистически значимую связь (Spearman rho = 0.661, p = 0.007). Из 15 проведенных тестов Макнемара 9 оказались значимыми после поправки Бонферрони.

Исследование было заранее зарегистрировано на платформе OSF, что обеспечивает прозрачность методологии. Код и данные исследования доступны для проверки.

Главный вывод заключается в том, что Chain-of-Thought не является панацеей. Он не усиливает способность модели «думать», а решает проблему аппаратного ограничения по пропускной способности. Если задача укладывается в возможности одного прохода трансформера, то заставлять модель писать длинные рассуждения — пустая трата ресурсов. Если же задача требует глубокой серии вычислений, CoT становится необходимым мостом к правильному ответу.

Исследование доступно для просмотра по ссылке: arXiv:2608.09942.

---

Ключевые факты

* Источником данных стал экспериментальный анализ трех моделей: Qwen-2.5-7B/32B и Llama-3.1-8B. * Глубокие задачи (GSM8K, MATH) показали прирост точности до +68 процентных пунктов при использовании цепочки мыслей (CoT). * Простые задачи (MMLU, ARC) показали отсутствие значимого эффекта, где разница в точности не превышала +4.6 процентных пункта. * Размер модели влияет на задачи средней сложности: модель 7B потеряла 28.7%, в то время как 32B набрала 23.2%. * Архитектурная причина эффекта CoT заключается в разгрузке трансформера от серийных вычислений, превышающих его однократную пропускную способность. * Статистическая валидность подтверждена корреляцией Спирмана (rho = 0.661, p = 0.007) и значимыми тестами Макнемара.

Словарь терминов

* Chain-of-Thought (CoT) prompting: Метод подгонки запроса, в котором пользователь просит модель показать промежуточные шаги решения, аналогично тому, как человек объясняет свой ход мыслей вслух. * Serial computation (Серийные вычисления): Процесс, при котором каждое следующее действие зависит от результата предыдущего и должно выполняться строго по порядку, не все сразу. * Transformer: Тип архитектуры нейронных сетей, лежащей в основе большинства современных языковых моделей, который обрабатывает информацию параллельно, но имеет ограничения по объему данных, которые можно «пропустить» за один раз. * Bandwidth bound (Граница пропускной способности): Теоретический предел, определяющий максимальное количество данных или шагов вычислений, которое архитектура может обработать без потери точности в рамках одного прохода.