AI21 августа в 18:01 · 4 мин

Ложный троп Chain-of-Thought: почему логика ИИ требует гибридных систем

Массовая критика современного ИИ в сфере энергопотребления, нехватки ресурсов и отсутствия истинной логики подталкивает исследователей к поиску новых путей. Оказывается, популярный метод Chain-of-Thought (CoT), заставляющий нейросети «мыслить вслух», может быть не только вычислительно дорогим, но и контрпродуктивным для сложных задач. Реальное решение кроется в сращивании нейронных сетей с символическими системами, опираясь на классическую логику, а не на имитацию человеческих мыслей через токены.

# Ложный троп Chain-of-Thought: почему логика ИИ требует гибридных систем

В современном ландшафте искусственного интеллекта наблюдается лавинообразный рост публикаций, указывающих на критические проблемы индустрии. Среди них — дефицит энергии для дата-центров, острый нехватку видеокарт и аппаратных ресурсов, неудовлетворительный уровень интеллектуальности текущих систем, а также отсутствие способности к производству нового знания и логического вывода. Эти вызовы заставляют задуматься о том, какие подходы действительно работают, а какие лишь создают иллюзию прогресса.

Иллюзия рассуждений: проблемы метода Chain-of-Thought

Технология Chain-of-Thought (CoT) стала популярным решением для улучшения логики в больших языковых моделях (LLM). Суть метода заключается в том, чтобы просить модель генерировать промежуточные шаги рассуждения перед вынесением окончательного ответа. Однако новые исследования и экспертный анализ показывают, что эта практика имеет серьёзные недостатки.

Согласно исследованиям, представленным в работах таких авторов, как в статье «Escaping the chain-of-thought trap», попытка антропоморфизировать промежуточные токены как следы реальных рассуждений приводит к ошибкам. Детальное изучение задач планирования демонстрирует, что выигрыш от CoT является хрупким и работает лишь в узких условиях. При этом метод не обучает модель общим, повторяемым процедурам. Вместо этого он формирует специфическое поведение, зависящее от конкретной подсказки. Поскольку каждый сгенерированный токен зависит от правильности предыдущего, любое логическое отклонение в начале цепочки обречено на провал весь последующий путь выполнения.

Кроме того, длинные цепочки рассуждений несут значительные экономические и технические издержки. Они увеличивают затраты на вычисления и память, заполняя ограниченное контекстное окно бесполезными «болтовнями». Принуждение модели к размышлению вслух замедляет скорость генерации токенов, увеличивая задержку и неэффективно используя ресурсы.

Гибридный подход: союз нейросетей и символьной логики

Вместо того чтобы требовать от нейросетей выполнения роли, которой они не обладают, исследователи приходят к выводу о необходимости гибридных систем. Речь идет о сращивании возможностей нейронных сетей с системами, оперирующими правилами — так называемыми символьными методами.

Важно сразу отличать популярные решения, такие как RAG (Retrieval-Augmented Generation), от полноценного логического вывода. RAG-системы работают путем обогащения контекстного окна за счет обращения к внешним источникам данных. Они позволяют выполнять процедуры очистки данных или получения информации о товарах, но не решают задачу глубокого логического вывода. Для реализации истинной логики необходим иной подход.

Путь лежит через создание систем, способных учитывать семантику и строиться на твердой логической основе. Это требует не переобучения гигантских LLM-моделей или накопления огромных энергозатрат, а внедрения интеллектуальных ядер. Эти ядра будут отвечать за построение логических цепочек, опираясь на принципы классической логики, а не на статистическую вероятность следующих токенов.

Корни проблемы: от аналитической философии до современных решений

Необходимость перехода к гибридным системам не является открытием сегодняшнего дня. В основе такой архитектуры лежат фундаментальные работы аналитической философии, математической логики и семантики, которым уже более ста лет. Методы Карнапа, Белнапа, Стила, а также концепции продуктивного мышления Вертгеймера представляют собой богатую базу для решения текущих задач ИИ.

Современные подходы также опираются на накопленный опыт, в том числе и в области экспертных систем. Хотя попытки создать мощные экспертные системы в прошлом часто проваливались из-за сложности формализации, отрицательный опыт остается ценным активом. Анализ этих «граблей» сегодня помогает избежать повторения ошибок. Точно так же, как нейронные сети не возникли с первого раза, создание надежных гибридных систем потребует времени и глубокого интеллектуального труда.

Человеческая природа склонна перекладывать сложные проблемы на новые инструменты, но настоящая инновация требует отказа от привычных паттернов, таких как слепое доверие к цепочкам токенов. Будущее искусственного интеллекта лежит в плоскости создания систем, где машинное обучение дополняется строгими правилами логики, обеспечивая не имитацию интеллекта, а его реальное развитие.

Первоисточники

Habr AI
← Вернуться в эфир