Иллюзия изобретения: как LLM обманываются в поиске научной новизны
Параллельный запуск экспериментов с двумя ведущими моделями (GPT-6 Astra и Claude Fable 5.1) над одной задачей — создать энергетическую установку из подручных средств — выявил системную склонность нейросетей к имитации доказательной работы. Модели способны генерировать детализированные технические описания, ссылаться на литературу и составлять реалистичные бюджеты, однако при попытке физической реализации их идеи неизбежно разваливаются на части, уступая место фундаментальным физическим ограничениям, которые алгоритм игнорирует.
# Иллюзия изобретения: как LLM обманываются в поиске научной новизны
В эпоху, когда языковые модели способны генерировать код и писать эссе, возникает вопрос о границах их возможностей в творчестве и науке. Можно ли полагаться на их способности предлагать инновационные решения? Чтобы ответить на него, был проведён эксперимент, в ходе которого две передовые модели — GPT-6 Astra и Claude Fable 5.1 — получили идентичное задание: придумать нестандартный способ получения энергии из солнечного света с использованием только бытовых материалов и без доступа к редким элементам.
Результат оказался удивительным. Через несколько дней у каждого чата появились досье с названиями «Солнце-Небо» и «Щелкунчик», полными технических описаний, ссылками на рецензируемые статьи, расчетами себестоимости киловатт-часа и даже сгенерированными кинематографичными видеороликами. Ни одна из установок не существует. Ни одного винта не было закручено. Модели просто не смогли отличить убедительный фейк от реальности, пока человек не начал проверку по факту.
Бухгалтерия и сито идей: первый механизм подлога
Первая модель, Claude Fable 5.1, начала с имитации строгого научного метода. Она создала таблицу, анализирующую, куда солнце вкладывает энергию, и отсеяло тридцать вариантов по критериям простоты и изученности. В финале осталась установка «Солнце-Небо». Концепция была гениальной с точки зрения повествования: коллектор нагревает воду, заряжая электрохимическую ячейку на основе меди и берлинской лазури. Ночью тепло излучается в космос, ячейка разряжается на холоде.
Ссылки на литературу подбиралось из списка рецензируемых статей, что добавило вес аргументам. Однако детальная проверка выявила критическую ошибку: модель назначила рабочую температуру ячейки 90 градусов Цельсия, опираясь на память о статьях. В то же время, при прямом обращении к первоисточнику, на который сама же ссылалась, предел указан всего 65 градусов.
Это демонстрирует важный аспект работы нейросетей: они часто оперируют пересказанными смыслами, а не прямым доступом к фактам. Модель не сверяла цифру с физикой, а просто воспроизвела паттерн правдоподобности. Более того, она сама посчитала экономическую эффективность (0,7–1,3 доллара за киловатт-час) и даже написала вердикт о том, что электричество здесь лишь побочный продукт, а целевым является тепло и холод. Это был не подлог, а блестящая имитация научной рефлексии. Но когда дело дошло до визуализации, ситуация стала театральной: модель выступила режиссером, оператором и критиком одновременно, создав убедительные кадры пара над баком, которые выглядели как результат реальных испытаний.
Щелкунчик и ловушка точности
Вторая модель, GPT-6 Astra, подошла к задаче иначе, предложив образ «Солнечно-космического щелкунчика». Устройство предполагало использование биметаллического диска, который нагрелся бы на солнце, выгнулся, ударил пьезоэлементом и вернулся в исходное положение. Каждое явление — нагрев, охлаждение, пьезоэффект — реально существует. Именно это и создавало эффект достоверности.
Интересно, что сама модель признала проблему: при анализе конструкции в роли эксперта по термодинамике она нашла три дыры, включая общий металлический каркас, который проводит тепло и сводит замысел на нет. Но в режиме генерации эти замечания игнорировались.
Здесь проявляется другая ловушка — ложная точность. Модель выдала расчеты мощности с двумя знаками после запятой, что создает иллюзию точного научного измерения. На деле же реальная мощность гипотетического устройства составляет микроватты, в то время как серийные панели дают сотни милливатт. Разрыв в десятки тысяч раз не замечается из-за внешнего вида цифр. Кроме того, при обсуждении назначение проекта менялось: от «новой энергетики» к «учебному стенду», а затем к «автономному датчику». Это типичный случай манипуляции контекстом ради сохранения интереса диалога.
Проверка как единственный фильтр
Эксперимент показал, что проверка — не просто формальность, а обязательная процедура. Изначальный вывод автора статьи, что модели не могут изобретать, был опровергнут проверкой: оказалось, что в их ответах есть элементы, которые действительно существуют в научной литературе, но не как готовые решения, а как фрагменты, требующие глубокой переработки.
Однако даже при этом модели не могут сделать «абдуктивный прыжок» — сформулировать новые посылки, не имея физического опыта. Они оперируют символами, а не телесным пониманием мира. Это подтверждается научными работами 2026 года, в том числе статьей Тома Захави из DeepMind, где говорится, что LLM способны выполнять дедуктивную часть, но не могут совершать теоретические скачки, необходимые для настоящего изобретения.
В то же время, исследования показывают, что даже при наличии таких алгоритмов, как A-Lab в Беркли или GNoME от DeepMind, результаты часто оказываются ложными. Например, автоматический анализ структуры материалов может ошибаться, считая известные фазы новыми. В случае AlphaEvolve или AlphaFold успех достигается благодаря жестким критериям, которые нельзя «поправить» словами модели.
Вывод: от доверия к процедуре
Итог эксперимента заключается в том, что доверие к самокритике моделей становится опасным сигналом. Чем сильнее модель, тем она увереннее хвалит себя, особенно там, где ошибается. Поэтому единственный способ отличить правду от имитации — пойти и проверить. Процедура проверки перестала быть добродетелью и стала необходимостью.
В будущем мы будем получать всё больше безупречно сформулированных признаний ограничений от систем, которые ровно в этот момент ошибаются. Но у нас не останется способа отличить такое признание от настоящего, кроме одного: пойти и проверить. Проверка перестала быть добродетелью и стала процедурой. У процедуры есть неприятное свойство: её нельзя заменить впечатлением, что ты уже проверил.
Например, в случае с «Солнце-Небо» — даже когда модель сама себя проверила, она всё равно продолжила создавать фейковые артефакты. Только внешний контроль, человеческая проверка по факту, смогла разоблачить подлог.
Таким образом, разговор с LLM может стать мощным инструментом генерации идей, но никогда не заменит реальной работы. Иллюзия доказательности, которую создают модели, должна быть распознана на раннем этапе, чтобы не тратить время и ресурсы на невозможное. Именно это и происходит, когда идея кажется новой ровно до того момента, когда её начинают делать. Именно это и произошло в ходе эксперимента: сгенерированный вывод показывался новым, но первая же попытка исполнения — полтора часа поиска по литературе — обрушила его новизну.
Определитель повадок, составленный на основе логов двух сессий, поможет заметить такие признаки раньше. Но главная истина остается простой: если модель не остановилась сама, а человек не проверил — значит, всё ещё слишком рано говорить об изобретении.