Сдерживающий хаос: Как структурирование мнений улучшает последовательность решений нейросетей
В мире больших языковых моделей (LLM) наблюдается фундаментальная проблема: одни и те же модели часто выдают противоположные ответы на один и тот же вопрос в зависимости от порядка выполнения или условий контекста. Исследование, опубликованное на arXiv под кодом 2607.24765, предлагает метод улучшения этой надежности без изменения внутренних весов сети. Авторы вводят «Когнитивную ядровую модель» (Cognitive Kernel Model — CKM), заставляющую нейросеть разделять входящие данные на три категории: Факты, Гипотезы и Эмоции, перед вынесением вердикта.
# Стабильность решений в эпоху языковых моделей
Большие языковые модели способны давать разные ответы на одни и те же проблемы при повторных запусках. Более того, модель может изменить свое мнение, если в контексте появится ее же предыдущий ответ. Исследователи задаются вопросом: можно ли измерить эту нестабильность и частично снизить её, не меняя веса модели?
Разделение эпистемических ролей
В центре предложенного решения лежит концепция Когнитивной ядровой модели (CKM). Это не новый алгоритм обучения или новая архитектура, а слой принуждения, работающий на уровне промпта. Перед принятием решения модель обязана разделить входные данные на три эпистемические роли:
1. Факт (Fact): Информация, данная напрямую или поддающаяся верификации. 2. Гипотеза (Heuristic): Информация, выведенная по аналогии или принимаемая как допущение. 3. Эмоция (Emotion): Оценочные сигналы или приоритеты.
Формально модель поддерживает структурированное состояние $S_t = \{F_t, H_t, E_t\}$, которое обновляется функцией перехода. CKM не добавляет новых способностей модели, но заставляет её отслеживать тип используемой информации перед действием.
Результаты экспериментальной проверки
Исследование проводилось на сценариях принятия решений на корейском языке, включая ситуации неопределенности, этических конфликтов, распределения ресурсов и обработки ошибок. Тестирование охватило 26 моделей от четырех вендоров и проанализировало 37 403 наблюдения.
Ключевые результаты включают:
* Снижение вариативности: CKM уменьшает изменчивость повторов выходов. Эффект статистически значим (Hedges' g=1.09). * Стабилизация решений: Персистентность состояния сокращает скорость переключения решений (decision-flip rate) на 82% в более новых моделях. * Независимость от формата: Эффект обусловлен не просто форматированием в JSON. Повторный расчет только значений дает меньший эффект, чем структурирование состояний. * Борьба со стохастичностью: Преимущество метода возрастает при случайной выборке, особенно при температуре 0.7 (g=2.87). * Разложение влияния: Анализ показал, что около 45% выигрыша обеспечивается самим структурным скелетом метода, а 55% — содержанием, разделенным на факты, гипотезы и эмоции.
Важное уточнение
Хотя метод значительно повышает последовательность поведения модели, исследователи отмечают важное ограничение: CKM не улучшает корректность рассуждений. Это подчеркивает узость результатов: поведенческая последовательность измеряема, варьируется в зависимости от модели и может быть частично улучшена, принудительно разделяя факты, допущения и оценочные сигналы перед принятием решения.