Попытка разорвать эхо-камеру ИИ: как метapersоны и температурное масштабирование борются с «искусственным роем»
Исследователи столкнулись с проблемой семантического коллапса, когда большие языковые модели (LLM) начинают выдавать почти идентичные ответы даже на открытые вопросы. Новая методология, сочетающая выбор уникальной «метapersоны» с экстремальным температурным масштабированием, демонстрирует способность снижать схожесть ответов и возвращать разнообразие в синтетический дискурс.
# За пределами «искусственного роя»: как избежать однообразия в ответах ИИ
В последние годы наблюдается тревожная тенденция: большие языковые модели (LLM), призванные генерировать креативный и разнообразный контент, всё чаще демонстрируют сходящееся поведение. Феномен, получивший название «искусственный рой» (Artificial Hivemind), приводит к тому, что разные модели или даже разные попытки одной модели давать ответ на один и тот же вопрос сужаются до узкого, гомогенизированного консенсуса. Это семантический коллапс, когда разнообразие мышления заменяется статистической вероятностью наиболее ожидаемых фраз, что критически ограничивает потенциал ИИ в задачах, требующих нестандартного решения.
Механика однообразия и пределы стандартных подходов
Как отмечают авторы исследования, опубликованного на arXiv, межответная схожесть современных моделей остается чрезвычайно высокой — в диапазоне от 0,80 до 0,90. Странно, но даже использование высоких значений температуры (temperature), которые обычно предназначены для увеличения случайности и разнообразия выборки, не всегда способно преодолеть этот эффект. Модели продолжают «коллапсировать» в определённый модус, игнорируя нюансы и альтернативные точки зрения.
Стандартные методы деградации не показали достаточной эффективности. ИИ стремится к безопасности и предсказуемости, что автоматически подавляет креативные, но нестандартные отклонения. Чтобы выйти за пределы этого ограничения, необходима более глубокая перестройка процесса генерации, выходящая за рамки простого изменения гиперпараметров.
Архитектура нового решения: Метapersоны и фильтрация
Исследователи из Тейран Фу (Tairan Fu) и его коллег предложили новый фреймворк, сочетающий два инновационных компонента: метapersональную привязку (Meta-Persona Anchoring) и отфильтрованное температурное масштабирование (Filtered Temperature Scaling, FTS).
Процесс генерации в этой методологии происходит в два этапа. На первом этапе модель не просто ищет ответ, а вынуждена «самоотобрать» уникальную, идиосинкразическую персону. Эта персона служит якорем, заставляя модель мыслить из иной перспективы, создавая отправную точку, отличную от стандартного нейтрального тона. Это фундаментальный сдвиг: вместо прямого ответа модель сначала формирует контекст личности, который затем проецируется на содержание.
Второй этап представляет собой сложный фильтр. После первичной генерации применяется Top-$p$ фильтрация, которая отсеивает грамматически некорректные или бессмысленные варианты, сохраняя лишь структурно валидные кандидаты. Ключевым шагом становится применение экстремального температурного масштабирования к оставшимся вариантам. Исследователи используют температуры не менее $T \ge 4.0$. В стандартных задачах такие значения делают выходные данные бессмысленным шумом, но в данном контексте, когда уже гарантирован грамматический каркас, высокое значение температуры позволяет вероятностному распределению раскрыться максимально широко, исследуя редкие и нетривиальные пути решения.
Результаты эксперимента: от 0,85 к 0,65
Эффективность метода была проверена на датасете INFINITY-CHAT с использованием открытых моделей архитектуры, близкой к 20 миллиардам параметров. Результаты свидетельствуют о значительном успехе предложенного подхода.
Средняя косинусная схожесть между парами ответов (average pairwise cosine similarity), которая ранее составляла около 0,85, снизилась до приблизительно 0,65. Это означает, что ответы стали существенно семантически различимыми друг от друга. Более того, схема позволила большинству вопросов оставаться ниже порога схожести 0,7, что сближает степень разнообразия искусственных ответов с уровнем типологического разнообразия, присущего человеческому общению.
С технической точки зрения, это достижение важно не только как статистический показатель, но и как шаг к созданию систем, способных на полифоническое мышление. Исследователи сделали код и реализацию этого фреймворка открытым исходным кодом, что позволит сообществу экспериментировать с методами де-гомогенизации и развивать более креативные сценарии применения больших языковых моделей.
Создатели проекта утверждают, что их схема позволяет эффективно сокращать разрыв между «искусственным коллапсом моды» (mode collapse) и истинным разнообразием, предлагая новый путь для эволюции ИИ от инструмента предсказания текста к инструменту генерации идей.