Почему один промпт создает разные истории: наука о температуре в нейросетях
Иногда, задавая нейросети один и тот же запрос, мы получаем совершенно разные сюжеты. Исследование на базе моделей Qwen показало, что даже минимальное изменение параметра «температуры» (temperature) кардинально меняет поведение языковой модели, превращая предсказуемый текст в вариативный нарратив или хаотичный поток.
# Повышаем температуру, или как меняется сюжет от одного запуска
В мире искусственного интеллекта часто советуют «поднять температуру», чтобы получить более креативные ответы. Но до какой точки стоит доверять модели, а когда она начинает галлюцинировать? Мы проверили это на практике, сравнив работу двух моделей на одном и том же запросе.
Каждый раз, когда вы запускаете генерацию текста в Large Language Model (LLM), процесс выглядит одинаковым, но результат может отличаться. Вы задаете вопрос (промпт), и нейросеть начинает предсказывать следующие слова. Однако именно на этом этапе вступает в силу механизм случайного выбора, управляемый так называемой «температурой».
В этом материале мы разберем простой эксперимент: как изменение числового параметра влияет на структуру повествования, какие сюжетные линии раскрываются при низких значениях, а какие появляются только тогда, когда модель начинает «лихорадить».
Механизм выбора сюжета: от логитов к вероятностям
Чтобы понять природу разнообразия ответов, нужно заглянуть под капот алгоритма. Модель не знает «истины» заранее. Она работает методом последовательного предсказания. Сначала она анализирует ваш запрос и уже написанное начало текста, вычисляя оценки (логиты) для всех возможных следующих слов.
В математической модели это выглядит как набор значений, где каждое слово имеет свою оценку вероятности. Например, если модель думает про слово «музей», она вычисляет, как хорошо это слово вписывается в контекст, и присваивает ему числовое значение.
Температура (T) влияет именно на то, как эти значения трансформируются в вероятности. Представим, что у нас есть два варианта развития событий: «записка от призракa» (оценка 60%) и «записка от правнука» (оценка 40%). * При стандартной температуре (обычно T=1) модель выберет первое событие в 60% случаев и второе — в 40%. * Если понизить температуру до 0.2, система становится «консервативнее». Шанс выбора первого варианта растет до примерно 88%, а второго падает до 12%. Модель стремится к самому вероятному и «безопасному» ответу. * Если же поднять температуру до 1.2, соотношение инвертируется, и модель начинает активно выбирать редкие, но возможные варианты, игнорируя наиболее очевидные.
Важно отметить, что при каждом запуске используется генератор случайных чисел, который управляется начальным состоянием (seed). Это означает, что даже при одинаковой температуре один запуск может дать ответ, где записка оставила сестра дежурного, а другой — где её оставил призрак. Seed не хранит сюжет, он лишь запускает механизм выбора вероятностей.
Эксперимент: Qwen 2.5 и Qwen 3 в деле
Для проверки влияния температуры автор эксперимента использовала две небольшие открытые модели: Qwen2.5-1.5B-Instruct и Qwen3-0.6B. Задача для них была идентична: написать историю из пяти предложений, где ночной сторож музея находит записку с надписью «Не открывай зал номер семь». В финале нужно было расказать, кто оставил записку и зачем.
Было выполнено 48 запусков для каждой модели. Условия эксперимента были строго выдержаны: запрос и настройки оставались неизменными, менялись только температура и seed. Сравнение проводилось на трех уровнях температуры: 0.2, 0.7 и 1.2.
Результаты при температуре 0.2
Уровень температуры 0.2 считается «холодным». Модель предпочитает самые безопасные и вероятные переходы.
Однако даже в таких строгих рамках результаты показали вариативность. При использовании Qwen2.5 сюжеты начали расхиляться уже на этом этапе. Одни запуски приводили к тому, что записку оставил призрак погибшего куратора, другие — правнук основателя музея, пытавшийся сохранить артефакты, третьи — испуганная девочка. При этом сами авторы менялись, хотя исходные данные о них в запросе отсутствовали.
Qwen3 behaved itself considerably more stable at T=0.2. All eight responses featured the note left by a former employee or security guard, though the specific reason for the warning varied (rare artifact, dangerous room, unauthorized access). This demonstrates that while randomness exists, smaller models or stricter constraints can maintain a coherent "archetype" for a role even with sampling enabled.
Результаты при температуре 0.7
При температуре 0.7 модель становится значительно более творческой и менее предсказуемой. Сюжеты начинают усложняться.
В случае Qwen2.5 модель начала отходить от жесткого следования заданию. Вместо простого объяснения, она начала менять саму суть послания. В некоторых вариантах текст «Не открывай зал номер семь» заменялся на эмоциональные фразы вроде «Я знаю, что ты ищешь меня» или «Я слишком долго за тобой наблюдал». Модель стала свободнее интерпретировать инструкцию, позволяя персонажам выражать эмоции, а не просто передавать факты.
Qwen3 также продемонстрировал изменения. Персонаж-автор записки перестал быть исключительно бывшим сотрудником. Появились варианты с участием куратора, неизвестных гостей или женщины с ключом. Иногда модель даже забывала о деталях запрета, сосредоточившись на эмоциональном состоянии персонажа.
Один из самых интересных кейсов возник при сравнении двух запусков одной и той же модели (Qwen2.5) с одинаковым seed, но разной температурой. При T=0.2 дежурный нашел вторую записку от куратора, предупреждавшего о краже. При T=0.7 за дверью оказались светящаяся картина и бледная женщина, которую дежурный лишь поблагодарил без объяснения причин. Температура изменила не только авторство, но и саму реальность внутри текста.
Результаты при температуре 1.2
Повышение температуры до 1.2 привело к тому, что модель вышла за рамки заданных параметров. Текст стал менее связным, а логика сюжета начала давать сбой.
Qwen2.5 продемонстрировал «лихорадочный бред»: в тексте начали появляться фрагменты кода (например, bomb animation snprintf), слова смешивались с программирующими командами, и генерация часто обрывалась до лимита в 240 токенов, не дописав финал. Модель пыталась соединить несовместимые понятия, теряя нить повествования.
Qwen3 проявил большую устойчивость к этому уровню хаоса. Хотя текст становился более абстрактным (например, фраза «Он и охранник… были охранник»), он не превращался в набор технических артефактов. Тем не менее, смысл сообщений размывался, и структура рассказа теряла четкость.
Выводы о температуре
Эксперимент подтвердил, что параметр температуры — это мощный рычаг управления вариативностью генерации.
1. Низкая температура (0.2): Гарантирует соблюдение формата и базовых логических связей. Идеально подходит, когда требуется стабильность и фактическая точность по заданию, но даже здесь может скрываться скрытый выбор деталей, зависящий от seed. 2. Средняя температура (0.7): Зона идеального баланса для творческих задач. Модель достаточно свободна для создания неожиданных сюжетных поворотов и новых персонажей, но сохраняет общий смысл и структуру повествования. 3. Высокая температура (1.2 и выше): Режим риска. Модель начинает генерировать абстрактные, хаотичные или технически искаженные тексты. Подходит только для абстрактного творчества или генерации шума, но крайне не рекомендуется для создания связных историй или ответов на конкретные вопросы.
Таким образом, совет «повысить температуру» для улучшения сюжета верен лишь до определенной степени. Перебор приводит к потере контроля над контекстом, в то время как разумный баланс позволяет нейросети быть одновременно предсказуемой и интересной.
*Примечание автора: В мире алгоритмов нет истины в последней инстанции, есть лишь наиболее вероятное слово, выбранное из тысячи вариантов. Иногда именно эта случайность рождает самые захватывающие истории.*