Обучение поправки: как уменьшить разрыв между обучением и генерацией в моделях диффузии

# Объявление: Обучение поправкам в моделях диффузии

Новое исследование, опубликованное в arXiv (ID 2610.14136), предлагает решение для одной из фундаментальных проблем современных генеративных сетей: накопления ошибок во время итеративного процесса генерации.

Проблема несоответствия условий (Exposure Bias)

Технология моделей диффузии работает по принципу постепенного удаления шума из изображения. Во время обучения денозайзер (denoiser) обучается на реальных данных, где входные изображения представляют собой смесь реального сигнала и контролируемого шума. Однако в процессе генерации (inference) входные данные для каждого следующего шага создаются самим же денозайзером, основываясь на его предыдущих, уже несовершенных предсказаниях.

Исследователи описывают это явление как «exposure bias» (смещение воздействия или несоответствие условий). Поскольку модель никогда не видела в процессе обучения таких искаженных входных данных, как те, что формируются в ходе реальной генерации, она начинает накапливать ошибки на ранних этапах. Эти артефакты затем усугубляются на последующих шагах, что часто приводит к низкому качеству итогового изображения или необходимости использовать сложные обходные пути, такие как Classifier-Free Guidance (CFG) для компенсации неопределенности.

*Примечание редактора:* Важно понимать, что CFG (Classifier-Free Guidance) — это техника, позволяющая усиливать определенную тему или стиль в генерации, но она часто делает изображения слишком однообразными и «пластиковыми». Исследование ставит цель улучшить качество без обязательного использования таких методов.

Метод обучения поправкам (Correction Training)

Предложенное решение состоит во введении отдельной сети — корректора (corrector). Эта сеть не пытается генерировать изображение с нуля. Вместо этого она получает на вход прогноз базовой модели и обучается предсказывать правильное (ground-truth) изображение, используя именно те входные данные, которые предоставляет базовая модель.

Это превращает коррекцию в явную задачу обучения. Во время каждого шага очистки шума в генерации алгоритм итеративно уточняет чистый образец, позволяя корректору исправлять ошибки до того, как они закрепятся в финальном результате. Авторы отмечают, что хотя корректор обучается только на выводах базовой модели, он может применяться многократно к собственным вычкам во время инференса для дальнейшего улучшения результатов.

*Технический термин:* Фрагментация (Fragmentation) или, в контексте этой работы, дистракция — это когда модель генерирует части изображения, которые кажутся правильными, но при комбинации создают артефакты. Метод поправки направлен на устранение таких микроошибок.

Результаты и перспективы

Метод был оценен на различных архитектурах, включая DiT (Diffusion Transformer), SiT и JiT. Результаты показывают существенное улучшение метрики FID (Fréchet Inception Distance), особенно для негидированной генерации и безусловной генерации, где создание высокого качества без внешних подсказок традиционно было сложной задачей.

Эффективность метода сопоставима с использованием Classifier-Free Guidance (CFG), но с одним ключевым преимуществом: метод сохраняет разнообразие генерируемых изображений и уменьшает эффект «пересыщения» (oversaturation), характерный для стандартного CFG.

Одним из наиболее практических аспектов исследования является возможность снизить вычислительные затраты. Авторы демонстрируют, что дополнительная стоимость работы корректора может быть компенсирована через дистилляцию знаний: уточненные предсказания заносятся обратно в базовую модель диффузии. Это позволяет сохранить gains качества, но без необходимости выполнять дополнительные итерации во время генерации.

Исследование доступно по адресу https://arxiv.org/abs/2610.14136. Полный код и страницы проекта также размещены в открытом доступе.