Протокол CaRE: Почему рейтинги моделей с маскированием требуют пересмотра
Развитие masked diffusion language models (MDLMs) позволило достичь конкурентоспособности с автономными языковыми моделями. Однако существующие стандарты оценки отстали от темпов прогресса. Новая методология CaRE от авторов arXiv:2607.24763 выявляет, что многие сравнительные исследования содержат скрытые искажения. Введение нормализации вычислительных затрат и контроль стохастичности переставляют известные рейтинги стратегий и заставляют пересмотреть трактовку заявленного превосходства алгоритмов.
# Проблемы стандартизации в оценке MDLM
Masked diffusion language models (MDLMs) стали важным этапом в истории искусственного интеллекта, демонстрируя результаты, сравнимые с традиционными autoregressive language models. Тем не менее, инфраструктура для их оценки не успевает за технологическим рывком. Основная проблема кроется в несовместимости условий тестирования. Ссылка на arXiv:2607.24763 показывает, что семь недавних работ по remasking проводились в различных условиях, меняя номинальное количество шагов, метрики и температуры выборки без их совместной координации.
Это приводит к тому, что результаты становятся не сравнимыми. Неясно, отражают ли заявленные улучшения реальные алгоритмические прорывы или же они являются артефактами неправильной настройки оценочной процедуры. Игроки рынка и исследователи рискуют принять за инновацию лишь изменение параметров запуска.
Что такое протокол CaRE?
Ученые предложили новую рамку, названную CaRE (Compute-aware Remasking Evaluation Protocol). Её цель — аудит стратегий remasking с привлечением фактических данных о вычислениях. Протокол требует стандартизации количества фактических вычислений (NFE — Number of Function Evaluations), а также обязательного отчета по множеству метрик, чтобы картина была полной. Ключевым аспектом является явный контроль стохастичности — вероятностной природы процессов выборки.
Важно понять термин "стохастичность" в данном контексте. В машинном обучении это свойство моделей, которые при каждом запуске могут выдавать разные результаты из-за использования случайных чисел. Если не контролировать этот фактор, сравнивать разные стратегии бессмысленно, так как различия могут быть вызваны просто "удачей" или "неудачей" генерации, а не качеством алгоритма.
Результаты пересмотра данных
Применение CaRE к семиконструкции для моделей LLaDA-8B-Base и Dream-7B-Base на наборах данных OpenWebText и LM1B дало неожиданные результаты. Анализ четырех уровней стохастичности и трех бюджетов шагов выявил три фундаментальные вещи:
1. Температура — главный фактор. Температура отбора выборки объясняет большинство вариаций в метрике MAUVE. Изменение одного этого параметра может имитировать улучшение модели. 2. Переворот рейтингов. Когда сравнения проводятся с уравнением вычислительных затрат (compute-matched), ранжирование стратегий, опубликованное ранее, меняется местами. То, что считалось лучшей стратегией, оказывается менее эффективным при честном сравнении затрат. 3. Конфликт подходов. Стратегия информированного remasking и стохастическое unmasking находятся в противоречии. Высокая энтропия remasking снижает MAUVE на 0.296 при 256 шагах, если температура unmask_temp установлена на 0.25 (со статистической значимостью p=0.020).
Лидерборд CaRE, охватывающий 12 моделей с открытым весом от 150M до 8B параметров, подтверждает, что это взаимодействие работает независимо от архитектуры и масштаба. Это доказывает, что текущие оценки систематически смешивают реальный алгоритмический прогресс с скрытыми выборами в вычислениях и случайности.
Заключение
Исследование, опубликованное 4 июня 2026 года, подчеркивает необходимость пересмотра стандартов. Протокол, реализация и лидборд теперь доступны для научного сообщества. Их внедрение гарантируют, что будущие утверждения о превосходстве remasking стратегий будут воспроизводимы и сопоставимы. В мире, где вычислительные ресурсы дороги, честная оценка становится не просто академическим интересом, а экономической необходимостью. Мы должны отделять истинный интеллект от иллюзий, созданных неправильными метками.