Срок жизни бенчмарков ИИ сократился вдвое: от пяти лет до полутора
Исследовательский анализ охватил 224 тестовых набора данных, созданных девятью крупнейшими лабораториями за период с 2018 по 2026 год. Результаты показали, что период «полураспада» способности бенчмарков различать лучшие модели сократился с 38 месяцев для старых наборов до 19 месяцев для новых. Это подтверждает гипотезу не об усложнении задач, а о резком ускорении прогресса языковых моделей.
# Период полураспада бенчмарка ИИ сократился вдвое
Индустрия искусственного интеллекта сталкивается с новой реальностью: стандартные метрики эффективности моделей устаревают в два раза быстрее, чем это было несколько лет назад. Согласно свежему анализу, опубликованному в рамках обсуждения создания нового бенчмарка для оценки знаний моделей о вине (OenoBench), средний срок жизни тестового набора данных, способного отличать лидеров рынка, уменьшился с более чем трех лет до одного с половиной.
Методология: анализ выживаемости 224 бенчмарков
Чтобы ответить на вопрос о долговечности тестовых наборов, исследователю пришлось собрать исторические данные от 2018 до 2026 года. В выборку вошли 224 бенчмарка, о которых в официальных релизах или техотчетах сообщали лаборатории OpenAI, Anthropic, Google, Meta, xAI, DeepSeek, Alibaba, Moonshot и Mistral.
Для каждого бенчмарка была определена «дата рождения» и «дата смерти». Смертью считалось наступление одного из пяти событий: достижение лучшей моделью порогового значения (обычно 90% или уровня человека), публичное объявление создателями о насыщении набора, компрометация данных (утечка ответов или нахождение тривиального метода решения) или вывод мейнтейнеров набора из наблюдения.
Важно отметить, что анализ учитывает цензурированные наблюдения — то есть бенчмарки, которые по состоянию на сентябрь 2026 года еще не перестали быть актуальными. Это позволило избежать искажения статистики за счет учета только тех наборов, чей жизненный цикл уже завершился.
Разрыв между эпохами: старые против новых
Наблюдения показали четкую дифференциацию в зависимости от года выхода бенчмарка. Если для тестовых наборов, опубликованных до 2023 года, период полураспада составлял 38 месяцев, то для наборов, появившихся после этого рубежа, этот показатель упал до 19 месяцев.
Таким образом, новый бенчмарк теряет половину своей способности разделять модели в два раза быстрее старого. Это противоречит распространенному мнению, что новые тесты становятся сложнее. Исследование показало, что «запас до потолка» (расстояние между начальным результатом лучших моделей и теоретическим максимумом) у новых бенчмарков даже немного больше, чем у старых.
Главная причина сокращения срока жизни — скорость прогресса. Модели проходят путь от начального уровня до насыщения бенчмарка в два раза быстрее, чем это было возможно пару лет назад. Если в прошлом для достижения нового рекорда требовалось около года или больше, то теперь тот же прогресс достигается за полгода.
Почему умирают тесты и каковы риски
Анализ причин смерти бенчмарков выявил два основных пути. Большинство случаев (около 73%) связано с тем, что модели просто стали слишком сильными для текущих задач. Однако значительная доля проблем — около 14% новых смертей — приходится на внутренние дефекты самих бенчмарков.
Среди агентных сред (систем, где ИИ должен действовать в окружающей среде, а не просто отвечать на вопросы) проблемы с дефектами и их собственной неустойчивостью являются причиной почти половины провалов. Примеры включают набор данных Terminal-Bench, который менял версию четыре раза за первый год, или SWE-bench Verified, от которого разработчики прекратили публиковать результаты из-за проблем с качеством задач.
Исследователь подчеркивает, что каждый седьмой новый бенчмарк погибает не от интеллекта моделей, а из-за ошибок в методологии или данных. Это делает создание надежных метрик еще более трудной задачей, требуя от исследователей закладывать в план жизненного цикла проекта запас не в два-три года, а всего в 18–24 месяца.