Кот, ваза и три уровня причинности: границы понимания мира современным ИИ

# Кот, ваза и три уровня причинности: границы понимания мира современным ИИ

В недавнем докладе на международной конференции ICML 2026 профессор компьютерных наук Колумбийского университета и директор лаборатории CausalAI Элиас Баренбойм представил наглядный пример уязвимости современных искусственных интеллектов. Изображение на слайде демонстрирует сцену: кот падает с вазы на подушку. Модель, обученная на миллионах пар «изображение-текст», уверенно предсказывает следующий кадр: ваза разбивается на осколки, а подушка бесследно исчезает.

Эта ошибка иллюстрирует ключевое различие между статистическим угадыванием и причинным пониманием. Обычный ИИ, включая передовые генеративные модели, видит корреляции: падение тяжелого предмета часто сопровождается разбиванием, а наличие кота может быть связано с удалением препятствий. Однако модель не знает законов физики: она не понимает, что мягкая поверхность (подушка) поглощает энергию удара и предотвращает разрушение ваза. Без понимания причинно-следственной связи (causal inference) модель лишь интерполирует знакомые паттерны из обучающей выборки, ошибочно перенося их в новые условия.

Баренбойм подчеркивает, что простое масштабирование данных и вычислительной мощности («Just scaling is not enough») не решит эту проблему. Данные — это лишь статический снимок реальности, в то время как реальный мир сложен и полон скрытых зависимостей.

Теория причинности Пирл и ограниченность текущего подхода

Основой для понимания этой проблемы стала теория Джудит Пирл (Judith Pearl), известная как иерархия причинности (Pearl Causal Hierarchy). Баренбойм выделил три уровня, на которых формируется опыт системы:

1. Уровень наблюдения: Здесь система анализирует статистические закономерности того, что она видит («если падало, то разбивалось»). Подавляющее большинство современных датасетов относится именно к этому типу. Модели учатся предсказывать то, чего не видели, экстраполируя тренды. 2. Уровень интервенции: Уровень действий и экспериментов («что будет, если я ударю по вазе»). Это реализуется, например, в A/B-тестах, где создается контролируемая среда для проверки гипотез. 3. Уровень контрфактического (Counterfactual): Уровень «что было бы, если бы...» («если бы кот упал на подушку, разбилась бы ваза?»). Этот уровень пока недоступен для ИИ в полной мере, так как требует моделирования альтернативных историй развития событий, которые в реальности не произошли.

Проблема в том, что текущие алгоритмы машинного обучения сосредоточены исключительно на первом уровне. Они эффективно находят паттерны, но не могут логически выстроить причинно-следственную цепочку, необходимую для принятия решений в нестандартных ситуациях. Баренбойм отмечает, что для перехода к полноценному интеллекту необходимо задействовать информацию со всех трех уровней, хотя третий пока остается недосягаемым без прямого физического взаимодействия среды.

Интерпретируемость и новый взгляд на ошибки

Помимо отсутствия причинной модели, существующие системы страдают от низкой объяснимости. Когда модель принимает решение, мы часто не можем понять, на основании чего она это сделала. Для оценки вклада различных признаков в прогноз используются методы, например, SHAP (SHapley Additive exPlanations), основанные на теории игр.

На примере классификатора цифр можно показать ограничения стандартного SHAP. Допустим, мы обучили модель предсказывать цифру по картинке. Если данные показывают корреляцию между цветом фона и цифрой (цветные цифры всегда четные), модель будет опираться на цвет. Если же мы изменим распределение данных и разорвем эту связь, модель, основанная на цвете, провалит тест, так как полагалась на ложную корреляцию. Устойчивая модель учитывает только форму цифры.

Баренбойм и его коллеги предложили метод Counterfactual Shapley values. В отличие от классического SHAP, который показывает вклад признаков в стандартных условиях, этот метод отвечает на вопрос: «какие пиксели необходимо изменить, чтобы модель изменила свое решение?». График анализа демонстрирует, что предложенный подход позволяет лучше различать зависимости и выявлять ложные корреляции, делая модель более робастной к смещениям в данных.

Использование таких методов интерпретируемости важно не только для дебаггинга алгоритмов, но и для обеспечения этичности ИИ. Без понимания того, как система принимает решения, невозможно гарантировать отсутствие предвзятости и ошибок в критически важных областях, таких как медицина или судебная система.

Путь вперед: от предсказания к пониманию

Алан Тьюринг в своей работе о машине Тьюринга указывал, что машине для обучения на опыте нужно физическое взаимодействие со средой, а не только пассивное наблюдение. Современные исследования движутся именно в этом направлении, пытаясь внедрить механизмы контрфактического анализа в архитектуру нейросетей.

Баренбойм призвал исследователей перестать гоняться только за точностью предсказания распределений. Важно добавить в процесс обучения модели явные связи и логику, а не просто сухие цифры вероятностей. Это позволит создать системы, которые не просто угадывают следующий кадр в видео, а действительно понимают контекст сцены, различая хрупкую керамику и упругую пену.

Переход от простой интерполяции к因果ному пониманию (causal understanding) станет тем самым «следующим скачком», о котором говорят лидеры индустрии. Только тогда ИИ сможет адекватно реагировать на непредвиденные ситуации, не нарушая законы физики и этические нормы.