DLSS 5 превращает черно-белые фильмы в цвет: эксперимент с реальным временем
Автор статьи на Хабре, SergiiDia, продемонстрировал неожиданный, хотя и спорный случай использования технологии DLSS 5. Алгоритм искусственного интеллекта, призванный улучшать графику в играх, в режиме реального времени раскрашивает исторические черно-белые фильмы, такие как «Малыш» Чарли Чаплина 1921 года. Хотя результат часто описывается наблюдателями как «слоп» и «ужас», сам факт работы модели без внешних векторов движения и карт глубины ставит новые вопросы перед разработчиками видеокарт.
# Возможно единственно-полезное применение DLSS 5: эксперимент с классикой
Автор статьи, SergiiDia, пообещал, что этот материал будет последним упоминанием о DLSS 5 в его блоге. Он сразу предупреждает читателей: визуальный результат действительно низкого качества, но технический факт существования такого процесса является важным для понимания возможностей и ограничений современных алгоритмов генерации изображения.
От игры к кинотеатру: как возникла идея
Идея эксперимента родилась в дискуссиях под видео, где DLSS 5 прогонялся через игру L.A. Noire. Автор заметил, что при настройке параметра denoise before upscaling (шумоподавление до апскейлинга) и использовании мультипасса (повторные проходы рендера), алгоритм начинает галлюцинировать, раскрашивая изображение на лету. Пользователь в комментариях справедливо указал, что видеоигры обладают векторами движения и информацией о глубине, чего нет в стандартных видеопотоках. Тем не менее, автор решил проверить гипотезу: можно ли заставить модель работать с видеоплеером, лишенным этих данных.
Для эксперимента был выбран фильм «Малыш» (The Kid) режиссера Чарли Чаплина, выпущенный в 1921 году. Фильм находится в общественном достоянии, поэтому его легально использовать для демонстрации технологий. В качестве инструмента была использована модификация Media Player Classic-HC (MPC-HC), на которую автор «натянул» движок RenoDX.
*«Натянул на плеер, включил режим x10, и магия (или безумие) началась»* — отмечает автор.
В начале эксперимента попытки были предельно осторожными: прогонять модель через файл многократно. Однако такой подход давал слишком стабильный, но скучный результат, оставляющий изображение черно-белым. Для демонстрации возможностей в реальном времени автор вывел обработку на максимальную скорость воспроизведения.
Технические детали: почему нет векторов и глубины?
Несмотря на успех в раскрашивании в реальном времени, у технологии есть серьезное ограничение. Для качественного синтеза цвета нейросети традиционно требуются данные о движении объектов (векторы) и расстояние до них (глубина). Эти данные обычно собираются в играх, например, с помощью технологии DirectX 12.
Автор признает, что раскрашивание фильма без этих метаданных — это «эксперимент ради эксперимента». Однако то, что модель справляется с задачей, демонстрирует её гибкость. NVIDIA, производитель технологии, как ожидается, будет внедрять новые решения. Уже 13 октября компания показала обновленную версию модели, работающую в два раза быстрее сентябрьской. Вскоре, 23 октября, в проекте RTX Remix обещают появление масок для отдельных элементов сцены. Это позволит указывать нейросети конкретным образом: «не трогай лица, раскрашивай только одежду и фон». Это должно снизить артефакты на портретах, сохраняя историческую достоверность изображений персонажей.
Визуальный результат: грязь, бороды и мокрый асфальт
Результаты обработки вызывают смешанные, преимущественно негативные эмоции у зрителей. Цветовая гамма, создаваемая моделью по умолчанию, описывается как скромная и грязно-бурая, с редкими всплесками синего на куртке или рыжего на воротнике шерстяной одежды.
Наиболее страдают лица героев. Вместо естественного перехода к цветному кино модель размытывает черты, добавляя герою Чарли Чаплина возраст, который может исчисляться десятилетиями. Усы, являющиеся визитной карточкой актера, пропадают без следа. В некоторых кадрах алгоритм добавляет несуществующие детали: женщине, ругающейся с полицейским, на пару секунд появляется борода и шапка.
Особый интерес вызывает обработка окружения. В оригинале фильма дорога сухая и пыльная. DLSS 5 интерпретирует текстурные шумы иначе: он решает, что только что прошел дождь, и превращает грунтовку в мокрый асфальт с яркими отражениями. Где-то появляется ливень, которого в кадре никогда не было.
Заключение: шаг к будущему или просто шум?
Эксперимент SergiiDia демонстрирует мощь современных нейросетей, способных «выдумывать» информацию там, где её нет. Для геймеров это пока лишь повод усмехнуться над превращением классики в сюрреализм. Однако для киноиндустрии и архивистики потенциал интереснее. Если алгоритмы научатся корректно работать с историческими фильмами, не искажая лица и контекст, это может стать единственным полезным применением DLSS 5 в кинематографе.
Сейчас же это яркий пример того, как искусственный интеллект, будучи слепым к физическим законам реальности, видит в каждом зерне пыли не просто шум, а повод для дождя или бороды.