NVIDIA ответила на вопросы о DLSS и пообещала улучшить качество технологии

Недавно владельцы видеокарт GeForce RTX получили доступ к технологии интеллектуального полноэкранного сглаживания благодаря запуску DLSS для Battlefield V и Metro Exodus вслед за добавлением метода в бенчмарки Final Fantasy XV: Windows Edition и 3DMark Port Royal. В обоих шутерах картинка оказалась довольно размытой по сравнению с теми же Final Fantasy XV и 3DMark, что вызвало разочарование и заставило технического директора по глубинному обучению в NVIDIA Эндрю Эдельстена (Andrew Edelsten) дать расширенный комментарий в виде сессии ответов на часто задаваемые вопросы в официальном блоге.

Что такое DLSS?

Deep Learning Super Sampling (DLSS) — это технология NVIDIA RTX, которая использует возможности ИИ для повышения частоты кадров в играх с интенсивными графическими нагрузками. Благодаря DLSS игроки могут использовать более высокие разрешения и настройки, сохраняя при этом приемлемую частоту кадров.

Как работает DLSS?

Команда DLSS извлекает много кадров «с гребёнкой» из рассматриваемой игры, а затем для каждого генерируется аналогичный «идеальный кадр», использующий полноэкранное сглаживание на основе методов избыточной выборки или смешенного рендеринга. Эти парные кадры передаются суперкомпьютеру NVIDIA. Суперкомпьютер обучает нейронную сеть DLSS распознавать «гребёнку» и генерировать высококачественные сглаженные изображения, которые максимально точно соответствуют «идеальному кадру». Затем мы повторяем процесс, но на этот раз обучаем модель генерировать дополнительные пиксели вместо простого применения сглаживания. Это позволяет повышать входное разрешение кадра. Объединение обоих методов даёт графическому процессору возможность выводить игру в максимально поддерживаемом монитором разрешении при более высокой частоте кадров.

Сравнение TAA с DLSS в Battlefield V

Где DLSS даёт наибольшее преимущество? И почему технология недоступна для всех разрешений?

Результаты работы DLSS немного различаются, потому что каждая игра имеет разные характеристики в зависимости от используемого движка, сложности сцены и затраченного на обучение времени. Наш суперкомпьютер никогда не спит, и мы продолжаем обучать и совершенствовать нейронную сеть глубинного обучения даже после запуска игры. Когда мы добиваемся улучшений в области производительности или качества изображения, мы добавляем их через обновления программного обеспечения NVIDIA.

DLSS предназначен для повышения частоты кадров в тяжёлых режимах нагрузки GPU (то есть когда частота кадров остаётся относительно низкой, несмотря на полную загрузку видеокарты и отсутствие узких мест). Если игра уже работает с высокой частотой, время вывода кадров может оказаться меньше без выполнения DLSS. В этом случае мы отключаем DLSS, потому что алгоритм не увеличит частоту кадров. Однако если игра интенсивно использует графический процессор (приблизительно ниже 60 кадров/с), использование DLSS имеет смысл для повышения производительности.

Если говорить более технически, DLSS требует фиксированного количества времени GPU на каждый кадр для исполнения нейронной сети. Таким образом, игры, которые отличаются относительно низкой частотой кадров или исполняются в высоком разрешении, получают больше преимуществ от DLSS. Для игр, работающих с высокой частотой кадров или в низком разрешением DLSS как средство повышения производительности может оказаться бесполезен. Когда время визуализации кадров короче, чем требуется для выполнения модели DLSS, мы не включаем интеллектуальное сглаживание. Оно активируется лишь в случаях, когда может дать прирост производительности. Доступность DLSS зависит от игры, графического ускорителя и выбранного разрешения.

Некоторые пользователи жаловались на размытые кадры. Вы можете пояснить ситуацию?

DLSS — новая технология, и мы прилагаем все усилия для её усовершенствования. DLSS создана с прицелом на использование тензорных ядер архитектуры Turing и обеспечение наибольших преимуществ при высокой нагрузке на GPU. Для этого мы сконцентрировались на высоких разрешениях во время разработки (где загрузка графического процессора самая высокая), причём 4K (3840 × 2160) является наиболее распространённым целевым разрешением. Работа с 4K даёт бо́льшую отдачу с точки зрения качества изображения, так как количество входных пикселей велико. Обычно в случае 4K модель DLSS имеет дело с 3,5–5,5 миллионами входящих пикселей, из которых можно сгенерировать окончательный кадр, а в случае с 1920 × 1080 имеется только 1–1,5 млн пикселей. Чем меньше исходных данных, тем сложнее DLSS обнаруживать особенности исходного изображения и предсказывать окончательный кадр.

Мы видели скриншоты и прислушиваемся к отзывам сообщества относительно недостатков DLSS в более низких разрешениях и сейчас отдаём приоритет улучшению положения дел в этой области. Мы добавляем больше данных для обучения нейронной сети и используем некоторые новые методы для повышения качества. И эта работа будет продолжаться, чтобы результаты DLSS улучшались со временем.

Сравнение TAA с DLSS в 3DMark

Почему бы просто не использовать вместо этого масштабированную картинку с TAA?

В зависимости от разрешения, настроек качества и реализации игры некоторые могут предпочесть TAA в одной игре и DLSS в другой. Игровая индустрия использует TAA в течение многих лет, и мы знаем, что технология имеет недостатки в определённых вещах. TAA генерируется из нескольких кадров и может страдать от ореолов и мерцаний при высокой скорости движения, а DLSS, как правило, справляется с этим лучше.

Когда будет следующее обновление DLSS для Battlefield V и Metro Exodus?

Мы постоянно работаем над улучшением качества изображения. Недавно мы обновили ядро ​​​​DLSS, чтобы игроки получали последние обновления модели вместе с запуском игры. Поэтому убедитесь, что у вас установлен последний драйвер Game Ready (418.91 или выше).

Мы полагаем, что DLSS в Battlefield V обеспечивает значительное улучшение производительности в разрешениях 4K и 2560 × 1440 (до 40 %) при сопоставимом качестве, но прислушиваемся к сообществу. В следующем обновлении мы сосредоточим наши тесты и обучение на улучшении качества изображения для разрешения 1920 × 1080, а также для сверхширокоформатных мониторов (например, с разрешением 3440 × 1440). Нынешнее качество картинки в этих разрешениях не находится на желаемом нами уровне.

Для Metro Exodus у нас уже есть обновление, улучшающее чёткость DLSS и общее качество изображения для всех разрешений, которые не были включены в день запуска. Мы также обучаем DLSS в расширенных ситуациях этой игры, и как только обновления будут готовы, вы увидите ещё одно заметное повышение качества. Наконец, мы постараемся решить и несколько других проблем, о которых сообщали игроки (такие как HDR), и представим обновление, как только работа будет сделана.

TAA (слева) против DLSS в Metro Exodus (фрагмент 4K) — чёткость DLSS существенно ниже

Желающие могут ознакомиться с результатами тестов 3DNews в Metro Exodus: связка из RTX и DLSS действительно сейчас даёт весьма посредственную, «мыльную», картинку. Хотя в нашей лаборатории использовался чуть более старый драйвер NVIDIA GeForce Game Ready Driver 417.71, судя по всему, версия 418.91 пока не даёт ощутимой разницы.

Источник:

• NVIDIA