DLSS давно робить більше, ніж просто масштабує зображення до потрібної роздільності. Але цього разу NVIDIA зробила щось принципово інше. У графічному конвеєрі з’явився ще один етап із довгою назвою 3D-Guided Neural Rendering, тобто керований 3D-даними нейронний рендеринг. Попередні версії DLSS переважно відновлювали інформацію, втрачену під час рендерингу, а тепер нейронна мережа використовує дані про сцену, щоб відтворювати складне освітлення та поведінку матеріалів, які традиційними методами рахувати надто дорого. Масштаб уже видно з цифр: у наборі DLSS 4.5 штучний інтелект відтворює 23 з кожних 24 пікселів на екрані. DLSS 5 стає фінальною стадією рендерингу – вона працює поверх традиційної графіки й додає те, що раніше просто не влазило в обчислювальний бюджет.
Що таке DLSS 5 та як працює 3D-керований нейрорендеринг?
Традиційні генеративні моделі ШІ (наприклад, дифузійні мережі для створення зображень) навчилися фотореалізму, аналізуючи мільярди реальних кадрів, а не симулюючи закони фізики. Вони чудово розуміють, як має виглядати шкіра, коли світло падає ззаду, або як блищить волога поверхня. Але ці моделі мають критичні для геймінгу недоліки: вони величезні, повільні та недетерміновані. Якщо дати стандартній моделі один і той самий текстовий промпт десять разів, вона видасть десять різних зображень. У динамічній грі, де обличчя персонажа чи текстура стіни не повинні хаотично змінюватися від кадру до кадру, подібні “вольності” неприпустимі.
DLSS 5 обходить цю проблему просто: нейромережа взагалі не отримує текстового опису сцени. Замість промпту вона бере готовий кадр рушія з усією геометрією, текстурами й освітленням, які створили художники, і працює вже поверх нього. Це останній етап рендерингу, на якому в сцену додають дорогі матеріали та світлові ефекти.
Для збереження задуму художників модель під час тренування жорстко прив’язали до внутрішніх буферів рендерингу: кольору, альбедо поверхонь, детального освітлення та нормалей, які описують геометрію. Зберігати вона зобов’язана чотири речі. Ідентичність персонажа разом із силуетом і костюмом. Семантику сцени, тобто самі об’єкти, їхні матеріали та зв’язки між ними. Характер освітлення: напрямок, інтенсивність, настрій. І навіть камеру з композицією, бо змістити кадрування чи перспективу модель права не має.
Детермінізм тут окрема вимога. Випадковості всередині моделі немає взагалі, тому однаковий кадр на вході завжди дає однаковий кадр на виході, скільки б разів його не прогнати. Без цього художник не зміг би налаштувати технологію, а тестувальник – відтворити баг.
Ще одна вимога – стабільність у часі. Її закривають motion vectors, які модель отримує прямо з рушія. Схема тут строга: один кадр на вході, один на виході. Офлайн-відеогенератори так не вміють, їм доводиться прораховувати кадри пачками, щоб зберегти послідовність. DLSS 5 обробляє поточний кадр і не заглядає в наступні, тому картинка не мерехтить і деталі не “пливуть”, коли камера рухається.
У чому різниця між DLSS 4.5 та DLSS 5?
Усі попередні версії DLSS – від Super Resolution до Frame Generation та Ray Reconstruction – були технологіями реконструкції. Вони працювали з наявними пікселями та даними рушія, щоб підвищити роздільну здатність, згенерувати додаткові кадри для плавності або очистити картинку від шуму після трасування променів. У них завжди був математично чіткий орієнтир – еталонний кадр високої якості (ground truth).
DLSS 5 – це перша у своєму роді технологія генерації. Вона не намагається просто відновити те, що вже є. Вона створює нові візуальні деталі, які через обмеження продуктивності взагалі не прораховувалися рушієм. Нейромережа самостійно генерує ефект підповерхневого розсіювання (subsurface scattering), завдяки якому світло м’яко проходить крізь шкіру чи листя дерев, додає глибокі та точні контактні тіні в місцях дотику об’єктів, передає реалістичне заломлення світла у склі та складних матеріалах. Тут немає єдиного математично “правильного” кадру – новим орієнтиром стає художнє бачення розробників, яке ШІ допомагає реалізувати на практиці.
Фотореалізм під контролем
Оскільки фотореалізм є певним творчим вибором, NVIDIA не стала обмежувати розробників однією універсальною картинкою. SDK DLSS 5 пропонує гнучкий набір інструментів для тонкого налаштування.
Розробникам доступні кілька моделей (Model A, B та C), навчених із різними ваговими коефіцієнтами. Кожна по-своєму інтерпретує геометрію та світлові буфери гри й дає власний вигляд сцени. Відмінність між ними суто у візуальному результаті та художньому стилі рендерингу. Що цікаво, на час кадру вибір моделі не впливає – між A, B і C немає жодної різниці в продуктивності.
Також немає прив’язки до однієї моделі. Модель A можна взяти для закритих локацій, модель B для відкритих просторів із рослинністю, а модель C для катсцен, залежно від того, що краще відповідає задуму художників. Усі три універсальні, постачаються в одному пакеті SDK і працюють із будь-якою грою.
В інструментарії DLSS 5 є два ключові параметри – Structure Intensity (Інтенсивність структури) та Tone Intensity (Інтенсивність тону), які дозволяють розробникам гнучко налаштовувати характер і ступінь втручання нейромережі у фінальне зображення.
Structure Intensity відповідає за високочастотні (дрібні та чіткі) деталі у кадрі. Цей повзунок безпосередньо регулює виразність контактних тіней, глибину фонового затінення, точність світлових відблисків та якість підповерхневого розсіювання світла. Наприклад, ефект природного проходження світла крізь шкіру чи листя дерев.
Tone Intensity відповідає за низькочастотні (загальні та просторові) деталі зображення, які є більш художньо виразними. Він регулює масштабне розсіювання світла у сцені та загальну передачу кольорів. Якщо розробник хоче зберегти автентичну палітру кольорів без ШІ-інтерпретацій, він може просто встановити цей повзунок на значення “0”.
Обидва параметри мають шкалу налаштування від 0 до 1. На значенні 0 ефект повністю вимкнено – зображення залишається ідентичним до базового кадру ігрового рушія. На значенні 1 (100%) DLSS 5 застосовує свій максимальний фотореалістичний апліфт (maximum uplift). Це дозволяє розробникам знаходити ідеальний баланс (наприклад, 25% чи 50%), щоб делікатно покращити картинку, не руйнуючи початкову роботу художників.
Важлива особливість цих параметрів – регулювання інтенсивності структури чи тону взагалі не впливає на продуктивність гри. ШІ-модель витрачає однаковий час на обробку кадру незалежно від виставлених значень на повзунках, що дозволяє розробникам експериментувати з візуальним стилем без остраху втратити дорогоцінні кадри/c.
Передбачена можливість семантичного ШІ-маскування (Automasking). Оскільки модель розуміє сенс об’єктів у кадрі, вона вміє автоматично створювати певні маски. Це дозволяє, наприклад, застосувати максимальний ШІ-апліфт до оточення, але зменшити інтенсивність генерації на обличчі головного героя, щоб зберегти його точний вигляд.
Розробники також можуть вручну об’єднувати об’єкти в групи (наприклад, “уся їжа в грі” або “скляний посуд”) та налаштовувати для них індивідуальні параметри DLSS 5, не зачіпаючи решту сцени.
При цьому якість фінального кадру безпосередньо залежить від вхідних даних. DLSS 5 добре покращує звичайне растрове зображення, але найкраще розкривається у зв’язці з трасуванням променів (Ray Tracing) або шляхів (Path Tracing), оскільки отримує багатшу інформаційну базу для генерації.
Дебют в NBA 2K27
Для гравця вся ця складна кухня згортається в один перемикач “DLSS Neural Rendering” у налаштуваннях відео. Технологія стартує 4 вересня в грі NBA 2K27 від Visual Concepts і 2K.
Вибір дебютної гри тут не випадковий і водночас ризикований. Спортивний симулятор живе з того, наскільки схожі на себе реальні люди, тож генеративна система ходить по краю. Варто моделі трохи перестаратися з обличчям – і замість Cade Cunningham на паркеті з’явиться його “двоюрідний брат”.
NVIDIA показує це на Cade Cunningham і Tyrese Haliburton, і набір ефектів в обох приблизно однаковий. Підповерхневе розсіювання дає шкірі теплий відтінок під софітами арени. Контактні тіні стають щільнішими там, де їх раніше майже не було – вздовж коміра форми, під носом і підборіддям, на складках компресійного рукава. Волосся нарешті реагує на світло. Геометрію облич, відскановану з реальних спортсменів, при цьому не чіпають узагалі.
Глядачі на трибунах і персонал біля майданчика отримують те саме розсіювання шкіри й ті самі контактні тіні, що й зірки на паркеті. Звучить як дрібниця, але саме натовп історично спрощували найпершим через те, що рендерити десятки тисяч облич із повноцінними матеріалами було задорого. Тепер вони коштують стільки ж, скільки решта кадру.
Що буде після NBA 2K27, NVIDIA вже назвала: Assassin’s Creed Shadows, Hogwarts Legacy, Resident Evil Requiem, Starfield, The Elder Scrolls IV: Oblivion Remastered, Delta Force, AION 2, Phantom Blade Zero та інші. Дати компанія не уточнює, обіцяє “найближчі тижні й місяці”.
Системні вимоги та продуктивність
DLSS 5 працює лише на GeForce RTX 50-ї серії, включно з ноутбучними GPU, а також у GeForce NOW для передплатників Ultimate, які стримлять із хмарних систем на базі GeForce RTX 5080. Обчислення йдуть на тензорних ядрах п’ятого покоління Blackwell.
Результати внутрішніх тестів у NBA 2K27 NVIDIA опублікувала у вигляді трьох діаграм.
У режимі Full HD йдеться про сотні fps навіть на GeForce RTX 5060. Хоча тут важливо відзначити, що це показники з DLSS Quality та активованою генерацією кадрів MFG 6x.
Для 1440p знадобиться відеокарта від GeForce RTX 5070, яка забезпечить близько 260 fps. Втім, умови тестування ті самі.
Для режиму 4K наведені дані GeForce RTX 5080 та GeForce RTX 5090. Але звертаємо увагу на те, що обрані опції максимально швидкісної генерації, до того ж саме для 4K вказаний режим DLSS Performance.
Отримані числа не так багато говорять про саму DLSS 5. Тестували з повним набором технологій, а окремої діаграми “нейрорендеринг увімкнено проти вимкнено” в матеріалах не було. Отримані сотні fps забезпечує не DLSS 5, а Super Resolution і Multi Frame Generation, поверх яких вона працює. Причому Frame Generation множить уже оброблений кадр, тож на згенерованих кадрах модель повторно не запускається, інакше просадка зростала б разом із множником.
Едвард Лю, керівник досліджень DLSS, у відповідь на питання про fps без Frame Generation назвав середню втрату від увімкнення DLSS 5 на рівні 50–60%. За його словами, вона приблизно однакова по всій лінійці GeForce RTX 50 і по всіх роздільностях, а від гри до гри не змінюється. Тож початково орієнтуємось на ці значення.
Прогрес DLSS 5 від першого показу справді швидкий. На весняній GTC технологію демонстрували на двох GeForce RTX 5090, приблизно за два місяці її запустили на одній, а нинішня версія працює більш ніж уп’ятеро швидше за початкову. На брифінгу цей стрибок пояснили доволі загально: оптимізація заліза, софту й ядер запуску, спільне проєктування, а також зміни на боці тренування та самої моделі. За словами Едварда Лю, сьогоднішня модель менша, швидша й контрольованіша за ту, що показували в березні. Оптимізації на цьому не закінчуються: оновлення моделі восени мають підняти продуктивність ще вище.
Одного числа в цій секції все ж бракує. Скільки відеопам’яті займає сама модель, NVIDIA не називає. Незалежні практичні тестування дозволять закрити прогалину у цьому питанні.
Головне з Q&A сесії після технічного брифінгу NVIDIA
Під час закритого брифінгу для преси Едвард Лю (Edward Liu, керівник досліджень DLSS) та Габріеле Леоне (Gabriele Leone, директор з контент-технологій) відповіли на запитання журналістів. Частина відповідей виходить за межі того, що є в презентації та блозі NVIDIA, тож для розуміння технології ці уточнення добре доповнюють офіційні матеріали.
Чи додає DLSS 5 затримку введення? Ні. На відміну від Frame Generation, яка змушена чекати наступного кадру для інтерполяції, DLSS 5 працює в межах поточного. Уся додаткова затримка – це чистий час виконання самої моделі на тензорних ядрах п’ятого покоління.
Як DLSS 5 уживається з рештою технологій RTX? Порядок у конвеєрі жорсткий. Спершу Super Resolution або Ray Reconstruction готують зображення без аліасингу, далі DLSS 5 робить його реалістичнішим, і аж потім Frame Generation множить кадри. Reflex працює після DLSS і ні на що не впливає, а нейронне стиснення текстур узагалі живе всередині рушія, тому з DLSS 5 не перетинається. При цьому вмикати щось іще для роботи DLSS 5 не обов’язково. Усі технології незалежні одна від одної, хоча NVIDIA радить активувати весь набір.
Яка внутрішня роздільна здатність обробки? Модель працює з нативною вихідною роздільністю DLSS, а не з внутрішньою. Тобто вона запускається вже після етапу Super Resolution і бере його чистий результат як вхідні дані.
Чи впливають маски й повзунки на продуктивність? Ні, жодним чином. Модель отримує буфер простору екрана з усіма керуючими значеннями й відпрацьовує однаково, хоч там п’ять масок, хоч сто, і хоч які значення виставлені на повзунках інтенсивності. Різниці в продуктивності між моделями A, B та C теж немає. Дрібні витрати можливі хіба що на створення самого буфера, і залежать вони від рушія.
Чи треба тренувати модель під конкретну гру? Ні, вона загальна. Три доступні варіанти працюють із будь-яким проєктом. Старі ігри теж можна підтягнути, якщо розробник цього захоче: для інтеграції потрібні лише буфер кольору та motion vectors, тож проєкти зі Streamline додають DLSS 5 без особливих зусиль. Щодо RTX Remix новин поки немає.
Що буде з грою низької якості на вході? Нічого доброго. Модель піксельно точно зберігає текстури й геометрію, тому низька якість оригіналу нікуди не подінеться, а результат виявиться відчутно менш фотореалістичним, ніж у ААА-проєкті.
Як бути з іграми, які не прагнуть фотореалізму? DLSS 5 створювали під реалістичне світло та матеріали. Проте в NVIDIA кажуть, що бачили переконливі результати й у нефотореалістичних проєктах, хоча ефект буде іншим. Кінцеве рішення завжди за художниками студії.
Що дістанеться гравцеві? Тільки перемикач. Усі повзунки й маски – інструмент розробника, тож у грі буде лише “увімкнути” або “вимкнути”, а побачите ви рівно те, що налаштувала студія. Пресети в майбутньому не виключають, але вирішувати знову ж таки розробникам.
Чи передбачена підтримка старих поколінь RTX? Прямого “ні” на брифінгу не прозвучало. Лю зазначив, що DLSS 5 – найбільша та найскладніша модель компанії на сьогодні, а пріоритетом і фокусом була її оптимізація під тензорні ядра Blackwell у картах RTX 50. Квантування в NVFP4 поки не застосовували.
Чому технологію назвали саме DLSS 5, якщо це радше покращувач графіки, а не бустер fps? У NVIDIA пояснюють, що бренд стоїть на трьох стовпах ігрового досвіду: затримка, частота кадрів та якість зображення. Ray Reconstruction і Super Resolution уже працювали на якість. DLSS 5 просто перша технологія, яка покращує не згладжування чи шумозаглушення, а саму реалістичність зображення, і компанія збирає свої найкращі графічні ШІ-розробки під цим брендом.
Ще один поверх, а не заміна
Якщо розкласти технологію на складники, вийде три рівні. В основі традиційний рендеринг. Рушій створює геометрію, матеріали й освітлення, а растерізація, трасування променів чи шляху вирішують, як саме цей світ буде намальовано. Далі звичний набір DLSS, який відповідає за роздільність, кількість кадрів та якість відтворення. І окремо DLSS 5, яка бере готовий кадр і додає до нього “дорогі” світлові й матеріальні взаємодії, а вже після неї Frame Generation множить результат.
Не менш показово те, чого NVIDIA робити не стала. Ніхто не пропонує викинути класичний рендеринг і віддати гру генеративній моделі. Рушій залишається еталоном, з яким модель звіряється, а нейромережа отримує статус додаткового інструмента фінальної стадії. Вона працює з уже створеним світом, розуміє його об’єкти й матеріали, спирається на motion vectors і робить результат правдоподібнішим, не ламаючи задум художника.
Що ж, побачимо, наскільки виправданим виявиться компроміс між якістю, стабільністю та реальною ціною в кадрах, коли технологія вийде за межі демонстрацій самої NVIDIA. Перевірити перші відповіді можна вже сьогодні, у NBA 2K27. Остаточні з’являться після незалежних тестів і кількох інших ігор.
За даними порталу: mezha.ua