Да кто такой этот ваш DLSS

Статья про сглаживание уже была, и в ней мы проехались по самым основным видам алиасинга, попытались понять, как они работают, и почему эти кучи огромных букв — просто костыли. Но мы даже не упоминали ещё одну крупную птицу на этой ветке — NVIDIA DLSS, который вроде как и сглаживание, а вроде как и нет. «Зелёные» придумали кое-что похитрее и посложнее, чем просто замыливание краёв, да ещё и наворотили там всякого, а потому разбираться с вопросом о том, да кто такой этот ваш DLSS, мы будем отдельно и без сглаживания углов.

Как оно работает?

DLSS расшифровывается как Deep Learning Super Sampling. Если очень кратко, то это суперсэмплинг, который основан на машинном обучении. Нейронные сети кучу раз прокатывают по каждой игре, поддерживающей DLSS, отдельно, обучают улучшать производительность видеокарты и одновременно с этим — изничтожать надоедливые лесенки и другие досадные некрасивости. При этом суперсэмплинг увеличивает частоту кадров, фактически не теряя в качестве картинки.

Звучит как какая-то сказка, да?

Ну почти она и есть. А всякие там MSAA и TXAA не достигли таких высот, потому что не могут себе позволить работать не на мощности GPU или процессора, а на отдельном блоке в графическом чипе, оптимизированном для работы с ИИ — ядрах Tensor. Они — инновационная разработка Nvidia, и естественно, что в быту найти их можно только в видеокартах NVIDIA GeForce RTX.

Было бы слишком много чести придумывать какие-то отдельные ядра просто для того, чтобы они так же, как обычное сглаживание, мылили края объектов и заливали градиентом крайние пиксели. DLSS — это не мыльница с искусственным интеллектом и не костыль, а метод масштабирования кадра. Нейросеть берёт исходную картинку и на её основе создаёт изображение с большим количеством пикселей и сглаженными краями.

Лучше всего эти навороты показывают себя на разрешении 4К, потому на нём обычное сглаживание без зазрения совести пожирает ресурсы и родненькие фэпээсы. Пикселей больше, значит и площадь обработки тоже. Вот и уходят все лошадиные силы вашего ПК на обрисовку каждого из 4К ваших пикселей. А вот DLSS в этом случае пощадит ваше железо, сохранит частоту кадров и подойдёт к вопросу более интеллектуально.

Дело в том, что тензорные ядра слишком круты для того, чтобы заниматься обычным рендерингом — их используют в большинстве суперкомпьютеров с глубоким обучением. Вам же, на вашей домашней пекарне, они полезны тем, что умеют при рендере кадра в меньшем разрешении (например, в 1080р) «достраивать» нужные для повышения разрешения пиксели (и так добраться до желанных 4К). Эти пиксели не берутся с потолка, иначе бы картинка на выходе получалась маловнятной мешаниной. Нейросеть выбирает эти пиксели на основе предыдущего и следующего изображения, и достраивает кадр.

Первая и вторая попытки

Чтобы вы не подумали, что всё невероятно радужно, и это не технология, а сплошная магия, которая поможет вытянуть на 120 FPS в 4К Cyberpunk 2077 на ультрах, используя видеокарту из компа вашего дедушки, я скажу, что DLSS имеет и свои проблемы.

DLSS первой версии умела работать лишь с несколькими конкретными играми, для которых нейросеть специально муштровали. Nvidia тратила на это сотни человеко-часов. Кадры из совместимых игр загружались в суперкомпьютер с учётом всех режимов, которые мог выбрать игрок — со сглаживанием, без и в разных разрешениях. И на основе этой груды файлов нейросеть старалась выстроить самое лучшее изображение.

И помимо того, что выбор игр был очень ограничен, после DLSS-обработки в игре часто терялись какие-то детали, что-то замыливалось (например, как в случае с Metro Exodus, всё), появлялись мерцания и глитчи, а волосы и вовсе казались непосильной задачей. Всем, и в первую очередь Nvidia, было ясно, что дела так дальше не пойдут, и затраченное время не стоит результата. А значит, нужно улучшать алгоритмы и уменьшать количество кругов ада для создания одного кадра.

И вот в начале 2020 года пред геймерами предстаёт DLSS 2.0 — улучшенный и более самостоятельный. Теперь нейронная сеть более универсальна и работает для всех игр. Данные о нужных пикселях и векторах их движения она берёт из уже отрендеренных кадров. Кроме того, у второй версии появились три режима изображения — «Качество», «Баланс», «Производительность», которые управляют внутренним разрешением рендеринга.

Подгонять игры под технологию стало значительно проще, и это значит, что в будущем всё больше и больше игр будет к ней обращаться. Сейчас DLSS 2.0 всё ещё не поддерживает все тайтлы, и, по чесноку, до этого очень далеко. Однако рост в качестве по сравнению с ранней версией очевиден как визуально, так и технически. С помощью масштабирования кадра можно освободить огромное количество ресурсов вашего ПК и обеспечить вам фреймрейт круче, чем вы ожидали, глядя на системки игры. Это выгодно всем: и Nvidia, и разработчикам, и вам. Всё делается для того, чтобы как можно больше игроков смогло поиграть с приемлемыми настройками и FPS без крови из глаз и припадков.

Все к этому стремятся, но проблемы всё ещё есть, безусловно. И дело тут (как и всегда в ПК-гейминге) в огромной куче самых разных конфигураций. Какой бы умной ни была нейросеть, промашки бывают и у неё, и о глитчах и мыльных пятнах рано забывать. Например, у меня в Control с включённым DLSS по какой-то непонятной причине мылились картины на стенах. Именно они, и только они. И больше ни у кого о таких приколах я не слышала.

Кстати, персонально для Control существовала версия DLSS 1.9, на которой и прокатали на массовом пользователе новые методы работы. К тому же этот эксклюзивный DLSS в игре работал только на потоковых процессорах, а не тензорных ядрах.

Дальше — лучше

Конечно же, Nvidia строит очень амбициозные планы на свою технологию. Например, тензорные ядра хотят применять для более качественного и простого в постобработке рейтрейсинга. ИИ планируют научить устранять шумы и повышать частоту кадров после применения трассировки. Кроме того, для видеокарт GeForce RTX тензорные ядра собираются научить улучшать анимации персонажей или симуляцию тканей.

Из того же, что уже точно подтверждено, следующая версия — DLSS 2.1 — сможет увеличить разрешение картинки девятикратно — она создана для игры в разрешении 8K на RTX 3090 с высоким FPS. Во время общения с пользователями на Reddit Ask Me Anything Nvidia рассказала, что эта версия, кроме прочего, будет поддерживать VR и динамическое разрешение. Для того, чтобы фреймрейт не скакал как ужаленный то вверх то вниз, исходная картинка будет динамически меняться в размерах.

Хуже все эти навороты явно не сделают, а Nvidia явно заинтересована в качестве технологии. Пусть пока что аналогов DLSS нет, AMD уже наступают «зелёным» на пятки. Но пока что они не торопятся делиться подробностями о своём аналоге DLSS, который будет носить имя FidelityFX Super Resolution. AMD пообещали, что технология будет генерировать кадры высокого разрешения на основе изображений с низким разрешением. То есть схожим с DLSS образом. Скорее всего, FidelityFX Super Resolution тоже будет построена на базе искусственного интеллекта, но о подробностях станет известно только в следующем году.

К чему дальше приведут эти технологии, и как их будут использовать, мы ещё увидим. Не единожды встречала мнение о том, что студии скоро станут делать игры с прицелом на DLSS и прочие суперсэмплинги, добавляя больше эффектов и других визуальных плюшек, и больше не боясь перегрузить компы аудитории и задрать системные требования до небес. Возможно, так оно и будет. А может быть, вскоре всё повернётся в другую сторону. Ну что ж, желаем инноваторам мира графония удачи, поменьше лесенок на пути, и ждём развития технологий интеллектуального суперсэмплинга, чтобы погружаться в новые потрясающие игровые миры гладко и с высоким FPS.