Nvidia vydala upscaler webového videa RTX Video Super Resolution. Jako DLSS 2.0 ale není

23
Efekt Nvidia RTX Video Super Resolution 1600
Efekt Nvidia RTX Video Super Resolution
-
Zdroj: Nvidia

Nvidia RTX Video Super Resolution je takové DLSS pro webové video – má zlepšovat detaily, ale podle prvních ohlasů je přínos menší než ve hrách a naopak se mohou objevit „AI“ artefakty. Lze říct, že je to spíš DLSS 1.0 než DLSS 2.0…

V lednu Nvidia oznámila novinku pro své grafické karty: funkci RTX Video Super Resolution, která aplikuje upscaling a postprocessing na video přehrávané ve webových prohlížečích na bázi Chrome. Nvidia používá AI upscaling s temporální stabilizací ve hrách pod označením DLSS, takže aplikace na webové video je logickým rozšířením. Tato funkce byla nyní aktuálními ovladači grafik GeForce zprovozněna a přicházejí první srovnání a ohlasy.

Nvidia 28. 2. vydala novou verzi ovladačů 531.18 a jednou z novinek v této aktualizaci je právě RTX Video Super Resolution. Podle původního oznámení měla být dostupná v únoru, takže šlo o vydání na poslední chvíli. Funkce potřebuje zároveň podporu v prohlížeči a zatím je dostupná v Google Chrome a Microsoft Edge, pokud máte jejich aktuální verzi. Po aktualizaci ovladačů a prohlížeče budete moci upscaling přes RTX Video Super Resolution používat na webech jako YouTube, Twitch, Hulu nebo Netflix.

Podle dokumentů Nvidie je použitá odlišná (nová) neuronová síť, než jaká je v DLSS, a trénování probíhá na jiných datech. RTX Video Super Resolution pracuje čistě s obrazovými daty, na rozdíl od DLSS nemá „meta“ pomůcky, jako jsou informace z herního enginu o pohybových vektorech a hloubce. Filtr jednak detekuje a vylepšuje hrany a vedle toho se také snaží odstranit kompresní artefakty.

Nvidia neuvádí, že by měl temporální rozměr jako DLSS 2.x – tedy schopnost kombinovat detail z více po sobě jdoucích snímků. Je tedy možná čistě spatiální jako DLSS 1.0. Podle slajdu popisujícího fungování je vstupní snímek nejprve škálován na cílové rozlišení běžným bikubickým algoritmem a poté AI vygeneruje změny, které na tomto snímku mají zlepšit kontrast a ostrost hran. Temporální rekonstrukce nikde nefiguruje.

Slajd ukazující princip RTX Video Super Resolution
Slajd ukazující princip RTX Video Super Resolution (zdroj: Nvidia)

Co potřebujete?

Zapnout se tato funkce musí v nastavení ovladačů v Nvidia Control Panelu. Přejděte na kartu s nastaveními pro přehrávání videa (Adjust Video Image Settings), kde se novinka objevila pod hlavičkou „RTX Video Enhancement“. Zde zaškrtnete „Super Resolution“, čímž se upscaling aktivuje. Je možné nastavit kvalitu, kdy výchozí nastavení 1 by mělo podle Nvidia fungovat na všech grafikách generace RTX 3000 a RTX 4000.

Vyšší úrovně potřebují více výpočetního výkonu. Nvidia uvádí, že s kvalitou 4 by mělo být možné přehrávat „většinu obsahu“ na kartách třídy GeForce RTX 3070/4070. Pod onou většinou se asi myslí to, že GPU utáhnou upscaling do určité kombinace vstupního rozlišení a snímkové frekvence – upscaling při 30 snímcích za sekundu je samozřejmě méně náročný než pro nějaké video se 120 snímky za sekundu.

Zapnutí RTX Video Super Resolution v Nvidia Control Panelu
Zapnutí RTX Video Super Resolution v Nvidia Control Panelu a nastavení kvality (zdroj: Nvidia)

RTX Video Super Resolution používá tensor jádra a nyní je dostupná jen na kartách GeForce RTX 3000 nebo RTX 4000. Eventuálně má přibýt podpora ještě i pro GeForce RTX 2000, ale pro ty bude údajně potřebovat upravit algoritmy, a proto funkci dostanou až někdy později v budoucnu. Konkrétní termín sdělen nebyl. Nvidia mimochodem asi zatím RTX Video nepodporuje na profesionálních grafikách, jenom na modelech GeForce.

Na noteboocích pozor na baterku

Na noteboocích je ještě třeba v grafických nastaveních Windows zvolit, aby se pro webový prohlížeč používal vysoký výkon – to proto, aby technologie Optimus zapnula při otevření prohlížeče samostatnou grafiku.

To bohužel znamená, že když otevřete Chrome/Edge (i bez přehrávání videa), zvýší se spotřeba a zkrátí se vám výdrž na baterie. Nvidia doporučuje mít v takovém případě na PC jak Chrome, tak Edge a pro přehrávání videa používat jeden z nich (a jen pro ten nastavíte režim vysokého grafického výkonu s dedikovaným GPU), zatímco pro ostatní práci druhý, se kterým notebook „žrát“ nebude.

Natavení které přinutí webový prohlížec používat na notebooku samostatné GPU
Nastavení, které přinutí webový prohlížeč používat na notebooku samostatné GPU (zdroj: Nvidia)

HDR video není podporováno

Filtr podporuje vstupní videa s rozlišením od 360p do 1440p. Nicméně není podporováno video s HDR obsahem, YouTube Shorts a také některá videa s ochranou proti kopírování (DRM). Podpora pro HDR by snad ale eventuálně mohla být přidána. Vyžadovala by asi úpravy a jiné vyladění, ale soudíme, že není nemožná.

Upscaling funguje jak v okně nebo v rámci webové stránky, tak na celé obrazovce a aktivuje se při přehrávání v jakémkoli rozlišení, které je vyšší než vstupní. Při přehrávání na nativním rozlišení není RTX Video Super Resolution aktivní (tj. nelze použít ani pro odstranění kompresních artefaktů). Stejně tak nepodporuje downscaling. Upscaling se deaktivuje, pokud je okno prohlížeče v pozadí nebo minimalizované. A také tehdy, když je video pozastavené. Toto šetří elektřinu, kterou RTX Video Super Resolution docela konzumuje.

Zapojení tensor jader podle testů může výrazně zvýšit spotřebu proti úrovni obvyklé při přehrávání videa tradičním způsobem. ComputerBase vyšla na kartě RTX 3050 spotřeba vyšší o desítky wattů, na druhou stranu Tom’s Hardware zase hlásí velmi nízké nárůsty spotřeby (ComputerBase ovšem použil video se 60 snímky za sekundu a vyšším vstupním rozlišením).

První vizuální testy

Samozřejmě nejdůležitější je pro přehrávání videa, jak vypadá výsledek. Na kvalitu dosaženou touto funkcí se podívalo několik webů, například Tom’s Hardware, TechPowerUp nebo ComputerBase. Bude to asi i věc vkusu, ale vypadá to z nich, že přínos je spíš menší či diskutabilní (a pro vyšší vstupní rozlišení je asi vůbec otázka, zda to má cenu). Bez spolupráce s herním enginem AI nedokáže zřejmě dosáhnout takových zlepšení. Zejména ale asi chybí ta temporální rekonstrukce, která je asi hlavním trumfem DLSS 2.x. To díky ní dokáže z nízkého interního rozlišení dostat poměrně dobrou kvalitu, ale RTX Video to v takové míře nedokáže.

Na druhou stranu jako každý postprocessing může být RTX Video dvousečnou zbraní, například bylo poukázáno na to, že filtr může trpět typickým „AI“ problémem, který bývá vidět na fotkách z chytrých telefonů – divným nepřirozeným podáním keřů a stromů. Také, zdá se, může vznikat efekt olejomalby vznikající kombinací rozmazání (při odstraňování kompresních artefaktů) a doostřování. Tento jev býval vidět u DLSS 1.0 (výrazné to bylo u implementace v Anthem).

Je zajímavé, že Nvidia v prezentaci této funkce hodně ukazuje přehrávání zachycených videí z her místo nějakého obvyklejšího filmového/seriálového či „live“ obsahu natočeného kamerou nebo animovaného. Právě na takovém obsahu, zdá se, Super Resolution nepřináší velká zlepšení, kdežto na záznamech z her možná vypadá lépe – tomuto druhu obrazu asi více sedí a méně ubližuje onen způsob zaostření hran, který je použitý.

Je však pravda, že dalším vývojem a trénováním by se mohlo o něco zlepšit i podání reálného videa. Upscaling je ale vždy boj s tím, že je třeba zrekonstruovat informaci, která už není k dispozici, takže se nedají čekat dokonalé výsledky.

Zdroje: Nvidia (1, 2)

Nvidia vydala upscaler webového videa RTX Video Super Resolution. Jako DLSS 2.0 ale není
Ohodnoťte tento článek!
5 (100%) 7 hlasů

23 KOMENTÁŘE

  1. Přehrání videa z Netflixu = 20W, přehrání videa vylepšeného o super resolution = 100W spotřeba. A teď si vemte, že na Netflix se nedívá 1 člověk, ale milión lidí. To znamená rozdíl ve spotřebě je 100 x 1 000 000 – 20 x 1 000 000 = 80 000 000 W.
    Životní prostředí tak dostane úplně zbytečně na frak. Přitom by stačilo, by kvalitu vylepšil Netflix na vstupu.

    Za mě jednoznačně za tuto funkci pro NVidii palec dolu!!!

  2. tak kecy některých od stolu co mají Radeonky jsou fakt k smíchu. Nedalo mě to abych si to nakonec v první verzi nevyzkoušel na své 3080 10GB. Závěr – na videích co jsou brutálně zkomprimována už před uploadem na YT to prakticky nepomůže, ta změna je kosmetická, ale obsah co už je slušný aspoň v 480p či fake 1080p to má hodně omlazující vliv. Pochopitelně tam kde je maximálně komprese a kostičkuje to tak ani toto VSR nepomůže, ale na extrémy to ani z principu fungovat nemůže. Tam kde se může jejich algoritmus chytit to funguje hodně viditelně a tam kde dřív místo obličeje byla pomalu jen rozpitá skvrna to najednou vypadá i přijatelně.
    Co se týče spotřeby na zmíněném hw při přehrávání v aktuálním Edge cca 70W spotřeba a taky místo idle na nějakých 650Mhz, na některých videích i skoky kolem 1Ghz, tedy moc to nenutí grafiku zapínat větráky z klidového režimu. Vliv je hodně patrný i ve starších 360-480p videích různých serverů pro dospělé kde to opravdu ta kvalita o stupeň povyskočí. Tak mě nějak napadá na čem že to vlastně to VSR trénovali? :))
    P.S: vliv na naměřené spotřeby recenzí serverů může mít určitě i kombinace hw, k NV vždy lépe sedl Intel procesor – v mé sestavě je 13700K. Každopádně jen mírné navýšení spotřeby i taktů gpu příjemně překvapilo.

    • Je to proste genialni. Vsechny servery, kde to testovali, tak meli asi vlci mlhu, namerili uplne jine spotreby, protoze tady sarumanek si to doma vyzkousel a pecka, jaka tu jeste nebylal..
      Proste kdyz NV, tak jedine s Intelem. to da preci rozum 😀

      • že odpovídá AMD fanatik známý napříč československými servery mě nepřekvapuje. Jednoduše jsem vyzkoušel a taková je realita. S AMD budu testovat až za týden – 3900X s RTX 3060. Každopádně na 13700K s 3080 to má ke 100W+ hodně daleko. Testoval jsem staré klipy jako Scatman John, Ace of Base, Scooter a podobné klipy na hranici použitelné kvality a výsledek byl příjemně pozitivní. Pak klipy z různých „tube“ severů, rozlišení obvykle 480p. Vždy zvýšení kvality za nějakých cca 40-60W navrch vůči idle režimu. Tedy žádných 100W+ a ještě vyšší hausnumera. Prohlížeč Edge. Za mě jako prvotina to rozhodně není špatné.

        • „e odpovídá AMD fanatik známý napříč československými servery mě nepřekvapuje.“
          ..tak mne zase neprekvapuje ze tady pise Invidiot, taky znamy, minimalne tady 🙂 Nejradeji mam presne takove lidi jako jsi ty, kteri si hraji na „neutralni‘ pozorovatele, aby pak mohli nalepkovat podle potreby.
          Ja myslim, ze s AMD by jsi to testovat zasadne nemel..protoze AMD karty NV nesvedci :))
          Kartu NV nemam, takze sam to vyzkouset nemuzu, ale kdyz i Adam z PCT nakonec uznal, ze se to chova jako „priostrovaci filtr“, tak asi na tom neco bude, ktery si muzes zapnout v kazdem druhem prehravaci. Chapu ale, ze to je asi pole neorane pro Tebe.
          Jinak v pohode, tobe se to liibi, super. Pro mne je to vzhledem k te spotrebe smesna funkcionalita..ale to bylo i RT pred 4,5 lety v dobe uvedeni a nekteri z toho tenkrat ucuravali.
          Az to bude brat do 10W max, tak reknu, ze to ma mozna smysl.

          • protože to je pravda, ty a limonádový tydýt jste dvojka známá na všech servrech jako obhájci AMD ať už se děje cokoliv.
            Ještě k té spotřebě – ta vyskočí když se tomu dá 1080p video s 60+fps. Zkusil jsem koncert nahraný v tomto formátu a grafika jela naplno.
            Proto nechápu že to prezentovali hlavně na herních videích která jsou z principu minimálně 60fps. Na klasice PAL/SECAM záznamech z TV v plné kvalitě tedy 24 snímků to žere drobné desítky W jak jsem psal. A na zprasených co byly z TV navíc tvrdě komprimovány do 360p to pochopitelně nepomáhá protože tam je tolik šumu že z toho v reálném čase nezrekonstruuje prakticky nic.

    • Nicmene, abych napsal i neco konstruktivniho.. stejny vysledek, alespon podle screenshotu a videi, ktere jsemprosel, dostatnes v kazdem druhem prehravaci, kde pouzijes filtr na ostreni a trochu si pohrajes se saturaci barev, pokud to chces mit „zivejsi“. Tot funckionalita, ktera jinde nepotrebuje desitky wattu spotreby navic.
      Ale jinak samzorjeme NV a Intel rules!