GPU Nvidia budou vylepšovat rozmazané online video. Díky funkci RTX Video Super Resolution

17
Nvidia RTX Video Super Resolution 1600
Nvidia RTX Video Super Resolution
-
Zdroj: Nvidia

Napadlo vás už také, že herní upscaling jako Nvidia DLSS by mohl být užitečný i u videa? Teď se pod označením RTX Video Super Resolution bude dát použít v prohlížečích. Budete to moci zkusit jako náplast na rány, jež obrazové kvalitě zasazují různé jautuby…

Také Nvidia během CES 2023 oznámila zlepšovák v softwaru obsluhujícím grafické karty GeForce. Zatímco u AMD jsme dnes psali o SmartShift RSR, Nvidia oznámila funkci nazvanou RTX Video Super Resolution. Ta se, jak je z názvu patrné, týká videoobsahu a jde o filtr provádějící postprocessing nekvalitního online videa, aby se na něj dalo lépe koukat (nebo aby alespoň bylo méně rozmazané). Jako u Nvidia Broadcast je patrně použitá neuronová síť.

Zatím Nvidia k této novince příliš nesdělila, ale ukázala krátké demo, ukazující údajně výsledek filtru RTX Video Super Resolution, kdy je poměrně nekvalitní video z počítačové hry upscalováno tímto filtrem až do rozlišení 4K. Je možné, že filtr a jím použitá AI je vedlejším produktem vývoje herního upscalingu DLSS (který by asi proto mohl být zrovna na herní grafiku dobře vytrénován). Filtr by ale měl fungovat na jakékoliv video. Ale pro to, jaký vliv má na reálné filmové scény a videozáznamy nebo animovaný obsah, zatím ukázka není.

Tato funkce bude dostupná v prohlížečích, a bude tedy sloužit při přehrávání online videa. Nvidia uvádí, že použít půjde v prohlížečích Chrome od Googlu a Microsoft Edge. Toto může být ale jen první fáze, je možné, že později přijde integrace i do dalších aplikací.

Protože použitá AI běží na tensorových jádrech GPU, musíte mít kartu GeForce RTX. Zprvu mají být ale podporované jen karty generace 3000 a 4000. Nicméně GeForce RTX generace 2000 mají dostat podporu později.

RTX Video Super Resolution by mělo kombinovat samotný upscaling s post-processingem „čistícím“ video, takže se nezvětší různé artefakty a například hrany objektů jsou vyhlazené a zostřené. Toto pochopitelně může mít jako každý postprocessing i vedlejší účinky, kdy se při čištění odstraní legitimní detail nebo AI vytvoří nové artefakty.

Je pravděpodobné, že podobně jako u DLSS 2.x je používáno temporální vyhlazení a rekonstrukce detailů z více po sobě jdoucích snímků (ovšem pro hledání pohybových vektorů musí být použitá technologie optical flow a/nebo pohybové vektory z videa). Toto ostatně je postup, který byl u Super Resolution algoritmů ve videosféře zkoumán už dřív, před aplikací ve hrách. Každopádně rozšíření upscalovací funkce DLSS na videoobsah je logický krok.

Zatím není jasné, zda třeba RTX Video Super Resolution bude aplikovat i efekt používaný v DLSS 3, tedy dopočítání snímků navíc pomocí interpolace ze sousedních originálních snímků. U televizorů je tento druh filtru používán prakticky všudypřítomně, takže by se dal očekávat i zde. Ale to DLSS 3 podle Nvidie vyžaduje GeForce RTX 4000, kdežto nyní oznámený filtr má běžet i na RTX 3000 a později RTX 2000, takže interpolaci zatím asi spíš nepoužívá.

Více se o této technologii či funkci dozvíme příští měsíc, kdy má být vydána ona podpora v prohlížečích Edge a Chrome – zřejmě v rámci aktualizací těchto prohlížečů. Zatím nevíme, zda bude funkce implementovaná přímo v nich (takže nové verze budou vázané na jejich vydání), nebo Nvidia bude upscaling dělat nějak za jejich zády podobně, jako se RTX Voice a filtry Nvidia Broadcast umí vsunout do audio/video pipeline, aniž je musí aplikace pracující s webkamerou přímo podporovat. V tomto případě by ale místo toho asi mohlo jít o přímou kooperaci s prohlížečem.

Zdroj: Nvidia (1, 2)

GPU Nvidia budou vylepšovat rozmazané online video. Díky funkci RTX Video Super Resolution
Ohodnoťte tento článek!
5 (100%) 7 hlasů

17 KOMENTÁŘE

  1. Nejprve je video třeba pořádně zkomprimovat a ztratit půlku informace, aby se pak mohl použít výkon grafiky na domyšlení té ztracené informace, svět se fakt zbláznil.
    DLSS3 ve videu? To budou i herci procházet stěnama? 😀

    • Keď to má podporovať aj 3000/2000 séria, tak to bude sto-péro DLSS 2 ako píše Ján. DLSS 3 vie len 4vá rada, to by na starších nešlo.

      Inak soft na dopočítavanie frejmov vo filmoch už je a aj to fajne funguje, len to potom vyzerá ako soap opera 😀 Napr. SVP – SmoothVideo Project to vie, keď tak vyskúšaj, je to haluz …

      • No, je to spíš úvaha. Teoreticky by tam mohli dodělat interpolaci snímků také i bez GPU Ada. Ty akcelerátory pro Optical Flow, které DLSS 3 vyžaduje, nejsou v RTX 4000 úplně nová věc, jenom ta GPU mají vylepšenou/aktualizovanou verzi. v RTX 3000 a myslím i ve RTX 2000 byly nějaké starší verze toho akcelerátoru.

        Takže by se teoreticky mohlo stát, že pro DLSS 3 je sice Nvidie neuznává za vhodné, ale interpolaci snímků videa by ještě zvládly. Ono je teoreticky možné třeba i to, že když na tom chvilku budou dělat, tak ještě zprovozní i DLSS 3 na GeForce RTX 3000. Nespoléhal bych se na to a nečekám, že se to stane, ale není úplně vyloučené.

    • Proč by se zbláznil? Dává to perfektní smysl, co myslíš že je vůbec komprese? To je jako by řekl: „Svět se zbláznil, to jako budeme video napřed komprimovat, pak ho pošleme a budeme ho muset zase dekomprimovat?“. Jakékoliv ušetření přenosové kapacity sítě je velmi žádoucí. Tohle je dobrý nápad, jenom nVidia to zase posrala.

  2. To ukázkové video mi přijde trochu zavádějící. Je vidět, že video nebylo postiženou žádnou kompresí, na to je obraz až moc konzistentní. Spíše to vypadá na vyrenderování obrazu v nízkém rozlišení, bylo to nahráno ve vysoké kvalitě a pak to upscalnuli. Pochybuji že s komprimovaným videem přehrávaným na yt to udělá nějaké zázraky, navíc kolikrát je při spotrovních videích na youtube problém spíše trhavost obrazu, než rozlišení. Dobrý nápad, ale v marketingu zase úplně nereálný scénář 🙂

  3. Tak mne po shlednuti videa napadlo..
    – jak se to bude chovat s ‚realnym filmem‘ a ne zaznamem hry
    – jak to bude reagovat treba na depth of field, kdy kamera je zamerne rozostrena mimo fokus na urcitou vec