GPU Nvidia budou vylepšovat rozmazané online video. Díky funkci RTX Video Super Resolution

Napadlo vás už také, že herní upscaling jako Nvidia DLSS by mohl být užitečný i u videa? Teď se pod označením RTX Video Super Resolution bude dát použít v prohlížečích. Budete to moci zkusit jako náplast na rány, jež obrazové kvalitě zasazují různé jautuby…

Také Nvidia během CES 2023 oznámila zlepšovák v softwaru obsluhujícím grafické karty GeForce. Zatímco u AMD jsme dnes psali o SmartShift RSR, Nvidia oznámila funkci nazvanou RTX Video Super Resolution. Ta se, jak je z názvu patrné, týká videoobsahu a jde o filtr provádějící postprocessing nekvalitního online videa, aby se na něj dalo lépe koukat (nebo aby alespoň bylo méně rozmazané). Jako u Nvidia Broadcast je patrně použitá neuronová síť.

Zatím Nvidia k této novince příliš nesdělila, ale ukázala krátké demo, ukazující údajně výsledek filtru RTX Video Super Resolution, kdy je poměrně nekvalitní video z počítačové hry upscalováno tímto filtrem až do rozlišení 4K. Je možné, že filtr a jím použitá AI je vedlejším produktem vývoje herního upscalingu DLSS (který by asi proto mohl být zrovna na herní grafiku dobře vytrénován). Filtr by ale měl fungovat na jakékoliv video. Ale pro to, jaký vliv má na reálné filmové scény a videozáznamy nebo animovaný obsah, zatím ukázka není.

Tato funkce bude dostupná v prohlížečích, a bude tedy sloužit při přehrávání online videa. Nvidia uvádí, že použít půjde v prohlížečích Chrome od Googlu a Microsoft Edge. Toto může být ale jen první fáze, je možné, že později přijde integrace i do dalších aplikací.

Protože použitá AI běží na tensorových jádrech GPU, musíte mít kartu GeForce RTX. Zprvu mají být ale podporované jen karty generace 3000 a 4000. Nicméně GeForce RTX generace 2000 mají dostat podporu později.

RTX Video Super Resolution by mělo kombinovat samotný upscaling s post-processingem „čistícím“ video, takže se nezvětší různé artefakty a například hrany objektů jsou vyhlazené a zostřené. Toto pochopitelně může mít jako každý postprocessing i vedlejší účinky, kdy se při čištění odstraní legitimní detail nebo AI vytvoří nové artefakty.

Je pravděpodobné, že podobně jako u DLSS 2.x je používáno temporální vyhlazení a rekonstrukce detailů z více po sobě jdoucích snímků (ovšem pro hledání pohybových vektorů musí být použitá technologie optical flow a/nebo pohybové vektory z videa). Toto ostatně je postup, který byl u Super Resolution algoritmů ve videosféře zkoumán už dřív, před aplikací ve hrách. Každopádně rozšíření upscalovací funkce DLSS na videoobsah je logický krok.

Zatím není jasné, zda třeba RTX Video Super Resolution bude aplikovat i efekt používaný v DLSS 3, tedy dopočítání snímků navíc pomocí interpolace ze sousedních originálních snímků. U televizorů je tento druh filtru používán prakticky všudypřítomně, takže by se dal očekávat i zde. Ale to DLSS 3 podle Nvidie vyžaduje GeForce RTX 4000, kdežto nyní oznámený filtr má běžet i na RTX 3000 a později RTX 2000, takže interpolaci zatím asi spíš nepoužívá.

Více se o této technologii či funkci dozvíme příští měsíc, kdy má být vydána ona podpora v prohlížečích Edge a Chrome – zřejmě v rámci aktualizací těchto prohlížečů. Zatím nevíme, zda bude funkce implementovaná přímo v nich (takže nové verze budou vázané na jejich vydání), nebo Nvidia bude upscaling dělat nějak za jejich zády podobně, jako se RTX Voice a filtry Nvidia Broadcast umí vsunout do audio/video pipeline, aniž je musí aplikace pracující s webkamerou přímo podporovat. V tomto případě by ale místo toho asi mohlo jít o přímou kooperaci s prohlížečem.

Zdroj: Nvidia (1, 2)