Čas nemilosrdně pádí – už je to sedm let od doby, kdy skupina AOMedia (Alliance for Open Media) dokončila video kodek či přesněji řečeno kompresní formát AV1. Schopnost přehrávat toto video se postupně dostala do grafických karet, procesorů v PC i v mobilech a AV1 používá například i služba YouTube. Teď však nastal čas využít pokrok, který se mezitím v technikách ztrátové komprese videa podařilo udělat: Přichází AV2, přímý následník AV1.
AOMedia (dříve se také používala zkratka AOM) nyní oficiálně oznámila, že její členové chystají vydání nové generace video kodeku označené prostě AV2. Na tomto formátu se už nějakou dobu pracovalo, nyní je tento proces už blízko završení a skupina oznamuje, že formát AV2 a jeho specifikace budou finálně vydány ještě před koncem letošního roku.
Formát AV2 má přinést vyšší (údajně „signifikantně vyšší“) efektivitu komprese ve smyslu lepšího kompresního poměru. Video formáty jsou ztrátové, takže toto znamená, že by mělo být možné dosáhnout obdobné kvality videa při nižším datovém toku, nebo při zachování stejného datového toku kvalitu obrazu zlepšit.
Logo Alliance for Open Media
Zlepšení pro AR, VR a nahrávání obrazovky
Kromě obecného zlepšení komprese jsou jako novinky AV2 zmiňovány technologie zaměřené na kompresi videa pro aplikace virtuální a rozšířené reality. Pod tím by mohly asi být míněny techniky adaptivní komprese zohledňující to, že pravoúhlé snímky videa jsou přes čočky brýlí mapovány na zorné pole komplexním způsobem a ne všechny pixely jsou tak stejně důležité, případně být analogií techniky foveated rendering, kdy by se při streamování snižovala kvalita videa v těch částech zorného pole, do kterých není upřený pohled.
Formát se má také zaměřit na zlepšení videa obsahujícího v jednom rozděleném snímku vedle sebe více „úhlů“ či programů videa najednou a podobné scénáře. AV2 má také přinést techniky, které zlepší kvalitu obrazu a schopnost komprese nikoli přirozeného obrazu, ale obsahu obrazovky počítače například při nahrávání obrazovky PC nebo streamování vzdálené pracovní plochy.
Pro tento účel není klasická video komprese moc uzpůsobená podobně, jako formáty typu JPEG nefungují dobře pro screenshoty z Wordu nebo webových stránek, zatímco PNG je dokáže zkomprimovat velice dobře i bezeztrátově). Pokud se ale do kompresního formátu přidají speciální nástroje pro tyto druhy obrazu, může se tento deficit eliminovat. Snaha o to byla již v předchozích formátech včetně HEVC (rozšíření SCC neboli Screen Content Coding) a VVC, například pomocí možnosti nepoužívat pro určité bloky vůbec transformaci obrazu do frekvenční domény (například DCT), která je jinak základem komprese přirozeného obrazu.
Opět zadarmo
Zejména pro zájemce o open source software bude důležité, že formát AV2 je opět vyvinut s cílem, aby jeho používání bylo možné zadarmo, tedy bez licenčních poplatků. Neznamená to, že není zatížený patenty. Tvůrci formátu ale za svoje patenty nebudou od implementátorů podpory formátu AV2 v zařízeních a softwaru vyžadovat tantiémy.
Další stupeň ve zlepšování kvality videa?
Formát AV1 měl ambici být nejen náhradou formátu HEVC standardizovaného konsorcii MPEG a ITU, která by byla implementátorům dostupná zadarmo, ale i být technologicky pokročilejší. Formát je komplikovanější a teoreticky by měl mít lepší kompresní potenciál, ale asi nelze říct, že by byl striktně lepší ve všem. Pro příklad: v AV1 zůstala nevyřešená komprese scén se stmíváním a rozsvěcováním obrazu (nebo změnami barevného tónu vlivem osvětlení). Formátu chybí vážená predikce (weighted prediction) využívaná ve formátech H.264 a HEVC, nebo jiná alternativa. To způsobuje, že takové záběry mohou mít značně zhoršenou kvalitu (výrazné kompresní artefakty v těchto sekvencích snímků). Výsledná kvalita videa vždy hodně závisí nejen na použitém formátu, ale i na tom, zda jeho nástroje enkódovací software (nebo hardware) dokáže využít, zejména dost na psychovizuálních optimalizacích.
Formát AV1
Lepší formát vysoce kvalitní obsah?
AOMedia mluví o tom, že AV2 má také mít schopnost pracovat ve větším rozsahu vizuální kvality. To je zajímavá poznámka. Nejspíš odráží to, že AV1 má na jednu stranu zlepšenou schopnost vypadat dobře s nízkými datovými toky typickými pro video obsah na internetu, kdy je často velká nouze o bity a formát se snaží s málem vyjít tak, aby obraz byl co nejslušnější, ale vždy je to o kompromisech a něco se ztrácí.
Formát, který je v tomto efektivní, ale může mít na druhou stranu problém v situaci, kdy máte datového toku dost a chcete mít co nejlepší kvalitu. Pak může nastávat to, že sice přidáváte bitrate, ale stále se nemůžete zbavit kompresních artefaktů, rozmazávání a ztráty detailů (například se ztrácí jemná „textura“ v jednolitých plochách a místo ní máte problémy s tzv. bandingem).
Zmínka o schopnosti pokrýt zvládat spektrum kvality by mohla mluvit právě o tomto problému (a připouštět, že v něm má AV1 rezervy). A snad tedy můžeme očekávat zlepšení formátu v těchto situacích, aby při vysokých datových tocích dokázal poskytnout co nejvyšší kvalitu obrazu a co nejméně ztrácel detaily a původní vzhled, například i včetně jemného šumu nebo zrna ve filmu.
Obecně se asi dá říct, že formát AV1 může být někde mezi HEVC a jeho nástupcem VVC, pokud enkodér funguje ideálně (a možná s tou výhradou týkající se kvality při vysokých datových tocích). Formát AV2 by měl mířit zase na lepší schopnost komprese a zřejmě bude mít ambici VVC kvalitou při daném datovém toku překonat.
S tím asi ale naroste i komplexita a výpočetní náročnost při přehrávání pomocí procesoru. Pomocí CPU budou video ve formátu AV2 muset přehrávat všechny starší i dnešní počítače (či mobilní zařízení) a asi také ještě dost těch budoucích. Bude totiž nejspíš trvat pár let, než se hardwarové dekodéry formátu AV2 začnou objevovat přímo v procesorech a mobilních SoC telefonů. Rozšíření formátu v praxi na internetu kvůli tomu také asi je ještě pár let vzdálená věc. Vyšší komplexita formátu nejspíš bude znamenat, že hardwarové dekodéry na čipech budou vyžadovat více tranzistorů a plochy (takže jejich implementace bude pro výrobce o trochu dražší). Ale to je asi nevyhnutelná cena.
Zdroj: AOMedia
