Hlavní navigace

Nové využití GeForce RTX: Nvidia má aplikaci RTX Voice k odhlučnění videokonferencí

19. 4. 2020

Sdílet

Koronavirus a kvůli němu probíhající karantény učinil z telekonferencí a dálkové komunikace přes internet strategicky důležitou technologii. Pro ty, kdo teď videokonference potřebují k práci a dalším věcem, Nvidia zpřístupnila software, který by v některých situacích mohl pomoct. Její aplikace RTX Voice je filtr zvuku akcelerovaný na GPU, kterým se dá z vstupu i výstupu zvuku odstranit šum a hluk na pozadí. Použití RTX Voice by tedy mohlo pomoci například, pokud nenajdete pro telekonferencování klidné místo a hluk na pozadí by jinak byl pro účastníky rušivý.  

„AI“ potlačení šumu pro hlasovou komunikaci běžící na tensor jádrech

Nvidia uvádí, že na aplikaci RTX Voice už nějakou chvíli pracuje, nyní ale vzhledem k aktuální potřebě zveřejnila její vývojovou verzi. Nejde tedy zatím o hotový software, momentálně je označený jako Beta. Můžete ho ale stahovat, instalovat a zkoušet (a to zadarmo, podle všeho). Stáhnout se beta verze dá odsuď. Potřebujete k ní ještě ovladač 410.18 a Windows 10.

RTX Voice implementuje filtr který odstraňuje šum ze zvuku, přičemž by měl být založený na neuronové síti, nejspíš natrénované na korpusu nahrávek hlasů tak, aby propustil frekvence lidského hlasu a potlačil zbytek. Nemusí to samozřejmě být úplně dokonalé, ale při hlasové komunikaci se tolik nehledí na věrnost, jako na srozumitelnost, takže když se omezí či vymaže rušení na pozadí, může i poněkud zdeformovaný hlas být mnohem lepší pro porozumění. RTX Voice dovoluje tento filtr použít jak pro zvuk snímaný z mikrofonu, který posíláte ostatním, tak jako postprocessing pro zvuk od ostatních, který přes komunikační software přijímáte. Nvidia doporučuje potlačení hluku používat hlavně pro vlastní mikrofon (pokud máte s okolním hlukem problém) a aplikaci na reprodukovaný zvuk zapnout jen podle potřeby.

Aplikace zřejmě používá tensor jádra v grafikách Nvidia, takže pro její provoz potřebujete mít kartu GeForce RTX 2000 (GTX 1600 nestačí) nebo Quadro RTX. Funguje jako plugin, který dokáže fungovat s existujícími softwary. To je dosaženo tak, že do systému nainstaluje vlastní virtuální zvuková zařízení, která zpracovávají běžný zvuk z mikrofonu (a/nebo zvuk určený pro reprodukci), aplikují na něj svoje filtrování, a výsledek pak zpřístupňují přes své vlastní virtuální zvukové zařízení, které se v systému ukazuje jako „Nvidia RTX Voice“.

Nvidia RTX Voice virtualni zvukove zarizeni Nvidia RTX Voice: virtuální zvukové zařízení v systému

Integraci do videokonferenčního nebo jiného softwaru pracujícího s hlasem uděláte jednoduše tak, že v něm změníte používané zvukové zařízení z toho výchozího na virtuální zařízení Nvidia RTX Voice, které aplikace od Nvidie nainstalovala. Návod má Nvidia zde.

Nvidia RTX Voice ve Skype Nvidia RTX Voice ve Skype: stačí změnit zvuková zařízení na Nvidia RTX Voice

Podle Nvidie funguje RTX Voice se streamovacími aplikacemi jako OBS Studio, XSplit Broadaster a XSplit Gamecaster, Twitch Studio, Discord (takže je vidět, že mimo pracovní telekonference se Nvidia zaměřila také na hráče exhibující na internetu, což ale asi nepřekvapuje). Z komunikačních možností pak jmenuje Google Chrome a nástroje Cisco WebEx, Skype, Zoom a Slack. Ovšem u těchto údajně může být problém při nastavení RTX Voice jako zařízení pro výstup (tedy při filtrování zvuku od ostatních). Je možné, že je to proto, že mají vlastní filtrování. Nvidia zmiňuje, že když se RTX Voice zkombinuje s dalším takovým filtrem, může už řeč být zfiltrována tak silně, že mizí některé slabiky. Je tedy doporučeno případně vypnout zabudované potlačování hluku, které na váš mikrofonní vstup už komunikační software defaultně aplikuje.

Nvidia RTX Voice aplikace Aplikace oficiálně podporované s Nvidia RTX Voice

Nvidia uvádí, že pomocí těchto virtuálních zařízení je možné software využít i pro offline odhlučňování i jiných zvukových (respektive asi hlavně hlasových) záznamů. Stačí audio přehrát v nějaké aplikaci a nahrát poté, co projde oním virtuálním zařízením RTX Voice.

Galerie: použití Nvidia RTX Voice ve streamovacích aplikacích a komunikaci

Aplikace je jak již bylo řečeno ve vývoji a Nvidia vyzývá uživatele, aby hlásili chyby a případně poskytli zpětnou vazbu. Ta spočívá v tom, že nahrajete 15 sekund svého mluvení a pak také vzorek hluku/šumu z okolí a poskytnete je Nvidii (tyto vzorky jsou pak asi přidávány do korpusu trénovacího materiálu). Odkazy na toto najdete na fóru Nvidie, kde se teď aplikace dá stáhnout.

Je podle vás GPU akcelerace filtru pro potlačení zvuku důležitá vlastnost?

Zdroj: Nvidia

Byl pro vás článek přínosný?