Nové využití GeForce RTX: Nvidia má aplikaci RTX Voice k odhlučnění videokonferencí

26

Koronavirus a kvůli němu probíhající karantény učinil z telekonferencí a dálkové komunikace přes internet strategicky důležitou technologii. Pro ty, kdo teď videokonference potřebují k práci a dalším věcem, Nvidia zpřístupnila software, který by v některých situacích mohl pomoct. Její aplikace RTX Voice je filtr zvuku akcelerovaný na GPU, kterým se dá z vstupu i výstupu zvuku odstranit šum a hluk na pozadí. Použití RTX Voice by tedy mohlo pomoci například, pokud nenajdete pro telekonferencování klidné místo a hluk na pozadí by jinak byl pro účastníky rušivý.

 

„AI“ potlačení šumu pro hlasovou komunikaci běžící na tensor jádrech

Nvidia uvádí, že na aplikaci RTX Voice už nějakou chvíli pracuje, nyní ale vzhledem k aktuální potřebě zveřejnila její vývojovou verzi. Nejde tedy zatím o hotový software, momentálně je označený jako Beta. Můžete ho ale stahovat, instalovat a zkoušet (a to zadarmo, podle všeho). Stáhnout se beta verze dá odsuď. Potřebujete k ní ještě ovladač 410.18 a Windows 10.

RTX Voice implementuje filtr který odstraňuje šum ze zvuku, přičemž by měl být založený na neuronové síti, nejspíš natrénované na korpusu nahrávek hlasů tak, aby propustil frekvence lidského hlasu a potlačil zbytek. Nemusí to samozřejmě být úplně dokonalé, ale při hlasové komunikaci se tolik nehledí na věrnost, jako na srozumitelnost, takže když se omezí či vymaže rušení na pozadí, může i poněkud zdeformovaný hlas být mnohem lepší pro porozumění. RTX Voice dovoluje tento filtr použít jak pro zvuk snímaný z mikrofonu, který posíláte ostatním, tak jako postprocessing pro zvuk od ostatních, který přes komunikační software přijímáte. Nvidia doporučuje potlačení hluku používat hlavně pro vlastní mikrofon (pokud máte s okolním hlukem problém) a aplikaci na reprodukovaný zvuk zapnout jen podle potřeby.

Aplikace zřejmě používá tensor jádra v grafikách Nvidia, takže pro její provoz potřebujete mít kartu GeForce RTX 2000 (GTX 1600 nestačí) nebo Quadro RTX. Funguje jako plugin, který dokáže fungovat s existujícími softwary. To je dosaženo tak, že do systému nainstaluje vlastní virtuální zvuková zařízení, která zpracovávají běžný zvuk z mikrofonu (a/nebo zvuk určený pro reprodukci), aplikují na něj svoje filtrování, a výsledek pak zpřístupňují přes své vlastní virtuální zvukové zařízení, které se v systému ukazuje jako „Nvidia RTX Voice“.

Nvidia RTX Voice virtualni zvukove zarizeni
Nvidia RTX Voice: virtuální zvukové zařízení v systému

Integraci do videokonferenčního nebo jiného softwaru pracujícího s hlasem uděláte jednoduše tak, že v něm změníte používané zvukové zařízení z toho výchozího na virtuální zařízení Nvidia RTX Voice, které aplikace od Nvidie nainstalovala. Návod má Nvidia zde.

Nvidia RTX Voice ve Skype
Nvidia RTX Voice ve Skype: stačí změnit zvuková zařízení na Nvidia RTX Voice

Podle Nvidie funguje RTX Voice se streamovacími aplikacemi jako OBS Studio, XSplit Broadaster a XSplit Gamecaster, Twitch Studio, Discord (takže je vidět, že mimo pracovní telekonference se Nvidia zaměřila také na hráče exhibující na internetu, což ale asi nepřekvapuje). Z komunikačních možností pak jmenuje Google Chrome a nástroje Cisco WebEx, Skype, Zoom a Slack. Ovšem u těchto údajně může být problém při nastavení RTX Voice jako zařízení pro výstup (tedy při filtrování zvuku od ostatních). Je možné, že je to proto, že mají vlastní filtrování. Nvidia zmiňuje, že když se RTX Voice zkombinuje s dalším takovým filtrem, může už řeč být zfiltrována tak silně, že mizí některé slabiky. Je tedy doporučeno případně vypnout zabudované potlačování hluku, které na váš mikrofonní vstup už komunikační software defaultně aplikuje.

Nvidia RTX Voice aplikace
Aplikace oficiálně podporované s Nvidia RTX Voice

Nvidia uvádí, že pomocí těchto virtuálních zařízení je možné software využít i pro offline odhlučňování i jiných zvukových (respektive asi hlavně hlasových) záznamů. Stačí audio přehrát v nějaké aplikaci a nahrát poté, co projde oním virtuálním zařízením RTX Voice.

Galerie: použití Nvidia RTX Voice ve streamovacích aplikacích a komunikaci

Aplikace je jak již bylo řečeno ve vývoji a Nvidia vyzývá uživatele, aby hlásili chyby a případně poskytli zpětnou vazbu. Ta spočívá v tom, že nahrajete 15 sekund svého mluvení a pak také vzorek hluku/šumu z okolí a poskytnete je Nvidii (tyto vzorky jsou pak asi přidávány do korpusu trénovacího materiálu). Odkazy na toto najdete na fóru Nvidie, kde se teď aplikace dá stáhnout.

Je podle vás GPU akcelerace filtru pro potlačení zvuku důležitá vlastnost?

Zdroj: Nvidia

Nové využití GeForce RTX: Nvidia má aplikaci RTX Voice k odhlučnění videokonferencí
Ohodnoťte tento článek!
4 (80%) 6 hlas/ů

26 KOMENTÁŘE

  1. Moc fandím využití Tensor jader i pro něco jiného než DLSS nebo nějaké vědecké výpočty. Ale to omezení na RTX je celkem kontraproduktivní. Málokdo asi dělá pracovní (video)konference z herního stroje s RTX grafikou. Takže využití to asi najde jen u těch streamerů, pokud vůbec.

      • Je to zdarma a když vezmu pluginy na potlačení šumu zdarma – tedy Windows 10, OBS, Streamlabs OBS apod, tak to potlačení šumu je nepoužitelné. I takový REAPER je k ničemu a to je hodně povedené VST. Zkoušel jsem i Krisp a to mě taky nepřesvědčilo za to platit 5 euro měsíčně. Díky bohu se mikrofon dá nastavit i bez těch antišumových prvků.

      • Takže u NV je to aj zadarmo k ničomu? 🙂 Aj si to vyskúšal, aby si to mohol porovnať a prehlásiť takéto niečo? Podľa toho, čo napísal backpa mi to teda užitočné príde. Čo som čítal na iných fórach, tak to funguje výborne.

        • Akorat to nebude moc na ty „video konference“, jak je uvedeno v nadpise.. Aspon ja bych to tak podle nadpisu chapal, jelikoz tam se video cally pouzivaji nejcasteji.
          Preci jen typicke firemni notebooky nebyvaji vybavene Geforce RTX kartama, jak spravne Tynyt poznamenal. V drtive vetsine maji jen integrak. Nehodnotim ted funkcnost. 🙂
          Jestli je to trochu preslap autora clanku nebo marketeru NV netusim 😉

  2. Zhrnutie najvýznamnejších udalostí IT posledného týždňa:
    1. Obrovitá noha schytala reuma.
    2. Na trhu sa objavuje pančovaná 60% francovka.
    3. nVidia odrovnala AMD dlho očakávanou funkciou voicedenoise.
    4. Intel zrušil AMD procesorom Raketa Lake.
    5. Magor a Trtko reklamujú počítač.