Odemykání GPU je zpět. Mod obnovuje uměle omezený výkon karet GeForce, až 2× víc TFLOPS v AI

Kdysi se u herních grafických karet daly odemknout vypnuté bloky čipu a získat tím o dost víc výkonu. Už je to dlouho minulost, byť se jednu dobu podobné možnosti objevily u Radeonů s čipy Hawai, Fiji a Polaris. Teď byl objeven způsob, jak odemknout lepší výkon na grafikách GeForce. Nicméně to nemusí být ten typ výkonu, který by si přáli hráči. Ukázalo se totiž, že na nich Nvidia uměle brzdí výkon v akceleraci AI – a jak ho odbrzdit.

Odemknutí plných TFLOPS u grafik GeForce: Až 2× vyšší výkon akcelerace AI

Není to zřejmě obecně známé, ale Nvidia u grafických karet GeForce uměle omezuje výkon v některých výpočetních aplikacích, respektive aplikacích využívajících akceleraci AI na jejich tensor jádrech. Jde pravděpodobně o záměrnou tzv. segmentaci, kdy herní grafické karty mají různá umělá omezení, aby například firemní zákazníci nebo serveroví uživatelé nemohli kupovat levnější herní karty GeForce, ale museli sáhnout pro dražších profesionálních produktech pro servery či pracovní stanice, jako jsou například karty RTX Pro (dříve Tesla a Quadro).

Ty často obsahují úplně stejné GPU a toliko jsou v nich povolené ty funkce navíc, které jsou v grafikách GeForce zablokované. V tomto případě jde o to, že GPU řady RTX Pro poskytuje plný AI výkon na tensor jádrech, ale na grafické kartě GeForce s podobnou konfigurací dostanete výrazně méně, protože řídící jednotka či firmware GPU výkon uměle omezuje.

Moddeři za projektem nazvaným GPU unlock teď přišli s nástrojem, který uměle omezený výkon odemyká. Jde zřejmě o podobný postup, jaký se před časem používal na odemykání umělých omezení výkonu v době „těžby“ kryptoměn na GPU. Postup by měl být čistě softwarový a nevyžaduje zásah do BIOSu karty (který je podepsaný a nelze jej snadno modifikovat), místo toho při startu operačního systému přímo upraví konfigurační registry GPU ještě předtím, než spustí samotný ovladač od Nvidie. Úprava tak funguje jen do restartu, takže kdyby náhodou něco pokazila, hardware tím není trvale „bricknutý“. Pro použití potřebujete běžet na operačním systému Linux, jelikož k úpravě konfiguračních registrů se používá jaderný modul pro Linux.

Tento „hack“ vznikl nejprve pro grafické karty GeForce RTX 3000 (generace / architektura Ampere), později byl rozšířen i na generaci GeForce RTX 4000 (Ada Lovelace) a nyní by už měl mít podporu i pro grafiky GeForce RTX 2000 (Turing). Pro GeForce RTX 5000 zdá se zatím není.

Efekt tohoto hacku je, že dovolí čipu GPU odesílat ke zpracování instrukce pro tensor jádra dvojnásobnou rychlostí za jeden cyklus. Či přesněji deaktivuje omezení, kterým Nvidia v GPU omezovala posílání těchto instrukcí ke zpracování na polovinu. Ovlivněné jsou tím vybrané operace pracující s hodnotami FP16, Bfloat16 a akumulující do FP32 hodnot a operace s datovým typem TF32. Nárůst výkonu může být až dvojnásobný, ale v některých případech se v benchmarcích mohou „TFLOPS“ zvýšit méně, to asi bude tehdy, kdy GPU narazí na jiná omezení, jako je propustnost paměti nebo limit spotřeby. Například u GeForce RTX 4090 stoupl výkon v FP16/Bfloat16 z cca 165 na 330 TFLOPS. Na GeForce RTX 3090 Ti byl naměřen nárůst výkonu o 35–94 %.

Toto navýšení výkonu neplatí zřejmě pro všechny operace na tensor jádrech, ale patrně jen na vybrané výše zmíněné. To znamená, že v pomyslných specifikacích GPU se nezvýší udávané TOPS a TFLOPS charakterizující jejich AI výkon; dochází k tomu, že v některých vybraných operacích dosud u herních karet výkon v praxi padal níže, než jaký by teoreticky měl být, a hack ho obnoví na „správnou úroveň“.

Pomůže to ve hrách? Zdá se, že ne

Možná jste se teď zaradovali, že tento nárůst AI výkonu by mohl výrazně pomoci při běhu upscalingu a případně generování snímků DLSS na starších grafikách. Například by díky tomu na starších kartách mohly lépe běžet novější DLSS (verze 4 a 4.5) využívající neuronové sítě typu transformer, s kterými se třeba GPU generace RTX 2000 už poněkud zadýchávají.

Bohužel se zdá, že Nvidia výkon v AI omezovala jen ve výpočetních aplikacích, nebo pouze v oněch vybraných operacích jako byly 16bitové maticové výpočty s 32bitovou akumulací, ale her se to netýkalo. Pro potřeby upscalingu DLSS zřejmě výkon omezen nebyl (nebo nebyly omezovány instrukce, které DLSS potřebovalo). Nvidia zřejmě cíleně zpomalila jen instrukce, které podle ní potřebovali „vážnější zájemci o AI“, ale nechtěla snížit výkon v herních AI funkcích. To ovšem znamená, že tímto odemčením při hraní už nedostanete nic nazpět, není co odemknout.

Zda hacky zůstanou funkční, uvidíme

Je otázka, zda se toto odemykání Nvidia nepokusí zase znefunkčnit v nových verzích ovladačů, případně aktualizacemi BIOSů v nově vyráběných kartách (tam, kde by se odemknutí týkalo GPU, která se stále vyrábějí).

V minulosti v případě těžby kryptoměn podobné způsoby odemykání výkonu bývaly blokovány aktualizacemi ovladačů od Nvidie, která se snažila podobné díry zacelit, nicméně jak jednou existoval ovladač, na kterém výkon nebyl omezen, byl to v praxi game over. V případě aplikací umělé inteligence má asi firma lepší možnosti, ale řadě uživatelů asi ani zde nebude vadit zůstávat na starších ovladačích, pokud by k tomu byly snahou výrobce obnovit zámek na výkon byli nuceni.

Objevily se úvahy, že dostupnost tohoto odemykání by mohla zvýšit poptávku po dotyčných GPU ze strany uživatelů a vývojářů AI, takže může být dále zhoršena dostupnost a ceny už i bazarových grafických karet. Těžko předvídat, do jaké míry se to skutečně může odehrát.

U starších grafik je překážkou obvykle také malá kapacita paměti. Zdá se ale, že v menším měřítku už se dnes recyklují starší karty jako GeForce RTX 2080 Ti (které někteří opraváři modifikují na 22GB paměť místo původní 11GB). Zejména u GeForce RTX 3090 a 4090 s jejich 24GB pamětí asi skutečně mohou bazarové ceny stoupat. Celkově ale nejspíš nepůjde o takové cenové šoky jako u nových grafických karet a nečeká nás nějaké drama, jehož dopadů by bylo třeba se extra bát.

Zdroje: VideoCardz, GPU-Unlock, GPU-Unlock-Ada, Turing Unlock