Nová metodika testování procesorů na EHW (diskuze)

0

Nebudu vám slibovat, že každý váš nápad automaticky do nové metodiky zapracuji. Jelikož nechci zcela změnit filozofii pravidelného testování procesorů na ExtraHardware, výběr testů bude kompromisem mezi výpovídací hodnotou, opakovatelností testování, časovou náročností a možnostmi, jaké v rámci redakce a testlabu mám.

Při pohledu na stávající skladbu testů v typické recenzi procesorů (např. Intel Core i5-3570K proti dalším 35 procesorům) je vidět snaha o změření výkonu v několika základních oblastech. Pokusím se je projít jednu po druhé a navrhnout testy, jež bych rád zařadil:

Video

  • x264 HD Benchmark (místo verze 3.x ale aktuální 5.x)
  • x264 FHD Benchmark
  • Windows Media Encoder 9 – používá jej ještě někdo?
  • VirtualDubMod + DivX – přemýšlím o nahrazení za něco jiného (XMedia Recode nebo co domácí uživatelé dnes k různým převodům pro přehrávače používají)
  • VirtualDubMod + XviD – podobný otazník jako výše

Hudba

  • Lame MP3 Encoder – používá se ještě v dnešní době?
  • Nero AAC Encoder – není asi problém používat nadále
  • FLAC (via Foobar) – potřeboval bych asi nějaké náročnější nastavení a nejlépe také frontend bezproblémově měřící čas úlohy
  • iTunes – nerad bych instaloval do testovacího systému, bojím se také přesnosti/opakovatelnosti

Bitmapová grafika, fotografie

  • Paint.NET bych zachoval, pro novější verzi už ale bohužel nemám možnost benchmarku
  • Zoner Photo Studio 13 x64 bych rovněž zachoval, ačkoli je tu už verze 14, vzhledem k tomu, že na podzim bude asi zase 15, přeskočil bych případně pak až na tuto (pro 14 bych musel shánět licenci)
  • RawTherapee 3.0 nahradím verzí 4.0.x s novým engine, případně navrhněte používanější alternativu (Lightroom kvůli testům CPU ale kupovat nebudu)
  • Autopano Giga 64-bit lze testovat i v demo verzi, povýšil bych z 2.0.6 na aktuální 2.6
  • Autostitch bych mohl nahradit něčím nadále vyvíjeným, třeba Huginem (případně navrhněte)

Rendering

  • Frybench bych zachoval
  • Cinebench 11.5 také
  • Cinebench R10 bych už vynechal
  • POV-Ray 3.7 není problém asi ponechat
  • Blender upgraduji na verzi 2.63
  • hodil by se nějaký benchmark mental ray či V-Ray, produkty Autodesk vinou licenční politiky (aktivace při jakékoli změně HW atd.) pro tento účel nepřipadají bohužel v úvahu
  • SPECviewperf je zřejmě spíše testem grafické karty, resp. ovladačů (kdyžtak mě opravte, pak není problém zařadit)

PCMark

  • Velký otazník visí nad PCMarkem. Líbí se mi, že obsahuje jakžtakž opakovatelné testování současně spouštěných aplikací, u Vantage však hlavně při rychlejších procesorech dělalo velké rozdíly to, „jak se pevný disk zrovna vyspí“. PCMark 7 jsem zkoušel jen v době vydání a nevypadalo to zrovna na spolehlivý a bezproblémový benchmark (resp. sadu benchmarků).

Komprese souborů a šifrování

  • WinRAR povýším na aktuální 4.11
  • 7-zip potom na 9.20
  • WinZIP + AES není špatný test, nicméně při rychlosti CPU s HW AES bude třeba vytvořit větší archiv
  • SiSoft Sandra AES apod. bych opět mohl zařadit, jen v aktuální verzi
  • Everest Zlib a další testy nahradí AIDA64 a modernější verze testů (plus třeba Hash atd.)
  • TrueCrypt aktualizuji na 7.1a

Prvočísla, šachové úlohy, teoretické testy apod.

  • Fritz Chess benchmark je sice omezen osmi vlánky, přesto bych jej zachoval
  • CPU Queen, fraktály apod. bych mohl opět zachovat, jen použít nové verze z poslední AIDA64
  • podobně u klasických testů jako Dhrystone, Whetstone apod. v SiSoft Sandra (povýšit na aktuální verzi)
  • paměťovou propustnost by asi stačilo zkoušet v poslední verzi AIDA64
  • Super PI a wPrime mě nezabije, nejspíše změřím i Prime95 (pro kontext s testem příkonu (spotřeby)), vyhodil bych asi MaxxPI

Webové prohlížeče, HTML, Java, Flash

  • Zde asi váhám ze všeho nejvíc, ať jsem se snažil jak jen to šlo, nepovedlo se mi zachovat konzistenci dat s těmi dříve provedenými. V podstatě jsem nakonec nechal jen pár testů v GUImark a subtesty týkající se webu z PCMarku. Víte-li o nějakém testu, který by nejlépe fungoval i offline (z disku), bylo by to ideální.

Herní výkon

  • 3DMark06 a Vantage CPU test by nahradila stejná část 3DMark 11
  • Call of Duty 4 je pořád asi nejhranější díl a není problém ho testovat
  • Crysis bych asi vyhodil
  • ET:QW vyhodím, i při opakovaném měření vrací dost podivné výsledky
  • Far Cry 2 vyhodím, je v dnešní době limitován grafikou
  • Left 4 Dead vyhodím, je dost pracné pořád zabraňovat Steamu v aktualizacích a případně obnovovat stejnou verzi ze zálohy
  • Trackmania Nations Forever již také příliš neslouží
  • Unreal Tournament 3 už v snad kromě rozlišení 800 × 600 px a nízkých detailech moc rozdílů také nenaměří
  • World in Conflict ponechám, je to dobrý test CPU
  • X3: Terran Conflict je zástupcem jednovláknové a na CPU hodně závislé hry. Rozhoduji se, zda ponechat či vyměnit.
  • X-Plane má demo benchmark, nemám s ním ale delší zkušenosti. Přemýšlím o zařazení
  • World of Tanks je dalším případem jednovláknové a v případě silnější grafiky a většiny map na CPU dost závislé hry. Přestože se chystají někdy za čtvrt až půl roku změny v renderingu hry, nebál bych se, že by engine najednou byl vícevláknový.
  • Dalším nápadům u her jsem otevřen, vyvarujte se prosím obvyklého a cokoli dalšího zazdívajícího flame na téma nízké/vysoké rozlišení v testech CPU.

Stávající měření příkonu procesoru (celá sestava na zásuvkovém wattmetru + izolované měření na EPS12V) asi není třeba příliš měnit, raději bych z vás vytáhnul nějaké nápady na možnosti otestování výkonu CPU při virtualizaci.

 

Před přechodem na novou metodiku dojde zřejmě k výměně zdroje v testovací sestavě, Corsair TX650w nahradí novější a pro zkoušení přetaktování náročnějších procesorů zřejmě ještě o něco vhodnější Enermax Modu87+ 850W. GeForce GTX 280, jež přežila už dvě metodiky, se pokusím nahradit za GeForce GTX 680. Karta od Gigabyte by již měla být na cestě.

S Kingstonem jsem se domluvil na dodání dostatečně rychlých paměťových modulů, abych mohl testovat i schopnost procesorů při přetaktování pracovat s vysokými frekvencemi RAM. S tím je také spjata ta změna, že zatímco v současnosti jsem víceméně sjednoceně procesory měřil s DDR3 nastavenými na 1333 MHz efektivně při časování 8-8-8-24-1T. Vyšla sice RC verze Windows 8, jelikož ale tuším, že se bude jednat (alespoň na desktopu) o ještě méně populární systém než Windows Vista, zůstal bych u 7 Ultimate x64. Core parking bych neřešil, myslím, že pro většinu uživatelů bude asi užitečnější informace o výkonu procesoru bez nějakých nastavení (jež udělá naprostá minorita).

O nové metodice můžete diskutovat jak pod tímto článkem, tak už v minule započatém tématu v diskuzním fóru.