Shořela datatacentra hostingového obra OVH. Až 3 600 000 www stránek offline nebo „v čoudu“

19

Nevídaný dopad bude mít masivní požár, který zničil v jedno a půl z 27 datacenter společnosti OVH a další vyřadil z provozu. Offline jsou statisíce domén a hodně obsahu možná zmizelo navždy, protože OVH je jeden z největších poskytovatelů hostingu a řada klientů asi nemusí mít pořádné zálohy…

Po nedávné zimní kalamitě v Texasu, která kromě značného počtu obětí na životech také postihla výrobu čipů a nepřímo SSD, se zdá se přihodil další incident, který ukazuje, že svět počítačů a internetu se nemůže odstřihnout od toho materiálního.

Pokud jste někdy přičuchli k provozování webů, už jste možná slyšeli o OVH, což je patrně největší evropský provozovatel hostingu a cloudu. Na jeho službách běží velké množství internetových stránek, blogů a služeb, které teď dostaly zakusit, že virtuální prostor internetu mohou najednou ohrozit události „venku“.

Datacentra OVH totiž zasáhl mimořádně ničivý požár, který zcela zničil tisíce serverů, které teď bude třeba obnovovat ze záloh. Protože byl zasažen komplex rovnou čtyř datacenter, postihne další tisíce serverů, které neshořely, mnohadenní downtime.

OVH SBG2 v Štrasburku prakticky lehlo popelem

Katastrofa, která naštěstí má jen materiální a finanční dopad (nikdo údajně nebyl zraněn), postihla komplex datacenter ve Štrasburku. Ten se sestává z budov SBG1, SBG2, SBG3 a SBG4. Před půlnocí na středu 10. 3. vypukl požár v budově SBG2. Ten byl zřejmě hodně prudký, protože ač údajně hasiči na místě zasahovali velmi rychle, nepodařilo se ho dostat pod kontrolu a vypadá to, že v podstatě celá budova byla kompletně zničená. Požár pak zničil i část datacentra SBG1 a SBG3 bylo v ohrožení.

Požár datacentra OVH v Štrasburku Zdroj: Xavier Garreau

SBG2 je zcela na odpis a žádný hardware nebo data uvnitř asi nepřežily. Po požáru bylo zjištěno, že servery v ohroženém SBG3 by také měly být v pořádku, ovšem v SBG1 byly zničené čtyři sály (osm jich prý přežilo a snad i centrála). Ovšem ani nepoškozené části se nemohly vrátit do provozu, protože kvůli nebezpečnému stavu areálu do nich nemohl personál vstoupit a společná infrastruktura jako energie asi bude potřebovat nějaké opravy.

Požár datacentra OVH v Štrasburku Zdroj: Xavier Garreau

Uvedení komplexu do provozu bude zřejmě trvat nějakou dobu, původně šéf OVH uváděl, že na nejbližší jeden až dva se nechystá nahození serverů, budou se teprve rekonstruovat rozvody elektřiny. Podle novějších informací by ale snad mohla být datacentra SBG1 a SBG4 nahozena v pondělí 15. 3. a SBG3 do pátku (19. 3.).

Požár datacentra OVH v Štrasburku Zdroj: Jean-Christophe D

Bezprecedentní rozsah škod?

Co přesně požár způsobilo, je asi zatím ve fázi vyšetřování. Objevily se informace, že v den požáru měly být měněny potenciálně vadné elektrické kabely, takže je možné, že mohlo dojít k nehodě při těchto pracích nebo v souvislosti s nimi.

Štrasburská datacentra byla budována jako poměrně nízkonákladová sestavováním z lodních kontejnerů, takže je možné, že k rychlosti šíření ohně přispěla nevhodná konstrukce nebo materiály. Kompromisy také možné vedly k tomu, že protipožární ochrana (podle toho, jaká přesně byla ve výbavě v SBG2) nebyla dostatečná. Aby bylo v důsledku elektrického selhání nebo podobné roznětky velké datacentrum kompletně zničeno, není obvyklé, rozsah škod v kyberprostoru zde asi bude větší, než na co je svět zvyklý.

Datacentrum SBG2 pře požárem Zdroj: OVH

Požárem údajně bylo postiženo až 3,6 milionu stránek na 464 000 různých doménách, odmlčelo se prý víc než 18 % všech IP adres, které OVH (které celkově provozuje 27 datacenter v Evropě a po světě) obsluhovalo. Ne všechno jsou oběti ohně, které budou potřebovat obnovení ze zálohy (a pokud byla zanedbána, mohou být data/weby ztracené). V tomto počtu jsou asi zahrnuté i nepoškozené servery, které jen čekají na znovuspuštění v přeživších částech štrasburského komplexu.

Narazili jste na výpadky či zánik webů či služeb hostovaných v vyhořelém datacentru OVH?

Po incidentu se kvůli tomu, že byly hostované u OVH, odmlčely některé webmailové služby, zpravodajské servery, eshopy, ale i vládní weby a stránky bank v některých zemích. Obětí asi bude pestrá skladba, od serverů online her přes malé blogy až po servery ovládnuté kyberzločinci.

Galerie: Požár datacentra OVH v Štrasburku

Zdroje: OVH, Netcraft News, SDIS du Bas-Rhin, Xavier Garreau, The Register

Shořela datatacentra hostingového obra OVH. Až 3 600 000 www stránek offline nebo „v čoudu“
Ohodnoťte tento článek!
5 (100%) 15 hlasů

19 KOMENTÁŘE

  1. To je tak, když se outsourcuje až na dřeň. Kdyby si postižené firmy, když už musí mít cloud, ponechaly kontrolu alespoň nad offsite zálohováním a měly hot-standby site, tak se nějakými ohníčky zabývat vůbec nemusíme. Jenže ono to tak jednoduché vůbec není – zálohování stovek TB (dost možná i PB) OBECNÝCH a živých dat někam jinam (fyzicky) většinou značí nutnost používat sofistikované zálohovací řešení, které je drahé.
    A protože cílem outsourcingu je typicky ušetřit na IT, tak v oněch firmách už není nikdo, kdo by vůbec věděl, jak to celé doopravdy funguje (teda prakticky vzato něco technicky víc, než nicneříkající powerpointové schéma) – zůstalo pouze pár managerů, kteří teď žhaví dráty a vyvolávají po svých dodavatelích a hledají „plán“ jak z této šajzekatze situace vybruslit.

    Viděl jsem už několik větších (tj. minimálně tisíce zaměstnanců) firem „zevnitř“ a jejich IT se podobá vyfouknutému vajíčku – pod krásnou slupkou je „nic“ a na projektech se potkávají stále titíž lidé z různých subdodavatelských firem. Jak pak takové „řešení“ vypadá a funguje, když je navrženo někým zvenčí, snad asi ani nemá smysl popisovat. Na druhou stranu, už docela perfektně rozumím indické angličtině a mentalitě. 😁

    • To zlo není outsourcing který také moc nemusím. Tím opravdovým zlem nenažranost a touha po penězích která vede některá lidi co rozhodují právě k podcenění business continuity. Argumentují jenom tím, že to mají outsourcované ale to že nemají v SLA záložní server nebo disaster recovery to už neříkají. Hlavně že jsou za hvězdy v tom jak ušetřili.

      Páni manažeři pak po tom co jejich outsourcované servery shořely budou ječet jak je vypekl poskytovatel. Otázka je jak rozhodnou následné soudy které se budou řídit SLAčky.

      • Jenže to je právě to: SLA snese všechno. A když už by náhodou ne, tak znám spoustu technik, jakými se zodpovědní manažeři dokážou ze svého SLA vylhat a v podstatě udělat z OLA a navázaného UC jen cár papíru.
        Souhlasím ale, že na počátku byla idea čistě finančního rázu – ušetřit na IT. Problémem je to, že firma za UC nemá zájem poskytovat super kvalitní služby, protože to jednak ohrožuje její příjmy přímo (pokud jsou smlouvy postavené na platbách za case), nebo nepřímo („hele, Pepo, kolego manažere, tady ten systém funguje úplně sám, tak proč platíme tady toho drahého supportéra, který nic nedělá? Nenahradíme ho nějakým levnějším?“ – ano takto dnes funguje kindermanagement)

        P.S.: ačkoli se to mylně používá, SLA je vnitrofiremní záležitost (typicky mezi IT a businessem), pro vztahy s externími dodavateli se používá UC. 😉

        • Ano tohle je i o serióznosti dodavatele. Ale jsme zase u nenažranosti. Manažer si objedná cloudové služby u někoho kdo prodává „hrnce důchodcům“ (chápejte to z pozice přístupu k zákazníkovi). Zase bude za hrdinu kolik ušetřil ale po shoření serverů to bude jeho odpovědnost, že nakupoval u „prodejce hrnců“.

          • no… jak to říct. Setkal jsem se s tím i u top outsourcingových kumpanií, jejichž světoznámá jména tady rozhodně vypisovat nebudu. To bohužel není o kvalitě, nebo dokonce serioznosti, ale o bezbřehém tlaku na cenu a naprostém nezájmu o vlastní službu. Leckdy je to tak, že to celé bleší divadlo zaštiťuje v celém globálním regionu jeden jediný člověk, který jen opravuje co dopatlali indiáni support tieru 1 až 3, a který JEDINÝ zvládá přečíst celý mailový thread, správně jej vyhodnotit a ještě najít chybu/řešení.

            Ale jinak si rozumíme – servery hoří jen jednou za několik let, ale úspory za mzdy se počítají každý měsíc.

            • Takové zkušenosti nemám. Jednu nejmenovanou věhlasnou společnost jsme používali a podotýkám k plné spokojenosti. To nezpochybňuji, že Vy máte s jinými „věhlasnými“ poskytovateli negativní zkušenosti.

  2. Kedysi sa zacali outsorcovat IT sluzby, neskor sa preniesli cele IT systemy do cloudu a teraz zrazu ani nevedia, kde maju zalohy. Mozno tiez zhoreli. Tak to dopadne, ked je ciel minimalizacia nakladov.

    Videl som ponuku na spravcu pocitacovej siete na vychode Slovenska za 650 eur mesacne v hrubom. V tom cisle naozaj nie je chyba.

    • Neee 650€ ako spravca siete? Ved to najmuz takeho co si pocitac len nakreslil kriedou na zem a povazuje sa za odbornika. Tam musel byt urcite preklep. Alebo potom sprava siete pozostavala tu je pocitac zadaj tam pevnu IP adresu….takuto. A to je vsetko. To by som pochopil . Ale to nie je sprava siete 😀

  3. Low cost datacentrum. To hovoří za vše. Automatické hasicí zařízení zřejmě nula, nic, nichts, nothing. Jen hlásiče požáru, které před smrtí do světa odeslaly poslední zprávu – pošlete hasiče shrabat popel.

      • CO2? No fuj, to nerespektuje ochranu zdraví případných pracovníků pohybujících se v prostoru. CO2 má tu nepříjemnou vlastnost, že to může způsobovat bolesti hlavy, závratě, zmatenost, ve velkých dávkách, ideálně s CO uvolněného z hoření, rovnou i křeče, koma, smrt.
        Když už používat nějaký automatický zhášecí systém, tak Inergen, tedy 52% dusík, 40% argon, 8% CO2. Jo, je to nepoměrně dražší.

        • Nejsem šemík, takže netuším jaká směs v tom je a nikdy jsem po tom nepátral – ale myslím, že poté, co ti v takové serverovně klesne koncentrace kyslíku (z libovolného důvodu/s libovolným složením „vzduchu“), tak tě hlava bude bolet tak jako tak, pokud bys tam zůstal a zkoušel to dýchat. 😁

          • já mám v serverovně Inergen. A slibují, že i když se to tam odpálí, tak je tam pořád dýchatelná atmosféra, byť se sníženým obsahem kyslíku (21->15%), nicméně máš dost času odejít. Samotný plyn ani nepoškozuje zdraví, je netoxický, nekorozivní (CO2 je) atp. A dalším benefitem je, že to neudělá mlhu, takže neznesnadňuje orientaci v již už tak zakouřeném prostoru.

          • Ve svých serverovnách mám (nebo mám objednáno) hasící zařízení s inergenem a dle dodavatele bych měl být schopen po vypuštění inergenu v serverovně bez problémů existovat (samozřejmě nižší obsah kyslíku by znemožnil fyzickou námahu). A servery změnu atmosféry nepoznají. Čistý CO2 by asi tak „šetrné“ nebylo.

            Shodou okolností nám nedávno taky „zahořela“ UPS (exploze kondíku). Ale zařízení to naplnilo inergenem tak rychle, že jsme museli dost dlouho hledat co vlastně hořelo – nic nebylo poznat jak bylo hašení rychlý 😀

            • když to tak čtu, tak jsem docela rád, že jsem zavčasu odhalil pálící se zdroj v serveru. Sice to bylo takové sotva znatelné, ale nejdříve jsem tam poslal kolegu, který necítil nic, pak kolegyni, která hned jak vešla, tak hlásila „pálí se tu elektronika“. Sice byl trošku problém dohledat zdroj smradu, ale podařilo se. Server jsem odstavil (bo pátek, večer, sice by zdroj přivezli do 4h, ale … v pondělí taky den). Vtipné bylo, že při flashování firmware zdroje umřel i ten druhý. Takže se čekalo do úterka 🙂
              Nechtěl bych řešit odpálený inergen. To se tu povedlo jednomu bezpečákovi, co si chtěl v serverovně rozsvítit. Promáčkl sklíčko a intergen odpálil. Akorát vylítali stropnice 🙂

  4. Šetření se nevyplácí. Ale málokdo chce vyhazovat peníze „zbytečně“. A funguje to od obyčejných lidí, kteří přece nebudou zálohovat, protože „vždyť se ještě nikdy nic nestalo“, přes malé firmy, v kterých nakonec dojdou do stavu, že si poříděj ajťáka neschopáka, protože je hrozně iritovalo, že ten starý chtěl nehorázné peníze a „nic nedělal“, zatímco ten, co bere půlku, lítá po firmě pořád a pořád řeší nějaké problémy, tak mu do budoucna spíš seženou dalšího neschopného parťáka, než aby si zaplatili někoho pořádného, co v tom bude mít takový pořádek, že to vypadá, že se fláká. No a jak to chodí u velkých firem to tu popsali chlapci nade mnou.
    Z mého pohledu bývalého správce sítě je taková práce jedna z nejnevděčnějších. Když to šlape, lidi mají pocit, že si ajťák své peníze nezaslouží. Když to nešlape, tak si to myslí taky. A je asi jedno, jestli tu ajťáckou práci dělá zaměstnanec firmy, nebo je na to najatý někdo externě. Nehledá se, jak to dělat lépe, ale stále jen se řeší, jak to dělat levněji.