Telling stories for a living

Tag: SAN (Page 1 of 2)

RAID Is (Almost) Dead

Vandaag is RAID (Redundant Array of Independent Disks) een vorm van data protectie waarop elk enterprise storage systeem op terugvalt. RAID beschermt je data voor fysisch falen van een harde schijf (of meerdere harde schijven). Het is dus géén alternatief op een backup-oplossing: als je gegevens verwijdert of een virus infecteert je bestanden, dan zal RAID daar niets aan veranderen.
Zelfs oplossingen voor consumenten ondersteunen RAID om “dataloss” te voorkomen, weliswaar in minder varianten dan de professionele oplossingen. De meeste thuisproducten ondersteunen RAID0 (helemaal geen protectie, wel meer performance) en RAID1 (vooral bescherming, maar tegen een hoge prijs) terwijl de iets duurdere varianten ondersteuning bieden voor RAID5.
Om mijn punt van deze blogpost te verduidelijken, wil ik graag het RAID1 voorbeeld gebruiken. RAID1 oftewel “Mirroring” betekent dat je voor elke harde schijf een tweede exemplaar hebt dat dezelfde data bevat als het eerste exemplaar. In geval dat de eerste schijf faalt, dan neemt de tweede het direct over (dus zonder onderbreking). Bij zo een incident vervangen we de defecte schijf met een nieuw, leeg exemplaar en zal de computer van het storage systeem alle data van de nog werkende schijf kopiëren naar de nieuwe, lege schijf om op die manier een nieuwe RAID1 set te creëren.
Het spreekt voor zich dat hoe groter de capaciteit van de schijven is, hoe langer dat kopieerproces duurt. De “catch” zit hem in het feit wanneer de primaire schijf faalt alvorens dat kopieerproces helemaal klaar is: als die situatie zich voordoet, heb je “dataloss”. In dat geval mag je hopen dat je een goede backup hebt of je gegevens zijn voor goed verdwenen.
Voor kleine, snelle schijven van 300GB die aan 15,000 toeren per minuut roteren is zo een “copy job” relatief snel geklaard. Vandaag hebben we echter al 3TB schijven ter beschikking die roteren aan 7,200 toeren per minuut. Het spreekt voor zich dat zo een schijf kopiëren meer tijd in beslag zal nemen (want meer data en tragere rotatiesnelheid) en daardoor is de kans op dataloss statistisch gezien groter.
Als we Seagate (een van de grootste fabrikanten van harde schijven op wereldvlak) mogen geloven, dan zijn 100-300TB harde schijven binnen een jaar of tien realiteit. Als ik vertel dat een “rebuild”, want zo noemen we een RAID set die zichzelf herstelt, van een RAID5 volume ongeveer 1 dag per TB nodig heeft, dan zou een rebuild van een 300TB harde schijf dus ongeveer 300 dagen in beslag nemen. De kans is zéér reëel dat er in die tijdspanne nog een harde schijf faalt, met als gevolg “dataloss”. En aangezien we dan werken met 300TB schijven, is een verlies van 1PB (1PB = 1,000TB = 1,000,000GB) aan data zeker realistisch. Ik moet niet stipuleren dat 1PB aan dataloss zo goed als meestal gelijk staat met een serieus probleem in een bedrijf…
Kortom: RAID als bescherming tegen het fysisch falen van een harde schijf is op het einde van zijn carrière. Storage vendors (zoals Hitachi Data Systems) zijn vandaag dus al bezig met hoe ze zo een datasets kunnen beschermen en we gaan dus nog boeiende tijden tegenmoet in de storage wereld.
Wordt zonder enige twijfel vervolgd…

SAN

Dit is een vervolgpost op een eerdere post – Shared Storage.
SAN – Storage Area Network – is de meest pure vorm van storage die je kan verkrijgen. In de volksmond zegt men “SAN” tegen de shared storage omgeving wanneer men spreekt over een “block-based” storage oplossing. Om uit te leggen wat daarmee bedoeld wordt, spoelen we terug naar onze computer thuis.
Als je een harde schijf in je computer installeert, dan kan je daar op zich weinig mee doen. Die schijf moet geformateerd worden zodat het besturingsysteem (oftewel OS van Operation System) ze herkent als opslagmedium, waarna er een bestandsysteem op gemaakt kan worden (vanaf nu file-system).
Op het moment dat de harde schijf in de computer zit en geformateerd is, is het een “block-device”. Het OS ziet een opslagmedium, maar het kan er niet van lezen of naar schrijven omdat er geen file-system op zit.
Een file-system is praktisch altijd gelinkt aan het OS: Windows gebruikt vandaag NTFS (NT File System en NT verwijst naar Windows NT, het allereerste “professioneel” OS van Microsoft).
Vroeger had je op Windows ook FAT16/32, wat je nog kan tegenkomen als je bv. een USB-stick wil formatteren. Apple gebruikt dan weer MAC OS Extended op hedendaagse systemen. En zo heeft elk OS zijn eigen variant van een file-system, die zo goed als nooit compatibel zijn onderling.
Hieruit kan je concluderen dat een applicatie of zelfs een OS nooit “rechtstreeks” naar een SAN kan schrijven. Er moet eerst een file-system aangemaakt worden alvorens er bestanden weggeschreven / gelezen kunnen worden van de SAN.
De SAN bestaat dus uit X aantal harde schijven + controllers die de intelligentie van het systeem uitmaken. Met die controllers (en de bijhorende management software) gaan we een aantal van die harde schijven bundelen in een groep die ervoor zorgt dat wanneer er een harde schijf stuk gaat, er automatisch een reserve exemplaar in de plaats komt zonder dat er data verloren gaat.
Deze configuratie noemen we een RAID-groep (Redundant Array for Independent Disks) en er bestaan verschillende varianten met elk zijn voor- en nadelen. Op dit moment is dat echter onbelangrijk en ga ik daar niet verder op in.
Nu hebben we dus een RAID-groep met daarin X aantal harde schijven. Op die groep gaan we een “virtuele” harde schijf maken en dat noemen we een Logical Unit (LU). Soms wordt dat ook een LUN (Logical Unit Number) genoemd, maar technisch gezien wordt een LU pas een LUN wanneer ze aangeboden wordt aan een server.
Ook dat maakt weinig uit op dit moment, zo lang het duidelijk is dat we op die “fysische” groep van schijven (RAID-groep) een “virtuele” schijf gemaakt hebben die even groot is als de som van de fysische schijven in de RAID-groep.
Kanttekening:

  • De “virtuele” schijf moet niet even groot zijn als de totale som, maar is maximaal even groot + best practise zegt dat je 1 “virtuele” schijf maakt per RAID-groep (waarom leg ik later wel uit)
  • De “virtuele” schijf is eigenlijk niet gelijk aan de totale som van de fysische schijven in de RAID-groep omdat je 1 of meerdere schijven niet kan gebruiken omdat die er voor zorgen dat je data niet verloren is wanneer er een schijf stuk gaat. Voor nu is dat echter niet belangrijk en gaan we gewoon van een simpele 1-op-1 stelling uit om alles high-level te kaderen

Het is de “virtuele” schijf oftewel LU(N) die we via een storage-netwerk (SAN, remember?) aan de server aanbieden. De server ziet die LU(N) dan alsof er in de server zelf een harde schijf is toegevoegd. Met andere woorden – het OS moet die LU(N) formatteren en er een file-system op plaatsen alvorens de applicaties er iets mee kunnen doen. En dat is in essentie wat een SAN is / doet en waarom we dat een “block-based” storage platform noemen.
Nog interessant om weten: dat “netwerk” waarmee de SAN aan de servers gekoppeld is, is meestal een glasvezel netwerk (FC – Fibre Channel) dat vandaag tot 8Gb/s aankan. Anderzijds is er ook de mogelijkheid om over het IP-protocol te werken en dan spreken we van een iSCSI SAN in plaats van een FC-SAN. iSCSI kan in 1Gb/s of 10Gb/s aangeboden worden.
Typisch zie je iSCSI in kleinere omgevingen of omgevingen waar men al zwaar geïnvesteerd heeft in een IP-netwerk. Een FC-SAN vereist een FC-netwerk met speciale switches, waardoor de kostprijs ook hoger ligt.
Hopelijk is de term SAN als variant van Shared Storage nu duidelijker? Zoals gewoonlijk zijn vragen of feedback welgekomen in de comments hieronder! Next up: NAS oftewel Network Attached Storage.

Shared Storage

Omdat ik hier toch vaak over storage en aanverwanten leuter en soms te horen krijg dat het allemaal nogal “Chinees” is, lijkt het me opportuun om de basisconcepten ervan toe te lichten zodat geïnteresseerden mee kunnen met mijn meer technische blogposts.
Het is niet de bedoeling om een technisch naslagwerk te schrijven, want daar staat het internet al vol van en die bestaande “whitepapers” leggen dat ook beter en meer gedetailleerd uit dan dat ik dat hier zou kunnen / willen.
Neen, het idee is dat ik op deze manier minder technische lezers een blik achter de schermen geef in “mijn wereld”, het inzicht geef dat ze zonder het te weten waarschijnlijk elke dag met zulke systemen in aanraking komen én misschien wel warm maak om er meer over te weten te komen.
Anyway – here goes!
Storage kennen de meeste mensen in de vorm van een harde schijf (als je echt extreem “not into IT” bent, kan je nog aan kasten van IKEA enz denken, maar dat is het dus niet!).
Een harde schijf vinden we terug in elke computer (gemakkelijkheidshalve beschouw ik een SSD oftewel Solid State Drive ook als harde schijf in dit verhaal), al dan niet intern of extern (USB, FireWire, eSATA) en wordt gebruikt om je data te bewaren.
Voor een PC is dat uiteraard prima, maar wat als je nu met verschillende servers (=grotere, snellere computers die applicaties draaien zoals de e-mail software, de databases,…) opgezadeld bent – lees: elke bedrijf dat meer dan 25 werknemers heeft (ok, die 25 is een beetje nattevingerwerk, maar je weet wat ik bedoel).
Op dat niveau werkt men uiteraard niet met externe harde schijven en wil men eigenlijk ook niet werken met interne harde schijven (in de servers welteverstaan) omdat dat de beheerbaarheid, het backup-verhaal, maar zeker en vast ook de performantie (zeer belangrijk) niet ten goede komt.
Om die eerder genoemde tekortkomingen te omzeilen, gebruiken de meeste bedrijven een “shared storage” oplossing. De naam zegt het zelf: een storage oplossing die gedeeld wordt met anderen en met anderen bedoel ik “servers”.
Concreet kan je een shared storage systeem dus beschouwen als een verzameling van harde schijven die via een netwerk toegankelijk zijn voor elke computer / server. Iedere computer bewaart zijn data op die centrale storage, waardoor het beheer van alle data veel makkelijker is. Say hello to my world!
Het performantie verhaal is te verklaren als volgt:

  • Centrale storage oplossingen bevatten controllers (servers die niks anders doen dan data beheren zeg maar) die gebouwd zijn om data zo snel mogelijk te kunnen verwerken. Een “normale” computer heeft veel meer taken dan je data beheren (surfen op internet, muziek afspelen, foto’s bewerken, gamen,…) en is dus eerder in veel goed, maar blinkt in niets uit. Op je computer thuis merk je daar natuurlijk niets van, maar beeld je eens in dat er 100 mensen tegelijkertijd bestanden van en naar je computer zouden kopiëren… En net dat is wat er in bedrijven constant gebeurt (mails die binnenkomen en verstuurd worden, mensen die in databanken updates doen, printers die bladzijden uitspuwen… en ga zo maar door).
  • Centrale storage bevat ook veel meer harde schijven – vanaf nu noemen we dat “spindles”, afkomstig van het werkwoord “spinning” oftewel draaien – en de logica leert ons dat de snelheid waarmee je data gelezen en geschreven kan worden, evenredig is met het aantal spindles waarop de data verspreid wordt. Uiteraard zijn er nog andere factoren die de snelheid beïnvloeden, maar daar kom ik in een latere vervolgblogpost op terug zodat het niet te ingewikkeld wordt.

Shared storage bestaat in verschillende varianten, maar grosso modo kunnen we stellen dat er twee soorten zijn: SAN en NAS. Dezelfde drie letters, maar in omgekeerde volgorde en die volgorde maakt wel degelijk een wereld van verschil.
SAN staat voor “Storage Area Network” terwijl NAS de afkorting is van “Network Attached Storage”. Klinkt gelijkend, maar is het dus helemaal niet.
Waar de verschillen juist liggen, daar kom ik de komende dagen op terug. Het belangrijkste is dat je nu het concept van “shared storage” of centrale opslag zou moeten begrijpen, maar ook beseffen waarom het interessanter is dan decentrale opslag van data.
Feedback, vragen of andere uiteraard welkom in de commentaar!

Hitachi Data Systems – HUS VM

Hitachi Data Systems heeft vandaag een compleet nieuwe storage oplossing onthuld: HUS VM – Hitachi Unified Storage VM. Het komt er op neer dat er een perfecte combo gemaakt werd van het midrange HUS platform enerzijds en de enterprise oplossing VSP anderzijds.
HUS VM is “unified” en kan dus zowel block, file als object storage aanbieden, net zoals het HUS platform. De “VM” suffix is “the magic sauce” die ervoor zorgt dat je third-party storage kan virtualiseren via het HUS VM systeem, een technologie die overgenomen werd van het VSP platform.

Concreet kan je bijvoorbeeld je bestaande block storage aan de HUS VM koppelen en de data vanaf dat moment door de HUS VM aanbieden aan je servers.
Hierdoor kan migratie volledig online gebeuren (slechts downtime om de bestaande storage aan de HUS VM te koppelen) en op eigen tempo, maar kan je je “afgeschreven” storage ook gebruiken als extra tier voor bv. archief doeleinden.
More, after the break.
 

De laatste dag van mijn ingekorte SAN opleiding zit er bij deze dus alweer op (ik ben ondertussen ook al terug in ons Belgenlandje) en ik kan zeggen dat het goed was. Heel veel nieuwe dingen heb ik niet geleerd, maar hier en daar is er toch een licht geworpen en heb ik dingen kunnen testen en proberen die je in productie nu eenmaal niet kan uitproberen (zoals je SAN omgeving volledig “invalid” zetten en dan gans de configuratie terugzetten met behulp van SSSU).
Wat ik ondertussen al wel ondervonden heb (en dat wordt alleen maar erger naarmate ik langer in het vak zit) is dat ik hoe langer hoe minder bijleer op cursussen. Niet dat de cursussen slecht zijn of zo, maar vaak heb ik door zelfstudie (o.a. door het net af te schuimen , fora’s na te pluizen, vaklectuur te lezen) al heel veel zelf geleerd. Cursussen lijken mij interessanter voor mensen die tijdens hun job enkel bezig zijn met wat ze kennen, maar nooit op zoek gaan naar nieuwe dingen (al dan niet in hun vrije tijd). 
Door voorgaande feiten, vind ik cursussen vandaag de dag veel minder fijn om naar toe te gaan dan een paar jaartjes geleden. Toen was dat zo van “yihaa, feeding the brain” en een weekje offsite gaan bijleren, maar tegenwoordig doe ik eigenlijk liever aan autodidactiek (of hoe zeggen ze dat?) en ondervind ik dat ik daar in feite heel veel uit leer.
Soms verveel ik me dan eens tijdens de cursus, maar waar anderen dan alles proberen te onthouden wat ik al lang wist, kan ik mezelf verdiepen in de details die ik niet op het internet of in boeken heb teruggevonden en de lesgever daarover vragen stellen (met als gevolg dat die gasten soms ook effe moeten nadenken ipv alles af te ratelen). 
Anyway, drie dagen cursus is meer dan genoeg. Vroeger vond ik vijf dagen net iets te weinig, vandaag denk ik dat ik twee dagen ideaal vind, maar er soms nog drie nodig heb om rond te komen.
En wat hebben we vandaag geleerd?

  • Continious Access – oftewel het dupliceren van uw gegevens van SAN A naar SAN B en al de mogelijke varianten
  • RSM – Replication Storage Manager – oftewel het queue’en (zeg maar jobs creëren met behulp van RSM scripts) van het aanmaken van snapshots / snapclones en alle varianten daarrond om die dan bijvoorbeeld aan een andere host (lees: server) te presenteren en er dan een backup van te maken.
  • Best practises – zit er in elke cursus wel bij zeker? Meestal pure logica… 
  • Monitoring van je SAN omgeving – en dan vooral de performantie en wat er gebeurd als je van controller wisselt, als je write-back in plaats van write-through toepast,… Boeiende materie die je in feite toelaat om te bewijzen dat “die trage applicatie” niets te maken heeft met de SAN :-).
En daarmee zijn de twee theorieboeken en het labo boek netjes afgerond en ben ik klaar om de verworven kennis in de praktijk te gaan toepassen. Duimt u mee?

Het feit dat u dit hier leest, wil zeggen dat ik terug op mijn hotelkamer ben aangekomen en dat de tweede dag van de opleiding er dus op zit. Zoals ik al zei was het gisteren iets te gemakkelijk en heb ik een herhaling gehad van wat ik al wist uit mijn zelfstudie, maar vandaag was het beter, leerrijker zeg maar. 
Buiten load balancing en preferred pathing, waar ik al redelijk veel over wist via (alweer) zelfstudie maar ook via brain-picking bij collega’s en HP consultants on-site, hebben we vandaag vooral ingezoomd om het hoe en het waarom van snapshots en snapclones en alle mogelijke varianten daarop zoals mirrorclones. Zeer interessant en vooral verhelderend want ik wist daar al het een en ander van, maar ik zat toch nog met enkele openstaande vragen en brainfreezes rond dat thema. Zat, want nu is het kristalhelder. Het feit dat ik volop heb kunnen experimenteren op de EVA 4000 test omgeving die we ter beschikking hebben, zal er wel veel mee te maken hebben, want zo alleen maar uit boeken leren is ook niet altijd alles. Soms is een beetje praktische ervaring veel interessanter dan een halve bibliotheek aan theorie. 
Morgen gaan we ons op SSSU – Storage System Scripting Utility – smijten, wat toelaat om zaken te automatiseren. En automatiseren is nu net iets waar ik van hou, want hoe meer er automatisch kan gebeuren, hoe minder dat ik repetitieve zaken moet uitvoeren :-). 
Had ik al gezegd dat een goede IT’er van nature lui is? En daarmee bedoel ik niet dat ze niet graag werken, maar dat ze altijd proberen zoveel mogelijk automatisch te laten lopen om zo weinig mogelijk manuele acties te moeten uitvoeren.

Vandaag was de eerste dag van de normaal voorziene vijf dagen van training rond storage area networks in het algemeen en HP’s EVA in het bijzonder. Ik zeg wel, normaal voorziene, want toen ik deze morgend toekwam bij de hoofdzetel van HP, had men daar nog nooit van mij gehoord en stond ik dus ook nergens op een lijst voor opleiding te krijgen. Straf, want ik heb wel degelijk bevestigingsmailtjes gekregen dat alles in orde was! Sterk staaltje communicatie beste vrienden van HP!! 
Geluk bij een ongeluk dat er voor de eerste cursus van drie dagen nog andere geïnteresseerden waren, waardoor de cursus toch georganiseerd werd en ik kon meevolgen (en dus niet voor niets naar Nederland was afgezakt). De tweede cursus van twee dagen gaat spijtig genoeg niet door… De docent wist me te vertellen dat er maar één inschrijving was geweest (ik dus) en dat deze daarom geannuleeerd was… wel tof dat ze mij dat laten weten!
Kortom, de vijf dagen Amstelveen zijn herleid naar drie dagen waardoor ik woensdagavond dus al terug thuis zal zijn in plaats van vrijdagavond. Geen erg. 
Trouwens, de cursussen waarvoor ik mij had ingeschreven zijn:

De eerste is degene die ik nu aan het volgen ben, de tweede is degene die geannuleerd is. Nu gaan we wel de basis aanraken van CA in de eerste cursus, maar voor echt in-depth te gaan was de tweede cursus toch handig geweest. Dat wordt dus nog meer autodidactisch zijn he…
En hoe was dag 1 van de opleiding hoor ik u denken? Wel, redelijk easy. Er zitten een paar collega’s die de basis niet kennen en daarom is er onder andere uitgelegd wat het verschil is tussen SAN, NAS en DAS met al de voor- en nadelen. Daarna de opzet van een EVA en welke software daarachter zit enz. Wat is een LUN? Wat is Fibre-Channel? De basics dus. Maar die ken ik al wegens dat ik al veel met de neus in de boeken gezeten heb en dat ik @ work ook al wel hands-on ervaring heb… maar morgen gaan we meer specifieke dingen doen zei de docent… we zullen zien. Ik heb in ieder geval al de helft van de oefeningen van morgen, vandaag afgewerkt :-).

Amstelveen city, mijn uitvalsbasis vanaf deze avond tot en met vrijdagnamiddag.
Waarom zit Unexpected in godsnaam helemaal alleen op hotel in Amstelveen, NL vraagt u zich misschien af?Wel, omdat ik deze week opleiding heb bij HP Nederland en één van hun opleidingscentra bevindt zich in Amstelveen. That’s why. 
En wat is het eerste wat je doet als je je bagage naar je vertrek hebt gesleurd? Internet bestellen natuurlijk. De prijs valt nog goed mee: 88€ voor zeven dag à volonté. Ik zit hier wel maar 6 dagen, maar aangezien 7 dagen goedkoper is dan zes keer het dagtarief, was de keuze rap genomen. Vaneigens betaal ik thuis maar 40€ per maand voor hetzelfde, maar als je op hotel zit, is alles nu eenmaal veel duurder dan thuis he. 
Swat. Over die opleiding kan u de komende dagen nog het een en het ander verwachten dus daar ga ik nu nog niet teveel over vertellen. Stay tuned.

Die dag in het SAN-verhaal van Unexpected…
Vandaag heb ik mij vooral bezig gehouden met het lezen van whitepapers over o.a. Adaptive Load Balancing, performantie testen met behulp van EVAPerf, bepalen van disk-expansie (en welke drive-bays best niet bevolkt worden) en nog veel meer leuks. Een erg goede bron van informatie, zijn de Storage fora van Hewlett Packard zelf. Er zitten daar veel guru’s (zowel storage consultants van HP zelf als klanten die al jarenlang niets anders doen dan een SAN omgeving managen) die zo goed als alle vragen van een antwoord voorzien (maar daarom niet altijd juist, zoals op alle fora trouwens – dus altijd dubbelchecken en zeker niet zomaar die zaken toepassen in een productieomgeving).
In ieder geval, ik heb er enkele links toegevoegd aan mijn bookmarks en ik deel ze dan ook graag met jullie:

Voila. Genoeg lectuur voor vandaag denk ik. Vaneigens ben ik altijd geinteresseerd in andere interessante lectuur die ik nog niet tegengekomen ben, dus als je nog iets leuks kent, laat maar achter in de comments.

Alweer een opleiding achter de kiezen: vier dagen HP StorageEssentials plezier. De basis zou onder de knie moeten zijn en nu is het kwestie van die basis toe te passen op de productieomgeving op het werk. Ik ben eens benieuwd of er lijken uit te kast gaan vallen…
Morgen terug een gewone (halve) werkdag en daarna richting Antwerpen voor Microsoft’s “Get Virtual Now” event. En dan is het alweer weekend. Jihaa.

« Older posts

© 2024 Unexpected.be

Theme by Anders NorenUp ↑