Unexpected.be

Telling stories for a living

Category: Servers (page 1 of 4)

Server: Moved!

De voorbije twee weken heb ik me geamuseerd met mijn blogs te verhuizen naar een nieuwe hosting provider.

Meer SaaS en minder IaaS: goedkoper en geen gedoe meer met updates installeren van de server software. En om eerlijk te zijn: ik deed niks meer met mijn eigen VPS en de service van de hosting provider was alles behalve om naar huis over te schrijven.

Weg ermee dus.

PS: als je deze post kan lezen is de migratie dus prima gelukt :-).

Software Defined Everything

SDDC ofwel Software Defined Data Center is een hot topic in de IT wereld. Hardware wordt “commodity” waar niemand nog interesse voor heeft: het moet doen waarvoor het gebouwd is, dat is wat men verwacht. Hoe het dat precies doet is bijkomstig geworden.
Niet zo heel erg lang geleden werden verkoopsgesprekken nog gevoerd met behulp van bits & bytes, feats & speeds zeg maar – het eureka voor een select groepje techies, een zwarte vlek op het netvlies van vele anderen. Vandaag staan we met zijn allen op een gigantisch kantelpunt in de sector. When it rains, it pours is een heel toepasselijk gezegde als je het mij vraagt.
Allow me to elaborate…
When It Rains, It Pours
Enterprise omgevingen zijn altijd wat conservatiever dan consumenten. Denk maar aan je Hotmail of Gmail account die je van overal en op elk toestel kan raadplegen, bijna altijd met onbeperkte opslag en coole features.
Denk dan eventjes terug aan je werkmail en bedenk dat je daar meestal een mailbox hebt met beperkte opslag, dat je die mailbox alleen op het werk kan raadplegen of op je smartphone / laptop die door je werkgever werd uitgereikt en dat je daarenboven al die coole features moet missen die je thuis al jaren kent.
De vergelijking met je gratis cloud mailbox is gigantisch… en ja, ik weet uiteraard dat het niet zo evident is en dat er veiligheid en data beschikbaarheid en what else meespeelt in het bedrijfsleven en dat die zaken een kost hebben. Maar toch… mensen zijn die “luxe” gewoon en vroeg of laat moet de bedrijfswereld aansluiting vinden.
Music, Maestro, Please
Een ander voorbeeld van “software defined” is je muziekverzameling. CD’s kwamen en gingen, mp3’s en digitale downloads kwamen en zijn er nog steeds, maar de cloud services zoals Spotify, Rdio, Deezer, Pandora en zo voorts winnen elke dag marktaandeel.
Het is een kwestie van tijd alvorens digitale downloads ook een uitzondering worden. En terecht! Opnieuw het gebruiksgemak van altijd en overal aan je muziek te kunnen is een luxe die mensen heel erg snel gewoon zijn. Hard-copy werd vervangen door software die eerst lokaal stond en nu zelfs in de befaamde cloud rondzwermt.
Videotape Is Dead
Nog een voorbeeld nodig? Videorecorders werden DVD-recorders en HDD-recorders. Daarna kwamen de Digicorders die met een settopbox en dus een vendor-lock-in toegang boden aan een provider gerelateerde cloud. Bijvoorbeeld Rio en Rex van Telenet waar je films en series kan bekijken, bestellen en streamen vanuit je luie zetel.
De volgende evolutie is nu ook al onze huiskamer aan het binnensluipen onder de vorm van Netflix en Stievie. TV, film en series waar en wanneer je wil op eender welk toestel dat internettoegang heeft. Niet meer vastzitten aan de locatie van je settopbox, maar kunnen kijken in de living op je grote TV, switchen naar je iPad tijdens het koken en daarna gewoon in de slaapkamer op de tweede TV, allemaal door middel van een cloud-oplossing die niet gebonden is aan het merk van je toestel of aan je provider van internet of televisie. Blessing!
Server-Side Whitelabled Commodity Hardware
Deze verschuiving zien ze ook in de enterprise omgeving en eigenlijk is die jaren geleden begonnen met bijvoorbeeld server-virtualisatie. Daarna werden de desktops gevirtualiseerd (echter wel alleen tractie gevonden voor zeer bepaalde use-cases, maar dat is een aparte discussie).
De volgende schakel in de ketting is de storage oplossing: gedaan met merkgebonden harde schijven met bijpassende disk-enclosures en een allesziende custom-made storage controller die daarbovenop draait en het boeltje beheert. De markt is aan het verschuiven naar commodity hardware. Whitelabel boxes zeg maar. Zelfgemaakt of een lot kunnen kopen aan een goede prijs. Het maakt allemaal bijzonder weinig uit, want de added-value en differentiatie zit in de softwarelaag erboven. Software-defined dus.
Twijfels? De trendsetters van deze wereld doen het nochtans al een hele lange tijd, nietwaar Google?
Argumenten zoals onbeheersbaar, slechte support, duurder op langere termijn, slechtere performantie,… zijn allemaal excuses om niet te veranderen. Net zoals platenmaatschappijen en TV-zenders halsstarrig willen vasthouden aan hun vergane glorie. Het wordt geen kwestie van meedoen of niet. Neen, het wordt een kwestie van meedoen of stoppen te bestaan.
Software defined is here to stay, komt in veel geuren en kleuren en laat ik nu professioneel net samenwerken met een belangrijke speler op de enterprise markt die deze boodschap heel erg goed begrepen heeft.
In enkele vervolgblogs ga ik graag wat dieper in op zaken als software defined storage, management en cloud integratie.
Stay tuned!

Compustorage Clusters

IDC heeft een nieuwe term bedacht voor de “hyper converged systems” waarvan Nutanix u waarschijnlijk het meest bekend in de oren klinkt: Compustorage Clusters.
Aangezien die systemen zo goed als altijd uit nodes bestaan, zijn het per definitie clusters en omdat je ze niet granulair kan “scalen” (lees: als je alleen storage wil of alleen compute power, dan heb je pech want je upgrade in nodes en die bevatten altijd beide componenten), noemen ze het “Compustorage Clusters”.
Me like.

BYOD Cloud Story

BYOD – Bring Your Own Device.
Ik sta er eigenlijk van versteld hoeveel bedrijven nog vasthouden aan een vaste infrastructuur. Dat ze niet alle data zomaar in “een cloud” willen steken, daar kan ik inkomen. Maar dat ze hun personeel vastgespen in een bepaald stramien en figuurlijk gesproken uw arm omwringen en verplichten bepaalde hard- en/of software te gebruiken, daar ben ik het noorden kwijt.
Zeker als de tools aanwezig zijn om BYOD strategie perfect mogelijk te maken: app virtualisatie, server virtualisatie, tablets, smartphones, ingebouwde VPN-tunnels vanuit de applicaties zelf…
Er zijn uiteraard altijd uitzonderingen, maar de grootste gemene deler zou perfect kunnen werken op eender welk platform. Niet iedereen is even productief op een Windows machine (of omgekeerd – op een Mac). Net zoals dat sommige mensen productiever zijn thuis dan op kantoor en anderen juist verkiezen om tussen de collega’s te zitten om werk te verzetten, zo zijn er ook mensen die sneller en efficiënter kunnen werken op een bepaald platform of met een bepaalde applicatie.
Al te vaak is er ergens in een verscholen hoekje een IT afdeling in een ivoren toren met aan het hoofd een IT manager (soms in combinatie met een Security Officer) die willen vasthouden aan wat ze kennen in plaats van mee te evolueren met de rest. Voor elk negatief argument, is er steevast een positief argument en naar mijn aanvoelen is het een kwestie van tijd alvorens ook zij moeten plooien.
Over plooien gesproken: als je metaal warm maakt, plooit het relatief makkelijk mee. Als je het koud tracht te plooien, dan bestaat de kans dat het breekt… Om maar te zeggen dat een onderbouwd verhaal de essentie is voor het succes van de cloud-strategie en de bijhorende BYOD infrastructuur.
Data kan je niet afbakenen. Data moet zweven tussen verschillende oplossingen. Hence the cloud story! Waar die cloud moet staan en hoe je die beveiligt, dat zijn natuurlijk valabele discussies.
Daarvoor zijn er oplossingen zoals bv. HCP Anywhere – om maar te zeggen dat voor elk probleem en voor elke vrees een gepaste oplossing voorhanden is.
 

SAN

Dit is een vervolgpost op een eerdere post – Shared Storage.
SAN – Storage Area Network – is de meest pure vorm van storage die je kan verkrijgen. In de volksmond zegt men “SAN” tegen de shared storage omgeving wanneer men spreekt over een “block-based” storage oplossing. Om uit te leggen wat daarmee bedoeld wordt, spoelen we terug naar onze computer thuis.
Als je een harde schijf in je computer installeert, dan kan je daar op zich weinig mee doen. Die schijf moet geformateerd worden zodat het besturingsysteem (oftewel OS van Operation System) ze herkent als opslagmedium, waarna er een bestandsysteem op gemaakt kan worden (vanaf nu file-system).
Op het moment dat de harde schijf in de computer zit en geformateerd is, is het een “block-device”. Het OS ziet een opslagmedium, maar het kan er niet van lezen of naar schrijven omdat er geen file-system op zit.
Een file-system is praktisch altijd gelinkt aan het OS: Windows gebruikt vandaag NTFS (NT File System en NT verwijst naar Windows NT, het allereerste “professioneel” OS van Microsoft).
Vroeger had je op Windows ook FAT16/32, wat je nog kan tegenkomen als je bv. een USB-stick wil formatteren. Apple gebruikt dan weer MAC OS Extended op hedendaagse systemen. En zo heeft elk OS zijn eigen variant van een file-system, die zo goed als nooit compatibel zijn onderling.
Hieruit kan je concluderen dat een applicatie of zelfs een OS nooit “rechtstreeks” naar een SAN kan schrijven. Er moet eerst een file-system aangemaakt worden alvorens er bestanden weggeschreven / gelezen kunnen worden van de SAN.
De SAN bestaat dus uit X aantal harde schijven + controllers die de intelligentie van het systeem uitmaken. Met die controllers (en de bijhorende management software) gaan we een aantal van die harde schijven bundelen in een groep die ervoor zorgt dat wanneer er een harde schijf stuk gaat, er automatisch een reserve exemplaar in de plaats komt zonder dat er data verloren gaat.
Deze configuratie noemen we een RAID-groep (Redundant Array for Independent Disks) en er bestaan verschillende varianten met elk zijn voor- en nadelen. Op dit moment is dat echter onbelangrijk en ga ik daar niet verder op in.
Nu hebben we dus een RAID-groep met daarin X aantal harde schijven. Op die groep gaan we een “virtuele” harde schijf maken en dat noemen we een Logical Unit (LU). Soms wordt dat ook een LUN (Logical Unit Number) genoemd, maar technisch gezien wordt een LU pas een LUN wanneer ze aangeboden wordt aan een server.
Ook dat maakt weinig uit op dit moment, zo lang het duidelijk is dat we op die “fysische” groep van schijven (RAID-groep) een “virtuele” schijf gemaakt hebben die even groot is als de som van de fysische schijven in de RAID-groep.
Kanttekening:

  • De “virtuele” schijf moet niet even groot zijn als de totale som, maar is maximaal even groot + best practise zegt dat je 1 “virtuele” schijf maakt per RAID-groep (waarom leg ik later wel uit)
  • De “virtuele” schijf is eigenlijk niet gelijk aan de totale som van de fysische schijven in de RAID-groep omdat je 1 of meerdere schijven niet kan gebruiken omdat die er voor zorgen dat je data niet verloren is wanneer er een schijf stuk gaat. Voor nu is dat echter niet belangrijk en gaan we gewoon van een simpele 1-op-1 stelling uit om alles high-level te kaderen

Het is de “virtuele” schijf oftewel LU(N) die we via een storage-netwerk (SAN, remember?) aan de server aanbieden. De server ziet die LU(N) dan alsof er in de server zelf een harde schijf is toegevoegd. Met andere woorden – het OS moet die LU(N) formatteren en er een file-system op plaatsen alvorens de applicaties er iets mee kunnen doen. En dat is in essentie wat een SAN is / doet en waarom we dat een “block-based” storage platform noemen.
Nog interessant om weten: dat “netwerk” waarmee de SAN aan de servers gekoppeld is, is meestal een glasvezel netwerk (FC – Fibre Channel) dat vandaag tot 8Gb/s aankan. Anderzijds is er ook de mogelijkheid om over het IP-protocol te werken en dan spreken we van een iSCSI SAN in plaats van een FC-SAN. iSCSI kan in 1Gb/s of 10Gb/s aangeboden worden.
Typisch zie je iSCSI in kleinere omgevingen of omgevingen waar men al zwaar geïnvesteerd heeft in een IP-netwerk. Een FC-SAN vereist een FC-netwerk met speciale switches, waardoor de kostprijs ook hoger ligt.
Hopelijk is de term SAN als variant van Shared Storage nu duidelijker? Zoals gewoonlijk zijn vragen of feedback welgekomen in de comments hieronder! Next up: NAS oftewel Network Attached Storage.

Revamp

Gisteren heb ik de look ‘n feel van dit blog een kleine opfrisbeurt gegeven, Fonts aangepast zodat alles makkelijker leesbaar is, een paar widgets verwijderd die ik al een tijdje niet gebruikte en het geheel onoverzichtelijk maakte en wat onderhuidse fine-tuning gedaan.
Na de server-move eind vorige maand, is dit de start van de tweede fase om Unexpected.be een serieuze “overhaul” te geven. Maar het is nog niet helemaal hoe ik het wil:

  • Meer integratie met sociale media zoals Twitter en Facebook, al ben ik er nog niet helemaal uit hoe ik dat ga doen.
  • Mijn blog ombouwen tot een kruising van een traditionele blog (zoals het nu is) en een tumblr met het oog op sneller updaten van bijvoorbeeld mijn iPhone.
  • Kleurenpalet bijschaven.

Nog genoeg om me bezig te houden dus. Fijn weekend!

Server Upgrade

De webserver van deze site een upgrade gegeven en het geheugen van 600MB naar 900MB RAM laten groeien en er nog 3GB extra disk space bijgevoegd.
We kunnen er weer tegen voor een tijdje… en het zou hier dus weer iets vlotter moeten marcheren.

NAS Troubles III

Eureka! Er is licht aan het einde van de tunnel, denk ik. Het voorbije weekend heb ik nog wat zitten prullen met de instellingen van de iOmga NAS en als bij wonder wil het ding terug een “propere” shutdown uitvoeren.
De “search” functie uitgeschakeld (dit laat toe om vanuit de iOmega console de interne storage te doorzoeken naar een file – ik gebruik dat niet dus weg ermee), de UPNP server uitgeschakeld (dit gebruik ik wel en laat bv. iTunes, AppleTV, Eminent media player,… toe om de NAS automatisch te herkennen in een netwerk als media server), rSync gecheckt (stond al uitgeschakeld) en de FTP server ook afgezet (deze wil ik ook gebruiken, de MFP upload netwerkscans in PDF naar de NAS…).
De IX4-200D nog eens proberen uit te schalen en BOEMMM! – succes. De features die ik wil gebruiken (UPNP en FTP) terug ingeschakeld en nog eens getest – BOEEEEMMMM! – nog altijd succes. De search en de rSync staan nog uitgeschakeld (ik gebruik ze toch niet) dus vermoedelijk is één van die twee services de schuldige (ik gok op de search), maar dat ga ik binnenkort nog eens trachten te staven met een authentieke try & fail / win testje ;-).
Wordt vervolgd, maar voorlopig ziet het er rooskleurig uit (al ben ik nog altijd niet te spreken over de problematiek op zich met iOmega en hun support afdeling).

Google Datacenter

Indrukwekkend hoe ze bij Google met je data omgaan. De moeite om eens te bekijken dus.



Hoe meer data je hebt, hoe meer de noodzaak voor een goed systeem om alles een plaats te geven. Backups, documenten, foto’s, bookmarks, text-files, slidedecks,… you name it. De tijd van megabytes is al lang vervlogen. Zelfs gigabytes beginnen geschiedenis te worden. Vandaag, zelfs in “consumer” omgevingen – lees: in je eigen huis – zijn terabytes al schering en inslag.
Ik heb twee laptops: mijn persoonlijke Macbook en een ThinkPad van de werkgever. Daar begint het probleem al. Ik wil graag al mijn werkgerelateerde documenten  beschikbaar hebben op mijn Macbook, maar ook op mijn iPhone of iPad bijvoorbeeld. Als ik ‘s avonds aan iets denk of ik wil nog snel een document of presentatie overlopen, dan heb ik geen zin om mijn ThinkPad te gaan zoeken, op te starten en te wachten. Dan wil ik gewoon mijn iPad van de salontafel pakken en dat document openen.
Vroeger werd zo iets opgelost met zaken doormailen. Of op een USB-stick zetten. Maar dan zit je met verschillende versies van een bestand, met alle gevolgen vandien. Corrupte files (ik denk aan “Available Offline” van Windows – de slechtste uitvinding ooit), niet meer weten welke versie de juiste is, de verkeerde versie meehebben,…
Om dat euvel op te lossen, gebruik ik “de Cloud”. In mijn geval is die cloud DropBox (en in beperkte mate iCloud en Google). Dat cloud-gebeuren lost mijn probleem van verschillende versies her en der op. Ik moet ook slechts één “file repository” backuppen. Win-win dus.
Maar DropBox is niet alles uiteraard. Mijn werklaptop wordt niet verder gebackupped. Alles wat van belang is, zit in mijn eigen “private cloud”, de rest – lees: OS en applicaties – kan mij gestolen worden. Als mijn ThinkPad sterft, kapot gaat, gestolen wordt,… is het gewoon een kwestie van een nieuwe ThinkPad te bestellen en mijn cloud applicatie erop te installeren.
Mijn Macbook zit naast dat cloud-gebeuren, wel nog verwikkeld in een backup structuur. Mijn Macbook bevat ook mijn muziek, mijn foto’s, mijn hebben en mijn houden zeg maar. Documenten zitten in de cloud, maar de “media” niet. Of toch niet in DropBox en consoorten, want daarvoor is mijn storage capacity daar veel te kleinschalig.
Neen. Mijn Macbook stuurt in eerste instantie alles naar de USB-schijf met TimeMachine van Apple. Dat is mijn eerste toevluchtsoord in geval van nood. Daarnaast wordt er elke nacht een “smart copy” gemaakt via Super Duper. Smart copy impliceert dat enkel de eerste backup een full copy is en dat elke daarop volgende backup in feite bestaat uit delta’s. Sommige backup toepassingen noemen dat ook wel “incremental forever”.
Die Super Duper backup gaat naar een FreeNAS netwerk opslag met een capaciteit van om en bij de 4TB (ZFS als onderliggend filesystem).
Als derde vangnet heb ik een kopie van alles wat echt belangrijk is (een iTunes backup, een LightRoom backup,…) ook gekopieerd naar mijn iOmega StorCenter, eveneens een NAS box. RAID5 voor de disk-config, in totaal 4TB raw capacity, 2,7TB usable capacity. Die backups zijn een manueel gebeuren en doe ik gemiddeld eens per maand, meer als ik veel nieuwe data op de Mac heb gedumpt.
Lokaal is mijn backup systeem dus meer dan redundant, maar dat was nog niet genoeg. Wat als mijn huis in vlammen op gaat? Of wat als er dieven over de vloer komen die alles meesleuren, ook mijn backup devices? Oplossing? De cloud natuurlijk! De volledige Macbook wordt opnieuw permanent naar de cloud gestuurd via CrashPlan. Ook hier kan je spreken over “incremental forever” backups, maar daarop nog eens deduplicatie zodat de upload naar de cloud (de delta’s van daarnet) zo klein mogelijk is.
Om dat allemaal overzichtelijk te houden, is een goede structuur in je folders en disks onontbeerlijk. Anders zit je met zoveel data her en der verspreidt, dat je niet meer weet wat waar zit. Resultaat: dubbels, dubbels en dubbels. En dat kost geld aan opslag, aan tijd, aan storage en aan bandbreedte (want alles moet geupload worden naar de cloud).
Data brengt dus werk met zich mee. Vroeger hadden we ocharme 500MB opslagcapaciteit en daarmee was de kous af. Vandaag zijn terabytes goedkoper dan ooit en staan we niet meer stil bij een gigabyte’je meer of minder. Alles netjes een plaats geven is belangrijk en houdt de boel handelbaar, maar wat ik nog veel liever zou hebben, is een complete indexering van al mijn data.
Indexeer al mijn bestanden. Dan kan ik zoeken op filename en *BOEM* – daar is mijn file. Maar ik wil meer dan dat. Ik wil dat ook alles geïndexeerd word op content. Ik wil niet al mijn filenames onthouden, dat is onbegonnen werk! Maar als ik over een bepaald onderwerp iets zoek, dan kan een index die ook in bestanden kijkt, mij serieus helpen.
Voeg daar nog meer metadata aan toe zoals tijdstippen, exif data, locatie gegevens,… en ga zo maar door, en je krijgt een systeem dat al die data kan doen samenvallen en een correlatie kan aanbieden aan de gebruiker.
Dat zou ik graag hebben, thuis. Dat zou het gemakkelijk maken. En dat bestaat bij mijn weten nog niet voor de consumer markt. Er bestaan wel softwares die dat doen, maar die zijn niet cross-platform, cross-storage-device, cross-… dus dat is niet helemaal wat ik zoek.
Tot wanneer dat mogelijk is, zit er niks anders op dan een goede structuur aanhouden en een nette “flow” te respecteren voor mijn data. Alles heeft zijn plaats, zijn folder, zijn bestemming. Door dat systeem consequent toe te passen, kan ik erg snel iets terugvinden, maar het blijft een taak om dat systeem netjes te volgen.
Hoe doet u dat, al uw data een plaats geven? Welk systeem gebruikt u? Welke software? Welke backups? Neemt u überhaubt wel backups? Consequent? Ik ben eens curieus.

Older posts

© 2018 Unexpected.be

Theme by Anders NorenUp ↑