Telling stories for a living

Data

Hoe meer data je hebt, hoe meer de noodzaak voor een goed systeem om alles een plaats te geven. Backups, documenten, foto’s, bookmarks, text-files, slidedecks,… you name it. De tijd van megabytes is al lang vervlogen. Zelfs gigabytes beginnen geschiedenis te worden. Vandaag, zelfs in “consumer” omgevingen – lees: in je eigen huis – zijn terabytes al schering en inslag.
Ik heb twee laptops: mijn persoonlijke Macbook en een ThinkPad van de werkgever. Daar begint het probleem al. Ik wil graag al mijn werkgerelateerde documenten  beschikbaar hebben op mijn Macbook, maar ook op mijn iPhone of iPad bijvoorbeeld. Als ik ‘s avonds aan iets denk of ik wil nog snel een document of presentatie overlopen, dan heb ik geen zin om mijn ThinkPad te gaan zoeken, op te starten en te wachten. Dan wil ik gewoon mijn iPad van de salontafel pakken en dat document openen.
Vroeger werd zo iets opgelost met zaken doormailen. Of op een USB-stick zetten. Maar dan zit je met verschillende versies van een bestand, met alle gevolgen vandien. Corrupte files (ik denk aan “Available Offline” van Windows – de slechtste uitvinding ooit), niet meer weten welke versie de juiste is, de verkeerde versie meehebben,…
Om dat euvel op te lossen, gebruik ik “de Cloud”. In mijn geval is die cloud DropBox (en in beperkte mate iCloud en Google). Dat cloud-gebeuren lost mijn probleem van verschillende versies her en der op. Ik moet ook slechts één “file repository” backuppen. Win-win dus.
Maar DropBox is niet alles uiteraard. Mijn werklaptop wordt niet verder gebackupped. Alles wat van belang is, zit in mijn eigen “private cloud”, de rest – lees: OS en applicaties – kan mij gestolen worden. Als mijn ThinkPad sterft, kapot gaat, gestolen wordt,… is het gewoon een kwestie van een nieuwe ThinkPad te bestellen en mijn cloud applicatie erop te installeren.
Mijn Macbook zit naast dat cloud-gebeuren, wel nog verwikkeld in een backup structuur. Mijn Macbook bevat ook mijn muziek, mijn foto’s, mijn hebben en mijn houden zeg maar. Documenten zitten in de cloud, maar de “media” niet. Of toch niet in DropBox en consoorten, want daarvoor is mijn storage capacity daar veel te kleinschalig.
Neen. Mijn Macbook stuurt in eerste instantie alles naar de USB-schijf met TimeMachine van Apple. Dat is mijn eerste toevluchtsoord in geval van nood. Daarnaast wordt er elke nacht een “smart copy” gemaakt via Super Duper. Smart copy impliceert dat enkel de eerste backup een full copy is en dat elke daarop volgende backup in feite bestaat uit delta’s. Sommige backup toepassingen noemen dat ook wel “incremental forever”.
Die Super Duper backup gaat naar een FreeNAS netwerk opslag met een capaciteit van om en bij de 4TB (ZFS als onderliggend filesystem).
Als derde vangnet heb ik een kopie van alles wat echt belangrijk is (een iTunes backup, een LightRoom backup,…) ook gekopieerd naar mijn iOmega StorCenter, eveneens een NAS box. RAID5 voor de disk-config, in totaal 4TB raw capacity, 2,7TB usable capacity. Die backups zijn een manueel gebeuren en doe ik gemiddeld eens per maand, meer als ik veel nieuwe data op de Mac heb gedumpt.
Lokaal is mijn backup systeem dus meer dan redundant, maar dat was nog niet genoeg. Wat als mijn huis in vlammen op gaat? Of wat als er dieven over de vloer komen die alles meesleuren, ook mijn backup devices? Oplossing? De cloud natuurlijk! De volledige Macbook wordt opnieuw permanent naar de cloud gestuurd via CrashPlan. Ook hier kan je spreken over “incremental forever” backups, maar daarop nog eens deduplicatie zodat de upload naar de cloud (de delta’s van daarnet) zo klein mogelijk is.
Om dat allemaal overzichtelijk te houden, is een goede structuur in je folders en disks onontbeerlijk. Anders zit je met zoveel data her en der verspreidt, dat je niet meer weet wat waar zit. Resultaat: dubbels, dubbels en dubbels. En dat kost geld aan opslag, aan tijd, aan storage en aan bandbreedte (want alles moet geupload worden naar de cloud).
Data brengt dus werk met zich mee. Vroeger hadden we ocharme 500MB opslagcapaciteit en daarmee was de kous af. Vandaag zijn terabytes goedkoper dan ooit en staan we niet meer stil bij een gigabyte’je meer of minder. Alles netjes een plaats geven is belangrijk en houdt de boel handelbaar, maar wat ik nog veel liever zou hebben, is een complete indexering van al mijn data.
Indexeer al mijn bestanden. Dan kan ik zoeken op filename en *BOEM* – daar is mijn file. Maar ik wil meer dan dat. Ik wil dat ook alles geïndexeerd word op content. Ik wil niet al mijn filenames onthouden, dat is onbegonnen werk! Maar als ik over een bepaald onderwerp iets zoek, dan kan een index die ook in bestanden kijkt, mij serieus helpen.
Voeg daar nog meer metadata aan toe zoals tijdstippen, exif data, locatie gegevens,… en ga zo maar door, en je krijgt een systeem dat al die data kan doen samenvallen en een correlatie kan aanbieden aan de gebruiker.
Dat zou ik graag hebben, thuis. Dat zou het gemakkelijk maken. En dat bestaat bij mijn weten nog niet voor de consumer markt. Er bestaan wel softwares die dat doen, maar die zijn niet cross-platform, cross-storage-device, cross-… dus dat is niet helemaal wat ik zoek.
Tot wanneer dat mogelijk is, zit er niks anders op dan een goede structuur aanhouden en een nette “flow” te respecteren voor mijn data. Alles heeft zijn plaats, zijn folder, zijn bestemming. Door dat systeem consequent toe te passen, kan ik erg snel iets terugvinden, maar het blijft een taak om dat systeem netjes te volgen.
Hoe doet u dat, al uw data een plaats geven? Welk systeem gebruikt u? Welke software? Welke backups? Neemt u überhaubt wel backups? Consequent? Ik ben eens curieus.

8 Comments

  1. gverbist

    Crashplan dude,,crashplan

  2. Unexpected

    Doe ik al dude, doe ik al 😉 staat er ook en schreef ik in eerdere blogs hè. Maar voor snellere restores verlies ik lokaal ook backups te hebben (en ook snellere backups)

  3. tom

    hoe krijg je die immense first full backup online ?
    anyway, ik gebruik als backup mijn iomega nas met zelfde specs als jij… en af en toe extra backup naar 2TB harde schijf voor offsite te bewaren bij mijn schoonouders 😉

  4. Unexpected

    @Tom: das uploaden eh 🙂 duurt effe inderdaad.

  5. Herman dailybits

    Al lang ben ik bezig over een deftige nas aankopen, maar toch stel ik het continu uit. Deze maand toch eens werk van maken (was naar de prijs aan het kijken van de hdd’s na die Thaise overstromingen).
    Momenteel zitten alle belangrijke zaken in mijn dropbox-folder.
    Copieer ik wekelijks mijn hele werklaptop documents-folder naar mijn private schijf op de werkserver.
    En daarnaast nog een harde schijf met maandelijkse backup van alles die bij mijn ouders ligt (500m verder).
    Todo:
    -> nas aankopen 2*2TB waarschijnlijk en alles daarop plaatsen.
    -> de 2 vrijgekomen HDD’s gebruiken als emergency backup en bij mijn ouders gaan leggen.
    -> dropbox upgraden (heb nu gratis account met ondertussen 15,8GB dus dat is al iets voor documenten).
    Zo heb ik trouwens gisteren nog goed wat gratis Gb’s erbijgekregen in mijn dropbox:
    https://plus.google.com/110810737187221522194/posts/DqGg94XZNmT

  6. Unexpected

    Thanks voor de DropBox tip 🙂 ik heb dat nog op een andere manier gedaan (had al 50GB betalend) waardoor ik er 16GB bijkreeg 😉

  7. bladez

    Thuis:
    werkstation heeft 2x 1TB en 2x 500gb in raid 1 (1.5tb opslag dus) voor docs/pics/mp3/divx
    Wordt via rsync live gekopieerd naar een Iomega Storcenter in mijn kelder staat.
    Kelder heeft een brandvrije deur (dat zwelt op bij warmte zodat er geen vuur door kan aan de zijkanten, half uur bestendig tegen extreme vlammen #weetjevandedag)
    Docs worden ook nog eens door Dropbox bijgehouden.
    Worst case scenario is dat mijn huis overstroomt en wegwaait door een orkaan, maar dan heb ik wel andere zorgen dan mijn computergerief.
    Werk:
    terminal server die elke 2 uur incremental backupt wordt, en voor onze docs op laptop zelf hebben we trend micro safesync account

  8. rendersr

    Ik heb het als volgt opgelost:
    – Synology NAS met CloudStation geactiveerd.
    – Mijn werklaptop heeft de CloudStation software staan. Het grote voordeel van deze software is dat deze van quasi overal te bereiken is. Zit ik bij een klant en ik heb een netwerkconnectie, dan worden al mijn wijzigingen direct gesynchroniseerd met mijn NAS thuis. Het enige probleem is.. CloudStation kan niet overweg met files groter dan 1GB (over het algemeen ISO’s ed. Die backup ik via een scriptje. Ik weet niet echt de meest professionele manier, maar het doet zijn werk. Basically, mijn laptop mag op de weg naar huis gestolen worden, mijn ‘belangrijke’ data staat toch al op mijn NASje.
    – Op mijn NAS thuis neem ik twee dagelijks een backup naar een standalone EXT4 file systeem. Gaat mijn NAS eronderuit of is er data corruptie, dan heb ik nog altijd een kopie.
    – Op mijn NAS staat eveneens Time Machine geconfigureerd en deze backupped mijn MacBook.
    Op termijn zou ik nog een kleine NASje willen plaatsen bij mijn ouders thuis. Op die manier heb ik de mogelijkheid om een offsite kopie te plaatsen. Ik heb ook al gemerkt dat er ook plugins bestaan om je nas te laten backuppen naar een cloud storage zoal HiDrive.

Leave a Reply

Your email address will not be published. Required fields are marked *

© 2024 Unexpected.be

Theme by Anders NorenUp ↑