Redactie - 06 april 2012

Visie: Intelligentere deduplicatie en compressie


Om de explosieve gegevensgroei bij te kunnen benen, zijn bedrijven op zoek naar nieuwe manieren om hun gegevens zo efficiënt mogelijk op te slaan en te beheren. Deze voortdurende uitdaging resulteert in een wildgroei aan technologieën, zoals thin provisioning, geautomatiseerde gelaagde opslag en lineair schaalbare opslag. Dit zorgt voor een reductie van de operationele en investeringskosten door slim beheer van opslagbronnen. Dit resulteert in een efficiënter gebruik van opslagcapaciteit, verbeterde energiezuinigheid en vereenvoudigd beheer. Innovatieve deduplicatie- en compressietechnologie bieden bedrijven de mogelijkheid om hun opslagcapaciteit nog efficiënter te benutten door middel van een techniek die Dell ‘inhoudsbewuste opslagoptimalisatie’ noemt, ook wel bekend als objectgebaseerde deduplicatie. Operationele kosten en beheeroverhead worden fors gereduceerd.

Het basisprincipe van deduplicatie omvat het verwijderen van dubbele gegevensexemplaren. Er wordt verwezen naar één exemplaar. Bedrijven realiseren twee doelstellingen: reductie van de opslagcapaciteit en van de hoeveelheid gegevens die tijdens back-up- en herstelprocedures moet worden overgezet. Op dit moment wordt deduplicatie het meest toegepast op de opslag van back-ups. Ook heeft deduplicatietechnologie zijn weg gevonden naar andere opslagtechnieken voor datacenters, zoals network attached storage (NAS).

Sommige deduplicatieprocessen onderzoeken bestanden in hun volledigheid om vast te stellen of het gaat om duplicaten. Dit wordt deduplicatie op bestandsniveau of ‘Single Instance Storage’ genoemd. Andere processen splitsen gegevens in blokken op en zoeken deze af naar duplicaten, kortom deduplicatie op blokniveau. Deze aanpak is gedetailleerder en zorgt voor een grotere reductie dan deduplicatie op bestandsniveau. Beide typen deduplicatie worden momenteel op brede schaal ingezet maar mogelijk niet toereikend voor de opvang van de enorme gegevensgroei binnen verticale markten zoals de olie- en aardgasindustrie, biowetenschappen en media- en entertainmentsector.

Objectgebaseerde deduplicatie is de intelligentste vorm met geavanceerde technologie. Deze optimalisatietechnologie analyseert de manier waarop een bestand is opgebouwd. Eerst wordt het bestand opgesplitst in deelbestanden. Vervolgens doorzoekt de oplossing een bibliotheek met meer dan 100 compressie-algoritmen en kiest het meest geschikte algoritme voor het doelbestand. Ook als het gaat om een niet eerder geïdentificeerd bestand en er geen inhoudsspecifieke compressor beschikbaar is, is de technologie in staat om aan de hand van de aard en structuur van het bestand het meest effectieve compressie-algoritme te selecteren. Met dit inzicht in de indeling van specifieke applicatiebestanden— zoals bestanden van een e-mailtoepassing of digitale afbeeldingen — kunnen ICT-afdelingen op intelligente wijze beslissen hoe gegevens moeten worden gededupliceerd en gecomprimeerd om een maximale opslagefficiëntie te waarborgen.

De centrale componenten van Dell´s systeem voor gegevensverwerking zijn twee typen informatiebewuste algoritmen en een neuraal netwerk voor het testen en selecteren van de compressor die voor de beste runtime-efficiëntie zorgt. De twee typen informatiebewuste algoritmen omvatten algoritmen voor 'ontlaging', waarbij de aangrenzende deelobjecten binnen bestanden worden geïdentificeerd en algoritmes voor het reduceren van de gegevensomvang, zoals deduplicatie en compressie. Deze op maat toegesneden compressie-algoritmen zijn beter in staat tot het reduceren van de omvangrijke gegevensvolumes waardoor specifieke verticale markten worden geplaagd.

Om de technologie naadloos toe te passen op de gehele ICT-infrastructuur, introduceert Dell opslag-optimalisatietechnologie binnen een keur aan oplossingen voor primaire opslag, gegevensarchivering en back-ups. Deduplicatie en compressie zullen worden geïntegreerd in het Dell Scalable File System en het Dell Object Storage-platform. Zo is het mogelijk om een back-up te maken van gegevens die binnen primaire opslagsystemen zijn gededupliceerd en ze zonder ze in hun oorspronkelijke staat te herstellen op te slaan in een opslagsysteem van Dell voor back-ups. De gegevens kunnen vervolgens via een LAN of WAN in gededupliceerde vorm worden gerepliceerd naar een replica van Dell´s back-upopslagsysteem. Hier ligt de grootste meerwaarde voor bedrijven.

Deduplicatie- en compressietechnologie zijn niet meer weg te denken en beschikken over een hoog innovatietempo. Om effectief om te gaan met de zakelijke uitdagingen van vandaag en die van morgen, moeten bedrijven op zoek gaan naar een oplossing die aan drie belangrijke criteria voldoet. Ten eerste moet de oplossing transparant zijn voor de eindgebruikers en voor toepassingen, dus er mag geen vertraging optreden tijdens het ophalen van gegevens. Ten tweede moet de oplossing voorzien in de specifieke behoeften van branches met meer en betere algoritmen en logica. Ten derde moet de oplossing binnen de gehele workflow toegepast kunnen worden om een integrale optimalisatie van de ICT-omgeving te waarborgen.

Herbert Smals, Marketing Brand Manager Enterprise bij Dell
  

Copaco | BW 25 maart tm 31 maart 2024 Trend Micro BW BN week 10-11-13-14-2024
Copaco | BW 25 maart tm 31 maart 2024