Regisseer uw eigen datastromen

Stel dat het KNMI enkele dagen geen meteorologische data zou ontvangen. Wat zou dat voor consequenties hebben voor hun bedrijfsvoering? Of de verkeersleiding op Schiphol enige tijd geen radarinformatie. Of de beurshandelaar enkele uren geen beursdata.

Onze wereld wordt gevoed door continue stromen digitale data. De continuïteit van die datastroom is de voorwaarde dat organisaties kunnen blijven functioneren. Data is de bloedstroom geleverd door een 24 x 7 beschikbare infrastructuur. Zonder data geen digitaal leven.

De zekerheid dat data blijft stromen én de zekerheid dat de data juist is, ontstaat niet vanzelf. Zoals in het lichaam het bloed moet blijven stromen en van de juiste samenstelling moet zijn, geldt dat ook voor data. We denken er niet over na, het lijkt vanzelfsprekend. Net als dat je de kraan opendraait, er keurig schoon en drinkbaar water uitkomt.

Het ontwerpen, inrichten en vervolgens zonder problemen beheren van zulke complexe infrastructuren, is echter geen sinecure. Zeker als steeds meer data uit verschillende bronnen komt, verschillende kwaliteit en eigenschappen heeft en het ook nog eens zoveel mogelijk realtime gebruikt moet worden.

Kwaliteit
Als eerste ligt er een uitdaging in de data te kennen, en te weten wat de waarde van die data is. Als de beurshandelaar er niet op aan kan dat de waarde die hij ziet, bij het bijbehorende aandeel of bedrijf hoort, heeft hij een probleem. Verkeerde of corrupte data kan elke proces verstoren. Dus per data supply chain moet over de hele keten heen de juistheid en kwaliteit continu worden geborgd. Dat wordt in onze wereld van multi-cloudproviders steeds lastiger: via wie en in welke keten is deze data tot mij gekomen?

Om data vervolgens te kunnen processen, moet deze compleet zijn. Alle onderdelen en subsets dienen op het juiste moment in de goede samenstelling gereed te zijn, om juist te kunnen worden verwerkt. Met steeds hogere verwerkingssnelheden en bandbreedten kun je die uitdaging vergelijken met het vanuit verschillende brandweerslangen tegelijkertijd en gecontroleerd een rij verschillende glaasjes proberen te vullen. Bovendien met de juiste hoeveelheid water per glaasje.

Ervaringskennis
De uitdaging bij complexe processen is vooraf de complexiteit verminderen en het proces strikt en functioneel eenduidig organiseren. Een goede en robuuste architectuur van waaruit men het gehele systeem ontwerpt, bouwt, maar ook onderhoudt en in de toekomst kan uitbreiden en vernieuwen.

De kundigheid om deze processen te ontwerpen wordt schaarser omdat enerzijds de vraag enorm toeneemt en anderzijds het een vakgebied is dat niet makkelijk vanuit de theorie kan worden geleerd. Jarenlange ervaring met het ontwerpen en bouwen van deze complexe omgevingen geeft pas de ervaringskennis die nodig is.

Het gebied van de integratie van datasystemen en datastromen is zich als een nieuw vakgebied aan het ontwikkelen. Met een mooi woord iPaaS: een ‘geïntegreerd platform als een service’ die verschillende en verspreide informatie infrastructuren als één geheel kan overzien.

De complexiteit dat data niet meer op één centraal systeem aanwezig is, maar zich op diverse locaties bij cloud-providers bevindt, maakt dit vakgebied steeds belangrijker. Ook de ontwikkeling van het Internet of Things draagt bij aan de enorme groei van dit vakgebied. En aan de vraag om geautomatiseerde gereedschappen om het ontwerpen en beheren van deze complexe datastructuren te ondersteunen.

Multi-cloud
Er zijn mooie klantcases beschikbaar hoe complex verspreidde ERP, CRM, HR en andere systemen tot één integraal werkend informatiesysteem zijn omgevormd, op basis van een goede onderliggende datastructuur die schaalbaarheid en multi-use van datasets mogelijk maakt.

Hoe overzie ik mijn klantendata die deels in mijn eigen SAP-omgeving staat, maar ook voor een deel bij Salesforce, terwijl ik bijbehorende documenten en mail in Azure heb staan en ik verschillende AWS-omgevingen gebruik voor productgerichte aanpassing voor die klant? Tenslotte werk ik nog samen in de keten met enkele partners wier data onderdeel is van het logistieke proces tussen mij en mijn klanten.

Juist het hybride aspect van multi-cloud-omgevingen maakt het zo lastig om zowel de gezamenlijke data te managen, te analyseren en in te zetten; naast een adequate resourceplanning voor alle uit te voeren processen en netwerkverbindingen. Ook wij als het nieuwe Dell EMC zijn druk bezig de bestaande systemen te integreren tot een nieuw omvattend geheel en dat is best een uitdaging. Twee bestaande infrastructuren met niet eenduidige gereedschappen, architecturen en beheersystemen toch omvormen tot één virtueel gebruikerssysteem.

We drinken onze eigen champagne
Dat lukt ons door onze eigen iPaaS-oplossingen te gebruiken, of zoals we zeggen ‘by drinking our own champagne’. We hebben intussen een mooie verzameling van multi-cloud-methoden, technieken en gereedschappen ontwikkeld, om zoals ik vaak zeg een heerlijke soep te maken met ‘een beetje van Maggi en een beetje van onszelf’. Onder eigen regie sommige diensten via cloud-leveranciers en andere vanuit de eigen private cloud.

Terwijl we over wereldwijd verspreide datalakes, Hadoop gebaseerde analyses kunnen uitvoeren, we wereldwijd de governance en compliance en het risicomanagement over onze data kunnen borgen en daarnaast wereldwijd de resources kunnen plannen om de processen met elkaar te verbinden en aan te sturen. De orkestratie van een gedistribueerd orkest met orkestleden verspreid over de wereld en werkend binnen verschillende organisaties of bedrijven.

Kennis is macht
Multi-cloud werken is de toekomst en geeft de vrijheid om schaalbaar en toekomstvast te zijn en geen cloud-vendor lock-in te krijgen. Weten waar je data staat en welke data je waar moet plaatsen om je eigen orkestleden te kiezen en in vrijheid hun deel van de partituur te laten leveren, zonder verplichte winkelnering.

Die kennis ontwikkelen vraagt vakkennis van data en informatiemanagement, van het kunnen ‘makelen’ van cloud-diensten over verschillende leveranciers heen, een goede architectuur te kunnen ontwerpen en de regie te houden over je eigen informatie informatiestructuur.

Verantwoordelijk te blijven voor de gezondheid van je organisatie opdat je niet (te) afhankelijk wordt/bent van derden om jouw digitale bloed optimaal door je eigen organisatie en bijbehorende ecosystemen te laten stromen. En daarmee niet onderworpen te zijn aan de hartslag – en vaak de voorwaarden en condities – van een ander.

Door: Hans Timmerman, CTO van Dell EMC Nederland