Data: hét obstakel voor digitale transformatie?

Data vormt een fundamenteel onderdeel van digitale transformatie. Het maakt automatisering en innovatie mogelijk en verbetert de besluitvorming. Door in realtime toegang te hebben tot de juiste gegevens, kunnen organisaties acties ondernemen of beslissingen nemen die het best tegemoetkomen aan de behoeften van de klant, bedrijfsmodellen transformeren en inspelen op de snelle marktveranderingen van vandaag. Maar dat is makkelijker gezegd dan gedaan. Er moeten eerst wel een aantal belangrijke ‘data-hordes’ worden genomen.

Data-obstakels voor digitale transformatie

Volgens een recent onderzoek van Databricks en MIT Technology Review Insights is de belangrijkste uitdaging voor organisaties bij het waarmaken van hun data-ambities het feit dat datamanagementplatforms niet gemakkelijk schaalbaar zijn (44% van de respondenten). Andere vaak genoemde obstakels zijn de trage verwerking van grote datavolumes (39%) en problemen om samenwerking te faciliteren (29%).

Om die obstakels te overwinnen, moet je data uit je hele organisatie (en daarbuiten) samen kunnen brengen, en vervolgens alle teams en afdelingen voorzien van de juiste tools waarmee ze bruikbare inzichten kunnen verkrijgen.

Het succes van digitale transformatie staat of valt met de mogelijkheid om zakelijke beslissingen te nemen op basis van bruikbare data-inzichten. Een gebrek aan deze inzichten brengt een groot risico op hoge kosten en een onnodige verlenging van het transformatieproject met zich mee. Maar hoewel de meeste organisaties enorme hoeveelheden gegevens verzamelen, slaan ze die vaak op de verkeerde plaatsen op en slagen ze er niet in de cruciale inzichten vast te leggen die kosten- en tijdsefficiënte transformatie en sterkere prestaties op lange termijn mogelijk maken.

Op weg naar een robuuste data-architectuur

Organisaties hebben een aantal mogelijkheden om data efficiënt op te slaan, op te schonen en te analyseren: een datawarehouse, data lake en data lakehouse. De op analytics geënte infrastructuur van een datawarehouse zorgt voor een hoge betrouwbaarheid van data, sterke governance en beveiliging, en hoge prestaties. Maar een datawarehouse is niet in staat om de enorme volumes en verscheidenheid aan data op te slaan die organisaties tegenwoordig verzamelen. Data lakes kunnen daarentegen grote hoeveelheden gegevens opslaan tegen veel lagere kosten én kunnen allerlei typen data aan, zij het gestructureerd of ongestructureerd. Maar dat is ook een valkuil: wanneer data lakes worden overspoeld met informatie, veranderen ze in een 'datamoeras', vol met data van slechte kwaliteit en gebrekkige prestaties.

De uitdagingen van datawarehouses en -lakes maakten de weg vrij voor het data lakehouse, een nieuwe architectuur die de benodigde structuur en beheerscapaciteiten direct op een data lake implementeert. Hierdoor kunnen organisaties de nodige inzichten verkrijgen die ze nodig hebben, door de krachten van een datawarehouse en -lake te combineren in één systeem.

Het belangrijkste is dat data toegankelijk is, gemakkelijk is te contextualiseren en dat iedereen binnen een organisatie ermee kan werken. Helaas is data in veel gevallen niet toegankelijk voor een groot deel van het personeel - gegevens worden door een selecte groep beheerd. Daarbovenop komt nog het feit dat data versnipperd is binnen de organisatie, of dat deze bijeengebracht wordt in meerdere clusters. Hierdoor heeft een organisatie geen single source of truth meer waar ze alle werkzaamheden op kan ijken. Door data op één plaats te hebben, kan tevens beter worden geautomatiseerd, wat schaalvergroting mogelijk maakt voor alle afdelingen binnen de organisatie.

SEGA Europe is een uitstekend voorbeeld van een organisatie die deze data-obstakels heeft kunnen overwinnen. Deze toonaangevende uitgever van video games gebruikt een data lakehouse-platform om de spelerservaring te personaliseren en bouwt zijn eigen machine learning-algoritme ter ondersteuning van gerichte video game-ontwikkeling voor zijn meer dan 30 miljoen klanten. Tijdens de lockdowns van 2020 werden via hun analysepijplijn meer geanonimiseerde gegevens verzameld dan ooit tevoren. Het team had speciale computing-middelen nodig om deze enorme hoeveelheid gegevens te verwerken, er zinvolle inzichten uit te halen en het data science-team in staat te stellen workflows te verbeteren.

Data als ondersteuning van digitale transformatie

Een robuuste lakehouse-architectuur zorgt dat de juiste data beschikbaar is voor de hele organisatie en zorgt ervoor dat het effectief kan worden geanalyseerd. Het is geen geheim dat de analyse van enorme hoeveelheden data een concurrentievoordeel oplevert, maar dit moet dan wel op een efficiënte en effectieve manier gebeuren. Goed databeheer versnelt digitale transformatie en houdt organisaties toekomstbestendig.

Door: Pieter Senster (foto), Engineering Director bij Databricks Amsterdam