Soda en GoDataDriven werken samen aan optimale workflows voor datakwaliteit
Soda, de leverancier van tools voor databetrouwbaarheid en een observabilityplatform, heeft vandaag de samenwerking aangekondigd met GoDataDriven, de data- & AI-consultancy binnen Xebia, om kritieke problemen met de betrouwbaarheid en kwaliteit van gegevens waarmee organisaties worden geconfronteerd op te lossen. Het partnerschap omvat het samen ontwikkelen van een nieuwe Open Source Software (OSS) Spark-bibliotheek die organisaties ondersteunt met een big data-vriendelijke oplossing voor het handhaven van de datakwaliteit en een overeenkomst om workflows voor optimale datakwaliteit te bouwen voor gezamenlijke klanten.
Apache Spark is een van de meest populaire open source-projecten ter wereld, met meer dan 1.000 bijdragers van meer dan 250 organisaties. De populariteit van Spark wordt gedreven door zijn vermogen om grote datasets snel te kunnen verwerken, API's die flexibiliteit en eenvoudige migratie naar gedistribueerde frameworks mogelijk maken en veelzijdigheid bij het verbinden met vrijwel elke gegevensbron. Maar met zoveel organisaties die op deze data vertrouwen om dataproducten te bouwen en te onderhouden, ontbrak het datateams tot nu toe aan de transparantie die nodig is om de datakwaliteit te waarborgen. In samenwerking met GoDataDriven, wiens klanten onder meer Ahold, Bol.com, Unilever, Mollie en ING zijn, heeft Soda Soda Spark uitgebracht, de nieuwste OSS-release om een gemeenschappelijke oplossing te bieden voor een veelvoorkomend probleem voor data-engineers.
Soda Spark maakt deel uit van een groeiend pakket OSS-tools voor databetrouwbaarheid voor technici die werken in data-intensieve omgevingen waar datakwaliteit van het grootste belang is. Met behulp van de Soda Spark-bibliotheek kunnen data-engineers fouten van mislukte tests loggen met behulp van hun gewenste logsysteem of via Soda Cloud en zo voorkomen dat zij corrupte gegevens naar hun datameren schrijven. En omdat Spark DataFrames onafhankelijk van gegevensbronnen zijn, kunnen Soda Spark-scans worden uitgevoerd op verschillende gegevensbronnen, waaronder Amazon Athena, Amazon Redshift, Google Big Query en Snowflake.
"Transparantie creëert vertrouwen in data dat de katalysator wordt voor een organisatie om echt data-enabled te zijn en zelfverzekerde, datagestuurde beslissingen te nemen", legt Niels Zeilemaker, CTO, GoDataDriven uit. “In Soda herkenden wij een gedeelde overtuiging in het verbeteren van end-to-end workflows voor gegevensproblemen, zodat datateams de mogelijkheid hebben om prioriteiten te stellen en problemen op te lossen op basis van een holistische kijk op wat er in een hele organisatie gebeurt. Lage technische barrières en de levendige ontwikkelaarsgemeenschap van Soda zorgen voor het ideale platform om aan de behoeften van onze klanten te voldoen, te beginnen met de gezamenlijke ontwikkeling van een Spark-integratie die de workflow voor datakwaliteit verder uitbreidt."
Door de enorme hoeveelheid dagelijks geproduceerde data, is het vermogen van Spark om ongelijksoortige mogelijkheden voor gegevensverwerking te verenigen, zodat ontwikkelaars één enkel framework kunnen gebruiken om aan al hun verwerkingsbehoeften te voldoen, een cruciaal onderdeel van de moderne datastack geworden. Spark verandert de zakenwereld fundamenteel door bijvoorbeeld on demand videostreaming die precies is afgestemd op de voorkeuren van kijkers mogelijk te maken, maar ook banken die enorme hoeveelheden machine learning-gegevens verwerken te ondersteunen bij fraudepreventie.
"Om echte end-to-end waarneembaarheid te bereiken over de hele levenscyclus van dataproducten, moet iedereen in een datateam - van data-engineers tot analisten - data kunnen begrijpen, erop kunnen vertrouwen en er bovenop kunnen blijven zitten", zei Maarten Masschelein, CEO & medeoprichter van Soda. “Door onze samenwerking met GoDataDriven, een adviesbureau dat een uitstekende reputatie heeft opgebouwd door nauw samen te werken met enkele van de meest prominente merken in Nederland en Duitsland, biedt Soda de end-to-end workflows voor datakwaliteit en data-engineeringpraktijken om het vertrouwen in gegevens mogelijk te maken dat organisaties nodig hebben om echt geïnformeerd te worden over gegevens.”
Soda Spark wordt geleverd als open source-software onder de Apache-licentie en wordt gratis aangeboden op GitHub. Het product wordt uitgevoerd in de cloud of op de lokale systemen van data-engineers. Ga naar de Soda documentatie (https://docs.soda.io/soda-spark/install-and-use.html) voor meer informatie en hoe je aan de slag kunt gaan.
