Linux Foundation gaat Delta Lake Project hosten

16-10-2019 | door: Wouter Hoeffnagel

Linux Foundation gaat Delta Lake Project hosten

De non profit-organisatie Linux Foundation gaat Delta Lake hosten. Het Delta Lake project richt zich op de verbetering van de betrouwbaarheid, kwaliteit en prestaties van data lakes. Delta Lake, eerder dit jaar aangekondigd door Databricks, is door duizenden bedrijven omarmd en wordt door onder meer Intel, Alibaba en Booz Allen Hamilton gesteund. Om de adoptie van en bijdragen aan Delta Lake verder te stimuleren, maakt het project nu gebruik van een open governance model als onderdeel van de Linux Foundation.

Iedere organisatie heeft de wens om meer waarde uit beschikbare data te halen door gebruik te maken van datawetenschap, machine learning en analytics. Het gebrek aan betrouwbaarheid van data binnen data lakes hindert de organisaties daarbij. Delta Lake pakt problemen met betrouwbaarheid van data aan door transacties ACID-compliant te maken. Door gebruik te maken van schema enforcement zorgt Delta Lake ervoor dat het data lake vrij is van foutieve of afwijkende data. Sinds de lancering in 2017 maken meer dan 4000 bedrijven gebruik van het project, waarbij maandelijks meer dan twee exabyte aan data wordt verwerkt.

Standaard voor dataopslag en betrouwbaarheid verhogen

"Door Delta Lake onder te brengen bij de Linux Foundation helpen we de open source community die afhankelijk is van het project om technologie te ontwikkelen die oplossingen vindt voor het opslaan en verwerken van big data, zowel op locatie als in de cloud", zegt Michael Dolan, VP of Strategic Programs bij de Linux Foundation. "De Linux Foundation helpt open source communities door gebruik te maken van een open governance model, dat bijdragen van de hele sector mogelijk maakt. Dit verhoogt uiteindelijk onze standaard voor dataopslag en betrouwbaarheid."

De medeoprichters van Databricks zijn de oorspronkelijke bedenkers van het open source Apache Spark project, de universele analytics engine die inmiddels de standaard is voor grootschalige verwerking van data. Databricks’ CEO en medeoprichter Ali Ghodsi geeft aan enthousiast te zijn deze weg opnieuw af te leggen met het Delta Lake project. "Ons team is doorgegaan met het creëren van en bijdragen aan open source projecten, omdat we weten dat dit de snelste en meest volledige manier is om te innoveren. Om de problemen van organisaties te kunnen adresseren, willen we garanderen dat dit project volledig open source is. Dankzij de sterke community van de Linux Foundation en diens bijdragen, hebben we er vertrouwen in dat Delta Lake snel de standaard is voor opslag in data lakes."

Open governance model

Delta Lake krijgt een open governance model dat participatie en technische bijdragen stimuleert. Daarnaast levert het project een raamwerk voor lange termijn rentmeesterschap door een ecosysteem dat het succes van Delta Lake voorstaat.

Delta Lake werd oorspronkelijk ontworpen voor Apache Spark, maar door de groeiende community komt er steeds meer ondersteuning voor andere open source data systemen.

'Ecosysteem verbeteren'

"Intel en Databricks werken al jaren samen met Databricks om de Apache Spark technologie verder te ontwikkelen met innovatieve data analytics en AI-oplossingen om deze geschikt te maken voor ondernemingen. De Delta Lake bijdrage van Databricks aan de Linux Foundation bestaat uit belangrijke open source opslagtechnologie die het ecosysteem van betrouwbare data lakes verbetert. We kijken uit naar onze bijdrage aan het Delta Lake project en de voortzetting van onze samenwerking", aldus Wei Li, Vice President bij Intel Architecture, Graphics en Software en Machine Learning Performance.

"Het Starburst-team is enthousiast over de ontwikkelingen van Delta Lake en ontwikkelde al een native connector voor Presto, die momenteel getest wordt. We geloven dat deze ontwikkelingen bedrijven die hun data lakes naar de cloud verhuizen, of daar creëren, nu eindelijk de vruchten plukken die hen jaren geleden al beloofd waren. Ook kunnen ze nu direct interactieve SQL analyses op de data lakes uitvoeren", zegt Justin Borgman, CEO van Starburst.

Native integraties van Apache Nifi met Delta Lake

“Booz Allen Hamilton is onder de indruk van de potentie van de Delta Lake-technologie, en al helemaal van de belofte om een open, schaalbaar dataplatform neer te zetten dat een breed scala aan analyses mogelijk maakt, zoals SQL analyses die reporting en dashboarding voor datawetenschap en machine learning met R & Python mogelijk maken. We kijken ernaar uit belangrijke bijdragen te leveren aan het Delta Lake project. We beginnen met native integraties van Apache Nifi met Delta Lake", aldus Dan Tucker, VP bij Booz Allen Hamilton.

Terug naar nieuws overzicht