Lakehouse, Warehouse en Datamart: de verschillen tussen de drie Fabric-objecten

In de wereld van databeheer zijn er een paar modellen voor opslag en verwerking van data die organisaties gebruiken om hun steeds groeiende hoeveelheid data te beheren. Drie van die modellen zijn de laatste jaren populair geworden: datawarehouses, data lakes en, sinds kort, data lakehouses. Elk model dient een ander doel. Als je de verschillen kent, kun je als organisatie het model kiezen dat bij je eigen eisen past.

Datawarehouses: de traditionele aanpak

Een datawarehouse is een grote opslag van data, verzameld uit veel verschillende bronnen binnen een organisatie. Met die data stuurt het management zijn beslissingen. Een datawarehouse is gestructureerd. De data is geordend, gedefinieerd en ingericht op complexe queries en data-analyse. Het werkt volgens schema-on-write: data moet eerst opgeschoond en omgezet worden naar een vast schema voordat die wordt opgeslagen. Dat proces heet ETL (Extract, Transform, Load). Het kost tijd en middelen, maar het zorgt ervoor dat de data in het warehouse betrouwbaar, consistent en klaar voor analyse is.

Data lakes: het nieuwe model

Data lakes zijn juist een nieuwere uitvinding. Anders dan een datawarehouse slaat een data lake ruwe, onbewerkte data op in het eigen formaat: gestructureerde, semi-gestructureerde en ongestructureerde data. Een data lake werkt volgens schema-on-read. De data wordt opgeslagen zoals die is, en pas bij het lezen voor analyse gedefinieerd en omgezet naar een bruikbare vorm. Dit model heet ELT (Extract, Load, Transform). Het is sneller en flexibeler dan ETL, en maakt het mogelijk om data realtime binnen te halen en te analyseren. Zonder goede data governance kan een data lake wel snel een “data swamp” worden, met data die moeilijk te vinden, te begrijpen en te vertrouwen is.

Data lakehouses: het beste van twee werelden

Het data lakehouse is een vrij nieuw concept dat de beste eigenschappen van datawarehouses en data lakes combineert. Het geeft de geordende, betrouwbare data van een warehouse en ook de ruwe, gedetailleerde data van een lake. Zo kun je zowel traditionele business intelligence doen als geavanceerde analyse, zoals machine learning en realtime analyse. Een data lakehouse houdt de flexibiliteit van schema-on-read voor nieuwe, ruwe data, en maakt schema-on-write mogelijk voor data die klaar is voor analyse. Het resultaat is een oplossing die flexibeler, schaalbaarder en goedkoper is dan alleen een datawarehouse of alleen een data lake.

Data marts: de gespecialiseerde winkel

Warehouses, lakes en lakehouses slaan grote hoeveelheden data uit allerlei bronnen op. Een data mart heeft een ander doel. Een data mart is een deel van een datawarehouse voor één bedrijfsonderdeel of team. Een organisatie kan bijvoorbeeld aparte data marts hebben voor verkoop, marketing en financiën. Elke data mart is ingericht op zijn eigen gebruik. Daardoor kunnen eindgebruikers makkelijker bij de data die ze nodig hebben en die analyseren. Is een datawarehouse een groot warenhuis, dan is een data mart een speciaalzaak.

Conclusie

Datawarehouses, data lakes, data lakehouses en data marts hebben elk hun eigen sterke punten en toepassingen. Warehouses bieden gestructureerde, betrouwbare data voor complexe analyse. Lakes bieden ruwe, gedetailleerde data voor flexibele analyse. Lakehouses combineren die sterke punten en vinden een balans tussen structuur en flexibiliteit. Data marts bieden gespecialiseerde data voor bepaalde bedrijfsonderdelen of teams.

Welk model je kiest, hangt af van de behoeften, de middelen en de datastrategie van je organisatie. Als je de verschillen tussen deze modellen kent, kun je betere beslissingen nemen en een data-infrastructuur bouwen die past bij wat je nu nodig hebt en bij de groei die nog komt.