One Single Version of the Truth bestaat niet

Ik ben deze week naar een seminar geweest bij Logica genaamd Guru4Pro. Het onderwerp was: “Best Practices in Data Vault” waarbij de Godfather van Data Vault, Dan Linstedt, een van de sprekers was.
Daarnaast waren er nog twee andere sprekers aanwezig die ieder een praktijkvoorbeeld uitlegde van een Data Vault implementatie. Dit waren Aytekin Keskin die aan een Data Vault project bij Tele2 heeft meegewerkt als architect en Liesbeth Hozee die bij Vektis heeft geholpen met een Data Vault project.

Na de introductie werd er veel nadruk gelegd op diverse uitdagingen die men in de projecten tegenkwam. Opvallend was dat dit voornamelijk technische zaken waren. Bijvoorbeeld bij Vektis het onderkennen van goede bronsleutels wanneer er patiëntgegevens door verschillende partijen worden aangeleverd (hoe herken ik dan een unieke patiënt?). Bij Tele2 lag de uitdaging in het enorm aantal requirements, ruim 3000, en deze vertalen in een beknopt aantal functiegebieden.

Het leuke van dergelijke lezingen vind ik altijd dat het jezelf aan het denken zet. Zo kwam Dan Linstedt op een gegeven moment met de uitspraak “A single version of the truth doesn’t exist”. Maar wat doen wij dan alle jaren met onze Datawarehouses? Precies, het creëren van de waarheid. Maar wat is dan de waarheid, wie bepaald wat de waarheid is? Dan gaf een leuk voorbeeld dat ook goed blijft hangen. Hij had het over een lamp met een gele bol erin. Als er iemand anders een blauwe bol indraait krijg je een ander kleur licht. Vervolgens komt er weer iemand anders die er een groene bol indraait. De bol was dan de waarheid en het verwisselen van de bol waren de business rules. Wat hij hiermee probeerde te zeggen was dat de business bepaalt wat de waarheid is. Zodra de business verandert of zodra er nieuwe managers worden aangesteld die gebaat zijn bij een andere waarheid dan zal deze veranderen. Een waarheid binnen een datawarehouse zijn regels op een bepaald moment voor een bepaald persoon.

Data Vault speelt hier goed op in door ruwe data vast te houden. De data zoals het wordt opgeslagen in de diverse bronsystemen. De waarheid is zoals hij in de systemen was opgeslagen zonder dat er data wordt veranderd. Met veranderen bedoel ik opschonen en transformeren. Hierdoor is de data altijd 100% auditable/traceable. Daarbij was nog de vraag of je bijvoorbeeld een datumveld dat als tekst is opgeslagen mag omzetten naar een datumveld, het antwoord werd in het midden gelaten.

Om data vervolgens naar de waarheid “Version of the truth” om te zetten zegt Dan gebruik te maken van Business Vaults in het ruimste begrip des woords. Dit hoeft niet perse een fysieke datamart te zijn zoals een Kimball model, een olap kubus of een datavault met geschoonde data. Business Vault is een heel ruim begrip. Het omvat eigenlijk alles wat op de datavault is gebouwd en wat de data omzet in betekenisvolle businessdata. Dit kan ook een Excelsheet zijn met business rules (met bijvoorbeeld powerpivot) maar ook een fysieke database, gemodelleerd volgens de kimball methodiek.