Historical Staging Area HSA in een DWH project
30 oktober 2009
Geen reacties
Bij Datawarehouse-projecten is er altijd de vraag welke architectuur het beste kan worden ingezet. Iedere architectuur heeft zijn eigen voor- en nadelen. Wat ik belangrijk vind aan een architectuur is dat deze flexibel en schaalbaar moet zijn. Met andere woorden; het moet makkelijk kunnen worden aangepast aan nieuwe behoeften vanuit de business en het moet “oneindig” uitgebreid kunnen worden zonder beperkingen. Het Datawarehouse project waar ik nu aan meewerk is voorzien van een zogenaamde “HSA” (Historical Staging Area). Ik denk dat een HSA in ieder Datawarehouseproject van pas komt. Hieronder zal ik enkele voordelen die ik heb ondervonden in de praktijk beschrijven van de HSA.
Categorieën:BI en Datawarehousing
Bij een Slowly Changing Dimension scenario wordt normaliter per veld bepaald of het een type 1, type 2 of type 3 veld betreft. Bij een type 1 wordt het record overschreven met de nieuwe waarde, bij een type 2 wordt er een nieuw record aangemaakt en bij een type 3 wordt de oude waarde als een extra kolom bewaard in de dimensie. Waarom zou je echter niet alles als type 2 behandelen?
Voor het bijwerken van de dimensie/feit moet er worden bepaald of een record al bestaat. Dit gebeurt normaal gesproken door te kijken naar de business key (natural key) in de dimensie. Als deze niet gevonden wordt betreft het een nieuw record en dient deze te worden ge-insert. Als deze wel wordt gevonden en is veranderd dient het record te worden geupdate (type 1) of dient er een nieuw record te worden aangemaakt (type 2). Ik ben wat aan het expirementeren geweest om het proces van het doen van een lookup te versnellen. Hieronder mijn bevindingen tot nu toe.
Ik had onlangs een object in mijn database die ge-encrypt was. Er zijn op internet diverse tools te koop om de boel te decrypten maar ik vond ook een gratis Script die het werk doet. Dit script kan Stored Procedures, Functies, Views en Triggers decrypten. Hieronder het script!
Het werken met SSIS packages kan nog wel eens problemen opleveren als er over verschillende omgevingen ontwikkeld moet worden. Dougbert.com heeft in een