BI en Datawarehousing

The cloud computing landscape has never been more competitive. Among the leading contenders in the industry are Microsoft Azure, Amazon Web Services (AWS), and Google Cloud Platform (GCP). Each platform has its unique strengths and differentiating features that appeal to a variety of businesses and users. This article aims to …

Microsoft Fabric has unveiled its new tool, Data Factory, which is designed to meet the increasingly complex data integration needs of businesses undergoing digital transformation. The tool brings together the best of Power Query and Azure Data Factory, offering a modern data integration experience that empowers both data and business …

In the world of data management, there are several data storage and processing models that organizations use to handle their ever-growing data needs. Three of these models, which have risen to prominence over the past few years, are data warehouses, data lakes, and more recently, data lakehouses. Each of these …

Excel, a widely used tool in the world of finance, has been the go-to platform for data analysis for decades. The formula-based structure of Excel allows analysts to manipulate, aggregate, and analyze data with relative ease. However, with the advent of more complex datasets and the need for more advanced …

Business Intelligence (BI) is continuously evolving, with innovations and trends shaping its future. As we look forward to the rest of 2023 and beyond, several key themes emerge that will define the BI landscape. These trends include integrated systems, network advancements, data proactivity, edge computing, data marketplaces, machine learning, and …

Het woord “Data Warehouse” klinkt behoorlijk spannend! Het doet vermoeden dat het een ingewikkeld gebeuren is, een soort pakhuis of verzameling met data. Eigenlijk is een data warehouse een database net als alle andere “gewone databases”. Men noemt het een “warehouse” omdat je er meer in bewaart dan in een …

I was wondering what’s the best method to store empty fields from source systems in a datawarehouse. For example;a customer record without a first name stored in the database. When loading this record in my datawarehouse, should I set this field to NULL (to save space) or should I load …

Deze blog behandelt de periode dimensie. Deze lijkt sterk op de datum dimensie die eerder is besproken (en onmisbaar is in ieder datawarehouse) maar zijn functie is net iets anders. De kracht van het gebruik van deze tabel wordt beschreven met wat voorbeelden van AdventureWorks.

Om de ETL jobs van een datawarehouse te activeren kun je diverse manieren toepassen. Je kunt een SSIS package maken die alle onderliggen ETL packages aanroept. Je kunt ook een SSIS package maken die alle Stored Procedures voor ETL verwerking aanroept. Tot slot kun je een Stored Procedure maken die …

Tijdens het uitwerken van het beheer van metadata (opslag in een metadata-database) voor ons Datawarehouse kwam het onderdeel ‘tabelgroei’ naar voren. In een Datawarehouse is het zinvol om te weten hoe groot tabellen zijn en hoe de groei van deze tabellen zich ontwikkeld.

In een voorgaand artikel schreef ik over het voordeel van het afhandelen van wijzigingen binnen een dimensie volgens het Kimball Slowly Changing Dimension Type 2 principe, het aanmaken van een nieuwe rij binnen een dimensie. Er is uitgelegd wat de voordelen van deze methode zijn en hoe het werkt. Hieronder …

In een voorgaand artikel schreef ik over het voordeel van het afhandelen van wijzigingen binnen een dimensie volgens het Kimball Slowly Changing Dimension Type 2 principe, het aanmaken van een nieuwe rij binnen een dimensie. Er is uitgelegd wat de voordelen van deze methode zijn en hoe het werkt. Wat …

Bij Datawarehouse-projecten is er altijd de vraag welke architectuur het beste kan worden ingezet. Iedere architectuur heeft zijn eigen voor- en nadelen. Wat ik belangrijk vind aan een architectuur is dat deze flexibel en schaalbaar moet zijn. Met andere woorden; het moet makkelijk kunnen worden aangepast aan nieuwe behoeften vanuit …

Bij een Slowly Changing Dimension scenario wordt normaliter per veld bepaald of het een type 1, type 2 of type 3 veld betreft. Bij een type 1 wordt het record overschreven met de nieuwe waarde, bij een type 2 wordt er een nieuw record aangemaakt en bij een type 3 …

Voor het bijwerken van de dimensie/feit moet er worden bepaald of een record al bestaat. Dit gebeurt normaal gesproken door te kijken naar de business key (natural key) in de dimensie. Als deze niet gevonden wordt betreft het een nieuw record en dient deze te worden ge-insert. Als deze wel …