Recent Posts

The 5 best examples Of Big Data in real life

One thing that is definitely taking the world by storm is Big Data. It is considered highly imperative for big to small industries and businesses. Companies have started to embrace the fact that big data is of utmost significance to them. WHAT IS BIG DATA AND WHAT ARE ITS BENEFITS? …

Read More »

Top 3 of the Best ETL tools in the Market in 2017

It’s pretty hard to say “best etl tools” or “single best etl tools”  to recommend. ETL-tools are very often closely related to the ERP or database product in use at an organization. As an IT professional, you just use what is provided at the company you are working for. This …

Read More »

Power BI Update September 2017

Power BI Update September 2017 The new Microsoft Power BI Desktop version has been released. This month brings another collection of new and useful updates, from reporting to data connectivity. The following updates are new to Power BI Desktop this month: Report View: Drillthrough to another report page Ribbon chart …

Read More »

How much does Microsoft Power BI cost?

How much does Microsoft Power BI cost? Microsoft Power BI offers three enterprise pricing plans to choose from, one of which can be acquired for free (1 GB data capacity limit). Power BI – Free The Free service is for personal use, according to Microsoft. It has capabilities similar to …

Read More »

SQL Server Optimize Insert Performance In 5 Steps

SQL Server Optimize Insert Performance In 5 Steps. What are the possible reasons of the slow table insert? What are ways to identify this bottleneck without the execution plan? DROP ALL triggers and constraints on the table DROP ALL indexes (except the ones that are needed by the insert) Prevent page …

Read More »

SSIS Maximum insert commit size

The default value of the Maximum insert commit size is 2147483647, the largest value a 4 byte INT will hold.  This value is default set in SQL 2012+ but you need to set it manually in versions lower then 2012. In most cases you will leave this setting alone. The value of 0 indicates that all …

Read More »

Power BI Premium Embedded vs PRO vs FREE

At the moment, Microsoft has three versions of Power BI you can use. The Power BI Free,  Power BI Pro and Power BI Premium. The Power BI Premium is a replacement of the Power BI Embedded version. This article will highlight the differences between the three versions of Power BI.

Read More »

Free e-book: Introducing Microsoft Power BI

Get started quickly with Microsoft Power BI! Experts Alberto Ferrari and Marco Russo will help you bring your data to life, transforming your company’s data into rich visuals for you to collect and organize, allowing you to focus on what matters most to you. Stay in the know, spot trends …

Read More »

SQL 2016 Database Mail not working

I was struggling with my SQL Server 2016 database mail after installing the Free Developer edition of Sql Server 2016. My server contains Microsoft Windows Server 2012 and I enabled the SMTP server. The SMTP server (local) was working fine but database mail refuses to work!

Read More »

Nederlandse postcodetabel + SQL Script voor import

Nederlandse postcodetabel

De Nederlandse Postcodetabel bevat informatie over alle postcodes die in Nederland bekend zijn. Dit is erg handig als je meer informatie wilt over een bepaalde postcode zoals een geografische locatie of de plaats die bij een postcode hoort. We laten in dit artikel zien wat je met deze postcodes kunt …

Read More »

Power BI Publish to the web

powerbi publish to the web

See how easy it is to add your reports to your public websites and blogs with Power BI Publish to web. Now you can craft your data story and tell it online in minutes. Here’s how!

Read More »

Setup sp_send_dbmail attachment included!

sp_send_dbmail attachment

I need to setup a weekly report for one of my customers. The report can be manually run by executing a T-SQL statement and copy the result to Excel. After copying, it’s emailed to the client. By using sp_send_dbmail attachment options, you can automate this process.

Read More »

Data Warehouse – Waarom heb je er een nodig?

Waarom heb je een data warehouse nodig

Het woord “Data Warehouse” klinkt behoorlijk spannend! Het doet vermoeden dat het een ingewikkeld gebeuren is, een soort pakhuis of verzameling met data. Eigenlijk is een data warehouse een database net als alle andere “gewone databases”. Men noemt het een “warehouse” omdat je er meer in bewaart dan in een …

Read More »

Linked Server – Why and how use them!

A linked server is used to connect to another (remote) database or file (Xls, CVX) using SQL Server Management Studio (SSMS) and discover the data or objects. You can write SQL queries from your SSMS directly on a database on another machine. In Oracle they call it DBLinks (Database Links).

Read More »

Calculate Age in SQL Server

In my daily work, I need to calculate and report the age of people very often. There are a couple of ways to calculate the age and will give you the right result. I do not recommend a SQL Function to to this. SQL Functions are performing very slow, especially …

Read More »

Split postal code range into single rows

It’s been a while since my last article. I’ve been busy working on a lot of small projects. One of these was determine the market share of a single office in the country, compared to competitors. The data I needed for this project was postal code data per office and …

Read More »

SSAS OLAP is returning wrong results

Like the title says; my SSAS OLAP cube (SQL 2008R2) was giving me wrong results when selecting a combination of a measure and a fact. I was struggling for days with this issue. I called old colleagues, reading a lot of articles online but no solution yet.

Read More »

How to implement Dimension Security in SSAS

I know it was not difficult to implement dimension security in Analysis Services.  While it’s not difficult, why did it cost me a lot of days to get this to work? Well, its because you have to do a lot of little settings and it’s easy to make a small mistake …

Read More »

Prevent Divide by Zero in SSRS

prevent-divide-by-zero-ssrs

In a previous post, I wrote about how to prevent the divide by zero issues in Reporting Services. The problem with the custom code I used was that the code returned the value 0 when one of the numbers is 0 or unknown.

Read More »

Calculate Lost Customers using T-SQL

Calculate Lost Customers in SQL

A common question in the Business Intelligence world from customers is “how many customers did we lose this year” ? Businesses wants to know this so they can act faster to keep customers doing business with them. In this article, I will help you to create SQL to calculate this …

Read More »

How To Find the slowest SQL Queries

Slowest_SQL_Queries

This stored procedure displays the top worst performing queries based on CPU, Execution Count, I/O and Elapsed_Time as identified using DMV information.  This can be display the worst performing queries from an instance, or database perspective.   The number of records shown, the database, and the sort order are identified by …

Read More »

Interesting Course about data visualisation from Google

Making Sense of Data   Do you work with surveys, demographic information, evaluation data, test scores, or observation data? Are you interested in making the data you collect more useful by organizing it, analyzing it, and applying it in different ways? This self-paced, online course is intended for anyone who …

Read More »

How to Refresh Reporting Services Cache?

Dynamic Refresh SSRS Cache Using SQL

I am working for a client which uses a Datawarehouse in which the data is loaded once a day during the night. During the rest of the day, nothing changes in the datawarehouse. After a couple of years, the database grows and grows and reports are getting slower and slower. …

Read More »

Calculate time in hours and minutes between two dates

 Sounds easy right? I want to calculate the difference in hours and minutes between two dates. A good readable notition for my report. I want a format like this: 00:36:53 OR 02:13:45 This can easy be done using a T-SQL Statement like this: CONVERT(nvarchar(64), EindDatum-StartDatum, 108) AS DurationCONVERT(nvarchar(64), EindDatum-StartDatum, 108) AS …

Read More »

SSAS: How to format a dimension attribute?

 I was looking for a method of formatting a dimension attrbibute in SSAS2008R2 to, for example a currency symbol €. In search of this question, I found out this is not possible within the default SSAS settings (format column). I thougt this was possible just like the measures settings with …

Read More »

Punt en comma verkeerd SSRS

 In SSRS kun je binnen een cel aangeven hoe de waarde afgedrukt moet worden. Dit kan wat problemen veroorzaken als je niet weet hoe je bepaalde instellingen moet doen. Punt en comma kan verkeerd worden weergegeven (SSRS Decimals). Neem het getal 100000,12. Dit zou je willen weergeven als 100.00,12. als …

Read More »

SSRS Sparkline NU en TREND

 De  SSRS sparkline is een krachtig grafiekje dat in een oogopslag een trend kan laten zien. Google Finance gebruikt de sparkline bijvoorbeeld om de koers van een aandeel over de dag te tonen terwijl het getal dat je ziet de real-time koers toont. Dat is ook wat je vaak wilt …

Read More »

After update trigger

Soms is het handig om een mutatiedatum of mutatieuser bij te houden op een veld, met name in een master data omgeving. Je kunt hiervoor gebruik maken van een trigger op een tabel. Dit moet zowel werken als er nieuwe data wordt ingevoerd als wanneer er data wordt bijgewerkt.

Read More »

Dichtstbijzijnde werkdag uitrekenen

Ik had vorige week een leuke uitdaging. In de KPI tabel die ik gebruik voor bepaalde rapportages zijn enkel de normale werkdagen uitgerekend, maandag t/m vrijdag. Feestdagen komen ook voor. De weekenden zijn hier bewust uitgelaten ivm FTE tellingen die anders niet lekker lopen.

Read More »

Nederlandse feestdagen in SQL Server

Er is helaas niet een standaard functie in SQL Server om te bepalen of een bepaalde datum een feestdag is. Om dit te bepalen is het handig om gebruik te maken van een datumdimensie zoals hier uitgelegd.

Read More »

Excel Pivot online publiceren

Ik vond vandaag een leuk artikel over het online publiceren van een Excel Pivot sheet. Ik heb het zelf nog niet uitgetest maar dat ga ik zeker binnenkort eens doen! http://sqlblog.com/blogs/jamie_thomson/archive/2012/08/13/using-pivot-tables-in-the-office-excel-web-app.aspx

Read More »

SQL Output naar Excel geeft miljoenen

Excel SQL Miljoenen

Het zal vaak gebeuren dat je de uitkomst van een SQL query naar Excel wilt kopieëren om dit door te sturen voor bijvoorbeeld een controle op de cijfers of gewoon voor een simpel lijstje. Je zult dan ook merken dat Excel de getallen zal weergegeven in miljoenen.  Dit artikel behandelt …

Read More »

PowerPivot Format Percentage

In MS PowerPivot voor Excel kun je zelf calculaties toevoegen aan je draaitabel. Een handig truukje is om de gewenste formatting direct toe te voegen aan de formule. Als je gebruik maakt van een bepaalde deling om een percentage te berekenen is het voor de gebruiker/analist handig om het percentage …

Read More »

Calculate DateDiff With Only WeekDays or Workdays

Today, I was working on a fact table for my datawarehouse. I was looking for a function to calculate the number of “normal weekdays” between two given dates  I had a record in my Dwh from a HR system with two dates (start-end) and a number of hours “sick” . …

Read More »

Centraliseren van KPI’s in je Datawarehouse

Je maakt schitterende rapportages met de mooiste cijfers, omzetten, productiviteit en KPI’s. Door de tijd komen er steeds meer rapportages bij binnen de organisatie. Tot iemand ineens opmerkt dat de waarden van KPI’s niet gelijk zijn tussen de verschillende rapportages. Oops! In dit artikel bespreek ik een manier om te …

Read More »

Reset Ident Column in Database

Reset Ident Field in a Database

This is a very handy little script to generate a script to reset the ident column of all your database tables. This can be handy after filling and truncating tables. This script uses a schema “ps”. Replace it with .dbo if needed.

Read More »

Calculate Weeks Between Two Dates using DateDiff

In SQL Server, there’s a buildin function to calculate the number of weeks between two dates. This function is called “DateDiff”. The problem with this function is that Sql Server thinks the week starts on sunday. Maybe this it true in some situations but at  my current project,  the week …

Read More »

Gratis E-Book: Introducing Microsoft SQL Server 2012

Gratis e-book van Microsoft te download op deze website: Friends, the final and complete version of Introducing Microsoft SQL Server 2012, by Ross Mistry (@RossMistry) and Stacia Misner (@StaciaMisner), is now ready as a free download! You can download the PDF version of this title here (288 pages; 10.8 MB). We …

Read More »

Datawarehouse and Datamart – Empty Strings or NULL Values?

I was wondering what’s the best method to store empty fields from source systems in a datawarehouse. For example;a customer record without a first name stored in the database. When loading this record in my datawarehouse, should I set this field to NULL (to save space) or should I load …

Read More »

Running Totals / Cumulatieven berekenen

Cumulatieven berekenen SQL Server

Op internet is er al veel over geschreven maar ik vond het de moeite waard om een artikel te posten over Running Totals / Cumulatieven berekenen binnen Microsoft SQL Server 2005 / 2008. Er zijn diverse manieren om dit te doen. De meest snelle manier wordt in dit artikel besproken.

Read More »

Hoe maak ik een Periode Dimensie?

Deze blog behandelt de periode dimensie. Deze lijkt sterk op de datum dimensie die eerder is besproken (en onmisbaar is in ieder datawarehouse) maar zijn functie is net iets anders. De kracht van het gebruik van deze tabel wordt beschreven met wat voorbeelden van AdventureWorks.

Read More »

Data Vault AdventureWorks Voorbeeld

Op internet zijn veel artikele te lezen over de  Data Vault. Dit is een manier/datamodel om een data warehouse te onwerpen.  Wat mij opvalt is dat er (nog) geen goede voorbeelden te vinden zijn van het Datamodel en de ETL.  Om de methode beter te begrijpen is het handig om …

Read More »

Data conversie performance SSIS

Vandaag liep ik tegen een heel goed artikel aan van het SQL CAT omtrent performance verschillen tussen de verschillen mogelijkheden voor het converteren van datatypen binnen SSIS.

Read More »

Hoe maak ik een tijdsdimensie?

Tijdsdimensie zijn net als datumdimensies handig wanneer je eigenschappen van een tijdstip wilt vastleggen voor een bepaald feit. Als je bijvoorbeeld de tijd van een verkoopt wilt registeren sla je de tijd niet op binnen een feitrecord maar sla je de tijdssleutel naar het dimensierecord op.

Read More »

Aansturing ETL jobs binnen Datawarehouse

Om de ETL jobs van een datawarehouse te activeren kun je diverse manieren toepassen. Je kunt een SSIS package maken die alle onderliggen ETL packages aanroept. Je kunt ook een SSIS package maken die alle Stored Procedures voor ETL verwerking aanroept. Tot slot kun je een Stored Procedure maken die …

Read More »

Script alle databases en objecten

In navolging op een voorgaand artikel over het scripten van je databaseobjecten heb ik een stored procedure gemaakt die automatisch alle databases voor je scripts en het script wegschrijft naar een folder. Dit script is gemaakt in SQL Server 2005. Dit is handig omdat je nu alle objecten zoals tabellen, …

Read More »

Metadata – Tabelgroei in Datawarehouses

Tijdens het uitwerken van het beheer van metadata (opslag in een metadata-database) voor ons Datawarehouse kwam het onderdeel ‘tabelgroei’ naar voren. In een Datawarehouse is het zinvol om te weten hoe groot tabellen zijn en hoe de groei van deze tabellen zich ontwikkeld.

Read More »

ETL Tool of SQL

In een voorgaand artikel schreef ik over het voordeel van het afhandelen van wijzigingen binnen een dimensie volgens het Kimball Slowly Changing Dimension Type 2 principe, het aanmaken van een nieuwe rij binnen een dimensie. Er is uitgelegd wat de voordelen van deze methode zijn en hoe het werkt. Hieronder …

Read More »

Dimensie bijwerken in een Datawarehouse

In een voorgaand artikel schreef ik over het voordeel van het afhandelen van wijzigingen binnen een dimensie volgens het Kimball Slowly Changing Dimension Type 2 principe, het aanmaken van een nieuwe rij binnen een dimensie. Er is uitgelegd wat de voordelen van deze methode zijn en hoe het werkt. Wat …

Read More »

Historical Staging Area HSA in een DWH project

Bij Datawarehouse-projecten is er altijd de vraag welke architectuur het beste kan worden ingezet. Iedere architectuur heeft zijn eigen voor- en nadelen. Wat ik belangrijk vind aan een architectuur is dat deze flexibel en schaalbaar moet zijn. Met andere woorden; het moet makkelijk kunnen worden aangepast aan nieuwe behoeften vanuit …

Read More »

Waarom niet enkel Type 2?

Bij een Slowly Changing Dimension scenario wordt normaliter per veld bepaald of het een type 1, type 2 of type 3 veld betreft. Bij een type 1 wordt het record overschreven met de nieuwe waarde, bij een type 2 wordt er een nieuw record aangemaakt en bij een type 3 …

Read More »

Dimensie Lookup Optimalisatie

Voor het bijwerken van de dimensie/feit moet er worden bepaald of een record al bestaat. Dit gebeurt normaal gesproken door te kijken naar de business key (natural key) in de dimensie. Als deze niet gevonden wordt betreft het een nieuw record en dient deze te worden ge-insert. Als deze wel …

Read More »

Decrypt Stored Procedure, Views, Functions in SQL Server

Last week I had a stored procedure in my SQL database which was encrypted. On the internet, you can find a lot of (payed) tools to decrypt a stored procedure but I also found this script. This script can decrypt Stored Procedures, Functions, Views  and Triggers decrypten. You can find the script …

Read More »

SSIS Package Configurations

Het werken met SSIS packages kan nog wel eens problemen opleveren als er over verschillende omgevingen ontwikkeld moet worden. Dougbert.com heeft in een blogpostje wat vermeldingen naar SQL MVP’s gezet welke beschrijven hoe men deze problemen kan tackelen met behulp van SSIS Package Configurations.

Read More »

MSc Business Intelligence

DNV Academy CIBIT zal in 2010 als eerste nederlands opleidingsinstituur gaan beginnen met een officiele Master of Science opleiding Business Intelligence. Op 12 maart was hier een informatieavond over waar zij bekend maakten wat de opleiding ongeveer in gaat houden.  

Read More »

Checkpoints in SSIS

De Control Flow in Integration Services biedt controle en overzicht over de verschillende tasks welke binnen je package uitgevoerd worden. Maar als een van deze tasks echter fout gaat wil je vaak niet dat de voorgaande stappen opnieuw uitgevoerd worden. Misschien heb je wel iets uitgevoerd wat geen 2 keer …

Read More »

SQLBI Methodology

Ik liep van de week tegen een interessant stukje informatie aan omtrent een methodologie voor BI en Datawarehouse oplossingen. Zoals de meesten welbekend zijn de grootste theorieen binnen de BI markt die van Kimball en Inmon, met als kleine derde de Datavault van Dan Linstedt. De methodologie waar het hier …

Read More »

T-SQL Group By ALL

Zodra je een T-SQL Query typt wil je de data vaak groeperen. Vandaag kwam ik achter een grappig truukje bij het groeperen, de GROUP BY ALL mogelijkheid. Wellicht wat lastig uit te leggen wat het precies doet maar met een paar voorbeelden erbij zou het moeten lukken!

Read More »

Excel-connectoren en 64-bit

De SSIS Excel-connector is een speciale connector welke niet veel configuratiemogelijkheden heeft maar precies doet wat hij zou moeten doen: data vanuit een Excel-tabblad lezen en het erin terugschrijven. Behalve als je op een 64-bits omgeving werkt.

Read More »

Hoe maak ik een datum dimensie?

Datum dimensies zijn enorm handig. Door gebruik te maken van een datum dimensie / datumtabel kun je voor een datum bepalen in welke week deze datum valt, welk jaar, welke maand, of het een feestdag is, etc. Dit artikel laat zien wat je met een datum dimensie kunt doen. Ook …

Read More »

Hoe backup ik mijn Database?

Dit artikel geeft een beschrijving hoe je een Microsoft SQL Server database kunt scripten. Dit script bevat de complete databasestructuur en alle objecten binnen de database zoals functies en Stored Procedures.

Read More »

Custom Logging in SSIS

  Logging In SSIS (Integration Services) is een handige methode die je standaard in iedere package zou moeten inbouwen. Door te loggen kun je (indien nodig) altijd terugzoeken hoe laat packages zijn uitgevoerd en of alles goed is gegaan wat auditen ten goede komt. Dit kan noodzakelijk zijn wanneer er …

Read More »

BIDS Helper

De Business Intelligence Development Studio (ofwel BIDS) wordt doorgaans gebruikt voor het ontwikkelen van Microsoft BI-programmatuur. Nu is er overal ruimte voor verbetering en in dit is de BIDS Helper hier voor de verbeteringen.

Read More »

Analysis Services, Reporting en Excel 2007

Momenteel werk ik op een project waarbij SQL Server 2005 (64-bit), Analysis & Reporting Services plus Excel 2007 wordt geimplementeerd. De combinatie Analysis en Excel biedt zeer goede mogelijkheden tot het uitvoeren van analyses, drill down, slice & dice etc.

Read More »

SSRS Best Practice I – Beperk datasets

In SQL Server Reporting Services kun je datasets aanmaken.  Een van de best-practices is om deze datasets tot een minimum te beperken, het liefst zelf maar 1. Zodra iemand ooit het rapport moet aanpassen hoeft hij niet vele datasets langs om alles na te zoeken maar kan hij volstaan met …

Read More »

Subtotal Bold in een Matrix

Zodra je de subtotals in een matrix bold wilt maken of een ander kleurtje wilt geven dan zul je merken dat dit niet lekker werkt. Je kunt niet het woordje “Total” bold maken maar zult nog een extra handeling moeten uitvoeren. Lees snel hoe je de opmaak van je subtotal …

Read More »

Recursieve Query met CTE II

Er zijn een aantal scenario’s te bedenken waarin het runnen van een recursieve query uitkomst kan bieden. Dit voorbeeld gaat in op een recursieve query binnen een afdelingstabel waardoor een organogram opgebouwd kan worden. Hierbij wordt gebruik gemaakt van een Common Table Expression (CTE).

Read More »

Business Rules in het Datawarehouse

Zoals de naam al zegt zijn Business Rules regels die voor een bedrijf gelden. Iedereen met een gezond verstand kan Business Rules bedenken. Ook bij Datawarehousing krijg je te maken met Business Rules en de afhandeling van deze Business Rules.

Read More »

Kolomgebruik in Views

Binnen SQL Server 2005 is het mogelijk om te zien welke kolommen en welke tabellen gebruikt worden in een View. Hiervoor is een System-View binnen iedere database. Deze view wordt automatisch aangemaakt. Best practice is om per rapportage / ETL package een view te maken zodat je de logica op …

Read More »

Tekst zoeken in SSIS-packages

In SSIS (SQL Server Integration Services) is het mogelijk om de inhoud van de packages te doorzoeken. Dit is handig als je  wilt weten of een kolom wordt gebruik in een source of destination. Je kunt dit weleens nodig hebben als er een kolom in de sourcedatabase verandert en je …

Read More »

Rekenen met datums

Rekenen met datums kan in SQL Server 2005 op verschillende manieren. SQL Server 2005 kent verschillende functies die je kunt gebruiken als je met datums gaat werken. Dit artikel beschrijft een aantal praktische voorbeelden die je in de praktijk zult tegenkomen als je met databases en datums werkt.

Read More »

Dubbele rijen vinden

Iedere rij in een tabel wordt gekenmerkt door een primaire sleutel. Nu komt het nog weleens voor dat in je systeem de sleutel twee keer voorkomt. Dit mag eigenlijk niet. Met deze simpele Query kun je snel dubbele rijen vinden in je tabel!

Read More »

Query Active Directory

Het kan handig zijn om data uit je Active Directory (AD) op te nemen in je Datawarehouse. In mijn situatie was het handig omdat de klant graag wilde zien of een gebruiker die uit dienst was nog steeds in AD bestond. Deze koppeling had men op dit moment niet, de …

Read More »

Problemen bij het Exporteren naar Excel

Als je een rapportage in Reporting Services maakt wil je deze rapportage vaak naar Excel kunnen exporteren. Reporting Services vernaggeld nogal eens wat aan de opmaak. Zo worden er vaak kolommen ingevoegd die er eigenlijk niet horen en krijg je vaak afrondingsproblemen.

Read More »

Recursieve Query met CTE I

Ik liep onlangs tegen een vraagstuk aan die ik wel interessant vond om op mijn blog te plaatsen. Het behandelt een veelvoorkomende situatie waarbij je een dataset meerdere keren gebruikt, ook wel een recursieve query genoemd. Men vroeg het aantal gewerkte weken per periode per uitzendkracht.

Read More »

Multi-Value Parameter doorsturen bij Drillthrough

Dit artikel beschrijft hoe je eenvoudig een multi-value parameter kunt doorsturen van rapport A naar rapport B. Ik ben zelf lange tijd aan het klooien geweest om dit voor elkaar te krijgen. De oplossing was uiteindelijk erg simpel, het werkt precies hetzelfde als een normale parameter doorsturen. Het probleem was dat …

Read More »