Van Power Query naar Fabric OneLake: wat wij zagen bij 25 miljoen records
Bij grote datavolumes loopt de Power Query connector in Customer Insights Data al snel tegen zijn grenzen aan. Gelukkig biedt de Microsoft Fabric OneLake connector uitkomst. Wij krijgen bij Intouch365 steeds vaker de vraag: “Moet ik nu overstappen naar de Fabric OneLake connector, of is Power Query goed genoeg?” We besloten de proef op de som te nemen en het gewoon te testen met 25 miljoen records.
De testopstelling
Voor de test maakten we een dataset aan met 25 miljoen records en 150 kolommen. Dit is een volume dat je snel tegenkomt bij grotere B2C-klanten met rijke klantprofielen, waarin transactiehistorie, gedragsdata en marketingattributen zijn gecombineerd.
De uitkomst was glashelder
De totale doorlooptijd via de Fabric OneLake connector? Circa 7 minuten. Dat is extreem snel. Ditzelfde volume via de traditionele Power Query connector resulteerde simpelweg in een foutmelding (Error); de connector kon de gigantische hoeveelheid data simpelweg niet verwerken. Mocht Power Query het overigens wel hebben gered, dan was de geschatte doorlooptijd minstens 30 tot 45 minuten geweest.
Bij kleinere datasets (onder de paar miljoen records) is het verschil beperkt en werken beide connectors prima. Maar zodra je écht op schaal gaat werken, kantelt het beeld direct.
Waarom OneLake schaalt en Power Query vastloopt
Het grote verschil zit in de onderliggende architectuur:
Power Query: Moet alle data kopiëren en transformeren in het computergeheugen. Dit zorgt bij grote volumes direct voor een bottleneck.
Fabric OneLake connector: Leest Delta tables rechtstreeks uit je lakehouse. Er is geen tussenliggende opslagstap, waardoor de data direct doorstroomt.
Daarnaast gebruikt CI Data de versiegeschiedenis van Delta tables voor een incrementele refresh. Dit betekent dat het systeem bij een update alleen de gewijzigde data ophaalt, in plaats van de complete database opnieuw te laden. Bij grote datasets scheelt dat enorm in doorlooptijd en in Azure-kosten.
Hybride datalandschappen koppelen met Shortcuts
Een ander groot voordeel in de praktijk is de ondersteuning van Fabric Shortcuts. Hiermee voeg je data uit diverse bronnen, zoals Azure Data Lake, Snowflake, Databricks, Amazon S3 of Google Cloud Storage, moeiteloos samen in één lakehouse. Dit laad je vervolgens als één centrale databron in binnen CI Data. Voor organisaties met een hybride datalandschap is dit goud waard.
Onze aanbeveling
Werk je momenteel met Customer Insights Data en kruipen de databronnen richting of over de grens van 5 miljoen records? Dan is de Fabric OneLake connector absoluut de weg vooruit. De architectuur is stabieler, de performance schaalt probleemloos mee en de integratie binnen het bredere Microsoft Fabric ecosysteem maakt het een logische keuze.
Power Query blijft waardevol voor kleinere, flexibele use cases. Maar op enterprise-niveau heb je een zwaarder kaliber nodig, en dat is precies wat de OneLake connector levert.
Sparren over jouw data architectuur?
Heb je vragen over de inrichting van de Fabric OneLake connector, of wil je sparren over jouw specifieke situatie? Neem dan direct contact op met Milan via milanvanmaaren@intouch365.nl.