Slimme technologie voor een sterke maakindustrie met 24/7 ononderbroken productie van IIoT-oplossingen voor bedrijven.
VDAB, de publieke arbeidsbemiddelingsdienst van Vlaanderen, België, speelt een centrale rol in het matchen van werkzoekenden met jobs, het aanbieden van beroepsopleidingen en het geven van loopbaanbegeleiding. Daarnaast ondersteunt VDAB werkgevers bij het vinden van gekwalificeerde kandidaten en biedt het integratieprogramma’s aan voor kansengroepen, waaronder langdurig werklozen, mensen met een beperking en nieuwkomers. Hoewel sAInce.io voornamelijk actief is in de maakindustrie, waren we toch enthousiast om VDAB te ondersteunen bij de uitdagingen waarmee ze worden geconfronteerd.
Om haar missie als loopbaanregisseur van Vlaanderen te vervullen, moest VDAB overstappen op een nieuwe big data-technologiestack die in staat is de enorme hoeveelheid data die dagelijks verwerkt wordt te beheren. Efficiënt databeheer en een snelle aanpassing aan nieuwe vereisten op het gebied van rapportering, data-analyse en machine learning waren essentieel voor VDAB om haar dienstverlening te verbeteren.
sAInce.io speelde een cruciale rol in het selecteren en testen van een nieuw dataplatform (SingleStore) voor het on-premise enterprise datawarehouse van VDAB. Na de initiële proof-of-concept werd deze verantwoordelijkheid overgedragen aan een nieuw team dat werkt aan het nieuwe datawarehouse volgens een datavault-aanpak. sAInce.io werd vervolgens opgenomen in een ontwikkelteam om te helpen bij de ontwikkeling van een generiek ingestion framework om elk type data te laden in een data lakehouse.
Met elk type data bedoelen we tabelbronnen uit traditionele relationele databasesystemen zoals Oracle, MySQL en SQL Server, Kafka-eventdata en bestanden. Het doel van het data lakehouse: een volledige historische laag bieden voor al deze datasets zodat deze gebruikt kunnen worden
door data scientists om historische data te analyseren en machine learning modellen te bouwen
door business analysts of rapportbouwers om snel historische data te verkennen
door businessgebruikers via de datavault en datamarts in het datawarehouse voor uitgebreide analytische rapportering.
Daarnaast moest dit ingestion framework integreren in het bestaande architectuurlandschap van VDAB. Nifi wordt gebruikt als technologie om alle tabel- en bestanddatasets te extraheren en genereert Avro Delta-bestanden op een on-premise datalake, ondersteund door een Cloudera HDFS-cluster.
Tot slot ontwikkelde het team een robuust data ingestion framework gebaseerd op Python, Apache Airflow, Apache Spark, Apache Iceberg en HDFS, dat efficiënte gegevensverwerking en integratie mogelijk maakt.
Veelzijdige data-inname: Het framework laadt gegevens uit diverse bronnen – waaronder databases, events en bestanden – in een data lake (in feite een lakehouse) en bedient de landing zone van het enterprise datawarehouse via eenvoudige configuratie.
Automatisering en efficiëntie: Door slechts een beperkt aantal configuratie-items te vereisen, beheert het systeem automatisch de gegevensstroom door alle lagen heen. Dit versnelt de time-to-market aanzienlijk en maakt handmatig gebouwde ETL/ELT-pijplijnen overbodig.
Uitgebreide gegevensverwerking: Het framework ondersteunt het laden van databasetabellen, platte bestanden en Kafka-events. Historisatie wordt gegarandeerd via verschillende methoden zoals transactiedatum, inhoudelijke hashwaarde, mapping via audit-tabellen en pure append-only verwerking.
Geavanceerde gegevensopslag: Het systeem creëert SCD2 (Slowly Changing Dimension type 2) Iceberg-tabellen in Parquet-formaat op een HDFS-datalake, en draait op een on-premise Spark-cluster (Cloudera).
Parallelle verwerking en optimalisatie: Gegevens worden parallel geladen en geoptimaliseerd voor laadtijd en transformatie, afhankelijk van de structuur, grootte en gekozen historisatiemethode van de dataset.
Integratie en automatisering: Het framework integreert met SingleStore, waardoor automatische ingestion in de landing zone mogelijk is. Verder wordt Vaultspeed gebruikt voor de automatisering van de datavault-lagen. Het framework ondersteunt schemawijzigingen, automatische schema-evolutie, replays en subprocess-retries.
Monitoring en orkestratie: Het systeem integreert met Prometheus/Grafana voor monitoring. Ingestion, replay en onderhoud worden georkestreerd met Apache Airflow, wat zorgt voor een optimaal gebruik van resources op het Cloudera on-premise platform.
De implementatie van het nieuwe data-ingestieframework bij VDAB heeft geleid tot verschillende belangrijke voordelen:
Snellere time-to-market: Snellere oplevering van nieuwe datasets en rapportage-/analysevereisten.
Kostenreductie: Lagere kosten voor bijkomende ETL-ontwikkelingen.
Verhoogde efficiëntie: Snellere afhandeling van nieuwe aanvragen, waardoor VDAB vlotter kan inspelen op nieuwe noden.
Hoewel we een cruciale rol hebben gespeeld in de ontwikkeling van dit nieuwe framework, is het bouwen van een systeem altijd een teamprestatie en nooit de verdienste van één enkel persoon. Dus proficiat aan al onze collega’s bij VDAB en blijf vooral zo doorgaan!
De veelzijdige capaciteiten van sAInce.io sluiten perfect aan bij de uitdagingen op het vlak van data engineering en big data. Dankzij meer dan 20 jaar ervaring in datawarehousing, business intelligence en analytics, in combinatie met een grondige kennis van gedistribueerde computing frameworks zoals Apache Spark en Dask, én een diep inzicht in de data-architecturale noden voor elk type use case, kunnen wij u ondersteunen bij de digitale transformatie. Daarbij kijken we niet enkel naar hoe data wordt opgeslagen en gebruikt in applicaties, maar ook hoe deze data maximaal kan worden benut voor analytische doeleinden door eindgebruikers.
Door het volledige end-to-end pipelineproces mee te nemen bij het ontwerpen van systemen, zijn we in staat om oplossingen te leveren die echt het verschil maken en een échte transformatie mogelijk maken richting de slimme fabriek.