Ypma Data Services

VodafoneZiggo

Gen AI/ Cloud Engineer

Frank was de lead Engineer in een team van 4 Data Scientists en 3 Data Engineers in het opzetten van een AI-gedreven realtime call-center Agent Asistance applicatie (backend API). Met de applicatie kunnen problemen van bellende klanten sneller opgelost worden, en worden de werkzaamheden van de call-center medewerkers deels geautomatiseerd.

Dit was een internationaal project, gedreven door moederbedrijf Liberty Global. Er was strategische en technische ondersteuning van Boston Consulting Group X, en samenwerking met Sinrize (Zurich), Telenet (België) en VMIE (Ierland).

Gebruikte technologiën zijn o.a.: python, LangChain, Azure OpenAI (GPT 3.5 turbo, 4o mini), AWS SageMaker, AWS ECS, PostgreSQL, Redis, OpenSearch (for RAG), CDK, gitlab.

VodafoneZiggo

Data/ Cloud Engineer

In het core team van het Advanced Analytics Platform op de afdeling Data and Artificial Intelligence, wordy een groot aantal batch- en streaming databronnen ingelezen. De bronnen zijn zeer divers in zowel vorm (API, csv, xml, json, parquet) als ook omvang als (tot GB's per uur).

Naast de implementatie en het onderhoud van data pipelines voor data-ontsluiting (Scala) en verladingen (python), heeft Frank zich bezig gehouden met het opnieuw opzetten van het ETL Framework. Dit bestaat uit enkele python libraries, waarmee met minimale configuratie een airflow DAG, transient EMR cluster en een spark ETL job gedeployed kunnen worden.

Gebruikte technologiën zijn o.a.: AWS EMR, AWS MWAA (airflow), AWS S3, AWS Athena, CDK, Cloudformation, Scala, python, (py)spark, gitlab, Hue, oozie, Jupyter.

NN Investment Partners

Data/ Cloud Engineer

In de afdeling Investment Technology wordt data uit een groot aantal bronnen ingelezen en verwerk om de asset management processen te ondersteunen. In een team van 7 Data Engineers, werkend via kanban, houdt Frank zich bezig met het ontwerp, bouw en operations van het Data Lake op AWS. Dit is een greenfield project, waarbij de functionaliteit stukje voor stukje wordt overgeheveld uit een verouderd SQL Server DWH.

Voor Frank ligt in het begin de nadruk bij dit project op het innoverende deel; het opzetten van proof of concepts op de nieuwe AWS architectuur en het inrichten van de deployment pipelines. Vervolgens breidt hij dit uit tot een volwaardig product. Hij hield hierbij speciaal aandacht voor security en compliancy van het platform.

Gebruikte technologiën zijn o.a.: AWS S3, AWS Athena, AWS Lakeformation, CDK, Cloudformation, python, pyspark, gitlab, AWS codepipeline AWS RDS, AWS KMS.

Rabobank

Big Data Engineer, Dev Chapter Lead

De Rabobank heeft een Big Data platform voor marketingdoeleinden. In een scrumteam van 6 man is Frank één van 3 Data Engineers, zich bezig houdend met de ontwikkeling van data-verladingen en -ontsluiting. Gebruikte technologieën zijn HBase, NiFi, Node.js (loopback.io), Spark Structured Streaming (Scala), Kafka en Hive. Enkele van de micro-services draaien op Docker of Cloudfoundry instanties.

Naast zijn ontwikkeltaken was Frank verantwoordelijk voor het opzetten van development standaarden, en het versimpelen van (bijvoorbeeld deployment) processen voor alle 3 de scrum teams op het datalake. Dit om een basis te leggen voor verdere uitbreiding (verdubbeling) van de teams.

Alliander

Lead Big Data Engineer

Een gedateerd Business Intelligence database-systeem zou binnen korte tijd uitgefaseerd worden, en alle data en datastromen moesten verhuisd worden naar het Big Data Platform. Met behulp van Kafka, Spark, Oozie, Impala, Kudu en SAP HANA werd dit gerealiseerd. Er werd getracht zoveel mogelijk standaard- en generieke processen te gebruiken, opdat het platform eenvoudig uitgebreid kan worden. Hiervoor heeft Frank een ETL-framework gebouwd in Scala om data door het lagenmodel te laden.

Alliander

Lead Developer real-time dataplatform

Alliander verkrijgt als netbeheerder allerhande meet- en storingsgegevens uit het door hun beheerde stroomnetwerk. Als lead developer in een scrumteam was Frank verantwoordelijk voor de (greenfield) implementatie van het Big Data Plaform dat voor monitoring- en analysedoeleinden werd opgezet. De eerste use-case was het implementeren van een live-monitoring tool met behulp van Spark en SAP Streaming Analytics. Een extra uitdaging vormde het inbedden van dit nieuwe platform in de organisatie: inbeheername, optuigen van een OTAP-straat, inrichten van versiebeheer, ontwikkel- en testichtlijnen en deploymentprocessen.

Nidera

Lead Developer/ architect datawarehouse

In de ruim 2,5 jaar dat Frank bij Nidera werkzaam is geweest heeft hij het In-Memory datawarehouse (SAP HANA) zien ontstaan, en doorgroeien tot een volwassen systeem, met een beheerorganisatie en offshore developerteam. Naast het geruikelijke ontwikkelwerk was Frank mede verantwoordelijk voor het technisch ontwerp, dashboard template-ontwikkeling, documentatie, deployment processen en monitoring. Frank heeft gewerkt met o.a. SAP HANA, Data Services, Design Studio en Analysis for Office.