Senior Data Ingestion Engineer

Dit is waarom jij als Senior Data Ingestion Engineer bij NS wil werken: Miljoenen reizigers vertrouwen op onze technologie, samen met je scrumteam bouw je aan een groot dataplatform, je bent kritisch, levert verbetervoorstellen en helpt deze te realiseren, met innovatieve ideeën werk je mee aan een data gedreven NS.

De NS strategie is Nederland duurzaam bereikbaar voor iedereen. Belangrijke pijlers zijn het netwerk van de toekomst, stations als knooppunt van mobiliteit en leefbaarheid, flexibel en veelzijdig reizen met de NS-app. Flexibel en veelzijdig reizen, betekent dat NS transformeert van treinbedrijf naar breed mobiliteitsbedrijf en duurzame deur-tot-deur reizen voor iedereen beschikbaar maakt. Data speelt een hoofdrol in al onze processen en is volop in beweging. Bijvoorbeeld het krijgen van de juiste reisinformatie, of het veilig laten rijden van de treinen. Jij hebt als Senior Data Ingestion Engineer een belangrijke rol in het neerzetten van een Data gedreven NS waarmee de organisatie de juiste beslissingen kan maken.

Werkzaamheden:

Als Senior Data Ingestion Engineer maak je deel uit van het DevOps platformteam binnen de afdeling DIA (Data, Innovatie & Analyse) in het cluster Endpoints. Op dit Platform worden door onze afnemers slimme dataoplossingen voor en door de NS ontwikkeld, zoals de Zitplaatszoeker: Zitplaatszoeker | Reisinformatie | NS.

Als Senior Data Ingestion Engineer ben jij de technische ruggengraat van het Team Lakehouse. Je bent geen traditionele data engineer die enkel Pipelines bouwt. Jij ontwerpt, bouwt en onderhoudt het schaalbare en robuuste platform waarop al onze data-ingestie draait. Je slaat de brug tussen software engineering en data engineering om onze huidige processen te transformeren van een verzameling losse scripts naar een centraal, productwaardig ingestie platform.

Daarnaast speel je een cruciale rol in het realiseren van de "Bronnen Zetten Data Klaar" visie door een solide, gestandaardiseerde 'achterkant' te bouwen die data niet alleen verplaatst, maar ook valideert en als een betrouwbaar product aanbiedt.

Concreet ga je het volgende doen:

• Het team: binnen het team ben je kritisch en neem je gedeelde verantwoordelijkheid voor resultaten. Je neemt het team op sleeptouw en zorgt ervoor dat jouw expertise wordt gedeeld binnen het team. Feedback geef je gevraagd en ongevraagd. En krijg jij feedback, dan zie je dat als een kans om te groeien. Je bent communicatief, flexibel, snel van begrip en kan goed omgaan met deadlines en tijdsdruk.
• Architectuur & Design: Je helpt bijvoorbeeld mee met het neerzetten van een push data service, bij het ontsluiten van bronnen op de meest efficiente manier en bij het proactief meedenken over tooling, networking en containers.
• Platform Bouwen: Je bouwt met Python de core services van ons nieuwe ingestieplatform. Dit omvat het ontwikkelen van generieke componenten voor verschillende ingestiepatronen (API, FTP, Service Bus, Eventhub) en het implementeren van de data push-principes, zoals het optuigen van een Endpoint waar bronnen hun data naar kunnen pushen.
• Productization van Data: Je zorgt ervoor dat we stoppen met het 'as-is' doorgeven van bestanden. Je implementeert de logica voor validatie, versioning en metadata-management, waardoor we een betrouwbare 'bronze layer' kunnen aanbieden.
• Automatisering (IaC): Je zet je diepgaande kennis van Terraform in om de volledige infrastructuur van het ingestieplatform als code te verbeteren. Dit maakt het uitrollen van nieuwe Pipelines en het doorvoeren van wijzigingen (zoals initial loads) voorspelbaar en efficient.
• Self-Service Verbeteren: Je werkt aan de backend van de webapplicatie om deze daadwerkelijk nuttig te maken. Je bouwt de API's die nodig zijn om de status van runs te tonen, retries mogelijk te maken en de complexiteit van API-ingestie (zoals paginering) voor data-teams te abstraheren.
• Technisch Leiderschap: Als senior in het team neem geef je advies in technische discussies, begeleid en help je je mede-collega's in het opdoen van nieuwe en benodigde kennis en ben je een betrouwbaar sparringpartner in alles Ingestion gerelateerd.

• 5-10 jaar ervaring als Software Engineer, Platform Engineer of Data Engineer met een zeer sterke software achtergrond.
• Expert in Python: Je bent een expert in het bouwen van robuuste, schaalbare en onderhoudbare applicaties en services in Python.
• Cloud & Architectuur: Diepgaande, hands-on ervaring met Azure. Je kent de nuances van services als Function Apps, Azure Container Apps, Service Bus, Event Hubs en ADLS Gen2. Je denkt in ecosystemen en schaalbare (micro)service-architecturen.
• Containerisatie: Je hebt ruime ervaring met Docker, Kubernetes of vergelijkbare orchestrators zoals Azure Container Apps om applicaties schaalbaar en geïsoleerd te kunnen draaien.
• Infrastructure as Code (IaC): Terraform heeft voor jou geen geheimen. Je bouwt en beheert infrastructuur geautomatiseerd.
• API Design: Ervaring met het ontwerpen en bouwen van (RESTful) API's en bij voorkeur ook met concepten als gRPC/Protobuf.
• Databases: Ervaring met RDBMS zoals Postgres en data migraties.

Wensen

• Open Table Formats: Kennis van en ervaring met Delta Lake of Iceberg is een grote pre.
• Data Processing: Ervaring met data-intensieve libraries zoals pyArrow.
• Azure Networking: Een solide begrip van netwerkconcepten binnen Azure om veilige en performante dataverbindingen op te zetten.
• Frontend: Kennis van en ervaring met typescript & nextJs.
• Security: Bijvoorbeeld kennis van OathTooling stack: Ervaring met protobuf, gRPC, sqlc
• Coachende vaardigheden; graag voorbeelden geven op het voorblad.

Competenties

• Je bent een "platformdenker" die het grotere geheel ziet.
• Je wordt enthousiast van het oplossen van complexe, systemische problemen en bouwt liever de machine die de Pipelines maakt, dan 100 losse Pipelines met de hand.
• Je bent pragmatisch, communicatief sterk en in staat om technische concepten uit te leggen aan minder technische stakeholders en aan je directe collega's.
• Je bent een bouwer die niet terugdeinst voor complexe uitdagingen en de drive heeft om het bestaande landschap fundamenteel te verbeteren.

Op loopafstand van station Utrecht Centraal bundelen ruim 300 collega's van de afdeling DIA (Data, Innovatie & Analyse) hun krachten. Hier werkt een mix van ervaringen en persoonlijkheden, die elkaar graag opzoeken om met elkaar te sparren en kennis te delen. Als Senior Data Ingestion Engineer ben je onderdeel van een scrumteam, maar overleg je ook veel met collega's uit andere vakgebieden. Kortom, we zoeken een echte teamplayer!

• Startdatum: zo snel mogelijk
• Einddatum: 1-11-2026
• Uiterlijk aanbieden: dinsdag 21 oktober 15:00
• Selectiegesprekken: zo snel mogelijk

Bij NS krijg je veel vrijheid. We beloven je dat geen dag hetzelfde is. De kernwaarden van NS zijn open en betrouwbaar. Wij gaan voor resultaat en willen vooruit.