Senior Data Engineer

• het inventariseren van relevante publieke databronnen, hun technische ontsluitingsmogelijkheden en de behoeften van afnemende teams en applicaties;
• het ontwerpen en realiseren van robuuste data-ingestie voor publieke bronnen naar het Cloud Data Platform, onder meer voor API-gebaseerde en andere open databronnen;
• het opschonen, transformeren, verrijken en structureren van data, zodat deze bruikbaar en consistent beschikbaar komt voor hergebruik;
• het inrichten van herhaalbare data-pipelines in Azure/Databricks, inclusief foutafhandeling, logging, monitoring en herstelbaarheid;
• het beschikbaar maken van datasets voor afnemers in een vorm die past bij verschillende gebruiksscenarios, zoals analyses, dashboards, AI-toepassingen en verdere dataverwerking;
• het bijdragen aan afspraken over datamodellering, metadata, documentatie, kwaliteit en beheer, zodat volgende databronnen sneller en consistenter aangesloten kunnen worden;
• het afstemmen met betrokken stakeholders, zoals het DACC, data-afnemers, architectuur, platformbeheer en andere betrokken teams binnen CIV en daarbuiten;
• het mede bepalen van technische keuzes en richting binnen het team, en het overdragen van kennis aan teamleden.

• De professional beschikt over WO werk- en denkniveau.
• De professional heeft minimaal 5 jaar werkervaring als Data Engineer of in een vergelijkbare rol.
• De professional beschikt over kennis van data-engineering in Microsoft Azure, waaronder het ontwerpen en/of bouwen en/of beheren van dataoplossingen en/of het werken met gangbare programmeer- en querytalen.
• De professional heeft ervaring met het ontsluiten en/of combineren en/of verwerken van data uit externe bronnen binnen een Azure-omgeving (zoals via APIs, databestanden en andere gegevensbronnen in verschillende formaten).

Wensen

• Ervaring met Azure Data Platform-componenten naast Databricks, zoals Azure Storage, en Data Factory.
• Ervaring met Delta Lake, medallion-architectuur of vergelijkbare patronen voor dataopwerking.
• Ervaring met publieke of overheidsdatabronnen, zoals open.overheid.nl, parlementaire data of andere open data-voorzieningen.
• Ervaring met metadata, lineage en documentatie van datasets.
• Ervaring binnen een overheidsorganisatie of in een omgeving met hoge eisen aan beheer, beveiliging en herbruikbaarheid.
• Mate waarin de professional kennis van Azure Databricks, Spark, Python, SQL en het bouwen van robuuste, herhaalbare data-pipelines, inclusief monitoring, foutafhandeling en beheerbaarheid.
• Mate waarin de professional ervaring heeft met het ontsluiten, opschonen, transformeren en beschikbaar maken van publieke of externe databronnen voor meervoudig intern gebruik, bij voorkeur in een overheidscontext of vergelijkbare complexe omgeving.
• Mate waarin de professional beschikt over de gevraagde competenties en senioriteit, zoals zelfstandig complexe data-vraagstukken oppakken, samenwerken met verschillende stakeholders, technisch richting geven en kennis overdragen aan teamleden (toetsbaar in cv, motivatie en/of gesprek).
• Mate van ervaring en/of affiniteit met de organisatie van de opdrachtgever.

Competenties

• In staat om zelfstandig technische vraagstukken op te pakken en tegelijk goed samen te werken met collega's uit verschillende disciplines.
• Goede communicatieve vaardigheden en in staat om technische keuzes helder toe te lichten aan teamleden en stakeholders.

Optie tot verlenging: Niets over bekend.

Hybride: Geen verdere informatie

Fee: De administratieve partner rekent een aanvullende fee van € 2,50 boven op het tarief.