Senior Data Engineer

Functieomschrijving

Je werkt als senior Data Engineer aan een centrale, herbruikbare en beheersbare inrichting op een Cloud Data Platform (Azure/Databricks) voor het ontsluiten, verrijken en beschikbaar maken van publieke databronnen voor intern hergebruik. Voorbeelden van dergelijke bronnen zijn open.overheid.nl, parlementaire data en andere openbare datasets.

Taken en verantwoordelijkheden

• Inventarisatie: in kaart brengen van relevante publieke databronnen, technische ontsluitingsmogelijkheden en de behoeften van afnemende teams en applicaties.
• Data-ingestie: ontwerpen en realiseren van robuuste data-ingestie naar het Cloud Data Platform, inclusief API-gebaseerde en andere open bronnen.
• Data-opwerking: opschonen, transformeren, verrijken en structureren van data voor herbruikbaarheid en consistentie.
• Pipelines: inrichten van herhaalbare data-pipelines in Azure/Databricks met foutafhandeling, logging, monitoring en herstelbaarheid.
• Dataservices: datasets beschikbaar maken voor verschillende gebruiksscenario’s (analyses, dashboards, AI-toepassingen, verdere dataverwerking).
• Standaarden en governance: bijdragen aan afspraken over datamodellering, metadata, documentatie, kwaliteit en beheer.
• Stakeholderafstemming: afstemmen met betrokken stakeholders en samenwerken met platform-, architectuur- en andere teams.
• Richting en kennisdeling: mede bepalen van technische keuzes binnen het team en kennis overdragen aan collega’s.

Afbakening

De opdracht richt zich op het centraal ontsluiten van publieke databronnen binnen het Cloud Data Platform voor intern hergebruik. Exacte invulling en prioritering worden per sprint of iteratie met het team bepaald.

Vereisten

• Opleiding: WO werk- en denkniveau, bij voorkeur informatica, data engineering of software engineering.
• Ervaring: minimaal 5 jaar als Data Engineer of vergelijkbare rol.
• Cloud & tooling: aantoonbare ervaring met ontwerpen en bouwen van data-pipelines en integraties in een cloudomgeving, bij voorkeur Microsoft Azure.
• Technisch: ervaring met Databricks, Spark, Python en SQL.
• Data-ontsluiting: ervaring met ontsluiten en verwerken van data uit externe bronnen (REST API’s, open datasets, bestanden in verschillende formaten).
• Data-opwerking: ervaring met opschonen, transformeren en modelleren van data voor hergebruik.
• Robuustheid: ervaring met inrichten van onderhoudbare en herhaalbare oplossingen, inclusief monitoring, foutafhandeling en documentatie.
• Methodiek: ervaring met werken in een Agile/sprintteam.
• Persoonlijk: zelfstandig technische vraagstukken oppakken en goed samenwerken met collega’s uit verschillende disciplines.
• Communicatie: in staat om technische keuzes helder toe te lichten aan teamleden en stakeholders.

Wensen

• Kennis en ervaring met Azure Databricks, Spark, Python, SQL en het bouwen van robuuste, herhaalbare data-pipelines inclusief monitoring en foutafhandeling.
• Ervaring met ontsluiten, opschonen, transformeren en beschikbaar maken van publieke of externe databronnen voor meervoudig intern gebruik, bij voorkeur in een complexe of overheidscontext.
• Senioriteit in zelfstandig complexe data-vraagstukken oppakken, samenwerken met stakeholders, technisch richting geven en kennisoverdracht aan teamleden.
• Ervaring of affiniteit met de organisatie van de opdrachtgever.

Pré’s

• Ervaring met andere Azure Data Platform-componenten zoals Azure Storage en Data Factory.
• Ervaring met Delta Lake, medallion-architectuur of vergelijkbare patronen voor dataopwerking.
• Ervaring met publieke of overheidsdatabronnen (bijv. open.overheid.nl, parlementaire data).
• Ervaring met metadata, lineage en documentatie van datasets.
• Ervaring binnen een overheidsorganisatie of in een omgeving met hoge eisen aan beheer, beveiliging en herbruikbaarheid.

Eisen

• Kandidaat beschikt over WO werk- en denkniveau
• Kandidaat heeft minimaal 5 jaar werkervaring als Data Engineer of in een
  vergelijkbare rol
• Kandidaat beschikt over kennis van data-engineering in Microsoft Azure,
  waaronder het ontwerpen en/of bouwen en/of beheren van dataoplossingen
  en/of het werken met gangbare programmeer- en querytalen
• Kandidaat heeft ervaring met het ontsluiten en/of combineren en/of
  verwerken van data uit externe bronnen binnen een Azure-omgeving (zoals via
  API’s, databestanden en andere gegevensbronnen in verschillende formaten)

Wensen

• Mate waarin de kandidaat kennis heeft van Azure Databricks, Spark, Python,
  SQL en het bouwen van robuuste, herhaalbare data-pipelines, inclusief
  monitoring, foutafhandeling en beheerbaarheid
• Mate waarin de kandidaat ervaring heeft met het ontsluiten, opschonen,
  transformeren en beschikbaar maken van publieke of externe databronnen voor
  meervoudig intern gebruik, bij voorkeur in een overheidscontext of
  vergelijkbare complexe omgeving
• Mate waarin de kandidaat beschikt over de gevraagde competenties en
  senioriteit, zoals zelfstandig complexe data-vraagstukken oppakken,
  samenwerken met verschillende stakeholders, technisch richting geven en
  kennis overdragen aan teamleden
• Mate van ervaring en/of affiniteit met de organisatie van de opdrachtgever
• Ervaring met Azure Data Platform-componenten naast Databricks, zoals Azure
  Storage en Data Factory
• Ervaring met Delta Lake, medallion-architectuur of vergelijkbare patronen
  voor dataopwerking
• Ervaring met publieke of overheidsdatabronnen, zoals open.overheid.nl,
  parlementaire data of andere open data-voorzieningen
• Ervaring met metadata, lineage en documentatie van datasets
• Ervaring binnen een overheidsorganisatie of in een omgeving met hoge eisen
  aan beheer, beveiliging en herbruikbaarheid

Competenties

• Minimaal WO-werk- en denkniveau, bij voorkeur in een relevante richting
  zoals informatica, data engineering of software engineering
• Minimaal 5 jaar ervaring als Data Engineer of in een vergelijkbare rol
• Aantoonbare ervaring met het ontwerpen en bouwen van data-pipelines en
  data-integraties in een cloudomgeving, bij voorkeur Microsoft Azure
• Ervaring met Databricks, Spark, Python en SQL
• Ervaring met het ontsluiten en verwerken van data uit externe bronnen,
  zoals REST API’s, open datasets en bestanden in verschillende formaten
• Ervaring met het opschonen, transformeren en modelleren van data voor
  hergebruik door verschillende afnemers
• Ervaring met het inrichten van robuuste, onderhoudbare en herhaalbare
  oplossingen, inclusief monitoring, foutafhandeling en documentatie
• Kennis van data-architectuur, datamodellering en datakwaliteit
• Ervaring met werken in een Agile/sprintteam
• In staat om zelfstandig technische vraagstukken op te pakken
• In staat om goed samen te werken met collega’s uit verschillende
  disciplines
• Goede communicatieve vaardigheden
• In staat om technische keuzes helder toe te lichten aan teamleden en
  stakeholders

Vul je gegevens hieronder in, dan nemen we binnen 2 uur contact met je op om samen te kijken of er een match is. Heb je nog vragen? Bel ons op 030-249 66 96 of stuur een e-mail naar info@greenpepper.nl We helpen je graag verder!