Azure Data (Platform) Engineer

Wij zijn voor onze opdrachtgever op zoek naar een Azure Data (Platform) Engineer

Start

ZSM

Duur

tot 24 december 2020 met optie verlenging van een half jaar

Uren

32 per week

Locatie

Remote

Tarief

Max 100,00 euro

Dataplatform

Voor het centraal verzamelen, ontsluiten en delen van data gaat deze Provincie werken met een generiek dataplatform. Met dit platform zijn makkelijker dwarsverbanden tussen verschillende datasets te leggen en analyses te maken.
In 2019 zijn hier de eerste ervaringen mee opgedaan op een tijdelijk dataplatform, gebruik makend van ‘use cases’ van de afdelingen. Voor verdere ontwikkeling schaft de provincie in 2020 een definitief dataplatform aan. De provincie heeft op basis van de uitgevoerde proef gekozen voor de “software stack” van Microsoft voor de invulling van het dataplatform. Hierbij kunnen de volgende tools worden ingezet: Azure Datafactory, Azure Event Hubs, Azure SQL Datawarehouse, Azure Data Lake, Azure Databricks, Azure Datacatalog, Azure Machine learning studio, Azure stream analytics en Microsoft Power BI. De provincie sluit hierbij aan op ontwikkelingen bij andere provincies, waarmee de interprovinciale samenwerking wordt vereenvoudigd.
De provincie heeft gekozen voor de volgende strategie voor invoering van het dataplatform: “klein beginnen met gezamenlijk dataplatform en vervolgens doorgroeien”. Binnen deze gefaseerde aanpak zijn twee plateau’s gedefinieerd:

• In plateau 1 wordt gestart met het formeren van een projectteam, het verwerven van een externe leverancier om het dataplatform volgens de provinciale architectuur in te richten en met het opstellen van procedures.

• In plateau 2 wordt begonnen met uitvoering van use cases, wordt de opleiding gevolgd, worden de processen zo nodig aangepast, de organisatie/rollen ingericht en inzicht verkregen in de ontwikkeling van de kosten van het dataplatform. Zodra het dataplatform in gebruik is en zich in de praktijk bewezen heeft, wordt een aantal bestaande voorzieningen gemigreerd naar het dataplatform. Daarbij wordt (onder meer) gedacht aan:

• de Pentaho ETL voor het verzamelen en transformeren van de brondata;

• de Oracle staging database voor het opslaan van data voor dashboards en rapportages;

• de Cognos omgeving die gebruikt wordt voor het maken van bedrijfsvoering rapportages;

• de bestaande Tableau dashboards toepassingen voor Infra en S&B OBI.

Op basis van de resultaten van plateau 2 moet het dataplatform goed kunnen worden belegd binnen de provinciale organisatie, inclusief de beheersen van de kosten en mogelijkheden voor de doorontwikkeling op interprovinciaal vlak.

Opdracht

Voor het project Azure Dataplatform zoeken we een enthousiaste en ervaren Azure Data (platform) Engineer.

De werkzaamheden bestaan uit de volgende taken

• Ondersteunen bij het opstellen van de wensen en eisen ten aanzien van het dataplatform bij business (vraagzijde) en IT (randvoorwaarden)

• Valideren/aanscherpen van Azure Dataplatform architectuur (Azure services)

• Data Platform Engineering: realisatie van de ontworpen Azure Dataplatform architectuur, inclusief een OTAP-omgeving en een deployment methode

• Data Engineering: ontwerpen en ontwikkelen van enkele toepassingen in samenwerking met de data-analisten van het data team. (bronontsluiting van Saas en on premise databronnen, transformatie naar informatieproducten.

• Opzetten van de Azure Data Catalog en het begeleiden van de mensen van het datateam bij het gebruik hiervan.

• Inrichten van proces monitoring

• Inrichten van kosten monitoring

Minimumeisen/ knock-outcriteria

1. De werkzaamheden worden in principe Remote uitgevoerd vanaf de thuiswerkplek.

2. Bij de uitvoering van de opdracht worden geen IT-middelen ter beschikking gesteld. Onder IT-middelen wordt verstaan: laptop en toebehoren. Indien nodig stelt de opdrachtgever een token ter beschikking;

3. In staat om de opdracht individueel uit te voeren (vervulling in duo verband is niet mogelijk).

Overige Gunningscriteria

1. Aantoonbare kennis van en werkervaring met Azure Data Platform Engineering, met name met de services Azure Data Factory, Azure Data Lake/Blob Store, Azure Functions;

   a. Minder dan 3 maanden aantoonbare kennis en werkervaring (0 punten);

   1. Vanaf 3 maanden tot 1 jaar aantoonbare kennis en werkervaring (25 punten);

   2. Vanaf 1 jaar aantoonbare kennis en werkervaring (50 punten);

2. Aantoonbare kennis van en werkervaring met deployment in Azure, bij voorkeur gebruikmakend van Azure DevOps (25 punten);

   a. Minder dan 3 maanden aantoonbare kennis en werkervaring (0 punten);

   1. Vanaf 3 maanden tot 1 jaar aantoonbare kennis en werkervaring (15 punten);

   2. Vanaf 1 jaar aantoonbare kennis en werkervaring (25 punten);

3. Aantoonbare kennis van en werkervaring met het ontwikkelen van data pipelines in vooral Azure Data Factory en evt Azure Functions icm Python (25 punten);

   a. Minder dan 3 maanden aantoonbare kennis en werkervaring (0 punten);

   1. Vanaf 3 maanden tot 1 jaar aantoonbare kennis en werkervaring (15 punten);

   2. Vanaf 1 jaar aantoonbare kennis en werkervaring (25 punten);

Geef in het cv duidelijk aan in hoeverre u/ de door u aangeboden kandidaat aan het bovengenoemde profiel voldoet.

Competenties

• Bij voorkeur certified Azure Data Engineer

• In ieder geval kennis van en ervaring met: Azure Data Factory, Azure SQL, Azure Blob store en/of Data Lake, Azure Data Catalog, Azure DevOps, Python

• Tevens kennis van en ervaring met: ontsluiten van Saas bronnen, on premise bronnen en via API’s

• Op de hoogte van data engineering en data warehousing best practices

• Projectaanpak kennis/ervaring zowel waterval en agile