Data Engineer

Functieomschrijving
Voor onze klant in Amersfoort zoeken wij een Java Software Engineer!

Voor het hypotheekdomein van onze eindklant is er in 2018 een programma gestart rondom data, datastromen, (near) real-time streaming data en data analytics. Doelstellingen van dit programma zijn het verhogen van de klanttevredenheid (NPS), risicovermindering voor de bank, en verhogen baten en verlagen kosten. Een van de activiteiten onder dit programma is het inzetten van een MarkLogic NoSQL database als operational data hub. Hiermee wordt er real-time data geleverd binnen de bank aan operationele applicaties, en aan data reporting en analytics services. Om data beschikbaar te krijgen ontsluiten zij een groot aantal bronnen naar MarkLogic. De engineer zal in het MarkLogic-team meewerken aan het ontsluiten van deze bronnen door middel van het realiseren van real-time data flow automation met Apache Nifi.

Verwachte werkzaamheden

1. Het inrichten van Apache Nifi, incl. CI/CD deployment, Docker containers, en performance-optimalisaties.

2. Het ontsluiten van diverse bronnen en datastromen (o.a. Kafka) via Nifi zodat deze real-time data leveren aan het MarkLogic-platform.

3. Het delen van kennis m.b.t. Apache Nifi en de uitgevoerde werkzaamheden richting het MarkLogic-team. Het MarkLogic-team moet in staat zijn zelfstandig Nifi en de koppelingen te onderhouden nadat deze zijn opgeleverd.

We zijn op zoek naar een Java-georiënteerde Nifi-ontwikkelaar die het gewend is om te werken in een Agile/Scrum omgeving en om resultaten neer te zetten. Een ontwikkelaar die het team komt versterken met tomeloze energie, frisse inzichten, een constructief-kritische houding, onderbouwd door gedegen kennis en ervaring op de het vakgebied Data & Analytics en de bereidheid deze kennis verder uit te breiden. We zoeken een ontwikkelaar die in staat is het team verder te helpen met het implementeren van Nifi als schil om de MarkLogic NoSQL database heen. Het is de bedoeling dat MarkLogic en Nifi in samenspel gaan werken om ons platform zo optimaal mogelijk te laten presteren. Hierbij gaat het zowel om het ontsluiten van een verscheidenheid aan hypotheeksystemen (Kafka, SQL, CSV, XML) naar MarkLogic in real-time als om het aanroepen van operationele API’s in MarkLogic zelf zonder dat MarkLogic hierdoor overbelast raakt (performance, back pressure, etc). Het is zeer belangrijk dat de ontwikkelaar niet alleen de gewenste oplossing neerzet, maar ook dat hij of zij het MarkLogic-team meeneemt in deze oplossing zodat deze ook straks in staat zijn zelfstandig Nifi te beheren en eventueel verdere koppelingen op te zetten.

Functie-eisen
Wij zoeken een (java) software engineer met specifieke kennis van streaming technieken en applicaties, die in staat is deze technieken en applicaties te laten landen in een Microsoft-georiënteerde IT-organisatie. We verwachten in ieder geval de volgende kennis en ervaring:

• Zeer ruime ervaring met integratiepatronen o.b.v. Nifi, Kafka, REST, ESB, SQL, CSV, etc.;

• Ruime ervaring met Apache Nifi;

• Ervaring met Java;

• Ervaring met Docker en Docker-orchestratie (Kubernetes, etc.);

• Ervaring met XML-verwante talen zoals XPATH, XSLT of XQUERY (standaardtaal voor MarkLogic)

• Bij voorkeur ervaring met Azure DevOps (voorheen VSTS/TFS) en GitFlow;

• Bij voorkeur kennis van NoSQL databases;

• Bij voorkeur kennis van en ervaring met hypotheken;

• Bij voorkeur ervaring met .NET en C#;

• Academisch opleidings- en werkniveau;

• Zeer goede schriftelijke en mondelinge communicatieve vaardigheden (Nederlands en Engels).

Overige Informatie

Startdatum

Start 1 maart 2019

Inzet

40 uur/week

Duur

6 maanden met optie op verlenging

Locatie

Amersfoort