Software Engineer Kafka

Als organisatie willen ze steeds meer digitaliseren en de producten en diensten toegankelijker maken voor ondernemers. Komend jaar staat een aantal grote projecten op de agenda die bijdragen aan de herkenbaarheid en het bereik. Deze grote projecten maken gebruik van gegevens vanuit het Handelsregister.
Het Handelsregister bevat gegevens en documenten over ondernemingen en rechtspersonen. Daarvoor worden verschillende applicaties gebruikt. De belangrijkste is HRD, dat in 2010 in gebruik is genomen. HRD ondersteunt met name het juridisch juist vastleggen van gegevens (‘registreren’). Vanuit deze applicatie worden echter ook de Handelsregistergegevens geleverd (‘informeren’) waarmee o.a. informatieproducten zoals Uittreksels worden samengesteld. De applicatie HRD, inclusief database, is vooral ontworpen om te registreren en is minder geschikt om te informeren, en dat geeft in toenemende mate uitdagingen. Het aantal verzoeken om gegevensleveringen neemt sterk toe, de performance van de leveringen neemt daardoor af en de verschillende oplossingen die in het verleden zijn gerealiseerd voor het ‘informeren’ zijn aan vernieuwing of vervanging toe.

Er wordt daarom een nieuw platform ingericht om gegevens uit het handelsregister te leveren conform het CQRS-patroon. Er zal een modern synchronisatiemechanisme worden gerealiseerd, dat gegevens uit HRD near-realtime repliceert naar o.a. een NoSQL database, van waaruit de gegevens kunnen worden opgevraagd.

Wat ga je doen?

Als Software Engineer Kafka ga je meehelpen aan ontwerp en de realisatie van een streaming framework gebaseerd op Kafka, waarmee alle wijzigingen die in de handelsregister worden doorgevoerd via streams worden gepubliceerd en verwerkt in replica-databases, waaronder een NoSQL database en Elastic Search. Dit replicatie-synchronisatiemechanisme moet voldoen aan zware eisen om te kunnen garanderen dat elke wijziging snel en volledig wordt verwerkt in de replica’s zodat de kwaliteit van de gegevens kan worden gegarandeerd (reconciliation).

Functie-eisen

• Minimaal een afgeronde hbo opleiding

• Kennis (en ervaring) op expertniveau van de Kafka architectuur, zowel functioneel als technisch, en de integratie met andere architectuurcomponenten: connectors,
  pipelines, brokers, Zookeeper, producers/consumers

• Kennis op expertniveau van opzetten van Kafka message en streaming clusters d.m.v. Kubernetes;

• Je hebt ervaring met Kafka, Kafka streams, Kafka Connect en KSQL

• Je hebt ervaring met Linux and bash/python scripting

• Je hebt ervaring met Maven, Git, CI, Docker, Jenkins en/of Gitlab

Reageren?

Herken jij jezelf in bovenstaand profiel en ben je (binnenkort) beschikbaar? Reageer dan direct!
Reacties ontvangen wij graag voorzien van een CV en een korte motivatie voor de opdracht met daarbij eveneens een indicatie van het uurtarief.