Verantwoordelijkheid, vertrouwen en expertise: dat is wat er van je verwacht wordt.

Data Engineer bij NS, sinds april

Sinds 2023 is Chahid freelancer. Voor zichzelf beginnen was spannend, maar het paste bij wat hij zocht: meer controle over zijn eigen werk en een betere balans tussen werk en privé. Het gevoel van verantwoordelijkheid, zelf alles managen, van de klant tot de uitvoering, spreekt hem juist aan. Via OrangeMelons is hij gedetacheerd bij NS.

Sinds april dit jaar werkt hij bij NS, in een team met een eigen datalandschap en eigen databases. Andere teams hebben informatie uit dat landschap nodig, en Chahid vervult daarin de rol van schakel.

Hij werkt aan het OV pas project: het ontsluiten van Azure Cosmos DB databases aan de hand van dataflows, gebaseerd op delta's, en niet complexer dan nodig. Inmiddels heeft hij drie oplossingen opgeleverd. De deployment naar productie verliep via Azure DevOps, en ook na de livegang blijft hij betrokken voor de aftercare. Hij leert veel van de verschillende mensen om hem heen, en is dolblij weer met Azure te werken, in wat hij een fijn team noemt.

Kun je kort vertellen wat je project bij NS inhoudt en welke rol jij daarin speelt?

Binnen het project werk ik aan het ontsluiten van bronnen die nodig zijn ter voorbereiding op het vervangen van de huidige OV kaart. Daarbij is het belangrijk om dynamisch te werken: geen eenmalige oplossing, maar iets herbruikbaars. NS wil niet alleen van de huidige kaart af, maar ook de dienstverlening richting reizigers verbeteren. Op dit moment werk ik veel met Cosmos DB.

Ik vervul de rol van data engineer: ik ontsluit bronnen en stel datasets beschikbaar voor uiteenlopende behoeften, van rapportage en analyse tot AI. Elke deployment doorloopt eerst de ontwikkelomgeving en testomgeving, voordat de business 'm in de acceptatieomgeving beoordeelt op databeveiliging en performance. De hele OTAP straat dus. Data gaat middels CI/CD (Continuous Integration en Continuous Delivery/Deployment) pipelines. We werken volgens het Scrum framework en versiebeheer loopt via Git.

Ik ben ingehuurd als data engineer, maar mijn rol gaat verder dan de techniek alleen. Er wordt ook van me verwacht dat ik het grotere plaatje scherp voor ogen heb. Daarbij komt mijn zakelijke ervaring goed van pas: ik begrijp wat de business nodig heeft en kan dat vertalen naar werkende oplossingen. Omdat het project volop in beweging is, speel ik snel in op veranderingen. En doordat andere teams afhankelijk zijn van onze data, stem ik regelmatig met hen af, zodat iedereen krijgt wat nodig is.

Wat maakte dit project technisch interessant of uitdagend?

Ik kom oorspronkelijk uit de Azure hoek, dus het was fijn om daar weer in terug te komen. Cosmos DB is bovendien een bron die ik niet vaak tegenkom, het was leuk om te ontdekken hoe het werkt en hoe je het kunt ontsluiten, zowel via een full load als incrementeel via de zogeheten Change Feed.

Je hebt drie oplossingen opgeleverd voor het project. Waar ben je het meest trots op?

Gaandeweg het project kwamen er steeds nieuwe vraagstukken bij. Mijn oplossingen hebben nieuwe perspectieven geopend, waardoor ook andere strategische vragen beantwoord kunnen worden. Zo lever ik datasets aan andere teams, die daar vervolgens zelf mee verder werken.

Bij elke nieuwe vraag kijk ik eerst goed naar de requirements. Op basis daarvan probeer ik een generieke oplossing neer te zetten: herbruikbaar, zo efficiënt mogelijk en met oog voor de kosten van de verwerking. Zo hoeft niet voor elke vraag het wiel opnieuw te worden uitgevonden, en groeit het landschap op een beheersbare manier mee.

Doordat mijn werk steeds breder wordt ingezet, is ook mijn toegevoegde waarde binnen het project gegroeid. Ik ben niet alleen degene die bronnen ontsluit, maar ook iemand die meedenkt over hoe data het beste kan worden ingezet voor de organisatie.

Het project bestond uit drie fases; op een gegeven moment ga je afbakenen op basis van de prioriteiten van de product owner. Wat is er mogelijk? Je maakt kennis met het landschap en gaat op basis daarvan meepraten en adviseren. Zo heb ik recent een adviesrapport opgesteld, met verschillende aanpakken en een migratietraject. Dat meedenken vind ik belangrijk: verantwoordelijkheid, vertrouwen en expertise, dat is wat er van je verwacht wordt.

Hoe zou je de samenwerking met NS omschrijven?

NS is een enorm bedrijf, maar de mensen zijn ontzettend behulpzaam. Er wordt soms onder druk gewerkt, met wetgeving en regelgeving op de achtergrond, maar het team zelf werkt echt voor elkaar: I got your back. Dat geeft voldoening en motivatie: je wilt hetzelfde teruggeven. De processen kunnen wel complexiteit met zich meebrengen; richtlijnen botsen soms, maar je probeert daar goed mee om te gaan. Mijn onboarding was in elk geval goed geregeld.

Ik voel me echt onderdeel van een hecht team, waarin we open en eerlijk met elkaar omgaan. Zelf ben ik ook direct, maar altijd met als doel het team verder te helpen. Dat geldt net zo goed voor mijn collega's: feedback wordt hier niet persoonlijk opgevat, maar gezien als een manier om samen beter te worden. Die cultuur maakt het prettig om te werken, en zorgt ervoor dat we snel schakelen en elkaar scherp houden.