informations générales
ITEKWAY ILE DE FRANCECDI
Notre client, grand nom du secteur bancaire , développe des plateformes de données de pointe pour transformer ses processus décisionnels. Nous recherchons un(e) Data Engineer confirmé(e) pour concevoir, automatiser et industrialiser les pipelines de données à grande échelle, en garantissant la scalabilité et la robustesse des systèmes.
Vos missions :
- Gestion des socles techniques:
=>Développer, maintenir et faire évoluer les assets projets (modules de test et validation), de déploiement (scripts CI/CD) et d'infrastructure.
=>Valider la conformité des évolutions d'infrastructure nécessaires aux cas d'usages..
- Conception et implémentation des pipelines de données:
=>Concevoir et développer des pipelines automatisés (ingestion et transformation) vers le Data Hub.
Utiliser l'outil: xDI pour les mappings et développements afin d'assurer la traçabilité.
Optimiser les pipelines pour garantir des performances élevées et une faible latence entre le Cloud et le Legacy.
- Industrialisation et automatisation:
=>Industrialiser les modèles de Machine Learning et les flux de données à grande échelle.
Collaborer avec les Data Scientists et MLOps pour assurer la transition fluide del'exploration vers la production (Guidelines STELLAR).
=>Automatiser la gestion des traitements pour réduire les interventions manuelles.
- Gestion des données et optimisation:
=>Optimiser les performances des requêtes et des pipelines via les meilleures pratiques d'architecture de stockage (raw, refined, trusted layers).
=>Assurer une surveillance continue de la qualité et mettre en place des contrôles de validation.
- Sécurité et gouvernance des données:
=>Mettre en œuvre les solutions de sécurisation (chiffrage, accès, audits) en conformité avec le RGPD.
=>Travailler avec le Data Office pour l'alignement avec les politiques définies.
=>Maintenir la documentation technique (Confluence) et la gestion des métadonnées.
- Environnement technique Stack:
xDI (important), Spark, SQL, Python, Dataiku.Infrastructure : IBM Cloud, Data Hub, AS400 (Legacy).
- Concepts : Data Warehouses, Data Hubs, Data Platform Build.
DevOps : Git, pipelines CI/CD (Gitlab).
Méthodologie : Agile (Squads).
En savoir plus sur cette annonce sur le site de notre partenaireVos missions :
- Gestion des socles techniques:
=>Développer, maintenir et faire évoluer les assets projets (modules de test et validation), de déploiement (scripts CI/CD) et d'infrastructure.
=>Valider la conformité des évolutions d'infrastructure nécessaires aux cas d'usages..
- Conception et implémentation des pipelines de données:
=>Concevoir et développer des pipelines automatisés (ingestion et transformation) vers le Data Hub.
Utiliser l'outil: xDI pour les mappings et développements afin d'assurer la traçabilité.
Optimiser les pipelines pour garantir des performances élevées et une faible latence entre le Cloud et le Legacy.
- Industrialisation et automatisation:
=>Industrialiser les modèles de Machine Learning et les flux de données à grande échelle.
Collaborer avec les Data Scientists et MLOps pour assurer la transition fluide del'exploration vers la production (Guidelines STELLAR).
=>Automatiser la gestion des traitements pour réduire les interventions manuelles.
- Gestion des données et optimisation:
=>Optimiser les performances des requêtes et des pipelines via les meilleures pratiques d'architecture de stockage (raw, refined, trusted layers).
=>Assurer une surveillance continue de la qualité et mettre en place des contrôles de validation.
- Sécurité et gouvernance des données:
=>Mettre en œuvre les solutions de sécurisation (chiffrage, accès, audits) en conformité avec le RGPD.
=>Travailler avec le Data Office pour l'alignement avec les politiques définies.
=>Maintenir la documentation technique (Confluence) et la gestion des métadonnées.
- Environnement technique Stack:
xDI (important), Spark, SQL, Python, Dataiku.Infrastructure : IBM Cloud, Data Hub, AS400 (Legacy).
- Concepts : Data Warehouses, Data Hubs, Data Platform Build.
DevOps : Git, pipelines CI/CD (Gitlab).
Méthodologie : Agile (Squads).
