informations générales
BRAIN LOGICCDI
Contexte
Notre Digital Factory (150 personnes) est au cœur de l'innovation technologique et accompagne la transformation numérique de l'entreprise (700 collaborateurs).
Face à une croissance importante des initiatives DATA & IA, nous avons engagé début 2025 un changement d'envergure : transformer une plateforme Azure BI dédiée aux usages décisionnels en une plateforme moderne sur Microsoft Fabric, conçue pour répondre aux besoins de self-service analytique, de datascience et de GenAI.
Dans ce cadre, nous recherchons un Data Engineer prêt à participer activement à la construction et à l'évolution de cette nouvelle plateforme.
Missions principales
1. Conception et développement des pipelines
- Concevoir et développer des pipelines d'ingestion en Python sur Microsoft Fabric.
- Automatiser les workflows de collecte, transformation et chargement des données.
- Optimiser les pipelines pour garantir performance, qualité et scalabilité.
2. Gestion de l'infrastructure et des outils
- Déployer et administrer la plateforme sur Microsoft Fabric, avec Docker et des outils d'orchestration.
- Configurer et maintenir DBT en collaboration avec les Analytics Engineers.
- Mettre en place et améliorer les processus CI/CD, ainsi que les tests unitaires et d'intégration.
- Définir et maintenir le monitoring et l'alerting pour assurer la fiabilité opérationnelle.
Profil recherché
- 1 à 3 ans d'expérience en tant que Data Engineer dans un environnement technique similaire.
- Expérience confirmée dans un environnement cloud (idéalement Azure ou Microsoft Fabric).
- Connaissance ou pratique de dbt fortement appréciée.
- Expérience prouvée dans la construction, l'orchestration et le monitoring de pipelines de données.
Compétences requises
Expertise technique
- Maitrise de Microsoft Fabric
- Connaissance avancée de Python et de son écosystème (poetry, pytest, pandas, polars.).
- Solide expérience avec Docker et l'orchestration de conteneurs dans Azure.
- Bonne connaissance de SQL et des modèles de données.
- Très bonne maîtrise de Git et des workflows de développement.
- Connaissance des pratiques DevOps et des outils CI/CD.
Soft skills
- Esprit collaboratif et capacité à travailler en équipe.
- Autonomie, proactivité et sens des responsabilités.
- Excellente communication avec des profils techniques et non techniques.
- Curiosité, veille technologique, envie d'apprendre.
Écosystème technique
Legacy :
- Azure BI (Data Factory, SQL Database - ODS/DWH)
- DWH : -100 tables, 250 Go de données
Nouvel environnement :
- Microsoft Fabric, Python, Docker, dbt, SQL
- Git, CI/CD
Équipe Data & IA :
- 3 PO Data
- 3 Analytics Engineers
- 1 Tech Lead Data
- 1 Lead Data Platform
En savoir plus sur cette annonce sur le site de notre partenaireNotre Digital Factory (150 personnes) est au cœur de l'innovation technologique et accompagne la transformation numérique de l'entreprise (700 collaborateurs).
Face à une croissance importante des initiatives DATA & IA, nous avons engagé début 2025 un changement d'envergure : transformer une plateforme Azure BI dédiée aux usages décisionnels en une plateforme moderne sur Microsoft Fabric, conçue pour répondre aux besoins de self-service analytique, de datascience et de GenAI.
Dans ce cadre, nous recherchons un Data Engineer prêt à participer activement à la construction et à l'évolution de cette nouvelle plateforme.
Missions principales
1. Conception et développement des pipelines
- Concevoir et développer des pipelines d'ingestion en Python sur Microsoft Fabric.
- Automatiser les workflows de collecte, transformation et chargement des données.
- Optimiser les pipelines pour garantir performance, qualité et scalabilité.
2. Gestion de l'infrastructure et des outils
- Déployer et administrer la plateforme sur Microsoft Fabric, avec Docker et des outils d'orchestration.
- Configurer et maintenir DBT en collaboration avec les Analytics Engineers.
- Mettre en place et améliorer les processus CI/CD, ainsi que les tests unitaires et d'intégration.
- Définir et maintenir le monitoring et l'alerting pour assurer la fiabilité opérationnelle.
Profil recherché
- 1 à 3 ans d'expérience en tant que Data Engineer dans un environnement technique similaire.
- Expérience confirmée dans un environnement cloud (idéalement Azure ou Microsoft Fabric).
- Connaissance ou pratique de dbt fortement appréciée.
- Expérience prouvée dans la construction, l'orchestration et le monitoring de pipelines de données.
Compétences requises
Expertise technique
- Maitrise de Microsoft Fabric
- Connaissance avancée de Python et de son écosystème (poetry, pytest, pandas, polars.).
- Solide expérience avec Docker et l'orchestration de conteneurs dans Azure.
- Bonne connaissance de SQL et des modèles de données.
- Très bonne maîtrise de Git et des workflows de développement.
- Connaissance des pratiques DevOps et des outils CI/CD.
Soft skills
- Esprit collaboratif et capacité à travailler en équipe.
- Autonomie, proactivité et sens des responsabilités.
- Excellente communication avec des profils techniques et non techniques.
- Curiosité, veille technologique, envie d'apprendre.
Écosystème technique
Legacy :
- Azure BI (Data Factory, SQL Database - ODS/DWH)
- DWH : -100 tables, 250 Go de données
Nouvel environnement :
- Microsoft Fabric, Python, Docker, dbt, SQL
- Git, CI/CD
Équipe Data & IA :
- 3 PO Data
- 3 Analytics Engineers
- 1 Tech Lead Data
- 1 Lead Data Platform
