Data engineer

Au sein de notre DataLab, tu travailles conjointement avec les Data Scientists, Data Engineers, MLE/MLOps engineer déjà en poste et tu es impliqué.e dans la prise de décisions liée aux solutions Data et à son évolution.

A cet effet, tu es en charge de :
- Contribuer au développement de notre offre Data et à l'industrialisation de plateformes data pour nos clients
- Comprendre, analyser et proposer des solutions techniques répondant aux besoins des Plateformes digitales et des projets internes
- Définir l'architecture logiciel ETL / ELT en collaboration avec vos pairs
- Travailler la donnée sous toutes ses formes (stockage, élaboration de modèles, structuration, nettoyage)
- Rédiger de la documentation technique (diagrammes UML, documentation d'API, .)
- Partager votre savoir-faire entre les différents membres de l'équipe
- Concevoir et développer des connecteurs entre les sources de données (internes et/ou externes) et la plateforme
- Concevoir et développer des pipelines de traitements de données (batch et/ou temps réel) dans un environnement Big Data
- Assurer une veille technologique et savoir mener à bien un projet de R&D

Tu assures en autonomie les missions suivantes en interne ou auprès de nos clients grands comptes :
- Cartographier des données et des flux de données
- Implémenter des algorithmes d'analyse de données pour l'industrialisation
- Collecter, consolider et modéliser de gros volumes de données (Big Data, Data Warehouses, Data Lakes)
- Développer et automatiser des flux de données et leurs visualisations en dashboards, reporting
- S'assurer de la scalabilité, sécurité, stabilité et disponibilité des données de la plateforme
- Analyser les données web pour répondre aux questions métiers et participer à la construction de l'architecture Big Data
- Mettre en place du séquencement et de la supervision des flux précitées en gérant les cas limites

Compétences attendues :

Bon niveau en développement: :
- De script ETL : Python (Pandas, API Rest, FaaS), Java (ex Kafka Connect, SOAP), Spark (PySpark, Databricks, Delta Lake)
- De script ELT : DBT (ex. Snowflake, PostgreSQL)
- Connaissance conception et administration d'entrepôt de données : Snowflake, Big Query, PostgreSQL
- LakeHouse : Delta LakeConnaissance message broker, RabbitMQ, Kafka
- Compétences cloud : Kubernetes, Conteneurisation, Fournisseur cloud (AWS, GCP ou Azure), Infrastructure As Code (Terraform)
- Expérience d'architecture et de dimensionnement d'une architecture cloud via des services managés
- Cartographie des données

Profil recherché

Diplômé-e d'études supérieures dans le système d'information, computer sciences, big data (école d'ingénieurs, école spécialisée ou équivalent universitaire), tu justifies d'au moins 3 ans en Data engineering.

- Tu as une expérience significative sur la mise en place de pipelines complets de valorisation de données massives, de la collecte à la mise à disposition d'applications en passant par le traitement.
- La maîtrise de l'anglais est appréciée.
- Certification-s appréciée-s : GCP Professionnal Data Engineer OU Azure Data Engineer Associate OU AWS Solution Architect.
- Tu es passionné-e par ton métier et aimes le faire partager.