Data Engineer Senior

À propos du poste

Dans le cadre du renforcement de son équipe Data, notre client recherche un(e) Data Engineer Senior pour concevoir et industrialiser une plateforme Data performante, robuste et évolutive.

Missions principales

• Concevoir, développer et industrialiser des pipelines de traitement de données dans une architecture Data Mesh (Bronze, Silver, Gold).
• Développer des traitements performants avec Python, Scala et Apache Spark.
• Structurer les données au format Parquet et les stocker sous MinIO compatible S3.
• Optimiser les modèles de données sous PostgreSQL (partitionnement) et les exposer via Trino.
• Mettre en place des flux temps réel avec Kafka et des solutions CDC avec Debezium.
• Orchestrer les traitements avec Apache Airflow.
• Déployer les services sur Kubernetes administré par Rancher et participer aux pipelines CI/CD avec GitLab CI et Terraform.
• Assurer l’observabilité de la plateforme grâce à Prometheus, Grafana et la centralisation des logs.
• Rédiger la documentation technique et participer aux revues de code.

Profil recherché

• Diplômé(e) d’une école d’ingénieur ou d’un Master (Bac+5) en informatique, data ou équivalent.
• Minimum 5 ans d’expérience en tant que Data Engineer sur des environnements de production complexes.
• Maîtrise de Python, Scala, Apache Spark, PostgreSQL, Trino, Data Mesh, Kubernetes, Rancher, Apache Airflow, Kafka, Debezium, Git.
• Bonne compréhension des architectures data modernes, sens de la performance, de la scalabilité et de la qualité des données.

Compétences requises

• Python
• Scala
• Apache Spark
• PostgreSQL
• Trino
• Data Mesh
• Kubernetes
• Rancher
• Apache Airflow
• Kafka
• Debezium
• Git / GitLab CI
• Terraform
• Prometheus
• Grafana
• MinIO / S3 compatible
• Format Parquet