Data Engineer – Conception de pipelines Big Data

À propos du poste

RED TIC recherche un(e) Data Engineer expérimenté(e) pour concevoir, développer et optimiser les pipelines de données. Vous serez responsable de l’ingestion, du stockage, du traitement et de l’optimisation des flux de données afin de fournir des solutions performantes et évolutives.

Missions principales

• Concevoir et développer des pipelines de données robustes et évolutifs.
• Gérer l’ingestion, la transformation et le stockage des données à grande échelle.
• Assurer la qualité, la fiabilité et la sécurité des données.
• Collaborer avec les Data Scientists et les Analystes pour optimiser l’exploitation des données.
• Implémenter des solutions Big Data et cloud (AWS, Azure, GCP).
• Automatiser les traitements et optimiser la performance des requêtes.
• Mettre en place des solutions de monitoring et d’observabilité des flux de données.

Profil recherché

• Diplôme en informatique, génie logiciel, data science ou domaine connexe.
• Minimum 3 ans d’expérience en ingénierie des données.
• Bonne maîtrise des technologies Big Data (Spark, Hadoop, Kafka, Airflow).
• Compétences en bases de données SQL et NoSQL (PostgreSQL, MongoDB, Cassandra).
• Maîtrise des langages de programmation Python, Scala ou Java.
• Expérience avec des outils et services cloud (AWS Glue, Google BigQuery, Azure Data Factory).
• Connaissance des architectures ETL/ELT et des bonnes pratiques DevOps (Docker, Kubernetes, CI/CD).
• Sensibilité aux enjeux de gouvernance, sécurité et conformité des données.

Compétences requises

• Spark, Hadoop, Kafka, Airflow
• SQL, PostgreSQL, MongoDB, Cassandra
• Python, Scala, Java
• AWS Glue, Google BigQuery, Azure Data Factory
• Docker, Kubernetes, CI/CD

Ce que nous offrons

• Environnement technique stimulant et projets ambitieux.
• Équipe dynamique et collaborative.
• Opportunités de formation et d’évolution professionnelle.
• Cadre de travail favorisant l’innovation et l’amélioration continue.