Data Engineer – Conception et optimisation de pipelines de données

À propos du poste

RED TIC recherche un(e) Data Engineer expérimenté(e) pour concevoir, développer et optimiser les pipelines de données. Vous serez responsable de l’ingestion, du stockage, du traitement et de l’optimisation des flux afin de fournir des solutions performantes et évolutives.

Missions principales

• Concevoir et développer des pipelines de données robustes et évolutifs.
• Gérer l’ingestion, la transformation et le stockage de données à grande échelle.
• Assurer la qualité, la fiabilité et la sécurité des données.
• Collaborer avec les Data Scientists et les Analystes pour optimiser l’exploitation des données.
• Implémenter des solutions Big Data et cloud (AWS, Azure, GCP).
• Automatiser les traitements et optimiser la performance des requêtes.
• Mettre en place des solutions de monitoring et d’observabilité des flux de données.

Profil recherché

• Diplôme en informatique, génie logiciel, data science ou domaine connexe.
• Minimum 3 ans d’expérience en ingénierie des données.
• Bonne maîtrise des technologies Big Data (Spark, Hadoop, Kafka, Airflow).
• Compétences en bases de données SQL et NoSQL (PostgreSQL, MongoDB, Cassandra).
• Maîtrise des langages de programmation Python, Scala ou Java.
• Expérience avec les services cloud (AWS Glue, Google BigQuery, Azure Data Factory).
• Connaissance des architectures ETL/ELT et des bonnes pratiques DevOps (Docker, Kubernetes, CI/CD).

Compétences requises

• Big Data : Spark, Hadoop, Kafka, Airflow.
• Bases de données : PostgreSQL, MongoDB, Cassandra.
• Langages : Python, Scala, Java.
• Cloud : AWS Glue, Google BigQuery, Azure Data Factory.
• DevOps : Docker, Kubernetes, CI/CD.
• Gouvernance, sécurité et conformité des données.

Ce que nous offrons

• Environnement technique stimulant et projets ambitieux.
• Équipe dynamique et collaborative.
• Opportunités de formation et d’évolution professionnelle.
• Cadre de travail favorisant l’innovation et l’amélioration continue.