Data Engineer
Introduction
En tant que Data Engineer, vous jouerez un rôle essentiel dans la collecte, le traitement et la gestion des données pour les entreprises axées sur la technologie. Vous serez responsable de la conception, de la construction et de la maintenance de l'infrastructure de données, ainsi que de la création de pipelines de données robustes et évolutifs.
Compétences requises
- Solides compétences en programmation, avec une maîtrise d'au moins un langage couramment utilisé pour le traitement des données, tels que Python, Scala ou SQL.
- Maîtrise des concepts de bases de données relationnelles et non relationnelles, ainsi que des outils associés tels que MySQL, PostgreSQL, MongoDB, Cassandra, etc.
- Connaissance approfondie des outils et des technologies de traitement des données tels que Apache Hadoop, Apache Spark, Apache Kafka, AWS Glue, etc.
- Capacité à concevoir et à mettre en œuvre des pipelines de données fiables et évolutifs, en utilisant des outils ETL (Extract, Transform, Load) tels que Apache Airflow, Talend, Informatica, etc.
- Expérience en modélisation de données, en conception de schémas et en optimisation des performances des requêtes.
- Familiarité avec les concepts de cloud computing et expérience pratique avec des plateformes cloud telles que AWS, Azure ou Google Cloud Platform.
- Compétences en ingénierie logicielle pour développer des solutions de qualité, en utilisant des méthodologies agiles et des outils de gestion de version tels que Git.
- Capacité à travailler en étroite collaboration avec les équipes techniques et les scientifiques des données pour répondre aux besoins spécifiques de l'entreprise.
Expérience requise
- Une expérience professionnelle préalable dans le domaine du traitement des données, de l'ingénierie de données ou de l'analyse de données est généralement requise.
- La participation à des projets concrets de construction de pipelines de données et de mise en place d'architectures de données est fortement appréciée.
- Une expérience dans le traitement de grands volumes de données, la manipulation de données en temps réel ou l'utilisation de frameworks Big Data est un avantage.
Formation
- Un diplôme en informatique, en ingénierie, en mathématiques appliquées ou dans un domaine connexe est généralement requis. Les candidats titulaires d'un diplôme de niveau master ou d'un doctorat dans le domaine de la science des données ou du génie informatique sont souvent privilégiés.
- Les écoles cibles pour les candidats intéressés par ce poste peuvent inclure des établissements renommés en France tels que l'École Polytechnique, Télécom Paris, l'ENSTA Paris, CentraleSupélec, l'ENS Lyon, etc. Cependant, il est important de noter que des candidats talentueux peuvent provenir de diverses institutions et formations.
Stacks possibles
- Langages de programmation : Python, Scala, SQL.
- Bases de données : MySQL, PostgreSQL, MongoDB, Cassandra.
- Outils et technologies : Apache Hadoop, Apache Spark, Apache Kafka, AWS Glue, Apache Airflow, Talend, Informatica.
- Plateformes cloud : AWS, Azure, Google Cloud Platform.
- Outils de gestion de version : Git, GitHub, Bitbucket.
Métiers associés:
Vous cherchez un nouveau job?
- Inscrivez-vous sur notre plateforme
- Completez votre profils et indiquez vous critères de recherche
- Echangez avec votre Talents Manager pour valider votre compte
- changez avec nos entreprises qui recrutent
- Validez le poste qui vous correspond