Now hiring

Data engineer AWS Python Apache Iceberg H/F @ Non renseigné

FR105, FROnsiteContract
Apply with ResuMinder

Opens on the employer's site

About this role

  • Missions principales1.
  • Conception et développement de pipelines de donnéesConcevoir, développer et maintenir des pipelines ETL/ELT pour collecter, transformer et charger des données massives (batch et streaming).Utiliser Apache Kafka pour la gestion des flux de données en temps réel.
  • Implémenter des solutions de stockage optimisé avec Apache Iceberg (tables ACID, time travel, partitionnement).Automatiser les processus de traitement de données à grande échelle.2.
  • Intégration et optimisation des donnéesTravailler avec des formats de données JSON (parsing, validation, transformation).Optimiser les performances des pipelines (vitesse, scalabilité, fiabilité) sur AWS (Glue, Lambda, EMR, Kinesis).Mettre en place des mécanismes de qualité des données (data validation, monitoring, alerting).Intégrer des sources de données hétérogènes (APIs, bases de données, fichiers).3.
  • Collaboration et industrialisationCollaborer avec les équipes DevOps pour déployer et maintenir les solutions data en environnement cloud (AWS).Participer à la mise en place de tests et de validations pour garantir la qualité des données.
  • Documenter les processus, les architectures et les bonnes pratiques.
  • Assurer la sécurité des données (chiffrement, IAM, conformité RGPD).4.
  • Veille technologique et innovationSuivre les avancées technologiques en Data Engineering (ex : évolutions d'Apache Iceberg, nouvelles fonctionnalités AWS).Proposer des solutions innovantes pour améliorer les processus existants (ex : optimisation des coûts, réduction de la latence).Participer à des ateliers ou formations pour monter en compétences.
  • Missions internes (expertise & contribution)Contribuer à la veille technologique et au benchmark des outils et méthodologies.
  • Participer à l'amélioration des méthodologies internes (ex : templates de pipelines, bonnes pratiques AWS).Accompagner et coacher des consultants juniors sur les technologies Python, Kafka, Iceberg.
  • Soutenir les équipes commerciales en amont des réponses aux appels d'offres.

Skills

Apache IcebergKafkaPythonData Validation

Ready to apply?

Install the ResuMinder extension and we'll auto-fill the application in seconds — no rewriting.

See how your CV scores