About this role
L'outil est en production : il supervise de bout en bout les traitements d'une plateforme Big Data et s'appuie sur Kafka. L'équipe qui le porte est principalement à Paris, avec des interlocuteurs IT et métiers au Portugal : l'anglais est d'usage courant, à l'oral comme à l'écrit.Le poste est un renfort de développement, pas un démarrage de projet : vous arrivez sur une base existante à faire évoluer.MISSIONS
- Développer de nouvelles fonctionnalités de l'outil de supervision
- Faire évoluer et refactorer les composants transverses : optimisations, montées de version et tests associés
- Renforcer l'outillage technique de gestion des environnements
- Participer à la conception technique en mode collaboratif, aux revues de code et à la qualité du code
- Rationaliser et mutualiser les composants pour garder une architecture cohérente et évolutive, sans redondance
- Prendre en charge les déploiements en recette et en production, dans un contexte DevOps
- Rédiger et maintenir la documentation technique
- Participer aux cérémonies agiles (Scrum), à la veille technologique et aux présentations à la communauté Data EngineeringSTACK TECHNIQUE
- Hadoop Cloudera on-premise (HDFS, Hive, HBase, Kafka, Ranger)
- Java 21 et Spring Boot
- Spark 3.2 et Scala 2.12
- Control-M
- Jenkins, XLDeploy, XLRelease
- Bitbucket, Jira, Confluence
- IntelliJ ou VS Code avec plugin IACE QUI EST ATTENDU
- Très bonne connaissance de l'écosystème Hadoop : YARN, HDFS, Hive, HBase, Kafka, Ranger
- Maîtrise de Kafka côté producer et consumer
- Maîtrise de Java 21 et de Spring Boot
- Bonnes connaissances de Spark 3 et des techniques d'optimisation d'applications Spark
- Connaissances de Scala 2 en conjonction avec Spark
- Pratique de la mise en place de pipelines CI/CD et des bonnes pratiques de gestion de code
- Capacité à traduire un besoin en solution technique, à estimer la charge et à adapter son discours à des interlocuteurs infra, dev ou métierLES PLUS
- Framework fonctionnel type ZIO ou Cats
- Conteneurisation (Docker, Kubernetes, OpenShift)
- Connaissance d'un SI Finance, en particulier filière CIB
- 1. Très bonne connaissance de l'écosystème Hadoop : YARN, HDFS, Hive, HBase, Kafka, Ranger
- 2. Maîtrise de Kafka côté producer et consumer
- 3. Maîtrise de Java 21 et de Spring Boot
- 4. Bonnes connaissances de Spark 3 et des techniques d'optimisation d'applications Spark
- 5. Connaissances de Scala 2 en conjonction avec Spark
- 6. Pratique de la mise en place de pipelines CI/CD et des bonnes pratiques de gestion de code
- 7. Capacité à traduire un besoin en solution technique, à estimer la charge et à adapter son discours à des interlocuteurs infra, dev ou métier