Kafka Streams @ Carrefour du big data à la vitesse de l'éclair (François Sarradin et Jérémy Sebayhi)
Pour rester informé sur l'actualité de Devoxx France, suivez nous sur twitter : https://twitter.com/DevoxxFR ou consultez notre site web https://www.devoxx.fr/ Kafka Streams est LE framework de stream processing que vous devez avoir si vous voulez constituer des pipelines de traitement big data réactifs, basées sur Apache Kafka. C'est la solution qui a été choisie par Carrefour pour migrer une majorité de ses jobs big data, utilisant Spark et Hadoop on-prem, vers des environnements créés sous GCP bénéficiant de GCS, GKE et BigTable. Tirant partie de notre expérience suite à la réalisation de pipeline temps réel pour le calcul des stocks magasins et entrepôts, ainsi que la gestion des prix, le tout à l’échelle nationale, nous vous proposons un retour d’expérience sur les problèmes que nous avons rencontrés et comment nous les avons résolus en appliquant des solutions créatives. Vous verrez ainsi comment Kafka Streams nous a permis de passer de l’approche batch à l’approche stream processing / systèmes réactifs et de mettre en place des traitements performants, intégrés avec les services GCP et les services Carrefour, le tout agrémentés de tests.