Go to content

Comment j'ai divisé le temps de calcul de mes traitements par 20 ? - Morgan Renou

Enfin, votre application est en production, ça fonctionne, et plutôt bien ! Tellement bien que votre client, tel un flash Gordon Gekko, enchaîne les signatures de contrat, et par conséquent votre volumétrie explose... Votre œuvre dépasse maintenant le maître et se fracasse aux contraintes du monde réel, susnommé RAM et CPU... Pas d'autre solution, il va falloir changer les règles du jeu et penser différemment : Diviser pour mieux régner calculer. Et pour cela, il va nous falloir un coup de main, de l'orchestrateur des Pipelines et des PCollection, alias maître Beam de la contrée DataFlow, ainsi que du célèbre gardien des entrepôts et des requêtes, le sage BigQuery. Direction les nuages ! Dans cette présentation, je vous expliquerai comment changer de paradigme de calcul pour gagner en performance, tout en limitant les coûts. La solution s’appuie sur les services cloud : DataFlow et BigQuery, ainsi que l'outil Apache Beam. Nous détaillerons le cas métier et la solution technique avec des exemples de codes et une démonstration, accessible au plus grand nombre.

November 10, 2023