Elasticsearch datastreams, un condensé de bonnes pratiques pour vos données temporell… (Maxime Odye)
Indexer des données dans Elasticsearch, rien de plus simple ! Gérer les indexations quotidiennes de centaines de millions de documents, un peu moins. Elastic a implémenté au cours des dernières années des APIs nous facilitant le suivi et la gestion du cycle de vie de nos données. Reindex, rollover, shrink, les lifecycle policies autant d'APIs fournies par Elasticsearch nous permettant d'opérer notre cluster, un jeu d'enfant ! Il faut évidemment combiner à cela des templates d'index et des alias pour que tout s'aligne correctement. Ca commence à faire ! Pour répondre à cette complexité naissante, les datastreams ont vu le jour en 7.9, une sorte de structure magique permettant de centraliser la mise en place de toutes ses bonnes pratiques. Faisons le tour de cette fonctionnalité, déjà utilisée massivement dans l'univers Beats. Et bien plus encore :)