Apache Flink - Data Processing en temps réel

Подписаться 35 тыс.

50% 1

Présentation par : Gaël Renoux
📕 Resumé :
DataDome s’est donné pour mission de détecter le trafic frauduleux chez ses clients. Un des nos outils est une analyse comportementale, qui reçoit plusieurs centaines de milliers de requêtes par seconde, et qui applique à chacune près de 300 000 règles de comportement. Cela nous permet de détecter un comportement anormal en quelques dizaines de millisecondes. Pour gérer ce trafic, nous utilisons Apache Flink. Flink, c’est un moteur de streaming de dernière génération, qui peut scaler horizontalement sur des dizaines de nœuds. Scaler en stateless, c’est facile, il suffit de paralléliser. Flink, lui, le fait en stateful. Comment ça marche ? Comment gérer l’état ? Nous verrons à quoi ressemble un job Flink, comment optimiser les performances, et comment Flink se place vis-à-vis d’autres frameworks de streaming du marché.
Enregistré en avril 2024 à Paris, Palais des Congrès, Porte Maillot.
🔥 Pour rester informé sur l'actualité de Devoxx France, suivez nous sur linkedIn : / devoxx-france , twitter : / devoxxfr ou consultez notre site web www.devoxx.fr/

Наука

Опубликовано:

1 окт 2024

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 1

@jeremys9522 3 месяца назад

Merci beaucoup pour la conf, c'était très instructifs. Je me permet néanmoins de pointer une erreur ou imprécision sur kafka stream à 40:40 Dans le cas d'un état stocké sur rocksdb, Kafka stream stock le changelog de l'état dans un topic kafka suffixé changelog. Ce changelog remplace le changelog standard de rocksdb. Le même mécanisme existe pour les états stockés en mémoire, un topic de changelog est également créé. Par conséquent, si un noeud tombe, est ajouté ou qu'un rééquilibrage de charge a lieu, l'état sera reconstruit en rechargeant toutes les partitions du topic de changelog correspondant à l'état qu'il faut reconstruire. La vitesse de redémarrage est donc fonction de la charge de chaque partition sur le topic de changelog. Plus il y a de donnée dans la partition, plus il faudra du temps pour recréer l'état. Par conséquent, plus vous avez de partition, plus vous avez de flexibilité pour répartir la charge entre plusieurs noeud.