Une entreprise du secteur de l'énergie modernise la transmission de données en temps réel avec AWS et GFT
Quand les avantages se transforment en résultats
Simplification des opérations et de la gouvernance
La standardisation des services de streaming sur AWS a amélioré la gestion de la plateforme et renforcé la gouvernance des données.
Modernisation à l'aide des technologies natives d'AWS
La migration de Confluent Kafka vers Amazon MSK a permis de simplifier l’architecture et les opérations grâce aux services natifs AWS.
Une base évolutive pour la croissance
Une plateforme évolutive et résiliente, prête à accompagner la croissance future de l’activité et des volumes de données.
Défi
Moderniser la plateforme de streaming sans perturber les opérations
L’entreprise souhaitait réduire les coûts d'exploitation de sa plateforme de streaming événementiel sans compromettre l'évolutivité, la résilience, les capacités de traitement des données en temps réel, la continuité des activités ni les options de restauration. L'environnement comprenait environ 300 sujets, 581 partitions, Schema Registry, Kafka Connect, Debezium CDC, des connecteurs S3 Sink, ainsi que plusieurs microservices producteurs et consommateurs. La migration devait minimiser l'impact sur les services critiques pendant la transition de Confluent Infonuagique vers Amazon MSK Serverless.
Engagement
Migration vers une architecture native AWS
GFT a collaboré avec l’entreprise pour concevoir et mettre en œuvre une stratégie de migration de Confluent Cloud vers Amazon MSK. L'architecture cible a remplacé les brokers Kafka par Amazon MSK, migré le registre de schémas Confluent vers le registre de schémas AWS Glue et transféré les charges de travail Kafka Connect vers MSK Connect. Afin de limiter les risques liés à la migration, GFT a conçu une phase de coexistence durant laquelle les deux environnements fonctionnaient en parallèle, en utilisant Kafka MirrorMaker 2.0 sur Amazon EC2 pour répliquer les données entre Confluent et Amazon MSK et garantir la possibilité d'une restauration si nécessaire.
Avantages
Une plateforme plus efficace, évolutive et tournée vers l'avenir
Ce projet a permis à l’entreprise de disposer d'une plateforme de streaming d'événements mieux adaptée à l'écosystème natif d'AWS et à sa stratégie mondiale d'adoption des services Infonuagiques. La migration a simplifié les opérations en consolidant les services de streaming au sein de l’environnement AWS, a préservé des fonctionnalités essentielles telles que le traitement des données en temps réel, la capture des données de changement (CDC), la gestion des schémas et la communication pilotée par les événements, et a amélioré l’évolutivité grâce à une architecture sans serveur conçue pour répondre aux besoins futurs de l’entreprise.
L’environnement géré comprend environ 300 sujets Kafka, 581 partitions, Schema Registry, des charges de travail Kafka Connect, Debezium CDC, des connecteurs S3 Sink, ainsi que de nombreux microservices producteurs et consommateurs. De plus, le remplacement d’un déploiement Confluent peu utilisé par Amazon MSK Serverless a permis de réduire les coûts mensuels de la plateforme d’environ 40 %.
Contactez nos experts.
