Uma empresa do setor de energia moderniza a transmissão de dados em tempo real com a AWS e a GFT
Quando as vantagens se transformam em resultados
Operações e governança simplificadas
Padronizou os serviços de streaming na AWS para melhorar o gerenciamento da plataforma e fortalecer a governança de dados.
Modernização com tecnologias nativas da AWS
A migração do Confluent Kafka para o Amazon MSK simplificou a arquitetura e as operações por meio do uso de serviços nativos da AWS.
Uma base escalável para o crescimento
Criou uma plataforma escalável e resiliente, preparada para acompanhar o crescimento futuro dos negócios e dos dados.
Desafio
Modernizar a plataforma de streaming sem interromper as operações do negócio
A empresa precisava reduzir os custos operacionais de sua plataforma de streaming de eventos sem comprometer a escalabilidade, a resiliência, os recursos de processamento de dados em tempo real, a continuidade dos negócios ou as opções de rollback. O ambiente incluía aproximadamente 300 tópicos, 581 partições, Schema Registry, Kafka Connect, Debezium CDC, conectores S3 Sink e diversos microsserviços produtores e consumidores. A migração precisava minimizar o impacto nos serviços críticos durante a transição do Confluent Cloud para o Amazon MSK Serverless.
Compromisso
Migração para uma arquitetura nativa da AWS
A GFT colaborou com a empresa no desenvolvimento e na implementação de uma estratégia de migração do Confluent Cloud para o Amazon MSK. A arquitetura de destino substituiu os brokers do Kafka pelo Amazon MSK, migrou o Confluent Schema Registry para o AWS Glue Schema Registry e transferiu as cargas de trabalho do Kafka Connect para o MSK Connect. Para mitigar os riscos da migração, a GFT projetou uma fase de coexistência durante a qual os dois ambientes funcionaram em paralelo, utilizando o Kafka MirrorMaker 2.0 no Amazon EC2 para replicar dados entre o Confluent e o Amazon MSK e garantir a possibilidade de realizar um rollback, se necessário.
Vantagens
Uma plataforma mais eficiente, escalável e preparada para o futuro
O projeto proporcionou à empresa uma plataforma de streaming de eventos mais alinhada ao ecossistema nativo da AWS e à sua estratégia global de adoção da nuvem. A migração simplificou as operações ao consolidar os serviços de streaming no ambiente da AWS, preservou recursos críticos, como processamento de dados em tempo real, captura de alterações de dados (CDC), gerenciamento de esquemas e comunicação orientada por eventos, e aumentou a escalabilidade por meio de uma arquitetura serverless projetada para atender às necessidades futuras do negócio.
O ambiente gerenciado inclui aproximadamente 300 tópicos do Kafka, 581 partições, Schema Registry, cargas de trabalho do Kafka Connect, Debezium CDC, conectores S3 Sink e diversos microsserviços produtores e consumidores. Além disso, a substituição de uma implementação da Confluent com baixa utilização pelo Amazon MSK Serverless reduziu os custos mensais da plataforma em aproximadamente 40%.
Entre em contato com nossos especialistas.
