Una empresa del sector energético moderniza la transmisión de datos en tiempo real con AWS y GFT
Cuando las ventajas se convierten en resultados
Operaciones y gobernanza simplificadas
Estandarizó los servicios de streaming en AWS para mejorar la gestión de la plataforma y reforzar la gobernanza de los datos
Modernización con tecnologías nativas de AWS
Migró de Confluent Kafka a Amazon MSK, simplificando la arquitectura y las operaciones mediante servicios nativos de AWS
Base escalable para el crecimiento
Construyó una plataforma escalable y resiliente, preparada para respaldar el crecimiento futuro del negocio y de los datos
El reto
Modernizar la plataforma de streaming sin interrumpir el negocio
La compañía necesitaba reducir los costes operativos de su plataforma de transmisión de eventos sin comprometer la escalabilidad, la resiliencia, las capacidades de procesamiento de datos en tiempo real, la continuidad del negocio ni las opciones de reversión (rollback). El entorno incluía aproximadamente 300 tópicos, 581 particiones, Schema Registry, Kafka Connect, Debezium CDC, conectores S3 Sink y múltiples microservicios productores y consumidores. La migración debía minimizar el impacto sobre los servicios críticos durante la transición de Confluent Cloud a Amazon MSK Serverless.
El compromiso
Migración hacia una arquitectura nativa de AWS
GFT colaboró con la compañía para diseñar y ejecutar una estrategia de migración desde Confluent Cloud hacia Amazon MSK. La arquitectura de destino sustituyó los brokers de Kafka por Amazon MSK, migró Confluent Schema Registry a AWS Glue Schema Registry y trasladó las cargas de trabajo de Kafka Connect a MSK Connect. Para reducir el riesgo de la migración, GFT diseñó una fase de coexistencia en la que ambos entornos funcionaron en paralelo, utilizando Kafka MirrorMaker 2.0 sobre Amazon EC2 para replicar los datos entre Confluent y Amazon MSK y garantizar la capacidad de reversión (rollback) en caso necesario.
El beneficio
Una plataforma más eficiente, escalable y preparada para el futuro
El proyecto proporcionó a la compañía una plataforma de transmisión de eventos más alineada con el ecosistema nativo de AWS y con su estrategia global de adopción de la nube. La migración simplificó las operaciones al consolidar los servicios de streaming dentro del entorno AWS, preservó capacidades críticas como el procesamiento de datos en tiempo real, la captura de cambios de datos (CDC), la gestión de esquemas y la comunicación basada en eventos, e incrementó la escalabilidad mediante una arquitectura serverless preparada para responder a las necesidades futuras del negocio.
El entorno gestionado incluye aproximadamente 300 tópicos de Kafka, 581 particiones, Schema Registry, cargas de trabajo de Kafka Connect, Debezium CDC, conectores S3 Sink y numerosos microservicios productores y consumidores. Además, la sustitución de una implementación de Confluent con baja utilización por Amazon MSK Serverless permitió reducir los costes mensuales de la plataforma en aproximadamente un 40 %.
Póngase en contacto con nuestros expertos.
