Energieunternehmen modernisiert Echtzeit-Datenübertragung mit AWS und GFT
Wenn aus Vorteilen messbare Ergebnisse werden
Vereinfachter Betrieb und Governance
Durch die Standardisierung der Streaming-Services auf AWS wurden das Plattformmanagement verbessert und die Data Governance gestärkt.
Modernisierung mit nativen AWS-Technologien
Migration von Confluent Kafka zu Amazon MSK, wodurch Architektur und Betrieb durch den Einsatz nativer AWS-Services vereinfacht wurden.
Skalierbare Basis für weiteres Wachstum
Aufbau einer skalierbaren und resilienten Plattform, die für zukünftiges Geschäfts- und Datenwachstum ausgelegt ist.
Herausforderung
Modernisierung der Streaming-Plattform ohne Beeinträchtigung des laufenden Betriebs
Das Unternehmen wollte die Betriebskosten seiner Event-Streaming-Plattform senken, ohne Abstriche bei Skalierbarkeit, Resilienz, Echtzeit-Datenverarbeitung, Geschäftskontinuität oder Rollback-Möglichkeiten zu machen. Die Umgebung umfasste rund 300 Topics, 581 Partitionen, Schema Registry, Kafka Connect, Debezium CDC, S3-Sink-Connectoren sowie mehrere Producer- und Consumer-Microservices. Bei der Migration von Confluent Cloud zu Amazon MSK Serverless galt es, die Auswirkungen auf geschäftskritische Services während der Umstellung so gering wie möglich zu halten.
Projekt
Migration zu einer AWS-nativen Architektur
GFT entwickelte und implementierte gemeinsam mit dem Unternehmen eine Migrationsstrategie von Confluent Cloud zu Amazon MSK. In der Zielarchitektur wurden die Kafka-Broker durch Amazon MSK ersetzt, die Confluent Schema Registry zur AWS Glue Schema Registry migriert und die Kafka-Connect-Workloads auf MSK Connect übertragen. Um die Risiken der Migration zu minimieren, konzipierte GFT eine Übergangsphase, in der beide Umgebungen parallel betrieben wurden. Kafka MirrorMaker 2.0 auf Amazon EC2 replizierte dabei die Daten zwischen Confluent und Amazon MSK und stellte sicher, dass bei Bedarf ein Rollback möglich war.
Vorteil
Eine effizientere, skalierbare und zukunftsfähige Plattform
Das Projekt führte zu einer Event-Streaming-Plattform, die besser auf das native AWS-Ökosystem und die globale Cloud-Strategie des Unternehmens abgestimmt ist. Durch die Konsolidierung der Streaming-Services innerhalb der AWS-Umgebung wurde der Betrieb vereinfacht. Gleichzeitig blieben zentrale Funktionen wie Echtzeit-Datenverarbeitung, Change Data Capture (CDC), Schema-Management und ereignisgesteuerte Kommunikation erhalten. Eine Serverless-Architektur sorgt zudem für mehr Skalierbarkeit und ist auf zukünftige Geschäftsanforderungen ausgelegt.
Die verwaltete Umgebung umfasst rund 300 Kafka Topics, 581 Partitionen, Schema Registry, Kafka-Connect-Workloads, Debezium CDC, S3-Sink-Connectoren sowie zahlreiche Producer- und Consumer-Microservices. Darüber hinaus konnten durch den Wechsel von einer wenig ausgelasteten Confluent-Umgebung zu Amazon MSK Serverless die monatlichen Plattformkosten um rund 40 Prozent gesenkt werden.
Haben Sie Fragen, wir helfen gerne.
