Ein Energieunternehmen modernisiert die Echtzeit-Datenübertragung mit AWS und GFT
Wenn aus Vorteilen messbare Ergebnisse werden
Vereinfachte Abläufe und Steuerung
Dadurch wurden die Streaming-Dienste auf AWS vereinheitlicht, um die Plattformverwaltung zu verbessern und die Data Governance zu stärken.
Modernisierung unter Verwendung nativer AWS-Technologien
Migration von Confluent Kafka zu Amazon MSK, wodurch die Architektur und der Betrieb mithilfe nativer AWS-Dienste vereinfacht wurden
Eine skalierbare Grundlage für Wachstum
Das Unternehmen hat eine skalierbare und ausfallsichere Plattform geschaffen, die für das künftige Business- und Datenwachstum gerüstet ist.
Herausforderung
Modernisierung der Streaming-Plattform ohne Beeinträchtigung des Business-Betriebs
Das Unternehmen musste die Kosten seiner Event-Streaming-Plattform senken, ohne dabei Kompromisse bei der Skalierbarkeit, Ausfallsicherheit, den Echtzeit-Datenverarbeitungsfunktionen, der Geschäftskontinuität oder den Rollback-Optionen einzugehen. Die Umgebung umfasste etwa 300 Topics, 581 Partitionen, die Schema Registry, Kafka Connect, Debezium CDC, S3-Sink-Konnektoren sowie mehrere Producer- und Consumer-Mikroservices. Bei der Migration mussten die Auswirkungen auf kritische Dienste während des Übergangs von Confluent Cloud zu Amazon MSK Serverless so gering wie möglich gehalten werden .
Engagement
Migration zu einer AWS-nativen Architektur
GFT arbeitete mit dem Unternehmen zusammen, um eine Migrationsstrategie von Confluent Cloud zu Amazon MSK zu entwerfen und umzusetzen . Im Rahmen der Zielarchitektur wurden die Kafka-Broker durch Amazon MSK ersetzt, die Confluent Schema Registry auf die AWS Glue Schema Registry migriert und die Kafka Connect-Workloads auf MSK Connect verlagert. Um Migrationsrisiken zu minimieren, konzipierte GFT eine Koexistenzphase, in der beide Umgebungen parallel liefen. Dabei wurde Kafka MirrorMaker 2.0 auf Amazon EC2 eingesetzt, um Daten zwischen Confluent und Amazon MSK zu replizieren und sicherzustellen, dass bei Bedarf ein Rollback möglich war.
Benefit
Eine effizientere, skalierbare und zukunftsfähige Plattform
Im Rahmen des Projekts wurde dem Unternehmen eine Event-Streaming-Plattform bereitgestellt, die besser auf das native AWS-Ökosystem und seine globale Cloud-Einführungsstrategie abgestimmt ist . Die Migration vereinfachte den Betrieb durch die Konsolidierung der Streaming-Dienste innerhalb der AWS-Umgebung, sicherte wichtige Funktionen wie Echtzeit-Datenverarbeitung, Erfassung von Änderungsdaten (CDC), Schema-Management und ereignisgesteuerte Kommunikation und erhöhte die Skalierbarkeit durch eine serverlose Architektur, die auf zukünftige Business-Anforderungen ausgelegt ist.
Die verwaltete Umgebung umfasst rund 300 Kafka-Themen, 581 Partitionen, die Schema Registry, Kafka Connect-Workloads, Debezium CDC, S3-Sink-Konnektoren sowie zahlreiche Producer- und Consumer-Mikroservices. Darüber hinaus konnten durch den Ersatz einer Confluent-Bereitstellung mit geringer Auslastung durch Amazon MSK Serverless die monatlichen Kosten der Plattform um etwa 40 % gesenkt werden.
Haben Sie Fragen, wir helfen gerne.
