Firma z sektora energetycznego modernizuje streaming danych w czasie rzeczywistym dzięki AWS i GFT
Kiedy zalety przekształcają się w wyniki
Uproszczenie operacji i usprawnienie zarządzania
Usługi strumieniowego przetwarzania zdarzeń ujednolicono w środowisku AWS, co usprawniło zarządzanie platformą i wzmocniło mechanizmy zarządzania danymi
Modernizacja z wykorzystaniem natywnych usług AWS
Migracja z Confluent Kafka do Amazon MSK uprościła architekturę i procesy operacyjne dzięki wykorzystaniu natywnych usług AWS
Skalowalne podstawy dalszego rozwoju
Zbudowano skalowalną i odporną na awarie platformę, gotową na dalszy rozwój działalności i rosnące wolumeny danych
Wyzwanie
Modernizacja platformy strumieniowego przetwarzania zdarzeń bez zakłócania bieżącej działalności
Firma musiała obniżyć koszty operacyjne platformy strumieniowego przetwarzania zdarzeń bez pogarszania skalowalności, odporności na awarie ani możliwości przetwarzania danych w czasie rzeczywistym, a jednocześnie zachować ciągłość działania i możliwość wycofania migracji. Środowisko obejmowało około 300 tematów Kafka, 581 partycji, Schema Registry, Kafka Connect, Debezium CDC, złącza S3 Sink oraz wiele mikroserwisów publikujących i odbierających dane. Migrację z Confluent Cloud do Amazon MSK Serverless należało przeprowadzić tak, aby ograniczyć do minimum wpływ na krytyczne usługi.
Realizacja
Migracja do architektury opartej na natywnych usługach AWS
GFT wspólnie z klientem opracowało i wdrożyło strategię migracji z Confluent Cloud do Amazon MSK. W architekturze docelowej brokery Kafka zastąpiono Amazon MSK, Confluent Schema Registry przeniesiono do AWS Glue Schema Registry, a procesy Kafka Connect do MSK Connect. Aby ograniczyć ryzyko, GFT zaplanowało etap równoległego działania obu środowisk. Kafka MirrorMaker 2.0 uruchomiony na Amazon EC2 replikował dane między Confluent a Amazon MSK, umożliwiając w razie potrzeby powrót do poprzedniego rozwiązania.
Korzyści
Bardziej wydajna i skalowalna platforma, gotowa na dalszy rozwój
W wyniku projektu firma zyskała platformę strumieniowego przetwarzania zdarzeń lepiej zintegrowaną z ekosystemem AWS i wspierającą jej globalną strategię chmurową. Migracja uprościła operacje dzięki konsolidacji usług strumieniowego przetwarzania zdarzeń w środowisku AWS, przy jednoczesnym zachowaniu kluczowych funkcji, takich jak przetwarzanie danych w czasie rzeczywistym, Change Data Capture (CDC), zarządzanie schematami i komunikacja oparta na zdarzeniach. Architektura serverless zwiększyła skalowalność i przygotowała platformę na dalszy rozwój.
Zarządzane środowisko obejmuje około 300 tematów Kafka, 581 partycji, Schema Registry, procesy Kafka Connect, Debezium CDC, złącza S3 Sink oraz liczne mikroserwisy publikujące i odbierające dane. Zastąpienie środowiska Confluent o niskim poziomie wykorzystania usługą Amazon MSK Serverless obniżyło miesięczne koszty platformy o około 40%.
Skontaktuj się z naszymi ekspertami.
