Optymalizacja hurtowni danych stymuluje wzrost firmy inwestycyjnej

Optymalizacja hurtowni danych stymuluje wzrost firmy inwestycyjnej

Radzenie sobie z powolnym przetwarzaniem wsadowym danych o codziennej pozycji, obrotach i rynkach umożliwia firmie rozszerzanie jej systemów.

Szybsze działanie

Poprawa odporności i skrócenie czasu procesu (z 6 godzin do 40 min).

Ujednolicenie i normalizacja

Usprawnienie pracy hurtowni danych i skrócenie czasu ręcznego przetwarzania codziennych partii o 90%.

Skalowalność

Budowanie mocy w celu przejścia do procesów skalowanych, zarówno pionowo, jak i poziomo, co umożliwia zaspokojenie potrzeb klienta.

Wyzwanie

Dążenie do szybkości i możliwości zwiększania skali

System wykorzystywany przez dużą amerykańską firmę inwestycyjną jako hurtownia istotnych danych o obrotach, wartościach jej aktywów, ruchach na rynku i wielu innych danych był aktualizowany raz dziennie w ramach procesu wsadowego, który zajmował aż trzy godziny. Ponieważ ta hurtownia danych codziennie zapewnia dane wejściowe do różnorodnych dalszych raportów wewnętrznych, w tym ważnych analiz ryzyka, powolny proces wsadowy był elementem problematycznym.

Co więcej, firma potrzebowała systemu hurtowni danych, który mogłaby dalej rozwijać uwzględniając nowe aktywa, nowe zakresy działalności oraz nowe sposoby wykorzystywania danych związane z jej wzrostem. Czas potrzebny na przetwarzanie wzrastał wraz z wolumenem danych, co oznaczało, że cały system wkrótce mógłby się stać niemożliwy do utrzymania. Problem udoskonalenia funkcjonowania hurtowni danych oraz oprogramowania pozyskiwania, przekształcania i ładowania danych (ETL) stawał się coraz pilniejszy.

Firma chciała również udostępnić więcej danych z systemu hurtowni w czasie rzeczywistym, aby umożliwić nowe sposoby wykorzystywania danych. Jest to część planu działania IT, w którego realizacji firmę wspomaga GFT, i którego istotnym elementem będzie zajęcie się zagadnieniem czasu przetwarzania wsadowego.

„Początkowo klient nie zgłosił GFT wymagania, że konieczne jest skrócenie czasu przetwarzania wsadowego. Ale dostrzegliśmy tę potrzebę i zaczęliśmy proaktywnie pracować nad udoskonaleniem tego systemu. W efekcie wysiłki te wniosły rzeczywistą wartość do operacji w ramach omawianej firmy inwestycyjnej.“

Ed Betts

Dyrektor Jednostki klienta

GFT

Zaangażowanie

Usprawnienie procesów dotyczących danych

Wykorzystując efektywniej obecną technologię firmy GFT usprawniła pracę hurtowni danych i skróciła czas procedury codziennego przetwarzania wsadowego do około 15 minut — redukcja o ponad 90%.

W tym celu inżynierowie GFT udoskonali schematy logiczne i stworzyli lepsze kontrole. Postępowali zgodnie ze standardowymi praktykami dla oprogramowania ETL, które zostały zaniedbane w ciągu lat, które upłynęły od czasu pierwszego wdrożenia systemu. Codzienne przetwarzanie danych powoduje powstanie ponad 44.000 plików, a dzięki usprawnieniu procesu można było skrócić potrzebny czas.

Optymalizacja procesów przetwarzania danych pomaga firmie integrować serwery na bazie chmury wraz ze zmianą skali. Wcześniej była ona ograniczona do skalowania pionowego, dodając nowe zasoby do istniejących maszyn na miejscu. Po wdrożeniu udoskonalonych procesów wzrosła elastyczność systemu hurtowni danych, co umożliwi reagowanie na przyszłe zapotrzebowanie.

Korzyść

Poprawa terminowości raportów

W efekcie udoskonalenia hurtowni danych, która służy za hub synchronizacji danych, każdego dnia całe menu wewnętrznych raportów może być gotowe wcześniej. Szybsze przetwarzanie wsadowe daje maklerom, menadżerom, analitykom i zarządowi firmy więcej terminowych danych, dzięki czemu przez cały czas mają pełen i jasny obraz statusu swoich inwestycji.

Prace nad tym problemem były osadzone w dogłębnym rozumieniu przez GFT potrzeb firmy inwestycyjnej związanych z technologią, procesami i danymi. Inżynierowie GFT rozpoczęli potwierdzanie koncepcji rozwiązań dla przetwarzania wsadowego jeszcze zanim klient zgłosił jakiekolwiek problemy związane z funkcjonowaniem hurtowni danych. Klient nie musiał nabyć żadnej zbędnej nowej technologii ani systemów. Zamiast tego GFT wykorzystała to, co spółka już posiadała.

Firma może teraz dodawać nowe zakresy działalności i rozszerzać wymagania dla danych nie martwiąc się o elastyczność czy skalowalność hurtowni danych.