Szybkość przetwarzania danych... nabiera tempa
Choć w pierwszej chwili termin CADABAT może wyglądać jak rodzaj skomplikowanego szyfru, w rzeczywistości jest to nowa technologia znacznie przyspieszająca przetwarzanie danych. Caching Access DataBase Table – bo tak należy poprawnie rozwijać ten skrót, likwiduje największy problem aplikacji porozumiewających się z bazami danych przy wykorzystaniu łącza JDBC, jakim jest wydajność przy operacjach masowych.
Do tej pory na rozwiązanie problemu i wdrożenie w firmach baz i technologii „in-memory” było procesem dość skomplikowanym i niezwykle kosztownym. Zgodnie z zapowiedzią twórców CADABAT, teraz wszystko ma się zmienić.
Firma Heuthes opracowała swoją wersję oprogramowania, które umożliwia przenoszenie do pamięci niektórych tabel baz danych, co w rzeczywistości znacznie przyspiesza przetwarzanie i dostęp do często przetwarzanych danych. Z testów wynika, że w niektórych zastosowaniach uzyskano nawet dziesięciokrotne przyspieszenie. Mechanizm wykorzystuje inteligentne zarządzanie dostępem do tabel bazy danych z użyciem lokalnej pamięci, tak aby odczyt był wykonywany z maksymalną prędkością w samym programie, a nie poprzez spowalniające zewnętrzne interfejsy.
Ponadto technologia CADABAT pozwala na zunifikowaną pracę w środowisku wielu aplikacji i wielu serwerów, dzięki zaawansowanym technikom współdzielenia tych buforów w hierarchicznym układzie master-slave.
W ramach ciekawostki warto dodać, że rozwiązania stworzone w oparciu o technologię CADABAT już od dłuższego czasu są wykorzystywane w bankowym systemie MULTICENTAUR PAYMENT HUB oraz systemie MC-CFT, który służy do przeciwdziałania praniu pieniędzy i finansowaniu terroryzmu. Rozwiązanie pracuje w trybie on-line, monitorując wszystkie transakcje i umożliwiając przeprowadzenie szeregu operacji z wychwyconymi działaniami. System ten charakteryzuje się bardzo wysoką wydajnością, np. dla 2,5 miliona wzorców, czas odpowiedzi wynosi zaledwie 50 milisekund.
Jak w praktyce działa ta technologia o niezwykle skomplikowanej nazwie? Przede wszystkim, w trakcie przetwarzania danych w bazie wykorzystywane są tabele słownikowe, które nie są modyfikowane w trakcie przetwarzania oraz tzw. tabele operacyjne, które podlegają modyfikacjom. Należy w tym miejscu zwrócić uwagę na fakt, że w trakcie pracy aplikacji, liczba odwołań bazodanowych do niemodyfikowanych tabel słownikowych jest z reguły olbrzymia. Są to bowiem dane parametryczne do wszystkich operacji przetwarzania danych. Umieszczenie tabel słownikowych w pamięci cache, w trybie tylko do odczytu (pozbawiając je możliwości wstecznej modyfikacji) doprowadziło w efekcie do znacznie bardziej wydajnego przetwarzania wielowątkowego.
Niezwykle często proces przetwarzania danych wygląda w ten sposób, że tabele wczytywane są tylko na początku całego procesu i w trakcie przetwarzania dane słownikowe pozyskiwane są bezpośrednio z pamięci cache nie angażując w ten proces w ogóle bazy danych. Przy założeniu, że tego typu tabel jest co najmniej kilkadziesiąt, a samo przetwarzanie danych odbywa się wielowątkowo, można stwierdzić, że procesu ich przetwarzania udało się w ten sposób przyspieszyć wielokrotnie. Ponadto doprowadzono do sytuacji, w której ten rodzaj technologii staje się znacznie bardziej dostępny także dla sektora małych i średnich przedsiębiorstw.
Źródło: niezalezna.pl, heuthes.pl
