System do obsługi transakcji Prepaid firmy PayUp to system wymagający wysokiej dostępności. Jest to system rozproszony, który odpowiada za rozliczanie transakcji sprzedaży doładowań do bezabonamentowych telefonów komórkowych, a także za rozliczenie innych usług finansowych, jak np. płacenie rachunków i akceptacja kart płatniczych z użyciem terminali POS rozmieszczonych w rozproszonych geograficznie miejscach sprzedaży. Stanowi on najważniejsze narzędzie, a zarazem fundament działania firmy.
W skład systemu wchodzi kilka tysięcy terminali POS, sieć rozległa łącząca operatorów telekomunikacyjnych, partnerów biznesowych oraz serwery, które utrzymywane są w centrum przetwarzania danych BCC (aktualnie All for One Poland). Od początku swojej działalności na polskim rynku firma korzysta z usług Centrum Outsourcingowego BCC, które odpowiada za utrzymanie dostępności i wydajności systemów klienta, a od stycznia 2011 r. świadczy także usługi hostingu i administracji systemu transakcyjnego dla oddziału firmy w Rumunii.
Technologia
Wysoka dostępność usług w branży finansowej jest kluczowa dla prowadzenia biznesu. Stawia to duże wyzwanie przed dostawcą usług IT. Na potrzeby zleceniodawcy BCC przygotowało redundantną platformę serwerową zbudowaną w oparciu o technologię wirtualizacji systemów IT. Zdecydowano się na wybór Red Hat Linux jako systemu operacyjnego oraz bazy danych MySQL.
Do systemu Prepaid obecnie łączy się kilka tysięcy zdalnych terminali z Polski i Rumunii. Połączenia do systemu nawiązywane są przez całą dobę, gdyż wiele terminali znajduje się w punktach czynnych 24 godziny na dobę. W „godzinach szczytu” liczba połączeń sięga kilkuset na minutę. Połączenia obsługiwane są przez trzy serwery aplikacyjne, a dane zapisywane są w trzech serwerach bazodanowych. Przy wymogach pracy w trybie 24/7/365 środowisko wysokiej dostępności to konieczność.
Jedną z najważniejszych cech rozwiązania zaproponowanego i uruchomionego przez konsultantów IT BCC jest przenoszenie wirtualnych serwerów pomiędzy fizycznymi maszynami w trybie online, bez potrzeby wyłączania czy restartu systemu operacyjnego. Eliminuje to potrzebę wyłączenia systemu w związku na przykład z rozbudową bądź naprawą pojedynczego serwera.
Połączenia
Połączenia terminali POS do systemu Prepaid odbywają się z wykorzystaniem różnych technologii: GPRS, WAN, IPsec VPN site-to-site oraz połączeń telefonicznych dial-up. Z kolei w połączeniach pomiędzy centrum przetwarzania danych BCC a operatorami telekomunikacyjnymi i partnerami biznesowymi wykorzystano tunele IPSec site-to-site oraz dodatkowo połączenia dedykowane.
Sam system Prepaid generuje i rozsyła automatycznie raporty w formie wiadomości e-mail i plików przesyłanych do klienta.
Na podstawie wymogów przedstawionych przez PayUp w centrum przetwarzania danych BCC przygotowano wyizolowane środowisko sieciowe. Szkielet sieci tworzą w pełni redundantne switch’e które mają możliwość automatycznej rekonfiguracji w przypadku awarii któregoś węzła. Połączenia ze „światem zewnętrznym” obsługiwane są przez klaster firewalli Juniper pracujących w trybie active-passive.
Dostęp do Internetu zapewnia kilka niezależnych połączeń dostarczonych przez różnych operatorów i zbudowanych w różnych technologiach (światłowody, łącza radiowe). Nad całością konfiguracji tras routingu czuwa protokół BGP, dzięki któremu awaria łącza u poszczególnych operatorów powoduje automatyczne przeniesienie ruchu na inne łącza.
Proaktywny monitoring
Oczywiście środowisko, w którym pracuje system Prepaid, musi być szczegółowo monitorowane. W trybie ciągłym sprawdzane są podstawowe parametry: od dostępności serwerów i uruchomionych na nich usług, aż do tak szczegółowych obszarów, jak zajętość przestrzeni dyskowej czy obciążenie CPU i pamięci. Ze względu na rodzaj usługi szczegółowo kontrolowane są również połączenia sieciowe, a także dostępność kluczowych hostów po stronie operatorów telekomunikacyjnych i partnerów.
Każde zagrożenie wykryte przez system monitoringu (np. przekroczenie zdefiniowanego progu bezpieczeństwa wykorzystania mocy procesorów serwera) sygnalizowane jest poprzez wyświetlenie alarmu na monitorach w centrum monitoringu BCC i wygenerowanie alarmu dźwiękowego. Dodatkowo wysyłana jest wiadomość tekstowa SMS na numery telefonów komórkowych osób, które w danej chwili odpowiedzialne są za dostępność usług centrum przetwarzania danych BCC. W centrum monitoringu BCC w trybie 24/7 dyżurują administratorzy, którzy obserwują wskazania systemów monitoringu i w zależności od sytuacji mogą natychmiast podjąć działania odpowiednie do sytuacji. Wsparcie wykwalifikowanych specjalistów zapewnione jest więc całą dobę, każdego dnia w roku.
Jednak obserwowanie wskaźników na monitorach to nie jedyne zadania konsultantów w centrum monitoringu. Każdego dnia wykonywane są rutynowe czynności sprawdzające na serwerach, według ustalonej procedury. Weryfikowane są m.in. logi systemów operacyjnych, aplikacji czy baz danych. Również sama infrastruktura centrum przetwarzania danych jest kontrolowana każdego dnia, co pozwala na proaktywne wychwycenie pojawiających się zagrożeń mogących w przyszłości zakłócić działanie systemu.
Bezpieczeństwo i standardy
Bezpieczeństwo systemów i danych utrzymywanych w Centrum Outsourcingowym BCC (aktualnie All for One Poland) zapewnione jest przez wdrożone standardy ISO. Obsługa systemów w ramach usług outsourcingu IT BCC opiera się na Systemie Zarządzania Bezpieczeństwem Informacji, zgodnym z normą ISO/IEC-27001. Jest to najbardziej restrykcyjna norma, wskazująca wymagania w zakresie poufności, integralności i dostępności informacji.
Standard ISO/IEC-27001 obejmuje całość zagadnień związanych z ochroną tworzonych, przechowywanych i przetwarzanych w firmie informacji. Jego celem jest weryfikacja i wzmocnienie zabezpieczeń z uwzględnieniem źródeł zagrożeń, jakimi mogą być ludzie, procesy biznesowe i technologie. Standard ten wpisuje się w procedury związane z budowaniem planów ciągłości działania (Business Continuity Planning), które umożliwiają sprawne reagowanie na sytuacje kryzysowe, a nawet nieprzewidywalne katastrofy, takie jak np. pożar, powódź czy katastrofa budowlana.
Każdy system produkcyjny posiada swój własny, szczegółowy plan ciągłości działania (PCD), który określa, jakie kroki należy podjąć, aby przywrócić jego dostępność w przypadku awarii. Plany PCD są regularnie testowane i uaktualniane przez administratorów. Test planu PCD polega na całkowitym odtworzeniu systemu na zapasowym serwerze i zweryfikowaniu poprawności jego działania. Dzięki regularnym testom jesteśmy w stanie dokładnie określić, ile czasu będzie potrzebne na odtworzenie systemu w przypadku awarii.
Centrum Outsourcingowe BCC posiada również System Zarządzania Usługami IT zgodny z normą ISO/IEC-20000 (ITIL). Standard zarządzania usługami IT ISO/IEC-20000 podaje konkretne wytyczne, jak efektywnie obsługiwać zgłoszenia od klientów, reagować na incydenty czy rozwiązywać problemy. Norma definiuje zbiór najważniejszych procesów IT – m.in. zarządzanie i raportowanie poziomu usług, zarządzanie dostępnością i ciągłością działania, zarządzanie bezpieczeństwem informacji oraz zarządzanie konfiguracją i zmianą.
Elastyczne środowisko
Hosting systemu Prepaid jest przykładem usługi „szytej na miarę”. Początkowo system składał się z kilku serwerów i obejmował terminale na terenie Polski. W kolejnych latach instalacja rosła wraz z rozwojem biznesu klienta. Wdrożenie nowych usług oraz poszerzenie zasięgu działania o kolejny kraj, Rumunię, zwiększyło liczbę obsługujących maszyn. Wzrosła również liczba połączeń do kolejnych operatorów telekomunikacyjnych poza Polską. Współpraca z Centrum Outsourcingowym BCC pozwoliła zleceniodawcy ograniczyć koszty utrzymania IT na początku jego działalności biznesowej. Opłata obejmowała tylko tę moc obliczeniową, która była wykorzystywana.
Odbiorcy usług w Rumunii nie są świadomi, że autoryzacja ich transakcji pokonuje geograficznie bardzo długą trasę – do Złotnik pod Poznaniem w Polsce, do operatora GSM właściwego dla danej transakcji w Rumunii oraz powrotnie – do terminala stojącego gdzieś w sklepie w ich kraju.
Dodatkowo duża elastyczność technologii, na której oparte jest rozwiązanie, pozwalała na płynne rozszerzenie zasobów systemu. Kolejne prace rozwojowe są prowadzone bez przestojów w działaniu infrastruktury produkcyjnej. To bardzo istotna zaleta, nie tylko w branży usług finansowych.
Hosting systemu Prepaid jest przykładem usługi „szytej na miarę”. Początkowo system składał się z kilku serwerów, w kolejnych latach instalacja rosła wraz z rozwojem biznesu klienta
Kompetencje do wynajęcia
Koszty sprzętu są jedynie częścią wydatków w projektach informatycznych. Często dużo większym problemem – i znacznym kosztem – jest pozyskanie odpowiedniej kadry. Rekrutacja, a następnie wdrożenie i przeszkolenie nowych administratorów IT i administratorów sieci o odpowiednich kwalifikacjach to proces czasochłonny i kosztowny. Kolejne wyzwanie to organizacja pracy w zgodzie z najlepszymi praktykami dla branży IT i standardami norm ISO/ITIL.
Tak wymagający i skomplikowany system, jakim jest Prepaid, wymaga opieki doświadczonych i kompetentnych administratorów. Zespół BCC, który odpowiada za bieżące utrzymanie i rozwój systemów, to kilkunastu administratorów. Ich kompetencje i specjalizacje w danych dziedzinach są potwierdzone wieloletnim doświadczeniem w projektach wdrożeniowych i serwisie oraz certyfikatami, m.in. z technologii baz danych (Oracle, MSSQL, DB2), systemów operacyjnych (Windows, Unix, Linux, i5/OS) oraz technologii sieciowych (Juniper, Cisco).
Oprócz kompetencji czysto technicznych, niemniej istotne są kompetencje językowe. Nad wdrożeniem systemu Prepaid współpracowały osoby różnych narodowości. W bieżącej pracy dotyczącej utrzymania systemu Prepaid czy zmian konfiguracji parametrów technicznych administratorzy BCC kontaktują się w języku angielskim ze specjalistami m.in. z Portugalii i Rumunii.
Centrum Outsourcingowe BCC zapewnia kompleksową obsługę utrzymania środowiska IT: od hostingu i kolokacji w centrum przetwarzania danych BCC, po administrację systemami. BCC współpracuje z największymi dostawcami sprzętu i oprogramowania, co pozwala zaproponować najlepsze rozwiązania techniczne uszyte na miarę. Potrzeby każdego klienta traktowane są indywidualnie.
Marek Strzelczyk, Dyrektor IT i Operacji, Członek Zarządu, PayUp Polska
Obecnie systemy zlokalizowane w Centrum Outsourcingowym BCC (aktualnie All for One Poland) obsługują ok. 7 tys. terminali POS (ok. 4,5 tysiąca w Polsce i 2,5 tysiąca w Rumunii). W obydwu krajach terminale są rozmieszczone na całym ich terytorium.
Od początku działalności PayUp koncepcja firmy zakładała outsourcing wielu usług, w tym usług hostingu systemów IT. Firma BCC została wybrana jako nasz partner ze względu na swój profesjonalizm oraz konkurencyjną ofertę cenową. Fakt, że zdecydowaliśmy się przenieść do BCC również systemy z Rumunii, które początkowo były obsługiwane przez lokalnego dostawcę, jest wyrazem naszego zaufania do kompetencji prezentowanych przez pracowników Centrum Outsourcingowego BCC oraz do jakości świadczonych usług.
Zespół IT PayUp Polska liczy sześć osób. Ich kompetencje koncentrują się na znajomości terminali POS, ich aplikacji oraz aplikacji centralnych systemu Prepaid. Zagadnienia związane z zarządzaniem serwerami, systemami operacyjnymi oraz bazami danych pozostawiamy naszemu partnerowi.
We współpracy z BCC udało nam się wypracować koncepcję Disaster Recovery – redundantnego rozwiązania sprzętowo-programowego, które zapewnia równoległe działanie systemów PayUp w dwóch geograficznie oddalonych lokalizacjach i przejęcie całego ruchu transakcyjnego przez jedną z tych lokalizacji w przypadku awarii w drugiej lokalizacji. Pracownicy BCC służyli swoją wiedzą i doświadczeniem przy opracowywaniu tego rozwiązania.
W codziennych kontaktach personel Centrum Outsourcingowego prezentuje dużą dyspozycyjność i elastyczność, przyjazne podejście do klienta oraz daleko idącą pomoc, np. goszcząc naszych współpracowników i partnerów z innych państw na wizytach referencyjnych.
Marek Strzelczyk, Dyrektor IT i Operacji, Członek Zarządu, PayUp Polska