Osoby odpowiedzialne w firmach za IT wielokrotnie rozważają, czy strategiczne dla przedsiębiorstwa dane są zabezpieczone na wypadek poważnej awarii w ośrodku podstawowym, czyli Primary Data Center (dalej: PDC). Czy IT jest przygotowane na „blackout”? Jak firma będzie wtedy funkcjonować? Pytania te zadane z odpowiednim wyprzedzeniem, pozwalają podjąć działania, które zabezpieczą całą organizację przed poważnymi awariami ośrodka podstawowego oraz w sposób kontrolowany i zaplanowany uruchomią systemy w Disaster Recovery Center (dalej: DRC) w ustalonym wcześniej czasie. Szczególnie ważne jest to dla firm wielooddziałowych, o rozbudowanej strukturze organizacyjnej, dla której każda nieplanowana przerwa w pracy systemów, to realne straty dla firmy. Takie właśnie działania podjęło kierownictwo Smithfield Polska, aby wzmocnić bezpieczeństwo swoich systemów informatycznych.

Plan ciągłości działania

Stworzenie w Smithfield Polska dobrego planu ciągłości działania, obejmującego ponad 50 lokalizacji na terenie całej Polski, z pewnością nie było łatwym zadaniem. Wymagało uporządkowanego i metodycznego podejścia do tematu, którego efektem było opracowanie, a następnie cykliczne wykonywanie scenariuszy testowych. Stanowiły one bazę do wypracowania optymalnego rozwiązania.

Smithfiled w centrali firmy dysponuje własnym, rozbudowanym centrum przetwarzania danych. Jednak kierownictwo IT firmy zdawało sobie sprawę, że przechowywanie firmowych danych w jednym miejscu nie jest do końca bezpiecznym rozwiązaniem. Kopie bezpieczeństwa nie stanowią, niestety,  wystarczającej gwarancji ciągłości działania firmy. Czas odtworzenia, problemy z dostosowaniem środowiska po odtworzeniu lub mniejsza wydajność, może powodować przerwy w funkcjonowaniu biznesu, na co firma tej wielkości, co Smithfield, zwyczajnie nie może sobie pozwolić.

Podjęto zatem decyzję o uruchomieniu drugiej, niezależnej lokalizacji dla DRC – Disaster Recovery Center. Na partnera projektu wybrano SNP Poland (aktualnie All for One Poland) – firmę, która zna systemy Smithfiled, specjalizuje się w usługach SAP oraz posiada dobre, sprawdzone All for One Data Centers.

Systemy najważniejsze dla klienta

W pierwszej kolejności konsultanci SNP wspólnie z pracownikami Smithfiled określili, jakie zasoby są dla klienta najważniejsze, tj. które wymagają, aby były replikowane do DRC z trybie aktywnym. Smithfield wskazał jako najważniejsze systemy SAP, działające pod kontrolą systemu Linux wraz z bazą danych IBM DB2. Replikacja przy pomocy narządzi IBM DB2 w trybie HADR (High Avaibility Disaser Recovery) zapewniła wysoką dostępność krytycznych systemów SAP, przy użyciu replikacji logów transakcyjnych wraz z możliwością uruchomienia w krótkim czasie bazy zapasowej (Standby).

Replikacja w trybie ciągłym

Pozostałe wybrane systemy, replikowane są do DRC w trybie ciągłym przez rozwiązania VMware vReplication. Rozwiązanie pozwala określonej grupie maszyn wirtualnych, w trybie ciągłym w ustalonym maksymalnym opóźnieniu, replikować się do DRC. Powoduje to, że w DRC maszyny wirtualne pozostają w tzw. trybie standby (oczekującym), który umożliwia ciągłe dopisywanie do nich różnicy względem VM w PDC.

W sytuacji, w której Smithfield utraci potencjalnie całe PDC i podejmie decyzję o uruchomieniu DRC, maszyny kończą replikację i rozpoczynają pracę w środowisku z akceptowaną różnicą względem PDC. Całość środowiska replikowanego IBM HADR oraz VMware vReplication stanowi podstawę – fundament dla dalszych kroków w przywróceniu najważniejszych systemów klienta.

Trzecią część środowiska stanowią systemy kolokowane w DRC, umożliwiające w kolejnych krokach odtworzenie ze zreplikowanej kopii zapasowej pozostałą część systemów w ustalonym czasie.

Całość replikowanych czy kolokowanych rozwiązań wraz z przygotowanymi harmonogramami, procedurami i instrukcjami stanowi grunt dla wspólnej pracy zespołów Smithfield i SNP w przypadku wystąpienia awarii PDC.

Szczegółowe scenariusze testowania

W celu sprostania wymaganiom i oczekiwaniom Smithfield, inżynierowe z SNP (aktualnie All for One Poland), we współpracy z użytkownikami systemu po stronie Smithfiled, przygotowali szczegółowe scenariusze testowania rozwiązania DRC. Tylko testowane rozwiązanie DRC daje pewność ciągłości działania w przypadku awarii PDC. Harmonogram testowania DRC od momentu startu do zakończenia to prawdziwy, realny test zakładający odcięcie zakładów Smithfield od centrali i PDC oraz pełne przełączenia na DRC w SNP.

Od momentu opracowania procedur miały miejsce 4 przełączenia testowe, pierwsze w 2016 roku i trzy kolejne w 2017 r. W testy zaangażowani byli nie tylko pracownicy IT po obu stronach, ale również pracownicy po stronie fabryk, testujący przełączone środowisko.

Praktyka czyni mistrza

Dzięki zastosowaniu po obu stronach technologii wirtualizacji wraz z technologią snapshot (migawki), testy były wykonywane w prawdziwych warunkach, oddając rzeczywistą sytuację utraty PDC.

Za każdym razem w testach zaangażowane były inne osoby w zespołach IT Smithfield i SNP, jak również inne osoby w zespołach pracowniczych. Wszystko po to, aby rozpowszechnić wiedzę i standardy działania w przypadku realnego przełączenia. Na liście zadań do wykonania w razie awarii PDC jest ok. 180 zadań, które, aby spełniały swoją rolę, muszą być przetestowane przez różne zespoły pracowników. W wyniku testów procedury, harmonogramy instrukcje zostały uszczegółowione, a czasy przywrócenia pełnej funkcjonalności skrócone. Dzięki powyższym działaniom systemy Smithfield są dobrze zabezpieczone na wypadek awarii.

Robert Wikieł, Dyrektor Zarządzający ds. IT, Smithfield Polska

Utrzymanie wysokich standardów
Jesteśmy największą firmą mięsną na rynku polskim, od lat pozostajemy też liderem w eksporcie mięsa na rynki zagraniczne. Inwestujemy w technologię, maszyny i wyposażenie zakładów produkcyjnych. Stawiamy na rozwój, który nie byłby możliwy bez systemów informatycznych, bo to właśnie one zapewniają ciągłość działania.
Przy dość rozproszonej strukturze (ponad 50 lokalizacji na terenie całego kraju) zapewnienie niezawodnej komunikacji z firmowymi systemami jest dla działu IT dużym wyzwaniem. Sytuacja, w której nie mamy dostępu do systemów, to paraliż dużej części firmy. Posiadamy własne CPD, które utrzymujemy według najlepszej wiedzy. Jednak doświadczenie pokazuje, że dobrze jest przewidywać rzeczy nieprzewidywalne, dlatego zdecydowaliśmy się na uruchomienie Disaster Recovery Center w niezależnej, zewnętrznej lokalizacji.
Wybierając partnera do tego projektu, na biurku miałem wiele ofert. O wyborze SNP (aktualnie All for One Poland) zadecydowały dwie rzeczy – możliwości techniczne i, co ważniejsze – wiedza konsultantów basis, pozwalająca podjąć działania odtworzeniowe. Przedstawiliśmy nasze oczekiwania i wspólnie z SNP opracowaliśmy procedury. Ale procedury to jedno, a działania ludzkie, to drugie. Dlatego najważniejszą sprawą w tym projekcie są testy. Każda przerwa odtworzeniowa to była dla wszystkich duża lekcja. Wtedy widzieliśmy, gdzie są problemy, co trzeba poprawić, usprawnić, przyspieszyć. Dążyliśmy do zwiększenia zakresów w coraz krótszym czasie. W każdej kolejnej przerwie odtworzeniowej zmienialiśmy zespoły, pracowników i znów wyciągaliśmy wnioski. Nie obniżaliśmy wymagań, tylko podnosiliśmy poprzeczkę.
W tej chwili wypracowane procedury dają nam gwarancję działania kluczowych dla firmy systemów informatycznych, ale na tym nie poprzestajemy. Musimy testować, bo tylko wtedy będziemy mogli powiedzieć, że jesteśmy naprawdę przygotowani na wypadek awarii.
Robert Wikieł, Dyrektor Zarządzający ds. IT, Smithfield Polska

Tomasz Wawrzonek, Wicedyrektor IT, All for One Poland

Bezpieczeństwo systemów klienta to nasz priorytet
Infrastruktura All for One Data Centers spełnia wysokie wymagania w zakresie bezpieczeństwa i wydajności. Systemy monitorujące, plany ciągłości działania, certyfikowane standardy pracy to fundamenty dla świadczenia naszych usług. Kluczowym elementem są kompetencje osób zaangażowanych w zapewnienie ciągłości działania oraz dostępność systemów przez 24 godzinę na dobę 7 dni w tygodniu, dlatego tak ważne jest ciągłe podnoszenie kompetencji.
Usługa Disaster Recovery Center przewidziana jest na wypadek dużych awarii lub innych nie dających się przewidzieć zdarzeń. Jeśli takie krytyczne zdarzenie, skutkujące niedostępnością systemów IT w bieżącej pracy, wystąpi, upoważniona osoba ze Smithfield zgodnie z wcześniej ustaloną procedurą podejmuje decyzję o przełączeniu systemów na ośrodek zapasowy. Po takim sygnale uruchomiona jest procedura przełączenia na ośrodek zapasowy, czyli plan ciągłości działania. W rezultacie w zaplanowanym czasie ośrodek zapasowy w SNP (aktualnie All for One Poland) przejmie rolę ośrodka podstawowego. Wszyscy użytkownicy systemów dostaną komunikat o przełączeniu wraz z instrukcją, by korzystali z „zapasowych” połączeń umożliwiających logowanie się do systemów.
W ramach usługi Disaster Recovery Center SNP realizuje dla Smithfield również usługę kolokacji infrastruktury zapasowej, która umożliwia odtworzenie danych archiwalnych.
Tomasz Wawrzonek, Wicedyrektor IT, All for One Poland

Smithfield Polska to grupa firm działających w Polsce w łańcuchu produkcji żywności pochodzenia zwierzęcego, kontrolująca przebieg produkcji „od pola do stołu”. Należy do Grupy Smithfield Foods, Inc. (USA), której głównym udziałowcem jest WH Group notowana na giełdzie w Hongkongu. Firmy te tworzą grupę będącą największym producentem wieprzowiny na świecie.
Działalność Smithfield Polska opiera się na dbałości o wszystkie aspekty działalności operacyjnej, zapewniając bezpieczeństwo żywności i pewność, że pochodzi ona z zasobów o najwyższej jakości.
Smithfield Polska tworzą:
Animex Foods Sp. z o.o. – producent mięsa wieprzowego, drobiowego oraz wysokiej jakości przetworów mięsnych pod tak znanymi markami jak: Krakus, Morliny, Morlinki, Berlinki, czy Mazury.
Agri Plus Sp. z o.o. – prowadząca działalność w zakresie hodowli trzody chlewnej.
Agri Plus Sp. z o.o. Oddział Paszowy – zajmująca się produkcją pasz.