Ručno testiranje preusmjeravanja jamči da se vaši sustavi mogu prebaciti na sigurnosne kopije tijekom prekida rada ili održavanja bez prekida rada. Evo kratkog pregleda procesa:

• Zašto je to važno: Testirajte korake oporavka, potvrdite kapacitet sigurnosne kopije, obučite timove i spriječite buduće probleme.
• Planiranje: Postavite ciljeve (npr. prekid rada kraći od 15 minuta), odaberite kritične sustave (baze podataka, aplikacije) i zakažite testove izvan radnog vremena.
• Priprema: Provjerite spremnost sustava, sinkronizaciju podataka, sigurnosne kopije i mrežnu povezanost.
• Izvršenje: Slijedite korak-po-korak plan nadogradnje, nadzirite zapise i provjerite sigurnosne kopije sustava i funkcionalnosti aplikacija.
• Oporavak: Vratite se na primarni sustav nakon testiranja, potvrdite dosljednost podataka i dokumentirajte rezultate za buduća poboljšanja.

Ovaj proces smanjuje vrijeme prekida rada, osigurava integritet podataka i priprema vaš tim za stvarne incidente. Redoviti testovi (svaka tri mjeseca) i pročišćena dokumentacija mogu učiniti vašu strategiju prestanka rada pouzdanijom.

Testiranje tijeka rada za nadogradnju

Planiranje Failover testa

Pažljivo planiranje osigurava minimalne smetnje i potvrđuje otpornost sustava tijekom ručnih testova prelaska u kvar. Evo kako postaviti ciljeve, odabrati sustave, zakazati test i pripremiti dokumentaciju.

Postavljanje ciljeva testa

Definirajte jasne ciljeve za oporavak od katastrofe, kao što su:

• Maksimalno dopušteno vrijeme prekida rada tijekom failovera (cilj ispod 15 minuta)
• Provjera dosljednosti podataka u svim sustavima
• Osiguravanje funkcionalnosti aplikacije nakon failovera
• Mjerenje performansi mreže
• Potvrđivanje korisničkog pristupa i autentifikacije

Odabir testnih sustava

Usredotočite se na bitne sustave, uključujući:

• Primarni poslužitelji baze podataka
• Aplikacije okrenute kupcima
• Interni alati za poslovanje
• Sustavi provjere autentičnosti
• Infrastruktura jezgrene mreže

Upotrijebite mapu ovisnosti za razumijevanje interakcija sustava. To vam pomaže da odlučite koje komponente treba testirati zajedno, a koje se mogu izolirati.

Raspored testiranja i ažuriranja tima

Isplanirajte testove izvan radnog vremena i uzmite u obzir sljedeće:

• Prozori za održavanje: Uskladite testove s unaprijed zakazanim vremenima održavanja.
• vremenske zone: Uzmite u obzir globalne lokacije timova i različito radno vrijeme.
• Dostupnost resursa: Osigurajte da ključni članovi tima budu dostupni za cijeli test.
• Poslovni kalendar: Izbjegavajte pretrpana razdoblja kao što je obrada na kraju mjeseca.

Obavijestite zainteresirane strane o rasporedu testiranja najmanje dva tjedna unaprijed. Uključi pojedinosti poput:

• Predviđeno vrijeme prekida rada sustava
• Mogući prekidi usluge
• Kontakt podaci za hitne slučajeve
• Postupci vraćanja

Pisanje plana testiranja

Detaljan plan testiranja trebao bi uključivati:

1. Kontrolni popis prije greške

Navedite sve pripremne korake, kao što je sigurnosno kopiranje sustava, provjera sinkronizacije podataka i dodjela resursa.

2. Koraci izvršenja

Opišite točan slijed radnji za failover. Uključite naredbe, promjene konfiguracije i točke provjere valjanosti.

3. Kriteriji uspjeha

Definirajte metriku za mjerenje uspjeha, kao što su:

• Vremena odziva sustava
• Provjere integriteta podataka
• Testovi funkcionalnosti aplikacije
• Validacija korisničkog pristupa

4. Postupci vraćanja

Navedite detaljne korake za vraćanje na primarni sustav ako dođe do problema. Navedite uvjete koji bi pokrenuli vraćanje.

Provjere spremnosti sustava

Prije nego što započnete failover test, ključno je potvrditi da su sve ključne komponente na svom mjestu. To pomaže u stvaranju optimalnih uvjeta testiranja i smanjuje rizik od neočekivanih problema. Usredotočite se na pregled konfiguracije sustava, provjeru sinkronizacije podataka, osiguravanje ispravnosti sigurnosnih kopija i testiranje mrežne povezanosti.

Pregled postavljanja sustava

Započnite provjerom trenutne postavke sustava:

• Provjerite raspodjelu CPU-a, memorije i pohrane.
• Provjerite rade li sve potrebne usluge.
• Provjerite dopuštenja i kontrole pristupa.
• Još jednom provjerite sigurnosne postavke.
• Uvjerite se alate za praćenje su ispravno postavljeni.

Zabilježite ove konfiguracije, uključujući brojeve verzija, razine zakrpa i postavke, tako da ih možete potvrditi nakon testa prelaska u grešku. Ovi koraci osiguravaju da je sustav spreman za testiranje.

Status sinkronizacije podataka

Nakon pregleda konfiguracije sustava, potvrdite da sinkronizacija podataka funkcionira prema očekivanjima:

• Izmjerite kašnjenje replikacije.
• Provjerite dosljednost baze podataka.
• Provjerite sinkronizaciju datotečnog sustava.
• Provjerite integritet podataka pomoću kontrolnih zbrojeva.

Usredotočite se na indikatore sinkronizacije u stvarnom vremenu. Za većinu poslovnih aplikacija kašnjenje replikacije bi trebalo biti ispod 60 sekundi. Ovo osigurava da su podaci spremni za failover test.

Sigurnosna provjera sustava

Temeljito pregledajte sustav za sigurnosno kopiranje kako biste potvrdili da je spreman:

Hardver:

• Provjerite sustave napajanja i hlađenja.
• Osigurajte da kapacitet pohrane i performanse zadovoljavaju zahtjeve.
• Provjerite kartice mrežnog sučelja.
• Pregledajte suvišne komponente.

Softver:

• Procijenite zdravlje operativnog sustava.
• Potvrdite da ovisnosti aplikacije funkcioniraju.
• Provjerite alate i pomoćne programe za sigurnosno kopiranje.
• Potvrdite agente za praćenje.

Kontrole pristupa:

• Testirajte autentifikacijske sustave.
• Pregledajte korisnička dopuštenja.
• Potvrdite da su sigurnosni certifikati valjani.
• Provjerite VPN veze.

Ove provjere osiguravaju da je rezervni sustav u potpunosti operativan i spreman za failover test.

Provjera mreže

Ocijenite mrežnu povezanost prema sljedećim kriterijima:

Vrsta testa	Kriteriji prihvaćanja	metoda
Latencija	Ispod 50 ms	Ping testovi
Širina pojasa	Preko 1 Gbps	iperf3 testiranje
DNS rezolucija	Ispod 100 ms	dig/nslookup
Balansiranje opterećenja	Aktivno/pasivno stanje	Zdravstveni pregledi

Pokrenite ove testove iz različitih mrežnih segmenata kako biste bili sigurni da su pokriveni svi potencijalni putovi za nadilaženje. Dokumentirajte osnovne metrike performansi za usporedbu tijekom i nakon procesa nadogradnje.

Dodatno, provjerite jesu li redundantne mrežne staze konfigurirane i dostupne. Testirajte automatski failover za mrežne komponente ako je primjenjivo i osigurajte da su svi potrebni priključci i protokoli otvoreni između primarnog i rezervnog mjesta.

sbb-itb-59e1987

Izvođenje Failover testa

Nakon dovršetka provjera spremnosti, pažljivo nastavite s postupkom prebacivanja u slučaju kvara kako biste smanjili potencijalne smetnje.

Pokreni Failover

• Obavijestite zainteresirane strane najmanje 15 minuta unaprijed.
• Pauzirajte sve transakcije i potvrdite da nema kašnjenja replikacije.
• Započnite failover sekvencu i zabilježite točno vrijeme početka.

Pažljivo pratite kako sustav na početku reagira. Proces prebacivanja u slučaju kvara obično bi trebao trajati 30-45 sekundi. Ako potraje dulje, odmah istražite. Nakon što proces započne, prebacite svoj fokus na praćenje dnevnika u stvarnom vremenu kako biste identificirali probleme čim se pojave.

Gledajte zapisnike sustava

Praćenje zapisnika sustava ključno je za rano uočavanje problema:

Vrsta dnevnika	Znakovi upozorenja	Kritična upozorenja
Primjena	Istek vremena veze	Usluga pada
Baza podataka	Pogreške replikacije	Oštećenje podataka
Mreža	Gubitak paketa > 1%	Kvarovi veze
sigurnosti	Kašnjenja autentifikacije	Povrede pristupa

Neka sučelje naredbenog retka (CLI) bude otvoreno za praćenje poruka u stvarnom vremenu. Obratite dodatnu pozornost na kodove pogrešaka koji počinju s "FAIL" ili "ERR", jer oni često signaliziraju hitne probleme na koje je potrebno odmah obratiti pozornost.

Provjerite sigurnosnu stranicu

Nakon pokretanja failovera, potvrdite da sigurnosna kopija radi ispravno:

1. Dostupnost usluge

Pobrinite se da sve osnovne usluge na sigurnosnoj web stranici pokažu status 'AKTIVNO' unutar 60 sekundi. Zabilježite sva kašnjenja radi pregleda.

2. Korištenje resursa

Pratite ove kritične metrike tijekom prijelaza:

• korištenje CPU-a: Treba ostati ispod 80%.
• Upotreba memorije: Ciljajte na iskorištenje manje od 75%.
• I/O za pohranu: Neka bude ispod 2000 IOPS.
• Mrežna propusnost: Očekujte upotrebu na 40-60% normalnih razina.

3. Raspodjela opterećenja

Provjerite usmjerava li se promet ispravno na sigurnosno mjesto. Provjerite metriku balansera opterećenja kako biste bili sigurni da je promet ravnomjerno raspoređen na dostupne resurse.

Testirajte aplikacije i podatke

Odmah testirajte ključne aplikacije i potvrdite integritet podataka:

• Testiranje osnovne aplikacije: Izvedite osnovne CRUD operacije, testirajte autentifikaciju korisnika, provjerite kritične poslovne tijekove i potvrdite odziv API-ja.
• Validacija podataka: Osigurajte dosljednost baze podataka, provjerite integritet datotečnog sustava, potvrdite nedavne transakcije i testirajte brzine dohvaćanja podataka.

Prvo se usredotočite na testiranje kritičnih aplikacija prije nego prijeđete na sekundarne sustave. Dokumentirajte sve nepravilnosti, kao što su vremena odgovora koja odstupaju za više od 20% od osnovnih mjerenja.

Testiranje nakon failovera

Nakon što je sigurnosna kopija postavljena i radi, sljedeći korak je osigurati da osnovne poslovne funkcije rade ispravno. To uključuje pažljivo provjeravanje i potvrđivanje operacija kako bi se potvrdilo da sve radi kako treba.

Provjera poslovne funkcije

• Pokrenite puni ciklus poslovnih transakcija kako biste neometano potvrdili tijek rada i protok podataka, uključujući vanjske integracije.
• Testirajte ključne veze s vanjskim sustavima koje nisu bile obuhvaćene ranijim testiranjem aplikacija.
• Pobrinite se da se svi planirani zadaci izvršavaju na vrijeme.
• Provjerite točnost sustava izvješćivanja kako biste izbjegli bilo kakva odstupanja.

Ovi koraci pomažu potvrditi da okruženje sigurnosne kopije može bez prekida upravljati kritičnim operacijama. Pokretanje ovih provjera valjanosti više puta osigurava dosljednu izvedbu i omogućuje vam brzo rješavanje problema.

Vratite se na glavni sustav

Nakon potvrde da rezervni sustav radi ispravno, vrijeme je da se vratite na primarni sustav. To uključuje poništavanje ranijih koraka za ponovno uspostavljanje normalnog rada.

Započnite proces povrata

Obavijestite sve relevantne dionike i koordinirajte s tehničkim timom. Pripremite kontrolni popis za praćenje svakog koraka procesa, uključujući sinkronizaciju baze podataka i vrijeme prebacivanja aplikacije.

Obavezno:

• Potvrdite da su svi kritični procesi dovršeni.
• Osigurajte da ne ostane nijedna transakcija na čekanju.
• Dokumentirajte privremena pravila usmjeravanja za referencu tijekom storniranja.
• Provjerite funkcioniraju li operacije sustava prema očekivanjima.

Provjerite sinkronizaciju podataka

Osigurajte dosljednost podataka između sustava provjerom:

• Točna reprodukcija zapisa transakcija baze podataka.
• Potpuna sinkronizacija promjena datotečnog sustava.
• Usklađivanje zapisa s vremenskim žigovima u sustavima.
• Uklanjanje privremenih datoteka korištenih tijekom failovera.

Upotrijebite alate poput kontrolnih zbrojeva ili softvera za usporedbu kako biste potvrdili da se svi podaci izmijenjeni tijekom nadogradnje podudaraju između sustava prije nastavka s konačnim prebacivanjem.

Pregledajte primarni sustav

Provedite temeljitu zdravstvenu provjeru kako biste potvrdili da je primarni sustav spreman:

1. Status infrastrukture: Provjerite rade li sve hardverske komponente.
2. Mrežna povezanost: Provjerite i potvrdite ispravne konfiguracije usmjeravanja.
3. Aplikacijske usluge: Pokrenite aplikacijske usluge ispravnim redoslijedom.
4. Sigurnosni sustavi: Provjerite jesu li sve sigurnosne mjere aktivne i funkcioniraju.

Dokumentirajte rezultate

Nakon što se primarni sustav u potpunosti obnovi, zabilježite rezultate za pročišćavanje budućih procesa:

1. Test metrike
   Bilježite ključne metrike kao što su trajanje prestanka rada, vrijeme sinkronizacije podataka, broj problema i usporedbe performansi.
2. Dokumentacija o izdavanju
   • Zabilježite sve poruke o pogreškama i njihova rješenja.
   • Detaljno o poduzetim koracima za rješavanje problema.
   • Procijenite poslovni učinak preusmjeravanja greške.
3. Područja poboljšanja
   • Identificirajte neučinkovitosti procesa ili uska grla.
   • Istaknite nedostatke u komunikaciji.
   • Istaknite područja u kojima bi se dokumentacija mogla poboljšati.
   • Riješite sva tehnička ograničenja na koja naiđete.

Pohranite svu dokumentaciju na centralizirano mjesto kojem tim za oporavak od katastrofe može pristupiti za buduće potrebe.

Sažetak

Ručno testiranje prijelaza uključuje pažljivo planiranje, temeljite provjere, precizno izvršenje i glatki proces oporavka. Evo raščlambe ključnih faza:

• Planiranje: Definirajte ciljeve, mapirajte ovisnosti, dodijelite uloge i pozabavite se potencijalnim rizicima.
• Provjera: Osigurajte da je infrastruktura spremna, da su podaci sinkronizirani, da su mreže povezane i da je sigurnost netaknuta.
• Izvršenje: Provedite failover korak po korak, nadgledajte u stvarnom vremenu, provjerite funkcionalnost aplikacije i pratite metriku performansi.
• Oporavak: Vratite primarne sustave, potvrdite da su podaci točni, osigurajte rad usluga i dokumentirajte cijeli proces.

Da biste poboljšali svoje testiranje greške:

• Zakažite testove svaka tri mjeseca.
• Održavajte dokumentaciju ažurnom.
• Rotirajte timske odgovornosti kako biste izgradili stručnost.
• Ocijenite i poboljšajte svoj proces nakon svakog testa.

Dobro izveden failover test jača vašu sposobnost održavanja poslovnih operacija tijekom prekida. Simulacija realističnih scenarija u kontroliranom okruženju osigurava pouzdane rezultate bez rizika za vaše proizvodne sustave.

Povezani postovi na blogu

• SOC 2 Plan oporavka od katastrofe: ključni koraci
• 7 koraka za planiranje oporavka od katastrofe u oblaku
• Nadilaženje u slučaju kvara u odnosu na povratak u slučaju kvara: ključne razlike
• Pohrana tolerantna na greške za strujanje podataka: Osnove