Manuaaliset vikasietotestin vaiheet
Manuaalinen vikasietotestaus varmistaa, että järjestelmäsi voivat siirtyä varmuuskopioihin käyttökatkojen tai huollon aikana häiritsemättä toimintaa. Tässä on nopea yleiskatsaus prosessiin:
- Miksi se on tärkeää: Testaa palautusvaiheita, vahvista varmuuskopiointikapasiteetti, kouluta tiimejä ja ehkäise tulevat ongelmat.
- Suunnittelu: Aseta tavoitteita (esim. seisokkiaika alle 15 minuuttia), valitse kriittiset järjestelmät (tietokannat, sovellukset) ja ajoita testit ruuhka-aikojen ulkopuolella.
- Valmistelu: Tarkista järjestelmän valmius, tietojen synkronointi, varmuuskopiot ja verkkoyhteys.
- Toteutus: Noudata vaiheittaista vikasietosuunnitelmaa, seuraa lokeja ja tarkista varmuuskopiointijärjestelmät ja -sovellusten toiminnallisuus.
- Toipuminen: Vaihda takaisin ensisijaiseen järjestelmään testauksen jälkeen, varmista tietojen johdonmukaisuus ja dokumentoi tulokset tulevia parannuksia varten.
Tämä prosessi minimoi seisokit, varmistaa tietojen eheyden ja valmistaa tiimisi todellisiin tapauksiin. Säännölliset testit (kolmen kuukauden välein) ja tarkennettu dokumentaatio voivat tehdä vikasietostrategiastasi luotettavamman.
Failover-työnkulun testaus
Varatestin suunnittelu
Huolellinen suunnittelu varmistaa minimaalisen häiriön ja varmistaa järjestelmän kestävyyden manuaalisten vikasietotestien aikana. Näin asetat tavoitteita, valitset järjestelmät, ajoitat testin ja valmistelet dokumentaatiota.
Testitavoitteiden asettaminen
Määritä selkeät tavoitteet katastrofipalautukselle, kuten:
- Suurin sallittu seisokkiaika vikasietotilassa (tavoite alle 15 minuuttia)
- Tietojen yhdenmukaisuuden tarkistaminen eri järjestelmissä
- Sovelluksen toimivuuden varmistaminen vikasietoisuuden jälkeen
- Verkon suorituskyvyn mittaaminen
- Vahvistaa käyttäjän pääsyn ja todennuksen
Testausjärjestelmien valinta
Keskity olennaisiin järjestelmiin, mukaan lukien:
- Ensisijaiset tietokantapalvelimet
- Asiakaskohtaiset sovellukset
- Liiketoiminnan sisäiset työkalut
- Todennusjärjestelmät
- Ydinverkkoinfrastruktuuri
Käytä riippuvuuskarttaa ymmärtääksesi järjestelmän vuorovaikutuksia. Tämä auttaa sinua päättämään, mitkä komponentit on testattava yhdessä ja mitkä voidaan eristää.
Testiaikataulu ja tiimipäivitykset
Suunnittele testit ruuhka-aikojen ulkopuolella ja ota huomioon seuraavat seikat:
- Ikkunoiden ylläpito: Kohdista testit ennalta suunniteltuihin huoltoaikoihin.
- Aikavyöhykkeet: Tekijä globaaleissa tiimipaikoissa ja vaihtelevissa aukioloajoissa.
- Resurssien saatavuus: Varmista, että tiimin keskeiset jäsenet ovat käytettävissä koko testin ajan.
- Yritysten kalenteri: Vältä kiireisiä aikoja, kuten kuukauden lopun käsittelyä.
Ilmoita sidosryhmille testiaikataulusta vähintään kaksi viikkoa etukäteen. Sisällytä tiedot, kuten:
- Odotettu järjestelmän seisokki
- Mahdollisia palvelukatkoksia
- Hätätilan yhteystiedot
- Palautusmenettelyt
Testisuunnitelman kirjoittaminen
Perusteellisen testisuunnitelman tulee sisältää:
1. Varainsiirtoa edeltävä tarkistuslista
Luettele kaikki valmisteluvaiheet, kuten järjestelmien varmuuskopiointi, tietojen synkronoinnin tarkistaminen ja resurssien allokointi.
2. Toteutusvaiheet
Kuvaile vikasiirtymän tarkka toimintosarja. Sisällytä komennot, kokoonpanomuutokset ja vahvistuspisteet.
3. Menestyskriteerit
Määrittele mittareita menestyksen mittaamiseksi, kuten:
- Järjestelmän vasteajat
- Tietojen eheystarkistukset
- Sovelluksen toimivuustestit
- Käyttäjän käyttöoikeuksien vahvistus
4. Palautusmenettelyt
Anna yksityiskohtaiset ohjeet ensisijaiseen järjestelmään palaamiseksi, jos ongelmia ilmenee. Määritä ehdot, jotka käynnistävät palautuksen.
Järjestelmän valmiustarkastukset
Ennen vikasietotestin aloittamista on tärkeää varmistaa, että kaikki keskeiset komponentit ovat paikoillaan. Tämä auttaa luomaan optimaaliset testiolosuhteet ja vähentää odottamattomien ongelmien riskiä. Keskity järjestelmän kokoonpanojen tarkistamiseen, tietojen synkronoinnin tarkistamiseen, varmuuskopioiden toimivuuden varmistamiseen ja verkkoyhteyksien testaamiseen.
Järjestelmän asetusten tarkistus
Aloita tarkistamalla nykyiset järjestelmäasetukset:
- Tarkista suorittimen, muistin ja tallennustilan varaus.
- Varmista, että kaikki tarvittavat palvelut ovat käynnissä.
- Tarkista käyttöoikeudet ja käyttöoikeudet.
- Tarkista suojausasetukset.
- Varmista seurantatyökalut on asetettu oikein.
Tallenna nämä kokoonpanot, mukaan lukien versionumerot, korjaustasot ja asetukset, jotta voit vahvistaa ne vikasietotestin jälkeen. Nämä vaiheet varmistavat, että järjestelmä on valmis testausta varten.
Tietojen synkronoinnin tila
Kun olet tarkistanut järjestelmäkokoonpanot, varmista, että tietojen synkronointi toimii odotetulla tavalla:
- Mittaa replikointiviive.
- Tarkista tietokannan johdonmukaisuus.
- Tarkista tiedostojärjestelmän synkronointi.
- Tarkista tietojen eheys tarkistussummien avulla.
Keskity reaaliaikaisiin synkronointiilmaisimiin. Useimmissa yrityssovelluksissa replikointiviiveen tulisi olla alle 60 sekuntia. Tämä varmistaa, että tiedot ovat valmiita vikasietotestiä varten.
Varmuuskopioi järjestelmän tarkistus
Tarkista varmuuskopiojärjestelmä huolellisesti varmistaaksesi, että se on valmis:
Laitteisto:
- Tarkista sähköjärjestelmät ja jäähdytys.
- Varmista, että tallennuskapasiteetti ja suorituskyky vastaavat vaatimuksia.
- Tarkista verkkoliitäntäkortit.
- Tarkista ylimääräiset komponentit.
Ohjelmisto:
- Arvioi käyttöjärjestelmän kunto.
- Varmista, että sovellusriippuvuudet toimivat.
- Tarkista varmuuskopiointityökalut ja -apuohjelmat.
- Vahvista valvontaagentit.
Kulunvalvonta:
- Testaa todennusjärjestelmiä.
- Tarkista käyttäjien käyttöoikeudet.
- Varmista, että suojaussertifikaatit ovat voimassa.
- Tarkista VPN-yhteydet.
Nämä tarkistukset varmistavat, että varajärjestelmä on täysin toimintakuntoinen ja valmis vikasietotestiin.
Verkkotarkistus
Arvioi verkkoyhteys seuraavilla kriteereillä:
| Testityyppi | Hyväksymiskriteerit | Menetelmä |
|---|---|---|
| Latenssi | Alle 50ms | Ping-testit |
| kaistanleveys | Yli 1 Gbps | iperf3 testaus |
| DNS-resoluutio | Alle 100 ms | dig/nslookup |
| Load Balancer | Aktiivinen/passiivinen tila | Terveystarkastukset |
Suorita nämä testit eri verkkosegmenteistä varmistaaksesi, että kaikki mahdolliset vikasietoreitit on katettu. Dokumentoi suorituskyvyn perustiedot vertailua varten vikasietoprosessin aikana ja sen jälkeen.
Varmista lisäksi, että redundantit verkkopolut on määritetty ja saatavilla. Testaa tarvittaessa verkkokomponenttien automaattista vikasietoa ja varmista, että kaikki vaaditut portit ja protokollat ovat avoinna ensisijaisen ja varasivuston välillä.
sbb-itb-59e1987
Failover-testin suorittaminen
Kun olet suorittanut valmiustarkastukset, jatka vikasietoprosessia varovasti mahdollisten häiriöiden vähentämiseksi.
Aloita vikasieto
- Ilmoita sidosryhmille vähintään 15 minuuttia etukäteen.
- Keskeytä kaikki tapahtumat ja varmista, että replikointiviivettä ei ole.
- Aloita vikasietojakso ja tallenna tarkka aloitusaika.
Pidä tarkasti silmällä, kuinka järjestelmä reagoi aluksi. Viansiirtoprosessin tulisi yleensä kestää 30–45 sekuntia. Jos kestää kauemmin, tutki heti. Kun prosessi alkaa, siirrä huomiosi reaaliaikaiseen lokien seurantaan tunnistaaksesi mahdolliset ongelmat niiden ilmaantuessa.
Katso järjestelmälokeja
Järjestelmälokien seuranta on ratkaisevan tärkeää ongelmien havaitsemiseksi varhaisessa vaiheessa:
| Lokin tyyppi | Varoitusmerkit | Kriittiset hälytykset |
|---|---|---|
| Sovellus | Yhteyden aikakatkaisut | Palvelu kaatuu |
| Tietokanta | Replikointivirheet | Tietojen korruptio |
| verkko | Pakettihäviö > 1% | Yhteyshäiriöt |
| turvallisuus | Todennuksen viiveet | Käyttöoikeusrikkomukset |
Pidä komentoriviliittymä (CLI) auki seurataksesi reaaliaikaisia viestejä. Kiinnitä erityistä huomiota virhekoodeihin, jotka alkavat kirjaimella "FAIL" tai "ERR", koska ne ovat usein merkki kiireellisistä ongelmista, jotka vaativat välitöntä huomiota.
Tarkista varmuuskopiointisivusto
Varmista vikasiirtymän aloittamisen jälkeen, että varmuuskopiointisivusto toimii oikein:
1. Palvelun saatavuus
Varmista, että kaikki varmuuskopiosivuston ydinpalvelut näyttävät AKTIIVINEN-tilan 60 sekunnin kuluessa. Huomaa tarkistuksen viivästykset.
2. Resurssien käyttö
Tarkkaile näitä kriittisiä mittareita siirtymän aikana:
- CPU:n käyttö: Pitäisi pysyä alle 80%.
- Muistin käyttö: Tavoitteena on alle 75%:n käyttöaste.
- Tallennus I/O: Pidä se alle 2 000 IOPS:ssa.
- Verkon suorituskyky: Odottaa käyttöä 40-60% normaalilla tasolla.
3. Kuorman jakautuminen
Varmista, että liikenne reititetään oikein varmuuskopiosivustolle. Tarkista kuormantasaajan tiedot varmistaaksesi, että liikenne jakautuu tasaisesti käytettävissä olevien resurssien kesken.
Testaa sovelluksia ja tietoja
Testaa avainsovelluksia välittömästi ja vahvista tietojen eheys:
- Ydinsovellusten testaus: Suorita CRUD-perustoiminnot, testaa käyttäjän todennusta, tarkista kriittiset liiketoiminnan työnkulut ja vahvista API-vaste.
- Tietojen validointi: Varmista tietokannan johdonmukaisuus, tarkista tiedostojärjestelmän eheys, vahvista viimeisimmät tapahtumat ja testaa tietojen hakunopeudet.
Keskity kriittisten sovellusten testaamiseen ennen kuin siirryt toissijaisiin järjestelmiin. Dokumentoi kaikki epäsäännöllisyydet, kuten vasteajat, jotka poikkeavat enemmän kuin 20% perusmittauksista.
Testaus epäonnistumisen jälkeen
Kun varmuuskopiointisivusto on valmis, seuraava askel on varmistaa, että keskeiset liiketoiminnan toiminnot toimivat oikein. Tämä edellyttää toimintojen huolellista tarkistamista ja todentamista sen varmistamiseksi, että kaikki toimii niin kuin pitää.
Liiketoiminnan tarkastus
- Suorita koko liiketoiminnan tapahtumasykli varmistaaksesi työnkulut ja tiedonkulku saumattomasti, mukaan lukien ulkoiset integraatiot.
- Testaa avainkytkennät ulkoisten järjestelmien kanssa, joita ei käsitelty aiemman sovellustestauksen aikana.
- Varmista, että kaikki ajoitetut tehtävät suoritetaan ajallaan.
- Tarkista raportointijärjestelmän tarkkuus poikkeamien välttämiseksi.
Nämä vaiheet auttavat varmistamaan, että varmuuskopiointiympäristö pystyy käsittelemään kriittisiä toimintoja keskeytyksettä. Näiden tarkistusten suorittaminen useita kertoja varmistaa tasaisen suorituskyvyn ja mahdollistaa nopean ongelmien ratkaisemisen.
Vaihda takaisin pääjärjestelmään
Kun olet varmistanut, että varajärjestelmä toimii oikein, on aika siirtyä takaisin ensisijaiseen järjestelmään. Tämä edellyttää aikaisempien vaiheiden peruuttamista normaalin toiminnan palauttamiseksi.
Aloita palautusprosessi
Ilmoita kaikille asiaankuuluville sidosryhmille ja sovi yhteen teknisen tiimin kanssa. Valmistele tarkistuslista seurataksesi jokaista prosessin vaihetta, mukaan lukien tietokannan synkronointi ja sovellusten vaihtamisen ajoitus.
Varmista, että:
- Varmista, että kaikki tärkeät prosessit on suoritettu.
- Varmista, että vireillä olevia tapahtumia ei ole jäljellä.
- Dokumentoi väliaikaiset reitityssäännöt viitteeksi peruutuksen aikana.
- Varmista, että järjestelmän toiminnot toimivat odotetulla tavalla.
Tarkista tietojen synkronointi
Varmista tietojen johdonmukaisuus järjestelmien välillä tarkistamalla:
- Tietokannan tapahtumalokien tarkka toisto.
- Tiedostojärjestelmän muutosten täydellinen synkronointi.
- Aikaleimattujen tietueiden kohdistaminen eri järjestelmissä.
- Vikasiirron aikana käytettyjen väliaikaisten tiedostojen poistaminen.
Käytä työkaluja, kuten tarkistussummia tai vertailuohjelmistoa, varmistaaksesi, että kaikki vikasietotilassa muokatut tiedot täsmäävät järjestelmien välillä, ennen kuin jatkat lopulliseen vaihtoon.
Tarkista ensisijainen järjestelmä
Suorita perusteellinen terveystarkastus varmistaaksesi, että ensisijainen järjestelmä on valmis:
- Infrastruktuurin tila: Varmista, että kaikki laitteistokomponentit ovat toiminnassa.
- Verkkoyhteydet: Tarkista ja vahvista oikeat reititysasetukset.
- Sovelluspalvelut: Käynnistä sovelluspalvelut oikeassa järjestyksessä.
- Turvajärjestelmät: Varmista, että kaikki turvatoimenpiteet ovat aktiivisia ja toimivat.
Dokumentoi tulokset
Kun ensisijainen järjestelmä on täysin palautettu, tallenna tulokset tulevien prosessien tarkentamiseksi:
- Testimittarit
Kirjaa lokiin tärkeimmät tiedot, kuten vikasietoaika, tietojen synkronointiaika, ongelmamäärät ja suorituskykyvertailut. - Ongelman dokumentaatio
- Huomaa mahdolliset virheilmoitukset ja niiden ratkaisut.
- Yksityiskohtaiset vianetsintävaiheet.
- Arvioi epäonnistuneen siirtymisen vaikutus liiketoimintaan.
- Kehitysalueet
- Tunnista prosessien tehottomuudet tai pullonkaulat.
- Korosta viestintäpuutteita.
- Osoita alueet, joilla dokumentointia voitaisiin parantaa.
- Korjaa havaitut tekniset rajoitteet.
Säilytä kaikki asiakirjat keskitetyssä paikassa, johon katastrofipalautustiimi voi käyttää tulevaa tarvetta varten.
Yhteenveto
Manuaalinen vikasietotestaus sisältää huolellisen suunnittelun, perusteelliset tarkastukset, tarkan suorituksen ja sujuvan palautusprosessin. Tässä on erittely tärkeimmistä vaiheista:
- Suunnittelu: Määritä tavoitteet, kartoita riippuvuudet, määritä roolit ja ota huomioon mahdolliset riskit.
- Vahvistus: Varmista, että infrastruktuuri on valmis, tiedot synkronoidaan, verkot on yhdistetty ja tietoturva on ehjä.
- Toteutus: Suorita vikasietovaihe vaiheittain, tarkkaile reaaliajassa, tarkista sovelluksen toimivuus ja seuraa suorituskykymittareita.
- Toipuminen: Palauta ensisijaiset järjestelmät, varmista, että tiedot ovat oikein, varmista, että palvelut ovat käynnissä ja dokumentoi koko prosessi.
Voit parantaa vikasietotestausta seuraavasti:
- Suunnittele testit kolmen kuukauden välein.
- Pidä asiakirjat ajan tasalla.
- Vuorottele tiimin vastuita asiantuntemuksen rakentamiseksi.
- Arvioi ja tarkenna prosessiasi jokaisen testin jälkeen.
Hyvin suoritettu vikasietotesti vahvistaa kykyäsi ylläpitää liiketoimintaa häiriöiden aikana. Realististen skenaarioiden simulointi kontrolloidussa ympäristössä takaa luotettavat tulokset ilman tuotantojärjestelmiäsi vaarantamatta.
