Passaggi del test di failover manuale
Il test di failover manuale assicura che i tuoi sistemi possano passare ai backup durante interruzioni o manutenzione senza interrompere le operazioni. Ecco una rapida panoramica del processo:
- Perché è importante: Testare le fasi di ripristino, confermare la capacità di backup, formare i team e prevenire problemi futuri.
- Pianificazione: Definisci degli obiettivi (ad esempio tempi di inattività inferiori a 15 minuti), scegli i sistemi critici (database, app) e pianifica i test durante le ore di minor attività.
- Preparazione: Verificare la prontezza del sistema, la sincronizzazione dei dati, i backup e la connettività di rete.
- Esecuzione: Seguire un piano di failover dettagliato, monitorare i registri e convalidare i sistemi di backup e la funzionalità delle applicazioni.
- Recupero: Dopo il test, tornare al sistema primario, confermare la coerenza dei dati e documentare i risultati per futuri miglioramenti.
Questo processo riduce al minimo i tempi di inattività, garantisce l'integrità dei dati e prepara il tuo team per incidenti reali. Test regolari (ogni tre mesi) e documentazione raffinata possono rendere la tua strategia di failover più affidabile.
Test di un flusso di lavoro di failover
Pianificazione del test di failover
Un'attenta pianificazione garantisce un'interruzione minima e conferma la resilienza del sistema durante i test di failover manuali. Ecco come stabilire obiettivi, scegliere sistemi, pianificare il test e preparare la documentazione.
Impostazione degli obiettivi del test
Definire obiettivi chiari per il ripristino dopo un disastro, come:
- Tempo massimo di inattività consentito durante il failover (l'obiettivo è inferiore a 15 minuti)
- Verifica della coerenza dei dati tra i sistemi
- Garantire la funzionalità dell'applicazione dopo il failover
- Misurazione delle prestazioni della rete
- Conferma dell'accesso e dell'autenticazione dell'utente
Selezione dei sistemi di prova
Concentrarsi sui sistemi essenziali, tra cui:
- Server di database primari
- Applicazioni rivolte al cliente
- Strumenti interni per le operazioni aziendali
- Sistemi di autenticazione
- Infrastruttura di rete principale
Utilizza una mappa delle dipendenze per comprendere le interazioni del sistema. Questo ti aiuta a decidere quali componenti devono essere testati insieme e quali possono essere isolati.
Programma dei test e aggiornamenti sulla squadra
Pianificare i test durante le ore di minor traffico e considerare quanto segue:
- Finestre di manutenzione: Allineare i test con i tempi di manutenzione programmati.
- Fusi orari: Considerare le sedi dei team in tutto il mondo e i diversi orari di lavoro.
- Disponibilità delle risorse: Assicurarsi che i membri chiave del team siano disponibili per l'intera durata del test.
- Calendario aziendale: Evita periodi di punta come l'elaborazione di fine mese.
Informare gli stakeholder del programma di test almeno due settimane prima. Includere dettagli come:
- Tempo di inattività previsto del sistema
- Possibili interruzioni del servizio
- Informazioni di contatto di emergenza
- Procedure di rollback
Scrivere il piano di test
Un piano di test completo dovrebbe includere:
1. Lista di controllo pre-failover
Elencare tutti i passaggi preparatori, come il backup dei sistemi, la verifica della sincronizzazione dei dati e l'allocazione delle risorse.
2. Fasi di esecuzione
Descrivi la sequenza esatta di azioni per il failover. Includi comandi, modifiche alla configurazione e punti di convalida.
3. Criteri di successo
Definire parametri per misurare il successo, come:
- Tempi di risposta del sistema
- Controlli di integrità dei dati
- Test di funzionalità dell'applicazione
- Validazione dell'accesso utente
4. Procedure di rollback
Fornire passaggi dettagliati per tornare al sistema primario in caso di problemi. Specificare le condizioni che attiverebbero un rollback.
Controlli di prontezza del sistema
Prima di iniziare il test di failover, è fondamentale confermare che tutti i componenti chiave siano a posto. Ciò aiuta a creare condizioni di test ottimali e riduce il rischio di problemi imprevisti. Concentrati sulla revisione delle configurazioni di sistema, sul controllo della sincronizzazione dei dati, sulla garanzia che i backup siano integri e sul test della connettività di rete.
Revisione della configurazione del sistema
Iniziamo verificando la configurazione attuale del sistema:
- Controllare le allocazioni di CPU, memoria e storage.
- Verificare che tutti i servizi necessari siano in esecuzione.
- Verificare le autorizzazioni e i controlli di accesso.
- Ricontrolla le impostazioni di sicurezza.
- Assicurarsi strumenti di monitoraggio siano impostati correttamente.
Registra queste configurazioni, inclusi numeri di versione, livelli di patch e impostazioni, in modo da poterle convalidare dopo il test di failover. Questi passaggi assicurano che il sistema sia pronto per il test.
Stato di sincronizzazione dei dati
Dopo aver esaminato le configurazioni di sistema, confermare che la sincronizzazione dei dati funzioni come previsto:
- Misura il ritardo di replicazione.
- Controllare la coerenza del database.
- Verificare la sincronizzazione del file system.
- Convalidare l'integrità dei dati utilizzando i checksum.
Concentratevi sugli indicatori di sincronizzazione in tempo reale. Per la maggior parte delle applicazioni aziendali, il ritardo di replicazione dovrebbe essere inferiore a 60 secondi. Ciò garantisce che i dati siano pronti per il test di failover.
Controllo del sistema di backup
Ispezionare attentamente il sistema di backup per confermare che sia pronto:
Hardware:
- Controllare i sistemi di alimentazione e di raffreddamento.
- Garantire che la capacità di archiviazione e le prestazioni soddisfino i requisiti.
- Verificare le schede di interfaccia di rete.
- Ispezionare i componenti ridondanti.
Software:
- Valutare lo stato di salute del sistema operativo.
- Verificare che le dipendenze dell'applicazione funzionino.
- Controllare gli strumenti e le utilità di backup.
- Convalidare gli agenti di monitoraggio.
Controlli di accesso:
- Testare i sistemi di autenticazione.
- Rivedere le autorizzazioni utente.
- Verificare che i certificati di sicurezza siano validi.
- Verificare le connessioni VPN.
Questi controlli garantiscono che il sistema di backup sia pienamente operativo e pronto per il test di failover.
Controllo di rete
Valutare la connettività di rete utilizzando i seguenti criteri:
| Tipo di prova | Criteri di accettazione | Metodo |
|---|---|---|
| Latenza | Meno di 50 ms | Test di ping |
| Larghezza di banda | Oltre 1 Gbps | test iperf3 |
| Risoluzione DNS | Meno di 100 ms | scavare/nslookup |
| Bilanciatore del carico | Stato attivo/passivo | Controlli sanitari |
Esegui questi test da diversi segmenti di rete per assicurarti che tutti i potenziali percorsi di failover siano coperti. Documenta le metriche di performance di base per il confronto durante e dopo il processo di failover.
Inoltre, verifica che i percorsi di rete ridondanti siano configurati e disponibili. Testa il failover automatico per i componenti di rete, se applicabile, e assicurati che tutte le porte e i protocolli richiesti siano aperti tra i siti primario e di backup.
sbb-itb-59e1987
Esecuzione del test di failover
Dopo aver completato i controlli di prontezza, procedere con cautela con il processo di failover per ridurre al minimo eventuali interruzioni.
Avviare il failover
- Avvisare le parti interessate almeno 15 minuti prima.
- Metti in pausa tutte le transazioni e verifica che non vi siano ritardi nella replicazione.
- Avviare la sequenza di failover e registrare l'ora di inizio esatta.
Tieni d'occhio attentamente la risposta iniziale del sistema. Il processo di failover dovrebbe durare in genere 30-45 secondi. Se impiega più tempo, indaga immediatamente. Una volta avviato il processo, sposta la tua attenzione sul monitoraggio dei log in tempo reale per identificare eventuali problemi man mano che si presentano.
Guarda i registri di sistema
Il monitoraggio dei registri di sistema è fondamentale per individuare tempestivamente i problemi:
| Tipo di registro | Segnali di avvertimento | Avvisi critici |
|---|---|---|
| Applicazione | Timeout di connessione | Arresti anomali del servizio |
| Banca dati | Errori di replicazione | Corruzione dei dati |
| Rete | Perdita di pacchetti > 1% | Errori di connessione |
| Sicurezza | Ritardi di autenticazione | Violazioni di accesso |
Mantieni aperta l'interfaccia a riga di comando (CLI) per tracciare i messaggi in tempo reale. Presta particolare attenzione ai codici di errore che iniziano con "FAIL" o "ERR", poiché spesso segnalano problemi urgenti che richiedono attenzione immediata.
Controlla il sito di backup
Dopo aver avviato il failover, verificare che il sito di backup funzioni correttamente:
1. Disponibilità del servizio
Assicurati che tutti i servizi principali sul sito di backup mostrino uno stato 'ATTIVO' entro 60 secondi. Annota eventuali ritardi per la revisione.
2. Utilizzo delle risorse
Monitorare queste metriche critiche durante la transizione:
- Utilizzo della CPU: Dovrebbe rimanere al di sotto di 80%.
- Utilizzo della memoria: Puntare a un utilizzo inferiore a 75%.
- I/O di archiviazione: Mantenerlo sotto i 2.000 IOPS.
- Capacità di trasmissione della rete: Prevedere un utilizzo pari a 40-60% rispetto ai livelli normali.
3. Distribuzione del carico
Verifica che il traffico venga indirizzato correttamente al sito di backup. Controlla le metriche del bilanciatore di carico per assicurarti che il traffico sia distribuito uniformemente tra le risorse disponibili.
Test di app e dati
Testare immediatamente le applicazioni chiave e convalidare l'integrità dei dati:
- Test delle applicazioni principali: Esegui operazioni CRUD di base, testa l'autenticazione degli utenti, controlla i flussi di lavoro aziendali critici e conferma la reattività dell'API.
- Validazione dei dati: Garantire la coerenza del database, verificare l'integrità del file system, confermare le transazioni recenti e testare la velocità di recupero dei dati.
Concentratevi prima sui test delle applicazioni mission-critical prima di passare ai sistemi secondari. Documentate eventuali irregolarità, come tempi di risposta che si discostano di oltre 20% dalle misurazioni di base.
Test dopo il failover
Una volta che il sito di backup è attivo e funzionante, il passo successivo è assicurarsi che le funzioni aziendali essenziali funzionino correttamente. Ciò comporta un controllo e una verifica accurati delle operazioni per confermare che tutto funzioni come dovrebbe.
Controllo della funzione aziendale
- Esegui un ciclo completo di transazioni aziendali per confermare flussi di lavoro e flussi di dati senza interruzioni, comprese le integrazioni esterne.
- Testare le connessioni chiave con sistemi esterni non coperte nei precedenti test dell'applicazione.
- Assicurarsi che tutte le attività pianificate vengano eseguite nei tempi previsti.
- Controllare l'accuratezza del sistema di segnalazione per evitare discrepanze.
Questi passaggi aiutano a confermare che l'ambiente di backup può gestire operazioni critiche senza interruzioni. L'esecuzione di queste convalide più volte garantisce prestazioni costanti e consente di risolvere rapidamente eventuali problemi.
Torna al sistema principale
Dopo aver confermato che il sistema di backup funziona correttamente, è il momento di tornare al sistema primario. Ciò comporta l'inversione dei passaggi precedenti per ripristinare le normali operazioni.
Avvia la procedura di reso
Notificare tutti gli stakeholder rilevanti e coordinarsi con il team tecnico. Preparare una checklist per tracciare ogni fase del processo, inclusa la sincronizzazione del database e la tempistica di switchover dell'applicazione.
Assicurati di:
- Verificare che tutti i processi critici siano stati completati.
- Assicurarsi che non vi siano transazioni in sospeso.
- Documentare le regole di routing temporanee come riferimento durante l'inversione.
- Verificare che le operazioni di sistema funzionino come previsto.
Verifica la sincronizzazione dei dati
Garantire la coerenza dei dati tra i sistemi verificando:
- Riproduzione accurata dei registri delle transazioni del database.
- Sincronizzazione completa delle modifiche del file system.
- Allineamento dei record con marca temporale tra i sistemi.
- Rimozione dei file temporanei utilizzati durante il failover.
Utilizzare strumenti come checksum o software di confronto per confermare che tutti i dati modificati durante il failover corrispondano tra i sistemi prima di procedere con il passaggio finale.
Ispezionare il sistema primario
Eseguire un controllo sanitario approfondito per confermare che il sistema primario sia pronto:
- Stato dell'infrastruttura: Verificare che tutti i componenti hardware siano funzionanti.
- Connettività di rete: Controllare e confermare le corrette configurazioni di routing.
- Servizi applicativi: Avviare i servizi applicativi nella sequenza corretta.
- Sistemi di sicurezza: Assicurarsi che tutte le misure di sicurezza siano attive e funzionanti.
Documentare i risultati
Una volta che il sistema primario è completamente ripristinato, registrare i risultati per perfezionare i processi futuri:
- Metriche di prova
Registra parametri chiave quali durata del failover, tempo di sincronizzazione dei dati, conteggi dei problemi e confronti delle prestazioni. - Documentazione del problema
- Prendi nota di eventuali messaggi di errore e delle relative soluzioni.
- Descrivere nel dettaglio le misure adottate per la risoluzione dei problemi.
- Valutare l'impatto aziendale del failover.
- Aree di miglioramento
- Identificare inefficienze o colli di bottiglia nei processi.
- Evidenziare le lacune nella comunicazione.
- Indicare gli ambiti in cui la documentazione potrebbe essere migliorata.
- Affrontare eventuali vincoli tecnici riscontrati.
Conservare tutta la documentazione in un luogo centralizzato a cui il team di disaster recovery possa accedere per riferimento futuro.
Riepilogo
Il test di failover manuale implica un'attenta pianificazione, controlli approfonditi, un'esecuzione precisa e un processo di ripristino fluido. Ecco una ripartizione delle fasi chiave:
- Pianificazione: Definire gli obiettivi, mappare le dipendenze, assegnare i ruoli e affrontare i potenziali rischi.
- Verifica: Assicurarsi che l'infrastruttura sia pronta, che i dati siano sincronizzati, che le reti siano connesse e che la sicurezza sia intatta.
- Esecuzione: Eseguire il failover passo dopo passo, monitorare in tempo reale, verificare la funzionalità dell'applicazione e tenere traccia delle metriche delle prestazioni.
- Recupero: Ripristinare i sistemi primari, confermare l'accuratezza dei dati, garantire il funzionamento dei servizi e documentare l'intero processo.
Per migliorare i test di failover:
- Pianificare i test ogni tre mesi.
- Mantenere la documentazione aggiornata.
- Ruotare le responsabilità del team per sviluppare competenze.
- Valuta e perfeziona il tuo processo dopo ogni test.
Un test di failover ben eseguito rafforza la tua capacità di mantenere le operazioni aziendali durante le interruzioni. La simulazione di scenari realistici in un ambiente controllato garantisce risultati affidabili senza mettere a rischio i tuoi sistemi di produzione.
