Baze podataka – MySQL, Oracle, PostgreSQL, MS SQL Server, Access, modelovanje podataka …

Backup Oracle baze pomoću RMAN-a

Tuesday, 23.10.2007 – Dejan

Jedan od obaveznih zadataka svakog administratora Oracle baze je pravljenje sigurnosne kopije, odnosno backup Oracle baze. Ja ću vam u primjeru “korak po korak” objasniti kako se RMAN podešava i koristi za backup Oracle baze, a za detaljnije definicije šta je šta, pročitajte službenu Oracle dokumentaciju(Oracle® Database Backup and Recovery Advanced User’s Guide).

Za ovaj recept nam nisu potrebni ni limun, niti peršun, tako da možemo slobodno da ih bačimo.

Za backup Oracle baze pomoću RMAN-a trebaju nam ovi sastojci:
– 2 Oracle baze
– 1 RMAN
– 1 administrator Oracle baza
– 2 piva
– 1 film ili epizoda omiljene serije za ubijanje dosade dok traje backup

Uputstvo: Uzeti 2 Oracle baze (jednu za production bazu i jednu za katalog), instalirati ih i ostaviti da se krčkaju na procesorima. Svježi RMAN oprati u hladnoj vodi i ostaviti da se ocijedi. Za to vrijeme izrendati recovery katalog, začiniti ga dodacima po ukusu i staviti u frižider da se zgusne. Otvoriti prvo pivo, ubaciti neki film ili epizodu omiljene serije za gledanje. Nakon 10-ak minuta izvaditi katalog iz frižidera, čistim rukama pokrenuti RMAN i konstantno miješati backup da ne zagori. Služiti noću uz hladno pivo.

RMAN (Recovery MANager)

RMAN je standardni Oracle alat za pravljenje sigurnosne kopije neke Oracle baze. Vodi evidenciju o bitnim informacijama potrebnim za obavljanje backupa i te informacije zapisuje u controlfile ili u poseban katalog kreiran samo za tu namjenu.

Neke od bitnijih karakteristika RMAN-a su:
– katalog: Prilikom svakog backupa, RMAN zapisuje određene informacije u controlfile ciljne baze. Pored toga, RMAN može informacije o backupu da zapisuje i u jedan recovery katalog, u koji može da stane daleko više informacija o backupu, kao i skripte sa RMAN naredbama. “Best practice” preporučuje korištenje jednog recovery kataloga za backup sa RMAN-om.
– preskakanje nekorištenih blokova: RMAN je u stanju da osigura samo korištene blokove, tako da ne mora skenirati čitavu bazu.
– kompresija podataka: Ukoliko nemate dovoljno mjesta za backup, RMAN može kompresovati podatke i time uštediti prostor. Ova metoda traje duže i zahtjeva više opterećenja za resurse, ali zna nekad dobro doći. Npr. RMAN je u stanju da bazu od 100 GB kompresuje i napravi backup od samo 25 GB.
– backup dok baza radi: Baza može i dalje da radi, dok traje backup. Baza mora biti u ARCHIVELOG modu.
– višekanalni backup: RMAN može da pokrene nekoliko paralelnih procesa, koji istovremeno vrše backup. Ukoliko imate nekoliko procesora i ukoliko vršite backup na više lokacija istovremeno, ova metoda može višestruko da ubrza backup.
– neovisnost o platformi: svejedno je na kojoj platformi i na kojem hardveru koristite RMAN, jer su komande uvijek iste.
– recovery na nivou pojedinačnog bloka: Ukoliko imate oštećene blokove u bazi, onda možete iz backupa pomoću RMAN-a da povratite te pojedinačne blokove.
– skripte: ako koristite RMAN katalog, možete u njega smjestiti i skripte sa naredbama, šta i kako RMAN treba da uradi prilikom backupa baze.
– inkrementalni backup: RMAN može da prati izmjene u bazi i da backupuje samo one blokove, koji su izmijenjeni nakon zadnjeg backupa. Pošto se korištenjem ove metode značajno smanjuje vrijeme trajanja jednog backupa, ova metoda se i najčešće koristi, pa ću ju i ja koristiti u praktičnom primjeru kasnije.

Treba napomenuti, da RMAN ne može automatski da čuva pojedine sistemske datoteke: init-datoteku (pfile), PWD-datoteku sa SYSDBA šifrom, kao ni network datoteke (tnsnames.ora, listener.ora i sqlnet.ora). Ove datoteke se moraju ručno osigurati ili se može napraviti neki automatizovani proces za osiguravanje tih datoteka.

Backup metode pomoću RMAN-a

RMAN podržava različite metode backupa, a izbor metode zavisi o raznim faktorima kao što su veličina baze, maksimalno dozvoljeno vrijeme za obavljanje povratka baze (recovery), maksimalno dozvoljeno opterećenje resursa prilikom backupa i td.

Tako imamo ove RMAN metode:
– konzistentni i nekonzistentni (inkonzistentni) backup
– kompletni i inkrementalni backup
– “image” kopija
– backup setovi i dijelovi (backupsets & backuppieces)
– kompresovani backup

Praktični primjer

Pošto sam ranije napisao da je preporučljivo koristiti recovery katalog i metodu inkrementalnog backupa, onda ću koristeći tu metodu na idućem praktičnom primjeru opisati kako kreirati recovery katalog, zatim kako podesiti RMAN za efikasan backup, kao i sam postupak backupa i povratka baze nakon neke greške.

Odabrana metoda inkrementalnog backupa se sastoji od jednog kompletnog backupa na nivou 0 u kombinaciji sa inkrementalnim backupom na nivou 1.

U ovom primjeru ćemo koristiti slijedeće pojmove:
– productionDB: baza u proizvodnom okruženju; cilj nam je pomoću RMAN-a napraviti backup te baze.
– katalogDB: baza sa recovery katalogom

U ovom primjeru ćemo koristiti slijedeće hard diskove na productionDB serveru (kod vas će se ovaj raspored vjerovatno razlikovati, ali to nije bitno, jer se isti princip može primijeniti na bilo koju fizičku strukturu; svaki disk je označen jednim slovom, tzv. “drive letter”-om):
– C: Oracle software, init-datoteke
– D: je rezervisan za CD/DVD drive
– E: SYSTEM i SYSAUX tablespaces
– F: controlfile, Redo-Log file, UNDO i TEMP tablespaces
– G: controlfile, Redo-Log file,Tablespaces za podatke
– H: controlfile, Redo-Log file, Tablespaces za indekse
– I: archive logovi
– J: i K: za backup baze

Da bismo pomoću RMAN-a mogli pristupiti katalogu i ciljnoj bazi, moramo u tnsnames.ora datoteci kreirati jedan unos za katalogDB instancu i jedan unos za productionDB instancu. Potom obavezno sa tnsping provjerite, da li je productionDB baza dostupna sa katalogDB servera.

productionDB = 
 (DESCRIPTION =
  (ADDRESS_LIST =
    (ADDRESS = (PROTOCOL=TCP)(HOST=10.0.189.10)(PORT=1521))
  )
    (CONNECT_DATA =
       (SERVICE_NAME = productionDB)
    )
 )

katalogDB =
 (DESCRIPTION =
  (ADDRESS_LIST =
    (ADDRESS = (PROTOCOL=TCP)(HOST=10.0.189.11)(PORT=1521))
  )
    (CONNECT_DATA =
       (SERVICE_NAME = katalogDB)
    )
 )

Kreiranje recovery kataloga

Recovery katalog ćemo kreirati u katalogDB bazi, a za tu namjenu ćemo kreirati novi tablespace i novog korisnika.

1. Logovati se kao SYS na katalogDB bazu:

C:\> sqlplus /nolog
SQL> conn sys/sysPass@productionDB as sysdba

2. Kreiramo tablespace:

SQL> CREATE TABLESPACE rman_tbs DATAFILE ‘E:\oracle\rman_tbs.dbf’ SIZE 10M AUTOEXTEND ON NEXT 5M;

3. Kreiramo korisnika za upravljanje katalogom:

SQL> CREATE USER rman_cat IDENTIFIED BY rmanPass
DEFAULT TABLESPACE rman_tbs;

4. Nakon čega mu dodijelimo dozvolu za upravljanje katalogom:

SQL> GRANT RESOURCE, CONNECT, RECOVERY_CATALOG_OWNER TO rman_cat;

5. Ako je to sve uspješno prošlo, onda možemo pokrenuti RMAN i kreirati recovery katalog:

C:\> rman catalog rman_cat/rmanPass@katalogDB
RMAN> create catalog;
RMAN> exit;

6. Nakon što je kreiran katalog, moramo u tom katalogu registrovati ciljnu bazu:

C:\> rman target sys/sysPass@productionDB catalog rman/rmanPass@katalogDB
RMAN> register database;

Katalog je kreiran, a ciljna baza productionDB je registrovana u katalogu. Sada treba konfigurisati određena RMAN podešavanja.

RMAN konfiguracija 

Sa komandom show all se prikazuje aktuelna RMAN konfiguracija:

RMAN> show all;
RMAN-Konfigurationsparameter sind:

CONFIGURE RETENTION POLICY TO REDUNDANCY 1; # default
CONFIGURE BACKUP OPTIMIZATION OFF; # default
CONFIGURE DEFAULT DEVICE TYPE TO DISK; # default
CONFIGURE CONTROLFILE AUTOBACKUP OFF; #default
CONFIGURE CONTROLFILE AUTOBACKUP FORMAT FOR DEVICE TYPE DISK TO '%F'; # default
CONFIGURE DEVICE TYPE DISK PARALLELISM 1 BACKUP TYPE TO BACKUPSET; # default
CONFIGURE DATAFILE BACKUP COPIES FOR DEVICE TYPE DISK TO 1; # default
CONFIGURE ARCHIVELOG BACKUP COPIES FOR DEVICE TYPE DISK TO 1; # default
CONFIGURE MAXSETSIZE TO UNLIMITED; # default
CONFIGURE ENCRYPTION FOR DATABASE OFF; # default
CONFIGURE ENCRYPTION ALGORITHM 'AES128'; # default
CONFIGURE ARCHIVELOG DELETION POLICY TO NONE; # default
CONFIGURE SNAPSHOT CONTROLFILE NAME TO 'C:\ORACLE\ORA10G\DATABASE\SNCFPRODUCTIONDB.ORA'; # default

Tamo gdje stoji “#default“, znači da je to standardno podešavanje i da nije mijenjano. Za naše potrebe treba promijeniti nekoliko podešavanja:

1. Controlfile treba biti automatski sačuvan prilikom svakog backupa:

RMAN> configure controlfile autobackup on;

2. Definišimo format i mjesto čuvanja controlfilea:

RMAN> configure controlfile autobackup format for device type disk to 'J:\BACKUP\RMAN\CTRLFILE_%F';

3. Pošto ćemo koristiti “image copy” backup metodu, moramo promijeniti i tu konfiguraciju, a pošto imamo dvije lokacije za backup, postavićemo broj istovremenih kanala na 2 (PARALLELISM 2; jedan kanal za lokaciju na J: disku i drugi kanal za lokaciju na K: disku):

RMAN> configure device type disk backup type to copy parallelism 2;

4. Definišimo i standardni format za sačuvane “image” kopije:

RMAN> configure channel device type disk format 'J:\BACKUP\RMAN\%U';

Sada bi konfoguracija trebala da izgleda ovako:

RMAN> show all;

Vollständige Neusynchronisation des Recovery-Katalogs wird begonnen
Vollständige Neusynchronisation abgeschlossen
RMAN-Konfigurationsparameter sind:

CONFIGURE RETENTION POLICY TO REDUNDANCY 1; # default
CONFIGURE BACKUP OPTIMIZATION OFF; # default
CONFIGURE DEFAULT DEVICE TYPE TO DISK; # default
CONFIGURE CONTROLFILE AUTOBACKUP ON;
CONFIGURE CONTROLFILE AUTOBACKUP FORMAT FOR DEVICE TYPE DISK TO 'J:\BACKUP\RMAN\CTRLFILE_%F';
CONFIGURE DEVICE TYPE DISK BACKUP TYPE TO COPY PARALLELISM 2;
CONFIGURE DATAFILE BACKUP COPIES FOR DEVICE TYPE DISK TO 1; # default
CONFIGURE ARCHIVELOG BACKUP COPIES FOR DEVICE TYPE DISK TO 1; # default
CONFIGURE CHANNEL DEVICE TYPE DISK FORMAT   'j:\backup\rman\%U';
CONFIGURE MAXSETSIZE TO UNLIMITED; # default
CONFIGURE ENCRYPTION FOR DATABASE OFF; # default
CONFIGURE ENCRYPTION ALGORITHM 'AES128'; # default
CONFIGURE ARCHIVELOG DELETION POLICY TO NONE; # default
CONFIGURE SNAPSHOT CONTROLFILE NAME TO 'C:\ORACLE\ORA10G\DATABASE\SNCFPRODUCTIONDB.ORA'; # default

 

Prije nego što započnemo backup baze, moramo u productionDB bazi podesiti još nešto.

Block Change Tracking

RMAN prilikom backupa provjerava normalno sve blokove u bazi, što zna biti vremenski i hardverski zahtjevno ukoliko se radi o velikoj bazi (nekoliko stotina GB ili par TB). Da bi se to vrijeme i opterećenje smanjilo, u igru dolazi nova opcija u verziji 10g, a to je “block change tracking” (BCT), odnosno “praćenje mijenjanih blokova”. Novi pozadinski proces CTWR (Change Tracking WRiter) prati sve izmjene u blokovima i te izmjene u bitmap obliku zapisuje u posebno definisanu log-datoteku. Opciju “block change tracking” aktiviramo ovako:

SQL> conn sys/sysPass@productionDB as sysdba;
SQL> alter database enable block change tracking using file 'E:\oracle\BLOCK_CHANGE_TRACKING.DBF';

Status i lokaciju te datoteke možemo saznati preko viewa V$BLOCK_CHANGE_TRACKING:

SQL> col filename format a50
SQL> select status, filename, bytes from v$block_change_tracking;
STATUS   FILENAME                            BYTES
-------- ----------------------------------- --------
ENABLED  E:\oracle\BLOCK_CHANGE_TRACKING.DBF 53542912

Automatski će biti pokrenut pozadinski proces CTWR, a kreirana log-datoteka je velika 10 MB. Veličina te datoteke zavisi o veličini baze i količini promjena u bazi. Npr. za bazu veliku oko 500 GB i za oko 10-15 GB dnevnih izmjena, BCT log-datoteka iznosi između 50 i 70 MB.

Aktiviranjem ove opcije pratimo sve izmijenjene blokove u bazi, a RMAN ima korist od toga, zato što ne mora više da provjerava sve blokove u bazi, nego jednostavno iz te BCT log-datoteke uzme listu izmijenjenih blokova i samo njih backupuje, čime se višestruko skraćuje vrijeme backupa (npr. backup sada traje 10 minuta umjesto nekoliko sati).

Kompletni i inkrementalni backup

Da bismo mogli koristiti mogućnosti inkrementalnog backupa, moramo prvo uraditi kompletni backup na nivou 0, koji će nam služiti kao temelj za inkrementalni backup na višem nivou. Pošto za kompletni backup na nivou 0 zahtjeva više vremena, poželjno ga je odraditi kada baza nije otperećena, recimo petkom poslijepodne ili noću.

Kompletni backup je potrebno obaviti samo jednom, a inkrementalni backup na nivou 1 možete podesiti da se izvršava svake noći. Inkrementalni backup sadrži sve izmjene u bazi od zadnjeg backupa, a na kraju tog inkrementalnog backupa ćemo te izmjene primijeniti na postojeći kompletni backup na nivou 0, tako da ćemo na kraju imati novi kompletni backup na nivou 0, što nam omogućuje kraće vrijeme povratka baze (time to recovery database). Taj proces fuzije postojećeg kompletnog backupa na nivou 0 i inkrementalnog backupa na nivou 1 se naziva “Rolling Forward Image Copies“.
Ta fuzija izgleda ovako:

Kompletni backup na nivou 0

Kao što je navedeno, prvo moramo obaviti kompletni backup na nivou 0.
1. Spojimo se na bazu:

C:\> rman target sys/sysPass@productionDB catalog rman_cat/rmanPass@katalogDB

2. Kompletni backup na nivou 0 ćemo označiti kao ‘FULL_BACKUP_LVL_0‘, a datoteke ćemo rasporediti po diskovima koristeći parametar DB_FILE_NAME_CONVERT (datoteke sa podacima će biti backupovani na J: disk, a datoteke sa indeksima na K: disk). Vrijeme izvršavanja backupa ćemo ograničiti na 24 sata (parametar DURATION), a dodaćemo i parametar MINIMIZE TIME, kojim eksplicitno naređujemo RMAN-u, da nastoji u što kraćem roku izvršiti backup (ako nam vrijeme ne igra veliku ulogu, nego je bitnije što manje opteretiti bazu, onda možemo koristiti parametar MINIMIZE LOAD):

RMAN> BACKUP INCREMENTAL LEVEL 0 TAG = 'FULL_BACKUP_LVL_0' DB_FILE_NAME_CONVERT('G:\oracle', 'J:\backup_data', 'H:\oracle', 'K:\backup_index') DURATION 24:00 MINIMIZE TIME DATABASE;

To je to. Nakon što se izvrši backup, provjerite sa:

RMAN> report need backup;

da li postoji još neki datafile u bazi, koji nije backupovan.

Inkrementalni backup na nivou 1

Inkrementalni backup na nivou 1 će se izvršavati svake noći, tako da za tu potrebu možete kreirati jedan job, koji će npr. u 23:00 pozivati slijedeći RMAN skript:

RUN {
BACKUP INCREMENTAL LEVEL 1 FOR RECOVER OF COPY WITH TAG 'FULL_BACKUP_LVL_0' DATABASE;
RECOVER COPY OF DATABASE WITH TAG 'FULL_BACKUP_LVL_0';
}
DELETE NOPROMPT OBSOLETE;

Bitno je da se TAG napiše tačno onako kako je napisan u kompletnom backupu.
Job možete kreirati u katalog bazi pomoću Enterprise Managera ili možete kreirati tzv. “cron job” na nivou operativnog sistema, koji će izvršavati gornji RMAN skript.

Lista nekih RMAN naredbi

Prikazivanje informacija o backupu:
RMAN> list backup;
RMAN> report need backup;

Prikazivanje i brisanje zastarjelih backup podataka:
RMAN> report obsolete;
RMAN> delete obsolete;

Prikazivanje i brisanje backup podataka, koji se ne mogu koristiti za povratak baze unazad posljednjih 7 dana:
RMAN> report obsolete recovery window of 7 days;
RMAN> delete obsolete recovery window of 7 days;

Prikazivanje backup podataka, koji se više ne mogu koristiti za povratak baze:
RMAN> report unrecoverable database;

Sinhronizacija recovery kataloga sa controlfileom ciljne baze:
RMAN> resync catalog;

Provjeravanje dostupnosti i ispravnosti backup podataka:
RMAN> crosscheck backup;

Ostale naredbe:

RMAN> list copy;
RMAN> list backupset;
RMAN> list backupset summary;
RMAN> list backup of database summary;
RMAN> list expired backup of archivelog all;
RMAN> list expired backup of archivelog all summary;
RMAN> list expired backup;
RMAN> list expired backup of datafile 3;
RMAN> list backup of tablespace users;
RMAN> list backup of tablespace users summary;
RMAN> list backup by file;
RMAN> list recoverable backup of database;
RMAN> list archivelog all;
RMAN> list backup of archivelog all;
RMAN> list backup of controlfile;
RMAN> list backup of spfile;
RMAN> list copy;
RMAN> list copy of database;
RMAN> list copy of tablespace system;
RMAN> list copy of datafile 1;
RMAN> list copy of archivelog all;
RMAN> list copy of archivelog from sequence 23;
RMAN> list copy of archivelog from sequence 23 until sequence 29;
RMAN> list copy of controlfile;
RMAN> list expired;
RMAN> list incarnation of database;

RMAN> report need backup days = 3;
RMAN> report need backup incremental = 3;
RMAN> report need backup redundancy = 2;
RMAN> report need backup recovery window of 2 days;
RMAN> report unrecoverable;
RMAN> report obsolete redundancy = 2 device type disk;
RMAN> delete obsolete redundancy = 2 device type disk;

RMAN> VALIDATE BACKUPSET 141;
RMAN> VALIDATE BACKUPSET 141 CHECK LOGICAL;

RMAN> restore database preview;
RMAN> restore database validate;
RMAN> restore database check logical validate;

RMAN> crosscheck backup;
RMAN> crosscheck backup of datafile 1;
RMAN> crosscheck backup of tablespace users;
RMAN> crosscheck backup of controlfile;
RMAN> crosscheck backup of spfile;
RMAN> crosscheck backup tag='SAT_BACKUP';
RMAN> crosscheck backup completed after 'SYSDATE - 2';
RMAN> crosscheck backup completed between 'SYSDATE - 5' AND 'SYSDATE - 2';
RMAN> crosscheck backup device type disk;

RMAN> crosscheck archivelog all;
RMAN> crosscheck archivelog like 'ARC001.log';
RMAN> crosscheck archivelog 'K:\ORACLE\ADMIN\RECOVER\ARCH\ARC001.arc';
RMAN> crosscheck archivelog like '%ARC001%;
RMAN> crosscheck archivelog from time "TO_DATE('01-01-2007','mm-dd-rrrr')";
RMAN> crosscheck archivelog until time "TO_DATE('01-01-2007','mm-dd-rrrr')";
RMAN> crosscheck archivelog from sequence 12;
RMAN> crosscheck archivelog until sequence 34;

RMAN> crosscheck copy of datafile 5;
RMAN> crosscheck datafilecopy 'D:\ESIFMP\users01.dbf';

RMAN> change backupset 267 keep until time 'SYSDATE + 7' logs;
RMAN> change backupset 267 keep forever logs;
RMAN> change backupset nokeep;

RMAN> backup database keep forever;
RMAN> backup database keep until time "TO_DATE('31-12-2007','dd-mm-rrrr')";
RMAN> backup database keep 7 days;

RMAN> change backup of database tag='WEEKLY' unavailable;
RMAN> change backup of database like '%WEEKLY%' unavailable;
RMAN> change backupset 267 unavailable;
RMAN> change backupset 267 available;
RMAN> change archivelog 'K:\oracle\arch_001.arc' unavailable;
RMAN> change archivelog all backed up 5 times to device type disk unavailable;
RMAN> change backup of database device type disk unavailable;
RMAN> change backupset 267, 268, 269 delete;
RMAN> change backuppiece 134 delete;
RMAN> change archivelog until logseq = 544 delete;
RMAN> change backuppiece 'K:\RMAN\bkp_users01.bak' uncatalog;

RMAN> delete obsolete;
RMAN> delete noprompt obsolete;
RMAN> delete force obsolete;
RMAN> delete expired;
RMAN> delete noprompt expired;

RMAN> catalog datafilecopy 'K:\RMAN\users01.dbf';
RMAN> catalog archivelog 'K:\RMAN\arc001.arc';
RMAN> catalog controlfilecopy 'K:\RMAN\control_bkp.ctl';
RMAN> catalog backuppiece 'K:\RMAN\backupPieces';
RMAN> catalog start with 'K:\RMAN\DBfilesDIR';
RMAN> catalog start with 'K:\RMAN\DBfilesDIR\indexfile';

Dodatna literatura

Obavezno pročitajte knjigu “Oracle database 10g: RMAN Backup & Recovery“, a ukoliko imate želju za još više informacija i primjera, pročitajte službenu Oracle dokumentaciju “Oracle® Database Backup and Recovery Advanced User’s Guide” i pogledajte usput par praktičnih primjera.