postgresql – praktyczne podejście

POSTGRESQL – PRAKTYCZNE PODEJŚCIE
WYŻSZA SZKOŁA BIZNESU – NATIONAL-LOUIS UNIVERSITY
KOŁO NAUKOWE SYSTEMÓW OPEN SOURCE
ŁUKASZ CPAK
PIOTR LEŚNIAK
NOWY SĄCZ, 2007
Temat: Baza danych sklepu.
Sklep sprzedaje towary podzielone na kategorie i dostawców. W bazie powinni być również klienci wraz z
dokonanymi zakupami. Raporty powinny zawierać przychody i koszty ze sprzedaży z podziałem na klientów,
dostawców oraz kategorie produktów.
Projekt wykonany z wykorzystaniem wyłącznie narzędzi OpenSource przez co wykonanie takiej bazy w
rzeczywistości jest o wiele tańsze (i lepsze??) niż rozwiązania komercyjne. Filarem jest serwer PostgreSQL v8.1.5
działający na platformie Gentoo Linux.
W ramach projektu wykonaliśmy także procedurę tworzenia kopii zapasowej bazy danych. Informacje na ten temat
znajdują się w rozdziale „Backup bazy danych”.
Zaproponowaliśmy także rozwiązania sprzętowe mające na celu zabezpieczenie danych przy użyciu macierzy
dyskowych (rozdział „Bezpieczeństwo dzięki RAID”).
Oprogramowanie bazy danych opisane jest dokładnie w rozdziale „O bazie/omówienie poszczególnych
elementów”.
Nie zapomnieliśmy o mechanizmie replikacji bazy danych (rozdział „Replikacja”).
Elementy, których nie udało nam się wykonać, a powinny znaleźć się w wersji finalnej opisaliśmy w rozdziale
„Dodatkowe.”
Zapraszamy do lektury!
Narzędzia wykorzystywane przy tworzeniu bazy:
pgAdmin3:
Kpogre:
Schemat bazy (DbVisualizer):
Konsola systemu Linux :)
O bazie:
Baza danych ma umożliwiać przechowywanie danych oraz ułatwiać ich wykorzystanie zgodnie z ideą
działania sklepu.
Baza została zaprojektowana do przechowywania informacji o sprzedawanych towarach umożliwiając
podzielenie ich na kategorie, dostawcach towarów, klientach oraz fakturach, a także firmach wysyłkowych
dostarczających towary do klientów. Na każdej fakturze możliwe jest umieszczenie wielu pozycji odpowiadających
sprzedawanym towarom. Jedna faktura nie może być wystawiona dla więcej niż jednego klienta. Nie można także
umieścić na niej więcej niż jednej pozycji dotyczącej tego samego towaru. Wszystkie pola z przedrostkiem ID w
nazwie (IDTowaru, IDDostawcy itd.) są numerowane automatycznie z jednostkowym przyrostem zaczynając od 1.
Dzięki takiemu podejściu nie tracimy informacji dotyczących przeszłości działania firmy, a także możemy zdjąć z
użytkownika bazy obowiązek dbania o niepowtarzalność tych pól. Oprogramowanie bazy ma także umożliwiać
łatwy dostęp do informacji o najlepszych klientach, a także automatycznie obliczać rabaty do faktur na podstawie
wartości wcześniejszych zakupów danego klienta, jak i automatycznie wyliczać wartość do zapłaty na fakturze. Jest
także zaimplementowana prosta obsługa magazynu polegająca na automatycznej zmianie wartości odpowiadających
ilości towarów na magazynie lub w zamówieniach u dostawców o odpowiednią wartość pobraną z dodawanych do
faktur pozycji. Zarówno tworzenie nowych faktur jak i dodawanie do nich pozycji zrealizowane jest za pomocą
procedur sprawdzających spełnienie odpowiednich warunków i wypełniających automatycznie wybrane pola tak, aby
zminimalizować możliwość błędnego wprowadzenia danych przezużytkownika.
Baza zawiera 7 tabel.
–
Dane zostały rozmieszczone tak, aby uniknąć powtórzeń.
–
Kluczami głównymi są automatycznie numerowanepola ID.
–
Między tabelami utworzone są więzy na pola ID, dzięki czemu nie ma potrzeby powtarzania innych danych w
tabelach.
Powiązania między tabelą Towary a tabelami Kategorie i Dostawcy popierają założenie podzielenia towarów
na kategorie i dostawców oraz uniemożliwiają dodanie towaru dla nieistniejącej kategorii lub dostawcy. Tabela
PozycjeFaktur ma dwa klucze główne, aby możliwe było tworzenie wielu pozycji dla jednej faktury. Zgodnie z
logiką nie jest możliwe stworzenie na jednej fakturze więcej niż jednej pozycji dotyczącej tego samego towaru.
Powiązania między tabelami Faktury i PozycjeFaktur uniemożliwiają stworzenie pozycji dla nieistniejącej
faktury. Tabela PozycjeFaktur powiązana jest także z tabelą Towary, aby uniemożliwić wpisanie na fakturę
nieistniejącego towaru.
Tabela Faktury powiązana jest z tabelami Wysylka oraz Klienci co uniemożliwia stworzenie faktury dla
klienta i wysyłki, które nie istnieją w bazie.
W tablicy Towary pole CenaKupna zawiera cenę towaru u dostawcy, CenaSprzedaży to cena wyjściowa (bez
zniżek) dla klienta. Pole IloscWmagazynie zawiera liczbę reprezentującą ilość danego towaru w magazynie, a pole
IloscWzamówieniach liczbę reprezentującą ilość danego towaru, który należy zamówić u dostawcy.
Omówienie poszczególnych elementów:
1. WIDOKI
TrzechNajlepszych:
CREATE OR REPLACE VIEW trzechnajlepszych AS
SELECT f.idklienta, sum(pf.ilosc * t.cenasprzedazy) AS suma
FROM pozycjefaktur pf
JOIN towary t ON pf.idtowaru = t.idtowaru
JOIN faktury f ON pf.idfaktury = f.idfaktury
GROUP BY f.idklienta
ORDER BY sum(pf.ilosc * t.cenasprzedazy) DESC
LIMIT 3;
wyświetla IDKlienta oraz sumę wszystkich zamówien dla trzech najlepszych klientów sklepu. IDKlienta, które
widok ten wyświetla umożliwia uzyskanie wszelkich danych o klientach, którzy zostawili najwięcej pieniędzy w
sklepie.
Wspolnemiasto:
CREATE OR REPLACE VIEW wspolnemiasto AS
SELECT d.nazwadostawcy, d.adres AS "Adres dostawcy", d.telefon AS
"Tel dostawcy",k.nazwaklienta, k.adres AS "Adres klienta", k.miasto, k.kodpocztowy
FROM dostawcy d JOIN klienci k ON d.kodpocztowy::text = k.kodpocztowy::text;
wyświetla dostawców i klientów pochodzących z tego samego miasta wraz z ich danymi adresowymi. Widok ten
może być pomocny w redukcji kosztów zamówienia (jeżeli dostawca i klient są z tego samego miasta to może nie
być konieczne wysyłanie towaru ze sklepu).
Wyswietldostawcow:
CREATE OR REPLACE VIEW wyswietldostawcow AS
SELECT d.iddostawcy, d.nazwadostawcy, d.miasto, d.adres, d.kodpocztowy, d.telefon,
t.nazwatowaru,
t.idtowaru, k.nazwakategorii, k.idkategorii, t.cenakupna AS cena,
t.iloscwzamowieniach
FROM dostawcy d
JOIN towary t ON d.iddostawcy = t.iddostawcy
JOIN kategorie k ON t.idkategorii = k.idkategorii;
wyświetla najważniejsze dane związane ze wszystkimi dostawcami w bazie. Daje szybki dostęp do wszystkich
informacji o towarach, w jakie zaopatrzają sklep, ilości zamówionych u nich towarów oraz dane potrzebne do
ewentualnego kontaktu lub dalszego poszukiwania informacji.
WyswietlFaktury:
CREATE OR REPLACE VIEW wyswietlfaktury AS
SELECT f.idfaktury, k.nazwaklienta, f.idklienta, f.data, ( SELECT count(*) AS count
FROM pozycjefaktur pf
WHERE pf.idfaktury = f.idfaktury) AS "Ilosc pozycji na fakturze"
FROM faktury f
JOIN klienci k ON f.idklienta = k.idklienta;
wyświetla podstawowe informacje o wszystkich fakturach w bazie. Wyświetlane dane zawierają IDFaktury, nazwę
klienta, jego ID, datę utworzenia faktury oraz liczbę pozycji, które dana faktura zawiera.
Zamowionetowary:
CREATE OR REPLACE VIEW zamowionetowary AS
SELECT t.nazwatowaru, t.idtowaru, d.nazwadostawcy, t.iddostawcy, k.nazwakategorii,
t.idkategorii, t.iloscwzamowieniach AS "Zamowiona ilosc"
FROM towary t
JOIN dostawcy d ON t.iddostawcy = d.iddostawcy
JOIN kategorie k ON t.idkategorii = k.idkategorii
WHERE t.iloscwzamowieniach > 0;
wyświetla towary, na które złożone jest zamówienie i których tym samym nie ma w magazynie. Widok wyświetla
także kategorię, do której należy dany towar oraz zamówioną ilość i dostawcę, u którego jest zamówiony. Widok
może być często wykorzystywany, np. jako podstawa udzielenia klientowi informacji o przewidywanym czasie
realizacji zamówienia.
2. Funkcje ( w PostgreSQL nie ma typowych procedur, zastępujemy je funkcjami zwracającymi VOID)
gettimestamp:
CREATE FUNCTION "gettimestamp" ( ) RETURNS timestamp AS '
DECLARE
cur_time timestamp;
BEGIN
cur_time = ''now'';
RETURN cur_time;
END;
Służy do pobierania daty dla funkcji dodajfakture
dodajDoFaktury:
CREATE OR REPLACE FUNCTION dodajdofaktury(int4, int4, int4)
RETURNS void AS
$BODY$
BEGIN
IF EXISTS(SELECT * FROM Faktury WHERE IDFaktury=$1)
THEN
IF EXISTS(SELECT * FROM Towary WHERE IDTowaru=$2)
THEN
INSERT INTO PozycjeFaktur (IDFaktury, IDTowaru, Ilosc) VALUES($1,$2,$3);
ELSE
RAISE EXCEPTION "Towar o podanym IDTowaru nie istnieje!";
END IF;
ELSE
RAISE EXCEPTION "Faktura o podanym IDFaktury nie istnieje!";
END IF;
END;
wstawia do faktury nową pozycję. Pobiera od użytkownika IDFaktury, do której pozycja ma być dodana, ID oraz
ilość towaru, którego pozycja ma dotyczyć. Następnie sprawdzane jest istnienie faktury oraz towaru o podanych ID.
Jeśli wszystko jest w porządku nowa pozycja zostaje dopisana do faktury. Procedura ułatwia użytkownikowi obsługę
dodawania nowych pozycji faktur i minimalizuje ryzyko błędu przy wprowadzaniu danych.
Dodajfakture:
CREATE OR REPLACE FUNCTION dodajdofaktury
(IDFaktury_ integer,IDTowaru_ integer,Ilosc_ integer) RETURNS void
AS'
BEGIN
IF EXISTS(SELECT * FROM Faktury WHERE IDFaktury=IDFaktury_)
THEN
IF EXISTS(SELECT * FROM Towary WHERE IDTowaru=IDTowaru_)
THEN
INSERT INTO PozycjeFaktur (IDFaktury, IDTowaru, Ilosc)
VALUES(IDFaktury_,IDTowaru_,Ilosc_);
--ELSE
--RAISE EXCEPTION "Towar o podanym IDTowaru nie istnieje!";
END IF;
--ELSE
-- RAISE EXCEPTION "Faktura o podanym IDFaktury nie istnieje!";
END IF;
END;'
dodaje nową fakturę. Pobiera od użytkownika IDKlienta, którego faktura ma dotyczyć oraz IDWysylki, którą towar
ma być wysłany. Następnie sprawdza istnienie klienta i wysyłki o podanym ID. Jeżeli wszystko jest w porządku do
tabeli wstawiana jest nowa faktura zawierająca IDKlienta, IDWysylki, datę pobraną poprzez getdate() oraz rabat
obliczony przy użyciu funkcji PoliczRabat(IDKlienta_). Procedura ogranicza udział użytkownika do podania dwóch
wartości i uzupełnia pozostałe upraszczając proces, przez co zmniejsza się ryzyko błędu i ruch w sieci.
Policzrabat:
CREATE OR REPLACE FUNCTION policzrabat(idklienta_ int4)
RETURNS float8 AS
DECLARE temp numeric;
DECLARE rabat float = 0.0;
BEGIN
temp=(SELECT SUM(Ilosc*CenaSprzedazy) FROM PozycjeFaktur pf
JOIN Towary t ON pf.IDTowaru=t.IDTowaru
JOIN Faktury f ON pf.IDFaktury=f.IDFaktury
WHERE f.IDKlienta=IDKlienta_);
IF (temp>=1000 AND temp<3000) THEN
rabat=0.05;
END IF;
IF (temp>=3000 AND temp<10000) THEN
rabat=0.07;
END IF;
IF (temp>=10000) THEN
rabat=0.1;
END IF;
RETURN rabat;
END;
oblicza rabat dla klienta o zadanym IDKlienta. Jest wykorzystywana w funkcji WyswietlFakture. Rabat obliczany jest
na podstawie wartości wszystkich zamówień klienta według następujących kryteriów:
dla 1000 - 3000 PLN rabat 5%
dla 3000 - 10000 PLN rabat 7%
dla 10000 i więcej rabat 10%
wartoscFaktury:
CREATE OR REPLACE FUNCTION wartoscfaktury(idfaktury_ int4)
RETURNS int4 AS
DECLARE Suma integer;
BEGIN
Suma=(SELECT SUM(Ilosc*CenaSprzedazy) FROM PozycjeFaktur pf JOIN Towary t
ON t.IDTowaru=pf.IDTowaru
WHERE pf.IDFaktury=IDFaktury_
GROUP BY IDFaktury );
RETURN Suma;
END;
oblicza wartość faktury o podanym IDFaktury sumując wartości wszystkich jej pozycji. Jest wykorzystywana w
funkcji WyswietlFakture.
WyswietlFakture:
CREATE OR REPLACE FUNCTION wyswietlfakture(idfaktury_ int4)
RETURNS void AS
DECLARE temp_wartosc numeric;
DECLARE temp_rabat float;
DECLARE temp_rabat_percent int;
DECLARE do_zaplaty numeric;
BEGIN
IF EXISTS(SELECT * FROM Faktury WHERE IDFaktury=IDFaktury_)
THEN
temp_wartosc= (SELECT WartoscFaktury(IDFaktury_));
temp_rabat= (SELECT Rabat FROM Faktury WHERE IDFaktury=IDFaktury_);
temp_wartosc = temp_wartosc - temp_wartosc * temp_rabat;
temp_rabat_percent=temp_rabat*100;
do_zaplaty= (SELECT KosztWysylki FROM Wysylka JOIN Faktury
ON Wysylka.IDWysylki=Faktury.IDWysylki
WHERE Faktury.IDFaktury=IDFaktury_);
do_zaplaty = do_zaplaty + temp_wartosc;
SELECT IDFaktury, Faktury.IDKlienta, NazwaKlienta, NazwaWysylki,
WartoscFaktury(IDFaktury_) AS "Wartosc faktury",
temp_rabat_percent AS "Rabat %",
temp_wartosc AS "Wartosc z rabatem",
KosztWysylki, do_zaplaty AS "Do zaplaty",
Data
FROM Faktury JOIN Klienci ON Faktury.IDKlienta=Klienci.IDKlienta
JOIN Wysylka ON Faktury.IDWysylki=Wysylka.IDWysylki
WHERE Faktury.IDFaktury=IDFaktury_;
ELSE
RAISE EXCEPTION "Faktura o podanym IDFaktury nie istnieje!";
END IF;
END;
wyświetla fakturę o podanym przez użytkownika IDFaktury. Po sprawdzeniu czy zadana faktura istnieje wyświetlane
są wszystkie dotyczące jej informacje wraz z obliczonymi: rabatem, wartością faktury, wartością po zastosowaniu
rabatu oraz kwotą do zapłaty uwzględniającą także koszty wysyłki. Procedura ta w znaczący sposób upraszcza prace
z bazą. Wykonuje większość pracy na serwerze zmniejszając ruch w sieci.
WyswietlpozycjeFaktury:
CREATE OR REPLACE FUNCTION wyswietlpozycjefaktury(idfaktury_ int4)
RETURNS void AS
BEGIN
IF EXISTS (SELECT * FROM Faktury WHERE IDFaktury=IDFaktury_)
THEN
SELECT pf.IDfaktury, pf.IDTowaru, t.NazwaTowaru, pf.Ilosc,
t.CenaSprzedazy AS "Cena jednostki"
FROM PozycjeFaktur pf JOIN Towary t ON pf.IDTowaru=t.IDTowaru
WHERE pf.IDFaktury=IDFaktury_;
ELSE
RAISE EXCEPTION "Faktura o podanym IDFaktury nie istnieje!";
END IF;
END;
wyświetla wszystkie pozycje faktury o podanym IDFaktury. Funkcja ułatwia pracę z bazą i ułatwia pozyskiwanie
informacji.
3. Triggery
Triggery w PostgreSQL różnią się od tych w MSSQL. W ciele triggera podajemy warunki przy jakich trigger ma
wykonywać tzw. Trigger Function.
magazynzamowienia:
CREATE TRIGGER magazynzamowienia
AFTER UPDATE
ON towary
FOR EACH ROW
EXECUTE PROCEDURE mag_zam();
CREATE OR REPLACE FUNCTION mag_zam()
RETURNS "trigger" AS
DECLARE IDTowaru int;
BEGIN
IDTowaru=(SELECT IDTowaru FROM Inserted);
IF (SELECT IloscWmagazynie FROM Towary WHERE Towary.IDTowaru=IDTowaru)<0
THEN
UPDATE Towary
SET IloscWzamowieniach=IloscWzamowieniach-IloscWmagazynie WHERE IDTowaru IN
(SELECT IDTowaru FROM Inserted);
UPDATE Towary
SET IloscWmagazynie=0 WHERE IDTowaru IN
(SELECT IDTowaru FROM Inserted);
END IF;
END;
uaktualnia pole IloscWzamowieniach w tablicy Towary dla towaru, dla którego IloscWmagazyniespadła poniżej
zera. Wartość w polu IloscWzamowieniach zwiększanajest w takiej sytuacji o wartość jaka jest „na minusie” w polu
IloscWmagazynie. Na koniec pole IloscWmagazynie ustawiane jest na 0 tak, aby nie było tam już wartości ujemnej.
Dodajpunkty:
CREATE TRIGGER punkty
AFTER INSERT OR UPDATE
ON faktury
FOR EACH ROW
EXECUTE PROCEDURE dodaj_punkt();
CREATE OR REPLACE FUNCTION dodaj_punkt()
RETURNS "trigger" AS'
begin
UPDATE KLIENCI SET punkty=punkty+1 WHERE IDKlienta IN (SELECT IDKlienta FROM
Faktury
WHERE Data=gettimestamp());
RETURN NEW;
end;
zwiększa wartość pola Punkty w tabeli Klienci dla klienta, na którego wystawiana jest nowa faktura. Dzięki wartości
w polu Punkty można łatwo stwierdzić, którzy klienci robią najczęściej zakupy.
Zabierzzmagazynu:
CREATE TRIGGER zabierzzmagazynu
AFTER INSERT
ON pozycjefaktur
FOR EACH ROW
EXECUTE PROCEDURE zabierz();
CREATE OR REPLACE FUNCTION zabierz()
RETURNS "trigger" AS'
DECLARE Ilosc integer;
DECLARE IDTowaru_ integer;
BEGIN
Ilosc=(SELECT Ilosc FROM pozycjefaktur JOIN faktury
ON pozycjefaktur.IDFaktury=Faktury.IDFaktury);
IDTowaru_=(SELECT Idtowaru FROM pozycjefaktur JOIN faktury
ON pozycjefaktur.IDFaktury=Faktury.IDFaktury);
UPDATE Towary SET IloscWmagazynie=IloscWmagazynie-Ilosc
WHERE IDTowaru=IDTowaru_;
RETURN NEW;
END;'
uaktualnia pole IloscWmagazynie w tabeli Towary odejmując ilość danego towaru, na który wystawiana jest nowa
pozycja faktury.
Backup bazy danych:
Pracując nad naszym projektem nie zapomnieliśmy oczywiście o zaimplementowaniu procedury backup'owania
naszej bazy danych. Do tego celu wykorzystaliśmy konsolowe narzędzia o nazwie pg_dump oraz psql.
Pierwsze z nich służy do backup'owania bazy danych do pliku wyjściowego będącego skryptem sql zawierającym
zestaw poleceń, który może służyć do odzyskania całej bazy danych.
Składnia polecenia prezentuje się następująco: 'pg_dump nazwa_bazy > backup.out
postgres$ pg_dump pbd2v2 > pbd2v2.out
Istnieje również możliwość wykonania kopii zapasowej wszystkich baz danych znajdujących się na serwerze.
Można to osiągnąć przy użyciu narzędzia o nazwie pg_dumpall
postgres$ pg_dumpall > backup.out
Po wykonaniu powyższego polecenia w pliku backup.out znajdzie się kopia wszystkich baz danych z serwera.
Nawet najlepsze narzędzie służące do wykonywania backup'u bazy danych jest jednak niewiele warte jeśli przy
wykonywaniu każdej kopii wymaga udziału administratora.
Z tego właśnie powodu postanowiliśmy zautomatyzować ten proces. I tutaj znów z pomocą przyszła nam szeroka
elastyczność OpenSource. Napisaliśmy skrypt powłoki wykonujący backup istniejących na serwerze baz danych za
nas. Kopie baz danych zapisywane są w osobnych plikach po kompresji gzip'em. Nazwy plików odpowiadają nazwą
baz danych na serwerze „nazwa_bazy.out.gz”
A oto skrypt:
#!/bin/bash
DIR=/backups/postgres/
[ ! $DIR ] && mkdir -p $DIR || :
LIST=$(psql -l -t | awk '{ print $1}' | grep -vE '^-|^List|^Name|template[0|1]')
for d in $LIST
do
pg_dump $d | gzip -c > $DIR/$d.out.gz
done
I sposób jego wykonania:
postgres$ sh nazwa_pliku_ze_skryptem
Bez zagłębiania się w szczegóły, skrypt pobiera nazwy istniejących baz danych z narzędzia psql i tworzy pliki o
odpowiednich nazwach w katalogu /backups/postgres , który w razie potrzeby tworzy.
Wykonanie tak przygotowanego skryptu możemy bez problemu zautomatyzować w systemie tak aby wykonywał się
co jakiś czas lub/i w przypadku zdarzeń takich jak np przechwyceniezdefiniowanego komunikatu w logach.
To tyle na temat wykonywania kopii zapasowej, a teraz o jej przywracaniu.
Do odzyskania bazy danych z wykonywanego wcześniej backup'u używamywspomnianego już wyżej narzędzia
psql.
W przypadku gdy chcemy odzyskać pojedynczą bazę używamy następującej składni:
'psql -d nazwa_bazy -f plik_z_backupem'
postgres$ psql -d pbd2v2 -f pbd2v2.out
W przypadku odzyskiwania więcej niż jednej bazy z pliku utworzonego przy użyciu pg_dumpall używamy polecenia
w formie: 'psql -f plik_z_backupami'
postgres$ psql -f backup.out
!UWAGA!
W razie konieczności wykonania, któregokolwiek z wyżej wymienionych poleceń z konta innego niż postgres lub
gdy właścicielem bazy jest inny użytkownik należy użyć przełącznika -U 'nazwa_wlasciciela_bazy'. Oczywiście
należy pamiętać o konieczności posiadania odpowiednich uprawnień.
root# pg_dump -U ''postgres'' pbd2v2 > pbd2v2.out
Bezpieczeństwo dzięki RAID:
Do zmniejszenia ryzyka utraty danych spowodowanego fizyczną awarią dysku twardego proponujemy zastosowanie
na serwerze macierzy dyskowej RAID6 składającej się z 4 napędów.
Wybór uzasadniamy faktem, że mimo wolniejszego zapisu w stosunku do najczęściej stosowanego RAID5
odporność na awarię systemu w wersji 6 jest dużo wyższa.
W implementacji tej generowany jest drugi blok parzystości co wymaga stosowania nie jednego a dwóch dysków
nadmiarowych. Korzyści płynących z tego rozwiązania jest kilka.
Po pierwsze w razie awarii jednego z dysków nie jest konieczna natychmiastowa wymiana napędu i jego odbudowa
gdyż macierz może pracować z pełną wydajnością, będąc jednocześnie wystarczająco bezpiecznym. Dzięki temu
możemy odłożyć odbudowę na czas mniejszego obciążenia systemu.
Co więcej w przypadku RAID6 w czasie trwania odbudowy uszkodzonego napędu cały system jest mniej obciążony
gdyż na potrzeby obsługi przychodzących zapytań dostępnych jest więcej dysków. Jest to bardzo ważne szczególnie
w czasach gdy pojemności dysków są coraz większe, a sam proces odbudowy zajmuje coraz więcej czasu. Nie
zapominajmy że w 3-napędowym RAID5 nie możemy pozwolić sobie na awarię drugiego dysku przed
zakończeniem odbudowy wcześniej uszkodzonego napędu.
Na korzyść RAID6 przemawia dodatkowo fakt, że coraz częściej w miejsce szybkich dysków SCSI czy FC wstawia
się tańsze i pojemniejsze, ale za to wolniejsze i bardziej awaryjne dyski SATA.
Replikacja:
Postanowiliśmy przetestować system replikacji (Slony1) na naszej bazie. W tym celu dodaliśmy do bazy 4 tabele (dla
celów testowych do replikacji):
history
accounts
branches
tellers
Na początku definiujemy nowe zmienne systemowe:
#!/bin/bash
export CLUSTERNAME=klaster
export MASTERDBNAME=pbd2v2
export SLAVEDBNAME=pbd2v2_slave
export MASTERHOST=localhost
export SLAVEHOST=localhost
export REPLICATIONUSER=lesiu
export PBD2V2USER=lesiu
W systemie mamy już bazę MASTER, następnym krokiem jest utworzenie bazy SLAVE:
gentoo# createdb -O $PBD2V2USER -h $SLAVEHOST $SLAVEDBNAME
gentoo# pgbench -i -s 1 -U $PBD2V2USER -h $MASTERHOST $MASTERDBNAME
Standardowo Slony-I nie kopiuje sobie bazy MASTER więc na początku należy ją skopiować do SLAVE:
gentoo#pg_dump -s -U $REPLICATIONUSER -h $MASTERHOST $MASTERDBNAME |
psql -U $REPLICATIONUSER -h $SLAVEHOST $SLAVEDBNAME
Następnie konfigurujemy naszą bazę do obsługi replikacji ( posłuży nam do tego skrypt 'slonik'):
#!/bin/sh
slonik <<_EOF_
cluster name = $CLUSTERNAME;
node 1 admin conninfo = 'dbname=$MASTERDBNAME host=$MASTERHOST
user=$REPLICATIONUSER';
node 2 admin conninfo = 'dbname=$SLAVEDBNAME host=$SLAVEHOST user=$REPLICATIONUSER';
init cluster ( id=1, comment = 'Master Node');
table add key (node id = 1, fully qualified name = 'public.history');
create set (id=1, origin=1, comment='All pgbench tables');
set add table (set id=1, origin=1, id=1, fully qualified name
table');
set add table (set id=1, origin=1, id=2, fully qualified name
table');
set add table (set id=1, origin=1, id=3, fully qualified name
table');
set add table (set id=1, origin=1, id=4, fully qualified name
table', key = serial);
= 'public.accounts', comment='accounts
= 'public.branches', comment='branches
= 'public.tellers', comment='tellers
= 'public.history', comment='history
store node (id=2, comment = 'Slave node');
store path (server = 1, client = 2, conninfo='dbname=$MASTERDBNAMEhost=$MASTERHOST
user=$REPLICATIONUSER');
store path (server = 2, client = 1, conninfo='dbname=$SLAVEDBNAME host=$SLAVEHOST
user=$REPLICATIONUSER');
store listen (origin=1, provider = 1, receiver =2);
store listen (origin=2, provider = 2, receiver =1);
_EOF_
Po wykonaniu powyższego skryptu mamy gotowe dwie bazy, wystarczy teraz uruchomić demony replikacji:
na serwerze MASTER wpisujemy:
gentoo#slon $CLUSTERNAME "dbname=$MASTERDBNAME user=$REPLICATIONUSER
host=$MASTERHOST"
a na SLAVE:
gentoo#slon $CLUSTERNAME "dbname=$SLAVEDBNAME user=$REPLICATIONUSER
host=$SLAVEHOST"
(W naszym testowym przypadku jest to jedna i ta sama maszyna)
Powinno pojawić się nam coś jak to:
Uruchamiamy replikacje poprzez skrypt:
#!/bin/sh
slonik <<_EOF_
cluster name = $CLUSTERNAME;
node 1 admin conninfo = 'dbname=$MASTERDBNAME host=$MASTERHOST user=$REPLICATIONUSER';
node 2 admin conninfo = 'dbname=$SLAVEDBNAME host=$SLAVEHOST user=$REPLICATIONUSER';
subscribe set ( id = 1, provider = 1, receiver = 2, forward = no);
_EOF_
Demony replikacji nasłuchały:
W celu sprawdzenia czy bazy są jednakowe po replikacji wykonujemy skrypt:
#!/bin/sh
echo -n "**** comparing sample1 ... "
psql -U $REPLICATIONUSER -h $MASTERHOST $MASTERDBNAME >dump.tmp.1.$$ <<_EOF_
select 'accounts:'::text, aid, bid, abalance, filler
from accounts order by aid;
select 'branches:'::text, bid, bbalance, filler
from branches order by bid;
select 'tellers:'::text, tid, bid, tbalance, filler
from tellers order by tid;
select 'history:'::text, tid, bid, aid, delta, mtime, filler,
"_Slony-I_${CLUSTERNAME}_rowID"
from history order by "_Slony-I_${CLUSTERNAME}_rowID";
_EOF_
psql -U $REPLICATIONUSER -h $SLAVEHOST $SLAVEDBNAME >dump.tmp.2.$$ <<_EOF_
select 'accounts:'::text, aid, bid, abalance, filler
from accounts order by aid;
select 'branches:'::text, bid, bbalance, filler
from branches order by bid;
select 'tellers:'::text, tid, bid, tbalance, filler
from tellers order by tid;
select 'history:'::text, tid, bid, aid, delta, mtime, filler,
"_Slony-I_${CLUSTERNAME}_rowID"
from history order by "_Slony-I_${CLUSTERNAME}_rowID";
_EOF_
if diff dump.tmp.1.$$ dump.tmp.2.$$ >$CLUSTERNAME.diff ; then
echo "Bazy są identyczne!! :)."
rm dump.tmp.?.$$
rm $CLUSTERNAME.diff
else
echo "bląd, w pliku $CLUSTERNAME.diff możesz sprawdzić jakie są różnice"
fi
Wszystko działa, jak dodamy nowe wiersze w MASTER to w SLAVE zostaną natychmiast skopiowane.
Dodatkowe:
Ze względu na trud jaki podjęliśmy, tworząc bazę przy użyciu narzędzi nie znanych nam wcześniej w obsłudze, nie
udało nam się zaimplementować kilku mechanizmów, które w finalnej wersji bazy znaleźć się powinny. Jednak
satysfakcja z nauczenia się czegoś nowego i zrobienia tego w tak bardzo cenionej przez nas idei otwartego
oprogramowania rekompensuje te niedostatki :)
A oto one:
–
Baza nie jest zabezpieczona przed umyślnym usuwaniem z niej wpisów poza sytuacją, gdy nie pozawalają na to
więzy integralności.
–
Baza danych nie przewiduje możliwości zapamiętywania zmian cen towarów w czasie.