Jak radzić sobie z ogromnymi plikami dziennika serwera WWW Apache

Muszę przyznać, że nie zwracałem uwagi na rozmiar niektórych plików dziennika serwera WWW Apache na moim serwerze dedykowanym. Dla tych, którzy nie wiedzą, dzienniki Apache są plikami dziennika serwera WWW Apache. Rejestrują każde trafienie na stronie internetowej i zapewniają doskonały materiał, który może być przetwarzany przez oprogramowanie do analizy plików dziennika.

Te pliki dziennika mogą stać się ogromne, jeśli masz popularną witrynę internetową. Obecny rozmiar pliku dziennika Ghacks wynosi 45 gigabajtów. Jeśli nadal będzie rosło w tym tempie, serwerowi internetowemu wkrótce zabraknie miejsca na dysku twardym.

Pierwszym problemem było wymyślenie, jak wykonać kopię zapasową pliku 45 Gigabajtów na serwerze internetowym, ponieważ nie chciałem stracić wszystkich danych w nim przechowywanych. Pomysł narodził się, aby najpierw skompresować plik dziennika serwera WWW Apache, a następnie zmniejszyć go do kilku kilobajtów za pomocą polecenia echo.

Pliki dziennika serwera WWW Apache są przechowywane w katalogu / var / log / apache2 na dedykowanym serwerze Debian. Pierwsze polecenie, które zostanie wydane, skompresuje zawartość katalogu apache2 do wielu plików tar, jeśli skompresowany plik osiągnie maksymalny rozmiar. Ułatwia to przesyłanie plików na inny komputer.

katalog tar -cz | split -d -b 1024m - destination.tgz

Katalog to katalog źródłowy, w którym znajdują się pliki dziennika serwera WWW Apache, a destination.tgz to nazwa skompresowanego pliku do utworzenia. Należy zauważyć, że może być konieczne zatrzymanie serwera WWW Apache, aby operacja zakończyła się powodzeniem, ponieważ narzędzie do kompresji zatrzyma się, jeśli pliki zostaną zmienione podczas procesji.

Ostatnią rzeczą, którą należy zrobić, jest wyczyszczenie oryginalnych plików dziennika serwera WWW Apache w katalogu plików dziennika. Można to zrobić za pomocą następującego polecenia, nawet jeśli Apache jest uruchomiony.

echo ""> /var/log/apache2/filename.log

To po prostu nadpisuje zawartość pliku. Zauważ ponownie, że niektóre dystrybucje Linuksa używają innej struktury katalogów i że pliki dziennika mogą znajdować się w innym katalogu na serwerze.
Zajmie to tylko kilka sekund, a plik dziennika zostanie później wyczyszczony z całej zawartości.

Następnie wystarczy przenieść różne skompresowane archiwa na inny komputer.

Link do głównej publikacji