Optimisation backups Le sujet est résolu

Demande d'aide : c'est ici.
Répondre
Avatar du membre
lol
Site Admin
Site Admin
Messages : 3375
Enregistré le : 04 avr. 2016, 12:11
Localisation : Madagascar
Contact :
Status : Hors ligne

20 mars 2021, 10:59

Salut,

Depuis des années j'utilise un script de backup.
Je dump les bases de données et je "tar zcfP" les répertoires.

Mais la partie TAR devient beaucoup trop gourmande à cause de la taille de mes sites (Plus de 100Go parfois).
Trop gourmand en CPU et en temps (Les machines ne sont pas forcément super puissantes).
Les backups peuvent prendre plus de 6h à s'éxécuter, ça devient débile... :017:

Auriez-vous une astuce pour faire des archives rapidement (Même si la compression n'est pas extraordinaire) et sans mettre à plat mes machines ?

SI je souhaite des archives plutôt qu'une ribambelle de petits fichiers c'est parce qu'ensuite je fais des backups croisés avec sshfs et qu'un multitude de petits fichiers est BEAUCOUP plus lent que quelques gros... ;-)

Merci pour vos pistes.
Debian stable. XFCE.
C'est curieux chez les marins ce besoin de faire des phrases (Les tontons flingueurs).
Avatar du membre
vv222
Modérateur
Modérateur
Messages : 436
Enregistré le : 18 avr. 2016, 20:14
Localisation : Bretagne
Contact :
Status : Hors ligne

20 mars 2021, 11:17

LZ4 est réputé être un outil de compression très rapide.
Par contre, je ne sais pas à quel point il est ou non gourmand en ressources.
Avatar du membre
PengouinPdt
Contributeur
Contributeur
Messages : 1342
Enregistré le : 23 avr. 2016, 23:37
Localisation : 47/FR
Diaspora* : https://framasphere.org/u/hucste
Contact :
Status : Hors ligne

20 mars 2021, 12:56

Et, pourquoi tu n'utilises pas un outil tel que borgbackup ?
PengouinPdt { le seul, le vrai } ~ " Libre as a Pengouin "
- DIY - Debian Sid | Devuan Ceres
----
Ne réponds pas aux PM d'assistance
Avatar du membre
lol
Site Admin
Site Admin
Messages : 3375
Enregistré le : 04 avr. 2016, 12:11
Localisation : Madagascar
Contact :
Status : Hors ligne

20 mars 2021, 15:09

vv222 a écrit : 20 mars 2021, 11:17LZ4 est réputé être un outil de compression très rapide.
Par contre, je ne sais pas à quel point il est ou non gourmand en ressources.

Effectivement lz4 est bien plus rapide, merci.

Code : Tout sélectionner

# time tar zcfP web1.tar.gz /var/www/clients/client0/web1/
real    8m22,540s

# time tar cf - /var/www/clients/client0/web1 | lz4 -v > web1.tar.lz4
real    4m52,131s

# time tar cf - /var/www/clients/client0/web1 > web1.tar
real    1m38,649s
# vdir -h web1*
-rw-r--r-- 1 root root 2,3G mars 20 15:31 web1.tar
-rw-r--r-- 1 root root 1,7G mars 20 14:12 web1.tar.gz
-rw-r--r-- 1 root root 1,9G mars 20 14:18 web1.tar.lz4

Je pense m'orienter vers l'archive non compressée
Mon problème n'est pas la place mais la vitesse.
PengouinPdt a écrit : 20 mars 2021, 12:56 Et, pourquoi tu n'utilises pas un outil tel que borgbackup ?
Parce que j'ai mes procédure de restauration (Et avec l'incendie OVH je suis content d'avoir eu mon plan prêt et opérationnel) et je n'ai pas de temps à consacrer à travailler sur une nouvelle procédure en ce moment.
Mais tu as raison un backup différentiel est ce qu'il y a de mieux en terme d'efficacité.
Debian stable. XFCE.
C'est curieux chez les marins ce besoin de faire des phrases (Les tontons flingueurs).
Avatar du membre
piratebab
Site Admin
Site Admin
Messages : 3649
Enregistré le : 24 avr. 2016, 18:41
Localisation : sud ouest
Status : Hors ligne

22 mars 2021, 10:27

Perso je fais des backup différentiels hebdo, et des complets mensuels.
Avatar du membre
PengouinPdt
Contributeur
Contributeur
Messages : 1342
Enregistré le : 23 avr. 2016, 23:37
Localisation : 47/FR
Diaspora* : https://framasphere.org/u/hucste
Contact :
Status : Hors ligne

22 mars 2021, 11:40

@lol, je comprends et me doute que tu as ta procédure de sauvegarde et de restauration… néanmoins, à moment donné, vu la taille, celle-ci peut ne plus correspondre aux besoins réels ;)
(je ne fais qu'émettre une hypothèse qui me semble probable et intéressante à "étudier")

Ensuite, il est sûr et vrai que la compression de données prend de la ressource matérielle et donc plus de temps, que la "simple" génération d'une archive :p
PengouinPdt { le seul, le vrai } ~ " Libre as a Pengouin "
- DIY - Debian Sid | Devuan Ceres
----
Ne réponds pas aux PM d'assistance
Avatar du membre
lol
Site Admin
Site Admin
Messages : 3375
Enregistré le : 04 avr. 2016, 12:11
Localisation : Madagascar
Contact :
Status : Hors ligne

27 mars 2021, 17:41

@PengouinPdt

Je vais changer d'hébergeur. Place de CPU ne seront plus un problème.
Mais ... Je garde à l'esprit le backup intelligent qui est quand même plus efficace (Temps et ressources).
Merci.
Debian stable. XFCE.
C'est curieux chez les marins ce besoin de faire des phrases (Les tontons flingueurs).
Répondre