backup tausender kleiner jpg mit rsync

N

nutzer

Jungspund
Hallo zusammen,

hab seit langem mal wieder was wo ich noch keine so richtige Lösung habe.

Problemstellung:

Suse 10.1 in die 2 Arrays a 2GB gemountet sind.
Diese enthalten jeweils große Mengen von Ordnern mit jeweils tausenden kleiner jpg`s so um die 23kb. Diese soll alles als Backup auf ein NAS-Device
das ich ebenfalls gemountet habe.
habe es ganz banal mit rsync -a --delete /Quelle /Ziel getestet. Doch das einlesen der Daten von der Quelle braucht Stunden und bringt den Rechner irgendwann zum erliegen.
hab es auch schon mit mirrordir probiert, nicht wirklich besser.
gibts eine Möglichkeit das nur die Verzeichnisse angesehen werden und nur wenn sich der Zeitstempel des Verzeichnisses geändert hat der Inhalt verglichen und dann abgeglichen wird? Habe im Help vom rsync nichts richtiges gefunden.
Oder hat jemand eine andere Lösung??

Gruss Mario

:think:
 
hm, wir haben hier ein VZ mit ca. 65GB, in dem >600000 Dateien liegen - ein Sync mit rsync auf einen Backupserver dauert nur wenige Minuten (bei <100 geänderten Dateien)...

Wie ist Quelle und Ziel denn bei Dir eingebunden?
 
Die Quelle habe ich über die FSTAB nach DATEN/X1 gemountet
das Ziel habe ich in den Ordner mnt als Ordner sicher_x1 per hand über die Shell gemountet

so das der Job

rsync -a --delete /DATEN/X1/ /mnt/sicher_x1/ heißt.

hab mal nur ein Unterverzeichnis ausgewählt und mitgestoppt. ca. 11GB dauert ca. 40min.

hab gerad mal -v noch gesetzt um zu sehen was passiert, rsync kann auf dem Ziel die Dateirechte nicht setzten permission denied. Die Dateien werden aber geschieben.
Kann das zu der imensen Verzögerung schon beim einlesen beitragen?
Der Arbeitsspeicher hat aber auch eine imense Auslastung sobald der Job startet.
 
poste mal die Ausgabe von mount, fdisk -l, dmesg, ...
 
kommt heute späten Nachmittag, dann bin ich wieder an der Maschine.
 
hab gerad mal -v noch gesetzt um zu sehen was passiert, rsync kann auf dem Ziel die Dateirechte nicht setzten permission denied
.
Lass mich raten, das Ziel ist mit irgendeinem Dateisystem aus dem Hause MS formatiert?
 
könnte auch am Ziel-NAS liegen, je nach Mountoption...
 
könnte auch am Ziel-NAS liegen, je nach Mountoption...

Vielleicht unglücklich von mir formuliert, aber scheint so, als ob wir beide in die selbe Richtung denken.

Aber nur für solch eine Bemerkung lohnt sich kein eigenes Posting, deshalb -wenn auch nur "nebenbei" bemerkt- das hier:

Suse 10.1 in die 2 Arrays a 2GB gemountet sind.

http://de.opensuse.org/Produktlebensdauer

Wollen wir mal hoffen, dass diese Kiste nicht (mehr) von außen erreichbar ist, aber auch ansonsten wäre es so langsam aber sicher an der Zeit über ein Upgrade nachzudenken.
 
hab das Update schon in Planung, wollte nur erst mal ein ordentliches Backup haben.

Das Dateisystem auf dem NAS ist EXT3

Ausgaben kann ich nur erst heute Abend posten.
.
.
.
EDIT (autom. Beitragszusammenführung) :
.

Das ist jetzt die kleinere Maschine, einziger Unterschied, das nur 1 Array gemountet ist, und das ganze nicht ganz so gross ist. Problem ist aber das gleiche.

Die Ausgabe von MOUNT
/dev/md1 on / type ext3 (rw,acl,user_xattr)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
debugfs on /sys/kernel/debug type debugfs (rw)
udev on /dev type tmpfs (rw)
devpts on /dev/pts type devpts (rw,mode=0620,gid=5)
/dev/md2 on /boot type ext3 (rw,acl,user_xattr)
/dev/sda1 on /DATEN type ext3 (rw,acl,user_xattr)
securityfs on /sys/kernel/security type securityfs (rw)
//192.168.1.111/S_IBH on /mnt type cifs (rw,mand)

fdisk -l
Disk /dev/sda: 319.9 GB, 319997739008 bytes
255 heads, 63 sectors/track, 38904 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x000b95f3

Device Boot Start End Blocks Id System
/dev/sda1 1 38904 312496348+ 83 Linux

Disk /dev/sdb: 400.0 GB, 400088457216 bytes
255 heads, 63 sectors/track, 48641 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0xe9888568

Device Boot Start End Blocks Id System
/dev/sdb1 * 1 39 313236 fd Linux raid autodetect
/dev/sdb2 40 301 2104515 fd Linux raid autodetect
/dev/sdb3 302 48641 388291050 fd Linux raid autodetect

Disk /dev/sdc: 400.0 GB, 400088457216 bytes
255 heads, 63 sectors/track, 48641 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0xe9888569

Device Boot Start End Blocks Id System
/dev/sdc1 * 1 39 313236 fd Linux raid autodetect
/dev/sdc2 40 301 2104515 fd Linux raid autodetect
/dev/sdc3 302 48641 388291050 fd Linux raid autodetect

Disk /dev/md1: 397.6 GB, 397609893888 bytes
2 heads, 4 sectors/track, 97072728 cylinders
Units = cylinders of 8 * 512 = 4096 bytes
Disk identifier: 0x00000000

Disk /dev/md1 doesn't contain a valid partition table

Disk /dev/md2: 320 MB, 320667648 bytes
2 heads, 4 sectors/track, 78288 cylinders
Units = cylinders of 8 * 512 = 4096 bytes
Disk identifier: 0x00000000

Disk /dev/md2 doesn't contain a valid partition table

dmesg
SRC=192.168.1.1 DST=192.168.1.248 LEN=60 TOS=0x00 PREC=0x00 TTL=64 ID=54215 DF PROTO=TCP SPT=2701 DPT=14013 WINDOW=5840 RES=0x00 SYN URGP=0 OPT (020405B40402080A0E0FB3990000000001030301)
 
Zuletzt bearbeitet:
darf ich raten: das rsync soll auf das SMB-Share laufen? -> Was steckt da dahinter, wie ist die Netzwerkanbindung, was sagt z.B. ein netperf, ...?
 
hinter dem SMB verbirgt sich ein DS490 von Synology die Netzanbindung ist Gigabit.
Netzperformance hab ich noch nicht getestet. Hängt direkt am Gigabit Switch mit ca 20Meter Leitungslänge.

!! ich denke ich hab das Problem gefunden. RTFM

To perform Network Backup from rsync compatible server, please make sure the following items are set up correctly:
On the Disk Station, the Network Backup service has been enabled. The option can be found on the "Backup > Network Backup Service" page.
When performing backup, you are using "root" or "rsync" for the Disk Station user name and “NetBackup” for the backup module, for example: rsync -a --timeout=600 /volume1/public root@192.168.1.81::NetBackup/test/, where 192.168.1.81 stands for the IP address of the Disk Station.

Hier noch eine Frage: kann ich das Passwort irgendwie mitgeben wenn ich das als Cronjob laufen lassen will?

Danke erst mal für eure Zeit. Hab sicher in kürze noch ein paar andere Fragen. Aber für heute abend ist es das erst mal.

Gruss Mario
 
Zuletzt bearbeitet:
Hier noch eine Frage: kann ich das Passwort irgendwie mitgeben wenn ich das als Cronjob laufen lassen will?

Laut der man-page von rsync (die ich aber nur kurz nach "password" durchsucht habe) gibt es da wohl zwei Möglichkeiten, Passwort über eine Umgebungsvariable und ein Passwort-File.
 
habe es mit password-file gemacht.

rsync -a -v --delete --password-file=/root/bin/rsync /DATEN/X1/ rsync@192.168.1.111::NetBackup/X1/

Passwort file unter /root/bin/rsync

zuerst kam die Fehlermeldung: Password file must not be other-accessible

nach: run chmod 600 auf mein password aus der shell heraus war alles schön.

Danke noch mal für die Hilfe.

Gruss Mario
 

Ähnliche Themen

rsync: Quelle größer als Ziel => "Archiv" aufteilen/splitten

Zurück
Oben