backup tausender kleiner jpg mit rsync

Dieses Thema im Forum "Shell-Skripte" wurde erstellt von nutzer, 11.11.2009.

  1. nutzer

    nutzer Jungspund

    Dabei seit:
    09.05.2007
    Beiträge:
    12
    Zustimmungen:
    0
    Hallo zusammen,

    hab seit langem mal wieder was wo ich noch keine so richtige Lösung habe.

    Problemstellung:

    Suse 10.1 in die 2 Arrays a 2GB gemountet sind.
    Diese enthalten jeweils große Mengen von Ordnern mit jeweils tausenden kleiner jpg`s so um die 23kb. Diese soll alles als Backup auf ein NAS-Device
    das ich ebenfalls gemountet habe.
    habe es ganz banal mit rsync -a --delete /Quelle /Ziel getestet. Doch das einlesen der Daten von der Quelle braucht Stunden und bringt den Rechner irgendwann zum erliegen.
    hab es auch schon mit mirrordir probiert, nicht wirklich besser.
    gibts eine Möglichkeit das nur die Verzeichnisse angesehen werden und nur wenn sich der Zeitstempel des Verzeichnisses geändert hat der Inhalt verglichen und dann abgeglichen wird? Habe im Help vom rsync nichts richtiges gefunden.
    Oder hat jemand eine andere Lösung??

    Gruss Mario

    :think:
     
  2. Anzeige

    Schau dir mal diese Kategorie an. Dort findest du bestimmt etwas.
    Registrieren bzw. einloggen, um diese und auch andere Anzeigen zu deaktivieren
  3. marce

    marce Kaiser

    Dabei seit:
    01.08.2007
    Beiträge:
    1.056
    Zustimmungen:
    8
    hm, wir haben hier ein VZ mit ca. 65GB, in dem >600000 Dateien liegen - ein Sync mit rsync auf einen Backupserver dauert nur wenige Minuten (bei <100 geänderten Dateien)...

    Wie ist Quelle und Ziel denn bei Dir eingebunden?
     
  4. nutzer

    nutzer Jungspund

    Dabei seit:
    09.05.2007
    Beiträge:
    12
    Zustimmungen:
    0
    Die Quelle habe ich über die FSTAB nach DATEN/X1 gemountet
    das Ziel habe ich in den Ordner mnt als Ordner sicher_x1 per hand über die Shell gemountet

    so das der Job

    rsync -a --delete /DATEN/X1/ /mnt/sicher_x1/ heißt.

    hab mal nur ein Unterverzeichnis ausgewählt und mitgestoppt. ca. 11GB dauert ca. 40min.

    hab gerad mal -v noch gesetzt um zu sehen was passiert, rsync kann auf dem Ziel die Dateirechte nicht setzten permission denied. Die Dateien werden aber geschieben.
    Kann das zu der imensen Verzögerung schon beim einlesen beitragen?
    Der Arbeitsspeicher hat aber auch eine imense Auslastung sobald der Job startet.
     
  5. marce

    marce Kaiser

    Dabei seit:
    01.08.2007
    Beiträge:
    1.056
    Zustimmungen:
    8
    poste mal die Ausgabe von mount, fdisk -l, dmesg, ...
     
  6. nutzer

    nutzer Jungspund

    Dabei seit:
    09.05.2007
    Beiträge:
    12
    Zustimmungen:
    0
    kommt heute späten Nachmittag, dann bin ich wieder an der Maschine.
     
  7. Gast1

    Gast1 Guest

    .
    Lass mich raten, das Ziel ist mit irgendeinem Dateisystem aus dem Hause MS formatiert?
     
  8. marce

    marce Kaiser

    Dabei seit:
    01.08.2007
    Beiträge:
    1.056
    Zustimmungen:
    8
    könnte auch am Ziel-NAS liegen, je nach Mountoption...
     
  9. Gast1

    Gast1 Guest

    Vielleicht unglücklich von mir formuliert, aber scheint so, als ob wir beide in die selbe Richtung denken.

    Aber nur für solch eine Bemerkung lohnt sich kein eigenes Posting, deshalb -wenn auch nur "nebenbei" bemerkt- das hier:

    http://de.opensuse.org/Produktlebensdauer

    Wollen wir mal hoffen, dass diese Kiste nicht (mehr) von außen erreichbar ist, aber auch ansonsten wäre es so langsam aber sicher an der Zeit über ein Upgrade nachzudenken.
     
  10. #9 nutzer, 12.11.2009
    Zuletzt bearbeitet: 12.11.2009
    nutzer

    nutzer Jungspund

    Dabei seit:
    09.05.2007
    Beiträge:
    12
    Zustimmungen:
    0
    hab das Update schon in Planung, wollte nur erst mal ein ordentliches Backup haben.

    Das Dateisystem auf dem NAS ist EXT3

    Ausgaben kann ich nur erst heute Abend posten.
    .
    .
    .
    EDIT (autom. Beitragszusammenführung) :
    .

    Das ist jetzt die kleinere Maschine, einziger Unterschied, das nur 1 Array gemountet ist, und das ganze nicht ganz so gross ist. Problem ist aber das gleiche.

    Die Ausgabe von MOUNT
    /dev/md1 on / type ext3 (rw,acl,user_xattr)
    proc on /proc type proc (rw)
    sysfs on /sys type sysfs (rw)
    debugfs on /sys/kernel/debug type debugfs (rw)
    udev on /dev type tmpfs (rw)
    devpts on /dev/pts type devpts (rw,mode=0620,gid=5)
    /dev/md2 on /boot type ext3 (rw,acl,user_xattr)
    /dev/sda1 on /DATEN type ext3 (rw,acl,user_xattr)
    securityfs on /sys/kernel/security type securityfs (rw)
    //192.168.1.111/S_IBH on /mnt type cifs (rw,mand)

    fdisk -l
    Disk /dev/sda: 319.9 GB, 319997739008 bytes
    255 heads, 63 sectors/track, 38904 cylinders
    Units = cylinders of 16065 * 512 = 8225280 bytes
    Disk identifier: 0x000b95f3

    Device Boot Start End Blocks Id System
    /dev/sda1 1 38904 312496348+ 83 Linux

    Disk /dev/sdb: 400.0 GB, 400088457216 bytes
    255 heads, 63 sectors/track, 48641 cylinders
    Units = cylinders of 16065 * 512 = 8225280 bytes
    Disk identifier: 0xe9888568

    Device Boot Start End Blocks Id System
    /dev/sdb1 * 1 39 313236 fd Linux raid autodetect
    /dev/sdb2 40 301 2104515 fd Linux raid autodetect
    /dev/sdb3 302 48641 388291050 fd Linux raid autodetect

    Disk /dev/sdc: 400.0 GB, 400088457216 bytes
    255 heads, 63 sectors/track, 48641 cylinders
    Units = cylinders of 16065 * 512 = 8225280 bytes
    Disk identifier: 0xe9888569

    Device Boot Start End Blocks Id System
    /dev/sdc1 * 1 39 313236 fd Linux raid autodetect
    /dev/sdc2 40 301 2104515 fd Linux raid autodetect
    /dev/sdc3 302 48641 388291050 fd Linux raid autodetect

    Disk /dev/md1: 397.6 GB, 397609893888 bytes
    2 heads, 4 sectors/track, 97072728 cylinders
    Units = cylinders of 8 * 512 = 4096 bytes
    Disk identifier: 0x00000000

    Disk /dev/md1 doesn't contain a valid partition table

    Disk /dev/md2: 320 MB, 320667648 bytes
    2 heads, 4 sectors/track, 78288 cylinders
    Units = cylinders of 8 * 512 = 4096 bytes
    Disk identifier: 0x00000000

    Disk /dev/md2 doesn't contain a valid partition table

    dmesg
    SRC=192.168.1.1 DST=192.168.1.248 LEN=60 TOS=0x00 PREC=0x00 TTL=64 ID=54215 DF PROTO=TCP SPT=2701 DPT=14013 WINDOW=5840 RES=0x00 SYN URGP=0 OPT (020405B40402080A0E0FB3990000000001030301)
     
  11. marce

    marce Kaiser

    Dabei seit:
    01.08.2007
    Beiträge:
    1.056
    Zustimmungen:
    8
    darf ich raten: das rsync soll auf das SMB-Share laufen? -> Was steckt da dahinter, wie ist die Netzwerkanbindung, was sagt z.B. ein netperf, ...?
     
  12. #11 nutzer, 12.11.2009
    Zuletzt bearbeitet: 12.11.2009
    nutzer

    nutzer Jungspund

    Dabei seit:
    09.05.2007
    Beiträge:
    12
    Zustimmungen:
    0
    hinter dem SMB verbirgt sich ein DS490 von Synology die Netzanbindung ist Gigabit.
    Netzperformance hab ich noch nicht getestet. Hängt direkt am Gigabit Switch mit ca 20Meter Leitungslänge.

    !! ich denke ich hab das Problem gefunden. RTFM

    To perform Network Backup from rsync compatible server, please make sure the following items are set up correctly:
    On the Disk Station, the Network Backup service has been enabled. The option can be found on the "Backup > Network Backup Service" page.
    When performing backup, you are using "root" or "rsync" for the Disk Station user name and “NetBackup” for the backup module, for example: rsync -a --timeout=600 /volume1/public root@192.168.1.81::NetBackup/test/, where 192.168.1.81 stands for the IP address of the Disk Station.

    Hier noch eine Frage: kann ich das Passwort irgendwie mitgeben wenn ich das als Cronjob laufen lassen will?

    Danke erst mal für eure Zeit. Hab sicher in kürze noch ein paar andere Fragen. Aber für heute abend ist es das erst mal.

    Gruss Mario
     
  13. Gast1

    Gast1 Guest

    Laut der man-page von rsync (die ich aber nur kurz nach "password" durchsucht habe) gibt es da wohl zwei Möglichkeiten, Passwort über eine Umgebungsvariable und ein Passwort-File.
     
  14. Anzeige

    Vielleicht findest du HIER Antworten.
    Registrieren bzw. einloggen, um diese und auch andere Anzeigen zu deaktivieren
  15. keks

    keks nicht 1337 genug

    Dabei seit:
    17.01.2007
    Beiträge:
    401
    Zustimmungen:
    0
    Ort:
    Hessen
    rsync lässt auch kopieren über ssh zu.
     
  16. nutzer

    nutzer Jungspund

    Dabei seit:
    09.05.2007
    Beiträge:
    12
    Zustimmungen:
    0
    habe es mit password-file gemacht.

    rsync -a -v --delete --password-file=/root/bin/rsync /DATEN/X1/ rsync@192.168.1.111::NetBackup/X1/

    Passwort file unter /root/bin/rsync

    zuerst kam die Fehlermeldung: Password file must not be other-accessible

    nach: run chmod 600 auf mein password aus der shell heraus war alles schön.

    Danke noch mal für die Hilfe.

    Gruss Mario
     
Thema:

backup tausender kleiner jpg mit rsync

Die Seite wird geladen...

backup tausender kleiner jpg mit rsync - Ähnliche Themen

  1. Bräuchte Hilfe bei Backupscript mittels Bash und cronjob

    Bräuchte Hilfe bei Backupscript mittels Bash und cronjob: Es soll für bestimmte Ordner Archivierung aller Dateien(Logfiles), die älter als 30 Tage sind machen. Am besten einmal täglich nachts irgendwann....
  2. Entwicklung von »Arkeia Network Backup« eingestellt

    Entwicklung von »Arkeia Network Backup« eingestellt: Nachdem die Backup-Lösung »Arkeia Network Backup« bereits seit geraumer Zeit nicht mehr an Neukunden ausgeliefert wird, steht nun fest, dass die...
  3. Backup Alternative zu CloneZilla

    Backup Alternative zu CloneZilla: Moin, bin im Moment auf der Suche nach ner verlässlichen alternative für vollständige Plattenbackups. Leider meldet clonezilla immer wieder...
  4. Projekt Backup Server

    Projekt Backup Server: Ich bekomme Gehäuse Supermicro CSE-846A-R900B Motherboard Supermicro X10SLM-F Intel Xeon E3 1230V3 2x8GB Kings. DDR3 1600MHz...
  5. Kurztipp: CloudSync - Backup privater Daten in der Cloud

    Kurztipp: CloudSync - Backup privater Daten in der Cloud: CloudSync ist ein Programm speziell zum sicheren Backup privater Daten in der Cloud. Hier beschreibt der Autor die Motivation und den aktuellen...