'rsync' lässt Daten wachsen?

Dieses Thema im Forum "Anwendungen" wurde erstellt von dizzgo, 13.02.2007.

  1. dizzgo

    dizzgo Lernbereite Riesenratte

    Dabei seit:
    04.08.2005
    Beiträge:
    573
    Zustimmungen:
    0
    Ort:
    /ch/sg///
    Vorab:
    OS: Solaris9 (SPARC)
    'rsync': 'rsync version 2.5.7 protocol version 26'

    Ich sichere von Zeit zu Zeit ganze Verzeichnisbäume lokal per 'rsync'.
    Ich rufe 'rsync' dazu wie folg auf (Bsp.):
    Code:
    rsync -vaux --stats --delete --exclude-from=/path/excludes /usr/ /usr_bak/
    
    Das funktioniert soweit auch wunderbar.
    Doch vor kurzer Zeit habe ich festgestellt, dass die mit 'rsync' kopierten
    Verzeichnisse bis zu 100MB grösser sind als die Quellverzeichnisse.
    Beispiel, vollständig kopiert nach 'newfs -m 2' auf /usr_bup (hier 20MB unterschied):
    Code:
    Filesystem             size   used  avail capacity  Mounted on
    /dev/dsk/c0t10d0s4     2,2G   2,1G    84M    97%    /usr_bup
    /dev/dsk/c0t0d0s4      2,2G   2,0G   103M    96%    /usr
    
    Hat jemand eine Idee wo dieser 'verlorene' Platz hingekommen ist?

    Dank und Grüsse
    d22
     
  2. Anzeige

    Schau dir mal diese Kategorie an. Dort findest du bestimmt etwas.
    Registrieren bzw. einloggen, um diese und auch andere Anzeigen zu deaktivieren
  3. Xanti

    Xanti Mouse Organist

    Dabei seit:
    05.09.2004
    Beiträge:
    1.855
    Zustimmungen:
    0
    Mach mal ein "diff -r". Hast Du bei beiden Partitionen dasselbe Filesystem/Blocksize? rsync sortiert die Files/Verzeichnisse, bevor sie kopiert werden (am Anfang Verzeichnisse, dann die Files anhand ihrer lexikographischen Anordnung, nicht nach ihrer Inodes-Reihenfolge). Vielleicht liegts daran.

    Gruß, Daniel
     
  4. dizzgo

    dizzgo Lernbereite Riesenratte

    Dabei seit:
    04.08.2005
    Beiträge:
    573
    Zustimmungen:
    0
    Ort:
    /ch/sg///
    Hallo Xanti
    Danke für deine Hinweise. Blocksize und Filesystem sind gleich:
    Code:
    # fstyp -v /dev/rdsk/c0t10d0s4 | egrep '^bsize'
    bsize   8192    shift   13      mask    0xffffe000
    # fstyp -v /dev/rdsk/c0t0d0s4 | egrep '^bsize'
    bsize   8192    shift   13      mask    0xffffe000
    
    Code:
    # df -n /usr*
    /usr               : ufs     
    /usr_bup           : ufs     
    
    'diff -r' gibt bei einigen Binärdateien unterschiede an, in der Grösse unterscheiden diese sich jedoch nicht (Bsp.):
    Code:
    # diff /usr/iplanet/servers/slapd-arc/db/__db.005 /usr_bup/iplanet/servers/slapd-arc/db/__db.005
    Binary files /usr/iplanet/servers/slapd-arc/db/__db.005 and /usr_bup/iplanet/servers/slapd-arc/db/__db.005 differ
    # ls -l /usr/iplanet/servers/slapd-arc/db/__db.005 
    -rw-------   1 root     other      40960 Feb 13 13:26 /usr/iplanet/servers/slapd-arc/db/__db.005
    # ls -l /usr_bup/iplanet/servers/slapd-arc/db/__db.005
    -rw-------   1 root     other      40960 Feb 13 10:39 /usr_bup/iplanet/servers/slapd-arc/db/__db.005
    
    Hast du oder sonst jemand noch eine Idee? Oder kann jemand dieses 'Phänomen' bestätigen?

    Dank und Gruss
    d22
     
  5. Xanti

    Xanti Mouse Organist

    Dabei seit:
    05.09.2004
    Beiträge:
    1.855
    Zustimmungen:
    0
    Ist denn wirklich das Verzeichnis größer? Überprüf dies mal mit "du -s". Vielleicht sind es auch die Journals, die bei der einen Partition mehr Platz einnehmen (ist ufs ein journ. fs?).
     
  6. dizzgo

    dizzgo Lernbereite Riesenratte

    Dabei seit:
    04.08.2005
    Beiträge:
    573
    Zustimmungen:
    0
    Ort:
    /ch/sg///
    Ach ja, das mit dem 'du -s' habe ich vergessen zu erwähnen, das ist sehr sonderbar:
    Code:
    # du -s /usr
    4281238 /usr
    # du -s /usr_bup
    4304502 /usr_bup
    
    Bsp:
    in /usr            |  in /usr_bup
    #du -sh *          |  #du -sh *
     (...)             |   (...)
     610K   ucb        |   610K   ucb
     158K   ucbinclude |   158K   ucbinclude
     1,4M   ucblib     |   1,4M   ucblib
     4,9M   xpg4       |   3,9M   xpg4
    #
    # diff -r /usr/xpg4/ /usr_bup/xpg4/
    Common subdirectories: /usr/xpg4//bin and /usr_bup/xpg4//bin
    Common subdirectories: /usr/xpg4//include and /usr_bup/xpg4//include
    Common subdirectories: /usr/xpg4//lib and /usr_bup/xpg4//lib
    Common subdirectories: /usr/xpg4//lib/64 and /usr_bup/xpg4//lib/64
    Common subdirectories: /usr/xpg4//lib/abi and /usr_bup/xpg4//lib/abi
    Common subdirectories: /usr/xpg4//lib/sparcv9 and /usr_bup/xpg4//lib/sparcv9
    Common subdirectories: /usr/xpg4//lib/abi/sparcv9 and /usr_bup/xpg4//lib/abi/sparcv9
    #
    
    nach 'du -s' gibt es unterschiede, aber 'diff' findet nix.
    Und ja, 'ufs' ist ein 'journalin FS', aber kann das bis zu 100MB ausmachen?

    Gruss
    d22
     
  7. Xanti

    Xanti Mouse Organist

    Dabei seit:
    05.09.2004
    Beiträge:
    1.855
    Zustimmungen:
    0
    Ich kenn ufs nicht, aber man kann die Journalgröße beim Formatieren angeben. Bei ext3 ist die Größe zwischen 1024*Blocksize und 102,400*Blocksize.
     
  8. dizzgo

    dizzgo Lernbereite Riesenratte

    Dabei seit:
    04.08.2005
    Beiträge:
    573
    Zustimmungen:
    0
    Ort:
    /ch/sg///
    Ich habe bemerkt, dass ich 'logging? bzw. 'journaling' auf diesem Server gar noch nicht aktiviert habe. (Danke für den Hinweis ;))
    Somit fällt das Journal als 'Platzfresser' weg.
    Nebenbei:
    Somit stehe ich also wieder da wo ich am Anfang gestanden bin... Ich weiss nicht wo dieser Platz hingeht.

    Hat noch jemand Ideen oder Erfahrungen?

    Dank und Gruss
    d22
     
  9. Xanti

    Xanti Mouse Organist

    Dabei seit:
    05.09.2004
    Beiträge:
    1.855
    Zustimmungen:
    0
    Yep, dann bin ich auch mit meinem Latein am Ende. Meine Vermutung ist immer noch, dass es am Filesystem liegt und nicht an rsync. Bin aber auch an der Klärung dieses Problems interessiert, die hoffentlich jemand liefern kann.
     
  10. dizzgo

    dizzgo Lernbereite Riesenratte

    Dabei seit:
    04.08.2005
    Beiträge:
    573
    Zustimmungen:
    0
    Ort:
    /ch/sg///
    Ich habe das ganze jetzt noch auf meinem Linux (Ubunut Edgy) Rechner nachgespielt:
    Filesystem: ext3
    rsync: 'version 2.6.8 protocol version 29'

    Code:
    rsync -vaux --delete --stats /usr/ /home/d22/usr_bup/
    
    Und das Ergebnis?
    Code:
    d22@d22-serv:~$ du -sm /usr
    2832    /usr
    d22@d22-serv:~$ du -sm /home/d22/usr_bup/
    2853    /home/d22/usr_bup/
    
    Argh, also auch hier, ein Unterschied von ca. 21MB.
    Code:
    du -sh /usr/*              | du -sh /home/d22/usr_bup/*
    ---------------------------+--------------------------------------
    116M    /usr/bin           | 117M    /home/d22/usr_bup/bin
    1.5M    /usr/games         | 1.5M    /home/d22/usr_bup/games
    2.5M    /usr/include       | 2.5M    /home/d22/usr_bup/include
    1.4G    /usr/lib           | 1.4G    /home/d22/usr_bup/lib
    112K    /usr/local         | 112K    /home/d22/usr_bup/local
    13M     /usr/sbin          | 13M     /home/d22/usr_bup/sbin
    1.1G    /usr/share         | 1.2G    /home/d22/usr_bup/share
    177M    /usr/src           | 177M    /home/d22/usr_bup/src
    28K     /usr/X11R6         | 28K     /home/d22/usr_bup/X11R6
    
    Hat jemand eine idee?

    Dank und Gruss
    d22
     
  11. Anzeige

    Vielleicht findest du HIER Antworten.
    Registrieren bzw. einloggen, um diese und auch andere Anzeigen zu deaktivieren
  12. dizzgo

    dizzgo Lernbereite Riesenratte

    Dabei seit:
    04.08.2005
    Beiträge:
    573
    Zustimmungen:
    0
    Ort:
    /ch/sg///
    Ich erlaube mir diesen Beitrag einmal zu pushen, in der Hoffnung, dass jemand eine Idee zu diesem Phänomen hat...
    Gruss
    d22
     
  13. #11 Bâshgob, 25.07.2007
    Bâshgob

    Bâshgob freies Radikal

    Dabei seit:
    29.07.2004
    Beiträge:
    2.334
    Zustimmungen:
    0
    Ort:
    Hannover
Thema:

'rsync' lässt Daten wachsen?

Die Seite wird geladen...

'rsync' lässt Daten wachsen? - Ähnliche Themen

  1. [Erledigt] Shell-Skript lässt sich nicht mit Cron ausführen

    [Erledigt] Shell-Skript lässt sich nicht mit Cron ausführen: Hallo, ich hoffe ihr könnt mir helfen. Ich entwerfe im Moment ein Skript, welches den Callmonitor (Telnet) auf meiner FritzBox abfragt und wenn...
  2. Owncloud-Gründer Karlitschek verlässt sein Unternehmen

    Owncloud-Gründer Karlitschek verlässt sein Unternehmen: Frank Karlitschek, Entwickler von Owncloud und Gründer der Firma Owncloud Inc. verlässt mit sofortiger Wirkung sein eigenes Unternehmen...
  3. VMware entlässt Entwickler von »Workstation« und »Fusion«

    VMware entlässt Entwickler von »Workstation« und »Fusion«: Früher waren die Desktop-Hypervisoren Workstation und Fusion Brot und Butter für VMware. Jetzt wurden die Entwicklungsabteilungen beider Produkte...
  4. Parrot lässt Bebop 2 abheben

    Parrot lässt Bebop 2 abheben: Der französische Zivildrohnen- und Automotive-Hersteller Parrot bringt eine neue Bebop auf den Markt. Die kleine leichte Bebop 2 hat ein...
  5. Andreas Gal verlässt Mozilla

    Andreas Gal verlässt Mozilla: Andreas Gal, technischer Leiter bei Mozilla, verlässt die Mozilla Foundation, um ein Startup im Umfeld des Internet of Things (IoT) zu gründen. Er...