tar network backup problem

Dieses Thema im Forum "Web- & File-Services" wurde erstellt von karloff, 29.08.2011.

  1. #1 karloff, 29.08.2011
    karloff

    karloff Routinier

    Dabei seit:
    09.07.2007
    Beiträge:
    317
    Zustimmungen:
    0
    Ort:
    ~/
    Hey ich hab da mal ne Frage und zwar wie ich folgendes effizienter lösen kann.
    Die Aufgabenstellung sieht folgend aus:
    Wir haben einen FTP Server und dort sehen die Leute nicht ein ihre Daten wieder zu entfernen und so müllte das Ding in der Vergangenheit des öfteren zu.
    Darauf hin habe ich ein script gebastelt das sich den atime stempel ansieht und Daten die längere Zeit nicht benötigt wurden in ein tar archiv packt, allerdings aus Platzgründen auf dem FTP, auf einer über SMB gemouteten Platte.

    Wie es alles klappt auch bis ca. 1,5 GB files ganz gut, danach wird das ganze aber grütze langsam.

    Anbei mal das script.

    Code:
    #!/bin/bash
    
    IFS=$"\n"
    
    gettime () { 
    sudo ntpdate de.pool.ntp.org
    }
    datum=`date +%d%m%y`
    
    
    
    # Crappy SMB nur ueber root mountbar via fstab
    mountshare () {
    sudo mount /media/netdisk/
    }
    umountshare () {
    sudo mount /media/netdisk/
    }
    
    
    del_old_archives() {
    find /media/netdisk/ -mtime +35 -type f -exec rm -f {} \;
    }
    
    gast_acc() {
    find /home/gast -atime +90 -type f -exec echo {} \; >>  /tmp/old_gast.txt
    #find /home/gast -type f -exec echo {} \; >>  /tmp/old_gast.txt # Test Variable ohne Einschraenkung
    FILE_SIZE=(`stat -c %s /tmp/old_gast.txt`)
    if [ ${FILE_SIZE} -gt 0 ]; then
    echo "Liste enthaelt Daten - starte Verarbeitung"
    #while read daten; do echo "'${daten}'" >> /tmp/old_gast_tmp.txt ;done < /tmp/old_gast.txt
    
    #cat /tmp/old_gast_tmp.txt
    #mkdir /home/tmp/gast 2&>/dev/null
    echo "Folgende Dateien haben seit 365 Tagen kein Zugriff verzeichnet:"
    while read inhalt; do echo ${inhalt} ; done < /tmp/old_gast.txt
    cp /tmp/old_gast.txt /tmp/old_gast.rtf
    
    sendEmail [...]
    
    sleep 2
    echo "Starte Datenarichiverung"
    
    tar -cvf /media/netdisk/backup_gast_${datum}.tar /tmp/old_gast.rft 
    while read content; do tar frvv /media/netdisk/backup_gast_${datum}.tar "${content}" ; done < /tmp/old_gast.txt && while read content; do rm -f "${content}" ; done < /tmp/old_gast.txt
    
    tar jcvf /media/netdisk/backup_gast_${datum}.tar.bz2 /media/netdisk/backup/backup_gast_${datum}.tar 
    
    #####info#####
    #tar muss append sonst macht er jedes file neu
    #############
    
    #while read inhalt; do rm -f ${inhalt} ; done < /tmp/old_gast.txt
    rm /tmp/old_gast.txt
    rm /tmp/old_gast.rtf
    else
    echo "Liste enthaelt keine Daten - nothing to do" 
    fi
    }
    
    find /home/gast/ -type d -empty -exec rmdir {} \; 2&>/dev/null
    find /home/gast/ -type d -empty -exec rmdir {} \; 2&>/dev/null
    find /home/gast/ -type d -empty -exec rmdir {} \; 2&>/dev/null
    find /home/gast/ -type d -empty -exec rmdir {} \; 2&>/dev/null
    find /home/gast/ -type d -empty -exec rmdir {} \; 2&>/dev/null
    find /home/gast/ -type d -empty -exec rmdir {} \; 2&>/dev/null
    
    mountshare
    gettime
    del_old_archives
    gast_acc
    umountshare
    
    Hat irgendwer nen Tipp wie man das effizienter lösen kann?
     
  2. Anzeige

    Schau dir mal diese Kategorie an. Dort findest du bestimmt etwas.
    Registrieren bzw. einloggen, um diese und auch andere Anzeigen zu deaktivieren
  3. #2 bitmuncher, 29.08.2011
    bitmuncher

    bitmuncher Der Stillgelegte

    Dabei seit:
    08.05.2007
    Beiträge:
    3.171
    Zustimmungen:
    0
    Ich würde auf tar verzichten und ein inkrementelles rsync nutzen. Sämtliche Packprogramme sind ab einer bestimmten Grösse des Archivs oder einer bestimmten Anzahl an Dateien in einem Archiv sehr ressourcenfressend. tar selbst spart ja eh nicht wirklich Speicherplatz im Gegensatz zu den reinen Dateien.

    Alternativ klare Richtlinien zum Umgang mit dem FTP-Server in der Firma etablieren. D.h. eine Ansage machen: Dateien, die mehr als XX Tage nicht angefasst wurden, werden entfernt. Ich weiss ja nicht inwiefern du Einfluss auf solche Vorgänge du in deiner Firma hast und wieviel du dort zu melden hast.
     
  4. #3 karloff, 30.08.2011
    karloff

    karloff Routinier

    Dabei seit:
    09.07.2007
    Beiträge:
    317
    Zustimmungen:
    0
    Ort:
    ~/
    Danke für den Tipp bin jetzt auf rsync umgestiegen, eigentlich ist die Regel klar nach 90 Tagen ohne access sind die Daten weg.
    Die 35 Tagen sind sozusagen nur kullanz von uns falls es dann doch mal ein wichtiges file treffen sollte.

    Einiger negativer Punkt das die Dateistruktur nicht erhalten bleibt.

    Aber gut gibt schlimmeres.

    Danke !
     
  5. #4 bitmuncher, 31.08.2011
    bitmuncher

    bitmuncher Der Stillgelegte

    Dabei seit:
    08.05.2007
    Beiträge:
    3.171
    Zustimmungen:
    0
    Du kannst ja durch das Skript die Verzeichnisstruktur entsprechend anlegen lassen, bevor du das rsync ausführst.
     
  6. Anzeige

    Vielleicht findest du HIER Antworten.
    Registrieren bzw. einloggen, um diese und auch andere Anzeigen zu deaktivieren
Thema:

tar network backup problem

Die Seite wird geladen...

tar network backup problem - Ähnliche Themen

  1. Entwicklung von »Arkeia Network Backup« eingestellt

    Entwicklung von »Arkeia Network Backup« eingestellt: Nachdem die Backup-Lösung »Arkeia Network Backup« bereits seit geraumer Zeit nicht mehr an Neukunden ausgeliefert wird, steht nun fest, dass die...
  2. Kostenlose Arkeia Network Backup Version 9 Lizenz

    Kostenlose Arkeia Network Backup Version 9 Lizenz: Wie das LinuxMagazin berichtet gibt es zZt. die Arkeia Network Backup Version 9 Lizenz für umme ... Zwar sind nur 2 Client Lizenzen enthalten,...
  3. NetworkManager 1.2 veröffentlicht

    NetworkManager 1.2 veröffentlicht: Der jetzt veröffentlichte NetworkManager 1.2 verbessert den Schutz der Privatsphäre und die Zusammenarbeit mit anderen Werkzeugen. Weiterlesen...
  4. Vorschau auf NetworkManager 1.2

    Vorschau auf NetworkManager 1.2: Was die kommende Version 1.2 von NetworkManager bringen wird, zeigt die jetzt veröffentlichte erste Betaversion. Sie erhöht unter anderem den...
  5. Senior System & Network Admin in Berlin

    Senior System & Network Admin in Berlin: Hallo ein Kunde sucht einen Senior System & Network Admin in Berlin Your main responsibilities will be deploying, monitoring and maintaining...