Wie bewegt Ihr zügig große Datenmengen von A nach B?

Dieses Thema im Forum "Installation & Basiskonfiguration" wurde erstellt von skyeye, 19.01.2014.

  1. #1 skyeye, 19.01.2014
    Zuletzt bearbeitet: 19.01.2014
    skyeye

    skyeye Mitglied

    Dabei seit:
    23.04.2008
    Beiträge:
    29
    Zustimmungen:
    0
    Hallo, wie unter Linux am schnellsten große Datenmengen richtig kopieren? :Frage:

    Auch die Gefahr zu hegen, auf eine andere Stelle im Forum verwiesen zu werden,
    so bitte ich doch auch mit Augenmerk auf die aktuellen technischen up-/down-grade für uns Enduser und des jeweiligen OS in Betracht zu ziehen.

    Als ich damals von Linux bzw. Unix hörte, schwärmten viele Anwender von dem schnellen kopieren in der Shell.
    Nun, zu der Zeit hatte ich noch eine Datasette Zuhause
    und war weit entfernt vom Glauben jemals mit Terrabyte privat zu hantieren.

    Heute begegnete mir folgendes Phänomen:
    Beim Kopieren von DVD-großen Verzeichnissen von A nach B
    (usb2 externe NTFS HD nach interne EXT4 HD
    unter Debian squeeze, wheezy, sämtliche Linuxmint)
    mit drag&drop unter X bei einer Menge von ca. 300 Gigabyte ca. 6 Stunden – 18 Stunden.
    In der Shell mit copy ca. 3 Tage.
    Manuell einzelne Dateien unter X ca. 3 Stunden.

    Ich behaupte Das Problem auch unter EXT4 zu EXT4 zu haben.
    Das es Probleme mit zugriffen auf NTFS unter Linux gibt, ist mir bekannt,
    jedoch dachte ich, dass mit ntfs-3g, libntfs-3g75 behoben sei.

    Nun zu den Fragen:

    1.) Was mache ich falsch wie kopiert Ihr eure Bilder-DVDś oder was auch immer im hohen Tempo ?
    Wie bewege ich oder kopiere ich Große Datenmengen richtig auf die jeweiligen Partitionen
    mit einer optimalen Geschwindigkeit?

    2.)
    Und wenn ich schon mal was hier reinschreibe, füge ich noch ein Problem hinzu.
    Bei einer Datensicherung eines Freundes von NTFS zu NTFS Ausgeführt im X drag&drop unter Linux ntfs-g3 lässt sich nun eine möglicherweise fehlerhafte Datei auf der zu kopierten Platte nicht mehr löschen. (Versuch mit „# rm -f -r Datei\ fehlerhaft.mp3“ schlug fehl)
    „ Entfernen von „Datei\ fehlerhaft.mp3“ nicht möglich: Eingabe-/Ausgabefehler „

    Danke im Voraus für jede Hilfe.
     

    Anhänge:

  2. Anzeige

    Schau dir mal diese Kategorie an. Dort findest du bestimmt etwas.
    Registrieren bzw. einloggen, um diese und auch andere Anzeigen zu deaktivieren
  3. @->-

    @->- Guest

    Ich vermeide es Daten zu kopieren zwischen Geräten da es wie du schon gemerkt hast viel Zeit benötigt. Ich habe hier ein Synology NAS mit 2 Festplatten, eine hat die Daten mit denen ich arbeite und die andere ist eine Spieglung für den Fall das mal die erste Platte ausfällt. Gleichzeitig sichert das NAS alles auf meiner HiDrive. Das bedeutet für mich im Alltag das mein NAS in das Dateisystem eingebunden ist und ich so auf die Daten zugreife. Mit einem Gbit Lan geht das auch wunderbar und ist auch nicht langsamer als eine USB Platte. Nur habe ich eben so alle Daten auf allen Rechnern immer zur verfügung, sofern es in meinem Netzwerl ist.
     
  4. #3 tgruene, 19.01.2014
    tgruene

    tgruene Routinier

    Dabei seit:
    02.02.2012
    Beiträge:
    418
    Zustimmungen:
    0
    Von ext3 nach ext3 dauerte es bei mir eben 5,5min, um 20GB mit rsync zu kopieren. Normalerweise ist die Hardware das Nadeloehr. Oder der Treiber von NTFS. Da waere es wohl sinnvoller, auf Windows zurueckzugreifen, wenn Du NTFS nicht vermeiden kannst.
     
  5. @->-

    @->- Guest

    NTFS ist ja eh so ein Sorgenkind in einigen Anwendungen. Bei mobilen Datenträgern würde ich FAT32 nutzen weil es so gut wie überall nutzbar ist und im Normalfall gut läuft.
     
  6. nighT

    nighT Guest

    Solange keine Dateien über 4GB gespeichert werden sollen oder aber man mit der Splittung in Archiv-Teile leben kann...
     
  7. #6 Goodspeed, 20.01.2014
    Goodspeed

    Goodspeed Foren Gott
    Moderator

    Dabei seit:
    21.04.2004
    Beiträge:
    4.165
    Zustimmungen:
    1
    Ort:
    Dresden
    ... oder nimmt exFAT. Dann geht auch "groß" ...
     
  8. #7 T-Virus, 20.01.2014
    Zuletzt bearbeitet: 20.01.2014
    T-Virus

    T-Virus Free Software Fan :p

    Dabei seit:
    06.01.2009
    Beiträge:
    107
    Zustimmungen:
    0
    @ skyeye
    Dein Problem ist deine lahme Schnittstelle(usb 2).
    Es gibt bereits externe Gehäuse die USB 3 anbieten.
    Wenn du es kannst, solltest du deine Daten auch über USB 3 kopieren.

    Es spielt hier technisch keine große Rolle ob due EXT(4) oder NTFS verwendest.
    Diese werde unter Linux schnell genug arbeiten.
    Nur USB 2 bremst hier eben extrem, da hier das Limit bei ein paar MB pro Sekunde liegt.
    Wenn ich mich recht entsinne sind es im Idealfall 6 MB/s aber meist weniger so um die 2-3 MB/s.
    Bei USB 3 kann man rund 5 GBit/s also um die 600 MB/s kopieren.

    Je nachdem wie dann die Festplatte noch hinterher kommt, sind es meistens um die 80 MB/s bis im Idealfall 100 MB/s.
    Ich verwende hier ein externe Gehäuse von Fantec mit 8 Slots.
    Dieses kann man mit USB 3 oder eSata anbinden.
    Ist im Privatbereich also schon Datenluxus.
    Gibt auch kleinere Varianten mit 2 oder 4 Slots.

    Ich kopiere hier täglich durch syncs mit externen Spiegelservern rund 30 GB.
    Diese Daten werden dann per rsync nochmal auf Backup Platten innerhalb des gleichen Gehäuses kopiert.
    Dank USB 3 geht das auch recht schnell.
    Lediglich die Stromsparplatten, 6x 2 TB und 2x 1TB, sind hier langsam.

    Nachtrag:
    Hab mal dein Protkoll geloggt.
    Dabei sind mir einige Meldungen ins Auge gefallen, die nicht gesund aussehen.

    Deine Platte scheint einige Fehler zu verursachen.
    Hier stehen im Log Buffer I/O Fehler sowie Block Fehler.
    Letztes sieht nach deinem langsamen sterben der Platte aus, sollte also mal geprüft werden.

    Ansonsten sieht es auch so aus als ob deine Platte häufig resettet wird und auch ggf. nicht mit Top Speed sondern nur Low Speed läuft.
    Dies bedeutet im schlimmsten Fall, dass deine Daten dann nicht mit USB 2 sondern mit USB 1.1 Gesch. kopiert werden, was die langen Zeiten erklären würde.

    Da ich aber nicht sicher bin, sollte jemand die Log Datei mal ziehen und die Angaben verifizieren.

    T-Virus
     
  9. SiS

    SiS Routinier

    Dabei seit:
    12.02.2007
    Beiträge:
    318
    Zustimmungen:
    0
    Wie groß sind denn die einzelnen Dateien im jeweiligen Verzeichnis? Umso kleiner die Dateien sind, desto mehr verzögert sich die Übertragung.

    Und teste mal bitte wie schnell die Platten mit denen Du arbeitest lesen können mit:
    Code:
    hdparm -t /dev/sdX
    Eigentlich erreicht USB2 auch in der Praxis seine ca. 30MB/s. USB2 sollte also prinzipiell nicht das Problem sein. (Zu mindestens bei Festplatten, billige USB-Sticks haben oftmals die von Dir angesprochene Geschwindigkeit)


    Halte ich auch für nicht gerade unwahrscheinlich und würde auf ein defektes Kabel oder USB-Controller der Platte, etc. tippen.
    @Skyeye: Hast Du das ganze mal mit anderen Festplatten/Kabeln probiert?
     
  10. Anzeige

    Vielleicht findest du HIER Antworten.
    Registrieren bzw. einloggen, um diese und auch andere Anzeigen zu deaktivieren
  11. #9 root1992, 21.01.2014
    root1992

    root1992 von IT-Lehrern besessen

    Dabei seit:
    02.01.2006
    Beiträge:
    1.138
    Zustimmungen:
    0
    Ort:
    Märchenwald
    Ich habe das Protokoll nur grob überfolgen. Wie SiS schrieb, resettet dein USB-Host das Gerät ständig, das deutet erstmals auf den USB-Controller der Platte hin. Kann allerdings auch an einer schlechten Verbindung (Kabel) liegen. Was auch passieren kann bei den kleinen 2,5'' Platten, die kein externes Netzteil brauchen, dass sie Highpower anfordern, es nicht bekommen und dann gar nicht oder verlangsamt laufen.

    Zusätzlich bekommst du I/O errors. Das kann auf einen Hardwaredefekt der Platte oder teils auf Softwareschäden (Dateisystem, ...) hindeuten. Meiner Erfahrung nach solltest du alle Daten so schnell wie möglich sichern. Gerade in Verbindung mit der geringen Übertragungsrate deutet es auf HW-Probleme hin. Das hatte ich bei ein paar Festplatten, nach paar Wochen waren sie kaputt.

    Zum NTFS da gibt es sowas wie fsck unter Windows. Der sollte die beschädigte Datei erkennen und löschen. Hatte das gleiche Problem auch einmal.

    Zum ersteren Problem. Wenn das Gehäuse verschraubt ist, versuche einen anderen Controller zu nutzen (direkt am Mainboard/anderes externes Gehäuse, ...) sollten die Probleme (gerade der IO-Fehler) noch da sein, nutze zusätzlich noch fsck und bete, dass du die Daten noch alle bekommst. Das Fehlerbild stimmt 1:1 mit einer externen Seagate über ein, die sich beim Datensichern (nachdem dmesg IO/errors brachte) zerstörte.
     
  12. #10 skyeye, 23.01.2014
    Zuletzt bearbeitet: 23.01.2014
    skyeye

    skyeye Mitglied

    Dabei seit:
    23.04.2008
    Beiträge:
    29
    Zustimmungen:
    0
    Genial eure schnelle Hilfestellung.

    Dateien wie Fotos und etliche andere Daten konnten noch gut aber langsam gerettet werden.
    Sehr gut zu wissen das es mit fsck unter Windows geht sollten es mal wichtigere Daten sein sollten.

    Nach dem ich mir die Synology-NAS-Geräte angeschaut habe,
    war mir klar, eine Spieglung meiner Daten wird erst mal nicht nötig sein.
    Ein schon vorhandener RaspberryPI dient mir nun mit einem 100Netzwerk als Nas-Server.
    Experimentell angeschlossen am Pi, ist die besagten alten Platte aber mit neuen Kabel und neu Formatiert mit ext3 nun jedoch 1,8tb.
    Ein Gehäuse wechsle steht noch aus es scheint wohl doch was mit dem Controller oder (BUS) zu sein wie oben geschrieben.
    Denn noch, von ext4 zu ext3 hatte ich nun endlich auch 20 Gb in 5 min erreicht.
    Das exFAT werde ich nicht aus den Augen lassen für einen eventuellen späteren Zusammenbau.

    Eine Neue Externe mit usb3 bekleidet auch schonen den Platz der Alten Platte jedoch noch mit usb2 Ansteuerung.
    Mit Verzicht auf das NTFS-System erhoffe ich mir mögliche entstandene Fehler, auch mit Linux wieder löschen zu können.

    Danke für die schnelle Hilfe nochmal.
     
Thema:

Wie bewegt Ihr zügig große Datenmengen von A nach B?

Die Seite wird geladen...

Wie bewegt Ihr zügig große Datenmengen von A nach B? - Ähnliche Themen

  1. Programmier-Contest: Python bewegt die Welt

    Programmier-Contest: Python bewegt die Welt: Unter dem Motto Python bewegt die Welt geben die Veranstalter der Python-Konferenz und der Python Software Verband den Startschuss für einen...
  2. Gnome bewegt sich: Classic-Modus angekündigt

    Gnome bewegt sich: Classic-Modus angekündigt: Die Abschaffung des Ausweichmodus von Gnome 3 ist beschlossene Sache. Doch das Projekt will nun einen neuen Modus schaffen, der die Freunde von...
  3. Damn Small Linux, Maus bewegt sich nicht

    Damn Small Linux, Maus bewegt sich nicht: Hallo Zusammen. Ich habe Damn Small Linux und meine Maus bewegt sich nicht. Ich habe eine USB Maus, habe es aber auch schon mit einem PS/2...
  4. Mauszeiger bewegt sich nur hoch und runter

    Mauszeiger bewegt sich nur hoch und runter: Hallo meistens bewegt sich mein Mauszeiger nur hoch und runter, manchmal funktioniert er auch ganz. Also wenn ich den Computer starte und mich...
  5. Sound oder bewegte Bilder! Beides gleichzeitg will er nicht...

    Sound oder bewegte Bilder! Beides gleichzeitg will er nicht...: Hallo :-) freudig habe ich mein Suse 9.3 Boxware ausgepakt, installiert, und gefreut. Ja .. bis zu dem Punkt wo ich Videos zum zweiten mal...