Wie bewegt Ihr zügig große Datenmengen von A nach B?

[skyeye]

Hallo, wie unter Linux am schnellsten große Datenmengen richtig kopieren? :Frage:

Auch die Gefahr zu hegen, auf eine andere Stelle im Forum verwiesen zu werden,
so bitte ich doch auch mit Augenmerk auf die aktuellen technischen up-/down-grade für uns Enduser und des jeweiligen OS in Betracht zu ziehen.

Als ich damals von Linux bzw. Unix hörte, schwärmten viele Anwender von dem schnellen kopieren in der Shell.
Nun, zu der Zeit hatte ich noch eine Datasette Zuhause
und war weit entfernt vom Glauben jemals mit Terrabyte privat zu hantieren.

Heute begegnete mir folgendes Phänomen:
Beim Kopieren von DVD-großen Verzeichnissen von A nach B
(usb2 externe NTFS HD nach interne EXT4 HD
unter Debian squeeze, wheezy, sämtliche Linuxmint)
mit drag&drop unter X bei einer Menge von ca. 300 Gigabyte ca. 6 Stunden – 18 Stunden.
In der Shell mit copy ca. 3 Tage.
Manuell einzelne Dateien unter X ca. 3 Stunden.

Ich behaupte Das Problem auch unter EXT4 zu EXT4 zu haben.
Das es Probleme mit zugriffen auf NTFS unter Linux gibt, ist mir bekannt,
jedoch dachte ich, dass mit ntfs-3g, libntfs-3g75 behoben sei.

Nun zu den Fragen:

1.) Was mache ich falsch wie kopiert Ihr eure Bilder-DVDś oder was auch immer im hohen Tempo ?
Wie bewege ich oder kopiere ich Große Datenmengen richtig auf die jeweiligen Partitionen
mit einer optimalen Geschwindigkeit?

2.)
Und wenn ich schon mal was hier reinschreibe, füge ich noch ein Problem hinzu.
Bei einer Datensicherung eines Freundes von NTFS zu NTFS Ausgeführt im X drag&drop unter Linux ntfs-g3 lässt sich nun eine möglicherweise fehlerhafte Datei auf der zu kopierten Platte nicht mehr löschen. (Versuch mit „# rm -f -r Datei\ fehlerhaft.mp3“ schlug fehl)
„ Entfernen von „Datei\ fehlerhaft.mp3“ nicht möglich: Eingabe-/Ausgabefehler „

Danke im Voraus für jede Hilfe.

 

[@->-]

Ich vermeide es Daten zu kopieren zwischen Geräten da es wie du schon gemerkt hast viel Zeit benötigt. Ich habe hier ein Synology NAS mit 2 Festplatten, eine hat die Daten mit denen ich arbeite und die andere ist eine Spieglung für den Fall das mal die erste Platte ausfällt. Gleichzeitig sichert das NAS alles auf meiner HiDrive. Das bedeutet für mich im Alltag das mein NAS in das Dateisystem eingebunden ist und ich so auf die Daten zugreife. Mit einem Gbit Lan geht das auch wunderbar und ist auch nicht langsamer als eine USB Platte. Nur habe ich eben so alle Daten auf allen Rechnern immer zur verfügung, sofern es in meinem Netzwerl ist.

 

[tgruene]

Von ext3 nach ext3 dauerte es bei mir eben 5,5min, um 20GB mit rsync zu kopieren. Normalerweise ist die Hardware das Nadeloehr. Oder der Treiber von NTFS. Da waere es wohl sinnvoller, auf Windows zurueckzugreifen, wenn Du NTFS nicht vermeiden kannst.

 

[@->-]

NTFS ist ja eh so ein Sorgenkind in einigen Anwendungen. Bei mobilen Datenträgern würde ich FAT32 nutzen weil es so gut wie überall nutzbar ist und im Normalfall gut läuft.

 

[nighT]

NTFS ist ja eh so ein Sorgenkind in einigen Anwendungen. Bei mobilen Datenträgern würde ich FAT32 nutzen weil es so gut wie überall nutzbar ist und im Normalfall gut läuft.

Solange keine Dateien über 4GB gespeichert werden sollen oder aber man mit der Splittung in Archiv-Teile leben kann...

 

[Goodspeed]

... oder nimmt exFAT. Dann geht auch "groß" ...

 

[T-Virus]

@ skyeye
Dein Problem ist deine lahme Schnittstelle(usb 2).
Es gibt bereits externe Gehäuse die USB 3 anbieten.
Wenn du es kannst, solltest du deine Daten auch über USB 3 kopieren.

Es spielt hier technisch keine große Rolle ob due EXT(4) oder NTFS verwendest.
Diese werde unter Linux schnell genug arbeiten.
Nur USB 2 bremst hier eben extrem, da hier das Limit bei ein paar MB pro Sekunde liegt.
Wenn ich mich recht entsinne sind es im Idealfall 6 MB/s aber meist weniger so um die 2-3 MB/s.
Bei USB 3 kann man rund 5 GBit/s also um die 600 MB/s kopieren.

Je nachdem wie dann die Festplatte noch hinterher kommt, sind es meistens um die 80 MB/s bis im Idealfall 100 MB/s.
Ich verwende hier ein externe Gehäuse von Fantec mit 8 Slots.
Dieses kann man mit USB 3 oder eSata anbinden.
Ist im Privatbereich also schon Datenluxus.
Gibt auch kleinere Varianten mit 2 oder 4 Slots.

Ich kopiere hier täglich durch syncs mit externen Spiegelservern rund 30 GB.
Diese Daten werden dann per rsync nochmal auf Backup Platten innerhalb des gleichen Gehäuses kopiert.
Dank USB 3 geht das auch recht schnell.
Lediglich die Stromsparplatten, 6x 2 TB und 2x 1TB, sind hier langsam.

Nachtrag:
Hab mal dein Protkoll geloggt.
Dabei sind mir einige Meldungen ins Auge gefallen, die nicht gesund aussehen.

Deine Platte scheint einige Fehler zu verursachen.
Hier stehen im Log Buffer I/O Fehler sowie Block Fehler.
Letztes sieht nach deinem langsamen sterben der Platte aus, sollte also mal geprüft werden.

Ansonsten sieht es auch so aus als ob deine Platte häufig resettet wird und auch ggf. nicht mit Top Speed sondern nur Low Speed läuft.
Dies bedeutet im schlimmsten Fall, dass deine Daten dann nicht mit USB 2 sondern mit USB 1.1 Gesch. kopiert werden, was die langen Zeiten erklären würde.

Da ich aber nicht sicher bin, sollte jemand die Log Datei mal ziehen und die Angaben verifizieren.

T-Virus

 

[SiS]

Beim Kopieren von DVD-großen Verzeichnissen von A nach B

Wie groß sind denn die einzelnen Dateien im jeweiligen Verzeichnis? Umso kleiner die Dateien sind, desto mehr verzögert sich die Übertragung.

Und teste mal bitte wie schnell die Platten mit denen Du arbeitest lesen können mit:

hdparm -t /dev/sdX

Dein Problem ist deine lahme Schnittstelle(usb 2).
...
Nur USB 2 bremst hier eben extrem, da hier das Limit bei ein paar MB pro Sekunde liegt.
Wenn ich mich recht entsinne sind es im Idealfall 6 MB/s aber meist weniger so um die 2-3 MB/s.

Eigentlich erreicht USB2 auch in der Praxis seine ca. 30MB/s. USB2 sollte also prinzipiell nicht das Problem sein. (Zu mindestens bei Festplatten, billige USB-Sticks haben oftmals die von Dir angesprochene Geschwindigkeit)

Deine Platte scheint einige Fehler zu verursachen.
Hier stehen im Log Buffer I/O Fehler sowie Block Fehler.
Letztes sieht nach deinem langsamen sterben der Platte aus, sollte also mal geprüft werden.

Ansonsten sieht es auch so aus als ob deine Platte häufig resettet wird und auch ggf. nicht mit Top Speed sondern nur Low Speed läuft.
Dies bedeutet im schlimmsten Fall, dass deine Daten dann nicht mit USB 2 sondern mit USB 1.1 Gesch. kopiert werden, was die langen Zeiten erklären würde.

Halte ich auch für nicht gerade unwahrscheinlich und würde auf ein defektes Kabel oder USB-Controller der Platte, etc. tippen.
@Skyeye: Hast Du das ganze mal mit anderen Festplatten/Kabeln probiert?

 

[root1992]

Ich habe das Protokoll nur grob überfolgen. Wie SiS schrieb, resettet dein USB-Host das Gerät ständig, das deutet erstmals auf den USB-Controller der Platte hin. Kann allerdings auch an einer schlechten Verbindung (Kabel) liegen. Was auch passieren kann bei den kleinen 2,5'' Platten, die kein externes Netzteil brauchen, dass sie Highpower anfordern, es nicht bekommen und dann gar nicht oder verlangsamt laufen.

Zusätzlich bekommst du I/O errors. Das kann auf einen Hardwaredefekt der Platte oder teils auf Softwareschäden (Dateisystem, ...) hindeuten. Meiner Erfahrung nach solltest du alle Daten so schnell wie möglich sichern. Gerade in Verbindung mit der geringen Übertragungsrate deutet es auf HW-Probleme hin. Das hatte ich bei ein paar Festplatten, nach paar Wochen waren sie kaputt.

Zum NTFS da gibt es sowas wie fsck unter Windows. Der sollte die beschädigte Datei erkennen und löschen. Hatte das gleiche Problem auch einmal.

Zum ersteren Problem. Wenn das Gehäuse verschraubt ist, versuche einen anderen Controller zu nutzen (direkt am Mainboard/anderes externes Gehäuse, ...) sollten die Probleme (gerade der IO-Fehler) noch da sein, nutze zusätzlich noch fsck und bete, dass du die Daten noch alle bekommst. Das Fehlerbild stimmt 1:1 mit einer externen Seagate über ein, die sich beim Datensichern (nachdem dmesg IO/errors brachte) zerstörte.

 

[skyeye]

Genial eure schnelle Hilfestellung.

Dateien wie Fotos und etliche andere Daten konnten noch gut aber langsam gerettet werden.
Sehr gut zu wissen das es mit fsck unter Windows geht sollten es mal wichtigere Daten sein sollten.

Nach dem ich mir die Synology-NAS-Geräte angeschaut habe,
war mir klar, eine Spieglung meiner Daten wird erst mal nicht nötig sein.
Ein schon vorhandener RaspberryPI dient mir nun mit einem 100Netzwerk als Nas-Server.
Experimentell angeschlossen am Pi, ist die besagten alten Platte aber mit neuen Kabel und neu Formatiert mit ext3 nun jedoch 1,8tb.
Ein Gehäuse wechsle steht noch aus es scheint wohl doch was mit dem Controller oder (BUS) zu sein wie oben geschrieben.
Denn noch, von ext4 zu ext3 hatte ich nun endlich auch 20 Gb in 5 min erreicht.
Das exFAT werde ich nicht aus den Augen lassen für einen eventuellen späteren Zusammenbau.

Eine Neue Externe mit usb3 bekleidet auch schonen den Platz der Alten Platte jedoch noch mit usb2 Ansteuerung.
Mit Verzicht auf das NTFS-System erhoffe ich mir mögliche entstandene Fehler, auch mit Linux wieder löschen zu können.

Danke für die schnelle Hilfe nochmal.