Doppelte Dateien löschen

N

nightlight

Grünschnabel
Hallo,

mit Hilfe eines Scriptes, das ich im Netz gefunden habe und im /home Verzeichniss des Servers ablaufen lasse, werden alle doppelten Dateien, die in den verschiedenen Shares unterhalb von /home liegen anhand der MD5 Summe erfasst und, falls mehrfach vorhanden, in eine Datei dupes.txt geschrieben. Einen Ausschnitt aus der dupes.txt findet Ihr hier:

http://www.cardenal.de/dupes.txt

Im ganzen ist die Datei leider 11 MB gross und teilweise sind die Datein bis zu 10 mal vorhanden und ich habe den Auftrag aufzuräumen :-(
Jetzt bin ich leider mit meinen Script Kenntnissen am Ende und brauche Hilfe :hilfe2:

Ich benötige ein Script, das diese dupes.txt ausliest und jeweils die erste der doppelt vorhandenen Datein löscht. Danach möchte ich das obige Script wieder ablaufen lassen und dann wieder das löschende Script.

Wäre echt klasse, wenn mir jemand helfen könnte !

Vielen Dank

Manuel
 
Erstmal mit sed bissel bearbeiten, damit ich nen ordentliches Trennzeichen für awk hab.

Code:
sed 's/\s*\.\//@/' < dupes.txt > newdupes.txt
awk -F "@" '{if ($1 in werte) { next; } else {werte[$1] = $2; }} END { for (var in werte) { printf "%s\n", werte[var]; } }' newdupes.txt | xargs -i% rm ./%
VOILA! :)
 
Zuletzt bearbeitet:
:oldman: Vorsicht :oldman: einfach so doppelte Dateien löschen kann schnell zu einem unbrauchbaren System führen. Du solltest genau wissen, welche Dateien du löschen kannst und welche nicht, bevor du diese Aktion durchführst solltest du ein Backup machen. Aber das ist nur meine bescheidene Meinung.
 
NaJa, solange es nur im home Verzeichnis ist kann nicht viel Passieren. Mann sollte nur wissen wie man sich im zweifel einen Neuen Benutzer in der Konsole anlegen kann :)
 
Backup?
Code:
cut -d '@' -f 2 newdupes.txt | xargs -i% cp -a ./% "$BACKUP_DIR"
 
Zuletzt bearbeitet:
Allerbesten Dank Stephan :)

Funktioniert prima und tut seine Zwecke, echt super und dann auch noch so schnell :)
Backup ist gemacht, aber ich habe gewisse User oft genug darauf hingewiesen ihren Müll aufzuräumen.....:finger:
Damit hab ich 60 GB auf der Platte gewonnen :tongue:

Viele Grüße

Manuel
 
Jo gern geschen nightlight. Ist vllt. nicht so elegant mein Sourcecode aber wenigstens geht es. *g*
 

Ähnliche Themen

Doppelte Dateien löschen.

Doppelte Dateien finden und löschen

Zurück
Oben