Datensynchronisation

[HeadCrash]

Guten Abend,

mich Interessiert grade wie ihr die Problematik der Datensyncronisation mit mehreren Rechnern gelöst habt.

Ich verwende hierzu jetzt Unison um diverse Verzeichnisse in meinem Home-Verzeichnis auf all meinen Systemen zu synchronisiseren.

Was erledigt ihr das?

mfg
HeadCrash

 

[tuxlover]

rsync und cron.

 

[aspire_5652]

same here:

rsync + cron

 

[T-Virus]

Pahh nur Anwender nutzen fertige Tools
Ich habe mir in Java(Nicht lachen nur weil es Java ist :p) ein eigenes Programm dafür geschrieben.
Dies taufte ich mit dem Namen jsync und "spiegele" damit mein Home Verzeichnis auf eine Platte und die Daten der selbigen auf eine zweite ^^
Dank lahmen USB 2.0 dauert dies bei rund 200 GB mal einige Stunden aber es läuft :p

Das Tools steht unter der GPL und wird fleißig von mir entwickelt.
Über die jsync.conf kann das ganze im einfachen ini Format wie die meisten configs gesteuert werden.
Bei interesse kann ich das Tool mal verlinken.
Ansonsten einfach mal googeln.
Hab auch ein Sourceforge Projekt dafür

T-Virus

 

[daboss]

iegele" damit mein Home Verzeichnis auf eine Platte und die Daten der selbigen auf eine zweite ^^
Dank lahmen USB 2.0 dauert dies bei rund 200 GB mal einige Stunden aber es läuft :p

Jedesmal die komplette Platte, oder wie?

Ich machs auch via cron und rsync-Script.

 

[T-Virus]

Nein ^^
Ich mache erst eine Prüfung ob das Ganze bereits synchron ist.
Falls nicht werden nicht mehr in der quelle enthaltene Dateien gelöscht und die neuen ggf. kopiert.
Dies dauert bei meinem aktuellen Stand an Daten beim kopieren der gesamten Platte nur mehrere Stunden wegen dem lahmen USB Platten

Aber ansonsten geht die normale Synchronisation recht flott

T-Virus

 

[foexle]

omg ...
@T-Virus
a) man erfindet das rad nicht neu ..... 1sem Informatik
b) was machst du mit den daten die sich nur geändert haben ? wie überprüfst du die ? oder schaust du nur gibts die datei oder nicht ?
b) ist deine methode viel zu lahm :>

auch mit cron und rsync ....
bei backups mit duplicity

 

[HPollak]

Wie aktuell soll das ganze sein? Nur synchronisieren, oder kanns auch mal vorkommen, dass mehere gleichzeitig auf die Daten zugreifen? rsynch ist meine Wahl wenn es sich um daten handelt die in längern Abständen geändert werden ( z.b. durch Benutzer ), handelt es sich aber um Daten die durch Prozesse, die auf mehreren Maschinen gleichzeitig laufen geändert werden, wie das in einem Cluster der Fall ist, dann sollte auch ein Clusterdateisystem verwendet werden. Ein Komplet anderer ansatz wäre natürlich auch möglich das Homeverzeichnis als nfs zu mounten, dann ersparst du dir das Synchronisieren komplett!

 

[hagbard celine]

@foexle:
hmm ... dafür dass man das Rad nicht zigmal neu erfinden sollte, machen es derwegen ganz schön viele Unternehmen und Projekte; siehe Editoren, Officesuites, Backuplösungen, etc.
... ausserdem wo hast du Informatik studiert? Unser Prof. hat nicht sowas Ähnliches im 1. Semester gesagt! Und ich programmier auch privat Sachen, die es vielleicht schon gibt, aber nicht nach meinen Bedürfnissen.
Und davon mal ganz abgesehen lass die Leute nur programmieren, nur durch üben und neue Zielsetzungen, lernt man überhaupt dieses Handwerk.

 

[T-Virus]

@foexle:
hmm ... dafür dass man das Rad nicht zigmal neu erfinden sollte, machen es derwegen ganz schön viele Unternehmen und Projekte; siehe Editoren, Officesuites, Backuplösungen, etc.
... ausserdem wo hast du Informatik studiert? Unser Prof. hat nicht sowas Ähnliches im 1. Semester gesagt! Und ich programmier auch privat Sachen, die es vielleicht schon gibt, aber nicht nach meinen Bedürfnissen.
Und davon mal ganz abgesehen lass die Leute nur programmieren, nur durch üben und neue Zielsetzungen, lernt man überhaupt dieses Handwerk.

dito

Am Anfang war der Lerneffekt auch ziemlich gut, da ich mit der Java 6 API angefange habe diese zu lernen.
Und aktuell hilft es sehr gut.

@foexle
a)Wenn man wissen will wie man sowas selber bauen kann, dann schon
b)Ich prüfe dies aktuell nur über die Zeit, wann die Datei das letzte mal geändert wurde und die Dateigröße. Dein Ansatz ob die Datei da ist oder nicht, ist sinnfrei.
c)Kommt drauf an womit du es getestet hast. Ein anderer Tester hat damit auf seiner Platte 69MB/s kopieren können was schon flott ist. Bei einer externe USB Platte ist schon durch USB klar, dass die Geschwindigkeit einbricht oder?

T-Virus

 

[foexle]

was ist denn das für ein käse ?
Ich habe studiert am Max Plank institut in saarbrücken.

Zum lernen sehe ich das ein ok !
Aber zum entwickeln ist das der größte Bull** den ich je gehört habe ....
das heißt, oh ein parser arbeitet nicht so wie ich will also schreib ich einen neuen ? statt den alten der schon getestet ist an zu passen ? und einfach neue automatisierte tests hinzuzufügen ?

Oder "find" fehlt etwas das ich brauche, also schrieb ich das neu ? ... das heißt mit allem mit dem du nicht zufrieden bist, schreibst du einfach neu .... willkommen ind er steinzeit !
Du benutzt sicherlich auch nicht die stdlibs von c++, und schreibst alles von hand wa ? ...

also son schwachsinn... sry aber wenn ich sowas höre ... celine weder hast du noch nie als entwickler gearbeitet ... oder du hast alle zeit der welt deine sachen so zu gestalten wie du willst....

ich bin nur so sauer, da man einem anfänger solche tips gibt und dieser die für ernst nimmt ...


edit:
@t-virus: zum lernen ok ... nur du lernst auch wenn du konventionen einhällst.

Natürlich ist es sinnvoll zu schauen wie sowas geht. da gebe ich dir recht. Nur in deinem Post war kein wort davon, dass du das wegen dem Lernzweck programmierst

 

[daboss]

Natürlich ist es sinnvoll zu schauen wie sowas geht. da gebe ich dir recht. Nur in deinem Post war kein wort davon, dass du das wegen dem Lernzweck programmierst

Geht dich doch eigentlich 'n Dreck an, oder nicht?

das heißt mit allem mit dem du nicht zufrieden bist, schreibst du einfach neu

Des würdest du ihm verbieten wollen, oder was? Na, zum Glück gibt's, wie schonmal gesagt, nur eine Office-Suite, nur ein Betriebssystem, nur eine Datenbank, ...

Ausserdem sind allquantifizierte Aussagen eh immer für'n Arsch.

 

[foexle]

@daboss °°
no comment ... wer sagt denn das ich was verbieten will ?

und eine office suite greift nicht auf fertige sachen zurück ? ... oder eine datenbank ?

naja back to topic ... also rsync mit cronjob ist wohl die beste wahl

edit:

@t-virus ... das war kein ansatz, sondern eher als frage gedacht ... normal macht man sowas über prüfsummen

 

[tuxlover]

was ist denn das für ein käse ?
Ich habe studiert am Max Plank institut in saarbrücken.

Zum lernen sehe ich das ein ok !
Aber zum entwickeln ist das der größte Bull** den ich je gehört habe ....
das heißt, oh ein parser arbeitet nicht so wie ich will also schreib ich einen neuen ? statt den alten der schon getestet ist an zu passen ? und einfach neue automatisierte tests hinzuzufügen ?

Oder "find" fehlt etwas das ich brauche, also schrieb ich das neu ? ... das heißt mit allem mit dem du nicht zufrieden bist, schreibst du einfach neu .... willkommen ind er steinzeit !
Du benutzt sicherlich auch nicht die stdlibs von c++, und schreibst alles von hand wa ? ...

also son schwachsinn... sry aber wenn ich sowas höre ... celine weder hast du noch nie als entwickler gearbeitet ... oder du hast alle zeit der welt deine sachen so zu gestalten wie du willst....

ich bin nur so sauer, da man einem anfänger solche tips gibt und dieser die für ernst nimmt ...


edit:
@t-virus: zum lernen ok ... nur du lernst auch wenn du konventionen einhällst.

Natürlich ist es sinnvoll zu schauen wie sowas geht. da gebe ich dir recht. Nur in deinem Post war kein wort davon, dass du das wegen dem Lernzweck programmierst

stimme dir zu.

bei den ganzen editoren und so, hat man das rad ja nun auch nicht jedesmal neu erfunden, sondern das rad erweitert und verändert und das ist dann wohl ok. jeder hat halt seinen lieblingseditor und es sind ja nicht alle editoren gleich gut für die afugaben die man damit machen will geiegnet.

Zurück zum thema: rsync reicht für die aufgabe völlig aus. wenn man nicht mit der konsole klar kommt kann man zum beispiel entsprechende gui tools verwenden. ich empfehle da einfach mal nach rsync und gui zu suchen.

http://www.opbyte.it/optasks/download.html ist sicher nur eines der vielen äußerst gut zu bedinenen und weitentwcikelten tools. für backup aufgaben kann dir noch backintime empfehlen, welches ich persönlich zum backup meiner gnome konfiguration benutze.

 

[HeadCrash]

Erst mal ein Danke euch allen. In dem Thread gings mir hauptsächlich darum zu erfahrn wir ihr eure Datensynchron haltet, nicht um eine Problemlösung.

Bei rsync gibts es aber meines Wissens die Einschränkung, dass nur Daten auf der Zielseite gelöscht werden können. Und da ich je nach Laune an ner anderen meiner Büchsen sitz, sollen die Daten doch bitte auf allen verschwinden.

mfg
HeadCrash

 

[foexle]

ne das geht auch ... du kannst bei rsync einstellen das wenn Daten gelöscht werden, diese auch bei deinem "backup" gelöscht werden

 

[HeadCrash]

Löschen ja, aber nur auf der Zielseite.

Auszug aus man rsync

--delete delete extraneous files from dest dirs

Wenn ich jetzt 2 Maschinen habe, die sich aktiv mit einer dritten, sprich Fileserver, verbinden, kann ich zwar auf Maschine 1 eine Datei löschen, den sync anschmeißen und sie Verschwindet vom Fileserver. Wird aber nie von Maschine 2 verschwinden.

[[EDIT]]
Okay mittels entsprechendem Skripting bekommt man das auch in den Griff.