Heimserver Konfiguration für Ubuntu Server?!

[marcm244]

Hallo Leute!

Hier ersteinmal die Konfiguartion meines Server:

Core i3
4 GB RAM
2x Lian Li SATA Erweiterungs-Karten (biten so ziemlich alle RAID-Optionen - treiber+GUI für Linux dabei)

12 Fest eingebaute Festplatten

10 davon als absolutes Datengrab (Read Only)​

2 Platten mit sich änderndem Datenbestand​

1 HotSwap Gehäuse (standardmäßig leer)

Hier schiebe ich die 2 Festplatten, welche als Datensicherung für die 2 internen Festplatten mit sich änderndem Datenbestand rein und sichere über ein Synchronisierungsprogramm 2x die Woche (manuell)
Die 10 "Datengrab-Festplatten" sind einmal gesichert und werden höchstens 1x alle 3 Monate aktualisert, falls sich wirklich mal was ändert. Auch hier schiebe ich die Platte in das HotSwap Gehäuse und synchronisiere die 2 Platten mit einem synchronisierungsprogramm.​

Im Vorraus: Der Einbau der Sicherungsplatten in den Server steht nicht zur Diskussion. Ich will meine Datensicherungen an einem anderen Ort lagern, als meinen Server. --> Hardware-RAID fällt gleich aus dem Konzept.

Aktuell läuft der Homeserver mit Windows7 Professional. Also kein richtiges Server-OS. Die Festplatten sind einfach so eingebaut und es wird recht viel Speicherplatz verwendet, da auf vielen Platten noch bsp. 100 Gb frei sind. Diese kann ich aber nicht belegen, ohne dass ich zum Beispiel den Ordner "Bilder" aufteile, was ich aber auf keinen Fall möchste.
Da ich aber jetzt über Weihnachten ausnahmsweise mal Zeit hab, dachte ich mir, stell ich das Ding endlich mal auf ein Linux-System um. Ich hab schon etwas Erfahrung mit Linux und weiß eigentlich auch, wo ich meine Infos herkrieg.

Allerdings stehe ich mal wieder vor einigen schweren Entscheidungsproblemen:

Was ich im allgemeinen brauche ist folgendes: (von wichtig nach "nicht so wichtig" sortiert)

• Datensicherheit
• OpenVPN
• Möglichst gute Speicherausnutzung
• OwnCloud
• möglichst leichte Verwaltung
• Bittorrent Client (nicht zwingend)

Die Clients sind Windows und Ubuntu-Rechner.


1. LVM, Software Raid, oder "normale" Partitionierung?

Ich hab mich heute den ganzen tag über die obigen Themen informiert. LVM scheint in Sachen Flexibilität unübertroffen. Allerdings brauche ich diese Snapshots nicht, da ich meine Datensicherungen wie oben erwähnt extern haben möchte.
So wie ich das seh, hat es bis auf Felxibilität keinerlei Vorteile und ist für meine Konfiguration und meine Wünsche eigentlich nicht geeignet...

Bei Raid würde ja nur Software-Raid in frage kommen. Kann ich das auch nachträglich noch ändern, bzw umpartitionieren oder muss ich das bei der Installation des Servers festlegen und kann es dann nicht mehr ändern?

Die "normale" Partitionierung ist ja das was ich bis jetzt habe. Bin ich eigentlich auch recht zufrieden, bis auf das, dass recht viel Speicherplatz verschwendet wird....

2. Datensicherung
Vorest: ich weiß, dass eine normale Datenkopie keine richtige Datensicherung ist, aber es reicht für meine Anforderungen!
Wie mach ich unter Linux bitte die Datensicherung? Ich bräuchte eigentlich nur ein Synchronisierungsprogramm. Unter Windows habe ich dafür Good Sync verwendet. Das gibt es jetzt auch für Linux, das wäre also kein Problem.
Vorteil: Ich könnte doch dann mit Cron auch automatisierte Synchronisierungen durchführen, richtig?

3. LVM und HotSwap
Wenn ich das System mit LVM konfiguriere und dann eine externe HDD über den HotSwap Schacht anschließe, was passiert dann?! Kann ich die dann ganz normal nutzen, oder muss ich die erst in das LVM einfügen, damit ich mit der HDD was machen kann? Die externe HDD ins VLM einfügen wäre ja total sinnlos für meinen Verwendungszweck.

4. Papierkorb
Kann ich eine Art Papierkorb fürs Netzwerk einrichten? Wenn ich z.b. was in einem Freigegebenen Laufwerk lösche, dass ich diese Datei dann entweder über einen Client-PC oder über die Server selber wiederherstellen kann. Oder so etwas ähnliches. Bin hier für alle Möglichkeiten offen.

5. Webmin für Einfachheit?
Ist Webmin gut für eine einfache Konfiguration?

6. Welches Dateisystem?
xfs oder zfs? (bei normaler Patition ext4, das ist mir klar ^^)
Irgendwie gibts über die beiden Dateisysteme so viel Informationen und ich kann da irgendwie die Vor- und Nachteile nicht klar rausfiltern... Vielleicht kann mir jemand ein paar kurze Punkte & evtl. eine Empfehlung für meine Konfiguration schreiben.


Das wars vorerst mal mit meinen Fragen. Da kommen aber bestimmt noch einige nach.
Hauptsächlich gehts mir um das Dateisystem und wie ich das ganze Dateisystem insgesamt aufstellen soll.

Vielen Danke schonmal im Vorraus!

 

[marcellus]

1. Ich denke ein software Raid wirst du sowieso nur verwenden können, wenn du gleich große Festplatten hast, ist das nicht gegeben bringts dir sowieso nichts. Das Lvm drauf ist natürlich sehr bequem, weil du von Hardware umziehen kannst, snapshots usw. Das eine schließt das andere ja nicht aus. An der stelle kannst du dir aber auch btrfs ansehen, was diese Funktionalität auch direkt eingbaut hat.

2. Synchronisieren kannst du mit rsync. Hast du einen zweiten Pc, auf den du die Daten spielen kannst?

3. Ich versteh nicht wieso du eine externe HDD in das Lvm einfügen willst. Das Lvm macht ansich nichts anderes, als Partitionen zu einer Partition zusammenzufassen. Du kannst zwar pvs in eine vg hinzufügen und entfernen, ich bin mir aber nicht sicher was du damit erreichen willst.

4. Schau dir Lvm Snapshots an.

5. dazu kann ich nichts sagen

6. Wenn du zfs verwenden willst musst du entweder ein bsd, oder fuse verwenden, wobei die fuser performance eber bescheiden ist, natives zfs in Linux darf es aufgrund einer Lizenzfrage nicht geben. Btrfs soll aber das "Linux zfs" werden, ich habe es aber noch nie produktiv verwendet, hab aber viel gutes darüber gelesen.

 

[marcm244]

1. Ich hätte prinzipiell schon gleich große Festplatten. Also zum Beispiel eine 2 TB Daten und eine 2 TB Sicherung-Daten. Allerdings würde ich eben die Sicherungen gerne extern lagern und nicht fest im Server verbauen.

Hier hab ich noch was gefunden:

Jedoch steigt analog zu RAID 0 die Ausfallwahrscheinlichkeit, wenn sich das Dateisystem und die darunter befindliche virtuelle Partition über mehrere Festplatten erstreckt, da nur eine Festplatte ausfallen muss, um die ganzen Daten zu verlieren.

Das heißt, wenn ich ne Partition im LVM über sagen wir mal 4 HDDs hab und eine Ausfällt, dass die Daten all dieser 4 HDDs "weg" sind und ich die von den Sicherungspartitionen wiederherstellen muss?

So wie ich das mit den Snapshots aus diversen Webseiten verstehe sind das konsistente Backups die nur die Änderungen der Dateien speichern. Da die Snapshots aber keine komplette Kopie der Daten anlegen, hab ich bei den 10 Festplatten (welche als Datengrad - Read Only - fungieren) keinerlei Vorteil bei der Sicherung.
Die Snapshots sind ja keine richtige "Kopie der Daten". Somit bringen die mir eigentlich nichts....
Änderungen rückgängig machen muss ich eigentlich nie. Das schlimmste was mal passieren kann ist, dass ein Fam-Mitglied ausversehen mal einen Ordner im Netzlaufwerk löscht. Dafür hab ich aber dann die Datensicherung, welche ich 2x die Woche mache.
Wegen Datensicherung hab ich jetzt auch nochmal geschaut. Es gibt dieses Acronis Backup&Recovery für Linux Server. Das scheint mir recht gut. Ich denke ich schau mir das mal an. Wenn das nichts ist, ist eine einfache Synchronisierung mit rsync wohl die beste Methode um eine Komplett-Kopie einer Festplatte herzustellen, oder?

Beispiel (Ablauf Datensicherung - bisher):
Mo-Mi werden Daten von der "Daten"-HDD gelöscht, verschoben, geschrieben. Do Morgen mach ich dann (bis jetzt) mit dem Synchronisierungsprogramm GoodSync (das gäbs jetzt sogar für Linux auch, also das könnte ich dann ja auch nutzen - funktioniert auch mit rsync, jedenfalls steht das bei der Beschreibung dabei) eine Datensicherung indem ich die "Sicherung-Daten"-HDD in mein Hotswap-Schacht stecke. Die "Sicherung-Daten"-Platte wird erkannt und im Explorer angezeigt. Jetzt wähle ich bei GoodSync die Synchronisierung nur in eine Richtung (von "Daten" nach "Sicherung-Daten") und starte die Synchronisierung. Dann macht GoodSync halt die typische Synchronisierung - dauert meist nicht länger als 10 min, da ich fast nur Dokumente ändere)
Ich glaub das mit den LVM wird einfach zu unsicher und vorallem zu kompliziert. In 2 Jahren zieh ich aus, da muss mein Vater das Ding auch administrieren können.

2. Nein, ich hab keinen 2ten PC. Die Daten werden dann nur von Platte zu Sicherungs-Platte (siehe oben) gesyncht.

3. Tschuldigung, ich hab das etwas blöd formuliert. Wenn ich obigen Sicherungsvorgang ausführe, dann stecke ich die "Sicherung-Daten" ja in den HotSwap Schacht. --> Festplatte wird vom OS erkannt und gemountet. --> Kann diese externe HDD dann ext4 formatiert sein und ich kann sie ganz "normal" beschreiben, ODER muss ich sie, um sie beschreiben zu können erst zu einem LVM hinzufügen.
Ich kann mir schon vorstellen, dass ich die ext4 formatierte HDD ganz normal beschreiben kann. Anders wärs auch echt sinnlos^^. Es geht hier nur eben um >2 TB Platten und da ist ein "schnelles" Ausprobieren echt ned leicht. Deswegen würd ich gern jede noch so dumme Frage, die mir einfällt vorher wenigstens etwas abgeklärt haben

4. Ja, dafür kann ich mir die Snapshots gut vorstellen, das ist aber nicht ganz so wichtig. Darauf würde ich notfalls verzichten.
Wieviel Speicher nehmen diese Snapshots eigentlich ein? Ich finde dazu nur so "lala"-Angaben im I-net. Wieviel würde das bei 2TB ca. ausmachen?
Könnt ich auch (sagen wir mal) 3 HDDs mit LVM verwalten und die restlichen einfach mit ext4 formatieren und reinhängen? geht das auch?
Die LVM macht bei den Datengräber-HDDs eigentlich ja keinen großen Sinn. Bei den Platten mit sich Änderndem Datenbestand allerdings schon....

5. Ah, ok. Hab ich auch noch nicht gewusst, das mit zfs und Linux.

Btrfs befindet sich noch in der Entwicklungsphase (Stand 1/2012: Version 3.0 vom Juli 2011, btrfs ist ab Linux Kernel 2.6.31-rc1 enthalten)[7] und ist daher nicht für den Einsatz in Produktionsumgebungen gedacht.

- Wikipedia
Ist das jetzt schon fertig?
Tut mir leid, wenn ich bei allem so skeptisch bin, aber wie gesagt, der Server hat insg. über 16 TB Speicher. Da wenn was schief geht, dann stell ich wochenlang her.... Und das kann ich mir zeitlich eigentlich nicht grade leisten^^.

 

[marcellus]

Um die Platten ausfallssicherer zu bekommen solltest du ein raid 5, oder 0+1 verwenden, vergiss aber nicht, dass ein raid keine Datensicherung ist.

Das Lvm kann zwar über mehrere Volumes aufgeteilt werden, aber das machst du nicht aus Gründen der Ausfallssicherheit, stell dir ein Lvm einfach vor wie ordentlich durchgedachte Partitionen, die Snapshots haben auch nur den Sinn, dass du ältere Zeitpunkte wieder herstellen kannst.

Dabei findest du vermutlich keine Angaben zu Speicherverbrauch, weil das Abhängig davon ist wie viele Daten sich auf den Paritionen verändert haben, wie viele Snapshots du hast, wie groß du sie werden lässt usw.

Wegen Backup ist die Frage, wie du ein 12tb image auf eine 2tb Platte spielen willst.

Btrfs war ein Vorschlag, das wird vermutlich noch eine weile in der Entwicklung bleiben, weil einfach eine Menge Features reinkommen soll.

 

[schwedenmann]

Hallo

Das heißt, wenn ich ne Partition im LVM über sagen wir mal 4 HDDs hab und eine Ausfällt, dass die Daten all dieser 4 HDDs "weg" sind und ich die von den Sicherungspartitionen wiederherstellen muss?

Jepp
Wobei ich sagne muß (setze zwar lvm nur in den Größenordnungen 400-600MB ein), aber hatte in den letzen 5-7 Jahren, seit ich lvm einsetze , noch nie Ausfälle, in meinen Augne ist lvm sehr sicher.

Zu btrfs ist immer noch beta, nach meinen Vorstellungen von einem FS (es existiert ja immer noch kein echtes filechecktool, ohne das, ist der Einsatz russisch-roullett) , da ist im Moment zfs per bsd die weitaus bessere Wahl.
Ich bin jetzt leider überfragt, wie das bei dem Debian-Zweig mit BSD-Kernel aussieht, das müßte ja dann auch nur zfs per fuse sein, lohnt sich also nicht.


mfg
schwedenmann

 

[marcm244]

Wegen Backup ist die Frage, wie du ein 12tb image auf eine 2tb Platte spielen willst.

Ich Will kein 12 TB Image auf eine 2 TB Platte spielen. Ich hab immer eine Datenplatte und eine dazugehörige (baugleiche) Sicherungsplatte.
Wie kommst du auf 12 TB Image?

Ja, btrfs fällt dann raus, wenn's noch beta ist. Trotzdem danke für den Tipp! Werd das die nächste Zeit bestimmt aus Interesse mal im Auge behalten!

Ja, das LVM ist dann wohl doch keine so gute Methode für mich. Die Synchronisierung ist wohl für mich doch die besste Methode. Vorallem weil ich von Datenplatte zu dazugehöriger Sicherungsplatte syncen kann. So oft wie ich will und es ist eigentlich recht wenig Aufwand, wenn mal ne Platte flöten geht. Bei LVM ist das dann doch mit sehr viel Aufwand verbunden, so wie ich das seh.
Vorallem wäre mein LVM dann insgesammt ca. 10 TB groß... Wenn da eine Platte ausfällt und ich die Daten (zum Beispiel von einem anderem PC mit LVM und der gleichen LVM-Größe - den ich nebenbeigesagt nicht habe^^) dann wiederherstellen muss... 10 TB wieder rüberkopieren, na viel Spaß ^^.

Ich denke ich muss aus Gründen der Datensicherheit und einfachheit des Systems einfach alle Platten als ext4 formatieren, ganz normal einfügen und dann einfach mit den Sicherungsplatten synchronisieren.
Das System muss auch möglichst einfach sein, da mein Vater das in 1-2 Jahren adminsitrieren muss und somit auch die Datensicherung durchführen muss.

Das ZFS hab ich mir in Verbindung mit FreeNAS schon angeschaut. Is auch ned schlecht, aber im Grund so ähnlich wie LVM und somit hab ich wieder die Problematik: Was mach ich, wenn eine HDD ausfällt....

Vielen vielen Dank für eure Antworten. Wenn jemanden noch ne komplett andere Idee als LVM oder meine ext4-Lösung hat, dann bin ich dafür gern offen

 

[marcellus]

Zfs unterstützt sowohl double, als auch triple parity, was du sonst bei einem raid5/6 hättest.

Das Lvm macht dir nicht die redundanz, das macht das raid, aber auf ein raid kannst du sehr wohl ein lvm draufsetzen.

 

[Lord_x]

6. Wenn du zfs verwenden willst musst du entweder ein bsd, oder fuse verwenden, wobei die fuser performance eber bescheiden ist, natives zfs in Linux darf es aufgrund einer Lizenzfrage nicht geben.

Es gibt sehr wohl eine ZFS Implementierung welche nativ und ohne Fuse daher kommt. http://zfsonlinux.org/
Diese kann nur nicht in den Kernel einziehen aber wenn du das Ding selber installierst, gibt es keine Probleme.

 

[schwedenmann]

Hallo

@Lord_x
Hast du mal versucht, die so erstellten zfs-module mit einem Debian-Kernel zu nutzen ?


mfg
schwedenmann

 

[Lord_x]

Hast du mal versucht, die so erstellten zfs-module mit einem Debian-Kernel zu nutzen ?

Zum testen ja aber "produktiv" laufen die beiden Server jetzt mit FreeBSD 9.0.