glusterFS Tuning für kleine Files

Dieses Thema im Forum "Web- & File-Services" wurde erstellt von foexle, 18.08.2011.

  1. foexle

    foexle Kaiser

    Dabei seit:
    02.05.2007
    Beiträge:
    1.104
    Zustimmungen:
    0
    Ort:
    Saarbrücken
    Hiho Community,

    ich bin gerade an Performancetests mit glusterFS für kleine Files. Im genaueren files zwischen 10 - 400Kb.
    Das Cluster besteht aus 2 Server verbunden über 1GBit Backnet.

    Die Platten sind nicht die schnellsten (Seagate ST31500341AS) in jedem 2 Stück über ein SW-Raid.

    Die Partition des glusterFS ist ein LV und als Brick eingebunden.
    Gemountet ist das glusterFS-Target auf beiden Servern.
    Code:
    server2:test on /mnt/ type fuse.glusterfs (rw,allow_other,default_permissions,max_read=131072)
    server1:test on /mnt/ type fuse.glusterfs (rw,allow_other,default_permissions,max_read=131072)
    
    Tests:
    Code:
    time for i in `seq 1 20000`; do dd if=/dev/zero of="/mnt/test/test$i" bs=200KB count=1; done
    
    Parallel auf beiden servern lasse ich dies laufen und schaue mir die Zeiten an.

    Gespielt habe ich mit den Werten:
    Code:
    performance.write-behind-window-size
    performance.stat-prefetch
    performance.cache-size
    
    Nun mir ist klar, das mein Setup so oder so das ganze ausbremst, aber ich würde gerne einmal eure Erfahrungswerte wissen, wie ihr so die Werte setzt und auf was man evtl achten sollte

    greetz
     
  2. Anzeige

    Schau dir mal diese Kategorie an. Dort findest du bestimmt etwas.
    Registrieren bzw. einloggen, um diese und auch andere Anzeigen zu deaktivieren
  3. T-One

    T-One Routinier

    Dabei seit:
    14.10.2008
    Beiträge:
    478
    Zustimmungen:
    3
    Ort:
    Österreich
    glusterFS hat so oder so ne scheiss Performance bei kleinen Files......
    Es gibt einige Verbesserungen und Patches, dann wird aber die Performance für große Files scheisse :)

    Via Distributed BDB kann man das anscheinend umgehen, hab ich aber nie verwendet da wir schlussendlich wegen solchen Performanceproblemen auf IBMs SVC umgestiegen sind. Kostet zwar, ist aber das Geld absolut wert wenn es um Performance und Ausfallssicherheit geht.
     
  4. foexle

    foexle Kaiser

    Dabei seit:
    02.05.2007
    Beiträge:
    1.104
    Zustimmungen:
    0
    Ort:
    Saarbrücken
    Ach T-One, dich wollte ich noch im IRC anschreiben :)

    ja anhand den tests die ich nun gefahren habe, denke ich das eher die Server vorher schlapp machen bevor das limit von glusterFS erreicht ist.
    Es geht im weitesten Sinne um ein Mailcluster, was natürlich skaliert werden soll. Da natürlich Storage in der NetApp teuer ist wollte ich mal andere Wege testen.

    Aber dein Vorschlag schaue ich mir noch an ! Danke für den Tip

    Greetz
     
Thema:

glusterFS Tuning für kleine Files

Die Seite wird geladen...

glusterFS Tuning für kleine Files - Ähnliche Themen

  1. mod_proxy_balancer-Problem und Performance-Tuning von Apache

    mod_proxy_balancer-Problem und Performance-Tuning von Apache: Hi, diesmal 2 Probleme mit Apache. Ich habe ein Netzwerk von mehreren Apache-Servern, wo via mod_proxy_balancer eine Lastverteilung stattfindet....
  2. Tuning für parallele Plattenzugriffe

    Tuning für parallele Plattenzugriffe: Hallo, hab hier ein 8-Kern-System mit Debian Etch. Im Rechner befindet sich ein internes RAID im Stripe-Modus mit Redundanz-Platte. Extern...
  3. Linux Tuning

    Linux Tuning: Hallo zusammen, ich beschäftige mich schon eine ganze weile mit Linux und BSD. Bisher war ich jedoch meist nur auf der shell unterwegs, konnte...
  4. KDE Tuningtool

    KDE Tuningtool: hi... bei dem ersten Start von KDE 2.2.2 und KDE 3.0.5 (die beiden Beispiele, weil ich sie zu hause habe! :) ) erscheint ein Tool, mit dem man...
  5. X-Server / Wine Tuning

    X-Server / Wine Tuning: Mein System läuft im großen und ganzen schon so wie ich will, aber es gibt noch ein paar Kleinigkeiten die nicht so wollen wie sie Sollen....