Tuning für parallele Plattenzugriffe

Dieses Thema im Forum "Debian/Ubuntu/Knoppix" wurde erstellt von MacLux, 06.08.2007.

  1. #1 MacLux, 06.08.2007
    Zuletzt bearbeitet: 06.08.2007
    MacLux

    MacLux Eroberer

    Dabei seit:
    19.06.2006
    Beiträge:
    50
    Zustimmungen:
    0
    Hallo,

    hab hier ein 8-Kern-System mit Debian Etch. Im Rechner befindet sich ein internes RAID im Stripe-Modus mit Redundanz-Platte. Extern angeschlossen an einen PCIx-SCSI-Controller (Adaptec) ist ein 2TB EasyRaid mit 8 SATA-Platten (ReiserFS) auf dem jede Menge Videosequenzen bestehend aus (grösstenteils) Einzelframes abgelegt sind.

    Leider ist der Datendurchsatz auf diese Bild-Daten nicht doll. hdparm (-tT) zeigt zwar folgendes an:

    Timing cached reads: 6034 MB in 2.00 seconds = 3018.73 MB/sec
    Timing buffered disk reads: 114 MB in 3.01 seconds = 37.81 MB/sec

    Beim 8fach-parallelen Zugriff mit 8 Instanzen unserer Software rudert jedoch spätestens der dritte Prozess nur noch auf 30 bis 40 Prozent Kernauslastung herum. xosview zeigt auch für die Kerne immer nur einige wenige Spitzen an. Oftmals scheinen die Kerne für Bruchteile von Sekunden "gar nichts" zu tun. Allerdings muss man sagen, dass auch meine bisherigen Versuche, die Daten von den internen Platten einzulesen, ähnliche Ergebnisse zeigten. Evtl. dauert es von den internen Platten etwas länger bis die Prozesse von 100 Prozent Kernauslastung wegkommen.

    Es gab auch für beide Fälle (extern und intern) kaum Performance-Unterschied, egal ob ich die Prozesse wie im Normalfall aus den notwendigen Perl-Scripts startete oder direkt an der Shell.

    Nun hab ich im direkten Vergleich noch ein (hardware-mässig) identisches System mit Windows Server 2003, das ebenfalls über ein externes RAID verfügt (NTFS). Auf diesem System funktioniert der Zugriff absolut hoch-performant und unter voller Kernauslastung. Der Source-Code für die Datenzugriffe in unserer Software ist für Linux und Windows identisch.

    Ich frage mich, ob vielleicht der Treiber für das externe RAID auf dem Debian bzw. auch irgendeine Konfiguration für die internen Plattenzugriffe noch getuned werden könnte, um die Kernauslastung nicht durch evtl. langsame Plattenzugriffe zu beeinträchtigen. Wie könnte ich die Ursache für das Ausbremsen finden? Welche Massnahmen würdet Ihr vorschlagen?

    Grüsse,
    Mac

    Edit: Achso, es sei noch erwähnt, dass die 8-Kern-Unterstützung generell zu funkionieren scheint. Starte ich einen "make -j8", sind alle Kerne ganz fleissig am Rödeln im Bereich 90 bis 100 Prozent.
     
  2. Anzeige

    Schau dir mal diese Kategorie an. Dort findest du bestimmt etwas.
    Registrieren bzw. einloggen, um diese und auch andere Anzeigen zu deaktivieren
  3. #2 MacLux, 09.08.2007
    Zuletzt bearbeitet: 09.08.2007
    MacLux

    MacLux Eroberer

    Dabei seit:
    19.06.2006
    Beiträge:
    50
    Zustimmungen:
    0
    Und nochmal ich. Ich glaube ich hab herausgefunden, wo die Ursache für den Performance-Einbruch liegt. Ich weiss aber leider nicht, wo genau die Schraube ist, an der ich in Debian drehen muss.

    Das Problem tritt nur auf, wenn unsere Software in Verzeichnissen lesen muss, die tausende von Dateien beinhalten. Füttere ich nicht mit Einzelbildern (PNGs) sondern mit grossen Videofiles (MOVs), läuft das Ding wie es soll.

    Dass das Problem auf dem Windows Rechner nicht auftaucht, liegt an dessen Server-Konfiguration (Windows Server 2003). Auf jedem Nicht-Server würde es (ohne zu schrauben) auch passieren. Unser PC-Händler hat mir zu diesem Punkt einen Microsoft-Supportlink gegeben, mit dem man das Problem unter Windows lösen kann: Klick

    Jetzt müsste ich nur noch wissen, wo ich das Pendant unter Debian finde! *fleh*

    Gruss,
    Mac
     
  4. MacLux

    MacLux Eroberer

    Dabei seit:
    19.06.2006
    Beiträge:
    50
    Zustimmungen:
    0
    Falls es noch jemand interessiert. Ich hab ordentlich am Read-Ahead gedreht. Bei mir hat 256 MB ganz gut geklappt.

    Desweiteren hab ich noch anderswo den Tipp bekommen, mit dem IO-Scheduler herumzuprobieren. Das gab nochmal 'nen ordentlichen Schub: Klick

    Vielen Dank für alle Hinweise!

    Gruss,
    Mac
     
  5. #4 kartoffel200, 14.08.2007
    kartoffel200

    kartoffel200 AMD Fanboy Since 2003

    Dabei seit:
    12.03.2007
    Beiträge:
    938
    Zustimmungen:
    0
    Ort:
    L wie localhost
    Ja gut mit einer einer Reiser Partition kennen sich glaub ich weniger Leute aus als mit ext3.
     
  6. chb

    chb Steirer

    Dabei seit:
    01.06.2003
    Beiträge:
    2.359
    Zustimmungen:
    0
    Ort:
    ÖSTERREICH
    Deswegen gibts auch den VFS der dafür sorgt, daß net jedes Filesystem sein eigenes Süppchen kocht.
     
Thema:

Tuning für parallele Plattenzugriffe

Die Seite wird geladen...

Tuning für parallele Plattenzugriffe - Ähnliche Themen

  1. glusterFS Tuning für kleine Files

    glusterFS Tuning für kleine Files: Hiho Community, ich bin gerade an Performancetests mit glusterFS für kleine Files. Im genaueren files zwischen 10 - 400Kb. Das Cluster besteht...
  2. mod_proxy_balancer-Problem und Performance-Tuning von Apache

    mod_proxy_balancer-Problem und Performance-Tuning von Apache: Hi, diesmal 2 Probleme mit Apache. Ich habe ein Netzwerk von mehreren Apache-Servern, wo via mod_proxy_balancer eine Lastverteilung stattfindet....
  3. Linux Tuning

    Linux Tuning: Hallo zusammen, ich beschäftige mich schon eine ganze weile mit Linux und BSD. Bisher war ich jedoch meist nur auf der shell unterwegs, konnte...
  4. KDE Tuningtool

    KDE Tuningtool: hi... bei dem ersten Start von KDE 2.2.2 und KDE 3.0.5 (die beiden Beispiele, weil ich sie zu hause habe! :) ) erscheint ein Tool, mit dem man...
  5. X-Server / Wine Tuning

    X-Server / Wine Tuning: Mein System läuft im großen und ganzen schon so wie ich will, aber es gibt noch ein paar Kleinigkeiten die nicht so wollen wie sie Sollen....