Problem mit meinem Raid, benötige eure Hilfe

J

jevermeister

Grünschnabel
Hallo Leute,

ich benutze seit einem Jahr einen 8-Port PCI-X Sata Raidcontroller von Supermicro, der einen Marvell Chip nutzt und daher das HIGHLY EXPERIMENTAL sata_mv Modul braucht. Dadurch kämpfe ich mich von Portreset zu Portreset, meistens zwei Platten hintereinander. Richtig nervig das ganze, bisher ging das auch relativ unproblematisch mit einem mdadm -a /dev/md0 /dev/sdh1 z.b. zu beheben, jetzt sitze ich allerdings tiefer in der klemme.

folgendes ist passiert laut /var/log/message - das übliche halt.
vorher mit /dev/sdh1 genau das selbe...
Code: 
Nov 29 19:06:42 colossus kernel: ata8: soft resetting port
Nov 29 19:06:42 colossus kernel: ata8: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
Nov 29 19:06:42 colossus kernel: ata8.00: configured for UDMA/133
Nov 29 19:06:42 colossus kernel: sd 7:0:0:0: [sdh] Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE,SUGGEST_OK
Nov 29 19:06:42 colossus kernel: sd 7:0:0:0: [sdh] Sense Key : Medium Error [current] [descriptor]
Nov 29 19:06:42 colossus kernel: Descriptor sense data with sense descriptors (in hex):
Nov 29 19:06:42 colossus kernel:         72 03 11 04 00 00 00 0c 00 0a 80 00 00 00 00 00
Nov 29 19:06:42 colossus kernel:         1c 54 be 87
Nov 29 19:06:42 colossus kernel: sd 7:0:0:0: [sdh] Add. Sense: Unrecovered read error - auto reallocate failed
Nov 29 19:06:42 colossus kernel: end_request: I/O error, dev sdh, sector 475315847
Nov 29 19:06:42 colossus kernel: raid5:md0: read error not correctable (sector 475315784 on sdh1).
Nov 29 19:06:42 colossus kernel: ata8: EH complete
Nov 29 19:06:42 colossus kernel: sd 7:0:0:0: [sdh] 488397168 512-byte hardware sectors (250059 MB)
Nov 29 19:06:42 colossus kernel: sd 7:0:0:0: [sdh] Write Protect is off
Nov 29 19:06:42 colossus kernel: sd 7:0:0:0: [sdh] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
Nov 29 19:06:42 colossus kernel: sd 7:0:0:0: [sdh] 488397168 512-byte hardware sectors (250059 MB)
Nov 29 19:06:42 colossus kernel: sd 7:0:0:0: [sdh] Write Protect is off
Nov 29 19:06:42 colossus kernel: sd 7:0:0:0: [sdh] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
Nov 29 19:06:43 colossus kernel: md: md0: recovery done.

OK.

jetzt habe ich probiert die platte wieder per mdadm -a /dev/md0 /dev/sdh1 zu adden. die checksumme der platte ist ok, die UUID ist ok und die events-nummer ist auch ok. allerdings added er sdh1 und sdg1 jeweils als spares und lässt die ursprünglichen plätze der beiden platten frei. what the fuck?!
natürlich auch direkt in die superblöcke geschrieben. das array lässt sich also nicht mehr starten, weil nur 6/8 platten und 2 spares verfügbar sind. ich kriegs auch nicht mehr zum laufen....

meine versuche:
Code: 
colossus:~# mdadm --assemble --verbose --verbose --force /dev/md0 /dev/sda1 /dev                                                                             /sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1 /dev/sdf1 /dev/sdg1 /dev/sdh1
mdadm: looking for devices for /dev/md0
mdadm: /dev/sda1 is identified as a member of /dev/md0, slot 0.
mdadm: /dev/sdb1 is identified as a member of /dev/md0, slot 1.
mdadm: /dev/sdc1 is identified as a member of /dev/md0, slot 2.
mdadm: /dev/sdd1 is identified as a member of /dev/md0, slot 3.
mdadm: /dev/sde1 is identified as a member of /dev/md0, slot 4.
mdadm: /dev/sdf1 is identified as a member of /dev/md0, slot 5.
mdadm: /dev/sdg1 is identified as a member of /dev/md0, slot 9.
mdadm: /dev/sdh1 is identified as a member of /dev/md0, slot 8.
mdadm: added /dev/sdb1 to /dev/md0 as 1
mdadm: added /dev/sdc1 to /dev/md0 as 2
mdadm: added /dev/sdd1 to /dev/md0 as 3
mdadm: added /dev/sde1 to /dev/md0 as 4
mdadm: added /dev/sdf1 to /dev/md0 as 5
mdadm: no uptodate device for slot 6 of /dev/md0
mdadm: no uptodate device for slot 7 of /dev/md0
mdadm: added /dev/sdh1 to /dev/md0 as 8
mdadm: added /dev/sdg1 to /dev/md0 as 9
mdadm: added /dev/sda1 to /dev/md0 as 0
mdadm: /dev/md0 assembled from 6 drives and 2 spares - not enough to start the a                                                                             rray.
colossus:~# mdadm --detail /dev/md0
mdadm: md device /dev/md0 does not appear to be active.
colossus:~# mdadm -r /dev/md0 /dev/sdg1
mdadm: cannot get array info for /dev/md0
colossus:~# mdadm -C -f --verbose --verbose /dev/md0 --assume-clean -l 5 -n 8 /d                                                                             ev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1 /dev/sdf1 /dev/sdg1 /dev/sdh1
mdadm: layout defaults to left-symmetric
mdadm: chunk size defaults to 64K
mdadm: Cannot open /dev/sda1: Device or resource busy
mdadm: Cannot open /dev/sdb1: Device or resource busy
mdadm: Cannot open /dev/sdc1: Device or resource busy
mdadm: Cannot open /dev/sdd1: Device or resource busy
mdadm: Cannot open /dev/sde1: Device or resource busy
mdadm: Cannot open /dev/sdf1: Device or resource busy
mdadm: Cannot open /dev/sdg1: Device or resource busy
mdadm: Cannot open /dev/sdh1: Device or resource busy
mdadm: create aborted

hier noch die einzelnen --examine infos der platten und ein cat /proc/mdstat
Code: 
colossus:~# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid6] [raid5] [raid4]
md0 : inactive sda1[0](S) sdg1[9](S) sdh1[8](S) sdf1[5](S) sde1[4](S) sdd1[3](S) sdc1[2](S) sdb1[1](S)
      1953567232 blocks

unused devices: <none>

colossus:~# mdadm --examine /dev/sda1
/dev/sda1:
          Magic : a92b4efc
        Version : 00.90.03
           UUID : 4cebd437:d472d7d2:324fe832:66c35cef
  Creation Time : Fri Nov 17 03:04:56 2006
     Raid Level : raid5
    Device Size : 244195904 (232.88 GiB 250.06 GB)
     Array Size : 1709371328 (1630.18 GiB 1750.40 GB)
   Raid Devices : 8
  Total Devices : 8
Preferred Minor : 0

    Update Time : Thu Nov 29 20:12:17 2007
          State : clean
 Active Devices : 6
Working Devices : 8
 Failed Devices : 2
  Spare Devices : 2
       Checksum : feeeceff - correct
         Events : 0.729288

         Layout : left-symmetric
     Chunk Size : 64K

      Number   Major   Minor   RaidDevice State
this     0       8        1        0      active sync   /dev/sda1

   0     0       8        1        0      active sync   /dev/sda1
   1     1       8       17        1      active sync   /dev/sdb1
   2     2       8       33        2      active sync   /dev/sdc1
   3     3       8       49        3      active sync   /dev/sdd1
   4     4       8       65        4      active sync   /dev/sde1
   5     5       8       81        5      active sync   /dev/sdf1
   6     6       0        0        6      faulty removed
   7     7       0        0        7      faulty removed
   8     8       8      113        8      spare   /dev/sdh1
   9     9       8       97        9      spare   /dev/sdg1

colossus:~# mdadm --examine /dev/sdb1
/dev/sdb1:
          Magic : a92b4efc
        Version : 00.90.03
           UUID : 4cebd437:d472d7d2:324fe832:66c35cef
  Creation Time : Fri Nov 17 03:04:56 2006
     Raid Level : raid5
    Device Size : 244195904 (232.88 GiB 250.06 GB)
     Array Size : 1709371328 (1630.18 GiB 1750.40 GB)
   Raid Devices : 8
  Total Devices : 8
Preferred Minor : 0

    Update Time : Thu Nov 29 20:12:17 2007
          State : clean
 Active Devices : 6
Working Devices : 8
 Failed Devices : 2
  Spare Devices : 2
       Checksum : feeecf11 - correct
         Events : 0.729288

         Layout : left-symmetric
     Chunk Size : 64K

      Number   Major   Minor   RaidDevice State
this     1       8       17        1      active sync   /dev/sdb1

   0     0       8        1        0      active sync   /dev/sda1
   1     1       8       17        1      active sync   /dev/sdb1
   2     2       8       33        2      active sync   /dev/sdc1
   3     3       8       49        3      active sync   /dev/sdd1
   4     4       8       65        4      active sync   /dev/sde1
   5     5       8       81        5      active sync   /dev/sdf1
   6     6       0        0        6      faulty removed
   7     7       0        0        7      faulty removed
   8     8       8      113        8      spare   /dev/sdh1
   9     9       8       97        9      spare   /dev/sdg1

colossus:~# mdadm --examine /dev/sdc1
/dev/sdc1:
          Magic : a92b4efc
        Version : 00.90.03
           UUID : 4cebd437:d472d7d2:324fe832:66c35cef
  Creation Time : Fri Nov 17 03:04:56 2006
     Raid Level : raid5
    Device Size : 244195904 (232.88 GiB 250.06 GB)
     Array Size : 1709371328 (1630.18 GiB 1750.40 GB)
   Raid Devices : 8
  Total Devices : 8
Preferred Minor : 0

    Update Time : Thu Nov 29 20:12:17 2007
          State : clean
 Active Devices : 6
Working Devices : 8
 Failed Devices : 2
  Spare Devices : 2
       Checksum : feeecf23 - correct
         Events : 0.729288

         Layout : left-symmetric
     Chunk Size : 64K

      Number   Major   Minor   RaidDevice State
this     2       8       33        2      active sync   /dev/sdc1

   0     0       8        1        0      active sync   /dev/sda1
   1     1       8       17        1      active sync   /dev/sdb1
   2     2       8       33        2      active sync   /dev/sdc1
   3     3       8       49        3      active sync   /dev/sdd1
   4     4       8       65        4      active sync   /dev/sde1
   5     5       8       81        5      active sync   /dev/sdf1
   6     6       0        0        6      faulty removed
   7     7       0        0        7      faulty removed
   8     8       8      113        8      spare   /dev/sdh1
   9     9       8       97        9      spare   /dev/sdg1

colossus:~# mdadm --examine /dev/sdd1
/dev/sdd1:
          Magic : a92b4efc
        Version : 00.90.03
           UUID : 4cebd437:d472d7d2:324fe832:66c35cef
  Creation Time : Fri Nov 17 03:04:56 2006
     Raid Level : raid5
    Device Size : 244195904 (232.88 GiB 250.06 GB)
     Array Size : 1709371328 (1630.18 GiB 1750.40 GB)
   Raid Devices : 8
  Total Devices : 8
Preferred Minor : 0

    Update Time : Thu Nov 29 20:12:17 2007
          State : clean
 Active Devices : 6
Working Devices : 8
 Failed Devices : 2
  Spare Devices : 2
       Checksum : feeecf35 - correct
         Events : 0.729288

         Layout : left-symmetric
     Chunk Size : 64K

      Number   Major   Minor   RaidDevice State
this     3       8       49        3      active sync   /dev/sdd1

   0     0       8        1        0      active sync   /dev/sda1
   1     1       8       17        1      active sync   /dev/sdb1
   2     2       8       33        2      active sync   /dev/sdc1
   3     3       8       49        3      active sync   /dev/sdd1
   4     4       8       65        4      active sync   /dev/sde1
   5     5       8       81        5      active sync   /dev/sdf1
   6     6       0        0        6      faulty removed
   7     7       0        0        7      faulty removed
   8     8       8      113        8      spare   /dev/sdh1
   9     9       8       97        9      spare   /dev/sdg1

colossus:~# mdadm --examine /dev/sde1
/dev/sde1:
          Magic : a92b4efc
        Version : 00.90.03
           UUID : 4cebd437:d472d7d2:324fe832:66c35cef
  Creation Time : Fri Nov 17 03:04:56 2006
     Raid Level : raid5
    Device Size : 244195904 (232.88 GiB 250.06 GB)
     Array Size : 1709371328 (1630.18 GiB 1750.40 GB)
   Raid Devices : 8
  Total Devices : 8
Preferred Minor : 0

    Update Time : Thu Nov 29 20:12:17 2007
          State : clean
 Active Devices : 6
Working Devices : 8
 Failed Devices : 2
  Spare Devices : 2
       Checksum : feeecf47 - correct
         Events : 0.729288

         Layout : left-symmetric
     Chunk Size : 64K

      Number   Major   Minor   RaidDevice State
this     4       8       65        4      active sync   /dev/sde1

   0     0       8        1        0      active sync   /dev/sda1
   1     1       8       17        1      active sync   /dev/sdb1
   2     2       8       33        2      active sync   /dev/sdc1
   3     3       8       49        3      active sync   /dev/sdd1
   4     4       8       65        4      active sync   /dev/sde1
   5     5       8       81        5      active sync   /dev/sdf1
   6     6       0        0        6      faulty removed
   7     7       0        0        7      faulty removed
   8     8       8      113        8      spare   /dev/sdh1
   9     9       8       97        9      spare   /dev/sdg1

colossus:~# mdadm --examine /dev/sdf1
/dev/sdf1:
          Magic : a92b4efc
        Version : 00.90.03
           UUID : 4cebd437:d472d7d2:324fe832:66c35cef
  Creation Time : Fri Nov 17 03:04:56 2006
     Raid Level : raid5
    Device Size : 244195904 (232.88 GiB 250.06 GB)
     Array Size : 1709371328 (1630.18 GiB 1750.40 GB)
   Raid Devices : 8
  Total Devices : 8
Preferred Minor : 0

    Update Time : Thu Nov 29 20:12:17 2007
          State : clean
 Active Devices : 6
Working Devices : 8
 Failed Devices : 2
  Spare Devices : 2
       Checksum : feeecf59 - correct
         Events : 0.729288

         Layout : left-symmetric
     Chunk Size : 64K

      Number   Major   Minor   RaidDevice State
this     5       8       81        5      active sync   /dev/sdf1

   0     0       8        1        0      active sync   /dev/sda1
   1     1       8       17        1      active sync   /dev/sdb1
   2     2       8       33        2      active sync   /dev/sdc1
   3     3       8       49        3      active sync   /dev/sdd1
   4     4       8       65        4      active sync   /dev/sde1
   5     5       8       81        5      active sync   /dev/sdf1
   6     6       0        0        6      faulty removed
   7     7       0        0        7      faulty removed
   8     8       8      113        8      spare   /dev/sdh1
   9     9       8       97        9      spare   /dev/sdg1

colossus:~# mdadm --examine /dev/sdg1
/dev/sdg1:
          Magic : a92b4efc
        Version : 00.90.03
           UUID : 4cebd437:d472d7d2:324fe832:66c35cef
  Creation Time : Fri Nov 17 03:04:56 2006
     Raid Level : raid5
    Device Size : 244195904 (232.88 GiB 250.06 GB)
     Array Size : 1709371328 (1630.18 GiB 1750.40 GB)
   Raid Devices : 8
  Total Devices : 8
Preferred Minor : 0

    Update Time : Thu Nov 29 20:12:17 2007
          State : clean
 Active Devices : 6
Working Devices : 8
 Failed Devices : 2
  Spare Devices : 2
       Checksum : feeecf6b - correct
         Events : 0.729288

         Layout : left-symmetric
     Chunk Size : 64K

      Number   Major   Minor   RaidDevice State
this     9       8       97        9      spare   /dev/sdg1

   0     0       8        1        0      active sync   /dev/sda1
   1     1       8       17        1      active sync   /dev/sdb1
   2     2       8       33        2      active sync   /dev/sdc1
   3     3       8       49        3      active sync   /dev/sdd1
   4     4       8       65        4      active sync   /dev/sde1
   5     5       8       81        5      active sync   /dev/sdf1
   6     6       0        0        6      faulty removed
   7     7       0        0        7      faulty removed
   8     8       8      113        8      spare   /dev/sdh1
   9     9       8       97        9      spare   /dev/sdg1

colossus:~# mdadm --examine /dev/sdh1
/dev/sdh1:
          Magic : a92b4efc
        Version : 00.90.03
           UUID : 4cebd437:d472d7d2:324fe832:66c35cef
  Creation Time : Fri Nov 17 03:04:56 2006
     Raid Level : raid5
    Device Size : 244195904 (232.88 GiB 250.06 GB)
     Array Size : 1709371328 (1630.18 GiB 1750.40 GB)
   Raid Devices : 8
  Total Devices : 8
Preferred Minor : 0

    Update Time : Thu Nov 29 20:12:17 2007
          State : clean
 Active Devices : 6
Working Devices : 8
 Failed Devices : 2
  Spare Devices : 2
       Checksum : feeecf79 - correct
         Events : 0.729288

         Layout : left-symmetric
     Chunk Size : 64K

      Number   Major   Minor   RaidDevice State
this     8       8      113        8      spare   /dev/sdh1

   0     0       8        1        0      active sync   /dev/sda1
   1     1       8       17        1      active sync   /dev/sdb1
   2     2       8       33        2      active sync   /dev/sdc1
   3     3       8       49        3      active sync   /dev/sdd1
   4     4       8       65        4      active sync   /dev/sde1
   5     5       8       81        5      active sync   /dev/sdf1
   6     6       0        0        6      faulty removed
   7     7       0        0        7      faulty removed
   8     8       8      113        8      spare   /dev/sdh1
   9     9       8       97        9      spare   /dev/sdg1

So. Wie bekomme ich jetzt /dev/sdg1 wieder als "active sync" raiddevice 6 und /dev/sdh1 wieder als "active sync" raiddevice 7 ?

mdadm -r /dev/md0 /dev/sdg1 und solche spielchen funktionieren ja nicht, weil das array sich nicht starten lässt. :(

bitte ohne datenverlust. da sind 1400gb sachen drauf und die daten auf den platten sind OK.
.
.
.
EDIT (autom. Beitragszusammenführung) :
.
ok.

habs grad mit nem mdadm --stop /dev/md0 und anschließendem neuassemblen mit den bestehenden laufwerken und --assume-clean probiert. raid läuft, platten sind am richtigen fleck und fsck rattert sich durch...
 
Zuletzt bearbeitet:
Anmelden, um zu antworten.

Ähnliche Themen

Keine grafische Oberfläche (Debian Installation)
Keine grafische Oberfläche (Debian Installation): Hallo zusammen, vorne weg: Ich bin Linux-Neuling und hoffe, hier im richtigen Forenbereich zu schreiben, falls nicht, bitte verschieben. Bisher habe ich...

Raid5 spare nach rebuild "verschwunden"?
Raid5 spare nach rebuild "verschwunden"?: Moin hätte da ne Frage die für Leute die sich damit auskennen wohl recht einfach zu beantworten sein sollte, allerdings spiele ich gerade das erste mal mit...

Creative Labs SoundBlaster Audigy 2 ZS unter Debian / Kernel 3.16
Creative Labs SoundBlaster Audigy 2 ZS unter Debian / Kernel 3.16: Hallo zusammen Beim verwendeten Gerät handelt es sich um eine Sun Ultra 45, also SPARC-Plattform. Die Karte wird angezeigt bei den Audio-Einstellungen...

SD-Karte kaputt?
SD-Karte kaputt?: Hallo, meine SD-Karte spinnt und dmesg liefert Fehlermeldungen. Ist die SD-Karte kaputt, oder ist da was mit FAT falsch? Wie kann ich die SD-Karte...

CentOS 6 - Kernel crashes mit 2.6.32-573.*
CentOS 6 - Kernel crashes mit 2.6.32-573.*: Hallo zusammen, nach den letzten beiden Kernel Updates auf kernel-2.6.32-573.1.1.el6 bzw. kernel-2.6.32-573.3.1.el6 bekomme ich mit diesen beim Booten...

Neueste Themen

Zurück
Oben