Пересчёт RAID 6— LinuxForum.Fans

18.11.2012 18:12 · отредактировано #285828

Здравствуйте уважаемые коллеги. Дано RAID 6 из 5 по 2 Тб, добавили ещё 2 по 2. То, что пересчёт займёт время знали, и потому добавляли в выходные, но на данный момент всего 30 % и это внушает опасения, ибо завтра понедельник. Есть у кого-нибудь опыт? Сколько это может отнять времени? По моим расчётам аж 60 часов... но это много. ОС Debian. Диск данными забит до отказа. ЦПУ больше чем на 15 % даже не грузится.

19.11.2012 11:05 #285927

ну а что же вы хотели? 14ТБ пока засинкается, пока суммы посчитает. +масив в raid 6 не очень производительный. надо расслабиться и ждать.

19.11.2012 13:08 #285944

Спасибо. Ещё вопрос.

text

# mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Mon Nov 14 10:50:56 2011
     Raid Level : raid6
     Array Size : 5860531200 (5589.04 GiB 6001.18 GB)
  Used Dev Size : 1953510400 (1863.01 GiB 2000.39 GB)
   Raid Devices : 7
  Total Devices : 7
    Persistence : Superblock is persistent
    Update Time : Mon Nov 19 13:05:20 2012
          State : clean, recovering
 Active Devices : 7
Working Devices : 7
 Failed Devices : 0
  Spare Devices : 0
         Layout : left-symmetric
     Chunk Size : 512K
 Reshape Status : 58% complete
  Delta Devices : 2, (5->7)
           Name : tonas:0  (local to host tonas)
           UUID : 287f64dd:11d67ba0:6387d98a:671871f1
         Events : 26436
    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       97        1      active sync   /dev/sdg1
       2       8       33        2      active sync   /dev/sdc1
       3       8       49        3      active sync   /dev/sdd1
       4       8       65        4      active sync   /dev/sde1
       6       8      112        5      active sync   /dev/sdh
       5       8       80        6      active sync   /dev/sdf

Новые диски без цифр. Они появятся после расширения файловой системы? Заранее не разбивал, в доках этого не было написано, я и не стал. Расширял как здесь http://www.ashep.org/2012/programmnyj-raid-v-linux-rasshirenie-massiva/

19.11.2012 15:24 #285958

"Сергей В." написал:
Они появятся после расширения файловой системы?

нет, надо было сделать копию партиции диска которые есть в рейде на ваши диски

20.11.2012 09:45 #286079

"i2ks" написал:
нет, надо было сделать копию партиции диска которые есть в рейде на ваши диски

За ответ спасибо. А можно переформулировать? Вообще не понял, и не только я.

20.11.2012 09:50 · отредактировано #286081

text

resize2fs /dev/md0p1
resize2fs 1.41.12 (17-May-2010)
The filesystem is already 1465132791 blocks long.  Nothing to do!

Приехали.

Как оказалось raid сделан не так как той в статье и надо было собирать не md0 а md0d1 (ну это я так понял), короче...

text

mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Mon Nov 14 10:50:56 2011
     Raid Level : raid6
     Array Size : 9767552000 (9315.06 GiB 10001.97 GB)
  Used Dev Size : 1953510400 (1863.01 GiB 2000.39 GB)
   Raid Devices : 7
  Total Devices : 7
    Persistence : Superblock is persistent
    Update Time : Tue Nov 20 09:48:42 2012
          State : clean
 Active Devices : 7
Working Devices : 7
 Failed Devices : 0
  Spare Devices : 0
         Layout : left-symmetric
     Chunk Size : 512K
           Name : tonas:0  (local to host tonas)
           UUID : 287f64dd:11d67ba0:6387d98a:671871f1
         Events : 35008
    Number   Major   Minor   RaidDevice State
       0       8       81        0      active sync   /dev/sdf1
       1       8       65        1      active sync   /dev/sde1
       2       8       97        2      active sync   /dev/sdg1
       3       8       17        3      active sync   /dev/sdb1
       4       8       33        4      active sync   /dev/sdc1
       6       8      112        5      active sync   /dev/sdh
       5       8       48        6      active sync   /dev/sdd

text

mdadm --detail /dev/md0p1
/dev/md0p1:
        Version : 1.2
  Creation Time : Mon Nov 14 10:50:56 2011
     Raid Level : raid6
     Array Size : 5860531166 (5589.04 GiB 6001.18 GB)
  Used Dev Size : 1953510400 (1863.01 GiB 2000.39 GB)
   Raid Devices : 7
  Total Devices : 7
    Persistence : Superblock is persistent
    Update Time : Tue Nov 20 09:02:24 2012
          State : clean
 Active Devices : 7
Working Devices : 7
 Failed Devices : 0
  Spare Devices : 0
         Layout : left-symmetric
     Chunk Size : 512K
           Name : tonas:0  (local to host tonas)
           UUID : 287f64dd:11d67ba0:6387d98a:671871f1
         Events : 35008
    Number   Major   Minor   RaidDevice State
       0       8       81        0      active sync   /dev/sdf1
       1       8       65        1      active sync   /dev/sde1
       2       8       97        2      active sync   /dev/sdg1
       3       8       17        3      active sync   /dev/sdb1
       4       8       33        4      active sync   /dev/sdc1
       6       8      112        5      active sync   /dev/sdh
       5       8       48        6      active sync   /dev/sdd

Вопрос всего один - как всё исправить?

20.11.2012 10:01 #286084

"Сергей В." написал:
За ответ спасибо. А можно переформулировать? Вообще не понял, и не только я.

надо было сделать как то так:
sfdisk -d /dev/sdb | sfdisk /dev/sdh
sfdisk -d /dev/sdb | sfdisk /dev/sdf
а потом:
mdadm --manage /dev/md0 --add /dev/sdh1
mdadm --manage /dev/md0 --add /dev/sdf1

если конечно же изначально все было сделано правильно.

"Сергей В." написал:
Приехали.

fdisk -l покажи:

20.11.2012 10:09 #286085

"i2ks" написал:
fdisk -l покажи:

text

fdisk -l
Disk /dev/sda: 40.0 GB, 40019582464 bytes
255 heads, 63 sectors/track, 4865 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0002a323
   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1        4663    37446656   83  Linux
/dev/sda2            4663        4866     1632257    5  Extended
/dev/sda5            4663        4866     1632256   82  Linux swap / Solaris
Disk /dev/sdb: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000498f3
   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1      243201  1953512001   fd  Linux raid autodetect
Disk /dev/sdc: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00038618
   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1               1      243201  1953512001   fd  Linux raid autodetect
Disk /dev/sdd: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00000000
Disk /dev/sdd doesn't contain a valid partition table
Disk /dev/sde: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000ec176
   Device Boot      Start         End      Blocks   Id  System
/dev/sde1               1      243201  1953512001   fd  Linux raid autodetect
Disk /dev/sdf: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0002a726
   Device Boot      Start         End      Blocks   Id  System
/dev/sdf1               1      243201  1953512001   fd  Linux raid autodetect
Disk /dev/sdh: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00000000
Disk /dev/sdh doesn't contain a valid partition table
Disk /dev/sdg: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0xae2ddf69
   Device Boot      Start         End      Blocks   Id  System
/dev/sdg1               1      243201  1953512001   fd  Linux raid autodetect
WARNING: GPT (GUID Partition Table) detected on '/dev/md0'! The util fdisk doesn't support GPT. Use GNU Parted.
Disk /dev/md0: 10002.0 GB, 10001973248000 bytes
255 heads, 63 sectors/track, 1216003 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 524288 bytes / 2621440 bytes
Disk identifier: 0x00000000
    Device Boot      Start         End      Blocks   Id  System
/dev/md0p1               1      267350  2147483647+  ee  GPT
Partition 1 does not start on physical sector boundary.

20.11.2012 10:29 #286086

может я что то путаю конечно или не понимаю.
но я бы сделал так:
вывел бы эти 2 новых диска из под рейда:
1) пометил бы диск как плохой:
mdadm --manage /dev/md0 --fail /dev/sdX
2) а потом вывел бы его из под рейда:
mdadm --manage /dev/md0 --remove /dev/sdX
обратно возвращаем:
далее сделал бы так:
1) sfdisk -d /dev/sdb | sfdisk /dev/sdX
2) mdadm --manage /dev/md0 --add /dev/sdX1

возможно это не кошерный вариант, но делал так для raid10.

20.11.2012 10:37 · отредактировано #286087

Самбу перед этим положить? И рэйд отмонтровать?

20.11.2012 10:57 #286089

"Сергей В." написал:
Самбу перед этим положить? И рэйд отмонтровать?

Нет, не обязательно.
Вы же отключает диск, помечаете его как failed, и выводите из под рейда, т.е. имитация сбойного диска, который требуется под замену.

20.11.2012 11:02 #286090

Уж простите за глуповатые вопросы, просто ошибку больше повторить не хочется.

То есть,

"i2ks" написал:
1) пометил бы диск как плохой:
mdadm --manage /dev/md0 --fail /dev/sdX
2) а потом вывел бы его из под рейда:
mdadm --manage /dev/md0 --remove /dev/sdX
обратно возвращаем:
далее сделал бы так:
1) sfdisk -d /dev/sdb | sfdisk /dev/sdX

Можно сделать на ходу, и только

2) mdadm --manage /dev/md0 --add /dev/sdX1

Лучше исключить возможность записи и делать это ночью. Так? Просто это боевой NAS

20.11.2012 11:07 · отредактировано #286092

"Сергей В." написал:
Просто это боевой NAS

Если у этого NAS есть веб морда, то лучше делать через нее, иначе потом будет бардак в системе. (наблюдал подобное на FreeNAS)

"Сергей В." написал:
Лучше исключить возможность записи и делать это ночью. Так?

Можно и ночью. :-)

"Сергей В." написал:
Можно сделать на ходу, и только

Как показала практика можно и так и так. Если есть возможность, то лучше делать на "холодную".

20.11.2012 11:18 #286095

Морды нет, только консоль.

Я просто не пойму, если я сейчас это буду делать, то как копировать раздел если на него в этот момент будет идти запись? Что он будет копировать то?
Ну а mdadm --manage /dev/md0 --add /dev/sdX1 в общем не важно, только скорее всего будут проблемы с доступом, а raid всё равно пересчитается. Я верно мыслю?

20.11.2012 11:58 #286102

Запустил. Вроде шара доступна. Господи помилуй... А на будущее буду больше читать перед такими операциями.. спасибо за помощь, будем ждать окончания

20.11.2012 12:01 #286103

"Сергей В." написал:
Запустил. Вроде шара доступна. Господи помилуй... А на будущее буду больше читать перед такими операциями.. спасибо за помощь, будем ждать окончания

разметку диска покажи что ли, у тебя должны появиться разделы /dev/sdh1 на новых дисках и т.д.

20.11.2012 13:36 #286122

Появились

20.11.2012 13:40 #286123

text

mdadm --detail /dev/md0p1
/dev/md0p1:
        Version : 1.2
  Creation Time : Mon Nov 14 10:50:56 2011
     Raid Level : raid6
     Array Size : 5860531166 (5589.04 GiB 6001.18 GB)
  Used Dev Size : 1953510400 (1863.01 GiB 2000.39 GB)
   Raid Devices : 7
  Total Devices : 7
    Persistence : Superblock is persistent
    Update Time : Tue Nov 20 13:37:12 2012
          State : clean, degraded, recovering
 Active Devices : 5
Working Devices : 7
 Failed Devices : 0
  Spare Devices : 2
         Layout : left-symmetric
     Chunk Size : 512K
 Rebuild Status : 6% complete
           Name : tonas:0  (local to host tonas)
           UUID : 287f64dd:11d67ba0:6387d98a:671871f1
         Events : 39956
    Number   Major   Minor   RaidDevice State
       0       8       81        0      active sync   /dev/sdf1
       1       8       65        1      active sync   /dev/sde1
       2       8       97        2      active sync   /dev/sdg1
       3       8       17        3      active sync   /dev/sdb1
       4       8       33        4      active sync   /dev/sdc1
       7       8       49        5      spare rebuilding   /dev/sdd1
       6       0        0        6      removed
       8       8      113        -      spare   /dev/sdh1

Я так понимаю, sdh1 spare пока первый не расчитается?

20.11.2012 13:52 · отредактировано #286126

"Сергей В." написал:
Я так понимаю, sdh1 spare пока первый не расчитается?

Вообще spare device - диск будет автоматом подцепляться если какой из либо других дисков вдруг умрет, ну и соответственно все потом встанет на место. Дождись ребуилдинга.
Почитай еще вот здесь

20.11.2012 14:05 #286129

Спасибо, будем ждать.