LinuxForum.Fans
Тема

Вопрос по рейду

Автор: DFS 13 сообщений 2393 просмотров
#305089

Добрый день!

Имеется сервер арендованный в Hetzner, соответственно разбивка дисков сделана ими и физического доступа нет

Имеется следующее:

2 физических диска разбиты на 4 раздела каждый
из этих разделов собраны рейды

/dev/md1 = это raid1 из /dev/sda1 и /dev/sda2
/dev/md2 = это raid1 из /dev/sda2 и /dev/sda2
/dev/md3 = это raid1 из /dev/sda3 и /dev/sda3
/dev/md4 = это raid1 из /dev/sda4 и /dev/sda4

Так как raid1 это зеркалирование, то логично думать что количество данных на обоих дисках должно быть идентично?
однако с недавних пор имеем следующую картину




подскажите как так может быть

#305091
"DFS" написал:
/dev/md1 = это raid1 из /dev/sda1 и /dev/sda2

обычно делают так: /dev/md1 из /dev/sda1 и /dev/sdb1 , а это у вас получается один диск /dev/sda, и нахрена в рейд загонять? Оо
Хотя при этом на картинке sda и sdb.
Ну тогда fdisk -l покажите что ли, или вывод mdstat

#305094

Извиняюсь, ошибся

да, там /dev/sdaX и /dev/sdbX

выводы:

text

root@ms-str:/var/www/admin/data# fdisk -l

WARNING: GPT (GUID Partition Table) detected on '/dev/sdb'! The util fdisk doesn't support GPT. Use GNU Parted.

Disk /dev/sdb: 3000.6 GB, 3000592982016 bytes 256 heads, 63 sectors/track, 363376 cylinders Units = cylinders of 16128 * 512 = 8257536 bytes Sector size (logical/physical): 512 bytes / 4096 bytes I/O size (minimum/optimal): 4096 bytes / 4096 bytes Disk identifier: 0x00000000

Device Boot Start End Blocks Id System /dev/sdb1 1 266306 2147483647+ ee GPT Partition 1 does not start on physical sector boundary.

WARNING: GPT (GUID Partition Table) detected on '/dev/sda'! The util fdisk doesn't support GPT. Use GNU Parted.

Disk /dev/sda: 3000.6 GB, 3000592982016 bytes 256 heads, 63 sectors/track, 363376 cylinders Units = cylinders of 16128 * 512 = 8257536 bytes Sector size (logical/physical): 512 bytes / 4096 bytes I/O size (minimum/optimal): 4096 bytes / 4096 bytes Disk identifier: 0x00000000

Device Boot Start End Blocks Id System /dev/sda1 1 266306 2147483647+ ee GPT Partition 1 does not start on physical sector boundary.

Disk /dev/md0: 34.4 GB, 34358616064 bytes 2 heads, 4 sectors/track, 8388334 cylinders Units = cylinders of 8 * 512 = 4096 bytes Sector size (logical/physical): 512 bytes / 4096 bytes I/O size (minimum/optimal): 4096 bytes / 4096 bytes Disk identifier: 0x00000000

Disk /dev/md0 doesn't contain a valid partition table

Disk /dev/md1: 536 MB, 536858624 bytes 2 heads, 4 sectors/track, 131069 cylinders Units = cylinders of 8 * 512 = 4096 bytes Sector size (logical/physical): 512 bytes / 4096 bytes I/O size (minimum/optimal): 4096 bytes / 4096 bytes Disk identifier: 0x00000000

Disk /dev/md1 doesn't contain a valid partition table

Disk /dev/md2: 1099.5 GB, 1099510439936 bytes 2 heads, 4 sectors/track, 268435166 cylinders Units = cylinders of 8 * 512 = 4096 bytes Sector size (logical/physical): 512 bytes / 4096 bytes I/O size (minimum/optimal): 4096 bytes / 4096 bytes Disk identifier: 0x00000000

Disk /dev/md2 doesn't contain a valid partition table

Disk /dev/md3: 1866.2 GB, 1866181442560 bytes 2 heads, 4 sectors/track, 455610703 cylinders Units = cylinders of 8 * 512 = 4096 bytes Sector size (logical/physical): 512 bytes / 4096 bytes I/O size (minimum/optimal): 4096 bytes / 4096 bytes Disk identifier: 0x00000000

Disk /dev/md3 doesn't contain a valid partition table

#305099

cat /proc/mdstat
или так:
mdadm --detail --scan --verbose
или
mdadm --detail /dev/mdX где X ваш md1 и т.д.
и
df -h для наглядности :-)

#305101
text

root@ms-str:/var/www/admin/data# cat /proc/mdstat
Personalities : [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md3 : active raid1 sda4[0] sdb4[1]
      1822442815 blocks super 1.2 [2/2] [UU]

md2 : active raid1 sda3[0] sdb3[1] 1073740664 blocks super 1.2 [2/2] [UU]

md1 : active raid1 sda2[0] sdb2[1] 524276 blocks super 1.2 [2/2] [UU]

md0 : active raid1 sda1[0] sdb1[1] 33553336 blocks super 1.2 [2/2] [UU]

unused devices: <none>

text

root@ms-str:/var/www/admin/data# df -h
Файловая система      Разм  Исп  Дост  Исп% смонтирована на
/dev/md2             1016G   34G  932G   4% /
tmpfs                 7,9G     0  7,9G   0% /lib/init/rw
udev                  7,9G  164K  7,9G   1% /dev
tmpfs                 7,9G     0  7,9G   0% /dev/shm
/dev/md1              496M   38M  434M   8% /boot
/dev/md3              1,7T  102G  1,6T   7% /home

/dev/md0 это своп

#305103
"i2ks" написал:
mdadm --detail /dev/mdX где X ваш md1 и т.д.

покажи.

#305105
text
root@ms-str:/var/www/admin/data# mdadm --detail /dev/md1
/dev/md1:
        Version : 1.2
  Creation Time : Mon Apr 23 14:32:12 2012
     Raid Level : raid1
     Array Size : 524276 (512.07 MiB 536.86 MB)
  Used Dev Size : 524276 (512.07 MiB 536.86 MB)
   Raid Devices : 2
  Total Devices : 2
    Persistence : Superblock is persistent

Update Time : Tue Feb 26 11:37:36 2013 State : clean Active Devices : 2 Working Devices : 2 Failed Devices : 0 Spare Devices : 0

Name : rescue:1 UUID : 2967814f:e473a650:6c39da80:eb265745 Events : 386

Number Major Minor RaidDevice State 0 8 2 0 active sync /dev/sda2 1 8 18 1 active sync /dev/sdb2

text
root@ms-str:/var/www/admin/data# mdadm --detail /dev/md2
/dev/md2:
        Version : 1.2
  Creation Time : Mon Apr 23 14:32:12 2012
     Raid Level : raid1
     Array Size : 1073740664 (1024.00 GiB 1099.51 GB)
  Used Dev Size : 1073740664 (1024.00 GiB 1099.51 GB)
   Raid Devices : 2
  Total Devices : 2
    Persistence : Superblock is persistent

Update Time : Tue Feb 26 13:35:43 2013 State : active Active Devices : 2 Working Devices : 2 Failed Devices : 0 Spare Devices : 0

Name : rescue:2 UUID : 948daed1:fcd0b6b5:28ef3f86:ac2b88e9 Events : 407

Number Major Minor RaidDevice State 0 8 3 0 active sync /dev/sda3 1 8 19 1 active sync /dev/sdb3

text
root@ms-str:/var/www/admin/data# mdadm --detail /dev/md3
/dev/md3:
        Version : 1.2
  Creation Time : Mon Apr 23 14:32:12 2012
     Raid Level : raid1
     Array Size : 1822442815 (1738.02 GiB 1866.18 GB)
  Used Dev Size : 1822442815 (1738.02 GiB 1866.18 GB)
   Raid Devices : 2
  Total Devices : 2
    Persistence : Superblock is persistent

Update Time : Tue Feb 26 12:24:27 2013 State : clean Active Devices : 2 Working Devices : 2 Failed Devices : 0 Spare Devices : 0

Name : rescue:3 UUID : 2ffa7df6:3d5ca1a4:dcb0c290:9323ec77 Events : 386

Number Major Minor RaidDevice State 0 8 4 0 active sync /dev/sda4 1 8 20 1 active sync /dev/sdb4

text
root@ms-str:/var/www/admin/data# mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Mon Apr 23 14:32:12 2012
     Raid Level : raid1
     Array Size : 33553336 (32.00 GiB 34.36 GB)
  Used Dev Size : 33553336 (32.00 GiB 34.36 GB)
   Raid Devices : 2
  Total Devices : 2
    Persistence : Superblock is persistent

Update Time : Tue Feb 26 11:35:03 2013 State : clean Active Devices : 2 Working Devices : 2 Failed Devices : 0 Spare Devices : 0

Name : rescue:0 UUID : d2097cde:57f67e8d:9245ed93:ab292ff0 Events : 274

Number Major Minor RaidDevice State 0 8 1 0 active sync /dev/sda1 1 8 17 1 active sync /dev/sdb1

#305116
"DFS" написал:
Так как raid1 это зеркалирование, то логично думать что количество данных на обоих дисках должно быть идентично?
однако с недавних пор имеем следующую картину

Все нормально у вас, в данном случае просто нагрузка на sdb больше чем на sda. Т.е. переводить надо так:
Информация об использовании диска /dev/sdX за неделю, т.е. о его нагрузки. Смотри через iostat или sar.

P.S. если не критично:
Для проверки, можно вывести из рейда один из дисков, если конечно же сервер не продукционный, смонтировать его как простое устройство и просто подсчитать размер. Аналогично сделать со 2м диском. И вернуть обратно в рейд. Если данных много, то ребилд будет порядка суток длиться.

#305121

Сервер в работе, не вывести...

А почему может так нагрузка различаться?

#305125
"DFS" написал:
А почему может так нагрузка различаться?

Может контроллер может еще что, может скоро этот диск умрет. Посмотри через iostat или sar на нагрузку дисков. Обычно один диск простаивает(слейв), нагрузка на него тогда когда идет запись на мастер диск + потом синхронизация между ними. В общем надо как то углубиться в данный вопрос. А я лишь написал поверхностно. Возможно кто то еще подскажет что нибудь :-)

#305132

Вот еще обрати внимание на:
State : clean
из доки:

text

clean - no pending writes, but otherwise active.
    When written to inactive array, starts without resync
    If a write request arrives then
      if metadata is known, mark 'dirty' and switch to 'active'.
      if not known, block and switch to write-pending
    If written to an active array that has pending writes, then fails.
active
    fully active: IO and resync can be happening.
    When written to inactive array, starts with resync

http://www.kernel.org/doc/Documentation/md.txt

#305137

хм, да они все clean кроме md2
получается они просто висят бесхозно там

#305144
"DFS" написал:
висят бесхозно там

ну почти :-)

Войдите или зарегистрируйтесь, чтобы ответить.