RAID5: отрезано от надежных HDD

11.03.2013 14:36 · отредактировано #308027

[оффтоп]
в очередной раз задумался о том, что жёстким дискам доверять нельзя... задумался о 5-м raid'е
как он процессор кушает? 3-го пенька(847MHz) хватит?
всего 2-3 клиента по 100Мбит сети: торрент/самба/ftp/ssh(sftp).... в общей сложности загрузка ~25-50%... большая часть идёт на торрент....
диски подключены через дешёвый саташный PCI контроллер (SiI 3114). скорей всего будет второй такого же класса...

собственно диски:

text

goblin-server alexander # for i in /dev/sd{b,c,d,e}; do smartctl -a $i |grep  'Device Model\|User Capacity'; done
Device Model:     WDC WD15EARS-00Z5B1
User Capacity:    1 500 301 910 016 bytes [1,50 TB]
Device Model:     SAMSUNG HD154UI
User Capacity:    1 500 300 828 160 bytes [1,50 TB]
Device Model:     ST2000DL003-9VT166
User Capacity:    2 000 398 934 016 bytes [2,00 TB]
Device Model:     WDC WD20EFRX-68AX9N0
User Capacity:    2 000 398 934 016 bytes [2,00 TB]

11.03.2013 14:42 · отредактировано #308029

"Fat-Zer⇓" написал:
диски подключены через дешёвый саташный PCI контроллер (SiI 3114)

И на этом все сдохнет. По личном опыту скажу, то что контролер так себе, не ахти.

11.03.2013 14:49 #308031

Да ну его этот 5-ый, оперативки побольше zfs и зеркало.

11.03.2013 14:54 #308032

"zenon⇓" написал:
оперативки побольше

смысл от объема ОЗУ, если дохлый контроллер.

11.03.2013 15:06 #308035

"i2ks⇓" написал:
И на этом все сдохнет. По личном опыту скажу, то что контролер так себе, не ахти.

сейчас pvmove закончится... попробую, как будет параллельно читаться... но скорость меня меньше волнует, чем ахтунг при отказе диска... если конечно под ноль тормозить не начнёт...

"zenon⇓" написал:
Да ну его этот 5-ый, оперативки побольше zfs и зеркало.

к этому я не готов... да и больше 512-ти мать не держит... да и для избранного зеркало можно с обычным lvm'ом... а всё подряд в него пихать жаба душит...

11.03.2013 15:40 #308040

"Fat-Zer⇓" написал:
попробую, как будет параллельно читаться...

text

goblin-server tmp # for i in /dev/sd{b,c,d,e}; do dd if=$i of=/dev/null bs=4k count=$((1024*1024/4)); done
262144+0 записей считано
262144+0 записей написано
 скопировано 1073741824 байта (1,1 GB), 15,609 c, 68,8 MB/c
262144+0 записей считано
262144+0 записей написано
 скопировано 1073741824 байта (1,1 GB), 22,9345 c, 46,8 MB/c
262144+0 записей считано
262144+0 записей написано
 скопировано 1073741824 байта (1,1 GB), 14,8411 c, 72,3 MB/c
262144+0 записей считано
262144+0 записей написано
 скопировано 1073741824 байта (1,1 GB), 15,3366 c, 70,0 MB/c
goblin-server tmp # for i in /dev/sd{b,c,d,e}; do (dd if=$i of=/dev/null bs=4k count=$((1024*1024/4)) && echo $i )& sleep 1; done; wait
[1] 15805
[2] 15808
[3] 15811
[4] 15814
262144+0 записей считано
262144+0 записей написано
 скопировано 1073741824 байта (1,1 GB), 45,3346 c, 23,7 MB/c
/dev/sdb
[1]   Done                    ( dd if=$i of=/dev/null bs=4k count=$((1024*1024/4)) && echo $i )
262144+0 записей считано
262144+0 записей написано
 скопировано 1073741824 байта (1,1 GB), 47,5274 c, 22,6 MB/c
/dev/sdd
262144+0 записей считано
262144+0 записей написано
 скопировано 1073741824 байта (1,1 GB), 47,8938 c, 22,4 MB/c
/dev/sde
262144+0 записей считано
262144+0 записей написано
 скопировано 1073741824 байта (1,1 GB), 66,6857 c, 16,1 MB/c
/dev/sdc
[2]   Done                    ( dd if=$i of=/dev/null bs=4k count=$((1024*1024/4)) && echo $i )
[3]-  Done                    ( dd if=$i of=/dev/null bs=4k count=$((1024*1024/4)) && echo $i )
[4]+  Done                    ( dd if=$i of=/dev/null bs=4k count=$((1024*1024/4)) && echo $i )

да.... и правда контроллер сильно тормозит...

11.03.2013 15:49 #308043

"Fat-Zer⇓" написал:
скопировано 1073741824 байта (1,1 GB), 15,3366 c, 70,0 MB/c

Он и без распараллеливания медленно читает.

11.03.2013 22:56 #308101

"-=Serj=-⇓" написал:
Он и без распараллеливания медленно читает.

этому тесту доверять нельзя:

text


goblin-server tmp # for i in /dev/sd{b,c,d,e}; do time dd if=$i of=/dev/null bs=4k count=$((1024*1024)); done; wait
1048576+0 записей считано
1048576+0 записей написано
 скопировано 4294967296 байт (4,3 GB), 53,0564 c, 81,0 MB/c
real    0m53.321s
user    0m0.684s
sys     0m27.410s
1048576+0 записей считано
1048576+0 записей написано
 скопировано 4294967296 байт (4,3 GB), 71,1936 c, 60,3 MB/c
real    1m11.439s
user    0m0.700s
sys     0m57.864s
1048576+0 записей считано
1048576+0 записей написано
 скопировано 4294967296 байт (4,3 GB), 52,7939 c, 81,4 MB/c
real    0m53.034s
user    0m0.800s
sys     0m27.178s
1048576+0 записей считано
1048576+0 записей написано
 скопировано 4294967296 байт (4,3 GB), 53,1558 c, 80,8 MB/c
real    0m53.411s
user    0m0.700s
sys     0m27.486s
goblin-server tmp # for i in /dev/sd{b,c,d,e}; do (time dd if=$i of=/dev/null bs=4k count=$((1024*1024)) && echo $i done) & sleep 1; done; wait
[1] 16036
[2] 16039
[3] 16042
[4] 16045
1048576+0 записей считано
1048576+0 записей написано
 скопировано 4294967296 байт (4,3 GB), 160,641 c, 26,7 MB/c
real    2m41.013s
user    0m0.780s
sys     0m31.702s
/dev/sdb done
[1]   Done                    ( time dd if=$i of=/dev/null bs=4k count=$((1024*1024)) && echo $i done )
1048576+0 записей считано
1048576+0 записей написано
 скопировано 4294967296 байт (4,3 GB), 161,369 c, 26,6 MB/c
real    2m41.402s
user    0m0.660s
sys     0m31.754s
/dev/sdd done
1048576+0 записей считано
1048576+0 записей написано
 скопировано 4294967296 байт (4,3 GB), 160,864 c, 26,7 MB/c
real    2m40.886s
user    0m0.648s
sys     0m31.794s
/dev/sde done
1048576+0 записей считано
1048576+0 записей написано
 скопировано 4294967296 байт (4,3 GB), 195,162 c, 22,0 MB/c
real    3m15.187s
user    0m0.688s
sys     0m58.488s
/dev/sdc done
[2]   Done                    ( time dd if=$i of=/dev/null bs=4k count=$((1024*1024)) && echo $i done )
[3]-  Done                    ( time dd if=$i of=/dev/null bs=4k count=$((1024*1024)) && echo $i done )
[4]+  Done                    ( time dd if=$i of=/dev/null bs=4k count=$((1024*1024)) && echo $i done )

процессор на столько слабый, что тоже является узким местом... реальная скорость дисков и контроллера в режиме «по-одному» больше раза в 2... так что это обычный SATA-150 получается...
что будет в параллельном режиме сказать сложно... думаю в итоге по задержке дискав raid будет раза в 1,5-2 производительней....
вопрос только хватит ли на это ресурсов ЦП?

собственно я могу без особых проблем попробовать: диски у меня разбиты на куски по 512G, так что я без проблем выделю первые 2 ГБ под raid..

11.03.2013 23:07 #308104

"Fat-Zer⇓" написал:
процессор на столько слабый, что тоже является узким местом...

"Fat-Zer⇓" написал:
вопрос только хватит ли на это ресурсов ЦП?

Если их и без рейда не хватает...

11.03.2013 23:24 #308108

"-=Serj=-⇓" написал:
Если их и без рейда не хватает...

тормоза идут при копировании в userspace... в raid'е оверхед будет только на контрольные суммы по идее...