Непонятность с аппаратным RAID на RFR-17.1

dyasny написал:

ради интереса, что у вас там в /proc/scsi/scsi ? ну не похоже это на настоящий рейд, типичный фейк по поведению.

Сейчас там стоит CentOS.
На одном сервере (два диска в RAID стоят, один, третий, отдельно)
[console]
$ cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 00 Id: 00 Lun: 00
Vendor: ATA Model: ST3500320NS Rev: SN06
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi1 Channel: 00 Id: 00 Lun: 00
Vendor: ATA Model: ST3500320NS Rev: SN06
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi2 Channel: 00 Id: 00 Lun: 00
Vendor: ATA Model: ST500DM002-1BD14 Rev: KC45
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi3 Channel: 00 Id: 00 Lun: 00
Vendor: Optiarc Model: DVD RW AD-7700S Rev: 1.03
Type: CD-ROM ANSI SCSI revision: 05
[/console]
На проблемной паре:
[console] cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 00 Id: 00 Lun: 00
Vendor: ATA Model: ST3500514NS Rev: SN12
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi1 Channel: 00 Id: 00 Lun: 00
Vendor: ATA Model: WDC WD5003ABYX-0 Rev: 01.0
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi2 Channel: 00 Id: 00 Lun: 00
Vendor: Optiarc Model: DVD RW AD-7700S Rev: 1.03
Type: CD-ROM ANSI SCSI revision: 05
[/console]

Значит интел на своих платформах фейки устраивает? И при загрузке компа (когда БИОС инициализируется) так явственно пишет про RAID-овость дисков, что массив стоит у него в онлайне... Три года с этими серверами жил и всегда думал, что там честный RAID.

"Cruiser78" написал:

Значит интел на своих платформах фейки устраивает? И при загрузке компа (когда БИОС инициализируется) так явственно пишет про RAID-овость дисков, что массив стоит у него в онлайне... Три года с этими серверами жил и всегда думал, что там честный RAID.

это точно фейк, иначе ядро бы увидело массив а не отдельные диски. фейк, в принципе, отличается тем, что настраивается как настоящий, но пашет через драйвер хавая ресурсы системы не хуже содтового, в то время как настоящий имеет свой процессор и память

dyasny написал:

это точно фейк, иначе ядро бы увидело массив а не отдельные диски. фейк, в принципе, отличается тем, что настраивается как настоящий, но пашет через драйвер хавая ресурсы системы не хуже содтового, в то время как настоящий имеет свой процессор и память

Ну, фейк, так фейк. Беда не в этом. Беда в том, что до 14-й федоры оси спокойно этот фейк переваривали. И у меня даже и мысли не возникало об фейковости. А вот решил поставить федору 17 (с прицелом на кластер, на pacemaker, на стенде всё замечательно прокачалось) и обломался. Половину праздников (планировал неспешную работу) - псу под хвост... Наплясался на этой грабле. И хорошо, что заметить успел, что система живет на не на 2-х, а только (не хочет А-17 на фековом райде работать, игнорирует его) на одном диске . Они у меня летят быстро, живут года полтора, от силы - два. Потом замена по гарантии :-). И как бы я на ту замену вышел, когда диск рабочий колом бы встал со всеми данными? Ну, данные ладно, они на drbd, на glusterfs'e, но вот весь приклад.... Все настройки - псу под хвост. А где сервер? А нетути...
Ладно, успел весь основной функционал поднять и протестировать. Но устравивать такие гонки - врагу не пожелаешь...

И вопрос - а как должен выглядеть нефейковый, а честный RAID-массив?

ну по идее, как выше писали, как один диск, грубо говоря, а не два или сколько их там в массиве

"Cruiser78" написал:

Беда в том, что до 14-й федоры оси спокойно этот фейк переваривали.

если бы у меня было по доллару за каждый раз когда клиент говорил "но до сих пор оно работало"...

насколько я знаю, линукс движется от поддержки dmraid, потому что преимуществ нет никаких, а управлять софтовым рейдом проще и надежнее. Так что выбор простой - или софт или железо, полумеры ни к чему

"Cruiser78" написал:

И вопрос - а как должен выглядеть нефейковый, а честный RAID-массив?

как один диск, сколько бы там физически не было

пример:

# cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 00 Id: 32 Lun: 00
  Vendor: DP       Model: BACKPLANE        Rev: 1.10
  Type:   Enclosure                        ANSI  SCSI revision: 05
Host: scsi0 Channel: 02 Id: 00 Lun: 00
  Vendor: DELL     Model: PERC H700        Rev: 2.10
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi0 Channel: 02 Id: 01 Lun: 00
  Vendor: DELL     Model: PERC H700        Rev: 2.10
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi7 Channel: 00 Id: 00 Lun: 00
  Vendor: iDRAC    Model: LCDRIVE          Rev: 0323
  Type:   Direct-Access                    ANSI  SCSI revision: 00
Host: scsi8 Channel: 00 Id: 00 Lun: 00
  Vendor: iDRAC    Model: Virtual CD       Rev: 0323
  Type:   CD-ROM                           ANSI  SCSI revision: 00
Host: scsi8 Channel: 00 Id: 00 Lun: 01
  Vendor: iDRAC    Model: Virtual Floppy   Rev: 0323
  Type:   Direct-Access                    ANSI  SCSI revision: 00

тут два массива - пятый рейд на 12 дисков плюс первый на два

вообще, интелевские серверы - такой же конструктор как супермикро или таян, если надо нормальное серверное железо, то выбор прост - IBM/Dell/HP/Fujitsu

dyasny написал:

если бы у меня было по доллару за каждый раз когда клиент говорил "но до сих пор оно работало"...

насколько я знаю, линукс движется от поддержки dmraid, потому что преимуществ нет никаких, а управлять софтовым рейдом проще и надежнее. Так что выбор простой - или софт или железо, полумеры ни к чему

Но, тем не менее - оно работало и проблем не доставляло. Более того, мне каждое утро приходили от сервера отчеты от состоянии дисков (smartctl). Была видна тенденция по битым секторам. По каждому конкретному диску. А если их не видно, то как мониторить их? Очень не хотелось бы оказаться у внезапно "разбитого" диска.

Один раз я момент пропустил, и умерший внезапно (действительно внезапно, несколько месяцев битых секторов было устойчиво полтора десятка, а потом - за день - несколько тыщ) диск поставил колом всю систему. Остановил внезапно, то есть. Но пара движений отверткой и система снова заработала на выжившем диске.

А то, что линукс отходит от dm-raid - как то оно для меня (и для анаконды) внезапно произошло. анаконда сделала стандартную dm-raid'овскую строку загрузчику, и поставила систему именно на dm-raid. А вот dracut эту стандартную запись понимать отказался.

Посмотрел спецификации на сервера моего уровня - действительно, на подавляющем большинстве таких серверов intel ставит софтовый RAID 0-1-10.

Ладно, сейчас работает на серверах CentOS 6.3. Он про такую беду не знает и эти софтовые диски поддерживает как RAID. А поскольку 6-той центос (как я понимаю) будет поддерживаться года так до 2017-го, то эти сервера к тому сроку станут совсем "дряхлыми" и будут с ним и списаны.
Ну, или напрягу фирму на модернизацию серверов. На покупку честных RAID-контороллеров. Если слишком сильно будет дисковый канал тормозить. А пока этого (на моих объемах данных и на имеющейся загрузке серверов) нет.

"Cruiser78" написал:

как мониторить их?

на софтовом, как обычные диски, плюс смотреть на статус /proc/mdstat

на железе - собственными утилитами, плюс ipmi/snmp