Отголоски RAID

Поднимал debian-6.0.2.1 (amd64-netinst) на PRIMERGY TX150 S6, там штатником стоит RAID контроллер LSI 1068E
с тремя дисками по 750Гб.
В биосе рейд отключен, диски нужны по одиночке. Встала ОСь нормально, однако подмонтировать остальные два
винта не дала в процессе установки.
Думал замаунтить их потом, но оказалось, это не такая уж и тривиальная задача...
Разделы создавать я на них могу, ext2 (кроме нее при установке ничего не хотело вставать) монтируется (потом другие уже и не пробовал, она устраивает).
[console]
#mount /dev/sdb1 /mnt/doc1
#mount: unknown filesystem type 'ddf_raid_member'

#mount /dev/sdb1 /mnt/doc1 -t ext2
#mount: /dev/sdb1 already mounted or /mnt/doc1 busy

#lsof /dev/sdb1
#

# mount
/dev/sda1 on / type ext3 (rw,errors=remount-ro)
tmpfs on /lib/init/rw type tmpfs (rw,nosuid,mode=0755)
proc on /proc type proc (rw,noexec,nosuid,nodev)
sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)
udev on /dev type tmpfs (rw,mode=0755)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=620)
/dev/sda9 on /home type ext3 (rw)
/dev/sda8 on /tmp type ext3 (rw)
/dev/sda5 on /usr type ext3 (rw)
/dev/sda6 on /var type ext3 (rw)
#

# fdisk -l

Disk /dev/sda: 750.2 GB, 750156374016 bytes
255 heads, 63 sectors/track, 91201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000645e7

Device Boot Start End Blocks Id System
/dev/sda1 * 1 43 340992 83 Linux
Partition 1 does not end on cylinder boundary.
/dev/sda2 43 91202 732230657 5 Extended
/dev/sda5 43 1137 8787968 83 Linux
/dev/sda6 1137 1502 2928640 83 Linux
/dev/sda7 1502 3496 16012288 82 Linux swap / Solaris
/dev/sda8 3496 3544 389120 83 Linux
/dev/sda9 3544 91202 704108544 83 Linux

Disk /dev/sdb: 750.2 GB, 750156374016 bytes
81 heads, 63 sectors/track, 287115 cylinders
Units = cylinders of 5103 * 512 = 2612736 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0xed598ccf

Device Boot Start End Blocks Id System
/dev/sdb1 1 287116 732573560 83 Linux

Disk /dev/sdc: 750.2 GB, 750156374016 bytes
81 heads, 63 sectors/track, 287115 cylinders
Units = cylinders of 5103 * 512 = 2612736 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x976230a1

Device Boot Start End Blocks Id System
/dev/sdc1 1 287116 732573560 83 Linux
#

# dmesg | tail -n20
[ 8.471528] EXT3-fs: mounted filesystem with ordered data mode.
[ 10.514623] alloc irq_desc for 28 on node -1
[ 10.514626] alloc kstat_irqs on node -1
[ 10.514638] tg3 0000:02:00.0: irq 28 for MSI/MSI-X
[ 10.548666] ADDRCONF(NETDEV_UP): eth0: link is not ready
[ 12.111160] tg3: eth0: Link is up at 100 Mbps, full duplex.
[ 12.111162] tg3: eth0: Flow control is on for TX and on for RX.
[ 12.112011] ADDRCONF(NETDEV_CHANGE): eth0: link becomes ready
[ 23.092004] eth0: no IPv6 routers present
[ 7314.240334] sdc: sdc1
[ 7613.809377] sdb: sdb1
[ 9968.488560] tg3: eth0: Link is down.
[ 9973.195963] tg3: eth0: Link is up at 100 Mbps, full duplex.
[ 9973.195964] tg3: eth0: Flow control is on for TX and on for RX.
[ 9976.761158] tg3: eth0: Link is down.
[ 9978.962813] tg3: eth0: Link is up at 100 Mbps, full duplex.
[ 9978.962815] tg3: eth0: Flow control is on for TX and on for RX.
[ 9994.264892] tg3: eth0: Link is down.
[ 9995.866626] tg3: eth0: Link is up at 100 Mbps, full duplex.
[ 9995.866627] tg3: eth0: Flow control is on for TX and on for RX.
#[/console]

Если отбросить варианты перепрошивки мозгов контроллера, есть варианты?

A-off, а не пробовал поудалять на винте всё и заново создать таблицу разделов.

newzenon, не считая многократных попыток при установке, пробовал parted и
[console]dd if=/dev/zero of=/dev/sdb count=1
fdisk /dev/sdb
и далее по пунктам[/console]
Для отсечения некоторых "локальных" вариантов, сразу оговорюсь, сервер в Европе, я в Москве, "на том конце" специалистов нет.

ssh доступ же есть, смотрим fdisk:

a — снять или установить флаг активности раздела (потребуется ввести номер раздела);
d — удалить раздел;
l — вывести список известных программе типов разделов;
n — создать (добавить) новый раздел;
o — создать новую пустую таблицу разделов в стиле DOS;
q — выйти из программы, не записывая на диск сделанные изменения;
t — изменить метку типа раздела;
v — проверить таблицу разделов;
w — записать исправленную таблицу разделов на диск и выйти из программы;
x — дополнительные возможности (только для экспертов).

старая прибьется при этом. и потом создаем уже разделы.

Или тоже самое с cfdisk. Насколько помню таблица разделов в нулевом секторе, нам он его просто перезапишет, видимо железный raid как-то по своему винт метит.

[console]Command (m for help): o
Building a new DOS disklabel with disk identifier 0x063b6db2.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won't be recoverable.

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

WARNING: DOS-compatible mode is deprecated. It's strongly recommended to
switch off the mode (command 'c') and change display units to
sectors (command 'u').

Command (m for help): w
The partition table has been altered!

# mke2fs -c /dev/sdb1
mke2fs 1.41.12 (17-May-2010)
/dev/sdb1 is apparently in use by the system; will not make a filesystem here![/console]

ну и понятно, что будет

[console]# mount /dev/sdb1 /mnt/doc1 -t ext2
mount: /dev/sdb1 already mounted or /mnt/doc1 busy[/console]

Что-то как-то неправильно cfdisk пробовал? testdisk'ом пройдись по нему.
ы. raid отдельным контроллером? sata или sas?

newzenon написал:

Насколько помню таблица разделов в нулевом секторе, нам он его просто перезапишет, видимо железный raid как-то по своему винт метит.

Что-то с памятью моей 0-вой загрузчик. smile

Технически разбиение диска на разделы организовано следующим образом: заранее определённая часть диска отводится под таблицу разделов, в которой и написано, как разбит диск. Стандартная таблица разделов для диска IBM-совместимого компьютера — HDPT (Hard Disk Partition Table) — располагается в конце самого первого сектора диска, после предзагрузчика (Master Boot Record, MBR) и состоит из четырёх записей вида «тип начало конец», по одной на каждый раздел. Начало и конец — это номера тех секторов диска, где начинается и заканчивается раздел. С помощью такой таблицы диск можно поделить на четыре или меньше разделов: если раздела нет, тип устанавливается в 0.
http://heap.altlinux.org/modules/hd_structure.kirill/index.html

Когда-то (лет 10 назад) ручками правил винты, но это нужен винт на руках.
http://ru.wikipedia.org/wiki/%D0%93%D0%BB%D0%B0%D0%B2%D0%BD%D0%B0%D1%8F_%D0%B7%D0%B0%D0%B3%D1%80%D1%83%D0%B7%D0%BE%D1%87%D0%BD%D0%B0%D1%8F_%D0%B7%D0%B0%D0%BF%D0%B8%D1%81%D1%8C
Можно конечно обнулить ему всё:

Адрес     Содержимое
0x0000     Код загрузчика
0x01B8     4-байтная сигнатура диска (только в Windows 2000, XP [1], но не в Windows 95/98 [2])
0x01BE     Четыре 16-байтных записи таблицы основных разделов (только схема таблицы основных разделов MBR)
0x01FE     2-байтная сигнатура MBR (55AA16)

Но сие в связи с удалённым нахожденим винта опасно.

raid отдельным контроллером? sata или sas?

контроллер устройства хранения
• Intel ICH9R
• встроен.
• PCI
предоставляемый интерфейс: Serial ATA 1.0
• 1 канал
уровни RAID: 0, 1, 10

______________________________
RAID контроллер
• LSI 1068E
• встроен.
• PCI
предоставляемый интерфейс: Serial Attached SCSI
• 1 канал
уровни RAID: 0, 1

testdisk'ом пройдись по нему

[console]TestDisk 6.11, Data Recovery Utility, April 2009


Disk /dev/sdb - 750 GB / 698 GiB - CHS 91201 255 63
Partition Start End Size in sectors
D HPFS - NTFS 0 1 1 91059 254 63 1462878837
D Linux 0 2 1 91200 254 60 1465143936 [/docs]
D Linux 0 32 33 91201 52 51 1465145344 [doc1]


Structure: Ok. Use Up/Down Arrow keys to select partition.
Use Left/Right Arrow keys to CHANGE partition characteristics:
*=Primary bootable P=Primary L=Logical E=Extended D=Deleted
Keys A: add partition, L: load backup, T: change type, P: list files,
Enter: to continue
NTFS found using backup sector!, 748 GB / 697 GiB
[/console]

A-off, ну так я и спросил кто есть кто - контролера два, один Intel Matrix - sata, другой LSI Logic - sas.
Винты то на каком из них?

Винты то на каком из них?

Не знаю.
Вот выводы lspci, dmesg и dmidecode

Сорри, лень сейчас выискивать в полотнах, пиво стынет... Завтра может гляну.

Вот еще полный lshw

[console]~# lshw -C storage -C disk
*-storage
description: SATA controller
product: 82801IR/IO/IH (ICH9R/DO/DH) 6 port SATA AHCI Controller
vendor: Intel Corporation
physical id: 1f.2
bus info: pci@0000:00:1f.2
logical name: scsi0
logical name: scsi1
logical name: scsi2
logical name: scsi4
version: 02
width: 32 bits
clock: 66MHz
capabilities: storage msi pm ahci_1.0 bus_master cap_list emulated
configuration: driver=ahci latency=0
resources: irq:27 ioport:1c50(size=8) ioport:1c44(size=4) ioport:1c48(size=8) ioport:1c40(size=4) ioport:18e0(size=32) memory:dfc00000-dfc007ff
*-disk:0
description: ATA Disk
product: ST3750641NS
vendor: Seagate
physical id: 0
bus info: scsi@0:0.0.0
logical name: /dev/sda
version: 4FSC
serial: 5QD4LV01
size: 698GiB (750GB)
capabilities: partitioned partitioned:dos
configuration: ansiversion=5 signature=000645e7
*-disk:1
description: ATA Disk
product: ST3750641NS
vendor: Seagate
physical id: 1
bus info: scsi@1:0.0.0
logical name: /dev/sdb
version: 4FSC
serial: 5QD4LZWJ
size: 698GiB (750GB)
capabilities: partitioned partitioned:dos
configuration: ansiversion=5 signature=5735ee00
*-disk:2
description: ATA Disk
product: ST3750641NS
vendor: Seagate
physical id: 2
bus info: scsi@2:0.0.0
logical name: /dev/sdc
version: 4FSC
serial: 5QD4KAAP
size: 698GiB (750GB)
configuration: ansiversion=5 signature=063b6db2
*-cdrom
description: DVD reader
physical id: 3
bus info: scsi@4:0.0.0
logical name: /dev/cdrom
logical name: /dev/dvd
logical name: /dev/scd0
logical name: /dev/sr0
capabilities: audio dvd
configuration: status=ready
*-scsi
physical id: 1
bus info: usb@2:1
logical name: scsi6
capabilities: emulated scsi-host
configuration: driver=usb-storage
*-disk
description: SCSI Disk
physical id: 0.0.0
bus info: scsi@6:0.0.0
logical name: /dev/sdd
[/console]

В отчете lshw видно, что HDD подключены к ICH9R

A-off написал:

[console]Command (m for help): o
Building a new DOS disklabel with disk identifier 0x063b6db2.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won't be recoverable.

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

WARNING: DOS-compatible mode is deprecated. It's strongly recommended to
switch off the mode (command 'c') and change display units to
sectors (command 'u').

Command (m for help): w
The partition table has been altered!

# mke2fs -c /dev/sdb1
mke2fs 1.41.12 (17-May-2010)
/dev/sdb1 is apparently in use by the system; will not make a filesystem here![/console]

ну и понятно, что будет

[console]# mount /dev/sdb1 /mnt/doc1 -t ext2
mount: /dev/sdb1 already mounted or /mnt/doc1 busy[/console]

Не досмотрел: таблицу разделов ты создал, дальше, данные записал, всё ок, дальше надо было создать новый раздел, а не файловую систему, во, проглядел я, т.е где ж ты ФС создаешь? Там чистый не разбитый винт, на котором есть только пустая таблица разделов.
Вообще cfdisk используй, он нагляднее.

дальше надо было создать новый раздел

Простите, а /dev/sdb1 это что?

Для уверенности сделал раздел цфдиском, результат тот же.

A-off, я говорю на основании того что выложил, и не вижу где был создан раздел.

не вижу где был создан раздел

Простите за неувязку, видимо я изъял эту часть в силу ее длины.
Вот для наглядности даже mbr занулил вместе с таблицей разделов перед действом

[console]~# dd if=/dev/zero of=/dev/sdb bs=1024 count=1
1+0 records in
1+0 records out
1024 bytes (1.0 kB) copied, 1.5633e-05 s, 65.5 MB/s
~# fdisk -l
...
Disk /dev/sdb doesn't contain a valid partition table
...
~# fdisk /dev/sdb

Command (m for help): o
Building a new DOS disklabel with disk identifier 0x3ddc500f.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won't be recoverable.

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

WARNING: DOS-compatible mode is deprecated. It's strongly recommended to
switch off the mode (command 'c') and change display units to
sectors (command 'u').

Command (m for help): n
Command action
e extended
p primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-91201, default 1): 1
Last cylinder, +cylinders or +size{K,M,G} (1-91201, default 91201): 91201

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.
root@debian:~# fdisk -l

...

Disk /dev/sdb: 750.2 GB, 750156374016 bytes
255 heads, 63 sectors/track, 91201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x3ddc500f

Device Boot Start End Blocks Id System
/dev/sdb1 1 91201 732572001 83 Linux

...[/console]

[console]~# mke2fs -c /dev/sdb1
mke2fs 1.41.12 (17-May-2010)
/dev/sdb1 is apparently in use by the system; will not make a filesystem here!
~#[/console]

https://bugzilla.redhat.com/show_bug.cgi?id=478768#c7
Похожая ошибка выскакивала, там ребята по-ходу нолями раздел забивали.
[root@gefjun ~]# mke2fs /dev/sdb1 -t ext3
mke2fs 1.41.3 (12-Oct-2008)
/dev/sdb1 is apparently in use by the system; will not make a filesystem here!

[root@gefjun ~]# dd if=/dev/zero of=/dev/sdb1
dd: writing to `/dev/sdb1': No space left on device

А так я даже теряюсь в догадках.

Вот ещё в гугле
http://forum.ubuntu.ru/index.php?topic=132727.0

http://www.google.ru/search?q=google+translate&ie=utf-8&oe=utf-8&aq=t&rls=org.mozilla:en-US:official&client=firefox#pq=linux+low+level+format&hl=ru&cp=78&gs_id=2f&xhr=t&q=/dev/sdb1+is+apparently+in+use+by+the+system%3B+will+not+make+a+filesystem+here!&pf=p&sclient=psy&newwindow=1&client=firefox&rls=org.mozilla:en-US%3Aofficial&source=hp&pbx=1&oq=/dev/sdb1+is+apparently+in+use+by+the+system%3B+will+not+make+a+filesystem+here!&aq=f&aqi=&aql=&gs_sm=&gs_upl=&bav=on.2,or.r_gc.r_pw.&fp=36f9d804f1849c2b&biw=1248&bih=920

Отпишись если найдёшь решение самому интересно и кстати эта ошибка везде рядом с рейдами.
ы. Меня на вы не надо - не люблю.

Похожая ошибка выскакивала, там ребята по-ходу нолями раздел забивали.

См. мой предыдущий пост, я первый мегабайт занулил, смысл весь диск забивать (к тому же долго это)...

[console]:~# dmraid -E -r /dev/sdb
Do you really want to erase "ddf1" ondisk metadata on /dev/sdb ? [y/n] :y
ERROR: ddf1: seeking device "/dev/sdb" to 384080063234048
ERROR: writing metadata to /dev/sdb, offset 750156373504 sectors, size 0 bytes returned 0
ERROR: erasing ondisk metadata on /dev/sdb
~#[/console]

~# dd if=/dev/zero of=/dev/sdb bs=1024 count=1
1+0 records in
1+0 records out
1024 bytes (1.0 kB) copied, 1.5633e-05 s, 65.5 MB/s
~# fdisk -l

в порядке размышлений
А вот сами метаданные рейда? - знакомый удалил рейд простым сносом партиций, но при загрузке mdadm постоянно пытался найти массив.