Есть такой вопрос знающим людям есть 2 сервера 1-й это сервер виртуализации KVM, 2-й iSCSI сервер как хранилище виртуальных машин.
Вчера проводил некоторые манипуляции при которых очень серьезно нагружал дисковую подсистему.
И столкнулся с тем что Load Average сильно возрос, при том что видимых причин для этого не было если на сервере который на этом графике, в топе что-то вроде этого
top - 19:06:52 up 3:25, 1 user, load average: 5.79, 4.23, 2.26
Tasks: 225 total, 1 running, 224 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.2%us, 1.2%sy, 0.0%ni, 97.6%id, 0.5%wa, 0.0%hi, 0.5%si, 0.0%st
Mem: 2045996k total, 515452k used, 1530544k free, 67952k buffers
Swap: 2097144k total, 0k used, 2097144k free, 117620k cached
то на следующем сервере в топе что-то вроде этого
top - 19:07:31 up 4 days, 23:11, 1 user, load average: 14.44, 8.14, 4.19
Tasks: 308 total, 1 running, 307 sleeping, 0 stopped, 0 zombie
Cpu(s): 3.0%us, 4.1%sy, 0.0%ni, 57.3%id, 35.0%wa, 0.0%hi, 0.6%si, 0.0%st
Mem: 32949344k total, 9053472k used, 23895872k free, 348800k buffers
Swap: 32505852k total, 0k used, 32505852k free, 2252716k cached
Вобщем самый большой по первому серверу iSCSI, что на нем может влиять на такой Load average
тот же вывод iostat
[root@nas1 ~]# iostat -x
Linux 2.6.32-131.6.1.el6-0.3.smp.gcc4.1.x86_64 (nas1) 09/02/2011
avg-cpu: %user %nice %system %iowait %steal %idle
0.09 0.00 0.39 0.72 0.00 98.80
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
sda 4.18 15.57 13.91 45.10 2272.22 2787.98 85.74 1.00 17.01 5.50 32.45
sda1 0.00 0.00 0.09 0.00 0.73 0.00 8.15 0.00 0.90 0.87 0.01
sda2 0.56 0.27 0.41 2.25 20.82 20.24 15.38 0.04 16.66 9.53 2.54
sda3 0.00 0.00 0.04 0.00 0.33 0.00 8.49 0.00 0.65 0.65 0.00
sda4 0.05 0.02 0.09 0.03 7.68 7.28 118.64 0.01 43.53 16.62 0.21
sda5 3.57 15.27 13.27 42.82 2242.63 2760.46 89.20 0.95 17.00 5.60 31.39
drbd0 0.00 0.00 0.11 0.02 0.43 0.05 3.48 0.14 17.63 390.84 5.44
drbd1 0.00 0.00 13.73 50.32 2057.49 2631.03 73.20 3.44 24.83 15.23 97.57
dm-0 0.00 0.00 0.01 0.00 0.05 0.00 8.00 0.00 17.51 17.51 0.01
dm-1 0.00 0.00 0.00 0.00 0.01 0.00 8.00 0.00 79.33 79.33 0.01
dm-2 0.00 0.00 13.20 43.58 2052.67 1550.90 63.47 1.21 21.39 6.03 34.21
dm-3 0.00 0.00 0.41 5.63 3.77 999.29 166.06 0.35 57.63 5.77 3.48
Выглядит вполне прилично.
На втором сервере iostat (сервер виртуализации)
cloud1_1:~# iostat -x
Linux 2.6.35-1-pve (cloud1_1) 09/02/11 _x86_64_
avg-cpu: %user %nice %system %iowait %steal %idle
2.39 0.00 2.37 4.40 0.00 90.84
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
sda 0.01 1.30 0.28 0.99 22.35 18.35 31.84 0.00 0.73 0.38 0.05
sda1 0.00 0.00 0.02 0.00 0.14 0.00 8.31 0.00 1.39 1.38 0.00
sda2 0.00 1.30 0.27 0.99 22.20 18.35 32.17 0.00 0.72 0.36 0.05
dm-0 0.00 0.00 0.02 0.00 0.14 0.00 8.00 0.00 1.60 1.55 0.00
dm-1 0.00 0.00 0.05 2.29 1.55 18.35 8.50 0.00 1.06 0.12 0.03
dm-2 0.00 0.00 0.10 0.00 19.66 0.00 195.94 0.00 1.97 1.27 0.01
dm-6 0.00 0.00 0.02 0.00 0.14 0.00 8.00 0.00 6.47 6.36 0.01
dm-7 0.00 0.00 0.02 0.00 0.14 0.00 8.00 0.00 1.78 1.76 0.00
dm-8 0.00 0.00 0.02 0.00 0.14 0.00 8.00 0.00 2.49 2.31 0.00
dm-9 0.00 0.00 0.02 0.00 0.14 0.00 8.00 0.00 3.10 3.08 0.01
dm-10 0.00 0.00 0.02 0.00 0.14 0.00 8.00 0.00 7.91 7.77 0.01
dm-11 0.00 0.00 0.02 0.00 0.14 0.00 8.00 0.00 0.91 0.55 0.00
dm-12 0.00 0.00 0.02 0.00 0.14 0.00 8.00 0.00 1.24 1.16 0.00
dm-5 0.00 0.00 0.01 0.00 0.11 0.00 8.00 0.00 0.61 0.49 0.00
dm-13 0.00 0.00 0.01 0.00 0.10 0.00 8.00 0.00 1.65 1.51 0.00
dm-14 0.00 0.00 0.01 0.00 0.10 0.00 8.00 0.00 0.63 0.60 0.00
dm-15 0.00 0.00 0.01 0.00 0.08 0.00 8.00 0.00 1.18 0.99 0.00
sdo 341.00 1.56 11.98 5.45 2897.37 2052.77 283.93 1.56 89.67 8.96 15.62
dm-17 0.00 0.00 0.01 0.00 0.04 0.00 8.00 0.00 205.13 203.16 0.11
dm-18 0.00 0.00 0.24 2.37 33.82 1211.71 476.86 1.13 432.71 27.08 7.07
dm-19 0.00 0.00 0.11 3.43 2.78 786.18 222.78 0.77 216.28 33.48 11.86
dm-3 0.00 0.00 0.00 0.00 0.04 0.00 8.00 0.00 304.65 284.84 0.13
dm-4 0.00 0.00 0.00 0.00 0.03 0.00 8.00 0.00 23.04 22.08 0.01
sdp 0.00 0.00 0.03 0.04 0.29 37.22 513.29 0.01 78.92 13.06 0.10
dm-16 0.00 0.00 0.00 0.00 0.01 0.00 8.00 0.00 8.87 8.67 0.00
dm-20 0.00 0.00 0.00 0.00 0.01 0.00 8.00 0.00 10.54 7.34 0.00
dm-21 0.00 0.00 0.28 0.18 41.89 20.82 138.21 0.03 55.51 19.25 0.87
dm-25 0.00 0.00 0.00 0.00 0.01 0.00 8.00 0.00 11.64 4.95 0.00
dm-26 0.00 0.00 0.00 0.00 0.01 0.00 8.00 0.00 7.75 3.53 0.00
dm-27 0.00 0.00 0.00 0.00 0.01 0.00 8.00 0.00 38.60 6.10 0.00
dm-22 0.00 0.00 0.00 0.04 0.01 37.22 911.67 0.01 133.13 15.88 0.06
dm-23 0.00 0.00 0.00 0.03 0.01 31.78 942.70 0.01 172.03 17.45 0.06
dm-24 0.00 0.00 0.99 0.00 7.93 0.00 8.00 0.06 64.82 1.02 0.10
dm-28 0.00 0.00 1.01 0.04 8.04 0.18 7.84 0.07 71.27 0.97 0.10
dm-29 0.00 0.00 0.00 0.02 0.01 0.13 8.00 0.00 141.46 35.69 0.06
Вроде тоже ничего страшного.
Такое ощущение что высокий Load average на iSCSI следствие высокого Load average на сервере виртуализации, конечно еще есть мысль что причина может быть в самом iSCSI как таковом, так как настрое он по 2x1Gbit Ethernet 802.3ad, через обычные сетевухи, а не через iSCSI контроллеры но это все предположения. Вот хотелось бы понять причину этого всего.
Железо на iSCSI сервере Intel(R) Core(TM) i3-2120/2Gb RAM/4x2Tb SATA3 RAID 10
Железо на хосте для виртуальных машин 2x12 core AMD Opteron(tm) Processor 6168 32GbRAM.
