FIO benchmark— LinuxForum.Fans

07.09.2013 23:00 #336451

Парни, девчата, привет всем!
Читал читал статью, http://habrahabr.ru/post/154235/
Че то никак не могу понять, у меня расхождение какое то.

Имею сервер
2 x XEON E5646 6 cores (24 threads)
4 x MBA3300RC (300Gb SAS 15000RPM) - RAID10 on 3ware Inc 9750
48Gb DDR-III 1333MHz

ОС Centos 6.4 amd64, создал пару разделов для бенчмарка:

[root@u8804 ~]# pvscan
PV /dev/sda2 VG vg0 lvm2 [539,46 GiB / 329,46 GiB free]
Total: 1 [539,46 GiB] / in use: 1 [539,46 GiB] / in no VG: 0 [0 ]
[root@u8804 ~]# pvs
PV VG Fmt Attr PSize PFree
/dev/sda2 vg0 lvm2 a-- 539,46g 329,46g
[root@u8804 ~]# vgs
VG #PV #LV #SN Attr VSize VFree
vg0 1 3 0 wz--n- 539,46g 329,46g
[root@u8804 ~]# lvs
LV VG Attr LSize Pool Origin Data% Move Log Cpy%Sync Convert
btrfs vg0 -wi-a---- 10,00g
sysbench1 vg0 -wi-a---- 100,00g
sysbench2 vg0 -wi-a---- 100,00g

Поставил софтину fio-2.0.13-1.el6.x86_64

Создал файл для теста

text

[readtest]
blocksize=8k
filename=/dev/vg0/sysbench1
rw=randread
direct=1
buffered=0
ioengine=libaio
iodepth=16
[writetest]
blocksize=8k
filename=/dev/vg0/sysbench2
rw=randwrite
direct=1
buffered=0
ioengine=libaio
iodepth=16

Запустил, получил результат:

readtest: (groupid=0, jobs=1): err= 0: pid=32488: Sat Sep 7 14:55:28 2013
read : io=47056KB, bw=462249 B/s, iops=56 , runt=104241msec
slat (usec): min=6 , max=143 , avg=23.85, stdev= 8.95
clat (usec): min=27 , max=3021.5K, avg=283516.55, stdev=398516.81
lat (usec): min=43 , max=3021.8K, avg=283540.94, stdev=398516.98
clat percentiles (usec):
| 1.00th=[ 42], 5.00th=[ 3984], 10.00th=[ 5664], 20.00th=[ 8896],
| 30.00th=[17536], 40.00th=[40192], 50.00th=[88576], 60.00th=[181248],
| 70.00th=[317440], 80.00th=[528384], 90.00th=[880640], 95.00th=[1204224],
| 99.00th=[1581056], 99.50th=[1875968], 99.90th=[2007040], 99.95th=[2007040],
| 99.99th=[3031040]
bw (KB/s) : min= 16, max= 2253, per=100.00%, avg=470.70, stdev=384.50
lat (usec) : 50=1.17%, 100=0.77%, 250=0.88%, 750=0.02%
lat (msec) : 2=0.12%, 4=2.09%, 10=16.75%, 20=10.20%, 50=10.85%
lat (msec) : 100=8.82%, 250=13.82%, 500=13.60%, 750=7.91%, 1000=4.59%
lat (msec) : 2000=8.08%, >=2000=0.34%
cpu : usr=0.05%, sys=0.20%, ctx=5922, majf=0, minf=55
IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=99.7%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.1%, 32=0.0%, 64=0.0%, >=64=0.0%
issued : total=r=5882/w=0/d=0, short=r=0/w=0/d=0
writetest: (groupid=0, jobs=1): err= 0: pid=32489: Sat Sep 7 14:55:28 2013
write: io=741384KB, bw=7114.2KB/s, iops=889 , runt=104213msec
slat (usec): min=5 , max=145 , avg=15.40, stdev= 6.13
clat (usec): min=151 , max=1643.7K, avg=17974.14, stdev=92065.37
lat (usec): min=159 , max=1643.1K, avg=17989.87, stdev=92065.29
clat percentiles (usec):
| 1.00th=[ 318], 5.00th=[ 358], 10.00th=[ 398], 20.00th=[ 524],
| 30.00th=[ 1096], 40.00th=[ 1496], 50.00th=[ 1736], 60.00th=[ 2064],
| 70.00th=[ 2480], 80.00th=[ 2928], 90.00th=[42240], 95.00th=[94720],
| 99.00th=[195584], 99.50th=[284672], 99.90th=[1466368], 99.95th=[1499136],
| 99.99th=[1646592]
bw (KB/s) : min= 170, max=27024, per=100.00%, avg=8729.25, stdev=6500.69
lat (usec) : 250=0.04%, 500=18.48%, 750=4.07%, 1000=5.83%
lat (msec) : 2=29.92%, 4=24.96%, 10=1.90%, 20=2.38%, 50=3.35%
lat (msec) : 100=4.32%, 250=4.21%, 500=0.16%, 750=0.02%, 2000=0.38%
cpu : usr=0.58%, sys=1.76%, ctx=75997, majf=0, minf=23
IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=100.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.1%, 32=0.0%, 64=0.0%, >=64=0.0%
issued : total=r=0/w=92673/d=0, short=r=0/w=0/d=0

Run status group 0 (all jobs):
READ: io=47056KB, aggrb=451KB/s, minb=451KB/s, maxb=451KB/s, mint=104241msec, maxt=104241msec
WRITE: io=741384KB, aggrb=7114KB/s, minb=7114KB/s, maxb=7114KB/s, mint=104213msec, maxt=104213msec

А вот iostat:

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0,00 2,20 60,80 861,40 0,47 6,73 16,00 32,58 35,90 1,08 100,02
dm-0 0,00 0,00 60,80 0,00 0,47 0,00 16,00 16,00 271,86 16,45 100,00
dm-1 0,00 0,00 0,00 859,60 0,00 6,72 16,00 15,98 18,59 1,16 100,00
dm-2 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0,00 0,80 62,20 868,60 0,49 6,78 15,99 32,60 33,57 1,07 100,00
dm-0 0,00 0,00 62,20 0,00 0,49 0,00 16,00 16,00 242,90 16,08 100,00
dm-1 0,00 0,00 0,00 867,00 0,00 6,77 16,00 15,98 17,94 1,15 100,00
dm-2 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0,00 1,00 46,80 955,80 0,37 7,47 16,00 32,71 32,68 1,00 100,00
dm-0 0,00 0,00 46,80 0,00 0,37 0,00 16,00 16,00 340,26 21,37 100,00
dm-1 0,00 0,00 0,00 954,80 0,00 7,46 16,00 15,97 17,26 1,05 100,00
dm-2 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0,00 1,40 69,60 821,80 0,54 6,42 16,00 32,27 35,06 1,12 100,00
dm-0 0,00 0,00 69,60 0,00 0,54 0,00 16,00 16,00 227,35 14,37 100,00
dm-1 0,00 0,00 0,00 820,80 0,00 6,41 16,00 15,98 18,07 1,22 100,00
dm-2 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00

Судя по результатам fio:
read: iops=56, lat=283ms
write: iops=889, lat=17.9ms

Судя по iostat, число IOPS примерно совпадает, а вот с latency че то не понятка какая-то. Если судить по /dev/sda (это аппаратный R10), то await составляет ~35мс, а если судить по lv-разделам, то на чтение latency какой то адский, а на запись вроде норм.

Может кто то разбирался уже, и может объяснить полученные цифры? Чего-то недопонимаю...

07.09.2013 23:41 · отредактировано #336454

На dm-1 активно пишутся данные, поэтому на dm-0 такой показатель.

08.09.2013 16:08 #336529

А значение latency по /dev/sda почему гораздо меньше чем по dm-0? Результаты бенчмарка какие-то по итогу? У меня fio не выдает какое-то среднее значение latency, оценка по iostat объективна?

08.09.2013 23:12 #336630

Подозреваю, что операции io для dm-X не должны быть такие же , как на sda в силу того, что это разные вещи по сути. Поэтому, разные показатели с учетом среднестатистических данных.
Вообще, этот академизм мне когда-то запутал мозг очень сильно, поэтому я нагружаю реальные приложения. Так намного нагляднее получаются результаты и главное, что часто в разрез синтетичесим тестам.

09.09.2013 00:06 #336631

Похоже я иду по твоим стопам! =) Спасибо за ответы.