HDD test

Тест жестких дисков (и других блочных устройств)

Линейное чтение

Линейное чтение (с заданным шагом). Да, я знаю что это весьма косвенный показатель. Но куда ж без него.
Не забыть iflag=direct Значения count и step подбирать по желанию - насколько усреднять. Естественно читать чаще чем нужно смысла нет, а вот для больших дисков несколько интерполировать.

Скрипт для сбора статистики

#!/bin/bash

step=2048
i=1

device=sda

while A=`dd iflag=direct  if=/dev/${device} of=/dev/null skip=$[${step}*${i}]k  bs=8k count=256k  2>&1`
do
    B=`echo $A | grep "bytes" | awk ' {print $14" "$15} '`
    echo $[${step}*${i}]" "$B
    echo $[${step}*${i}]" "$B | sed s/','/'.'/g >> line_read.${device}
    let i=i+1
done

Построенеи графиков

Далее строим график GnuPlot, что то вроде такого:

#!/usr/bin/gnuplot -persist

set terminal png  size 1600,800
set output "master_Line_Read_Speed_sdi.png"
set ylabel "Speed, MB/s"
set xlabel "Offset"
set grid
plot \
"result_sdi" using 1:2 with linespoints lt rgb "blue" lw 2 title "Line Read"

Разброс есть, но вцелом похоже на правду.

Можно попробовать сглаживание:

plot \
"result_sda" using 1:2 smooth bezier  lw 2 title "Line Read sda", \

Многопоточность

Есть замечательная утилита - fio для работы с которой я написал небольшую обвязку

Скрипт для сбора статистики

Для каждой глубины очереди от 1 до максимально доступной для винта запускаю тест:

#!/bin/bash

FIO="/usr/bin/fio"
config="read.ini"
timeout=30
for device in sda
do
    result="./fio_result.data."${device}
    max_depth=`cat /sys/block/${device}/device/queue_depth`
    for iodepth in `seq 1 ${max_depth}`
    do

        echo "[readtest]"                        > ${config}
        echo "blocksize=4k"                     >> ${config}
        echo "filename=/dev/"${device}  >> ${config}
        echo "rw=randread"                      >> ${config}
        echo "direct=1"                 >> ${config}
        echo "buffered=0"                       >> ${config}
        echo "ioengine=libaio"          >> ${config}
        echo "iodepth="${iodepth}               >> ${config}
        echo "timeout="${timeout}               >> ${config}
        A=`${FIO} ${config}`
        IOPS=`echo $A | awk -F"iops=" '{ print $2}' | awk '{print $1}'`
        CLAT=`echo $A | awk -F"clat" '{print $2}'| sed s/'('/''/g  | awk -F"stdev" '{ print $1}' | sed s/','/''/g | awk '{print $1" "$4}' | sed s/'):'/''/g | sed s/'avg='/''/g`
        CLAT_AVG=`echo "$CLAT" | awk '{print $2 }'`
        CLAT_M=`echo "$CLAT" | awk '{print $1 }'`
        # if not msec 
        if [ "$CLAT_M" = "usec" ]
        then
            CLAT_AVG=`echo "scale=2; $CLAT_AVG/1000" | bc`
        fi
        echo ${iodepth}" "$IOPS" "$CLAT_AVG      >> ${result}
        echo ${iodepth}" "$IOPS" "$CLAT_AVG  $CLAT_M
    done
done

на выходе файл - что то вроде: глубина очереди, IOPS, Latency

1 54 18.21
2 61 32.05
3 66 44.69
4 71 55.39
5 78 62.83
6 75 78.87
7 83 82.54
8 84 93.89
9 86 102.97
10 89 110.95
11 87 124.08
12 92 128.32
13 93 136.95
14 93 148.65
15 91 161.93
16 96 164.10
17 98 170.55
18 97 183.16
19 96 195.36
20 95 207.68
21 97 213.97
22 97 223.03
23 98 231.33
24 100 237.42
25 99 249.03
26 101 254.15
27 103 259.39
28 101 272.94
29 101 283.66
30 98 302.42
31 103 295.61

Построение графиков

Строим график (с 2 осями )

#!/usr/bin/gnuplot -persist

#set terminal png
set terminal png  size 1600,800

set output "FIO1_Speed_sda.png"
set ylabel "IOPS"
set xlabel "IODEPTH"
#set grid

#set y2tics 20 nomirror tc lt 2
set y2label 'ms'
set ytics nomirror
set y2tics
set tics out
set autoscale  y
set autoscale y2
#plot 2*x linetype 1, 4*x linetype 2 axes x1y2
plot \
"fio_result.data.sda" using 1:2 with linespoints lt rgb "red" lw 2 title "IOPS" axes x1y1, \
"fio_result.data.sda" using 1:3 with linespoints lt rgb "blue" lw 2 title "Latency, ms" axes x1y2

Как видно на графике, чем плотнее нагружен винт тем выше IOPS но тем больше фактическое ожидание у каждого запроса.

Сравнительные результаты тестирования

Выше результаты теста моего довольно старого ноутбучного винта (отсюда и такие невысокие результаты) Винт:

Model Family:     Toshiba 2.5" HDD MK..52GSX
Device Model:     TOSHIBA MK1652GSX

INTEL SSDSA2CW080G3

Model Family:     Intel 320 Series SSDs
Device Model:     INTEL SSDSA2CW080G3

OCZ-VERTEX2

Данные с сервера под нагрузкой!

Model Family:     SandForce Driven SSDs
Device Model:     OCZ-VERTEX2

KINGSTON SVP200S390G

Device Model:     KINGSTON SVP200S390G

Интерполяция

Когда точек много то удобнее использовать интерполяцию Для создания интерполированных графиков я использую следующий скрипт:

#!/usr/bin/gnuplot -persist

#set terminal png
set terminal png  size 3600,800

set output "FIO1_Speed_sda.png"
set ylabel "IOPS"
set xlabel "IODEPTH"
#set grid

#set y2tics 20 nomirror tc lt 2
set y2label 'ms'
set ytics nomirror
set y2tics
set tics out
set autoscale  y
set autoscale y2
#plot 2*x linetype 1, 4*x linetype 2 axes x1y2
plot \
"fio_result.data.sda" using 1:2 with linespoints lt rgb "red"     lw 1 title "IOPS" axes x1y1, \
"fio_result.data.sda" using 1:3 with linespoints lt rgb "blue"    lw 1 title "Latency, ms" axes x1y2, \
"fio_result.data.sda" using 1:2 smooth bezier    lt rgb "green"   lw 3 title "IOPS" axes x1y1, \
"fio_result.data.sda" using 1:3 smooth bezier    lt rgb "magenta" lw 3 title "Latency, ms" axes x1y2

Результат выглядит так:

HP LOGICAL VOLUME

Несколько дисков сразу

Видно что все диски плюс-минус одинаковые.

Тест реального сервера с кучей винтов (старых)

Есть старая железка, с кучей винтов (достаточно старых, от 80 гиг) Для наглядности - делаю их полный тест

Line Read

Размер дисков разный, потому длинна линий разная. Например 5000 блоков по 8к - 40гб. (да, у меня еще работает такой диск)

9 Power_On_Half_Minutes   0x0032   089   089   000    Old_age   Always       -       56077h+01m

#!/usr/bin/gnuplot -persist

#set terminal png
set terminal png  size 1600,800

set output "Line_Read_Speed_sda.png"
set ylabel "Speed, MB/s"
set xlabel "Offset"
set title "Line Read"
set grid
plot \
"line_step_by_step_test_sda_line_step_by_step_test" using 1:2  smooth bezier  lw 3 title "Line Read sda, MB/s", \
"line_step_by_step_test_sdb_line_step_by_step_test" using 1:2  smooth bezier  lw 3 title "Line Read sdb, MB/s", \
"line_step_by_step_test_sdc_line_step_by_step_test" using 1:2  smooth bezier  lw 3 title "Line Read sdc, MB/s", \
"line_step_by_step_test_sdd_line_step_by_step_test" using 1:2  smooth bezier  lw 3 title "Line Read sdd, MB/s", \
"line_step_by_step_test_sde_line_step_by_step_test" using 1:2  smooth bezier  lw 3 title "Line Read sde, MB/s", \
"line_step_by_step_test_sdg_line_step_by_step_test" using 1:2  smooth bezier  lw 3 title "Line Read sdg, MB/s", \
"line_step_by_step_test_sdh_line_step_by_step_test" using 1:2  smooth bezier  lw 3 title "Line Read sdh, MB/s", \
"line_step_by_step_test_sdj_line_step_by_step_test" using 1:2  smooth bezier  lw 3 title "Line Read sdj, MB/s", \
"line_step_by_step_test_sdk_line_step_by_step_test" using 1:2  smooth bezier  lw 3 title "Line Read sdk, MB/s", \
"line_step_by_step_test_md126_line_step_by_step_test" using 1:2  smooth bezier  lw 3 title "Line Read md127 (sdd+sdc), MB/s"

IOPS

Видно что начиная примерно с 20 потоков диски выходят на максимум IOPS и растет только время отклика, привожу 2 графика - полный и подробный начала шкалы

На свякий случай - скрипт построения графика, отрезать лишнее можно используя set xrange [0:20]

#!/usr/bin/gnuplot -persist

#set terminal png
set terminal png  size 1600,800

set output "IOPS_nnm_no_limit.png"
set ylabel "IOPS"
set xlabel "IODEPTH"
#set xrange [0:20]
set grid
set y2label 'ms'
set ytics nomirror
set y2tics
set tics out
set autoscale  y
set autoscale y2

plot \
"fio_result.data.sda_step_by_step_test" using 1:2 smooth bezier  lw 2 title "sda IOPS" axes x1y1, \
"fio_result.data.sda_step_by_step_test" using 1:3 smooth bezier  lw 3 title "sda Latency, ms" axes x1y2, \
"fio_result.data.sdb_step_by_step_test" using 1:2 smooth bezier  lw 2 title "sdb IOPS" axes x1y1, \
"fio_result.data.sdb_step_by_step_test" using 1:3 smooth bezier  lw 3 title "sdb Latency, ms" axes x1y2, \
"fio_result.data.sdc_step_by_step_test" using 1:2 smooth bezier  lw 2 title "sdc IOPS" axes x1y1, \
"fio_result.data.sdc_step_by_step_test" using 1:3 smooth bezier  lw 3 title "sdc Latency, ms" axes x1y2, \
"fio_result.data.sdd_step_by_step_test" using 1:2 smooth bezier  lw 2 title "sdd IOPS" axes x1y1, \
"fio_result.data.sdd_step_by_step_test" using 1:3 smooth bezier  lw 3 title "sdd Latency, ms" axes x1y2, \
"fio_result.data.sde_step_by_step_test" using 1:2 smooth bezier  lw 2 title "sde IOPS" axes x1y1, \
"fio_result.data.sde_step_by_step_test" using 1:3 smooth bezier  lw 3 title "sde Latency, ms" axes x1y2, \
"fio_result.data.sdg_step_by_step_test" using 1:2 smooth bezier  lw 2 title "sdg IOPS" axes x1y1, \
"fio_result.data.sdg_step_by_step_test" using 1:3 smooth bezier  lw 3 title "sdg Latency, ms" axes x1y2, \
"fio_result.data.sdh_step_by_step_test" using 1:2 smooth bezier  lw 2 title "sdh IOPS" axes x1y1, \
"fio_result.data.sdh_step_by_step_test" using 1:3 smooth bezier  lw 3 title "sdh Latency, ms" axes x1y2, \
"fio_result.data.sdj_step_by_step_test" using 1:2 smooth bezier  lw 2 title "sdj IOPS" axes x1y1, \
"fio_result.data.sdj_step_by_step_test" using 1:3 smooth bezier  lw 3 title "sdj Latency, ms" axes x1y2, \
"fio_result.data.sdk_step_by_step_test" using 1:2 smooth bezier  lw 2 title "sdk IOPS" axes x1y1, \
"fio_result.data.sdk_step_by_step_test" using 1:3 smooth bezier  lw 3 title "sdk Latency, ms" axes x1y2, \
"fio_result.data.md126_step_by_step_test" using 1:2 smooth bezier  lw 2 title "md126 (sdc+sdd) IOPS" axes x1y1, \
"fio_result.data.md126_step_by_step_test" using 1:3 smooth bezier  lw 3 title "md126 (sdd+sdc)Latency, ms" axes x1y2

Одновременный тест нескольких винтов или насыщение шины

Проверим, а как насчет одновременной работы более чем 1 винта - не упираемся ли в шину.
Графиков довольно много, понять что то - сложно, но вцелом вывод такой - одиночный винт работает быстрее Чем если с ним параллельно нагружен второй. Куда происходит "упирание" сказать сложно.

один и то те винт при разной нагрузке на систему

sda

Видно, что при нагрузке на второй винт на этом же контроллере производительность падает. Дальше, нагрузка на другие винты практически не оказывает влияния.

sdb

Всплеск около 50000 следует трактовать как "тест винта sda завершился раньше из-за его меньшего размера", отсюда и такая странная форма графика. В остальном повторяет sda

sdc

По поводу этого графика можго сказать следующее

• нагрузка на sda практически не оказала влияния (линия +1 немного ниже линии +0)
• одновременная работа 3 и более винтов на шине снижает быстродействие просто катастрофически.

Сервер и много винтов

Еще графики с сервера с 24 винтами, тест еще идет потому результаты предварительные. Но тенденция видна.

В тест запускается линейное чтение сначала на sda, потом на sda и sdb, потом на sda, sdb и sdc и так далее. Соответственно число (+XX) - это число винтов которые были нагружены дополнительно во время теста текущего диска.

Первые 2 диска - наиболее показательно

Достаточно странно и неожиданно - скорость первого диска фактически не зависит от того загружены ли другие диски или нет. Но вспомнив что системный диск другого размера, и, вероятнее всего выключен в другой контроллер - и все встает на свои места

Второй же диск ведет себя предсказуемо - чем больше параллельных запросов на шину контроллера тем медленнее он работает

Остальные диски

Дальше картина не меняется

Выводы

Тестировалось старое и новое, быстрое и медленное железо, потому попробую обобщить выводы

• линейная скорость чтения это не единственный показатель для серверных дисков
• нагрузку выбирать так что бы latency не зашкаливало.
• внимательно следить за разделяемыми ресурсами - производительность шины или сети ( для iSCSI может не хватить при большом числе дисков в системе)
• даже софтварные рейды имеют хорошие показатели по сравнению с одиночными дисками.
• следует быть готовым к тому что тестирование дисковой подсистемы займет много времени

Ссылки

• http://habrahabr.ru/post/154235/