CN104850479A

CN104850479A - 一种基于fio的硬盘自动化测试方法

Info

Publication number: CN104850479A
Application number: CN201510249631.1A
Authority: CN
Inventors: 苗永威
Original assignee: Inspur Electronic Information Industry Co Ltd
Current assignee: Inspur Electronic Information Industry Co Ltd
Priority date: 2015-05-15
Filing date: 2015-05-15
Publication date: 2015-08-19

Abstract

本发明公开了一种基于FIO的硬盘自动化测试方法，所述方法具体实现过程为：1）根据测试需求人工修改测试脚本参数；2）脚本根据参数自动选择对应测试模块；3）测试模块根据参数自动开始测试；4）完成测试并输出结果到日志。本发明方法，摆脱了FIO单条测试命令的局限性，能够对硬盘同时进行多个线程的多种模式的读写性能测试、稳定性测试及压力测试，有效的提高了FIO工具的易用性，可以根据不同需求调整测试参数和配置文件，满足越来越多不同客户的硬盘测试需求，极大的提高了公司的人均产能，降低测试成本，增强竞争力。

Description

一种基于FIO的硬盘自动化测试方法

技术领域

本发明涉及服务器技术IO测试领域，具体涉及一种基于FIO的硬盘自动化测试方法，可以实现针对不同配置，使用FIO工具对硬盘进行性能、稳定性等自动化测试方法。

背景技术

随着IT行业的高速发展，信息化、大数据及云计算的发展对服务器性能要求越来越高。硬盘作为数据存储的载体，性能指标直接影响服务器的整体呈现。做为国内领先的服务器硬件供应商，各大公司都在不断提高对硬盘性能测试的质量及效率。

Shell脚本与Windows/Dos下的批处理相似，也就是用各类命令预先放入到一个文件中，方便一次性执行的一个程序文件，主要是方便管理员进行设置或者管理用的。但是它比Windows下的批处理更强大，比用其他编程程序编辑的程序效率更高。

FIO是一个文件***的benchmark工具，可以测试各种操作***文件***的读写性能，可以进行不同测试块大小、不同模式下的硬盘性能测试。但是FIO只提供了简单的参数，单条命令的使用有非常大的测试局限，很难做到对硬盘进行较为***的性能及稳定性测试。

如果能够通过shell语言编写自动化的测试脚本，并手动进行测试参数的调整，将会极大提高硬盘性能及稳定性测试的质量及效率。

发明内容

本发明要解决的技术问题是：本发明针对以上不足之处，提供一种测试实用性强、可以对FIO的测试参数进行扩展，以适应各种性能及稳定性测试需求的方法。

本发明所采用的技术方案为：

一种基于FIO的硬盘自动化测试方法，其具体实现过程为：

1）根据测试需求人工修改测试脚本参数；

2）脚本根据参数自动选择对应测试模块；

3）测试模块根据参数自动开始测试；

4）完成测试并输出结果到日志。

所述方法脚本包含内容如下：

对模块变量及部分参数进行初始定义；

通过usage命令，对脚本可用到的参数进行说明；

套用getopts命令，对脚本命令行参数进行定义，

根据if语句的判断，调用base_test测试模块；

利用for循环嵌套，采用不同线程不同读写策略不同数据块大小进行测试并输出结果至log档；

根据设置参数运行带宽测试；

利用不同数据块大小、不同线程及不同读写策略运行稳定性测试。

所述方法包含性能、稳定性、压力等多种模块化测试，测试线程数、测试块大小、测试文件大小、测试模式等可以根据实际需求进行调节。

本发明的有益效果为：

本发明方法，摆脱了FIO单条测试命令的局限性，能够对硬盘同时进行多个线程的多种模式的读写性能测试、稳定性测试及压力测试，有效的提高了FIO工具的易用性，可以根据不同需求调整测试参数和配置文件，满足越来越多不同客户的硬盘测试需求，极大的提高了公司的人均产能，降低测试成本，增强竞争力。

说明书附图

图1为本发明方法实现流程图。

具体实施方式

下面根据说明书附图，结合具体实施方式对本发明进一步说明：

如图1所示，一种基于FIO的硬盘自动化测试方法，其具体实现过程为：

1）根据测试需求人工修改测试脚本参数；

2）脚本根据参数自动选择对应测试模块；

3）测试模块根据参数自动开始测试；

4）完成测试并输出结果到日志。

所述方法shell脚本内容如下：

IS_FRAG=false

IS_STRESS=false

IS_BASE=false

IS_FILESYSTEM=false

IS_IOPS=false

IO_ENGINE=libaio

FILE_SIZE=100%

对模块变量及部分参数进行初始定义，如默认IO engine为libaio模式；

usage(){

echo "$0 [-f] [-s] [-e io_engine] [-h] [-b] [-d dev_name] [-m] [-p partion] [-w workdir] [-r] [-i iops]"

echo "-f fragment"

echo "-s stress test"

echo "-e ioengine type , default type is libaio"

echo "-b raw device base test"

…

echo "example:"

echo " raw device fragment: nohup &>/dev/null sh iotest.sh -f -d /dev/sda &"

echo " raw device base test: nohup &>/dev/null sh iotest.sh -b -d /dev/sda &"

…

echo "If you have any question, contact with me : miaoywinspur.com"

exit

usage说明，对脚本可用到的参数进行说明，例如：执行iotest.sh –h会屏幕print；

while getopts "hsfbe:d:mp:w:ri:" arg

do

case $arg in

h)

usage;;

s)

IS_STRESS=true;;

f)

IS_FRAG=true;;

b)

IS_BASE=true;;

…

w)

workdir=${OPTARG};;

r)

IS_IOPS=true;;

i)

define_iops=${OPTARG};;

esac

done

套用getopts方式，对脚本命令行参数进行定义，例如执行iotest.sh –b 会自动将“IS_BASE=true”；

if ${IS_FRAG};then

fragment

fi

if ${IS_BASE};then

base_test

fi

…

if ${IS_IOPS};then

fixed_iops_test

fi

根据if语句的判断，调用base_test测试模块；

base_test(){

for RW in write randwrite read randread

do

for BS in 4k 16k 64k 512k

do

for THREADS in 1 2 8 16 32 64 256

do

if [ $THREADS -le 32 ];then

fio --readwrite=${RW} --bs=${BS} --numjobs=${THREADS} --runtime=300s ${PARA_LINE} --filename=${DEV_LIST} --name=${RW}_${BS}_${THREADS} | tee -a ${RW}.log

else

iodepth=$(($THREADS/32))

PARA_LINE2="--end_fsync=0 --group_reporting --direct=1 --ioengine=${IO_ENGINE} --iodepth=$iodepth --time_based --invalidate=1 --norandommap --randrepeat=0 --exitall --size=${FILE_SIZE}"

fio --readwrite=${RW} --bs=${BS} --numjobs=32 --runtime=300s ${PARA_LINE2} --filename=${DEV_LIST} --name=${RW}_${BS}_${THREADS} | tee -a ${RW}.log

fi

done

sleep 60s

done

以上部分是利用for循环嵌套，采用不同线程不同读写策略不同数据块大小进行测试并输出结果至log档；

fio --readwrite=read --bs=512k --direct=1 --runtime=300s --end_fsync=0 --ioengine=${IO_ENGINE} --time_based --invalidate=1 --norandommap --randrepeat=0 --group_reporting --numjobs=1 --size=${FILE_SIZE} --filename=${DEV_LIST} --name=BW_read |tee -a BW_read.log

sleep 60s

…

fio --readwrite=write --bs=512k --direct=1 --runtime=300s --end_fsync=0 --ioengine=${IO_ENGINE} --time_based --invalidate=1 --norandommap --randrepeat=0 --group_reporting --numjobs=1 --size=${FILE_SIZE} --filename=${DEV_LIST} --name=BW_write |tee -a BW_write.log

sleep 60s

以上部分是根据设置参数运行带宽测试；

# steady

iostat -xm 1 > 4k_rw_iops &

fio --readwrite=randrw --rwmixread=70 --bs=4k --runtime=3000s --numjobs=32 ${PARA_LINE} --filename=${DEV_LIST} --name=4k_rw_iops | tee -a 4k_rw_iops.log

kill `pidof iostat` > /dev/null

sleep 30s

…

iostat -xm 1 > 16k_w_iops &

fio --readwrite=randwrite --bs=16k --runtime=3000s --numjobs=32 ${PARA_LINE} --filename=${DEV_LIST} --name=16k_w_iops | tee -a 16k_w_iops.log

kill `pidof iostat` > /dev/null

以上部分是利用不同数据块大小、不同线程及不同读写策略运行稳定性测试；

}

…

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims

1.一种基于FIO的硬盘自动化测试方法，其特征在于，所述方法具体实现过程为：

1）根据测试需求人工修改测试脚本参数；

2）脚本根据参数自动选择对应测试模块；

3）测试模块根据参数自动开始测试；

4）完成测试并输出结果到日志。

2.根据权利要求1所述的一种基于FIO的硬盘自动化测试方法，其特征在于：所述方法脚本包含内容如下：

对模块变量及部分参数进行初始定义；

通过usage命令，对脚本用到的参数进行说明；

套用getopts命令，对脚本命令行参数进行定义，

根据if语句的判断，调用base_test测试模块；

根据设置参数运行带宽测试；

3.根据权利要求1或2所述的一种基于FIO的硬盘自动化测试方法，其特征在于：所述方法的测试线程数、测试块大小、测试文件大小、测试模式根据实际需求进行调节。