CN105700982A - 一种基于高性能linpack进行内存压力及稳定性测试方法 - Google Patents

一种基于高性能linpack进行内存压力及稳定性测试方法 Download PDF

Info

Publication number
CN105700982A
CN105700982A CN201610035610.4A CN201610035610A CN105700982A CN 105700982 A CN105700982 A CN 105700982A CN 201610035610 A CN201610035610 A CN 201610035610A CN 105700982 A CN105700982 A CN 105700982A
Authority
CN
China
Prior art keywords
linpack
performance
method based
memory
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610035610.4A
Other languages
English (en)
Inventor
刘振东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201610035610.4A priority Critical patent/CN105700982A/zh
Publication of CN105700982A publication Critical patent/CN105700982A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于高性能linpack进行内存压力及稳定性测试方法，所述方法利用高性能linpack，采用控制数组N大小来控制对内存遍历百分比，采用高斯消元求解线性方程来产生高频读写产生的压力模拟高性能计算机运行环境，进行内存压力及稳定性测试。本发明方法可以避免只针对内存颗粒检测或者带宽测试的弊端，更好的在研发阶段排除内存稳定性的问题。

Description

一种基于高性能linpack进行内存压力及稳定性测试方法
技术领域
本发明涉及计算机测试技术领域，具体涉及一种基于高性能linpack进行内存压力及稳定性测试方法。
背景技术
随着大数据、云计算、高性能计算机成为当代流行的话题，海量数据处理需求正在快速增加。相对高性能服务器，由于***处理的数据量都是相当巨大的，因此几乎每一步操作都得经过内存，这也是整个***中工作最为频繁的部件。如此一来，内存在高压工作环境下稳定性表现一定程度上决定了这个***的表现。如何保证内存稳定性运行，也越来越成为我们测试部门的一项重要的工作。
在高性能研发阶段，我们之前通常会使用memtest或者stream测试工具进行内存质量及稳定性的测试，但是有较多工作经验的工作人员会发现，这两个测试工作在测试过程中很难发现内存会有什么问题。这是因为memtest工具是针对内存颗粒检测，这种测试在内存出厂的过程中都会有检测；而stream测试工具主要功能是进行内存带宽测试，只是进行内存及CPU直接数据通讯测试，很难遍历内存地址。
发明内容
本发明要解决的技术问题是：为了解决上述问题，本发明提出一种基于高性能linpack进行内存压力及稳定性测试方法。利用高性能linpack(HighPerformanceLinpack,HPL)，采用控制数组N大小来控制对内存遍历百分比，在HPL采用高斯消元求解线性方程来产生高频读写产生的压力模拟高性能计算机运行环境，可以很好避免上述两个测试工具的弊端，更好的在研发阶段排除内存稳定性的问题。
本发明所采用的技术方案为：
一种基于高性能linpack进行内存压力及稳定性测试方法，所述方法利用高性能linpack(HighPerformanceLinpack,HPL)，采用控制数组N大小来控制对内存遍历百分比，采用高斯消元求解线性方程来产生高频读写产生的压力模拟高性能计算机运行环境，进行内存压力及稳定性测试,所述方法可以避免只针对内存颗粒检测或者带宽测试的弊端，更好的在研发阶段排除内存稳定性的问题。
linpack是线性***软件包(Linearsystempackage)的缩写，主要开始于1974年4月，美国Argonne国家实验室应用数学所主任JimPool，在一系列非正式的讨论会中评估，建立一套专门解线性***问题之数学软件的可能性。
所述方法操作步骤如下：
1）搭建Linapck环境；
2）根据***修改HPL参数；
3）运行Linapck测试工具；
4）检查***各个log文件及监控管理***下是否有关内存方面的问题。
所述Linapck安装前的准备工作包括：
1）关闭selinux，具体操作为：systerm->administrator->securitylevelconfiguration，单击selinux标签，选择disable，在配置完成后再重新开启；
2）确保***时间为当前时间，该项可通过右上角的时间进行设置；
3）准备好安装文件及其license文件，并将其拷贝至/opt/linpack文件夹下。
SELinux(Security-EnhancedLinux)是美国国家***（NSA）对于强制访问控制的实现，是Linux上最杰出的新安全子***。
所述linpack单节点运行，过程如下：
1）修改HPL.dat文件：
#cd/opt/intel/mkl/benchmark/mp_linpack/bin/intel64/
#viHPL.dat
主要是对其中的四个值进行修改：Ns、NB、Ps、Qs，其中：
Ns：矩阵大小；
通过控制矩阵阶数N来控制矩阵A占用***总内存的大小；N×N×8＝***总内存×X％；
NB：矩阵分块的大小；
Ps、Qs:二维处理器网格（P×Q）；
修改完成后，保存，退出；
2）启动mpd；
3）运行linpack。
本发明的有益效果为：
本发明方法可以避免只针对内存颗粒检测或者带宽测试的弊端，更好的在研发阶段排除内存稳定性的问题。HPL适合于分布式存储大规模并行计算机***，具有通用性好、效率高等特点。HPL采用高斯消元法求解线性方程组，求解问题规模为N时，LU分解的浮点运算次数为(2/3×N^3–1/2×N^2)，回代解方程的浮点运算次数为2×N^2，总的浮点运算次数为(2/3×N^3+3/2×N^2)。因此，只要根据要求控制求解问题规模N，就可以控制稳定性过程中对内存遍历的百分比，模拟高性能计算***真实运行环境，测试结果更具可信度。
附图说明
图1为本发明方法操作流程图。
具体实施方式
下面根据说明书附图，结合具体实施方式对本发明进一步说明：
实施例1：
一种基于高性能linpack进行内存压力及稳定性测试方法，所述方法利用高性能linpack（HighPerformanceLinpack,HPL)，采用控制数组N大小来控制对内存遍历百分比，在HPL采用高斯消元求解线性方程来产生高频读写产生的压力模拟高性能计算机运行环境，可以避免只针对内存颗粒检测或者带宽测试的弊端，更好的在研发阶段排除内存稳定性的问题。
实施例2：
如图1所示，在实施例1的基础上，本实施例所述方法操作步骤如下：
1）搭建Linapck环境；
2）根据***修改HPL参数；
3）运行Linapck测试工具；
4）检查***各个log(日志)文件及监控管理***下是否有关内存方面的问题。
实施例3：
在实施例2的基础上，本实施例所述Linapck安装前的准备工作包括：
1）关闭selinux，具体操作为：systerm->administrator->securitylevelconfiguration，单击selinux标签，选择disable，可以在配置完成后再重新开启；
2）确保***时间为当前时间，该项可通过右上角的时间进行设置；
3）准备好安装文件及其license文件，并将其拷贝至/opt/linpack文件夹下。
实施例4：
在实施例2或3的基础上，本实施例所述Linapck软件安装过程如下：
开始软件安装（两个安装文件为l_ccompxe_intel64_2011.7.256.tgz和l_mpi_p_4.0.3.008.tgz）：
1、在Linux终端下（右键，选择“openinterminal”），cd至文件目录：
#cd/opt/linpack
2、#tar–zxvfl_ccompxe_intel64_2011.7.256.tgz
#cdl_ccompxe_intel64_2011.7.256
#./install.sh
待安装完成后，回车，开始安装mpi包（即l_mpi_p_4.0.3.008.tgz），方法同上。
所述软件环境配置过程如下：
1）配置Make.intel64文件
#cd/opt/intel/mkl/benchmarks/mp_linpack/
#viMake.intel64
修改如下内容：
MPdir=/opt/intel/impi/4.1.0
保存，退出。（ESC—>:-->wq-->Enter）
2）配置.bashrc文件
#cd~
#vi.bashrc
在该文件末尾加入如下内容：（点i开始编辑，移动光标至末尾）
./opt/intel/composer_xe_2013。2。146/bin/iccvars.shintel64
./opt/intel/impi/4.1.0/bin64/mpivars.sh
其中：composer_xe_2013。2。146和4.1.0部分可以根据linpack版本更改；
保存，退出。
#..bashrc(使以上修改内容生效)
#cd/opt/intel/mkl/benchmark/mp_linpack
#makearch=intel64(编译)
完成。
实施例4：
在实施例3的基础上，本实施例所述linpack单节点运行，过程如下：
1）修改HPL.dat文件：
#cd/opt/intel/mkl/benchmark/mp_linpack/bin/intel64/
#viHPL.dat
主要是对其中的四个值进行修改：Ns、NB、Ps、Qs，其中：
Ns：矩阵大小；
可以控制矩阵阶数N来控制矩阵A占用***总内存的大小；
即N×N×8＝***总内存×X％；
NB：矩阵分块的大小；
Ps、Qs:二维处理器网格（P×Q）；
二维处理器网格（P×Q）有以下几个要求：
P×Q=***CPU数=进程数。一般来说一个进程对于一个CPU可以得到最佳性能。对于IntelXeon来说，关闭超线程可以提高HPL性能。
P≤Q；一般来说，P的值尽量取得小一点，因为列向通信量（通信次数和通信数据量）要远大于横向通信。
P=2n，即P最好选择2的幂。HPL中，L分解的列向通信采用二元交换法（BinaryExchange），当列向处理器个数P为2的幂时，性能最优。
修改完成后，保存，退出。
2）启动mpd；
#mpd&
3）运行linpack
#cd/opt/intel/mkl/benchmark/mp_linpack/bin64/intel64/
#mpiexec-n核心数./xhpl
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (4)

1.一种基于高性能linpack进行内存压力及稳定性测试方法，其特征在于：所述方法利用高性能linpack，采用控制数组N大小来控制对内存遍历百分比，采用高斯消元求解线性方程来产生高频读写产生的压力模拟高性能计算机运行环境，进行内存压力及稳定性测试。
2.根据权利要求1所述的一种基于高性能linpack进行内存压力及稳定性测试方法，其特征在于，所述方法操作步骤如下：
1）搭建Linapck环境；
2）根据***修改HPL参数；
3）运行Linapck测试工具；
4）检查***各个日志文件及监控管理***下是否有关内存方面的问题。
3.根据权利要求2所述的一种基于高性能linpack进行内存压力及稳定性测试方法，其特征在于，所述Linapck安装前的准备工作包括：
1）关闭selinux；
2）确保***时间为当前时间；
3）准备好安装文件及其license文件，并将其拷贝至/opt/linpack文件夹下。
4.根据权利要求2或3所述的一种基于高性能linpack进行内存压力及稳定性测试方法，其特征在于，所述linpack单节点运行，过程如下：
1）修改HPL.dat文件：
主要是对其中的四个值进行修改：Ns、NB、Ps、Qs，其中：
Ns：矩阵大小；
通过控制矩阵阶数N来控制矩阵A占用***总内存的大小；
NB：矩阵分块的大小；
Ps、Qs:二维处理器网格（P×Q）；
修改完成后，保存，退出；
2）启动mpd；
3）运行linpack。
CN201610035610.4A 2016-01-19 2016-01-19 一种基于高性能linpack进行内存压力及稳定性测试方法 Pending CN105700982A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610035610.4A CN105700982A (zh) 2016-01-19 2016-01-19 一种基于高性能linpack进行内存压力及稳定性测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610035610.4A CN105700982A (zh) 2016-01-19 2016-01-19 一种基于高性能linpack进行内存压力及稳定性测试方法

Publications (1)

Publication Number Publication Date
CN105700982A true CN105700982A (zh) 2016-06-22

Family

ID=56226726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610035610.4A Pending CN105700982A (zh) 2016-01-19 2016-01-19 一种基于高性能linpack进行内存压力及稳定性测试方法

Country Status (1)

Country Link
CN (1) CN105700982A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250309A (zh) * 2016-07-22 2016-12-21 浪潮电子信息产业股份有限公司 一种内存压力变化测试方法及装置
CN106445766A (zh) * 2016-10-18 2017-02-22 郑州云海信息技术有限公司 一种运算性能测试方法及装置
CN107729193A (zh) * 2017-09-14 2018-02-23 郑州云海信息技术有限公司 一种基于Purley平台的Linpack测试自动优化配置方法及***
CN109144669A (zh) * 2018-08-15 2019-01-04 郑州云海信息技术有限公司 一种mcs***下nas虚拟机***的压力测试方法与***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984612A (zh) * 2014-05-28 2014-08-13 浪潮电子信息产业股份有限公司 一种基于hpl工具的无人值守压力测试的方法
CN104035876A (zh) * 2014-07-02 2014-09-10 浪潮电子信息产业股份有限公司 一种基于pxe、shell和expect实现ib网络环境下linpack集群测试的方法
CN104375914A (zh) * 2014-11-24 2015-02-25 浪潮电子信息产业股份有限公司 一种服务器内部压力变化自动测试方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984612A (zh) * 2014-05-28 2014-08-13 浪潮电子信息产业股份有限公司 一种基于hpl工具的无人值守压力测试的方法
CN104035876A (zh) * 2014-07-02 2014-09-10 浪潮电子信息产业股份有限公司 一种基于pxe、shell和expect实现ib网络环境下linpack集群测试的方法
CN104375914A (zh) * 2014-11-24 2015-02-25 浪潮电子信息产业股份有限公司 一种服务器内部压力变化自动测试方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250309A (zh) * 2016-07-22 2016-12-21 浪潮电子信息产业股份有限公司 一种内存压力变化测试方法及装置
CN106445766A (zh) * 2016-10-18 2017-02-22 郑州云海信息技术有限公司 一种运算性能测试方法及装置
CN106445766B (zh) * 2016-10-18 2018-09-21 郑州云海信息技术有限公司 一种运算性能测试方法及装置
CN107729193A (zh) * 2017-09-14 2018-02-23 郑州云海信息技术有限公司 一种基于Purley平台的Linpack测试自动优化配置方法及***
CN109144669A (zh) * 2018-08-15 2019-01-04 郑州云海信息技术有限公司 一种mcs***下nas虚拟机***的压力测试方法与***

Similar Documents

Publication Publication Date Title
Venkataraman et al. Ernest: Efficient performance prediction for {Large-Scale} advanced analytics
Huang et al. Performance modeling and analysis of flash-based storage devices
CN105700982A (zh) 一种基于高性能linpack进行内存压力及稳定性测试方法
Ahmad Easy and efficient disk I/O workload characterization in VMware ESX server
Saini et al. I/O performance characterization of Lustre and NASA applications on Pleiades
Las-Casas et al. Weighted sampling of execution traces: Capturing more needles and less hay
Zhou et al. Learning on distributed traces for data center storage systems
Qin et al. Nsfuzz: Towards efficient and state-aware network service fuzzing
Wagner et al. Hierarchical memory buffering techniques for an in-memory event tracing extension to the open trace format 2
Dickson et al. Replicating HPC I/O workloads with proxy applications
Chen et al. Low‐overhead inline deduplication for persistent memory
Hu et al. Lily results for OAEI 2020.
Luo et al. ScalaiOExtrap: Elastic I/O tracing and extrapolation
Mendez et al. Analyzing the parallel I/O severity of MPI applications
Yang et al. Improving f2fs performance in mobile devices with adaptive reserved space based on traceback
Ouarnoughi et al. Considering I/O processing in CloudSim for performance and energy evaluation
Prada et al. A novel black-box simulation model methodology for predicting performance and energy consumption in commodity storage devices
Song et al. ASTracer: An efficient tracing tool for HDFS with adaptive sampling
Weinberg et al. Accurate memory signatures and synthetic address traces for HPC applications
Liao Server‐side prefetching in distributed file systems
Tikir et al. Psins: An open source event tracer and execution simulator
Dong et al. Characterizing I/O workloads of HPC applications through online analysis
Mi et al. Performance problems online detection in cloud computing systems via analyzing request execution paths
Williams et al. Understanding the Impact of openPMD on BIT1, a Particle-in-Cell Monte Carlo Code, through Instrumentation, Monitoring, and In-Situ Analysis
Liu et al. VST: A virtual stress testing framework for discovering bugs in SSD flash-translation layers

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160622

RJ01 Rejection of invention patent application after publication