CN104035876A - 一种基于pxe、shell和expect实现ib网络环境下linpack集群测试的方法 - Google Patents
一种基于pxe、shell和expect实现ib网络环境下linpack集群测试的方法 Download PDFInfo
- Publication number
- CN104035876A CN104035876A CN201410311678.1A CN201410311678A CN104035876A CN 104035876 A CN104035876 A CN 104035876A CN 201410311678 A CN201410311678 A CN 201410311678A CN 104035876 A CN104035876 A CN 104035876A
- Authority
- CN
- China
- Prior art keywords
- node
- linpack
- test
- cluster
- expect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Stored Programmes (AREA)
Abstract
本发明公开了一种基于PXE、SHELL和EXPECT实现IB网络环境下LINPACK集群测试的方法，步骤如下：使用PXE+DHCP+HTTP+Kickstart安装RHEL6.4x64OS；使用Kickstart+HTTP+DHCP安装HCA卡的驱动及设置IP，关闭SElinux、防火墙和Cpuspeed，开启opensmd服务命令；设置HPL集群mpd测试环境及Linpack测试工具的下载；实现集群节点内的无密码访问设置及集群测试工具的安装；获取并测试HPL.dat值。本发明大大简化了Linpack集群测试的操作流程，特别是对于刀片高密度服务器，实现了对大量节点的Linpack集群测试。
Description
技术领域
本发明涉及IT技术领域，具体地说是一种基于PXE、SHELL和EXPECT实现IB网络环境下LINPACK集群测试的方法。
背景技术
随着IT领域技术的不断发展，传统信息化服务以及日趋强大的云计算服务对服务器的集群性能要求越来越高。基于计算机集群的高性能并行计算,已成为广大工程与科学计算的有效手段。随着网络设备的发展，IB卡也越来越多地应用于集群环境中。云计算***的一个重要作用是向用户提供计算力，评价一个***的总体计算力的方法就是采用一个统一的测试标准作为评判，现在评判一个***计算力的方法中最为知名的就是Linpack测试，世界最快500台巨型机***的排名采用的就是这一标准。掌握Linpack测试技术对于在云计算时代评判一个云***的计算力也有着重要意义。
Linpack现在在国际上已经成为最流行的用于测试高性能计算机***浮点性能的benchmark。通过利用高性能计算机，用高斯消元法求解N元一次稠密线性代数方程组的测试，评价高性能计算机的浮点性能。Linpack测试包括三类，Linpack100、Linpack1000和HPL。HPL即High Performance Linpack，也叫高度并行计算基准测试，它对数组大小N没有限制，求解问题的规模可以改变，除基本算法（计算量）不可改变外，可以采用其它任何优化方法。前两种测试运行规模较小，已不是很适合现代计算机的发展，因此现在使用较多的测试标准为HPL，而且阶次N也是linpack测试必须指明的参数。
PXE(preboot execute environment，预启动执行环境)是工作于Client/Server的网络模式，支持工作站通过网络从远端服务器下载映像，并由此支持通过网络启动操作***，在启动过程中，终端要求服务器分配IP地址，再用TFTP（trivial file transfer protocol）或MTFTP(multicast trivial file transfer protocol)协议下载一个启动软件包到本机内存中执行，由这个启动软件包完成终端基本软件设置，从而引导预先安装在服务器中的终端操作***。
Shell俗称壳（用来区别于核），是指“提供使用者使用界面”的软件（命令解析器）。它类似于DOS下的command和后来的cmd.exe。它接收用户命令，然后调用相应的应用程序。同时它又是一种程序设计语言。作为命令语言，它交互式解释和执行用户输入的命令或者自动地解释和执行预先设定好的一连串的命令；作为程序设计语言，它定义了各种变量和参数，并提供了许多在高级语言中才具有的控制结构，包括循环和分支。
Expect是一个用来实现自动交互功能的软件套件。使用它，***管理员可以创建脚本来对命令或程序进行输入，而这些命令和程序是期望从终端（terminal）得到输入，一般来说这些输入都需要手工输入进行的。Expect则可以根据程序的提示模拟标准输入提供给程序需要的输入来实现交互程序执行。
SELinux (Security-Enhanced Linux) 是 2.6 版本的 Linux 内核中提供的强制访问控制(MAC）***。
发明内容
本发明的技术任务是提供一种基于PXE、SHELL和EXPECT实现IB网络环境下LINPACK集群测试的方法。
本发明的技术任务是按以下方式实现的，该方法步骤如下：
1）使用PXE+DHCP+HTTP+Kickstart安装RHEL6.4x64 OS，并进行磁盘分区和选择软件包；
2）使用Kickstart+HTTP+DHCP安装HCA卡的驱动及设置IP，关闭SElinux功能，关闭防火墙功能和Cpuspeed服务，开启opensmd服务命令；
3）使用HTTP +shell设置HPL集群mpd测试环境及Linpack测试工具的下载；
4）使用expect实现集群节点内的无密码访问设置及集群测试工具的安装；
5）使用shell语言获取并测试HPL.dat值。
所述的步骤2）具体如下：***安装完成后通过ftp自动获取驱动文件放置与root目录，并自动mount驱动于/mnt下安装，安装完成后自动删除安装文件及umount /mnt；在/etc/rc.local 下输入关闭cpuspeed服务、防火墙功能及开启opensmd服务命令，实现每次***重启后自动关闭和开启必要服务。
所述的步骤3）具体如下：首先获取每个节点的bmc ip，通过bmc ip设置每个节点的hostname，做到每个节点hostname和bmc ip一一对应；mpd测试环境包括mpd.conf、mpd.host配置文件设置。
所述的步骤4）具体如下：通过ftp下载intel c编译工具和mpi工具；通过expect实现两个工具的自动安装及编译mp_linpack文件得到xhpl工具和hpl.dat配置文件；通过expect实现每个节点的dsa key自动上传于节点1，节点1的dsa key 自动复制给每个节点，实现节点1和其它每个节点无密码互相访问；关闭所有节点非IB卡网络IP。
所述的步骤5）具体如下：自动获取节点1的内存容量*对应节点数及CPU物理核数*对应节点数，然后通过数字运算得到N、P、Q、NB各值；通过节点1开启所有节点mpdboot服务，通过mpiexex设置总cpu核数，运行xhpl,开始linpack性能测试，最后结果输出与/root/linpack_cpu型号_节点数.txt文件夹下。
本发明的一种基于PXE、SHELL和EXPECT实现IB网络环境下LINPACK集群测试的方法和现有技术相比，大大简化了Linpack集群测试的操作流程，特别是对于刀片高密度服务器，轻松实现了对大量节点的Linpack集群测试。本方法在研发阶段、测试阶段及生产阶段的应用，模拟用户真正的大负载使用，实现了Linpack集群测试的自动化、便捷化。
附图说明
附图１为一种基于PXE、SHELL和EXPECT实现IB网络环境下LINPACK集群测试的方法的流程图。
具体实施方式
实施例1：
该方法步骤如下：
1）使用PXE+DHCP+HTTP+Kickstart安装RHEL6.4x64 OS，并进行磁盘分区和选择软件包；
2）使用Kickstart+HTTP+DHCP安装HCA卡的驱动及设置IP，关闭SElinux功能，关闭防火墙功能和Cpuspeed服务，开启opensmd服务命令；
具体如下：***安装完成后通过ftp自动获取驱动文件放置与root目录，并自动mount驱动于/mnt下安装，安装完成后自动删除安装文件及umount /mnt；在/etc/rc.local 下输入关闭cpuspeed服务、防火墙功能及开启opensmd服务命令，实现每次***重启后自动关闭和开启必要服务。
3）使用HTTP +shell设置HPL集群mpd测试环境及Linpack测试工具的下载；
具体如下：首先获取每个节点的bmc ip，通过bmc ip设置每个节点的hostname，做到每个节点hostname和bmc ip一一对应；mpd测试环境包括mpd.conf、mpd.host配置文件设置。
4）使用expect实现集群节点内的无密码访问设置及集群测试工具的安装；
具体如下：通过ftp下载intel c编译工具和mpi工具；通过expect实现两个工具的自动安装及编译mp_linpack文件得到xhpl工具和hpl.dat配置文件；通过expect实现每个节点的dsa key自动上传于节点1，节点1的dsa key 自动复制给每个节点，实现节点1和其它每个节点无密码互相访问；关闭所有节点非IB卡网络IP。
5）使用shell语言获取并测试HPL.dat值。
具体如下：自动获取节点1的内存容量*对应节点数及CPU物理核数*对应节点数，然后通过数字运算得到N、P、Q、NB各值；通过节点1开启所有节点mpdboot服务，通过mpiexex设置总cpu核数，运行xhpl,开始linpack性能测试，最后结果输出与/root/linpack_cpu型号_节点数.txt文件夹下。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本专利。但是应当理解，本专利并不限于上述的具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。
Claims (5)
1.一种基于PXE、SHELL和EXPECT实现IB网络环境下LINPACK集群测试的方法，其特征在于,方法步骤如下：
1）使用PXE+DHCP+HTTP+Kickstart安装RHEL6.4x64 OS，并进行磁盘分区和选择软件包；
2）使用Kickstart+HTTP+DHCP安装HCA卡的驱动及设置IP，关闭SElinux功能，关闭防火墙功能和Cpuspeed服务，开启opensmd服务命令；
3）使用HTTP +shell设置HPL集群mpd测试环境及Linpack测试工具的下载；
4）使用expect实现集群节点内的无密码访问设置及集群测试工具的安装；
5）使用shell语言获取并测试HPL.dat值。
2.根据权利要求1所述的一种基于PXE、SHELL和EXPECT实现IB网络环境下LINPACK集群测试的方法，其特征在于，所述的步骤2）具体如下：***安装完成后通过ftp自动获取驱动文件放置与root目录，并自动mount驱动于/mnt下安装，安装完成后自动删除安装文件及umount /mnt；在/etc/rc.local 下输入关闭cpuspeed服务、防火墙功能及开启opensmd服务命令，实现每次***重启后自动关闭和开启必要服务。
3.根据权利要求1所述的一种基于PXE、SHELL和EXPECT实现IB网络环境下LINPACK集群测试的方法，其特征在于，所述的步骤3）具体如下：首先获取每个节点的bmc ip，通过bmc ip设置每个节点的hostname，做到每个节点hostname和bmc ip一一对应；mpd测试环境包括mpd.conf、mpd.host配置文件设置。
4.根据权利要求1所述的一种基于PXE、SHELL和EXPECT实现IB网络环境下LINPACK集群测试的方法，其特征在于，所述的步骤4）具体如下：通过ftp下载intel c编译工具和mpi工具；通过expect实现两个工具的自动安装及编译mp_linpack文件得到xhpl工具和hpl.dat配置文件；通过expect实现每个节点的dsa key自动上传于节点1，节点1的dsa key 自动复制给每个节点，实现节点1和其它每个节点无密码互相访问；关闭所有节点非IB卡网络IP。
5.根据权利要求1所述的一种基于PXE、SHELL和EXPECT实现IB网络环境下LINPACK集群测试的方法，其特征在于，所述的步骤5）具体如下：自动获取节点1的内存容量*对应节点数及CPU物理核数*对应节点数，然后通过数字运算得到N、P、Q、NB各值；通过节点1开启所有节点mpdboot服务，通过mpiexex设置总cpu核数，运行xhpl,开始linpack性能测试，最后结果输出与/root/linpack_cpu型号_节点数.txt文件夹下。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410311678.1A CN104035876B (zh) | 2014-07-02 | 2014-07-02 | 一种基于pxe、shell和expect实现ib网络环境下linpack集群测试的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410311678.1A CN104035876B (zh) | 2014-07-02 | 2014-07-02 | 一种基于pxe、shell和expect实现ib网络环境下linpack集群测试的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104035876A true CN104035876A (zh) | 2014-09-10 |
| CN104035876B CN104035876B (zh) | 2017-05-03 |
Family
ID=51466649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410311678.1A Active CN104035876B (zh) | 2014-07-02 | 2014-07-02 | 一种基于pxe、shell和expect实现ib网络环境下linpack集群测试的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104035876B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104333617A (zh) * | 2014-11-18 | 2015-02-04 | 浪潮电子信息产业股份有限公司 | 一种Linux***下rack机柜自动设置静态IP的方法 |
| CN104601410A (zh) * | 2015-02-02 | 2015-05-06 | 浪潮电子信息产业股份有限公司 | 一种服务器自动测试hca卡带宽的方法 |
| CN104820627A (zh) * | 2015-05-05 | 2015-08-05 | 浪潮电子信息产业股份有限公司 | 一种自动化进行cpu计算性能的测试方法 |
| CN105700982A (zh) * | 2016-01-19 | 2016-06-22 | 浪潮电子信息产业股份有限公司 | 一种基于高性能linpack进行内存压力及稳定性测试方法 |
| CN107302600A (zh) * | 2017-08-25 | 2017-10-27 | 郑州云海信息技术有限公司 | 一种分布式ftp服务的实现方法及装置 |
| CN107315597A (zh) * | 2017-07-28 | 2017-11-03 | 郑州云海信息技术有限公司 | 一种操作***配置文件的生成方法及装置 |
| CN107491367A (zh) * | 2017-07-07 | 2017-12-19 | 郑州云海信息技术有限公司 | 一种针对Purlley平台二路机型HCA卡的性能测试方法 |
| CN107562588A (zh) * | 2017-08-28 | 2018-01-09 | 郑州云海信息技术有限公司 | 一种rhel7．0***下hca卡性能测试方法 |
| CN107729194A (zh) * | 2017-09-22 | 2018-02-23 | 郑州云海信息技术有限公司 | 一种针对Purlley四路机型HCA卡性能的测试方法 |
| CN107766193A (zh) * | 2017-11-07 | 2018-03-06 | 郑州云海信息技术有限公司 | 一种ib卡性能自动测试方法及*** |
| CN109495339A (zh) * | 2018-11-02 | 2019-03-19 | 郑州云海信息技术有限公司 | 基于Intel-mpi工具测试HCA卡性能的方法 |
| CN109992311A (zh) * | 2019-03-25 | 2019-07-09 | 新华三技术有限公司 | 操作***的启动方法、装置、存储介质及客户端 |
| CN113645046A (zh) * | 2021-06-30 | 2021-11-12 | 浪潮电子信息产业股份有限公司 | 一种网卡驱动安装方法、主服务器及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120124242A1 (en) * | 2010-11-16 | 2012-05-17 | Hon Hai Precision Industry Co., Ltd. | Server and method for testing pxe function of network interface card |
| CN102521119A (zh) * | 2011-11-15 | 2012-06-27 | 浪潮电子信息产业股份有限公司 | 一种快速确定集群并行效率的方法 |
| CN102682078A (zh) * | 2012-03-20 | 2012-09-19 | 浪潮电子信息产业股份有限公司 | 一种自动化快速部署nfs共享的方法 |
-
2014
- 2014-07-02 CN CN201410311678.1A patent/CN104035876B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120124242A1 (en) * | 2010-11-16 | 2012-05-17 | Hon Hai Precision Industry Co., Ltd. | Server and method for testing pxe function of network interface card |
| CN102521119A (zh) * | 2011-11-15 | 2012-06-27 | 浪潮电子信息产业股份有限公司 | 一种快速确定集群并行效率的方法 |
| CN102682078A (zh) * | 2012-03-20 | 2012-09-19 | 浪潮电子信息产业股份有限公司 | 一种自动化快速部署nfs共享的方法 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104333617B (zh) * | 2014-11-18 | 2018-05-25 | 浪潮电子信息产业股份有限公司 | 一种Linux***下rack机柜自动设置静态IP的方法 |
| CN104333617A (zh) * | 2014-11-18 | 2015-02-04 | 浪潮电子信息产业股份有限公司 | 一种Linux***下rack机柜自动设置静态IP的方法 |
| CN104601410A (zh) * | 2015-02-02 | 2015-05-06 | 浪潮电子信息产业股份有限公司 | 一种服务器自动测试hca卡带宽的方法 |
| CN104820627A (zh) * | 2015-05-05 | 2015-08-05 | 浪潮电子信息产业股份有限公司 | 一种自动化进行cpu计算性能的测试方法 |
| CN105700982A (zh) * | 2016-01-19 | 2016-06-22 | 浪潮电子信息产业股份有限公司 | 一种基于高性能linpack进行内存压力及稳定性测试方法 |
| CN107491367A (zh) * | 2017-07-07 | 2017-12-19 | 郑州云海信息技术有限公司 | 一种针对Purlley平台二路机型HCA卡的性能测试方法 |
| CN107315597A (zh) * | 2017-07-28 | 2017-11-03 | 郑州云海信息技术有限公司 | 一种操作***配置文件的生成方法及装置 |
| CN107302600A (zh) * | 2017-08-25 | 2017-10-27 | 郑州云海信息技术有限公司 | 一种分布式ftp服务的实现方法及装置 |
| CN107562588A (zh) * | 2017-08-28 | 2018-01-09 | 郑州云海信息技术有限公司 | 一种rhel7．0***下hca卡性能测试方法 |
| CN107729194A (zh) * | 2017-09-22 | 2018-02-23 | 郑州云海信息技术有限公司 | 一种针对Purlley四路机型HCA卡性能的测试方法 |
| CN107766193A (zh) * | 2017-11-07 | 2018-03-06 | 郑州云海信息技术有限公司 | 一种ib卡性能自动测试方法及*** |
| CN109495339A (zh) * | 2018-11-02 | 2019-03-19 | 郑州云海信息技术有限公司 | 基于Intel-mpi工具测试HCA卡性能的方法 |
| CN109992311A (zh) * | 2019-03-25 | 2019-07-09 | 新华三技术有限公司 | 操作***的启动方法、装置、存储介质及客户端 |
| CN109992311B (zh) * | 2019-03-25 | 2022-07-29 | 新华三技术有限公司 | 操作***的启动方法、装置、存储介质及客户端 |
| CN113645046A (zh) * | 2021-06-30 | 2021-11-12 | 浪潮电子信息产业股份有限公司 | 一种网卡驱动安装方法、主服务器及介质 |
| CN113645046B (zh) * | 2021-06-30 | 2023-06-02 | 浪潮电子信息产业股份有限公司 | 一种网卡驱动安装方法、主服务器及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104035876B (zh) | 2017-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104035876A (zh) | 一种基于pxe、shell和expect实现ib网络环境下linpack集群测试的方法 | |
| US9798881B2 (en) | Dynamic feature enhancement in client server applications and high volume server deployment with dynamic app store integration | |
| JP5926864B2 (ja) | クラウドコンピューティングシステムをコンフィギュアするためのシステム及び方法 | |
| JP6373840B2 (ja) | クラウドコンピューティングシステムをチューニングするためのシステム及び方法 | |
| US20180032322A1 (en) | Automated devops application deployment | |
| US11250193B1 (en) | Productivity platform using system-on-chip with programmable circuitry | |
| US10353798B1 (en) | Rapid development environment | |
| US9544399B2 (en) | Visually depicting cloud resource utilization during execution of an application | |
| CN106126303B (zh) | Linux操作***的安装方法、装置及*** | |
| CN104778105A (zh) | 一种基于虚拟机的快速测试服务器与rhel兼容性的方法 | |
| CN110297771A (zh) | 用于仓单页面的分布式测试方法及装置 | |
| CN113657069B (zh) | 片上***soc仿真验证方法、装置、验证服务器及存储介质 | |
| CN106776347A (zh) | 一种虚拟化***镜像安装测试***及方法 | |
| Van Der Burg et al. | Automating system tests using declarative virtual machines | |
| US10430200B2 (en) | Slave processor within a system-on-chip | |
| WO2017020460A1 (zh) | 一种集成插件的方法和装置 | |
| US20120311551A1 (en) | Automation of post-linker functions in embedded applications | |
| US10956302B2 (en) | Code coverage collection based on limited select debug information | |
| US10474610B1 (en) | Hardware trace and introspection for productivity platform using a system-on-chip | |
| US11501047B2 (en) | Error injection for timing margin protection and frequency closure | |
| CN114924963A (zh) | 网页兼容性测试的分布式执行方法、装置、设备及介质 | |
| Veselý et al. | Tools for modeling exemplary network infrastructures | |
| KR20200048016A (ko) | 바이너리 분석을 위한 중간 언어 테스트 방법 및 장치 | |
| Bachu | A framework to migrate and replicate VMware Virtual Machines to Amazon Elastic Compute Cloud: Performance comparison between on premise and the migrated Virtual Machine | |
| van Kessel et al. | Power efficiency of hypervisor-based virtualization versus container-based virtualization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20180815 Address after: 250101 S06 tower, 1036, Chao Lu Road, hi tech Zone, Ji'nan, Shandong. Patentee after: Shandong wave cloud Mdt InfoTech Ltd Address before: No. 1036, Shun Ya Road, Ji'nan high tech Zone, Shandong Province Patentee before: Langchao Electronic Information Industry Co., Ltd. |
|
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park Patentee after: Inspur cloud Information Technology Co., Ltd Address before: 250101 S06 tower, 1036, Chao Lu Road, hi tech Zone, Ji'nan, Shandong. Patentee before: SHANDONG LANGCHAO YUNTOU INFORMATION TECHNOLOGY Co.,Ltd. |