CN103067296A - 一种实现hpc集群登录节点负载均衡的方法 - Google Patents

Abstract

本发明提供一种实现HPC集群登录节点负载均衡的方法，本发明的目的是为同时解决基于linux的HPC集群登录节点的稳定性和安全性而提出的一种实现HPC集群登录节点负载均衡的方法，以此方法构建的集群调度负载均衡***适用于成百、数千个节点的大规模HPC集群***。集群普通用户要在高性能集群上进行程序编译和提交作业运算，只需要登录到管理员给出的虚拟调度IP即可，不需要登录到实际调度服务器节点和了解后台的调度节点状态，负载均衡设备会根据设定好的访问策略自动把该ssh访问定位到相应的登录节点服务器。

Description

一种实现HPC集群登录节点负载均衡的方法

技术领域

本发明涉及基于linux操作***的HPC集群登录节点的负载均衡，具体涉及一种实现HPC集群登录节点负载均衡的方法。

背景技术

高性能计算(HPC) 集群通常采用大规模计算节点进行计算，伴随着大型集群的普及应用，高性能计算用户的数量也越来越多。为了保证集群的安全性和稳定性，不建议高性能计算用户直接登录到管理节点进行程序的便也和作业提交。

对于传统的HPC集群，通常采用单个调度节点，或者独立的多个调度节点进行程序编译和计算作业的提交和资源分配。在这种环境中，存在以下几点不足：

1）调度节点宕机影响将会整个集群运算作业的提交和运行；

2）如果登录节点存在正在编译的程序，登录节点的性能没有保障；

3）集群用户直接登录到调度节点，容易对操作***和pbs***造成误操作等，存在安全隐患。

发明内容

本发明的目的是为同时解决基于linux的HPC集群登录节点的稳定性和安全性而提出的一种实现HPC集群登录节点负载均衡的方法，以此方法构建的集群调度负载均衡***适用于成百、数千个节点的大规模HPC集群***。

本发明的技术方案是按以下方式实现的，该方法包括***物理结构和负载均衡调度***的部署，其中：

a) ***物理结构包括：登录负载均衡节点和计算资源；

登录负载均衡节点分为负载均衡节点和登录节点2部分：负载均衡节点是负载均衡设备或者普通服务器安装开源负载均衡软件ipvasdm；

登录节点：用于高性能普通用户在该类型节点上进行程序编译和完成作业任务的提交；

b)负载均衡调度***的部署

1）选择负载均衡节点作为ipvs服务器，N个登录节点作为真实服务器节点；

2）在负载均衡节点上编译安装ipvsadm，检查ipvsadm环境；

3）在负载均衡服务器上配置NAT模式负载均衡，开启IPV4路由机制，加载NAT模块；针对ssh端口添加虚拟IP提供对外访问，配置访问策略，同时需要把调度节点服务器的网关设置为ipvs服务器的内网IP地址；

4）这样外部的集群用户通过VPN或内部网路就能直接访问ipvs虚拟服务器的Ip地址，该负载均衡就会根据访问策略把不同的ssh访问需求定位到不同的调度节点服务器上，然后即可使用qsub命令进行作业的提交运算；

集群普通用户要在高性能集群上进行程序编译和提交作业运算，只需要登录到管理员给出的虚拟调度IP即可，不需要登录到实际调度服务器节点和了解后台的调度节点状态，负载均衡设备会根据设定好的访问策略自动把该ssh访问定位到相应的登录节点服务器，具体步骤如下：

第一步，普通用户通过以太网使用ssh工具登录到虚拟调度IP地址；

第二步，虚拟调度IP会指向负载均衡设备，包括ipvs服务器或者硬件负载设备，负载均衡设备会根据设定好的访问策略，把该ssh访问转向对应的登录节点，登录节点至少需要2台以上，以便实现节点的冗余和负载均衡；

第三步，ssh定位到登录节点上之后，集群普通用户即能在上面进行程序编辑和使用qsub命令提交相关的pbs作业脚本；

第四步，登录节点会根据集群的调度策略，结合集群计算节点的资源使用状况，自动分配计算资源；

第五步，计算节点运算完毕后，会把计算结果返回到该登录节点，集群普通用户即可查看运算结果。

本发明的有益效果：

1）HPC集群通常配置登录节点，以便高性能用户进行程序的编译和作业的提交；

2）针对大规模HPC集群多个登录节点进行负载均衡，以满足高性能用户的分流，减轻登录节点的压力；

3）通过IPVSADM或硬件负载均衡设备，针对ssh端口22实现多个计算节点作业调度负载均衡；

4）通过登录节点的负载均衡功能，实现HPC集群程序编译和作业调度环节的冗余，并保证集群运行的稳定性和安全性。

附图说明

图1是登录节点负载均衡***结构示意图；

图2是登录节点负载均衡流程图。

具体实施方式

下面结合附图对本发明的方法作进一步详细说明。

本发明的目的是为同时解决基于linux的HPC集群登录节点的稳定性和安全性而提出的一种实现HPC集群登录节点负载均衡的方法，以此方法构建的集群调度负载均衡***适用于成百、数千个节点的大规模HPC集群***。

该方法包括***物理结构和负载均衡调度***的部署，其中：

c) ***物理结构包括：登录负载均衡节点和计算资源；

登录负载均衡节点分为负载均衡节点和登录节点2部分：负载均衡节点是负载均衡设备或者普通服务器安装开源负载均衡软件ipvasdm；负载均衡设备可以使用浪潮TS8650G3等硬件负载均衡设备；

登录节点：用于高性能普通用户在该类型节点上进行程序编译和完成作业任务的提交；

d)负载均衡调度***的部署

1）选择负载均衡节点作为ipvs服务器，N个登录节点作为真实服务器节点；

2）在负载均衡节点上编译安装ipvsadm，检查ipvsadm环境；

3）在负载均衡服务器上配置NAT模式负载均衡，开启IPV4路由机制，加载NAT模块；针对ssh端口添加虚拟IP提供对外访问，配置访问策略，同时需要把调度节点服务器的网关设置为ipvs服务器的内网IP地址；

4）这样外部的集群用户通过VPN或内部网路就能直接访问ipvs虚拟服务器的Ip地址，该负载均衡就会根据访问策略把不同的ssh访问需求定位到不同的调度节点服务器上，然后即可使用qsub命令进行作业的提交运算；

集群普通用户要在高性能集群上进行程序编译和提交作业运算，只需要登录到管理员给出的虚拟调度IP即可，不需要登录到实际调度服务器节点和了解后台的调度节点状态，负载均衡设备会根据设定好的访问策略自动把该ssh访问定位到相应的登录节点服务器，具体步骤如下：

第一步，普通用户通过以太网使用ssh工具登录到虚拟调度IP地址；

第二步，虚拟调度IP会指向负载均衡设备，包括ipvs服务器或者硬件负载设备，负载均衡设备会根据设定好的访问策略，把该ssh访问转向对应的登录节点，登录节点至少需要2台以上，以便实现节点的冗余和负载均衡；

第三步，ssh定位到登录节点上之后，集群普通用户即能在上面进行程序编辑和使用qsub命令提交相关的pbs作业脚本；

第四步，登录节点会根据集群的调度策略，结合集群计算节点的资源使用状况，自动分配计算资源；

第五步，计算节点运算完毕后，会把计算结果返回到该登录节点，集群普通用户即可查看运算结果。

除本发明的说明书公开的技术特征外均为本专业技术人员的公职技术。

Claims (1)

1.一种实现HPC集群登录节点负载均衡的方法，其特征在于，该方法包括***物理结构和负载均衡调度***的部署，其中：

a)***物理结构包括：登录负载均衡节点和计算资源；

登录负载均衡节点分为负载均衡节点和登录节点2部分：负载均衡节点是负载均衡设备或者普通服务器安装开源负载均衡软件ipvasdm；

登录节点：用于高性能普通用户在该类型节点上进行程序编译和完成作业任务的提交；

b)负载均衡调度***的部署

1）选择负载均衡节点作为ipvs服务器，N个登录节点作为真实服务器节点；

2）在负载均衡节点上编译安装ipvsadm，检查ipvsadm环境；

3）在负载均衡服务器上配置NAT模式负载均衡，开启IPV4路由机制，加载NAT模块；针对ssh端口添加虚拟IP提供对外访问，配置访问策略，同时需要把调度节点服务器的网关设置为ipvs服务器的内网IP地址；

4）这样外部的集群用户通过VPN或内部网路就能直接访问ipvs虚拟服务器的Ip地址，该负载均衡就会根据访问策略把不同的ssh访问需求定位到不同的调度节点服务器上，然后即可使用qsub命令进行作业的提交运算；

集群普通用户要在高性能集群上进行程序编译和提交作业运算，只需要登录到管理员给出的虚拟调度IP即可，不需要登录到实际调度服务器节点和了解后台的调度节点状态，负载均衡设备会根据设定好的访问策略自动把该ssh访问定位到相应的登录节点服务器，具体步骤如下：

第一步，普通用户通过以太网使用ssh工具登录到虚拟调度IP地址；

第二步，虚拟调度IP会指向负载均衡设备，包括ipvs服务器或者硬件负载设备，负载均衡设备会根据设定好的访问策略，把该ssh访问转向对应的登录节点，登录节点至少需要2台以上，以便实现节点的冗余和负载均衡；

第三步，ssh定位到登录节点上之后，集群普通用户即能在上面进行程序编辑和使用qsub命令提交相关的pbs作业脚本；

第四步，登录节点会根据集群的调度策略，结合集群计算节点的资源使用状况，自动分配计算资源；

第五步，计算节点运算完毕后，会把计算结果返回到该登录节点，集群普通用户即可查看运算结果。

Images