CN108319514A - 一种基于Slurm作业管理的可视化调度*** - Google Patents

Abstract

本发明提供一种基于Slurm作业管理的可视化调度***，包括：作业获取模块和作业提交模块；作业获取模块用于供用户通过Web前端通过html的file标签获取本地要提交的作业；作业提交模块用于通过http协议提交作业到服务器中；基于Slurm作业管理实现可视化调度方式，为用户提供简单、易懂、可视化的作业调度方式，包括作业提交、作业查询、队列控制、用户信息管理等功能。Web前端通过Http协议将用户请求和数据传输到后台服务器，后台服务器通过过滤器拦截提取分析用户请求，根据用户请求将作业文件提交到作业调度***，执行运行命令。实现了用户通过可视化方式方便地使用作业调度***。

Description

一种基于Slurm作业管理的可视化调度***

技术领域

本发明涉及高性能集群作业调度领域，尤其涉及一种基于Slurm作业管理的可视化调度***。

背景技术

高性能计算集群是一组通过网络连接的高性能服务器(或者PC服务器)的松散耦合，这些服务器通过并行计算的方式来解决单台服务器无法满足的复杂计算问题，具有较高的性价比。作业调度***主要负责接收用户提交的作业请求，并根据特定的调度规则以及用户对作业的要求选择合适的计算资源来完成用户作业。作业调度***管理用户提交的作业，为各个作业合理地分配资源，从而确保充分利用集群***的计算能力，并尽可能迅速地得到运算结果。SLURM是一个针对不同大小Linux集群的资源管理和调度软件。它主要提供三个方面的功能:首先，它为用户提供了一种以独占或者非独占的方式使用计算资源一定时间的机制，用以在相应的时间内为用户运行作业；其次，它提供了一套启动、执行及监控分配在计算节点上作业的框架，主要是方便用户实时的了解提交作业的运行情况；最后，它实现了对排队作业资源竞争的管理。

目前Slurm作业管理是基于linux***的命令行方式,该种操作需要操作人员对Linux***和高性能计算机集群命令有一定的了解。对非计算机专业人员而说,使用高性能计算机集群非常不方便。

发明内容

为了克服上述现有技术中的不足，本发明提供一种基于Slurm作业管理的可视化调度***，包括：作业获取模块和作业提交模块；

作业获取模块用于供用户通过Web前端通过html的file标签获取本地要提交的作业；

作业提交模块用于通过http协议提交作业到服务器中；提交的作业包括：作业名、节点数量、作业数量、内存大小及作业执行需要的资源限定条件、输出文件位置、输出文件名、执行时间。

优选地，作业获取模块还用于用户通过Web前端通过html的file标签获取本地要提交的作业脚本；

作业提交模块还用于通过http协议将作业脚本提交到服务器中；

作业脚本包括：作业脚本名、脚本节点数量、作业脚本数量、脚本内存大小及作业脚本执行需要的资源限定条件、输出文件位置、输出文件名、执行时间。

优选地，作业获取模块还用于用户通过Web前端通过html的file标签获取本地要提交的作业参数；

作业提交模块还用于通过http协议将作业参数提交到服务器中，把执行命令参数写在网页上；

作业参数包括：作业名、点数量、作业需要执行的命令、作业数量、作业所需内存大小及作业执行需要的资源限定条件、输出文件位置、输出文件名、执行时间。

优选地，还包括：作业查询模块；

作业查询模块用于查询当前用户提交的作业执行情况，作业执行情况分为正在执行、排队、挂起、执行完毕、退出；用户根据查询到的作业情况对作业进行操作；用户要执行作业查询操作时，由后端php执行mysql查询语句，并将查询到的结果返回页面显示；用户根据结果，如有必要，做出对作业挂起、恢复、删除等操作。

优选地，还包括：调度策略设置模块；

调度策略设置模块用于设置作业调度策略，作业调度策略包括：先来先服务策略、分时调度策略、基于分区优先级的抢占策略、资源共享策略和资源独占策略；每种策略对应不同的作业调度场景；用户可在Web端根据作业场景设置不同的调度策略。从而提高集群资源使用率和作业执行效率。

优选地，还包括：登录注册模块和登录处理模块；

登录注册模块用于用户在前端输入登录信息提交，后端php对信息进行提取，并与数据库中存在的用户信息进行核对，核对成功则进入相应主界面，不成功则返回登录界面并反馈错误信息；

还用于提供用户注册端口，用户通过注册功能注册时，在前端点击注册按钮，在弹出的界面中填写注册信息，注册信息包括：用户名、密码、邮箱和手机号；

登录处理模块用于用户输入用户名和密码登录***时，后端php注册程序会将用户输入的用户名和密码信息与数据库现有用户比对，如该用户不存在则将信息录入数据库，并返回注册成功信息，否则，提示该用户已存在，登录***成功。

优选地，还包括：权限处理模块；

权限处理模块用于根据登录用户的权限，开发不同的作业查询操作权限；管理员用户查询所有用户提交的作业，并对作业有全部的操作权限；普通用户只能查询所述普通用户提交的作业，且无法查询其他用户的作业。

从以上技术方案可以看出，本发明具有以下优点：

本发明基于Slurm作业管理实现可视化调度方式，为用户提供简单、易懂、可视化的作业调度方式，包括作业提交、作业查询、队列控制、用户信息管理等功能。Web前端通过Http协议将用户请求和数据传输到后台服务器，后台服务器通过过滤器拦截提取分析用户请求，根据用户请求通过将作业文件提交到作业调度***，执行运行命令。实现了用户通过可视化方式方便地使用作业调度***。

本发明基于Slurm作业管理为用户提供一种可视化的作业调度技术，减少用户学习成本，提供作业管理效率。

附图说明

为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为基于Slurm作业管理的可视化调度***整体示意图；

图2为基于Slurm作业管理的可视化调度***实施例示意图；

图3为基于Slurm作业管理的可视化调度***实施例示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将运用具体的实施例及附图，对本发明保护的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本专利中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利保护的范围。

本发明提供一种基于Slurm作业管理的可视化调度***，如图1所示，包括：作业获取模块1和作业提交模块2；

作业获取模块1用于供用户通过Web前端通过html的file标签获取本地要提交的作业；作业提交模块2用于通过http协议提交作业到服务器3中；提交的作业包括：作业名、节点数量、作业数量、内存大小及作业执行需要的资源限定条件、输出文件位置、输出文件名、执行时间。

本发明包括一个实施例，具体包括：如图2和图3所示，

作业获取模块还用于用户通过Web前端通过html的file标签获取本地要提交的作业脚本；作业提交模块还用于通过http协议将作业脚本提交到服务器3中；作业脚本包括：作业脚本名、脚本节点数量、作业脚本数量、脚本内存大小及作业脚本执行需要的资源限定条件、输出文件位置、输出文件名、执行时间。

本实施例中，***还包括：作业查询模块4；

作业查询模块用于查询当前用户提交的作业脚本执行情况，作业脚本执行情况分为正在执行脚本、排队脚本、挂起脚本、执行完毕脚本、退出脚本；用户根据查询到的作业脚本情况对作业脚本进行操作；用户要执行作业脚本查询操作时，由后端php执行mysql查询语句，并将查询到的结果返回页面显示；用户根据结果，如有必要，做出对作业挂起、恢复、删除等操作。

***还包括：调度策略设置模块5；

调度策略设置模块用于设置作业脚本调度策略，作业脚本调度策略包括：先来先服务策略、分时调度策略、基于分区优先级的抢占策略、资源共享策略和资源独占策略；每种策略对应不同的作业调度场景；用户可在Web端根据作业脚本场景设置不同的调度策略，从而提高集群资源使用率和作业执行效率。

***还包括：登录注册模块和登录处理模块；

登录注册模块用于用户在前端输入登录信息提交，后端php对信息进行提取，并与数据库中存在的用户信息进行核对，核对成功则进入相应主界面，不成功则返回登录界面并反馈错误信息；

还用于提供用户注册端口，用户通过注册功能注册时，在前端点击注册按钮，在弹出的界面中填写注册信息，注册信息包括：用户名、密码、邮箱和手机号；

登录处理模块用于用户输入用户名和密码登录***时，后端php注册程序会将用户输入的用户名和密码信息与数据库现有用户比对，如该用户不存在则将信息录入数据库，并返回注册成功信息，否则，提示该用户已存在，登录***成功。

***还包括：权限处理模块；

权限处理模块用于根据登录用户的权限，开发不同的作业脚本查询操作权限；管理员用户查询所有用户提交的作业，并对作业脚本有全部的操作权限；普通用户只能查询所述普通用户提交的作业脚本，且无法查询其他用户的作业脚本。

本发明还包括一个实施例，具体包括：如图2和图3所示，

作业获取模块还用于用户通过Web前端通过html的file标签获取本地要提交的作业脚本；作业提交模块还用于通过http协议将作业参数提交到服务器3中，把执行命令参数写在网页上；作业参数包括：作业名、点数量、作业需要执行的命令、作业数量、作业所需内存大小及作业执行需要的资源限定条件、输出文件位置、输出文件名、执行时间。

本实施例中，***还包括：作业查询模块4；

作业查询模块4用于查询当前用户提交的作业参数执行情况，作业参数执行情况分为正在执行参数、排队参数、挂起参数、执行完毕参数、退出参数本；用户根据查询到的作业参数情况对作业参数进行操作；用户要执行作业参数查询操作时，由后端php执行mysql查询语句，并将查询到的结果返回页面显示；用户根据结果，如有必要，做出对作业挂起、恢复、删除等操作。

***还包括：调度策略设置模块5；

调度策略设置模块5用于设置作业参数调度策略，作业参数调度策略包括：先来先服务策略、分时调度策略、基于分区优先级的抢占策略、资源共享策略和资源独占策略；每种策略对应不同的作业调度场景；用户可在Web端根据作业参数场景设置不同的调度策略，从而提高集群资源使用率和作业执行效率。

***还包括：登录注册模块和登录处理模块；

登录注册模块用于用户在前端输入登录信息提交，后端php对信息进行提取，并与数据库中存在的用户信息进行核对，核对成功则进入相应主界面，不成功则返回登录界面并反馈错误信息；

还用于提供用户注册端口，用户通过注册端口注册时，在前端点击注册按钮，在弹出的界面中填写注册信息，注册信息包括：用户名、密码、邮箱和手机号；

登录处理模块用于用户输入用户名和密码登录***时，后端php注册程序会将用户输入的用户名和密码信息与数据库现有用户比对，如该用户不存在则将信息录入数据库，并返回注册成功信息，否则，提示该用户已存在，登录***成功。

***还包括：权限处理模块；

权限处理模块用于根据登录用户的权限，开发不同的作业参数查询操作权限；管理员用户查询所有用户提交的作业参数，并对作业参数有全部的操作权限；普通用户只能查询所述普通用户提交的作业参数，且无法查询其他用户的作业参数。

本发明还包括一个实施例，具体包括：作业获取模块还用于用户通过Web前端通过html的file标签获取本地要提交的作业脚本及参数；作业提交模块还用于通过http协议将作业脚本或参数提交到服务器3中；作业脚本及参数包括：作业脚本及参数名、脚本及参数节点数量、作业脚本及参数数量、脚本及参数内存大小及作业脚本及参数执行需要的资源限定条件、输出文件位置、输出文件名、执行时间。

作业提交分为两种方式：脚本方式和参数方式，脚本方式是用户预设的脚本，用户预设的脚本一般是文本文件，其内容包含了参数方式要填写的各种参数信息；参数方式是用户在网页上通过填写各种参数信息组成的作业。

本实施例中，***还包括：作业查询模块4；

作业查询模块用于查询当前用户提交的作业脚本及参数执行情况，作业脚本及参数执行情况分为正在执行脚本及参数、排队脚本及参数、挂起脚本及参数、执行完毕脚本及参数、退出脚本及参数；用户根据查询到的作业脚本及参数情况对作业脚本及参数进行操作；用户要执行作业脚本及参数查询操作时，由后端php执行mysql查询语句，并将查询到的结果返回页面显示；用户根据结果，如有必要，做出对作业挂起、恢复、删除等操作。

***还包括：调度策略设置模块5；

调度策略设置模块用于设置作业脚本及参数调度策略，作业脚本及参数调度策略包括：先来先服务策略、分时调度策略、基于分区优先级的抢占策略、资源共享策略和资源独占策略；每种策略对应不同的作业调度场景；用户可在Web端根据作业脚本及参数场景设置不同的调度策略，从而提高集群资源使用率和作业执行效率。

***还包括：登录注册模块和登录处理模块；

登录注册模块用于用户在前端输入登录信息提交，后端php对信息进行提取，并与数据库中存在的用户信息进行核对，核对成功则进入相应主界面，不成功则返回登录界面并反馈错误信息；

还用于提供用户注册端口，用户通过注册端口注册时，在前端点击注册按钮，在弹出的界面中填写注册信息，注册信息包括：用户名和密码；

登录处理模块用于用户输入用户名和密码登录***时，后端php注册程序会将用户输入的用户名和密码信息与数据库现有用户比对，如该用户不存在则将信息录入数据库，并返回注册成功信息，否则，提示该用户已存在，登录***成功。

***还包括：权限处理模块；

权限处理模块用于根据登录用户的权限，开发不同的作业脚本及参数查询操作权限；管理员用户查询所有用户提交的作业脚本及参数，并对作业脚本及参数有全部的操作权限；普通用户只能查询所述普通用户提交的作业脚本及参数，且无法查询其他用户的作业脚本及参数。

本实施例基于Slurm作业管理实现可视化调度方式，为用户提供简单、易懂、可视化的作业调度方式，包括作业提交、作业查询、队列控制、用户信息管理等功能。Web前端通过Http协议将用户请求和数据传输到后台服务器3，后台服务器3通过过滤器拦截提取分析用户请求，根据用户请求通过ssh安全协议将作业文件提交到作业调度***，执行运行命令。实现了用户通过可视化方式方便地使用作业调度***。

本实施例基于Slurm作业管理为用户提供一种可视化的作业调度技术，减少用户学习成本，提供作业管理效率。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参考即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于Slurm作业管理的可视化调度***，其特征在于，包括：作业获取模块和作业提交模块；

作业获取模块用于供用户通过Web前端通过html的file标签获取本地要提交的作业；

作业提交模块用于通过http协议提交作业到服务器中；提交的作业包括：作业名、节点数量、作业数量、内存大小及作业执行需要的资源限定条件、输出文件位置、输出文件名、执行时间。

2.根据权利要求1所述的基于Slurm作业管理的可视化调度***，其特征在于，

作业获取模块还用于用户通过Web前端通过html的file标签获取本地要提交的作业脚本；

作业提交模块还用于通过http协议将作业脚本提交到服务器中；

作业脚本包括：作业脚本名、脚本节点数量、作业脚本数量、脚本内存大小及作业脚本执行需要的资源限定条件、输出文件位置、输出文件名、执行时间。

3.根据权利要求1所述的基于Slurm作业管理的可视化调度***，其特征在于，

作业获取模块还用于用户通过Web前端通过html的file标签获取本地要提交的作业参数；

作业提交模块还用于通过http协议将作业参数提交到服务器中，把执行命令参数写在网页上；

作业参数包括：作业名、点数量、作业需要执行的命令、作业数量、作业所需内存大小及作业执行需要的资源限定条件、输出文件位置、输出文件名、执行时间。

4.根据权利要求1所述的基于Slurm作业管理的可视化调度***，其特征在于，

还包括：作业查询模块；

作业查询模块用于查询当前用户提交的作业执行情况，作业执行情况分为正在执行、排队、挂起、执行完毕、退出；用户根据查询到的作业情况对作业进行操作；用户要执行作业查询操作时，由后端php执行mysql查询语句，并将查询到的结果返回页面显示；用户根据结果，如有必要，做出对作业挂起、恢复、删除等操作。

5.根据权利要求4所述的基于Slurm作业管理的可视化调度***，其特征在于，

还包括：调度策略设置模块；

调度策略设置模块用于设置作业调度策略，作业调度策略包括：先来先服务策略、分时调度策略、基于分区优先级的抢占策略、资源共享策略和资源独占策略；每种策略对应不同的作业调度场景；用户可在Web端根据作业场景设置不同的调度策略。从而提高集群资源使用率和作业执行效率。

6.根据权利要求5所述的基于Slurm作业管理的可视化调度***，其特征在于，

还包括：登录注册模块和登录处理模块；

登录注册模块用于用户在前端输入登录信息提交，后端php对信息进行提取，并与数据库中存在的用户信息进行核对，核对成功则进入相应主界面，不成功则返回登录界面并反馈错误信息；

还用于提供用户注册端口，用户通过注册功能注册时，在前端点击注册按钮，在弹出的界面中填写注册信息，注册信息包括：用户名、密码、邮箱和手机号；

登录处理模块用于用户输入用户名和密码登录***时，后端php注册程序会将用户输入的用户名和密码信息与数据库现有用户比对，如该用户不存在则将信息录入数据库，并返回注册成功信息，否则，提示该用户已存在，登录***成功。

7.根据权利要求6所述的基于Slurm作业管理的可视化调度***，其特征在于，

还包括：权限处理模块；

权限处理模块用于根据登录用户的权限，开发不同的作业查询操作权限；管理员用户查询所有用户提交的作业，并对作业有全部的操作权限；普通用户只能查询所述普通用户提交的作业，且无法查询其他用户的作业。