CN111966494A - 一种资源编排的调度方法、装置、存储介质及电子设备 - Google Patents

Abstract

本发明公开了一种资源编排的调度方法、装置、存储介质及电子设备，该方法包括：获取物理机集群中每个节点的实时信息；根据实时信息每隔预设时间更新数据库中的节点信息；根据待创建任务对数据库中的节点信息进行过滤，保留符合预设要求的节点信息；根据保留的节点信息进行任务的创建。通过实施本发明，定期将获取的信息保存在数据库中，在需要创建虚拟机或其他业务时，可以快速从保存的信息中获取合适的物理机实现任务的创建。因此，该调度方法大大提高了物理机的创建速度，在业务量较大时，不会导致业务的中断，从而可以为用户提供更好的体验。

Description

一种资源编排的调度方法、装置、存储介质及电子设备

技术领域

本发明涉及云计算技术领域，具体涉及一种资源编排的调度方法、装置、存储介质及电子设备。

背景技术

随着云计算快速发展，IaaS(Infrastructure－as－a－Service，基础设施即服务)和PaaS(Platform－as－a－Service，平台即服务)层的服务应用的普及、业务量的不断增加，一方面更多专业的用户和前沿的行业开始使用云，因此对云资源的需求越来越多，运维压力也越来越大。另一方面传统IT信息化环境不断尝试迁移到云平台，以求降低成本、优化技术架构。但是传统IT信息化环境大都使用网络拓扑来表示IT设备的组合关系，如何将传统IT信息化环境平滑的迁移到云平台，如何实现云资源的可视化管理和自动化运维成为急需解决的需求。

目前对于云资源的自动化运维可以采用资源编排技术实现，资源编排技术可以用于管理云基础架构，向客户提供和分配需要的云资源，比如创建虚拟机、分配存储容量、管理网络资源，以及授予云软件访问权。通过使用合适的编排机制，用户可在服务器上或任何云平台上部署和开始使用服务。例如，在虚拟机内启动HTTP服务提供网页业务的过程中，如果虚拟机内运行资源超过其阈值，可以自动创建新的虚拟机，使得每个虚拟机内的运行资源低于其阈值；如果创建的虚拟机个数较多，且每个虚拟机内的运行资源都较低，则可以自动删除一个虚拟机。

通过资源编排技术创建或删除虚拟机可以解决互联网业务在高峰时运行问题。因此，如何快速创建显得十分必要，如果业务负载飙升比较快，创建虚拟机比较慢的情况下，很有可能导致业务的中断。

发明内容

有鉴于此，本发明实施例提供了一种资源编排的调度方法、装置、存储介质及电子设备，以解决在业务量较大的情况下如何快速进行资源调度的技术问题。

本发明提出的技术方案如下：

本发明实施例第一方面提供一种资源编排的调度方法，该调度方法包括：获取物理机集群中每个节点的实时信息；根据所述实时信息每隔预设时间更新数据库中的节点信息；根据待创建任务对所述数据库中的节点信息进行过滤，保留符合预设要求的节点信息；根据保留的节点信息进行任务的创建。

进一步地，根据待创建任务对所述数据库中的节点信息进行过滤之前，包括：根据数据库的节点信息进行划分，得到多个区域；根据每个区域内的节点信息对多个区域进行打分排名；根据待创建任务对所述数据库中的节点信息进行过滤，包括：根据待创建任务对排名最高区域内的节点信息进行过滤。

进一步地，根据保留的节点信息进行任务的创建，包括：根据保留的节点信息与待创建任务进行匹配；当匹配成功时，根据匹配成功的节点信息进行任务的创建。

进一步地，所述待创建任务包括：创建虚拟机的任务或创建容器集群的任务。

进一步地，根据保留的节点信息进行任务的创建，包括：根据保留的节点信息和Kubernetes集群进行容器集群的创建。

进一步地，所述Kubernetes集群的数据保存在所述数据库中。

进一步地，所述数据库包括：Redis、Memcached、MySQL、InfluxDB或Mongo DB中的任意一种。

本发明实施例第二方面提供一种资源编排的调度装置，该调度装置包括：信息获取模块，用于获取物理机集群中每个节点的实时信息；更新模块，用于根据所述实时信息每隔预设时间更新数据库中的节点信息；过滤模块，用于根据待创建任务对所述数据库中的节点信息进行过滤，保留符合预设要求的节点信息；创建模块，用于根据保留的节点信息进行任务的创建。

本发明实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如本发明实施例第一方面及第一方面任一项所述的资源编排的调度方法。

本发明实施例第四方面提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如本发明实施例第一方面及第一方面任一项所述的资源编排的调度方法。

本发明提供的技术方案，具有如下效果：

本发明实施例提供的资源编排的调度方法、装置、存储介质及电子设备，通过获取物理机节点的实时信息，同时定期将获取的信息保存在数据库中，在需要创建虚拟机或其他业务时，可以快速从保存的信息中获取合适的物理机实现任务的创建。同时，在任务创建时，无需对获取所有的物理机信息进行权值计算，可以直接从过滤出的信息中调度物理机进行信息匹配，匹配成功即可创建任务。由此，本发明实施例提供的资源编排的调度方法，可以提高信息查询的速度，同时在调度时无需调度所有信息，只要找到合适的物理机即可完成任务的创建。因此，该调度方法大大提高了物理机的创建速度，在业务量较大时，不会导致业务的中断，从而可以为用户提供更好的体验。

本发明实施例提供的一种资源编排的调度方法、装置、存储介质及电子设备，可以预先对数据库中的节点信息进行区域划分，并按照区域中的节点信息对多个区域进行综合打分。在进行任务创建时，可以直接在选出的最优区域中进行过滤以及任务的创建。由此，该调度方法采用区域划分以及综合打分的方法，可以更加快速的调度出合适的物理机，从而可以实现虚拟机的快速创建。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的资源编排的调度方法的流程图；

图2是根据本发明实施例的资源编排的调度装置的结构框图；

图3是根据本发明另一实施例的资源编排的调度装置的结构框图；

图4是根据本发明另一实施例的资源编排的调度装置的结构框图；

图5是根据本发明实施例提供的计算机可读存储介质的结构示意图；

图6是根据本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

正如在背景技术中所述，在互联网业务运行的高峰期，可以采用资源编排技术自动创建虚拟机的方式缓解业务运行的压力。目前，在创建虚拟机时采用的方式通常是从物理机组成的集群中获取各个物理机的信息，然后判断获取的信息是否符合我们的要求或者镜像要求，将不符合要求的物理机过滤，保留符合要求的物理机；之后根据指定的权值计算算法，计算在某物理节点上申请这个虚拟机所必须的消耗cost(内存)。物理节点越不适合这个虚拟机，消耗cost就越大，权值Weight就越大，调度算法会选择权值最小的主机。由此，可以完成物理机的选择，最后可以在选择的物理机上进行虚拟机的创建。

然而采用上述方法创建虚拟机时，需要消耗的时间较长，如果业务负载飙升比较快，采用该方法创建虚拟机，可能会导致业务的中断，因此，本发明提供一种资源编排的调度方法，从而可以更快的创建虚拟机。

本发明实施例提供一种资源编排的调度方法，如图1所示，该调度方法包括如下步骤：

步骤S101：获取物理机集群中每个节点的实时信息；具体地，在创建虚拟机或创建其他任务时，需要调度物理机集群中的物理机实现。由此需要获取物理机中的节点信息，该节点信息可以包括物理机CPU、内存、磁盘大小信息，以及物理机CPU使用率、内存使用率、硬盘使用率、网卡使用率以及物理机libvirtd管理进行状态等。其中，获取物理机CPU时要确认其架构信息，例如是属于X86或ARM架构；同时还可以获取物理节点是否支持Vmware EXi等信息。

在一实施例中，获取的节点的实时信息，可以每隔预设时间获取一次，也可以实时获取节点信息，从而便于后续数据库中的信息更新。

步骤S102：根据实时信息每隔预设时间更新数据库中的节点信息；具体地，可以在物理机集群中设置一个数据库，获取的节点的实时信息可以保存到数据库中，同时可以根据实时信息每隔预设时间在数据库中更新一次，从而便于保存的物理机节点信息的准确性。

在一实施例中，数据库可以选择Redis、Memcached等内存数据库，也可以选择MySQL、InfluxDB或Mongo DB等传统数据库。其中，Memcached是一款基于Key—Value的开源缓存***，主要用做数据库的数据高速缓冲。Memcached的API应用程序编程接口，使用32位循环冗余校验计算键值后，将文件分散在不同的机器上，当表格满了以后，接下来新增的文件会以LRU机制替换掉。由于Memcached通常只是当作缓存***使用，所以使用Memcached的应用程序，在写回较慢的***时需要额外的程序更新Memcached内的文件。Memcached的守护进程是用C语言编写的，客户端可以用任何语言来编写，并通过Memcached协议与守护进程通信，但是Memcached并不提供冗余。

Redis是一个Key—Value存储***，和Memcached类似，它支持存储的值类型相对更多，包括字符串、链表、集合、顺序集合和哈希类型。与Memcached一样，Redis为了保证效率，数据都是缓存在内存中。两者的区别是，Redis会周期性地把更新的数据写入磁盘，或者把修改操作写入追加的记录文件，并且在此基础上实现了主从同步。主从同步是指数据可以从【主主机】向任意数量的【从主机】上同步，【从主机】可以是关联其他【从主机】的主主机。

Mongo DB是一个基于分布式文件存储的数据库，由C++语言编写，旨在为Web应用提供可扩展性的高性能数据存储解决方案。Mongo DB最大的特点是，支持的查询语言非常强大，其语法类似于面向对象的查询语言，几乎可以实现类似“关系数据库单表查询”的绝大部分功能，而且还支持对数据建立索引。Mongo DB也可以作为内存数据库使用，它有可以使用内存映射文件来处理对磁盘文件中数据的读写请求，意思就是Mongo DB并不对内存和磁盘这两者进行区别对待，只是将文件看作是一个巨大的数组，然后以字节为单位，访问其中的数据，剩下的交由操作***去处理。正是这个设计，才使得Mongo DB可以无需任何修改，就能够运行于内存之中。

MySQL是一种关系型数据库管理***，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了双授权政策，分为社区版和商业版，而且由于MySQL是开放源码软件，因此可以大大降低总体拥有成本。

InfluxDB是一个开源的分布式时序、时间和指标数据库，使用go语言编写，无需外部依赖。它有三大特性：时序性(Time Series)：与时间相关的函数的灵活使用(诸如最大、最小、求和等)；度量(Metrics)：对实时大量数据进行计算；事件(Event)：支持任意的事件数据，换句话说，任意事件的数据都可以做操作。

步骤S103：根据待创建任务对数据库中的节点信息进行过滤，保留符合预设要求的节点信息；具体地，当业务较多，需要创建新的虚拟机或其他任务运行较多的业务时，可以根据待创建的任务从数据库中的节点信息中进行选择，即可以过滤掉不符合我们的要求或镜像要求的信息，保留符合过滤算法的节点。

步骤S104：根据保留的节点信息进行任务的创建。在具体进行任务的创建时，可以随机从保留的节点信息中调度一个与待创建任务进行匹配，判断调度的节点是否能实现任务的创建，如果能够实现，则可以直接调度该节点信息对应的物理机实现任务的创建，如果不能实现，则可以再次调度下一个进行判断，直到选择到合适的物理机即可进行任务的创建。

在一实施例中，对于待创建的任务，可以是创建虚拟机，还可以适用于创建容器集群。其中，对于创建虚拟机时，可以按照以下步骤实现：将待创建虚拟机的信息发送至选择出的物理机，创建虚拟机存储目录；检测虚拟机镜像；创建虚拟机存储池；克隆虚拟机镜像；创建虚拟机数据盘；创建虚拟机XML文件；启动虚拟机完成创建。对于虚拟机的创建过程，也可以采用现有的其他方式完成，本发明对此不做限定。

对于创建容器集群，可以选择采用Kubernetes集群实现，Kubernetes是Google开源的一个容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理。在生产环境中部署一个应用程序时，通常要部署该应用的多个实例以便对应用请求进行负载均衡。具体地，对于Kubernetes集群的数据可以保存在数据库中，从而可以进一步提高创建的速度。

本发明实施例提供的资源编排的调度方法，通过获取物理机节点的实时信息，同时定期将获取的信息保存在数据库中，在需要创建虚拟机或其他业务时，可以快速从保存的信息中获取合适的物理机实现任务的创建。同时，在任务创建时，无需对获取所有的物理机信息进行权值计算，可以直接从过滤出的信息中调度物理机进行信息匹配，匹配成功即可创建任务。由此，本发明实施例提供的资源编排的调度方法，可以提高信息查询的速度，同时在调度时无需调度所有信息，只要找到合适的物理机即可完成任务的创建。因此，该调度方法大大提高了物理机的创建速度，在业务量较大时，不会导致业务的中断，从而可以为用户提供更好的体验。

在一实施例中，步骤S103根据待创建任务对数据库中的节点信息进行过滤之前，包括如下步骤：根据数据库的节点信息进行划分，得到多个区域，根据每个区域内的节点信息对多个区域进行打分排名。步骤S103根据待创建任务对所述数据库中的节点信息进行过滤，包括：根据待创建任务对排名最高区域内的节点信息进行过滤。

具体地，对于数据库中保存的节点信息，可以进行区域划分，得到多个区域，每个区域内包括一定数量的节点信息；同时，还可以根据每个区域内的节点信息，例如物理机的CPU、内存和磁盘等信息，对多个区域进行排序，即可以对多个区域进行综合打分，选出分值最高的最优区域。在需要进行任务创建时，可以直接对最优区域中的节点信息采用过滤算法进行过滤，之后可以按照步骤S104根据保留的节点信息进行任务的创建。

本发明实施例提供的资源编排的调度方法，可以预先对数据库中的节点信息进行区域划分，并按照区域中的节点信息对多个区域进行综合打分。在进行任务创建时，可以直接在选出的最优区域中进行过滤以及任务的创建。由此，该调度方法采用区域划分以及综合打分的方法，可以更加快速的调度出合适的物理机，从而可以快速的实现虚拟机的创建。

本发明实施例还提供一种资源编排的调度装置，如图2所示，该调度装置包括：

信息获取模块1，用于获取物理机集群中每个节点的实时信息；详细内容参见上述方法实施例中步骤S101的相关描述。

更新模块2，用于根据实时信息每隔预设时间更新数据库中的节点信息；详细内容参见上述方法实施例中步骤S102的相关描述。

过滤模块3，用于根据待创建任务对数据库中的节点信息进行过滤，保留符合预设要求的节点信息；详细内容参见上述方法实施例中步骤S103的相关描述。

创建模块4，用于根据保留的节点信息进行任务的创建。详细内容参见上述方法实施例中步骤S104的相关描述。

本发明实施例提供的资源编排的调度装置，通过获取物理机节点的实时信息，同时定期将获取的信息保存在数据库中，在需要创建虚拟机或其他业务时，可以快速从保存的信息中获取合适的物理机实现任务的创建。同时，在任务创建时，无需对获取所有的物理机信息进行权值计算，可以直接从过滤出的信息中调度物理机进行信息匹配，匹配成功即可创建任务。由此，本发明实施例提供的资源编排的调度装置，可以提高信息查询的速度，同时在调度时无需调度所有信息，只要找到合适的物理机即可完成任务的创建。因此，该调度装置大大提高了物理机的创建速度，在业务量较大时，不会导致业务的中断，从而可以为用户提供更好的体验。

在一实施例中，如图3所示，过滤模块3之前还包括：

划分模块21，用于根据数据库的节点信息进行划分，得到多个区域。

排名模块22，用于根据每个区域内的节点信息对多个区域进行打分排名。

过滤模块3包括：过滤子模块31根据待创建任务对排名最高区域内的节点信息进行过滤。

在一实施例中，如图4所示，创建模块4包括：

匹配模块41，用于根据保留的节点信息与待创建任务进行匹配。

创建子模块42，用于当匹配成功时，根据匹配成功的节点信息进行任务的创建。

本发明实施例提供的资源编排的调度装置，可以预先对数据库中的节点信息进行区域划分，并按照区域中的节点信息对多个区域进行综合打分。在进行任务创建时，可以直接在选出的最优区域中进行过滤以及任务的创建。由此，该调度装置采用区域划分以及综合打分的方式，可以更加快速的调度出合适的物理机，从而可以实现虚拟机的快速创建。

本发明实施例提供的资源编排的调度装置的功能描述详细参见上述实施例中资源编排的调度方法描述。

本发明实施例还提供一种存储介质，如图5所示，其上存储有计算机程序601，该指令被处理器执行时实现上述实施例中资源编排的调度方法的步骤。该存储介质上还存储有音视频流数据，特征帧数据、交互请求信令、加密数据以及预设数据大小等。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(RandomAccess Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本发明实施例还提供了一种电子设备，如图6所示，该电子设备可以包括处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图6中以通过总线连接为例。

处理器51可以为中央处理器(Central Processing Unit，CPU)。处理器51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor， DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的资源编排的调度方法。

存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器52中，当被所述处理器51执行时，执行如图1所示实施例中的资源编排的调度方法。

上述电子设备具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种资源编排的调度方法，其特征在于，包括：

获取物理机集群中每个节点的实时信息；

根据所述实时信息每隔预设时间更新数据库中的节点信息；

根据待创建任务对所述数据库中的节点信息进行过滤，保留符合预设要求的节点信息；

根据保留的节点信息进行任务的创建。

2.根据权利要求1所述的资源编排的调度方法，其特征在于，

根据待创建任务对所述数据库中的节点信息进行过滤之前，包括：

根据数据库的节点信息进行划分，得到多个区域；

根据每个区域内的节点信息对多个区域进行打分排名；

根据待创建任务对所述数据库中的节点信息进行过滤，包括：

根据待创建任务对排名最高区域内的节点信息进行过滤。

3.根据权利要求1所述的资源编排的调度方法，其特征在于，根据保留的节点信息进行任务的创建，包括：

根据保留的节点信息与待创建任务进行匹配；

当匹配成功时，根据匹配成功的节点信息进行任务的创建。

4.根据权利要求1所述的资源编排的调度方法，其特征在于，所述待创建任务包括：创建虚拟机的任务或创建容器集群的任务。

5.根据权利要求4所述的资源编排的调度方法，其特征在于，根据保留的节点信息进行任务的创建，包括：

根据保留的节点信息和Kubernetes集群进行容器集群的创建。

6.根据权利要求5所述的资源编排的调度方法，其特征在于，所述Kubernetes集群的数据保存在所述数据库中。

7.根据权利要求1所述的资源编排的调度方法，其特征在于，所述数据库包括：Redis、Memcached、MySQL、InfluxDB或MongoDB中的任意一种。

8.一种资源编排的调度装置，其特征在于，包括：

信息获取模块，用于获取物理机集群中每个节点的实时信息；

更新模块，用于根据所述实时信息每隔预设时间更新数据库中的节点信息；

过滤模块，用于根据待创建任务对所述数据库中的节点信息进行过滤，保留符合预设要求的节点信息；

创建模块，用于根据保留的节点信息进行任务的创建。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1－7任一项所述的资源编排的调度方法。

10.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1－7任一项所述的资源编排的调度方法。

Images