CN114760313B - 业务调度方法和业务调度装置 - Google Patents

Abstract

本申请提供了一种业务调度方法和业务调度装置，该方法包括：管理节点获取多个资源池中每个资源池的至少一个计算节点的资源利用率以及至少一个计算节点上运行的至少一个业务的资源利用率占比；管理节点根据每个资源池的至少一个计算节点的资源利用率以及至少一个业务的资源利用率占比，在多个资源池的计算节点之间进行业务调度。本申请的业务调度方法和业务调度装置，有利于实现多个计算节点的统一管理以及多个计算节点的服务器资源的合理利用，实现各个计算节点的负载均衡、容灾保护、节能降耗和业务快速部署，以满足各行业业务的需求。

Description

业务调度方法和业务调度装置

技术领域

本申请涉及云计算技术，尤其涉及一种业务调度方法和业务调度装置。

背景技术

随着移动通信技术(例如第五代移动通信技术(5th-Generation，5G))的发展，运营商提出三千兆网络，使移动用户、家庭宽带、家庭wifi都将达到千兆速率，可支持的各行业的业务的内容更加丰富，提供的产品品质也更高，例如，云游戏、高清视频会议、高清视频直播等。

随着各行业的业务的增多，需要在汇聚层边缘云上部署的业务数量逐渐增多，每个业务对服务器资源的需求也不断增大，但运营商传输汇聚机房的机房空间、动力负荷、空调制冷等条件存在限制，并且不同的汇聚机房的硬件条件也存在参差不齐的状况，致使单个计算节点可以部署的服务器数量和服务器资源有限，难以满足各行业的业务的需求。

发明内容

本申请提供了一种业务调度方法和业务调度装置，有利于实现多个计算节点的统一管理以及多个计算节点的服务器资源的合理利用，实现各个计算节点的负载均衡、容灾保护、节能降耗和业务快速部署，以满足各行业业务的需求。

第一方面，提供了一种业务调度方法，包括：管理节点获取多个资源池中每个资源池的至少一个计算节点的资源利用率以及该至少一个计算节点上运行的至少一个业务的资源利用率占比；管理节点根据每个资源池的至少一个计算节点的资源利用率以及至少一个业务的资源利用率占比，在多个资源池的计算节点之间进行业务调度。

在本申请实施例中，管理节点可以管理多个资源池，每个资源池中包括至少一个计算节点。管理节点根据计算节点的资源利用率等信息，对计算节点上的业务进行调度，有利于实现多个计算节点的统一管理以及多个计算节点的服务器资源的合理利用，实现各个计算节点的负载均衡、容灾保护、节能降耗和业务快速部署，以满足各行业业务的需求。

结合第一方面，在第一方面的某些实现方式中，在多个资源池的计算节点之间进行业务调度，包括：若多个资源池的第一资源池中存在第一计算节点的资源利用率大于或等于第一阈值，管理节点从该第一计算节点上运行的至少一个业务中选择资源利用率占比最高的第一业务；管理节点向该第一业务对应的业务调度节点发送第一指示信息，该第一指示信息用于指示将指定业务的业务数据流指引到第二计算节点，该第二计算节点的资源利用率小于或等于第二阈值。

结合第一方面，在第一方面的某些实现方式中，上述方法还包括：管理节点监控多个资源池的第二资源池的至少一个计算节点的保活状态；在多个资源池的计算节点之间进行业务调度，包括：若至少一个计算节点中存在第三计算节点发生故障，管理节点确定第三计算节点上运行的至少一个业务；管理节点分别向该第三计算节点上运行的至少一个业务对应的业务调度节点发送第二指示信息，该第二指示信息用于指示将指定业务的业务数据流指引到第四计算节点，该第四计算节点的资源利用率小于或等于第二阈值。

结合第一方面，在第一方面的某些实现方式中，在多个资源池的计算节点之间进行业务调度，包括：若多个资源池的第三资源池中存在第五计算节点的资源利用率在第一时间段内小于或等于第三阈值，管理节点确定该第五计算节点上运行的至少一个业务；管理节点分别向该第五计算节点上运行的至少一个业务对应的业务调度节点发送第三指示信息，该第三指示信息用于指示将指定业务的业务数据流指引到第六计算节点，该第六计算节点的资源利用率小于或等于第二阈值；管理节点通知该第五计算节点进入休眠状态。

结合第一方面，在第一方面的某些实现方式中，上述方法还包括：若第六计算节点的资源利用率大于第二阈值或第五计算节点的休眠时间大于第四阈值，管理节点通知该第五计算节点结束休眠；管理节点分别向该第五计算节点上运行的至少一个业务对应的业务调度节点发送第四指示信息，该第四指示信息用于指示将指定业务的业务数据流指引到该第五计算节点。

结合第一方面，在第一方面的某些实现方式中，在多个资源池的计算节点之间进行业务调度，包括：若多个资源池的第四资源池中存在第七计算节点上运行的第二业务所需资源大于或等于第五阈值，管理节点确定该第七计算节点上运行的至少一个业务；管理节点分别向该第七计算节点上运行的至少一个业务中除第二业务之外的其它全部或部分业务对应的业务调度节点发送第五指示信息，该第五指示信息用于指示将指定业务的业务数据流指引到多个资源池中第五资源池中的至少一个计算节点。

结合第一方面，在第一方面的某些实现方式中，上述方法还包括：若第二业务所需资源小于第五阈值，管理节点分别向除该第二业务之外的其它全部或部分业务对应的业务调度节点发送第六指示信息，该第六指示信息用于指示将指定业务的业务数据流指引到第七计算节点。

第二方面，提供了一种业务调度装置，用于执行上述各个方面或各个方面任意可能的实现方式中的方法。具体地，该装置包括用于执行上述各个方面或各个方面任意可能的实现方式中的方法的单元。

第三方面，提供了另一种业务调度装置，包括处理器和存储器。该处理器用于读取存储器中存储的指令，并可通过接收器接收信号，通过发射器发射信号，以执行上述第一方面中任一种可能实现方式中的方法。

可选地，处理器为一个或多个，存储器为一个或多个。

可选地，存储器可以与处理器集成在一起，或者存储器与处理器分离设置。

在具体实现过程中，存储器可以为非瞬时性(non-transitory)存储器，例如只读存储器(read only memory，ROM)，其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本申请实施例对存储器的类型以及存储器与处理器的设置方式不做限定。

应理解，相关的数据交互过程例如发送指示信息可以为从处理器输出指示信息的过程，接收能力信息可以为处理器接收输入能力信息的过程。具体地，处理输出的数据可以输出给发射器，处理器接收的输入数据可以来自接收器。其中，发射器和接收器可以统称为收发器。

上述第三方面中的业务调度装置可以是一个芯片，该处理器可以通过硬件来实现也可以通过软件来实现，当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于该处理器之外，独立存在。

第四方面，提供了一种计算机可读介质，所述计算机可读介质存储有计算机程序(也可以称为代码，或指令)当其在计算机上运行时，使得计算机执行上述任一方面中任一种可能实现方式中的方法。

第五方面，提供了一种计算机程序产品，计算机程序产品包括：计算机程序(也可以称为代码，或指令)，当计算机程序被运行时，使得计算机执行上述第一方面中任一种可能实现方式中的方法。

附图说明

图1是本申请实施例中提供的汇聚层边缘云平台的***架构图。

图2是本申请实施例中提供的汇聚层边缘云资源池的示意图。

图3是本申请实施例中提供的运营商核心层和边缘层协同***架构图。

图4是本申请实施例中提供的一种业务调度方法的示意性流程图。

图5是本申请实施例中提供的一种业务调度装置的示意性框图。

图6是本申请实施例中提供的另一种业务调度装置的示意性框图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

5G部署和应用速度加快，助推社会互联网化、加速数字化转型，三千兆时代已经来临，5G、家庭宽带、家庭wifi都将达到千兆速率，各行业业务的内容更加丰富，提供的产品品质更高，比如4K/8K视频、增强现实技术(augmented reality，AR)/虚拟现实技术(virtualreality，VR)、云游戏、高清视频会议、高清视频直播等。

随着各行业的业务发展和技术演进，在汇聚层边缘云部署的业务越来越多。随着汇聚层边缘云部署的业务的增多，在现有的汇聚层边缘云的***架构中会造成如下问题：

(1)服务器的资源利用率低，各计算节点的资源利用率不均衡。汇聚层边缘云的每个业务对服务器的资源的需求越来越大，比如磁盘空间、内存、数据库以及中央处理单元(central processing unit，CPU)等，但运营商传输汇聚机房的机房空间、动力负荷、空调制冷等条件存在限制，并且不同的汇聚机房的硬件条件也存在参差不齐的状况，致使单个计算节点可以部署的服务器数量和服务器资源有限，难以满足各行业业务的需求。

(2)服务器故障影响用户体验。各行业的业务对网络和平台安全保障和业务体验的要求也逐步提高，但受到传输汇聚机房地理位置和配套设施、机房动力、制冷条件和网络末端技术支撑人员相对短缺的影响，存在网络安全保障的短板。例如，汇聚机房市电供应计划外中断，汇聚机房双路市电引入的需求无法全部满足，空调设备故障或者计算节点服务器自身的软硬件设备故障，运营商维护人员一般在中心机房值守，无法7*24小时在汇聚机房现场值守，故障发生后到场抢修时间较长，这些原因引起的业务中断时长较长，都会引发客户和用户投诉。

(3)计算节点存在潮汐效应。不同地理位置区域，不同行业业务类型、不同用户群的分布差异及用户群流动的潮汐效应，带来汇聚层边缘云各计算节点之间***负荷不均衡且动态变化，各计算节点的业务峰值时段不同，各计算节点服务器资源利用率高低悬殊且变化较快，有的计算节点资源利用率很高，而有的计算节点资源利用率较低；同一个计算节点，可能上午利用率很高，而下午利用率又较低。

(4)业务突发，导致服务器资源扩容。当业务突发时，例如，一场大型体育赛事直播(足球赛事直播等)业务带来的超多用户数和超大业务流量，临时进行边缘云服务器资源扩容周期长，且因传输汇聚机房条件限制，服务器资源受限存在天花板瓶颈，会使业务上线时间慢，同时，业务完成后，不经常使用又造成资源闲置，一建一拆工程量大，耗时耗力耗成本。

基于此，运营商开始向平台型、数字化、生态化转型，通过供给侧能力升级，支撑业务高质量发展。运营商可以在靠近用户端的传输汇聚节点，搭建一个汇聚层边缘云平台，实现多节点统一纳管、统一环境信息提供和云网业务编排和协同能力输出，满足垂直行业的业务发展和业务运营需要。

图1示出了汇聚层边缘云平台的***架构。图中包括全国核心云、省级核心云、地市汇聚层边缘云等，省级核心云中可以包括服务器101、网络控制面102、编排器103、管理节点、各类业务的业务调度节点，全国核心云中可以包括网络控制面102、编排器103，地市汇聚层边缘云中可以包括计算节点和网络转发面104。其中，服务器101用于支持各类业务，网络控制面102用于控制面消息的发送，编排器103用于编排各类业务，网络转发面104用于用户面数据的转发。示例性地，在地市汇聚层边缘云的计算节点上可以部署业务1、业务2、业务3、业务4以及业务5。应理解，业务的个数仅仅为一个示例，本申请对其数量不做限定。

本申请主要关注的是汇聚层边缘云平台中的管理节点和计算节点。其中，管理节点部署于省级核心云，负责统一管理全省的计算节点，并提供镜像仓库、监控等功能，一般配置为3节点的高可用集群，可管理上千个计算节点。各类业务的业务调度节点可以与运营商的管理节点同局房部署，便于实现信息快速交互。各类业务的调度节点需要保存和动态维护每个汇聚层边缘云资源池信息，比如资源池下的移网、宽带用户的IP地址段信息。运营商的管理节点通过能力开放节点提供信息查询和能力调用接口，供各类业务应用调用。

计算节点部署于运营商地市汇聚层边缘云，承载各类上层业务应用的轻量级边缘云业务应用，实现运营商设施即服务(infrastructure as a service，IaaS)加平台即服务(platform as a service，PaaS)底座与上层业务应用软件即服务(software as aservice，SaaS)的匹配。

管理节点和计算节点通过城域网实现路由互通，管理节点和计算节点之间通过传输控制协议/网际协议(transmission control protocol/internet protocol，TCP/IP)报文进行交互，实现计算节点的统一管理，任务统一下发。

运营商可以将汇聚层边缘云的多个计算节点组成汇聚层边缘云资源池，由管理节点进行统一调度。汇聚层边缘云资源池的组成方法可以为：运营商可以将地理位置上相邻的若干个连片的汇聚层边缘云计算节点进行资源整合，组成一个汇聚层边缘云资源池，同一个汇聚层边缘云资源池内的所有计算节点的服务器资源(计算资源、存储资源等)可以由管理节点进行统筹安排、统一调度。图2示出了3个资源池，每个资源池有3个计算节点，应理解，资源池和计算节点的数量仅仅为一个示例，本申请实施例对此不作限定。

进一步地，运营商可以将单个、孤立使用的汇聚层边缘云计算节点的参差不齐、非常有限的服务器资源，整合为在总体上提供一个相对富足的服务器资源池资源，灵活实现资源共享、资源互补。

示例性地，运营商可以将机房空间、动力条件较好的传输汇聚机房和机房空间、动力条件较差的传输汇聚机房汇聚在一起。管理节点可以将服务器资源较差的计算节点上运行的业务指引到服务器资源较好的计算节点上，实现以强补弱。另外，运营商还可以在机房空间、动力条件较好的传输汇聚机房多部署一些服务器，可以为同一个资源池内服务器资源相对匮乏或资源利用率较高的计算节点共享。

在一种可能的实现方式中，一个城市划分若干个汇聚层资源池，运营商可以在地理位置相邻且连片部署的原则下，适当考虑在一个资源池内尽量均衡分配机房条件较好的汇聚机房，即让每个资源池内都尽量能包含至少一个机房条件较好的汇聚机房计算节点，从而可以在该计算节点部署更多的服务器资源，为该资源池的所有计算节点所共享。

在另一种可能的实现方式中，运营商可以将业务较多的计算节点和业务较少的计算节点汇聚在一起。管理节点可以将业务较多的计算节点运行的业务指引到业务较少的计算节点上，实现以闲补忙。

在又一种可能的实现方式中，一个城市划分若干个汇聚层资源池，运营商可以在地理位置相邻且连片部署的原则下，适当考虑城乡结合区域的计算节点组成一个资源池，部分计算节点位于城区，部分计算节点位于郊区，实现忙闲搭配，应对用户群流动的潮汐效应。

应理解，用户在不同计算节点的覆盖范围，以及在不同汇聚层边缘云资源池的覆盖范围之间移动时，为了保证用户业务体验的连续性，相关的同步管理可以通过业务应用层实现。

还应理解，每个业务的服务端(位于计算节点)和客户端(位于终端设备)应支持进度缓存功能，以支撑同一个资源池内不同计算节点之间，以及不同资源池的计算节点之间的业务数据同步，以保证用户的业务体验的连续性。服务端和客户端应支持提前缓存一部分业务数据内容的功能，例如，对于视频观看类业务，服务端和客户端可以提前缓存一部分视频数据；对于云游戏业务，服务端和客户端可以提前缓存一部分游戏背景场景数据。

在本申请实施例中，汇聚层边缘云资源池内以及资源池之间的所有计算节点的服务器资源可以由管理节点进行统筹安排、统一调度。管理节点和计算节点可以通过城域网或者传输网实现较大传输带宽、较短传输路径、超低传输时延的路由互通。同一个汇聚层边缘云资源池内的计算节点之间，以及不同资源池的计算节点之间也可以通过城域网扩容及结构优化、传输网扩容及结构优化或光纤直连等方式，实现超大传输带宽、超短传输路径、超低传输时延的路由互通。

各类业务的业务调度节点、核心云业务节点、边缘云业务节点，可以通过运营商的能力开放节点，和运营商的管理节点、计算节点进行快捷的信息互通。如图3所示，管理节点和计算节点处于下层的运营商平台，能力开放节点处于中层的运营商平台，业务调度节点、核心云业务节点、边缘云业务节点处于上层的业务，计算节点和边缘云业务节点部署于汇聚层边缘云，管理节点和业务调度节点、核心云业务节点部署于核心层。

本申请实施例提供了一种业务调度方法和业务调度装置，有利于实现多个计算节点统一纳管以及多个计算节点的服务器资源的合理利用，实现各个计算节点的负载均衡、容灾保护、节能降耗和业务快速部署，同时满足各行业的业务的需求。

图4为本申请实施例提供的业务调度方法400的示意性流程图。该方法400可以适用于图1所示的***架构100，但本申请实施例不限于此。如图4所示，该方法400可以包括下列步骤：

S401，管理节点获取多个资源池中每个资源池的至少一个计算节点的资源利用率以及该至少一个计算节点上运行的至少一个业务的资源利用率占比；

S402，管理节点根据该每个资源池的至少一个计算节点的资源利用率以及至少一个业务的资源利用率占比，在多个资源池的计算节点之间进行业务调度。

在多个资源池的计算节点之间进行业务调度包括在同一个资源池内的计算节点之间进行业务调度以及在不同资源池内的计算节点之间进行业务调度。

在本申请实施例中，管理节点可以管理多个资源池，每个资源池中包括至少一个计算节点。管理节点可以根据计算节点的资源利用率等信息，对计算节点运行的业务进行调度，有利于实现多个计算节点的服务器资源的合理利用，实现各个计算节点的负载均衡、容灾保护、节能降耗和业务快速部署，同时满足各行业业务的需求。

为了解决上面的问题(1)，服务器的资源利用率低，各计算节点的资源利用率不均衡，本申请提出以下方案：

可选地，S402，管理节点在多个资源池的计算节点之间进行业务调度，可以包括：若多个资源池的第一资源池中存在第一计算节点的资源利用率大于或等于第一阈值，管理节点从该第一计算节点上运行的至少一个业务中选择资源利用率占比最高的第一业务；管理节点向该第一业务对应的业务调度节点发送第一指示信息，该第一指示信息用于指示将指定业务的业务数据流指引到第二计算节点，该第二计算节点的资源利用率小于或等于第二阈值。

具体地，管理节点将资源利用率高的第一计算节点上运行的资源占比高的第一业务的业务数据流指引到第二计算节点，有利于解决各计算节点的资源利用率不均衡的问题，同时，第二计算节点的利用率小于或等于第二阈值，有利于提高第二计算节点的利用率。

其中，第一阈值和第二阈值是运营商预设的值；第二计算节点可以是至少一个计算节点中资源利用率最低的计算节点，并且第二计算节点的资源可以支持第一业务。第二计算节点与第一计算节点可以是在一个资源池中，也可以在不同的资源池，本申请不作限制。

示例性地，管理节点实时监控第一资源池内各计算节点的资源利用率、各个计算节点上运行的各业务的资源利用率占比，若存在第一计算节点的资源利用率大于或等于第一阈值，管理节点可以根据实时监控的信息，发现该第一计算节点上资源占用率最高的第一业务，管理节点可以通过能力开放节点，通知第一业务对应的业务调度节点，将第一业务的业务数据流指引到第一资源池内资源利用率最低的第二计算节点。

另外，业务调度节点将上述第一业务的业务数据流指引到第二计算节点。其中，关于指引操作执行的时机，针对不同的业务，可以使用不同的实现方式。对于静态的业务，业务调度节点可以随时进行指引操作；对于实时性、互动性要求高的业务，业务调度节点可以选择业务处于相对静态时，进行指引操作。

示例性地，若上述第一业务为视频观看等静态视频业务，业务调度节点可以随时将第一业务的业务数据流指引到第二计算节点。

示例性地，若上述第一业务为实时对战云游戏或视频直播互动等动态视频业务，业务调度节点可以在游戏场景切换间隙或游戏通关间隙、视频直播休息间隙，将第一业务的业务数据流指引到第二计算节点，避免影响用户的业务感知。

可选地，若第一计算节点覆盖的区域内产生新的业务请求，业务调度节点可以将新业务的业务数据流指引到第二计算节点。

应理解，若管理节点检测到第一计算节点的资源利用率小于第一阈值后，可以通知业务调度节点将上述第一业务的业务数据流以及新业务的业务数据流指引回第一计算节点。

本申请实施例中，管理节点将资源利用率高的计算节点上资源利用率占比高的业务指引到其它计算节点，通过业务流量分流的方法，实现各个计算节点的负载均衡，达到削峰填谷的效果。

为了解决上面的问题(2)，服务器故障影响用户体验，本申请提出如下方案：

可选地，该方法400还可以包括：管理节点监控多个资源池的第二资源池的至少一个计算节点的保活状态；S402，管理节点在多个资源池的计算节点之间进行业务调度，可以包括：若至少一个计算节点中存在第三计算节点发生故障，管理节点确定第三计算节点上运行的至少一个业务；管理节点分别向第三计算节点上运行的至少一个业务对应的业务调度节点发送第二指示信息，第二指示信息用于指示将指定业务的业务数据流指引到第四计算节点，第四计算节点的资源利用率小于或等于第二阈值。

具体地，管理节点可以通过监控第三计算节点的保活状态，判断第三计算节点的运行状况，若检测到第三计算节点故障，管理节点可以将第三计算节点上运行的各个业务分别指引到第四计算节点。

可选地，若第三计算节点覆盖的区域内产生新的业务需求，管理节点可以将新业务的业务数据流指引到第四计算节点。

应理解，上述第三计算节点与第四计算节点可以是在一个资源池中，也可以在不同的资源池，本申请不作限制。第三计算节点可以与上述第一计算节点为一个计算节点，第四计算节点可以与上述第二计算节点为一个计算节点，第二资源池可以与上述第一资源池为一个资源池，本申请不作限制。

还应理解，第四计算节点可以包括一个计算节点，也可以包括多个计算节点，即管理节点可以将第三计算节点的各个业务的业务数据流均指引到一个计算节点，也可以将第三计算节点的各个业务的业务数据流分别指引到多个计算节点，本申请实施例对此不作限定。指引的计算节点的资源利用率小于或等于第二阈值即可。

示例性地，管理节点可以通过TCP/IP心跳检测机制实时监控第二资源池中各个计算节点的保活状态，实时监控第二资源池中各个计算节点的资源利用率以及记录第二资源池中各个计算节点上运行的业务标识；若检测到第三计算节点故障，管理节点查询第三计算节点上运行的业务标识，若存在三个业务a，b，c；管理节点分别通知业务a、b、c对应的业务调度节点，告知第二资源池内或其他资源池内可供选择的其它计算节点。若存在计算节点A、B、C，业务a、b、c对应的业务调度节点则将业务a，b，c的业务数据流分别指引到计算节点A、B、C。

在另一种可能的实现方式中，管理节点可以将第三计算节点的各个业务的业务数据流指引到核心云业务节点，以保障用户的基本业务体验。当该第三计算节点的各个业务的业务数据流被指引到核心云业务节点后，该各个业务可以适当降低服务品质的要求，例如，降低视频类业务的视频分辨率或帧率。通过降低服务品质的方法，核心云业务节点能够为用户提供基础服务体验。

应理解，若管理节点检测到第三计算节点的故障恢复后，可以将该第三计算节点运行的各个业务对应的业务数据流指引回第三计算节点。

在本申请实施例中，管理节点可以对汇聚层云资源池内部进行容灾保护，通过将故障的计算节点上运行的业务指引到其它计算节点，避免了故障的计算节点无法为在该计算节点上的业务提供服务的弊端，保障了用户的需求。调度

为了解决上面的问题(3)，计算节点存在潮汐效应，本申请提出如下方案：

可选地，S402，管理节点在多个资源池的计算节点之间进行业务调度，可以包括：若多个资源池的第三资源池中存在第五计算节点的资源利用率在第一时间段内小于或等于第三阈值，管理节点确定该第五计算节点上运行的至少一个业务；管理节点分别向该第五计算节点上运行的至少一个业务对应的业务调度节点发送第三指示信息，该第三指示信息用于指示将指定业务的业务数据流指引到第六计算节点，该第六计算节点的资源利用率小于或等于第二阈值；管理节点通知该第五计算节点进入休眠状态。

具体地，运营商可以设定第一时间段和第三阈值，若在此时间段存在第五计算节点的资源利用率小于或等于第三阈值，管理节点将第五计算节点上运行的各个业务分别指引到第六计算节点。

示例性地，管理节点可以实时监控第三资源池中各个计算节点的资源利用率以及各个计算节点上运行的各个业务的资源利用率占比；在凌晨一点到五点业务较少的时间段内，若存在第五计算节点的资源利用率小于或等于第三阈值，管理节点通知第五计算节点上运行的各个业务的业务调度节点，通过指引的方式将指定业务数据流量指引到第三资源池或其他资源池内资源利用率低的计算节点；在完成业务数据流指引后，管理节点可以通知第五计算节点休眠。

若第五计算节点覆盖的区域内产生新的业务需求，管理节点可以将新业务的业务数据流指引到第六计算节点。

应理解，第六计算节点可以包括一个计算节点，也可以包括多个计算节点，即管理节点可以将第五计算节点的各个业务的业务数据流均指引到一个计算节点，也可以将第五计算节点的各个业务的业务数据流分别指引到多个计算节点，本申请实施例对此不作限定。指引的计算节点的资源利用率小于或等于第二阈值即可。

第五计算节点与第六计算节点可以是在一个资源池中，也可以在不同的资源池，本申请不作限制。第五计算节点可以与上述第一计算节点或者第三计算节点为一个计算节点，第六计算节点可以与上述第二计算节点或者第四计算节点为一个计算节点，第三资源池可以与上述第一资源池或者上述第二资源池为一个资源池，本申请不作限制。

在本申请实施例中，管理节点可以对在某一时间段内业务相对较少、资源利用率较低的计算节点进行休眠，同时又将该计算节点上运行的业务指引到其它计算节点，对汇聚层云资源池的资源进行节能降耗的同时，保障用户的需求。

可选地，该方法400还包括：若上述第六计算节点的资源利用率大于第二阈值或上述第五计算节点的休眠时间大于第四阈值，管理节点通知该第五计算节点结束休眠；管理节点分别向该第五计算节点上运行的至少一个业务对应的业务调度节点发送第四指示信息，第四指示信息用于指示将指定业务的业务数据流指引到第五计算节点。

具体地，若该第六计算节点的资源利用率增高且大于第二阈值或已经过了业务较少的时间段，管理节点可以将该第五计算节点上运行的各个业务分别指引到第五计算节点。

在本申请实施例中，管理节点可以将过了闲暇时间段的计算节点结束休眠，有利于减轻其它计算节点的资源利用率，保障用户的需求。

为了解决上面的问题(4)，业务突发导致服务器资源扩容，本申请提出如下方案：

可选地，S402，管理节点在多个资源池的计算节点之间进行业务调度，可以包括：若多个资源池的第四资源池中存在第七计算节点上运行的第二业务所需资源大于或等于第五阈值，管理节点确定该第七计算节点上运行的至少一个业务；管理节点分别向该第七计算节点上运行的至少一个业务中除第二业务之外的其它全部或部分业务对应的业务调度节点发送第五指示信息，该第五指示信息用于指示将指定业务的业务数据流指引到多个资源池中第五资源池中的至少一个计算节点。

具体地，若存在第二业务需要的服务器资源很大，管理节点可以将第二业务所在的资源池内的其他业务指引到其它资源池，将该第二业务所在的资源池全部腾挪出来，无偿或有偿为第二业务提供服务。第二业务可以是第七计算节点上运行的业务，也可以是第七计算节点覆盖区域内产生的新的业务。

管理节点也可以只腾挪该第二业务所在的资源池的部分资源。若第七计算节点的资源可以满足第二业务对资源的需求，管理节点将第七计算节点上运行的除第二业务之外的其它全部或者部分业务指引到其它计算节点；若第七计算节点的资源不可以满足第二业务对资源的需求，第四资源池的资源可以满足第二业务对资源的需求，管理节点可以将第四资源池上运行的除第二业务之外的其它全部或者部分业务指引到其它资源池的计算节点。

应理解，第五资源池可以与第四资源池是一个资源池，也可以是不同的资源池。

示例性地，汇聚层边缘云要支撑一场即将举行的大型足球赛事直播，运营商可以在比赛之前，部分或全部腾空覆盖该体育场馆的汇聚层边缘云计算节点所归属的资源池的服务器资源。运营商可以通知视频直播业务提供者，在体育场馆所在的汇聚层边缘云资源池内的所有计算节点，部署足球赛事视频直播业务。由于整个或者大部分资源池的服务器资源都为视频直播业务服务，从而显著加大了视频直播业务的磁盘、内存、缓存等资源空间，可以为视频直播业务提供者的用户提供多路高清、流畅、稳定的足球赛事直播服务。

本申请实施例中，管理节点在资源池内进行资源腾挪，可以实现业务所需服务器资源的快速扩容、便于业务快速上线和业务数据流平滑切换，满足各行业业务的需求。

可选的，该方法400还可以包括：若第二业务所需资源小于第五阈值，管理节点可以分别向除第二业务之外的其它全部或部分业务对应的业务调度节点发送第六指示信息，该第六指示信息用于指示将指定业务的业务数据流指引到第七计算节点。

具体地，在第二业务运行完成之后，管理节点会释放第二业务所占用的资源。

示例性地，当运营商在大型足球赛事直播之后，可以释放该业务占用的各计算节点的服务器资源，然后通过管理节点将其它业务的业务数据流指引回来，恢复原状，从而实现动态、灵活平滑软切换，无需硬件施工。

本申请实施例在汇聚层边缘云资源池内以及资源池之间进行业务调度，可以支持移网业务、固网宽带和wifi业务，覆盖用户面更加广泛，可以显著提升对业务提供者的吸引力，特别是对用户群覆盖固移用户的业务提供者(比如腾讯视频60％流量来自固网宽带用户)。随着用户群范围更广、用户数更多，规模运营的效应显现，使用本申请实施例的基于汇聚层边缘云资源池的业务调度方法，运营商的整体资源利用率更加合理，单位用户的服务成本更低，运营效益更好，运营效益得到进一步提升。

通过以上云网深度融合和深度协同，提升运营商竞争力，提升利润率。云(运营商核心云)、网(运营商网络)、边(运营商汇聚层边缘云)、端(客户或用户终端)、业(各类上层业务应用)、平台(运营商的核心云、边缘云的PaaS平台、能力开放平台)深度融合、深度协同，运营商的云、网、平台***架构与上层业务应用的业务资源管理、业务逻辑实现深度捆绑。运营商的能力实现开放和变现，可以产生巨大的高附加值效益，提升运营商在整个互联网、数字化生态***中的主导能力和话语权，大幅提升议价能力，大幅提升客户粘性。

上文中结合图1至图4，详细描述了本申请实施例的方法，下面将结合图5和图6，详细描述本申请实施例的装置。

图5示出了本申请实施例提供的一种业务调度装置500。该装置500包括：获取单元510和调度单元520。

该获取单元510用于：获取多个资源池中每个资源池的至少一个计算节点的资源利用率以及至少一个计算节点上运行的至少一个业务的资源利用率占比。

该调度单元520用于：根据每个资源池的至少一个计算节点的资源利用率以及至少一个业务的资源利用率占比，在多个资源池的计算节点之间进行业务调度。

可选地，该装置还包括选择单元530和发送单元540。该选择单元530用于：若多个资源池的第一资源池中存在第一计算节点的资源利用率大于或等于第一阈值，从该第一计算节点上运行的至少一个业务中选择资源利用率占比最高的第一业务。该发送单元540用于：向该第一业务对应的业务调度节点发送第一指示信息，该第一指示信息用于指示将指定业务的业务数据流指引到第二计算节点，该第二计算节点的资源利用率小于或等于第二阈值。

可选地，该装置还包括监控单元550。该监控单元550用于：监控多个资源池的第二资源池的至少一个计算节点的保活状态；该发送单元540还用于：若至少一个计算节点中存在第三计算节点发生故障，确定第三计算节点上运行的至少一个业务；分别向该第三计算节点上运行的至少一个业务对应的业务调度节点发送第二指示信息，该第二指示信息用于指示将指定业务的业务数据流指引到第四计算节点，该第四计算节点的资源利用率小于或等于第二阈值。

可选地，该装置还包括确定单元560。该确定单元560用于：若多个资源池的第三资源池中存在第五计算节点的资源利用率在第一时间段内小于或等于第三阈值，确定该第五计算节点上运行的至少一个业务。该发送单元540还用于：分别向该第五计算节点上运行的至少一个业务对应的业务调度节点发送第三指示信息，该第三指示信息用于指示将指定业务的业务数据流指引到第六计算节点，该第六计算节点的资源利用率小于或等于第二阈值，并通知该第五计算节点进入休眠状态。

可选地，该发送单元540还用于：若第六计算节点的资源利用率大于第二阈值或第五计算节点的休眠时间大于第四阈值，通知该第五计算节点结束休眠，并分别向该第五计算节点上运行的至少一个业务对应的业务调度节点发送第四指示信息，该第四指示信息用于指示将指定业务的业务数据流指引到该第五计算节点。

可选地，该确定单元550还用于：若多个资源池的第四资源池中存在第七计算节点上运行的第二业务所需资源大于或等于第五阈值，确定该第七计算节点上运行的至少一个业务。该发送单元540还用于：分别向该第七计算节点上运行的至少一个业务中除第二业务之外的其它全部或部分业务对应的业务调度节点发送第五指示信息，该第五指示信息用于指示将指定业务的业务数据流指引到多个资源池中第五资源池中的至少一个计算节点。

可选地，该发送单元540还用于：若第二业务所需资源小于第五阈值，分别向除该第二业务之外的其它全部或部分业务对应的业务调度节点发送第六指示信息，该第六指示信息用于指示将指定业务的业务数据流指引到第七计算节点。

应理解，这里的装置500以功能单元的形式体现。这里的术语“单元”可以指应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。在一个可选例子中，本领域技术人员可以理解，装置500可以具体为上述实施例中的管理节点，或者，上述实施例中管理节点的功能可以集成在装置500中，装置500可以用于执行上述方法实施例中与管理节点对应的各个流程和/或步骤，为避免重复，在此不再赘述。

上述装置500具有实现上述方法中业务调度方法执行的相应步骤的功能；上述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。

图6示出了本申请实施例提供的另一种业务调度装置600。该装置600包括处理器610、收发器620和存储器630。其中，处理器610、收发器620和存储器630通过内部连接通路互相通信，该存储器630用于存储指令，该处理器610用于执行该存储器630存储的指令，以控制该收发器620发送信号和/或接收信号。

上述装置600用于执行上述方法400中的各个流程和步骤。其中，该处理器610用于：获取多个资源池中每个资源池的至少一个计算节点的资源利用率以及至少一个计算节点上运行的至少一个业务的资源利用率占比；根据每个资源池的至少一个计算节点的资源利用率以及至少一个业务的资源利用率占比，在多个资源池的计算节点之间进行业务调度。

应理解，装置600可以用于执行上述方法实施例中与管理节点对应的各个步骤和/或流程。可选地，该存储器630可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。该处理器610可以用于执行存储器中存储的指令，并且当该处理器610执行存储器中存储的指令时，该处理器610用于执行上述与该管理节点对应的方法实施例的各个步骤和/或流程。该收发器620可以包括发射器和接收器，该发射器可以用于实现上述收发器对应的用于执行发送动作的各个步骤和/或流程，该接收器可以用于实现上述收发器对应的用于执行接收动作的各个步骤和/或流程。

应理解，在本申请实施例中，上述装置的处理器可以是中央处理单元(centralprocessing unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器执行存储器中的指令，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种业务调度方法，其特征在于，包括：

管理节点获取多个资源池中每个资源池的至少一个计算节点的资源利用率以及所述至少一个计算节点上运行的至少一个业务的资源利用率占比；

所述管理节点根据所述每个资源池的至少一个计算节点的资源利用率以及所述至少一个业务的资源利用率占比，在所述多个资源池的计算节点之间进行业务调度；

所述在所述多个资源池的计算节点之间进行业务调度，包括：

所述多个资源池的第四资源池中存在第七计算节点上运行的第二业务所需资源大于或等于第五阈值，所述管理节点确定所述第七计算节点上运行的至少一个业务；

所述管理节点分别向所述第七计算节点上运行的至少一个业务中除所述第二业务之外的其它全部或部分业务对应的业务调度节点发送第五指示信息，所述第五指示信息用于指示将指定业务的业务数据流指引到所述多个资源池中第五资源池中的至少一个计算节点。

2.根据权利要求1所述的方法，其特征在于，所述在所述多个资源池的计算节点之间进行业务调度，还包括：

若所述多个资源池的第一资源池中存在第一计算节点的资源利用率大于或等于第一阈值，所述管理节点从所述第一计算节点上运行的至少一个业务中选择资源利用率占比最高的第一业务；

所述管理节点向所述第一业务对应的业务调度节点发送第一指示信息，所述第一指示信息用于指示将指定业务的业务数据流指引到第二计算节点，所述第二计算节点的资源利用率小于或等于第二阈值。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

所述管理节点监控所述多个资源池的第二资源池的至少一个计算节点的保活状态；

所述在所述多个资源池的计算节点之间进行业务调度，包括：

若所述至少一个计算节点中存在第三计算节点发生故障，所述管理节点确定所述第三计算节点上运行的至少一个业务；

所述管理节点分别向所述第三计算节点上运行的至少一个业务对应的业务调度节点发送第二指示信息，所述第二指示信息用于指示将指定业务的业务数据流指引到第四计算节点，所述第四计算节点的资源利用率小于或等于第二阈值。

4.根据权利要求1至2中任一项所述的方法，其特征在于，所述在所述多个资源池的计算节点之间进行业务调度，还包括：

若所述多个资源池的第三资源池中存在第五计算节点的资源利用率在第一时间段内小于或等于第三阈值，所述管理节点确定所述第五计算节点上运行的至少一个业务；

所述管理节点分别向所述第五计算节点上运行的至少一个业务对应的业务调度节点发送第三指示信息，所述第三指示信息用于指示将指定业务的业务数据流指引到第六计算节点，所述第六计算节点的资源利用率小于或等于第二阈值；

所述管理节点通知所述第五计算节点进入休眠状态。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

若所述第六计算节点的资源利用率大于所述第二阈值或所述第五计算节点的休眠时间大于第四阈值，所述管理节点通知所述第五计算节点结束休眠；

所述管理节点分别向所述第五计算节点上运行的至少一个业务对应的业务调度节点发送第四指示信息，所述第四指示信息用于指示将指定业务的业务数据流指引到所述第五计算节点。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述第二业务所需资源小于所述第五阈值，所述管理节点分别向所述除所述第二业务之外的其它全部或部分业务对应的业务调度节点发送第六指示信息，所述第六指示信息用于指示将指定业务的业务数据流指引到所述第七计算节点。

7.一种业务调度装置，其特征在于，包括：

获取单元，用于获取多个资源池中每个资源池的至少一个计算节点的资源利用率以及所述至少一个计算节点上运行的至少一个业务的资源利用率占比；

调度单元，用于根据所述每个资源池的至少一个计算节点的资源利用率以及所述至少一个业务的资源利用率占比，在所述多个资源池的计算节点之间进行业务调度；

确定单元，用于若多个资源池的第四资源池中存在第七计算节点上运行的第二业务所需资源大于或等于第五阈值，确定该第七计算节点上运行的至少一个业务；

发送单元，用于分别向所述第七计算节点上运行的至少一个业务中除所述第二业务之外的其它全部或部分业务对应的业务调度节点发送第五指示信息，所述第五指示信息用于指示将指定业务的业务数据流指引到所述多个资源池中第五资源池中的至少一个计算节点。

8.一种业务调度装置，其特征在于，包括：处理器，所述处理器与存储器耦合，所述存储器用于存储计算机程序，当所述处理器调用所述计算机程序时，使得所述装置执行权利要求1至6中任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行权利要求1至6中任一项所述的方法。