CN109688222A - 共享计算资源的调度方法、共享计算***、服务器及存储介质 - Google Patents

共享计算资源的调度方法、共享计算***、服务器及存储介质 Download PDF

Info

Publication number
CN109688222A
CN109688222A CN201811601521.7A CN201811601521A CN109688222A CN 109688222 A CN109688222 A CN 109688222A CN 201811601521 A CN201811601521 A CN 201811601521A CN 109688222 A CN109688222 A CN 109688222A
Authority
CN
China
Prior art keywords
shared
calculate node
computing resource
node
calculating task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811601521.7A
Other languages
English (en)
Other versions
CN109688222B (zh
Inventor
李�浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Onething Technology Co Ltd
Original Assignee
Shenzhen Onething Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Onething Technology Co Ltd filed Critical Shenzhen Onething Technology Co Ltd
Priority to CN201811601521.7A priority Critical patent/CN109688222B/zh
Publication of CN109688222A publication Critical patent/CN109688222A/zh
Priority to PCT/CN2019/092458 priority patent/WO2020133967A1/zh
Application granted granted Critical
Publication of CN109688222B publication Critical patent/CN109688222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种共享计算资源的调度方法，该方法包括：获取待执行的共享计算任务；获取所有备选的共享计算节点列表；从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点；将所述共享计算任务下发至所述与所述共享计算任务匹配的共享计算节点。本发明还提供一种共享计算***、服务器及存储介质。本发明能够根据用户的资源需求选择出合适的共享计算节点，并实时应对节点的波动而做出相应调度。

Description

共享计算资源的调度方法、共享计算***、服务器及存储介质
技术领域
本发明涉及共享计算技术领域，尤其涉及一种共享计算资源的调度方法、共享计算***、服务器及存储介质。
背景技术
目前有很多企业需要使用大量带宽、磁盘、CPU资源来为分布在不同地域不同网络环境下的用户提供稳定高速的服务，同时家庭环境的带宽和存储等资源存在很大的闲置，通过部署在用户家庭中的智能硬件作为家庭节点，搭建一套共享计算***能充分使用这些资源，极大的降低企业的服务成本。家庭节点有以下特点：1、数量众多，可能多达十万、百万甚至更高数量级；2、家庭节点的稳定性低于服务器节点；3、节点之间是公网互联，节点的IP地址是动态变化的；4、单个节点所拥有的物理资源很少而且实时波动。
上述模式下，对智能硬件收集到的资源做到灵活高效的管理是核心点，要求能快速部署不同的业务程序，并对业务程序做资源管理和安全控制，同时根据业务对每个节点的资源使用情况做出实时调度，最大化利用节点的物理资源。对百万以上部署在家庭网络环境下的节点，抽象出虚拟的计算、存储、网络资源，目前业界并没有成熟方案。
发明内容
有鉴于此，本发明提出一种共享计算资源的调度方法、共享计算***、服务器及存储介质，以解决至少一个上述技术问题。
首先，为实现上述目的，本发明提出一种共享计算资源的调度方法，其特征在于，所述方法包括：
获取待执行的共享计算任务；
获取所有备选的共享计算节点列表；
从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点；
将所述共享计算任务下发至所述与所述共享计算任务匹配的共享计算节点。
可选地，所述共享计算节点列表包括各共享计算节点的ID、可用资源数据；
所述共享计算任务包括需要配置的共享计算资源的需求；
所述从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点包括：
根据所述需要配置的共享计算资源的需求以及各共享计算节点的可用资源数据，从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点。
可选地，所述共享计算资源的需求包括：带宽需求、存储空间需求和计算资源需求中的至少一种。
可选地，所述共享计算节点列表中的可用资源数据为根据各个共享计算节点上传的节点实时状态、任务状态及节点上执行任务时产生的数据计算得到。
可选地，所述根据所述需要配置的共享计算资源的需求以及各共享计算节点的可用资源数据，从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点包括：
获取所述共享计算节点列表中每个共享计算节点的可用资源数据；
从所述共享计算节点列表中选择所述可用资源数据达到预设值的共享计算节点，生成可用节点列表；
按照预设指标为所述可用节点列表中的各个共享计算节点打分，采用装箱算法拆分所述需要配置的共享计算资源的需求到打分分值超过预设阈值的共享计算节点，得到最终的匹配节点列表。
可选地，所述根据所述需要配置的共享计算资源的需求以及各共享计算节点的可用资源数据，从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点还包括：
定时获取所选择的所述共享计算节点当前的可用资源数据；
根据所述需要配置的共享计算资源的需求以及所述共享计算节点当前的可用资源数据判断是否需要进行节点增删。
可选地，所述预设指标包括区域资源余量、历史稳定性。
可选地，所述获取待执行的共享计算任务包括：获取根据待执行的共享计算任务生成的docker镜像。
可选地，所述将所述共享计算任务下发至所述与所述共享计算任务匹配的共享计算节点包括：将与所述共享计算任务相对应的docker镜像下发至所述与所述共享计算任务匹配的共享计算节点。
此外，为实现上述目的，本发明还提供一种服务器，所述服务器包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的共享计算资源的调度程序，所述共享计算资源的调度程序被所述处理器执行时实现如上述的共享计算资源的调度方法。
进一步地，为实现上述目的，本发明还提供一种共享计算***，所述***包括：
任务管理单元，用于从客户端接收待执行的共享计算任务，并向调度服务单元派发所述共享计算任务；
所述调度服务单元，用于从所述任务管理单元获取所述共享计算任务，根据节点管理单元和数据仓库提供的各个共享计算节点的状态和历史数据获取所有备选的共享计算节点列表，并从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点；
部署服务单元，用于向所述调度服务单元所选择的与所述共享计算任务匹配的共享计算节点下发所述共享计算任务。
进一步地，为实现上述目的，本发明还提供一种存储介质，所述存储介质存储有共享计算资源的调度程序，所述共享计算资源的调度程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的共享计算资源的调度方法。
本发明所提出的共享计算资源的调度方法、共享计算***、服务器及存储介质，可以统一管理百万量级的共享计算节点组成的Docker集群，根据共享计算任务所需资源分配与该任务相匹配的共享计算节点，并根据节点状态变化随时进行节点调度，维持资源总量的平稳。
附图说明
图1是本发明第一实施例提出的一种共享计算***的架构示意图；
图2是本发明第二实施例提出的一种调度服务器的架构示意图；
图3是本发明第三实施例提出的一种共享计算资源的调度方法的流程示意图；
图4是图3中S24的细化流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
第一实施例
参阅图1所示，本发明第一实施例提出一种共享计算***。上述共享计算***是使用分布式节点资源构建的一套IaaS((Infrastructure as a Service，基础设施即服务)***，核心功能是根据用户的资源需求，选择出合适的节点并进行轻量虚拟化，承载用户的程序逻辑，实时应对节点的网络位置、带宽、存储等波动而做出相应调度和调整。
在本实施例中，共享计算***1包括服务器10和共享计算节点19。上述服务器10包括任务管理单元11、调度服务单元12、节点管理单元13、数据仓库14、部署服务单元15及镜像仓库17。上述共享计算***1与客户端2通过网络进行数据通信，用于根据客户端2发起的共享计算任务分配相应的共享计算节点19，以执行该共享计算任务。
客户端2用于选择所需资源的规格和容量及待执行的程序逻辑，根据上述程序逻辑自动生成Docker(应用容器引擎)镜像，并将选择的所需资源封装成标准化共享计算任务。在本实施例中，用户在客户端2可以通过管理控制台、CLI(Command-line Interface，命令行界面)工具、API(Application Programming Interface，应用程序编程接口)接口调用等多种方式，选择所需资源的规格和容量(例如带宽量、存储量等)，选定待执行的程序逻辑(可用多种语言实现)，通过调试平台和交叉编译平台处理后，自动将该程序逻辑生成Docker镜像。例如，资源需求是100Gbps带宽，10PB的存储量，执行的逻辑代码为hello.py。同时，客户端2的用户还可以对上述程序逻辑进行启停增删等控制。客户端2将选择的所需资源封装标准化任务后，将该任务递交至任务管理单元11。而用户在客户端2选定的程序逻辑会封装为标准化的Docker镜像，屏蔽编程语言和执行环境差异，然后递交至镜像仓库17。
任务管理单元11用于从客户端2接收上述任务后，向调度服务单元12派发任务。在本实施例中，任务管理单元11会根据优先级和关联度将接收到的任务排入多条并行化的流水线，调度服务单元12从该流水线中按顺序获取任务。
调度服务单元12用于从任务管理单元11获取任务，并根据节点管理单元13和数据仓库14提供的各个共享计算节点19的状态和历史数据选择与该共享计算任务匹配的共享计算节点19。调度服务单元12选取节点需要依赖从节点管理单元13获取的全量节点的实时状态，以及从数据仓库14中获取的节点和任务的历史数据(例如节点的历史稳定性等)。举例而言，调度服务单元12首先获取当前所有备选的共享计算节点列表，上述共享计算节点列表包括各共享计算节点19的ID、可用资源数据，上述可用资源数据可以根据各个共享计算节点19上传的节点实时状态、任务状态及节点上执行任务时产生的数据计算得到。然后，调度服务单元12拆分该任务的资源需求，根据地域、ISP(Internet Service Provider，互联网服务提供商)、NAT(Network Address Translation，网络地址转换)类型、带宽、存储空间、计算资源等选择达到预设值的可用节点列表。最后按照区域资源余量、历史稳定性等预设指标为该可用节点列表中的各个共享计算节点19打分，根据资源成本，采用装箱算法按照资源利用最大化原则，拆分该任务所需要配置的共享计算资源的需求到打分分值超过预设阈值的共享计算节点19，选出最终的匹配节点列表。另外，当已选取的共享计算节点19上传节点实时状态和任务状态(从而得到当前可用资源数据)后，调度服务单元12还用于进一步确定是否进行节点增删。
节点管理单元13用于接收各个共享计算节点19上传的节点实时状态和任务状态并提供给调度服务单元12进行调度。
数据仓库14用于接收各个共享计算节点19上传的执行任务时产生的数据并提供给调度服务单元12进行调度。
部署服务单元15用于向调度服务单元12选取的共享计算节点19下发部署的任务。
镜像仓库17用于接收客户端2生成的Docker镜像，以及向共享计算节点19提供Docker镜像。
共享计算节点19用于接收部署服务单元15部署的任务并执行，从镜像仓库17下载对应的Docker镜像，启动镜像实例，并将节点实时状态、任务状态和节点上产生的数据上传。在本实施例中，共享计算节点19从镜像仓库17下载Docker镜像，在其他实施例中，可以通过共享计算节点19之间的P2P传输获取其他共享计算节点19已下载的Docker镜像。当已下载上述Docker镜像后，还可以通过P2P向其他共享计算节点传输该Docker镜像。
进一步地，上述共享计算***1还包括：
信令网关16，用于将部署服务单元15部署的任务下发至对应的共享计算节点19，以及接收共享计算节点19上传的节点实时状态和任务状态，并发送至节点管理单元13。
数据网关18，用于向共享计算节点19传输Docker镜像，以及接收共享计算节点19上传的Docker实例执行过程中产生的数据，并上传至数据仓库14。
上述信令和数据的传输采用内容分发网络(Content Delivery Network，CDN)进行动态加速。
进一步地，共享计算节点19包括本地信令代理190、本地数据代理192和Docker管理器194。通过部署在每个共享计算节点19上的本地信令代理190、本地数据代理192和Docker管理器194，来对节点资源进行虚拟化分割和管理，同时实时采集节点和任务状态，以及节点上产生的数据。
本地信令代理190用于从信令网关16接收信令(例如部署的任务)，解析信令，传递给Docker管理器194，以及向信令网关16上传节点实时状态和任务状态。Docker管理器194用于根据本地信令代理190接收到的任务下载Docker镜像，加载并启动镜像实例。本地数据代理192用于从数据网关18接收从镜像仓库17下载的Docker镜像或通过P2P传输从其他共享计算节点19获取Docker镜像，以及上传Docker实例执行过程中产生的数据，例如Docker实例执行过程中生成的结果、日志、核心转储(Coredump)等，上述数据后续可以作为该节点的历史数据在调度服务单元12进行调度时作为参照。当部分共享计算节点19已下载Docker镜像后，可以通过本地数据代理192进行P2P扩散，降低数据网关18的下载带宽压力。
本实施例提供的共享计算***1，可以对资源受限的家庭智能硬件采用Docker的方式进行轻量虚拟化，统一管理百万量级的公网节点组成的Docker集群，具有跨省份跨运营商的集群管理和容错能力。信令和数据的传输用CDN网络进行动态加速，Docker镜像通过P2P方式扩散分发，提高分发效率，节省服务端带宽。共享计算节点19承载的Docker镜像实例处于公网环境，节点的NAT类型、运营商、地域会动态变化，调度服务单元12通过装箱算法时刻在进行节点增减，可以维持资源总量的平稳。
第二实施例
参阅图2所示，本发明第二实施例提出一种服务器10。
上述服务器10包括：存储器21、处理器23、网络接口25及通信总线27。其中，网络接口25可选地可以包括标准的有线接口、无线接口(如WI-FI接口)。通信总线27用于实现这些组件之间的连接通信。
存储器21至少包括一种类型的可读存储介质。上述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器等的非易失性存储介质。在一些实施例中，上述存储器21可以是服务器10的内部存储单元，例如该服务器10的硬盘。在另一些实施例中，上述存储器21也可以是服务器10的外部存储单元，例如服务器10上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
上述存储器21可以用于存储安装于服务器10的应用软件及各类数据，例如共享计算资源的调度程序20的程序代码及其运行过程中产生的相关数据。
处理器23在一些实施例中可以是一中央处理器，微处理器或其它数据处理芯片，用于运行存储器21中存储的程序代码或处理数据。
图2仅示出了具有组件21-27以及共享计算资源的调度程序20的服务器10，但是应理解的是，图2并未示出服务器10的所有组件，可以替代实施更多或者更少的组件。
在图2所示的服务器10实施例中，作为一种计算机存储介质的存储器21中存储共享计算资源的调度程序20的程序代码，处理器23执行上述共享计算资源的调度程序20的程序代码时，实现如下方法：
(1)获取待执行的共享计算任务。
(2)获取所有备选的共享计算节点列表。
(3)从该共享计算节点列表中选择与该共享计算任务匹配的共享计算节点19。
(4)将该共享计算任务下发至与该共享计算任务匹配的共享计算节点19。
上述方法的详细说明请参阅下述第三实施例，在此不再赘述。
第三实施例
参阅图3所示，本发明第三实施例提出一种共享计算资源的调度方法，应用于上述服务器10。在本实施例中，根据不同的需求，图3所示的流程图中的步骤的执行顺序可以改变，某些步骤可以省略。该方法包括：
S20，获取待执行的共享计算任务。
在本实施例中，上述共享计算任务包括需要配置的共享计算资源的需求。上述共享计算资源的需求包括带宽需求、存储空间需求和计算资源需求中的至少一种。当用户在客户端2选择所需资源的规格和容量及待执行的程序逻辑后，客户端2根据上述程序逻辑自动生成Docker镜像，并将选择的所需资源封装成标准化任务。然后，客户端2将该任务递交至任务管理单元11，将该Docker镜像递交至镜像仓库17。任务管理单元11会根据优先级和关联度将接收到的任务排入多条并行化的流水线，调度服务单元12从该流水线中按顺序获取任务。
S22，获取所有备选的共享计算节点列表。
在本实施例中，上述共享计算节点列表包括各共享计算节点19的ID、可用资源数据，上述可用资源数据可以根据各个共享计算节点19上传的节点实时状态、任务状态及节点上执行任务时产生的数据计算得到。节点管理单元13接收各个共享计算节点19上传的节点实时状态和任务状态并提供给调度服务单元12进行调度。数据仓库14接收各个共享计算节点19上传的产生的数据并提供给调度服务单元12进行调度。调度服务单元12选取节点需要依赖从节点管理单元13获取的全量节点的实时状态，以及从数据仓库14中获取的节点和任务的历史数据(例如节点的历史稳定性等)。
S24，从该共享计算节点列表中选择与该共享计算任务匹配的共享计算节点19。
调度服务单元12根据上述需要配置的共享计算资源的需求以及各共享计算节点19的可用资源数据，从该共享计算节点列表中选择与该共享计算任务匹配的共享计算节点19。举例而言，调度服务单元12首先获取当前所有备选的共享计算节点列表，然后拆分该任务的资源需求，根据地域、ISP、NAT类型、带宽、存储空间、计算资源等选择达到预设值的可用节点列表，最后按照区域资源余量、历史稳定性等预设指标为该可用节点列表中的各个共享计算节点19打分，根据资源成本，采用装箱算法按照资源利用最大化原则，拆分该任务所需要配置的共享计算资源的需求到打分分值超过预设阈值的共享计算节点19，选出最终的匹配节点列表。另外，当已选取的共享计算节点19上传节点实时状态和任务状态(从而得到当前可用资源数据)后，调度服务单元12还用于进一步确定是否进行节点增删。
参阅图3所示，为上述S24的细化流程示意图。该细化流程包括：
S240，获取该共享计算节点列表中每个共享计算节点19的可用资源数据。
S242，从该共享计算节点列表中选择可用资源数据达到预设值的共享计算节点19，生成可用节点列表。
S244，按照预设指标为该可用节点列表中的各个共享计算节点19打分，采用装箱算法拆分该任务需要配置的共享计算资源的需求到打分分值超过预设阈值的共享计算节点19，得到最终的匹配节点列表。
S246，定时获取所选择的共享计算节点19当前的可用资源数据。
S248，根据上述共享计算资源的需求以及上述共享计算节点19当前的可用资源数据判断是否需要进行节点增删。例如，当节点上下线状态变化、NAT类型或运营商变化、磁盘存储变化、任务负载变化等情况出现时，可能需要增删节点。
S26，将该共享计算任务下发至与该共享计算任务匹配的共享计算节点19。
当调度服务单元12选取出共享计算节点19后，可以将从任务管理单元11获取到的上述任务分配给各个所选取的共享计算节点19，然后通过部署服务单元15将每个所选取的共享计算节点19被分配到的任务下发至对应的共享计算节点19。
共享计算节点19接收到所下发的任务并执行，从镜像仓库17下载对应的Docker镜像，启动镜像实例，并将节点实时状态、任务状态和节点上产生的数据上传。
本实施例提供的共享计算资源的调度方法，可以对资源受限的家庭智能硬件采用Docker的方式进行轻量虚拟化，统一管理百万量级的公网节点组成的Docker集群，具有跨省份跨运营商的集群管理和容错能力。共享计算节点19承载的Docker镜像实例处于公网环境，节点的NAT类型、运营商、地域会动态变化，调度服务单元12通过装箱算法时刻在进行节点增减，可以维持资源总量的平稳。
第四实施例
本发明还提供了另一种实施方式，即提供一种计算机可读存储介质，上述计算机可读存储介质存储有共享计算资源的调度程序20，上述共享计算资源的调度程序20可被至少一个处理器执行，以使上述至少一个处理器执行如上述的共享计算资源的调度方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台客户端(可以是手机，计算机，电子装置，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (12)

1.一种共享计算资源的调度方法，其特征在于，所述方法包括：
获取待执行的共享计算任务；
获取所有备选的共享计算节点列表；
从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点；
将所述共享计算任务下发至所述与所述共享计算任务匹配的共享计算节点。
2.如权利要求1所述的共享计算资源的调度方法，其特征在于，所述共享计算节点列表包括各共享计算节点的ID、可用资源数据；
所述共享计算任务包括需要配置的共享计算资源的需求；
所述从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点包括：
根据所述需要配置的共享计算资源的需求以及各共享计算节点的可用资源数据，从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点。
3.如权利要求2所述的共享计算资源的调度方法，其特征在于，所述共享计算资源的需求包括：带宽需求、存储空间需求和计算资源需求中的至少一种。
4.如权利要求2所述的共享计算资源的调度方法，其特征在于，所述共享计算节点列表中的可用资源数据为根据各个共享计算节点上传的节点实时状态、任务状态及节点上执行任务时产生的数据计算得到。
5.如权利要求2所述的共享计算资源的调度方法，其特征在于，所述根据所述需要配置的共享计算资源的需求以及各共享计算节点的可用资源数据，从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点包括：
获取所述共享计算节点列表中每个共享计算节点的可用资源数据；
从所述共享计算节点列表中选择所述可用资源数据达到预设值的共享计算节点，生成可用节点列表；
按照预设指标为所述可用节点列表中的各个共享计算节点打分，采用装箱算法拆分所述需要配置的共享计算资源的需求到打分分值超过预设阈值的共享计算节点，得到最终的匹配节点列表。
6.如权利要求5所述的共享计算资源的调度方法，其特征在于，所述根据所述需要配置的共享计算资源的需求以及各共享计算节点的可用资源数据，从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点还包括：
定时获取所选择的所述共享计算节点当前的可用资源数据；
根据所述需要配置的共享计算资源的需求以及所述共享计算节点当前的可用资源数据判断是否需要进行节点增删。
7.如权利要求5所述的共享计算资源的调度方法，其特征在于，所述预设指标包括区域资源余量、历史稳定性。
8.根据权利要求1所述的共享计算资源的调度方法，其特征在于，所述获取待执行的共享计算任务包括：获取根据待执行的共享计算任务生成的docker镜像。
9.根据权利要求8所述的共享计算资源的调度方法，其特征在于，所述将所述共享计算任务下发至所述与所述共享计算任务匹配的共享计算节点包括：将与所述共享计算任务相对应的docker镜像下发至所述与所述共享计算任务匹配的共享计算节点。
10.一种服务器，其特征在于，所述服务器包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的共享计算资源的调度程序，所述共享计算资源的调度程序被所述处理器执行时实现如权利要求1-9任一项所述的方法。
11.一种共享计算***，其特征在于，所述***包括：
任务管理单元，用于从客户端接收待执行的共享计算任务，并向调度服务单元派发所述共享计算任务；
所述调度服务单元，用于从所述任务管理单元获取所述共享计算任务，根据节点管理单元和数据仓库提供的各个共享计算节点的状态和历史数据获取所有备选的共享计算节点列表，并从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点；
部署服务单元，用于向所述调度服务单元所选择的与所述共享计算任务匹配的共享计算节点下发所述共享计算任务。
12.一种存储介质，所述存储介质存储有共享计算资源的调度程序，所述共享计算资源的调度程序可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-9中任一项所述的共享计算资源的调度方法。
CN201811601521.7A 2018-12-26 2018-12-26 共享计算资源的调度方法、共享计算***、服务器及存储介质 Active CN109688222B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811601521.7A CN109688222B (zh) 2018-12-26 2018-12-26 共享计算资源的调度方法、共享计算***、服务器及存储介质
PCT/CN2019/092458 WO2020133967A1 (zh) 2018-12-26 2019-06-24 共享计算资源的调度方法、共享计算***、服务器及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811601521.7A CN109688222B (zh) 2018-12-26 2018-12-26 共享计算资源的调度方法、共享计算***、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN109688222A true CN109688222A (zh) 2019-04-26
CN109688222B CN109688222B (zh) 2020-12-25

Family

ID=66189634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811601521.7A Active CN109688222B (zh) 2018-12-26 2018-12-26 共享计算资源的调度方法、共享计算***、服务器及存储介质

Country Status (2)

Country Link
CN (1) CN109688222B (zh)
WO (1) WO2020133967A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381159A (zh) * 2019-07-26 2019-10-25 中国联合网络通信集团有限公司 任务处理方法及***
CN110649958A (zh) * 2019-09-05 2020-01-03 北京百度网讯科技有限公司 用于处理数据的方法、装置、设备和介质
CN110661646A (zh) * 2019-08-06 2020-01-07 上海孚典智能科技有限公司 面向高可用物联网计算服务管理技术
CN110677464A (zh) * 2019-09-09 2020-01-10 深圳市网心科技有限公司 边缘节点设备、内容分发***、方法、计算机设备及介质
CN111126895A (zh) * 2019-11-18 2020-05-08 青岛海信网络科技股份有限公司 一种复杂场景下调度智能分析算法的管理仓库及调度方法
WO2020133967A1 (zh) * 2018-12-26 2020-07-02 深圳市网心科技有限公司 共享计算资源的调度方法、共享计算***、服务器及介质
CN112015521A (zh) * 2020-09-30 2020-12-01 北京百度网讯科技有限公司 推理服务的配置方法、装置、电子设备及存储介质
CN112068954A (zh) * 2020-08-18 2020-12-11 弥伦工业产品设计(上海)有限公司 一种网络计算资源调度的方法及***
CN112394944A (zh) * 2019-08-13 2021-02-23 阿里巴巴集团控股有限公司 分布式开发方法、装置、存储介质及计算机设备
CN112702306A (zh) * 2019-10-23 2021-04-23 ***通信有限公司研究院 智能服务共享的方法、装置、设备和存储介质
CN112738174A (zh) * 2020-12-23 2021-04-30 中国人民解放军63921部队 一种用于专用网的跨地域多任务数据传输方法和***

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111949394A (zh) * 2020-07-16 2020-11-17 广州玖的数码科技有限公司 一种共享算力资源的方法、***及存储介质
CN112199193A (zh) * 2020-09-30 2021-01-08 北京达佳互联信息技术有限公司 资源调度方法、装置、电子设备和存储介质
CN112799742B (zh) * 2021-02-09 2024-02-13 上海海事大学 一种基于微服务的机器学习实训***及方法
US20220374215A1 (en) * 2021-05-20 2022-11-24 International Business Machines Corporation Generative experiments for application deployment in 5g networks

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102917077A (zh) * 2012-11-20 2013-02-06 无锡城市云计算中心有限公司 云计算***中的资源分配方法
CN102938790A (zh) * 2012-11-20 2013-02-20 无锡城市云计算中心有限公司 云计算***中的资源分配方法
CN105791447A (zh) * 2016-05-20 2016-07-20 北京邮电大学 一种面向视频服务的云资源调度方法及装置
CN106371889A (zh) * 2016-08-22 2017-02-01 浪潮(北京)电子信息产业有限公司 一种调度镜像的高性能集群***实现方法及装置
CN106919445A (zh) * 2015-12-28 2017-07-04 华为技术有限公司 一种在集群中并行调度容器的方法和装置
CN107105029A (zh) * 2017-04-18 2017-08-29 北京友普信息技术有限公司 一种基于Docker技术的CDN动态内容加速方法及***
CN107239329A (zh) * 2016-03-29 2017-10-10 西门子公司 云环境下统一资源调度方法及***
CN107566443A (zh) * 2017-07-12 2018-01-09 郑州云海信息技术有限公司 一种分布式资源调度方法
US20180034856A1 (en) * 2016-07-27 2018-02-01 International Business Machines Corporation Compliance configuration management
CN107733977A (zh) * 2017-08-31 2018-02-23 北京百度网讯科技有限公司 一种基于Docker的集群管理方法及装置
CN107819802A (zh) * 2016-09-13 2018-03-20 华为软件技术有限公司 一种在节点集群中的镜像获取方法、节点设备及服务器
CN107844376A (zh) * 2017-11-21 2018-03-27 北京星河星云信息技术有限公司 计算***的资源调配方法、计算***、介质和服务器
CN108563500A (zh) * 2018-05-08 2018-09-21 深圳市零度智控科技有限公司 基于云平台的任务调度方法、云平台及计算机存储介质
CN108628674A (zh) * 2018-05-11 2018-10-09 深圳市零度智控科技有限公司 基于云平台的任务调度方法、云平台及计算机存储介质
CN109062658A (zh) * 2018-06-29 2018-12-21 优刻得科技股份有限公司 实现计算资源服务化的调度方法、装置、介质、设备及***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9268613B2 (en) * 2010-12-20 2016-02-23 Microsoft Technology Licensing, Llc Scheduling and management in a personal datacenter
CN104506600A (zh) * 2014-12-16 2015-04-08 苏州海博智能***有限公司 一种共享计算资源方法、装置、***及客户端和服务器
WO2018067047A1 (en) * 2016-10-05 2018-04-12 Telefonaktiebolaget Lm Ericsson (Publ) Method and module for assigning task to server entity
CN109067890B (zh) * 2018-08-20 2021-06-29 广东电网有限责任公司 一种基于docker容器的CDN节点边缘计算***
CN109688222B (zh) * 2018-12-26 2020-12-25 深圳市网心科技有限公司 共享计算资源的调度方法、共享计算***、服务器及存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938790A (zh) * 2012-11-20 2013-02-20 无锡城市云计算中心有限公司 云计算***中的资源分配方法
CN102917077A (zh) * 2012-11-20 2013-02-06 无锡城市云计算中心有限公司 云计算***中的资源分配方法
CN106919445A (zh) * 2015-12-28 2017-07-04 华为技术有限公司 一种在集群中并行调度容器的方法和装置
CN107239329A (zh) * 2016-03-29 2017-10-10 西门子公司 云环境下统一资源调度方法及***
CN105791447A (zh) * 2016-05-20 2016-07-20 北京邮电大学 一种面向视频服务的云资源调度方法及装置
US20180034856A1 (en) * 2016-07-27 2018-02-01 International Business Machines Corporation Compliance configuration management
CN106371889A (zh) * 2016-08-22 2017-02-01 浪潮(北京)电子信息产业有限公司 一种调度镜像的高性能集群***实现方法及装置
CN107819802A (zh) * 2016-09-13 2018-03-20 华为软件技术有限公司 一种在节点集群中的镜像获取方法、节点设备及服务器
CN107105029A (zh) * 2017-04-18 2017-08-29 北京友普信息技术有限公司 一种基于Docker技术的CDN动态内容加速方法及***
CN107566443A (zh) * 2017-07-12 2018-01-09 郑州云海信息技术有限公司 一种分布式资源调度方法
CN107733977A (zh) * 2017-08-31 2018-02-23 北京百度网讯科技有限公司 一种基于Docker的集群管理方法及装置
CN107844376A (zh) * 2017-11-21 2018-03-27 北京星河星云信息技术有限公司 计算***的资源调配方法、计算***、介质和服务器
CN108563500A (zh) * 2018-05-08 2018-09-21 深圳市零度智控科技有限公司 基于云平台的任务调度方法、云平台及计算机存储介质
CN108628674A (zh) * 2018-05-11 2018-10-09 深圳市零度智控科技有限公司 基于云平台的任务调度方法、云平台及计算机存储介质
CN109062658A (zh) * 2018-06-29 2018-12-21 优刻得科技股份有限公司 实现计算资源服务化的调度方法、装置、介质、设备及***

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020133967A1 (zh) * 2018-12-26 2020-07-02 深圳市网心科技有限公司 共享计算资源的调度方法、共享计算***、服务器及介质
CN110381159B (zh) * 2019-07-26 2022-02-01 中国联合网络通信集团有限公司 任务处理方法及***
CN110381159A (zh) * 2019-07-26 2019-10-25 中国联合网络通信集团有限公司 任务处理方法及***
CN110661646A (zh) * 2019-08-06 2020-01-07 上海孚典智能科技有限公司 面向高可用物联网计算服务管理技术
CN110661646B (zh) * 2019-08-06 2020-08-04 上海孚典智能科技有限公司 面向高可用物联网计算服务管理技术
CN112394944A (zh) * 2019-08-13 2021-02-23 阿里巴巴集团控股有限公司 分布式开发方法、装置、存储介质及计算机设备
CN110649958A (zh) * 2019-09-05 2020-01-03 北京百度网讯科技有限公司 用于处理数据的方法、装置、设备和介质
CN110649958B (zh) * 2019-09-05 2022-07-26 北京百度网讯科技有限公司 用于处理卫星数据的方法、装置、设备和介质
CN110677464A (zh) * 2019-09-09 2020-01-10 深圳市网心科技有限公司 边缘节点设备、内容分发***、方法、计算机设备及介质
CN112702306B (zh) * 2019-10-23 2023-05-09 ***通信有限公司研究院 智能服务共享的方法、装置、设备和存储介质
CN112702306A (zh) * 2019-10-23 2021-04-23 ***通信有限公司研究院 智能服务共享的方法、装置、设备和存储介质
CN111126895A (zh) * 2019-11-18 2020-05-08 青岛海信网络科技股份有限公司 一种复杂场景下调度智能分析算法的管理仓库及调度方法
CN112068954A (zh) * 2020-08-18 2020-12-11 弥伦工业产品设计(上海)有限公司 一种网络计算资源调度的方法及***
CN112015521A (zh) * 2020-09-30 2020-12-01 北京百度网讯科技有限公司 推理服务的配置方法、装置、电子设备及存储介质
CN112738174A (zh) * 2020-12-23 2021-04-30 中国人民解放军63921部队 一种用于专用网的跨地域多任务数据传输方法和***
CN112738174B (zh) * 2020-12-23 2022-11-25 中国人民解放军63921部队 一种用于专用网的跨地域多任务数据传输方法和***

Also Published As

Publication number Publication date
CN109688222B (zh) 2020-12-25
WO2020133967A1 (zh) 2020-07-02

Similar Documents

Publication Publication Date Title
CN109688222A (zh) 共享计算资源的调度方法、共享计算***、服务器及存储介质
Téllez et al. A tabu search method for load balancing in fog computing
CN102238137B (zh) 一种下载方法、***和装置
CN102945175A (zh) 一种基于云计算环境的终端软件在线升级***及其方法
US20100131324A1 (en) Systems and methods for service level backup using re-cloud network
CN109491758A (zh) docker镜像分发方法、***、数据网关及计算机可读存储介质
Faticanti et al. Throughput-aware partitioning and placement of applications in fog computing
Li et al. In a Telco-CDN, pushing content makes sense
CN113127192B (zh) 一种多个服务共享同一个gpu的方法、***、设备及介质
CN103024081B (zh) 适用于有时效保证通讯***的点对点通讯的终端调度方法
CN111857873A (zh) 一种实现云原生容器网络的方法
CN105103506A (zh) 用于为云计算网络中的非均匀带宽请求分配带宽的方法和***
CN104823175A (zh) 云服务管理***
CN108270818A (zh) 一种微服务架构***及其访问方法
EP2353256A1 (fr) Determination et gestion de reseaux virtuels
US20130297703A1 (en) Peer node and method for improved peer node selection
CN110035306A (zh) 文件的部署方法及装置、调度方法及装置
FR3069669A1 (fr) Un systeme de communication et un procede d'acces et de deploiement des microservices ephemeres sur une plateforme heterogene
US11178252B1 (en) System and method for intelligent distribution of integration artifacts and runtime requests across geographic regions
CN109962961A (zh) 一种内容分发网络cdn服务节点的重定向方法及***
KR101033813B1 (ko) 클라우드 컴퓨팅 네트워크 시스템 및 그것의 파일 분산 방법
Faticanti et al. Deployment of application microservices in multi-domain federated fog environments
CN105792247A (zh) 一种数据推送方法及装置
Amoretti et al. Service migration within the cloud: Code mobility in SP2A
CN109309646A (zh) 一种多媒体转码方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant