CN110022337A - 资源调度方法、装置、设备和*** - Google Patents

资源调度方法、装置、设备和*** Download PDF

Info

Publication number
CN110022337A
CN110022337A CN201810020116.XA CN201810020116A CN110022337A CN 110022337 A CN110022337 A CN 110022337A CN 201810020116 A CN201810020116 A CN 201810020116A CN 110022337 A CN110022337 A CN 110022337A
Authority
CN
China
Prior art keywords
cluster instance
resource
cluster
data server
borrowed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810020116.XA
Other languages
English (en)
Inventor
朱家稷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810020116.XA priority Critical patent/CN110022337A/zh
Priority to JP2020537180A priority patent/JP7374100B2/ja
Priority to EP19738224.5A priority patent/EP3739845B1/en
Priority to PCT/CN2019/070579 priority patent/WO2019137320A1/zh
Publication of CN110022337A publication Critical patent/CN110022337A/zh
Priority to US16/924,040 priority patent/US20200344322A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/76—Admission control; Resource allocation using dynamic resource allocation, e.g. in-call renegotiation requested by the user or requested by the network in response to changing network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/82—Miscellaneous aspects
    • H04L47/821—Prioritising resource allocation or reservation requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/82—Miscellaneous aspects
    • H04L47/822—Collecting or measuring resource availability data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/82—Miscellaneous aspects
    • H04L47/827—Aggregation of resource allocation or reservation requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/503—Resource availability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种资源调度方法、装置、设备和***，该方法包括：若第一集群实例自有的可用资源低于阈值，则第一集群实例向第二集群实例发送资源借用请求；接收第二集群实例返回的可借用资源信息，该可借用资源信息表征第二集群实例中可借用的数据服务器资源；第一集群实例获取可借用的数据服务器资源，用于进行数据处理，从而实现集群实例间的资源复用，也充分地使用了各个集群实例的资源，提高了集群的资源使用率。

Description

资源调度方法、装置、设备和***
技术领域
本发明涉及互联网技术领域，尤其涉及一种资源调度方法、装置、设备和***。
背景技术
在处于信息***时代的当今，各种各样的网络业务所产生的数据量成指数倍的增长，为满足海量数据的存储容量、数据备份、数据安全等需求，分布式文件***集群应运而生，简单来说，分布式文件***集群由可以提供完整业务计算逻辑的一组服务器构成。
在一种应用场景中，分布式文件***集群可能会被多个不同的业务共享，或者会被一个业务的多种不同任务或者称为子业务共享，此时，可以将分布式文件***集群划分为多个集群实例(或者也可以称为单元集群、子集群等)，每个集群实例可以被至少一个业务或任务使用。每个集群实例都包含属于自己的一个元数据服务器(MS)和多个数据服务器(CS)。
当业务产生的数据增加导致分布式文件***集群资源不足时，目前是通过独立扩容的方式来增加分布式文件***的资源，比如增加某个或某几个集群实例中包含的CS数量。但是，越来越多的业务具有很大的数据量波动性，比如某业务可能只是短暂的数据量突增，此时，扩容的方式，一方面由于在发现数据量严重增加时才触发扩容，扩容的实时性不能满足当前突增的数据量的实时处理需求，另一方面，为了应对数据量突发增长而扩容往往也会带来很大的资源浪费。
发明内容
有鉴于此，本发明实施例提供一种资源调度方法、装置、设备和***，用以实现集群实例间的资源复用，提高集群的资源利用率。
第一方面，本发明实施例提供一种资源调度方法，该方法包括：
若第一集群实例自有的可用资源低于阈值，所述第一集群实例向第二集群实例发送资源借用请求；
接收所述第二集群实例返回的可借用资源信息，所述可借用资源信息表征所述第二集群实例中可借用的数据服务器资源；
所述第一集群实例获取所述可借用的数据服务器资源，用于进行数据处理。
第二方面，本发明实施例提供一种资源调度装置，应用于第一集群实例，该装置包括：
发送模块，用于若第一集群实例自有的可用资源低于阈值，所述第一集群实例向第二集群实例发送资源借用请求；
接收模块，用于接收所述第二集群实例返回的可借用资源信息，所述可借用资源信息表征所述第二集群实例中可借用的数据服务器资源；
处理模块，用于所述第一集群实例获取所述可借用的数据服务器资源，用于进行数据处理。
第三方面，本发明实施例提供一种电子设备，该电子设备可以包括处理器和存储器，所述存储器用于存储支持电子设备执行上述第一方面中资源调度方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。该电子设备中还可以包括通信接口，用于与其他设备或通信网络通信。
另外，本发明实施例提供了一种计算机存储介质，用于储存该电子设备所用的计算机软件指令，其包含用于执行上述第一方面中资源调度方法所涉及的程序。
第四方面，本发明实施例提供一种资源调度方法，该方法包括：
若第一集群实例自有的可用资源低于阈值，所述第一集群实例向第二集群实例发送资源借用请求；
响应于所述资源借用请求，所述第二集群实例确定所述第二集群实例中可借用的数据服务器资源；
所述第一集群实例获取所述可借用的数据服务器资源，用于进行数据处理。
第五方面，本发明实施例提供一种资源调度***，至少包括第一集群实例和第二集群实例；其中，
所述第一集群实例中包括第一元数据服务器以及多个第一数据服务器；所述第二集群实例中包括第二元数据服务器以及多个第二数据服务器；
所述第一元数据服务器，用于若第一集群实例自有的可用资源低于阈值，向第二集群实例发送资源借用请求，以及获取所述第二元数据服务器确定出的可借用的数据服务器资源，用于进行数据处理；
所述第二元数据服务器，用于响应于所述资源借用请求，确定所述第二集群实例中所述可借用的数据服务器资源。
本发明实施例提供的资源调度方法、装置、设备和***，当第一集群实例的可用资源不足时，第一集群实例可以向第二集群实例发送资源借用请求以借用第二集群实例的资源。具体地，第二集群实例首先确定第二集群实例中的可借用的数据服务器资源，将表征该可借用的数据服务器资源的可借用资源信息返回给第一集群实例，从而使得第一集群实例获得该可借用的数据服务资源以用于数据处理。基于此，当一个集群实例的可用资源不足时，可以借用其他集群实例的资源，从而实现集群实例间的资源复用，也充分地使用了各个集群实例的资源，提高了集群的资源使用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种资源调度***的示意图；
图2为本发明实施例提供的一种资源调度方法的流程图；
图3为在图1基础上一种资源调度过程的示意图；
图4为本发明实施例提供的另一种资源调度方法的流程图；
图5为本发明实施例提供的又一种资源调度方法的流程图；
图6为本发明实施例提供的一种资源调度方法的交互图；
图7为本发明实施例提供的一种资源调度装置的结构示意图；
图8为与图7所示资源调度装置对应的电子设备的结构示意图；
图9为本发明实施例提供的另一种资源调度***的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX，但这些XXX不应限于这些术语。这些术语仅用来将XXX区分开。例如，在不脱离本发明实施例范围的情况下，第一XXX也可以被称为第二XXX，类似地，第二XXX也可以被称为第一XXX。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者***中还存在另外的相同要素。
另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
图1为本发明实施例提供的一种资源调度***的示意图，该资源调度***中包括多个集群实例，该集群实例可以为分布式文件***集群中的任一个具体的子集群，每个集群实例中包括一个元数据服务器(MS)和多个数据服务器(CS)。一般地，用户的文件通常会被切分成数据块(chunk)存储在不同的CS上，并且为了保证数据不丢失，chunk会以多个副本存储。MS负责管理集群实例的元数据信息，该元数据信息主要包括：目录和文件空间，文件的chunk列表以及这些chunk存储在哪些CS上等信息。MS同时负责在发现某CS的机器磁盘损坏时，触发复制任务把缺失的chunk副本复制到其他CS上以保证数据可靠性。CS负责管理本地所有chunk的读写，并定期向MS汇报自身状态并同步chunk元数据信息，其中，chunk元数据信息包括chunk长度，版本号，最后修改时间等。当某客户端的任务进程(Task worker)需要访问文件时，先向MS查询该文件的元数据信息，以根据chunk副本的位置就近向相应的CS请求相应的数据。
值得说明的是，上述元数据服务器和数据服务器的称法也可能被称为名字节点(namenode)和数据节点(datanode)等，因此，不管如何称呼，只要是满足上述功能描述的构成一个具体的集群的设备都属于本发明实施例的范围。
为描述方便，如图1所示，图中示意出该资源调度***至少包括第一集群实例(集群实例A)和第二集群实例(集群实例B)，其中，集群实例A中包括元数据服务器MSA以及多个数据服务器CS1、CS2、CS3；集群实例B中包括元数据服务器MSB以及多个数据服务器CS4、CS5、CS6。
如前所述，每个MS记录了其所对应集群实例的所有目录和文件空间，每个文件的chunk列表以及各个chunk存储在哪些CS上等信息。因此，如图1所示，假设MSA纪录了的文件和目录空间包括：/a/,/a/b,/a/c,/a/d/；以及每个文件的chunk列表：比如文件/a/b,它有两个chunk——C1和C2，再比如/a/和/a/d/以“/”结尾表示目录，它没有chunk，因此列表为空[]；以及每个chunk存储在哪些CS上：比如C1->[1,3]表示chunk C1存储在CS1和CS3上。假设MSB纪录了的文件和目录空间包括：/f/,/f/g,/f/h,/f/k/；以及每个文件的chunk列表：比如文件/f/g,它有一个chunk——C4；以及每个chunk存储在哪些CS上：比如C4->[4,5]表示chunk C4存储在CS4和CS5上。
基于图1所示的资源调度***，本发明实施例提供的资源调度方法的核心思想是：当一个集群实例的可用资源不足时，可以借用其他集群实例的资源，另外，当该集群实例的可用资源恢复充足时，可以归还所借用的资源。从而，实现不同集群实例间的资源共享。
下面分别站在上述集群实例A和集群实例AB的角度对本发明实施例提供的资源调度方法进行说明。
图2为本发明实施例提供的一种资源调度方法的流程图，本实施例提供的该资源调度方法可以由图1所示的集群实例A来执行，可选地，具体可以由该集群实例A中的元数据服务器MSA来执行，下述实施例以MSA来执行该资源调度方法为例来进行说明。如图2所示，该方法包括如下步骤：
201、若集群实例A自有的可用资源低于预设阈值，则集群实例A向集群实例B发送资源借用请求。
202、集群实例A接收集群实例B返回的可借用资源信息，该可借用资源信息表征集群实例B中可借用的数据服务器资源。
203、集群实例A获取可借用的数据服务器资源，用于进行数据处理。
本发明实施例中，一个集群实例自有的可用资源是指初始注册到该集群实例中的多个CS的可用资源。
在一可选实施例中，一个集群实例可能服务于一个业务，也可能服务多个业务，而不同业务可能具有优先级的区别，比如：假设某个集群实例服务于在线购物业务，另一集群实例服务于大数据分析业务，则可以设定在线购物业务的优先级高于大数据分析业务的优先级，从而，为了优先保证高优先级业务的运行，需要保证服务于高优先级业务的集群实例的资源应该优先保证，该服务于高优先级业务的集群实例的资源一般不会用来共享给别的低优先级业务，它只会借用低优先级业务所在的集群实例的资源。
基于此，假设与集群实例B相比，集群实例A对应的业务优先级更高，则当集群实例A资源紧张时希望能借用集群实例B的资源。在一可选实施例中，可以预先对MSA和MSB进行配置，对MSA的配置内容可以包括：MSB的访问地址，可以向集群实例B借用的最大资源阈值即可借用资源阈值上限；对MSB的配置内容可以包括：可以向其借用资源的集群实例A的MSA的访问地址等。其中，访问地址可以是IP地址+端口号，也可以是统一资源定位符(UniformResource Locator，简称URL)地址。最大资源阈值可以是CS最大数量、最大带宽、最大存储容量等维度的阈值。
基于上述配置，如图3所示，当MSA发现集群实例A的可用资源不足时，比如集群实例A的自身容量或请求流量已经接近于承载峰值时，导致可用资源不足，可以启动借用流程，向集群实例B请求借用资源。此时，MSA基于配置的可借用资源的集群实例B的MSB的访问地址，向MSB发送资源借用请求。
在一可选实施例中，该资源借用请求中可以包括集群实例A对应的业务优先级。该业务优先级用于使得当集群实例B在同时接收到来自其他集群实例的资源借用请求时，根据该业务优先级确定是否响应集群实例A发送的资源借用请求。也就是说，假设集群实例B的MSB同时接收到几个资源借用请求，其可以根据每个资源借用请求中携带的业务优先级确定响应业务优先级最高的资源借用请求。
在另一可选实施例中，该资源借用请求中还可以包括期望资源信息，该信息描述了需要借用多少资源，该期望资源信息使得MSB从集群实例B包含的多个CS中确定满足该期望资源信息的一个或几个可借用CS。
当资源借用请求中包含业务优先级和期望资源信息时，可选地，假设至少两个资源借用请求中的业务优先级相等且高于其他资源借用请求中的业务优先级，则可以随机从这至少两个资源借用请求中选择一个进行响应，或者可以从该至少两个资源借用请求中选择期望资源信息对应的所需借用资源量最少或最多的资源借用请求进行响应。
其中，上述期望资源信息可以根据如下方式确定：根据集群实例A的负载情况和预设的可借用资源阈值上限确定期望资源信息。举例来说，假设预先配置的集群实例A可以向集群实例B借用的资源阈值上限为100台CS，那么可以设定当集群实例A的负载高于30％时，期望借用30台CS，负载高于50％时，期望借用50台CS。该负载可以是集群实例A的已用存储容量占全部存储容量的比例等。
可选地，上述资源借用请求中也可以不携带期望资源信息，此时，MSB可以结合集群实例B的负载、剩余资源情况等因素决定是否借用资源给集群实例A以及具体借用哪几个CS的多少资源给集群实例A，其中，该资源一般体现为带宽资源、存储容量资源。
在一可选实施例中，当MSB确定出可借用的CS后，可以向可借用CS发送借用通知，以通知可借用CS其被借用给集群实例A。该借用通知中可以携带有带宽需求量、存储空间需求量等信息，该信息可以是根据前述期望资源信息、集群实例B的负载、集群实例B中各CS的剩余资源情况中的一种或多种因素确定的。此时，可借用CS可以在该带宽需求量、存储空间需求量的限制下分配相应的带宽资源、存储空间，还可以创建文件目录，如图3中示意的/a/e以用于存储后续来自于集群实例A的数据。从而，可借用CS可以将创建的该文件目录、分配的带宽、存储空间反馈至MSB，以使MSB形成可借用资源信息。
因此，当集群实例B中的MSB接收到集群实例A的资源借用请求后，向集群实例A返回可借用资源信息，该可借用资源信息表征了集群实例B中可借用的CS资源。其中，该可借用的CS资源可以是表明哪几个CS可借用，还可以进一步表明这几个可借用CS中的哪些存储空间、多少带宽、哪些文件目录可借用。如图3所示，MSB确定出可借用CS资源如图中的CS4，CS6后，可以向MSA发送可借用资源信息，该可借用资源信息可以是以列表的形式组织的，其中比如可以包括可借用CS的标识，以告知MSA借用给它的是哪些CS。
集群实例A的MSA在接收到集群实例B的MSB返回的可借用资源信息后，可以获取相应的可借用的CS资源。
在一可选实施例中，由于可借用资源信息中描述了集群实例A可以借用集群实例B中的哪些CS资源，因此，可以将可借用资源信息写入MSA的维护的元数据信息中，从而认为获得了可借用CS资源。
在另一可选实施例中，为了便于集群实例A能够方便地使用借用来的资源，还可以通过注册流程将集群实例B中可借用的CS资源注册到集群实例A中。此时，当MSB确定出可借用的CS资源后，可以向可借用CS发送借用通知，该借用通知除了可以触发可借用CS进行前述具体可借用的带宽、存储空间、文件目录等资源的分配、创建外，还可以触发可借用CS向集群实例A的注册流程。具体地，可借用CS可以向MSA发送注册请求以要求加入集群实例A，MSA发现该可借用CS存在于接收到的可借用资源信息中，应答该注册请求以完成注册。通过注册流程，可借用CS相当于同时属于集群实例A和集群实例B。
值得说明的是，虽然可借用CS相当于同时属于集群实例A和集群实例B，但是可借用CS的资源却相当于分成了两个独立的部分，一部分供集群实例A独自使用，另一部分供集群实例B独自使用。
另外，可选地，当MSB确定出可借用CS资源后，可以将可借用CS标记为借用状态。
基于此，集群实例A借用了集群实例B的资源。此后，对于集群实例A接收到的新的数据处理请求比如数据读写请求，则可以利用借用资源来处理该数据处理请求，从而分担集群实例A的容量、流量压力。比如图3所示的MSA接收到任务进程(Task Worker)的数据写入请求，则可以将请求存储的chunk C6写入到CS1和借用来的CS4中。
集群实例A除了可以使用借用来的资源进行新的数据处理请求的处理，可选地，还可以将集群实例中的部分chunk副本迁移到借用的资源中，即将原本存储在归属于集群实例A中的CS比如图3中的CS1、CS2、CS3中的部分chunk副本迁移到借用的资源中。
值得说明的是，当集群实例A使用借用资源时，通常只是把一部分chunk副本放到借用资源上，这样集群实例A仍保留所有chunk，具有独立服务的能力。比如：原先集群实例A的某chunk有3个副本，有了借用资源后，会把其中的一个副本迁移到借用资源上，这样即使借用资源不可用，集群实例A仍然有两个副本可以独立服务数据读写之用。
综上，当一个集群实例的可用资源不足时，可以与其他集群实例协商，以借用其他集群实例的资源，从而实现集群实例间的资源复用，也充分地使用了各个集群实例的资源，提高了集群的资源使用率。
图4为本发明实施例提供的另一种资源调度方法的流程图，如图4所示，在图2所示实施例基础上，步骤203之后，还可以包括如下步骤：
401、若集群实例A自有的可用资源恢复至高于阈值，则从可借用CS中确定待归还CS。
402、确定待归还CS中属于集群实例A的数据块副本是否需要迁移至集群实例A的其他CS中，若需要，则将数据块副本迁移至所述其他CS中。
403、向待归还CS发送注销通知，以使待归还CS从集群实例A中注销以及向所MSB发送已注销通知。
上述步骤可以由集群实例A的MSA来执行。
当集群实例A自有的资源恢复充足后，比如通过扩容或降低访问流量等措施使得集群实例A的可用资源恢复充足，则集群实例A可以将其所有或部分借用的资源归还。可以结合集群实例A自有的可用资源的充足程度来确定是全部归还还是部分归还，比如，当集群实例A自有的可用资源大于第一预设阈值时，确定全部归还，而当集群实例A自有的可用资源大于第二预设阈值而小于第一预设阈值时，确定部分归还，第一预设阈值大于第二预设阈值。
其中，步骤401中的集群实例A自有的可用资源是指除了借用资源外的资源，如图3所示，假设将集群实例B中的CS4和CS6借用给集群实例A使用时，集群实例A此时可以使用的资源包括：CS1、CS2、CS3、CS4和CS6，但是，只有初始注册在集群实例A中的CS1、CS2、CS3是集群实例A自有的资源，也就是步骤401中所述的自有可用资源。
从而，结合图3中的假设——集群实例A借用了集群实例B中的CS4和CS6，在一可选实施例中，当集群实例A自有的可用资源恢复至高于第一预设阈值时，可以将集群实例A借用的全部资源即CS4和CS6归还至集群实例B，此时，直接执行步骤402即可。在另一可选实施例中，集群实例A自有的可用资源恢复至高于第二预设阈值而小于第一预设阈值时，归还部分借用的资源，此时需要从全部的可借用CS中确定待归还CS。
具体地，可以根据各可借用CS的服务质量和/或使用率，从中确定待归还CS。比如，确定其中使用频率较少的可借用CS为待归还CS，或者，确定其中服务质量较差的可借用CS为待归还CS。其中，服务质量的度量指标比如可以是单位时间内的数据读写次数、能够提供的带宽等；使用频率可以是自借到该可借用CS开始，集群实例A使用可借用CS处理接收到的数据读写请求的次数占接收到的数据读写请求总次数的比值。可以设定相应的阈值作为确定待归还CS的依据。
MSA确定出待归还CS之后，后续将不再使用待归还CS。
承接前述举例，假设MSA从借用的CS4和CS6中确定待归还CS为CS4，由于在集群实例A借用CS4期间，会将集群实例A中的数据存到CS4中，因此，在将CS4归还给集群实例B前，需要确定是否需要将CS4中存储的集群实例A中的chunk副本迁移到集群实例A中的其他CS中，以满足数据安全性和可用性要求，如果需要，则复制CS4中的chunk副本到集群实例A的其他CS中。
CS4中存储有集群实例A的若干chunk副本，对于其中的任一chunk副本，该chunk副本是否需要迁移可以通过如下方式确定：
若该chunk副本被删除使得该chunk副本对应的总数据块数量小于预设数量，则确定该chunk副本需要迁移至其他CS中。具体地，由于MSA上记录了每个CS中具体存储了哪些chunk副本，亦即MSA可以获知相同的chunk副本分别存储在了哪些CS中，从而，针对存储在CS4中的任一chunk副本，MSA可以确定该chunk副本还存储在哪些CS中，从而确定该chunk副本总共有几个，假设为N个，另外假设上述预设数量为M个，则判断如果归还CS4的话，则该chunk副本的个数变为(N-1)个，如果(N-1)≥M，则确定不需要迁移该chunk副本，反之，则确定需要迁移该chunk副本，其中，N和M均为大于或等于1的整数。
当将CS4中需要迁移的chunk副本迁移完后，MSA可以向CS4发送注销通知，以使CS4可以从集群实例A中注销，当CS4注销完毕后，可以向MSA发送注销确认消息，从而MSA从可借用资源信息中删除CS4相关的信息。另外，CS4在完成注销后，还可以向MSB发送已注销通知，以通知MSB其已经从集群实例A中注销，此时，MSB可以修改CS4的借用状态标记，将其标记为未借用状态。CS4此时还可以回收为集群实例A创建的文件目录空间，比如图3中的/a/e。
综上，每个集群实例都具有较强的独立性，其可以根据自身负载情况即自身可用资源是否充足的情况，动态地进行向其他集群实例的资源借入借出，能够更灵活得复用资源，提高了集群的资源使用率。
图5为本发明实施例提供的又一种资源调度方法的流程图，如图5所示，该方法包括如下步骤：
501、若第一集群实例自有的可用资源低于阈值，第一集群实例向第二集群实例发送资源借用请求。
502、响应于资源借用请求，第二集群实例确定第二集群实例中可借用的数据服务器资源。
503、第一集群实例获取可借用的数据服务器资源，用于进行数据处理。
本实施例中，上述第一集群实例可以是图1中所示的集群实例A，第二集群实例可以是图1中所示的集群实例B。
在实际应用中，可以是集群实例A中的MSA在发现集群实例A自有的可用资源低于阈值时，向集群实例B的MSB发送资源借用请求。可选地，MSA可以在检测到集群实例A的剩余存储空间、可用带宽低于一定阈值时，根据预先配置给MSA的配置信息，向集群实例B的MSB发送资源借用请求。如前述实施例中所述，该配置信息包括了当集群实例A的可用资源不足时，可以向哪些集群实例借用资源的这些集群实例的MS的访问地址。从而，当MSB的访问地址被配置于上述配置信息中时，MSA可根据该访问地址向MSB发送资源借用请求。
如前述实施例中所述，该资源借用请求中可以包括集群实例A对应的业务优先级、期望资源信息等参数。当资源借用请求中包括该期望资源信息时，MSB确定集群实例B中满足该期望资源信息的可借用的CS资源。其中，该期望资源信息描述了集群实例A所期望获得的CS数量、网络距离、存储容量等要求。从而，MSB可以根据集群实例B中各CS的负载、存储容量等情况从中选择出满足该要求的一个或几个CS的组合作为可借用的CS资源。
进一步可选地，可借用的CS资源除了可以体现为具体哪几个CS这个维度外，还可以进一步体现为该几个CS中的具体哪些资源。基于此，MSB可以首先筛选出满足期望资源信息的几个可借用CS，之后向这几个可借用CS发送借用通知，以使可借用CS分配具体的资源比如文件目录、存储空间、带宽等，并将分配的资源反馈给MSB，以形成更详细的可借用CS资源。
MSB在确定出可借用的CS资源后，可以向MSA反馈表征该可借用的CS资源的可借用资源信息，以使集群实例A获取相应的可借用的CS资源。其中，集群实例A获取该可借用的CS资源的过程参见前述实施例中的说明，不赘述。
另外，可借用CS还可以基于该借用通知触发向集群实例A的注册。具体地，可借用CS在接收到该借用通知后，可以向集群实例A发送注册请求以进行向集群实例A的注册。
可选地，MSB确定集群实例B中的可借用CS之后，可以对可借用CS进行借用状态标记，以表明可借用CS已经借给集群实例A。
在一可选实施例中，当集群实例A自有的可用资源恢复充足时，其可以归还全部或部分所借用的资源。当MSA从提供给它的上述可借用CS中确定出待归还CS后，会触发如图4所示的归还流程。在该归还流程中，MSA会向该待归还CS发送注销通知，以使待归还CS从集群实例A中注销。待归还CS从集群实例A注销后，可以向MSB发送已注销通知，已告知MSB其已经从集群实例A中注销。MSB响应于该待归还CS发送的已注销通知，可以删除待归还CS的借用状态标记，以便后续集群实例B可以继续使用该待归还CS。
在一可选实施例中，由于某个CS出现故障等原因，使得需要将该CS下线，即从对应的集群实例中删除该CS。而如果该CS服务于多个集群实例，即为该CS被借用给其他集群实例的情况下，安全的下线流程可以参考如下过程：
以下以需要下线图3所示实施例中的CS4为例，由于CS4是初始注册在集群实例B中的，因此，会向集群实例B的MSB发送针对CS4的下线通知。由于此时CS4作为可借用CS被借用给集群实例A，则该可借用CS—CS4的下线处理过程如下：
首先，MSB接收到针对CS4的下线通知后，将CS4中与集群实例B对应的chunk副本迁移至集群实例B中的其他CS中，以保证数据的安全性和可用性需求。
其次，MSB根据CS4的借用状态标记，向MSA发送下线通知，以使MSA执行针对CS4的归还处理。其中，由于该借用状态标记指示了CS4被借用给了MSA，通过预先配置的MSA的访问地址可以向MSA发送下线通知。MSA的归还处理过程即为执行图4所示的步骤402-403的过程，其中的待归还CS即为下线通知中携带的该CS4。
最后，若集群实例B的存于CS4上的chunk副本已经迁移至其他CS中，并且已经接收到指示已经归还完毕的通知消息比如前述实施例中提到的已注销通知，则确认可以进行具体的下线处理。
基于上述下线处理流程，可以保证被下线CS的数据安全性和可用性。
图6为本发明实施例提供的一种资源调度方法的交互图，如图6所示，可以包括如下步骤：
601、集群实例A的MSA在集群实例A资源不足时，向集群实例B的MSB发送资源借用请求。
602、集群实例B的MSB确定可借用CS资源：CS4，并将CS4标记为借用状态。
在一可选实施例中，该步骤602可以具体包括：MSB确定可借用CS；向可借用CS发送借用通知，以使可借用CS分配具体的可借用资源，从而确定出可借用的CS资源，以及得到表征可借用的CS资源的可借用资源信息。
603、集群实例B的MSB向集群实例A的MSA返回可借用资源信息：CS4。
604、CS4完成向集群实例A的注册。
605、集群实例A的MSA接收到新的数据写入请求，将数据块写入到CS4中。
606、集群实例A的MSA在集群实例A的资源恢复充足时，向CS4发送注销通知。
607、CS4从集群实例A中注销。
608、CS4向集群实例B的MSB发送已注销通知。
609、集群实例B的MSB删除CS4的借用状态标记。
610、CS4回收借用给集群实例A的可用资源。
上述实施例仅简单地示意了前述实施例中介绍的借用、归还流程。其中，具体地执行过程可参见前述相应实施例中的描述。
以下将详细描述本发明的一个或多个实施例的资源调度装置。本领域技术人员可以理解，这些资源调度装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图7为本发明实施例提供的一种资源调度装置的结构示意图，该资源调度装置可以应用于图1所示的集群实例A的MSA中，如图7所示，该装置包括：发送模块11、接收模块12、处理模块13。
其中，发送模块11，用于若第一集群实例自有的可用资源低于阈值，所述第一集群实例向第二集群实例发送资源借用请求。
接收模块12，用于接收所述第二集群实例返回的可借用资源信息，所述可借用资源信息表征所述第二集群实例中可借用的数据服务器资源。
处理模块13，用于所述第一集群实例获取所述可借用的数据服务器资源，用于进行数据处理。
可选地，所述资源借用请求中包括与所述第一集群实例对应的业务优先级和期望资源信息；其中，所述业务优先级用于使得所述第二集群实例在同时接收到其他集群实例发送的资源借用请求时，根据所述业务优先级确定是否响应所述第一集群实例的资源借用请求；所述期望资源信息用于使得所述第二集群实例确定满足所述期望资源信息的所述可借用资源信息。
在一可选实施例中，该装置中还可以包括：第一确定模块14。
第一确定模块14，用于根据所述第一集群实例的负载情况和预设的可借用资源阈值上限，确定所述期望资源信息。
在一可选实施例中，所述处理模块13还用于：若接收到所述可借用的数据服务器发送的注册请求，进行所述可借用的数据服务器向所述第一集群实例的注册处理。
在一可选实施例中，所述处理模块13还用于：将所述第一集群实例中的部分数据块副本迁移到所述可借用的数据服务器资源中。
在一可选实施例中，所述装置还包括：第二确定模块15，第三确定模块16。
其中，第二确定模块15，用于若所述第一集群实例自有的可用资源恢复至高于阈值，则从可借用的数据服务器中确定待归还数据服务器。
第三确定模块16，用于确定所述待归还数据服务器中属于所述第一集群实例的数据块副本是否需要迁移至所述第一集群实例的其他数据服务器中。
相应地，所述处理模块13还用于：若第三确定模块16确定需要迁移，则将所述数据块副本迁移至所述其他数据服务器中。
所述发送模块11还用于：向所述待归还数据服务器发送注销通知，以使所述待归还数据服务器从所述第一集群实例中注销以及向所述第二集群实例发送已注销通知。
可选地，所述第二确定模块15具体用于：根据所述可借用的数据服务器的服务质量和/或使用率，从所述可借用的数据服务器中确定所述待归还数据服务器。
可选地，所述第三确定模块16具体用于：若所述数据块副本被删除使得所述数据块副本对应的总数据块数量小于预设数量，则确定所述数据块副本需要迁移至所述其他数据服务器中。
图7所示装置可以执行图2和图4所示实施例的方法，本实施例未详细描述的部分，可参考对图2和图4所示实施例的相关说明。该技术方案的执行过程和技术效果参见图2和图4所示实施例中的描述，在此不再赘述。
以上描述了资源调度装置的内部功能和结构，在一个可能的设计中，图8所示资源调度装置的结构可实现为电子设备，比如图1中的MSA，如图8所示，该电子设备可以包括：处理器21和存储器22。其中，所述存储器22用于存储支持电子设备执行上述图2和图4所示实施例中提供的资源调度方法的程序，所述处理器21被配置为用于执行所述存储器22中存储的程序。
所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器21执行时能够实现如下步骤：
若第一集群实例自有的可用资源低于阈值，所述第一集群实例向第二集群实例发送资源借用请求；
接收所述第二集群实例返回的可借用资源信息，所述可借用资源信息表征所述第二集群实例中可借用的数据服务器资源；
所述第一集群实例获取所述可借用的数据服务器资源，用于进行数据处理。
可选地，所述处理器21还用于执行前述图2和图4所示实施例中的全部或部分步骤。
其中，所述电子设备的结构中还可以包括通信接口23，用于电子设备与其他设备或通信网络通信。
另外，本发明实施例提供了一种计算机存储介质，用于储存电子设备所用的计算机软件指令，其包含用于执行上述图2和图4所示方法实施例中资源调度方法所涉及的程序。
图9为本发明实施例提供的另一种资源调度***的结构示意图，如图9所示，该***至少包括第一集群实例和第二集群实例；其中，
所述第一集群实例中包括第一元数据服务器以及多个第一数据服务器；所述第二集群实例中包括第二元数据服务器以及多个第二数据服务器。
所述第一元数据服务器，用于若第一集群实例自有的可用资源低于阈值，向第二集群实例发送资源借用请求，以及获取所述第二元数据服务器确定出的可借用的数据服务器资源，用于进行数据处理。
所述第二元数据服务器，用于响应于所述资源借用请求，确定所述第二集群实例中所述可借用的数据服务器资源。
可选地，所述第一元数据服务器、所述第二元数据服务器以及所述多个第一数据服务器、多个第二数据服务器还用于执行前述各所示实施例中相应的全部或部分步骤。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(trans itory media)，如调制的数据信号和载波。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (17)

1.一种资源调度方法，其特征在于，包括：
若第一集群实例自有的可用资源低于阈值，所述第一集群实例向第二集群实例发送资源借用请求；
接收所述第二集群实例返回的可借用资源信息，所述可借用资源信息表征所述第二集群实例中可借用的数据服务器资源；
所述第一集群实例获取所述可借用的数据服务器资源，用于进行数据处理。
2.根据权利要求1所述的方法，其特征在于，所述资源借用请求中包括与所述第一集群实例对应的业务优先级和期望资源信息；
所述业务优先级用于使得所述第二集群实例在同时接收到其他集群实例发送的资源借用请求时，根据所述业务优先级确定是否响应所述第一集群实例的资源借用请求；
所述期望资源信息用于使得所述第二集群实例确定满足所述期望资源信息的所述可借用资源信息。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据所述第一集群实例的负载情况和预设的可借用资源阈值上限，确定所述期望资源信息。
4.根据权利要求1所述的方法，其特征在于，所述第一集群实例获取所述可借用的数据服务器资源，包括：
若接收到所述可借用的数据服务器发送的注册请求，进行所述可借用的数据服务器向所述第一集群实例的注册处理。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述第一集群实例中的部分数据块副本迁移到所述可借用的数据服务器资源中。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：
若所述第一集群实例自有的可用资源恢复至高于阈值，则从可借用的数据服务器中确定待归还数据服务器；
确定所述待归还数据服务器中属于所述第一集群实例的数据块副本是否需要迁移至所述第一集群实例的其他数据服务器中；
若需要，则将所述数据块副本迁移至所述其他数据服务器中；
向所述待归还数据服务器发送注销通知。
7.根据权利要求6所述的方法，其特征在于，所述从可借用的数据服务器中确定待归还数据服务器，包括：
根据所述可借用的数据服务器的服务质量和/或使用率，从所述可借用的数据服务器中确定所述待归还数据服务器。
8.根据权利要求6所述的方法，其特征在于，所述确定所述待归还数据服务器中属于所述第一集群实例的数据块副本是否需要迁移至所述第一集群实例的其他数据服务器中，包括：
若所述数据块副本被删除使得所述数据块副本对应的总数据块数量小于预设数量，则确定所述数据块副本需要迁移至所述其他数据服务器中。
9.一种资源调度方法，其特征在于，包括：
若第一集群实例自有的可用资源低于阈值，所述第一集群实例向第二集群实例发送资源借用请求；
响应于所述资源借用请求，所述第二集群实例确定所述第二集群实例中可借用的数据服务器资源；
所述第一集群实例获取所述可借用的数据服务器资源，用于进行数据处理。
10.根据权利要求9所述的方法，其特征在于，所述第二集群实例确定所述第二集群实例中可借用的数据服务器资源之后，还包括：
所述第二集群实例向可借用的数据服务器发送借用通知；
所述可借用的数据服务器响应于所述借用通知，向所述第一集群实例发送注册请求；
所述第一集群实例获取所述可借用的数据服务器资源，包括：
所述第一集群实例根据所述注册请求进行所述可借用的数据服务器向所述第一集群实例的注册处理。
11.根据权利要求9所述的方法，其特征在于，所述方法还包括：
对可借用的数据服务器进行借用状态标记，所述借用状态表明所述可借用的数据服务器已经借给所述第一集群实例。
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：
若所述第一集群实例自有的可用资源恢复至高于阈值，所述第一集群从可借用的数据服务器中确定待归还数据服务器；
若所述第一集群实例确定所述待归还数据服务器中属于所述第一集群实例的数据块副本需要迁移至所述第一集群实例的其他数据服务器中，则将所述数据块副本迁移至所述其他数据服务器中；
所述第一集群实例向所述待归还数据服务器发送注销通知；
所述待归还数据服务器根据所述注销通知从所述第一集群实例中注销。
13.根据权利要求12所述的方法，其特征在于，所述待归还数据服务器根据所述注销通知从所述第一集群实例中注销之后，还包括：
所述待归还数据服务器向所述第二集群实例发送已注销通知；
所述第二集群实例删除所述借用状态标记。
14.根据权利要求12所述的方法，其特征在于，所述方法还包括：
若所述第二集群实例接收到针对所述可借用的数据服务器的下线通知，将所述可借用的数据服务器中与所述第二集群实例对应的数据块副本迁移至所述第二集群实例中的其他数据服务器；
所述第二集群实例根据所述借用状态标记，向所述第一集群实例发送归还指示；
响应于所述归还指示，所述第一集群实例若确定所述可借用的数据服务器中属于所述第一集群实例的数据块副本需要迁移至所述第一集群实例的其他数据服务器中，则将所述数据块副本迁移至所述其他数据服务器中，以及向所述可借用的数据服务器发送注销通知，以使所述可借用的数据服务器从所述第一集群实例中注销。
15.一种资源调度装置，其特征在于，包括：
发送模块，用于若第一集群实例自有的可用资源低于阈值，所述第一集群实例向第二集群实例发送资源借用请求；
接收模块，用于接收所述第二集群实例返回的可借用资源信息，所述可借用资源信息表征所述第二集群实例中可借用的数据服务器资源；
处理模块，用于所述第一集群实例获取所述可借用的数据服务器资源，用于进行数据处理。
16.一种电子设备，其特征在于，位于第一集群实例中，包括：存储器和处理器；其中，
所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现：
若第一集群实例自有的可用资源低于阈值，向第二集群实例发送资源借用请求；
接收所述第二集群实例返回的可借用资源信息，所述可借用资源信息表征所述第二集群实例中可借用的数据服务器资源；
获取所述可借用的数据服务器资源，用于进行数据处理。
17.一种资源调度***，其特征在于：至少包括第一集群实例和第二集群实例；其中，
所述第一集群实例中包括第一元数据服务器以及多个第一数据服务器；所述第二集群实例中包括第二元数据服务器以及多个第二数据服务器；
所述第一元数据服务器，用于若第一集群实例自有的可用资源低于阈值，向第二集群实例发送资源借用请求，以及获取所述第二元数据服务器确定出的可借用的数据服务器资源，用于进行数据处理；
所述第二元数据服务器，用于响应于所述资源借用请求，确定所述第二集群实例中所述可借用的数据服务器资源。
CN201810020116.XA 2018-01-09 2018-01-09 资源调度方法、装置、设备和*** Pending CN110022337A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810020116.XA CN110022337A (zh) 2018-01-09 2018-01-09 资源调度方法、装置、设备和***
JP2020537180A JP7374100B2 (ja) 2018-01-09 2019-01-07 リソース予約方法、リソース予約装置、リソース予約デバイス、及びリソース予約システム
EP19738224.5A EP3739845B1 (en) 2018-01-09 2019-01-07 Borrowing data storage resources in a distributed file system
PCT/CN2019/070579 WO2019137320A1 (zh) 2018-01-09 2019-01-07 资源调度方法、装置、设备和***
US16/924,040 US20200344322A1 (en) 2018-01-09 2020-07-08 Resource scheduling method, apparatus, device and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810020116.XA CN110022337A (zh) 2018-01-09 2018-01-09 资源调度方法、装置、设备和***

Publications (1)

Publication Number Publication Date
CN110022337A true CN110022337A (zh) 2019-07-16

Family

ID=67187834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810020116.XA Pending CN110022337A (zh) 2018-01-09 2018-01-09 资源调度方法、装置、设备和***

Country Status (5)

Country Link
US (1) US20200344322A1 (zh)
EP (1) EP3739845B1 (zh)
JP (1) JP7374100B2 (zh)
CN (1) CN110022337A (zh)
WO (1) WO2019137320A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110457138A (zh) * 2019-08-20 2019-11-15 网易（杭州）网络有限公司 游戏服务器集群的管理方法、装置及电子设备
CN110597623A (zh) * 2019-08-13 2019-12-20 平安普惠企业管理有限公司 容器资源分配方法、装置、计算机设备和存储介质
CN110825494A (zh) * 2019-11-01 2020-02-21 北京京东尚科信息技术有限公司 物理机调度方法及装置、计算机可存储介质
CN111158909A (zh) * 2019-12-27 2020-05-15 中国联合网络通信集团有限公司 集群资源分配处理方法、装置、设备及存储介质
CN112306651A (zh) * 2019-07-31 2021-02-02 华为技术有限公司 一种资源分配方法和资源借调方法
CN112506583A (zh) * 2020-12-21 2021-03-16 北京百度网讯科技有限公司 一种实例控制方法、装置、设备、存储介质以及程序产品
CN113612732A (zh) * 2021-07-06 2021-11-05 华控清交信息科技(北京)有限公司 一种资源调用方法、装置和多方安全计算***
CN113839888A (zh) * 2021-09-22 2021-12-24 唯品会(广州)软件有限公司 一种限流方法、装置、设备及可读存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11630706B2 (en) * 2020-09-22 2023-04-18 Intel Corporation Adaptive limited-duration edge resource management
CN114697340A (zh) * 2020-12-31 2022-07-01 深圳云天励飞技术股份有限公司 一种多设备接入的注册调度方法及其相关产品
JP2022137816A (ja) * 2021-03-09 2022-09-22 富士通株式会社 情報処理装置及び情報処理装置の制御方法
CN113672168B (zh) * 2021-07-15 2024-02-13 济南浪潮数据技术有限公司 存储***的带宽资源分配方法、装置、设备及存储介质
US12045667B2 (en) * 2021-08-02 2024-07-23 International Business Machines Corporation Auto-split and auto-merge clusters
CN113923216B (zh) * 2021-09-29 2023-12-15 阿里巴巴（中国）有限公司 一种分布式集群限流***及方法和分布式集群节点
CN113905449B (zh) * 2021-09-30 2024-04-05 杭州阿里云飞天信息技术有限公司 计算资源调度方法、***及设备
CN114928606B (zh) * 2022-01-29 2024-04-23 上海瀚银信息技术有限公司 一种服务器资源的调度方法及***
US11811888B2 (en) * 2022-03-17 2023-11-07 International Business Machines Corporation Ensuring data protection and control in distributed hybrid multi-cloud environment

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1852502A (zh) * 2006-05-29 2006-10-25 杭州华为三康技术有限公司 一种集群***中实现负载均衡的方法、***和存储控制器
CN101958808A (zh) * 2010-10-18 2011-01-26 华东交通大学 一种服务于多网格接入的集群任务调度管理器
CN102148871A (zh) * 2011-03-18 2011-08-10 浪潮(北京)电子信息产业有限公司 存储资源调度方法和装置
CN102722413A (zh) * 2012-05-16 2012-10-10 上海兆民云计算科技有限公司 一种桌面云集群使用的分布式资源调度方法
CN103812895A (zh) * 2012-11-12 2014-05-21 华为技术有限公司 调度方法、管理节点以及云计算集群
US9069610B2 (en) * 2010-10-13 2015-06-30 Microsoft Technology Licensing, Llc Compute cluster with balanced resources
CN105024851A (zh) * 2015-06-25 2015-11-04 四川理工学院 一种基于云计算的监控管理***
CN106230997A (zh) * 2016-09-30 2016-12-14 腾讯科技（北京）有限公司 一种资源调度方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005004349A (ja) * 2003-06-10 2005-01-06 Hitachi Ltd ストレージシステムの制御方法、ストレージシステム、及びストレージ装置
JP4097274B2 (ja) * 2004-07-07 2008-06-11 株式会社東芝 リソース探索方法、クラスタシステム、計算機、及び、クラスタ
JP4738175B2 (ja) * 2006-01-04 2011-08-03 株式会社東芝 サーバ装置、サーバ融通方法およびサーバ融通プログラム
JP2007325235A (ja) * 2006-06-05 2007-12-13 Ricoh Co Ltd 電子機器
JP4982600B2 (ja) * 2010-09-24 2012-07-25 株式会社日立製作所 リソース貸借方法、および、リソース貸借システム
US20140156853A1 (en) * 2011-08-04 2014-06-05 Nec Corporation Computer and resource retrieval method
CN105162878B (zh) * 2015-09-24 2018-08-31 网宿科技股份有限公司 基于分布式存储的文件分发***及方法
CN105320570B (zh) * 2015-11-09 2019-01-29 深圳市万普拉斯科技有限公司 资源管理方法和***
CN105933205B (zh) * 2016-04-19 2019-04-12 史桢 资源发放方法及资源发放装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1852502A (zh) * 2006-05-29 2006-10-25 杭州华为三康技术有限公司 一种集群***中实现负载均衡的方法、***和存储控制器
US9069610B2 (en) * 2010-10-13 2015-06-30 Microsoft Technology Licensing, Llc Compute cluster with balanced resources
CN101958808A (zh) * 2010-10-18 2011-01-26 华东交通大学 一种服务于多网格接入的集群任务调度管理器
CN102148871A (zh) * 2011-03-18 2011-08-10 浪潮(北京)电子信息产业有限公司 存储资源调度方法和装置
CN102722413A (zh) * 2012-05-16 2012-10-10 上海兆民云计算科技有限公司 一种桌面云集群使用的分布式资源调度方法
CN103812895A (zh) * 2012-11-12 2014-05-21 华为技术有限公司 调度方法、管理节点以及云计算集群
CN105024851A (zh) * 2015-06-25 2015-11-04 四川理工学院 一种基于云计算的监控管理***
CN106230997A (zh) * 2016-09-30 2016-12-14 腾讯科技（北京）有限公司 一种资源调度方法和装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306651A (zh) * 2019-07-31 2021-02-02 华为技术有限公司 一种资源分配方法和资源借调方法
CN110597623A (zh) * 2019-08-13 2019-12-20 平安普惠企业管理有限公司 容器资源分配方法、装置、计算机设备和存储介质
CN110457138A (zh) * 2019-08-20 2019-11-15 网易（杭州）网络有限公司 游戏服务器集群的管理方法、装置及电子设备
CN110825494A (zh) * 2019-11-01 2020-02-21 北京京东尚科信息技术有限公司 物理机调度方法及装置、计算机可存储介质
CN111158909A (zh) * 2019-12-27 2020-05-15 中国联合网络通信集团有限公司 集群资源分配处理方法、装置、设备及存储介质
CN111158909B (zh) * 2019-12-27 2023-07-25 中国联合网络通信集团有限公司 集群资源分配处理方法、装置、设备及存储介质
CN112506583A (zh) * 2020-12-21 2021-03-16 北京百度网讯科技有限公司 一种实例控制方法、装置、设备、存储介质以及程序产品
CN113612732A (zh) * 2021-07-06 2021-11-05 华控清交信息科技(北京)有限公司 一种资源调用方法、装置和多方安全计算***
CN113612732B (zh) * 2021-07-06 2023-12-26 华控清交信息科技(北京)有限公司 一种资源调用方法、装置和多方安全计算***
CN113839888A (zh) * 2021-09-22 2021-12-24 唯品会(广州)软件有限公司 一种限流方法、装置、设备及可读存储介质
CN113839888B (zh) * 2021-09-22 2024-02-27 唯品会(广州)软件有限公司 一种限流方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
US20200344322A1 (en) 2020-10-29
WO2019137320A1 (zh) 2019-07-18
JP2021509989A (ja) 2021-04-08
EP3739845A1 (en) 2020-11-18
EP3739845B1 (en) 2023-11-22
JP7374100B2 (ja) 2023-11-06
EP3739845A4 (en) 2021-10-06

Similar Documents

Publication Publication Date Title
CN110022337A (zh) 资源调度方法、装置、设备和***
CN104537076B (zh) 一种文件读写方法及装置
CN107229555A (zh) 标识生成方法和装置
CN106657314B (zh) 跨数据中心数据同步***及方法
CN102708165B (zh) 分布式文件***中的文件处理方法及装置
US11836152B2 (en) Continuous replication and granular application level replication
EP3223165A1 (en) File processing method, system and server-clustered system for cloud storage
CN108132775B (zh) 一种租户管理***及方法
CN106933548B (zh) 全局信息获取、处理及更新、方法、装置和***
CN105373613A (zh) 基于策略的储存结构分布
CN106446168B (zh) 一种面向分布式数据仓库的加载客户端实现方法
CN108196787B (zh) 集群存储***的配额管理方法以及集群存储***
CN108282514A (zh) 一种分布式业务建立方法及装置
CN109739815A (zh) 文件处理方法、***、装置、设备及存储介质
CN110784498B (zh) 一种个性化数据容灾方法及装置
US20120137376A1 (en) Re-download management of previously acquired digital media assets
CN114594914B (zh) 用于分布式存储***的控制方法及***
CN109328331B (zh) 用于异步存储服务的自组织存储***
CN109992373A (zh) 资源调度方法、信息管理方法和装置及任务部署***
CN110022338A (zh) 文件读取方法、***、元数据服务器和用户设备
CN110012050A (zh) 消息处理、存储方法、装置及***
JP2020504399A (ja) リソース処理方法及びデバイス
CN105978744B (zh) 一种资源分配方法、装置及***
CN115114359A (zh) 用户数据处理方法及装置
CN111399761A (zh) 存储资源分配方法、装置及设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190716

RJ01 Rejection of invention patent application after publication