CN107786358A - 分布式***及该分布式***的扩容方法 - Google Patents

分布式***及该分布式***的扩容方法 Download PDF

Info

Publication number
CN107786358A
CN107786358A CN201610753112.3A CN201610753112A CN107786358A CN 107786358 A CN107786358 A CN 107786358A CN 201610753112 A CN201610753112 A CN 201610753112A CN 107786358 A CN107786358 A CN 107786358A
Authority
CN
China
Prior art keywords
node
calculate node
dilatation
new
observer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201610753112.3A
Other languages
English (en)
Inventor
郭华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201610753112.3A priority Critical patent/CN107786358A/zh
Publication of CN107786358A publication Critical patent/CN107786358A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multi Processors (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供一种分布式***及该分布式***的扩容方法，所述分布式***包括主节点，多个计算节点，缓存节点，观测者及资源分配***，所述分布式***的扩容方法是先对每个所述计算节点的自身进行扩容，当所有的所述计算节点的自身完成扩容的数量大于预设的数量阀值时，所述资源分配***按所需的硬件资源和加载运行软件映像来增加新的所述计算节点进行扩容，所以所述扩容方法优化了所述分布式***的扩容过程，实现了扩容的自动化，提升了扩容的效率。

Description

分布式***及该分布式***的扩容方法
技术领域
本发明涉及IT(互联网技术，Internet Technology，简称IT)和CT(电信网技术，Community Technology，简称CT)领域，特别涉及一种分布式***及该分布式***的扩容方法。
背景技术
分布式***是建立在网络之上的软件***，具有高度的内聚性和透明性，使得每一个数据库的分布节点高度自治，且每一个数据库的分布节点对用户的应用来说都是透明的，看不出是本地还是远程，所以分布式***的出现解决了大规模计算和并行计算的问题，受到广大用户的青睐。
目前，常见的分布式***的架构一般采用主从方式，即主节点负责接收和分发任务，多个从节点(也叫计算节点)执行具体的任务。主节点只做分发，不会成为***瓶颈；而执行任务的从节点往往会随着计算量的增加和资源利用率的上升成为瓶颈。这时就需要对分布式***进行扩容，常见的扩容方法就是采用手动方式增加一个或多个计算节点，此种扩容方法虽然具有一定的效果，但是扩容粒度较粗，且效率较低。
发明内容
基于此，本发明的目的在于提出一种具有高效率的分布式***及该分布式体统的扩容方法，所述扩容方法优化了所述分布式***的扩容过程，以更精确的方式对扩容过程中所需资源进行按需分配，实现扩容过程的自动化。
本发明提供一种分布式***的扩容方法，所述分布式***包括主节点，多个计算节点，所述主节点负责接收和分配任务，所述计算节点执行所述主节点分配的对应的任务，进一步包括缓存节点及观测者，所述扩容方法包括：
所述缓存节点记录分配给每个所述计算节点的队列阻塞信息，并传送给所述观测者；
所述主节点接收每个所述计算节点定期上报的自身的资源利用率信息，并传送给所述观测者；
所述观测者收集所述队列阻塞信息、所述资源利用率信息，并判断每个所述计算节点是否超过自身预设的吞吐量阀值，若未超过，则以增加线程的方式对每个所述计算节点的内部进行第一次扩容。
所述分布式***的扩容方法，其中，所述分布式***还包括资源管理***，若每个所述计算节点都超过自身预设的吞吐量阀值，则判断所述计算节点是否超过预设的资源利用率阀值，若超过，则所述资源管理***分配所需的硬件资源和软件镜像，以增加新的计算节点的方式进行第二次扩容。
所述分布式***的扩容方法，其中，所述第一次扩容包括：
所述观测者接收所述主节点主动发出的扩容申请，并发出第一次扩容命令；
所述计算节点接收所述第一次扩容命令，计算所需增加的线程数量并传送给所述主节点；
所述观测者接收所述主节点传送的所述线程数量，并判断所述线程数量是否超过预设的上限值，若未超过，则所述计算节点根据所需增加的所述线程数量进行扩容，若超过，则对另外的所述计算节点以增加线程的方式进行扩容。
所述分布式***的扩容方法，其中，所述第二次扩容包括：
所述观测者计算需增加的新的计算节点的数量及所述新的计算节点所需的硬件资源和加载运行软件映像，并发送第二次扩容命令给所述资源分配***；
所述资源分配***接收所述第二次扩容命令，分配所需的硬件资源和加载运行软件映像，并通过容器方式启动所述新的计算节点；
所述新的计算节点完成启动后，向所述缓存节点申请消息缓存并接收所述缓存节点完成的分配结果，同时向所述主节点发出加入请求；
所述主节点接收加入请求后发布新的计算任务，完成第二次扩容。
所述分布式***的扩容方法，其中，
当所述资源分配***包括基础设施服务***和容器集群管理***时，所述观测者需先向所述基础设施服务***申请新的计算节点所需的硬件资源，再向所述容器集群管理***申请新的计算节点所需的软件镜像，所述容器集群管理***通过容器方式启动新的计算节点；
当所述资源分配***为平台服务***时，所述观测者向所述平台服务***申请新的计算节点所需的硬件资源及软件镜像，所述平台服务***通过容器方式启动新的计算节点。
相较现有技术，本发明所述扩容方法中，先对每个所述计算节点的自身进行扩容，当所有的所述计算节点的自身完成扩容的数量大于预设的数量阀值时，所述资源分配***按所需的硬件资源和加载运行软件映像来增加新的所述计算节点进行扩容，所以所述扩容方法优化了所述分布式***的扩容过程，实现了扩容的自动化，提升了扩容的效率。
一种分布式***，包括主节点，多个计算节点，所述主节点负责接收和分配任务，所述计算节点执行所述主节点分配的对应的任务，进一步包括缓存节点及观测者；
所述缓存节点位于所述主节点和所述计算节点之间，用于记录分配给每个所述计算节点的队列阻塞信息，并传送给所述观测者；
所述主节点用于接收每个所述计算节点定期上报的自身的资源利用率信息，并传送给所述观测者；
所述观测者用于收集所述队列阻塞信息、所述资源利用率信息，并判断每个所述计算节点是否超过自身预设的吞吐量阀值，若未超过，则以增加线程的方式对每个所述计算节点的内部进行第一次扩容。
所述分布式***，其中，所述分布式***还包括资源管理***，所述资源分配***用于分配所需的硬件资源和软件镜像，若每个所述计算节点都超过自身预设的吞吐量阀值，则判断所述计算节点是否超过预设的资源利用率阀值，若超过，则以增加新的计算节点的方式进行第二次扩容。
所述分布式***，其中，所述第一次扩容包括：
所述观测者用于接收所述主节点主动发出的扩容申请，并发出第一次扩容命令；
所述计算节点用于接收所述第一次扩容命令，计算所需增加的线程数量并传送给所述主节点；
所述观测者用于接收所述主节点传送的所述线程数量，并判断所述线程数量是否超过预设的上限值，若未超过，则所述计算节点根据所需增加的所述线程数量进行扩容，若超过，则对另外的所述计算节点以增加线程的方式进行扩容。
所述分布式***，其中，所述第二次扩容包括：
所述观测者用于计算需增加的新的计算节点的数量及所述新的计算节点所需的硬件资源和加载运行软件映像，并发送第二次扩容命令给所述资源分配***；
所述资源分配***用于接收所述第二次扩容命令，分配所需的硬件资源和加载运行软件映像，并通过容器方式启动所述新的计算节点；
所述新的计算节点完成启动后，用于向所述缓存节点申请消息缓存并接收所述缓存节点完成的分配结果，同时向所述主节点发出加入请求；
所述主节点用于接收所述新的计算节点的加入请求并发布新的计算任务，完成第二次扩容。
所述分布式***，其中，
当所述资源分配***包括基础设施服务***和容器集群管理***时，所述观测者用于先向所述基础设施服务***申请新的计算节点所需的硬件资源，再向所述容器集群管理***申请新的计算节点所需的软件镜像，所述容器集群管理***通过容器方式启动新的计算节点；
当所述资源分配***为平台服务***时，所述观测者用于向所述平台服务***申请新的计算节点所需的硬件资源及软件镜像，所述平台服务***通过容器方式启动新的计算节点。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明中分布式***的结构框图；
图2是本发明第一实施例中分布式***的扩容方法的流程图；
图3是本发明第二实施例中分布式***的扩容方法的流程图；
图4是本发明第一实施例中第一次扩容的扩容流程图；
图5是本发明第二实施例中第二次扩容的扩容流程图；
图6是本发明第三实施例中基于基础设施服务***的扩容流程图；
图7是本发明第四实施例中基于平台服务***的扩容流程图。
主要元件符号说明：
主节点 10 缓存节点 11
计算节点 12 观测者 13
资源分配*** 14
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
请参阅图1，本发明提供一种分布式***，包括主节点10，多个计算节点12，所述主节点10负责接收和分配任务，所述计算节点12执行所述主节点10分配的对应的任务，进一步包括缓存节点11及观测者13；
所述缓存节点11位于所述主节点10和所述计算节点12之间，用于记录分配给每个所述计算节点12的队列阻塞信息，并传送给所述观测者13；
所述主节点10用于接收每个所述计算节点12定期上报的自身的资源利用率信息，并传送给所述观测者13；
所述观测者13用于收集所述队列阻塞信息、所述资源利用率信息，并判断每个所述计算节点12是否超过自身预设的吞吐量阀值，若未超过，则以增加线程的方式对每个所述计算节点12的内部进行第一次扩容。
所述分布式***还包括资源管理***14，所述资源分配***14用于分配所需的硬件资源和软件镜像，若每个所述计算节点12都超过自身预设的吞吐量阀值，则判断所述计算节点12是否超过预设的资源利用率阀值，若超过，则以增加新的计算节点12的方式进行第二次扩容。
当所述资源分配***14包括基础设施服务***和容器集群管理***时，所述观测者13用于先向所述基础设施服务***申请新的计算节点12所需的硬件资源，再向所述容器集群管理***申请新的计算节点12所需的软件镜像，所述容器集群管理***通过容器方式启动新的计算节点12；
当所述资源分配***14为平台服务***时，所述观测者13用于向所述平台服务***申请新的计算节点12所需的硬件资源及软件镜像，所述平台服务***通过容器方式启动新的计算节点12。
上述分布式***中，所述队列阻塞信息包括队列阻塞时间节点、位置，以及队列阻塞信息重发的次数。所述资源利用率包括CPU使用百分比、剩余内存百分比及剩余磁盘百分比。
请参阅图2，本发明第一实施例中提供的一种分布式***的扩容方法，所述扩容方法的步骤包括：
步骤S201，所述缓存节点11记录分配给每个所述计算节点12的队列阻塞信息，并传送给所述观测者13；
步骤S202，所述主节点10接收每个所述计算节点12定期上报的自身的资源利用率信息，并传送给所述观测者13；
步骤S203，所述观测者13收集所述队列阻塞信息、所述资源利用率信息，并判断每个所述计算节点12是否超过自身预设的吞吐量阀值，若未超过，则以增加线程的方式对每个所述计算节点12的内部进行第一次扩容。
请参阅图3，为本发明第二实施例中提供的一种分布式***的扩容方法，所述扩容方法的步骤包括：
步骤S301，所述缓存节点11记录分配给每个所述计算节点12的队列阻塞信息，并传送给所述观测者13；
步骤S302，所述主节点10接收每个所述计算节点12定期上报的自身的资源利用率信息，并传送给所述观测者13；
步骤S303，所述观测者13收集所述队列阻塞信息、所述资源利用率信息，并判断每个所述计算节点12是否超过自身预设的吞吐量阀值，
步骤S304，若未超过，则以增加线程的方式对每个所述计算节点12的内部进行第一次扩容。
步骤S305，若超过，则判断所述计算节点12是否超过预设的资源利用率阀值，若超过，则所述资源管理***14分配所需的硬件资源和软件镜像，以增加新的计算节点12的方式进行第二次扩容。
请参阅图4，为本发明第一实施例中第一次扩容的扩容方法，所述第一次扩容的步骤包括：
步骤S401，所述观测者13接收所述主节点10主动发出的扩容申请，并发出第一次扩容命令；
步骤S402，所述计算节点12接收所述第一次扩容命令，计算所需增加的线程数量并传送给所述主节点10；
步骤S403，所述观测者13接收所述主节点10传送的所述线程数量，并判断所述线程数量是否超过预设的上限值，若未超过，则所述计算节点12根据所需增加的所述线程数量进行扩容，若超过，则对另外的所述计算节点12以增加线程的方式进行扩容。
请参阅图5，为本发明第二实施例中第二次扩容的扩容方法，所述第二次扩容的步骤包括：
步骤S501，所述观测者13计算需增加的新的计算节点12的数量及所述新的计算节点12所需的硬件资源和加载运行软件映像，并发送第二次扩容命令给所述资源分配***14；
步骤S502，所述资源分配***14接收所述第二次扩容命令，分配所需的硬件资源和加载运行软件映像，并通过容器方式启动所述新的计算节点12；
步骤S503，所述新的计算节点12完成启动后，向所述缓存节点11申请消息缓存并接收所述缓存节点11完成的分配结果，同时向所述主节点10发出加入请求；
步骤S504，所述主节点10接收加入请求后发布新的计算任务，完成第二次扩容。
上述扩容过程中，所述分布式***结合定期收集和主动触发实现扩容监测和触发。定期收集包括所述观测者13收集每个所述计算节点12的吞吐量，以及每个所述计算节点12的自身的资源利用率，主动触发是指在所述观测者13的两个收集周期之间。当每个所述计算节点12的自身的吞吐量或资源利用率达到预设的阈值时，主动发起扩容，当未达到所述资源利用率阀值时，则不做处理，当达到所述资源利用率阀值时，所述观测者13接收所述主节点10主动发出的扩容申请，并发出第一次扩容命令。
上述第一次扩容过程中，每个所述计算节点12持续上报自身的资源利用率的使用情况，逐一对每个所述计算节点12进行第一次扩容，当有80％(可由所述观测者13自行设置)以上的所述计算节点12的资源利用率都超过预设的资源利用率阀值时，所述观测者13发出第二次扩容命令。
请参阅图6，为本发明第三实施例中提供的基于基础设施服务***的扩容方法，当80％以上的所述计算节点12的资源利用率都超过预设的资源利用率阀值时，所述观测者13需先向所述基础设施服务***申请新的所述计算节点12所需的硬件资源，再向所述容器集群管理***申请新的所述计算节点12所需的软件镜像，所述容器集群管理***通过容器方式启动新的所述计算节点12。其中，所述扩容方法的步骤包括：
步骤S601，所述观测者13需先向所述基础设施服务***申请新的所述计算节点12所需的硬件资源，再向所述容器集群管理***申请新的所述计算节点12所需的软件镜像；
步骤S602，根据所述观测者13计算需增加的所述计算节点12的数量，所述基础设施服务***分配所需的硬件资源，所述容器集群管理***分配加载运行软件映像；
步骤S603，所述容器集群管理***通过容器方式启动新增加的所述计算节点12；
步骤S604，新增加的所述计算节点12完成启动后，向所述缓存节点11申请消息缓存并接收所述缓存节点11完成的分配结果，同时向所述主节点10发出加入请求；
步骤S605，所述主节点10收到加入请求后发布新的计算任务，完成扩容。
请参阅图7，为本发明第四实施例中基于平台服务***的扩容方法，当80％以上的所述计算节点12的资源利用率都超过预设的资源利用率阀值时，所述观测者13向所述平台服务***申请新的所述计算节点12所需的硬件资源及软件镜像，所述平台服务***通过容器方式启动新的所述计算节点12。其中，所述扩容方法的步骤包括:
步骤S701，所述观测者13向所述平台服务***申请新的所述计算节点12所需的硬件资源及软件镜像；
步骤S702，所述平台服务***通过所述观测者13计算需增加的所述计算节点12的数量来分配所需的硬件资源和加载运行软件映像；
步骤S703，所述平台服务***通过容器方式启动新增加的所述计算节点12；
步骤S704，新增加的所述计算节点12完成启动后，向所述缓存节点11申请消息缓存并接收所述缓存节点11完成的分配结果，同时向所述主节点10发出加入请求；
步骤S705，所述主节点10收到加入请求后发布新的计算任务，完成扩容。
综上，本发明所述扩容方法中，先对每个所述计算节点12的自身进行扩容，当80％的所有的所述计算节点12的自身完成扩容时，所述资源分配***14按所需的硬件资源和加载运行软件映像来增加新的所述计算节点12进行扩容，所以所述扩容方法优化了所述分布式***的扩容过程，实现了扩容的自动化，提升了扩容的效率。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种分布式***的扩容方法，所述分布式***包括主节点，多个计算节点，所述主节点负责接收和分配任务，所述计算节点执行所述主节点分配的对应的任务，其特征在于，进一步包括缓存节点及观测者，所述扩容方法包括：
所述缓存节点记录分配给每个所述计算节点的队列阻塞信息，并传送给所述观测者；
所述主节点接收每个所述计算节点定期上报的自身的资源利用率信息，并传送给所述观测者；
所述观测者收集所述队列阻塞信息、所述资源利用率信息，并判断每个所述计算节点是否超过自身预设的吞吐量阀值，若未超过，则以增加线程的方式对每个所述计算节点的内部进行第一次扩容。
2.根据权利要求1所述的扩容方法，其特征在于，所述分布式***还包括资源管理***，若每个所述计算节点都超过自身预设的吞吐量阀值，则判断所述计算节点是否超过预设的资源利用率阀值，若超过，则所述资源管理***分配所需的硬件资源和软件镜像，以增加新的计算节点的方式进行第二次扩容。
3.根据权利要求1所述的扩容方法，其特征在于，所述第一次扩容包括：
所述观测者接收所述主节点主动发出的扩容申请，并发出第一次扩容命令；
所述计算节点接收所述第一次扩容命令，计算所需增加的线程数量并传送给所述主节点；
所述观测者接收所述主节点传送的所述线程数量，并判断所述线程数量是否超过预设的上限值，若未超过，则所述计算节点根据所需增加的所述线程数量进行扩容，若超过，则对另外的所述计算节点以增加线程的方式进行扩容。
4.根据权利要求2所述的扩容方法，其特征在于，所述第二次扩容包括：
所述观测者计算需增加的新的计算节点的数量及所述新的计算节点所需的硬件资源和加载运行软件映像，并发送第二次扩容命令给所述资源分配***；
所述资源分配***接收所述第二次扩容命令，分配所需的硬件资源和加载运行软件映像，并通过容器方式启动所述新的计算节点；
所述新的计算节点完成启动后，向所述缓存节点申请消息缓存并接收所述缓存节点完成的分配结果，同时向所述主节点发出加入请求；
所述主节点接收加入请求后发布新的计算任务，完成第二次扩容。
5.根据权利要求2所述的扩容方法，其特征在于，
当所述资源分配***包括基础设施服务***和容器集群管理***时，所述观测者需先向所述基础设施服务***申请新的计算节点所需的硬件资源，再向所述容器集群管理***申请新的计算节点所需的软件镜像，所述容器集群管理***通过容器方式启动新的计算节点；
当所述资源分配***为平台服务***时，所述观测者向所述平台服务***申请新的计算节点所需的硬件资源及软件镜像，所述平台服务***通过容器方式启动新的计算节点。
6.一种分布式***，包括主节点，多个计算节点，所述主节点负责接收和分配任务，所述计算节点执行所述主节点分配的对应的任务，其特征在于，进一步包括缓存节点及观测者；
所述缓存节点位于所述主节点和所述计算节点之间，用于记录分配给每个所述计算节点的队列阻塞信息，并传送给所述观测者；
所述主节点用于接收每个所述计算节点定期上报的自身的资源利用率信息，并传送给所述观测者；
所述观测者用于收集所述队列阻塞信息、所述资源利用率信息，并判断每个所述计算节点是否超过自身预设的吞吐量阀值，若未超过，则以增加线程的方式对每个所述计算节点的内部进行第一次扩容。
7.根据权利要求6所述的分布式***，其特征在于，所述分布式***还包括资源管理***，所述资源分配***用于分配所需的硬件资源和软件镜像，若每个所述计算节点都超过自身预设的吞吐量阀值，则判断所述计算节点是否超过预设的资源利用率阀值，若超过，则以增加新的计算节点的方式进行第二次扩容。
8.根据权利要求6所述的分布式***，其特征在于，所述第一次扩容包括：
所述观测者用于接收所述主节点主动发出的扩容申请，并发出第一次扩容命令；
所述计算节点用于接收所述第一次扩容命令，计算所需增加的线程数量并传送给所述主节点；
所述观测者用于接收所述主节点传送的所述线程数量，并判断所述线程数量是否超过预设的上限值，若未超过，则所述计算节点根据所需增加的所述线程数量进行扩容，若超过，则对另外的所述计算节点以增加线程的方式进行扩容。
9.根据权利要求7所述的分布式***，其特征在于，所述第二次扩容包括：
所述观测者用于计算需增加的新的计算节点的数量及所述新的计算节点所需的硬件资源和加载运行软件映像，并发送第二次扩容命令给所述资源分配***；
所述资源分配***用于接收所述第二次扩容命令，分配所需的硬件资源和加载运行软件映像，并通过容器方式启动所述新的计算节点；
所述新的计算节点完成启动后，用于向所述缓存节点申请消息缓存并接收所述缓存节点完成的分配结果，同时向所述主节点发出加入请求；
所述主节点用于接收所述新的计算节点的加入请求并发布新的计算任务，完成第二次扩容。
10.根据权利要求7所述的扩容方法，其特征在于，
当所述资源分配***包括基础设施服务***和容器集群管理***时，所述观测者用于先向所述基础设施服务***申请新的计算节点所需的硬件资源，再向所述容器集群管理***申请新的计算节点所需的软件镜像，所述容器集群管理***通过容器方式启动新的计算节点；
当所述资源分配***为平台服务***时，所述观测者用于向所述平台服务***申请新的计算节点所需的硬件资源及软件镜像，所述平台服务***通过容器方式启动新的计算节点。
CN201610753112.3A 2016-08-29 2016-08-29 分布式***及该分布式***的扩容方法 Withdrawn CN107786358A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610753112.3A CN107786358A (zh) 2016-08-29 2016-08-29 分布式***及该分布式***的扩容方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610753112.3A CN107786358A (zh) 2016-08-29 2016-08-29 分布式***及该分布式***的扩容方法

Publications (1)

Publication Number Publication Date
CN107786358A true CN107786358A (zh) 2018-03-09

Family

ID=61441536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610753112.3A Withdrawn CN107786358A (zh) 2016-08-29 2016-08-29 分布式***及该分布式***的扩容方法

Country Status (1)

Country Link
CN (1) CN107786358A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062658A (zh) * 2018-06-29 2018-12-21 优刻得科技股份有限公司 实现计算资源服务化的调度方法、装置、介质、设备及***
CN111290838A (zh) * 2020-05-09 2020-06-16 支付宝(杭州)信息技术有限公司 基于容器集群的应用访问请求处理方法及装置
CN111522624A (zh) * 2020-04-17 2020-08-11 成都安恒信息技术有限公司 一种基于虚拟化技术的报文转发性能弹性扩展***及其扩展方法
CN113497735A (zh) * 2020-04-08 2021-10-12 中兴通讯股份有限公司 开放接口的管理方法、电子设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070022122A1 (en) * 2005-07-25 2007-01-25 Parascale, Inc. Asynchronous file replication and migration in a storage network
CN103092698A (zh) * 2012-12-24 2013-05-08 中国科学院深圳先进技术研究院 云计算应用自动部署***及方法
CN104317658A (zh) * 2014-10-17 2015-01-28 华中科技大学 一种基于MapReduce的负载自适应任务调度方法
CN104391930A (zh) * 2014-11-21 2015-03-04 用友软件股份有限公司 分布式文件存储装置和方法
CN105357296A (zh) * 2015-10-30 2016-02-24 河海大学 一种Docker云平台下弹性缓存***
CN105786447A (zh) * 2014-12-26 2016-07-20 乐视网信息技术（北京）股份有限公司 服务器处理数据的方法、装置及服务器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070022122A1 (en) * 2005-07-25 2007-01-25 Parascale, Inc. Asynchronous file replication and migration in a storage network
CN103092698A (zh) * 2012-12-24 2013-05-08 中国科学院深圳先进技术研究院 云计算应用自动部署***及方法
CN104317658A (zh) * 2014-10-17 2015-01-28 华中科技大学 一种基于MapReduce的负载自适应任务调度方法
CN104391930A (zh) * 2014-11-21 2015-03-04 用友软件股份有限公司 分布式文件存储装置和方法
CN105786447A (zh) * 2014-12-26 2016-07-20 乐视网信息技术（北京）股份有限公司 服务器处理数据的方法、装置及服务器
CN105357296A (zh) * 2015-10-30 2016-02-24 河海大学 一种Docker云平台下弹性缓存***

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062658A (zh) * 2018-06-29 2018-12-21 优刻得科技股份有限公司 实现计算资源服务化的调度方法、装置、介质、设备及***
CN109062658B (zh) * 2018-06-29 2021-06-04 优刻得科技股份有限公司 实现计算资源服务化的调度方法、装置、介质、设备及***
CN113497735A (zh) * 2020-04-08 2021-10-12 中兴通讯股份有限公司 开放接口的管理方法、电子设备以及存储介质
CN111522624A (zh) * 2020-04-17 2020-08-11 成都安恒信息技术有限公司 一种基于虚拟化技术的报文转发性能弹性扩展***及其扩展方法
CN111522624B (zh) * 2020-04-17 2023-10-20 成都安恒信息技术有限公司 一种基于虚拟化技术的报文转发性能弹性扩展***及其扩展方法
CN111290838A (zh) * 2020-05-09 2020-06-16 支付宝(杭州)信息技术有限公司 基于容器集群的应用访问请求处理方法及装置
WO2021227954A1 (zh) * 2020-05-09 2021-11-18 支付宝(杭州)信息技术有限公司 基于容器集群的应用访问请求处理

Similar Documents

Publication Publication Date Title
US9805140B2 (en) Striping of directed graphs and nodes with improved functionality
US10534542B2 (en) Dynamic core allocation for consistent performance in a non-preemptive scheduling environment
CN107291546B (zh) 一种资源调度方法及装置
CN107786358A (zh) 分布式***及该分布式***的扩容方法
CN104067239B (zh) 用于数据组块去复制的***和方法
CN105718364B (zh) 一种云计算平台中计算资源能力动态评估方法
CN108734559B (zh) 一种订单处理方法和装置
US8424010B2 (en) Shared resource management
US20120297056A1 (en) Extensible centralized dynamic resource distribution in a clustered data grid
US9270731B2 (en) Topic-based messaging using consumer address and pool
KR101622810B1 (ko) 빅데이터 분산 시스템 및 방법
CN109600798A (zh) 一种网络切片中多域资源分配方法及装置
CN109408590B (zh) 分布式数据库的扩容方法、装置、设备及存储介质
CN108366082A (zh) 扩容方法及扩容装置
CN104639645A (zh) 网络负载均衡方法、装置及集群服务***
CN105516325A (zh) 一种根据应用负载进行弹性扩容和流量分发扩展的云负载平衡手段
CN105450784B (zh) 向mq中的消息分配消费节点的装置及方法
US20210400121A1 (en) Generalized resource accountant
CN110909978A (zh) 资源处理方法、装置、服务器及计算机可读存储介质
CN105786447A (zh) 服务器处理数据的方法、装置及服务器
CN110178119B (zh) 处理业务请求的方法、装置与存储***
CN108153584A (zh) 一种用于确定目标网络设备需分配的线程数的方法与设备
CN106570006A (zh) 多媒体文件推荐***和投放信息存储方法
KR101029416B1 (ko) 실시간으로 대용량 랭킹을 산정하기 위한 랭킹 데이터 시스템, 랭킹 질의 시스템 및 랭킹 산정 방법
CN112823338A (zh) 使用分布式分段处理借用的资源分配

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180309

WW01 Invention patent application withdrawn after publication