CN111245924A - 负载均衡方法及装置、计算机存储介质 - Google Patents

负载均衡方法及装置、计算机存储介质 Download PDF

Info

Publication number
CN111245924A
CN111245924A CN202010019102.3A CN202010019102A CN111245924A CN 111245924 A CN111245924 A CN 111245924A CN 202010019102 A CN202010019102 A CN 202010019102A CN 111245924 A CN111245924 A CN 111245924A
Authority
CN
China
Prior art keywords
server node
virtual nodes
load balancing
node
load
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010019102.3A
Other languages
English (en)
Inventor
张茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Pinecone Electronic Co Ltd
Original Assignee
Beijing Pinecone Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Pinecone Electronics Co Ltd filed Critical Beijing Pinecone Electronics Co Ltd
Priority to CN202010019102.3A priority Critical patent/CN111245924A/zh
Publication of CN111245924A publication Critical patent/CN111245924A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/101—Server selection for load balancing based on network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1023—Server selection for load balancing based on a hash applied to IP addresses or costs

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)

Abstract

本公开是关于一种负载均衡方法及装置、计算机存储介质，属于分布式技术领域；其中，负载均衡方法包括：获取各个服务器节点的负载数据；根据所述负载数据，确定分布式***中各个服务器节点包含的虚拟节点的个数；向所述各个服务器节点发送被分配的虚拟节点的个数信息，以使所述各个服务器节点根据所述个数信息调整当前的虚拟节点，所述个数信息指示所述虚拟节点的个数；如此，在不需要改变现有的基于一致性哈希的分布式***的架构的情况下，实现了负载均衡。

Description

负载均衡方法及装置、计算机存储介质
技术领域
本公开涉及分布式技术领域，尤其涉及一种负载均衡方法及装置、计算机存储介质。
背景技术
分布式一致性哈希算法提供了一种不同模块与节点之间的映射规则，是去中心化分布式***常用的协同方案，它提供了这样的一个哈希表，当重新调整大小的时候，平均只有部分关键字值(key)需要重新映射哈希槽，而不像传统哈希表那样几乎所有key需要重新映射哈希槽。一致性哈希算法能保证在分布式环境中，key与节点之间的映射关系不会受节点的增加和删除而产生重大的变化。然而，对于已经使用一致性哈希算法的分布式***，为解决该分布式***负载不均衡的问题，需要彻底改变原有的调度架构，成本较大。
发明内容
为克服相关技术中存在的问题，本公开提供一种负载均衡方法及装置、计算机存储介质。
根据本公开实施例的第一方面，提供一种负载均衡方法，所述方法包括：
获取各个服务器节点的负载数据；
根据所述负载数据，确定分布式***中各个服务器节点包含的虚拟节点的个数；
向所述各个服务器节点发送被分配的虚拟节点的个数信息，以使所述各个服务器节点根据所述个数信息调整当前的虚拟节点，所述个数信息指示所述虚拟节点的个数。
上述方案中，所述方法还包括：
根据所述负载数据，构造一致性哈希函数；
调整所述一致性哈希函数中各个服务器节点包含的虚拟节点的个数，并使用调整虚拟节点个数后的一致性哈希函数模拟计算各个服务器节点的负载数据，直至模拟计算得到的负载数据满足预设负载均衡标准；
根据满足所述预设负载均衡标准时一致性哈希函数中各个服务器节点包含的虚拟节点的个数，确定分布式***中各个服务器节点包含的虚拟节点的个数。
上述方案中，所述方法还包括：
基于各个服务器节点包含的虚拟节点的个数，确定所述虚拟节点的个数发生变化的第一服务器节点；
所述向所述各个服务器节点发送被分配的虚拟节点的个数信息，包括：
向所述第一服务器节点发送所述个数信息。
上述方案中，所述向所述各个服务器节点发送被分配的虚拟节点的个数信息，包括：
通过所述第一服务器节点向所述分布式***中虚拟节点的个数未发生变化的第二服务器节点发送变化信息，所述变化信息指示所述第一服务器节点的虚拟节点的个数发生变化。
上述方案中，所述负载数据包括下述数据中的一种或几种：
网卡流量；
中央处理器(Central Processing Unit，CPU)内存；
每秒请求数(QPS)。
根据本公开实施例的第二方面，提供一种负载均衡装置，所述装置包括：
获取模块，被配置为获取各个服务器节点的负载数据；
确定模块，被配置为根据所述负载数据，确定分布式***中各个服务器节点包含的虚拟节点的个数；
通知模块，被配置为向所述各个服务器节点发送被分配的虚拟节点的个数信息，以使所述各个服务器节点根据所述个数信息调整当前的虚拟节点，所述个数信息指示所述虚拟节点的个数。
上述方案中，所述确定模块，被配置为：
根据所述负载数据，构造一致性哈希函数；
调整所述一致性哈希函数中各个服务器节点包含的虚拟节点的个数，并使用调整虚拟节点个数后的一致性哈希函数模拟计算各个服务器节点的负载数据，直至模拟计算得到的负载数据满足预设负载均衡标准；
根据满足所述预设负载均衡标准时一致性哈希函数中各个服务器节点包含的虚拟节点的个数，确定分布式***中各个服务器节点包含的虚拟节点的个数。
上述方案中，所述确定模块，还被配置为：
基于各个服务器节点包含的虚拟节点的个数，确定所述虚拟节点的个数发生变化的第一服务器节点；
所述通知模块，被配置为：
向所述第一服务器节点发送所述个数信息。
上述方案中，所述通知模块，被配置为：
通过所述第一服务器节点向所述分布式***中的第二服务器节点发送变化信息，所述变化信息指示所述第一服务器节点的虚拟节点的个数发生变化。
上述方案中，所述负载数据包括下述数据中的一种或几种：
网卡流量；
CPU内存；
QPS。
根据本公开实施例的第三方面，提供一种负载均衡装置，包括：
处理器；
用于存储可执行指令的存储器；
其中，所述处理器被配置为：执行所述可执行指令以实现前述任意一个方案所述的负载均衡方法。
根据本公开实施例的第四方面，提供一种计算机存储介质，所述计算机存储介质中存储有可执行指令，所述可执行指令被处理器执行时，使得所述处理器执行前述任意一个方案所述的负载均衡方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
获取负载数据；根据所述负载数据，确定分布式***中各个服务器节点包含的虚拟节点的个数；向所述各个服务器节点发送被分配的虚拟节点的个数信息，以使所述各个服务器节点根据所述个数信息调整当前的虚拟节点，所述个数信息指示所述虚拟节点的个数；如此，在不需要改变现有的基于一致性哈希的分布式***的架构的情况下，实现了负载均衡。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。在附图中：
图1是根据一示例性实施例示出的一种负载均衡方法的流程示意图；
图2是根据一示例性实施例示出的现有技术中采用一致性哈希的各服务器节点的虚拟节点的示意图；
图3是根据一示例性实施例示出的本申请采用一致性哈希的各服务器节点的虚拟节点的示意图；
图4是根据一示例性实施例示出的另一种负载均衡方法的流程示意图；
图5是根据一示例性实施例示出的小服务集群上线后的流量效果图；
图6(a)是根据一示例性实施例示出的大集群上线前的日均流量分布图；
图6(b)是根据一示例性实施例示出的大集群上线后的日均流量分布图；
图7是根据一示例性实施例示出的一种负载均衡装置的框图；
图8是根据一示例性实施例示出的一种实现负载均衡处理的装置800的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请实施例的一些方面相一致的装置和方法的例子。
在本公开实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开实施例。在本公开实施例和所附权利要求书中所使用的单数形式的“一种”、“”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”及“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了更好地理解本申请的技术方案，下面详细介绍一下技术背景。
Talos作为高吞吐型的消息队列服务，随着业务增长，带宽往往会成为瓶颈。如果网卡流量不均衡，就会产生集群网卡资源的木桶效应——当集群中使用网卡最多的机器达到资源瓶颈就要触发扩容，即便此时该集群其他节点网卡有大量富余，机器成本因此浪费。且随着业务量越来越多，集群规模不断变大，问题变得更加明显。以小米某线上集群为例，该集群150台机器，将各节点的日流量均值绘制成散点图以方便观察其流量均衡程度。其中最高流量324M，最低134M，相差两倍不止。分析此问题，机器节点网卡流量的大小，和该节点所伺服(serve)的所有Partition流量之和呈正相关。要解决节点间网卡负载不均衡的问题，需要调整Partition在各节点的分布情况(即改变Partition的调度关系)。
下面，将简单介绍下优化前Talos所使用的调度机制。
Talos使用一致性哈希来约定Partition调度关系。简单来讲，一致性哈希可以理解为一个函数，Y＝ConsistentHash(X)。任意的X取值都能映射为一个固定区间内的唯一数值Y。举例说明，我们将10节点集群中各节点做映射，那么区间被分成了10份。同样将Partition映射也映射到环上，根据其位置区间，来决定由哪个节点所伺服。集群所有节点都遵从这个约定从而调度信息一致。实际上，为了使圆环划分的更加均匀和节点上下线更加稳定，每个机器节点将对应多个虚拟节点以力求平均。传统的一致性哈希，每个节点映射的虚拟节点个数是一致的。例如，Talos每个机器节点对应的虚拟节点个数都是2000个。可以理解，使用一致性哈希的调度方式，力求的是Partition个数分布的尽量均衡，各Partition在调度中的权重是一样的，并不关心Partition其他指标(例如QPS和流量)的差异，且一致性哈希算法的映射关系我们无法干预和调节。
基于此，本实施例提供一种负载均衡的方法，该负载均衡方法应用于分布式***的服务器中，比如，所述服务器包括但不限于普通服务器或云服务器等。参考图1，图1是根据一示例性实施例示出的一种负载均衡方法的流程图，如图1所示，该负载均衡方法包括以下步骤：
在步骤S11中，获取各个服务器节点的负载数据。
在本实施例中，所述负载数据包括下述数据中的一种或几种：
网卡流量；
CPU内存；
每秒请求数(QPS)。
在一些实施方式中，可以通过Druid获取负载数据。其中，Druid是一个高效的数据查询***。
需要说明的是，本申请并不对获取负载数据的方式进行限定。
在步骤S12中，根据所述负载数据为分布式***中各个服务器节点确定虚拟节点的个数。
在一些实施方式中，根据所述负载数据为分布式***中各个服务器节点确定虚拟节点的个数，包括：
根据各个服务器节点的所述负载数据，构造一致性哈希函数；
调整所述一致性哈希函数中各个服务器节点包含的虚拟节点的个数，并使用调整虚拟节点个数后的一致性哈希函数模拟计算各个服务器节点的负载数据，直至模拟计算得到的负载数据满足预设负载均衡标准；
根据满足所述预设负载均衡标准时一致性哈希函数中各个服务器节点包含的虚拟节点的个数，确定分布式***中各个服务器节点包含的虚拟节点的个数。
本实施例中，所述预设负载均衡标准包括负载均衡的目标值。例如，设定目标值为10％，则目标是调整集群最大日均流量与最小日均流量在集群日均流量的10％范围内。
需要说明的是，所述预设负载均衡标准可根据需求进行设定或调整。
如此，根据负载数据构造一致性哈希函数，模拟调整其一致性哈希函数虚拟节点的个数计算负载，直到符合预期，即是需要的虚拟节点个数分布，进而触发各个服务器节点根据该分布中对应虚拟节点的个数调整当前的虚拟节点。
实际应用中，我们引入负载数据参与一致性哈希函数中创建分区(Partition)的调度决策。通过在调度策略中引入负载数据反馈机制，调节一致性哈希虚拟节点个数，达到负载均衡。具体地，获得监控到的负载数据，对比服务器节点的负载值与集群各服务器节点负载均值；如果该节点负载值较大，则通过减少该节点的虚拟节点个数减少所提供的Partition个数；如果该节点负载值较小，则通过增多该节点的虚拟节点个数增多所提供的Partition个数，不断反馈。通过监控反馈和虚拟节点不断的调整，最终可以找到符合各节点负载均衡分布的一致性哈希虚拟节点分布。需要说明的是，控制每次迁移的Partition个数，保证集群整体稳定性；计算方差决定是否调整，以防止无谓的震荡调整或往更坏的方向调整。方差能反应离散程度，只有当模拟调整后的方差变小才触发调整；设定最大调节次数，以设定调整目标无法达到时的无限模拟计算。
参考图2，图2示出了现有技术中采用一致性哈希的各服务器节点的虚拟节点的示意图。如图2所示，现有采用一致性哈希的各服务器节点包含的虚拟节点个数是相同的，服务器节点RS0、RS1、RS2、RS3、RS4，各包含有两个虚拟节点。换言之，每个服务器节点的虚拟节点的个数是相同的。
参考图3，图3示出了本实施例中采用一致性哈希的各服务器节点的虚拟节点的示意图。如图3所示，各个服务器节点包含的虚拟节点个数不相同。例如，服务器节点RS0包含两个虚拟节点；RS1包含一个虚拟节点；RS2包含两个虚拟节点；RS3包含两个虚拟节点；RS4包含三个虚拟节点。
需要说明的是，本申请并不对分布式***中的服务器节点的数量进行限定。
实际应用中，为分布式***中各个服务器节点配置的虚拟节点的个数初始值可以是相同的。当然，还可以根据各个服务器的优先级不同，为分布式***中各个服务器节点配置不同个数的虚拟节点。
在步骤S13中，通知所述各个服务器节点被分配的虚拟节点的个数，以使所述各个服务器节点根据被分配的虚拟节点的个数调整当前的虚拟节点。
本实施例所述的方法可应用于分布式***中任意一个服务器中，运行该方法的服务器会负责完成根据阈值和监控值模拟计算，控制迁移量，按规定时间间隔触发等逻辑。集群的可用性不依赖该服务器，该服务器挂掉只是停止了集群的负载均衡调整，集群会继续按照当前的虚拟节点分布进行调度运行，不影响集群正常运行。
本实施例提供的技术方案，获取各个服务器节点的负载数据；根据所述负载数据，确定分布式***中各个服务器节点包含的虚拟节点的个数；向所述各个服务器节点发送被分配的虚拟节点的个数信息，以使所述各个服务器节点根据所述个数信息调整当前的虚拟节点；如此，在不需要改变现有的基于一致性哈希的分布式***的架构的情况下，实现了负载均衡。
本实施例还提供另一种负载均衡的方法。该负载均衡方法应用于分布式***的服务器中，比如，所述服务器包括但不限于普通服务器或云服务器等。参考图4，图4示出了另一种负载均衡方法的流程图，如图4所示，图1所示的方法还包括以下步骤。在步骤S41中，基于各个服务器节点包含的虚拟节点的个数，确定所述虚拟节点的个数发生变化的第一服务器节点。这里，所述第一服务器节点是分布式***中虚拟节点个数将发生变化的服务器节点。
在一些实施方式中，所述确定所述虚拟节点的个数发生变化的第一服务器节点，包括：
获取在根据负载数据确定虚拟节点的个数之前，各个服务器节点的虚拟节点的初始个数；
根据所述初始个数以及所述个数，确定所述虚拟节点的个数发生变化的第一服务器节点。
参考图4，在本实施例中，图1所示的步骤S13，包括以下步骤：
在步骤S42中，向第一服务器节点发送个数信息。
其中，所述个数信息用于表征所述第一服务器节点应该调整至的虚拟节点的个数。
如此，使得第一服务器节点获知虚拟节点变更通知，以便于所述第一服务节点根据该节点变更通知调整虚拟节点的个数。
参考图4，在本实施例中，图1所示的步骤S13，包括以下步骤：
在步骤S43中，通过所述第一服务器节点向所述分布式***中虚拟节点的个数未发生变化的第二服务器节点发送变化信息，所述变化信息指示所述第一服务器节点的虚拟节点的个数发生变化。
这里，所述第二服务器节点是分布式***中虚拟节点个数未发生变化的服务器节点。
图5是根据一示例性实施例示出的小服务集群上线后的流量效果图，曲线代表各服务器的流量数值，从图5可以看出，上线后各服务器的流量值趋于均衡状态。
以大集群如Talos集群为例，将各服务器节点的日流量均值制作成散点图。图6(a)是根据一示例性实施例示出的大集群上线前的日均流量分布图，从图6(a)可以看出，上线前流量分布不太集中；仍以上述大集群如Talos集群为例，将优化后各服务器节点的日流量均值制作成散点图，图6(b)是根据一示例性实施例示出的大集群上线后的日均流量分布图，从图6(b)可以看出，上线后流量分布更集中，也即，优化后各节点流量值明显聚合。经计算，此集群150台机器，可节省因网卡达到瓶颈而需要扩容的机器35台。
图7是根据一示例性实施例示出的一种负载均衡装置的框图。该负载均衡装置应用于分布式***中，参照图7，该装置包括获取模块10、确定模块20和通知模块30。
获取模块10，被配置为获取各个服务器节点的负载数据；
确定模块20，被配置为根据所述负载数据，确定分布式***中各个服务器节点包含的虚拟节点的个数；
通知模块30，被配置为向所述各个服务器节点发送被分配的虚拟节点的个数信息，以使所述各个服务器节点根据所述个数信息调整当前的虚拟节点，所述个数信息指示所述虚拟节点的个数。
上述方案中，所述确定模块20，还被配置为：
根据所述负载数据，构造一致性哈希函数；
调整所述一致性哈希函数中各个服务器节点包含的虚拟节点的个数，并使用调整虚拟节点个数后的一致性哈希函数模拟计算各个服务器节点的负载数据，直至模拟计算得到的负载数据满足预设负载均衡标准；
根据满足所述预设负载均衡标准时一致性哈希函数中各个服务器节点包含的虚拟节点的个数，确定分布式***中各个服务器节点包含的虚拟节点的个数。
在一些实施例中，所述确定模块20，还被配置为：基于各个服务器节点包含的虚拟节点的个数，确定所述虚拟节点的个数发生变化的第一服务器节点；
所述通知模块30，被配置为：
向所述第一服务器节点发送所述个数信息。
在一些实施例中，所述通知模块30，被配置为：
通过所述第一服务器节点向所述分布式***中的第二服务器节点发送变化信息，所述变化信息指示所述第一服务器节点的虚拟节点的个数发生变化。
在一些实施例中，所述负载数据包括下述数据中的一种或几种：
网卡流量；
CPU内存；
QPS。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实际应用中，上述获取模块10、确定模块20和通知模块30的具体结构均可由该负载均衡装置或该负载均衡装置所属第一设备中的中央处理器(CPU，Central ProcessingUnit)、微处理器(MCU，Micro Controller Unit)、数字信号处理器(DSP，Digital SignalProcessing)或可编程逻辑器件(PLC，Programmable Logic Controller)等实现。
本实施例所述的负载均衡装置可设置于分布式***中的任一服务器如主服务器中。
当然，所述负载均衡装置还可以作为一个独立设备而存在。
本领域技术人员应当理解，本公开实施例的负载均衡装置中各处理模块的功能，可参照前述应用于智能家居***侧的负载均衡方法的相关描述而理解，本公开实施例的负载均衡装置中各处理模块，可通过实现本公开实施例所述的功能的模拟电路而实现，也可以通过执行本公开实施例所述的功能的软件在电子设备上的运行而实现。
本公开实施例所述的负载均衡装置，在不需要改变现有的基于一致性哈希的分布式***的架构的情况下，实现了负载均衡。
本公开实施例还记载了一种负载均衡装置，所述装置包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述任意一个应用于第一设备的技术方案提供的负载均衡方法。
作为一种实施方式，所述处理器执行所述程序时实现：
获取各个服务器节点的负载数据；
根据所述负载数据，确定分布式***中各个服务器节点包含的虚拟节点的个数；
向所述各个服务器节点发送被分配的虚拟节点的个数信息，以使所述各个服务器节点根据所述个数信息调整当前的虚拟节点，所述个数信息指示所述虚拟节点的个数。
作为一种实施方式，所述处理器执行所述程序时实现：
根据所述负载数据，构造一致性哈希函数；
调整所述一致性哈希函数中各个服务器节点包含的虚拟节点的个数，并使用调整虚拟节点个数后的一致性哈希函数模拟计算各个服务器节点的负载数据，直至模拟计算得到的负载数据满足预设负载均衡标准；
根据满足所述预设负载均衡标准时一致性哈希函数中各个服务器节点包含的虚拟节点的个数，确定分布式***中各个服务器节点包含的虚拟节点的个数。
作为一种实施方式，所述处理器执行所述程序时实现：
基于各个服务器节点包含的虚拟节点的个数，确定所述虚拟节点的个数发生变化的第一服务器节点；
向所述第一服务器节点发送所述个数信息。
作为一种实施方式，所述处理器执行所述程序时实现：
通过所述第一服务器节点向所述分布式***中虚拟节点的个数未发生变化的第二服务器节点发送变化信息，所述变化信息指示所述第一服务器节点的虚拟节点的个数发生变化。
本申请实施例提供的负载均衡装置，在不需要改变现有的基于一致性哈希的分布式***的架构的情况下，实现了负载均衡。
本申请实施例还记载了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行前述各个实施例所述的负载均衡方法。也就是说，所述计算机可执行指令被处理器执行之后，能够实现前述任意一个技术方案提供的负载均衡方法。
本领域技术人员应当理解，本实施例的计算机存储介质中各程序的功能，可参照前述各实施例所述的负载均衡方法的相关描述而理解。
图8是根据一示例性实施例示出的一种用于实现负载均衡处理的装置900的框图。例如，装置900可以被提供为一服务器。参照图8，装置900包括处理组件922，其进一步包括一个或多个处理器，以及由存储器932所代表的存储器资源，用于存储可由处理组件922的执行的指令，例如应用程序。存储器932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件922被配置为执行指令，以执行上述应用于服务器侧的数据处理方法。
装置900还可以包括一个电源组件926被配置为执行装置900的电源管理，一个有线或无线网络接口950被配置为将装置900连接到网络，和一个输入输出(I/O)接口958。装置900可以操作基于存储在存储器932的操作***，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
本公开实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (12)

1.一种负载均衡方法，其特征在于，所述方法包括：
获取各个服务器节点的负载数据；
根据所述负载数据，确定分布式***中各个服务器节点包含的虚拟节点的个数；
向所述各个服务器节点发送被分配的虚拟节点的个数信息，以使所述各个服务器节点根据所述个数信息调整当前的虚拟节点，所述个数信息指示所述虚拟节点的个数。
2.根据权利要求1所述的负载均衡方法，其特征在于，所述根据所述负载数据，确定分布式***中各个服务器节点包含的虚拟节点的个数，包括：
根据所述负载数据，构造一致性哈希函数；
调整所述一致性哈希函数中各个服务器节点包含的虚拟节点的个数，并使用调整虚拟节点个数后的一致性哈希函数模拟计算各个服务器节点的负载数据，直至模拟计算得到的负载数据满足预设负载均衡标准；
根据满足所述预设负载均衡标准时一致性哈希函数中各个服务器节点包含的虚拟节点的个数，确定分布式***中各个服务器节点包含的虚拟节点的个数。
3.根据权利要求1所述的负载均衡方法，其特征在于，所述方法还包括：
基于各个服务器节点包含的虚拟节点的个数，确定所述虚拟节点的个数发生变化的第一服务器节点；
所述向所述各个服务器节点发送被分配的虚拟节点的个数信息，包括：
向所述第一服务器节点发送所述个数信息。
4.根据权利要求3所述的负载均衡方法，其特征在于，所述向所述各个服务器节点发送被分配的虚拟节点的个数信息，包括：
通过所述第一服务器节点向所述分布式***中虚拟节点的个数未发生变化的第二服务器节点发送变化信息，所述变化信息指示所述第一服务器节点的虚拟节点的个数发生变化。
5.根据权利要求1至4任一项所述的负载均衡方法，其特征在于，所述负载数据包括下述数据中的一种或几种：
网卡流量；
中央处理器CPU内存；
每秒请求数QPS。
6.一种负载均衡装置，其特征在于，所述装置包括：
获取模块，被配置为获取各个服务器节点的负载数据；
确定模块，被配置为根据所述负载数据，确定分布式***中各个服务器节点包含的虚拟节点的个数；
通知模块，被配置为向所述各个服务器节点发送被分配的虚拟节点的个数信息，以使所述各个服务器节点根据所述个数信息调整当前的虚拟节点，所述个数信息指示所述虚拟节点的个数。
7.根据权利要求6所述的负载均衡装置，其特征在于，所述确定模块，还被配置为：
根据所述负载数据，构造一致性哈希函数；
调整所述一致性哈希函数中各个服务器节点包含的虚拟节点的个数，并使用调整虚拟节点个数后的一致性哈希函数模拟计算各个服务器节点的负载数据，直至模拟计算得到的负载数据满足预设负载均衡标准；
根据满足所述预设负载均衡标准时一致性哈希函数中各个服务器节点包含的虚拟节点的个数，确定分布式***中各个服务器节点包含的虚拟节点的个数。
8.根据权利要求6所述的负载均衡装置，其特征在于，所述确定模块，还被配置为：基于各个服务器节点包含的虚拟节点的个数，确定所述虚拟节点的个数发生变化的第一服务器节点；
所述通知模块，被配置为：
向所述第一服务器节点发送所述个数信息。
9.根据权利要求8所述的负载均衡装置，其特征在于，所述通知模块，被配置为：
通过所述第一服务器节点向所述分布式***中的第二服务器节点发送变化信息，所述变化信息指示所述第一服务器节点的虚拟节点的个数发生变化。
10.根据权利要求7至9任一项所述的负载均衡装置，其特征在于，所述负载数据包括下述数据中的一种或几种：
网卡流量；
中央处理器CPU内存；
每秒请求数QPS。
11.一种负载均衡装置，包括：
处理器；
用于存储可执行指令的存储器；
其中，所述处理器被配置为：执行所述可执行指令以实现权利要求1至5任一项所述的负载均衡方法。
12.一种计算机存储介质，所述计算机存储介质中存储有可执行指令，所述可执行指令被处理器执行时，使得所述处理器执行权利要求1至5任一项所述的负载均衡方法。
CN202010019102.3A 2020-01-08 2020-01-08 负载均衡方法及装置、计算机存储介质 Pending CN111245924A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010019102.3A CN111245924A (zh) 2020-01-08 2020-01-08 负载均衡方法及装置、计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010019102.3A CN111245924A (zh) 2020-01-08 2020-01-08 负载均衡方法及装置、计算机存储介质

Publications (1)

Publication Number Publication Date
CN111245924A true CN111245924A (zh) 2020-06-05

Family

ID=70865060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010019102.3A Pending CN111245924A (zh) 2020-01-08 2020-01-08 负载均衡方法及装置、计算机存储介质

Country Status (1)

Country Link
CN (1) CN111245924A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306688A (zh) * 2020-10-30 2021-02-02 天地伟业技术有限公司 一种创新的适用于云存储的哈希一致算法
CN113778645A (zh) * 2021-08-18 2021-12-10 煤炭科学研究总院 基于边缘计算的任务调度方法、装置、设备及存储介质
CN114428585A (zh) * 2020-10-29 2022-05-03 北京奇艺世纪科技有限公司 数据存储方法、装置及电子设备
CN114466019A (zh) * 2022-04-11 2022-05-10 阿里巴巴（中国）有限公司 分布式计算***、负载均衡方法、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103124299A (zh) * 2013-03-21 2013-05-29 杭州电子科技大学 一种异构环境下的分布式块级别存储***
CN106559448A (zh) * 2015-09-28 2017-04-05 北京国双科技有限公司 服务器负载均衡方法和装置
WO2018059032A1 (zh) * 2016-09-30 2018-04-05 华为技术有限公司 一种虚拟节点的数据迁移方法和虚拟节点
CN107920129A (zh) * 2017-12-07 2018-04-17 郑州云海信息技术有限公司 一种数据存储的方法、装置、设备以及云存储***
CN110336891A (zh) * 2019-07-24 2019-10-15 中南民族大学 缓存数据分布方法、设备、存储介质及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103124299A (zh) * 2013-03-21 2013-05-29 杭州电子科技大学 一种异构环境下的分布式块级别存储***
CN106559448A (zh) * 2015-09-28 2017-04-05 北京国双科技有限公司 服务器负载均衡方法和装置
WO2018059032A1 (zh) * 2016-09-30 2018-04-05 华为技术有限公司 一种虚拟节点的数据迁移方法和虚拟节点
CN107920129A (zh) * 2017-12-07 2018-04-17 郑州云海信息技术有限公司 一种数据存储的方法、装置、设备以及云存储***
CN110336891A (zh) * 2019-07-24 2019-10-15 中南民族大学 缓存数据分布方法、设备、存储介质及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HIKOTOSHI NAKAZATO: "《Data Allocation Method considering Server Performance and Data Access Frequency with Consistent Hashing》", 《2012 14TH ASIA-PACIFIC NETWORK OPERATIONS AND MANAGEMENT SYMPOSIUM (APNOMS)》 *
曾发: "《飞行器自主保障***海量数据存储设计与研究》", 《宇航计测技术》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114428585A (zh) * 2020-10-29 2022-05-03 北京奇艺世纪科技有限公司 数据存储方法、装置及电子设备
CN112306688A (zh) * 2020-10-30 2021-02-02 天地伟业技术有限公司 一种创新的适用于云存储的哈希一致算法
CN113778645A (zh) * 2021-08-18 2021-12-10 煤炭科学研究总院 基于边缘计算的任务调度方法、装置、设备及存储介质
CN114466019A (zh) * 2022-04-11 2022-05-10 阿里巴巴（中国）有限公司 分布式计算***、负载均衡方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111245924A (zh) 负载均衡方法及装置、计算机存储介质
CN110858161B (zh) 资源分配方法、装置、***、设备和介质
CN109218355B (zh) 负载均衡引擎，客户端，分布式计算***以及负载均衡方法
WO2017167025A1 (zh) 一种实现任务调度的方法、装置及计算机存储介质
EP3281359B1 (en) Application driven and adaptive unified resource management for data centers with multi-resource schedulable unit (mrsu)
EP2923479B1 (en) Method and apparatus for controlling utilization in a horizontally scaled software application
US8713125B2 (en) Method and system for scaling usage of a social based application on an online social network
CN103516807A (zh) 一种云计算平台服务器负载均衡***及方法
CN111131486B (zh) 执行节点的负载调节方法、装置、服务器及存储介质
WO2012173642A1 (en) Decentralized management of virtualized hosts
WO2012173641A1 (en) Decentralized management of virtualized hosts
JP2012099062A (ja) サービス連携システムおよび情報処理システム
CN105703927A (zh) 一种资源分配方法、网络设备和网络***
CN112711479A (zh) 服务器集群的负载均衡***、方法、装置和存储介质
CN115396377B (zh) 对象存储的服务质量优化方法、装置、设备及存储介质
CN116909735A (zh) 算力调度方法及装置、服务器和存储介质
Moens et al. Design and evaluation of a hierarchical application placement algorithm in large scale clouds
CN109815204A (zh) 一种基于拥塞感知的元数据请求分发方法及设备
CN109413117B (zh) 分布式数据计算方法、装置、服务器及计算机存储介质
CN115168017B (zh) 一种任务调度云平台及其任务调度方法
CN113329055B (zh) 一种分布式sdn控制器***及其控制方法与装置
Kumar et al. BMAQR: balanced multi attribute QoS aware replication in HDFS
Zhu et al. Load balancing algorithm for web server based on weighted minimal connections
CN113377866A (zh) 一种虚拟化数据库代理服务的负载均衡方法及装置
CN108234354B (zh) Sdn控制器与sdn交换机的连接控制方法以及sdn控制器***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100085 unit C, building C, lin66, Zhufang Road, Qinghe, Haidian District, Beijing

Applicant after: Beijing Xiaomi pinecone Electronic Co.,Ltd.

Address before: 100085 unit C, building C, lin66, Zhufang Road, Qinghe, Haidian District, Beijing

Applicant before: BEIJING PINECONE ELECTRONICS Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20200605

RJ01 Rejection of invention patent application after publication