CN109933431A - 一种智能的客户端负载均衡方法及*** - Google Patents
一种智能的客户端负载均衡方法及*** Download PDFInfo
- Publication number
- CN109933431A CN109933431A CN201910180733.0A CN201910180733A CN109933431A CN 109933431 A CN109933431 A CN 109933431A CN 201910180733 A CN201910180733 A CN 201910180733A CN 109933431 A CN109933431 A CN 109933431A
- Authority
- CN
- China
- Prior art keywords
- service
- application server
- isp
- weight
- intelligent client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种智能的客户端负载均衡方法及***,属于计算机领域,本发明要解决的技术问题为如何根据每个服务的特点进行综合考虑,做到恰当的选择负载均衡,技术方案为:①一种智能的客户端负载均衡方法,步骤如下:S1、服务响应性能评价:每次服务调用时记录服务响应时间,根据服务响应时间计算出服务提供者的得分;S2、同步服务负载均衡策略:同步服务根据响应性能作为负载依据,根据性能得分分配权值;S3、异步服务负载均衡策略。②、一种智能的客户端负载均衡***,包括服务并发数统计分析中心、服务调用者应用服务器和服务提供者应用服务器,服务调用者应用服务器和服务提供者应用服务器一一对应设置。
Description
技术领域
本发明涉及计算机技术领域,具体地说是一种智能的客户端负载均衡方法及***。
背景技术
在微服务架构下,为了实现性能的最大化,应用服务器横向扩展是常见的部署方式,同一个服务有多个提供者。当客户端调用微服务时,就有应用服务器选择问题,客户端服务均衡即提供了这种能力,能够根据配置的策略选择一个应用服务器,业界有多种负载均衡策略,比如随机、轮询、权重、响应时间等,每种策略都有局限性,比如由于每个服务提供者的硬件可能不尽相同,随机和轮询无法识别这种不同,虽然权重可以识别硬件性能的差异,但是每个服务所消耗的性能也有很大差异,甚至不是一个数量级上,响应时间可能对部分同步服务有效,异步的服务则不使用,故如何根据每个服务的特点进行综合考虑,做到恰当的选择负载均衡是目前现有技术中急需解决的技术问题。
专利号为CN103957251A的专利文献公开了一种实现服务器负载均衡的方法,该方法主要包括:设定服务器的初始能力值,并根据初始能力值分配客户端的认证业务访问请求;根据客户端认证业务访问请求的交互时间长短,设定服务器的自学***稳高效的工作状态,保证用户业务正常运转;但是该技术方案不能根据每个服务的特点进行综合考虑,做到恰当的选择负载均衡。
专利号为CN102404390B的专利文献公开了一种高速实时数据库的智能化动态负载均衡方法,本方法包括如下步骤:在每个客户端和集群服务器节点中配置内容一致的集群仲裁表;将后台数据存储模块划分为不同的物理存储分区;将客户端与每个集群服务器节点建立通讯连接;各个集群服务器节点维护各个集群服务器节点上的服务器端集群仲裁表内容一致;接收并处理客户端发送过来的任务;客户端对全局的虚拟IP地址发起数据读写的请求;网络通讯管理模块最终发送往目地集群服务器节点;目标集群服务器节点在接收到客户端提交来的请求后,进行必要的校验,然后对合法的请求进行处理。但是该技术方案不能根据每个服务的特点进行综合考虑,做到恰当的选择负载均衡。
发明内容
本发明的技术任务是提供一种智能的客户端负载均衡方法及***,来解决如何根据每个服务的特点进行综合考虑,做到恰当的选择负载均衡的问题。
本发明的技术任务是按以下方式实现的,一种智能的客户端负载均衡方法,步骤如下:
S1、服务响应性能评价:每次服务调用时记录服务响应时间,根据服务响应时间计算出服务提供者的得分;
S2、同步服务负载均衡策略:同步服务根据响应性能作为负载依据,根据性能得分分配权值;
S3、异步服务负载均衡策略:根据应用服务器的能力值和对应的并发数得到权值。
作为优选,所述服务响应时间的信息包括服务提供者ID、服务ID、服务耗时以及服务调用时间。
更优地,所述服务响应性能评价的具体方法如下:
S101、计算出服务提供者ID的服务集群平均响应时间T1和服务ID的平均响应时间T2;
S102、计算出服务提供者的得分T的计算公式:
T=T1-T2;
其中,服务提供者的得分T值越大,说明服务提供者的性能越好。
更优地,所述步骤S2中性能得分越高,权值越大,反之权值越小;权值越大,被选中的概率越高。
更优地,所述步骤S3异步服务负载均衡策略的具体步骤如下:
S301、每个服务请求后,记录并发数到内存;
S302、每隔指定的时间上报到统计中心,调用端每隔指定时间定期从统计中心拉取并发数;
S303、根据应用服务器的能力值和对应的并发数得到权值,能力越大且并发数越小,权重越高,被选择到的概率越高。
更优地,所述同步服务根据响应时间的指标分配权值,异步服务根据并发度指标分配权值。
一种智能的客户端负载均衡***,该***包括服务并发数统计分析中心、服务调用者应用服务器和服务提供者应用服务器,服务调用者应用服务器和服务提供者应用服务器一一对应设置,服务并发数统计分析中心定时拉取服务调用者服务器的信息,同时服务调用者应用服务器定时上报信息到服务并发数统计分析中心;服务调用者服务器传送路由策略到服务提供者应用服务器。
作为优选,该***的实施过程具体如下:
(1)、设置服务类型:设置服务为同步服务或者异步服务;
(2)、设置每个应用服务器硬件配置或直接设置硬件配置分数;
(3)、设置服务消费端平均响应事件统计周期;
(4)、设置并发数统计上报、拉取周期。
更优地,所述步骤(1)中服务类型默认为异步服务。
更优地,所述步骤(2)中应用服务器硬件配置包括内存(G)、CPU颗数以及硬盘是否为固态硬盘。
本发明的智能的客户端负载均衡方法及***具有以下优点:
(一)本发明在微服务架构下,客户端调用微服务时,负载均衡策略被固定,不能根据实际情况动态的选择合适的负载策略,而采用本发明负载策略不再被固定,可以根据实时服务特点及性能数据,智能地选择合适的负载策略,进而提高了***的吞吐量和性能,具有很好地推广应用价值;
(二)、本发明的同步服务负载均衡策略是采用同步服务根据响应性能作为负载依据,根据性能得分分配权值,性能得分越高,权值越大,反之权值越小;权值越大,被选中的概率就越高;
(三)、异步服务的并发度指标是并发量/CPU的颗数,并发量越高,被分配的概率越小,公式也可以自定义;
(四)、服务负载均衡为客户端负载均衡,同步服务根据响应时间的指标分配权值,异步服务根据并发度指标分配权值。
附图说明
下面结合附图对本发明进一步说明。
附图1为智能的客户端负载均衡***的结构框图。
具体实施方式
参照说明书附图和具体实施例对本发明的一种智能的客户端负载均衡方法及***作以下详细地说明。
实施例1:
本发明的智能的客户端负载均衡方法,步骤如下:
S1、服务响应性能评价:每次服务调用时记录服务响应时间,根据服务响应时间计算出服务提供者的得分;其中,服务响应时间的信息包括服务提供者ID、服务ID、服务耗时以及服务调用时间。
服务响应性能评价的具体方法如下:
S101、计算出服务提供者ID的服务集群平均响应时间T1和服务ID的平均响应时间T2;
S102、计算出服务提供者的得分T的计算公式:
T=T1-T2;
其中,服务提供者的得分T值越大,说明服务提供者的性能越好。
S2、同步服务负载均衡策略:同步服务根据响应性能作为负载依据,根据性能得分分配权值;性能得分越高,权值越大,反之权值越小;权值越大,被选中的概率越高。
S3、异步服务负载均衡策略:根据应用服务器的能力值和对应的并发数得到权值;其中,异步服务负载均衡策略的具体步骤如下:
S301、每个服务请求后,记录并发数到内存;
S302、每隔指定的时间上报到统计中心,调用端每隔指定时间定期从统计中心拉取并发数;
S303、根据应用服务器的能力值和对应的并发数得到权值,能力越大且并发数越小,权重越高,被选择到的概率越高。
其中,异步服务由于在响应时间上差异不大,不能再以响应时间作为负载依据,本发明根据应用服务器的能力值及并发数的大小作为依据,比如应用服务器硬件配置为CPU为2核、内存为8G,根据计算公式得出能力值;每个服务请求后,首先记录并发数到内存,然后每隔指定的时间上报到统计中心,调用端每隔指定时间定期从统计中心拉取并发数,再根据应用服务器的能力值和对应的并发数得到权值,能力越大、并发数越小,权重越高,被选择到的概率越高。
其中,同步服务根据响应时间的指标分配权值,异步服务根据并发度指标分配权值。
实施例2:
本发明的智能的客户端负载均衡***,该***包括服务并发数统计分析中心、服务调用者应用服务器和服务提供者应用服务器,服务调用者应用服务器和服务提供者应用服务器一一对应设置,服务并发数统计分析中心定时拉取服务调用者服务器的信息,同时服务调用者应用服务器定时上报信息到服务并发数统计分析中心;服务调用者服务器传送路由策略到服务提供者应用服务器。
实施过程具体如下:
(1)、设置服务类型:设置服务为同步服务或者异步服务;服务类型默认为异步服务。
(2)、设置每个应用服务器硬件配置或直接设置硬件配置分数;应用服务器硬件配置包括内存(G)、CPU颗数以及硬盘是否为固态硬盘。
(3)、设置服务消费端平均响应事件统计周期;
(4)、设置并发数统计上报、拉取周期。
实施例3:
如附图1所示,本发明的智能的客户端负载均衡***,该***包括服务并发数统计分析中心、服务调用者应用服务器一、服务调用者应用服务器二、服务提供者应用服务器一和服务提供者应用服务器二,服务并发数统计分析中心定时拉取服务调用者应用服务器一和服务调用者应用服务器二的信息,同时服务调用者应用服务器一和、服务调用者应用服务器二定时上报信息到服务并发数统计分析中心;服务调用者应用服务器一和服务调用者应用服务器二传送路由策略到服务提供者应用服务器一和服务提供者应用服务器二。
实施过程具体如下:
(1)、设置服务类型:设置服务为同步服务或者异步服务;服务类型默认为异步服务。
(2)、设置每个应用服务器硬件配置或直接设置硬件配置分数;应用服务器硬件配置包括内存(G)、CPU颗数以及硬盘是否为固态硬盘。
(3)、设置服务消费端平均响应事件统计周期,默认为2秒;
(4)、设置并发数统计上报、拉取周期,默认为2秒。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种智能的客户端负载均衡方法,其特征在于,步骤如下:
S1、服务响应性能评价:每次服务调用时记录服务响应时间,根据服务响应时间计算出服务提供者的得分;
S2、同步服务负载均衡策略:同步服务根据响应性能作为负载依据,根据性能得分分配权值;
S3、异步服务负载均衡策略:根据应用服务器的能力值和对应的并发数得到权值。
2.根据权利要求1所述的智能的客户端负载均衡方法,其特征在于,所述服务响应时间的信息包括服务提供者ID、服务ID、服务耗时以及服务调用时间。
3.根据权利要求1或2所述的智能的客户端负载均衡方法,其特征在于,所述服务响应性能评价的具体方法如下:
S101、计算出服务提供者ID的服务集群平均响应时间T1和服务ID的平均响应时间T2;
S102、计算出服务提供者的得分T的计算公式:
T=T1-T2;
其中,服务提供者的得分T值越大,说明服务提供者的性能越好。
4.根据权利要求3所述的智能的客户端负载均衡方法,其特征在于,所述步骤S2中性能得分越高,权值越大,反之权值越小;权值越大,被选中的概率越高。
5.根据权利要求4所述的智能的客户端负载均衡方法,其特征在于,所述步骤S3异步服务负载均衡策略的具体步骤如下:
S301、每个服务请求后,记录并发数到内存;
S302、每隔指定的时间上报到统计中心,调用端每隔指定时间定期从统计中心拉取并发数;
S303、根据应用服务器的能力值和对应的并发数得到权值,能力越大且并发数越小,权重越高,被选择到的概率越高。
6.根据权利要求5所述的智能的客户端负载均衡方法,其特征在于,所述同步服务根据响应时间的指标分配权值,异步服务根据并发度指标分配权值。
7.一种智能的客户端负载均衡***,其特征在于,该***包括服务并发数统计分析中心、服务调用者应用服务器和服务提供者应用服务器,服务调用者应用服务器和服务提供者应用服务器一一对应设置,服务并发数统计分析中心定时拉取服务调用者服务器的信息,同时服务调用者应用服务器定时上报信息到服务并发数统计分析中心;服务调用者服务器传送路由策略到服务提供者应用服务器。
8.根据权利要求7所述的智能的客户端负载均衡***,其特征在于,该***的实施过程具体如下:
(1)、设置服务类型:设置服务为同步服务或者异步服务;
(2)、设置每个应用服务器硬件配置或直接设置硬件配置分数;
(3)、设置服务消费端平均响应事件统计周期;
(4)、设置并发数统计上报、拉取周期。
9.根据权利要求8所述的智能的客户端负载均衡***,其特征在于,所述步骤(1)中服务类型默认为异步服务。
10.根据权利要求8或9所述的智能的客户端负载均衡***,其特征在于,所述步骤(2)中应用服务器硬件配置包括内存、CPU颗数以及硬盘是否为固态硬盘。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910180733.0A CN109933431B (zh) | 2019-03-11 | 2019-03-11 | 一种智能的客户端负载均衡方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910180733.0A CN109933431B (zh) | 2019-03-11 | 2019-03-11 | 一种智能的客户端负载均衡方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109933431A true CN109933431A (zh) | 2019-06-25 |
CN109933431B CN109933431B (zh) | 2023-04-04 |
Family
ID=66986742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910180733.0A Active CN109933431B (zh) | 2019-03-11 | 2019-03-11 | 一种智能的客户端负载均衡方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109933431B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110389841A (zh) * | 2019-07-25 | 2019-10-29 | 中南民族大学 | 一种服务器负载均衡方法、装置和存储介质 |
CN110691118A (zh) * | 2019-08-30 | 2020-01-14 | 许昌许继软件技术有限公司 | 一种微服务集群中的服务选择方法及装置 |
CN110839086A (zh) * | 2019-12-23 | 2020-02-25 | 吉林省民航机场集团公司 | 一种高并发负载均衡处理方法 |
CN112532743A (zh) * | 2020-12-18 | 2021-03-19 | 上海安畅网络科技股份有限公司 | 一种智能负载均衡方法、装置及存储介质 |
CN113542325A (zh) * | 2020-04-17 | 2021-10-22 | 北京沃东天骏信息技术有限公司 | 分布式服务调度方法、装置、电子设备和存储介质 |
CN114048046A (zh) * | 2021-11-08 | 2022-02-15 | 马上消费金融股份有限公司 | 一种服务的调用方法、装置及负载均衡设备 |
CN114567637A (zh) * | 2022-03-01 | 2022-05-31 | 浪潮云信息技术股份公司 | 一种智能设置负载均衡后端服务器权重的方法及*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050027862A1 (en) * | 2003-07-18 | 2005-02-03 | Nguyen Tien Le | System and methods of cooperatively load-balancing clustered servers |
CN103049245A (zh) * | 2012-10-25 | 2013-04-17 | 浪潮电子信息产业股份有限公司 | 一种基于cpu多核平台的软件性能优化方法 |
CN103945005A (zh) * | 2014-05-06 | 2014-07-23 | 江苏物联网研究发展中心 | 基于多评价指标的动态负载均衡框架 |
CN104579996A (zh) * | 2013-10-17 | 2015-04-29 | 中国电信股份有限公司 | 一种集群负载均衡方法和*** |
CN108121312A (zh) * | 2017-11-29 | 2018-06-05 | 南瑞集团有限公司 | 基于一体化水电管控平台的arv负载均衡***及方法 |
CN108494868A (zh) * | 2018-03-30 | 2018-09-04 | 三盟科技股份有限公司 | 一种基于云业务***下的负载均衡方法及*** |
-
2019
- 2019-03-11 CN CN201910180733.0A patent/CN109933431B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050027862A1 (en) * | 2003-07-18 | 2005-02-03 | Nguyen Tien Le | System and methods of cooperatively load-balancing clustered servers |
CN103049245A (zh) * | 2012-10-25 | 2013-04-17 | 浪潮电子信息产业股份有限公司 | 一种基于cpu多核平台的软件性能优化方法 |
CN104579996A (zh) * | 2013-10-17 | 2015-04-29 | 中国电信股份有限公司 | 一种集群负载均衡方法和*** |
CN103945005A (zh) * | 2014-05-06 | 2014-07-23 | 江苏物联网研究发展中心 | 基于多评价指标的动态负载均衡框架 |
CN108121312A (zh) * | 2017-11-29 | 2018-06-05 | 南瑞集团有限公司 | 基于一体化水电管控平台的arv负载均衡***及方法 |
CN108494868A (zh) * | 2018-03-30 | 2018-09-04 | 三盟科技股份有限公司 | 一种基于云业务***下的负载均衡方法及*** |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110389841A (zh) * | 2019-07-25 | 2019-10-29 | 中南民族大学 | 一种服务器负载均衡方法、装置和存储介质 |
CN110691118A (zh) * | 2019-08-30 | 2020-01-14 | 许昌许继软件技术有限公司 | 一种微服务集群中的服务选择方法及装置 |
CN110839086A (zh) * | 2019-12-23 | 2020-02-25 | 吉林省民航机场集团公司 | 一种高并发负载均衡处理方法 |
CN113542325A (zh) * | 2020-04-17 | 2021-10-22 | 北京沃东天骏信息技术有限公司 | 分布式服务调度方法、装置、电子设备和存储介质 |
CN112532743A (zh) * | 2020-12-18 | 2021-03-19 | 上海安畅网络科技股份有限公司 | 一种智能负载均衡方法、装置及存储介质 |
CN112532743B (zh) * | 2020-12-18 | 2021-11-30 | 上海安畅网络科技股份有限公司 | 一种智能负载均衡方法、装置及存储介质 |
CN114048046A (zh) * | 2021-11-08 | 2022-02-15 | 马上消费金融股份有限公司 | 一种服务的调用方法、装置及负载均衡设备 |
CN114048046B (zh) * | 2021-11-08 | 2022-10-11 | 马上消费金融股份有限公司 | 一种服务的调用方法、装置及负载均衡设备 |
CN114567637A (zh) * | 2022-03-01 | 2022-05-31 | 浪潮云信息技术股份公司 | 一种智能设置负载均衡后端服务器权重的方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN109933431B (zh) | 2023-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109933431A (zh) | 一种智能的客户端负载均衡方法及*** | |
CN109218355B (zh) | 负载均衡引擎,客户端,分布式计算***以及负载均衡方法 | |
CN110266716B (zh) | 电网统一服务平台*** | |
CN109618002B (zh) | 一种微服务网关优化方法、装置及存储介质 | |
CN108712464A (zh) | 一种面向集群微服务高可用的实现方法 | |
US9015227B2 (en) | Distributed data processing system | |
US9628556B2 (en) | Decentralized request routing | |
CN103747274B (zh) | 一种增设缓存集群的视频数据中心及其缓存资源调度方法 | |
CN108833462A (zh) | 一种面向微服务的自注册服务发现的***及方法 | |
CN103699445A (zh) | 一种任务调度方法、装置及*** | |
CN109271243B (zh) | 一种集群任务管理*** | |
CN103064744B (zh) | 一种基于SLA的面向多层Web应用的资源优化方法 | |
CN106572181A (zh) | 基于集群文件***的对象存储接口负载均衡方法和*** | |
CN113312160A (zh) | 用于任务分配***中的行为配对的技术 | |
US20200404047A1 (en) | Configurable connection reset for customized load balancing | |
CN109639796A (zh) | 一种负载均衡实现方法、装置、设备及可读存储介质 | |
CN110519354A (zh) | 一种分布式对象存储***及其业务处理方法和存储介质 | |
CN111258760A (zh) | 一种平台管理方法、***、装置及存储介质 | |
CN111597038A (zh) | 一种超级计算机i/o转发结点轮询映射方法 | |
CN108111567A (zh) | 实现服务器负载均匀的方法及*** | |
CN102929693A (zh) | 整机柜服务器的性能评测方法及装置 | |
KR20220140769A (ko) | 외부 페어링 시스템과 태스크 할당 시스템 간에 태스크들을 할당하는 제어를 내부 페어링 시스템과 공유하기 위한 기술들 | |
CN108063814A (zh) | 一种负载均衡方法及装置 | |
CN204425400U (zh) | 应用服务器*** | |
CN102647362A (zh) | 一种多控制器存储***负载均衡的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |