CN103731482A - 一种集群负载均衡***及其实现方法 - Google Patents
一种集群负载均衡***及其实现方法 Download PDFInfo
- Publication number
- CN103731482A CN103731482A CN201310720350.0A CN201310720350A CN103731482A CN 103731482 A CN103731482 A CN 103731482A CN 201310720350 A CN201310720350 A CN 201310720350A CN 103731482 A CN103731482 A CN 103731482A
- Authority
- CN
- China
- Prior art keywords
- request
- load
- cluster
- condition code
- http
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims description 19
- 230000006855 networking Effects 0.000 claims description 12
- 235000014510 cooky Nutrition 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 8
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000006116 polymerization reaction Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Computer And Data Communications (AREA)
Abstract
本发明涉及一种负载均衡方法，特别涉及一种在通过规则匹配后确保HTTP请求安全的情况下的负载均衡方法，具体是提供一种集群负载均衡***及其实现方法。本发明通过集群的方式对HTTP请求与响应内容安全检测和过滤，通过规则匹配后确保HTTP请求安全。
Description
技术领域
本发明涉及一种负载均衡方法，特别涉及一种在通过规则匹配后确保HTTP请求安全的情况下的负载均衡方法，具体是提供一种集群负载均衡***及其实现方法。
背景技术
随着网络技术的不断进步，Web网络服务和用户的数量正在以***式的增长。以至于Web网站的访问量和数据流量不断的挑战服务器的性能。单一服务器的处理能力和计算能力在很多情况下无法承受这种挑战。因此提出了负载均衡的方案，通过负载均衡技术使得多台Web服务器组合成一个有机整体统一对外提供Web服务，有效的保证了Web网站的稳定性和高效性。
正是由于网络技术的不断进步，使得进入这一领域的门槛不断降低，大量的技术人员不断的涌入这样领域。大量的Web应用***被人们接受并通过它们进行网络浏览获取各种信息和网络交付购买各种物品。人们生活的各个方面都可以通过网络的形式满足需求。随之而来的网络安全问题也越来越突出。 因此出现了Web安全检测技术，用于保证Web服务的安全有效。
但是基于应用的Web安全检测对设备处理能力和计算能力也产生了巨大的挑战，为了能够确保Web安全检测的有效和稳定，能够应对后台Web集群的部署方式。基于负载均衡的Web安全检测技术成为了负载均衡设备的一个发展方向。
发明内容
为了解决现有技术的问题，本发明提供了一种集群负载均衡***及其实现方法，其通过集群的方式对HTTP请求与响应内容安全检测和过滤，通过规则匹配后确保HTTP请求安全。
本发明所采用的技术方案如下：
一种集群负载均衡***，包括：
虚拟网络***，用于将不同的负载均衡设备虚拟成一个设备，对外提供服务；
请求分发***，用于按照各个负载均衡设备当前性能的不同将HTTP请求分发到相应的负载均衡设备上，包括特征码计算、请求分发，请求接收；
服务分发***，用于按照基于IP和COOKIE的特征码通过一致性HASH算法将请求分发到后端真实服务器上，包括一致性HASH算法，TCP/IP请求分发和安全检测。
虚拟网络***，把不同设备的网卡通过网卡聚合的方式虚拟成同一网卡，并通过它们接收和发送HTTP请求。
请求分发***采用了特征码计算技术，将负载均衡设备的不同性能参数，通过一定的算法换算成一个度量值。
请求分发***采用了请求分发技术，用于把HTTP请求根据特征码的不同，直接分配到特定的负载均衡设备上。
请求分发***采用了请求接收技术，把通过其它负载均衡设备发送到本负载均衡设备上的HTTP请求，转换成从本设备接收。
服务分发***采用了基于COOKIE和IP的一致性哈希算法，用于确保发送到后端真实服务器集群的HTTP请求的会话一致性。
服务分发***采用了TCP/IP请求分发技术，用于通过7层负载均衡的HTTP请求发送到后端真实服务器。
服务分发***采用了安全检测技术，实现对HTTP请求与响应的内容过滤与攻击检测功能。
一种集群负载均衡***的实现方法，包括虚拟网络***的实现、请求分发***的实现和服务分发***的实现：
其中，虚拟网络***的实现方法是：负载均衡器集群是以旁路部署的方式接入到网络环境中，负载均衡服务器集群之间的部署方式，是将不同负载均衡器的网络端口汇聚成同一虚拟网络端口；负载均衡器之间的数据交换通过各自的可信端口完成；单台负载均衡器也可以实现本地端口汇聚；但在多台负载均衡器部署时，本地负载均衡器将无效；
请求分发***的实现方法具体是：
***启动后，首先派生出三个进程，分别负责特征码计算，可信端口数据接收，虚拟端口数据接收；
其中特征码计算采用CPU利用率、内存利用率和网络吞吐量加权平均取得，并保存到特征码库中；
可信网卡监听进程负责对特征码库同步和对其他负载均衡设备发送到本设备的HTTP请求，进行处理为从本设备虚拟网卡接收，并转发到服务分发***中；
虚拟网卡监听进程为接收HTTP请求，并根据特征码计算当前请求是由本设备处理还是转发到其它设备处理；
服务分发***的实现方法具体是：接收性能分发***发过来的HTTP请求,并对HTTP请求进行安全检测，如果检测通过则通过IP和COOKIE一致性HASH算法选择后端服务器，并转发请求；如果没有通过安全检测，直接返回错误页面，并关闭TCP连接；同时检测后端服务器响应的数据，通过检测后返回客户端，没有通过检测的返回错误页面。
本发明提供的技术方案带来的有益效果是：
1、通过该方法实现的负载均衡***为独立的负载均衡检测设备。其整个***运行环境可以是一***立运行也可以多台设备组成集群协同运行；
2、在单台设备运行的时候具备本地端口汇聚功能。将多个网卡汇聚成具有一个IP，一个MAC地址的虚拟网口，共同对外提供服务；
3、在多台设备运行的时候具备网络端口汇聚功能，本地端口汇聚功能不再启用。将不同设备的某个网卡汇聚成具有一个IP，一个MAC地址的虚拟网口，共同对外提供服务；
4、虚拟网络***的主要特征是端口汇聚。通过该***能够快速的实现负载均衡器的添加与删除。同时能够对新添加到集群的负载均衡器同步策略；
5、请求分发***的主要特征是对从虚拟网络***接收的HTTP请求进行集群分发处理。负责对集群中的负载均衡设备进行特征搜集并保持其一致性；负载对接收到的HTTP请求根据特征码进行分发，分发到不同的负载均衡设备上；负责对集群内其它负载均衡设备发送过来HTTP请求，进行处理，让服务分发***认为该HTTP请求是从本机端口接收到的；负责对分发到本机的HTTP请求，上传到服务分发***。其中特征码计算主要采用了对CPU利用率，内存利用率和网络吞吐量进行加权计算，服务分发时以最小值原则进行分发；
6、服务分发***的主要特征是接收HTTP请求，并对HTTP请求进行安全检测，对不合规的HTTP请求，直接返回错误页面，并中断TCP连接。对合规的HTTP请求通过基于IP和cookie的一致性哈希算法计算出要转发的后端，转发到后端服务器。对于从后端服务器上接收到的HTTP响应，检测其响应内容，合规直接响应，不合规返回错误页面；
7、安全检测的主要特征是，能够对HTTP请求的协议合规性、请求头、请求行、请求体进行检测，能够对SQL注入，网络扫描，木马攻击，常见Web攻击进行防护，并记录攻击日志。
综上所述，本发明一种集群负载均衡***及其实现方法能够为后端服务器提供负载均衡服务和入侵检测服务。
附图说明
图1本发明的负载均衡器的网络位置示意图；
图2是本发明的多台负载均衡器集群时的网络端口汇聚示意图；
图3是本发明的单台负载均衡器部署时的本地端口汇聚示意图；
图4是本发明的请求分发***的工作流程图；
图5是本发明的服务分发***的工作流程图；
图6是本发明的安全检测机制的工作流程图；
图7是基于IP和COOKIE的一致性HASH算法示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一
如附图1所示，负载均衡器集群是以旁路部署的方式接入到网络环境中。部署时必须让对后端服务器的HTTP请求，转发到负载均衡器，并有负载均衡器将HTTP请求转发到后端Web服务器。
如附图2所示，负载均衡服务器集群之间的部署方式，是将不同负载均衡器的网络端口汇聚成同一虚拟网络端口。负载均衡器之间的数据交换通过各自的可信端口完成。单台负载均衡器也可以实现本地端口汇聚（附图3）。但在多台负载均衡器部署时，本地负载均衡器将无效。
负载均衡器组成集群是由虚拟服务***完成的。虚拟服务***之间通过可信数据端口进行通信，交换数据；能够根据用户的配置自动的加入集群或者从集群中删除。从而达到灵活的扩充集群的目的；能够通过网络汇聚端口，对外提供一个虚拟网卡，接收HTTP请求。
本实施例的一种集群负载均衡***，包括：
虚拟网络***，用于将不同的负载均衡设备虚拟成一个设备，对外提供服务；
请求分发***，用于按照各个负载均衡设备当前性能的不同将HTTP请求分发到相应的负载均衡设备上，包括特征码计算、请求分发，请求接收；
服务分发***，用于按照基于IP和COOKIE的特征码通过一致性HASH算法将请求分发到后端真实服务器上，包括一致性HASH算法，TCP/IP请求分发和安全检测。
其实现方法如附图4-6，请求分发***接收虚拟网卡收到的数据，能够对接收到的HTTP请求动态的分发到不同的负载均衡器上，达到平均负载，提供负载均衡器性能的目的；能够对分配到本负载均衡器上的HTTP请求上传到服务；能够根据cpu利用率，内存利用率和网络吞吐量加权计算出负载最低的负载均衡器，当本机负载达到一定条件时，将接收到的HTTP请求，转发到负载最低的负载均衡器上；能够最其它负载均衡器发送过来的HTTP请求，处理为从本机接收，并上传到服务分发***。
***启动后，首先派生出三个进程，分别负责特征码计算，可信端口数据接收，虚拟端口数据接收。
其中特征码计算采用CPU利用率、内存利用率和网络吞吐量加权平均取得。并保存到特征码库中。
特征码同步是在本次特征码与上次特征码有设定的不同的时候才进行同步的。当本次特征码与上次特征码更新的值相差不大时，将不进行特征码更新。
可信网卡监听进程负责对特征码库同步和对其他负载均衡设备发送到本设备的HTTP请求，进行处理为从本设备虚拟网卡接收，并转发到服务分发***中。虚拟网卡监听进程为接收HTTP请求，并根据特征码计算当前请求是由本设备处理还是转发到其它设备处理。如由本设备处理直接转发到服务分发***。如有其它设备处理则将请求包装后根据特征码最小值原则转发到其它设备。
服务分发***（附图5）接收性能分发***发过来的HTTP请求。并对HTTP请求进行安全检测，如果检测通过则通过IP和COOKIE一致性HASH算法选择后端服务器，并转发请求。如果没有通过安全检测，直接返回错误页面，并关闭TCP连接。同时检测后端服务器响应的数据，通过检测后返回客户端，没有通过检测的返回错误页面。
安全检测引擎为（附图6）对数据进行检测，排查是否符合HTTP协议规范，是否存在敏感内容，是否是DDOS攻击、Cc攻击、SQL注入攻击、跨站攻击、普通Web攻击、网络扫描等行为，并根据排查结果判断是否对转发请求，并对具有攻击行为的请求数据，返回检测结果并记录日志。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种集群负载均衡***，包括虚拟网络***、请求分发***和服务分发***，其中，
虚拟网络***，用于将不同的负载均衡设备虚拟成一个设备，对外提供服务；
请求分发***，用于按照各个负载均衡设备当前性能的不同将HTTP请求分发到相应的负载均衡设备上，包括特征码计算、请求分发，请求接收；
服务分发***，用于按照基于IP和COOKIE的特征码通过一致性HASH算法将请求分发到后端真实服务器上，包括一致性HASH算法，TCP/IP请求分发和安全检测。
2.根据权利要求1所述的一种集群负载均衡***，其特征在于，所述的虚拟网络***，用于把不同设备的网卡通过网卡聚合的方式虚拟成同一网卡，并通过它们接收和发送HTTP请求。
3.根据权利要求1所述的一种集群负载均衡***，其特征在于，所述的请求分发***的特征码计算是指将负载均衡设备的不同性能参数，通过一定的算法换算成一个度量值。
4.根据权利要求1所述的一种集群负载均衡***，其特征在于，所述的请求分发***的请求分发是指把HTTP请求根据特征码的不同，直接分配到特定的负载均衡设备上。
5.根据权利要求1所述的一种集群负载均衡***，其特征在于，所述的请求分发***的请求接收是指把通过其它负载均衡设备发送到本负载均衡设备上的HTTP请求，转换成从本设备接收。
6.根据权利要求1所述的一种集群负载均衡***，其特征在于，所述的服务分发***的TCP/IP请求分发是指通过7层负载均衡的HTTP请求发送到后端真实服务器。
7.一种集群负载均衡***的实现方法，包括虚拟网络***的实现、请求分发***的实现和服务分发***的实现：
其中，虚拟网络***的实现方法是：负载均衡器集群是以旁路部署的方式接入到网络环境中，负载均衡服务器集群之间的部署方式，是将不同负载均衡器的网络端口汇聚成同一虚拟网络端口；负载均衡器之间的数据交换通过各自的可信端口完成；单台负载均衡器也可以实现本地端口汇聚；但在多台负载均衡器部署时，本地负载均衡器将无效；
请求分发***的实现方法具体是：
***启动后，首先派生出三个进程，分别负责特征码计算，可信端口数据接收，虚拟端口数据接收；
其中特征码计算采用CPU利用率、内存利用率和网络吞吐量加权平均取得，并保存到特征码库中；
可信网卡监听进程负责对特征码库同步和对其他负载均衡设备发送到本设备的HTTP请求，进行处理为从本设备虚拟网卡接收，并转发到服务分发***中；
虚拟网卡监听进程为接收HTTP请求，并根据特征码计算当前请求是由本设备处理还是转发到其它设备处理；
服务分发***的实现方法具体是：接收性能分发***发过来的HTTP请求,并对HTTP请求进行安全检测，如果检测通过则通过IP和COOKIE一致性HASH算法选择后端服务器，并转发请求；如果没有通过安全检测，直接返回错误页面，并关闭TCP连接；同时检测后端服务器响应的数据，通过检测后返回客户端，没有通过检测的返回错误页面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310720350.0A CN103731482A (zh) | 2013-12-24 | 2013-12-24 | 一种集群负载均衡***及其实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310720350.0A CN103731482A (zh) | 2013-12-24 | 2013-12-24 | 一种集群负载均衡***及其实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103731482A true CN103731482A (zh) | 2014-04-16 |
Family
ID=50455404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310720350.0A Pending CN103731482A (zh) | 2013-12-24 | 2013-12-24 | 一种集群负载均衡***及其实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103731482A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104113586A (zh) * | 2014-06-17 | 2014-10-22 | 上海地面通信息网络有限公司 | 一种负载均衡器旁路于数据中心交换机的控制装置 |
| CN104202409A (zh) * | 2014-09-12 | 2014-12-10 | 成都卫士通信息产业股份有限公司 | 一种负载均衡的ssl vpn设备集群***及其工作方法 |
| CN104394163A (zh) * | 2014-12-05 | 2015-03-04 | 浪潮电子信息产业股份有限公司 | 一种基于Web应用的安全检测方法 |
| CN104539645A (zh) * | 2014-11-28 | 2015-04-22 | 百度在线网络技术（北京）有限公司 | 一种用于处理http请求的方法与设备 |
| CN105282045A (zh) * | 2015-11-17 | 2016-01-27 | 高新兴科技集团股份有限公司 | 一种基于一致性哈希算法的分布式计算和储存方法 |
| CN108134810A (zh) * | 2016-12-01 | 2018-06-08 | ***通信有限公司研究院 | 一种确定资源调度组件的方法及其*** |
| CN110324282A (zh) * | 2018-03-29 | 2019-10-11 | 华耀(中国)科技有限公司 | Ssl/tls可视化流量的负载均衡方法及其*** |
| CN110417903A (zh) * | 2019-08-01 | 2019-11-05 | 广州知弘科技有限公司 | 一种基于云计算的信息处理方法和*** |
| CN113190607A (zh) * | 2021-05-21 | 2021-07-30 | 上海申铁信息工程有限公司 | 一种基于http请求的数据库负载均衡方法、装置及介质 |
| CN114500340A (zh) * | 2021-12-23 | 2022-05-13 | 天翼云科技有限公司 | 一种智能调度分布式路径计算方法及*** |
-
2013
- 2013-12-24 CN CN201310720350.0A patent/CN103731482A/zh active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104113586A (zh) * | 2014-06-17 | 2014-10-22 | 上海地面通信息网络有限公司 | 一种负载均衡器旁路于数据中心交换机的控制装置 |
| CN104202409A (zh) * | 2014-09-12 | 2014-12-10 | 成都卫士通信息产业股份有限公司 | 一种负载均衡的ssl vpn设备集群***及其工作方法 |
| CN104202409B (zh) * | 2014-09-12 | 2017-09-15 | 成都卫士通信息产业股份有限公司 | 一种负载均衡的ssl vpn设备集群***及其工作方法 |
| CN104539645A (zh) * | 2014-11-28 | 2015-04-22 | 百度在线网络技术（北京）有限公司 | 一种用于处理http请求的方法与设备 |
| CN104394163A (zh) * | 2014-12-05 | 2015-03-04 | 浪潮电子信息产业股份有限公司 | 一种基于Web应用的安全检测方法 |
| CN105282045B (zh) * | 2015-11-17 | 2018-11-16 | 高新兴科技集团股份有限公司 | 一种基于一致性哈希算法的分布式计算和储存方法 |
| CN105282045A (zh) * | 2015-11-17 | 2016-01-27 | 高新兴科技集团股份有限公司 | 一种基于一致性哈希算法的分布式计算和储存方法 |
| CN108134810A (zh) * | 2016-12-01 | 2018-06-08 | ***通信有限公司研究院 | 一种确定资源调度组件的方法及其*** |
| CN108134810B (zh) * | 2016-12-01 | 2020-01-07 | ***通信有限公司研究院 | 一种确定资源调度组件的方法及其*** |
| CN110324282A (zh) * | 2018-03-29 | 2019-10-11 | 华耀(中国)科技有限公司 | Ssl/tls可视化流量的负载均衡方法及其*** |
| CN110417903A (zh) * | 2019-08-01 | 2019-11-05 | 广州知弘科技有限公司 | 一种基于云计算的信息处理方法和*** |
| CN113190607A (zh) * | 2021-05-21 | 2021-07-30 | 上海申铁信息工程有限公司 | 一种基于http请求的数据库负载均衡方法、装置及介质 |
| CN113190607B (zh) * | 2021-05-21 | 2024-04-16 | 上海申铁信息工程有限公司 | 一种基于http请求的数据库负载均衡方法、装置及介质 |
| CN114500340A (zh) * | 2021-12-23 | 2022-05-13 | 天翼云科技有限公司 | 一种智能调度分布式路径计算方法及*** |
| CN114500340B (zh) * | 2021-12-23 | 2023-08-04 | 天翼云科技有限公司 | 一种智能调度分布式路径计算方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103731482A (zh) | 一种集群负载均衡***及其实现方法 | |
| US11122067B2 (en) | Methods for detecting and mitigating malicious network behavior and devices thereof | |
| US10122740B1 (en) | Methods for establishing anomaly detection configurations and identifying anomalous network traffic and devices thereof | |
| CN107426206A (zh) | 一种对web服务器的防护装置和方法 | |
| CN105991412B (zh) | 消息推送方法及装置 | |
| CN103152352A (zh) | 一种基于云计算环境的全信息安全取证监听方法和*** | |
| CN107819891A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN102932391A (zh) | P2sp***中处理数据的方法、装置和*** | |
| CN107733867B (zh) | 一种发现僵尸网络及防护的方法、***和存储介质 | |
| CN108092940B (zh) | 一种dns的防护方法及相关设备 | |
| CN110798459B (zh) | 一种基于安全功能虚拟化的多安全节点联动防御方法 | |
| CN104408182A (zh) | 分布式***上网络爬虫数据的处理方法和装置 | |
| CN103067359A (zh) | 一种基于连接复用的提高服务器并发处理能力的***及方法 | |
| CN109889451A (zh) | 网络限速的***及其方法和服务器 | |
| CN110557289A (zh) | 一种支持配置的网络架构以及业务响应方法 | |
| KR101200906B1 (ko) | 네트워크 기반 고성능 유해사이트 차단 시스템 및 방법 | |
| CN102708325A (zh) | 虚拟桌面环境文件杀毒的方法和*** | |
| CN104506552B (zh) | 一种信息***安全监控及访问控制方法 | |
| CN111600929B (zh) | 传输线路探测方法、路由策略生成方法及代理服务器 | |
| Lin et al. | Security function virtualization based moving target defense of SDN-enabled smart grid | |
| CN112383573A (zh) | 一种基于多个攻击阶段的安全入侵回放设备 | |
| Lei et al. | Integrating consortium blockchain into edge server to defense against ransomware attack | |
| CN110545268A (zh) | 一种基于过程要素的多维度拟态表决方法 | |
| US10992702B2 (en) | Detecting malware on SPDY connections | |
| CN115277080A (zh) | 基于默克尔树的内容分发网络缓存污染防御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140416 |