CN107483531A - 一种海量数据高并发接收解决方法及*** - Google Patents

一种海量数据高并发接收解决方法及*** Download PDF

Info

Publication number
CN107483531A
CN107483531A CN201710471042.7A CN201710471042A CN107483531A CN 107483531 A CN107483531 A CN 107483531A CN 201710471042 A CN201710471042 A CN 201710471042A CN 107483531 A CN107483531 A CN 107483531A
Authority
CN
China
Prior art keywords
data
application server
server
application
proxy server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710471042.7A
Other languages
English (en)
Inventor
朱明辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huadi Computer Group Co Ltd
Original Assignee
Huadi Computer Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huadi Computer Group Co Ltd filed Critical Huadi Computer Group Co Ltd
Priority to CN201710471042.7A priority Critical patent/CN107483531A/zh
Publication of CN107483531A publication Critical patent/CN107483531A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0281—Proxies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1029—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1034—Reaction to server failures by a load balancer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种海量数据高并发接收解决方法及***，所述方法指代理服务器接收到请求端数据后根据负载均衡策略向应用服务器阵列按权重分配数据，所述代理服务器可根据时时情况修正权重分配，应用服务器对数据进行正确性验证，所述应用服务器将验证结果返回给代理服务器，并将正确信息放入消息队列中，同时代理服务器将验证结果返回给请求端；所述***包含代理服务器、应用服务器阵列以及消息队列，所述代理服务器用于接收请求端推送数据，并根据负载均衡策略向应用服务器阵列中的各应用服务器分配数据，所述应用服务器用于根据接收的数据进行数据验证，并将验证通过的数据放入消息队列中，所述消息队列用于存储验证通过的数据。

Description

一种海量数据高并发接收解决方法及***
技术领域
本发明涉及数据接收处理领域，更具体地，涉及一种海量数据高并发接收解决方法及***。
背景技术
随着国民经济的快速发展，大数据时代已经到来，人们衣食住行的各类需求都以数据的穿梭交互，近年来数据的体量呈几何形式增长，对数据的收发提出了挑战。传统的web应用接收数据，一般采用的是web应用服务器和web工程，而这样的方式是一个接口对应一个接收端，横向扩展能力有限，高并发处理能力有限，如强行横向扩展可能会影响数据处理效率，影响整体传输体系效率，为了配合大数据时代数据传输需求，亟需提高数据收发的高并发处理能力。
发明内容
为了解决背景技术存在的数据高并发处理能力不足、横向拓展能力有限的问题，本发明提供了一种海量数据高并发接收解决方法及***；所述方法及***基于负载均衡能力并具有很强的横向扩展能力，可以高并发收发海量数据。
一种海量数据高并发接收解决方法，所述方法包含：
步骤1，代理服务器接收请求端推送的数据；
步骤2，代理服务器根据负载均衡策略向应用服务器阵列中的各台应用服务器分配数据；所述应用服务器阵列包括多台应用服务器，各台应用服务器间相互并联；所述负载均衡策略指代理服务器通过配置权重，给各应用服务器分配处理量；
步骤3，应用服务器对根据接收的数据进行数据的正确性验证；
步骤4，应用服务器将验证结果返回给代理服务器，同时应用服务器将验证正确对应的数据放入消息队列中；
步骤5，代理服务器将验证结果返回至请求端；若所述验证结果不通过，则代理服务器将错误消息返回至请求端；若所述验证结果通过，则代理服务器将正确消息返回至请求端。
进一步的，所述代理服务器为Nginx代理服务器；所述应用服务器为tomcat应用服务器；
进一步的，所述应用服务器阵列支持横向扩展；所述横向扩展指增加应用服务器阵列中应用服务器数量；所述一台或几台应用服务器不可用时，其他应用服务器仍正常工作；
进一步的，所述代理服务器时时检测可用应用服务器的负载状态，并根据状态时时更新权重配置；当一台或几台应用服务器不可用时，所述代理服务器将其处理量重新分配给其他可用应用服务器；
进一步的，所述消息队列中的数据可以根据用户需求进行多样化处理；所述消息队列采用点对点的生产消费模式，即所述消息队列里的信息只能被消费一次。
一种海量数据高并发接收解决***，所述***包含：
代理服务器，所述代理服务器用于接收请求端推送数据，并根据负载均衡策略向应用服务器阵列中的各应用服务器分配数据；所述负载均衡策略指代理服务器通过配置权重，给各应用服务器分配处理量；
应用服务器阵列，所述应用服务器阵列包含多台应用服务器，各应用服务器间相互并联；所述应用服务器用于根据接收的数据进行数据验证，将验证结果返回给代理服务器，并将验证通过的数据放入消息队列中；
消息队列，所述消息队列用于存储验证通过的数据；
进一步的，所述代理服务器为Nginx代理服务器；所述应用服务器为tomcat应用服务器；
进一步的，所述代理服务器时时检测可用应用服务器的负载状态，并根据状态时时更新权重配置；当一台或几台应用服务器不可用时，所述代理服务器将其处理量重新分配给其他可用应用服务器；
进一步的，所述应用服务器阵列支持横向扩展；所述横向扩展指增加应用服务器阵列中应用服务器数量；所述一台或几台应用服务器不可用时，其他应用服务器仍正常工作；
进一步的，所述消息队列中的数据可以根据需求进行数据提取；所述消息队列采用点对点的生产消费模式，即所述消息队列里的信息只能被消费一次。
本发明的有益效果为：本发明的技术方案，给出了一种海量数据高并发接收解决方法及***，所述方法及***基于具有很强的横向扩展能力，并根据负载均衡策略分配各个应用服务器的处理量，可以高并发收发海量数据，并将处理后的消息数据存储，以应对后续需求。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1为本发明具体实施方式的一种海量数据高并发接收解决方法的流程图；
图2为本发明具体实施方式的一种海量数据高并发接收解决***的结构图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
一种海量数据高并发接收解决方法，所述方法包含：
步骤101，代理服务器接收请求端推送的数据；
步骤102，代理服务器根据负载均衡策略向应用服务器阵列中的各台应用服务器分配数据；所述应用服务器阵列包括多台应用服务器，各台应用服务器间相互并联；所述负载均衡策略指代理服务器通过配置权重，给各应用服务器分配处理量；
步骤103，应用服务器对根据接收的数据进行数据的正确性验证；
步骤104，应用服务器将验证结果返回给代理服务器，同时应用服务器将验证正确对应的数据放入消息队列中；
步骤105，代理服务器将验证结果返回至请求端；若所述验证结果不通过，则代理服务器将错误消息返回至请求端；若所述验证结果通过，则代理服务器将正确消息返回至请求端。
进一步的，所述代理服务器为Nginx代理服务器；所述应用服务器为tomcat应用服务器；
进一步的，所述应用服务器阵列支持横向扩展；所述横向扩展指增加应用服务器阵列中应用服务器数量；所述一台或几台应用服务器不可用时，其他应用服务器仍正常工作；
进一步的，所述代理服务器时时检测可用应用服务器的负载状态，并根据状态时时更新权重配置；当一台或几台应用服务器不可用时，所述代理服务器将其处理量重新分配给其他可用应用服务器；
进一步的，所述消息队列中的数据可以根据用户需求进行多样化处理；所述消息队列采用点对点的生产消费模式，即所述消息队列里的信息只能被消费一次。
一种海量数据高并发接收解决***，所述***包含：
代理服务器201，所述代理服务器用于接收请求端200推送数据，并根据负载均衡策略向应用服务器阵列202中的各应用服务器分配数据；所述负载均衡策略指代理服务器201通过配置权重，给各应用服务器分配处理量；
应用服务器阵列202，所述应用服务器阵列202包含多台应用服务器，各应用服务器间相互并联；所述应用服务器用于根据接收的数据进行数据验证，将验证结果返回给代理服务器201，并将验证通过的数据放入消息队列203中；
消息队列203，所述消息队列203用于存储验证通过的数据；
进一步的，所述代理服务器201为Nginx代理服务器；所述应用服务器为tomcat应用服务器；
进一步的，所述代理服务器201时时检测可用应用服务器的负载状态，并根据状态时时更新权重配置；当一台或几台应用服务器不可用时，所述代理服务器201将其处理量重新分配给其他可用应用服务器；
进一步的，所述应用服务器阵列202支持横向扩展；所述横向扩展指增加应用服务器阵列202中应用服务器数量；所述一台或几台应用服务器不可用时，其他应用服务器仍正常工作；
进一步的，所述消息队列203中的数据可以根据需求进行数据提取；所述消息队列203采用点对点的生产消费模式，即所述消息队列里的信息只能被消费一次。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种海量数据高并发接收解决方法，所述方法包含：
步骤1，代理服务器接收请求端推送的数据；
步骤2，代理服务器根据负载均衡策略向应用服务器阵列中的各台应用服务器分配数据；所述应用服务器阵列包括多台应用服务器，各台应用服务器间相互并联；所述负载均衡策略指代理服务器通过配置权重，给各应用服务器分配处理量；
步骤3，应用服务器对根据接收的数据进行数据的正确性验证；
步骤4，应用服务器将验证结果返回给代理服务器，同时应用服务器将验证正确对应的数据放入消息队列中；
步骤5，代理服务器将验证结果返回至请求端；若所述验证结果不通过，则代理服务器将错误消息返回至请求端；若所述验证结果通过，则代理服务器将正确消息返回至请求端。
2.根据权利要求1所述的方法，其特征在于：所述代理服务器为Nginx代理服务器；所述应用服务器为tomcat应用服务器。
3.根据权利要求1所述的方法，其特征在于：所述应用服务器阵列支持横向扩展；所述横向扩展指增加应用服务器阵列中应用服务器数量；所述一台或几台应用服务器不可用时，其他应用服务器仍正常工作。
4.根据权利要求1所述的方法，其特征在于：所述代理服务器时时检测可用应用服务器的负载状态，并根据状态时时更新权重配置；当一台或几台应用服务器不可用时，所述代理服务器将其处理量重新分配给其他可用应用服务器。
5.根据权利要求1所述的方法，其特征在于：所述消息队列中的数据可以根据用户需求进行多样化处理；所述消息队列采用点对点的生产消费模式，即所述消息队列里的信息只能被消费一次。
6.一种海量数据高并发接收解决***，所述***包含：
代理服务器，所述代理服务器用于接收请求端推送数据，并根据负载均衡策略向应用服务器阵列中的各应用服务器分配数据；所述负载均衡策略指代理服务器通过配置权重，给各应用服务器分配处理量；
应用服务器阵列，所述应用服务器阵列包含多台应用服务器，各应用服务器间相互并联；所述应用服务器用于根据接收的数据进行数据验证，将验证结果返回给代理服务器，并将验证通过的数据放入消息队列中；
消息队列，所述消息队列用于存储验证通过的数据。
7.根据权利要求6所述的方法，其特征在于：所述代理服务器为Nginx代理服务器；所述应用服务器为tomcat应用服务器。
8.根据权利要求6所述的***，其特征在于：所述代理服务器时时检测可用应用服务器的负载状态，并根据状态时时更新权重配置；当一台或几台应用服务器不可用时，所述代理服务器将其处理量重新分配给其他可用应用服务器。
9.根据权利要求6所述的***，其特征在于：所述应用服务器阵列支持横向扩展；所述横向扩展指增加应用服务器阵列中应用服务器数量；所述一台或几台应用服务器不可用时，其他应用服务器仍正常工作。
10.根据权利要求6所述的***，其特征在于：所述消息队列中的数据可以根据需求进行数据提取；所述消息队列采用点对点的生产消费模式，即所述消息队列里的信息只能被消费一次。
CN201710471042.7A 2017-06-20 2017-06-20 一种海量数据高并发接收解决方法及*** Pending CN107483531A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710471042.7A CN107483531A (zh) 2017-06-20 2017-06-20 一种海量数据高并发接收解决方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710471042.7A CN107483531A (zh) 2017-06-20 2017-06-20 一种海量数据高并发接收解决方法及***

Publications (1)

Publication Number Publication Date
CN107483531A true CN107483531A (zh) 2017-12-15

Family

ID=60594067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710471042.7A Pending CN107483531A (zh) 2017-06-20 2017-06-20 一种海量数据高并发接收解决方法及***

Country Status (1)

Country Link
CN (1) CN107483531A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109194716A (zh) * 2018-08-06 2019-01-11 深圳市华讯方舟太赫兹科技有限公司 一种处理请求的方法、***、服务器及存储装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103825835A (zh) * 2013-11-29 2014-05-28 中邮科通信技术股份有限公司 一种互联网高并发秒杀***
CN104902001A (zh) * 2015-04-07 2015-09-09 杭州电子科技大学 基于操作***虚拟化的Web请求负载均衡方法
CN105357250A (zh) * 2015-09-24 2016-02-24 上海萌果信息科技有限公司 一种数据运营***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103825835A (zh) * 2013-11-29 2014-05-28 中邮科通信技术股份有限公司 一种互联网高并发秒杀***
CN104902001A (zh) * 2015-04-07 2015-09-09 杭州电子科技大学 基于操作***虚拟化的Web请求负载均衡方法
CN105357250A (zh) * 2015-09-24 2016-02-24 上海萌果信息科技有限公司 一种数据运营***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109194716A (zh) * 2018-08-06 2019-01-11 深圳市华讯方舟太赫兹科技有限公司 一种处理请求的方法、***、服务器及存储装置

Similar Documents

Publication Publication Date Title
CN107819867A (zh) 一种集群网络的负载均衡方法和装置
CN103744719B (zh) 锁管理方法及***、锁管理***的配置方法及装置
CN110162388A (zh) 一种任务调度方法、***及终端设备
CN103207806B (zh) 一种发送消息的方法及其***
CN101577927A (zh) 负载测量方法、演进基站和负载测量***
CN105700927B (zh) 版本升级方法、终端设备及版本服务器
CN104901898A (zh) 一种负载均衡方法及装置
CN101582850A (zh) 一种实现负载均衡的方法和***
CN103338230B (zh) 一种业务数据的处理方法及***
CN109510869A (zh) 一种基于边缘计算的物联网服务动态卸载方法及装置
CN110209500A (zh) 服务器负载均衡方法及装置
CN106325996B (zh) 一种gpu资源的分配方法及***
CN108632844B (zh) 信息处理方法、装置及电子设备
CN114465653B (zh) 一种面向卫星集群的在轨边缘计算方法
Bukhsh et al. A decentralized edge computing latency-aware task management method with high availability for IoT applications
CN110062027A (zh) 负载均衡方法、中心服务器及终端设备
CN107483531A (zh) 一种海量数据高并发接收解决方法及***
CN114327804B (zh) 基于区块链的分布式事务处理方法、装置、设备和介质
CN106325995B (zh) 一种gpu资源的分配方法及***
CN109191135A (zh) 基于区块链的交易重试方法、装置、设备及可读存储介质
CN105893134A (zh) 一种信息处理方法及电子设备
CN106201735A (zh) 消息传输方法及***
CN116865404A (zh) 一种电池簇***并机方法、装置、设备及介质
CN101616393A (zh) 一种充值卡置位的方法、***和装置
CN106355955B (zh) 一种水路交通综合信息服务方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171215

RJ01 Rejection of invention patent application after publication