CN106487902A - 一种基于消息中间件的数据收集方法和*** - Google Patents

一种基于消息中间件的数据收集方法和*** Download PDF

Info

Publication number
CN106487902A
CN106487902A CN201610912318.6A CN201610912318A CN106487902A CN 106487902 A CN106487902 A CN 106487902A CN 201610912318 A CN201610912318 A CN 201610912318A CN 106487902 A CN106487902 A CN 106487902A
Authority
CN
China
Prior art keywords
message
data
proxy server
oriented middleware
expansible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610912318.6A
Other languages
English (en)
Inventor
陈勇
姚磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huadi Computer Group Co Ltd
Original Assignee
Huadi Computer Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huadi Computer Group Co Ltd filed Critical Huadi Computer Group Co Ltd
Priority to CN201610912318.6A priority Critical patent/CN106487902A/zh
Publication of CN106487902A publication Critical patent/CN106487902A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/562—Brokering proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及一种基于消息中间件的数据收集方法，所述方法包括：将报文数据存储请求发送到代理服务器，代理服务器返回报文数据推送成功状态至数据推送端；通过代理服务器对多个Web应用程序服务器进行聚集以建立第一可扩展集群，利用第一可扩展集群同时接收报文数据，实现报文数据的实时缓存；以及采用消息中间件并且通过对多个Web应用程序服务器进行聚集而建立的第二可扩展集群，完成合并的报文数据一次性入库。

Description

一种基于消息中间件的数据收集方法和***
技术领域
本发明涉计算机应用领域，并且更具体地，涉及一种基于消息中间件的数据收集方法和***。
背景技术
随着IT技术的发展，现代企业快节奏的业务需求和竞争压力对数据处理的实时性和有效性提出了更高的要求，数据产生的速度太快，要处理的数据量也太大。现有的信息收集一般采用两种方式，一种是文件方式传输，即数据信息通过生成文件的方式，固定在某个时间段集中传输到服务接收端，服务接收端收到信息文件后集中入库处理分析；一种是通过消息串报文方式传输，即数据信息通过实时消息串报文及时传送到服务器接收端，服务端接口应用程序实施处理报文获取数据，完成入库操作。
随着数据量的暴增，以上两种数据收集处理方式在面对目前的实时处理分析需求及大数据量的数据处理时，都不能很好地实现***功能。方式一显然无法很好满足实时的数据传输需求，方式二虽然满足了实时传输需求，单次实时处理入库性能在数据量小的情况下也还行，但是数据量如果突破一定量级，就会有大量数据堆积在发送端无法及时发送，单次入库性能就会成为瓶颈。因此，大量数据要么无法实时传输，要么在实施传输时，大量数据拥堵，无法及时传输处理，***处理的性能和效率也急速下降，甚至无法处理运行。
发明内容
为了解决背景技术存在的上述问题，本发明提供一种基于消息中间件的数据收集方法，其特征在于，所述方法包括：
将报文数据存储请求发送到代理服务器，代理服务器返回报文数据推送成功状态至数据推送端；
通过代理服务器对多个Web应用程序服务器进行聚集以建立第一可扩展集群，利用第一可扩展集群同时接收报文数据，实现报文数据的实时缓存；以及
采用消息中间件并且通过对多个Web应用程序服务器进行聚集而建立的第二可扩展集群，完成合并的报文数据一次性存入数据库。
优选地，所述代理服务器能够支持高并行连接数。
优选地，所述代理服务器是Nginx。
优选地，所述消息中间件是Apache ActiveMQ。
优选地，所述多个Web应用程序服务器均是Tomcat服务器。
根据本发明的另一方面，本发明提供一种基于消息中间件的数据收集***，其特征在于，所述***包括：
数据推送端，其用于将报文数据存储请求发送到代理服务器，并接收代理服务器返回的报文数据推送成功状态；
代理服务器，其用于实时接收数据推送端推送的报文数据存储请求，并返回报文数据推送成功状态至数据推送端，以及对多个Web应用程度服务器进行聚集以建立第一可扩展集群；
第一可扩展集群，其用于同时接收报文数据，实现数据报文的实时缓存；
第二可扩展集群，其是通过对多个Web应用程度服务器进行聚集而建立的，用于完成合并的报文数据一次性存入数据库；以及
消息中间件，其用于为第二可扩展集群提供消息通信。
优选地，所述代理服务器能够支持高并行连接数。
优选地，所述代理服务器是Nginx。
优选地，所述消息中间件是Apache ActiveMQ。
优选地，所述多个Web应用程序服务器均是Tomcat服务器。
在本发明中，采用数据报文格式实时推送数据，最大可能地保证了数据传输的实时性，同时，本发明采用实时数据缓存的方式，先不对数据进行入库操作，并即刻返回报文推送成功状态给数据推送端，从而极大地降低了每次报文请求的响应时间，迅速提升了数据实时网络传输的效率。同时，针对单个Web应用程序服务器在大批量高并发请求情况下处理能力有限，通过对多个Web应用程度服务器进行集群，实现同时处理请求，提升了并发请求的处理能力。而在报文数据入库方面，针对现有技术每个报文数据一次入库的浪费数据库资源的操作，本发明采用多个报文数据合并后再进行一次入库操作的处理方式，从而极大提升了数据入库性能。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1示出了本发明具体实施方式的基于中间件的数据收集的方法的流程图；以及
图2示出了本发明具体实施方式的基于中间件的数据收集的***的结构图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
图1是本发明具体实施方式的基于中间件的数据收集的方法的流程图。基于中间件的数据收集的方法100从步骤101开始。
在步骤101，将报文数据存储请求发送到代理服务器，代理服务器返回报文数据推送成功状态至数据推送端。
在步骤102，通过代理服务器对多个Web应用程序服务器进行聚集以建立第一可扩展集群，利用第一可扩展集群同时接收报文数据，实现报文数据的实时缓存。
在步骤103，采用消息中间件并且通过对多个Web应用程序服务器进行聚集而建立的第二可扩展集群，完成合并的报文数据一次性存入数据库。
优选地，所述代理服务器能够支持高并行连接数。
优选地，所述代理服务器是Nginx。
优选地，所述消息中间件是Apache ActiveMQ。
优选地，所述多个Web应用程序服务器均是Tomcat服务器。
图2是本发明具体实施方式的基于中间件的数据收集的***的结构图。如图2所示，所述***200包括数据推送端201、代理服务器202、第一可扩展集群203、第二可扩展集群204、数据库205和消息中间件206。
数据推送端201，其用于将报文数据存储请求发送到代理服务器202，并接收代理服务器202返回的报文数据推送成功状态；
代理服务器202，其用于实时接收数据推送端201推送的报文数据存储请求，并返回报文数据推送成功状态至数据推送端201，以及对多个Web应用程度服务器进行聚集以建立第一可扩展集群203；
第一可扩展集群203，其用于同时接收报文数据，实现数据报文的实时缓存；
第二可扩展集群204，其是通过对多个Web应用程度服务器进行聚集而建立的，用于完成合并的报文数据一次性存入数据库205；以及
消息中间件206，其用于为第二可扩展集群204提供消息通信。
优选地，所述代理服务器202能够支持高并行连接数。
优选地，所述代理服务器202是Nginx。Nginx是一个高性能的HTTP和反向代理服务器。在高连接并发的情况下，Nginx能够支持高达50,000个并发连接数的响应，而内存、CPU等***资源消耗却非常低、运行非常稳定。
优选地，所述消息中间件206是Apache ActiveMQ。Apache ActiveMQ是一种开源的，实现了JMS1.1规范的，面向消息(MOM)的中间件，为应用程序提供高效的、可扩展的、稳定的和安全的企业级消息通信。
优选地，所述多个Web应用程序服务器均是Tomcat服务器。
已经通过上述实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该【装置、组件等】”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。

Claims (10)

1.一种基于消息中间件的数据收集方法，其特征在于，所述方法包括：
将报文数据存储请求发送到代理服务器，代理服务器返回报文数据推送成功状态至数据推送端；
通过代理服务器对多个Web应用程序服务器进行聚集以建立第一可扩展集群，利用第一可扩展集群同时接收报文数据，实现报文数据的实时缓存；以及
采用消息中间件并且通过对多个Web应用程序服务器进行聚集而建立的第二可扩展集群，完成合并的报文数据一次性存入数据库。
2.根据权利要求1所述的方法，其特征在于，所述代理服务器能够支持高并行连接数。
3.根据权利要求2所述的方法，其特征在于，所述代理服务器是Nginx。
4.根据权利要求1所述的方法，其特征在于，所述消息中间件是ApacheActiveMQ。
5.根据权利要求1所述的方法，其特征在于，所述多个Web应用程序服务器均是Tomcat服务器。
6.一种基于消息中间件的数据收集***，其特征在于，所述***包括：
数据推送端，其用于将报文数据存储请求发送到代理服务器，并接收代理服务器返回的报文数据推送成功状态；
代理服务器，其用于实时接收数据推送端推送的报文数据存储请求，并返回报文数据推送成功状态至数据推送端，以及对多个Web应用程度服务器进行聚集以建立第一可扩展集群；
第一可扩展集群，其用于同时接收报文数据，实现数据报文的实时缓存；
第二可扩展集群，其是通过对多个Web应用程度服务器进行聚集而建立的，用于完成合并的报文数据一次性存入数据库；以及
消息中间件，其用于为第二可扩展集群提供消息通信。
7.根据权利要求6所述的***，其特征在于，所述代理服务器能够支持高并行连接数。
8.根据权利要求7所述的***，其特征在于，所述代理服务器是Nginx。
9.根据权利要求6所述的***，其特征在于，所述消息中间件是ApacheActiveMQ。
10.根据权利要求6所述的***，其特征在于，所述多个Web应用程序服务器均是Tomcat服务器。
CN201610912318.6A 2016-10-19 2016-10-19 一种基于消息中间件的数据收集方法和*** Pending CN106487902A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610912318.6A CN106487902A (zh) 2016-10-19 2016-10-19 一种基于消息中间件的数据收集方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610912318.6A CN106487902A (zh) 2016-10-19 2016-10-19 一种基于消息中间件的数据收集方法和***

Publications (1)

Publication Number Publication Date
CN106487902A true CN106487902A (zh) 2017-03-08

Family

ID=58270179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610912318.6A Pending CN106487902A (zh) 2016-10-19 2016-10-19 一种基于消息中间件的数据收集方法和***

Country Status (1)

Country Link
CN (1) CN106487902A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109873904A (zh) * 2019-03-05 2019-06-11 平安科技（深圳）有限公司 消息推送的用户消息状态上报处理方法、装置及存储介质
CN113055483A (zh) * 2021-03-19 2021-06-29 中国工商银行股份有限公司 消息中间件数据处理方法、装置及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515291A (zh) * 2009-03-26 2009-08-26 北京泰合佳通信息技术有限公司 一种将数据批量导入数据库的方法及***
CN103577551A (zh) * 2013-10-16 2014-02-12 青岛海信传媒网络技术有限公司 一种数据批量提交到数据库的方法和装置
CN103595800A (zh) * 2013-11-18 2014-02-19 中国联合网络通信集团有限公司 一种数据实时分发处理装置及方法
CN103631539A (zh) * 2013-12-13 2014-03-12 百度在线网络技术（北京）有限公司 基于擦除编码机制的分布式存储***及其存储方法
CN105761039A (zh) * 2016-02-17 2016-07-13 华迪计算机集团有限公司 快递信息大数据处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515291A (zh) * 2009-03-26 2009-08-26 北京泰合佳通信息技术有限公司 一种将数据批量导入数据库的方法及***
CN103577551A (zh) * 2013-10-16 2014-02-12 青岛海信传媒网络技术有限公司 一种数据批量提交到数据库的方法和装置
CN103595800A (zh) * 2013-11-18 2014-02-19 中国联合网络通信集团有限公司 一种数据实时分发处理装置及方法
CN103631539A (zh) * 2013-12-13 2014-03-12 百度在线网络技术（北京）有限公司 基于擦除编码机制的分布式存储***及其存储方法
CN105761039A (zh) * 2016-02-17 2016-07-13 华迪计算机集团有限公司 快递信息大数据处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109873904A (zh) * 2019-03-05 2019-06-11 平安科技（深圳）有限公司 消息推送的用户消息状态上报处理方法、装置及存储介质
CN113055483A (zh) * 2021-03-19 2021-06-29 中国工商银行股份有限公司 消息中间件数据处理方法、装置及***

Similar Documents

Publication Publication Date Title
US20080177872A1 (en) Managing aggregation and sending of communications
US20060026169A1 (en) Communication method with reduced response time in a distributed data processing system
CN107256180B (zh) 数据处理方法、装置及终端
US20130254261A1 (en) System and Method of Managing Servers for Streaming Desktop Applications
CN111277629A (zh) 一种基于高可用性的web高并发***及方法
CN105900391A (zh) 使用restlike api进行实时通信
CN105338061A (zh) 一种轻量级消息中间件的实现方法与***
CN112236760B (zh) 一种图数据的更新方法、***、计算机可读存储介质及设备
US7818752B2 (en) Interface for application components
CN111221793A (zh) 数据挖掘方法、平台、计算机设备及存储介质
CN114866528A (zh) 一种基于MQTT和Websocket的数据通讯方法
CN112121413A (zh) 功能服务的响应方法、***、装置、终端及介质
CN106487902A (zh) 一种基于消息中间件的数据收集方法和***
CN113014608A (zh) 一种流量分发控制方法、装置、电子设备及存储介质
CN114301980A (zh) 容器集群的调度方法、装置、***及计算机可读介质
CN116743754A (zh) 信息处理方法、装置、服务器集群、电子设备和介质
Zhang et al. A locally distributed mobile computing framework for DNN based android applications
Meiklejohn et al. {PARTISAN}: Scaling the Distributed Actor Runtime
CN108810070B (zh) 一种资源共享方法、装置、智能设备和存储介质
CN108076111B (zh) 一种在大数据平台中分发数据的***及方法
CN103312808A (zh) 一种云操作***总线及通信方法
CN111327511B (zh) 即时通讯方法、***、终端设备与存储介质
CN110380991A (zh) 一种IOCP机制及基于eFPGA和IOCP的物联网通信加速***
CN115037631B (zh) 基于集群的网络仿真方法、装置和网络仿真***
KR102367017B1 (ko) 통신 네트워크 시스템 및 그것의 제어방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170308

RJ01 Rejection of invention patent application after publication