CN111381975A - 消息队列实现业务和报表***数据传输及异地多活的方法 - Google Patents
消息队列实现业务和报表***数据传输及异地多活的方法 Download PDFInfo
- Publication number
- CN111381975A CN111381975A CN201811617285.8A CN201811617285A CN111381975A CN 111381975 A CN111381975 A CN 111381975A CN 201811617285 A CN201811617285 A CN 201811617285A CN 111381975 A CN111381975 A CN 111381975A
- Authority
- CN
- China
- Prior art keywords
- message
- message queue
- activity
- business
- data transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000000694 effects Effects 0.000 title claims abstract description 14
- 230000008676 import Effects 0.000 claims abstract description 4
- 238000011066 ex-situ storage Methods 0.000 claims description 8
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供消息队列实现业务和报表***数据传输及异地多活的方法，包括以下步骤：S1：构建消息队列服务；S2：构建消息传输的打桩点：在业务***层面，构建消息传输的打桩点；S3：发送消息体：在业务***层面，将定义好的消息体发送到指定队列；S4：报表***信息录入：报表***消费者模块，消费消息，并将数据导入数据库到报表***；S5：报表***将指标反馈到前端模块。本发明通过消息队列的方式，实现业务***数据到报表***数据的数据传输服务的架构设计及分布式数据库的设计。
Description
技术领域
本发明主要涉及数据库架构领域，尤其涉及消息队列实现业务和报表***数据传输及异地多活的方法。
背景技术
报表***的数据来源及统计方式，通常是直接跟业务***耦合，读取业务***数据并通过业务***或存储过程等方式进行计算，但这种方式报表***会跟业务***严重耦合，即业务***的升级会间接导致报表***的数据结构变更进而需要同步升级，另外随着业务***规模的增长，报表***的压力也会越来越多，进而影响业务***的使用。
已公开中国发明专利，申请号CN201310445096.8，专利名称：创建数据报表业务的方法和相关装置及业务***，申请日：20130926，本发明涉及创建数据报表业务的方法和相关装置及业务***。其中一种创建数据报表业务的方法，可包括：报表平台接收来自第一客户端的数据报表业务创建请求；从预先创建的多个数据报表页面之中选择至少一个数据报表页面；创建并发布第一数据报表业务，其中，创建的第一数据报表业务包含了至少一个数据报表页面。本发明实施例提供的技术方案有利于降低数据报表业务的创建成本和创建复杂度。
发明内容
本发明提供消息队列实现业务和报表***数据传输及异地多活的方法，针对现有技术的上述缺陷，提供消息队列实现业务和报表***数据传输及异地多活的方法，包括以下步骤：
S1：构建消息队列服务；
S2：构建消息传输的打桩点：在业务***层面，构建消息传输的打桩点；
S3：发送消息体：在业务***层面，将定义好的消息体发送到指定队列；
S4：报表***信息录入：报表***消费者模块，消费消息，并将数据导入数据库到报表***；
S5：报表***将指标反馈到前端模块。
优选的，在S1步骤中，采用消息队列服务为MessageQueue。
优选的，打桩点是指订单的新建，订单状态的更新。
优选的，在S3步骤中，按消息队列要求的生产者及tag将消息体进行定义。
优选的，在S3步骤中，业务***层面是指生产者模块。
优选的，数据库采用分布式异地多活的整体架构，采用广播模式配置生产者和消费者的模式为。
优选的，消费者采用异地部署和异地库的方式部署报表***。
本发明的有益效果：通过消息队列的方式，实现业务***数据到报表***数据的数据传输服务的架构设计及分布式数据库的设计。
具体实施方式
本发明包括以下步骤：
S1：构建消息队列服务；
S2：构建消息传输的打桩点：在业务***层面，构建消息传输的打桩点；
S3：发送消息体：在业务***层面，将定义好的消息体发送到指定队列；
S4：报表***信息录入：报表***消费者模块，消费消息，并将数据导入数据库到报表***；
S5：报表***将指标反馈到前端模块。
在使用中，利用消息队列对应用***及报表***的解耦以及报表***内消费的数据的入库及获取统计信息的内聚的实现方式；利用消息队列对报表***的分布式数据库异地多活的实现方式。
在本实施中优选的，在S1步骤中，采用消息队列服务为MessageQueue。
采用MessageQueue服务，一方面，消息队列具有稳定性安全性，因消息存储在队列中并一直留在那里，直到被适当地处理；另一方面，异步及并发消峰能力突出，异步发送消息的时候，同时可以做其他的任务，如同消息已经得到了处理，且并发的事务通过排队的方式有效降低了服务器的压力起到了消峰的作用。
在本实施中优选的，打桩点是指订单的新建，订单状态的更新。
在打桩点中，集合订单的各种信息，实时变更利于信息的传输。
在本实施中优选的，在S3步骤中，按消息队列要求的生产者及tag将消息体进行定义。
设置上述信息编辑要求，便于信息的传输。
在本实施中优选的，在S3步骤中，业务***层面是指生产者模块。
在生产者模块中实施发送消息体的步骤。
在本实施中优选的，数据库采用分布式异地多活的整体架构，采用广播模式配置生产者和消费者的模式为。
设置上述架构，采用广播模式可以达到一个生产者的消息，会被多个消费者消费的目的。
在本实施中优选的，消费者采用异地部署和异地库的方式部署报表***。
设置上述结构，异地部署和异地库的方式，可以保证一份数据，会在多点多活，这样即使一个地方的库或***由于各种原因导致***不可用，可以及时切换到其他可用的地区及库上，保证***的健壮性和可用性。
上述实施例仅例示性说明本专利申请的原理及其功效，而非用于限制本专利申请。任何熟悉此技术的人士皆可在不违背本专利申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本专利申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本专利请的权利要求所涵盖。
Claims (7)
1.消息队列实现业务和报表***数据传输及异地多活的方法，其特征在于，包括以下步骤：
S1：构建消息队列服务；
S2：构建消息传输的打桩点：在业务***层面，构建消息传输的打桩点；
S3：发送消息体：在业务***层面，将定义好的消息体发送到指定队列；
S4：报表***信息录入：报表***消费者模块，消费消息，并将数据导入数据库到报表***；
S5：报表***将指标反馈到前端模块。
2.根据权利要求1所述的消息队列实现业务和报表***数据传输及异地多活的方法，其特征在于：在所述S1步骤中，采用消息队列服务为MessageQueue。
3.根据权利要求2所述的消息队列实现业务和报表***数据传输及异地多活的方法，其特征在于：所述打桩点是指订单的新建，订单状态的更新。
4.根据权利要求3所述的消息队列实现业务和报表***数据传输及异地多活的方法，其特征在于：在所述S3步骤中，按消息队列要求的生产者及tag将消息体进行定义。
5.根据权利要求4所述的消息队列实现业务和报表***数据传输及异地多活的方法，其特征在于：在所述S3步骤中，业务***层面是指生产者模块。
6.根据权利要求5所述的消息队列实现业务和报表***数据传输及异地多活的方法，其特征在于：所述数据库采用分布式异地多活的整体架构，采用广播模式配置生产者和消费者的模式为。
7.根据权利要求6所述的消息队列实现业务和报表***数据传输及异地多活的方法，其特征在于：所述消费者采用异地部署和异地库的方式部署报表***。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811617285.8A CN111381975A (zh) | 2018-12-28 | 2018-12-28 | 消息队列实现业务和报表***数据传输及异地多活的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811617285.8A CN111381975A (zh) | 2018-12-28 | 2018-12-28 | 消息队列实现业务和报表***数据传输及异地多活的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111381975A true CN111381975A (zh) | 2020-07-07 |
Family
ID=71219856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811617285.8A Pending CN111381975A (zh) | 2018-12-28 | 2018-12-28 | 消息队列实现业务和报表***数据传输及异地多活的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111381975A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090248475A1 (en) * | 2005-11-03 | 2009-10-01 | Ktfreetel Co., Ltd. | Open mobile business supporting system and method |
| CN103019866A (zh) * | 2012-10-24 | 2013-04-03 | 北京京东世纪贸易有限公司 | 基于消息队列的分布式方法和*** |
| CN103984734A (zh) * | 2014-05-20 | 2014-08-13 | 中国科学院软件研究所 | 一种面向高性能计算的云服务消息传递方法 |
-
2018
- 2018-12-28 CN CN201811617285.8A patent/CN111381975A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090248475A1 (en) * | 2005-11-03 | 2009-10-01 | Ktfreetel Co., Ltd. | Open mobile business supporting system and method |
| CN103019866A (zh) * | 2012-10-24 | 2013-04-03 | 北京京东世纪贸易有限公司 | 基于消息队列的分布式方法和*** |
| CN103984734A (zh) * | 2014-05-20 | 2014-08-13 | 中国科学院软件研究所 | 一种面向高性能计算的云服务消息传递方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109739929B (zh) | 数据同步方法、装置及*** | |
| CN109756417B (zh) | 离线消息分发方法、服务器及存储介质 | |
| CN101645022B (zh) | 用于多个集群的作业调度管理***及方法 | |
| CN110795503A (zh) | 分布式存储***的多集群数据同步方法及相关装置 | |
| CN112527848B (zh) | 基于多数据源的报表数据查询方法、装置、***及存储介质 | |
| CN111143382B (zh) | 数据处理方法、***和计算机可读存储介质 | |
| CN102780724A (zh) | 一种类目信息的发送方法、***及设备 | |
| CN112069265A (zh) | 配置数据的同步方法、业务数据***、计算机***和介质 | |
| CN106603711B (zh) | 通信方法、***及消息服务器 | |
| CN108170832B (zh) | 一种面向工业大数据的异构数据库的监控***及监控方法 | |
| CN109766201A (zh) | 任务分发方法、服务器、客户端和*** | |
| CN102012899A (zh) | 一种数据更新的方法、***及设备 | |
| US8301750B2 (en) | Apparatus, system, and method for facilitating communication between an enterprise information system and a client | |
| CN103701720A (zh) | 与Socket服务器通信的方法、联机交易事务管理*** | |
| CN105162869A (zh) | 一种用于数据备份管理的方法与设备 | |
| CN107562803A (zh) | 数据供应***及方法、终端 | |
| CN107291938B (zh) | 订单查询***及方法 | |
| CN107203437A (zh) | 防止内存数据丢失的方法、装置和*** | |
| CN113220432A (zh) | 多云互联方法、装置、设备、存储介质及产品 | |
| CN105450733A (zh) | 一种业务数据分发处理方法及*** | |
| CN111381975A (zh) | 消息队列实现业务和报表***数据传输及异地多活的方法 | |
| CN110929126A (zh) | 一种基于远程过程调用实现的分布式爬虫调度方法 | |
| CN114401239B (zh) | 元数据传输方法、装置、计算机设备和存储介质 | |
| CN107273047B (zh) | 一种缓存管理方法、缓存管理器及存储管理软件 | |
| CN110188140A (zh) | 数据拉取方法、装置、存储介质和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200707 |