CN104408132B - 数据推送方法和*** - Google Patents
数据推送方法和*** Download PDFInfo
- Publication number
- CN104408132B CN104408132B CN201410706244.1A CN201410706244A CN104408132B CN 104408132 B CN104408132 B CN 104408132B CN 201410706244 A CN201410706244 A CN 201410706244A CN 104408132 B CN104408132 B CN 104408132B
- Authority
- CN
- China
- Prior art keywords
- database
- data
- incremental
- server
- log analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims description 27
- 239000000284 extract Substances 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 description 23
- 238000013075 data extraction Methods 0.000 description 12
- 238000011161 development Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 230000002688 persistence Effects 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 241001233242 Lontra Species 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- 101150025129 POP1 gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种数据推送方法和***。该数据推送方法包括：抽取任务创建处理，以数据库实例为边界将数据从源端数据库转储到数据库增量日志解析服务器中，通过数据库增量日志解析获得增量数据，并且将获得的增量数据暂存于数据库增量日志解析服务器的内存中；消息分发处理，将获得的增量数据按照需要的规则以相应的主题和标记作为消息分发到分布式消息队列服务器中的相应的一个或多个消息队列中，主题代表逻辑的库名，标记代表逻辑的表名，每条作为消息被分发的增量数据都包括相应的主题和标记；以及订阅推送处理，分布式消息队列服务器基于订阅端的各个订阅任务订阅的主题而将所述一个或多个消息队列推送到订阅端。
Description
技术领域
本发明涉及基于数据库增量日志解析的大规模数据流实时消费技术，更具体地，涉及一种数据推送方法和***。
背景技术
随着公司业务的发展，对于大规模的数据抽取的需求越发强烈。数据抽取是指从源端数据库抽取需要的数据。实际应用中，源端数据库较多采用的是关系数据库。常见的数据抽取方式包括：(一)全量数据抽取，全量数据抽取类似于数据迁移或数据复制，它将源端中的表或视图的数据原封不动的从数据库中抽取出来；(二)增量数据抽取，增量数据抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。增量数据抽取较全量数据抽取应用更广。如何捕获变化的数据是增量数据抽取的关键。对捕获方法一般有两点要求：准确性，能够将业务***中的变化数据准确地捕获到；性能，尽量减少对业务***造成太大的压力，影响现有业务。
在传统的定时转储(dump)增量数据的方式已不能满足需求的情况下，实时增量数据的获取成为了解决这一问题的趋势。数据推送平台是一套实现异构数据库间实现增/全量的数据推送的完整解决方案。增量推送旨在解决大规模下高效稳定的推送增量数据给订阅客户端以满足业务需求的目的。
传统的增量数据的抽取方式是定时转储增量数据生成相应的数据文件，但这种方式存在以下问题：需要在源端业务表增加时间戳字段，一定程度上污染了源端业务表；定时执行导致数据存在一定程度的延时；转储出来的数据文件和业务关联过紧，不易被重用；定时任务启动时往往对源端数据库和网络造成较大的瞬时压力。
而基于数据库增量日志解析的增量数据流很好地解决了上述问题，能够对源端业务表无侵入，增量数据的准实时(只要订阅端消费速度够快)，按需抽取及订阅数据，h散，不易出现瞬时峰值。例如，现有技术中采用的canal开源项目就是基于数据库增量日志解析，并提供了增量订阅和消费功能。canal能够很好的实现数据库增量日志解析工作，基于canal的功能，我们可以通过配置抽取任务从源端抽取增量数据暂存于内存，然后根据业务需求开发定制的订阅客户端。
图1示意性地图示了根据现有技术的数据推送***的视图。现有技术的数据推送***100包括：源端数据库101；数据库增量日志解析服务器103，基于数据库增量日志解析，提供增量订阅和消费功能，数据库增量日志解析服务器103例如canal服务器；订阅端105，用于产生订阅任务。
虽然canal提供了增量数据解析的基本功能，但仍然面临以下几个问题：
(1).数据抽取与数据订阅无法实现一对多
因为canal增量数据不落地(即，数据暂存于内存)的设计所限，canal无法做到只抽取一次数据而被多客户端订阅。这也就意味着抽取和订阅必须成对出现，过多的抽取任务加大了抽取源端数据库的压力、浪费了大量的网络流量、降低了单台canal服务器的承载能力和吞吐量。
(2).增量数据保存时间不受控
此问题也和上述设计有关，因为增量数据不落地，且源端数据库的日志保存时间不能由数据推送平台控制，所以数据推送平台也无法对下游的订阅端承诺增量数据保存期限。这也降低了数据推送平台对外提供服务的能力。
(3).订阅端与抽取端依赖过强
这里的依赖分为两方面。
***层面：抽取端与订阅端是基于长连接下的串行处理，订阅端的消费速度直接影响抽取端的抽取速度。
业务层面：抽取端任务是以数据库实例为边界的，无法对订阅端屏蔽源端分库分表等订阅端本不该关心的信息，也就导致了抽取任务和订阅任务间更强的耦合。
(4).订阅端缺少常用功能支持
canal本身只专注与数据的抽取与订阅，而对于订阅端一些常用的功能支持较弱，比如：虽然通过canal的订阅端SDK(Software Development Kit：软件开发工具包)可以获取增量的结构体数据，但对于将结构体数据解析、转化成相应DML(Data ManipulationLanguage：数据操纵语言)并最终***目标DB(Database：数据库)这种最常见的应用场景支持不足。另一个开源项目otter(项目的开源链接地址：https://github.com/alibaba/otter)虽然支持上述的部分功能，但仍然无法满足复杂灵活的定制需求。
发明内容
根据本发明的一个方面，提供了一种数据推送方法，包括：抽取任务创建处理，以数据库实例为边界将数据从源端数据库转储到数据库增量日志解析服务器中，通过数据库增量日志解析获得增量数据，并且将获得的增量数据暂存于数据库增量日志解析服务器的内存中；消息分发处理，将获得的增量数据按照需要的规则以相应的主题和标记作为消息分发到分布式消息队列服务器中的相应的一个或多个消息队列中，主题代表逻辑的库名，标记代表逻辑的表名，每条作为消息被分发的增量数据都包括相应的主题和标记；以及订阅推送处理，分布式消息队列服务器基于订阅端的各个订阅任务订阅的主题而将所述一个或多个消息队列推送到订阅端。
根据本发明的另一方面，提供了一种数据推送***，包括：源端数据库；数据库增量日志解析服务器；分布式消息队列服务器；和订阅端，其中，以数据库实例为边界将数据从源端数据库转储到数据库增量日志解析服务器中，数据库增量日志解析服务器通过数据库增量日志解析获得增量数据，并且将获得的增量数据暂存于数据库增量日志解析服务器的内存中；数据库增量日志解析服务器将获得的增量数据按照需要的规则以相应的主题和标记作为消息分发到分布式消息队列服务器中的相应的一个或多个消息队列中，主题代表逻辑的库名，标记代表逻辑的表名，每条作为消息被分发的增量数据都包括相应的主题和标记；以及分布式消息队列服务器基于订阅端的各个订阅任务订阅的主题而将所述一个或多个消息队列推送到订阅端。
本发明通过引入持久化消息队列手段，可以实现只抽取一次数据而被多客户端订阅，也就是说抽取和订阅不必成对出现，从而也极大的降低了网络的流量，使得增量数据被多订阅端消费成为可能，极大的提高了服务器的承载能力及使用效率。此外，订阅端通过使用基于RocketMQ client封装后的专用SDK，可以实现订阅端的定制开发，从而满足复杂灵活的定制需求。
附图说明
图1示意性地图示了根据现有技术的数据推送***的视图。
图2示意性地图示了根据本发明的实施例的数据推送***的视图。
图3示意性地图示了根据本发明的实施例的数据推送方法的流程图。
具体实施方式
下面将参照附图详细解释根据本发明的实施例的技术方案。
术语“转储”(“dump”)含义是指将MySQL里的数据(可含数据结构)导出成文本文件，以便在在其它数据库实例上导入或者作为其它应用或***的输入数据。
图2示意性地图示了根据本发明的实施例的数据推送***的视图。如图2所示，数据推送***200包括：源端数据库201，数据库增量日志解析服务器203，分布式消息队列服务器205，订阅端207。出于说明的目的，图2中仅图示了三个消息队列1、2、3和分别与之相对应的三个订阅任务1、2、3，但是本领域技术人员理解，本发明不限于此，可以有更多或更少的消息队列和订阅任务。
源端数据库201不限于某种特定类型数据库，例如可以是MySQL数据库。“MySQL”是一个开放源码的小型关联式数据库管理***。
数据库增量日志解析服务器203用于基于数据库增量日志解析，提供增量订阅和消费功能。数据库增量日志解析服务器203例如可以是canal服务器。“canal”是基于MySQL数据库增量日志解析，提供增量数据订阅和消费功能。canal项目的开源链接地址：https://github.com/alibaba/canal。
分布式消息队列服务器205用于提供分布式、持久化消息队列服务，其具有保证消息的顺序以及消息持久化的特点，从而可以满足增量数据的特点(强顺序)以及持久化(persistence)需求的特点。可根据部署分布式消息队列服务器205磁盘大小情况对外承诺数据的保留天数，只要数据在保留的有效期内订阅端可以从任意位置消费数据。分布式消息队列服务器205例如可以是RocketMQ服务器。“RocketMQ”是一款分布式、队列模型的消息中间件，具有以下特点：支持严格的消息顺序；支持主题(Topic)与队列(Queue)两种模式；亿级消息堆积能力；比较友好的分布式特性；同时支持推(Push)与拉取(Pull)方式消费消息。RocketMQ项目的开源链接地址：https://github.com/alibaba/RocketMQ。通过上述例如RocketMQ的分布式消息队列中间件的引入，大大提高了***的扩展性，可以根据业务数据量的大小及时调整增量数据在不同分布式消息队列服务器上的分布情况，以达到快速扩展的目的。术语“中间件”是一种独立的***软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源。
订阅端207，用于产生订阅任务。虽然图2示意性地图示了一个订阅端207订阅了三个订阅任务1、2、3，但是本领域技术人员理解，本发明不限于此，订阅端的数目可以是一个或多个，并且每个订阅端的订阅任务可以是一个或多个。如果订阅端207是最常见的数据库推送场景,只需做一些最简单的订阅配置(如订阅的主题及目标DB)即可启动订阅端207而无需再做开发。如果订阅端207需要定制开发，那么可使用基于例如RocketMQ client封装后的专用SDK，指定好订阅主题后即可获得增量数据。多个订阅端可同时订阅相同主题的增量数据，且相互之间没有影响。通过开发通用的模块供订阅端使用，可以达到降低订阅端开发及维护成本的目的。通用模块的的开发使得订阅端在常见场景下的开发成本大大降低，并使得订阅端与抽取端解耦，不必感知抽取端的分库分表信息，使整体方案更易于扩展。通过模块化设计及对抽取订阅任务有效的边界划分，配合现有的自动化部署***，可方便的对订阅抽取任务进行管理维护，大大降低对线上的运维工作量。
图3示意性地图示了根据本发明的实施例的数据推送方法的流程图。
如图3所示，在步骤301中，数据库增量日志解析服务器203创建抽取任务，以数据库实例为边界将数据从源端数据库201转储到数据库增量日志解析服务器203中，数据库增量日志解析服务器203通过数据库增量日志解析获得增量数据，并且将获得的增量数据暂存于数据库增量日志解析服务器203的内存中。
在步骤303中，数据库增量日志解析服务器203将获得的增量数据按照需要的规则以相应的主题和标记作为消息分发到分布式消息队列服务器205中的消息队列1、2、3中，每条作为消息的增量数据都包含各自的主题和标记以便订阅端207订阅和过滤，所述主题代表逻辑的库名，所述标记代表逻辑的表名。这里所说的需要的规则是指源增量数据的库表信息到队列主题及标记的映射规则，最常见的应用场景是源端进行了分库分表，如库名：product_pop_1、product_pop_2….product_pop_N会映射到队列的product_pop主题，同理，表名sku_N被映射到标记sku。这种规则可根据业务需要自由定义。
在步骤305中，分布式消息队列服务器205基于订阅端207的各个订阅任务1、2、3订阅的主题而将消息队列1、2、3推送到订阅端207。
过去的抽取任务并不是以数据库实例为单位的，是以一组业务相关的逻辑库表为单位的，一个数据库实例上会有很多的逻辑库表，所以过去的抽取任务会在一个数据库实例上根据业务库表组的个数开启多个抽取数据的连接。这也就是图1中源端数据库101和数据库增量日志解析服务器103的连接(转储1-3)有3个，而图2中的源端数据库201和数据库增量日志解析服务器203的连接只有1个的原因。与之对比，根据本发明上述实施例的数据推送***和方法，通过使得增量数据的推送使用持久化消息队列手段，因为抽取任务的创建以数据库实例为边界，相比过去的抽取任务方式，直接降低了源端数据库的压力，从而由如图1示意性地图示3个(实际应用场景中为几十甚至上百的)转储链接减少为如图2所示的1个，而且抽取和订阅不必再成对出现，从而也极大的降低了网络的流量，使得增量数据被多订阅端消费成为可能，极大的提高了服务器的承载能力及使用效率。
上述实施例仅是本发明的优选实施例，并不用于限制本发明。对本领域技术人员显而易见的是，在不脱离本发明的精神和范围的情况下，可以对本发明的实施例进行各种修改和改变。因此，本发明意在涵盖落入如权利要求所限定的本发明的范围之内的所有这样的修改或变型。
Claims (2)
1.一种数据推送方法，包括：
抽取任务创建处理，以数据库实例为边界将数据从源端数据库转储到数据库增量日志解析服务器中，通过数据库增量日志解析获得增量数据，并且将获得的增量数据暂存于数据库增量日志解析服务器的内存中；
消息分发处理，将获得的增量数据按照需要的规则以相应的主题和标记作为消息分发到分布式消息队列服务器中的相应的一个或多个消息队列中，主题代表逻辑的库名，标记代表逻辑的表名，每条作为消息被分发的增量数据都包括相应的主题和标记；以及
订阅推送处理，分布式消息队列服务器基于订阅端的各个订阅任务订阅的主题而将所述一个或多个消息队列推送到订阅端；
其中，所述源端数据库是MySQL数据库，所述数据库增量日志解析服务器是canal服务器，并且所述分布式消息队列服务器是RocketMQ服务器；
其中，所述订阅端是通过使用基于RocketMQ client封装后的专用SDK而定制开发。
2.一种数据推送***，包括：
源端数据库；
数据库增量日志解析服务器；
分布式消息队列服务器；和
订阅端，
其中，
以数据库实例为边界将数据从源端数据库转储到数据库增量日志解析服务器中，数据库增量日志解析服务器通过数据库增量日志解析获得增量数据，并且将获得的增量数据暂存于数据库增量日志解析服务器的内存中；
数据库增量日志解析服务器将获得的增量数据按照需要的规则以相应的主题和标记作为消息分发到分布式消息队列服务器中的相应的一个或多个消息队列中，主题代表逻辑的库名，标记代表逻辑的表名，每条作为消息被分发的增量数据都包括相应的主题和标记；以及
分布式消息队列服务器基于订阅端的各个订阅任务订阅的主题而将所述一个或多个消息队列推送到订阅端；
其中，所述源端数据库是MySQL数据库，所述数据库增量日志解析服务器是canal服务器，并且所述分布式消息队列服务器是RocketMQ服务器；
其中，所述订阅端是通过使用基于RocketMQ client封装后的专用SDK而定制开发。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410706244.1A CN104408132B (zh) | 2014-11-28 | 2014-11-28 | 数据推送方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410706244.1A CN104408132B (zh) | 2014-11-28 | 2014-11-28 | 数据推送方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104408132A CN104408132A (zh) | 2015-03-11 |
| CN104408132B true CN104408132B (zh) | 2018-03-02 |
Family
ID=52645763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410706244.1A Active CN104408132B (zh) | 2014-11-28 | 2014-11-28 | 数据推送方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104408132B (zh) |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104679888A (zh) * | 2015-03-17 | 2015-06-03 | 浪潮集团有限公司 | 一种数据同步的装置及方法 |
| CN105100250A (zh) * | 2015-07-31 | 2015-11-25 | 北京奇虎科技有限公司 | 分发消息的方法、消息分发服务器及分发消息的*** |
| CN105071966B (zh) * | 2015-08-10 | 2018-07-17 | 浪潮(北京)电子信息产业有限公司 | 一种日志信息管理方法及日志抽取服务器 |
| CN105119752A (zh) * | 2015-09-08 | 2015-12-02 | 北京京东尚科信息技术有限公司 | 一种分布式日志采集方法、装置及*** |
| CN105871966A (zh) * | 2015-09-22 | 2016-08-17 | 乐视网信息技术（北京）股份有限公司 | 消息分发的方法、装置及*** |
| CN105677774B (zh) * | 2015-12-30 | 2019-11-22 | 百度在线网络技术（北京）有限公司 | 一种数据事件推送方法和装置 |
| CN106936808B (zh) * | 2015-12-31 | 2021-01-26 | 中兴通讯股份有限公司 | Http流媒体传输方法及装置 |
| CN105847063A (zh) * | 2016-05-12 | 2016-08-10 | 中国联合网络通信集团有限公司 | 核心网数据管理方法和*** |
| CN106354434B (zh) * | 2016-08-31 | 2019-07-23 | 中国人民大学 | 日志数据的存储方法及*** |
| CN106301972A (zh) * | 2016-11-16 | 2017-01-04 | 北京集奥聚合科技有限公司 | 一种监控数据实时上推方法及*** |
| CN108874834A (zh) * | 2017-05-16 | 2018-11-23 | 北京嘀嘀无限科技发展有限公司 | 一种数据处理方法、处理***及计算机装置 |
| CN107341062B (zh) * | 2017-06-28 | 2021-01-08 | 百度在线网络技术（北京）有限公司 | 一种数据推送方法、装置、设备以及存储介质 |
| CN107180116A (zh) * | 2017-06-28 | 2017-09-19 | 努比亚技术有限公司 | 一种数据同步处理方法、移动终端以及计算机可读存储介质 |
| CN107678856B (zh) * | 2017-09-20 | 2022-04-05 | 苏宁易购集团股份有限公司 | 一种处理业务实体中增量信息的方法及装置 |
| CN110019123B (zh) * | 2017-11-10 | 2021-10-15 | 北京京东尚科信息技术有限公司 | 一种数据迁移方法和装置 |
| CN108614852A (zh) * | 2018-03-14 | 2018-10-02 | 广州市优普科技有限公司 | 一种基于大数据的数据地图生成方法 |
| CN108737568A (zh) * | 2018-06-22 | 2018-11-02 | 重庆助康医学检验实验室有限公司 | 一种基于消息队列服务器的数据交互***和方法 |
| CN110875935B (zh) * | 2018-08-30 | 2023-03-24 | 阿里巴巴集团控股有限公司 | 消息发布、处理、订阅方法、装置及*** |
| CN109325008A (zh) * | 2018-09-07 | 2019-02-12 | 国电南瑞科技股份有限公司 | 面向消息中间件的跨域数据同步方法与*** |
| CN109783573B (zh) * | 2018-12-18 | 2021-10-15 | 北京华夏电通科技股份有限公司 | 多路推送的数据同步方法及终端 |
| CN111367873A (zh) * | 2018-12-26 | 2020-07-03 | 深圳市优必选科技有限公司 | 日志数据的存储方法、装置、终端及计算机存储介质 |
| CN111985944B (zh) * | 2019-05-21 | 2024-06-18 | 北京沃东天骏信息技术有限公司 | 物料数据的处理方法、装置、设备及存储介质 |
| CN110209554B (zh) * | 2019-06-14 | 2023-08-11 | 上海中通吉网络技术有限公司 | 数据库日志分发方法、装置及设备 |
| US10891226B1 (en) | 2019-08-01 | 2021-01-12 | International Business Machines Corporation | Virtual address space dump in a computer system |
| CN110995566A (zh) * | 2019-10-30 | 2020-04-10 | 深圳震有科技股份有限公司 | 一种消息数据推送方法、***及装置 |
| CN111371672B (zh) * | 2020-02-14 | 2022-04-08 | 贝壳技术有限公司 | 消息推送方法及装置 |
| CN111556019B (zh) * | 2020-03-27 | 2022-06-14 | 天津市普迅电力信息技术有限公司 | 一种分布式环境下车机数据加密传输及处理方法 |
| CN111669313B (zh) * | 2020-05-29 | 2022-05-03 | 广西东信互联科技有限公司 | 一种即时通讯***消息的储存及同步方法 |
| CN111831748B (zh) * | 2020-06-30 | 2024-04-30 | 北京小米松果电子有限公司 | 数据同步方法、装置及存储介质 |
| CN111858273B (zh) * | 2020-07-02 | 2024-06-11 | 五八有限公司 | 一种处理日志的展示方法及装置 |
| CN112836236A (zh) * | 2021-02-04 | 2021-05-25 | 航天广通科技(深圳)有限公司 | 一种数据共享交换平台库表资源的订阅方法和*** |
| CN113067853A (zh) * | 2021-03-12 | 2021-07-02 | 北京金山云网络技术有限公司 | 一种数据推送方法、装置、电子设备及存储介质 |
| CN113098969B (zh) * | 2021-04-09 | 2022-12-20 | 薪得付信息技术(上海)有限公司 | 数据分发方法、装置、***及电子设备 |
| CN113934793A (zh) * | 2021-09-07 | 2022-01-14 | 华数传媒网络有限公司 | 一种运营***的分布式数据管理***和方法 |
| CN114567633B (zh) * | 2022-03-01 | 2024-06-28 | 上海浦东发展银行股份有限公司 | 一种支撑多栈数据库全生命周期的云平台***及管理方法 |
| CN114827171B (zh) * | 2022-03-23 | 2023-12-15 | 青岛中科曙光科技服务有限公司 | 信息同步方法、装置、计算机设备和存储介质 |
| CN116980475B (zh) * | 2023-07-31 | 2024-06-04 | 深圳市亲邻科技有限公司 | 一种基于binlog与双环形缓冲区的数据推送*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102890631A (zh) * | 2012-09-13 | 2013-01-23 | 新浪网技术(中国)有限公司 | 基于持久化消息队列传输消息的方法及消息传输装置 |
| CN103581250A (zh) * | 2012-07-31 | 2014-02-12 | 盛趣信息技术（上海）有限公司 | 数据处理、发布、获取方法及*** |
| CN103607476A (zh) * | 2013-12-05 | 2014-02-26 | 上海普坤信息科技有限公司 | 海量消息的分布式多阶段持久化的***及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09200257A (ja) * | 1996-01-23 | 1997-07-31 | Toshiba Corp | 電子情報掲示装置 |
-
2014
- 2014-11-28 CN CN201410706244.1A patent/CN104408132B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103581250A (zh) * | 2012-07-31 | 2014-02-12 | 盛趣信息技术（上海）有限公司 | 数据处理、发布、获取方法及*** |
| CN102890631A (zh) * | 2012-09-13 | 2013-01-23 | 新浪网技术(中国)有限公司 | 基于持久化消息队列传输消息的方法及消息传输装置 |
| CN103607476A (zh) * | 2013-12-05 | 2014-02-26 | 上海普坤信息科技有限公司 | 海量消息的分布式多阶段持久化的***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104408132A (zh) | 2015-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104408132B (zh) | 数据推送方法和*** | |
| US11216302B2 (en) | Modifying task dependencies at worker nodes using precompiled libraries | |
| US8914809B1 (en) | Message broker system and method | |
| CN107169069B (zh) | 分布式分级抽取多应用方法和数据抽取应用器 | |
| CN100489774C (zh) | 结构化的代码自动配置方法及装置 | |
| CN109800207B (zh) | 日志解析方法、装置、设备及计算机可读存储介质 | |
| CN106850258A (zh) | 一种日志管理***、方法及装置 | |
| CN105227367A (zh) | 一种低延迟的告警解析处理方法 | |
| CN109582381A (zh) | 文件型配置信息同步***、方法及存储介质 | |
| CN103345386A (zh) | 一种软件生产方法、装置及运行*** | |
| CN106503274A (zh) | 一种数据整合与搜索方法及服务器 | |
| CN103841180B (zh) | 一种基于操作指令的网络数据同步方法、装置、终端设备和服务器 | |
| CN104050276A (zh) | 一种分布式数据库的缓存处理方法及*** | |
| CN104023072A (zh) | 数据推送装置及方法 | |
| CN107169143B (zh) | 一种高效的海量舆情数据信息集群匹配方法 | |
| CN114265883B (zh) | 一种实时数据治理的方法、设备、存储介质 | |
| CN103793500A (zh) | 基于增量的主数据同步方法 | |
| CN104714983B (zh) | 分布式索引的生成方法及装置 | |
| CN109586970A (zh) | 资源分配方法、装置及*** | |
| CN107291938B (zh) | 订单查询***及方法 | |
| CN109271448A (zh) | 基于数据库为平台的数据同步***及方法 | |
| CN107341249A (zh) | 服务器信息的存储和提取方法及***、提取装置 | |
| CN103713903A (zh) | 一种硬盘动态加载的方法及装置 | |
| CN111049898A (zh) | 一种实现计算集群资源跨域架构的方法及*** | |
| CN106599244B (zh) | 通用的原始日志清洗装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20191128 Address after: 100176 room 222, 2f, building C, No. 18, Kechuang 11th Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing Patentee after: Beijing Jingdong three hundred and sixty degree e-commerce Co., Ltd. Address before: 100080 Beijing city Haidian District xingshikou Road No. 65 west Shan Creative Park District 11C four floor East West 1-4 layer 1-4 layer Co-patentee before: Beijing Jingdong Century Commerce Co., Ltd. Patentee before: Beijing Jingdong Shangke Information Technology Co., Ltd. |