CN112052227A - 数据变更日志的处理方法、装置和电子设备 - Google Patents
数据变更日志的处理方法、装置和电子设备 Download PDFInfo
- Publication number
- CN112052227A CN112052227A CN202011026441.0A CN202011026441A CN112052227A CN 112052227 A CN112052227 A CN 112052227A CN 202011026441 A CN202011026441 A CN 202011026441A CN 112052227 A CN112052227 A CN 112052227A
- Authority
- CN
- China
- Prior art keywords
- log
- data
- database
- message middleware
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 title claims abstract description 265
- 238000003672 processing method Methods 0.000 title claims description 29
- 238000000034 method Methods 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000012544 monitoring process Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 14
- 238000013475 authorization Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 230000004044 response Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000002085 persistent effect Effects 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种数据变更日志的处理方法、装置和电子设备，用于解决现有技术中无法及时并完整地获取数据变更日志的问题。该方法包括：与数据库建立连接；基于所述连接，从所述数据库拉取数据变更日志；根据业务***能够识别的数据格式，将所述数据变更日志解析为具备所述数据格式的日志数据，所述业务***部署在客户端上；将所述日志数据发送给消息中间件；所述消息中间件用于：所述客户端在监听到所述消息中间件中存在日志数据时，从所述消息中间件拉取日志数据。
Description
技术领域
本申请属于计算机技术领域，具体涉及一种数据变更日志的处理方法、装置和电子设备。
背景技术
随着计算机技术的飞速发展，数据库的存储容量越来越大。为了使得业务***能够及时根据数据库中的数据变更做出响应，通常在数据库中的数据变更时，就需要及时地获取到数据变更的内容。
在一种现有技术中，通过在业务******探测点的方式，来达到监测数据库的数据变更并及时通知业务***的目的。但是这种***探测点的方法，往往会影响原本的业务***的性能和稳定性。
在另一种现有技术中，现有技术中有一种能够不影响业务***稳定性的数据变更的获取方法，就是可定时获取数据库中的全量数据，并将实时获取到的全量数据与前一次获取到的数据进行对比，从而查找出发生变更的数据和数据的变更内容。然而，这种方法是定时进行的，实时获取到的数据，可能是在前一次获取数据之后，经过多次变更得到的。因此，上述方法只能获取到相邻时间节点之间的数据的差异，而不能获取到数据的完整变更过程和数据每次发生变更的具体内容。
因此，亟需一种方法能够在不影响业务***稳定性的前提下，及时获取数据库中数据的变更信息，从而提高业务***的响应效率。
发明内容
本申请实施例的目的是提供一种数据变更日志的处理方法、装置和电子设备，能够解决现有技术中无法及时并完整地获取数据变更日志的问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，提出了一种数据变更日志的处理方法，该方法应用于日志拉取服务端，该方法包括：
与数据库建立连接；
基于所述连接，从所述数据库拉取数据变更日志；
根据业务***能够识别的数据格式，将所述数据变更日志解析为具备所述数据格式的日志数据，所述业务***部署在客户端上；
将所述日志数据发送给消息中间件；所述消息中间件用于：所述客户端在监听到所述消息中间件中存在日志数据时，从所述消息中间件拉取日志数据。
第二方面，提出了一种数据变更日志的处理方法，该方法应用于客户端，该方法包括：
向日志拉取服务端发送配置信息，所述配置信息中至少包括：客户端期望获取的日志数据对应的数据库的地址，以及，消息中间件的地址；
监听所述消息中间件中是否存在日志数据；所述消息中间件中的日志数据，由所述日志拉取服务端基于所述数据库的地址从所述数据库中获取数据变更日志后，根据所述数据变更日志和所述消息中间件的地址，向所述消息中间件发送；
若监听到所述消息中间件中存在日志数据，则从所述消息中间件拉取日志数据。
第三方面，提出了一种数据变更日志的处理方法，该方法应用于配置服务端，该方法包括：
接收客户端发送的配置信息，所述配置信息中至少包括：客户端期望获取的日志数据对应的数据库的地址，以及，消息中间件的地址；
将所述配置信息发送给日志拉取服务端，以触发所述日志拉取服务端基于所述数据库的地址从所述数据库中获取数据变更日志后，根据所述数据变更日志和所述消息中间件的地址，向所述消息中间件发送日志数据。
第四方面，提出了一种日志拉取服务端，包括：
连接单元，用于与数据库建立连接；
第一拉取单元，用于基于所述连接，从所述数据库拉取数据变更日志；
解析单元，用于根据业务***能够识别的数据格式，将所述数据变更日志解析为具备所述数据格式的日志数据；所述业务***部署在客户端上；
第一发送单元，用于将所述日志数据发送给消息中间件；所述消息中间件用于：所述客户端在监听到所述消息中间件中存在日志数据时，从所述消息中间件拉取日志数据。
第五方面，提出了一种客户端，包括：
第二发送单元，用于向日志拉取服务端发送配置信息，所述配置信息中至少包括：客户端期望获取的日志数据对应的数据库的地址，以及，消息中间件的地址；
监听单元，用于监听所述消息中间件中是否存在日志数据；所述消息中间件中的日志数据，由所述日志拉取服务端基于所述数据库的地址从所述数据库中获取数据变更日志后，根据所述数据变更日志和所述消息中间件的地址，向所述消息中间件发送；
第二拉取单元，用于若监听到所述消息中间件中存在日志数据，则从所述消息中间件拉取日志数据。
第六方面，提出了一种配置服务端，包括：
接收单元，用于接收客户端发送的配置信息，所述配置信息中至少包括：客户端期望获取的日志数据对应的数据库的地址，以及，消息中间件的地址；
第三发送单元，用于将所述配置信息发送给日志拉取服务端，以触发所述日志拉取服务端基于所述数据库的地址从所述数据库中获取数据变更日志后，根据所述数据变更日志和所述消息中间件的地址，向所述消息中间件发送日志数据。
第七方面，提出了一种日志拉取服务端，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机可执行指令，所述计算机可执行指令被所述处理器执行时实现如上述第一方面所述的数据变更日志的处理方法的步骤。
第八方面，提出了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机可执行指令，所述计算机可执行指令被处理器执行时实现如上述第一方面所述的数据变更日志的处理方法的步骤。
第九方面，提出了一种客户端，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机可执行指令，所述计算机可执行指令被所述处理器执行时实现如上述第二方面所述的数据变更日志的处理方法的步骤。
第十方面，提出了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机可执行指令，所述计算机可执行指令被处理器执行时实现如上述第二方面所述的数据变更日志的处理方法的步骤。
第十一方面，提出了一种配置服务端，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机可执行指令，所述计算机可执行指令被所述处理器执行时实现如上述第三方面所述的数据变更日志的处理方法的步骤。
第十二方面，提出了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机可执行指令，所述计算机可执行指令被处理器执行时实现如上述第三方面所述的数据变更日志的处理方法的步骤。
本申请实施例采用上述技术方案至少可以达到下述技术效果：
本发明实施例中提供的数据变更日志的处理方法，日志拉取服务端能够与数据库建立连接，以及基于连接，从数据库拉取数据变更日志，再根据业务***能够识别的数据格式，将数据变更日志解析为具备数据格式的日志数据，最后将日志数据发送给消息中间件；其中，业务***部署在客户端上，消息中间件用于：客户端在监听到消息中间件中存在日志数据时，从消息中间件拉取日志数据。这样，能够在日志拉取服务端与数据库保持连接时，从数据库中拉取数据变更日志，并将数据变更日志解析为业务***能够识别的日志数据，从而使得部署有业务***的客户端能够从消息中间件中及时监听并获取客户端能够识别的日志数据，也就是说，使得客户端从消息中间件中及时获取数据库中的变更信息，提高了业务***对数据库中的变更信息的响应效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本说明书一个实施例提供的一种数据变更日志的处理方法应用于日志拉取服务端的实现流程示意图；
图2为本说明书一个实施例提供的一种数据变更日志的处理方法应用在实际场景中的示意图；
图3为本说明书一个实施例提供的一种数据变更日志的处理方法应用于客户端的实现流程示意图；
图4为本说明书一个实施例提供的一种数据变更日志的处理方法应用于配置服务端的实现流程示意图；
图5为本说明书一个实施例提供的一种数据变更日志的处理方法应用在又一种实际场景中的流程示意图；
图6为本说明书一个实施例提供的一种日志拉取服务端的结构示意图；
图7为本说明书一个实施例提供的一种客户端的结构示意图；
图8为本说明书一个实施例提供的一种配置服务端的结构示意图；
图9为本说明书一个实施例提供的又一种日志拉取服务端的结构示意图；
图10为本说明书一个实施例提供的又一种客户端的结构示意图；
图11为本说明书一个实施例提供的又一种配置服务端的结构示意图。
具体实施方式
为使本申请的目的、技术方案和有点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清除、完整地描述。显然，所描述的实施例仅是本申请一部分是实力，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
为解决现有技术中无法及时并完整地获取数据变更日志的问题，本申请实施例提供一种数据变更日志的处理方法。
具体地，本说明书一个或多个实施例提供的一种数据变更日志的处理方法应用于日志拉取服务端的实现流程示意图如图1所示，包括：
步骤110，与数据库建立连接；
其中，日志拉取服务端可以是Node节点，既能够收发数据，又能够解析数据变更日志。
可选地，为了能够从数据库中拉取数据变更日志，可先与数据库建立连接，以便在预设时间内，源源不断地从数据库拉取实时的数据变更日志。由于对数据库的访问需要数据库的访问权限，可预先获取数据库的访问权限，再向数据库发送数据库的账户和密码，从而与数据库建立连接。
具体地，本申请实施例提供的方法还包括：
接收配置信息；配置信息包括数据库的地址；
其中，与数据库建立连接，包括：根据数据库的地址，与数据库建立连接。
应理解，日志拉取服务端可根据预设标识，获取与该预设标识相匹配的配置信息，该预设标识可以是日志拉取服务端的地址等。
其中，配置信息可包括与数据库建立连接时所需要的信息，如数据库的地址、数据库的账户和数据库的密码。其中，数据库的地址用于指定要拉取的数据变更日志所属的数据库。
可选地，当数据库为关系型数据库管理***(My Structured Query Language，MySQL)数据库时，MySQL数据库的主从协议，需要日志拉取服务端伪装成MySQL数据库的从数据库，才能从MySQL数据库的binlog日志中拉取数据变更日志，从而实现数据库读写分开的高可用性。
具体地，日志拉取服务端为了伪装成MySQL数据库的从数据库，可向MySQL数据库发送一条请求伪装的指令，MySQL数据库根据该指令先验证日志拉取服务端的身份，若通过验证，则将该日志拉取服务端地址记录在可访问的服务端地址表中。那么，日志拉取服务端可在一次与MySQL数据库保持连接的时间段内，监听MySQL数据库的数据变更日志并从MySQL数据库中，源源不断地获取数据变更日志中最新的数据变更记录。
可选地，配置信息还包括消息中间件的地址，以便部署有业务***的客户端能够从消息中间件的地址对应的消息中间件中获取日志数据。
具体地，在本申请实施例中，配置信息还包括消息中间件的地址；
其中，将日志数据发送给消息中间件，包括：
根据消息中间件的地址，将日志数据发送给消息中间件。
其中，消息中间件可用于以消息队列的形式缓存日志数据，使得客户端能够依次逐步获取日志数据。
步骤120，基于连接，从数据库拉取数据变更日志；
可选地，为了能够识别所要拉取的数据变更日志，可在数据库的数据变更日志中设置位置标识，以标记数据变更日志中最新的数据变更记录的位置。
具体地，在本申请实施例中，基于连接，从数据库拉取数据变更日志，包括：
基于连接，监听数据库中的数据变更日志；
当监听到数据变更日志中的位置标识的位置发生改变时，从数据变更日志中拉取位于位置改变前的位置标识以下的数据变更记录；位置标识用于标识数据变更日志中最新的数据变更记录的位置；数据变更日志包括至少一条数据变更记录。
可选地，若想要获取数据变更日志中的历史数据变更记录，可将该位置标识移动至想要获取的历史数据变更记录的上方。例如，若想要获取数据变更日志中第11条及其以后的数据变更记录，可将该位置标识移动至第10数据变更记录与第11条数据变更记录之间。
其中，一条数据变更记录可包括数据变更的时间、数据发生变更的数据库、数据发生变更的数据表、数据变更的类型、数据变更前的内容和数据变更后的内容。例如，若有用户登录时，可***一条用户登陆数据，包括用户登录的时间、存储该用户登录数据的数据库、存储该用户登录数据的数据表、用户登录时使用的用户名和密码等。
表1数据变更的类型和数据变更内容的映射关系表
| 数据变更的类型 | 数据变更前的内容 | 数据变更后的内容 |
| *** | 不存在 | 新内容 |
| 修改 | 旧内容 | 新内容 |
| 删除 | 旧内容 | 不存在 |
如表1所示，为本申请实施例提供的数据变更日志的处理方法中一种数据变更的类型和数据变更内容的映射关系表，其中，若数据变更的类型为***，则表示在数据库的数据表中新生成了一条数据；若数据变更的类型为修改，则表示对数据库的数据表中的一条数据进行了修改；若数据变更的类型为删除，则表示删除了数据库的数据表中的一条数据。
步骤130，根据业务***能够识别的数据格式，将数据变更日志解析为具备数据格式的日志数据；
其中，业务***部署在客户端上。
应理解，从数据库拉取到的数据变更日志的格式并不亲和业务***，业务***无法直接识别数据变更日志中的内容，并做出响应。因此，为了能够使得业务***能够识别出数据变更日志，可将数据变更日志解析为具备业务***能够识别的数据格式的日志数据。
例如，以一条数据变更记录为例，其对应的日志数据如下：
其中，这条数据变更的类型为修改，修改的内容为将"communication_operator1"修改为"communication_operator2"。
步骤140，将日志数据发送给消息中间件；
其中，消息中间件用于：客户端在监听到消息中间件中存在日志数据时，从消息中间件拉取日志数据。
可选地，各业务***需求的数据变更日志可能存储在同一数据库的不同数据表中，为了使得业务***能够从消息中间件中获取到所需要的数据表的数据变更日志，可将业务***指定的数据表的数据变更日志从数据库的所有数据变更日志中拆分出来。
具体地，在本申请实施例中，配置信息还包括多个消息中间件与数据库中的多个数据表的映射关系；日志数据中包括至少一个日志数据组；一个日志数据组对应于一个数据表；
将日志数据发送给消息中间件，包括：
从日志数据中，获取与多个数据表中的至少一个数据表相对应的日志数据组；
根据映射关系，从多个消息中间件中，确定与获取的日志数据组对应的数据表相映射的消息中间件；
将获取的日志数据组发送给确定出的相应的消息中间件。
如图2所示，为本说明书一个实施例提供的一种数据变更日志的处理方法应用在实际场景中的示意图。在图2中，该数据变更日志的处理过程涉及配置服务端、数据库、日志拉取服务端、至少一个消息中间件和至少一个客户端，其具体实施过程包括下述主要步骤：
步骤i，日志拉取服务端根据预设标识，从配置服务端获取与预设标识匹配的配置信息；
步骤ii，日志拉取服务端根据配置信息中的数据库的地址、数据库的账户和数据库的密码，与数据库建立连接；
步骤iii，日志拉取服务端监听数据变更日志是否有变更，若监听到数据变更日志的有变更，则从数据库中拉取数据变更日志中的位于位置标识以下的数据变更记录；
步骤iv，日志拉取服务端根据配置信息中的数据表名，将该数据表名对应的数据变更日志，从获取到的整个数据库的数据变更日志中拆分出来。
步骤v，日志拉取服务端将获取到的数据变更日志解析为具备业务***能够识别的数据格式的日志数据；
步骤vi，日志拉取服务端将解析后的具备该数据格式的日志数据发送给配置信息中指定的消息中间件，以便部署有该业务***的客户端从消息中间件中获取；
步骤vii，日志拉取服务端继续监听数据库中的数据变更日志，并执行步骤iii～步骤vii，直至配置服务端通知日志拉取服务端配置信息发生变更，日志拉取服务端则重新从配置服务端获取新的配置信息，并执行新的拉取任务。
本发明实施例中提供的数据变更日志的处理方法，能够与数据库建立连接；基于连接，从数据库拉取数据变更日志；根据业务***能够识别的数据格式，将数据变更日志解析为具备数据格式的日志数据；业务***部署在客户端上；将日志数据发送给消息中间件；消息中间件用于：客户端在监听到消息中间件中存在日志数据时，从消息中间件拉取日志数据。这样，能够在与数据库保持连接时，不停地从数据库中获取数据变更日志，并将数据变更日志解析为业务***能够识别的日志数据，从而使得部署有业务***的客户端能够及时从消息中间件中获取能够识别的日志数据，提高了业务***的响应效率。
图3为本说明书一个实施例提供的一种数据变更日志的处理方法应用于客户端的实现流程示意图，包括：
步骤310，向日志拉取服务端发送配置信息；
其中，配置信息中至少包括：客户端期望获取的日志数据对应的数据库的地址，以及，消息中间件的地址。
应理解，由于各业务***的业务内容不同，所需求的数据变更日志也不同，可由部署有业务***的客户端向配置服务端发送配置信息，使得日志拉取服务端从配置服务端中获取该配置信息。
具体地，配置信息可包括数据库的地址、数据库的账户、数据库的密码、消息中间件的地址、和/或数据表名。
步骤320，监听消息中间件中是否存在日志数据；
其中，消息中间件中的日志数据，由日志拉取服务端基于数据库的地址从数据库中获取数据变更日志后，根据数据变更日志和消息中间件的地址，向消息中间件发送；
步骤330，若监听到消息中间件中存在日志数据，则从消息中间件拉取日志数据。
图3所示实施例相关步骤的具体实现可参考图1所示实施例中对应的步骤的具体实现，本说明书一个或多个实施例在此不再赘述。
本发明实施例中提供的数据变更日志的处理方法，能够与数据库建立连接；基于连接，从数据库拉取数据变更日志；根据业务***能够识别的数据格式，将数据变更日志解析为具备数据格式的日志数据；业务***部署在客户端上；将日志数据发送给消息中间件；消息中间件用于：客户端在监听到消息中间件中存在日志数据时，从消息中间件拉取日志数据。这样，能够在与数据库保持连接时，不停地从数据库中获取数据变更日志，并将数据变更日志解析为业务***能够识别的日志数据，从而使得部署有业务***的客户端能够及时从消息中间件中获取能够识别的日志数据，提高了业务***的响应效率。
图4为本说明书一个实施例提供的一种数据变更日志的处理方法应用于配置服务端的实现流程示意图，包括：
步骤410，接收客户端发送的配置信息；
其中，配置信息中至少包括：客户端期望获取的日志数据对应的数据库的地址，以及，消息中间件的地址。
具体地，配置信息还可包括数据库的账户、数据库的密码、和/或数据表名。
步骤420，将配置信息发送给日志拉取服务端，以触发日志拉取服务端基于数据库的地址从数据库中获取数据变更日志后，根据数据变更日志和消息中间件的地址，向消息中间件发送日志数据。
可选地，为了能够从数据库中拉取数据变更日志，可先与数据库建立连接，以便在预设时间内，源源不断地从数据库拉取实时的数据变更日志。由于对数据库的访问需要数据库的访问权限，可预先获取数据库的访问权限，再向数据库发送数据库的账户和密码，从而与数据库建立连接。
具体地，在将配置信息发送给日志拉取服务端之前，本申请实施例提供的方法还包括：
向数据库的管理员发送授权请求；授权请求用于：指示数据库的管理员授予日志拉取服务端
获取数据变更日志的权限；
若接收到权限许可通知，则将权限许可通知转发给日志拉取服务端；转发给日志拉取服务端的权限许可通知用于：指示日志拉取服务端在接收到配置信息之后，与数据库建立连接。
如图5所示，为本说明书一个实施例提供的一种数据变更日志的处理方法应用在又一种实际场景中的流程示意图，其中，业务***想要在每一个用户登录时，向用户发送一个红包，其具体实施过程包括下述主要步骤：
步骤501，部署有业务***的客户端向配置服务端发送配置信息，该配置信息中包括存储有用户登录信息的数据表名、该数据表所在的数据库的地址、该数据库的账户、该数据库的密码和指定的消息中间件的地址；
步骤502，配置服务端生成用于指示日志拉取服务端执行任务的配置信息，并预先向数据库的管理员为该日志拉取服务端获取数据库的访问权限；
步骤503，日志拉取服务端根据自己的地址，从配置服务端获取匹配的配置信息；
步骤504，日志拉取服务端根据配置信息中的数据库的地址、数据库的账户和数据库的密码，与存储有用户登录信息的数据库建立连接；
步骤505，日志拉取服务端从该数据库中拉取数据变更日志，其中，数据变更日志记录包含有***的用户登录信息；
步骤506，日志拉取服务端将拉取到的数据变更日志解析为日志数据，并根据配置信息中的数据表名，将对应的日志数据发送给配置信息中消息中间件的地址对应的消息中间；
步骤507，部署有业务***的客户端监听到消息中间件有日志数据，则从该消息中间件中拉取日志数据，并根据日志数据中的用户登录信息，向用户发送红包。
图4所示实施例相关步骤的具体实现可参考图1所示实施例中对应的步骤的具体实现，本说明书一个或多个实施例在此不再赘述。
本发明实施例中提供的数据变更日志的处理方法，能够与数据库建立连接；基于连接，从数据库拉取数据变更日志；根据业务***能够识别的数据格式，将数据变更日志解析为具备数据格式的日志数据；业务***部署在客户端上；将日志数据发送给消息中间件；消息中间件用于：客户端在监听到消息中间件中存在日志数据时，从消息中间件拉取日志数据。这样，能够在与数据库保持连接时，不停地从数据库中获取数据变更日志，并将数据变更日志解析为业务***能够识别的日志数据，从而使得部署有业务***的客户端能够及时从消息中间件中获取能够识别的日志数据，提高了业务***的响应效率。
图6为本说明书一个实施例提供的一种日志拉取服务端600的结构示意图。请参考图6，在一种软件实施方式中，日志拉取服务端600可包括链接单元601、第一拉取单元602、解析单元603和第一发送单元604，其中：
连接单元601，用于与数据库建立连接；
第一拉取单元602，用于基于所述连接，从所述数据库拉取数据变更日志；
解析单元603，用于根据业务***能够识别的数据格式，将所述数据变更日志解析为具备所述数据格式的日志数据；所述业务***部署在客户端上；
第一发送单元604，用于将所述日志数据发送给消息中间件；所述消息中间件用于：所述客户端在监听到所述消息中间件中存在日志数据时，从所述消息中间件拉取日志数据。
可选地，在一种实施方式中，所述服务端还包括接收单元605，用于：
接收配置信息；所述配置信息包括所述数据库的地址；
其中，所述连接单元，用于根据所述数据库的地址，与所述数据库建立连接。
可选地，在一种实施方式中，所述配置信息还包括所述消息中间件的地址；
其中，所述第一发送单元604，用于根据所述消息中间件的地址，将所述日志数据发送给所述消息中间件。
可选地，在一种实施方式中，所述第一拉取单元602，用于：
基于所述连接，监听所述数据库中的数据变更日志；
当监听到所述数据变更日志中的位置标识的位置发生改变时，从所述数据变更日志中拉取位于位置改变前的所述位置标识以下的数据变更记录；所述位置标识用于标识所述数据变更日志中最新的数据变更记录的位置；所述数据变更日志包括至少一条数据变更记录。
可选地，在一种实施方式中，所述配置信息还包括多个消息中间件与所述数据库中的多个数据表的映射关系；所述日志数据中包括至少一个日志数据组；一个日志数据组对应于一个数据表；
所述第一发送单元604，用于：
从所述日志数据中，获取与所述多个数据表中的至少一个数据表相对应的日志数据组；
根据所述映射关系，从所述多个消息中间件中，确定与获取的日志数据组对应的数据表相映射的消息中间件；
将获取的日志数据组发送给确定出的相应的消息中间件。
日志拉取服务端600能够实现图1～图2的数据变更日志的处理方法实施例的方法，具体可参考图1～图2所示实施例的数据变更日志的处理方法，不再赘述。
图7为本说明书一个实施例提供的一种客户端的结构示意图。请参考图7，在一种软件实施方式中，客户端700可包括第二发送单元701、监听单元702和第二拉取单元703，其中：
第二发送单元701，用于向日志拉取服务端发送配置信息，所述配置信息中至少包括：客户端期望获取的日志数据对应的数据库的地址，以及，消息中间件的地址；
监听单元702，用于监听所述消息中间件中是否存在日志数据；所述消息中间件中的日志数据，由所述日志拉取服务端基于所述数据库的地址从所述数据库中获取数据变更日志后，根据所述数据变更日志和所述消息中间件的地址，向所述消息中间件发送；
第二拉取单元703，用于若监听到所述消息中间件中存在日志数据，则从所述消息中间件拉取日志数据。
客户端700能够实现图3的数据变更日志的处理方法实施例的方法，具体可参考图3所示实施例的数据变更日志的处理方法，不再赘述。
图8为本说明书一个实施例提供的一种配置服务端的结构示意图。请参考图8，在一种软件实施方式中，配置服务端800可包括接收单元801和第三发送单元802，其中：
接收单元801，用于接收客户端发送的配置信息，所述配置信息中至少包括：客户端期望获取的日志数据对应的数据库的地址，以及，消息中间件的地址；
第三发送单元802，用于将所述配置信息发送给日志拉取服务端，以触发所述日志拉取服务端基于所述数据库的地址从所述数据库中获取数据变更日志后，根据所述数据变更日志和所述消息中间件的地址，向所述消息中间件发送日志数据。
可选地，在一种实施方式中，所述服务端还包括：
第四发送单元803，用于向所述数据库的管理员发送授权请求；所述授权请求用于：指示所述数据库的管理员授予所述日志拉取服务端
获取单元804，用于获取所述数据变更日志的权限；
转发单元805，用于若接收到权限许可通知，则将所述权限许可通知转发给所述日志拉取服务端；转发给所述日志拉取服务端的所述权限许可通知用于：指示所述日志拉取服务端在接收到所述配置信息之后，与所述数据库建立连接。
配置服务端800能够实现图4的数据变更日志的处理方法实施例的方法，具体可参考图4所示实施例的数据变更日志的处理方法，不再赘述。
本发明实施例还提供了一种日志拉取服务端，图9为本申请实施例提供的日志拉取服务端的结构示意图。如图9所示，日志拉取服务端可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器901和存储器902，存储器902中可以存储有一个或一个以上存储应用程序或数据。其中，存储器902可以是短暂存储或持久存储。存储在存储器902的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对内存数据加载设备中的一系列计算机可执行指令。更进一步地，处理器901可以设置为与存储器902通信，在内存数据加载设备上执行存储器902中的一系列计算机可执行指令。内存数据加载设备还可以包括一个或一个以上电源903，一个或一个以上有线或无线网络接口904，一个或一个以上输入输出接口905，一个或一个以上键盘906等。
在一个具体的实施例中，日志拉取服务端600包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机可执行指令，所述计算机可执行指令被所述处理器执行时实现以下流程：
与数据库建立连接；
基于所述连接，从所述数据库拉取数据变更日志；
根据业务***能够识别的数据格式，将所述数据变更日志解析为具备所述数据格式的日志数据；所述业务***部署在客户端上；
将所述日志数据发送给消息中间件；所述消息中间件用于：所述客户端在监听到所述消息中间件中存在日志数据时，从所述消息中间件拉取日志数据。
可选地，所述计算机可执行指令被所述处理器执行时，
所述方法还包括：
接收配置信息；所述配置信息包括所述数据库的地址；
其中，与数据库建立连接，包括：根据所述数据库的地址，与所述数据库建立连接。
所述配置信息还包括所述消息中间件的地址；
其中，将所述日志数据发送给消息中间件，包括：
根据所述消息中间件的地址，将所述日志数据发送给所述消息中间件。
基于所述连接，从所述数据库拉取数据变更日志，包括：
基于所述连接，监听所述数据库中的数据变更日志；
当监听到所述数据变更日志中的位置标识的位置发生改变时，从所述数据变更日志中拉取位于位置改变前的所述位置标识以下的数据变更记录；所述位置标识用于标识所述数据变更日志中最新的数据变更记录的位置；所述数据变更日志包括至少一条数据变更记录。
所述配置信息还包括多个消息中间件与所述数据库中的多个数据表的映射关系；所述日志数据中包括至少一个日志数据组；一个日志数据组对应于一个数据表；
将所述日志数据发送给消息中间件，包括：
从所述日志数据中，获取与所述多个数据表中的至少一个数据表相对应的日志数据组；
根据所述映射关系，从所述多个消息中间件中，确定与获取的日志数据组对应的数据表相映射的消息中间件；
将获取的日志数据组发送给确定出的相应的消息中间件。
本发明实施例中提供的数据变更日志的处理方法，能够与数据库建立连接；基于连接，从数据库拉取数据变更日志；根据业务***能够识别的数据格式，将数据变更日志解析为具备数据格式的日志数据；业务***部署在客户端上；将日志数据发送给消息中间件；消息中间件用于：客户端在监听到消息中间件中存在日志数据时，从消息中间件拉取日志数据。这样，能够在与数据库保持连接时，不停地从数据库中获取数据变更日志，并将数据变更日志解析为业务***能够识别的日志数据，从而使得部署有业务***的客户端能够及时从消息中间件中获取能够识别的日志数据，提高了业务***的响应效率。
进一步地，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机可执行指令，所述计算机可执行指令被处理器执行时实现以下流程：
与数据库建立连接；
基于所述连接，从所述数据库拉取数据变更日志；
根据业务***能够识别的数据格式，将所述数据变更日志解析为具备所述数据格式的日志数据；所述业务***部署在客户端上；
将所述日志数据发送给消息中间件；所述消息中间件用于：所述客户端在监听到所述消息中间件中存在日志数据时，从所述消息中间件拉取日志数据。
可选地，所述计算机可执行指令被所述处理器执行时，
所述方法还包括：
接收配置信息；所述配置信息包括所述数据库的地址；
其中，与数据库建立连接，包括：根据所述数据库的地址，与所述数据库建立连接。
所述配置信息还包括所述消息中间件的地址；
其中，将所述日志数据发送给消息中间件，包括：
根据所述消息中间件的地址，将所述日志数据发送给所述消息中间件。
基于所述连接，从所述数据库拉取数据变更日志，包括：
基于所述连接，监听所述数据库中的数据变更日志；
当监听到所述数据变更日志中的位置标识的位置发生改变时，从所述数据变更日志中拉取位于位置改变前的所述位置标识以下的数据变更记录；所述位置标识用于标识所述数据变更日志中最新的数据变更记录的位置；所述数据变更日志包括至少一条数据变更记录。
所述配置信息还包括多个消息中间件与所述数据库中的多个数据表的映射关系；所述日志数据中包括至少一个日志数据组；一个日志数据组对应于一个数据表；
将所述日志数据发送给消息中间件，包括：
从所述日志数据中，获取与所述多个数据表中的至少一个数据表相对应的日志数据组；
根据所述映射关系，从所述多个消息中间件中，确定与获取的日志数据组对应的数据表相映射的消息中间件；
将获取的日志数据组发送给确定出的相应的消息中间件。
本发明实施例中提供的数据变更日志的处理方法，能够与数据库建立连接；基于连接，从数据库拉取数据变更日志；根据业务***能够识别的数据格式，将数据变更日志解析为具备数据格式的日志数据；业务***部署在客户端上；将日志数据发送给消息中间件；消息中间件用于：客户端在监听到消息中间件中存在日志数据时，从消息中间件拉取日志数据。这样，能够在与数据库保持连接时，不停地从数据库中获取数据变更日志，并将数据变更日志解析为业务***能够识别的日志数据，从而使得部署有业务***的客户端能够及时从消息中间件中获取能够识别的日志数据，提高了业务***的响应效率。
本发明实施例还提供了一种客户端，图10为本申请实施例提供的客户端的结构示意图。如图10所示，客户端可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器1001和存储器1002，存储器1002中可以存储有一个或一个以上存储应用程序或数据。其中，存储器1002可以是短暂存储或持久存储。存储在存储器1002的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对内存数据加载设备中的一系列计算机可执行指令。更进一步地，处理器1001可以设置为与存储器1002通信，在内存数据加载设备上执行存储器1002中的一系列计算机可执行指令。内存数据加载设备还可以包括一个或一个以上电源1003，一个或一个以上有线或无线网络接口1004，一个或一个以上输入输出接口1005，一个或一个以上键盘1006等。
在一个具体的实施例中，客户端包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机可执行指令，所述计算机可执行指令被所述处理器执行时实现以下流程：
向日志拉取服务端发送配置信息，所述配置信息中至少包括：客户端期望获取的日志数据对应的数据库的地址，以及，消息中间件的地址；
监听所述消息中间件中是否存在日志数据；所述消息中间件中的日志数据，由所述日志拉取服务端基于所述数据库的地址从所述数据库中获取数据变更日志后，根据所述数据变更日志和所述消息中间件的地址，向所述消息中间件发送；
若监听到所述消息中间件中存在日志数据，则从所述消息中间件拉取日志数据。
本发明实施例中提供的数据变更日志的处理方法，能够与数据库建立连接；基于连接，从数据库拉取数据变更日志；根据业务***能够识别的数据格式，将数据变更日志解析为具备数据格式的日志数据；业务***部署在客户端上；将日志数据发送给消息中间件；消息中间件用于：客户端在监听到消息中间件中存在日志数据时，从消息中间件拉取日志数据。这样，能够在与数据库保持连接时，不停地从数据库中获取数据变更日志，并将数据变更日志解析为业务***能够识别的日志数据，从而使得部署有业务***的客户端能够及时从消息中间件中获取能够识别的日志数据，提高了业务***的响应效率。
进一步地，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机可执行指令，所述计算机可执行指令被处理器执行时实现以下流程：
向日志拉取服务端发送配置信息，所述配置信息中至少包括：客户端期望获取的日志数据对应的数据库的地址，以及，消息中间件的地址；
监听所述消息中间件中是否存在日志数据；所述消息中间件中的日志数据，由所述日志拉取服务端基于所述数据库的地址从所述数据库中获取数据变更日志后，根据所述数据变更日志和所述消息中间件的地址，向所述消息中间件发送；
若监听到所述消息中间件中存在日志数据，则从所述消息中间件拉取日志数据。
本发明实施例中提供的数据变更日志的处理方法，能够与数据库建立连接；基于连接，从数据库拉取数据变更日志；根据业务***能够识别的数据格式，将数据变更日志解析为具备数据格式的日志数据；业务***部署在客户端上；将日志数据发送给消息中间件；消息中间件用于：客户端在监听到消息中间件中存在日志数据时，从消息中间件拉取日志数据。这样，能够在与数据库保持连接时，不停地从数据库中获取数据变更日志，并将数据变更日志解析为业务***能够识别的日志数据，从而使得部署有业务***的客户端能够及时从消息中间件中获取能够识别的日志数据，提高了业务***的响应效率。
本发明实施例还提供了一种配置服务端，图11为本申请实施例提供的配置服务端的结构示意图。如图11所示，配置服务端可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器1101和存储器1102，存储器1102中可以存储有一个或一个以上存储应用程序或数据。其中，存储器1102可以是短暂存储或持久存储。存储在存储器1102的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对内存数据加载设备中的一系列计算机可执行指令。更进一步地，处理器1101可以设置为与存储器1102通信，在内存数据加载设备上执行存储器1102中的一系列计算机可执行指令。内存数据加载设备还可以包括一个或一个以上电源1103，一个或一个以上有线或无线网络接口1104，一个或一个以上输入输出接口1105，一个或一个以上键盘1106等。
在一个具体的实施例中，配置服务端1100包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机可执行指令，所述计算机可执行指令被所述处理器执行时实现以下流程：
接收客户端发送的配置信息，所述配置信息中至少包括：客户端期望获取的日志数据对应的数据库的地址，以及，消息中间件的地址；
将所述配置信息发送给日志拉取服务端，以触发所述日志拉取服务端基于所述数据库的地址从所述数据库中获取数据变更日志后，根据所述数据变更日志和所述消息中间件的地址，向所述消息中间件发送日志数据。
可选地，所述计算机可执行指令被所述处理器执行时，
在所述将所述配置信息发送给日志拉取服务端之前，所述方法还包括：
向所述数据库的管理员发送授权请求；所述授权请求用于：指示所述数据库的管理员授予所述日志拉取服务端
获取所述数据变更日志的权限；
若接收到权限许可通知，则将所述权限许可通知转发给所述日志拉取服务端；转发给所述日志拉取服务端的所述权限许可通知用于：指示所述日志拉取服务端在接收到所述配置信息之后，与所述数据库建立连接。
本发明实施例中提供的数据变更日志的处理方法，能够与数据库建立连接；基于连接，从数据库拉取数据变更日志；根据业务***能够识别的数据格式，将数据变更日志解析为具备数据格式的日志数据；业务***部署在客户端上；将日志数据发送给消息中间件；消息中间件用于：客户端在监听到消息中间件中存在日志数据时，从消息中间件拉取日志数据。这样，能够在与数据库保持连接时，不停地从数据库中获取数据变更日志，并将数据变更日志解析为业务***能够识别的日志数据，从而使得部署有业务***的客户端能够及时从消息中间件中获取能够识别的日志数据，提高了业务***的响应效率。
进一步地，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机可执行指令，所述计算机可执行指令被处理器执行时实现以下流程：
可执行指令，所述计算机可执行指令被所述处理器执行时实现以下流程：
接收客户端发送的配置信息，所述配置信息中至少包括：客户端期望获取的日志数据对应的数据库的地址，以及，消息中间件的地址；
将所述配置信息发送给日志拉取服务端，以触发所述日志拉取服务端基于所述数据库的地址从所述数据库中获取数据变更日志后，根据所述数据变更日志和所述消息中间件的地址，向所述消息中间件发送日志数据。
可选地，所述计算机可执行指令被所述处理器执行时，
在所述将所述配置信息发送给日志拉取服务端之前，所述方法还包括：
向所述数据库的管理员发送授权请求；所述授权请求用于：指示所述数据库的管理员授予所述日志拉取服务端
获取所述数据变更日志的权限；
若接收到权限许可通知，则将所述权限许可通知转发给所述日志拉取服务端；转发给所述日志拉取服务端的所述权限许可通知用于：指示所述日志拉取服务端在接收到所述配置信息之后，与所述数据库建立连接。
本发明实施例中提供的数据变更日志的处理方法，能够与数据库建立连接；基于连接，从数据库拉取数据变更日志；根据业务***能够识别的数据格式，将数据变更日志解析为具备数据格式的日志数据；业务***部署在客户端上；将日志数据发送给消息中间件；消息中间件用于：客户端在监听到消息中间件中存在日志数据时，从消息中间件拉取日志数据。这样，能够在与数据库保持连接时，不停地从数据库中获取数据变更日志，并将数据变更日志解析为业务***能够识别的日志数据，从而使得部署有业务***的客户端能够及时从消息中间件中获取能够识别的日志数据，提高了业务***的响应效率。
其中，所述的计算机可读存储介质包括只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (16)
1.一种数据变更日志的处理方法，其特征在于，所述方法应用于日志拉取服务端，所述方法包括：
与数据库建立连接；
基于所述连接，从所述数据库拉取数据变更日志；
根据业务***能够识别的数据格式，将所述数据变更日志解析为具备所述数据格式的日志数据；所述业务***部署在客户端上；
将所述日志数据发送给消息中间件；所述消息中间件用于：所述客户端在监听到所述消息中间件中存在日志数据时，从所述消息中间件拉取日志数据。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
接收配置信息；所述配置信息包括所述数据库的地址；
其中，与数据库建立连接，包括：根据所述数据库的地址，与所述数据库建立连接。
3.如权利要求2所述的方法，其特征在于，所述配置信息还包括所述消息中间件的地址；
其中，将所述日志数据发送给消息中间件，包括：
根据所述消息中间件的地址，将所述日志数据发送给所述消息中间件。
4.如权利要求1所述的方法，其特征在于，基于所述连接，从所述数据库拉取数据变更日志，包括：
基于所述连接，监听所述数据库中的数据变更日志；
当监听到所述数据变更日志中的位置标识的位置发生改变时，从所述数据变更日志中拉取位于位置改变前的所述位置标识以下的数据变更记录；所述位置标识用于标识所述数据变更日志中最新的数据变更记录的位置；所述数据变更日志包括至少一条数据变更记录。
5.如权利要求2所述的方法，其特征在于，所述配置信息还包括多个消息中间件与所述数据库中的多个数据表的映射关系；所述日志数据中包括至少一个日志数据组；一个日志数据组对应于一个数据表；
将所述日志数据发送给消息中间件，包括：
从所述日志数据中，获取与所述多个数据表中的至少一个数据表相对应的日志数据组；
根据所述映射关系，从所述多个消息中间件中，确定与获取的日志数据组对应的数据表相映射的消息中间件；
将获取的日志数据组发送给确定出的相应的消息中间件。
6.一种数据变更日志的处理方法，其特征在于，所述方法应用于客户端，所述方法包括：
向日志拉取服务端发送配置信息，所述配置信息中至少包括：客户端期望获取的日志数据对应的数据库的地址，以及，消息中间件的地址；
监听所述消息中间件中是否存在日志数据；所述消息中间件中的日志数据，由所述日志拉取服务端基于所述数据库的地址从所述数据库中获取数据变更日志后，根据所述数据变更日志和所述消息中间件的地址，向所述消息中间件发送；
若监听到所述消息中间件中存在日志数据，则从所述消息中间件拉取日志数据。
7.一种数据变更日志的处理方法，其特征在于，所述方法应用于配置服务端，所述方法包括：
接收客户端发送的配置信息，所述配置信息中至少包括：客户端期望获取的日志数据对应的数据库的地址，以及，消息中间件的地址；
将所述配置信息发送给日志拉取服务端，以触发所述日志拉取服务端基于所述数据库的地址从所述数据库中获取数据变更日志后，根据所述数据变更日志和所述消息中间件的地址，向所述消息中间件发送日志数据。
8.如权利要求7所述的方法，其特征在于，在所述将所述配置信息发送给日志拉取服务端之前，所述方法还包括：
向所述数据库的管理员发送授权请求；所述授权请求用于：指示所述数据库的管理员授予所述日志拉取服务端
获取所述数据变更日志的权限；
若接收到权限许可通知，则将所述权限许可通知转发给所述日志拉取服务端；转发给所述日志拉取服务端的所述权限许可通知用于：指示所述日志拉取服务端在接收到所述配置信息之后，与所述数据库建立连接。
9.一种服务端，其特征在于，所述日志拉取服务端包括：
连接单元，用于与数据库建立连接；
第一拉取单元，用于基于所述连接，从所述数据库拉取数据变更日志；
解析单元，用于根据业务***能够识别的数据格式，将所述数据变更日志解析为具备所述数据格式的日志数据；所述业务***部署在客户端上；
第一发送单元，用于将所述日志数据发送给消息中间件；所述消息中间件用于：所述客户端在监听到所述消息中间件中存在日志数据时，从所述消息中间件拉取日志数据。
10.如权利要求9所述的服务端，其特征在于，所述服务端还包括接收单元，用于：
接收配置信息；所述配置信息包括所述数据库的地址；
其中，所述连接单元，用于根据所述数据库的地址，与所述数据库建立连接。
11.如权利要求10所述的方法，其特征在于，所述配置信息还包括所述消息中间件的地址；
其中，所述第一发送单元，用于根据所述消息中间件的地址，将所述日志数据发送给所述消息中间件。
12.如权利要求9所述的服务端，其特征在于，所述第一拉取单元，用于：
基于所述连接，监听所述数据库中的数据变更日志；
当监听到所述数据变更日志中的位置标识的位置发生改变时，从所述数据变更日志中拉取位于位置改变前的所述位置标识以下的数据变更记录；所述位置标识用于标识所述数据变更日志中最新的数据变更记录的位置；所述数据变更日志包括至少一条数据变更记录。
13.如权利要求10所述的服务端，其特征在于，所述配置信息还包括多个消息中间件与所述数据库中的多个数据表的映射关系；所述日志数据中包括至少一个日志数据组；一个日志数据组对应于一个数据表；
所述第一发送单元，用于：
从所述日志数据中，获取与所述多个数据表中的至少一个数据表相对应的日志数据组；
根据所述映射关系，从所述多个消息中间件中，确定与获取的日志数据组对应的数据表相映射的消息中间件；
将获取的日志数据组发送给确定出的相应的消息中间件。
14.一种客户端，其特征在于，所述客户端包括：
第二发送单元，用于向日志拉取服务端发送配置信息，所述配置信息中至少包括：客户端期望获取的日志数据对应的数据库的地址，以及，消息中间件的地址；
监听单元，用于监听所述消息中间件中是否存在日志数据；所述消息中间件中的日志数据，由所述日志拉取服务端基于所述数据库的地址从所述数据库中获取数据变更日志后，根据所述数据变更日志和所述消息中间件的地址，向所述消息中间件发送；
第二拉取单元，用于若监听到所述消息中间件中存在日志数据，则从所述消息中间件拉取日志数据。
15.一种配置服务端，其特征在于，所述服务端包括：
接收单元，用于接收客户端发送的配置信息，所述配置信息中至少包括：客户端期望获取的日志数据对应的数据库的地址，以及，消息中间件的地址；
第三发送单元，用于将所述配置信息发送给日志拉取服务端，以触发所述日志拉取服务端基于所述数据库的地址从所述数据库中获取数据变更日志后，根据所述数据变更日志和所述消息中间件的地址，向所述消息中间件发送日志数据。
16.如权利要求15所述的服务端，其特征在于，所述服务端还包括：
第四发送单元，用于向所述数据库的管理员发送授权请求；所述授权请求用于：指示所述数据库的管理员授予所述日志拉取服务端
获取单元，用于获取所述数据变更日志的权限；
转发单元，用于若接收到权限许可通知，则将所述权限许可通知转发给所述日志拉取服务端；转发给所述日志拉取服务端的所述权限许可通知用于：指示所述日志拉取服务端在接收到所述配置信息之后，与所述数据库建立连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011026441.0A CN112052227A (zh) | 2020-09-25 | 2020-09-25 | 数据变更日志的处理方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011026441.0A CN112052227A (zh) | 2020-09-25 | 2020-09-25 | 数据变更日志的处理方法、装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112052227A true CN112052227A (zh) | 2020-12-08 |
Family
ID=73604857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011026441.0A Pending CN112052227A (zh) | 2020-09-25 | 2020-09-25 | 数据变更日志的处理方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112052227A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112783910A (zh) * | 2021-01-29 | 2021-05-11 | 浪潮通用软件有限公司 | 一种基于消息中间件的数据分发方法及*** |
| CN113553310A (zh) * | 2021-09-22 | 2021-10-26 | 深圳市信润富联数字科技有限公司 | 数据的采集方法及装置、存储介质、电子设备 |
| CN114500255A (zh) * | 2022-03-01 | 2022-05-13 | 北京百度网讯科技有限公司 | 一种日志数据上报方法、装置、设备及存储介质 |
| CN114661691A (zh) * | 2020-12-23 | 2022-06-24 | Tcl商用信息科技(惠州)有限责任公司 | 一种数据库信息推送方法、智能终端及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016029790A1 (zh) * | 2014-08-28 | 2016-03-03 | 北京奇虎科技有限公司 | 数据传输方法及装置 |
| WO2016082371A1 (zh) * | 2014-11-25 | 2016-06-02 | 中国科学院声学研究所 | 一种基于ssh协议的会话解析方法及*** |
| US20160294605A1 (en) * | 2014-07-07 | 2016-10-06 | Symphony Teleca Corporation | Remote Embedded Device Update Platform Apparatuses, Methods and Systems |
| CN107783975A (zh) * | 2016-08-24 | 2018-03-09 | 北京京东尚科信息技术有限公司 | 分布式数据库同步处理的方法和装置 |
| WO2018201978A1 (zh) * | 2017-05-04 | 2018-11-08 | 平安科技（深圳）有限公司 | 接口调用数据处理方法、装置、计算机设备和存储介质 |
| CN108804237A (zh) * | 2017-05-05 | 2018-11-13 | 北京京东尚科信息技术有限公司 | 数据实时统计方法、装置、存储介质和电子设备 |
| CN110134737A (zh) * | 2019-05-20 | 2019-08-16 | 中国铁道科学研究院集团有限公司 | 数据变化监听方法及装置、电子设备和计算机可读存储介质 |
| CN110597914A (zh) * | 2019-09-18 | 2019-12-20 | 北京思维造物信息科技股份有限公司 | 数据传输***、方法、装置及设备 |
| CN111078717A (zh) * | 2019-12-20 | 2020-04-28 | 深圳前海环融联易信息科技服务有限公司 | 数据库与缓存的一致性同步方法、装置、计算机设备及存储介质 |
-
2020
- 2020-09-25 CN CN202011026441.0A patent/CN112052227A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160294605A1 (en) * | 2014-07-07 | 2016-10-06 | Symphony Teleca Corporation | Remote Embedded Device Update Platform Apparatuses, Methods and Systems |
| WO2016029790A1 (zh) * | 2014-08-28 | 2016-03-03 | 北京奇虎科技有限公司 | 数据传输方法及装置 |
| WO2016082371A1 (zh) * | 2014-11-25 | 2016-06-02 | 中国科学院声学研究所 | 一种基于ssh协议的会话解析方法及*** |
| CN107783975A (zh) * | 2016-08-24 | 2018-03-09 | 北京京东尚科信息技术有限公司 | 分布式数据库同步处理的方法和装置 |
| WO2018201978A1 (zh) * | 2017-05-04 | 2018-11-08 | 平安科技（深圳）有限公司 | 接口调用数据处理方法、装置、计算机设备和存储介质 |
| CN108804237A (zh) * | 2017-05-05 | 2018-11-13 | 北京京东尚科信息技术有限公司 | 数据实时统计方法、装置、存储介质和电子设备 |
| CN110134737A (zh) * | 2019-05-20 | 2019-08-16 | 中国铁道科学研究院集团有限公司 | 数据变化监听方法及装置、电子设备和计算机可读存储介质 |
| CN110597914A (zh) * | 2019-09-18 | 2019-12-20 | 北京思维造物信息科技股份有限公司 | 数据传输***、方法、装置及设备 |
| CN111078717A (zh) * | 2019-12-20 | 2020-04-28 | 深圳前海环融联易信息科技服务有限公司 | 数据库与缓存的一致性同步方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 康金辉;: "一种数字校园日志获取模型及实现方法", 计算机与数字工程, no. 04 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114661691A (zh) * | 2020-12-23 | 2022-06-24 | Tcl商用信息科技(惠州)有限责任公司 | 一种数据库信息推送方法、智能终端及存储介质 |
| CN112783910A (zh) * | 2021-01-29 | 2021-05-11 | 浪潮通用软件有限公司 | 一种基于消息中间件的数据分发方法及*** |
| CN113553310A (zh) * | 2021-09-22 | 2021-10-26 | 深圳市信润富联数字科技有限公司 | 数据的采集方法及装置、存储介质、电子设备 |
| CN114500255A (zh) * | 2022-03-01 | 2022-05-13 | 北京百度网讯科技有限公司 | 一种日志数据上报方法、装置、设备及存储介质 |
| CN114500255B (zh) * | 2022-03-01 | 2024-03-15 | 北京百度网讯科技有限公司 | 一种日志数据上报方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112052227A (zh) | 数据变更日志的处理方法、装置和电子设备 | |
| WO2021012568A1 (zh) | 一种数据处理方法及相关设备 | |
| US6336141B1 (en) | Method of collectively managing dispersive log, network system and relay computer for use in the same | |
| CN110740103A (zh) | 业务请求处理方法、装置、计算机设备和存储介质 | |
| CN111752799A (zh) | 一种业务链路跟踪方法、装置、设备及储存介质 | |
| CN110990335B (zh) | 日志归档方法、装置、设备及计算机可读存储介质 | |
| CN112052247A (zh) | 搜索引擎的索引更新***、方法、装置、电子设备、存储介质 | |
| JP2018508072A (ja) | メッセージをプッシュするための方法および装置 | |
| CN108833565A (zh) | 一种监控服务器的方法、装置、服务器和存储介质 | |
| CN108063832B (zh) | 一种云存储***及其存储方法 | |
| CN112543222B (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
| CN111355986A (zh) | 一种直播间中的消息处理方法、装置和存储介质 | |
| CN113630418B (zh) | 一种网络服务识别方法、装置、设备及介质 | |
| CN113946559A (zh) | 数据处理方法、目标数据库***及数据处理*** | |
| CN109286684B (zh) | 一种通信连接的处理方法、装置、代理服务器及存储介质 | |
| CN113177179B (zh) | 数据请求连接管理方法、装置、设备及存储介质 | |
| CN111010290B (zh) | 业务日志的处理方法、装置、电子设备及存储介质 | |
| CN112039936B (zh) | 数据传输方法、第一数据处理设备及监控*** | |
| CN113778709B (zh) | 接口调用方法、装置、服务器及存储介质 | |
| CN111666509A (zh) | 基于跨网络地理数据的云查询方法及*** | |
| CN111240904A (zh) | 数据库备份方法、装置、电子设备及存储介质 | |
| CN110995489A (zh) | 大数据平台服务器管理方法、装置、服务器及存储介质 | |
| US9852031B2 (en) | Computer system and method of identifying a failure | |
| US20100111094A1 (en) | Relay device, access analysis device, method of controlling relay device, and storage medium for the same | |
| CN108156201B (zh) | 统一管理应用***配置数据的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |