CN111460038A - 一种数据准实时同步方法及装置 - Google Patents
一种数据准实时同步方法及装置 Download PDFInfo
- Publication number
- CN111460038A CN111460038A CN202010263463.2A CN202010263463A CN111460038A CN 111460038 A CN111460038 A CN 111460038A CN 202010263463 A CN202010263463 A CN 202010263463A CN 111460038 A CN111460038 A CN 111460038A
- Authority
- CN
- China
- Prior art keywords
- data
- synchronization
- database table
- synchronous
- synchronized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000001360 synchronised effect Effects 0.000 claims abstract description 168
- 238000004590 computer program Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 7
- 238000012217 deletion Methods 0.000 description 5
- 230000037430 deletion Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种数据准实时同步方法及装置，所述方法包括：接收客户端发送的数据订阅请求；根据所述数据订阅请求生成数据同步配置文件并确定同步数据表；根据数据库日志确定待同步数据库表；若判断所述待同步数据库表包括所述同步数据库表，则根据所述数据同步配置文件将所述待同步数据库表包括的同步数据表的待同步数据发送给所述客户端。所述装置用于执行上述方法。本发明实施例提供的数据准实时同步方法及装置，提高了数据同步的效率。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及一种数据准实时同步方法及装置。
背景技术
在一个企业中，存在各种各样的数据，通常会将这些数据存放在数据库中，以便在需要的时候调用。
资产管理平台用于对架构资产，设计资产等银行资产数据进行统一管理展示的平台。目前，资产管理平台主要通过约定好的数据接口格式，按照约定的时间通过定时FTP文件传输任务从业务组件获取资产相关数据。上述获取数据的方式，数据的加工和展示都有延时。此外，有一些数据需要资产管理平台主动调用数据提供方提供的数据服务接口来获取，需要用轮询的方式一直访问数据提供方的数据服务器，增加了数据服务器的访问压力，也增加了资源的消耗。
发明内容
针对现有技术中的问题，本发明实施例提供一种数据准实时同步方法及装置，能够至少部分地解决现有技术中存在的问题。
一方面，本发明提出一种数据准实时同步方法，包括：
接收客户端发送的数据订阅请求；
根据所述数据订阅请求生成数据同步配置文件并确定同步数据表；
根据数据库日志确定待同步数据库表；
若判断所述待同步数据库表包括所述同步数据库表，则根据所述数据同步配置文件将所述待同步数据库表包括的同步数据表的待同步数据发送给所述客户端。
另一方面，本发明提供一种数据准实时同步装置，包括：
接收单元，用于接收客户端发送的数据订阅请求；
生成单元，用于根据所述数据订阅请求生成数据同步配置文件并确定同步数据表；
确定单元，用于根据数据库日志确定待同步数据库表；
同步单元，用于在判断所述待同步数据库表包括所述同步数据库表之后，根据所述数据同步配置文件将所述待同步数据库表包括的同步数据表的待同步数据发送给所述客户端。
再一方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述数据准实时同步方法的步骤。
又一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施例所述数据准实时同步方法的步骤。
本发明实施例提供的数据准实时同步方法及装置，能够接收客户端发送的数据订阅请求，根据数据订阅请求生成数据同步配置文件并确定同步数据表，根据数据库日志确定待同步数据库表，在判断待同步数据库表包括同步数据库表之后，根据数据同步配置文件将待同步数据库表包括的同步数据库表的待同步数据发送给客户端，通过数据同步配置文件完成了数据的同步，能够在数据发生变化时，及时将数据同步到客户端，提高了数据同步的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明一实施例提供的数据同步***的架构示意图。
图2是本发明另一实施例提供的数据同步***的架构示意图。
图3是本发明一实施例提供的数据准实时同步方法的流程示意图。
图4是本发明另一实施例提供的数据准实时同步方法的流程示意图。
图5是本发明一实施例提供的数据准实时同步装置的结构示意图。
图6是本发明另一实施例提供的数据准实时同步装置的结构示意图。
图7是本发明一实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
为了便于理解本申请提供的技术方案，下面先对本申请技术方案的相关内容进行说明。
图1是本发明一实施例提供的数据同步***的架构示意图，如图1所示，本发明实施例提供的数据同步***包括业务终端101、数据库服务器102、数据交换平台103和多个客户端104，其中：
业务终端101分别与数据库服务器102和数据交换平台103通信连接，数据交换平台103与每个客户端104通信连接。
业务终端101产生的数据，会发送到数据库服务器102存储到数据库中，同时还会发送给数据交换平台103，再由数据交换平台103发送给需要的客户端104。
在上述数据同步***中，需要维护很多发送消息的代码，新增或者更新消息都会带来不少维护成本。
图2是本发明另一实施例提供的数据同步***的架构示意图，如图2所示，本发明实施例提供的数据同步***包括业务终端201、数据库服务器202、数据交换平台203和多个客户端204，其中：
业务终端201与数据库服务器202通信连接，数据库服务器202与数据交换平台203通信连接，数据交换平台203与每个客户端204通信连接。
业务终端201产生的数据，会发送到数据库服务器202存储到数据库中，数据交换平台203可以监控数据库日志，例如binlog日志，通过数据库日志发现变化的数据，数据库服务器202将变化的数据发送给数据交换平台203，再由数据交换平台发送给需要的客户端204。其中，数据交换平台203可以采用Kafka服务器集群，对数据库日志的监控可以采用Canel，Databus，Puma等同步工具实现。
本发明实施例提供的数据同步***，直接将数据库服务器接入到数据同步***中，通过数据交换平台监控数据变化，避免每个客户端在同步数据时，都去监控数据库服务器中数据库的数据变化，减轻了数据库服务器的压力。
为了使客户端204能够从数据交换平台203获取到变化的数据，本发明实施例提供一种数据准实时同步方法，通过数据同步配置文件实现数据的同步，能够及时同步发生变化的数据，提高了数据同步的效率，此外，无需为每个客户端重复编写实现数据同步的代码，能够提高客户端程序的开发效率。为了清楚地说明本发明实施例的技术方案，以数据交换平台为执行主体对本发明实施例提供的数据准实时同步方法的实现过程进行说明。可理解的是，本发明实施例提供的数据准实时同步方法包括但不限于数据交换平台。
图3是本发明一实施例提供的数据准实时同步方法的流程示意图，如图3所示，本发明实施例提供的数据准实时同步方法，包括：
S301、接收客户端发送的数据订阅请求；
具体地，客户端向数据交换平台发送数据订阅请求，所述数据交换平台会接收所述数据订阅请求。其中，所述数据订阅请求用于告知所述数据交换平台所述客户端需要同步的数据。
S302、根据所述数据订阅请求生成数据同步配置文件并确定同步数据表；
具体地，所述数据交换平台在接收到所述数据订阅请求之后，会根据所述数据订阅请求生成所述客户端对应的数据同步配置文件，并确定同步数据表，所述同步数据表用于确定所述客户端需要同步的数据。
例如，所述数据订阅请求可以包括数据流水类型、同步数据的分类和同步数据内容，同步数据的分类与同步数据内容对应。在生成所述数据同步配置文件时，可以根据同步数据的分类确定消息类别(Topic)，并为每个消息类别设置URI清单，URI清单包括数据同步时需要调用的微服务RestAPI。此外，还需要配置mybatis配置文件，配置具体的SQL语句。具体的SQL语句是对应同步数据表的新增、删除和修改操作。其中，微服务RestAPI是预先定义的，数据交换平台与数据库服务器之间约定微服务RestAPI，数据交换平台与客户端之间约定同样的微服务RestAPI。
数据流水类型可以包括新增、修改和删除，用于指示对同步数据的分类的操作类型，新增表明建立新的同步数据表，新的同步数据表包括同步数据的分类和同步数据内容；修改表明修改同步数据表，在同步数据表中增加所述数据订阅请求中同步数据的分类和同步数据内容；删除表明删除同步数据表的中所述数据订阅请求包括的同步数据的分类和同步数据内容。其中，同步数据的类别与消息类别的对应关系是预设的。每个消息类别对应的URI清单是预设的。每个消息类别对应一张同步数据表。
S303、根据数据库日志确定待同步数据库表；
具体地，数据库服务器将数据库日志发送给所述数据交换平台，所述数据交换平台接收数据库日志，根据所述数据库日志确定数据发生变化的数据库表，上述数据发生变化的数据库表，即为待同步数据库表。
例如，数据库日志采用binlog日志，binlog日志是用于记录数据库数据变更的二进制日志。当数据库服务器的数据库内的数据发生变更，更改的数据库表和更改内容的都会记录到binlog日志里，数据库服务器将binlog日志发送给数据交换平台，数据交换平台通过解析binlog日志，可以确定哪些数据库表中的哪些数据发生了变化，数据发生变化的数据库表即待同步数据库表。
S304、若判断所述待同步数据库表包括所述同步数据表，则根据所述数据同步配置文件将所述待同步数据库表包括的同步数据表的待同步数据发送给所述客户端。
具体地，所述数据交换平台在获得所述待同步数据库表之后，将所述同步数据表与所述待同步数据库表逐一进行比较，如果所述同步数据表包括在所述待同步数据库表中，说明需要对所述同步数据表进行数据同步。所述数据交换平台会根据所述数据同步配置文件将所述待同步数据库表包括的同步数据表的待同步数据发送给所述客户端。
例如，所述数据同步配置文件包括消息类别以及消息类别对应的URI清单。所述数据交换平台根据所述待同步数据库表包括的同步数据表的变化数据，确定出所述同步数据表的待同步数据，根据配置信息包括消息类别以及消息类别对应的URI清单，以及待同步数据的消息类别，确定待同步数据需要调用的URI清单，通过调用URI清单调用对应的RestAPI将待同步数据发送给所述客户端。
本发明实施例提供的数据准实时同步方法，能够接收客户端发送的数据订阅请求，根据数据订阅请求生成数据同步配置文件并确定同步数据表，根据数据库日志确定待同步数据库表，在判断待同步数据库表包括同步数据库表之后，根据数据同步配置文件将待同步数据库表包括的同步数据库表的待同步数据发送给客户端，通过数据同步配置文件完成了数据的同步，能够在数据发生变化时，及时将数据同步到客户端，提高了数据同步的效率。此外，由于在客户端应用程序的开发中无需为每个程序重复编写实现数据同步的代码，减少了编写的代码量，能够提高客户端应用程序的开发效率。
图4是本发明另一实施例提供的数据准实时同步方法的流程示意图，如图4所示，在上述各实施例的基础上，进一步地，本发明实施例提供的数据准实时同步方法还包括：
S401、定时接收离线数据文件并更新本地数据库表；
具体地，所述数据库服务器会定时向所述数据交换平台发送离线数据文件，所述数据交换平台会根据接收到的离线数据文件更新本地数据库表。其中，所述定时根据实际需要进行设置，本发明实施例不做限定。
例如，所述数据库服务器每天定时推送离线数据文件给所述数据交换平台，所述离线数据文件是需要同步的数据文件，可以通过shell脚本配置定时任务的方式将离线数据文件存入所述数据交换平台的MySQL和Hive。Hive表分为ods/mid/ads三层存储数据，Kylin加载Hive中ads层的维度表及事实表，建立model及相应的cube，基于MR进行预计算，将结果存储到分布式数据库Hbase，以便后续查询。
S402、若判断获知更新的本地数据库表包括同步数据库表，则根据所述数据同步配置文件将更新的本地数据库表包括的同步数据库表的离线同步数据发送给所述客户端。
具体地，所述数据交换平台在更新完本地数据库表之后，会将更新的本地数据库表与同步数据表逐一进行比较，如果所述同步数据表包括在更新的本地数据库表中，说明需要对所述同步数据表进行数据同步。所述数据交换平台会根据所述数据同步配置文件将更新的本地数据库表包括的同步数据库表的离线同步数据发送给所述客户端。离线同步数据的发送给所述客户端的具体过程与步骤S304中待同步数据的发送过程类似，此处不进行赘述。
在上述各实施例的基础上，进一步地，所述数据订阅请求包括数据流水类型、同步数据的分类和同步数据内容；其中，所述同步数据的分类与所述同步数据的内容对应。
具体地，所述数据订阅请求包括数据流水类型，同步数据的分类和同步数据内容，所述同步数据的分类与所述同步数据的内容对应。其中，所述数据流水类型可以包括新增、修改和删除，用于指示对同步数据库表的操作。所述同步数据的分类可以包括一级分类和二级分类，二级分类是在一级分类的基础上的进一步分类，同步数据的分类的具体类型根据实际需要进行设置，本发明实施例不做限定。所述同步数据的内容根据实际需要进行设置，本发明实施例不做限定。
例如，如表1所示，数据流水类型包括新增、修改和删除，新增的属性值为A，修改的属性值为U，删除的属性值为D。数据流水类型的属性键采用operType表示。同步数据的分类包括一级分类和二级分类，一级分类包括需求类数据和项目类数据，需求类数据的属性值为01，项目类数据的属性值为02，一级分类的属性键采用dataTypeL1。需求类数据对应的二级分类包括需求项，需求项的属性值为0101，项目类数据对应的二级分类可以包括项目基本信息、项目相关部门、项目目标、项目人员、项目计划和项目工作量，二级分类的属性键采用dataTypeL2。同步数据内容以字段名称和字段名称对应的数值表示，比如二级分类需求项对应的同步数据内容的字段名称可以包括协同标识、业务审批日期、业务组件编码等。
表1数据订阅请求的数据结构定义
在上述各实施例的基础上，进一步地，所述根据所述数据订阅请求确定同步数据表包括：
根据所述数据流水类型、所述同步数据的分类和同步数据内容对所述同步数据表进行相应的操作。
具体地，所述数据流水类型可以包括新增、修改和删除。如果所述数据流水类型为新增，那么所述数据交换平台会根据所述同步数据的分类和同步数据的内容创建同步数据表。如果所述数据流水类型为修改，那么所述数据交换平台会根据所述同步数据的分类和同步数据的内容，在已经建立的同步数据表中增加所述同步数据的分类和同步数据的内容。如果所述数据流水类型为删除，那么所述数据交换平台会在己经建立的同步数据表中删除同步数据的分类和同步数据的内容。
下面一个具体的实例来说明本发明实施例提供的数据准实时同步方法的实现过程。
客户端向数据交换平台发送包括新增、项目类需求、项目基本信息和项目基本信息对应的同步数据内容的数据订阅请求，那么所述数据交换平台接收到上述数据订阅请求之后，会创建一个项目基本信息表作为同步数据表，项目基本信息表包括项目基本信息对应的同步数据内容。所述数据交换平台会根据项目基本信息确定消息类别，并设置上述消息类别的URI清单，生成数据同步配置文件。其中，所述消息类别以及消息类别对应的URI清单为上述数据同步配置文件的配置信息。所述项目基本信息表对应一个topic，topic的名称以一级分类、二级分类、表名和uri来命名，例如命名为项目类需求.项目基本信息.001.uri，其中表名为001根据实际需要进行设置，本发明实施例不做限定。在mybatis配置文件中增加项目基本信息表与数据流水类型的对应关系，新增的属性值为A，那么可以在mybatis配置文件中设置项目基本信息表对应的标识，并设置同步数据的分类、表名以及对应的数据流水类型的属性值与项目基本信息表对应的标识对应，比如设置项目类需求.项目基本信息.001.A对应于项目基本信息表在mybatis配置文件中的标识0201_A。程序在加载时可以根据mybatis配置文件中项目基本信息表对应的标识执行相应SQL操作。
所述数据交换平台根据topic name文件中的topic将数据库服务器和对应的topic绑定，客户端也与对应的topic绑定，可以通过配置文件app-consumer-ms实现topic的绑定。根据提供的默认数据同步逻辑，基于数据流水类型、在mybatis配置文件中项目基本信息表对应的标识，调用相应的数据库访问SQL语句，执行相应SQL实现的数据同步，比如：对于项目基本信息表的新增操作，调用mybatis配置文件标识0201_A对应的数据库访问SQL语句。
当所述数据交换平台判断出待同步数据库表包括所述项目基本信息表时，会根据二级分类项目基本信息，项目基本信息表的待同步数据投递到项目基本信息的消息类别的消息队列，根据消息类别对应的URI清单，将待同步数据通过RestAPI方式调用，发送至发送所述数据订阅请求的客户端。
图5是本发明一实施例提供的数据准实时同步装置的结构示意图，如图5所示，在上述各实施例的基础上，进一步地，本发明实施例提供的数据准实时同步装置包括接收单元501、生成单元502、确定单元503和同步单元504，其中：
接收单元501用于接收客户端发送的数据订阅请求；生成单元502用于根据所述数据订阅请求生成数据同步配置文件并确定同步数据表；确定单元503用于根据数据库日志确定待同步数据库表；同步单元504用于在判断所述待同步数据库表包括所述同步数据库表之后，根据所述数据同步配置文件将所述待同步数据表包括的同步数据库表的待同步数据发送给所述客户端。
具体地，客户端向接收单元501发送数据订阅请求，接收单元501会接收所述数据订阅请求。其中，所述数据订阅请求用于告知所述数据交换平台所述客户端需要同步的数据。
在接收到所述数据订阅请求之后，生成单元502会根据所述数据订阅请求生成所述客户端对应的数据同步配置文件，并确定同步数据表，所述同步数据表用于确定所述客户端需要同步的数据。
数据库服务器将数据库日志发送给所述数据交换平台，确定单元503接收数据库日志，根据所述数据库日志确定数据发生变化的数据库表，上述数据发生变化的数据库表，即为待同步数据库表。
在获得所述待同步数据库表之后，同步单元504将所述同步数据表与所述待同步数据库表逐一进行比较，如果所述同步数据表包括在所述待同步数据库表中，说明需要对所述同步数据表进行数据同步。所述数据交换平台会根据所述数据同步配置文件将所述待同步数据库表包括的同步数据表的待同步数据发送给所述客户端。
本发明实施例提供的数据准实时同步装置，能够接收客户端发送的数据订阅请求，根据数据订阅请求生成数据同步配置文件并确定同步数据表，根据数据库日志确定待同步数据库表，在判断待同步数据库表包括同步数据库表之后，根据数据同步配置文件将待同步数据库表包括的同步数据库表的待同步数据发送给客户端，通过数据同步配置文件完成了数据的同步，能够在数据发生变化时，及时将数据同步到客户端，提高了数据同步的效率。此外，由于在客户端应用程序的开发中无需为每个程序重复编写实现数据同步的代码，减少了编写的代码量，能够提高客户端应用程序的开发效率。
图6是本发明另一实施例提供的数据准实时同步装置的结构示意图，如图6所示，在上述各实施例的基础上，进一步地，本发明实施例提供的数据准实时同步装置还包括更新单元505和离线同步单元506，其中：
更新单元505用于定时接收离线数据文件并更新本地数据库表；离线同步单元506用于在判断获知更新的本地数据库表包括同步数据库表之后，根据所述数据同步配置文件将更新的本地数据库表包括的同步数据库表的离线同步数据发送给所述客户端。
具体地，所述数据库服务器会定时向所述数据交换平台发送离线数据文件，更新单元505会根据接收到的离线数据文件更新本地数据库表。其中，所述定时根据实际需要进行设置，本发明实施例不做限定。
在更新完本地数据库表之后，离线同步单元506会将更新的本地数据库表与同步数据表逐一进行比较，如果所述同步数据表包括在更新的本地数据库表中，说明需要对所述同步数据表进行数据同步。离线同步单元506会根据所述数据同步配置文件将更新的本地数据库表包括的同步数据库表的离线同步数据发送给所述客户端。
在上述各实施例的基础上，进一步地，所述数据订阅请求包括数据流水类型、同步数据的分类和同步数据内容；其中，所述同步数据的分类与所述同步数据的内容对应。
具体地，所述数据订阅请求包括数据流水类型，同步数据的分类和同步数据内容，所述同步数据的分类与所述同步数据的内容对应。其中，所述数据流水类型可以包括新增、修改和删除，用于指示对同步数据库表的操作。所述同步数据的分类可以包括一级分类和二级分类，二级分类是在一级分类的基础上的进一步分类，同步数据的分类的具体类型根据实际需要进行设置，本发明实施例不做限定。所述同步数据的内容根据实际需要进行设置，本发明实施例不做限定。
在上述各实施例的基础上，进一步地，生成单元502具体用于：
根据所述数据流水类型、所述同步数据的分类和同步数据内容对所述同步数据表进行相应的操作。
具体地，所述数据流水类型可以包括新增、修改和删除。如果所述数据流水类型为新增，那么所述数据交换平台会根据所述同步数据的分类和同步数据的内容创建同步数据表。如果所述数据流水类型为修改，那么所述数据交换平台会根据所述同步数据的分类和同步数据的内容，在已经建立的同步数据表中增加所述同步数据的分类和同步数据的内容。如果所述数据流水类型为删除，那么所述数据交换平台会在己经建立的同步数据表中删除同步数据的分类和同步数据的内容。
本发明实施例提供的装置的实施例具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
图7是本发明一实施例提供的电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)701、通信接口(Communications Interface)702、存储器(memory)703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信。处理器701可以调用存储器703中的逻辑指令，以执行如下方法：接收客户端发送的数据订阅请求；根据所述数据订阅请求生成数据同步配置文件并确定同步数据表；根据数据库日志确定待同步数据库表；若判断所述待同步数据库表包括所述同步数据库表，则根据所述数据同步配置文件将所述待同步数据库表包括的同步数据表的待同步数据发送给所述客户端。
此外，上述的存储器703中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：接收客户端发送的数据订阅请求；根据所述数据订阅请求生成数据同步配置文件并确定同步数据表；根据数据库日志确定待同步数据库表；若判断所述待同步数据库表包括所述同步数据库表，则根据所述数据同步配置文件将所述待同步数据库表包括的同步数据表的待同步数据发送给所述客户端。
本实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述各方法实施例所提供的方法，例如包括：接收客户端发送的数据订阅请求；根据所述数据订阅请求生成数据同步配置文件并确定同步数据表；根据数据库日志确定待同步数据库表；若判断所述待同步数据库表包括所述同步数据库表，则根据所述数据同步配置文件将所述待同步数据库表包括的同步数据表的待同步数据发送给所述客户端。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据准实时同步方法，其特征在于，包括：
接收客户端发送的数据订阅请求；
根据所述数据订阅请求生成数据同步配置文件并确定同步数据表；
根据数据库日志确定待同步数据库表；
若判断所述待同步数据库表包括所述同步数据库表，则根据所述数据同步配置文件将所述待同步数据库表包括的同步数据表的待同步数据发送给所述客户端。
2.根据权利要求1所述的方法，其特征在于，还包括：
定时接收离线数据文件并更新本地数据库表；
若判断获知更新的本地数据库表包括同步数据库表，则根据所述数据同步配置文件将更新的本地数据库表包括的同步数据库表的离线同步数据发送给所述客户端。
3.根据权利要求1或2所述的方法，其特征在于，所述数据订阅请求包括数据流水类型、同步数据的分类和同步数据内容；其中，所述同步数据的分类与所述同步数据的内容对应。
4.根据权利要求3所述的方法，其特征在于，所述根据所述数据订阅请求确定同步数据表包括：
根据所述数据流水类型、所述同步数据的分类和同步数据内容对所述同步数据表进行相应的操作。
5.一种数据准实时同步装置，其特征在于，包括：
接收单元，用于接收客户端发送的数据订阅请求；
生成单元，用于根据所述数据订阅请求生成数据同步配置文件并确定同步数据表；
确定单元，用于根据数据库日志确定待同步数据库表；
同步单元，用于在判断所述待同步数据库表包括所述同步数据库表之后，根据所述数据同步配置文件将所述待同步数据库表包括的同步数据表的待同步数据发送给所述客户端。
6.根据权利要求5所述的装置，其特征在于，还包括：
更新单元，用于定时接收离线数据文件并更新本地数据库表；
离线同步单元，用于在判断获知更新的本地数据库表包括同步数据库表之后，根据所述数据同步配置文件将更新的本地数据库表包括的同步数据库表的离线同步数据发送给所述客户端。
7.根据权利要求5或6所述的装置，其特征在于，所述数据订阅请求包括数据流水类型、同步数据的分类和同步数据内容；其中，所述同步数据的分类与所述同步数据的内容对应。
8.根据权利要求7所述的装置，其特征在于，所述生成单元具体用于：
根据所述数据流水类型、所述同步数据的分类和同步数据内容对所述同步数据表进行相应的操作。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010263463.2A CN111460038A (zh) | 2020-04-07 | 2020-04-07 | 一种数据准实时同步方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010263463.2A CN111460038A (zh) | 2020-04-07 | 2020-04-07 | 一种数据准实时同步方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111460038A true CN111460038A (zh) | 2020-07-28 |
Family
ID=71683643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010263463.2A Pending CN111460038A (zh) | 2020-04-07 | 2020-04-07 | 一种数据准实时同步方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111460038A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112507020A (zh) * | 2020-11-20 | 2021-03-16 | 平安普惠企业管理有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
| CN113392161A (zh) * | 2021-07-08 | 2021-09-14 | 苏州海管家物流科技有限公司 | 数据双向实时同步*** |
| CN115328974A (zh) * | 2022-10-12 | 2022-11-11 | 南斗六星***集成有限公司 | 一种数据实时性检测方法、装置、设备及可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104184822A (zh) * | 2014-08-29 | 2014-12-03 | 海视云（北京）科技有限公司 | 一种数据同步的方法及*** |
| CN108536743A (zh) * | 2018-03-09 | 2018-09-14 | 中国电子科技集团公司第二十八研究所 | 一种指控***数据库数据同步*** |
| CN108628881A (zh) * | 2017-03-20 | 2018-10-09 | 北京京东尚科信息技术有限公司 | 数据同步方法和装置 |
| CN108763387A (zh) * | 2018-05-20 | 2018-11-06 | 湖北九州云仓科技发展有限公司 | 异构平台的大数据融合方法、电子设备、存储介质及*** |
| CN108920670A (zh) * | 2018-07-06 | 2018-11-30 | 深圳市小牛在线互联网信息咨询有限公司 | 缓存同步方法、装置、***及存储介质 |
| CN110321387A (zh) * | 2019-07-10 | 2019-10-11 | 中国联合网络通信集团有限公司 | 数据同步方法、设备及终端设备 |
| CN110674213A (zh) * | 2019-08-30 | 2020-01-10 | 中国人民财产保险股份有限公司 | 一种数据同步方法及装置 |
-
2020
- 2020-04-07 CN CN202010263463.2A patent/CN111460038A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104184822A (zh) * | 2014-08-29 | 2014-12-03 | 海视云（北京）科技有限公司 | 一种数据同步的方法及*** |
| CN108628881A (zh) * | 2017-03-20 | 2018-10-09 | 北京京东尚科信息技术有限公司 | 数据同步方法和装置 |
| CN108536743A (zh) * | 2018-03-09 | 2018-09-14 | 中国电子科技集团公司第二十八研究所 | 一种指控***数据库数据同步*** |
| CN108763387A (zh) * | 2018-05-20 | 2018-11-06 | 湖北九州云仓科技发展有限公司 | 异构平台的大数据融合方法、电子设备、存储介质及*** |
| CN108920670A (zh) * | 2018-07-06 | 2018-11-30 | 深圳市小牛在线互联网信息咨询有限公司 | 缓存同步方法、装置、***及存储介质 |
| CN110321387A (zh) * | 2019-07-10 | 2019-10-11 | 中国联合网络通信集团有限公司 | 数据同步方法、设备及终端设备 |
| CN110674213A (zh) * | 2019-08-30 | 2020-01-10 | 中国人民财产保险股份有限公司 | 一种数据同步方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 杨欧等: "《基于物联网平台的智能服务机器人设计》", 西安交通大学出版社, pages: 282 - 285 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112507020A (zh) * | 2020-11-20 | 2021-03-16 | 平安普惠企业管理有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
| CN113392161A (zh) * | 2021-07-08 | 2021-09-14 | 苏州海管家物流科技有限公司 | 数据双向实时同步*** |
| CN115328974A (zh) * | 2022-10-12 | 2022-11-11 | 南斗六星***集成有限公司 | 一种数据实时性检测方法、装置、设备及可读存储介质 |
| CN115328974B (zh) * | 2022-10-12 | 2022-12-13 | 南斗六星***集成有限公司 | 一种数据实时性检测方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108874558B (zh) | 分布式事务的消息订阅方法、电子装置及可读存储介质 | |
| CN102682052B (zh) | 过滤数据存储上的查询数据 | |
| CN111460038A (zh) | 一种数据准实时同步方法及装置 | |
| KR101919180B1 (ko) | 웹 기반 이메일 시스템에서의 대화 구조의 동기화 기법 | |
| AU2015204742B2 (en) | Methods for generating an activity stream | |
| CN106648903B (zh) | 调用分布式文件***的方法和装置 | |
| MX2008012378A (es) | Estructura de agregacion de mensaje basado en politica. | |
| CN112597249B (zh) | 一种业务数据的同步分发存储方法及*** | |
| US8001150B2 (en) | Device management method using nodes having additional attribute and device management client thereof | |
| KR101545626B1 (ko) | Ｄｄｓ-ｄｂ 연동 시스템 | |
| CN102769640B (zh) | 用户信息的更新方法、服务器以及*** | |
| US20090083210A1 (en) | Exchange of syncronization data and metadata | |
| CN102999608A (zh) | 大数据的树表展现***和树表展现方法 | |
| JP2015522879A (ja) | オフラインメッセージを提供するサービス装置、方法及び記憶媒体 | |
| CN113434312A (zh) | 数据血缘关系处理方法及装置 | |
| CN110071968B (zh) | 一种基于区块链的消息存储方法及装置 | |
| CN111813529B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN116383207A (zh) | 一种数据标签管理方法、装置、电子设备和存储介质 | |
| CN113672776B (zh) | 一种故障分析方法及装置 | |
| JP2006146615A (ja) | オブジェクト関連情報管理プログラム、管理方法、および管理装置。 | |
| US20020107921A1 (en) | Work-flow cooperation processing apparatus, work-flow cooperation processing system, work-flow-system cooperation method, program therefor, and recording medium therefor | |
| CN113965538A (zh) | 设备状态消息处理方法、装置及存储介质 | |
| CN110837453B (zh) | 一种公文交换平台的监控方法及相关装置 | |
| CN113792891B (zh) | 一种机器学习特征生产***及方法 | |
| JP2011133925A (ja) | データ処理装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220927 Address after: 25 Financial Street, Xicheng District, Beijing 100033 Applicant after: CHINA CONSTRUCTION BANK Corp. Address before: 25 Financial Street, Xicheng District, Beijing 100033 Applicant before: CHINA CONSTRUCTION BANK Corp. Applicant before: Jianxin Financial Science and Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right |