CN110334147A - 一种数据同步方法及装置 - Google Patents
一种数据同步方法及装置 Download PDFInfo
- Publication number
- CN110334147A CN110334147A CN201910417898.5A CN201910417898A CN110334147A CN 110334147 A CN110334147 A CN 110334147A CN 201910417898 A CN201910417898 A CN 201910417898A CN 110334147 A CN110334147 A CN 110334147A
- Authority
- CN
- China
- Prior art keywords
- data
- declaration form
- database
- synchronized
- form data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000001360 synchronised effect Effects 0.000 claims abstract description 133
- 230000009466 transformation Effects 0.000 claims abstract description 39
- 238000013135 deep learning Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims description 36
- 230000015654 memory Effects 0.000 claims description 20
- 230000004048 modification Effects 0.000 claims description 19
- 238000012986 modification Methods 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 7
- 108010001267 Protein Subunits Proteins 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000032696 parturition Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- General Engineering & Computer Science (AREA)
- Development Economics (AREA)
- Technology Law (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种数据同步方法及装置，本发明涉及大数据技术领域，方法包括：监听第一数据库的保单数据写入信息，其中，第一数据库为保单数据的存储数据库；当监听到任一保单数据写入成功的信息后，生成一个对应的数据同步任务并存储至预设的任务列表；根据预设频次，拉取预设的任务列表中的数据同步任务；基于数据同步任务读取第一数据库中待同步的保单数据；向深度学习转换模型输入读取到的待同步的保单数据，得到待导入数据；基于媒体网关控制协议将待导入数据同步到第二数据库中。本发明实施例提供的技术方案能够解决现有技术中不同的服务数据库之间数据同步效率低的问题。
Description
【技术领域】
本发明涉及大数据技术领域，尤其涉及一种数据同步方法及装置。
【背景技术】
在微服务架构下的保单生成***里，现有的保险保单数据生成后会存储至出单库(第一微服务)中，由于出单库与批改库的两个不同的服务器分别处理不同的数据，因此，数据源要根据服务进行拆分，因此，需要将新增的保单数据快速同步备份，以使得批改库中的保单数据能够在后续服务过程中作为保单数据修改的基础。目前，在微服务架构下不同的服务数据库之间不能通过直连实现数据同步，导致数据同步效率低。
【发明内容】
有鉴于此，本发明实施例提供了一种数据同步方法、装置、存储介质及计算机设备，用以解决现有技术中微服务架构下不同的服务数据库之间不能通过直连实现数据同步，导致数据同步效率低的问题。
为了实现上述目的，根据本发明的一个方面，提供了一种数据同步方法，所述方法包括：监听第一数据库的保单数据写入信息，其中，所述第一数据库为所述保单数据的存储数据库；当监听到任一所述保单数据写入成功的信息后，生成一个对应的数据同步任务并存储至预设的任务列表；根据预设频次，拉取所述预设的任务列表中的所述数据同步任务；基于所述数据同步任务读取所述第一数据库中待同步的保单数据；向深度学习转换模型输入读取到的所述待同步的保单数据，以使得所述深度学习转换模型对所述待同步的保单数据的数据结构类型进行转换，得到待导入数据，其中，所述待导入数据为SQL字符串列表；基于媒体网关控制协议将所述待导入数据同步到第二数据库中。
进一步地，在所述向深度学习转换模型输入读取到的所述待同步的保单数据之前，所述方法还包括：获取与所述保单数据具有相同数据结构的输入样本数据和所述第二数据库的模板数据；分别将所述输入样本数据和所述模板数据作为输入训练集和输出训练集，并基于所述输入训练集和所述输出训练集对初始机器学习模型进行分析训练，得到所述深度学习转换模型，其中，所述深度学习转换模型能够根据转换逻辑将所述输入样本数据转换为所述模板数据。
进一步地，在所述基于媒体网关控制协议将所述待导入数据同步到第二数据库中之后，所述方法还包括：当所述第二数据库中的保单数据发生修改时，基于保单数据修改信息生成实时通知；将所述实时通知发送至数据管理中心，以使所述数据管理中心向预设人员账户发送所述实时通知中指示的保单数据修改信息。
进一步地，所述基于所述数据同步任务读取所述第一数据库中待同步的保单数据，包括：基于所述数据同步任务编写同步请求；将所述同步请求发送至所述第一数据库，其中，所述第一数据库接收并解析所述同步请求，并根据预设的配置表验证所述同步请求；当验证通过时，遍历所述保单数据相应字段并拼接生成同步报文；将所述同步报文确认为所述待同步的保单数据。
进一步地，在所述基于媒体网关控制协议将所述待导入数据同步到第二数据库中之后，所述方法还包括：根据所述待导入数据对所述第二数据库的数据索引文件进行更新。
为了实现上述目的，根据本发明的一个方面，提供了一种数据同步装置，所述装置包括：监听单元，用于监听第一数据库的保单数据写入信息，其中，所述第一数据库为所述保单数据的存储数据库；生成单元，用于当监听到任一所述保单数据写入成功的信息后，生成一个对应的数据同步任务并存储至预设的任务列表；拉取单元，用于根据预设频次，拉取所述预设的任务列表中的所述数据同步任务；读取单元，用于基于所述数据同步任务读取所述第一数据库中待同步的保单数据；处理单元，用于向深度学习转换模型输入读取到的所述待同步的保单数据，以使得所述深度学习转换模型对所述待同步的保单数据的数据结构类型进行转换，得到待导入数据，其中，所述待导入数据为SQL字符串列表；同步单元，用于基于媒体网关控制协议将所述待导入数据同步到第二数据库中。
进一步地，所述装置还包括：获取单元，用于获取与所述保单数据具有相同数据结构的输入样本数据和所述第二数据库的模板数据；训练单元，用于分别将所述输入样本数据和所述模板数据作为输入训练集和输出训练集，并基于所述输入训练集和所述输出训练集对初始机器学习模型进行分析训练，得到所述深度学习转换模型，其中，所述深度学习转换模型能够根据转换逻辑将所述输入样本数据转换为所述模板数据。
进一步地，所述读取单元包括：编写子单元，用于基于所述数据同步任务编写同步请求；发送子单元，用于将所述同步请求发送至所述第一数据库，其中，所述第一数据库接收并解析所述同步请求，并根据预设的配置表验证所述同步请求；生成子单元，用于当验证通过时，遍历所述保单数据相应字段并拼接生成同步报文；确认子单元，用于将所述同步报文确认为所述待同步的保单数据。
为了实现上述目的，根据本发明的一个方面，提供了一种计算机非易失性存储介质，所述存储介质包括存储的程序，在所述程序运行时控制所述存储介质所在设备执行上述的数据同步方法。
为了实现上述目的，根据本发明的一个方面，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的数据同步方法的步骤。
在本方案中，可以实现多个数据同步任务通过深度学习转换模型进行批量转换，使得保单数据能够快速转换为第二数据库所需的数据类型，然后批量同步至第二数据库中，能够有效提高数据同步入库效率。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是根据本发明实施例的一种数据同步方法的流程图；
图2是根据本发明实施例的一种数据同步装置的示意图；
图3是根据本发明实施例的一种计算机设备的示意图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述终端，但这些终端不应限于这些术语。这些术语仅用来将终端彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一终端也可以被称为第二终端，类似地，第二终端也可以被称为第一终端。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
图1是根据本发明实施例的一种数据同步方法的流程图，如图1所示，该方法包括：
步骤S101，监听第一数据库的保单数据写入信息，其中，第一数据库为保单数据的存储数据库；
步骤S102，当监听到任一保单数据写入成功的信息后，生成一个对应的数据同步任务并存储至预设的任务列表；
步骤S103，根据预设频次拉取预设的任务列表中的数据同步任务；
步骤S104，基于数据同步任务读取第一数据库中待同步的保单数据；
步骤S105，向深度学习转换模型输入读取到的待同步的保单数据，以使得深度学习转换模型对待同步的保单数据的数据结构类型进行转换，得到待导入数据，其中，待导入数据为SQL字符串列表；
步骤S106，基于媒体网关控制协议将待导入数据同步到第二数据库中。
可以理解地，在微服务框架下，各个服务器是独立部署的，并具有自己独立的数据库且为关系型数据库，例如：保单生成服务器、理赔处理服务器、保单批改服务器等。因此，保单生成服务器生成一个保单数据时，数据通过预设接口存入对应一个数据库中(即第一数据库)。这时候，理赔处理服务器的所对应的数据库不能直接同步获取新生成的保单数据。因此需要一个异步同步组件来实现各个数据库之间的数据同步，以使得保单批改服务器能够读取对应的数据库(即第二数据库)中的备份的保单数据，以作为修改的基础。
在本方案中，可以实现多个数据同步任务通过深度学习转换模型进行批量转换，使得保单数据能够快速转换为第二数据库所需的数据类型，然后批量同步至第二数据库中，能够有效提高数据同步入库效率。
在一种实施方式中，保单生成服务器生成的保单数据写入至第一数据库后，第一数据库就会反馈写入成功信息给保单生成服务器，当监听到写入成功的信息时，位于第一数据库及第二数据库之间的异步同步组件即生成数据同步任务。具体地，数据同步任务存储在预设的任务列表中。可选地，预设频次可以是时间频次或计数频次，例如为每5秒，异步同步组件会去任务列表中拉取一次数据同步任务，此时，数据同步任务可能为一个或多个。当预设频次为计数频次，例如当任务列表中的数据同步任务达到5个时，触发一次数据同步。
可选地，基于数据同步任务读取第一数据库中待同步的保单数据，包括：基于数据同步任务编写同步请求；将同步请求发送至第一数据库，其中，第一数据库接收并解析同步请求，并根据预设的配置表验证同步请求；当验证通过时，遍历待同步的保单数据相应字段并拼接生成同步报文；将同步报文确认为待同步的保单数据。
其中，同步请求携带保单数据的唯一标识，例如保单号。第一数据库在解析同步请求时，能够获取解析参数，解析参数包括待同步的保单数据的唯一标识。根据预设的配置表验证同步请求，可以是根据预设的配置表查询待同步的保单数据表是否存在，如果存在，即表示验证通过。进一步地，拆解同步请求中的SQL格式串，用SQL格式串遍历保单数据相应字段，拼接生成同步报文。
当任务列表中的数据同步任务有多个时，可以将多个数据同步任务编写至一个同步请求中，大大减少同步请求的数量，减少网络传输上的时间，提高同步效率。
可选地，保单数据为txt格式、excel格式、xml格式中的任意一种。
可选地，在向深度学习转换模型输入输入读取到的待同步的保单数据之前，方法还包括：获取与保单数据具有相同数据结构的输入样本数据和第二数据库的模板数据；分别将输入样本数据和模板数据作为输入训练集和输出训练集，并基于输入训练集和输出训练集对初始机器学习模型进行分析训练，得到深度学习转换模型，其中，深度学习转换模型能够根据转换逻辑将输入样本数据转换为模板数据。
其中，第二数据库的数据格式为SQL字符串列表。例如：输入样本数据的数据格式为excel格式，转换模型通过训练学习输入样本数据中的字段与模板数据中的字段的对应关系，解析字段的相关属性；然后根据字段的对应关系和相关属性，确定转换规则；利用确定的转换规则，根据字段的对应关系将样本数据中字段对应列的值转换为模板数据中字段对应列的值，再将转换得到的数据***SQL语句中，从而实现数据转换。其中字段的属性包括字段名称、字段类型、字段长度等。
当样本数据中日期字段的字段类型为char，而第二数据库中对应日期字段的字段类型为date，这是两个不同数据类型的字段，那么转换规则为：将样本数据中该字段对应列数据的字段类型由char转换为date。如此，才可以将样本数据中的日期数据导入到第二数据库。
可选地，基于媒体网关控制协议将待导入数据同步到第二数据库中的步骤，包括：
将待导入数据发送给第二数据库，其中，第二数据库拆解待导入数据获取同步数据；将获取的同步数据写入至第二数据库的对应数据表中。其中，待导入数据为sql字符串列表。可以理解地，第二数据库中的数据以sql字符串列表形式存储，方便数据的查询及修改。
可选地，在基于媒体网关控制协议将待导入数据同步到第二数据库中之后，方法还包括：当第二数据库中的保单数据发生修改时，基于保单数据修改信息生成实时通知；将实时通知发送至数据管理中心，以使数据管理中心向预设人员账户发送实时通知中指示的保单数据修改信息。例如：当监听到第二数据库中的保单单号为123456的保单数据(受益人名称变更)发生修改时，就会生成实时通知消息。
可以理解地，当第二数据库内的数据产生修改时，能够基于修改的保单数据及时通知客服人员、销售人员或者相关负责人。
可选地，在基于媒体网关控制协议将待导入数据同步到第二数据库中之后，方法还包括：根据待导入数据对第二数据库的数据索引文件进行更新。
可选地，基于媒体网关控制协议将待导入数据同步到第二数据库中之后，方法还包括：同步过程中，监听第二数据库的数据错误或者同步失败的反馈信息；解析反馈信息得到同步失败的保单数据的唯一标识；根据唯一标识重新生成数据同步任务并存储至预设的任务列表。可以理解地，如果同步失败，那么针对失败的保单会重新生成一个同步任务去执行。
本发明实施例提供了一种数据同步装置，该数据同步装置用于执行上述数据同步方法，如图2所示，该装置包括：监听单元10、生成单元20、拉取单元30、读取单元40、处理单元50、同步单元60。
监听单元10，用于监听第一数据库的保单数据写入信息，其中，第一数据库为保单数据的存储数据库；
生成单元20，用于当监听到任一保单数据写入成功的信息后，生成一个对应的数据同步任务并存储至预设的任务列表；
拉取单元30，用于根据预设频次，拉取预设的任务列表中的数据同步任务；
读取单元40，用于基于数据同步任务读取第一数据库中待同步的保单数据；
处理单元50，用于向深度学习转换模型输入读取到的待同步的保单数据，以使得深度学习转换模型对待同步的保单数据的数据结构类型进行转换，得到待导入数据，其中，待导入数据为SQL字符串列表；
同步单元60，用于基于媒体网关控制协议将待导入数据同步到第二数据库中。
可以理解地，在微服务框架下，各个服务器是独立部署的，并具有自己独立的数据库且为关系型数据库，例如：保单生成服务器、理赔处理服务器、保单批改服务器等。因此，保单生成服务器生成一个保单数据时，数据通过预设接口存入对应一个数据库中(即第一数据库)。这时候，理赔处理服务器的所对应的数据库不能直接同步获取新生成的保单数据。因此需要一个异步同步组件来实现各个数据库之间的数据同步，以使得保单批改服务器能够读取对应的数据库(即第二数据库)中的备份的保单数据，以作为修改的基础。
在本方案中，可以实现多个数据同步任务通过深度学习转换模型进行批量转换，使得保单数据能够快速转换为第二数据库所需的数据类型，然后批量同步至第二数据库中，能够有效提高数据同步入库效率。
在一种实施方式中，保单生成服务器生成的保单数据写入至第一数据库后，第一数据库就会反馈写入成功信息，当监听到写入成功的信息时，位于第一数据库及第二数据库之间的异步同步组件即生成数据同步任务。具体地，数据同步任务存储在预设的任务列表中。可选地，预设频次可以是时间频次或计数频次，例如为每5秒，异步同步组件会去任务列表中拉取一次数据同步任务，此时，数据同步任务可能为一个或多个。当预设频次为计数频次，例如当任务列表中的数据同步任务达到5个时，触发一次数据同步。
可选地，读取单元40包括：编写子单元、发送子单元、生成子单元、确认子单元。
编写子单元，用于基于数据同步任务编写同步请求；发送子单元，用于将同步请求发送至第一数据库，其中，第一数据库接收并解析同步请求，并根据预设的配置表验证同步请求；生成子单元，用于当验证通过时，遍历待同步的保单数据相应字段并拼接生成同步报文；确认子单元，将同步报文确认为待同步的保单数据。
其中，同步请求携带保单数据的唯一标识，例如保单号。第一数据库在解析同步请求时，能够获取解析参数，解析参数包括待同步的保单数据的唯一标识。根据预设的配置表验证同步请求，可以是根据预设的配置表查询待同步的保单数据表是否存在，如果存在，即表示验证通过。进一步地，拆解同步请求中的SQL格式串，用SQL格式串遍历保单数据相应字段，拼接生成同步报文。
当任务列表中的数据同步任务有多个时，可以将多个数据同步任务编写至一个同步请求中，大大减少同步请求的数量，减少网络传输上的时间，提高同步效率。
可选地，保单数据为txt格式、excel格式、xml格式中的任意一种。
可选地，装置还包括获取单元、训练单元。
获取单元，用于获取与保单数据具有相同数据结构的输入样本数据和第二数据库的模板数据；训练单元，用于分别将输入样本数据和模板数据作为输入训练集和输出训练集，并基于输入训练集和输出训练集对初始机器学习模型进行分析训练，得到深度学习转换模型，其中，深度学习转换模型能够根据转换逻辑将输入样本数据转换为模板数据。
其中，第二数据库的数据格式为SQL字符串列表。
例如：输入样本数据的数据格式为excel格式，转换模型通过训练学习输入样本数据中的字段与模板数据中的字段的对应关系，解析字段的相关属性；然后根据字段的对应关系和相关属性，确定转换规则；利用确定的转换规则，根据字段的对应关系将样本数据中字段对应列的值转换为模板数据中字段对应列的值，再将转换得到的数据***SQL语句中，从而实现数据转换。其中字段的属性包括字段名称、字段类型、字段长度等。
当样本数据中日期字段的字段类型为char，而第二数据库中对应日期字段的字段类型为date，这是两个不同数据类型的字段，那么转换规则为：将样本数据中该字段对应列数据的字段类型由char转换为date。如此，才可以将样本数据中的日期数据导入到第二数据库。
可选地，同步单元50包括：第二发送入子单元、写入子单元。
第二发送子单元，用于将待导入数据发送给第二数据库，其中，第二数据库拆解待导入数据获取同步数据；写入子单元，用于将获取的同步数据写入至第二数据库的对应数据表中。其中，待导入数据为sql字符串列表。可以理解地，第二数据库中的数据以sql字符串列表形式存储，方便数据的查询及修改。
可选地，装置还包括第二生成单元、第二发送单元。
第二生成单元，用于当第二数据库中的保单数据发生修改时，基于保单数据修改信息生成实时通知；第二发送单元，用于将实时通知发送至数据管理中心，以使数据管理中心向预设人员账户发送实时通知中指示的保单数据修改信息。例如：当监听到第二数据库中的保单单号为123456的保单数据(受益人名称变更)发生修改时，就会生成实时通知消息。
可以理解地，在第二数据库的数据同步后，当第二数据库内的数据产生修改时，能够基于修改的内容及时通知客服人员、销售人员或者相关负责人。
可选地，装置还包括更新单元，用于根据待导入数据对第二数据库的数据索引文件进行更新。可以理解地，通过数据的导入状态实时更新数据索引文件，能够方便用户在查询或修改第二数据库中的保单数据时，能够根据索引文件进行查询，快速获取保单。
可选地，装置还包括第二监听单元、解析单元、第三生成单元。
第二监听单元，用于在同步过程中，监听第二数据库的数据错误或者同步失败的反馈信息；解析单元，用于解析反馈信息得到同步失败的保单数据的唯一标识；第三生成单元，用于根据唯一标识重新生成数据同步任务并存储至预设的任务列表。可以理解地，如果同步失败，那么针对失败的保单会重新生成一个同步任务去执行。
本发明实施例提供了一种计算机非易失性存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行以下步骤：
监听第一数据库的保单数据写入信息，其中，第一数据库为保单数据的存储数据库；当监听到任一保单数据写入成功的信息后，生成一个对应的数据同步任务并存储至预设的任务列表；根据预设频次，拉取预设的任务列表中的数据同步任务；基于数据同步任务读取第一数据库中待同步的保单数据；向深度学习转换模型输入读取到的待同步的保单数据，以使得深度学习转换模型对待同步的保单数据的数据结构类型进行转换，得到待导入数据，其中，待导入数据为SQL字符串列表；基于媒体网关控制协议将待导入数据同步到第二数据库中。
可选地，在程序运行时控制存储介质所在设备还执行以下步骤：获取与保单数据具有相同数据结构的输入样本数据和第二数据库的模板数据；分别将输入样本数据和模板数据作为输入训练集和输出训练集，并基于输入训练集和输出训练集对初始机器学习模型进行分析训练，得到深度学习转换模型，其中，深度学习转换模型能够根据转换逻辑将输入样本数据转换为模板数据。
可选地，在程序运行时控制存储介质所在设备还执行以下步骤：当第二数据库中的保单数据发生修改时，基于保单数据修改信息生成实时通知；将实时通知发送至数据管理中心，以使数据管理中心向预设人员账户发送实时通知中指示的保单数据修改信息。
可选地，在程序运行时控制存储介质所在设备还执行以下步骤：基于数据同步任务编写同步请求；将同步请求发送至第一数据库，其中，第一数据库接收并解析同步请求，并根据预设的配置表验证同步请求；当验证通过时，遍历保单数据相应字段并拼接生成同步报文；将同步报文确认为待同步的保单数据。
可选地，在程序运行时控制存储介质所在设备还执行以下步骤：根据待导入数据对第二数据库的数据索引文件进行更新。
图3是本发明实施例提供的一种计算机设备的示意图。如图3所示，该实施例的计算机设备100包括：处理器101、存储器102以及存储在存储器102中并可在处理器101上运行的计算机程序103，该计算机程序103被处理器101执行时实现实施例中的数据同步方法，为避免重复，此处不一一赘述。或者，该计算机程序被处理器101执行时实现实施例中数据同步装置中各模型/单元的功能，为避免重复，此处不一一赘述。
计算机设备100可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可包括，但不仅限于，处理器101、存储器102。本领域技术人员可以理解，图3仅仅是计算机设备100的示例，并不构成对计算机设备100的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器101可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器102可以是计算机设备100的内部存储单元，例如计算机设备100的硬盘或内存。存储器102也可以是计算机设备100的外部存储设备，例如计算机设备100上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器102还可以既包括计算机设备100的内部存储单元也包括外部存储设备。存储器102用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器102还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (10)
1.一种数据同步方法，其特征在于，所述方法包括：
监听第一数据库的保单数据写入信息，其中，所述第一数据库为所述保单数据的存储数据库；
当监听到任一所述保单数据写入成功的信息后，生成一个对应的数据同步任务并存储至预设的任务列表；
根据预设频次，拉取所述预设的任务列表中的所述数据同步任务；
基于所述数据同步任务读取所述第一数据库中待同步的保单数据；
向深度学习转换模型输入读取到的所述待同步的保单数据，以使得所述深度学习转换模型对所述待同步的保单数据的数据结构类型进行转换，得到待导入数据，其中，所述待导入数据为SQL字符串列表；
基于媒体网关控制协议将所述待导入数据同步到第二数据库中。
2.根据权利要求1所述的方法，其特征在于，在所述向深度学习转换模型输入读取到的所述待同步的保单数据之前，所述方法还包括：
获取与所述保单数据具有相同数据结构的输入样本数据和所述第二数据库的模板数据；
分别将所述输入样本数据和所述模板数据作为输入训练集和输出训练集，并基于所述输入训练集和所述输出训练集对初始机器学习模型进行分析训练，得到所述深度学习转换模型，其中，所述深度学习转换模型能够根据转换逻辑将所述输入样本数据转换为所述模板数据。
3.根据权利要求1～2任一项所述的方法，其特征在于，在所述基于媒体网关控制协议将所述待导入数据同步到第二数据库中之后，所述方法还包括：
当所述第二数据库中的保单数据发生修改时，基于保单数据修改信息生成实时通知；
将所述实时通知发送至数据管理中心，以使所述数据管理中心向预设人员账户发送所述实时通知中指示的保单数据修改信息。
4.根据权利要求1～2任一项所述的方法，其特征在于，所述基于所述数据同步任务读取所述第一数据库中待同步的保单数据，包括：
基于所述数据同步任务编写同步请求；
将所述同步请求发送至所述第一数据库，其中，所述第一数据库接收并解析所述同步请求，并根据预设的配置表验证所述同步请求；
当验证通过时，遍历所述保单数据相应字段并拼接生成同步报文；
将所述同步报文确认为所述待同步的保单数据。
5.根据权利要求1所述的方法，其特征在于，在所述基于媒体网关控制协议将所述待导入数据同步到第二数据库中之后，所述方法还包括：
根据所述待导入数据对所述第二数据库的数据索引文件进行更新。
6.一种数据同步装置，其特征在于，所述装置包括：
监听单元，用于监听第一数据库的保单数据写入信息，其中，所述第一数据库为所述保单数据的存储数据库；
生成单元，用于当监听到任一所述保单数据写入成功的信息后，生成一个对应的数据同步任务并存储至预设的任务列表；
拉取单元，用于根据预设频次，拉取所述预设的任务列表中的所述数据同步任务；
读取单元，用于基于所述数据同步任务读取所述第一数据库中待同步的保单数据；
处理单元，用于向深度学习转换模型输入读取到的所述待同步的保单数据，以使得所述深度学习转换模型对所述待同步的保单数据的数据结构类型进行转换，得到待导入数据，其中，所述待导入数据为SQL字符串列表；
同步单元，用于基于媒体网关控制协议将所述待导入数据同步到第二数据库中。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
获取单元，用于获取与所述保单数据具有相同数据结构的输入样本数据和所述第二数据库的模板数据；
训练单元，用于分别将所述输入样本数据和所述模板数据作为输入训练集和输出训练集，并基于所述输入训练集和所述输出训练集对初始机器学习模型进行分析训练，得到所述深度学习转换模型，其中，所述深度学习转换模型能够根据转换逻辑将所述输入样本数据转换为所述模板数据。
8.根据权利要求6～7任一项所述的装置，其特征在于，所述读取单元包括：
编写子单元，用于基于所述数据同步任务编写同步请求；
发送子单元，用于将所述同步请求发送至所述第一数据库，其中，所述第一数据库接收并解析所述同步请求，并根据预设的配置表验证所述同步请求；
生成子单元，用于当验证通过时，遍历所述保单数据相应字段并拼接生成同步报文；
确认子单元，用于将所述同步报文确认为所述待同步的保单数据。
9.一种计算机非易失性存储介质，所述存储介质包括存储的程序，其特征在于，在所述程序运行时控制所述存储介质所在设备执行权利要求1至5任意一项所述的数据同步方法。
10.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被所述处理器执行时实现权利要求1至5任意一项所述的数据同步方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910417898.5A CN110334147A (zh) | 2019-05-20 | 2019-05-20 | 一种数据同步方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910417898.5A CN110334147A (zh) | 2019-05-20 | 2019-05-20 | 一种数据同步方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110334147A true CN110334147A (zh) | 2019-10-15 |
Family
ID=68139460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910417898.5A Pending CN110334147A (zh) | 2019-05-20 | 2019-05-20 | 一种数据同步方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110334147A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110866217A (zh) * | 2019-10-24 | 2020-03-06 | 长城计算机软件与***有限公司 | 一种交叉报表的识别方法、装置、存储介质及电子设备 |
| CN112306994A (zh) * | 2020-11-10 | 2021-02-02 | 北京沃东天骏信息技术有限公司 | 数据库数据迁移方法、装置以及存储介质 |
| CN112817990A (zh) * | 2021-01-28 | 2021-05-18 | 北京百度网讯科技有限公司 | 数据处理方法、装置、电子设备以及可读存储介质 |
| CN116150280A (zh) * | 2023-04-04 | 2023-05-23 | 之江实验室 | 一种拟态redis数据库同步方法、***、设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108920670A (zh) * | 2018-07-06 | 2018-11-30 | 深圳市小牛在线互联网信息咨询有限公司 | 缓存同步方法、装置、***及存储介质 |
| CN109377383A (zh) * | 2018-08-31 | 2019-02-22 | 平安科技（深圳）有限公司 | 产品数据同步方法、装置、计算机设备及存储介质 |
-
2019
- 2019-05-20 CN CN201910417898.5A patent/CN110334147A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108920670A (zh) * | 2018-07-06 | 2018-11-30 | 深圳市小牛在线互联网信息咨询有限公司 | 缓存同步方法、装置、***及存储介质 |
| CN109377383A (zh) * | 2018-08-31 | 2019-02-22 | 平安科技（深圳）有限公司 | 产品数据同步方法、装置、计算机设备及存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110866217A (zh) * | 2019-10-24 | 2020-03-06 | 长城计算机软件与***有限公司 | 一种交叉报表的识别方法、装置、存储介质及电子设备 |
| CN112306994A (zh) * | 2020-11-10 | 2021-02-02 | 北京沃东天骏信息技术有限公司 | 数据库数据迁移方法、装置以及存储介质 |
| CN112817990A (zh) * | 2021-01-28 | 2021-05-18 | 北京百度网讯科技有限公司 | 数据处理方法、装置、电子设备以及可读存储介质 |
| CN112817990B (zh) * | 2021-01-28 | 2024-03-08 | 北京百度网讯科技有限公司 | 数据处理方法、装置、电子设备以及可读存储介质 |
| CN116150280A (zh) * | 2023-04-04 | 2023-05-23 | 之江实验室 | 一种拟态redis数据库同步方法、***、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110334147A (zh) | 一种数据同步方法及装置 | |
| CN109344170B (zh) | 流数据处理方法、***、电子设备及可读存储介质 | |
| CN110032575A (zh) | 数据查询方法、装置、设备和存储介质 | |
| CN104246767A (zh) | 用于云同步***的遥测*** | |
| CN104156832A (zh) | ***间数据核对方法及装置 | |
| US20140289243A1 (en) | Method and system for centralized issue tracking | |
| CN112039701B (zh) | 接口调用监控方法、装置、设备及存储介质 | |
| CN103927314B (zh) | 一种数据批量处理的方法和装置 | |
| US9998450B2 (en) | Automatically generating certification documents | |
| CN110222028A (zh) | 一种数据管理方法、装置、设备及存储介质 | |
| CN113505520A (zh) | 用于支持异构联邦学习的方法、装置和*** | |
| US11913811B2 (en) | Enhanced meter management solution | |
| CN113282611A (zh) | 一种流数据同步的方法、装置、计算机设备及存储介质 | |
| CN105335466A (zh) | 一种音频数据的检索方法与装置 | |
| WO2024103898A1 (zh) | 数据库集群管理的方法和装置 | |
| CN110825538A (zh) | 一种基于mq可自定义数据类型动态进行数据交互的方法 | |
| CN111078764A (zh) | 数据处理方法、装置、计算机可读存储介质及电子设备 | |
| CN111581213B (zh) | 信息记录方法、装置、以及设备 | |
| Rukkas et al. | Distributed datastores: Towards probabilistic approach for estimation of reliability | |
| CN113051135A (zh) | 一种应用线程池的监控方法及线程池监控装置 | |
| CN116915870B (zh) | 任务创建请求处理方法、装置、电子设备和可读介质 | |
| TW201610907A (zh) | 電信訂單異質化資料同步轉換的方法 | |
| CN116382644A (zh) | 一种应用构建方法、装置、计算机设备及存储介质 | |
| CN118132571A (zh) | 数据同步***、方法、装置、计算机设备和存储介质 | |
| CN115794912A (zh) | 用于搜索引擎的预处理方法和装置、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |