CN107679058A - 数据同步方法、装置及计算机可读存储介质 - Google Patents
数据同步方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN107679058A CN107679058A CN201710497442.5A CN201710497442A CN107679058A CN 107679058 A CN107679058 A CN 107679058A CN 201710497442 A CN201710497442 A CN 201710497442A CN 107679058 A CN107679058 A CN 107679058A
- Authority
- CN
- China
- Prior art keywords
- data
- synchronized
- synchronization
- type
- chronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/273—Asynchronous replication or reconciliation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明公开了一种数据同步方法,该方法包括:在业务***中创建数据同步控制表,所述数据同步控制表包括待同步数据类型;在本次同步任务启动时,根据所述待同步数据类型获取待同步数据;将获取到的所述待同步数据同步至所述业务***的目标同步***,同时记录本次数据同步过程中同步失败的数据类型;通过异步任务将记录的所述同步失败的数据类型下的数据重新进行同步。本发明还公开了一种数据同步装置和一种计算机可读存储介质。本发明能够提高数据同步的准确性和安全性。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及数据同步方法、装置及计算机可读存储介质。
背景技术
目前,随着金融机构业务种类和数量的增多,支撑这些业务运行的后台***规模也越来越庞大,由于业务需要,多个***之间往往要进行数据同步,比如保单数据的同步、基金数据的同步等。这些数据如果采用人工采集的方式进行同步,不仅操作繁琐,而且极易出现漏数据和数据匹配错误的情况;而如果使用第三方同步工具(如GG同步)同步数据,批量同步数据的时候假如某一条数据***数据库失败(原因多样,如网络连接波动),那么则无法保证同步失败的数据可以重新精准同步,另外,如果同步的数据具有高度保密性质,那么第三方同步工具也将带来一定的信息泄露风险。
发明内容
本发明的主要目的在于提出一种数据同步方法、装置及计算机可读存储介质,旨在提高数据同步的准确性和安全性。
为实现上述目的,本发明提供一种数据同步方法,所述数据同步方法包括如下步骤:
在业务***中创建数据同步控制表,所述数据同步控制表包括待同步数据类型;
在本次同步任务启动时,根据所述待同步数据类型获取待同步数据;
将获取到的所述待同步数据同步至所述业务***的目标同步***,同时记录本次数据同步过程中同步失败的数据类型;
通过异步任务将记录的所述同步失败的数据类型下的数据重新进行同步。
可选地,所述在本次同步任务启动时,根据所述待同步数据类型获取待同步数据的步骤包括:
在本次同步任务启动时,若检测到所述待同步数据类型存在更新,则获取更新的所述待同步数据类型下的数据,并将所述更新的所述待同步数据类型下的数据作为待同步数据。
可选地,所述在本次同步任务启动时,若检测到所述待同步数据类型存在更新,则获取更新的所述待同步数据类型下的数据,并将所述更新的所述待同步数据类型下的数据作为待同步数据的步骤之前,还包括:
在所述业务***接收到新增业务类型指令时,根据所述新增业务类型指令在所述数据同步控制表中***与所述新增业务类型对应的待同步数据类型。
可选地,所述在本次同步任务启动时,根据所述待同步数据类型获取待同步数据的步骤包括:
在本次同步任务启动时,若检测到所述待同步数据类型下的数据存在更新,则获取所述待同步数据类型下的更新数据,并将所述更新数据作为待同步数据。
可选地,所述数据同步方法还包括:
获取所述异步任务基于同一数据类型下的数据连续同步失败的次数;
在所述连续同步失败的次数达到预设值时,发出告警信息。
此外,为实现上述目的,本发明还提供一种数据同步装置,所述数据同步装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据同步程序,所述数据同步程序被所述处理器执行时实现如下步骤:
在业务***中创建数据同步控制表,所述数据同步控制表包括待同步数据类型;
在本次同步任务启动时,根据所述待同步数据类型获取待同步数据;
将获取到的所述待同步数据同步至所述业务***的目标同步***,同时记录本次数据同步过程中同步失败的数据类型;
通过异步任务将记录的所述同步失败的数据类型下的数据重新进行同步。
可选地,所述数据同步程序被所述处理器执行时还实现如下步骤:
在本次同步任务启动时,若检测到所述待同步数据类型存在更新,则获取更新的所述待同步数据类型下的数据,并将所述更新的所述待同步数据类型下的数据作为待同步数据。
可选地,所述数据同步程序被所述处理器执行时还实现如下步骤:
在所述业务***接收到新增业务类型指令时,根据所述新增业务类型指令在所述数据同步控制表中***与所述新增业务类型对应的待同步数据类型。
可选地,所述数据同步程序被所述处理器执行时还实现如下步骤:
在本次同步任务启动时,若检测到所述待同步数据类型下的数据存在更新,则获取所述待同步数据类型下的更新数据,并将所述更新数据作为待同步数据。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有数据同步程序,所述数据同步程序被处理器执行时实现如上所述的数据同步方法的步骤。
本发明在业务***中创建数据同步控制表,所述数据同步控制表包括待同步数据类型;在本次同步任务启动时,根据所述待同步数据类型获取待同步数据;将获取到的所述待同步数据同步至所述业务***的目标同步***,同时记录本次数据同步过程中同步失败的数据类型;通过异步任务将记录的所述同步失败的数据类型下的数据重新进行同步。本发明通过业务***的同步机制进行数据同步,避免了人工采集数据导致的漏数据和数据匹配错误的情况,且异步任务能够保证同步失败的数据能够重新精准同步,从而提高了数据同步的准确性;此外,将数据同步机制写入到业务***本身,避免了使用第三方同步工具进行数据同步的信息泄露风险,从而提高了数据同步的安全性。本发明能够提高数据同步的准确性和安全性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图;
图2为本发明数据同步方法第一实施例的流程示意图;
图3为本发明数据同步方法第二实施例的流程示意图;
图4为本发明数据同步方法第三实施例的流程示意图;
图5为本发明数据同步方法第四实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的主要解决方案是:在业务***中创建数据同步控制表,所述数据同步控制表包括待同步数据类型;在本次同步任务启动时,根据所述待同步数据类型获取待同步数据;将获取到的所述待同步数据同步至所述业务***的目标同步***,同时记录本次数据同步过程中同步失败的数据类型;通过异步任务将记录的所述同步失败的数据类型下的数据重新进行同步。
现有技术中,多个***如果采用人工采集的方式进行同步,不仅操作繁琐,而且极易出现漏数据和数据匹配错误的情况;而如果使用第三方同步工具(如GG同步)同步数据,批量同步数据的时候假如某一条数据***数据库失败(原因多样,如网络连接波动),那么则无法保证同步失败的数据可以重新精准同步,另外,如果同步的数据具有高度保密性质,那么第三方同步工具也将带来一定的信息泄露风险。
本发明通过业务***的同步机制进行数据同步,避免了人工采集数据导致的漏数据和数据匹配错误的情况,且异步任务能够保证同步失败的数据能够重新精准同步,从而提高了数据同步的准确性;此外,将数据同步机制写入到业务***本身,避免了使用第三方同步工具进行数据同步的信息泄露风险,从而提高了数据同步的安全性。本发明能够提高数据同步的准确性和安全性。
本发明提供一种数据同步方法。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端可以是PC,也可以是智能手机、平板电脑、便携计算机等具有显示功能的可移动式终端设备。
如图1所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,终端还可以包括RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在移动终端移动到耳边时,关闭显示屏和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;当然,移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及数据同步程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的数据同步程序,并执行以下操作:
在业务***中创建数据同步控制表,所述数据同步控制表包括待同步数据类型;
在本次同步任务启动时,根据所述待同步数据类型获取待同步数据;
将获取到的所述待同步数据同步至所述业务***的目标同步***,同时记录本次数据同步过程中同步失败的数据类型;
通过异步任务将记录的所述同步失败的数据类型下的数据重新进行同步。
进一步地,处理器1001可以调用存储器1005中存储的数据同步程序,还执行以下操作:
在本次同步任务启动时,检测所述待同步数据类型是否存在更新;
若是,则获取更新的所述待同步数据类型下的数据,并将所述更新的所述待同步数据类型下的数据作为待同步数据。
进一步地,处理器1001可以调用存储器1005中存储的数据同步程序,还执行以下操作:
侦测所述业务***是否接收到新增业务类型指令;
若是,则根据所述新增业务类型指令在所述数据同步控制表中***与所述新增业务类型对应的待同步数据类型。
进一步地,处理器1001可以调用存储器1005中存储的数据同步程序,还执行以下操作:
在本次同步任务启动时,检测所述待同步数据类型下的数据是否存在更新;
若是,则获取所述待同步数据类型下的更新数据,并将所述更新数据作为待同步数据。
进一步地,处理器1001可以调用存储器1005中存储的数据同步程序,还执行以下操作:
获取所述异步任务基于同一数据类型下的数据连续同步失败的次数;
在所述连续同步失败的次数达到预设值时,发出告警信息。
基于上述硬件结构,提出本发明数据同步方法各个实施例。
参照图2,图2为本发明数据同步方法第一实施例的流程示意图,所述方法包括:
步骤S10,在业务***中创建数据同步控制表,所述数据同步控制表包括待同步数据类型;
在本实施例中,业务***主要为用户提供产品的在线交易服务,根据业务需要,业务***还关联多个服务***,以保险业务为例,业务***在前端为用户展示各个渠道的产品信息,同时后台关联多个渠道***,如寿险渠道***、养老险渠道***、产险渠道***等。用户可以通过业务***对应的客户端浏览相关产品,并进行相应的个人信息修改或在线购买产品等操作,业务***捕获用户的在线操作数据,然后将捕获的数据同步至对应的服务***,以使服务***获取到最新的交易信息。
首先,业务***可以根据管理人员的设置指令创建数据同步控制表,该数据同步控制表包括待同步数据类型,数据同步控制表除包括待同步数据类型外,还可以包括与待同步数据类型对应的数据同步状态(如未同步、正在同步、完成同步等)和历史同步记录(如最近一次同步成功的时间)等信息,以便于管理人员随时对每种类型的待同步数据进行状态监控和历史同步记录查询。具体地,作为一种实施方式,待同步数据类型可以根据用户身份信息进行划分,其中,用户身份信息包括用户名、ID号、手机号等,每个用户身份类别下包括与该用户相关的数据,包括个人信息数据、交易数据等;作为另一种实施方式,待用户数据类型还可以根据业务类型进行划分,比如保险业务、基金业务等,具体的划分粒度可根据产品的类型进行灵活设置,比如保险业务又可以划分为寿险业务、养老险业务、产险业务,基金业务又可以划分为股票基金业务、债券基金业务、货币市场基金业务等,每个业务类别下包括与该业务相关的数据,包括购买该业务产品的用户以及购买信息。当然,数据同步控制表中的待同步数据类型可以按照其他方式划分,比如业务操作状态(待操作,操作完成等)或业务重要程度等,具体实施中可进行灵活设置。
步骤S20,在本次同步任务启动时,根据所述待同步数据类型获取待同步数据;
业务***可以每个预设时长启动同步任务,如1小时、1天,也可以设定在某个时间点启动同步任务,如在每天的零点启动同步任务,此外,还可以检测业务***更新的数据量,若更新的数据量达到预设值,则启动同步任务,否则不启动同步任务。
在本次同步任务启动时,业务***根据待同步数据类型获取待同步数据。具体地,业务***至少包括一个用于存储业务信息的数据库,在同步任务启动时,业务***根据待同步数据类型从数据库中进行查找,从而获取到待同步数据。比如,当待同步数据类型为保险业务时,获取到的待同步数据可以为保单信息,具体包括险种、保单状态、保费数额、保单有效时间、保险人和被保险人等;当待同步数据类型为某一用户身份时,获取到的待同步数据可以为该用户身份下的用户信息,具体包括用户名、ID号、手机号及其他个人信息。
步骤S30,将获取到的所述待同步数据同步至所述业务***的目标同步***,同时记录本次数据同步过程中同步失败的数据类型;
该步骤中,业务***将获取到的待同步数据同步至业务***的目标同步***,同时记录本次数据同步过程中同步失败的数据类型。
比如,当待同步数据类型为保险业务时,需要将保险业务类型下的待同步数据同步至相应的寿险渠道***、养老险渠道***或产险渠道***,当待同步数据类型为基金业务时,需要将基金业务类型下的待同步数据同步至相应的股票基金业务***、债券基金业务***或货币市场基金业务***。需要说明的是,业务***的目标同步***可以是渠道方***,也可以是公司内部***,当目标同步***为公司内部***时,管理人员根据该***提供的数据进行业务分析、业务拓展等。
由于网络连接波动或***负载较大等原因,上述数据同步过程中可能出现某一条数据同步失败的情况,业务***记录本次数据同步过程中同步失败的数据类型,并通过日志进行保存。
步骤S40,通过异步任务将记录的所述同步失败的数据类型下的数据重新进行同步。
在本实施例中,异步任务是指独立于数据同步任务的主线程之外的任务,业务***在数据同步任务的主线程之外,启动异步任务,该异步任务获取本次数据同步过程中同步失败的数据类型,并重新进行同步,具体地,异步任务根据获取到的数据类型从业务***数据库中获取待同步的数据,并将获取到的待同步数据重新同步至相应的目标同步***,如此,在数据同步失败时,无需人工干预即可实现数据的再次同步,且异步任务独立执行,不会对数据同步任务的主线程产生影响,从而保证了同步效率,提高了数据同步的准确性。
在本实施例中,在业务***中创建数据同步控制表,所述数据同步控制表包括待同步数据类型;在本次同步任务启动时,根据所述待同步数据类型获取待同步数据;将获取到的所述待同步数据同步至所述业务***的目标同步***,同时记录本次数据同步过程中同步失败的数据类型;通过异步任务将记录的所述同步失败的数据类型下的数据重新进行同步。本实施例通过业务***的同步机制进行数据同步,避免了人工采集数据导致的漏数据和数据匹配错误的情况,且异步任务能够保证同步失败的数据能够重新精准同步,从而提高了数据同步的准确性;此外,将数据同步机制写入到业务***本身,避免了使用第三方同步工具进行数据同步的信息泄露风险,从而提高了数据同步的安全性。本发明能够提高数据同步的准确性和安全性。
进一步地,参照图3,图3为本发明数据同步方法第二实施例的流程示意图。基于上述图2所示的实施例,步骤S20可以包括:
步骤S21,在本次同步任务启动时,若检测到所述待同步数据类型存在更新,则获取更新的所述待同步数据类型下的数据,并将所述更新的所述待同步数据类型下的数据作为待同步数据。
在本实施例中,业务***在本次同步任务启动时,若检测到所述待同步数据类型存在更新,则获取更新的待同步数据类型下的数据,并将其作为待同步数据。
具体地,检测待同步数据类型是否存在更新的方式可以为:业务***在每次数据同步任务完成后,记录同步完成的时间点和每种待同步数据的完成状态;当本次同步任务启动时,业务***获取本次同步任务的前一次同步任务中同步成功的数据类型,将其与本次获取到的待同步数据类型进行对比,若两者不同,则判定待同步数据类型存在更新,并获取不同的待同步数据类型下的数据作为本次同步任务的待同步数据。如此,本次数据同步在前一次同步任务的基础上进行,业务***只需将和前一次同步任务不相同的数据同步至目标同步***,而不必将所有数据都同步至目标同步***,实现了数据的增量同步,提高了同步效率。
进一步地,在步骤S21之前,还可以包括:
步骤S22,在所述业务***接收到新增业务类型指令时,根据所述新增业务类型指令在所述数据同步控制表中***与所述新增业务类型对应的待同步数据类型。
当业务***对接一个新的渠道方***时,往往需要新增与渠道方对应的业务类型,在本次同步任务启动之前,侦测业务***是否接收到新增业务类型指令,若是,则在数据同步控制表中***与新增业务类型对应的待同步数据类型。
具体地,业务***根据管理人员的新增业务类型指令将新的业务类型对应的待同步数据类型***至数据同步控制表中,比如,当新增业务类型为保险业务时,***数据同步控制表中的待同步数据类型可以包括寿险业务、养老险业务、产险业务等,当新增业务类型为基金业务时,***数据同步控制表中的待同步数据类型可以包括股票基金业务、债券基金业务、货币市场基金业务等。
在本实施例中,业务***将更新的待同步数据类型下的数据同步至目标同步***,而不必将所有数据都同步至目标同步***,实现了数据的增量同步,提高了同步效率;通过数据同步,目标同步***能够及时获取到新增业务类型信息,保证了新增业务的顺利进行。
进一步地,参照图4,图4为本发明数据同步方法第三实施例的流程示意图。基于上述图2所示的实施例,步骤S20可以包括:
步骤S23,在本次同步任务启动时,若检测到所述待同步数据类型下的数据存在更新,则获取所述待同步数据类型下的更新数据,并将所述更新数据作为待同步数据。
在本实施例中,业务***在本次同步任务启动时,若检测到待同步数据类型下的数据存在更新,则获取所述待同步数据类型下的更新数据,并将更新数据作为待同步数据。
比如,当用户通过客户端修改个人信息时,客户端会将修改的内容发送给业务***,以使业务***更新该用户ID下的个人信息,在后续进行数据同步时,业务***只需将更新的个人信息同步至目标同步***,而不必将所有个人信息都同步至目标同步***。
本实施例通过将待同步数据类型下的更新数据同步至目标同步***,实现了数据的增量同步,提高了同步效率。
进一步地,参照图5,图5为本发明数据同步方法第四实施例的流程示意图。基于上述的实施例,所述方法还可以包括:
步骤S50,获取所述异步任务基于同一数据类型下的数据连续同步失败的次数;
步骤S60,在所述连续同步失败的次数达到预设值时,发出告警信息。
由于异步任务仍有数据同步失败的可能,因此,业务***可以获取异步任务基于同一数据类型下的数据连续同步失败的次数,当该次数达到预设值,比如3次时,发出告警信息,以提示管理人员该数据同步失败。
本实施例通过在异步任务同步数据失败次数达到预设值时发出告警信息,使得管理人员可以及时进行故障诊断,并在必要时通过其他方式进行数据同步,从而保证业务的正常运行。
本发明还提供一种数据同步装置。
本发明数据同步装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据同步程序,所述数据同步程序被所述处理器执行时实现如下步骤:
在业务***中创建数据同步控制表,所述数据同步控制表包括待同步数据类型;
在本次同步任务启动时,根据所述待同步数据类型获取待同步数据;
将获取到的所述待同步数据同步至所述业务***的目标同步***,同时记录本次数据同步过程中同步失败的数据类型;
通过异步任务将记录的所述同步失败的数据类型下的数据重新进行同步。
进一步地,所述数据同步程序被所述处理器执行时还实现如下步骤:
在本次同步任务启动时,若检测到所述待同步数据类型存在更新,则获取更新的所述待同步数据类型下的数据,并将所述更新的所述待同步数据类型下的数据作为待同步数据。
进一步地,所述数据同步程序被所述处理器执行时还实现如下步骤:
在所述业务***接收到新增业务类型指令时,根据所述新增业务类型指令在所述数据同步控制表中***与所述新增业务类型对应的待同步数据类型。
进一步地,所述数据同步程序被所述处理器执行时还实现如下步骤:
在本次同步任务启动时,若检测到所述待同步数据类型下的数据存在更新,则获取所述待同步数据类型下的更新数据,并将所述更新数据作为待同步数据。
其中,在所述处理器上运行的数据同步程序被执行时所实现的方法可参照本发明数据同步方法各个实施例,此处不再赘述。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有数据同步程序,所述数据同步程序被处理器执行时实现如上所述的数据同步方法的步骤。
其中,在所述处理器上运行的数据同步程序被执行时所实现的方法可参照本发明数据同步方法各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据同步方法,其特征在于,所述数据同步方法包括如下步骤:
在业务***中创建数据同步控制表,所述数据同步控制表包括待同步数据类型;
在本次同步任务启动时,根据所述待同步数据类型获取待同步数据;
将获取到的所述待同步数据同步至所述业务***的目标同步***,同时记录本次数据同步过程中同步失败的数据类型;
通过异步任务将记录的所述同步失败的数据类型下的数据重新进行同步。
2.如权利要求1所述的数据同步方法,其特征在于,所述在本次同步任务启动时,根据所述待同步数据类型获取待同步数据的步骤包括:
在本次同步任务启动时,若检测到所述待同步数据类型存在更新,则获取更新的所述待同步数据类型下的数据,并将所述更新的所述待同步数据类型下的数据作为待同步数据。
3.如权利要求2所述的数据同步方法,其特征在于,所述在本次同步任务启动时,若检测到所述待同步数据类型存在更新,则获取更新的所述待同步数据类型下的数据,并将所述更新的所述待同步数据类型下的数据作为待同步数据的步骤之前,还包括:
在所述业务***接收到新增业务类型指令时,根据所述新增业务类型指令在所述数据同步控制表中***与所述新增业务类型对应的待同步数据类型。
4.如权利要求1所述的数据同步方法,其特征在于,所述在本次同步任务启动时,根据所述待同步数据类型获取待同步数据的步骤包括:
在本次同步任务启动时,若检测到所述待同步数据类型下的数据存在更新,则获取所述待同步数据类型下的更新数据,并将所述更新数据作为待同步数据。
5.如权利要求1至4中任一项所述的数据同步方法,其特征在于,所述数据同步方法还包括:
获取所述异步任务基于同一数据类型下的数据连续同步失败的次数;
在所述连续同步失败的次数达到预设值时,发出告警信息。
6.一种数据同步装置,其特征在于,所述数据同步装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据同步程序,所述数据同步程序被所述处理器执行时实现如下步骤:
在业务***中创建数据同步控制表,所述数据同步控制表包括待同步数据类型;
在本次同步任务启动时,根据所述待同步数据类型获取待同步数据;
将获取到的所述待同步数据同步至所述业务***的目标同步***,同时记录本次数据同步过程中同步失败的数据类型;
通过异步任务将记录的所述同步失败的数据类型下的数据重新进行同步。
7.如权利要求6所述的数据同步装置,其特征在于,所述数据同步程序被所述处理器执行时还实现如下步骤:
在本次同步任务启动时,若检测到所述待同步数据类型存在更新,则获取更新的所述待同步数据类型下的数据,并将所述更新的所述待同步数据类型下的数据作为待同步数据。
8.如权利要求7所述的数据同步装置,其特征在于,所述数据同步程序被所述处理器执行时还实现如下步骤:
在所述业务***接收到新增业务类型指令时,根据所述新增业务类型指令在所述数据同步控制表中***与所述新增业务类型对应的待同步数据类型。
9.如权利要求6所述的数据同步装置,其特征在于,所述数据同步程序被所述处理器执行时还实现如下步骤:
在本次同步任务启动时,若检测到所述待同步数据类型下的数据存在更新,则获取所述待同步数据类型下的更新数据,并将所述更新数据作为待同步数据。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据同步程序,所述数据同步程序被处理器执行时实现如权利要求1至5中任一项所述的数据同步方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710497442.5A CN107679058B (zh) | 2017-06-26 | 2017-06-26 | 数据同步方法、装置及计算机可读存储介质 |
PCT/CN2017/111662 WO2019000801A1 (zh) | 2017-06-26 | 2017-11-17 | 数据同步方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710497442.5A CN107679058B (zh) | 2017-06-26 | 2017-06-26 | 数据同步方法、装置及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107679058A true CN107679058A (zh) | 2018-02-09 |
CN107679058B CN107679058B (zh) | 2021-04-06 |
Family
ID=61132992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710497442.5A Active CN107679058B (zh) | 2017-06-26 | 2017-06-26 | 数据同步方法、装置及计算机可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN107679058B (zh) |
WO (1) | WO2019000801A1 (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108710510A (zh) * | 2018-05-07 | 2018-10-26 | 成都市极米科技有限公司 | 一种***设置存储和克隆的方法及*** |
CN109086295A (zh) * | 2018-06-13 | 2018-12-25 | 中国平安人寿保险股份有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
CN109672590A (zh) * | 2019-01-10 | 2019-04-23 | 平安科技(深圳)有限公司 | 数据采集方法、装置、设备及计算机可读存储介质 |
CN110162569A (zh) * | 2019-04-15 | 2019-08-23 | 平安普惠企业管理有限公司 | 基于gg同步进程的数据处理方法、装置及计算机设备 |
CN110322241A (zh) * | 2019-05-23 | 2019-10-11 | 口碑(上海)信息技术有限公司 | 跨域电子凭证据同步方法、装置、存储介质及计算机设备 |
CN110727678A (zh) * | 2019-09-25 | 2020-01-24 | 湖南新云网科技有限公司 | 用户信息与移动终端的绑定方法、装置及存储介质 |
CN110874713A (zh) * | 2018-09-03 | 2020-03-10 | 北京京东尚科信息技术有限公司 | 业务状态管理方法与装置 |
CN111753012A (zh) * | 2020-06-19 | 2020-10-09 | 北京字节跳动网络技术有限公司 | 数据同步方法、装置、设备及存储介质 |
CN115834601A (zh) * | 2022-11-11 | 2023-03-21 | 中国电子科技集团公司第十研究所 | 基于多中心的数据同步方法、装置、设备及介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050050114A1 (en) * | 2003-08-25 | 2005-03-03 | Timi Soinio | Method and apparatus for synchronizing data organized by category |
CN102387213A (zh) * | 2011-10-25 | 2012-03-21 | 中兴通讯股份有限公司 | 数据同步方法及装置 |
CN103455557A (zh) * | 2013-08-08 | 2013-12-18 | 上海新炬网络技术有限公司 | 一种基于日志的结构化数据同步方法 |
CN103699638A (zh) * | 2013-12-23 | 2014-04-02 | 国云科技股份有限公司 | 一种基于配置参数实现跨数据库类型同步数据的方法 |
US9020888B1 (en) * | 2012-04-04 | 2015-04-28 | Nectar Services Corp. | Data replicating systems and data replication methods |
CN104820701A (zh) * | 2015-05-11 | 2015-08-05 | 北京瑞星信息技术有限公司 | 数据记录和同步方法及*** |
CN106302806A (zh) * | 2016-09-13 | 2017-01-04 | 腾讯科技(深圳)有限公司 | 一种数据同步方法、***、同步获取方法及相关装置 |
CN106682119A (zh) * | 2016-12-08 | 2017-05-17 | 杭州销冠网络科技有限公司 | 基于http服务切面与日志***的异步数据同步方法和*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050216524A1 (en) * | 2004-03-23 | 2005-09-29 | Integrated Data Corporation | Smart and selective synchronization between databases in a document management system |
-
2017
- 2017-06-26 CN CN201710497442.5A patent/CN107679058B/zh active Active
- 2017-11-17 WO PCT/CN2017/111662 patent/WO2019000801A1/zh active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050050114A1 (en) * | 2003-08-25 | 2005-03-03 | Timi Soinio | Method and apparatus for synchronizing data organized by category |
CN102387213A (zh) * | 2011-10-25 | 2012-03-21 | 中兴通讯股份有限公司 | 数据同步方法及装置 |
US9020888B1 (en) * | 2012-04-04 | 2015-04-28 | Nectar Services Corp. | Data replicating systems and data replication methods |
CN103455557A (zh) * | 2013-08-08 | 2013-12-18 | 上海新炬网络技术有限公司 | 一种基于日志的结构化数据同步方法 |
CN103699638A (zh) * | 2013-12-23 | 2014-04-02 | 国云科技股份有限公司 | 一种基于配置参数实现跨数据库类型同步数据的方法 |
CN104820701A (zh) * | 2015-05-11 | 2015-08-05 | 北京瑞星信息技术有限公司 | 数据记录和同步方法及*** |
CN106302806A (zh) * | 2016-09-13 | 2017-01-04 | 腾讯科技(深圳)有限公司 | 一种数据同步方法、***、同步获取方法及相关装置 |
CN106682119A (zh) * | 2016-12-08 | 2017-05-17 | 杭州销冠网络科技有限公司 | 基于http服务切面与日志***的异步数据同步方法和*** |
Non-Patent Citations (1)
Title |
---|
张振友 等: ""分布式异构数据库同步技术研究与实现"", 《电脑知识与技术》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108710510A (zh) * | 2018-05-07 | 2018-10-26 | 成都市极米科技有限公司 | 一种***设置存储和克隆的方法及*** |
CN109086295A (zh) * | 2018-06-13 | 2018-12-25 | 中国平安人寿保险股份有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
CN109086295B (zh) * | 2018-06-13 | 2023-05-30 | 中国平安人寿保险股份有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
CN110874713A (zh) * | 2018-09-03 | 2020-03-10 | 北京京东尚科信息技术有限公司 | 业务状态管理方法与装置 |
CN109672590A (zh) * | 2019-01-10 | 2019-04-23 | 平安科技(深圳)有限公司 | 数据采集方法、装置、设备及计算机可读存储介质 |
CN110162569A (zh) * | 2019-04-15 | 2019-08-23 | 平安普惠企业管理有限公司 | 基于gg同步进程的数据处理方法、装置及计算机设备 |
CN110322241A (zh) * | 2019-05-23 | 2019-10-11 | 口碑(上海)信息技术有限公司 | 跨域电子凭证据同步方法、装置、存储介质及计算机设备 |
CN110727678A (zh) * | 2019-09-25 | 2020-01-24 | 湖南新云网科技有限公司 | 用户信息与移动终端的绑定方法、装置及存储介质 |
CN111753012A (zh) * | 2020-06-19 | 2020-10-09 | 北京字节跳动网络技术有限公司 | 数据同步方法、装置、设备及存储介质 |
CN115834601A (zh) * | 2022-11-11 | 2023-03-21 | 中国电子科技集团公司第十研究所 | 基于多中心的数据同步方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2019000801A1 (zh) | 2019-01-03 |
CN107679058B (zh) | 2021-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107679058A (zh) | 数据同步方法、装置及计算机可读存储介质 | |
CN107278313B (zh) | 支付手段操作支持方法和用于支持该方法的电子设备 | |
US10262148B2 (en) | Secure dynamic page content and layouts apparatuses, methods and systems | |
EP3206110B1 (en) | Method of providing handwriting style correction function and electronic device adapted thereto | |
US11086290B2 (en) | Electronic apparatus for monitoring state of machine tool and control method thereof | |
US11068900B2 (en) | Electronic device and electronic purchase method using same | |
US8755771B2 (en) | System, method, and program for generating screen | |
CN107679054A (zh) | 数据比对方法、装置及可读存储介质 | |
KR20160031851A (ko) | 정보 제공 방법 및 그 전자 장치 | |
KR102315891B1 (ko) | Poi 정보를 제공하기 위한 방법 및 그 전자 장치 | |
US11423168B2 (en) | Electronic apparatus and method of transforming content thereof | |
CN105446619B (zh) | 用于识别物体的装置和方法 | |
US20190188395A1 (en) | Secure dynamic page content and layouts apparatuses, methods and systems | |
KR102471739B1 (ko) | 전자 장치의 히스토리 정보 관리 장치 및 방법 | |
EP3262586B1 (en) | Payment means operation supporting method and electronic device for supporting the same | |
KR102490673B1 (ko) | 어플리케이션에 대한 부가 정보 제공 방법 및 이를 지원하는 전자 장치 | |
CN109218082B (zh) | 一种网络配置参数处理方法、装置及设备 | |
CN110502263A (zh) | 升级包制作方法、***及计算机可读存储介质 | |
KR20160016405A (ko) | 데이터 처리 방법 및 그 전자 장치 | |
KR20180020381A (ko) | 전자 장치 및 전자 장치 제어 방법 | |
KR102305117B1 (ko) | 텍스트 입력 제어 방법 및 그 전자 장치 | |
US20200004937A1 (en) | Identification information management method and electronic device supporting same | |
CN112669057B (zh) | 一种数据预测方法、装置、电子设备及存储介质 | |
EP3220332A1 (en) | Method of processing card operating information and electronic device supporting the same | |
EP3114573B1 (en) | Apparatus and method for improving loading time in electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |