CN106874270A - 一种数据一致性认证的方法和装置 - Google Patents

一种数据一致性认证的方法和装置 Download PDF

Info

Publication number
CN106874270A
CN106874270A CN201510915428.3A CN201510915428A CN106874270A CN 106874270 A CN106874270 A CN 106874270A CN 201510915428 A CN201510915428 A CN 201510915428A CN 106874270 A CN106874270 A CN 106874270A
Authority
CN
China
Prior art keywords
data acquisition
data
acquisition system
identifying code
keyword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510915428.3A
Other languages
English (en)
Other versions
CN106874270B (zh
Inventor
罗冬炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Group Yunnan Co Ltd
Original Assignee
China Mobile Group Yunnan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Group Yunnan Co Ltd filed Critical China Mobile Group Yunnan Co Ltd
Priority to CN201510915428.3A priority Critical patent/CN106874270B/zh
Publication of CN106874270A publication Critical patent/CN106874270A/zh
Application granted granted Critical
Publication of CN106874270B publication Critical patent/CN106874270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273Asynchronous replication or reconciliation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种数据一致性认证的方法,采用加密算法分别加密所述第一分布式***和所述第二分布式***中所述认证数据对象的所有数据集合,获取生成的第一验证码和第二验证码;对比所述第一验证码和所述第二验证码,确定所述认证数据对象的一致性。本发明还公开了一种数据一致性认证的装置。

Description

一种数据一致性认证的方法和装置
技术领域
本发明涉及信息安全技术领域,尤其涉及一种数据一致性认证的方法和装置。
背景技术
目前,分布式***间数据认证的方法是:本***通过接口调用方式获取其他分布式***全部数据,在本***侧进行双侧数据对比;由于每条数据有可能是一个数据集合,包含多个参数,每个参数的类型及值不一样,比对过程需要对每条数据中的每个参数分别进行比对;如果存在不一致参数,则认为该条数据在双侧存在不一致性。
由于分布式***间存在大量数据,数据认证比对过程会严重影响事务并发程度,不能满足大量并发验证的需求;如果采用两阶段提交(2PC,Two-phasecommit)协议或三阶段提交(3PC,Three-phase commit)协议,会引起网络上的通信量增大,受网络带宽限制,会使用户陷入长时间的不可忍受的等待状态;或遇到频繁的事务失败,重新启动事务太多,造成应用程序运行效率低下。并且,由于各分布式***可能存在底层数据模型不同,导致数据存储方式不同。另外,每条数据集合包含的数据类型繁多、数据量大,分布式***间需要对所有数据集合中的数据进行稽核,往往会由于数据格式兼容性、解析出错等问题使得***面临性能瓶颈。
显然,现有的数据一致性认证方法采用全量数据集合比对、比对时间长、比对工作复杂、应用程序运行效率低下,是亟待解决的问题。
发明内容
有鉴于此,本发明实施例期望提供一种数据一致性认证的方法和装置,能提高数据一致性认证的效率,缩短认证时间。
为达到上述目的,本发明的技术方案是这样实现的:
本发明实施例提供了一种数据一致性认证的方法,所述方法包括:
采用加密算法分别加密第一分布式***和第二分布式***中需要进行一致性认证的数据对象对应的数据集合,获取生成的第一验证码和第二验证码;
对比所述第一验证码和所述第二验证码,确定所述数据对象的一致性。
上述方案中,所述方法还包括:
记录所述数据对象最后一次认证一致的时间戳;
记录所述数据对象对应的数据集合进行维护的时间戳;
所述加密算法包括:消息摘要算法5(MD5,Message Digest Algorithm 5)、三重数据加密算法(3DES,Triple Data Encryption Algorithm)。
上述方案中,所述对比所述第一验证码和所述第二验证码,确定所述认证数据对象的一致性,包括:
对比所述第一验证码和所述第二验证码是否相等;
如果所述第一验证码和所述第二验证码相等,则确定所述数据对象认证一致,并记录本次认证一致的时间戳;
如果所述第一验证码和所述第二验证码不相等,则将所述数据对象最后一次认证一致的时间戳作为过滤基准点,分别在所述第一分布式***和所述第二分布式***中,过滤出所述基准点及之后维护的各数据集合,并列出差异数据。
上述方案中,所述分别在所述第一分布式***和所述第二分布式***中,过滤出所述基准点及之后维护的各数据集合,并列出差异数据;包括:
对比所述数据对象对应的各数据集合进行维护的时间戳和所述基准点,获取所述维护时间戳在基准点及之后的所有变更数据集合;
比较所述第一分布式***中的各所述变更数据集合的第一关键字和所述第二分布式***中的各所述变更数据集合的第二关键字;
如果所述第一关键字和所述第二关键字不相等,则列出所述第一关键字对应的变更数据集合和所述第二关键字对应的变更数据集合,并标注新增;
如果所述第一关键字和所述第二关键字相等,则逐条对比第一分布式***中的所述变更数据集合和第二分布式***中的所述变更数据集合的维护时间戳,并列出维护时间戳不同的变更数据集合之间的差异数据,并标注更新;
所述关键字,包括:字段名、参数。
上述方案中,所述方法还包括:将第一分布式***和第二分布式***中所述对象数据最后一次认证一致的时间戳更新为所述本次认证一致的时间戳;
所述记录所述数据对象对应的数据集合进行维护的时间戳,包括:记录对所述数据对象对应的各数据集合进行新增、修改、删除的时间戳。
本发明实施例还提供了一种数据一致性认证的装置,所述装置包括:加密模块、认证模块,其中,
所述加密模块,用于采用加密算法分别加密第一分布式***和第二分布式***中需要进行一致性认证的数据对象对应的数据集合,获取生成的第一验证码和第二验证码;
所述认证模块,用于对比所述第一验证码和所述第二验证码,确定所述数据对象的一致性。
上述方案中,所述装置还包括:记录模块,用于记录所述数据对象最后一次认证一致的时间戳;记录所述数据对象对应的数据集合进行维护的时间戳;
所述加密算法,包括:MD5、3DES。
上述方案中,所述认证模块,具体用于:
对比所述第一验证码和所述第二验证码是否相等;
如果所述第一验证码和所述第二验证码相等,则确定所述数据对象认证一致,并记录本次认证一致的时间戳;
如果所述第一验证码和所述第二验证码不相等,则将所述数据对象最后一次认证一致的时间戳作为过滤基准点,分别在所述第一分布式***和所述第二分布式***中,过滤出所述基准点及之后维护的各数据集合,并列出差异数据。
上述方案中,所述认证模块分别在所述第一分布式***和所述第二分布式***中,过滤出所述基准点及之后维护的各数据集合,并列出差异数据;包括:
对比所述数据对象对应的各数据集合进行维护的时间戳和所述基准点,获取所述维护时间戳在基准点及之后的所有变更数据集合;
比较所述第一分布式***中的各所述变更数据集合的第一关键字和所述第二分布式***中的各所述变更数据集合的第二关键字;
如果所述第一关键字和所述第二关键字不相等,则列出所述第一关键字对应的变更数据集合和所述第二关键字对应的变更数据集合,并标注新增;
如果所述第一关键字和所述第二关键字相等,则逐条对比第一分布式***中的所述变更数据集合和第二分布式***中的所述变更数据集合的维护时间戳,并列出维护时间戳不同的变更数据集合之间的差异数据,并标注更新;
所述关键字,包括:字段名、参数。
上述方案中,所述记录模块,还用于将第一分布式***和第二分布式***中所述对象数据最后一次认证一致的时间戳更新为所述本次认证一致的时间戳;
所述记录所述数据对象对应的数据集合进行维护的时间戳,包括:记录对所述数据对象对应的各数据集合进行新增、修改、删除的时间戳。
本发明实施例所提供的数据一致性认证的方法和装置,采用加密算法分别加密第一分布式***和第二分布式***中需要进行一致性认证的数据对象对应的数据集合,获取生成的第一验证码和第二验证码;对比所述第一验证码和所述第二验证码,确定所述数据对象的一致性。进一步的,记录所述数据对象最后一次认证一致的时间戳;列出最后一次认证一致的时间戳同时和之后进行维护的数据集合的差异数据。如此,将数据集合加密生成校验码,仅通过比较时间戳和校验码的方式代替繁重的比对工作,最终使得数据一致性认证更具高效性,不仅比对操作简单方便、能缩短认证时间,并且更具安全性。
附图说明
图1为本发明实施例一致性认证的方法的流程示意图;
图2为本发明实施例分布式***间数据一致性稽核整体流程的示意图;
图3为本发明实施例针对数据集合生成校验码的步骤的流程示意图;
图4为本发明实施例双方***比对校验码的流程示意图;
图5为本发明实施例在数据集合中过滤出变更数据的流程示意图;
图6为本发明实施例在A***中分析展现变更数据的流程示意图;
图7为本发明实施例一致性认证的装置的组成结构示意图。
具体实施方式
本发明实施例中,采用加密算法分别加密第一分布式***和第二分布式***中需要进行一致性认证的数据对象对应的数据集合,获取生成的第一验证码和第二验证码;对比所述第一验证码和所述第二验证码,确定所述数据对象的一致性;
进一步的,记录所述数据对象最后一次认证一致的时间戳;列出最后一次认证一致的时间戳同时和之后进行维护的的数据集合的差异数据。
下面结合实施例对本发明再作进一步详细的说明。
本发明实施例提供的数据一致性认证的方法,如图1所示,包括:
步骤101:采用加密算法分别加密第一分布式***和第二分布式***中需要进行一致性认证的数据对象对应的数据集合,获取生成的第一验证码和第二验证码;
通常,分布式***中有多个数据对象,一个数据对象会对应多个数据集合,数据认证通常是对某一个数据对象进行认证,认证两个分布式***中某个数据对象对应的全部数据集合是否一致。这里,第一分布式***和所述第二分布式***使用加密算法,分别对自身***中需要进行认证的数据对象的全部数据集合进行加密,分别生成唯一的验证码:第一验证码、第二验证码;所述加密算法包括:MD5、3DES;这里可以采用32位MD5加密算法进行加密;
实际应用中,所述第一分布式***可以是应用***,所述第二分布式***可以是认证***;可以由所述第一分布式***发起分布式***间数据一致性稽核任务;第一分布式***和所述第二分布式***约定需要进行一致性认证的数据对象,两个***分别对自身***中需要进行认证的数据对象的全部数据集合进行加密,分别生成唯一的验证码:第一验证码和第二验证码;所述第二验证码可以由所述第二分布式***发送到所述第一分布式***进行下一步处理。
本发明实施例提供的方法还包括:记录所述数据对象最后一次认证一致的时间戳;记录所述数据对象对应的数据集合进行维护的时间戳。对分布式***的所有数据集合做维护时都需要记录维护时间,所述数据集合的维护,包括:对数据集合进行新增、修改、删除等操作。同时,记录第一分布式***和第二分布式***中所述数据对象最后一次认证一致的时间戳。其中,所述第一分布式***和第二分布式***可以包括多个数据对象,所述数据对象可以包括多个数据集合。
步骤102:对比所述第一验证码和所述第二验证码,确定所述数据对象的一致性;
这里,对比所述第一验证码和所述第二验证码是否相等;如果所述第一验证码和所述第二验证码相等,则表明所述第一分布式***中进行认证的数据对象的全部数据集合和所述第二分布式***中进行认证的数据对象的全部数据集合一致,如此,确定所述数据对象的一致性认证结果为数据一致,同时,记录本次数据认证一致时间戳;并将第一分布式***和第二分布式***中所述数据对象最后一次认证一致的时间戳更新为所述本次数据认证一致的时间戳;
如果所述第一验证码和所述第二验证码不相等,将所述数据对象最后一次认证一致的时间戳作为过滤基准点,分别在所述第一分布式***和所述第二分布式***中,过滤出所述基准点及之后维护的各数据集合,并列出差异数据;
具体的,首先,检索出双方***在进行数据一致性稽核任务中所述数据对象最后一次认证一致的时间戳;然后,所述第一分布式***和第二分布式***遍历自身***中所述数据对象对应的每条数据集合最后一次变更的时间戳;最后,将所述数据对象最后一次认证一致的时间戳作为过滤基准点,对比所述数据对象对应的各数据集合进行维护的时间戳和所述基准点,获取所述维护时间戳在基准点及之后的所有变更数据集合;
实际应用中,所述对比验证码可以在所述第一分布式***中进行,所述第一分布式***过滤出所述第一分布式***中维护时间在所述基准点及之后的数据集合;并由所述第一分布式***将所述数据对象最后一次认证一致的时间戳发送给所述第二分布式***,由所述第二分布式***过滤出所述第二分布式***中维护时间在所述基准点及之后的数据集合;由于在各个时间点均有可能进行数据集合维护,因此,会滤出各个维护时间点的多组变更数据集合。
更进一步的,所述列出差异数据为列出所述第一分布式***和所述第二分布式***中变更数据集合的差异数据,包括:比较所述第一分布式***中的各所述变更数据集合的第一关键字和所述第二分布式***中的各所述变更数据集合的第二关键字;如果所述第一关键字和所述第二关键字不相等,则列出所述第一关键字对应的变更数据集合和所述第二关键字对应的变更数据集合,并标注新增;如果所述第一关键字和所述第二关键字相等,则逐条对比第一分布式***中的所述变更数据集合和第二分布式***中的所述变更数据集合的维护时间,并列出维护时间不同的变更数据集合中的数据差异,并标注更新;所述关键字,包括:字段名、参数;
实际应用中,可以遍历所述第一分布式***中的所述变更数据集合,提取每条变更数据集合的第一关键字;遍历所述第二分布式***中的所述变更数据集合,提取每条变更数据集合的第二关键字;这里,关键字可以是字段名、参数,比如:所述变更数据集合是一张表格,那么,关键字就可以是每栏的字段名。对比第一关键字和第二关键字,如果所述第一关键字和第二关键字不同,则在数据一致性稽核任务的执行结果列表中分别展现所述第一关键字和第二关键字对应的两条数据集合,并标注为新增。如果所述第一关键字和第二关键字相同,则对比两条变更数据集合的维护时间,如果维护时间不同,则比对的所述两条变更数据集合中数据差异项,并标注为更新。对于所述第一关键字和第二关键字相同,维护时间也相同的变更数据集合不做其他处理。
所述列出的差异数据结合和差异数据可以由维护人员来做进一步处理。
下面结合具体示例对本发明产生的积极效果作进一步详细的描述。
本发明示例采用MD5加密算法对分布式***中的全体数据集合进行加密,分布式***中创建、删除、变更的数据集合均要记录时间,分布式***通过接口调用方式获取到针对全体数据集合生成的MD5码;并且,在生成MD5码时记录一个时间戳,分布式***对双方的MD5码进行比对,对MD5码不一致的数据集合通过时间戳过滤出变化的数据,并通过调用接口获取变化的数据保存于本地***,保证分布式***间数据一致性,结合附图具体说明如下。
分布式***间数据一致性稽核整体流程,如图2所示,包括:
步骤201:开始分布式***间数据一致性稽核任务;
步骤202:针对数据集合A***和B***分别生成各自的校验码;
本步骤中,当A***向B***发起数据一致性稽核信号时,A***和B***针对约定的数据对象,如:某种业务部门的组织机构,分别对各自***中该数据对象的所有数据集合进行加密;每个数据集合包括多个参数,如:一个业务部门的组织机构是一个数据集合,该数据集合包括:标识(ID,Identity)、父级ID、及名称。本发明示例使用32位MD5加密算法对全部数据集合进行加密,各自生成唯一的验证码;A***生成校验码为a,B***生成校验码为b;
步骤203:B***将生成的MD5校验码b发送给A***,A***对校验码a和校验b进行比对;
步骤204:A***将步骤203中校验码比对的结果返回给B***,B***根据校验码的比对结果自动过滤出变更数据并发送至A***;
步骤205:A***将步骤204中B***发送来的变更数据进行解析,A***对每个数据集合进行拆分,根据每条数据集合记录的时间戳进行A、B***间的数据比对,并以列表形式区分展现A***和B***的差异项;
步骤206:结束分布式***间数据一致性稽核任务。
图3为针对上述分布式***间数据一致性稽核整体流程中步骤202的详细描述,如图3所示,生成校验码的过程包括:
步骤301:A***向B***发送双侧数据进行一致性稽核的请求;
步骤302:A***针对约定的数据对象的所有数据集合进行加密,所述约定的数据对象可以是某种业务部门的组织机构;每个数据集合包括多个参数,如一个业务部门的组织机构是一个数据集合,该数据集合包括:ID、父级ID、及名称;
本发明实施例使用32位MD5加密算法对全部数据集合进行加密,生成唯一的验证码,假设A***生成校验码为a;
步骤303:A***在对全部数据集合加密生成校验码a时记录时间戳timA1;
步骤304:B***接收到数据一致性稽核通知;
步骤305:B***针对约定的数据对象的所有数据集合进行加密,所述约定的数据对象可以是某种业务部门的组织机构;每个数据集合包括多个参数,如:一个业务部门的组织机构是一个数据集合,该数据集合包括ID、父级ID、及名称;
本发明实施例使用32位MD5加密算法对全部数据集合进行加密,生成唯一的验证码,假设B***生成校验码为b;
步骤306:B***在对全部数据集合加密生成校验码b时记录时间戳timB1;
步骤307:B***将生成的校验码b发送至A***。
这里,步骤301和步骤304为并发进行,A***和B***可以同时进行加密,生成校验码和记录时间戳。
图4为针对上述分布式***间数据一致性稽核整体流程中步骤203的详细描述,如图4所示,双方***比对校验码的流程包括:
步骤401:A***接收到从B***发送来的校验码b;
步骤402:A***针对A***生成的校验码a和B***发送来的校验码b进行比对;
步骤403:比对校验码a和b的值,如果a=b,也即双方通过MD5算法对各自***中的全部数据集合生成的校验码相同,则转到步骤404;如果a≠b,也即双方生成的校验码不相同,则转到步骤406;
步骤404:A***记录本次比对结果为“数据一致”;
步骤405:A***针对数据比对一致记录时间戳SameTim;结束本次处理流程;
步骤406:A***记录本次比对结果为“数据不一致”;
步骤407:A***针对数据比对不一致记录时间戳DiffTim;
步骤408:A***检索出双方***在进行数据一致性稽核任务中最后一次比对结果为“数据一致”的时间戳SameTim;
步骤409:A***遍历自身***中每条数据集合最后一次变更的时间戳timA;
步骤410:比对每条数据集合最后一次变更时间戳timA和SameTim。如果SameTim<=timA,则转到步骤411,如果SameTim>timA,则转到步骤409;
步骤411:将SameTim<=timA的数据集合加入到数据变更表TableA中;结束本次处理流程;
步骤412:A***将最后一次比对结果为“数据一致”的时间戳SameTim发送至B***。
这里,步骤409和步骤412可以并发进行,如此,A***和B***可以同步进行数据集合的过滤。
图5为针对上述分布式***间数据一致性稽核整体流程中步骤204的详细描述,如图5所示,数据集合中过滤出变更数据的流程包括:
步骤501:B***接收到从A***发送来的时间戳SameTim;
步骤502:B***遍历自身***中每条数据集合最后一次变更的时间戳timB;
步骤503:比对每条数据集合最后一次变更时间戳timB和SameTim,如果SameTim<=timB,则转到步骤504,如果Sametim>timB,则转到步骤502;
步骤504:将SameTim<=timB的数据集合加入到数据变更表TableB中;
步骤505:B***对本***中所有数据集合比对完成后生成的数据变更表TableB发送给A***。
图6为针对上述分布式***间数据一致性稽核整体流程中步骤205的详细描述,如图6所示,A***中分析展现变更数据的流程包括:
步骤601:A***接收到B***发送的数据变更表TableB;
步骤602:A***解析数据变更表TableB,获取到每条变更数据的关键字KeyB;
步骤603:A***遍历自身***生成的数据变更表TableA,获取到每条变更数据的关键字KeyA;
步骤604:比对数据变更表TableA和数据变更表TableB中的关键字KeyA和KeyB。如果KeyA≠KeyB,则转到步骤605,如果KeyA=KeyB,则转到步骤606;
步骤605:在数据一致性稽核任务的执行结果列表中分别展现关键字为KeyA和KeyB的两条数据,并标注为新增;结束本次处理流程;
步骤606:比对KeyA对应数据集合的变更时间timA和KeyB对应数据集合的变更时间timB。如果timA≠timB,则转步骤607,如果timA=timB,则转到步骤608;
步骤607:比对关键字为KeyA和KeyB的两条数据集合中参数差异项,并标注为更新;结束本次处理流程;
步骤608:不作处理。
本发明实施例提供的数据一致性认证的装置,如图7所示,包括:加密模块11、认证模块12,其中,
所述加密模块11,用于采用MD5分别加密第一分布式***和第二分布式***中需要进行一致性认证的数据对象对应的数据集合,获取生成的第一验证码和第二验证码;
通常,分布式***中有多个数据对象,一个数据对象会对应多个数据集合,数据认证通常是对某一盒数据对象进行认证,认证两个分布式***中某个数据对象对应的全部数据集合是否一致。这里,所述加密模块11使用加密算法,对第一分布式***和所述第二分布式***中需要进行认证的数据对象的全部数据集合进行加密,分别生成唯一的验证码:第一验证码、第二验证码;所述加密算法包括:MD5、3DES;这里可以采用32位MD5加密算法进行加密;
实际应用中,所述第一分布式***可以是应用***,所述第二分布式***可以是认证***;可以由所述第一分布式***发起分布式***间数据一致性稽核任务;第一分布式***和所述第二分布式***约定需要进行一致性认证的数据对象,两个***分别对自身***中需要进行认证的数据对象的全部数据集合进行加密,分别生成唯一的验证码:第一验证码和第二验证码;所述第二验证码可以由所述第二分布式***发送到所述第一分布式***进行下一步处理。
本发明实施例提供的装置,还包括:记录模块13,用于记录所述数据对象最后一次认证一致的时间戳;记录所述数据对象对应的数据集合进行维护的时间戳。对分布式***的所有数据集合做维护时都需要记录维护时间,所述数据集合的维护,包括:对数据集合进行新增、修改、删除等操作。同时,记录第一分布式***和第二分布式***中所述数据对象最后一次认证一致的时间戳。其中,所述第一分布式***和第二分布式***可以包括多个数据对象,所述数据对象可以包括多个数据集合。
所述认证模块12,用于对比所述第一验证码和所述第二验证码,确定所述数据对象的一致性。
这里,对比所述第一验证码和所述第二验证码是否相等;如果所述第一验证码和所述第二验证码相等,则表明所述第一分布式***中进行认证的数据对象的全部数据集合和所述第二分布式***中进行认证的数据对象的全部数据集合一致,如此,确定所述数据对象的一致性认证结果为数据一致,同时,所述记录模块13记录本次数据认证一致时间戳;并将第一分布式***和第二分布式***中所述数据对象最后一次认证一致的时间戳更新为所述本次数据认证一致的时间戳;
如果所述第一验证码和所述第二验证码不相等,将所述数据对象最后一次认证一致的时间戳作为过滤基准点,分别在所述第一分布式***和所述第二分布式***中,过滤出所述基准点及之后维护的各数据集合,并列出差异数据;
具体的,首先,检索出双方***在进行数据一致性稽核任务中所述数据对象最后一次认证一致的时间戳;然后,所述第一分布式***和第二分布式***遍历自身***中所述数据对象对应的每条数据集合最后一次变更的时间戳;最后,将所述数据对象最后一次认证一致的时间戳作为过滤基准点,对比所述数据对象对应的各数据集合进行维护的时间戳和所述基准点,获取所述维护时间戳在基准点及之后的所有变更数据集合;
实际应用中,所述对比验证码可以在所述第一分布式***中进行,所述第一分布式***过滤出所述第一分布式***中维护时间在所述基准点及之后的数据集合;并由所述第一分布式***将所述数据对象最后一次认证一致的时间戳发送给所述第二分布式***,由所述第二分布式***过滤出所述第二分布式***中维护时间在所述基准点及之后的数据集合;由于在各个时间点均有可能进行数据集合维护,因此,会滤出各个维护时间点的多组变更数据集合。
更进一步的,所述列出差异数据为列出所述第一分布式***和所述第二分布式***中变更数据集合的差异数据,包括:比较所述第一分布式***中的各所述变更数据集合的第一关键字和所述第二分布式***中的各所述变更数据集合的第二关键字;如果所述第一关键字和所述第二关键字不相等,则列出所述第一关键字对应的变更数据集合和所述第二关键字对应的变更数据集合,并标注新增;如果所述第一关键字和所述第二关键字相等,则逐条对比第一分布式***中的所述变更数据集合和第二分布式***中的所述变更数据集合的维护时间,并列出维护时间不同的变更数据集合中的数据差异,并标注更新;所述关键字,包括:字段名、参数;
实际应用中,可以遍历所述第一分布式***中的所述变更数据集合,提取每条变更数据集合的第一关键字;遍历所述第二分布式***中的所述变更数据集合,提取每条变更数据集合的第二关键字;这里,关键字可以是字段名、参数,比如:所述变更数据集合是一张表格,那么,关键字就可以是每栏的字段名。对比第一关键字和第二关键字,如果所述第一关键字和第二关键字不同,则在数据一致性稽核任务的执行结果列表中分别展现所述第一关键字和第二关键字对应的两条数据集合,并标注为新增。如果所述第一关键字和第二关键字相同,则对比两条变更数据集合的维护时间,如果维护时间不同,则比对的所述两条变更数据集合中数据差异项,并标注为更新。对于所述第一关键字和第二关键字相同,维护时间也相同的变更数据集合不做其他处理。
所述列出的差异数据结合和差异数据可以由维护人员来做进一步处理。
在实际应用中,所述加密模块11、认证模块12、记录模块13均可由分布式***中的中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)等实现。
以上所述,仅为本发明的佳实施例而已,并非用于限定本发明的保护范围,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据一致性认证的方法,其特征在于,所述方法包括:
采用加密算法分别加密第一分布式***和第二分布式***中需要进行一致性认证的数据对象对应的数据集合,获取生成的第一验证码和第二验证码;
对比所述第一验证码和所述第二验证码,确定所述数据对象的一致性。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
记录所述数据对象最后一次认证一致的时间戳;
记录所述数据对象对应的数据集合进行维护的时间戳;
所述加密算法包括:消息摘要算法5MD5、三重数据加密算法3DES。
3.根据权利要求2所述的方法,其特征在于,所述对比所述第一验证码和所述第二验证码,确定所述认证数据对象的一致性,包括:
对比所述第一验证码和所述第二验证码是否相等;
如果所述第一验证码和所述第二验证码相等,则确定所述数据对象认证一致,并记录本次认证一致的时间戳;
如果所述第一验证码和所述第二验证码不相等,则将所述数据对象最后一次认证一致的时间戳作为过滤基准点,分别在所述第一分布式***和所述第二分布式***中,过滤出所述基准点及之后维护的各数据集合,并列出差异数据。
4.根据权利要求3所述的方法,其特征在于,所述分别在所述第一分布式***和所述第二分布式***中,过滤出所述基准点及之后维护的各数据集合,并列出差异数据;包括:
对比所述数据对象对应的各数据集合进行维护的时间戳和所述基准点,获取所述维护时间戳在基准点及之后的所有变更数据集合;
比较所述第一分布式***中的各所述变更数据集合的第一关键字和所述第二分布式***中的各所述变更数据集合的第二关键字;
如果所述第一关键字和所述第二关键字不相等,则列出所述第一关键字对应的变更数据集合和所述第二关键字对应的变更数据集合,并标注新增;
如果所述第一关键字和所述第二关键字相等,则逐条对比第一分布式***中的所述变更数据集合和第二分布式***中的所述变更数据集合的维护时间戳,并列出维护时间戳不同的变更数据集合之间的差异数据,并标注更新;
所述关键字,包括:字段名、参数。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:将第一分布式***和第二分布式***中所述对象数据最后一次认证一致的时间戳更新为所述本次认证一致的时间戳;
所述记录所述数据对象对应的数据集合进行维护的时间戳,包括:记录对所述数据对象对应的各数据集合进行新增、修改、删除的时间戳。
6.一种数据一致性认证的装置,其特征在于,所述装置包括:加密模块、认证模块,其中,
所述加密模块,用于采用加密算法分别加密第一分布式***和第二分布式***中需要进行一致性认证的数据对象对应的数据集合,获取生成的第一验证码和第二验证码;
所述认证模块,用于对比所述第一验证码和所述第二验证码,确定所述数据对象的一致性。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:记录模块,用于记录所述数据对象最后一次认证一致的时间戳;记录所述数据对象对应的数据集合进行维护的时间戳;
所述加密算法,包括:MD5、3DES。
8.根据权利要求7所述的装置,其特征在于,所述认证模块,具体用于:
对比所述第一验证码和所述第二验证码是否相等;
如果所述第一验证码和所述第二验证码相等,则确定所述数据对象认证一致,并记录本次认证一致的时间戳;
如果所述第一验证码和所述第二验证码不相等,则将所述数据对象最后一次认证一致的时间戳作为过滤基准点,分别在所述第一分布式***和所述第二分布式***中,过滤出所述基准点及之后维护的各数据集合,并列出差异数据。
9.根据权利要求8所述的装置,其特征在于,所述认证模块分别在所述第一分布式***和所述第二分布式***中,过滤出所述基准点及之后维护的各数据集合,并列出差异数据;包括:
对比所述数据对象对应的各数据集合进行维护的时间戳和所述基准点,获取所述维护时间戳在基准点及之后的所有变更数据集合;
比较所述第一分布式***中的各所述变更数据集合的第一关键字和所述第二分布式***中的各所述变更数据集合的第二关键字;
如果所述第一关键字和所述第二关键字不相等,则列出所述第一关键字对应的变更数据集合和所述第二关键字对应的变更数据集合,并标注新增;
如果所述第一关键字和所述第二关键字相等,则逐条对比第一分布式***中的所述变更数据集合和第二分布式***中的所述变更数据集合的维护时间戳,并列出维护时间戳不同的变更数据集合之间的差异数据,并标注更新;
所述关键字,包括:字段名、参数。
10.根据权利要求8所述的装置,其特征在于,所述记录模块,还用于将第一分布式***和第二分布式***中所述对象数据最后一次认证一致的时间戳更新为所述本次认证一致的时间戳;
所述记录所述数据对象对应的数据集合进行维护的时间戳,包括:记录对所述数据对象对应的各数据集合进行新增、修改、删除的时间戳。
CN201510915428.3A 2015-12-10 2015-12-10 一种数据一致性认证的方法和装置 Active CN106874270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510915428.3A CN106874270B (zh) 2015-12-10 2015-12-10 一种数据一致性认证的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510915428.3A CN106874270B (zh) 2015-12-10 2015-12-10 一种数据一致性认证的方法和装置

Publications (2)

Publication Number Publication Date
CN106874270A true CN106874270A (zh) 2017-06-20
CN106874270B CN106874270B (zh) 2020-10-16

Family

ID=59177110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510915428.3A Active CN106874270B (zh) 2015-12-10 2015-12-10 一种数据一致性认证的方法和装置

Country Status (1)

Country Link
CN (1) CN106874270B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965310A (zh) * 2018-07-27 2018-12-07 广东讯飞启明科技发展有限公司 一种批量数据上传中防篡改加密实现方法和装置
CN114331135A (zh) * 2021-12-29 2022-04-12 上海赛美特软件科技有限公司 一种工艺流程管理方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080140734A1 (en) * 2006-12-07 2008-06-12 Robert Edward Wagner Method for identifying logical data discrepancies between database replicas in a database cluster
CN104021132A (zh) * 2013-12-08 2014-09-03 郑州正信科技发展股份有限公司 主备数据库数据一致性核查备份方法及其***
CN104077373A (zh) * 2014-06-24 2014-10-01 北京京东尚科信息技术有限公司 一种数据一致性校验方法
CN104731792A (zh) * 2013-12-19 2015-06-24 ***股份有限公司 数据库一致性校验方法及***、定位数据库差异的方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080140734A1 (en) * 2006-12-07 2008-06-12 Robert Edward Wagner Method for identifying logical data discrepancies between database replicas in a database cluster
CN104021132A (zh) * 2013-12-08 2014-09-03 郑州正信科技发展股份有限公司 主备数据库数据一致性核查备份方法及其***
CN104731792A (zh) * 2013-12-19 2015-06-24 ***股份有限公司 数据库一致性校验方法及***、定位数据库差异的方法及***
CN104077373A (zh) * 2014-06-24 2014-10-01 北京京东尚科信息技术有限公司 一种数据一致性校验方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965310A (zh) * 2018-07-27 2018-12-07 广东讯飞启明科技发展有限公司 一种批量数据上传中防篡改加密实现方法和装置
CN114331135A (zh) * 2021-12-29 2022-04-12 上海赛美特软件科技有限公司 一种工艺流程管理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN106874270B (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN110263585B (zh) 测试监管方法、装置、设备及存储介质
CN109417483B (zh) 用于分区区块链和增强被许可的区块链的隐私的方法和***
CN112765245A (zh) 一种电子政务大数据处理平台
CN111177252B (zh) 一种业务数据的处理方法及装置
AU2018202830A1 (en) Digital Asset Platform
CN103973668A (zh) 一种网络信息***中服务器端的个人隐私数据保护方法
CN110795450A (zh) Sql处理方法及装置
CN104717085A (zh) 一种日志解析方法及装置
CN106022143B (zh) 一种数据库密级标志安全网关操作的方法、装置及***
CN111914029A (zh) 基于区块链的医疗数据调用方法、装置、电子设备及介质
CN114444105B (zh) 一种智能审计数据报送安全方法
CN112036995A (zh) 基于区块链的大型企业财务数据管理方法、***和可读存储介质
CN106802905A (zh) 一种同构plm***的协同数据交换方法
CN115858513A (zh) 数据治理方法、装置、计算机设备和存储介质
CN112329043A (zh) 信息加密处理方法、装置、计算机设备及介质
JP2009003549A (ja) データ管理装置およびデータ管理方法、データ管理プログラム、データ管理プログラム記憶媒体
CN113037505B (zh) 一种可信Web应用的实现方法及***
EP4120096A1 (en) Method and device for data retrieval, electronic device, and storage medium
CN106874270A (zh) 一种数据一致性认证的方法和装置
US20210182426A1 (en) User action collection for sensitive customer data
CN101408955A (zh) 一种基于策略的责任认定方法与***
CN106778136B (zh) 一种甄别绕行登录事件的审计方法
KR20120003567A (ko) 로그 관리 시스템과 이의 로그 처리방법 및 이의 로그 처리방법을 저장하는 기록매체
CN111221967A (zh) 一种基于区块链架构的语言数据分类存储***
CN116450745A (zh) 基于多设备的笔记文件操作方法、***和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant