CN1816039A - 进行数据一致性校验及同步的方法和分布式*** - Google Patents

Abstract

一种进行数据一致性校验及同步的方法和分布式***，其核心是首先将数据划分为若干组数据；然后主***分别获取每个子***数据对应在主、子***内的校验字；最后主***将所述的每个子***数据对应在主、子***内的校验字进行比较，若一致，则结束校验；否则，同步对应的不一致的数据。本发明即使在需校验数据不兼容的情况下也能够很好地实现数据的一致性校验及同步。另外由于本发明采用将数据划分为若干组数据，不仅减少了每次校验的计算量和通信量，而且便于根据具体组进行单独的处理，从而提高主、子***数据校验及同步处理的灵活性。

Description

进行数据一致性校验及同步的方法和分布式***

技术领域

本发明涉及通信领域，尤其是涉及一种进行数据一致性校验及同步的方法和分布式***。

背景技术

分布式***是指多个具有独立处理能力的***通过某种通信方式联系在一起，共同完成全部功能的设备或多个设备。通常是由一个主***和多个子***组成，主***可以有备份，对于处于备份状态的主***，当前主***认为其是一个子***(仅子***类型和普通业务子***不一样而已)。如果整个分布式***中所有***都是对等关系，则没有主***和子***概念。

在分布式***中，由于每个***都具有独立处理能力，数据需要在主***和多个子***中保留。主***保留自身的数据和所有子***的数据，子***仅保留自身的数据；如果某几个子***需要完成相互之间的保护或备份，则该子***可能也需要保留其它子***的数据。

通常情况下，各个子***的数据是通过主***下发的，以及某子***产生的数据上报给主***，此时保留在主***和子***中的关于这个子***的数据是一致的。

但如果是对主***本身进行配置，则数据不用下发给子***。一个特例是：对于备份状态的主***，虽然在默认情况将其视为一个特殊类型的子***，但是所有对主***的配置同时也会发给备份主***，以便保持工作和备份状态的主***数据完全一致。

此外，当某子***产生的数据上报给主***时，这些数据同时也要发给备份主***(可以由该子***直接发给备份主***，或者由主***将收到的子***上报数据转发给备份子***)，以便保持工作和备份状态的主***数据完全一致。

在某些情况下，可能会不通过主***直接管理子***，如单独调试子***时；或者在子***脱机状态下，在主***上管理子***；或者在主***向子***下发数据时(或子***向主***上报数据时)，忽然遇到***掉电、复位、通信异常等情况，***仅收到部分数据，从而出现数据错误，即出现主***和子***的数据不一致的情况；此外也有可能在分布式***长期运行过程中，出现某些意外情况，如软件处理异常、电信号异常导致数据跳变，从而造成了主***或者子***的数据变化，即出现数据不一致的情况。

当主、子***出现数据不一致的情况时，如果没有一种有效的方法来发现和修正这种错误，会对整个分布式***的正常功能构成危险。

专利号为99814506.8的现有技术：数据和源数据每个均被安排在一个或优选的几个数据组中。为每个数据组计算参考校验和。接收单元确定接收单元中数据的每个数据组的内容是否与相应的参考校验和相匹配。接收单元请求源单元发送已检测到不匹配的那些数据组中源数据的拷贝到接收单元。被请求的数据从源单元被下载到接收单元。

由上述描述可以看出现有技术中主***将校验字和数据一起下发给子***，然后由子***进行比较，若发现数据不一致，则主动向主***申请下载数据，从而实现主、子***数据的一致性校验及同步。

由于主***将校验字和数据一起下发给子***，如果需校验的数据不兼容时，就不能很好地实现数据的一致性校验及同步。例如由于主、子***的版本、功能升级等情况而引起校验数据不一致，包括数据的定义、类型、格式、排列顺序、组合等，甚至包括以前需校验的内容后来不需校验，以前不需校验的内容后来需要校验的情况。

此外，由于此种校验方式是把数据和校验字一起下发给子***的，因此存在***间通信量较大的不足，当整个分布式***比较大时，校验产生的通信量过大会影响分布式***的正常功能。而且校验字的比较是在每个子***实现的，不便于集中控制校验及同步策略。

发明内容

本发明的目的是提供一种进行数据一致性校验及同步方法和分布式***，以解决现有技术中在当数据不兼容时，就不能很好地实现数据的一致性校验及同步的问题。

本发明的目的是通过以下技术方案实现的：

本发明提供的一种进行数据一致性校验及同步的方法，包括：

A、主***分别获取每个子***数据对应在主、子***内的校验字；

B、主***将所述的每个子***数据对应在主、子***内的校验字进行比较，若一致，则结束校验；否则，同步对应的不一致的数据。

其中，所述步骤A具体包括：

A1、主***发送校验命令给子***；

A2、子***接收校验命令，计算自己支持的数据的校验字，返回响应命令包给主***；

A3、主***接收该响应命令包，并根据该响应命令包中的内容计算得到对应该子***的数据的校验字。

其中，步骤A2和步骤A3中所述响应命令包包括：子***的编号及数据的校验字。

其中，在步骤A之前还包括：子***依据子***的类型和数据的类型将数据划分为若干组数据。

其中，步骤A2和步骤A3中所述响应命令包包括：子***的编号、数据组的组号和数据组的校验字及可选的包括数据组的数目。

其中，在步骤B中，所述同步对应的不一致的数据的过程包括：

上报校验失败告警，通知人工同步子***不一致的数据；和/或

向对应子***的不一致的数据下发正确数据，同步子***不一致的数据；和/或

向对应子***的全部数据下发正确数据，同步子***不一致的数据；和/或

向所有子***的全部数据下发正确数据，同步子***不一致的数据。

其中，所述步骤B中，当一致并结束校验之后，还包括对该子***所有数据的校验失败计数器清零的过程。

其中，本发明所述的方法还包括：

C、校验退出；

D、校验失败时对该子***对应的校验失败计数器累计加1；

E、判断该子***对应的校验失败计数器的数值是否小于设定值，如小于设定值，则继续执行步骤A；否则，根据定义的处理策略同步对应该子***不一致的数据。

其中，所述校验命令无需参数。

其中，在步骤A1之前还包括：

A4、子***调用校验字算法计算数据的校验字；

A5、将数据及校验字上传给主***。

其中，所述校验字算法包括：MD5算法、校验和Checksum算法或循环冗余校验码CRC算法。

本发明提供的一种进行数据一致性校验及同步的分布式***，包括主***、子***、数据检查单元和数据同步管理单元；

所述数据检查单元用于分别获取每个子***数据对应在主、子***内的校验字，并进行比较，若一致，则结束校验；否则，通知数据同步管理单元产生告警和/或同步所述的不一致的数据；

所述数据同步管理单元用于响应数据检查单元的通知，产生告警和/或同步所述的不一致的数据。

其中，本发明所述的***还包括主***校验字计算单元和子***校验字计算单元；

所述主***校验字计算单元用于计算主***内对应子***数据的校验字，并将该校验字提供给数据检查单元；

所述子***校验字计算单元用于计算子***内数据的校验字，并将该校验字提供给数据检查单元。

由上述本发明提供的技术方案可以看出，本发明所述的方法采用主***来完成子***上报的校验字和主***中对应该子***的数据的校验字比较，如果比较结果不一致，则通知主***的同步管理模块进行相应的处理，进而实现数据的一致性校验及同步，所以即使在需校验数据不兼容的情况下也能够很好地实现数据的一致性校验及同步。

再者，本发明由于采用主***发送校验命令给子***，即主***统一控制校验调度的方式，以及采用子***根据定义的处理策略自行决定返回校验内容的方式，提高了主、子***数据校验的灵活性。

另外由于采用将数据划分为若干组数据，不仅减少了每次校验的计算量和通信量，而且便于根据具体组进行单独的处理，从而更加提高主、子***数据校验的灵活性。

由于采用数据按照子***类型、数据类型等方式定义数据组，从而保证开发的重用性，提高了开发效率。

附图说明

图1为本发明第一实施例的流程图；

图2为本发明第二实施例的流程图；

图3为本发明***的原理图。

具体实施方式

本发明所述方法的第一实施例如图1所示，首先执行步骤S203，主***发送校验命令给子***。具体实现为：在主***任务初始时生成一个定时器，所述定时触发器用于定时触发主***，按照轮询的顺序对子***发送校验命令。主***对子***的校验是否使能、校验周期以及对关键子***校验比一般子***更为频繁等可以进行设置。

上述校验命令无需参数。本发明所设置的校验命令由于不需要参数，能够保证在子***不支持校验特性时，可以直接丢掉该命令，所以在校验的数据不兼容时，不会出现副作用。当然通常情况下，主***知道子***数据的类型，不会向不支持校验的子***下发校验命令，但是由于分布式***是一个长期运行的复杂***，存在主***和子***分别进行升级的情况，这时就不一定能保证最初的匹配关系，所以本发明所设置的校验命令无参数，为以后的***升级提供了更多的灵活性。

接着执行步骤S204，子***接收校验命令，计算自己支持的、需校验数据的校验字，返回响应命令包给主***。具体实现为：子***接收到检验命令后，分别计算自己支持的、需校验数据的校验字，然后返回给主***一个响应命令包，所述的响应命令包包含：该返回有数据的校验字以及子***的编号。一个特殊情况，如果子***正处于某种状态，不适合进行校验时，可以忽略主***的校验命令。

随后执行步骤S205，主***接收上述响应命令包，并根据该响应命令包中的内容计算并得到对应该子***的数据的校验字。具体实现为：主***接收到子***的响应命令后，解开该命令包，得到数据的校验字，根据对应子***编号，由主***的校验计算单元对事先保存在***中的对应该子***数据进行计算，得到对应该子***中数据的校验字。

紧接着执行步骤S206，主***比较主、子***中对应于需校验数据的子***中数据的校验字，如果本次返回的校验字一致，则执行步骤S207，检验顺利结束，并且对该子***所有组的校验失败计数器清零。如果本次返回校验字不一致，表明该子***中的数据与主***中与该***对应的数据不一致，则执行步骤S208，本次检验退出，重新向该子***下发一次校验命令，并且对该子***的对应校验失败计数器增加1；接着执行步骤S209，判断连续该子***的相同分组校验失败的次数是否超过设定值，如果连续该子***的相同分组校验失败的次数超过设定值，则执行步骤S210；否则，执行步骤S203。

最后，执行步骤S210，主***的同步管理模块根据定义的处理策略同步子***不一致的数据。具体实现为：主***根据事先定义的处理策略，可以进行如下操作(可选择1种或多种操作)：

(1)向分布式***上报校验失败告警，然后由人工干预进行同步子***不一致的数据；

(2)向对应子***的不一致的数据下发正确数据，同步子***不一致的数据；

(3)向对应子***下发全部数据，同步子***不一致的数据；

(4)向所有子***下发全部数据，同步子***不一致的数据；以及其它待定义操作；

(5)触发分布式***预定义的其它操作。

由上述可以看出，由于本发明采用子***可根据自身状态自行决定是否响应校验请求、自行决定返回校验内容的方式进行主、子***数据的一致性校验，并且集中在主***上设置分布式***校验失败后的同步处理策略，从而提高了***的灵活性。

本发明所述方法的第二实施例，也是本发明的优选实施方案，其具体操作如图2所示：

首先执行步骤S302，子***依据子***的类型和数据的类型将数据划分为若干组数据。

主***和多个子***进行一致性校验的数据很多，包括分布式***的各种类型数据，如果采用一起打包处理，计算量大、计算时占用内存也较多，所以采取按照子***、按照模块、按照数据类型等分成数据组的方法，减少每次数据的计算量。在将数据分组的过程中，尽量保证对主***而言，各个子***的数据组可重用。

为了便于对分组进行管理，减小生成校验字时的计算量和内存消耗，由主***和子***统一规定分组号，每组数据不要过大，否则该组可再定义一个组号。分组号如果使用一个字节，共有0-255个组号；如果使用两个字节，共有0-65535个组号。每组数据定义由主***和各个子***开发人员共同确定，包括数据和数据排列方式。

下面是将某分布式***的业务、保护和***参数等类型数据分成若干个数据组的数据分组规则的例子。如：

0：保留

1-10：子***类型A

11-20：子***类型B

21-30：子***类型C

101-110：子***G的特定模块MA

111-120：子***G的特定模块MB

121-130：子***G的特定模块MC

160-255：保留

由于将数据划分为若干分组，不仅减小了每次校验的计算量，而且便于根据具体分组进行单独划分处理策略，从而保证数据校验的灵活性。

此外，由于采用校验字比较的方式来判断数据组数据是否一致，极大的改善了分布式***间由于数据校验引起的通信量大的问题。

执行步骤S303，主***发送校验命令给子***。

接着执行步骤S304，子***接收校验命令，计算自己支持的数据的校验字，返回响应命令包给主***。具体实现为：子***接收到检验命令后，计算自己支持的数据组的数据校验字，然后返回给主***一个响应命令包，所述的响应命令包中包含：该返回有几组数据、数据组号、数据组的校验字以及子***的编号。下面举例说明包括3组数据的响应命令包的数据参数。

举例如下：

参数1：3个组

参数2：第1组的组号

参数3：第1组的校验字

参数4：第2组的组号

参数5：第2组的校验字

参数6：第3组的组号

参数7：第3组的校验字

对于参数1，一共有几组数据是由子***决定的，比如在运行状态A时，它可能仅支持1组数据的校验；在运行状态B时，则支持3组数据的校验。更进一步而言，如果子***正处于初始化阶段、或者升级过程中、甚至本版本子***不支持校验功能，它可以不响应校验命令的要求。

从上述分析可以看出，虽然主***可以对各个子***发起校验，但是子***是否接受校验以及校验什么内容，可以按照***状态、预定义策略等自行决定，从而保证分布式***的灵活性。

随后执行步骤S305，主***接收上述响应命令包，并根据该响应命令包中的内容计算并得到对应该子***的数据组的校验字。具体实现为：主***接收到子***的相应命令后，解开该响应命令包，得到每个数据组的组号和校验字，根据对应子***编号及类型、需校验的数据组的组号，经主***的校验计算单元对保存在主***中对应该子***数据组的数据进行计算，得到主***对应的校验字。

紧接着执行步骤S306，主***校验单元比较主、子***中对应于需校验数据的校验字，如果本次返回的校验字一致，则执行步骤S307，检验顺利结束，并且对该子***校验失败计数器清零。如果本次返回中有某一组校验不一致，则执行步骤S308，检验退出，重新向该子***下发一次校验命令，并且对该子***的对应校验失败计数器增加1；接着执行步骤S309，判断连续该子***的相同分组校验失败的次数是否超过设定值，如果连续该子***的相同分组校验失败的次数超过设定值，则执行步骤S310，否则，执行步骤S303。

最后，执行步骤S310，主***根据定义的处理策略同步子***不一致的数据。具体实现为：主***根据事先定义的处理策略，可以进行如下操作(可选择1种或多种操作)：

(1)向分布式***上报校验失败告警，然后由人工干预进行同步子***不一致的数据；

(2)向对应子***的不一致的数据组下发正确数据，同步子***不一致的数据；

(3)向对应子***下发全部数据，同步子***不一致的数据；

(4)向所有子***下发全部数据，同步子***不一致的数据；以及其它待定义操作；

(5)触发分布式***预定义的其它操作。

另外，当子***由于突然掉电或其它情况意外复位后，以及预定义了某种情况下需要校验时，子***可自行发起数据校验，向主***自动上报自己需要校验的校验组号和校验字，此时，主***收到子***的触发，对该子***需校验的数据进行一致性校验。在这种情况下，本发明的第三实施例是在所述步骤S302之前还包括下面两个步骤：

首先执行步骤S201，子***调用校验字算法计算数据的校验字；数据校验字的计算方法，可根据整个***的实际情况(***的CPU处理能力和内存大小，以及是否满足***校验的差错能力要求)进行选择，比如MD5、校验和Checksum和循环冗余校验码CRC，甚至自定义的某种算法等。

接着执行步骤S202，将数据组的组号及数据组的校验字上传给主***。

本发明所述***的实施例如图3所示，该***包括子***311、主子***数据一致性检查单元312、主***校验字计算单元313、数据同步管理单元314和子***校验字计算单元315。

所述主子***数据一致性检查单元312下发校验命令给子***311，子***311响应所述校验命令，调度子***校验字计算单元315计算其数据的校验字，并将包括校验字的数据有关信息(数据组的组号和数据组的数目等)反馈给主子***数据一致性检查单元312，主子***数据一致性检查单元312根据子***311的反馈信息得到子***中对应该子***数据的校验字，并根据所述反馈信息(数据组的组号和数据组的数目)向所述主***校验字计算单元313下发查询主***中对应该子***数据的校验字，主***校验字计算单元313接到查询命令，则读取主***中事先保存的对应该子***的数据，计算并得到主***中对应该子***数据的校验字，然后将该校验字反馈给主子***数据一致性检查单元312，主子***数据一致性检查单元312将主、子***中对应该子***数据的校验字进行比较，若一致，则结束校验；否则，通知数据同步管理单元314进行数据一致性校验及同步；所述数据同步管理单元314接收主子***数据一致性检查单元的通知，并产生告警和/或进行同步处理。

本发明提供的技术方案，具有如下的有益效果：

由于本发明所述的方法采用主***来完成子***上报的校验字和主***中对应该子***的数据的校验字比较，如果比较结果不一致，则通知主***的同步管理模块进行相应的处理，进而实现数据的一致性校验及同步，所以即使在需校验数据不兼容的情况下也能够很好地实现数据的一致性校验及同步。

再者，本发明由于采用主***发送校验命令给子***，即主***统一控制校验调度的方式，以及采用子***根据定义的处理策略自行决定返回校验内容的方式，提高了主、子***数据校验的灵活性。

另外由于采用将数据划分为若干组数据，不仅减少了每次校验的计算量和通信量，而且便于根据具体组进行单独的处理，从而更加提高主、子***数据校验的灵活性。

由于采用数据按照子***类型、数据类型等方式定义数据组，从而保证开发的重用性，提高了开发效率。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (12)

1、一种进行数据一致性校验及同步的方法，其特征在于，包括如下步骤：

A、主***分别获取每个子***数据对应在主、子***内的校验字；

B、主***将所述的每个子***数据对应在主、子***内的校验字进行比较，若一致，则结束校验；否则，同步对应的不一致的数据。

2、按照权利要求1所述的方法，其特征在于，所述步骤A具体包括：

A1、主***发送校验命令给子***；

A2、子***接收校验命令，计算自己支持的数据的校验字，返回响应命令包给主***；

A3、主***接收该响应命令包，并根据该响应命令包中的内容计算得到对应该子***的数据的校验字。

3、按照权利要求2所述的方法，其特征在于，步骤A2和步骤A3中所述响应命令包包括：子***的编号及数据的校验字。

4、按照权利要求2所述的方法，其特征在于，

在步骤A之前还包括步骤：子***依据子***的类型和数据的类型将数据划分为若干组数据；

步骤A2和步骤A3中所述响应命令包包括：子***的编号、数据组的组号和数据组的校验字及可选的包括数据组的数目。

5、按照权利要求3或4所述的方法，其特征在于，在步骤B中，所述同步对应的不一致的数据的过程包括：

上报校验失败告警，通知人工同步子***不一致的数据；和/或

向对应子***的不一致的数据下发正确数据，同步子***不一致的数据；和/或

向对应子***的全部数据下发正确数据，同步子***不一致的数据；和/或

向所有子***的全部数据下发正确数据，同步子***不一致的数据。

6、按照权利要求5所述的方法，其特征在于，

所述步骤B中，当一致并结束校验之后，还包括对该子***所有数据的校验失败计数器清零的过程。

7、按照权利要求1、2、3、4或6所述的方法，其特征在于，还包括：

C、校验退出；

D、校验失败时对该子***对应的校验失败计数器累计加1；

E、判断该子***对应的校验失败计数器的数值是否小于设定值，如小于设定值，则继续执行步骤A；否则，根据定义的处理策略同步对应该子***不一致的数据。

8、按照权利要求7所述的方法，其特征在于，所述校验命令无需参数。

9、按照权利要求8所述的方法，其特征在于，在步骤A1之前还包括：

A4、子***调用校验字算法计算数据的校验字；

A5、将数据及校验字上传给主***。

10、按照权利要求9所述的方法，其特征在于，所述校验字算法包括：MD5算法、校验和Checksum算法或循环冗余校验码CRC算法。

11、一种进行数据一致性校验及同步的分布式***，包括主、子***，其特征在于，还包括：数据检查单元和数据同步管理单元；

所述数据检查单元用于分别获取每个子***数据对应在主、子***内的校验字，并进行比较，若一致，则结束校验；否则，通知数据同步管理单元产生告警和/或同步所述的不一致的数据；

所述数据同步管理单元用于响应数据检查单元的通知，产生告警和/或同步所述的不一致的数据。

12、按照权利要求11所述的分布式***，其特征在于，还包括主***校验字计算单元和子***校验字计算单元；

所述主***校验字计算单元用于计算主***内对应子***数据的校验字，并将该校验字提供给数据检查单元；

所述子***校验字计算单元用于计算子***内数据的校验字，并将该校验字提供给数据检查单元。

Images