CN103685350B - 存储***的同步方法及相关的设备 - Google Patents

Abstract

提供一种存储***中的同步方法及相关的设备。该方法包括：接收对应于数个修改操作的修改操作日志；依据预设的规则将所述数个修改操作进行分组；依据分组方式并行地执行所述数个修改操作的至少一部分或全部；将最新顺序属性值更新至所述数个修改操作中最新执行的修改操作的顺序属性值；以及将对应于所述数个修改操作的数个修改操作增量与对应的数个原始数据进行融合。

Description

存储***的同步方法及相关的设备

技术领域

本申请涉及存储***，尤其涉及一种存储***中的同步方法及相关的设备。

背景技术

随着网络技术及云计算服务的发展，存储***不但扮演着存储数据的角色，更是提供各种云服务时不可或缺的设备。例如，存储***可以采用数据库或者其他的形式实施，以应对各种不同的需求。

为了能够提升***性能，存储***通常使用一个或多个主机搭配一个或多个备机的方式实施，并且存储***的主机和备机还可以充分利用现代的多处理器、多机器、多线程及/或多机器并行执行等技术来提升整个***的可用性及/或处理能力。为了确保存储***的主机和备机间数据具有一致性，当主机对存储的数据执行修改操作时(例如，***、更新及删除等修改操作)，也会将这些修改操作所对应的修改操作日志同步至备机。因此，存储***的主机和备机不但能够具有一致的数据，并且当存储***出现异常宕机而需要重新开机时，也可以藉由重新播放宕机前所记录的修改操作日志，使存储***以恢复到宕机前的状态。

虽然主机可以通过读写锁和相关技术(例如，数据库的多版本并行控制等)而并行地执行这些修改操作，但其结果却等价于依据一种确定的顺序串行地执行这些修改。因此，当存储***在主机和备机间同步修改操作日志时，备机必须按照主机所确定的顺序来播放和执行这些修改操作日志，以确保主机和备机能够具有一致的数据。如果以串行的方式播放和执行这些修改操作日志，虽然能够确保修改操作会依据所确定的顺序执行，但是需要较长的时间以完成修改操作的执行。主机必须等待备机的修改操作执行完成，才能确保主机和备机具有一致的数据，使用者的回应时间因而被延长，造成整个存储***的性能下降。如果主机不等待备机的修改操作执行完成，则主机和备机间的数据可能不同步，甚至可能造成主机和备机无法藉由同步修改操作的方式而存储一致的数据。另一方面，如果备机并行地执行这些修改操作，则修改操作执行的顺序及结果的正确性往往难以保证。

同样地，当存储***异常宕机而重新开机时，也需要按照宕机前确定的顺序重新播放和执行修改操作日志，以确保存储***能够恢复到宕机前的状态。如果串行地执行这些修改操作，虽然能够确保修改操作会依据所确定的顺序执行，但是需要较长的时间以完成修改操作的执行。存储***因而需要较长的时间从异常宕机状态恢复到正常状态，从而会造成整个存储***的性能下降。如果并行地执行这些修改操作，则难以保证修改操作执行的顺序及结果的正确性。

目前，存储***的相关技术通常关注于存储***的一个或多个主机的并行修改技术，或者数据库的主机和备机间的同步技术。例如，数据库的多版本并行控制(MVCC)技术，MySQL的日志回放技术、以及美国专利第7,996,363号中描述的数据库主机和备机间的同步方法等。然而，这些技术仍难以解决上述的技术问题。

发明内容

本申请的主要目的在于提供一种存储***的同步方法及相关的设备，以解决现有技术存在的存储***同步问题以及宕机状态恢复到正常状态的问题，其中：

根据本申请的一个方面，提供一种在存储***中进行同步的方法，该方法包括：接收对应于数个修改操作的修改操作日志；依据预设的规则将该数个修改操作进行分组；依据分组方式并行地执行该数个修改操作的至少一部分或全部；将最新顺序属性值更新至该数个修改操作中最新执行的修改操作的顺序属性值；以及将对应于该数个修改操作的数个修改操作增量与对应的数个原始数据进行融合。

根据本申请实施例的方法，还包括：存储融合后的该数个修改操作增量与该数个原始数据；以及删除融合前的该数个修改操作增量与该数个原始数据。

根据本申请实施例的方法，还包括：将该数个修改操作以多线程的方式并行地执行数个预提交步骤，以查询该数个修改操作所对应修改的数个数据的位置；以及依据预定顺序以单线程的方式串行地进行数个提交步骤，以依据该数个数据的位置修改数据。

根据本申请实施例的方法，还包括：在该数个预提交步骤中，将该数个数据的位置与该数个修改操作记录于数个事务上下文；以及在该数个提交步骤中，依据该数个事务上下文而修改数据。

根据本申请实施例的方法，还包括：当***中的计算机设备异常宕机后，自该计算机设备的修改操作日志记录模块接收对应于数个修改操作的修改操作日志。

根据本申请的一个方面，提供一种在存储***中进行同步的设备，包括：通讯模块，用以接收对应于数个修改操作的修改操作日志；修改操作顺序分组模块，用以依据预设的规则将该数个修改操作进行分组；修改操作执行模块，用以依据分组方式并行地执行该数个修该操作的至少一部分或全部；最新顺序属性值记录模块，用以将最新顺序属性值更新至该数个修改操作中最新执行的修改操作的顺序属性值；以及修改操作数据更新模块，将对应于该数个修改操作的数个修改操作增量与对应的数个原始数据进行融合。

在根据本申请实施例的设备中，修改操作数据更新模块存储融合后的该数个修改操作增量与该数个原始数据，并且该修改操作数据更新模块删除融合前的该数个修改操作增量与该数个原始数据。

在根据本申请实施例的设备中，修改操作执行模块将该数个修改操作以多线程的方式并行地执行数个预提交步骤，以查询该数个修改操作所对应修改的数个数据的位置，并且该修改操作执行模块依据预定顺序以单线程的方式串行地进行数个提交步骤，以依据该数个数据的位置修改数据。

在根据本申请实施例的设备中，修改操作执行模块在该数个预提交步骤中，将该数个数据的位置与该数个修改操作记录于数个事务上下文，并且该修改操作执行模块在该数个提交步骤中，依据该数个事务上下文而修改数据。

根据本申请实施例的设备，还包括：修改操作日志记录模块，用以储存该数个修改操作；其中当该设备异常宕机后，该通讯模块自该修改操作日志记录模块接收对应于数个修改操作的修改操作日志。

根据本申请的技术方案，其优点之一是修改操作执行的并行度高，可以对每一个修改操作分别并行地执行，并且修改操作可以按任意的次序执行，不但能保证结果的正确性，还能提升***的性能。其另一优点是修改操作的执行效率高，存储***的主机和备机间的同步能够更迅速，并且存储***能够快速地恢复到宕机前的状态。本申请的其他优点将通过以下的说明和附图进行更详细的解释。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请的实施例的存储***简化后的功能方框图；以及

图2为图1的存储***运作时的实施例简化后的流程图。

具体实施方式

图1为本申请的实施例的存储***100简化后的功能方块图。存储***100可以包括主机110、网络130和备机150，主机110和备机150分别可以采用一个或多个计算机设备及软件实施，并且计算机设备可以采用移动或非移动的设备，例如，服务器、个人计算机、笔记本电脑或手机等设备。

主机110可以包括数据库模块111、修改操作日志产生模块116、修改操作日志记录模块117及通讯模块119。

主机110的数据库模块111用以存储数据，当数据库模块111中的数据被修改时，修改操作日志产生模块116可以产生对应的修改操作日志，使主机110或备机150能够依据修改操作日志而执行对应的修改操作。此外，主机110还可以将修改操作日志产生模块116所产生的修改操作日志存储在修改操作日志记录模块117中，从而能够供主机110异常宕机后重新开机后使用。

由主机110对于数据库模块111所进行的修改操作是以既定顺序执行，因此对应的修改操作日志可以以显式或隐含的记录方式记录修改操作的顺序属性值，以代表修改操作执行的先后顺序关系。例如，在一个实施例中，针对数据库模块111而言，每个“写事务”可以具有递增的事务号tr_id，每个写事务内的修改操作(例如，***、更新及删除等操作)分别可以具有在个体写事务内有效且递增的操作号op_id。因此，修改操作日志例如就可以采用(tr_id，op_id)做为记录修改操作的顺序属性值。

通讯模块119用以将修改操作日志产生模块116所产生的修改操作日志，通过网络130而传送至备机150或者其他的存储装置。通讯模块119可以采用标准的网络协议或者自定义的协议，以便和其他计算机设备或者其他模块间进行数据的传送与接收。

备机150包括数据库模块151、修改操作顺序分组模块152、修改操作执行模块153、最新顺序属性值记录模块154、修改操作数据更新模块155、修改操作日志记录模块156及通讯模块157。在图1的实施例中，仅绘示一个修改操作执行模块153以便于说明，在其他实施例中，备机150可以包括有一个或多个修改操作执行模块。

数据库模块151用以存储数据，当主机110和备机150同步时，数据库模块111和151所储存的数据相同。

当主机110和备机150需要进行同步时，备机150可以经由通讯模块157而自网络130接收主机110或其他存储装置所传送的一个或多个修改操作日志，并且备机150可以将所接收的修改操作日志存储在修改操作日志记录模块156中。通讯模块157可以采用标准的网络协议或者自定义的协议，以便和其他计算机设备或者其他模块间进行数据的传送与接收。

修改操作顺序分组模块152可以将这些修改操作日志进行分组，并且将分组后的修改操作日志传送至操作执行模块153而执行对应的操作修改。

当修改操作执行完成后，最新顺序属性值记录模块154可以记录已经完成的修改操作及/或未完成的修改操作，以确保使用者或者其他计算机设备所存储的数据已经完成所需的修改操作。此外，修改操作数据更新模块155可以在适当的时间，将修改后的数据更新至数据库模块151。

例如，在一个实施例中，以执行顺序值由小到大代表执行顺序的由旧到新。最新顺序属性值记录模块154可以记录已经执行完成的修改操作的最新顺序属性值lastest_order_attr，顺序属性值小于或等于最新顺序属性值lastest_order_attr的修改操作，对使用者或者其他计算机设备而言该修改操作已经生效，而能够确保对应储存在数据库模块151中的数据为正确的。顺序属性值大于最新顺序属性值lastest_order_attr的修改操作，对使用者或者其他计算机设备而言该修改操作尚未生效。

在图1的实施例中，仅示出了一个主机110和一个备机150，并且也省略了主机110和备机150中的其他元件，以使附图更为简洁而易于进行说明。例如，主机110也可以包括修改操作顺序分组模块、修改操作执行模块、修改操作数据更新模块及最新顺序属性值记录模块等元件。在其他的实施例中，存储***可以包括一个或多个主机，并且搭配一个或多个备机进行运作。

图2为图1的存储***100运作时的一个实施例简化后的流程图，以下将以图2结合图1进一步地说明存储***100的运作方式。

在流程210中，备机150接收对应于修改操作OP1,OP2,…OPm的修改操作日志。例如，在存储***100的主机110和备机150进行同步的应用中，备机150可以从主机110或者共用的存储装置获得修改日志。

在流程220中，备机150使用修改操作顺序分组模块152将流程210中所接收的修改操作OP1,OP2,…OPm进行分组。修改操作顺序分组模块152可以采用任意顺序、任意规则重新组合或者其他预设的规则将修改操作OP1,OP2,…OPm进行分组。

在流程230中，修改操作执行模块153可以依据修改操作的分组结果，而能够并行地执行部分的操作修改，或者并行地执行全部的操作修改。每个分组可以包括一条或者多条的修改操作，而这些分组内的修改操作可以按顺序在分组内执行，并且将这些修改操作以修改操作增量的方式记录在个体分组内。

在流程240中，当修改操作执行模块153将全部的修改操作OP1,OP2,…OPm执行完成后，备机150的最新顺序属性值记录模块154可以将最新顺序属性值lastest_order_attr更新为修改操作OP1,OP2,…OPm中最新的顺序属性值。

在流程250中，修改操作数据更新模块155可以在适当的时间，将流程230中的所记录的修改操作增量与对应的原始数据(如果存在)融合以得到新的原始数据。例如，在***空闲时或存储***管理员设定的时间等。

在流程260中，修改操作数据更新模块155可以在适当的时间删除流程250中不再需要的原始数据和修改操作增量，并回收它们占用的空间。

在图2的流程220～230中，修改操作顺序分组模块152可以采用任意顺序、任意规则重新组合或者其他预设的规则将修改操作OP1,OP2,…OPm进行分组，而修改操作执行模块153能够并行地执行部分的操作修改，或者修改操作执行模块153能够并行地执行全部的操作修改。此外，如上所述，备机可以使用一个或多个修改操作执行模块以并行地执行部分或者全部的操作修改。

例如，在一个实施例中，修改操作执行模块153可以将操作修改的执行分为“预提交”和“提交”两个步骤，并且采用“事务上下文”的存储类型，来保存需要在“预提交”和“提交”两个步骤中传递的数据。

修改操作执行模块153可以采用多线程方式并行地执行“预提交”步骤的数据查询和准备工作，先查询到要修改操作对应于数据库模块151中数据的"位置"，并且连同需要执行的修改操作一起保存在“事务上下文”中。

修改操作执行模块153再将在“预提交”步骤中保存在“事务上下文”的数据写入数据库模块151中修改的“位置”，并且必须保证按照“既定顺序”以单线程的方式串行地进行提交。例如，在一个实施例中，“提交”步骤必须按既定的顺序1，2，3，4，5执行修改操作，即使编号为5的修改操作先“预提交”完成，那么在“提交”的步骤中，修改操作执行模块153需要等待编号为4的修改操作先“提交”完成，才会进行“提交”编号为5的修改操作。

在图2的流程250中，修改操作数据更新模块155可以在适当的时间，将流程230中的所记录的修改操作增量与对应的原始数据(如果存在)进行融合以得到新的原始数据。虽然对数据的修改要延后到适当时机，由于每个数据都记录了它的“原始数据”和“修改操作增量”，因此当备机150在稍后的时间将“修改操作增量”应用到“原始数据”时，即可获得修改后数据的最终结果。例如，“原始数据”为10，“修改操作增量”为“+1”，因此将“修改操作增量”融合至“原始数据”后，可以得到最终结果为11。此外，对于每次的读取操作，必须先将“修改操作增量”融合至“原始数据”所得到的最终结果才作为读取操作的输出，因此能够确保数据的正确性。

在另一实施中，当发生异常宕机后，重新开机的主机110及/或备机150可以分别从修改操作日志记录模块117和156获得修改日志，而由主机110及/或备机150进行流程210～260的方法，以恢复到异常宕机前的状态。

在其他的实施例中，备机150也可以同时作为多个主机的备机，而能够分别搭配多个备机进行上述的流程。

在上述的实施例中，可以对修改操作部分或全部并行地执行，这些操作不必局限于不同的表，也不必局限于不同的数据库的数据块等，并且多个修改操作可以依据任意的次序执行，但仍旧可以保证结果的正确性。

在上述的实施例中，修改操作的执行只需记录修改的动作，并对数据本身(例如，数据库模块的数据)的修改延后到适当时机执行，因此，不但能使数据修改的执行效率高，还可使修改数据这类耗时的运作错开存储***的运作高峰期间，从而改善***的性能。

在上述的实施例中，主机与备机进行同步的速度更迅速，而且能够降低使用者对存储***访问回应时间，并且不影响整个存储***的输送量。此外，同样的方法也可以适用在存储***的主机及/或备机异常宕机而需要重新开机的情境，而能够使主机及/或备机快速地恢复到宕机前的状态。

在说明书及权利要求书中使用了某些词汇来指称特定的元件。所属技术领域的技术人员应可理解，同样的元件可能会用不同的名词来称呼。本说明书及权利要求书并不以名称的差异来作为区分元件的方式，而是以元件在功能上的差异来作为区分的基准。在说明书及权利要求书中所提及的“包括”为开放式的用语，应解释成“包括但不限于”。在此所使用的“及/或”的描述方式，包括所列举的其中之一或多个方案的任意组合。另外，除非说明书中特别指明，否则任何单数的用语都同时包括复数的涵义。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本申请的权利要求范围之内。

Claims (10)

1.一种在存储***中进行同步的方法，所述方法包括：

接收对应于数个修改操作的修改操作日志；

依据预设的规则将所述数个修改操作进行分组；

依据分组方式并行地执行所述数个修改操作的至少一部分或全部；

将最新顺序属性值更新至所述数个修改操作中最新执行的修改操作的顺序属性值；以及

将对应于所述数个修改操作的数个修改操作增量与对应的数个原始数据进行融合。

2.根据权利要求1所述的方法，还包括：

存储融合后的所述数个修改操作增量与所述数个原始数据；以及

删除融合前的所述数个修改操作增量与所述数个原始数据。

3.根据权利要求1所述的方法，还包括：

将所述数个修改操作以多线程的方式并行地执行数个预提交步骤，以查询所述数个修改操作所对应修改的数个数据的位置；以及

依据预定顺序以单线程的方式串行地进行数个提交步骤，以依据所述数个数据的位置修改数据。

4.根据权利要求3所述的方法，还包括：

在所述数个预提交步骤中，将所述数个数据的位置与所述数个修改操作记录于数个事务上下文；以及

在所述数个提交步骤中，依据所述数个事务上下文而修改数据。

5.根据权利要求1所述的方法，还包括：

当***中的计算机设备异常宕机后，自所述计算机设备的修改操作日志记录模块接收对应于数个修改操作的修改操作日志。

6.一种在存储***中进行同步的设备，还包括：

通讯模块，用以接收对应于数个修改操作的修改操作日志；

修改操作顺序分组模块，用以依据预设的规则将所述数个修改操作进行分组；

修改操作执行模块，用以依据分组方式并行地执行所述数个修所述操作的至少一部分或全部；

最新顺序属性值记录模块，用以将最新顺序属性值更新至所述数个修改操作中最新执行的修改操作的顺序属性值；以及

修改操作数据更新模块，将对应于所述数个修改操作的数个修改操作增量与对应的数个原始数据进行融合。

7.根据权利要求6所述的设备，其中，所述修改操作数据更新模块存储融合后的所述数个修改操作增量与所述数个原始数据，并且所述修改操作数据更新模块删除融合前的所述数个修改操作增量与所述数个原始数据。

8.根据权利要求6所述的设备，其中，所述修改操作执行模块将所述数个修改操作以多线程的方式并行地执行数个预提交步骤，以查询所述数个修改操作所对应修改的数个数据的位置，并且所述修改操作执行模块依据预定顺序以单线程的方式串行地进行数个提交步骤，以依据所述数个数据的位置修改数据。

9.根据权利要求8所述的设备，其中，所述修改操作执行模块在所述数个预提交步骤中，将所述数个数据的位置与所述数个修改操作记录于数个事务上下文，并且所述修改操作执行模块在所述数个提交步骤中，依据所述数个事务上下文而修改数据。

10.根据权利要求6所述的设备，还包括：

修改操作日志记录模块，用以储存所述数个修改操作；

其中当所述设备异常宕机后，所述通讯模块自所述修改操作日志记录模块接收对应于数个修改操作的修改操作日志。