CN114297043A - 日志包重演方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种日志包重演方法、装置、电子设备及存储介质。所述方法包括：初始化集群中每个节点的内存对象，所述内存对象中加载有日志包，所述日志包关联于日志依赖信息；依次扫描各所述内存对象，在每次扫描过程中，根据当前扫描的内存对象对应的日志依赖信息确定最优待重演日志包；各内存对象扫描完毕之后，对最优待重演日志包进行重演。该方法通过初始化集群中每个节点的内存对象，并且每个日志包可以对应关联于一个日志依赖信息，在此基础上根据日志依赖信息确定最优待重演日志包，并在各内存对象扫描完毕之后，对最优待重演日志包进行重演，能够保证日志包根据日志依赖信息依次重演，从而提高了日志包重演的效率。

Description

日志包重演方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及数据库管理技术领域，尤其涉及一种日志包重演方法、装置、电子设备及存储介质。

背景技术

共享存储集群中的多个实例都可以访问、修改数据页，并且每个实例修改数据页产生的重做日志是分别生成、保存到当前实例的联机日志文件以及归档日志文件中。在共享存储集群重演重做日志等日志时，可能会出现节点中与重演日志相关联的归档日志文件不完整等情况，如节点中的归档日志文件缺失、或者被删除等情况，从而导致重演日志的进程无法顺利完成。

为了保证重演日志的进程可以顺利完成，在重演日志时，需要对节点中的归档日志文件完整性进行检查判断。目前，对节点中的归档日志文件完整性进行检查的方法是，扫描并解析所有的归档日志文件，检查与重演日志相关联的归档日志文件是否存在和完整。但是，上述方法需要解析大量的归档日志文件，效率不高。

发明内容

本发明实施例提供了一种日志包重演方法、装置、电子设备及存储介质，以提高日志包重演的效率。

第一方面，本发明实施例提供了一种日志包重演方法，包括：

初始化集群中每个节点的内存对象，所述内存对象中加载有日志包，所述日志包关联于日志依赖信息；

依次扫描各所述内存对象，在每次扫描过程中，根据当前扫描的内存对象对应的日志依赖信息确定最优待重演日志包；

各所述内存对象扫描完毕之后，对所述最优待重演日志包进行重演。

第二方面，本发明实施例还提供了一种日志包重演装置，包括：

内存对象初始化模块，设置为初始化集群中每个节点的内存对象，所述内存对象中加载有日志包，所述日志包关联于日志依赖信息；

确定模块，设置为依次扫描各所述内存对象，在每次扫描过程中，根据当前扫描的内存对象对应的日志依赖信息确定最优待重演日志包；

重演模块，设置为各所述内存对象扫描完毕之后，对所述最优待重演日志包进行重演。

第三方面，本发明实施例还提供了一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的日志包重演方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的日志包重演方法。

本发明实施例提供了一种日志包重演方法、装置、电子设备及存储介质，初始化集群中每个节点的内存对象，内存对象中加载有日志包，日志包关联于日志依赖信息；在此基础上，依次扫描各所内存对象，在每次扫描过程中，根据当前扫描的内存对象对应的日志依赖信息确定最优待重演日志包；各内存对象扫描完毕之后，对最优待重演日志包进行重演。该方法通过初始化集群中每个节点的内存对象，并且每个日志包可以对应关联于一个日志依赖信息，在此基础上根据日志依赖信息确定最优待重演日志包，并在各内存对象扫描完毕之后，对最优待重演日志包进行重演，能够保证日志包根据日志依赖信息依次重演，从而提高了日志包重演的效率。

附图说明

图1为本发明实施例一提供的一种日志包重演方法的流程示意图；

图2为本发明实施例一提供的一种调整后的RLOG_PKG格式的示意图；

图3为本发明实施例一提供的一种内存对象初始化的示意图；

图4为本发明实施例二提供的一种日志包重演装置的结构示意图；

图5为本发明实施例三提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本发明使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”。

需要注意，本发明中提及的“第一”、“第二”等概念仅用于对相应内容进行区分，并非用于限定顺序或者相互依存关系。

需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

为了更好地理解本发明实施例，下面对相关术语进行介绍。

重做日志：即REDO日志，忠实记录了所有物理页的修改，在***故障重启时，通过重做REDO日志，可以将数据库恢复到故障时的状态。

物理事务(Physical Transaction，简称PTX)：数据库内部一系列修改物理数据页的操作的集合。

LSN：英文全称为Log Sequence Number，是指唯一标识每次修改数据页的操作或事务的日志序列号，其中LSN是由数据库***自动维护的Bigint类型数值，具有自动递增、全局唯一的特性，每一个LSN值代表着数据库***内部产生的一个物理事务。例如，本次修改数据页所对应的LSN值为1000，则下一次修改数据页所对应记录的LSN值为1001。

日志包(即可表示为RLOG_PKG)：是指数据库保存日志的数据单元。其中，REDO日志包是指数据库保存REDO日志的数据单元，一个日志包内可保存一个或多个PTX产生的REDO日志，REDO日志中的每一条日志记录对应一个LSN。

日志包序号(即可表示为PKG_SEQNO)：每个RLOG_PKG都有对应的序号属性，称之为日志包序号，日志包生成时按照日志包序号连续递增。

共享存储集群的多个实例都可以访问、修改数据页，并且每个实例修改数据页产生的REDO日志是分别生成、保存到当前实例的联机日志文件以及归档日志文件中。数据页头部中存在FRESH_EP字段，实例在修改数据页时，会将实例号记录到该数据页的FRESH_EP字段中，不管是从磁盘加载数据页，还是已经刷盘的数据页，都可以从数据页头部中读取到FRESH_EP信息，明确数据页的前序修改节点号。

当一个数据页被多个实例修改后，故障重启或备库重演各实例的REDO日志时，必须严格按照REDO日志的生成顺序，依次重演各个实例对该数据页修改的REDO日志，才能正确恢复数据页内容。为此，共享存储集群在修改数据页时，会生成数据页同步日志(即PAGE_SYNC日志)，用来确定前序修改数据页的实例和LSN值，以确保REDO日志的重演顺序。

PAGE_SYNC日志上记录了FRESH_EP和FRESH_LSN信息，其中FRESH_EP可表示上次修改数据页的节点号，FRESH_LSN可表示上次修改数据页对应的LSN值。重演REDO日志时，依次解析日志记录，会先重演PAGE_SYNC日志，然后再重演修改数据页的REDO日志。在重演PAGE_SYNC日志时，会读取数据页的PAGE_LSN(即指数据页对应的LSN，可理解为数据页当前已重演的最大LSN值)，将其与PAGE_SYNC日志中记录的FRESH_LSN进行比较。若数据页的PAGE_LSN大于等于FRESH_LSN，说明当前PAGE_SYNC日志中记录的FRESH_LSN对应的REDO日志已经重演完成，可以继续重演后续修改数据页的REDO日志。若数据页的PAGE_LSN小于FRESH_LSN，说明当前PAGE_SYNC日志中记录的FRESH_LSN对应的REDO日志还未重演完成，此时需要等待对应节点先重演当前FRESH_LSN对应的REDO日志后，再继续重演后续修改数据页的REDO日志。

在共享存储集群的备库重演主库REDO日志时，可能出现主库PAGE_SYNC日志所记录的FRESH_EP节点上归档缺失的情况(比如归档日志文件被删除)，或者共享存储集群主库未发送PAGE_SYNC日志所依赖的其他日志到备库，从而导致备库重演PAGE_SYNC日志时由于缺少依赖的日志而等待超时，最终重演无法结束。同理，共享存储集群进行还原恢复时也可能出现相同的情况。

针对上述问题，共享存储集群在同步日志到异步备库，或者还原恢复共享存储集群时，需要提前检查所有节点中归档日志的完整性。一种完整性检查可选的方案是，扫描所有归档日志文件，解析REDO日志，依次检查PAGE_SYNC日志依赖的REDO日志是否存在。但是，这种方案需要解析大量的REDO日志，效率不高。

本发明实施例提供一种高效的日志完整性校验方法，在REDO日志包(即RLOG_PKG)中设置日志依赖信息，并根据日志依赖信息，判断全局日志是否完整，确保按照规定次序将所有待重演日志依次发送重演。

需要说明的是，PAGE_SYNC日志是REDO日志的一种，在PTX提交(即PTX COMMIT)时生成，并且会***到修改数据页的REDO日志之前。

PAGE_SYNC日志记录的格式可表示为：

[TS_ID，FILE_ID，PAGE_NO，FRESH_EP，FRESH_LSN]，

其中，FRESH_EP表示上次修改数据页的节点号，FRESH_LSN表示上次修改数据页对应的LSN值，其余属性与本发明无关，故在此不做介绍。

由于PAGE_SYNC日志是在PTX COMMIT时生成，在PTX COMMIT时会先将日志内容写入到REDO日志包RLOG_PKG中，因此本发明实施例可先将PAGE_SYNC日志中的日志依赖信息传递到RLOG_PKG中，然后再将RLOG_PKG写入到日志文件中。

实施例一

图1为本发明实施例一提供的一种日志包重演方法的流程示意图，该方法可适用于对每个节点中未重演的日志包进行重演的情况，该方法可以由日志包重演装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在电子设备上，在本实施例中电子设备包括但不限于：台式计算机、笔记本电脑和服务器等设备。

如图1所示，本发明实施例一提供的一种日志包重演方法，该方法包括如下步骤：

S110、初始化集群中每个节点的内存对象，所述内存对象中加载有日志包，所述日志包关联于日志依赖信息。

在本实施例中，集群可以指共享存储集群；共享存储集群可理解为一个单数据库、多实例的集群***，其数据库部署在共享存储上，供所有节点访问。内存对象可以指每个节点中用于加载相应日志包的数据包。日志包可以指数据库保存日志的数据单元。日志依赖信息可以理解为某个日志所依赖的其他日志信息。

本实施例中，在初始化集群中每个节点的内存对象之前，还可以通过未重演的日志包确定每个节点中可以从中加载日志包至内存对象的归档日志文件。

可选的，在初始化每个节点的内存对象之前，还包括：对于每个节点，记录该节点已重演的第一最大日志包序号以及第一最大LSN；扫描该节点上的归档日志文件，每个归档日志文件的头信息中包括该归档日志文件中的日志包的第二最大日志包序号以及第二最大LSN；若第二最大日志包序号大于第一最大日志包序号，且第二最大LSN大于第一最大LSN，则将该归档日志文件添加至该节点的归档日志文件链表中。

其中，归档日志文件链表可以指用于记录归档日志文件的数据结构，在本实施例中，归档日志文件链表中可以用于记录符合特定条件的归档日志文件，其中特定条件可以是第二最大日志包序号大于第一最大日志包序号，且第二最大LSN大于第一最大LSN。在数据库中，重做日志文件需要及时的做归档，即备份保留，在该过程中所形成的归档文件可称为归档日志文件。一个节点可以包括多个归档日志文件；一个归档日志文件中可以包括多个日志包，且日志包序号依次递增；一个日志包中可以包括多条日志(即日志记录)，一条日志记录可以对应一个LSN，且LSN值依次递增。

在共享存储集群中，每个节点都可以独立维护一个APPLY_SEQ和一个APPLY_LSN，即[APPLY_SEQ，APPLY_LSN]，其中APPLY_SEQ可表示该节点当前已发送重演的最大日志包序号PKG_SEQNO(即第一最大日志包序号)，APPLY_LSN可表示该节点当前已发送重演的最大LSN值(即第一最大LSN)。即，在初始化每个节点的内存对象之前，首先对于每个节点，可以记录该节点已重演的第一最大日志包序号以及第一最大LSN。

然后，依次扫描该节点上的归档日志文件。每个归档日志文件的头信息中可以包含信息[NEXT_SEQ，CLSN]，其中，NEXT_SEQ可表示该归档日志文件中的日志包的最大日志包序号(即第二最大日志包序号)；CLSN可表示该归档日志文件中的日志包的最大LSN值(即第二最大LSN)。

最后，可以通过比较[NEXT_SEQ，CLSN]和[APPLY_SEQ，APPLY_LSN]，将该节点上可能存在未重演日志包的归档日志文件添加至一个归档日志文件链表中。示例性的，对于某个归档日志文件，若NEXT_SEQ大于APPLY_SEQ(即第二最大日志包序号大于第一最大日志包序号)，且CLSN大于APPLY_LSN(即第二最大LSN大于第一最大LSN)，则可将该归档日志文件添加至当前对应节点的归档日志文件链表中。例如，假设某节点当前已发送重演的最大日志包序号(即第一最大日志包序号)为10，最大LSN值(即第一最大LSN)为1001，其可表明在此之前，该节点上日志包序号小于等于10的日志包中，LSN值小于等于1001的日志记录已被重演；在这种情况下，若一个归档日志文件的日志包的第二最大日志包序号为11(11＞10)，第二最大LSN值为1010(1010＞1001)，则可以说明该归档日志文件的日志包中存在还未重演的日志记录，此时可将该归档日志文件添加至该节点的归档日志文件链表中，以便于后续从归档日志文件链表中加载未重演的日志包至内存对象中。

需要说明的是，在将归档日志文件添加至对应归档日志文件链表的过程中，还可以校验归档日志文件的连续性；若校验成功，则可以继续后续操作；若校验失败，归档日志文件不连续，则可以直接报错返回，不再进行后续所有操作。此处不对归档日志文件校验的具体方法进行限定。

可选的，还包括：根据日志包中记录的修改数据页的节点号和相应节点对应的最大LSN值确定每个日志包的日志依赖信息。

其中，数据页同步日志可以指PAGE_SYNC日志。PAGE_SYNC日志上记录了FRESH_EP和FRESH_LSN信息，其中，FRESH_EP可表示上次修改数据页的节点号，FRESH_LSN可表示上次修改数据页所对应的LSN值。

示例性的，在PTX COMMIT生成PAGE_SYNC日志的同时，可将PAGE_SYNC日志中的FRESH_LSN登记到当前PTX的DPS_LSN_ARR数组中，数组下标可为PAGE_SYNC日志中的FRESH_EP。在登记时，可取当前FRESH_LSN和下标为FRESH_EP的数组项中已登记的LSN值中较大的一个进行登记。

PTX COMMIT可以触发一个日志写入动作，此时会先将该PTX产生的PAGE_SYNC日志写入到日志包(即RLOG_PKG)缓存中。在日志写入时，可以将当前PTX的DPS_LSN_ARR数组内容登记到RLOG_PKG缓存的DPS_LSN_ARR数组中。与PTX上的DPS_LSN_ARR数组相同，RLOG_PKG缓存中的DPS_LSN_ARR数组下标也为节点号。登记时，可取PTX和RLOG_PKG日志包缓存中的DPS_LSN_ARR数组对应节点的LSN值中较大的一个进行登记。

图2为本发明实施例一提供的一种调整后的RLOG_PKG格式的示意图。如图2所示，可通过调整RLOG_PKG格式，以增加日志依赖信息。调整过程可以是：RLOG_PKG可由日志包头和日志包体组成，日志包头上增加字段RLOG_PKG_N_DEPENDS(其中RLOG_PKG_N_DEPENDS也可表示为N_DPS)，可用于记录该RLOG_PKG依赖的共享存储集群节点数；日志包体的尾部可用于记录该RLOG_PKG的日志依赖信息。图2中，日志依赖信息可包括多个[DPS_EP，DPS_LSN]数据组，其中DPS_EP可表示前序修改数据页的节点对应的节点号；DPS_LSN可表示每个节点修改数据页对应的最大LSN值。即根据RLOG_PKG中记录的修改数据页的节点号和相应节点对应的最大LSN值，可以确定每个日志包的日志依赖信息。

在PTX COMMIT或产生检查点时，触发RLOG_PKG刷盘(即将RLOG_PKG缓存中的DPS_LSN_ARR数组内容写入到磁盘中)。刷盘时，可按照图2中的RLOG_PKG格式，将该RLOG_PKG依赖的共享存储集群节点数写入日志包头的RLOG_PKG_N_DEPENDS字段中，并将RLOG_PKG缓存中的DPS_LSN_ARR数组内容写入日志包尾的日志依赖信息中。可通过调整日志包有效日志长度DATA_OFF，以增加实际写入的RLOG_PKG的DPS_LSN_ARR数组的长度。

本实施例中，在确定内存对象和内存对象加载的日志包所对应的日志依赖信息之后，可以初始化集群中每个节点的内存对象，并且内存对象中加载有相应的日志包。

可选的，初始化集群中每个节点的内存对象，包括：对于每个节点，依次扫描该节点的归档日志文件链表中的归档日志文件中的日志包；将首个满足以下条件的日志包加载至该节点的内存对象中：日志包的日志包序号大于已重演的第一最大日志包序号，并且该日志包中的最大LSN值大于已重演的第一最大LSN。

其中，初始化每个节点的内存对象(内存对象可表示为rarch_ep)，用于管理该节点的日志同步/恢复信息。首先，对于每个节点，可以依次扫描该节点的归档日志文件链表中的归档日志文件，并对于每个归档日志文件，依次扫描其中的日志包。然后，将该节点上第一个满足条件的日志包加载到该节点的rarch_ep中；其中上述所需满足的条件可以为：日志包的日志包序号(即PKG_SEQNO)大于该节点的APPLY_SEQ(即已重演的第一最大日志包序号)，并且该日志包中的最大LSN值大于该节点的APPLY_LSN(即已重演的第一最大LSN)。例如，假设某节点当前已重演的第一最大日志包序号为10，已重演的第一最大LSN为1001，在这种情况下，日志包序号大于10且最大LSN值大于1001的日志包都是还未被重演的日志包，则由于对于多个未被重演的日志包，可以按照日志包序号和LSN的由小到大顺序依次重演，且每次重演一个日志包，因此可以只选取首个满足条件的未重演日志包加载至内存对象中。

需要说明的是，对于每个节点，依次扫描该节点的归档日志文件链表中的归档日志文件中的日志包，将首个满足以下条件的日志包加载至该节点的内存对象中；其中，依次扫描可理解为，当首个满足以下条件的日志包加载至该节点的内存对象中且重演之后会继续扫描，当再次扫描时，原本第二个满足以下条件的日志包就可认为是首个满足以下条件的日志包，以此类推，直至所有节点的待重演日志全部重演完成。

需要说明的是，在将日志包加载至该节点的rarch_ep的过程中，可以对日志包尾的日志依赖信息进行解析，解析出对应的N_DPS组[DPS_EP，DPS_LSN]数据组。为进行区分，可将加载至rarch_ep中的日志包命名为rpkg。加载完相应的日志包后，还可将[APPLY_SEQ，APPLY_LSN]存储到该节点的rarch_ep中。当所有节点的rarch_ep初始化完成后，此时各个节点rarch_ep中均已加载好零个或一个初始日志包rpkg。

图3为本发明实施例一提供的一种内存对象初始化的示意图。如图3所示，以节点1和节点2为例，每个节点的归档日志文件链表中可包括n个归档日志文件，针对于每个节点，通过比较该节点对应的[APPLY_SEQ，APPLY_LSN]与归档日志文件中日志包的日志包序号和日志包中最大的LSN值，可以从每个节点归档日志文件链表的n个归档日志文件中确定可加载至内存对象中的日志包rpkg，加载至内存对象中的日志包rpkg上又可带有[DPS_EP，DPS_LSN]数据组。

S120、依次扫描各所述内存对象，在每次扫描过程中，根据当前扫描的内存对象对应的日志依赖信息确定最优待重演日志包。

S130、各所述内存对象扫描完毕之后，对所述最优待重演日志包进行重演。

在本实施例中，首先，可以将共享存储集群中的各个节点中的内存对象(即rarch_ep)整合为一个数组，数组可用rarch_ep_arr表示；其中数组下标可表示各节点号(即各内存对象所对应的节点号)；数组rarch_ep_arr可记录在共享存储集群的控制节点中。然后，可以依次扫描数组rarch_ep_arr中的数组项(数组项可指数组中的每个rarch_ep)，其中经初始化后的每个rarch_ep中都加载了零个或一个日志包rpkg。最后，在每次扫描过程中，判断各个rarch_ep上是否存在rpkg；若不存在rpkg则可继续扫描下一个rarch_ep；若存在rpkg，则可根据当前扫描的rarch_ep对应的日志依赖信息确定最优待重演日志包，在各rarch_ep扫描完毕之后，对最优待重演日志包进行重演。

可选的，根据当前扫描的内存对象对应的日志依赖信息确定最优待重演日志包，包括：依次扫描当前扫描的内存对象对应的日志依赖信息中的每个数据组，对于当前扫描的数据组，从各内存对象中找到与当前扫描的数据组中的节点号一致的目标内存对象，以及目标内存对象对应的已重演的第一最大LSN；若目标内存对象对应的已重演的第一最大LSN大于或等于当前扫描的数据组中的LSN值，则当前扫描的数据组对应的日志已重演，否则，当前扫描的数据组对应的日志未重演；若当前扫描的内存对象对应的日志依赖信息中存在一个或多个数据组对应的日志未重演，则继续扫描下一个内存对象；若当前扫描的内存对象对应的日志依赖信息中的每个数据组对应的日志均已重演，则根据当前扫描的内存对象更新目标节点号、目标最小LSN以及目标最大LSN，其中，目标节点号、目标最小LSN以及目标最大LSN分别用于记录最优待重演日志包所在的节点号、最优待重演日志包内的最小LSN值以及最优待重演日志包内的最大LSN值。

其中，当前扫描的rarch_ep对应的日志依赖信息包括多个[DPS_EP，DPS_LSN]数据组，首先可以依次扫描该日志依赖信息中的每个数据组；对于当前扫描的数据组[DPS_EP，DPS_LSN]，在数组rarch_ep_arr的各rarch_ep中找到节点号与DPS_EP(即当前扫描的数据组中的节点号)一致的rarch_ep作为目标rarch_ep(目标rarch_ep可记为rarch_ep')。

然后，获取rarch_ep'上对应记录的APPLY_LSN(即已重演的第一最大LSN)，以判断APPLY_LSN是否大于或等于DPS_LSN(即当前扫描的数据组中的LSN值)。若是，则可说明当前扫描的数据组[DPS_EP，DPS_LSN]对应的日志已发送重演；若否，则可说明当前扫描的数据组[DPS_EP，DPS_LSN]对应的日志未发送重演。最后，在此基础上，若当前扫描的rarch_ep对应的日志依赖信息中存在一个或多个数据组对应的日志未重演，则可以继续扫描下一个rarch_ep；若当前扫描的rarch_ep对应的日志依赖信息中的每个数据组对应的日志均已重演，则可根据当前扫描的rarch_ep更新目标节点号、目标最小LSN以及目标最大LSN，其中，目标节点号、目标最小LSN以及目标最大LSN可分别用于记录最优待重演日志包所在的节点号、最优待重演日志包内的最小LSN值以及最优待重演日志包内的最大LSN值。

在本实施例中，可以设置变量EP、min_LSN和max_LSN，分别用于表示目标节点号、目标最小LSN以及目标最大LSN。上述各个变量EP、min_LSN和max_LSN的初始值可均设为-1。根据当前扫描的rarch_ep所在的节点号以及rarch_ep加载的日志包中的最小LSN值和最大LSN值，可以更新EP、min_LSN和max_LSN。

可选的，根据当前扫描的内存对象更新目标节点号、目标最小LSN以及目标最大LSN，包括：若目标节点号为初始值，则将目标节点号设置为当前扫描的内存对象所在的节点号，将目标最小LSN设为当前扫描的内存对象加载的日志包中的最小LSN，将目标最大LSN设为当前扫描的内存对象加载的日志包中的最大LSN；若目标节点号非初始值，则比较目标最小LSN和当前扫描的内存对象加载的日志包中的最小LSN：若目标最小LSN小于当前扫描的内存对象加载的日志包中的最小LSN，则目标节点号、目标最小LSN、目标最大LSN保持不变；若目标最小LSN大于当前扫描的内存对象加载的日志包中的最小LSN，则将目标节点号设置为当前扫描的内存对象所在的当前节点号，将目标最小LSN设为当前扫描的内存对象加载的日志包中的最小LSN，将目标最大LSN设为当前扫描的内存对象加载的日志包中的最大LSN；若目标最小LSN等于当前扫描的内存对象加载的日志包中的最小LSN，则比较目标最大LSN和当前扫描的内存对象加载的日志包中的最大LSN；若目标最大LSN小于或等于当前扫描的内存对象加载的日志包中的最大LSN，则目标节点号、目标最小LSN、目标最大LSN保持不变；若目标最大LSN大于当前扫描的内存对象加载的日志包中的最大LSN，则将目标节点号设置为当前扫描的内存对象所在的当前节点号，将目标最小LSN设为当前扫描的内存对象加载的日志包中的最小LSN，将目标最大LSN设为当前扫描的内存对象加载的日志包中的最大LSN。

其中，根据当前扫描的rarch_ep更新EP、min_LSN和max_LSN的具体过程如下：

判断变量EP是否为初始值-1，若变量EP是初始值-1，则可将EP设为当前扫描的rarch_ep所在的节点号，将min_LSN设为当前扫描的rarch_ep加载的日志包中的最小LSN值，将max_LSN设为当前扫描的rarch_ep加载的日志包中的最大LSN。

若变量EP不是初始值-1，则可比较min_LSN和当前扫描的rarch_ep加载的日志包中的最小LSN，比较结果可分为以下几种：

若min_LSN小于当前扫描的rarch_ep加载的日志包中的最小LSN值，则EP、min_LSN和max_LSN可保持不变；

若min_LSN大于当前扫描的rarch_ep加载的日志包中的最小LSN值，则可将EP设置为当前扫描的rarch_ep所在的当前节点号，将min_LSN设为当前扫描的rarch_ep加载的日志包中的最小LSN，将max_LSN设为当前扫描的rarch_ep加载的日志包中的最大LSN；

若min_LSN等于当前扫描的rarch_ep中加载的日志包的最小LSN，则可比较max_LSN和当前扫描的rarch_ep加载的日志包中的最大LSN；

若max_LSN小于或等于当前扫描的rarch_ep加载的日志包中的最大LSN，则EP、min_LSN、max_LSN保持不变；

若max_LSN大于当前扫描的rarch_ep加载的日志包中的最大LSN，则可将EP设置为当前扫描的rarch_ep所在的当前节点号，将min_LSN设为当前扫描的rarch_ep加载的日志包中的最小LSN，将max_LSN设为当前扫描的rarch_ep加载的日志包中的最大LSN。

可选的，各内存对象扫描完毕之后，对最优待重演日志包进行重演，包括：各内存对象扫描完毕之后，若目标节点号非初始值，则将目标节点号对应的内存对象中加载的日志包重演；根据重演的日志包更新目标节点号对应的内存对象中登记的已重演的第一最大日志包序号，以及已重演的第一最大LSN，清空目标节点号对应的内存对象中已加载的日志包；若目标节点号为初始值，则判断各内存对象中是否均未加载日志包；若是，则各节点的日志均已重演完成；否则，存在一个或多个节点的日志包依赖的其他日志丢失，停止重演日志包，返回报错信息。

其中，若EP不是初始值-1，则可将EP对应的rarch_ep中加载的日志包rpkg重演；根据当前重演的rpkg，将当前扫描的rarch_ep中登记的已重演的第一最大日志包序号(即APPLY_SEQ)更新为当前重演的rpkg的日志包序号，将当前扫描的rarch_ep中登记的已重演的第一最大LSN(即APPLY_LSN)更新为当前重演的rpkg中的最大LSN值(即当前对应的max_LSN)。在此基础上，可以清空当前扫描的rarch_ep中已加载的日志包rpkg。若EP是初始值-1，则可表明数组rarch_ep_arr扫描结束。

需要说明的是，清空当前扫描的rarch_ep中已加载的日志包之后，可继续将下一个满足条件(条件为日志包的日志包序号大于已重演的第一最大日志包序号，并且该日志包中的最大LSN值大于已重演的第一最大LSN)的日志包加载至目标节点号对应的内存对象中，然后执行“依次扫描各内存对象，在每次扫描过程中，根据当前扫描的内存对象对应的日志依赖信息确定最优待重演日志包，各内存对象扫描完毕之后，对最优待重演日志包进行重演”的操作，直至将所有节点的待重演日志全部重演完成。

若EP为初始值-1，则可以判断所有内存对象中是否均未加载日志包，若是，则可说明所有节点的待重演日志均已重演完成；若否，则可说明存在一个或多个节点的日志包依赖的其他日志丢失(如可能是该日志所在的归档日志文件被人为删除了)，此时可停止重演日志包，并向用户返回相应的报错信息。其中，假设根据日志包A相关联的日志依赖信息发现日志包A依赖其他某条日志B，则日志包A依赖的其他日志丢失可理解为日志包A依赖的日志B丢失了。

需要说明的是，此处对所有内存对象中是否均未加载日志包的具体判断方法不作限定，例如，可以通过设置一个标记FLAG并初始化为0来判断，具体的，在扫描所有内存对象的过程中，若内存对象中存在加载的日志包，则可将FLAG设置为1，否则FLAG保持初始值0不变；待所有的内存对象扫描完毕之后，判断此时的FLAG是否为0，若为0，则可说明所有内存对象中均未加载日志包。

本发明实施例一提供的一种日志包重演方法，初始化集群中每个节点的内存对象，内存对象中加载有日志包，日志包关联于日志依赖信息；在此基础上，依次扫描各所内存对象，在每次扫描过程中，根据当前扫描的内存对象对应的日志依赖信息确定最优待重演日志包；各内存对象扫描完毕之后，对最优待重演日志包进行重演。该方法通过初始化集群中每个节点的内存对象，并且每个日志包可以对应关联于一个日志依赖信息，在此基础上根据日志依赖信息确定最优待重演日志包，并在各内存对象扫描完毕之后，对最优待重演日志包进行重演，能够保证日志包根据日志依赖信息依次重演，从而提高了日志包重演的效率。

实施例二

图4为本发明实施例二提供的一种日志包重演装置的结构示意图，该装置可由软件和/或硬件实现。如图4所示，该装置包括：内存对象初始化模块310、确定模块320和重演模块330；

其中，内存对象初始化模块310，设置为初始化集群中每个节点的内存对象，所述内存对象中加载有日志包，所述日志包关联于日志依赖信息；

确定模块320，设置为依次扫描各所述内存对象，在每次扫描过程中，根据当前扫描的内存对象对应的日志依赖信息确定最优待重演日志包；

重演模块330，设置为各所述内存对象扫描完毕之后，对所述最优待重演日志包进行重演。

在本实施例中，该装置通过内存对象初始化模块310，初始化集群中每个节点的内存对象，内存对象中加载有日志包，日志包关联于日志依赖信息；通过确定模块320，依次扫描各所述内存对象，在每次扫描过程中，根据当前扫描的内存对象对应的日志依赖信息确定最优待重演日志包；通过重演模块330，各内存对象扫描完毕之后，对最优待重演日志包进行重演。该装置通过初始化集群中每个节点的内存对象，并且每个日志包可以对应关联于一个日志依赖信息，在此基础上根据日志依赖信息确定最优待重演日志包，并在各内存对象扫描完毕之后，对最优待重演日志包进行重演，能够保证日志包根据日志依赖信息依次重演，从而提高了日志包重演的效率。

可选的，内存对象初始化模块310，具体包括：

日志包扫描单元，设置为对于每个节点，依次扫描该节点的归档日志文件链表中的归档日志文件中的日志包；

日志包加载单元，设置为将首个满足以下条件的日志包加载至该节点的内存对象中：日志包的日志包序号大于已重演的第一最大日志包序号，并且该日志包中的最大LSN值大于已重演的第一最大LSN。

可选的，所述装置还包括：

记录模块，设置为在初始化每个节点的内存对象之前，对于每个节点，记录该节点已重演的第一最大日志包序号以及第一最大LSN；

归档日志文件扫描模块，设置为扫描该节点上的归档日志文件，每个归档日志文件的头信息中包括该归档日志文件中的日志包的第二最大日志包序号以及第二最大LSN；

添加模块，设置为若所述第二最大日志包序号大于所述第一最大日志包序号，且所述第二最大LSN大于所述第一最大LSN，则将该归档日志文件添加至该节点的归档日志文件链表中。

可选的，所述装置还包括：

信息确定模块，设置为根据日志包中记录的修改数据页的节点号和相应节点对应的最大LSN值，确定每个日志包的日志依赖信息。

可选的，确定模块320，具体包括：

数据组扫描单元，设置为依次扫描当前扫描的内存对象对应的日志依赖信息中的每个数据组，对于当前扫描的数据组，从各所述内存对象中找到与当前扫描的数据组中的节点号一致的目标内存对象，以及所述目标内存对象对应的已重演的第一最大LSN；

重演判定单元，设置为若所述目标内存对象对应的已重演的第一最大LSN大于或等于当前扫描的数据组中的LSN值，则当前扫描的数据组对应的日志已重演，否则，当前扫描的数据组对应的日志未重演；

扫描单元，设置为若所述当前扫描的内存对象对应的日志依赖信息中存在一个或多个数据组对应的日志未重演，则继续扫描下一个内存对象；

更新单元，设置为若所述当前扫描的内存对象对应的日志依赖信息中的每个数据组对应的日志均已重演，则根据当前扫描的内存对象更新目标节点号、目标最小LSN以及目标最大LSN，其中，所述目标节点号、所述目标最小LSN以及所述目标最大LSN分别用于记录最优待重演日志包所在的节点号、最优待重演日志包内的最小LSN值以及最优待重演日志包内的最大LSN值。

可选的，更新单元，具体设置为：

若所述目标节点号为初始值，则将所述目标节点号设置为当前扫描的内存对象所在的节点号，将目标最小LSN设为当前扫描的内存对象加载的日志包中的最小LSN，将目标最大LSN设为当前扫描的内存对象加载的日志包中的最大LSN；

若目标节点号非初始值，则比较目标最小LSN和当前扫描的内存对象加载的日志包中的最小LSN：

若目标最小LSN小于当前扫描的内存对象加载的日志包中的最小LSN，则目标节点号、目标最小LSN、目标最大LSN保持不变；

若目标最小LSN大于当前扫描的内存对象加载的日志包中的最小LSN，则将目标节点号设置为当前扫描的内存对象所在的当前节点号，将目标最小LSN设为当前扫描的内存对象加载的日志包中的最小LSN，将目标最大LSN设为当前扫描的内存对象加载的日志包中的最大LSN；

若目标最小LSN等于当前扫描的内存对象加载的日志包中的最小LSN，则比较目标最大LSN和当前扫描的内存对象加载的日志包中的最大LSN；

若目标最大LSN小于或等于当前扫描的内存对象加载的日志包中的最大LSN，则目标节点号、目标最小LSN、目标最大LSN保持不变；

若目标最大LSN大于当前扫描的内存对象加载的日志包中的最大LSN，则将目标节点号设置为当前扫描的内存对象所在的当前节点号，将目标最小LSN设为当前扫描的内存对象加载的日志包中的最小LSN，将目标最大LSN设为当前扫描的内存对象加载的日志包中的最大LSN。

可选的，重演模块330，具体设置为：

各所述内存对象扫描完毕之后，若所述目标节点号非初始值，则将所述目标节点号对应的内存对象中加载的日志包重演；

根据重演的日志包更新所述目标节点号对应的内存对象中登记的已重演的第一最大日志包序号，以及已重演的第一最大LSN，清空目标节点号对应的内存对象中已加载的日志包；

若所述目标节点号为初始值，则判断各所述内存对象中是否均未加载日志包；

若是，则各所述节点的日志均已重演完成；否则，存在一个或多个节点的日志包依赖的其他日志丢失，停止重演日志包，返回报错信息。

上述日志包重演装置可执行本发明任意实施例所提供的日志包重演方法，具备执行方法相应的功能模块和有益效果。

实施例三

图5为本发明实施例三提供的一种电子设备的结构示意图。如图5所示，本发明实施例四提供的电子设备包括：存储装置42和一个或多个处理器41；该电子设备中的处理器41可以是一个或多个，图5中以一个处理器41为例；存储装置42用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器41执行，使得所述一个或多个处理器41实现如本发明实施例中任一项所述的日志包重演方法。

所述电子设备还可以包括：通信装置43、输入装置44和输出装置45。

电子设备中的处理器41、存储装置42、通信装置43、输入装置44和输出装置45可以通过总线或其他方式连接，图5中以通过总线连接为例。

该电子设备中的存储装置42作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例一所提供日志包重演方法对应的程序指令/模块(例如，附图4所示的日志包重演装置中的模块，包括：内存对象初始化模块310和重演模块320)。处理器41通过运行存储在存储装置42中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中日志包重演方法。

存储装置42可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储装置42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置42可进一步包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信装置43可以包括接收器和发送器。通信装置43设置为根据处理器41的控制进行信息收发通信。

输入装置44可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置45可包括显示屏等显示设备。

并且，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器41执行时，程序进行如下操作：初始化集群中每个节点的内存对象，所述内存对象中加载有日志包，所述日志包关联于日志依赖信息；依次扫描各所述内存对象，在每次扫描过程中，根据当前扫描的内存对象对应的日志依赖信息确定最优待重演日志包；各所述内存对象扫描完毕之后，对所述最优待重演日志包进行重演。

实施例四

本发明实施例四提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行日志包重演方法，该方法包括：初始化集群中每个节点的内存对象，所述内存对象中加载有日志包，所述日志包关联于日志依赖信息；依次扫描各所述内存对象，在每次扫描过程中，根据当前扫描的内存对象对应的日志依赖信息确定最优待重演日志包；各所述内存对象扫描完毕之后，对所述最优待重演日志包进行重演。

可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的日志包重演方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆或无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种日志包重演方法，其特征在于，包括：

初始化集群中每个节点的内存对象，所述内存对象中加载有日志包，所述日志包关联于日志依赖信息；

依次扫描各所述内存对象，在每次扫描过程中，根据当前扫描的内存对象对应的日志依赖信息确定最优待重演日志包；

各所述内存对象扫描完毕之后，对所述最优待重演日志包进行重演。

2.根据权利要求1所述的方法，其特征在于，初始化集群中每个节点的内存对象，包括：

对于每个节点，依次扫描该节点的归档日志文件链表中的归档日志文件中的日志包；

将首个满足以下条件的日志包加载至该节点的内存对象中：日志包的日志包序号大于已重演的第一最大日志包序号，并且该日志包中的最大LSN值大于已重演的第一最大LSN。

3.根据权利要求2所述的方法，其特征在于，在初始化每个节点的内存对象之前，还包括：

对于每个节点，记录该节点已重演的第一最大日志包序号以及第一最大LSN；

扫描该节点上的归档日志文件，每个归档日志文件的头信息中包括该归档日志文件中的日志包的第二最大日志包序号以及第二最大LSN；

若所述第二最大日志包序号大于所述第一最大日志包序号，且所述第二最大LSN大于所述第一最大LSN，则将该归档日志文件添加至该节点的归档日志文件链表中。

4.根据权利要求1所述的方法，其特征在于，还包括：

根据日志包中记录的修改数据页的节点号和相应节点对应的最大LSN值，确定每个日志包的日志依赖信息。

5.根据权利要求1所述的方法，其特征在于，根据当前扫描的内存对象对应的日志依赖信息确定最优待重演日志包，包括：

依次扫描当前扫描的内存对象对应的日志依赖信息中的每个数据组，对于当前扫描的数据组，从各所述内存对象中找到与当前扫描的数据组中的节点号一致的目标内存对象，以及所述目标内存对象对应的已重演的第一最大LSN；

若所述目标内存对象对应的已重演的第一最大LSN大于或等于当前扫描的数据组中的LSN值，则当前扫描的数据组对应的日志已重演，否则，当前扫描的数据组对应的日志未重演；

若所述当前扫描的内存对象对应的日志依赖信息中存在一个或多个数据组对应的日志未重演，则继续扫描下一个内存对象；

若所述当前扫描的内存对象对应的日志依赖信息中的每个数据组对应的日志均已重演，则根据当前扫描的内存对象更新目标节点号、目标最小LSN以及目标最大LSN，其中，所述目标节点号、所述目标最小LSN以及所述目标最大LSN分别用于记录最优待重演日志包所在的节点号、最优待重演日志包内的最小LSN值以及最优待重演日志包内的最大LSN值。

6.根据权利要求5所述的方法，其特征在于，根据当前扫描的内存对象更新目标节点号、目标最小LSN以及目标最大LSN，包括：

若所述目标节点号为初始值，则将所述目标节点号设置为当前扫描的内存对象所在的节点号，将目标最小LSN设为当前扫描的内存对象加载的日志包中的最小LSN，将目标最大LSN设为当前扫描的内存对象加载的日志包中的最大LSN；

若目标节点号非初始值，则比较目标最小LSN和当前扫描的内存对象加载的日志包中的最小LSN：

若目标最小LSN小于当前扫描的内存对象加载的日志包中的最小LSN，则目标节点号、目标最小LSN、目标最大LSN保持不变；

若目标最小LSN大于当前扫描的内存对象加载的日志包中的最小LSN，则将目标节点号设置为当前扫描的内存对象所在的当前节点号，将目标最小LSN设为当前扫描的内存对象加载的日志包中的最小LSN，将目标最大LSN设为当前扫描的内存对象加载的日志包中的最大LSN；

若目标最小LSN等于当前扫描的内存对象加载的日志包中的最小LSN，则比较目标最大LSN和当前扫描的内存对象加载的日志包中的最大LSN；

若目标最大LSN小于或等于当前扫描的内存对象加载的日志包中的最大LSN，则目标节点号、目标最小LSN、目标最大LSN保持不变；

若目标最大LSN大于当前扫描的内存对象加载的日志包中的最大LSN，则将目标节点号设置为当前扫描的内存对象所在的当前节点号，将目标最小LSN设为当前扫描的内存对象加载的日志包中的最小LSN，将目标最大LSN设为当前扫描的内存对象加载的日志包中的最大LSN。

7.根据权利要求5所述的方法，其特征在于，各所述内存对象扫描完毕之后，对所述最优待重演日志包进行重演，包括：

各所述内存对象扫描完毕之后，若所述目标节点号非初始值，则将所述目标节点号对应的内存对象中加载的日志包重演；

根据重演的日志包更新所述目标节点号对应的内存对象中登记的已重演的第一最大日志包序号，以及已重演的第一最大LSN，清空目标节点号对应的内存对象中已加载的日志包；

若所述目标节点号为初始值，则判断各所述内存对象中是否均未加载日志包；

若是，则各所述节点的日志均已重演完成；否则，存在一个或多个节点的日志包依赖的其他日志丢失，停止重演日志包，返回报错信息。

8.一种日志包重演装置，其特征在于，包括：

内存对象初始化模块，设置为初始化集群中每个节点的内存对象，所述内存对象中加载有日志包，所述日志包关联于日志依赖信息；

确定模块，设置为依次扫描各所述内存对象，在每次扫描过程中，根据当前扫描的内存对象对应的日志依赖信息确定最优待重演日志包；

重演模块，设置为各所述内存对象扫描完毕之后，对所述最优待重演日志包进行重演。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的日志包重演方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的日志包重演方法。

Images