CN110941623A - 数据的同步方法及装置 - Google Patents

Abstract

本申请涉及一种数据的同步方法及装置，所述方法应用于服务器，所述方法包括：当达到预设的更新周期时，获取日志队列中存储的第一更新日志，所述第一更新日志为根据用户发送的业务更新指令生成的，所述第一更新日志包含用户标识和业务标识；从缓存中获取与所述第一更新日志包含的用户标识和业务标识对应的目标业务数据，并将数据库中与所述第一更新日志包含的用户标识和业务标识对应的业务数据更新为所述目标业务数据；删除所述日志队列中存储的所述第一更新日志。采用本申请可以将缓存中存储的业务数据实时更新至数据库中。

Description

数据的同步方法及装置

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据的同步方法及装置。

背景技术

目前，游戏应用服务需要支撑海量的在线用户。为了降低海量在线用户对数据库造成的压力，当某一用户登录时，服务器可以从数据库中获取该用户的业务数据，并存储至缓存中。当接收到该用户发送的业务更新指令时，服务器可以根据该业务更新指令更新缓存中存储的该用户的业务数据。由于缓存中存储的业务数据的数据量较大，为了防止业务数据更新对服务器性能造成影响，服务器需要在用户量较少时间，才可以将缓存中存储的全部用业务数据更新至数据库中。因此，亟需一种能够将缓存中存储的业务数据实时更新至数据库中的方案。

发明内容

基于此，有必要针对上述技术问题，提供一种数据的同步方法及装置。

第一方面，提供了一种数据的同步方法，所述方法应用于服务器，所述方法包括：

当达到预设的更新周期时，获取日志队列中存储的第一更新日志，所述第一更新日志为根据用户发送的业务更新指令生成的，所述第一更新日志包含用户标识和业务标识；

从缓存中获取与所述第一更新日志包含的用户标识和业务标识对应的目标业务数据，并将数据库中与所述第一更新日志包含的用户标识和业务标识对应的业务数据更新为所述目标业务数据；

删除所述日志队列中存储的所述第一更新日志。

第二方面，提供了一种数据的同步装置，所述装置应用于服务器，所述装置包括：

获取模块，用于当达到预设的更新周期时，获取日志队列中存储的第一更新日志，所述第一更新日志为根据用户发送的业务更新指令生成的，所述第一更新日志包含用户标识和业务标识；

更新模块，用于从缓存中获取与所述第一更新日志包含的用户标识和业务标识对应的目标业务数据，并将数据库中与所述第一更新日志包含的用户标识和业务标识对应的业务数据更新为所述目标业务数据；

删除模块，用于删除所述日志队列中存储的所述第一更新日志。

第三方面，提供了一种服务器，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面中任一项所述方法的步骤。

第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的方法的步骤。

本申请实施例提供了一种数据的同步方法及装置。当达到预设的更新周期时，服务器获取日志队列中存储的第一更新日志。其中，第一更新日志为根据用户发送的业务更新指令生成的，第一更新日志包含用户标识和业务标识。然后，服务器从缓存中获取与第一更新日志包含的用户标识和业务标识对应的目标业务数据，并将数据库中与第一更新日志包含的用户标识和业务标识对应的业务数据更新为目标业务数据。之后，服务器删除日志队列中存储的第一更新日志。这样，在将缓存中存储的业务数据更新至数据库时，根据更新日志，服务器仅需要将缓存中存储的更新后的业务数据更新至数据库，从而可以将缓存中存储的业务数据实时更新至数据库中。

附图说明

图1为本申请实施例提供的一种更新日志的生成方法的流程图；

图2为本申请实施例提供的一种数据的同步方法的流程图；

图3为本申请实施例提供的一种数据的同步装置的结构示意图；

图4为本申请实施例提供的一种数据的同步装置的结构示意图；

图5为本申请实施例提供的一种数据的同步装置的结构示意图；

图6为本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供了一种数据的同步方法。该方法可以应用于服务器。该服务器中运行有应用服务，用于为各用户提供不同类型的业务服务，比如积分业务、充值业务、活动业务等。该服务器中还可以设置有缓存和数据库。其中，数据库，用于存储不同业务类型的不同用户的业务数据。缓存，用于在某一用户登录该服务器时，存储该用户的各业务类型的业务数据。

为了便于理解，本申请优先对本申请实施例提供的一种更新日志的生成方法进行介绍，如图1所示，具体处理过程如下：

步骤101，接收目标用户发送的针对目标业务的目标业务更新指令。

在实施中，当某一用户(即目标用户)登录该服务器时，服务器可以从数据库中获取该目标用户对应的各业务的业务数据，并存储至缓存中。当该目标用户的某一业务(即目标业务)的业务数据发生变更时，该目标用户可以向服务器发送针对该目标业务的目标业务更新指令。相应的，服务器则可以接收到该目标业务更新指令。

步骤102，根据目标业务更新指令，更新缓存中存储的目标用户对应的目标业务的业务数据，并生成第二更新日志。其中，第二更新日志包含目标用户的用户标识和目标业务的业务标识。

在实施中，服务器接收到该目标业务更新指令后，可以根据该目标业务更新指令，更新缓存中存储的该目标用户对应的目标业务的业务数据。同时，服务器还可以根据该目标业务更新指令，生成该目标用户对应的目标业务的更新日志(即第二更新日志)。该第二更新日志包含目标用户的用户标识和目标业务的业务标识。其中，第二更新日志的格式可以为“业务标识：用户标识”。例如，目标用户的用户标识为：10000，目标业务的业务标识为：活动业务，则第二更新日志的格式为“活动业务：10000”。

步骤103，将第二更新日志存储至日志队列中。

在实施中，服务器生成第二更新日志后，可以将第二更新日志存储至日志队列中。其中，服务器可以采用异步方式将第二更新日志存储至日志队列中，从而防止对服务器的业务性能造成影响。可选的，对于服务器包括多个日志队列的情况，服务器可以根据目标用户的用户标识，将第二更新日志存储至目标用户对应的目标日志队列中，具体处理过程如下：

步骤一，根据目标用户的用户标识，在各日志队列中，确定目标用户对应的目标日志队列。

在实施中，服务器生成第二更新日志后，可以进一步根据目标用户的用户标识，在各日志队列中，确定目标用户对应的目标日志队列。可选的，服务器可以对目标用户的用户标识进行取模运算，得到目标余数，并在预先存储的余数和日志队列的对应关系中，查询该目标余数对应的目标日志队列。

步骤二，将第二更新日志存储至目标日志队列中。

在实施中，服务器得到目标用户对应的目标日志队列后，可以将第二更新日志存储至目标日志队列中。这样，对于服务器包括多个日志队列的情况，可以保证将同一用户的更新日志存储至同一日志队列中，从而便于后续对更新日志的去重处理，并且可以避免在高并发情况下，更新业务数据可能产生的冲突和不一致。

下面将结合具体实施方式，对本申请实施例提供的一种数据的同步方法进行详细的说明，如图2所示，具体步骤如下：

步骤201，当达到预设的更新周期时，获取日志队列中存储的第一更新日志。其中，第一更新日志为根据用户发送的业务更新指令生成的，第一更新日志包含用户标识和业务标识。

在实施中，服务器中可以运行有多个更新服务。同时，服务器中也可以预先存储有各更新服务对应的更新周期。其中，各更新服务对应的更新周期可以由技术人员根据经验进行设置；各更新服务对应的更新周期可以相同，也可以不同，本申请实施例不作限定。针对各更新服务中的每个更新服务，当达到该更新服务对应的更新周期时，该更新服务可以对各日志队列进行轮询，当某一日志队列中存在更新日志，且该日志队列未被其他更新服务占用时，该更新服务可以抢占该日志队列的队列锁。然后，该更新服务可以获取该日志队列中存储的第一更新日志。其中，该第一更新日志为根据用户发送的业务更新指令生成的；该第一更新日志包含用户标识和业务标识。可选的，该更新服务可以获取该日志队列中存储的全部的第一更新日志，也可以获取预设数目个第一更新日志，本申请实施例不作限定。表一为日志队列中存储的第一更新日志，如表一所示：

表一

序号	第一更新日志
		1	活动业务：10000
2	积分业务：10000
		3	活动业务：10010
4	充值业务：10000
		5	活动业务：10000

步骤202，从缓存中获取与第一更新日志包含的用户标识和业务标识对应的目标业务数据，并将数据库中与第一更新日志包含的用户标识和业务标识对应的业务数据更新为目标业务数据。

在实施中，该更新服务获取到该日志队列中的第一更新日志后，针对每个第一更新日志，该更新服务可以根据该第一更新日志包含的用户标识和业务标识，从缓存中获取与该第一更新日志包含的用户标识和业务标识对应的目标业务数据。然后，该更新服务可以根据该第一更新日志包含的用户标识和业务标识，将数据库中与第一更新日志包含的用户标识和业务标识对应的业务数据更新为目标业务数据。这样，在将缓存中存储的业务数据更新至数据库时，根据更新日志，服务器仅需要将缓存中存储的更新后的业务数据更新至数据库，从而可以将缓存中存储的业务数据实时更新至数据库中。

可选的，由于日志队列中存储的第一更新日志可能存在重复，因此，服务器可以在各第一更新日志中，将用户标识和业务标识均相同的第一更新日志进行去重处理，得到去重后的第一更新日志。

在实施中，目标用户针对目标业务每进行一次业务数据的更新，服务器则会生成一条更新日志。例如，如表一所示，用户标识为10000的目标用户，针对业务标识为活动业务的目标业务进行两次业务数据的更新，服务器则会生成两条第一更新日志，两条第一更新日志均为活动业务：10000。为了防止同一业务数据的重复更新对服务器性能造成影响，该更新服务可以在各第一更新日志中，将用户标识和业务标识均相同的第一更新日志进行去重处理，得到去重后的第一更新日志。例如，如表一所示，该更新服务可以将序号为1和5的第一更新日志进行去重处理。表二为去重后的第一更新日志，如表二所示：

表二

序号	第一更新日志
		1	活动业务：10000
2	积分业务：10000
		3	活动业务：10010
4	充值业务：10000

相应的，针对去重后的第一更新日志中的每个第一更新日志，服务器可以从缓存中获取与该第一更新日志包含的用户标识和业务标识对应的目标业务数据，并将数据库中与该第一更新日志包含的用户标识和业务标识对应的业务数据更新为目标业务数据。

在实施中，该更新服务得到去重后的第一更新日志后，针对每个第一更新日志，该更新服务可以根据该第一更新日志包含的用户标识和业务标识，从缓存中获取与该第一更新日志包含的用户标识和业务标识对应的目标业务数据。然后，该更新服务可以根据该第一更新日志包含的用户标识和业务标识，将数据库中与第一更新日志包含的用户标识和业务标识对应的业务数据更新为目标业务数据。

步骤203，删除日志队列中存储的第一更新日志。

在实施中，该更新服务完成业务数据从缓存至数据库的更新后，可以删除日志队列中存储的第一更新日志，并释放抢占的日志队列的队列锁。

可选的，服务器还可以在第一更新日志中，将业务标识相同的第一更新日志，确定为目标更新日志。然后，服务器可以通过批量更新指令，将数据库中与目标更新日志包含的用户标识和业务标识对应的业务数据更新为与目标更新日志包含的用户标识和业务标识对应的目标业务数据。

在实施中，由于同一业务类型的不同用户的业务数据通常存储在数据库中的同一表中。因此，该更新业务还可以在第一更新日志中，将业务标识相同的第一更新日志，确定为目标更新日志。例如，如表二所示，序号为1的第一更新日志(活动业务：10000)和序号为3的第一更新日志(活动业务：10000)的业务标识相同，则序号为1和3的第一更新日志为目标更新日志。然后，针对目标更新日志，该更新服务可以通过批量更新指令，将数据库中与目标更新日志包含的用户标识和业务标识对应的业务数据，更新为与目标更新日志包含的用户标识和业务标识对应的目标业务数据。这样，通过批量更新指令对业务标识相同的第一更新日志进行批量更新处理，可以提高缓存的性能，并降低数据库的每秒查询率(Queries-per-second，QPS)。

本申请实施例提供了一种数据的同步方法。当达到预设的更新周期时，服务器获取日志队列中存储的第一更新日志。其中，第一更新日志为根据用户发送的业务更新指令生成的，第一更新日志包含用户标识和业务标识。然后，服务器从缓存中获取与第一更新日志包含的用户标识和业务标识对应的目标业务数据，并将数据库中与第一更新日志包含的用户标识和业务标识对应的业务数据更新为目标业务数据。之后，服务器删除日志队列中存储的第一更新日志。这样，在将缓存中存储的业务数据更新至数据库时，根据更新日志，服务器仅需要将缓存中存储的更新后的业务数据更新至数据库，从而可以将缓存中存储的业务数据实时更新至数据库中。

本申请实施例还提供了一种数据的同步装置，该装置应用于服务器，如图3所示，该装置包括：

获取模块310，用于当达到预设的更新周期时，获取日志队列中存储的第一更新日志，第一更新日志为根据用户发送的业务更新指令生成的，第一更新日志包含用户标识和业务标识；

更新模块320，用于从缓存中获取与第一更新日志包含的用户标识和业务标识对应的目标业务数据，并将数据库中与第一更新日志包含的用户标识和业务标识对应的业务数据更新为目标业务数据；

删除模块330，用于删除日志队列中存储的第一更新日志。

作为一种可选的实施方式，如图4所示，该装置还包括：

接收模块340，用于接收目标用户发送的针对目标业务的目标业务更新指令；

生成模块350，用于根据目标业务更新指令，更新缓存中存储的目标用户对应的目标业务的业务数据，并生成第二更新日志，第二更新日志包含目标用户的用户标识和目标业务的业务标识；

存储模块360，用于将第二更新日志存储至日志队列中。

作为一种可选的实施方式，存储模块360，具体用于：

根据目标用户的用户标识，在各日志队列中，确定目标用户对应的目标日志队列；

将第二更新日志存储至目标日志队列中。

作为一种可选的实施方式，如图5所示，该装置还包括：

去重模块370，用于在各第一更新日志中，将用户标识和业务标识均相同的第一更新日志进行去重处理，得到去重后的第一更新日志；

更新模块320，具体用于：

针对去重后的第一更新日志中的每个第一更新日志，从缓存中获取与该第一更新日志包含的用户标识和业务标识对应的目标业务数据，并将数据库中与该第一更新日志包含的用户标识和业务标识对应的业务数据更新为目标业务数据。

作为一种可选的实施方式，更新模块320，具体用于：

在第一更新日志中，将业务标识相同的第一更新日志，确定为目标更新日志；

通过批量更新指令，将数据库中与目标更新日志包含的用户标识和业务标识对应的业务数据更新为与目标更新日志包含的用户标识和业务标识对应的目标业务数据。

本申请实施例提供了一种数据的同步装置。当达到预设的更新周期时，服务器获取日志队列中存储的第一更新日志。其中，第一更新日志为根据用户发送的业务更新指令生成的，第一更新日志包含用户标识和业务标识。然后，服务器从缓存中获取与第一更新日志包含的用户标识和业务标识对应的目标业务数据，并将数据库中与第一更新日志包含的用户标识和业务标识对应的业务数据更新为目标业务数据。之后，服务器删除日志队列中存储的第一更新日志。这样，在将缓存中存储的业务数据更新至数据库时，根据更新日志，服务器仅需要将缓存中存储的更新后的业务数据更新至数据库，从而可以将缓存中存储的业务数据实时更新至数据库中。

在一个实施例中，提供了一种服务器，如图6所示，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据的同步方法步骤。

在一个实施例中，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述数据的同步方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据的同步方法，其特征在于，所述方法应用于服务器，所述方法包括：

当达到预设的更新周期时，获取日志队列中存储的第一更新日志，所述第一更新日志为根据用户发送的业务更新指令生成的，所述第一更新日志包含用户标识和业务标识；

从缓存中获取与所述第一更新日志包含的用户标识和业务标识对应的目标业务数据，并将数据库中与所述第一更新日志包含的用户标识和业务标识对应的业务数据更新为所述目标业务数据；

删除所述日志队列中存储的所述第一更新日志。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收目标用户发送的针对目标业务的目标业务更新指令；

根据所述目标业务更新指令，更新所述缓存中存储的所述目标用户对应的所述目标业务的业务数据，并生成第二更新日志，所述第二更新日志包含所述目标用户的用户标识和所述目标业务的业务标识；

将所述第二更新日志存储至所述日志队列中。

3.根据权利要求2所述的方法，其特征在于，所述将所述第二更新日志存储至所述日志队列中，包括：

根据所述目标用户的用户标识，在各日志队列中，确定所述目标用户对应的目标日志队列；

将所述第二更新日志存储至所述目标日志队列中。

4.根据权利要求1所述的方法，其特征在于，所述获取日志队列中存储的第一更新日志之后，所述方法还包括：

在各第一更新日志中，将用户标识和业务标识均相同的第一更新日志进行去重处理，得到去重后的第一更新日志；

所述从缓存中获取与所述第一更新日志包含的用户标识和业务标识对应的目标业务数据，并将数据库中与所述第一更新日志包含的用户标识和业务标识对应的业务数据更新为所述目标业务数据，包括：

针对所述去重后的第一更新日志中的每个第一更新日志，从缓存中获取与该第一更新日志包含的用户标识和业务标识对应的目标业务数据，并将数据库中与该第一更新日志包含的用户标识和业务标识对应的业务数据更新为所述目标业务数据。

5.根据权利要求1所述的方法，其特征在于，所述从缓存中获取与所述第一更新日志包含的用户标识和业务标识对应的目标业务数据，并将数据库中与所述第一更新日志包含的用户标识和业务标识对应的业务数据更新为所述目标业务数据，包括：

在所述第一更新日志中，将业务标识相同的第一更新日志，确定为目标更新日志；

通过批量更新指令，将数据库中与所述目标更新日志包含的用户标识和业务标识对应的业务数据更新为与所述目标更新日志包含的用户标识和业务标识对应的目标业务数据。

6.一种数据的同步装置，其特征在于，所述装置应用于服务器，所述装置包括：

获取模块，用于当达到预设的更新周期时，获取日志队列中存储的第一更新日志，所述第一更新日志为根据用户发送的业务更新指令生成的，所述第一更新日志包含用户标识和业务标识；

更新模块，用于从缓存中获取与所述第一更新日志包含的用户标识和业务标识对应的目标业务数据，并将数据库中与所述第一更新日志包含的用户标识和业务标识对应的业务数据更新为所述目标业务数据；

删除模块，用于删除所述日志队列中存储的所述第一更新日志。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

接收模块，用于接收目标用户发送的针对目标业务的目标业务更新指令；

生成模块，用于根据所述目标业务更新指令，更新所述缓存中存储的所述目标用户对应的所述目标业务的业务数据，并生成第二更新日志，所述第二更新日志包含所述目标用户的用户标识和所述目标业务的业务标识；

存储模块，用于将所述第二更新日志存储至所述日志队列中。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

去重模块，用于在各第一更新日志中，将用户标识和业务标识均相同的第一更新日志进行去重处理，得到去重后的第一更新日志；

所述更新模块，具体用于：

针对所述去重后的第一更新日志中的每个第一更新日志，从缓存中获取与该第一更新日志包含的用户标识和业务标识对应的目标业务数据，并将数据库中与该第一更新日志包含的用户标识和业务标识对应的业务数据更新为所述目标业务数据。

9.一种服务器，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

Images