CN113138975A - 一种数据迁移方法和装置 - Google Patents

Abstract

本发明公开了一种数据迁移方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收数据迁移请求，根据数据迁移请求，获取原数据库、新数据库和原数据库存储的已有数据；根据已有数据的版本信息，将已有数据从原数据库同步至新数据库；获取数据变更事件对应的变更数据，根据变更数据的版本信息，将变更数据从数据变更事件对应的数据库同步至目标数据库；其中，若数据变更事件对应的数据库为原数据库，则目标数据库为新数据库，以及，若数据变更事件对应的数据库为新数据库，则目标数据库为原数据库。该实施方式不需要停服迁移，还能够避免新数据被覆盖的情况，保证了数据的动态迁移以及数据的一致性。

Description

一种数据迁移方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据迁移方法和装置。

背景技术

随着用户数据达到一定的量级，存在原有数据库无法支撑现有业务所需要的性能要求的问题。对此，需要将用户数据向可进行容量拓展的新数据库迁移。目前，主要采用如下方法进行数据迁移。

一、停服迁移，即提前发出停服公告和停服时长，暂停服务，执行静态的数据迁移。但是，用户将在一段时间内无法使用服务，对用户很不友好，并且停服会造成损失，还需要在规定时间内必须完成，有一定的工作压力。

二、采用消息表记录数据变化，先将原有数据库中的静态数据迁移，再将消息表中的数据变化同步到新数据库中。对于该方法，当用户数据变更较为频繁时，会造成新数据被覆盖的情况。

三、在迁移静态数据的同时，将原有数据库中变化的数据同时在新数据库中同步。此方法容易出现迁移失败的情况，且无法感知到，给数据一致性的校验带来困难。以及，若数据库迁移失败，无法及时切回原有数据库，没有好的回滚方案，用户体验差。

发明内容

有鉴于此，本发明实施例提供一种数据迁移方法和装置，不需要停服迁移，还能够避免新数据被覆盖的情况，保证了数据的动态迁移以及数据的一致性。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据迁移方法。

本发明实施例的数据迁移方法，包括：接收数据迁移请求，根据所述数据迁移请求，获取原数据库、新数据库和所述原数据库存储的已有数据；根据所述已有数据的版本信息，将所述已有数据从所述原数据库同步至所述新数据库；获取数据变更事件对应的变更数据，根据所述变更数据的版本信息，将所述变更数据从所述数据变更事件对应的数据库同步至目标数据库；其中，若所述数据变更事件对应的数据库为所述原数据库，则所述目标数据库为所述新数据库，以及，若所述数据变更事件对应的数据库为所述新数据库，则所述目标数据库为所述原数据库。

可选地，在获取数据变更事件对应的变更数据之前，所述方法还包括：对第一开关和第二开关进行控制，以便将数据处理请求发送至所述原数据库或所述新数据库；若将所述数据处理请求发送至所述原数据库，将所述数据处理请求对应的第一变更数据存储至所述原数据库，生成所述原数据库对应的第一数据变更事件；若将所述数据处理请求发送至所述新数据库，将所述数据处理请求对应的第二变更数据存储至所述新数据库，生成所述新数据库对应的第二数据变更事件。

可选地，所述将所述数据处理请求对应的第一变更数据存储至所述原数据库，包括：判断所述原数据库是否存储所述第一变更数据对应的低版本数据；若是，则利用所述第一变更数据更新所述原数据库存储的所述第一变更数据对应的低版本数据，并对该低版本数据的版本信息进行升级，获得所述第一变更数据的版本信息；若否，则将所述第一变更数据存储至所述原数据库中，设置所述第一变更数据的版本信息为初始版本。

可选地，所述将所述数据处理请求对应的第二变更数据存储至所述新数据库，包括：判断所述新数据库是否存储所述第二变更数据对应的低版本数据；若是，则利用所述第二变更数据更新所述新数据库存储的所述第二变更数据对应的低版本数据，并对该低版本数据的版本信息进行升级，获得所述第二变更数据的版本信息；若否，则将所述第二变更数据存储至所述新数据库中，设置所述第二变更数据的版本信息。

可选地，所述设置所述第二变更数据的版本信息，包括：判断所述原数据库是否存储所述第二变更数据对应的低版本数据；若是，则对该低版本数据的版本信息进行升级，获得所述第二变更数据的版本信息；若否，则设置所述第二变更数据的版本信息为初始版本。

可选地，所述获取数据变更事件对应的变更数据，根据所述变更数据的版本信息，将所述变更数据从所述数据变更事件对应的数据库同步至目标数据库，包括：通过监听所述原数据库对应的第一数据变更事件，获取所述第一变更数据，然后根据所述第一变更数据的版本信息，将所述第一变更数据从所述原数据库同步至所述新数据库；通过监听所述新数据库对应的第二数据变更事件，获取所述第二变更数据，然后根据所述第二变更数据的版本信息，将所述第二变更数据从所述新数据库同步至所述原数据库。

可选地，所述根据所述第一变更数据的版本信息，将所述第一变更数据从所述原数据库同步至所述新数据库，包括：根据所述第一变更数据的版本信息，判断所述新数据库是否存储所述第一变更数据对应的低版本数据；若是，则利用所述第一变更数据更新所述新数据库存储的所述第一变更数据对应的低版本数据；若否，则将所述第一变更数据存储至所述新数据库中。

可选地，所述根据所述第二变更数据的版本信息，将所述第二变更数据从所述新数据库同步至所述原数据库，包括：根据所述第二变更数据的版本信息，判断所述原数据库是否存储所述第二变更数据对应的低版本数据；若是，则利用所述第二变更数据更新所述原数据库存储的所述第二变更数据对应的低版本数据；若否，则将所述第二变更数据存储至所述原数据库中。

可选地，所述根据所述已有数据的版本信息，将所述已有数据从所述原数据库同步至所述新数据库，包括：根据所述已有数据的版本信息，判断所述新数据库是否存储所述已有数据对应的低版本数据；若是，则利用所述已有数据更新所述新数据库存储的所述已有数据对应的低版本数据；若否，则将所述已有数据存储至所述新数据库中。

可选地，所述方法还包括：若数据同步结果为失败，将同步失败的数据存入消息表中；通过定时任务，对所述同步失败的数据进行同步补偿处理，以及若同步补偿成功，将所述同步失败的数据从所述消息表中删除。

为实现上述目的，根据本发明实施例的再一个方面，提供了一种数据迁移装置。

本发明实施例的数据迁移装置，包括：获取模块，用于接收数据迁移请求，根据所述数据迁移请求，获取原数据库、新数据库和所述原数据库存储的已有数据；第一迁移模块，用于根据所述已有数据的版本信息，将所述已有数据从所述原数据库同步至所述新数据库；第二迁移模块，用于获取数据变更事件对应的变更数据，根据所述变更数据的版本信息，将所述变更数据从所述数据变更事件对应的数据库同步至目标数据库；其中，若所述数据变更事件对应的数据库为所述原数据库，则所述目标数据库为所述新数据库，以及，若所述数据变更事件对应的数据库为所述新数据库，则所述目标数据库为所述原数据库。

可选地，所述装置还包括控制模块，用于：对第一开关和第二开关进行控制，以便将数据处理请求发送至所述原数据库或所述新数据库；若将所述数据处理请求发送至所述原数据库，将所述数据处理请求对应的第一变更数据存储至所述原数据库，生成所述原数据库对应的第一数据变更事件；若将所述数据处理请求发送至所述新数据库，将所述数据处理请求对应的第二变更数据存储至所述新数据库，生成所述新数据库对应的第二数据变更事件。

可选地，所述控制模块还用于：判断所述原数据库是否存储所述第一变更数据对应的低版本数据；若是，则利用所述第一变更数据更新所述原数据库存储的所述第一变更数据对应的低版本数据，并对该低版本数据的版本信息进行升级，获得所述第一变更数据的版本信息；若否，则将所述第一变更数据存储至所述原数据库中，设置所述第一变更数据的版本信息为初始版本。

可选地，所述控制模块还用于：判断所述新数据库是否存储所述第二变更数据对应的低版本数据；若是，则利用所述第二变更数据更新所述新数据库存储的所述第二变更数据对应的低版本数据，并对该低版本数据的版本信息进行升级，获得所述第二变更数据的版本信息；若否，则将所述第二变更数据存储至所述新数据库中，设置所述第二变更数据的版本信息。

可选地，所述控制模块还用于：判断所述原数据库是否存储所述第二变更数据对应的低版本数据；若是，则对该低版本数据的版本信息进行升级，获得所述第二变更数据的版本信息；若否，则设置所述第二变更数据的版本信息为初始版本。

可选地，所述第二迁移模块用于：通过监听所述原数据库对应的第一数据变更事件，获取所述第一变更数据，然后根据所述第一变更数据的版本信息，将所述第一变更数据从所述原数据库同步至所述新数据库；通过监听所述新数据库对应的第二数据变更事件，获取所述第二变更数据，然后根据所述第二变更数据的版本信息，将所述第二变更数据从所述新数据库同步至所述原数据库。

可选地，所述第二迁移模块用于：根据所述第一变更数据的版本信息，判断所述新数据库是否存储所述第一变更数据对应的低版本数据；若是，则利用所述第一变更数据更新所述新数据库存储的所述第一变更数据对应的低版本数据；若否，则将所述第一变更数据存储至所述新数据库中。

可选地，所述第二迁移模块用于：根据所述第二变更数据的版本信息，判断所述原数据库是否存储所述第二变更数据对应的低版本数据；若是，则利用所述第二变更数据更新所述原数据库存储的所述第二变更数据对应的低版本数据；若否，则将所述第二变更数据存储至所述原数据库中。

可选地，所述第一迁移模块用于：根据所述已有数据的版本信息，判断所述新数据库是否存储所述已有数据对应的低版本数据；若是，则利用所述已有数据更新所述新数据库存储的所述已有数据对应的低版本数据；若否，则将所述已有数据存储至所述新数据库中。

可选地，所述装置还包括补偿模块，用于：若数据同步结果为失败，将同步失败的数据存入消息表中；通过定时任务，对所述同步失败的数据进行同步补偿处理，以及若同步补偿成功，将所述同步失败的数据从所述消息表中删除。

为实现上述目的，根据本发明实施例的又一个方面，提供了一种电子设备。

本发明实施例的一种电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明实施例的数据迁移方法。

为实现上述目的，根据本发明实施例的还一个方面，提供了一种计算机可读介质。

本发明实施例的一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现本发明实施例的数据迁移方法。

上述发明中的一个实施例具有如下优点或有益效果：利用数据的版本信息表示数据的更新情况，从而可以实现将最新版本的数据进行迁移，不需要停服迁移，还能够避免新数据被覆盖的情况；并且对数据变更事件进行监听，能够根据变更数据的版本信息，准确将变更数据进行同步，保证了数据的动态迁移以及数据的一致性。还有，采用开关动态控制数据处理请求，能够在数据库迁移失败的情况下，及时切回原数据库，提供了回滚方案，用户体验较好。此外，采用消息表记录同步失败的数据，进而可以通过定时任务对同步失败的数据进行同步补偿处理，进一步保证了数据的一致性。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的数据迁移方法的主要步骤的示意图；

图2是根据本发明实施例的数据迁移方法的主要过程的示意图；

图3是将数据从原数据库同步至新数据库的主要过程的示意图；

图4是将数据从新数据库同步至原数据库的主要过程的示意图；

图5是根据本发明实施例的数据迁移装置的主要模块的示意图；

图6是本发明实施例可以应用于其中的示例性***架构图；

图7是适于用来实现本发明实施例的终端设备或服务器的计算机***的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的数据迁移方法的主要步骤的示意图。

如图1所示，数据迁移方法的主要步骤可以包括：

步骤S101，接收数据迁移请求，根据数据迁移请求，获取原数据库、新数据库和原数据库存储的已有数据；

步骤S102，根据已有数据的版本信息，将已有数据从原数据库同步至新数据库；

步骤S103，获取数据变更事件对应的变更数据，根据变更数据的版本信息，将变更数据从数据变更事件对应的数据库同步至目标数据库。

在步骤S101中，数据迁移请求是指将数据从原数据库迁移至新数据库的请求。因此通过数据迁移请求，可以获得原数据库和新数据库，并且能够获取到原数据库中存储的已有数据，即当前在原数据库中存储的数据。

图2是根据本发明实施例的数据迁移方法的主要过程的示意图。如图2所示，对于已有数据和变更数据，可以采用不同的数据迁移手段。接下来，将分别讨论如何对已有数据和变更数据进行数据同步。

(一)在步骤S102中，对于已有数据，可以根据该已有数据的版本信息，将已有数据从原数据库同步至新数据库中。

其中，版本信息可以理解为数据的属性信息，利用版本信息可以表示数据的更新情况。如可以设置数据A的版本信息为1，若后续对数据A进行更新了，则升级其版本信息为2。本发明实施例中，引入数据的版本信息表示数据的更新情况，能够实现将最新版本的数据进行迁移，避免新数据被覆盖的情况。此外，采用数据版本信息，而不是数据的时间信息表示数据的更新情况。这是考虑到一般时间为秒级别的，可能存在一秒内数据更新多次的情况，因此如果采用时间信息来标识数据的更新情况，会存在无法区分最新数据的情形，进而产生新数据被覆盖的问题。

进一步地，根据已有数据的版本信息，将已有数据从原数据库同步至新数据库，可以包括：根据已有数据的版本信息，判断新数据库是否存储已有数据对应的低版本数据；若是，则利用已有数据更新新数据库存储的已有数据对应的低版本数据；若否，则将已有数据存储至新数据库中。

在执行数据迁移之前，可以对已有数据进行打标，确定已有数据的版本信息，然后根据已有数据的版本信息，将已有数据从原数据库同步至新数据库。具体地，判断新数据库是否存储已有数据对应的低版本数据。如果存储，则将该低版本数据删除，将已有数据存储至新数据库。如果没有存储，则直接将已有数据存储至新数据库。因此，每次将已有数据进行同步之前，均会判断该已有数据是否为最高版本，若是，才将该已有数据进行同步，能够防止对新数据的覆盖，保证了数据的准确性。

(二)在步骤S103中，首先获取到数据变更事件对应的变更数据，然后在获取到变更数据后，根据该变更数据的版本信息，将该变更数据从数据变更事件对应的数据库同步至目标数据库。

其中，若数据变更事件对应的数据库为原数据库，则目标数据库为新数据库。也就是说，对原数据库中的数据进行变更，即变更数据在原数据库中，需要将变更数据从原数据库同步至新数据库。若数据变更事件对应的数据库为新数据库，则目标数据库为原数据库。也就是说，对新数据库中的数据进行变更，即变更数据在新数据库中，需要将变更数据从新数据库同步至原数据库。

在数据迁移之前，由原数据库处理数据请求，即选择原数据库为数据源；在数据迁移过程中，可以由原数据库和新数据库处理数据请求，即可以选择原数据库和/或新数据库为数据源；在数据迁移之后，由新数据库处理数据请求，即选择新数据库为数据源。数据变更事件是指在数据迁移过程中，对数据进行变更而生成的事件，然后对数据变更事件进行分析，获得变更数据，进而对变更数据进行同步处理。

作为本发明的实施例，在获取数据变更事件对应的变更数据之前，数据迁移方法还可以包括：对第一开关和第二开关进行控制，以便将数据处理请求发送至原数据库或新数据库；若将数据处理请求发送至原数据库，将数据处理请求对应的第一变更数据存储至原数据库，生成原数据库对应的第一数据变更事件；若将数据处理请求发送至新数据库，将数据处理请求对应的第二变更数据存储至新数据库，生成新数据库对应的第二数据变更事件。

用户数据由于场景需要，可能随时更新已有数据，并且数据的更新频率随特定场景的要求变化较为频繁。对此，在进行数据迁移过程中，通过开关进行数据源的动态选择，进而保证数据的动态平滑迁移。如图2所示，通过控制第一开关和第二开关，可以实现对数据请求进行百分比切流。如利用哈希算法对用户的个人识别码进行处理，得到一个匹配数值，相当于将字符转成数值，然后对该数值进行取模切流。举例来说，用户的个人识别码为“abc”，经过哈希算法处理后为“123”，进行1000取模以及10％切流，即将取模结果为100以内的用户对应的数据处理请求发送至新数据库，其他的发送至原数据库，从而可以实现百分比切流。可见，通过控制第一开关和第二开关，可以实现百分比切流，从而可以将每个数据处理请求发送至原数据库或新数据库。

需要注意的是，数据迁移的目的是新数据库代替原数据库，所以可以从小批量到全量逐步进行切流。比如说，在数据迁移之前，将数据处理请求均发送至原数据库，由原数据库作为数据源；在开始进行数据迁移时，将10％的数据处理请求发送至新数据库，将90％的数据处理请求发送至原数据库；在进行数据迁移t1时间后，将30％的数据处理请求发送至新数据库，将70％的数据处理请求发送至原数据库；在进行数据迁移t2时间后，将70％的数据处理请求发送至新数据库，将30％的数据处理请求发送至原数据库；在进行数据迁移t3时间后，或者原数据库存储的已有数据完成迁移后，将数据处理请求均发送至新数据库，由新数据库作为数据源。

此外，如果数据处理请求发送至原数据库，则说明对原数据库中的数据进行变更，可以将数据处理请求对应的第一变更数据存储至原数据库，生成原数据库对应的第一数据变更事件。如果数据处理请求发送至新数据库，则说明对新数据库中的数据进行变更，可以将数据处理请求对应的第二变更数据存储至新数据库，生成新数据库对应的第二数据变更事件。

进一步地，将数据处理请求对应的第一变更数据存储至原数据库，可以包括：判断原数据库是否存储第一变更数据对应的低版本数据；若是，则利用第一变更数据更新原数据库存储的第一变更数据对应的低版本数据，并对该低版本数据的版本信息进行升级，获得第一变更数据的版本信息；若否，则将第一变更数据存储至原数据库中，设置第一变更数据的版本信息为初始版本。

其中，如果原数据库中没有存储第一变更数据对应的低版本数据，则说明该第一变更数据为首次出现的数据，可以将该第一变更数据存储至原数据库中，并设置该第一变更数据的版本信息为初始版本。比如，第一变更数据为用户S1的数据，经查询得到原数据库中没有存储用户S1的数据，则直接将第一变更数据存储至原数据库中，且可以设置该第一变更数据的版本为1。另一方面，如果原数据库中存储第一变更数据对应的低版本数据，则可以用该第一变更数据代替存储的低版本数据，并对低版本数据的版本信息进行升级，获得第一变更数据的版本信息。比如，第一变更数据为用户S2的数据，经查询得到原数据库中存储用户S2的低版本数据，且版本为2，则可以用第一变更数据代替该低版本数据存储至原数据库中，且设置该第一变更数据的版本为3。

类似地，将数据处理请求对应的第二变更数据存储至新数据库，包括：判断新数据库是否存储第二变更数据对应的低版本数据；若是，则利用第二变更数据更新新数据库存储的第二变更数据对应的低版本数据，并对该低版本数据的版本信息进行升级，获得第二变更数据的版本信息；若否，则将第二变更数据存储至新数据库中，设置第二变更数据的版本信息。

其中，如果新数据库中存储第二变更数据对应的低版本数据，则可以用该第二变更数据代替存储的低版本数据，并对低版本数据的版本信息进行升级，获得第二变更数据的版本信息。另一方面，如果新数据库中没有存储第二变更数据对应的低版本数据，则说明该第二变更数据为首次出现的数据，可以将该第二变更数据存储至新数据库中，并设置该第二变更数据的版本信息为初始版本。

作为本发明的实施例，设置第二变更数据的版本信息，可以包括：判断原数据库是否存储第二变更数据对应的低版本数据；若是，则对该低版本数据的版本信息进行升级，获得第二变更数据的版本信息；若否，则设置第二变更数据的版本信息为初始版本。也就是说，如果新数据库中没有存储第二变更数据对应的低版本数据，那么还需要判断原数据库中是否存储第二变更数据对应的低版本数据。如果原数据库中也没有存储第二变更数据对应的低版本数据，那么说明该第二变更数据为首次出现，可以直接设置该第二变更数据的版本信息为初始版本。如果原数据库中存储第二变更数据对应的低版本数据，那么可以将低版本数据的版本信息进行升级，得到的升级后的版本信息为第二变更数据的版本信息。需要注意的是，此处对低版本数据的版本信息进行升级，但是原数据库中存储的依然是低版本数据以及该低版本数据对应的版本信息。只有将第二变更数据同步至原数据库后，才会更新存储的低版本数据以及该低版本数据对应的版本信息。

作为本发明的实施例，在步骤S103中，获取数据变更事件对应的变更数据，根据变更数据的版本信息，将变更数据从数据变更事件对应的数据库同步至目标数据库，可以包括：

(1)通过监听原数据库对应的第一数据变更事件，获取第一变更数据，然后根据第一变更数据的版本信息，将第一变更数据从原数据库同步至新数据库。

上文已经说明，如果将数据处理请求发送至原数据库，则对原数据库中的数据进行更新，生成第一数据变更事件。此时，可以监听到该第一数据变更事件，进而获得该第一数据变更事件对应的第一变更数据，然后可以根据第一变更数据的版本信息，将第一变更数据从原数据库同步至新数据库。

进一步地，根据第一变更数据的版本信息，将第一变更数据从原数据库同步至新数据库，可以包括：根据第一变更数据的版本信息，判断新数据库是否存储第一变更数据对应的低版本数据；若是，则利用第一变更数据更新新数据库存储的第一变更数据对应的低版本数据；若否，则将第一变更数据存储至新数据库中。

在将第一变更数据从原数据库同步至新数据库之前，可以根据第一变更数据的版本信息，判断新数据库中是否存储了第一变更数据对应的低版本数据。如果存储，则将该低版本数据删除，并将该第一变更数据存储至新数据库中。如果没有存储，则直接将该第一变更数据存储至新数据库中。

(2)通过监听新数据库对应的第二数据变更事件，获取第二变更数据，然后根据第二变更数据的版本信息，将第二变更数据从新数据库同步至原数据库。

上文已经说明，如果将数据处理请求发送至新数据库，则对新数据库中的数据进行更新，生成第二数据变更事件。此时，可以监听到该第二数据变更事件，进而获得该第二数据变更事件对应的第二变更数据，然后可以根据第二变更数据的版本信息，将第二变更数据从新数据库同步至原数据库。

进一步地，根据第二变更数据的版本信息，将第二变更数据从新数据库同步至原数据库，可以包括：根据第二变更数据的版本信息，判断原数据库是否存储第二变更数据对应的低版本数据；若是，则利用第二变更数据更新原数据库存储的第二变更数据对应的低版本数据；若否，则将第二变更数据存储至原数据库中。

在将第二变更数据从新数据库同步至原数据库之前，可以根据第二变更数据的版本信息，判断原数据库中是否存储了第二变更数据对应的低版本数据。如果存储，则将该低版本数据删除，并将该第二变更数据存储至原数据库中。如果没有存储，则直接将该第二变更数据存储至原数据库中。

此外，作为本发明的实施例，数据迁移方法还可以包括：若数据同步结果为失败，将同步失败的数据存入消息表中；通过定时任务，对同步失败的数据进行同步补偿处理，以及若同步补偿成功，将同步失败的数据从消息表中删除。

如果数据同步失败，则需要记录同步失败的数据，然后通过定时任务进行数据的同步补偿处理。在同步补偿处理时，对于同步失败的数据，从来源库中重新拉取最新数据，然后将拉取的数据同步至目标库。如将已有数据从原数据库同步至新数据库，但是同步失败，此时需要从原数据库中拉取该已有数据的最新数据，然后同步至新数据库。考虑到数据更新比较频繁，存在某数据同步失败、后续又对该数据进行更新的情况，因此需要拉取该数据的最新数据进行同步。此外，数据同步补偿成功之后，需要将同步失败的数据删除掉，否则会出现对其再次进行同步补偿处理的情况。另外，本发明实施例中，还可以记录数据的重试次数，即同步补偿处理次数。当同步补偿处理次数达到重试上限时，可以进行报警处理，以便后续人工干预修复处理。

综上所述，本发明实施例的数据迁移方法中，可以将已有数据从原数据库同步至新数据库、将第一变更数据从原数据库同步至新数据库、将第二变更数据从新数据库同步至原数据库。图3所示的为将数据从原数据库同步至新数据库的主要过程的示意图，图4所示的为将数据从新数据库同步至原数据库的主要过程的示意图。

如图3所示，若第二开关断开，则数据处理请求可以发送至原数据库，则生成第一数据变更事件，因此需要将第一变更数据从原数据库同步至新数据库。另外，从图3可以看出，将原数据库中的已有数据从原数据库同步至新数据库中。还有，若数据从原数据库同步至新数据库失败，则采用本地消息表1记录同步失败的数据，以便后续进行同步补偿处理。并且，在将第一变更数据从原数据库同步至新数据库之前，需要判断新数据库中是否存储该第一变更数据对应的低版本数据，若是，则将该低版本数据删除。同样地，在将已有数据从原数据库同步至新数据库之前，需要判断新数据库中是否存储该已有数据对应的低版本数据，若是，则将该低版本数据删除。

如图4所示，若第一开关断开，则数据处理请求可以发送至新数据库，则生成第二数据变更事件，因此需要将第二变更数据从新数据库同步至原数据库。以及，若数据从新数据库同步至原数据库失败，则采用本地消息表2记录同步失败的数据，以便后续进行同步补偿处理。并且，在将第二变更数据从新数据库同步至原数据库之前，需要判断原数据库中是否存储该第二变更数据对应的低版本数据，若是，则将该低版本数据删除。

根据本发明实施例的数据迁移方法，利用数据的版本信息表示数据的更新情况，从而可以实现将最新版本的数据进行迁移，不需要停服迁移，还能够避免新数据被覆盖的情况；并且对数据变更事件进行监听，能够根据变更数据的版本信息，准确将变更数据进行同步，保证了数据的动态迁移以及数据的一致性。还有，采用开关动态控制数据处理请求，能够在数据库迁移失败的情况下，及时切回原数据库，提供了回滚方案，用户体验较好。此外，采用消息表记录同步失败的数据，进而可以通过定时任务对同步失败的数据进行同步补偿处理，进一步保证了数据的一致性。

图5是根据本发明实施例的数据迁移装置的主要模块的示意图。如图5所示，数据迁移装置500的主要模块可以包括：获取模块501、第一迁移模块502和第二迁移模块503。

其中，获取模块501可用于：接收数据迁移请求，根据数据迁移请求，获取原数据库、新数据库和原数据库存储的已有数据；第一迁移模块502可用于：根据已有数据的版本信息，将已有数据从原数据库同步至新数据库；第二迁移模块503可用于：获取数据变更事件对应的变更数据，根据变更数据的版本信息，将变更数据从数据变更事件对应的数据库同步至目标数据库。其中，若数据变更事件对应的数据库为原数据库，则目标数据库为新数据库；若数据变更事件对应的数据库为新数据库，则目标数据库为原数据库。

从图5可以看出，数据迁移装置500还可以包括控制模块504。该控制模块504可用于：对第一开关和第二开关进行控制，以便将数据处理请求发送至原数据库或新数据库；若将数据处理请求发送至原数据库，将数据处理请求对应的第一变更数据存储至原数据库，生成原数据库对应的第一数据变更事件；若将数据处理请求发送至新数据库，将数据处理请求对应的第二变更数据存储至新数据库，生成新数据库对应的第二数据变更事件。

作为本发明的实施例，控制模块504还可用于：判断原数据库是否存储第一变更数据对应的低版本数据；若是，则利用第一变更数据更新原数据库存储的第一变更数据对应的低版本数据，并对该低版本数据的版本信息进行升级，获得第一变更数据的版本信息；若否，则将第一变更数据存储至原数据库中，设置第一变更数据的版本信息为初始版本。

作为本发明的实施例，控制模块504还可用于：判断新数据库是否存储第二变更数据对应的低版本数据；若是，则利用第二变更数据更新新数据库存储的第二变更数据对应的低版本数据，并对该低版本数据的版本信息进行升级，获得第二变更数据的版本信息；若否，则将第二变更数据存储至新数据库中，设置第二变更数据的版本信息。

作为本发明的实施例，控制模块504还可用于：判断原数据库是否存储第二变更数据对应的低版本数据；若是，则对该低版本数据的版本信息进行升级，获得第二变更数据的版本信息；若否，则设置第二变更数据的版本信息为初始版本。

作为本发明的实施例，第二迁移模块503还可用于：通过监听原数据库对应的第一数据变更事件，获取第一变更数据，然后根据第一变更数据的版本信息，将第一变更数据从原数据库同步至新数据库；通过监听新数据库对应的第二数据变更事件，获取第二变更数据，然后根据第二变更数据的版本信息，将第二变更数据从新数据库同步至原数据库。

作为本发明的实施例，第二迁移模块503还可用于：根据第一变更数据的版本信息，判断新数据库是否存储第一变更数据对应的低版本数据；若是，则利用第一变更数据更新新数据库存储的第一变更数据对应的低版本数据；若否，则将第一变更数据存储至新数据库中。

作为本发明的实施例，第二迁移模块503还可用于：根据第二变更数据的版本信息，判断原数据库是否存储第二变更数据对应的低版本数据；若是，则利用第二变更数据更新原数据库存储的第二变更数据对应的低版本数据；若否，则将第二变更数据存储至原数据库中。

作为本发明的实施例，第一迁移模块502还可用于：根据已有数据的版本信息，判断新数据库是否存储已有数据对应的低版本数据；若是，则利用已有数据更新新数据库存储的已有数据对应的低版本数据；若否，则将已有数据存储至新数据库中。

如图5所示，数据迁移装置500还可以包括补偿模块505。该补偿模块505可用于：若数据同步结果为失败，将同步失败的数据存入消息表中；通过定时任务，对同步失败的数据进行同步补偿处理，以及若同步补偿成功，将同步失败的数据从消息表中删除。

根据本发明实施例的数据迁移装置，利用数据的版本信息表示数据的更新情况，从而可以实现将最新版本的数据进行迁移，不需要停服迁移，还能够避免新数据被覆盖的情况；并且对数据变更事件进行监听，能够根据变更数据的版本信息，准确将变更数据进行同步，保证了数据的动态迁移以及数据的一致性。还有，采用开关动态控制数据处理请求，能够在数据库迁移失败的情况下，及时切回原数据库，提供了回滚方案，用户体验较好。此外，采用消息表记录同步失败的数据，进而可以通过定时任务对同步失败的数据进行同步补偿处理，进一步保证了数据的一致性。

图6示出了可以应用本发明实施例的数据迁移方法或数据迁移装置的示例性***架构600。

如图6所示，***架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器605可以是提供各种服务的服务器，例如作为用户利用终端设备601、602、603进行数据迁移的过程中，提供支持的后台管理服务器(仅为示例)；再例如，服务器605可以完成本发明实施例的数据迁移。

需要说明的是，本发明实施例所提供的数据迁移方法一般由服务器605执行，相应地，数据迁移装置一般设置于服务器605中。

应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机***700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机***700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有***700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的***中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块、第一迁移模块和第二迁移模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“接收数据迁移请求，根据数据迁移请求，获取原数据库、新数据库和原数据库存储的已有数据的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：接收数据迁移请求，根据数据迁移请求，获取原数据库、新数据库和原数据库存储的已有数据；根据已有数据的版本信息，将已有数据从原数据库同步至新数据库；获取数据变更事件对应的变更数据，根据变更数据的版本信息，将变更数据从数据变更事件对应的数据库同步至目标数据库；其中，若数据变更事件对应的数据库为原数据库，则目标数据库为新数据库，以及，若数据变更事件对应的数据库为新数据库，则目标数据库为原数据库。

根据本发明实施例的技术方案，利用数据的版本信息表示数据的更新情况，从而可以实现将最新版本的数据进行迁移，不需要停服迁移，还能够避免新数据被覆盖的情况；并且对数据变更事件进行监听，能够根据变更数据的版本信息，准确将变更数据进行同步，保证了数据的动态迁移以及数据的一致性。还有，采用开关动态控制数据处理请求，能够在数据库迁移失败的情况下，及时切回原数据库，提供了回滚方案，用户体验较好。此外，采用消息表记录同步失败的数据，进而可以通过定时任务对同步失败的数据进行同步补偿处理，进一步保证了数据的一致性。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (13)

1.一种数据迁移方法，其特征在于，包括：

接收数据迁移请求，根据所述数据迁移请求，获取原数据库、新数据库和所述原数据库存储的已有数据；

根据所述已有数据的版本信息，将所述已有数据从所述原数据库同步至所述新数据库；

获取数据变更事件对应的变更数据，根据所述变更数据的版本信息，将所述变更数据从所述数据变更事件对应的数据库同步至目标数据库；其中，

若所述数据变更事件对应的数据库为所述原数据库，则所述目标数据库为所述新数据库，以及，若所述数据变更事件对应的数据库为所述新数据库，则所述目标数据库为所述原数据库。

2.根据权利要求1所述的方法，其特征在于，在获取数据变更事件对应的变更数据之前，所述方法还包括：

对第一开关和第二开关进行控制，以便将数据处理请求发送至所述原数据库或所述新数据库；

若将所述数据处理请求发送至所述原数据库，将所述数据处理请求对应的第一变更数据存储至所述原数据库，生成所述原数据库对应的第一数据变更事件；

若将所述数据处理请求发送至所述新数据库，将所述数据处理请求对应的第二变更数据存储至所述新数据库，生成所述新数据库对应的第二数据变更事件。

3.根据权利要求2所述的方法，其特征在于，所述将所述数据处理请求对应的第一变更数据存储至所述原数据库，包括：

判断所述原数据库是否存储所述第一变更数据对应的低版本数据；

若是，则利用所述第一变更数据更新所述原数据库存储的所述第一变更数据对应的低版本数据，并对该低版本数据的版本信息进行升级，获得所述第一变更数据的版本信息；

若否，则将所述第一变更数据存储至所述原数据库中，设置所述第一变更数据的版本信息为初始版本。

4.根据权利要求2所述的方法，其特征在于，所述将所述数据处理请求对应的第二变更数据存储至所述新数据库，包括：

判断所述新数据库是否存储所述第二变更数据对应的低版本数据；

若是，则利用所述第二变更数据更新所述新数据库存储的所述第二变更数据对应的低版本数据，并对该低版本数据的版本信息进行升级，获得所述第二变更数据的版本信息；

若否，则将所述第二变更数据存储至所述新数据库中，设置所述第二变更数据的版本信息。

5.根据权利要求4所述的方法，其特征在于，所述设置所述第二变更数据的版本信息，包括：

判断所述原数据库是否存储所述第二变更数据对应的低版本数据；

若是，则对该低版本数据的版本信息进行升级，获得所述第二变更数据的版本信息；

若否，则设置所述第二变更数据的版本信息为初始版本。

6.根据权利要求2至5任一所述的方法，其特征在于，所述获取数据变更事件对应的变更数据，根据所述变更数据的版本信息，将所述变更数据从所述数据变更事件对应的数据库同步至目标数据库，包括：

通过监听所述原数据库对应的第一数据变更事件，获取所述第一变更数据，然后根据所述第一变更数据的版本信息，将所述第一变更数据从所述原数据库同步至所述新数据库；

通过监听所述新数据库对应的第二数据变更事件，获取所述第二变更数据，然后根据所述第二变更数据的版本信息，将所述第二变更数据从所述新数据库同步至所述原数据库。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第一变更数据的版本信息，将所述第一变更数据从所述原数据库同步至所述新数据库，包括：

根据所述第一变更数据的版本信息，判断所述新数据库是否存储所述第一变更数据对应的低版本数据；

若是，则利用所述第一变更数据更新所述新数据库存储的所述第一变更数据对应的低版本数据；

若否，则将所述第一变更数据存储至所述新数据库中。

8.根据权利要求6所述的方法，其特征在于，所述根据所述第二变更数据的版本信息，将所述第二变更数据从所述新数据库同步至所述原数据库，包括：

根据所述第二变更数据的版本信息，判断所述原数据库是否存储所述第二变更数据对应的低版本数据；

若是，则利用所述第二变更数据更新所述原数据库存储的所述第二变更数据对应的低版本数据；

若否，则将所述第二变更数据存储至所述原数据库中。

9.根据权利要求1所述的方法，其特征在于，所述根据所述已有数据的版本信息，将所述已有数据从所述原数据库同步至所述新数据库，包括：

根据所述已有数据的版本信息，判断所述新数据库是否存储所述已有数据对应的低版本数据；

若是，则利用所述已有数据更新所述新数据库存储的所述已有数据对应的低版本数据；

若否，则将所述已有数据存储至所述新数据库中。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若数据同步结果为失败，将同步失败的数据存入消息表中；

通过定时任务，对所述同步失败的数据进行同步补偿处理，以及若同步补偿成功，将所述同步失败的数据从所述消息表中删除。

11.一种数据迁移装置，其特征在于，包括：

获取模块，用于接收数据迁移请求，根据所述数据迁移请求，获取原数据库、新数据库和所述原数据库存储的已有数据；

第一迁移模块，用于根据所述已有数据的版本信息，将所述已有数据从所述原数据库同步至所述新数据库；

第二迁移模块，用于获取数据变更事件对应的变更数据，根据所述变更数据的版本信息，将所述变更数据从所述数据变更事件对应的数据库同步至目标数据库；其中，

若所述数据变更事件对应的数据库为所述原数据库，则所述目标数据库为所述新数据库，以及，若所述数据变更事件对应的数据库为所述新数据库，则所述目标数据库为所述原数据库。

12.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。

13.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-10中任一所述的方法。

Images