CN102855299A - 不中断服务条件下,分布式数据库迭代迁移的方法 - Google Patents

Abstract

本发明的目的是提供一种在生产环境下不中断应用服务对分布式数据库进行扩容和数据迁移的方法，通过将需迁移数据进行划分，将大量数据划分成若干少量数据集进行迭代迁移，从而降低迁移过程对应用服务的正常运行所带来的影响。同时通过理解关联数据之间的关系，将相关数据划分到同一迭代过程中来保证数据一致性和完整性。

Description

不中断服务条件下,分布式数据库迭代迁移的方法

技术领域

本发明涉及集群分布式计算领域。 

背景技术

在信息技术高速发展的今天，无论是互联网还是企业内部的数据量，都呈指数速度的发展和增加中。数据扩容的问题已显得前所未有的重要。数据扩容涉及到对现有数据的重新分配，从而需要对现有数据进行大量的迁移，在生产环境下如何对数据进行大量迁移而不影响到应用服务的正常使用，是面临的一个重大课题。 

为了在生产环境下对分布式数据库进行迁移，发明了迭代迁移数据的方法，该方法通过将需要进行迁移的数据划分成若干少量数据集进行迭代迁移，除当前正在迁移的这一少量数据外，其余数据可以进行正常操作。同时通过关联性分析，将相关的数据分布到同一个迭代过程中进行迁移，从而保证数据的一致性和完整性。 

发明内容

本发明的目的是提供一种在生产环境下不中断应用服务对分布式数据库进行扩容和数据迁移的方法，通过将需迁移数据进行划分，将大量数据划分成若干少量数据进行迭代迁移，从而降低迁移过程对应用服务的正常运行所带来的影响。同时通过理解关联数据之间的关系，将相关数据划分到同一迭代过程中来保证数据一致性和完整性。 

为达到上述目的，本发明设定了一种迭代迁移策略。 

1.计算迁移量，并进行数据划分，将需迁移的数据平均地分配到每一个迭代过程中。 

2.对数据进行关联关系分析，保证相关数据被划分到同一个迭代过程中。 

3.对每一迭代过程进行事务控制，保证数据一致性和完整性。 

4.在每一迭代过程开始时通知应用，此部分数据正在迁移，不能再对其进行增、删、改操作，在结束时通知应用迁移已结束，可以对其进行增、删、改操作。 

附图说明

附图为本发明的工作流程示意图，在本示例中，将原有的2个存储节点扩容为4个存储节点。通过迭代方法将原有的2个节点中的一部分数据在不中断服务的情况下迁移至新增的2个存储节点中。 

具体实施方式

下面结合附图对本发明所述的技术方案做进一步详细描述。 

附图展示了如何在生产环境下将2个存储节点扩容为4个节点的过程，以及如何与应用程序交互的过程。 

迭代迁移的步骤如下： 

1)计算需要迁移的数据量，以及将要迁移至的目标存储节点。 

2)将数据划分到若干小的迭代迁移任务，此过程包含数据相关性判断，相关数据将被划分到同一任务中。 

3)利用多线程同时启动多个迭代任务。 

4)每一任务开始时将通知应用程序此部分迁移开始，同时锁定数据。 

5)进行数据迁移，每一迭代任务在同一个事务中处理。 

6)每一任务迁移完成时通知应用程序此部分迁移结束，同时解锁数据。 

7)主线程询问是否还有迭代迁移任务，如还有，继续迁移，否则退出，全部迁移完成。 

Claims (6)

1.不中断服务条件下，分布式数据库迭代迁移的方法，其特征在于：

1)在生产环境下不中断应用服务进行分布式数据库扩容和数据迁移；

2)大量数据将被划分为若干少量数据进行迭代迁移；

3)相关数据将被划分到同一迭代任务，保证数据一致性和完整性；

4)迁移过程与应用交互保证应用的畅通；

5)多个分布式数据分块，并行迁移，同时保证业务应用不受影响。

2.如权利1所述的分布式数据库环境下不中断应用服务迭代迁移数据的方法，其特征在于：在生产环境不中断应用服务的情况下，将部分数据迁移至新的节点，以达到数据扩容的通用方法。

3.如权利1所述的大量数据将被划分为若干少量数据进行迭代迁移，其特征在于：仅仅正在迁移的少量数据会受影响，应用程序不能对其进行增、删、改操作，其余数据将不受影响。

4.如权利1所述的相关数据将被划分到同一迭代任务，保证数据一致性和完整性，其特征在于：相关数据将在同一批任务中进行迁移，数据一致性和完整性将得到保障。

5.如权利1所述的迁移过程与应用交互保证应用的畅通，其特征在于：在每一迭代任务开始迁移时和迁移结束后，应用程序会得到及时的通知，以避免试图操作正在迁移的数据而造成无谓的锁等待，从而保证应用程序的畅通。

6.如权利1所述的迁移过程，迁移过程保持高并发，分布式迁移，同时不影响应用本身的使用。其特征在于：多数据分布可以并行迁移同时互相不影响，与此同时，应用本身的全部特征都不受影响，保持可用性。