CN102521297B - 无共享数据库集群中实现***动态扩展的方法 - Google Patents

Abstract

本发明公开了一种无共享数据库集群中实现***动态扩展的方法，包括以下步骤：增加并检测新增数据节点，验证新增数据节点的连通性；初始化新增数据节点，将元数据信息同步到新增数据节点中；将与新增数据节点上分布的数据表相关的元组，在数据节点和新增数据节点中重新分布，并且在重新分布过程中对数据表的操作，需要在数据节点和新增数据节点中同步进行；修改集群管理器中的集群配置文件。本发明解决了无共享数据库集群动态可扩展性的难题，大大降低了集群在进行扩展过程中对用户业务逻辑的影响和损失。利用该方法可以实现在线扩容，既保证了***的高可扩展性，又保证了***的高可用性。

Description

无共享数据库集群中实现***动态扩展的方法

技术领域

本发明涉及一种数据库集群扩展方法，尤其涉及一种在无共享(Share Nothing)数据库集群中，基于数据表操作实现的***动态扩展方法，属于数据库集群***技术领域。

背景技术

可扩展性是考察任何数据库集群优劣与否的主要特性之一，它决定了数据库集群是否能够满足快速增长的数据库应用的需要。当前，存在两种扩展数据库集群的方式：垂直扩展和水平扩展。

1.垂直扩展

在同一个逻辑单位添加资源以增加容量。比如升级服务器的CPU，比如在RAID/SAN存储设备上增加硬盘。

2.水平扩展

增加多个逻辑单元资源并且使它们作为一个整体在工作。水平扩展方式并不要求昂贵的服务器，使用普通的存储设备和PC即可作为解决方案。

目前，在数据库领域有两种数据库集群：一种是无共享(ShareNothing)数据库集群，另一种是共享磁盘(Share Disk)数据库集群。随着数据库技术的发展和云计算技术的兴起，无共享数据库集群以其并行性好等优点，在云计算领域获得广泛应用。在云计算环境下，对无共享数据库集群的可扩展性提出了新的需求：按需增加和减少节点。换言之，增加和减少节点是无共享数据库集群日常***的一部分，动态扩大和缩小无共享数据库集群的规模更加频繁，而且要求在进行操作过程中服务不能停止，不能影响到业务的正常运行。

对于共享磁盘数据库集群而言，实现可扩展性比较简单，无须迁移或更新数据，而对于无共享数据库集群而言，可扩展性的实现过程相对复杂。

在无共享数据库集群的***扩展过程中，需要大量迁移或更新数据。在迁移或更新数据的同时还有可能锁定整个数据表甚至是整个数据库，导致用户的业务中断，所以每次对无共享数据库集群进行扩展都需要付出很大的代价。例如在无共享数据库集群中，数据通常是按一定的算法分片存储的。常用的分片算法包括：哈希算法、随机算法、轮转算法、范围算法。由于增加和减少节点，导致分片算法发生了变化。为了使数据能够在新算法下正确存储，使上层的执行单元能够正确定位相应的数据，就需要数据在无共享数据库集群中重新分布。随着数据量的增加，这通常是非常耗时的操作。

另外，在无共享数据库集群中添加新的节点，需要重新启动整个无共享数据库集群服务。在此期间，无共享数据库集群将不能向应用程序提供服务。如果在业务处理时间段，这会严重降低整个无共享数据库集群***的可用性。

发明内容

本发明所要解决的技术问题在于提供一种在无共享数据库集群中实现***动态扩展的方法。

为实现上述的发明目的，本发明采用下述的技术方案：

一种无共享数据库集群中实现***动态扩展的方法，所述无共享数据库集群包括多个由集群管理器控制的数据节点，所述数据节点内分别存储有数据表，其特征在于包括以下步骤，

步骤1：增加并检测新增数据节点，验证所述新增数据节点的连通性；

步骤2：初始化所述新增数据节点，将元数据信息同步到所述新增数据节点中；

步骤3：将与所述新增数据节点上分布的数据表相关的元组，在所述数据节点和所述新增数据节点中重新分布，并且在所述重新分布过程中对所述数据表的操作，需要在所述数据节点和所述新增数据节点中同步进行；

步骤4：修改所述集群管理器中的集群配置文件。

其中较优地，步骤3中，在所述重新分布过程中，当一个元组正在复制时，对所述正在复制的元组的任何操作，需要等待复制结束后才能进行。

其中较优地，步骤3中进行重新分布时，在所述数据节点中建立临时表，所述临时表是所述数据节点中存储的数据表的复制数据表，

在所述重新分布过程中对所述数据表的操作，需要同步操作所述数据节点中存储的所述数据表、所述临时表和所述新增数据节点中存储的数据表。

其中较优地，对于所述数据节点中存储的数据表，按照哈希分布方式，将各元组分别复制到指定数据节点的临时表中，或者复制到所述新增数据节点的数据表中。

其中较优地，将所述数据节点的多余的数据元组，按照轮转分布方式，分别复制到所述新增数据节点的数据表中。

其中较优地，步骤4中所述集群管理器在重新分布完成后，将各个所述数据节点的数据表加锁；再用相应数据节点的所述临时表替换，并将所述数据表上的锁释放。

其中较优地，步骤3中所述重新分布为复制分布方式时，包括以下步骤：

选择一个与重新分布的数据表相关的负载最小数据节点，顺序扫描所述最小数据节点的数据表，将其元组复制到所述新增数据节点的数据表中。

其中较优地，在复制期间的任何与所述重新分布的数据表相关的操作，都要对所述新增数据节点的数据表和所述最小数据节点的数据表进行处理。

其中较优地，步骤3中，所述数据节点在所述重新分布完成后，通知所述集群管理器，步骤4中，所述集群管理器在收到所述通知后，标记数据的重新分布已完成。

本发明利用数据库中的数据表操作巧妙的解决了无共享数据库集群动态可扩展性的难题，大大降低了集群在进行扩展过程中对用户业务逻辑的影响和损失。利用该方法可以实现在线扩容，既保证了***的高可扩展性，又保证了***的高可用性。

附图说明

下面结合附图和具体实施方式对本发明作进一步的详细说明。

图1是一个典型的无共享数据库集群***的架构示意图；

图2是新增数据节点时，数据表中数据重新分布的示意图；

图3是数据表为复制分布方式时，数据表中数据重新分布的示意图；

图4是数据表为其他分布方式时，数据表中数据重新分布的示意图。

具体实施方式

图1显示了一个典型的无共享数据库集群***的基本架构。该无共享数据库集群***包括协调器、集群管理器和多个数据节点。其中，协调器负责介绍数据库应用发来的SQL语句，生成查询计划，根据数据表的分布策略，找到与这个SQL语句相关的数据节点，将SQL语句重写成多个相关语句并发送到各个数据节点上，由数据节点去执行这些重写后的语句，然后执行并返回结果给协调器，协调器最后将结果再返回给数据库应用。

在无共享数据库集群中，实现***动态扩展的关键是如何在不影响业务的前提下实现将数据表按照新的数据分布算法进行重新分布。为此，本发明采用了一种基于数据表操作的技术解决方案。具体地说，当数据表在重新分布时，先将数据库的数据重新分布到镜像数据表中，在数据迁移过程中对改变的任何操作，在该数据表和镜像数据表中同时进行。当数据迁移完成后，锁定该数据表，将镜像数据表重命名为被迁移表。下面展开详细的说明。

通常，在无共享数据库集群中采用MPP(大规模并行处理)架构，可以在短时间内就能完成数据的重新分布，进而实现快速的***扩展。在MPP(大规模并行处理)架构中增加节点就可以有效提高数据库集群***的存储容量和处理能力。

无共享数据库集群的扩展包括对数据节点的扩展及协调器的扩展。其中，数据节点的扩展由以下四个阶段构成：

1.增加并检测新增数据节点，验证连通性

当管理员将新增的数据节点添加到无共享数据库集群当中时，集群管理器会根据新增的数据节点的配置文件信息与新增的数据节点进行连接，验证该数据节点是否可以与现有的无共享数据库集群进行互联。

2.初始化数据节点，同步元数据信息

集群管理器经过上一步的验证之后，确认新增的数据节点可以添加到无共享数据库集群中。集群管理器会为其创建数据目录，并将集群中的元信息同步到新增的数据节点。此时，新增的数据节点就正式加入无共享数据库集群中。

3.表数据的重新分布

当新增的数据节点增加到无共享数据库集群后，由于该数据节点的加入，原无共享数据库集群中与新增的数据节点上分布的数据表相关的元组将根据数据表的分布方式进行重新分布。

参见图2所示，无共享数据库集群为不同分布方式的数据表提供了不同的重新分布方式，具体说明如下：

哈希分布：无共享数据库集群根据新的哈希函数对原有数据表中的元组在所有数据节点(包含新增数据节点)上进行重新分布；

范围分布：新增数据节点不会对范围分布的数据表产生影响，只有在对现有分布方式进行修改或对数据表增加一个分区信息时，才会发生数据表中的元组的重新分布；

轮转分布：无共享数据库集群会对数据表中的元组在所有数据节点(包含新增数据节点)上进行平均分布；

复制分布：无共享数据库集群会将数据表中的元组复制到新增数据节点上的镜像数据表中。

4.修改集群配置文件

上述三个阶段完成之后，集群管理器会更新集群配置文件，新增数据节点就此完成。

下面，以单一数据表为例对利用本发明实现数据重新分布的过程进行说明。多数据表的情况与之类似，在此不予赘述。

当数据表的分布方式为复制分布时，数据重新分布的过程如图3所示，包括如下的步骤：

1)复制分布：选择一个与该数据表(Table)相关的负载最小数据节点X(旧数据节点)，顺序扫描该数据表，将元组复制到新增的数据节点上的镜像数据表中；

2)在复制期间发生的任何与该数据表相关的事务处理都要对新增的数据节点上的镜像数据表和数据节点X上的数据表进行相应处理；

3)为了保证复制过程的正确性，元组从数据节点X到新增数据节点进行复制时需要保证复制过程的原子性，即当有其他事务要对该元组进行操作时，必须等到复制结束后才能对该元组进行操作。这样就保证了元组在复制过程中没有其它事务可以对其进行操作，换句话说，就是要保证在复制过程中对数据节点X上的数据表的每一个事务操作都要同时应用到新增数据节点上的数据表，从而保证了事务的一致性；

4)当对数据节点X上的数据表扫描完成后(即找不到没有复制的元组的时候)，向新增数据节点发送EOF(文件结束)指令，此时表明数据表的数据重新分布已经完成；同时数据节点X会通知集群管理器任务已经完成。

对于其他的分布方式，数据重新分布的过程如图4所示，包括如下的步骤：

1)为了在增加数据节点完成之前继续使无共享数据库集群向应用程序提供服务，无共享数据库集群在对原有节点数据节点1……数据节点n上的数据表的元组进行重新分布的时候，需要在该数据表的相关数据节点(旧数据节点)上复制数据表的一个临时表(TempTable)；

2)在每个旧数据节点上顺序扫描本地数据表的元组，复制过程类似上面复制分布的第3步，但根据数据表的分布方式不同而有所不同：

对于哈希分布而言，各个数据节点按照分布列将本地数据以新的哈希分布方式将元组复制到指定节点的相关临时表或者新数据节点的数据表中；

对于轮转分布而言，依据平均分配原则，将各个节点多余的数据元组复制到新数据节点的数据表中。

对正在复制的元组有任何操作，需要等待该元组的复制过程结束后才能进行。

3)如果应用程序在数据表的元组迁移过程中对该数据表有操作，则此时要同时对新数据节点的数据表、旧数据节点的数据表及临时表进行操作；

4)当对数据节点1…数据节点n上的数据表扫描完成后(即找不到没有复制的元组的时候)，此时表明数据表的元组分布已经完成；各个节点会通知集群管理器数据的重新分布已经完成；

5)集群管理器收到重新分布完成的信号后，会将各个节点上的原数据表加锁，此时所有对数据表操作的事务只能排队等候；同时原数据表将被临时表替换，该临时表变为新的数据表并将其上的锁释放。这一过程同样具有原子性。

6)集群管理器收到完成信号后，标记数据的重新分布已经完成。

通过上述的步骤，可以为无共享数据库集群提供有效的在线扩容手段，既保证了无共享数据库集群***的高可扩展性，又保证了无共享数据库集群***的高可用性。

以上对本发明所提供的无共享数据库集群中实现***动态扩展的方法进行了详细的说明。对本领域的技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (8)

1.一种无共享数据库集群中实现***动态扩展的方法，所述无共享数据库集群包括多个由集群管理器控制的数据节点，所述数据节点内分别存储有数据表，其特征在于包括以下步骤：

步骤1：增加并检测新增数据节点，验证所述新增数据节点的连通性；

步骤2：初始化所述新增数据节点，将元数据信息同步到所述新增数据节点中；

步骤3：将与所述新增数据节点上分布的数据表相关的元组，在所述数据节点和所述新增数据节点中重新分布；

进行重新分布时，在所述数据节点中建立临时表，所述临时表是所述数据节点中存储的数据表的复制数据表；

在所述重新分布过程中对所述数据表的操作，在所述数据节点和所述新增数据节点中同步进行，即同步操作所述数据节点中存储的所述数据表、所述临时表和所述新增数据节点中存储的数据表；其中，

对于哈希分布方式，所述无共享数据库集群根据新的哈希函数对原有数据表中的元组在包含新增数据节点在内的所有数据节点上进行重新分布；

对于范围分布方式，只有在对现有分布方式进行修改或对数据表增加一个分区信息时，才发生数据表中的元组的重新分布；

对于轮转分布方式，所述无共享数据库集群对数据表中的元组在包含新增数据节点在内的所有数据节点上进行平均分布；

对于复制分布方式，所述无共享数据库集群将数据表中的元组复制到新增数据节点上的镜像数据表中；

步骤4：修改所述集群管理器中的集群配置文件。

2.如权利要求1所述的无共享数据库集群中实现***动态扩展的方法，其特征在于：

所述步骤3中，在所述重新分布过程中，当一个元组正在复制时，对所述正在复制的元组的任何操作，等待复制结束后才能进行。

3.如权利要求1所述的无共享数据库集群中实现***动态扩展的方法，其特征在于在所述哈希分布方式中，

对于所述数据节点中存储的数据表，将各元组分别复制到指定数据节点的临时表中或者复制到所述新增数据节点的数据表中。

4.如权利要求1所述的无共享数据库集群中实现***动态扩展的方法，其特征在于在所述轮转分布方式中，

将所述数据节点的多余的数据元组分别复制到所述新增数据节点的数据表中。

5.如权利要求4所述的无共享数据库集群中实现***动态扩展的方法，其特征在于：

所述步骤4中所述集群管理器在重新分布完成后，将各个所述数据节点的数据表加锁；再用相应数据节点的所述临时表替换，并将所述数据表上的锁释放。

6.如权利要求1所述的无共享数据库集群中实现***动态扩展的方法，其特征在于：

所述步骤3中重新分布为复制分布方式时，包括以下步骤：

选择一个与重新分布的数据表相关的负载最小数据节点，顺序扫描所述最小数据节点的数据表，将其元组复制到所述新增数据节点的数据表中。

7.如权利要求6所述的无共享数据库集群中实现***动态扩展的方法，其特征在于：

在复制期间任何与所述重新分布的数据表相关的操作，都要对所述新增数据节点的数据表和所述最小数据节点的数据表进行处理。

8.如权利要求1所述的无共享数据库集群中实现***动态扩展的方法，其特征在于：

所述步骤3中，所述数据节点在所述重新分布完成后，通知所述集群管理器，所述步骤4中，所述集群管理器在收到所述通知后，标记数据的重新分布已完成。