CN105205154B - 数据迁移方法以及装置 - Google Patents

Abstract

本发明提供一种数据迁移方法以及装置，其中该方法包括：获取指定服务器创建的HBase表；获取待迁移数据，并根据所述HBase表将所述待迁移数据生成指定格式的数据文件；其中，所述待迁移数据为按照所述服务器集群拆解后获得的独立服务器数量对所有待迁移数据进行拆分后，分配给各个独立服务器分别处理的对应数据；将所述指定格式的数据文件迁移至所述指定服务器创建的HBase表中。本发明解决了现有技术中将服务器集群拆解成单独的服务器进行运算时无法将每单台服务器生成的HFile文件导入到服务器集群的HBase表中的问题，且有效地提高了数据迁移效率。

Description

数据迁移方法以及装置

技术领域

本发明涉及通信技术领域，尤其涉及一种数据迁移方法以及装置。

背景技术

为了满足对历史数据的保留、迁移等需求(尤其是存在关系型数据库到非关系型数据库的迁移情况下)，通常需要从原先的数据库中获取历史数据，并按照新数据库的设计要求将数据保存到新的数据表中。

在数据量巨大时，一般会通过数据导出工具将历史数据导出保存在文本文件中，并利用服务器集群的高性能的批处理分布式计算框架将文本文件数据生成HBase表的HFile文件，最后将HFile文件导入到指定的HBase表中。

然而，利用服务器集群的批处理分布式计算框架对文本文件数据进行运算，其整体运算效率比集群所有独立服务器的运算效率低很多，这种方式则会降低整个数据迁移过程的效率。但是如果将服务器集群拆解成单独的服务器进行运算，又无法保证每单台服务器生成的HFile文件能够兼容，进而也无法将每单台服务器生成的HFile文件导入到服务器集群的HBase表中。

发明内容

针对现有技术的缺陷，本发明提供了一种数据迁移方法以及装置。

本发明提供一种数据迁移方法，该方法应用于对服务器集群进行拆解后的独立服务器，其中该方法包括：

获取指定服务器创建的HBase表；

获取待迁移数据，并根据所述HBase表将所述待迁移数据生成指定格式的数据文件；其中，所述待迁移数据为按照所述服务器集群拆解后获得的独立服务器数量对所有待迁移数据进行拆分后，分配给各个独立服务器分别处理的对应数据；

将所述指定格式的数据文件迁移至所述指定服务器创建的HBase表中。

本发明还提供一种数据迁移装置，该装置应用于对服务器集群进行拆解后的独立服务器，该装置包括：

获取单元，用于获取指定服务器创建的HBase表；

生成单元，用于获取待迁移数据，并根据所述HBase表将所述待迁移数据生成指定格式的数据文件；其中，所述待迁移数据为按照所述服务器集群拆解后获得的独立服务器数量对所有待迁移数据进行拆分后，分配给各个独立服务器分别处理的对应数据；

迁移单元，用于将所述指定格式的数据文件迁移至所述指定服务器创建的HBase表中。

本发明提供的数据迁移方法以及装置，通过获取指定服务器创建的HBase表以及获取待迁移数据，并根据所述HBase表将待迁移数据生成指定格式的数据文件，以将指定格式的数据文件迁移至所述指定服务器创建的HBase表中，解决了现有技术中将服务器集群拆解成单独的服务器进行运算时无法将每单台服务器生成的HFile文件导入到服务器集群的HBase表中的问题，且有效地提高了数据迁移效率。

附图说明

图1是本发明实施例中一种数据迁移方法应用场景示意图；

图2是本发明实施例中一种数据迁移方法流程示意图；

图3是本发明实施例中一种数据迁移装置的逻辑结构示意图；

图4是本发明实施例中数据迁移装置所在独立服务器的硬件架构示意图。

具体实施方式

为使本申请的目的，技术方案及优点更加清楚明白，以下参照附图对本申请方案做进一步的详细说明。

为了解决现有技术中存在的问题，本发明提供了一种数据迁移方法以及装置。

图1示出了本发明提供的数据迁移方法所应用的网络环境示意图，包括服务器集群1以及服务器集群2，其中，服务器集群1存储有大量待迁移数据的服务器集群(以下称源服务器集群)，服务器集群2(以下称目的服务器集群)则为需要将源服务器集群中的待迁移数据迁移至的服务器集群。该源服务器集群以及目的服务器集群均为由多个服务器的服务器集群，例如，源服务器集群包括服务器S1以及S2，目的服务器集群包括服务器S3、S4、S5以及S6。

请参考图2，为本发明提供的数据迁移方法的处理流程示意图，该数据迁移方法可应用于对目的服务器集群进行拆解后的独立服务器，该数据迁移方法包括以下步骤：

步骤201，获取指定服务器创建的HBase表；

实际应用中，在需要将历史数据等大量的数据迁移至目的服务器集群时，为了解决现有技术中利用服务器集群的批处理算法对待迁移数据进行分析、运算时，导致的整体迁移效率较低、占用Hbase(分布式的、面向列的开源数据库)表region(Hbase表的子集)资源等情况，本发明实施例可以首先将目的服务器集群进行拆解，即：将由多个服务器组成的目的服务器集群拆解为多个独立的单机服务器。

接着，在进行拆解后的每台单机服务器上安装相同版本的Hadoop(分布式***基础架构)、Hbase等大数据相关组件，以保证各单机服务器后续可以运行具有相同region的Hbase表。

由于若要将多个服务器获取的多份待迁移数据迁移至目标服务器集群的同一个Hbase表，需要保证该多份待迁移数据为相同的格式，即：多份待迁移数据均为HFile(HBase的数据存储格式)格式。因此，本发明实施例可以从该被拆解前的服务器集群所包括的所有单机服务器中选取出一台指定服务器，并由该指定服务器创建Hbase表，并将创建的Hbase表同步至被拆解前的服务器集群所包括的其他单机服务器，进而保证多个独立的单机服务器可以运行具有相同region的Hbase表。

其中，该指定服务器上创建的Hbase表为待迁移数据被迁移后所存放的目标Hbase表。

具体地，所述获取指定服务器创建的Hbase表可以分为以下两种方式：

当该独立服务器为该指定服务器时，独立服务器所获取的Hbase表则为自身创建的Hbase表；当该独立服务器不为指定服务器时，独立服务器所获取的Hbase表则为指定服务器同步给该独立服务器的Hbase表。

相应地，在同步Hbase表时，若该独立服务器为该指定服务器，那么，独立服务器(指定服务器)在创建Hbase表后，将创建的Hbase表同步至被拆解前的服务器集群所包括的其他单机服务器；若该独立服务器不是该指定服务器，那么，独立服务器则可以接收到指定服务器在创建Hbase表后发送的Hbase表。

步骤202，获取待迁移数据，根据所述HBase表将所述待迁移数据生成指定格式的数据文件；其中，所述待迁移数据为按照所述服务器集群拆解后获得的独立服务器数量对所有待迁移数据进行拆分后，分配给各个独立服务器分别处理的对应数据；

本发明实施例可以按照待迁移数据的数据时间或者数据量根据拆解前服务器集群的服务器数量人为的对待迁移数据进行合理的拆分，进而保证各单机服务器在获取待迁移数据时，每台单机服务器上获取的数据量、生成的HFile数据可以相对平均，避免出现由于某台单机服务器需要处理的数据量过大，而导致整体生成HFile文件的时间过长。

例如，在对待迁移数据按照待迁移数据的数据量进行拆分时，假设对服务器集群拆解后的单机服务器数量为4个，该待迁移数据的数据量为4亿项记录，那么则将该待迁移数据拆分为4份待迁移数据，即：每1亿项记录为一份待迁移数据。

在该独立服务器获取待迁移数据时，则可以获取拆分后的其中一份待迁移数据。

在独立服务器获取待迁移数据后，可以将获取的所述待迁移数据保存至独立服务器的指定位置；根据预设的批处理算法将所述独立服务器的指定位置中的待迁移数据生成HFile格式的HFile文件。

具体地，独立服务器在获取到待迁移数据后，可以首先将该待迁移数据保存至本地硬盘的文本文件中，之后，通过hadoop fs–cp命令将保存至本地硬盘的文本文件的待迁移数据上传至本地的HDFS(Hadoop分布式文件***)指定目录中。

独立服务器执行自身的批处理算法分析并运算本地的HDFS指定目录中保存的待迁移数据，将该待迁移数据生成HBase表所要求的HFile格式的HFile文件。

优选地，该批处理算法可以是对海量数据进行并行分析和高性能处理的Map-Reduce(高性能的批处理分布式计算框架)，利用Map-Reduce高效便捷的特点可以快速对海量数据并行进行Map、Reduce处理，而且不占用region资源，也不会增添负载。当然，该批处理算法也可以是现有技术中的其他处理方法，本发明对此无具体限定。

本发明实施例中，通过将原先由服务器集群进行的Map-Reduce运算的所有待迁移数据，拆解成由各个单机服务器相对平均的多份待迁移数据，并由各个单机服务器并行对待迁移数据进行Map-Reduce运算，虽然每台单机服务器的Map-Reduce运算执行的Map、Reduce任务数比服务器集群拆解前由服务器集群执行的Map、Reduce任务数少很多，但是，所有服务器的Map、Reduce并发执行的任务数总和并不比服务器集群的Map、Reduce数量少。而且，由于各单机服务器的Map、Reduce任务数量少，在整体执行Map-Reduce任务中对Map、Reduce任务的调度时间也会比服务器集群少很多，有效提升了整体效率。

然后，可以通过hadoop fs–cp命令将独立服务器生成的HFile文件发送至选取的指定服务器的HDFS的指定目录中。

由于hadoop fs–cp命令可以实现多个***之间的文件迁移，例如，将HFile文件从服务器1的dfs(分布式文件***)到服务器2的dfs。因此，避免了现有技术中在迁移HFile文件时，需要将HFile文件从一个单机服务器的dfs迁移到该单机服务器的本地硬盘、再由该单机服务器的本地硬盘迁移到目标服务器的本地硬盘，最后，再由该目标服务器的本地硬盘将HFile文件迁移到该目标服务器的dfs等繁琐的流程，进而节省了文件传输的时间。

步骤203，将所述指定格式的数据文件迁移至所述指定服务器创建的HBase表中。

为了避免在待迁移数据量较大时，指定服务器创建的HBase表的空间无法满足对所有HFile文件的存储，本发明实施例还可以将被拆解前的服务器集群所包括的所有服务器以集群扩容的方式添加至新的服务器集群，并且可以将步骤201选取的指定服务器作为该新的服务器集群中的主服务器。这样一来，本发明实施例即可以利用服务器集群的中可以由多个服务器共同存储一个Hbase表的特性将保存至指定服务器(主服务器)的HDFS的指定目录中的HFile文件通过bulk_load的方式添加到主服务(指定服务器)的HBase表中，保证了在待迁移数据量较大时，HBase表仍可以存储所有的HFile文件。

当然，在指定服务器创建的HBase表的空间可以存储所有的待迁移数据时，本发明实施例的处理流程也可以为：首先将保存至指定服务器(主服务器)的HDFS的指定目录中的HFile文件通过bulk_load的方式添加到主服务(指定服务器)的HBase表中，之后，再执行以集群扩容的方式将被拆解前的服务器集群所包括的所有服务器添加至新的服务器集群，并且将选取的指定服务器作为该新的服务器集群中的主服务器的步骤。

其中，bulk_load是一个将生成好的Hfile文件加载到Hbase表的工具，这种方式利用Hbase表的数据信息按照特定格式存储在HDFS内这一原理，生成HDFS内存储的数据格式文件上传至Hbase表中，进而完成巨量数据快速入库。

本发明实施例提供的数据迁移方法，通过事先对HBase表region信息的同步，保证所有单机服务器生成的HFile文件是兼容的，进而也保证了所有单机服务器生成的HFile文件可以导入到一张HBase表中。这样一来，服务器集群中每台服务器可以进行并行运算，解决了服务器集群的整体运行效率远低于集群中所有单机服务器运行性能总和的问题。

并且，开发人员根据实际应用中存储的过车记录数据对本数据迁移方法进行了测试，例如，待迁移数据为存储的558天的过车记录数据，共为12.6亿项记录，测试结果显示，根据本发明实施例提供的数据迁移方法在相同数量的单机服务器并行运算时的时间比现有技术中通过服务器集群进行运算时的时间快了2小时30分钟左右，由此可见，通过本发明实施例提供的数据迁移方法明显提高了数据迁移时间。

以下结合图1为例对本发明进行进一步举例说明。

例如，需要将服务器集群1(源服务器集群)的历史数据迁移至服务器集群2(目的服务器集群)，首先将目的服务器集群进行拆解，拆解后的目的服务器集群中的S3、S4、S5以及S6均为独立的单机服务器。

假设选取的指定服务器也为S3，那么在S3上创建Hbase表，并由S3将创建的Hbase表发送至S4、S5以及S6，以使被拆解前的目的服务器集群所包含的所有单机服务器(S3、S4、S5以及S6)的Hbase表同步。

接着，S3、S4、S5以及S6分别获取存放至源服务器集群的待迁移的历史数据。由于本发明实施例中可以人为的将待迁移数据按照目的服务器集群被拆解前的服务器数量以及待迁移数据的数据量或时间对待迁移数据进行合理拆分，因此，最终各单机服务器获取到的待迁移历史数据均为相对平均的数据量。

之后，各单机服务器则可以将获取的待迁移的历史数据保存至本地硬盘的文本文件中，并通过hadoop fs–cp命令将待迁移的历史数据上传至本地的HDFS指定目录中，以使各服务器可以并行执行Map-Reduce来分析并运算本地的HDFS指定目录中保存的待迁移历史数据，并根据自身保存的Hbase表的region信息将该待迁移历史数据生成HBase表所要求的HFile格式的HFile文件。

然后，各单机服务器可以通过hadoop fs–cp命令将自身生成的HFile文件发送至选取的指定服务器S3的HDFS的指定目录中。

将被拆解前的服务器集群所包括的所有单机服务器(S3、S4、S5以及S6)以集群扩容的方式添加至新的服务器集群，并且将选取的指定服务器S3作为该新的服务器集群中的主服务器。

在新的服务器集群中，主服务器将保存至主服务器S3(指定服务器)的HDFS的指定目录中的HFile文件通过bulk_load的方式添加到主服务S3(指定服务器)的HBase表中。进而，完成对所有历史数据的迁移。

综上所述，本发明提供的数据迁移方法，通过获取指定服务器创建的HBase表以及获取待迁移数据，并根据所述HBase表将待迁移数据生成指定格式的数据文件，以将指定格式的数据文件迁移至所述指定服务器创建的HBase表中，解决了现有技术中将服务器集群拆解成单独的服务器进行运算时无法将每单台服务器生成的HFile文件导入到服务器集群的HBase表中的问题，且有效地提高了数据迁移效率。

本发明还提供一种数据迁移装置，图3为该数据迁移装置的结构示意图，该装置可以应用于对服务器集群进行拆解后的独立服务器，该数据迁移装置可以包括获取单元301、生成单元302以及迁移单元303，其中：

获取单元301，用于获取指定服务器创建的HBase表；

生成单元302，用于获取待迁移数据，并根据所述HBase表将所述待迁移数据生成指定格式的数据文件；其中，所述待迁移数据为按照所述服务器集群拆解后获得的独立服务器数量对所有待迁移数据进行拆分后，分配给各个独立服务器分别处理的对应数据；

迁移单元303，用于将所述指定格式的数据文件迁移至所述指定服务器创建的HBase表中。

进一步地，所述装置还包括添加单元304，用于将被拆解前的服务器集群所包括的所有服务器添加至新的服务器集群；将所述指定服务器作为所述新的服务器集群的主服务器。

进一步地，所述生成单元302具体将获取的所述待迁移数据保存至所述独立服务器的指定位置；根据预设的批处理算法将所述独立服务器的指定位置中的待迁移数据生成HFile文件。

进一步地，所述迁移单元303具体将所述指定格式的数据文件迁移至所述指定服务器的指定位置，以使所述指定服务器将所述指定位置中的所述指定格式的数据文件添加至所述指定服务器创建的HBase表中。

进一步地，所述装置还包括发送单元305，用于当所述独立服务器为所述指定服务器时，将所述主服务器创建的HBase表发送至拆解前的服务器集群所包括的其他服务器。

本发明应用于独立服务器的数据迁移装置在具体的处理流程中可以与上述数据迁移方法的处理流程一致，在此不再赘述。

上述装置可以通过软件实现，也可以通过硬件实现，本发明数据迁移装置所在网络设备的硬件架构示意图均可参考图4所示，其基本硬件环境包括中央处理器CPU、转发芯片、存储器以及其他硬件，其中存储器件中包括机器可读指令，CPU读取并执行机器可读指令执行图3中各单元的功能。

从以上各种方法和装置的实施方式中可以看出，本发明实施例提供的数据迁移方法以及装置，通过获取指定服务器创建的HBase表以及获取待迁移数据，并根据所述HBase表将待迁移数据生成指定格式的数据文件，将指定格式的数据文件迁移至所述指定服务器创建的HBase表中，解决了现有技术中利用服务器集群整体运算的方式降低整个数据迁移过程的效率的问题，并保证了将服务器集群拆解成单独的服务器进行运算时，每单台服务器生成的HFile文件可以导入到服务器集群的HBase表中，进而显著提高了数据迁移时间。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (6)

1.一种数据迁移方法，其特征在于，所述方法应用于对服务器集群进行拆解后的独立服务器，所述方法包括：

获取指定服务器创建的HBase表；

获取待迁移数据，并根据所述HBase表将所述待迁移数据生成指定格式的数据文件；其中，所述待迁移数据为按照所述服务器集群拆解后获得的独立服务器数量对所有待迁移数据进行拆分后，分配给各个独立服务器分别处理的对应数据；

将所述指定格式的数据文件迁移至所述指定服务器创建的HBase表中；

所述方法还包括：

将被拆解前的服务器集群所包括的所有服务器添加至新的服务器集群；

将所述指定服务器作为所述新的服务器集群的主服务器；

若所述独立服务器为所述指定服务器，将所述指定服务器创建的HBase表发送至拆解前的服务器集群所包括的其他服务器，各所述独立服务器运行具有相同region的Hbase表。

2.如权利要求1所述的方法，其特征在于，根据所述HBase表将所述待迁移数据生成指定格式的数据文件具体包括：

将获取的所述待迁移数据保存至所述独立服务器的指定位置；

根据预设的批处理算法将所述独立服务器的指定位置中的待迁移数据生成HFile文件。

3.如权利要求1所述的方法，其特征在于，将所述指定格式的数据文件迁移至所述指定服务器创建的HBase表中具体包括：

将所述指定格式的数据文件迁移至所述指定服务器的指定位置，以使所述指定服务器将所述指定位置中的所述指定格式的数据文件添加至所述指定服务器创建的HBase表中。

4.一种数据迁移装置，其特征在于，所述装置应用于对服务器集群进行拆解后的独立服务器，所述装置包括：

获取单元，用于获取指定服务器创建的HBase表；

生成单元，用于获取待迁移数据，并根据所述HBase表将所述待迁移数据生成指定格式的数据文件；其中，所述待迁移数据为按照所述服务器集群拆解后获得的独立服务器数量对所有待迁移数据进行拆分后，分配给各个独立服务器分别处理的对应数据；

迁移单元，用于将所述指定格式的数据文件迁移至所述指定服务器创建的HBase表中；

添加单元，用于：

将被拆解前的服务器集群所包括的所有服务器添加至新的服务器集群；

将所述指定服务器作为所述新的服务器集群的主服务器；

发送单元，用于当所述独立服务器为所述指定服务器时，将所述主服务器创建的HBase表发送至拆解前的服务器集群所包括的其他服务器，各所述独立服务器运行具有相同region的Hbase表。

5.如权利要求4所述的装置，其特征在于，所述生成单元具体用于：

将获取的所述待迁移数据保存至所述独立服务器的指定位置；

根据预设的批处理算法将所述独立服务器的指定位置中的待迁移数据生成HFile文件。

6.如权利要求4所述的装置，其特征在于，所述迁移单元具体用于：

将所述指定格式的数据文件迁移至所述指定服务器的指定位置，以使所述指定服务器将所述指定位置中的所述指定格式的数据文件添加至所述指定服务器创建的HBase表中。

Images