CN115048463B - 数据迁移方法、***及存储介质 - Google Patents

Abstract

本申请实施例涉及大数据领域，并提供数据迁移方法、***及存储介质，方法包括主节点若接收到第一从节点基于第一连接请求发送的第一响应且接收到第二从节点基于第二连接请求发送的第二响应，则建立预设集群的集群通讯连接关系；主节点获取用户数据查询请求并发送至第一从节点；第一从节点对应获取待迁移数据并发送至主节点；主节点将待迁移数据基于用户数据查询请求进行数据筛选得到目标迁移数据；第二从节点接收目标迁移数据。本方案能够通过主节点作为数据中转站，一方面可以避免第一从节点与第二从节点之间因数据架构方式不同不能直接迁移数据的问题，另一方面还可以在主节点中更细粒度的基于用户数据查询请求进行数据筛选得到目标迁移数据后再迁移至第二从节点。

Description

数据迁移方法、***及存储介质

技术领域

本申请实施例涉及大数据技术领域，尤其涉及一种数据迁移方法、***及存储介质。

背景技术

目前进行数据迁移时，往往是将一个源数据库中的所有数据迁移至目标数据库，但是这就要求源数据库和目标数据库能进行正常通讯才能完成数据迁移。

但是，在对现有技术的研究和实践过程中，本申请实施例的发明人发现，目前源数据库和目标数据库并不是相同架构的数据，也就不能直接进行通讯从而完成数据的迁移。

发明内容

本申请实施例提供了一种数据迁移方法、***及存储介质，能够将原本不能直接通讯的源服务器与目标服务器在组建集群后可进行数据迁移。

第一方面中，从数据迁移***角度介绍本申请实施例提供的一种数据迁移方法，应用于数据迁移***，所述数据迁移***包括主节点、第一从节点和第二从节点，所述第一节点部署为主节点，所述第二节点和所述第三节点部署为从节点，所述方法包括：

所述主节点向所述第一从节点发送第一连接请求，并向所述第二从节点发送第二连接请求；

所述在所述主节点接收到所述第一从节点基于所述第一连接请求返回的第一响应且接收到所述第二从节点基于所述第二连接请求返回的第二响应后，所述主节点、所述第一从节点及所述第二从节点建立预设集群的集群通讯连接关系；

所述主节点获取用户数据查询请求并将所述用户数据查询请求发送至所述第一从节点；

所述第一从节点根据所述用户数据查询请求获取待迁移数据，并发送至所述主节点；

所述主节点响应于所述用户数据查询请求，对所述待迁移数据进行数据筛选得到目标迁移数据；

所述第二从节点接收所述主节点发送的所述目标迁移数据并保存。

第二方面中，本申请实施例提供一种数据迁移***，所述数据迁移***包括主节点、第一从节点和第二从节点，所述数据迁移***具有实现对应于上述第一方面提供的数据迁移方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。

本申请实施例又一方面提供了一种数据迁移装置，其包括至少一个连接的处理器、存储器和收发器，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中的计算机程序来执行上述第一方面中提供的方法。

本申请实施例又一方面提供了一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述第一方面中提供的方法。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面中所提供的方法。

相较于现有技术，本申请实施例提供的方案中，主节点先向第一从节点发送第一连接请求，并向第二从节点发送第二连接请求，然后在主节点分别接收到第一从节点基于所述第一连接请求返回的第一响应且接收到第二从节点基于所述第二连接请求返回的第二响应则主节点、第一从节点及第二从节点建立预设集群的集群通讯连接关系，之后主节点在发送用户数据查询请求至第一从节点后，获取到第一从节点传输其中全部存储的数据作为待迁移数据，最后在主节点中作为中间件从待迁移数据中基于用户数据查询请求筛选目标迁移数据并发送至第二从节点进行保存。由于通过主节点作为数据中转站，一方面可以避免第一从节点与第二从节点之间因数据架构方式不同不能直接迁移数据的问题，另一方面还可以在主节点中更细粒度的基于用户数据查询请求进行数据筛选得到目标迁移数据后再迁移至第二从节点。

附图说明

图1a为本申请实施例提供的一种数据迁移***的示意图；

图1b为本申请实施例提供的一种数据迁移***的应用场景示意图；

图2为本申请实施例中数据迁移方法的一种流程示意图；

图3a为本申请实施例中数据迁移方法中主节点、第一从节点及第二从节点未建立预设集群的集群通讯连接关系的应用场景示意图；

图3b为本申请实施例中数据迁移方法中主节点、第一从节点及第二从节点建立预设集群的集群通讯连接关系的应用场景示意图；

图4为本申请实施例中数据迁移***的一种结构示意图；

图5为本申请实施例中服务器的一种结构示意图；

图6为本申请实施例中服务终端的一种结构示意图；

图7为本申请实施例中服务器的一种结构示意图。

具体实施方式

本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请实施例中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个***中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请实施例中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请实施例方案的目的。

本申请实施例供了一种数据迁移方法、***及存储介质，可用于数据迁移***，且数据迁移***包括主节点、第一从节点和第二从节点，主节点侧可作为中间件，一是与第一从节点及第一从节点建立预设集群的集群通讯连接关系，二是作为数据迁移过程中中间存储的中间节点；第一从节点则作为源数据的存储节点，第二从节点则作为源数据中部分数据迁移的目标节点。该方案可应用于主节点、第一从节点和第二从节点，上述三个节点可为服务器或服务终端。本申请实施例以主节点、第一从节点和第二从节点为服务器为例，当应用于服务终端侧，可参考对第主节点、第一从节点和第二从节点为服务器的实施例，不作赘述。

本申请实施例的方案可基于云技术实现，具体来说涉及云技术中的云计算、云存储和数据库等技术领域，下面将分别进行介绍。

云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术(Cloudtechnology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络***的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台***进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的***后盾支撑，只能通过云计算来实现。本申请实施例可通过云技术对目标迁移数据进行保存。

云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储***(以下简称存储***)是指通过集群应用、网格技术以及分布存储文件***等功能，将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作，共同对外提供数据存储和业务访问功能的一个存储***。在本申请实施例中，可将网络配置等信息均保存在该存储***中，便于服务器调取。

目前，存储***的存储方法为：创建逻辑卷，在创建逻辑卷时，就为每个逻辑卷分配物理存储空间，该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。客户端在某一逻辑卷上存储数据，也就是将数据存储在文件***上，文件***将数据分成许多部分，每一部分是一个对象，对象不仅包含数据而且还包含数据标识(ID，ID entity)等额外的信息，文件***将每个对象分别写入该逻辑卷的物理存储空间，且文件***会记录每个对象的存储位置信息，从而当客户端请求访问数据时，文件***能够根据每个对象的存储位置信息让客户端对数据进行访问。

存储***为逻辑卷分配物理存储空间的过程，具体为：按照对存储于逻辑卷的对象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和独立冗余磁盘阵列(RAID，Redundant Array of Independent Disk)的组别，预先将物理存储空间划分成分条，一个逻辑卷可以理解为一个分条，从而为逻辑卷分配了物理存储空间。

数据库(Database)，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作。所谓“数据库”是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

数据库管理***(英语：Database Management System，简称DBMS)是为管理数据库而设计的电脑软件***，一般具有存储、截取、安全保障、备份等基础功能。数据库管理***可以依据它所支持的数据库模型来作分类，例如关系式、XML(Extensible MarkupLanguage,即可扩展标记语言)；或依据所支持的计算机类型来作分类，例如服务器群集、移动电话；或依据所用查询语言来作分类，例如SQL(结构化查询语言(Structured QueryLanguage)、XQuery；或依据性能冲量重点来作分类，例如最大规模、最高运行速度；亦或其他的分类方式。不论使用哪种分类方式，一些DBMS能够跨类别，例如，同时支持多种查询语言。在本申请实施例中，可目标迁移数据存储在该数据库管理***中，便于服务器调取。

其中，需要特别说明的是，本申请实施例涉及的服务终端，可以是指向服务终端提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。例如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语音和/或数据。例如，个人通信业务(英文全称：Personal Communication Service，英文简称：PCS)电话、无绳电话、会话发起协议(SIP)话机、无线本地环路(Wireless LocalLoop，英文简称：WLL)站、个人数字助理(英文全称：Personal Digital Assistant，英文简称：PDA)等设备。

在三个服务终端进行之间数据迁移时，即主节点至第二从节点均为服务终端时，主节点侧可作为中间件，一是与第一从节点及第一从节点建立预设集群的集群通讯连接关系，二是作为数据迁移过程中中间存储的中间节点；第一从节点则作为源数据的存储节点，第二从节点则作为源数据中部分数据迁移的目标节点。具体来说，服务终端用于存储、发送和保存待迁移数据。

一些实施方式中，本申请实施例可应用于如图1a所示的一种数据迁移***1，所述数据迁移***1包括主节点10、第一从节点20及第二从节点30，所述主节点10与所述第一从节点20之间可以进行数据交互，所述主节点10与所述第二从节点30之间可以进行数据交互。

当基于上述图1a所述的数据迁移***实现本申请实施例中的数据迁移方法时，可参考如图1b所示的一种应用场景示意图。

本申请实施例中，所述主节点10用于先向所述第一从节点20发送第一连接请求，并向所述第二从节点30发送第二连接请求，然后在主节点10分别接收到所述第一从节点20发送的第一响应且接收到所述第二从节点30发送的第二响应则所述主节点10、所述第一从节点20及所述第二从节点30建立预设集群的集群通讯连接关系，之后所述主节点10在发送用户数据查询请求至第一从节点20后，获取到第一从节点20传输其中全部存储的数据作为待迁移数据，最后在主节点10中作为中间件从待迁移数据中基于用户数据查询请求筛选目标迁移数据并发送至所述第二从节点30进行保存。由于通过主节点10作为数据中转站，一方面可以避免第一从节点20与第二从节点30之间因数据架构方式不同不能直接迁移数据的问题，另一方面还可以在主节点10中更细粒度的基于用户数据查询请求进行数据筛选得到目标迁移数据后再迁移至第二从节点30。

其中，需要特别说明的是，本申请涉及的服务器或服务终端可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

为解决源数据库和目标数据库采用不同架构时不能直接进行通讯以完成数据迁移的问题，本申请实施例主要提供以下技术方案：

先将主节点作为中间件并发起与第一从节点及第二从节点建立预设集群的集群通讯连接关系，集群组建完成之后再由主节点获取作为源数据节点的第一从节点中的待迁移数据，然后主节点基于用户数据查询请求筛选目标迁移数据，最后主节点将目标迁移数据发送至作为目标节点的第二从节点进行保存。

下面，将结合几个实施例对本申请技术方案进行详细的介绍说明。

参照图2，以下介绍本申请实施例所提供的一种数据迁移方法，本申请实施例包括：

201、主节点向第一从节点发送第一连接请求，并向第二从节点发送第二连接请求。

在本申请实施例中，所述数据迁移***具体为Kubernetes集群(Kubernetes是一个容器编排引擎，Kubernetes集群也可以称为K8S集群)，其具体包括若干个Master组件(即主节点)和若干个Node节点(即从节点)。为了实现将第一从节点中的选定数据迁移至第二从节点，需以主节点为中间件，且主节点、第一从节点及第二从节点均部署于同一Kubernetes集群中。其中，图3a是主节点、第一从节点及第二从节点初始未部署于同一Kubernetes集群的示意图，图3b是主节点、第一从节点及第二从节点部署于同一Kubernetes集群后的示意图。

其中，因在具体进行数据迁移前需要对集群中各节点是否属于正常连接通讯状态进行检测，故需先由主节点作为主节点对作为从节点的第一从节点及第二从节点均发出连接请求，以判断整个集群中各个节点之间的通讯连接是否正常。

一些实施方式中，所述主节点向第一从节点发送第一连接请求，并向第二从节点发送第二连接请求之后，所述方法还包括：

主节点接收所述第一从节点发送的第一数据架构信息，并基于所述第一数据架构信息确定第一连接配置信息；

主节点接收所述第二从节点发送的第二数据架构信息，并基于所述第二数据架构信息确定第二连接配置信息。

在本申请实施例中，由于主节点作为中间件，可能对接不同数据架构形式的第一从节点及第二从节点，为了提高主节点的兼容性，可以在主节点中存储多种连接配置信息，例如在主节点中存储有Ceph存储***(其是一种分布式存储***)、MySQL(是一种关系型数据库)、Hadoop(分布式文件***)、HDFS(即分布式文件***)等多种数据架构形式存储***的连接配置文件。

当主节点需与第一从节点成功建立连接时，则需先接收第一从节点发送的第一数据架构信息，通过解析第一数据架构信息获取主节点中使用的具体存储***，然后在主节点本地存储的多种连接配置信息中获取到与主节点中使用的具体存储***对应的第一连接配置信息。之后在主节点中基于第一连接配置信息进行本地自动配置后，可与第一从节点建立连接。

同样的，当主节点需与第二从节点成功建立连接时，则需先接收第二从节点发送的第二数据架构信息，通过解析第二数据架构信息获取第一从节点中使用的具体存储***，然后在主节点本地存储的多种连接配置信息中获取到与第一从节点中使用的具体存储***对应的第二连接配置信息。之后在主节点中基于第二连接配置信息进行本地自动配置后，可与第二从节点建立连接。

当主节点与第一从节点及第二从节点均成功建立连接后，才能确保所组建的集群处于唤醒状态，才能进行后续的数据迁移。

202、在所述主节点接收到所述第一从节点基于所述第一连接请求返回的第一响应且接收到所述第二从节点基于所述第二连接请求返回的第二响应后，所述主节点、所述第一从节点及所述第二从节点建立预设集群的集群通讯连接关系。

在本申请实施例中，当第一从节点与第二从节点均及时响应了主节点的连接请求时，则是第一从节点向主节点发送第一响应，且第二从节点向主节点发送第二响应。当主节点接收到上述两个响应时，则可再次启动所述主节点与所述第一从节点及所述第二从节点建立预设集群的集群通讯连接关系的操作，使得该预设集群处于重新被组建及激活的状态，便于后续能进行数据迁移。

之所以将所述主节点、所述第一从节点及所述第二从节点建立预设集群的集群通讯连接关系，是因为若上述3个节点未处于一个预设集群内，就仍是没有打通第一从节点及第二从节点之间传输数据的通道，也即第一从节点和第二从节点之间仍存在直接通讯的障碍。若将主节点加入并与所述第一从节点及所述第二从节点建立预设集群的集群通讯连接关系，则主节点可以作为中间件。

在所述主节点与所述第一从节点及所述第二从节点建立预设集群的集群通讯连接关系时，具体是组建Kubernetes集群。主节点在数据迁移过程中作为中间件，起到了第一从节点与第二从节点之间数据传输通道的作用。

目前的ETL工具(ETL是Extract、Transform和Load的简称，表示抽取-转换-加载)将源数据从源数据库迁移至目标数据库时，一般是将源数据整体从源数据库中进行抽取、清洗、转换和加载。清洗和转换通常的做法是从源数据库到目标数据库的过程中做清洗，将脏数据和不完整数据过滤掉，在从源数据库到目标数据库的过程中转换，进行一些业务规则的计算和聚合。由于ETL是极为复杂的过程，且通过人工编辑程序实现，导致数据迁移难度大。而将主节点中间件实现数据迁移，与目前的ETL工具迁移相比，只需在其中存储多种连接配置信息，能与采用不同数据架构形式的第一从节点及第二从节点建立连接并能实现数据读写(即能实现数据I/O功能)即可，无需在主节点中编辑过多程序，降低了整个数据迁移的难度。

一些实施方式中，若所述第一从节点中的数据架构信息与所述第二从节点中的数据架构信息相同，则所述主节点向所述第一从节点发送第一连接请求，并向所述第二从节点发送第二连接请求之后，所述在所述主节点接收到所述第一从节点基于所述第一连接请求返回的第一响应且接收到所述第二从节点基于所述第二连接请求返回的第二响应后，所述主节点、所述第一从节点及所述第二从节点建立预设集群的集群通讯连接关系之前，所述方法还包括：

所述主节点根据所述第一从节点或所述第二从节点中的数据架构信息确定预设集群配置信息。

在本申请实施例中，在由主节点、第一从节点及第二从节点建立预设集群的集群通讯连接关系时，还需要所述第一从节点及第二从节点均预先获取到对应的预设集群配置信息，然后完成集群配置后才能确保之后成功组建集群。此时在主节点中获取与所述第一从节点适配的预设集群配置信息，及所述第二从节点适配的预设集群配置信息时，需要先确定所述第一从节点中的数据架构信息与所述第二从节点中的数据架构信息是否相同。若所述第一从节点中的数据架构信息与所述第二从节点中的数据架构信息相同，则表示第一从节点及第二从节点中可以采用相同版本的预设集群配置信息，然后基于该预设集群配置信息分别在第一从节点及第二从节点中完成配置过程，以便于后续组建集群。

一些实施方式中，若所述第一从节点中的数据架构信息与所述第二从节点中的数据架构信息不相同，则所述主节点向所述第一从节点发送第一连接请求，并向所述第二从节点发送第二连接请求之后，所述在所述主节点接收到所述第一从节点基于所述第一连接请求返回的第一响应且接收到所述第二从节点基于所述第二连接请求返回的第二响应后，所述主节点、所述第一从节点及所述第二从节点建立预设集群的集群通讯连接关系之前，所述方法还包括：

所述主节点根据所述第一从节点中的数据架构信息确定第一预设集群配置信息；

所述主节点根据所述第二从节点中的数据架构信息确定第二预设集群配置信息。

在本申请实施例中，同样的在由主节点、第一从节点及第二从节点建立预设集群的集群通讯连接关系时，还需要所述第一从节点及第二从节点均预先获取到对应的预设集群配置信息，然后完成集群配置后才能确保之后成功组建集群。此时若所述第一从节点中的数据架构信息与所述第二从节点中的数据架构信息不相同，则表示第一从节点及第二从节点中不可以采用相同版本的预设集群配置信息，需要主节点根据所述第一从节点中的数据架构信息确定第一预设集群配置信息，且主节点根据所述第二从节点中的数据架构信息确定第二预设集群配置信息，之后基于第一预设集群配置信息在第一从节点完成配置过程，基于第二预设集群配置信息在第二从节点完成配置过程，以便于后续组建集群。

203、主节点获取用户数据查询请求并将所述用户数据查询请求发送至所述第一从节点。

在本申请实施例中，当完成了预设集群的组建后，消除了各节点之间数据传输的障碍，可更顺畅的进行数据迁移。为了更加便于进行数据迁移，可在主节点中提供可视化的用户交互界面，在该用户交互界面中，用户可以点击查询按钮触发针对第一从节点中数据的用户数据查询请求，或者是用户在输入栏中编辑待查询目标字段名称的查询语句后转换成用户数据查询请求。当在主节点中生成了用户数据查询请求后，即可由主节点将所述用户数据查询请求发送至所述第一从节点。

204、第一从节点根据所述用户数据查询请求获取待迁移数据，并发送至所述主节点。

在本申请实施例中，当第一从节点接收到了主节点发送的用户数据查询请求后，需要基于第一从节点从磁盘区域中提取到打散的数据，然后基于第一从节点中存储***的还原机制将数据碎片重组，得到第一从节点中所存储数据的源数据。在第一从节点中得到了源数据后，即可作为待迁移数据，并发送至所述主节点。

需要说明的是，第一从节点中若采取了如Ceph存储***、MySQL、Hadoop、HDFS其中一种数据架构形式存储***时，其对数据的存储处理采用了该数据架构形式存储***自有的数据打散机制，例如Ceph存储***是将源数据基于其自有的第一数据打散机制划分为多个数据碎片然后存储在第一从节点的磁盘区域，HDFS是将源数据基于其自有的第二数据打散机制划分为多个数据碎片然后存储在第一从节点的磁盘区域等。

第一从节点采用上述任意一种具体的存储***，且该存储***具有其自有的数据打散机制，只要是第一从节点接收到了主节点发送的用户数据查询请求后，第一从节点需要立即对其中的碎片数据进行快速还原，得到完成还原后的源数据再作为待迁移数据发送至所述主节点。而且，上述过程中也是充分利用第一从节点的数据I/O机制。

一些实施方式中，所述第一从节点根据所述用户数据查询请求获取待迁移数据，所述方法包括：

所述第一从节点根据所述用户数据查询请求获取源数据对应的碎片数据；

所述第一从节点将所述碎片数据进行还原得到源数据，并以所述源数据作为所述待迁移数据。

在本申请实施例中，例如仍以第一从节点中采取Ceph存储***为例，Ceph存储***是将源数据基于其自有的第一数据打散机制划分为多个数据碎片然后存储在第一从节点的磁盘区域。当第一从节点接收到了所述主节点发送的用户数据查询请求，需要先获取到第一从节点磁盘区域存储的所有与源数据相对应的碎片数据，然后将这些碎片数据组合后基于Ceph存储***的还原机制进行还原得到源数据。由于第一从节点中源数据的数据组织方式是遵循Ceph存储***的数据组织机制，若直接在第一从节点本地检索与所述用户数据查询请求相应目标用户的目标数据时，仍然会继承第一从节点本地的Ceph存储***检索数据的方式，不能有效提升目标数据的获取效率。故为了避免直接在第一从节点本地进行目标数据的获取，可以先第一从节点中将碎片数据进行还原得到源数据，并以所述源数据作为所述待迁移数据全部发送至主节点即可。之后在主节点中对源数据进行目标数据检索，无需遵循第一从节点本地的Ceph存储***检索数据的方式。

其中，在主节点中对所述待迁移数据进行检索时，只需简单的编写查询语句或者是基于主节点对待迁移数据解析后得到的可视化数据表格进行目标字段选定，即可快速的得到后续需要传输至第二从节点的数据。

205、主节点响应于所述用户数据查询请求，对所述待迁移数据进行数据筛选得到目标迁移数据并发送给所述第二从节点保存。

在本申请实施例中，当主节点接收到所述待迁移数据后，基于主节点本地预设的数据存储机制将所述待迁移数据数据进行重新组织，数据存储方式不再参照所述待迁移数据在第一从节点中的存储方式。之前由主节点向所述第一从节点发送所述用户数据查询请求是为了触发第一从节点将所述待迁移数据全部发送至主节点，并未在第一从节点中查询获取所述用户数据查询请求对应的目标迁移数据。

故此时在主节点中解析是该用户数据查询请求中包括的用户账户信息，以确定是哪一用户需要进行数据迁移操作。在明确了需迁移数据的具体用户后，在所述待迁移数据中基于目标字段集为筛选条件进行数据筛选，得到所述目标迁移数据。可见，先由主节点从第一从节点获取到视为源数据的待迁移数据后，在主节点中快速的获取到用户这一细粒度的目标迁移数据，而非获取主节点中的全量数据，之后只迁移用户相关的目标迁移数据能有效减少数据迁移量。

一些实施方式中，所述第一从节点根据所述用户数据查询请求获取待迁移数据之后，所述方法还包括：

所述第一从节点对所述待迁移数据进行对称加密，以更新所述待迁移数据；

所述主节点响应于所述用户数据查询请求，对所述待迁移数据进行数据筛选得到目标迁移数据之前，所述方法还包括：

所述主节点获取对所述待迁移数据进行对称解密，以更新所述待迁移数据；其中，所述第一从节点对所述待迁移数据进行对称加密采用第一密钥，所述主节点对所述待迁移数据进行对称解密时采用第二密钥，所述第一密钥与所述第二密钥相同。

在本申请实施例中，为了提高数据迁移的安全性，可以在将所述待迁移数据从第一从节点迁移至主节点之前，由第一从节点中对所述待迁移数据进行对称加密，以更新所述待迁移数据，即更新后的待迁移数据是加密后数据。

之后当主节点接收到所述待迁移数据后，需要进行对称解密以将其还原成明文状态。若所述第一从节点对所述待迁移数据进行对称加密采用第一密钥，在在所述主节点对所述待迁移数据进行对称解密时采用与所述第一密钥相同的第二密钥，从而实现将加密状态的待迁移数据还原成了明文状态的待迁移数据。可见，由于第一从节点传输的加密状态的待迁移数据至主节点，主节点接收后再解密还原，所以即使加密状态的待迁移数据被拦截后也无法轻易被解密，提高了数据迁移过程的安全性。

当在主节点中基于用户数据查询请求在所述待迁移数据中获取到了所述目标迁移数据后，再由主节点将所述目标迁移数据发送至第二从节点对应的目标存储服务器中进行保存。而且，所述第二从节点在存储所述目标迁移数据时，也会基于第二从节点的目标存储服务器中自有的数据打散机制，将目标迁移数据划分为多个数据碎片然后存储在第二从节点的磁盘区域。

可见，通过本方案，在数据迁移场景中，主节点先向第一从节点发送第一连接请求，并向第二从节点发送第二连接请求，然后在主节点分别接收到第一从节点发送的第一响应且接收到第二从节点发送的第二响应则主节点、第一从节点及第二从节点建立预设集群的集群通讯连接关系，之后主节点在发送用户数据查询请求至第一从节点后，获取到第一从节点传输其中全部存储的数据作为待迁移数据，最后在主节点中作为中间件从待迁移数据中基于用户数据查询请求筛选目标迁移数据并发送至第二从节点进行保存。由于通过主节点作为数据中转站，一方面可以避免第一从节点与第二从节点之间因数据架构方式不同不能直接迁移数据的问题，另一方面还可以在主节点中更细粒度的基于用户数据查询请求进行数据筛选得到目标迁移数据后再迁移至第二从节点。

参阅图4为本申请实施例中数据迁移***的一种结构示意图。如图4所示的一种数据迁移***的结构示意图，其可应用于大数据的数据迁移等场景。本申请实施例中的数据迁移***能够实现对应于上述图2所对应的实施例中所执行的数据迁移方法的步骤。数据迁移***实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。如图4所示所述数据迁移***1包括主节点10、第一从节点20及第二从节点30，主节点包括第一收发模块和第一处理模块，第一从节点包括第二收发模块和第二处理模块，第二从节点包括第三收发模块和第三处理模块，所述第一收发模块、第一处理模块，第二收发模块、第二处理模块、第三收发模块和第三处理模块的功能实现可参考图2所对应的实施例中所执行的操作，此处不作赘述。

一些实施方式中，所述数据迁移***1包括主节点10、第一从节点20及第二从节点30，主节点包括第一收发模块和第一处理模块，第一从节点包括第二收发模块和第二处理模块，第二从节点包括第三收发模块和第三处理模块；

所述第一收发模块，用于向所述第一从节点发送第一连接请求，并向所述第二从节点发送第二连接请求；其中，所述第一从节点为源数据存储服务器，所述第二从节点为目标存储服务器；

所述第一处理模块，用于若接收到所述第一从节点发送的第一响应且接收到所述第二从节点发送的第二响应，则所述主节点、所述第一从节点及所述第二从节点建立预设集群的集群通讯连接关系；

所述第一收发模块，还用于获取用户数据查询请求并将所述用户数据查询请求发送至所述第一从节点；

所述第二处理模块，用于所述第一从节点根据所述用户数据查询请求获取待迁移数据，并发送至所述主节点；

所述第一处理模块，还用于将所述待迁移数据基于所述用户数据查询请求进行数据筛选得到目标迁移数据；

所述第三收发模块，用于接收所述主节点发送的所述目标迁移数据并保存。

可见，通过本方案，在数据迁移场景中，主节点先向第一从节点发送第一连接请求，并向第二从节点发送第二连接请求，然后在主节点分别接收到第一从节点发送的第一响应且接收到第二从节点发送的第二响应则主节点、第一从节点及第二从节点建立预设集群的集群通讯连接关系，之后主节点在发送用户数据查询请求至第一从节点后，获取到第一从节点传输其中全部存储的数据作为待迁移数据，最后在主节点中作为中间件从待迁移数据中基于用户数据查询请求筛选目标迁移数据并发送至第二从节点进行保存。由于通过主节点作为数据中转站，一方面可以避免第一从节点与第二从节点之间因数据架构方式不同不能直接迁移数据的问题，另一方面还可以在主节点中更细粒度的基于用户数据查询请求进行数据筛选得到目标迁移数据后再迁移至第二从节点。

上面从模块化功能实体的角度对本申请实施例中的数据迁移***进行了描述，下面从硬件处理的角度分别对本申请实施例中的数据迁移***进行描述。

需要说明的是，在本申请实施例各实施例(包括图4所示的各实施例)中所有的收发模块对应的实体设备可以为收发器，所有的处理模块对应的实体设备可以为处理器。当其中一种装置具有如图4所示的结构时，处理器、收发器和存储器实现前述对应该装置的装置实施例提供的所述收发模块和所述处理模块相同或相似的功能，图5中的存储器存储处理器执行上述数据迁移方法时需要调用的计算机程序。

图4所示的***可以具有如图5所示的结构，当图4所示的***具有如图5所示的结构时，图5中的处理器能够实现前述对应该装置的装置实施例提供的处理模块相同或相似的功能，图5中的收发器能够实现前述对应该装置的装置实施例提供的收发模块相同或相似的功能，图5中的存储器存储处理器执行上述数据迁移方法时需要调用的计算机程序。在本申请实施例图4所示的实施例中的收发模块所对应的实体设备可以为输入输出接口，处理模块对应的实体设备可以为处理器。

本申请实施例还提供了另一种终端设备，如图6所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(英文全称：Personal Digital Assistant，英文简称：PDA)、销售终端(英文全称：Point ofSales，英文简称：POS)、车载电脑等任意终端设备，以终端为手机为例：

图6示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图6，手机包括：射频(英文全称：Radio Frequency，英文简称：RF)电路610、存储器620、输入单元630、显示单元640、传感器650、音频电路660、无线保真(英文全称：wirelessfidelity，英文简称：WiFi)模块670、处理器680、以及电源690等部件。本领域技术人员可以理解，图6中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图6对手机的各个构成部件进行具体的介绍：

RF电路610可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器680处理；另外，将设计上行的数据发送给基站。通常，RF电路610包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(英文全称：LowNoise Amplifier，英文简称：LNA)、双工器等。此外，RF电路610还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯***(英文全称：Global System of Mobile communication，英文简称：GSM)、通用分组无线服务(英文全称：General Packet Radio Service，英文简称：GPRS)、码分多址(英文全称：Code Division Multiple Access，英文简称：CDMA)、宽带码分多址(英文全称：Wideband Code Division Multiple Access,英文简称：WCDMA)、长期演进(英文全称：LongTerm Evolution，英文简称：LTE)、电子邮件、短消息服务(英文全称：Short MessagingService，英文简称：SMS)等。

存储器620可用于存储软件程序以及模块，处理器680通过运行存储在存储器620的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元630可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元630可包括触控面板631以及其他输入设备632。触控面板631，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板631上或在触控面板631附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板631可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器680，并能接收处理器680发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板631。除了触控面板631，输入单元630还可以包括其他输入设备632。具体地，其他输入设备632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元640可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元640可包括显示面板641，可选的，可以采用液晶显示器(英文全称：LiquidCrystal Display，英文简称：LCD)、有机发光二极管(英文全称：Organic Light-EmittingDiode,英文简称：OLED)等形式来配置显示面板641。进一步的，触控面板631可覆盖显示面板641，当触控面板631检测到在其上或附近的触摸操作后，传送给处理器680以确定触摸事件的类型，随后处理器680根据触摸事件的类型在显示面板641上提供相应的视觉输出。虽然在图6中，触控面板631与显示面板641是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板631与显示面板641集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器650，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板641的亮度，接近传感器可在手机移动到耳边时，关闭显示面板641和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路660、扬声器661，传声器662可提供用户与手机之间的音频接口。音频电路660可将接收到的音频数据转换后的电信号，传输到扬声器661，由扬声器661转换为声音信号输出；另一方面，传声器662将收集的声音信号转换为电信号，由音频电路660接收后转换为音频数据，再将音频数据输出处理器680处理后，经RF电路610以发送给比如另一手机，或者将音频数据输出至存储器620以便进一步处理。

Wi-Fi属于短距离无线传输技术，手机通过Wi-Fi模块670可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图6示出了Wi-Fi模块670，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变申请的本质的范围内而省略。

处理器680是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器620内的软件程序和/或模块，以及调用存储在存储器620内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器680可包括一个或多个处理单元；优选的，处理器680可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器680中。

手机还包括给各个部件供电的电源690(比如电池)，电源可以通过电源管理***与处理器680逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本申请实施例中，该手机所包括的处理器680还具有控制执行以上由图2所示的数据迁移方法的流程图。

图7是本申请实施例提供的一种服务器结构示意图，该服务器720可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(英文全称：centralprocessing units，英文简称：CPU)722(例如，一个或一个以上处理器)和存储器732，一个或一个以上存储应用程序742或数据744的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器732和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器722可以设置为与存储介质730通信，在服务器720上执行存储介质730中的一系列指令操作。

服务器720还可以包括一个或一个以上电源726，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口758，和/或，一个或一个以上操作***741，例如Windows Server，Mac OS X，Unix,Linux，FreeBSD等等。

上述实施例中由服务器所执行的步骤可以基于该图7所示的服务器720的结构。例如上述实施例中由图2所示的主节点所执行的步骤可以基于该图7所示的服务器结构。例如，所述中央处理器722通过调用存储器732中的指令，执行以下操作：

通过输入输出接口758向所述第一从节点发送第一连接请求，并向所述第二从节点发送第二连接请求；其中，所述第一从节点为源数据存储服务器，所述第二从节点为目标存储服务器；

在所述主节点接收到所述第一从节点基于所述第一连接请求返回的第一响应且接收到所述第二从节点基于所述第二连接请求返回的第二响应后，所述主节点、所述第一从节点及所述第二从节点建立预设集群的集群通讯连接关系；

所述主节点获取用户数据查询请求并将所述用户数据查询请求发送至所述第一从节点；

所述第一从节点根据所述用户数据查询请求获取待迁移数据，并发送至所述主节点；

所述主节点响应于所述用户数据查询请求，对所述待迁移数据进行数据筛选得到目标迁移数据；

所述第二从节点接收所述主节点发送的所述目标迁移数据并保存。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请实施例所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请实施例各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

以上对本申请实施例所提供的技术方案进行了详细介绍，本申请实施例中应用了具体个例对本申请实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请实施例的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请实施例的限制。

Claims (10)

1.一种数据迁移方法，应用于数据迁移***，所述数据迁移***包括主节点、第一从节点和第二从节点，其特征在于，所述第一从节点为源数据存储服务器，所述第二从节点为目标存储服务器，所述方法包括：

所述主节点向所述第一从节点发送第一连接请求，并向所述第二从节点发送第二连接请求；

在所述主节点接收到所述第一从节点基于所述第一连接请求返回的第一响应且接收到所述第二从节点基于所述第二连接请求返回的第二响应后，所述主节点、所述第一从节点及所述第二从节点建立预设集群的集群通讯连接；

所述主节点获取用户数据查询请求并将所述用户数据查询请求发送至所述第一从节点；

所述第一从节点根据所述用户数据查询请求获取待迁移数据，并发送至所述主节点；

所述主节点响应于所述用户数据查询请求，对所述待迁移数据进行数据筛选得到目标迁移数据并发送给所述第二从节点保存。

2.根据权利要求1所述的方法，其特征在于，所述第一从节点根据所述用户数据查询请求获取待迁移数据，所述方法包括：

所述第一从节点根据所述用户数据查询请求获取源数据对应的碎片数据；

将所述碎片数据进行还原得到源数据，并以所述源数据作为所述待迁移数据。

3.根据权利要求2所述的方法，其特征在于，所述主节点响应于所述用户数据查询请求，对所述待迁移数据进行数据筛选得到目标迁移数据，所述方法包括：

所述主节点获取所述用户数据查询请求中的用户账号信息和目标字段集，并根据所述目标字段集和用户账号信息在所述待迁移数据进行数据筛选，得到目标迁移数据。

4.根据权利要求3所述的方法，其特征在于，所述第一从节点根据所述用户数据查询请求获取待迁移数据之后，所述方法还包括：

所述第一从节点对所述待迁移数据进行对称加密，以更新所述待迁移数据；

所述主节点响应于所述用户数据查询请求，对所述待迁移数据进行数据筛选得到目标迁移数据之前，所述方法还包括：

所述主节点获取对所述待迁移数据进行对称解密，以更新所述待迁移数据；其中，所述第一从节点对所述待迁移数据进行对称加密采用第一密钥，所述主节点对所述待迁移数据进行对称解密时采用第二密钥，所述第一密钥与所述第二密钥相同。

5.根据权利要求1-4中任一项所述的方法，其特征在于，若所述第一从节点中的数据架构信息与所述第二从节点中的数据架构信息相同，则所述主节点向所述第一从节点发送第一连接请求，并向所述第二从节点发送第二连接请求之后，所述在所述主节点接收到所述第一从节点基于所述第一连接请求返回的第一响应且接收到所述第二从节点基于所述第二连接请求返回的第二响应后，所述主节点、所述第一从节点及所述第二从节点建立预设集群的集群通讯连接之前，所述方法还包括：

根据所述第一从节点或所述第二从节点中的数据架构信息确定预设集群配置信息。

6.根据权利要求1-4中任一项所述的方法，其特征在于，若所述第一从节点中的数据架构信息与所述第二从节点中的数据架构信息不相同，则所述主节点向所述第一从节点发送第一连接请求，并向所述第二从节点发送第二连接请求之后，所述在所述主节点接收到所述第一从节点基于所述第一连接请求返回的第一响应且接收到所述第二从节点基于所述第二连接请求返回的第二响应后，所述主节点、所述第一从节点及所述第二从节点建立预设集群的集群通讯连接之前，所述方法还包括：

根据所述第一从节点中的数据架构信息确定第一预设集群配置信息；

根据所述第二从节点中的数据架构信息确定第二预设集群配置信息。

7.根据权利要求1-4中任一项所述的方法，其特征在于，所述主节点向所述第一从节点发送第一连接请求，并向所述第二从节点发送第二连接请求之后，所述方法还包括：

主节点接收所述第一从节点发送的第一数据架构信息，并基于所述第一数据架构信息确定第一连接配置信息；

主节点接收所述第二从节点发送的第二数据架构信息，并基于所述第二数据架构信息确定第二连接配置信息。

8.一种数据迁移***，其特征在于，所述数据迁移***包括主节点、第一从节点和第二从节点，所述数据迁移***用于执行如权利要求1-7中任一项所述的方法。

9.一种数据迁移装置，其特征在于，所述装置包括：

至少一个处理器、存储器和收发器；

其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的计算机程序来执行如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-7中任一项所述的方法。

Images