CN114615263A - 集群在线迁移方法、装置、设备及存储介质 - Google Patents
集群在线迁移方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114615263A CN114615263A CN202210124234.1A CN202210124234A CN114615263A CN 114615263 A CN114615263 A CN 114615263A CN 202210124234 A CN202210124234 A CN 202210124234A CN 114615263 A CN114615263 A CN 114615263A
- Authority
- CN
- China
- Prior art keywords
- cluster
- data
- service
- cluster system
- online migration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供集群在线迁移方法、装置、设备及存储介质,方法包括:响应于集群在线迁移指令,从所述集群在线迁移指令对应的第一集群***中将所述集群在线迁移指令对应的第一集群数据迁移至所述集群在线迁移指令对应的第二集群***;确定所述第一集群数据在所述第二集群***中的存储路径,并根据所述存储路径将所述第一集群数据对应的业务应用的业务访问地址修改为所述第二集群***中的地址。该方案在进行数据迁移时无需暂停业务。
Description
技术领域
本申请涉及大数据迁移领域,尤其涉及集群在线迁移方法、装置、设备及存储介质。
背景技术
集群技术,是近来随着互联网发展而兴起的一种技术,其通过高速网络将一组相互独立的计算机连接,组成一个能统一管理调度的集群***,用于处理各种大数据场景下的业务,从而提高服务的可扩展性和可靠性。为了保证大数据场景下的业务能够正常运行,集群***中通常是存储了海量的数据,以支持大数据场景下的各种业务。
在一些情况下,一个集群***中存储的数据需要迁移至另一个集群***。在进行数据迁移时,一般是需要暂停大数据业务,待所有的数据均迁移完毕后再恢复业务。由于大数据场景下需要迁移的数据较多,会导致暂停业务的时间过长,不利于大数据业务的正常开展。
发明内容
本申请提供集群在线迁移方法、装置、设备及存储介质,以解决迁移的数据较多而导致的业务暂停时间较长的技术问题。
第一方面,提供一种集群在线迁移方法,包括:
响应于集群在线迁移指令,从所述集群在线迁移指令对应的第一集群***中将所述集群在线迁移指令对应的第一集群数据迁移至所述集群在线迁移指令对应的第二集群***;
确定所述第一集群数据在所述第二集群***中的存储路径,并根据所述存储路径将所述第一集群数据对应的第一业务应用的业务访问地址修改为所述第二集群***中的地址。
在该技术方案中,当接收到集群在线迁移指令时,根据集群在线迁移指令将该集群在线迁移指令对应的集群数据迁移到新的集群***,并确定已经迁移的集群数据在新的集群***中的存储路径,并根据已经迁移的集群数据在新的集群***中的存储路径,将该已经迁移的集群系数数据对应的业务应用的业务访问地址修改为新的集群***中的地址,使得业务应用的业务访问地址能够实时随集群数据的存储位置改变而改变,这样在进行数据迁移时访问业务应用也能获取到相应的业务数据,保证业务应用能够正常访问和使用,无需暂停业务应用,有利于大数据业务的正常开展。
结合第一方面,在一种可能的实现方式中,所述根据所述存储路径将所述第一集群数据对应的第一业务应用的业务访问地址修改为所述第二集群***中的地址之后,还包括:在接收到针对所述第一业务应用的第一访问请求的情况下,根据所述存储路径,从所述第二集群***中获取第一访问请求对应的第一业务数据,并根据所述第一业务数据对所述第一访问请求进行业务响应。当接收到针对已经迁移的集群数据对应的业务应用的访问请求的情况下,直接根据已经迁移的集群数据新的存储路径,从新的集群***中获取业务数据进行响应,这样能够做到及时响应,无需暂停业务。
结合第一方面,在一种可能的实现方式中,所述方法还包括:在接收到针对第二集群数据对应的第二业务应用的第二访问请求的情况下,从所述第一集群***中获取所述第二访问请求对应的第二业务数据,并根据所述第二业务数据对所述第二访问请求进行业务响应,其中,所述第二集群数据是指还未迁移至所述第二集群***的集群数据。当接收到针对还未迁移的集群数据的业务应用的访问请求的情况下,从旧的集群***中获取业务数据进行响应,可以保证业务的正常运行。
结合第一方面,在一种可能的实现方式中,所述从所述集群在线迁移指令对应的第一集群***中将所述集群在线迁移指令对应的第一集群数据迁移至所述集群在线迁移指令对应的第二集群***,包括:调用分布式文件管理***的接口,从所述第一集群***中获取与所述集群在线迁移指令对应的第三业务数据,并将所述第三业务数据迁移至所述第二集群***中保存;在所述第一集群***中确定所述第三业务数据对应的元数据;调用数据仓库工具的接口,从所述第一集群***中获取所述元数据,并将所述元数据迁移至所述第二集群***中进行保存。通过分别调用分布式文件管理***和数据仓库工具的接口,能够将业务数据、元数据等各种相关的集群数据一并迁移到新的进群***中、,从而能够保证能够完整地迁移数据。
结合第一方面,在一种可能的实现方式中,所述调用数据仓库工具的接口,从所述第一集群***中获取所述元数据,将所述元数据迁移至所述第二集群***中进行保存之后,还包括:基于所述第三业务数据在所述第二集群***中的存储路径,对所述元数据进行更新,以使所述元数据与所述第三业务数据在所述第二集群***中适配。
结合第一方面,在一种可能的实现方式中,所述调用数据仓库工具的接口,从所述第一集群***中获取所述元数据,将所述元数据迁移至所述第二集群***中进行保存之前,还包括:对所述元数据进行复制备份。在对元数据进行迁移保存之前,通过对需迁移的元数据进行复制备份,能够在数据迁移出现问题的情况下,根据备份的元数据重新进行迁移,从而能够保证数据迁移的正常进行。
结合第一方面,在一种可能的实现方式中,所述根据所述存储路径将所述第一集群数据对应的第一业务应用的业务访问地址修改为所述第二集群***中的地址,包括:基于Knox组件为部署于所述第一集群***中的所有业务应用设置服务代理,并根据所述存储路径通过所述Knox组件修改所述第一业务应用的路由配置,以将所述第一业务应用的业务访问地址修改为所述第二集群***中的地址。通过利用Knox组件来为所有的业务应用代理并修改已经迁移的集群数据的业务应用的路由配置的方式,在迁移数据时只需要更改业务应用的路由配置即可保证业务应用能够正常获取到数据,从而进行正常访问和使用,无需修改业务应用的业务配置,可以简化数据迁移的流程步骤。
第二方面,提供一种集群在线迁移装置,包括:
数据迁移模块,用于响应于集群在线迁移指令,从所述集群在线迁移指令对应的第一集群***中将所述集群在线迁移指令对应的第一集群数据迁移至所述集群在线迁移指令对应的第二集群***;
地址配置模块,用于确定所述第一集群数据在所述第二集群***中的存储路径,并根据所述存储路径修改所述第一集群数据对应的业务应用的路由配置,以将所述业务应用的业务访问地址修改为所述第二集群***中的地址。
第三方面,提供一种计算机设备,包括存储器以及一个或多个处理器,一个或多个处理器用于执行存储在存储器中的一个或多个计算机程序,一个或多个处理器在执行一个或多个计算机程序时,使得该计算机设备实现上述第一方面的集群在线迁移方法。
第四方面,提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序包括程序指令,上述程序指令当被处理器执行时使上述处理器执行上述第一方面的集群在线迁移方法。
本申请可以实现如下技术效果:使得业务应用的业务访问地址能够实时随集群数据的存储位置改变而改变,这样在进行数据迁移时访问业务应用也能获取到相应的业务数据,保证业务应用能够正常访问和使用,无需暂停业务应用,有利于大数据业务的正常开展。
附图说明
图1为本申请实施例提供的一种集群在线迁移方法的流程示意图;
图2为本申请示例提供的一种基于Knox组件进行代理的架构示意图;
图3是本申请实施例提供的一种集群在线迁移装置的结构示意图;
图4是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
本申请的技术方案用于在大数据业务场景下对集群***中存储的海量数据进行迁移。其中,本申请的技术原理为:在对海量的数据进行迁移过程中,对于要迁移至新的集群***中的第一集群数据,在将该第一集群数据迁移至新的集群***时,根据该第一集群数据在新的集群***中的存储路径,对应将该第一集群数据对应的业务应用的业务访问地址修改为该新的集群***中的地址,这样,业务应用的业务访问地址可以随业务应用对应的集群数据的存储位置改变而改变,使得业务应用在进行数据迁移时也能进行正常访问和运行,无需暂停业务应用,保证大数据业务的正常开展。
为便于理解,首先介绍本申请涉及的一些概念。
1、集群***,又可以称为计算机集群,是指将通过高速网络将一组松散集成的计算机软件和/或硬件连接在一起,相互紧密协作以完成计算,相当于通过多台计算机组合完成一台计算机需执行的工作。在集群***中,单台计算机可以视为一个计算节点,用以完成部分计算任务,多台计算计算机协同完成整个计算任务。具体地,集群***可包括服务器集群和/或数据库集群。
2、业务应用,是指运行在集群***上用于实现业务功能的应用,一个业务应用可用于实现一种或多种业务功能,例如,一个业务应用可用于实现用户下单、用户还款等功能。
3、集群数据,指为支撑业务应用正常运行所存储在集群***中的海量数据,其中,集群数据业务数据和元数据,业务数据可存储在集群***的分布式文件管理***中,元数据可存储在集群***的数据库工具中。
4、业务数据,指业务应用运行所使用的数据,可以理解为业务应用运行进行数据库调用(如增删查改)的直接对象。业务数据包括但不限于业务应用响应业务请求所需的各种业务资源数据、业务应用采集并存储的用户业务数据等。具体地,业务数据可包括文本数据、图像数据、文件数据等。本申请实施例中,存储于集群***中除元数据以外的数据均可以称之为业务数据。业务数据在本***中通常通过数据库库表的形式进行访问。
5、元数据,为一种功能性数据,用以描述业务数据的属性,其中,元数据可用于指示存储位置、库表名称、库表结构、字段描述、存储格式、资源查找和文件记录等。
6、分布式文件管理***,是指通过计算机网络将多个节点相连组成的,用以分布式存储数据的***网络,其中,分布式文件***中的每个节点可以分布在不同的地点,通过网络进行节点间的通信和数据传输。分布式文件管理***是支撑集群***正常运行的必要***。示例性地,分布式文件管理***可以为Hadoop***。
7、数据仓库工具,是指运行于集群***中用于对分布式管理***中存储的业务数据进行管理(如提取、转换、加载、查询等)的工具。其中,数据仓库工具一般具有对海量数据进行管理的能力、强大的索引功能、对数据的索引能力。示例性的,数据仓库工具可以为Hive。
以下具体介绍本申请的技术方案。
参见图1,图1为本申请实施例提供的一种集群在线迁移方法的流程示意图,该方法可应用于各种应用设备上,如服务器、服务器集群、个人电脑等。如图1所示,该方法包括如下步骤:
S101,响应于集群在线迁移指令,从集群在线迁移指令对应的第一集群***中将集群在线迁移指令对应的第一集群数据迁移至集群在线迁移指令对应的第二集群***。
本申请实施例中,集群在线迁移指令是指用于指示进行集群数据迁移的指令,集群数据迁移指令指示了集群数据迁移的多个对象,集群数据迁移的多个对象包括需要迁移的集群数据、需要迁移的集群数据所在的集群***(即原来的集群***)、需要迁移的集群数据需迁移至的集群***(即新的集群***)。
在一些可能的实施场景中,集群数据迁移指令可以由用户发出。其中,用户可以通过web页面或客户端页面或操作管理命令等指定集群数据迁移的对象并确认,在用户确认的情况下,则获取到集群在线迁移指令。例如,运维人员可通过预先开发的集群数据迁移工具指定需迁移的集群数据、需迁移的集群数据所在的集群***以及需迁移的集群数据需迁移至的集群***。
在另一些可能的实施场景中,集群数据迁移指令也可以为符合条件自动触发的指令。例如,运维人员可以预先设置好集群数据迁移的触发条件(如触发时间)和集群数据迁移的对象,当符合预设的触发条件时,则触发集群数据迁移指令,进行集群数据迁移。本申请不对集群在线迁移指令的触发情况进行限制。
本申请实施例中,第一集群数据是指需要迁移的集群数据,第一集群***是指存储有第一集群数据的集群***,也即前述的原来的集群***,第二集群***是指即将用于存储第一集群数据的集群***,也即前述的新的集群***。第一集群数据、第一集群***以及第二集群***均可以基于集群在线迁移指令获得。
从第一集群***中将第一集群数据迁移至第二集群***,是指将第一集群数据从第一集群***传输至第二集群***进行存储。具体地,可以通过如下步骤对第一集群数据进行迁移:
A1、调用分布式文件管理***的接口,从第一集群***中获取与集群在线迁移指令对应的第三业务数据,并将第三业务数据迁移至第二集群***中保存。
其中,第三业务数据是指存储于第一集群***中待迁移至第二集群***的业务数据,第三业务数据又集群在线迁移指令进行指示。
在一种具体实现方式,可以通过调用分布式文件管理***的接口,执行分布式文件管理***的数据管理命令,将第三业务数据导出到用于存储待传输的集群数据的指定目录中,然后执行分布式文件管理***的数据传输命令,将第三业务数据从指定目录中传输到第二集群***。
以第一集群***和第二集群***的分布式文件管理***均为Hadoop为例,首先可以通过hadoop distcp命令导出第一集群***中的业务数据到第二集群***的分布式文件***(Hadoop Distributed File System,HDFS)指定目录,示例性地,distcp命令可以为:hadoop distcp-skipcrccheck-update hftp://host:50070/user/hive/warehouse/db_name.db/table_name/hdfs://nameservice1/user/hive/warehouse/desc_db_name.db/table_name/。
可选地,也可以通过调用分布式文件管理***的接口,直接将第三业务数据传输到第二集群***。例如,可以执行如下命令:
hadoop distcp–skipcrccheck-update hftp://host:50070/user/risk hdfs://nameservice1/user/risk
以将第三业务数据传输到第二集群***。
A2、在第一集群***中确定第三业务数据对应的元数据。
这里,第三业务数据对应的元数据是指用于描述第三业务数据的属性的元数据,可用于指示第三业务数据的存储位置、库表名称、库表结构、字段描述、存储格式、资源查找和文件记录等。第三业务数据对应的元数据的类型与第一业务数据相关,包括不限于前述提到的存储元数据、计算元数据和应用元数据等。
A3、调用数据仓库工具的接口,从第一集群***中获取第三业务数据对应的元数据,并将第三业务数据对应的元数据迁移至第二集群***中进行存储。
在一种具体实现方式中,可以调用数据仓库工具的接口,执行数据仓库工具的元数据获取命令,从第一集群***中获取第三业务数据对应的元数据,然后执行数据仓库工具的元数据导入命令,将第三业务数据对应的元数据迁移到第二集群中进行存储。例如,可以通过如下命令:
hive-e'show create table table_name;'
>xxx.sql
从第一集群***中获取第三业务数据对应的元数据;然后通过如下命令:
hive-f xxx.sql
将第三业务数据对应的元数据导入至第二集群***。
通过分别调用分布式文件管理***和数据仓库工具的接口,能够将业务数据、元数据等各种相关的集群数据一并迁移到新的进群***中,从而保证能够完整地迁移数据。
可选地,在一些可能的情况中,在将第三业务数据对应的元数据迁移至所述第二集群***中进行保存之后,还可以基于第三业务数据在第二集群***中的存储路径,对第三业务数据对应的元数据进行更新,以使第三业务数据对应的元数据与第三业务数据在第二集群***中适配。
其中,第三业务数据对应的元数据与第三业务数据在第二集群***中适配,是指更新后的第三业务数据对应的元数据能够在第二集群***中用以描述第三业务数据在第二集群***中的属性。
举例进行说明,例如,第三业务数据在第一集群***中的存储路径为user1/data1/xxx,在迁移至第二集群***中后,存储路径变为user2/data2/xxx,由于第三业务数据的存储路径发生了变化,因此,需要将第三业务数据对应的元数据中的存储路径更新为user2/data2/xxx。
通过根据业务数据在新的集群中的存储路径,对与业务数据对应的元数据进行适配更新,能够保证业务的正常运行。
可选地,在一些可能的情况中,在将第三业务数据对应的元数据迁移至第二集群***中进行保存之前,还可以对第三业务数据对应的元数据进行复制备份。例如,可以将第三业务数据对应的元数据备份保存在预先设置的备份目录中。通过对需迁移的元数据进行复制备份,能够在数据迁移出现问题的情况下,根据备份的元数据重新进行迁移,从而能够保证数据迁移的正常进行。
S102,确定第一集群数据在第二集群***中的存储路径,并根据第一集群数据在第二集群***中的存储路径,将第一集群数据对应的第一业务应用的业务访问地址修改为第二集群***中的地址。
本申请实施例中,第一业务应用是指由第一集群数据提供数据支撑的业务应用,第一业务应用的数量可以有一个或多个,第一业务应用的数量与第一集群数据有关。第一业务应用的业务访问地址是指为第一业务应用提供数据与功能服务的分布式文件***的目录地址,可以理解为访问第一业务应用所直接访问的文件绝对路径地址。
根据第一集群数据在第二集群***中的存储路径,将第一业务应用的业务访问地址修改为第二集群***中的地址,是指,根据第一集群数据在第二集群***中的存储路径,将第一业务应用的业务访问地址修改为第二集群***中用于存储第一业务应用对应的分布式文件***地址。
在一种可行的方式中,可以通过服务代理和修改业务应用的路由配置的方式,来将第一业务应用的业务访问地址修改为第二集群***中的地址。
具体地,可以基于Knox组件为部署于第一集群***中的所有业务应用设置服务代理,并根据第一集群数据在第二集群***中的存储路径通过Knox组件修改第一业务应用的路由配置,以将第一业务应用的业务访问地址修改为第二集群***中的地址。
示例性地,可参考图2所示的***架构,基于Knox组件为部署于第一集群***中的所有业务应用设置服务代理后,Knox组件所在的代理服务器相当于一种业务网关。每个业务应用的访问请求均会到达Knox组件所在的代理服务器,由代理服务器进行转发处理。其中,代理服务器根据业务应用的路由配置,对访问请求进行转发,以将访问请求转发到与路由配置对应的计算地址上去。通过更改第一业务应用的路由配置,使得第一业务应用的路由配置指向第二集群***中的第一业务应用对应的业务数据所在的集群地址,代理服务器就可以将针对第一业务应用的访问请求转发到第二集群***,这样就将第一业务应用的业务访问地址修改为第二集群***中的地址。
通过利用Knox组件来为所有的业务应用代理并修改已经迁移的集群数据的业务应用的路由配置的方式,在迁移数据时只需要更改已经迁移的集群数据的业务应用的路由配置即可保证业务应用能够正常获取到数据,从而进行正常访问和使用,无需对业务应用的其他配置进行修改,可以简化数据迁移的流程步骤。
在上述技术方案中,当接收到集群在线迁移指令时,根据集群在线迁移指令将该集群在线迁移指令对应的集群数据迁移到新的集群***,并确定已经迁移的集群数据在新的集群***中的存储路径,并根据已经迁移的集群数据在新的集群***中的存储路径,将该已经迁移的集群系数数据对应的业务应用的业务访问地址修改为新的集群***中的地址,使得业务应用的业务访问地址能够实时随集群数据的存储位置改变而改变,这样在进行数据迁移时访问业务应用也能获取到相应的业务数据,保证业务应用能够正常访问和使用,无需暂停业务应用,有利于大数据业务的正常开展。
可选地,在一些可能的情况中,在接收到针对第一业务应用的第一访问请求的情况下,根据第一集群数据在第二集群***中的存储路径,从第二集群***中获取第一访问请求对应的第一业务数据,并根据第一业务数据对第一访问请求进行业务响应。
具体地,在基于Knox组件代理业务应用的情况下,针对第一业务应用的第一访问请求会发送至Knox组件所在的代理服务器,代理服务器可以查询第一业务应用的路由配置,第一业务应用的路由配置指向第二集群***中的第一目录,第一目录为第一业务应用对应的业务数据所在的目录,代理服务器将第一访问请求转发给第二集群,第二集群根据第一访问请求所需的内容,获取与第一访问请求对应的第一业务数据,将第一业务数据发送给代理服务器,代理服务器将第一业务数据发送给第一业务应用对应的请求端,从而完成对第一访问请求的业务响应。
当接收到针对已经迁移的集群数据对应的业务应用的访问请求的情况下,直接根据已经迁移的集群数据新的存储路径,从新的集群***中获取业务数据进行响应,这样能够做到及时响应,无需暂停业务。
可选地,在另一些可能的情况中,在接收到针对第二集群数据对应的第二业务应用的第二访问请求的情况下,从第一集群***中获取第二访问请求对应的第二业务数据,并根据第二业务数据对第二访问请求进行业务响应。其中,第二集群数据是指还未迁移至第二集群***的集群数据,第二业务应用是指又第二集群数据提供数据支撑的业务应用,第二业务应用可以有一个或多个,第二业务应用的数量与第二集群数据有关。
具体地,在基于Knox组件代理业务应用的情况下,针对第二业务应用的第一访问请求会发送至Knox组件所在的代理服务器,代理服务器查询第二业务应用的路由配置,由于第二业务应用的路由配置未修改,仍然指向第二集群***中用于存储第二集群数据的第二目录,代理服务器将第二访问请求转发给第二集群,获取与第二访问请求对应的第二业务数据,将第二业务数据发送给代理服务器,代理服务器将第二业务数据发送给第一业务应用对应的请求端,从而完成对第二访问请求的业务响应。
当接收到针对还未迁移的集群数据的业务应用的访问请求的情况下,从旧的集群***中获取业务数据进行响应,可以保证业务的正常运行。
上述介绍了本申请的方法,为了更好地实施本申请的方法,接下来介绍本申请的装置。
参见图3,图3是本申请实施例提供的一种集群在线迁移装置的结构示意图。如图3所示,该集群在线迁移装置30包括:
数据迁移模块301,用于响应于集群在线迁移指令,从所述集群在线迁移指令对应的第一集群***中将所述集群在线迁移指令对应的第一集群数据迁移至所述集群在线迁移指令对应的第二集群***;
地址配置模块302,用于确定所述第一集群数据在所述第二集群***中的存储路径,并根据所述存储路径将所述第一集群数据对应的第一业务应用的业务访问地址修改为所述第二集群***中的地址。
在一种可能的设计中,上述集群在线迁移装置30还包括业务响应模块303,在接收到针对所述第一业务应用的第一访问请求的情况下,根据所述存储路径,从所述第二集群***中获取第一访问请求对应的第一业务数据,并根据所述第一业务数据对所述第一访问请求进行业务响应。
在一种可能的设计中,业务响应模块303还用于在接收到针对第二集群数据对应的第二业务应用的第二访问请求的情况下,从所述第一集群***中获取所述第二访问请求对应的第二业务数据,并根据所述第二业务数据对所述第二访问请求进行业务响应,其中,所述第二集群数据是指还未迁移至所述第二集群***的集群数据。
在一种可能的设计中,上述数据迁移模块301具体用于:调用分布式文件管理***的接口,从所述第一集群***中获取与所述集群在线迁移指令对应的第三业务数据,并将所述第三业务数据迁移至所述第二集群***中保存;在所述第一集群***中确定所述第三业务数据对应的元数据;调用数据仓库工具的接口,从所述第一集群***中获取所述元数据,并将所述元数据迁移至所述第二集群***中进行保存。
在一种可能的设计中,上述数据迁移模块301具体用于:基于所述第三业务数据在所述第二集群***中的存储路径,对所述元数据进行更新,以使所述元数据与所述第三业务数据在所述第二集群***中适配。
在一种可能的设计中,上述数据迁移模块301还用于:对所述元数据进行复制备份。
在一种可能的设计中,地址配置模块302具体用于:基于Knox组件为部署于所述第一集群***中的所有业务应用设置服务代理,并根据所述存储路径通过所述Knox组件修改所述第一业务应用的路由配置,以将所述第一业务应用的业务访问地址修改为所述第二集群***中的地址。
需要说明的是,图3对应的实施例中未提及的内容可参见前述图1方法实施例的描述,这里不再赘述。
上述装置,当接收到集群在线迁移指令时,根据集群在线迁移指令将该集群在线迁移指令对应的集群数据迁移到新的集群***,并确定已经迁移的集群数据在新的集群***中的存储路径,并根据已经迁移的集群数据在新的集群***中的存储路径,将该已经迁移的集群系数数据对应的业务应用的业务访问地址修改为新的集群***中的地址,使得业务应用的业务访问地址能够实时随集群数据的存储位置改变而改变,这样在进行数据迁移时访问业务应用也能获取到相应的业务数据,保证业务应用能够正常访问和使用,无需暂停业务应用,有利于大数据业务的正常开展。
参见图4,图4是本申请实施例提供的一种计算机设备的结构示意图,该计算机设备40包括处理器401、存储器402。处理器401连接到存储器402,例如处理器401可以通过总线连接到存储器402。
处理器401被配置为支持该计算机设备40执行上述方法实施例中的方法中相应的功能。该处理器401可以是中央处理器(central processing unit,CPU),网络处理器(network processor,NP),硬件芯片或者其任意组合。上述硬件芯片可以是专用集成电路(application specific integrated circuit,ASIC),可编程逻辑器件(programmablelogic device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gatearray,FPGA),通用阵列逻辑(generic array logic,GAL)或其任意组合。
存储器402用于存储程序代码等。存储器402可以包括易失性存储器(volatilememory,VM),例如随机存取存储器(random access memory,RAM);存储器402也可以包括非易失性存储器(non-volatile memory,NVM),例如只读存储器(read-only memory,ROM),快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD);存储器402还可以包括上述种类的存储器的组合。
处理器401可以调用所述程序代码以执行以下操作:
响应于集群在线迁移指令,从所述集群在线迁移指令对应的第一集群***中将所述集群在线迁移指令对应的第一集群数据迁移至所述集群在线迁移指令对应的第二集群***;
确定所述第一集群数据在所述第二集群***中的存储路径,并根据所述存储路径将所述第一集群数据对应的第一业务应用的业务访问地址修改为所述第二集群***中的地址。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被计算机执行时使所述计算机执行如前述实施例所述的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only memory,ROM)或随机存储记忆体(Random Accessmemory,RAM)等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (10)
1.一种集群在线迁移方法,其特征在于,包括:
响应于集群在线迁移指令,从所述集群在线迁移指令对应的第一集群***中将所述集群在线迁移指令对应的第一集群数据迁移至所述集群在线迁移指令对应的第二集群***;
确定所述第一集群数据在所述第二集群***中的存储路径,并根据所述存储路径将所述第一集群数据对应的第一业务应用的业务访问地址修改为所述第二集群***中的地址。
2.根据权利要求1所述的方法,其特征在于,所述根据所述存储路径将所述第一集群数据对应的第一业务应用的业务访问地址修改为所述第二集群***中的地址之后,还包括:
在接收到针对所述第一业务应用的第一访问请求的情况下,根据所述存储路径,从所述第二集群***中获取第一访问请求对应的第一业务数据,并根据所述第一业务数据对所述第一访问请求进行业务响应。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在接收到针对第二集群数据对应的第二业务应用的第二访问请求的情况下,从所述第一集群***中获取所述第二访问请求对应的第二业务数据,并根据所述第二业务数据对所述第二访问请求进行业务响应,其中,所述第二集群数据是指还未迁移至所述第二集群***的集群数据。
4.根据权利要求1所述的方法,其特征在于,所述从所述集群在线迁移指令对应的第一集群***中将所述集群在线迁移指令对应的第一集群数据迁移至所述集群在线迁移指令对应的第二集群***,包括:
调用分布式文件管理***的接口,从所述第一集群***中获取与所述集群在线迁移指令对应的第三业务数据,并将所述第三业务数据迁移至所述第二集群***中保存;
在所述第一集群***中确定所述第三业务数据对应的元数据;
调用数据仓库工具的接口,从所述第一集群***中获取所述元数据,并将所述元数据迁移至所述第二集群***中进行保存。
5.根据权利要求4所述的方法,其特征在于,所述调用数据仓库工具的接口,从所述第一集群***中获取所述元数据,将所述元数据迁移至所述第二集群***中进行保存之后,还包括:
基于所述第三业务数据在所述第二集群***中的存储路径,对所述元数据进行更新,以使所述元数据与所述第三业务数据在所述第二集群***中适配。
6.根据权利要求4所述的方法,其特征在于,所述调用数据仓库工具的接口,从所述第一集群***中获取所述元数据,将所述元数据迁移至所述第二集群***中进行保存之前,还包括:
对所述元数据进行复制备份。
7.根据权利要求1所述的方法,其特征在于,所述根据所述存储路径将所述第一集群数据对应的第一业务应用的业务访问地址修改为所述第二集群***中的地址,包括:
基于Knox组件为部署于所述第一集群***中的所有业务应用设置服务代理,并根据所述存储路径通过所述Knox组件修改所述第一业务应用的路由配置,以将所述第一业务应用的业务访问地址修改为所述第二集群***中的地址。
8.一种集群在线迁移装置,其特征在于,包括:
数据迁移模块,用于响应于集群在线迁移指令,从所述集群在线迁移指令对应的第一集群***中将所述集群在线迁移指令对应的第一集群数据迁移至所述集群在线迁移指令对应的第二集群***;
地址配置模块,用于确定所述第一集群数据在所述第二集群***中的存储路径,并根据所述存储路径将所述第一集群数据对应的第一业务应用的业务访问地址修改为所述第二集群***中的地址。
9.一种计算机设备,其特征在于,包括存储器以及处理器,所述处理器用于执行存储在所述存储器中的一个或多个计算机程序,所述处理器在执行所述一个或多个计算机程序时,使得所述计算机设备实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210124234.1A CN114615263A (zh) | 2022-02-10 | 2022-02-10 | 集群在线迁移方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210124234.1A CN114615263A (zh) | 2022-02-10 | 2022-02-10 | 集群在线迁移方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114615263A true CN114615263A (zh) | 2022-06-10 |
Family
ID=81859325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210124234.1A Pending CN114615263A (zh) | 2022-02-10 | 2022-02-10 | 集群在线迁移方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114615263A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117390078A (zh) * | 2023-12-13 | 2024-01-12 | 中国对外经济贸易信托有限公司 | 数据处理方法、装置、存储介质和计算机设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105549904A (zh) * | 2015-12-08 | 2016-05-04 | 华为技术有限公司 | 一种应用于存储***中的数据迁移方法及存储设备 |
CN107105049A (zh) * | 2017-05-10 | 2017-08-29 | 腾讯科技(深圳)有限公司 | 数据迁移方法和装置 |
CN107391629A (zh) * | 2017-06-30 | 2017-11-24 | 北京奇虎科技有限公司 | 集群间数据迁移方法、***、服务器及计算机存储介质 |
CN109840253A (zh) * | 2019-01-10 | 2019-06-04 | 北京工业大学 | 企业级大数据平台架构 |
CN110334077A (zh) * | 2019-06-11 | 2019-10-15 | 无线生活(杭州)信息科技有限公司 | 数据库跨机房迁移的方法及装置 |
CN110569233A (zh) * | 2019-06-30 | 2019-12-13 | 华为技术有限公司 | 一种热点数据的管理方法、装置及*** |
CN111459415A (zh) * | 2020-04-15 | 2020-07-28 | 腾讯科技(深圳)有限公司 | 跨云数据迁移方法、装置、设备及存储介质 |
US20200293216A1 (en) * | 2017-11-24 | 2020-09-17 | Alibaba Group Holding Limited | Method, apparatus and electronic device for cloud service migration |
CN113946293A (zh) * | 2021-10-27 | 2022-01-18 | 北京达佳互联信息技术有限公司 | 集群数据迁移方法、装置、电子设备和存储介质 |
-
2022
- 2022-02-10 CN CN202210124234.1A patent/CN114615263A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105549904A (zh) * | 2015-12-08 | 2016-05-04 | 华为技术有限公司 | 一种应用于存储***中的数据迁移方法及存储设备 |
CN107105049A (zh) * | 2017-05-10 | 2017-08-29 | 腾讯科技(深圳)有限公司 | 数据迁移方法和装置 |
CN107391629A (zh) * | 2017-06-30 | 2017-11-24 | 北京奇虎科技有限公司 | 集群间数据迁移方法、***、服务器及计算机存储介质 |
US20200293216A1 (en) * | 2017-11-24 | 2020-09-17 | Alibaba Group Holding Limited | Method, apparatus and electronic device for cloud service migration |
CN109840253A (zh) * | 2019-01-10 | 2019-06-04 | 北京工业大学 | 企业级大数据平台架构 |
CN110334077A (zh) * | 2019-06-11 | 2019-10-15 | 无线生活(杭州)信息科技有限公司 | 数据库跨机房迁移的方法及装置 |
CN110569233A (zh) * | 2019-06-30 | 2019-12-13 | 华为技术有限公司 | 一种热点数据的管理方法、装置及*** |
CN111459415A (zh) * | 2020-04-15 | 2020-07-28 | 腾讯科技(深圳)有限公司 | 跨云数据迁移方法、装置、设备及存储介质 |
CN113946293A (zh) * | 2021-10-27 | 2022-01-18 | 北京达佳互联信息技术有限公司 | 集群数据迁移方法、装置、电子设备和存储介质 |
Non-Patent Citations (2)
Title |
---|
XIAOYING WANG等: ""Multi-cluster Load Balancing Based on Process Migration"", 《ADVANCED PARALLEL PROCESSING TECHNOLOGIES》 * |
秦占明: ""云端虚拟集群部署与动态迁移技术的研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117390078A (zh) * | 2023-12-13 | 2024-01-12 | 中国对外经济贸易信托有限公司 | 数据处理方法、装置、存储介质和计算机设备 |
CN117390078B (zh) * | 2023-12-13 | 2024-02-09 | 中国对外经济贸易信托有限公司 | 数据处理方法、装置、存储介质和计算机设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11226847B2 (en) | Implementing an application manifest in a node-specific manner using an intent-based orchestrator | |
US11809726B2 (en) | Distributed storage method and device | |
JP6732798B2 (ja) | コンピュートクラスタ内のリソースインスタンスグループの自動スケーリング | |
CN109120678B (zh) | 用于分布式存储***的服务托管的方法和装置 | |
US11113158B2 (en) | Rolling back kubernetes applications | |
US10148736B1 (en) | Executing parallel jobs with message passing on compute clusters | |
CN112099918A (zh) | 容器化环境中的集群的实时迁移 | |
US10936423B2 (en) | Enhanced application write performance | |
US10838829B2 (en) | Method and apparatus for loading data from a mirror server and a non-transitory computer readable storage medium | |
CN113296792B (zh) | 存储方法、装置、设备、存储介质和*** | |
US11347684B2 (en) | Rolling back KUBERNETES applications including custom resources | |
CN111290828A (zh) | 使用容器编排服务进行动态路由 | |
US11588698B2 (en) | Pod migration across nodes of a cluster | |
US10620871B1 (en) | Storage scheme for a distributed storage system | |
US11456914B2 (en) | Implementing affinity and anti-affinity with KUBERNETES | |
CN108491163B (zh) | 一种大数据处理方法、装置和存储介质 | |
CN111966482A (zh) | 边缘计算*** | |
CN116627721A (zh) | 基于混合云的云原生数据库恢复方法、设备及存储介质 | |
CN114615263A (zh) | 集群在线迁移方法、装置、设备及存储介质 | |
US8621260B1 (en) | Site-level sub-cluster dependencies | |
CN112039963B (zh) | 一种处理器的绑定方法、装置、计算机设备和存储介质 | |
US11803448B1 (en) | Faster restart of task nodes using periodic checkpointing of data sources | |
CN115048190A (zh) | 虚拟机快照管理方法、***及计算机可读介质 | |
KR20190015817A (ko) | 미들웨어를 이용한 모니터링 방법, 장치 및 시스템 | |
US20210096763A1 (en) | Method, device, and computer program product for managing storage system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |