CN113051245A - 用于迁移数据的方法、装置及*** - Google Patents
用于迁移数据的方法、装置及*** Download PDFInfo
- Publication number
- CN113051245A CN113051245A CN201911366408.XA CN201911366408A CN113051245A CN 113051245 A CN113051245 A CN 113051245A CN 201911366408 A CN201911366408 A CN 201911366408A CN 113051245 A CN113051245 A CN 113051245A
- Authority
- CN
- China
- Prior art keywords
- data
- migration
- task
- detection
- migrated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000005012 migration Effects 0.000 claims abstract description 330
- 238000013508 migration Methods 0.000 claims abstract description 330
- 238000013507 mapping Methods 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims description 180
- 230000002776 aggregation Effects 0.000 claims description 38
- 238000004220 aggregation Methods 0.000 claims description 38
- 238000003860 storage Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000003247 decreasing effect Effects 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了用于迁移数据的方法、装置及***。该方法的一具体实施方式包括:获取待迁移数据和数据迁移配置信息,待迁移数据来源于至少一个源数据库,数据迁移配置信息包括源数据库与目标数据库之间的映射关系以及源数据结构与目标数据结构之间的映射关系;基于数据迁移配置信息和待迁移数据,创建至少一个数据迁移任务;执行至少一个数据迁移任务,以将与至少一个数据迁移任务分别对应的数据以相应的目标数据结构存储在相应的目标数据库中。该实施方式实现了不同数据库间以及不同数据结构之间的数据迁移,满足了复杂数据结构的数据迁移需求。
Description
技术领域
本申请实施例涉及计算机技术领域,具体涉及用于迁移数据的方法、装置及***。
背景技术
数据迁移是***升级的一种常见技术,主要是对数据库中的数据进行迁移。
随着数据库技术的发展,数据库的类型越来越多样,数据结构越来越复杂,目前的数据迁移工作无法满足复杂数据结构的数据迁移需求。
发明内容
本申请实施例提出了用于迁移数据的方法、装置及***。
第一方面,本申请实施例提供了一种用于迁移数据的方法,该方法包括:
获取待迁移数据和数据迁移配置信息,待迁移数据来源于至少一个源数据库,数据迁移配置信息包括源数据库与目标数据库之间的映射关系以及源数据结构与目标数据结构之间的映射关系;基于数据迁移配置信息和待迁移数据,创建至少一个数据迁移任务;执行至少一个数据迁移任务,以将与至少一个数据迁移任务分别对应的数据以相应的目标数据结构存储在相应的目标数据库中。
在一些实施例中,上述数据迁移配置信息包括数据类别集合,数据类别集合中的每个数据类别分别对应一个迁移优先级。在一些实施例中,上述数据类别集合中的数据类别包括用户数据、设备数据、核心日志和非核心日志,用户数据、设备数据、核心日志和非核心日志的迁移优先级依次递减。
在一些实施例中,基于数据迁移配置信息和待迁移数据,创建至少一个数据迁移任务,包括:基于数据类别集合中的数据类别,将待迁移数据划分为多个数据组,不同数据组的数据类别不同;依据数据类别的迁移优先级对多个数据组进行排序,得到数据组序列;从数据组序列中迁移优先级最高的数据组开始,基于数据迁移配置信息依次为每个数据组创建至少一个数据迁移任务,数据组的迁移优先级与其对应的数据类别的迁移优先级相同。
在一些实施例中,执行至少一个数据迁移任务,以将与至少一个数据迁移任务分别对应的数据以相应的目标数据结构存储在相应的目标数据库中,包括:按数据组的迁移优先级由高到低的顺序,依次执行为每个数据组创建的数据迁移任务,以依次将不同迁移优先级的数据组中的数据以相应的目标数据结构存储在相应的目标数据库中。
在一些实施例中,在基于数据迁移配置信息和待迁移数据,创建至少一个数据迁移任务之前,该方法还包括:在接收到用户发送的携带有待迁移数据的检测范围的检测请求的情况下,依据该检测范围,创建预迁移检测任务;将预迁移检测任务拆分成多个检测任务,不同的检测任务分别对应待迁移数据的检测范围内的不同数据组;执行预迁移检测任务对应的多个检测任务,得到每个检测任务的执行结果。
在一些实施例中,执行预迁移检测任务对应的多个检测任务,得到每个检测任务的执行结果,包括:对于每个检测任务,执行以下检测操作:在相应的源数据库中对该检测任务对应的数据组进行聚合计算,得到该检测任务对应的数据组在相应的源数据库的第一聚合结果;模拟将该检测任务对应的数据组以相应的目标数据结构存储在相应的目标数据库中,并在相应的目标数据库中对由于执行该检测任务而存储的数据组进行聚合计算,得到该检测任务对应的数据组在相应的目标数据库的第二聚合结果;通过比对第一聚合结果和第二聚合结果,确定该检测任务对应的数据组是否存在迁移问题。
在一些实施例中,该用于迁移数据的方法还包括:获取状态检测任务,状态检测任务包括任务标识;查询与任务标识相对应的任务的执行状态。
在一些实施例中,该用于迁移数据的方法还包括:在查询到上述用户数据对应的数据迁移任务已经全部完成的情况下,若检测到用户在待迁移数据对应的原***中进行操作,则向该用户推送用于指示登录待迁移数据对应的新***的提示信息。
第二方面,本申请实施例提供了一种用于迁移数据的装置,该装置包括:获取单元,用于获取待迁移数据和数据迁移配置信息,待迁移数据来源于至少一个源数据库,数据迁移配置信息包括源数据库与目标数据库之间的映射关系以及源数据结构与目标数据结构之间的映射关系;创建单元,用于基于数据迁移配置信息和待迁移数据,创建至少一个数据迁移任务;执行单元,用于执行至少一个数据迁移任务,以将与至少一个数据迁移任务分别对应的数据以相应的目标数据结构存储在相应的目标数据库中。
在一些实施例中,数据迁移配置信息包括数据类别集合,数据类别集合中的每个数据类别分别对应一个迁移优先级。
在一些实施例中,数据类别集合中的数据类别包括用户数据、设备数据、核心日志和非核心日志,用户数据、设备数据、核心日志和非核心日志的迁移优先级依次递减。
在一些实施例中,上述创建单元,具体用于:基于数据类别集合中的数据类别,将待迁移数据划分为多个数据组,不同数据组的数据类别不同;依据数据类别的迁移优先级对多个数据组进行排序,得到数据组序列;从数据组序列中迁移优先级最高的数据组开始,基于数据迁移配置信息依次为每个数据组创建至少一个数据迁移任务,数据组的迁移优先级与其对应的数据类别的迁移优先级相同。
在一些实施例中,上述执行单元,具体用于:按数据组的迁移优先级由高到低的顺序,依次执行为每个数据组创建的数据迁移任务,以依次将不同迁移优先级的数据组中的数据以相应的目标数据结构存储在相应的目标数据库中。
在一些实施例中,上述用于迁移数据的装置还包括预迁移检测单元,该预迁移检测单元,具体用于:在接收到用户发送的携带有待迁移数据的检测范围的检测请求的情况下,依据检测范围,创建预迁移检测任务;将预迁移检测任务拆分成多个检测任务,不同的检测任务分别对应待迁移数据的检测范围内的不同数据组;执行预迁移检测任务对应的多个检测任务,得到每个检测任务的执行结果。
在一些实施例中,上述预迁移检测单元中,执行预迁移检测任务对应的多个检测任务,得到每个检测任务的执行结果,包括:对于每个检测任务,执行以下检测操作:在相应的源数据库中对该检测任务对应的数据组进行聚合计算,得到该检测任务对应的数据组在相应的源数据库的第一聚合结果;模拟将该检测任务对应的数据组以相应的目标数据结构存储在相应的目标数据库中,并在相应的目标数据库中对由于执行该检测任务而存储的数据组进行聚合计算,得到该检测任务对应的数据组在相应的目标数据库的第二聚合结果;通过比对第一聚合结果和第二聚合结果,确定该检测任务对应的数据组是否存在迁移问题。
在一些实施例中,上述用于迁移数据的装置还包括:状态检测单元,用于获取状态检测任务,状态检测任务包括任务标识;查询与该任务标识相对应的任务的执行状态。
在一些实施例中,上述用于迁移数据的装置还包括:登录提示单元,用于在查询到用户数据对应的数据迁移任务已经全部完成的情况下,若检测到用户在待迁移数据对应的原***中进行操作,则向用户推送用于指示登录待迁移数据对应的新***的提示信息。
第三方面,本申请实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
第四方面,本申请实施例提供了一种处理器,处理器用于运行程序,其中,该程序运行时实现如第一方面中任一实现方式描述的方法。
第五方面,本申请实施例提供了一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第六方面,本申请实施例提供了一种用于迁移数据的***,该***包括调度装置和至少一个任务执行装置;调度装置,被配置成获取待迁移数据和数据迁移配置信息,待迁移数据来源于至少一个源数据库,数据迁移配置信息包括源数据库与目标数据库之间的映射关系以及源数据结构与目标数据结构之间的映射关系;基于数据迁移配置信息和待迁移数据,创建至少一个数据迁移任务;将至少一个数据迁移任务分配给至少一个任务执行装置中的任务执行装置;至少一个任务执行装置,被配置成执行接收到的数据迁移任务,以将接收到的数据迁移任务所对应的数据以相应的目标数据结构存储在相应的目标数据库中。
本申请实施例提供的用于迁移数据的方法、装置及***,通过预先设定数据迁移配置信息,定义源数据库与目标数据库之间的映射关系以及源数据结构与目标数据结构之间的映射关系,实现了不同数据库间以及不同数据结构之间的数据迁移,满足了复杂数据结构的数据迁移需求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图,而且还可以根据提供的附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
图1是本申请的一些实施例可以应用于其中的示例性***架构图;
图2是根据本申请的用于迁移数据的方法的一个实施例的流程示意图;
图3是根据本申请的用于迁移数据的方法的一个应用场景的示意图;
图4是根据本申请的基于数据迁移配置信息和待迁移数据创建至少一个数据迁移任务的方法的一个实施例的流程示意图;
图5是根据本申请的用于迁移数据的方法的又一个实施例的流程示意图;
图6是根据本申请的用于迁移数据的装置的一个实施例的结构示意图;
图7是根据本申请的用于迁移数据的***的一个实施例的时序图;
图8是适于用来实现本申请一些实施例的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
应当理解,本申请中使用的“***”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换该词语。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
本申请中使用了流程图用来说明根据本申请的实施例的***所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
本申请的发明人经研究发现:现有的数据迁移工具,如DataX,为离线数据同步工具,存在以下问题:
一、只支持基本数据结构的数据迁移,不支持复杂数据结构的数据迁移
DataX为了保证兼容足够多的数据库,内部只有几种基本数据结构类型(如Long、Double、String、Date、Boolean、Bytes),无法处理迁移过程中遇到Array、JSON甚至是Array(JSON)嵌套等复杂数据结构类型。
二、只支持单一数据源之间的同步迁移工作,不支持多对多的数据源同时迁移
DataX的源数据存储和目标数据存储必须只有一个,这就极大的限制了它的使用场景。
为了解决上述技术问题,本申请提供了用于迁移数据的方法、装置及***,通过预先设定数据迁移配置信息,定义源数据库与目标数据库之间的映射关系以及源数据结构与目标数据结构之间的映射关系,实现了不同数据库间以及不同数据结构之间的数据迁移,满足了复杂数据结构的数据迁移需求。
图1示出了可以应用本申请的用于迁移数据的方法或用于迁移数据的装置的一些实施例的示例性***架构。如图1所示,***架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用,例如浏览器、物联网管理应用、***管理应用等。
终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是各种电子设备,包括但不限于智能手机、平板电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digitalassistant,PDA)、膝上型便携计算机、台式计算机等电子设备。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。本申请实施例对电子设备的具体类型不作任何限制。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103提供数据迁移服务的后台服务器。用户通过终端设备101、102、103中的浏览器或应用发送数据迁移请求,后台服务器可以响应于接收到终端设备101、102、103发送的数据迁移请求,对该请求进行分析、执行等处理,得到处理结果(如数据迁移结果),并返回该处理结果。
需要说明的是,服务器可以是硬件,也可以是软件。当服务器为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是,本申请实施例所提供的用于迁移数据的方法一般由服务器105执行,相应地,用于迁移数据的装置一般设置于服务器105中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,其示出了本申请的用于迁移数据的方法的一个实施例的流程200,该用于迁移数据的方法的执行主体可以为图1所示的服务器105,该方法包括以下步骤:
S201:获取待迁移数据和数据迁移配置信息,待迁移数据来源于至少一个源数据库,数据迁移配置信息包括源数据库与目标数据库之间的映射关系以及源数据结构与目标数据结构之间的映射关系;
本申请可以实现对不同用户***的数据迁移,即基于用户维度的数据迁移,如对部署在IoT(英文全称:Internet of Things,中文名称:物联网)平台中的不同用户***中的数据迁移到SaaS(英文全称:Software as a Service,中文名称:软件即服务)平台。
其中,获取待迁移数据和数据迁移配置信息的一种方式可以为:用户发送携带有***标识的数据迁移请求,对该数据迁移请求进行解析,得到该***标识,然后根据预先设定的***标识与待迁移数据和数据迁移配置信息的对应关系,得到与该***标识相对应的待迁移数据和数据迁移配置信息。
需要说明的是,以上仅为一种可选的获取待迁移数据和数据迁移配置信息的实施方式,本发明并不以此为限。
待迁移数据存储在原***中的至少一个源数据库中,待迁移数据经过数据迁移后,将存储在新***至少一个目标数据库中,也就是说,本发明可以支持多数据源与多数据源之间的同步数据迁移。
待迁移数据以源数据结构存储在至少一个源数据库中,待迁移数据需要以目标数据结构存储在目标数据库中,对于某个待迁移数据,当源数据结构与目标数据结构不同时,需要进行数据结构转换,本发明支持不同数据结构之间的数据迁移。
如在IoT平台迁移到SaaS平台的场景中,源数据库可以为MongoDB、Redis、RabbitMQ等,目标数据库可以为PostgreSQL、HiTSDB、Redis等,源数据结构和目标数据结构可以为基本数据结构,如Long、Double、String、Date、Boolean、Bytes等,也可以为复杂数据结构,如Array、JSON、Array(JSON)嵌套等。
S202:基于数据迁移配置信息和待迁移数据,创建至少一个数据迁移任务;
基于数据迁移配置信息和待迁移数据,创建至少一个数据迁移任务,通过并行执行数据迁移任务,提高数据迁移效率。
可以理解的是,待迁移数据量越大,则需要创建的数据迁移任务越多。
基于数据迁移配置信息,可以按数据类别创建数据迁移任务。也可以按数据的存储时间创建数据迁移任务。
S203:执行至少一个数据迁移任务,以将与至少一个数据迁移任务分别对应的数据以相应的目标数据结构存储在相应的目标数据库中。
根据待迁移数据量以及***的处理能力,可以确定待迁移数据对应的所有数据迁移任务全部并行执行,还是分批执行。若为分批执行,同一批次的数据迁移任务并行执行。
继续参见图3,图3是根据本实施例的用于迁移数据的方法的应用场景的一个示意图。在图3的应用场景中,原***部署在IoT平台,新***部署在SaaS平台,数据从IoT平台迁移到SaaS平台。原***中待迁移数据存储在MongoDB、Redis、RabbitMQ,即源数据库为MongoDB、Redis、RabbitMQ,待迁移数据需要存储到新***中的PostgreSQL、HiTSDB、Redis,即目标数据库为PostgreSQL、HiTSDB、Redis,待迁移数据在源数据库中的源数据结构可以为Long、Double、String、Date、Boolean、Bytes,待迁移数据存储在目标数据库之前需要转换为目标数据结构JSON、Array、Array(JSON)。为了实现该应用场景下的数据迁移,需要预先设置数据迁移配置信息,在数据迁移配置信息中配置了源数据库为MongoDB、Redis、RabbitMQ与目标数据库为PostgreSQL、HiTSDB、Redis之间的映射关系,以及源数据结构Long、Double、String、Date、Boolean、Bytes与目标数据结构JSON、Array、Array(JSON)之间的映射关系。
本实施例公开的用于迁移数据的方法,通过预先设定数据迁移配置信息,定义源数据库与目标数据库之间的映射关系以及源数据结构与目标数据结构之间的映射关系,实现了不同数据库间以及不同数据结构之间的数据迁移,满足了复杂数据结构的数据迁移需求。
在上述实施例的一些可选的实现方式中,上述数据迁移配置信息包括数据类别集合,该数据类别集合中的每个数据类别分别对应一个迁移优先级,通过在数据迁移配置信息中设置每个数据类别的迁移优先级,按照迁移优先级创建数据迁移任务并执行数据迁移任务。
在此基础上,请参考图4,其示出了上述实施例中S202:基于数据迁移配置信息和待迁移数据,创建至少一个数据迁移任务的方法,包括以下步骤:
S401:基于数据迁移配置信息中数据类别集合中的数据类别,将待迁移数据划分为多个数据组,不同数据组的数据类别不同;
S402:依据数据类别的迁移优先级对多个数据组进行排序,得到数据组序列;
S403:从数据组序列中迁移优先级最高的数据组开始,基于数据迁移配置信息依次为每个数据组创建至少一个数据迁移任务,数据组的迁移优先级与其对应的数据类别的迁移优先级相同。
相应的,上述实施例中S203:执行至少一个数据迁移任务,以将与至少一个数据迁移任务分别对应的数据以相应的目标数据结构存储在相应的目标数据库中,包括:
按数据组的迁移优先级由高到低的顺序,依次执行为每个数据组创建的数据迁移任务,以依次将不同迁移优先级的数据组中的数据以相应的目标数据结构存储在相应的目标数据库中。
如数据类别结合中的数据类别包括用户数据、设备数据、核心日志和非核心日志,用户数据、设备数据、核心日志和非核心日志的迁移优先级依次递减。在迁移过程中,依次迁移用户数据、设备数据、核心日志和非核心日志,在完成用户数据的数据迁移后,获得用户数据的主键,基于用户数据的主键控制迁移流程,进行设备数据、核心日志和非核心日志部分的迁移,保证了迁移数据范围严格可控,可以实现离线迁移和在线迁移。
具体的,在对用户数据、设备数据、核心日志和非核心日志依次进行迁移的过程中,首先为用户数据创建至少一个数据迁移任务,将设备数据暂存到源消息队列中,将数据迁移任务发送到可用工作进程,工作进程执行相应的数据迁移任务,直到用户数据的所有数据迁移任务都被执行完毕;然后为源消息队列中的设备数据创建至少一个数据迁移任务,所述源消息队列执行数据迁移任务,将源消息队列中的设备数据迁移到目标消息队列,目标消息队列再将设备数据存储到目标数据库中,直到源消息队列中的设备数据全部存储到目标数据库;然后为核心日志创建至少一个数据迁移任务,将数据迁移任务发送到可用工作进程,工作进程执行相应的数据迁移任务,直到核心日志所有的数据迁移任务都被执行完毕;最后为非核心日志创建至少一个数据迁移任务,将数据迁移任务发送到可用工作进程,工作进程执行相应的数据迁移任务,直到非核心日志所有的数据迁移任务都被执行完毕。
在线迁移过程中,新增的用户数据会自动迁移,设备数据、核心日志和非核心日志在迁移过程中的无效数据(即其主键在新***中不存在的数据)将不会被扫描到,进而不会迁移到新***中,不会出现由于新***中迁移数据主键不存在导致的***崩溃的问题,保证整个数据迁移过程的稳定可靠。
整个数据迁移过程对用户是透明的,用户可以继续使用原***进行操作,服务器105在查询到用户数据对应的数据迁移任务已经全部完成的情况下,若检测到用户在原***中进行操作,则向用户推送用于指示登录新***的提示信息,用户登录到新***,继续进行相关操作,保证在数据迁移过程中用户线上业务无需停机,用户切换新旧***变得非常友好,数据安全不丢失,提升了用户体验。
进一步参考图5,其示出了用于迁移数据的方法的又一个实施例的流程500。该用于迁移数据的方法,包括以下步骤:
S501:获取待迁移数据和数据迁移配置信息,待迁移数据来源于至少一个源数据库,数据迁移配置信息包括源数据库与目标数据库之间的映射关系以及源数据结构与目标数据结构之间的映射关系;
S502:在接收到用户发送的携带有待迁移数据的检测范围的检测请求的情况下,依据检测范围,创建预迁移检测任务;
用户可以选择进行预迁移检测的数据范围,可以对全部待迁移数据进行预迁移检测,也可以对部分待迁移数据进行预迁移检测。
S503:将预迁移检测任务拆分成多个检测任务,不同的检测任务分别对应待迁移数据的检测范围内的不同数据组;
需要说明的是,当检测范围较大时,可以根据数据迁移配置信息将预迁移检测任务拆分成多个检测任务。
如检测范围包括一个以上数据类别时,可以按数据类别将预迁移检测任务拆分成一个以上数据类别检测任务,再对每个数据类别检测任务进一步拆分,得到多个检测任务。
S504:执行预迁移检测任务对应的多个检测任务,得到每个检测任务的执行结果;
检测任务的执行结果为迁移成功或迁移失败,对于迁移失败的数据,可以进一步修改其在数据迁移配置信息中的相关信息,如源数据库与目标数据库之间的映射关系和/或源数据结构与目标数据结构之间的映射关系。
对于每个检测任务,执行以下检测操作:
在相应的源数据库中对该检测任务对应的数据组进行聚合计算,得到该检测任务对应的数据组在相应的源数据库的第一聚合结果;
模拟将该检测任务对应的数据组以相应的目标数据结构存储在相应的目标数据库中,并在相应的目标数据库中对由于执行该检测任务而存储的数据组进行聚合计算,得到该检测任务对应的数据组在相应的目标数据库的第二聚合结果;
通过比对第一聚合结果和第二聚合结果,确定该检测任务对应的数据组是否存在迁移问题。
具体的,当第一聚合结果与第二聚合结果一致时,该检测任务对应的数据组不存在问题,迁移成功,反之,该检测任务对应的数据组存在问题,迁移失败。
S505:在预迁移检测任务的每个检测任务的执行结果都为迁移成功的情况下,基于数据迁移配置信息和待迁移数据,创建至少一个数据迁移任务;
S506:执行至少一个数据迁移任务,以将与至少一个数据迁移任务分别对应的数据以相应的目标数据结构存储在相应的目标数据库中。
与图2对应的实施例相比,本实施例中的用于迁移数据的方法的流程500增加了预迁移检测,在正式进行数据迁移之前可以对待迁移数据的全部或部分数据进行预迁移检测,如果预迁移检测的检测任务的执行结果为迁移失败时,说明存在数据冲突或不兼容的地方,技术人员可以根据该执行结果对数据迁移配置信息中的相关信息进行修改完善,保证正式进行数据迁移的可靠性。
基于上述所有实施例,涉及数据迁移任务的执行和预迁移检测任务的执行,为了使用户可以实时获取这些任务的执行状态,可以对这些任务的执行状态进行查询。
具体的,首先获取状态检测任务,状态检测任务包括任务标识,任务标识可以为数据迁移任务的标识,也可以为预迁移检测任务中的检测任务的标识。获取状态检测任务的方法包括但不仅限于包括:用户通过浏览器输入需要进行状态检测的任务,如用户通过浏览器输入用户数据的数据迁移任务,则对所有用户数据的数据迁移任务的执行状态进行检测;自动对进入执行状态的数据迁移检测任务或预迁移检测任务中的检测任务进行检测;自动对预先设定的某类进入执行状态的任务进行检测。
然后查询与任务标识相对应的任务的执行状态。
进一步,还可以对每个数据类别的多个数据迁移任务或预迁移检测任务中的多个检测任务的执行状态进行汇总,如用户数据的数据迁移任务中待执行状态的任务的百分比、执行状态的任务的百分比、执行成功状态的任务的百分比和执行失败的任务的百分比等。便于用于更加直观的了解任务的执行状态和进度。
需要说明的是,在获取到包括任务标识的状态检测任务,并查询到与该任务标识相对应的任务的执行状态后,可以将相应的查询结果返回给发送该状态检测任务的终端设备,以供用户查看。
进一步参考图6,本申请提供了一种用于迁移数据的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图6所示,本实施例的用于迁移数据的装置600包括:获取单元601、创建单元602、执行单元603。
其中,获取单元601,被配置成用于获取待迁移数据和数据迁移配置信息,待迁移数据来源于至少一个源数据库,数据迁移配置信息包括源数据库与目标数据库之间的映射关系以及源数据结构与目标数据结构之间的映射关系;创建单元602,被配置成用于基于数据迁移配置信息和待迁移数据,创建至少一个数据迁移任务;执行单元603,被配置成用于执行至少一个数据迁移任务,以将与至少一个数据迁移任务分别对应的数据以相应的目标数据结构存储在相应的目标数据库中。
在本实施例中,获取单元601、创建单元602、执行单元603的具体处理及其带来的技术效果可分别参考图2对应实施例中步骤201、步骤202和步骤203的实施例的相关说明,在此不再赘述。
在一些实施例中,数据迁移配置信息包括数据类别集合,数据类别集合中的每个数据类别分别对应一个迁移优先级。
在一些实施例中,数据类别集合中的数据类别包括用户数据、设备数据、核心日志和非核心日志,用户数据、设备数据、核心日志和非核心日志的迁移优先级依次递减。
在一些实施例中,上述创建单元602,具体用于:基于数据类别集合中的数据类别,将待迁移数据划分为多个数据组,不同数据组的数据类别不同;依据数据类别的迁移优先级对多个数据组进行排序,得到数据组序列;从数据组序列中迁移优先级最高的数据组开始,基于数据迁移配置信息依次为每个数据组创建至少一个数据迁移任务,数据组的迁移优先级与其对应的数据类别的迁移优先级相同。
在一些实施例中,上述执行单元603,具体用于:按数据组的迁移优先级由高到低的顺序,依次执行为每个数据组创建的数据迁移任务,以依次将不同迁移优先级的数据组中的数据以相应的目标数据结构存储在相应的目标数据库中。
在一些实施例中,上述用于迁移数据的装置600还包括预迁移检测单元,该预迁移检测单元,具体用于:在接收到用户发送的携带有待迁移数据的检测范围的检测请求的情况下,依据检测范围,创建预迁移检测任务;将预迁移检测任务拆分成多个检测任务,不同的检测任务分别对应待迁移数据的检测范围内的不同数据组;执行预迁移检测任务对应的多个检测任务,得到每个检测任务的执行结果。
在一些实施例中,上述预迁移检测单元中,执行预迁移检测任务对应的多个检测任务,得到每个检测任务的执行结果,包括:
对于每个检测任务,执行以下检测操作:在相应的源数据库中对该检测任务对应的数据组进行聚合计算,得到该检测任务对应的数据组在相应的源数据库的第一聚合结果;模拟将该检测任务对应的数据组以相应的目标数据结构存储在相应的目标数据库中,并在相应的目标数据库中对由于执行该检测任务而存储的数据组进行聚合计算,得到该检测任务对应的数据组在相应的目标数据库的第二聚合结果;通过比对第一聚合结果和第二聚合结果,确定该检测任务对应的数据组是否存在迁移问题。
在一些实施例中,上述用于迁移数据的装置600还包括:状态检测单元,用于获取状态检测任务,状态检测任务包括任务标识;查询与该任务标识相对应的任务的执行状态。
在一些实施例中,上述用于迁移数据的装置600还包括:登录提示单元,用于在查询到用户数据对应的数据迁移任务已经全部完成的情况下,若检测到用户在待迁移数据对应的原***中进行操作,则向用户推送用于指示登录待迁移数据对应的新***的提示信息。
需要说明的是,用于迁移数据的装置600可以是芯片,组件或模块,用于迁移数据的装置600可包括处理器和存储器,获取单元601、创建单元602和执行单元603等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中可以包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或多个,通过调整内核参数来提高数据迁移的效率。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM),存储器包括至少一个存储芯片。
本申请的上述实施例提供的用于迁移数据的装置,预先设定数据迁移配置信息,定义源数据库与目标数据库之间的映射关系以及源数据结构与目标数据结构之间的映射关系,通过根据数据迁移配置信息和待迁移数据创建数据迁移任务并执行数据迁移任务,实现了不同数据库间以及不同数据结构之间的数据迁移,满足了复杂数据结构的数据迁移需求。
进一步参考图7,其示出了用于迁移数据的***的一个实施例的时序图。其中,该***可以应用于图1所示的服务器105中。
在本实施例中,用于迁移数据的***包括调度装置和至少一个任务执行装置。
调度装置,被配置成获取待迁移数据和数据迁移配置信息,待迁移数据来源于至少一个源数据库,数据迁移配置信息包括源数据库与目标数据库之间的映射关系以及源数据结构与目标数据结构之间的映射关系;基于数据迁移配置信息和待迁移数据,创建至少一个数据迁移任务;将至少一个数据迁移任务分配给至少一个任务执行装置中的任务执行装置;
至少一个任务执行装置,被配置成执行接收到的数据迁移任务,以将接收到的数据迁移任务所对应的数据以相应的目标数据结构存储在相应的目标数据库中。
如图7所示,在步骤701中,调度装置获取待迁移数据和数据迁移配置信息。其中,待迁移数据来源于至少一个源数据库,数据迁移配置信息包括源数据库与目标数据库之间的映射关系以及源数据结构与目标数据结构之间的映射关系。
在步骤702中,调度装置基于数据迁移配置信息和待迁移数据,创建至少一个数据迁移任务。
在步骤703中,调度装置将至少一个数据迁移任务分配给至少一个任务执行装置中的任务执行装置。
在步骤704中,任务执行装置执行接收到的数据迁移任务,以将接收到的数据迁移任务所对应的数据以相应的目标数据结构存储在相应的目标数据库中。
在本实施例的一些可选的实现方式中,数据迁移配置信息包括数据类别集合,数据类别集合中的每个数据类别分别对应一个迁移优先级。
在一些实施例中,数据类别集合中的数据类别包括用户数据、设备数据、核心日志和非核心日志,用户数据、设备数据、核心日志和非核心日志的迁移优先级依次递减。
在一些实施例中,上述调度装置,具体用于:基于数据类别集合中的数据类别,将待迁移数据划分为多个数据组,不同数据组的数据类别不同;依据数据类别的迁移优先级对多个数据组进行排序,得到数据组序列;从数据组序列中迁移优先级最高的数据组开始,基于数据迁移配置信息依次为每个数据组创建至少一个数据迁移任务,数据组的迁移优先级与其对应的数据类别的迁移优先级相同。
在一些实施例中,上述任务执行装置,具体用于:按数据组的迁移优先级由高到低的顺序,依次执行为每个数据组创建的数据迁移任务,以依次将不同迁移优先级的数据组中的数据以相应的目标数据结构存储在相应的目标数据库中。
在一些实施例中,上述调度装置,还用于在接收到用户发送的携带有待迁移数据的检测范围的检测请求的情况下,依据检测范围,创建预迁移检测任务;将预迁移检测任务拆分成多个检测任务,不同的检测任务分别对应待迁移数据的检测范围内的不同数据组;将该多个检测任务分配给上述至少一个任务执行装置中的任务执行装置;上述至少一个任务执行装置,还用于执行接收到的检测任务,得到该检测任务的执行结果。
在一些实施例中,对于上述多个检测任务中的每个检测任务,接收到该检测任务的任务执行装置可以执行以下检测操作:在相应的源数据库中对该检测任务对应的数据组进行聚合计算,得到该检测任务对应的数据组在相应的源数据库的第一聚合结果;模拟将该检测任务对应的数据组以相应的目标数据结构存储在相应的目标数据库中,并在相应的目标数据库中对由于执行该检测任务而存储的数据组进行聚合计算,得到该检测任务对应的数据组在相应的目标数据库的第二聚合结果;通过比对第一聚合结果和第二聚合结果,确定该检测任务对应的数据组是否存在迁移问题。
在一些实施例中,上述调度装置,还用于获取状态检测任务,状态检测任务包括任务标识;查询与任务标识相对应的任务的执行状态。
在一些实施例中,上述调度装置,还用于在查询到用户数据对应的数据迁移任务已经全部完成的情况下,若检测到用户在待迁移数据对应的原***中进行操作,则向用户推送用于指示登录所述待迁移数据对应的新***的提示信息。
需要说明的是,上述调度装置在分配任务时,例如数据迁移任务、检测任务等,可以将待分配的任务优先分配给未分配任务或者已经完成任务的任务执行装置。
应该理解,上述调度装置和上述任务执行装置可以是芯片,组件或模块。上述调度装置和上述任务执行装置可分别包括处理器和存储器。对于上述调度装置和上述任务执行装置中的任意一个装置,该装置所包括的存储器可以存储有用于实现该装置执行的操作的程序单元,该装置所包括的处理器可以执行存储在该存储器中的该程序单元来实现相应的功能。
本申请的上述实施例提供的***,预先设定数据迁移配置信息,定义源数据库与目标数据库之间的映射关系以及源数据结构与目标数据结构之间的映射关系,通过根据数据迁移配置信息和待迁移数据创建数据迁移任务并执行数据迁移任务,实现了不同数据库间以及不同数据结构之间的数据迁移,满足了复杂数据结构的数据迁移需求。
下面参考图8,其示出了适于用来实现本申请一些实施例的电子设备800的结构示意图。图8示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示,电子设备800可以包括处理器801、存储器802、通信接口803、输入单元804、输出单元805和通信总线806。其中,处理器801和存储器802通过通信总线806彼此相连。通信接口803、输入单元804和输出单元805也连接至通信总线806。
其中,通信接口803可以为通信模块的接口,如GSM模块的接口。通信接口803可以用于获得终端设备发送的数据迁移请求、预迁移检测请求、任务状态查询请求等。
在本申请实施例中,处理器801,可以为中央处理器(Central Processing Unit,CPU)、特定应用集成电路(application-specific integrated circuit,ASIC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。
在一种可能的实现方式中,存储器802可包括存储程序区和存储数据区,其中,存储程序区可存储操作***、以及至少一个功能(比如任务创建功能、任务执行功能、任务状态查询功能等)所需的应用程序等;存储数据区可存储根据计算机的使用过程中所创建的数据,比如,数据迁移配置信息等等。
此外,存储器802可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件或其他易失性固态存储器件。
处理器801可以调用存储器802中存储的程序,具体的,处理器801可以执行以上图2、图4、图5中任一实施例所示的用于迁移数据的方法。
存储器802中用于存放一个或者一个以上程序,程序可以包括程序代码,所述程序代码包括计算机操作指令,在本申请实施例中,存储器802中至少存储有用于实现以下功能的程序:
获取待迁移数据和数据迁移配置信息,待迁移数据来源于至少一个源数据库,数据迁移配置信息包括源数据库与目标数据库之间的映射关系以及源数据结构与目标数据结构之间的映射关系;
基于数据迁移配置信息和待迁移数据,创建至少一个数据迁移任务;
执行至少一个数据迁移任务,以将与至少一个数据迁移任务分别对应的数据以相应的目标数据结构存储在相应的目标数据库中。
本申请还可以包括输入单元804,输入单元804可以包括感应触摸显示面板上的触摸事件的触摸感应单元、键盘、鼠标、摄像头、拾音器等设备中的至少一个。
输出单元805可以包括:显示器、扬声器、振动机构、灯等设备中的至少一个。显示器可以包括显示面板,如触摸显示面板等。在一种可能的情况中,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板。振动机构在工作时可以使电子设备800发生位移,在一种可能的实现方式中,振动机构包括电动机和偏心振子,电动机带动偏心振子转动从而产生振动。灯的亮度和/或颜色可调,在一种可能的实现方式中,可通过灯的亮灭、亮度、颜色中的至少一个体现不同的信息,如通过灯发出红色光体现报警信息。
当然,图8所示的电子设备800的结构并不构成对本申请实施例中电子设备的限定,在实际应用中电子设备可以包括比图8所示的更多或更少的部件,或者组合某些部件。
本申请实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,该程序被处理器执行时实现以上各方法实施例描述的用于迁移数据的方法。
本申请实施例提供了一种处理器,该处理器用于运行程序,其中,该程序运行时实现以上各方法实施例描述的用于迁移数据的方法。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,使得数据处理设备实现以上各方法实施例描述的用于迁移数据的方法。
其中,本申请的上述实施例提供的电子设备、处理器、计算机可读介质或计算机程序产品可以均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本领域技术人员应明白,本申请的实施例可提供为方法、***或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (14)
1.一种用于迁移数据的方法,其特征在于,所述方法包括:
获取待迁移数据和数据迁移配置信息,所述待迁移数据来源于至少一个源数据库,所述数据迁移配置信息包括源数据库与目标数据库之间的映射关系以及源数据结构与目标数据结构之间的映射关系;
基于所述数据迁移配置信息和所述待迁移数据,创建至少一个数据迁移任务;
执行所述至少一个数据迁移任务,以将与所述至少一个数据迁移任务分别对应的数据以相应的目标数据结构存储在相应的目标数据库中。
2.根据权利要求1所述的方法,其特征在于,所述数据迁移配置信息包括数据类别集合,所述数据类别集合中的每个数据类别分别对应一个迁移优先级。
3.根据权利要求2所述的方法,其特征在于,所述数据类别集合中的数据类别包括用户数据、设备数据、核心日志和非核心日志,所述用户数据、所述设备数据、所述核心日志和所述非核心日志的迁移优先级依次递减。
4.根据权利要求2所述的方法,其特征在于,所述基于所述数据迁移配置信息和所述待迁移数据,创建至少一个数据迁移任务,包括:
基于所述数据类别集合中的数据类别,将所述待迁移数据划分为多个数据组,不同数据组的数据类别不同;
依据数据类别的迁移优先级对所述多个数据组进行排序,得到数据组序列;
从所述数据组序列中迁移优先级最高的数据组开始,基于所述数据迁移配置信息依次为每个数据组创建至少一个数据迁移任务,数据组的迁移优先级与其对应的数据类别的迁移优先级相同。
5.根据权利要求4所述的方法,其特征在于,所述执行所述至少一个数据迁移任务,以将与所述至少一个数据迁移任务分别对应的数据以相应的目标数据结构存储在相应的目标数据库中,包括:
按数据组的迁移优先级由高到低的顺序,依次执行为每个数据组创建的数据迁移任务,以依次将不同迁移优先级的数据组中的数据以相应的目标数据结构存储在相应的目标数据库中。
6.根据权利要求4所述的方法,其特征在于,在所述基于所述数据迁移配置信息和所述待迁移数据,创建至少一个数据迁移任务之前,所述方法还包括:
在接收到用户发送的携带有所述待迁移数据的检测范围的检测请求的情况下,依据所述检测范围,创建预迁移检测任务;
将所述预迁移检测任务拆分成多个检测任务,不同的所述检测任务分别对应所述待迁移数据的检测范围内的不同数据组;
执行所述预迁移检测任务对应的多个所述检测任务,得到每个所述检测任务的执行结果。
7.根据权利要求6所述的方法,其特征在于,所述执行所述预迁移检测任务对应的多个所述检测任务,得到每个所述检测任务的执行结果,包括:
对于每个所述检测任务,执行以下检测操作:
在相应的所述源数据库中对该检测任务对应的数据组进行聚合计算,得到该检测任务对应的数据组在相应的所述源数据库的第一聚合结果;
模拟将该检测任务对应的数据组以相应的目标数据结构存储在相应的目标数据库中,并在相应的目标数据库中对由于执行该检测任务而存储的数据组进行聚合计算,得到该检测任务对应的数据组在相应的目标数据库的第二聚合结果;
通过比对所述第一聚合结果和所述第二聚合结果,确定该检测任务对应的数据组是否存在迁移问题。
8.根据权利要求1-7中任意一项所述的方法,其特征在于,所述方法还包括:
获取状态检测任务,所述状态检测任务包括任务标识;
查询与所述任务标识相对应的任务的执行状态。
9.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在查询到所述用户数据对应的数据迁移任务已经全部完成的情况下,若检测到用户在所述待迁移数据对应的原***中进行操作,则向所述用户推送用于指示登录所述待迁移数据对应的新***的提示信息。
10.一种用于迁移数据的装置,其特征在于,所述装置包括:
获取单元,用于获取待迁移数据和数据迁移配置信息,所述待迁移数据来源于至少一个源数据库,所述数据迁移配置信息包括源数据库与目标数据库之间的映射关系以及源数据结构与目标数据结构之间的映射关系;
创建单元,用于基于所述数据迁移配置信息和所述待迁移数据,创建至少一个数据迁移任务;
执行单元,用于执行所述至少一个数据迁移任务,以将与所述至少一个数据迁移任务分别对应的数据以相应的目标数据结构存储在相应的目标数据库中。
11.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-9中任一所述的用于迁移数据的方法。
12.一种处理器,所述处理器用于运行程序,其中,所述程序运行时实现如权利要求1-9中任一所述的用于迁移数据的方法。
13.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-9中任一所述的用于迁移数据的方法。
14.一种用于迁移数据的***,其特征在于,所述***包括调度装置和至少一个任务执行装置;
所述调度装置,被配置成获取待迁移数据和数据迁移配置信息,所述待迁移数据来源于至少一个源数据库,所述数据迁移配置信息包括源数据库与目标数据库之间的映射关系以及源数据结构与目标数据结构之间的映射关系;基于所述数据迁移配置信息和所述待迁移数据,创建至少一个数据迁移任务;将所述至少一个数据迁移任务分配给所述至少一个任务执行装置中的任务执行装置;
所述至少一个任务执行装置,被配置成执行接收到的数据迁移任务,以将接收到的数据迁移任务所对应的数据以相应的目标数据结构存储在相应的目标数据库中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911366408.XA CN113051245A (zh) | 2019-12-26 | 2019-12-26 | 用于迁移数据的方法、装置及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911366408.XA CN113051245A (zh) | 2019-12-26 | 2019-12-26 | 用于迁移数据的方法、装置及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113051245A true CN113051245A (zh) | 2021-06-29 |
Family
ID=76505388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911366408.XA Pending CN113051245A (zh) | 2019-12-26 | 2019-12-26 | 用于迁移数据的方法、装置及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113051245A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113779124A (zh) * | 2021-08-09 | 2021-12-10 | 深圳市惟客数据科技有限公司 | saas***下剥离单个集团数据的方法、装置及可读介质 |
WO2023045743A1 (zh) * | 2021-09-27 | 2023-03-30 | 易保网络技术(上海)有限公司 | 数据库数据自动生成Json数据的方法、可读介质和电子设备 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104123191A (zh) * | 2014-07-31 | 2014-10-29 | 北京智谷睿拓技术服务有限公司 | 任务迁移控制方法、装置和*** |
CN107368486A (zh) * | 2016-05-12 | 2017-11-21 | 阿里巴巴集团控股有限公司 | 一种业务迁移方法及装置 |
CN108280148A (zh) * | 2018-01-02 | 2018-07-13 | 中国民生银行股份有限公司 | 一种数据迁移方法和数据迁移服务器 |
CN108509556A (zh) * | 2018-03-22 | 2018-09-07 | 上海达梦数据库有限公司 | 数据迁移方法和装置、服务器、存储介质 |
WO2018177107A1 (zh) * | 2017-03-29 | 2018-10-04 | 腾讯科技(深圳)有限公司 | 数据迁移方法、迁移服务器及存储介质 |
CN109002474A (zh) * | 2018-06-15 | 2018-12-14 | 北京信安世纪科技股份有限公司 | 一种数据迁移方法及装置 |
CN109284281A (zh) * | 2018-09-10 | 2019-01-29 | 北京百度网讯科技有限公司 | 用于迁移数据的方法和装置 |
CN109299063A (zh) * | 2018-07-02 | 2019-02-01 | 北京市天元网络技术股份有限公司 | 一种跨平台数据库迁移方法及*** |
US20190129616A1 (en) * | 2017-11-02 | 2019-05-02 | Salesforce.Com, Inc. | Data migration system |
CN110413595A (zh) * | 2019-06-28 | 2019-11-05 | 万翼科技有限公司 | 一种应用于分布式数据库的数据迁移方法和相关装置 |
-
2019
- 2019-12-26 CN CN201911366408.XA patent/CN113051245A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104123191A (zh) * | 2014-07-31 | 2014-10-29 | 北京智谷睿拓技术服务有限公司 | 任务迁移控制方法、装置和*** |
CN107368486A (zh) * | 2016-05-12 | 2017-11-21 | 阿里巴巴集团控股有限公司 | 一种业务迁移方法及装置 |
WO2018177107A1 (zh) * | 2017-03-29 | 2018-10-04 | 腾讯科技(深圳)有限公司 | 数据迁移方法、迁移服务器及存储介质 |
US20190129616A1 (en) * | 2017-11-02 | 2019-05-02 | Salesforce.Com, Inc. | Data migration system |
CN108280148A (zh) * | 2018-01-02 | 2018-07-13 | 中国民生银行股份有限公司 | 一种数据迁移方法和数据迁移服务器 |
CN108509556A (zh) * | 2018-03-22 | 2018-09-07 | 上海达梦数据库有限公司 | 数据迁移方法和装置、服务器、存储介质 |
CN109002474A (zh) * | 2018-06-15 | 2018-12-14 | 北京信安世纪科技股份有限公司 | 一种数据迁移方法及装置 |
CN109299063A (zh) * | 2018-07-02 | 2019-02-01 | 北京市天元网络技术股份有限公司 | 一种跨平台数据库迁移方法及*** |
CN109284281A (zh) * | 2018-09-10 | 2019-01-29 | 北京百度网讯科技有限公司 | 用于迁移数据的方法和装置 |
CN110413595A (zh) * | 2019-06-28 | 2019-11-05 | 万翼科技有限公司 | 一种应用于分布式数据库的数据迁移方法和相关装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113779124A (zh) * | 2021-08-09 | 2021-12-10 | 深圳市惟客数据科技有限公司 | saas***下剥离单个集团数据的方法、装置及可读介质 |
WO2023045743A1 (zh) * | 2021-09-27 | 2023-03-30 | 易保网络技术(上海)有限公司 | 数据库数据自动生成Json数据的方法、可读介质和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11762697B2 (en) | Method and apparatus for scheduling resource for deep learning framework | |
US11325780B2 (en) | Method and device for sorting cargo | |
CN108614726B (zh) | 虚拟机创建方法及装置 | |
CN109117252B (zh) | 基于容器的任务处理的方法、***及容器集群管理*** | |
CN107807815B (zh) | 分布式处理任务的方法和装置 | |
CN109324890B (zh) | 资源管理方法、装置及计算机可读存储介质 | |
CN111596927B (zh) | 服务部署方法、装置及电子设备 | |
US10664278B2 (en) | Method and apparatus for hardware acceleration in heterogeneous distributed computing | |
CN110166507B (zh) | 多资源调度方法和装置 | |
CN111258726B (zh) | 任务调度方法和装置 | |
CN113553178A (zh) | 任务处理方法、装置和电子设备 | |
CN111352711A (zh) | 多计算引擎调度方法、装置、设备及存储介质 | |
CN113051245A (zh) | 用于迁移数据的方法、装置及*** | |
CN112286688A (zh) | 一种内存管理和使用方法、装置、设备和介质 | |
CN109828830B (zh) | 用于管理容器的方法和装置 | |
US10915704B2 (en) | Intelligent reporting platform | |
WO2019117767A1 (en) | Method, function manager and arrangement for handling function calls | |
WO2017124801A1 (zh) | 发起vnf实例化的方法、装置及*** | |
CN116325705A (zh) | 边缘计算环境中的管理任务流 | |
CN107634978B (zh) | 一种资源调度方法及装置 | |
CN111767126A (zh) | 分布式批量处理的***和方法 | |
CN108833532B (zh) | 基于物联网的服务处理方法、装置和*** | |
CN111444148A (zh) | 基于MapReduce的数据传输方法和装置 | |
CN116302271A (zh) | 一种页面展示方法、装置及电子设备 | |
CN115168040A (zh) | 一种作业抢占调度方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |