CN115840738A - 一种数据迁移方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据迁移方法、装置、电子设备及存储介质。该方法包括：根据数据迁入***在多个需求类型下的需求元素，构建层级节点图；不同需求类型位于不同层级；获取与至少一个数据迁出***分别匹配的标准数据模型，标准数据模型中用于存储所属数据迁出***的多个元素间映射关系，每个元素间映射关系中的两个元素隶属于不同需求类型；根据各标准数据模型，在层级节点图中建立相邻层级中的各需求元素之间的映射关系，形成迁移映射关系图；按照迁移映射关系图，将各数据迁出***中的数据迁移至数据迁入***中。通过本发明的技术方案，能够实现基于数据资产的数据迁移过程的自动化，减少了人工数据迁移的工作量，提高了数据迁移的效率。

Description

一种数据迁移方法、装置、电子设备及存储介质

技术领域

本发明涉及数据处理领域，尤其涉及一种数据迁移方法、装置、电子设备及存储介质。

背景技术

数据资产是指由个人或企业拥有或控制的，能够为企业带来未来经济利益的，以物理或电子的方式记录的数据资源。同时，数据资产是拥有数据权属、有价值、可计量以及可读取的网络空间中的数据集。在经济发展如迅猛，电子商务进入发展高潮背景下，现有的信息***往往不能满足客户所有业务的需求，大量的企业都在现有的***基础上做了不同程度的客户化开发，随之而来的是***更新换代的需求。而在***更新换代时，需要从现有***中进行历史数据迁移，数据迁移并非易事。

现有的***在进行更新换代时，通常使用人工方式建立迁移目标字段和迁移源字段的映射关系后，人工开发数据库之间的迁移脚本，并在迁移过程中人工排查数据质量。

发明人实现本发明的过程中，发现现有技术存在如下缺陷：现有数据迁移技术更多的是解决脚本编写的便利性，前提是迁出和迁入的数据关系已经存在，在迁移装置内配置映射关系自动生成脚本。但是迁出和迁入的数据关系的生成，依赖于对迁入数据在迁出***内的分布的掌握，需要进行大量的业务、***和数据调研，人工数据迁移的工作量较大，数据迁移效率较低。

发明内容

本发明提供了一种数据迁移方法、装置、电子设备及存储介质，以解决现有的数据迁移过程中人工数据迁移的工作量较大，数据迁移效率较低的问题。

第一方面，本发明实施例提供了一种数据迁移方法，该方法包括：

根据数据迁入***在多个需求类型下的需求元素，构建层级节点图，需求类型包括数据源、实体和业务属性；不同需求类型位于不同层级；

获取与至少一个数据迁出***分别匹配的标准数据模型，标准数据模型中用于存储所属数据迁出***的多个元素间映射关系，每个元素间映射关系中的两个元素隶属于不同需求类型；

根据各标准数据模型，在所述层级节点图中建立相邻层级中的各需求元素之间的映射关系，形成迁移映射关系图；

按照所述迁移映射关系图，将各所述数据迁出***中的数据迁移至所述数据迁入***中。

第二方面，本发明实施例提供了一种数据迁移装置，该装置包括：

层级构建模块，用于根据数据迁入***在多个需求类型下的需求元素，构建层级节点图，需求类型包括数据源、实体和业务属性；不同需求类型位于不同层级；

标准数据模型匹配模块，用于获取与至少一个数据迁出***分别匹配的标准数据模型，标准数据模型中用于存储所属数据迁出***的多个元素间映射关系，每个元素间映射关系中的两个元素隶属于不同需求类型；

迁移映射关系图构建模块，用于根据各标准数据模型，在所述层级节点图中建立相邻层级中的各需求元素之间的映射关系，形成迁移映射关系图；

数据迁入模块，按照所述迁移映射关系图，将各所述数据迁出***中的数据迁移至所述数据迁入***中。

第三方面，本发明实施例提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据迁移方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据迁移方法。

本发明实施例的技术方案，根据需求元素构建层级节点图，并获取与至少一个数据迁出***分别匹配的标准数据模型，再根据标准数据模型与层级节点图得到迁移映射关系图，最终按照迁移映射关系图，将各数据迁出***中的数据迁移至所述数据迁入***中，通过使用数据迁出***中已有的元素间映射关系，自适应的建立数据迁移过程所需的迁移映射关系，解决了数据迁移过程中人工数据迁移的工作量较大，数据迁移效率较低的问题，实现了基于数据资产的数据迁移过程的自动化，减少了人工数据迁移的工作量，提高了数据迁移的效率。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是现有技术所实现的一种数据迁移结构示意图；

图1b是根据本发明实施例一所提供的一种数据迁移方法的流程图；

图2是根据本发明实施例二所提供的一种数据迁移方法的流程图；

图3是根据本发明实施例三提供的一种数据迁移装置的结构示意图；

图4是实现本发明实施例的数据迁移方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了使本技术领域的人员更好地理解本发明方案，首先将现有技术中顶点数据的完整处理过程进行简单介绍。具体的，如图1a所示：

现有数据迁移技术更多的是解决脚本编写的便利性，前提是迁出和迁入的数据关系已经存在，在数据迁移装置内配置映射关系自动生成脚本。但是迁出和迁入的数据关系的生成，依赖于对迁入数据在迁出***内的分布的掌握，需要进行大量的业务、***和数据调研，且依赖于人存在主观性。具体的，具体的，如图1a所示：对n个需要进行数据迁移的迁出***数据库的数据人工进行业务调研、***调研以及数据调研，与迁入***数据库的数据建立映射关系，此过程的工作量较大。

经过上述过程后，得出迁入***数据库和迁出***数据库之间的映射关系，现有技术是在上述操作基础上开展脚本自动化工作，仅仅降低了脚本开发的工作量，但映射关系的形成完全依靠人为梳理。

本发明是基于数据资产进行数据迁移，其中，数据资产可以包括：企业级数据模型、元数据资产及数据血缘等，根据需求元素构建层级节点图，并获取与至少一个数据迁出***分别匹配的标准数据模型，再根据标准数据模型与层级节点图得到迁移映射关系图，最终按照迁移映射关系图，将各数据迁出***中的数据迁移至所述数据迁入***中，解决了数据迁移过程中人工数据迁移的工作量较大，数据迁移效率较低的问题，实现了基于数据资产的数据迁移过程的自动化，减少了人工数据迁移的工作量，提高了数据迁移的效率。

实施例一

图1b为本发明实施例一提供的一种数据迁移方法的流程图，本实施例可适用于数据资产需要在不同数据库***间进行数据迁移的情况，该方法可以由数据迁移装置来执行，该数据迁移装置可以采用硬件和/或软件的形式实现，该数据迁移装置可配置于具有数据迁移功能的数据资产装置中。如图1b所示，该方法包括：

S110、根据数据迁入***在多个需求类型下的需求元素，构建层级节点图。

其中，需求类型包括数据源、实体和业务属性；不同需求类型位于不同层级。

其中，所述数据迁入***为人工设计的，具有某一具体功能设定的，且具有数据存储功能的***；容易理解的是，由于所述数据迁入***具有某一功能的设定，则可以通过所述功能设定所述数据迁入***所需的需求元素；示例性的，以银行储蓄卡***为例，设置所述银行储蓄卡***为数据迁入***，则容易理解的是该***具有银行储蓄卡功能，需求元素可能为客户姓名，储蓄卡类型，客户联系方式等。

其中，所述需求元素为需求类型的具体类目，一个需求类型中可以包含多个需求元素，但同一个需求元素只能属于一个需求类型。

可选的，根据数据迁入***在多个需求类型下的需求元素，构建层级节点图，包括：

根据数据迁入***在数据源类型下的全部需求元素，构建第一层级节点；

根据数据迁入***在实体类型下的全部需求元素，构建第二层级节点；

根据数据迁入***在业务属性类型下的全部需求元素，构建第三层级节点，以得到所述层级节点图。

在本实施例中，示例性的，以银行储蓄卡***为例，数据源类型下的需求元素可以包括：客户类元素、产品类元素以及数据类元素等，需求元素的种类由***预设决定数据源类型下的全部所述需求元素构成第一层级节点，每一个互异的数据源类型下的需求元素都可作为第一层级中的一个节点；同理，数据迁入***在实体类型下的需求元素可以包括：客户关系、客户联系方式以及客户信用度等，实体类型下的全部需求元素构成第二层级节点，每一个互异的实体类型下的需求元素都可作为第二层级中的一个节点；进一步的，业务属性类型下的需求元素可以包括：客户电话号码、客户邮箱以及产品编号等，业务属性类型下的全部需求元素构成第三层级节点，每一个互异的业务属性类型下的需求元素都可作为第三层级中的一个节点。

进一步的，所述层级节点图由所述第一层级节点、第二层级节点与第三层级节点构成；其中，所述第一层级节点为所述层级节点图的最高层，与第二层级节点相邻，所述第三层级节点为所述层级节点图的最低层，与第二层级节点相邻。

S120、获取与至少一个数据迁出***分别匹配的标准数据模型。

其中，标准数据模型中用于存储所属数据迁出***的多个元素间映射关系；进一步的，每个元素间映射关系中的两个元素隶属于不同需求类型。

在本实施例中，一个数据源类型下的需求元素可以与至少一个实体类型下的需求元素建立映射关系，一个实体类型下的需求元素可以与至少一个业务属性类型下的需求元素建立映射关系。

示例性的，以S110步骤中示例出的需求元素为例，数据源类型下的需求元素可以包括：客户类元素、产品类元素以及数据类元素等，在实体类型下的需求元素可以包括：客户关系、客户联系方式以及客户信用度等，业务属性类型下的需求元素可以包括：客户电话号码、客户邮箱以及产品编号等，则本领域工作人员应可知，客户类元素与客户关系，客户类元素与客户联系方式之间均存在映射关系；同理，客户联系方式与客户电话号码，客户联系方式与客户邮箱之间均存在映射关系。

S130、根据各标准数据模型，在所述层级节点图中建立相邻层级中的各需求元素之间的映射关系，形成迁移映射关系图。

其中，所述映射关系可以为两个相邻层级中的节点的映射关系，通常高层级的一个节点可以对应至少一个相邻的，较低层级的节点。

其中，所述迁移映射关系图包含层级节点图中的各个层级节点的分层关系，与不同层级中的节点之间的映射关系。

S140、按照所述迁移映射关系图，将各所述数据迁出***中的数据迁移至所述数据迁入***中。

其中，所述数据资产装置可以配置所述数据迁出***与所述数据迁入***中的数据源链接以及***的运行环境，在配置完成之后，所述数据迁移操作可以进行自动运行。

可选的，基于迁移映射关系图生成迁移脚本；其中，所述迁移脚本包括迁移规则模块与核验规则模块；

将所述数据迁出***中的数据通过所述迁移脚本中的迁移规则模块处理传递至数据迁入***，所述数据迁入***获得一级迁移结果。

进一步的，所述迁移规则模块包含：所述迁移映射关系图中的节点信息与映射关系信息，可以使数据按照迁移脚本中的规则向迁入模块进行迁移。

其中，所述核验规则模块可以用于对所述已经迁移业务属性数据进行数据正确性的核验。

进一步的，所述核验规则模块中包含：数据的核验规则与错误结果的输出规则；其中，所述数据的核验规则与错误结果的输出规则均可以为预设的规则，可以由人工进行设置或改变。

可选的，将所述数据迁出***中的数据通过所述迁移脚本中的迁移规则模块处理传递至数据迁入***，所述迁入***获得一级迁移结果之后，还包括：

将所述一级迁入结果输入至所述迁移脚本，利用所述迁移脚本中的核验规则模块处理传递至数据迁入***；

若所述一级迁移结果符合核验规则模块的核验标准，则所述迁移脚本将数据传递至数据迁入***，所述数据迁入***获得二级迁移结果；

若所述一级迁移结果不符合核验规则模块的核验标准，则所述迁移脚本输出错误结果集，并对所述错误结果集进行错误处理。

其中，所述核验规则由人工设定，可以包括：非空规则以及关联规则等；进一步的，非空规则可以筛选出空白或者乱码的无效数据，保证迁移数据的正确性，关联规则可以为筛选出与节点信息格式不符的数据，保证迁移数据的有效性等。

其中，所述二级迁移结果为经过核验规则核验的，在数据格式与内容等方面正确的数据。

其中，所述错误结果集为不符合核验规则模块的核验标准的一级迁移结果中数据信息，所述数据信息可以交由人工或***进行进一步处理后再次输入***进行传输。

本发明实施例提供的方案，在迁移数据的基础上增加了核验模块，减少了人工校对的工作量，保证了数据迁移的正确性与有效性，提高了工作效率。

本发明实施例的技术方案，根据需求元素构建层级节点图，并获取与至少一个数据迁出***分别匹配的标准数据模型，再根据标准数据模型与层级节点图得到迁移映射关系图，最终按照迁移映射关系图，将各数据迁出***中的数据迁移至所述数据迁入***中并进行核验，并将核验通过的数据迁移至所述数据迁入***中完成数据迁移，解决了数据迁移过程中人工数据迁移的工作量较大，数据迁移效率较低的问题，实现了基于数据资产的数据迁移过程的自动化，减少了人工数据迁移的工作量，保证了数据迁移的正确性与有效性，提高了数据迁移的效率。

实施例二

图2为本发明实施例二提供的一种数据迁移方法的流程图，本实施例以上述实施例为基础进行细化，在本实施例中，具体是将根据各标准数据模型，在所述层级节点图中建立相邻层级中的各需求元素之间的映射关系，形成迁移映射关系图的操作具体化为：获取与当前处理的数据迁出***对应的当前标准数据模型；按照从低层到高层的顺序，在所述层级节点图中获取当前处理层级，并获取与所述当前处理层级相邻的上一层级对应的目标需求类型；根据当前处理层级中的各需求元素和目标需求类型在当前标准数据模型中进行查找，并根据查找结果，在层级节点图中建立当前处理层级中的各需求元素与匹配的上一层级需求元素之间的映射关系；返回执行按照从低层到高层的顺序，在所述层级节点图中获取当前处理层级的操作，直至处理至所述层级节点图的第二层级。

相应的，如图2所示，该方法包括：

S210、根据数据迁入***在多个需求类型下的需求元素，构建层级节点图。

其中，该需求类型具体可以包括：数据源类型、实体类型以及业务属性类型。

在本实施例中，构建层级节点图的方式可以包括：

根据数据迁入***在数据源类型下的全部需求元素，构建第一层级节点；根据数据迁入***在实体类型下的全部需求元素，构建第二层级节点；根据数据迁入***在业务属性类型下的全部需求元素，构建第三层级节点，以得到层级节点图。

S220、获取与当前处理的数据迁出***对应的当前标准数据模型。

其中，标准数据模型中包括：所属数据迁出***的多个元素间映射关系，每个元素间映射关系中的两个元素隶属于不同需求类型。

S230、按照从低层到高层的顺序，在所述层级节点图中获取当前处理层级，并获取与所述当前处理层级相邻的上一层级对应的目标需求类型。

其中，所述层级节点图由所述第一层级节点、第二层级节点与第三层级节点构成；进一步的，所述第一层级节点为所述层级节点图的最高层，与第二层级节点相邻，所述第三层级节点为所述层级节点图的最低层，与第二层级节点相邻。

在本实施例中，可以首先获取第三层级作为当前处理层级，并获取与第三层级相邻的第二层级对应的目标需求类型，也即，实体类型。

S240、根据当前处理层级中的各需求元素和目标需求类型在当前标准数据模型中进行查找，并根据查找结果，在层级节点图中建立当前处理层级中的各需求元素与匹配的上一层级需求元素之间的映射关系。

在本实施例中，在明确当前处理层级后，可以分别在当前标准数据模型中查找包括当前处理层级中的各需求元素的映射关系，同时，所查找到的映射关系还需要满足，除去上述需求元素之外的另一需求元素必须属于目标需求类型。

示例性的，以当前需求元素为第三层级中的客户邮箱为例，由上述示例可知，客户邮箱为业务属性需求元素，即包含客户邮箱信息的节点位于第三层级，与客户邮箱具有映射关系的需求元素可以为客户联系方式，为实体类型，即包含客户联系方式的节点位于第二层级；进一步的，可以建立第三层级中包含客户邮箱信息的节点与第二层级中包含客户联系方式的节点的映射关系，即所述在层级节点图中建立当前处理层级中的各需求元素与匹配的上一层级需求元素之间的映射关系

可选的，在当前处理层级中获取当前需求元素，并在当前标准数据模型中获取与当前需求元素和目标需求类型共同对应的至少一个元素间映射关系；

其中，如果当前需求元素与唯一一个目标需求类型具有映射关系，则所述映射关系即为当前需求元素与匹配的目标需求类型之间的映射关系。

具体的，设置当前需求元素为一级储蓄账户，且所述一级储蓄账户为业务属性需求类型的需求元素，设置该需求元素只能与“客户级别”这一实体需求类型建立映射关系，则所述包含客户级别的第二层级节点与所述包含一级储蓄账户的第三层级节点建立的映射即为当前需求元素与匹配的目标需求类型之间的映射关系。

如果当前需求元素与多个目标需求类型具有映射关系，且所述多个目标需求类型存在数据迁移关系且所携带的数据相同，则根据数据血缘选择出最初始的目标需求类型，将该目标需求类型与当前需求元素的映射关系作为当前需求元素与匹配的目标需求类型之间的映射关系。

其中，所述数据血缘是指数据在产生、处理以及流转的过程中，数据之间形成的一种类似于人类社会血缘关系的关系；进一步的，所述数据血缘记录了各***原始数据之间的流动关系。

示例性的，设置当前需求元素为身份证号码，且所述身份证号码为业务属性需求类型的需求元素，设置该元素可以从储蓄卡客户信息与***客户信息两个实体需求类型建立映射关系，两者包含的身份号码信息相同，且***客户信息中的身份证号码是从储蓄卡客户信息中获取的，则根据数据血缘，判断储蓄卡客户信息中的身份证号码信息为原始信息；进一步的，所述包含储蓄卡客户信息的第二层级节点与所述包含身份证号码的第三层级节点建立的映射即为当前需求元素与匹配的目标需求类型之间的映射关系。

如果当前需求元素与多个目标需求类型具有映射关系，且所述多个目标需求类型存在数据迁移关系且所携带的数据不相同，则根据预设规则筛选符合规则的目标需求类型，将该目标需求类型与当前需求元素的映射关系作为当前需求元素与匹配的目标需求类型之间的映射关系。

示例性的，设置当前需求元素为客户邮箱，且所述客户邮箱为业务属性需求类型的需求元素，设置该元素可以从储蓄卡客户信息与***客户信息两个实体需求类型建立映射关系，两者包含的客户邮箱信息不相同，且***客户信息中的身份证号码是从储蓄卡客户信息中获取的，则根据判断规则，判断储蓄卡客户信息中的邮箱信息进行过改动，判断储蓄卡客户信息中的邮箱信息为最新信息；进一步的，所述包含储蓄卡客户信息的第二层级节点与所述包含客户邮箱的第三层级节点建立的映射即为当前需求元素与匹配的目标需求类型之间的映射关系。

可选的，如果当前需求元素与多个目标需求类型具有映射关系，且所述多个目标需求类型不存在数据迁移关系，则合并所有的目标需求类型作为最终的目标需求类型，将该目标需求类型与当前需求元素的映射关系作为当前需求元素与匹配的目标需求类型之间的映射关系。

具体的，设置当前需求元素为手机号码，且所述手机号码为业务属性需求类型的需求元素，设置该元素可以从银行柜台信息与移动客户端信息两个实体需求类型建立映射关系，两者包含的手机号码不相同，且两者对于手机号码的获取方式相互独立，不存在信息的流转进，则所述包含银行柜台信息的第二层级节点与则所述包含移动客户端信息的第二层级节点中的手机号码信息进行合并，作为最终的目标需求类型。

根据所述至少一个元素间映射关系，确定与当前需求元素匹配的目标上一层级需求元素；

在所述层级节点图中建立与当前需求元素与目标上一层级需求元素之间的映射关系；

返回执行在当前处理层级中获取当前需求元素的操作，直至完成对当前处理层级中全部需求元素的处理。

容易理解的是，当所述映射关系确定后，由于映射关系中至少包含两个不同层级的需求元素，即可以在层级节点图中建立与当前需求元素与目标上一层级需求元素之间的映射关系。

S250、检测当前处理层级是否为所述层级节点图的第二层级，若是，执行S260；否则，返回执行S230。

容易理解的是，由于是按照从低层到高层的顺序，在所述层级节点图中获取当前处理层级，则所述第一层级之上没有更高的层级，即第一层节点图中的节点无法与更高层级的节点建立映射关系，可以得到，当所述***处理完毕层级节点图的第二层级，即第二层级中所有节点都与第一层级中的节点建立了映射，则所述层级节点图处理完毕。

S260、将当前更新的得到的层级节点图，确定为迁移映射关系图。

S270、按照所述迁移映射关系图，将各所述数据迁出***中的数据迁移至所述数据迁入***中。

本发明实施例的技术方案，根据需求元素构建层级节点图，并获取与至少一个数据迁出***分别匹配的标准数据模型，按照从低层到高层的顺序，在层级节点图中获取当前处理层级，并获取与所述当前处理层级相邻的上一层级对应的目标需求类型，之后根据目标需求类型在层级节点图中建立当前处理层级中的各需求元素与匹配的上一层级需求元素之间的映射关系，再根据标准数据模型与层级节点图得到迁移映射关系图，最终按照迁移映射关系图，将各数据迁出***中的数据迁移至所述数据迁入***中解决了数据迁移过程中人工数据迁移的工作量较大，数据迁移效率较低的问题，实现了基于数据资产的数据迁移过程的自动化，减少了人工数据迁移的工作量，提高了数据迁移的效率。

具体实施方式

为了更清楚的表述本发明实施例提供的技术方案，本实施例在此提供一种具体实施方式如下：

在本实施例提供的具体实施方式中，迁入***在数据资产装置中进行处理，明确各个不同需求类型下的需求元素。标准数据模型中存储了所属数据迁出***的多个元素间映射关系，如果当前需求元素与目标需求类型建立了映射关系后，便可直接得出此需求元素的数据来源范围，如果当前需求元素与唯一一个目标需求类型具有映射关系，则所述映射关系即为当前需求元素与匹配的目标需求类型之间的映射关系；如果当前需求元素与多个目标需求类型具有映射关系，可以利用数据血缘或预设规则得出应选取哪个来源。得出迁入***当前需求元素与匹配的目标需求类型之间的映射关系后，便可利用数据资产装置直接生成数据脚本，并在脚本中配置每个需求元素的核验规则，例如“非空”或者“非乱码”等核验规则等。数据资产装置可以配置到各***的数据源链接和运行环境，配置完成后便可自动运行。当运行完成后，通过核验的数据便完成了数据迁移，有问题的数据则会自动生成错误结果集，进行错误处理。

本实施例提供的一个具体实施方式的实施步骤如下：

步骤1：根据数据迁入***在多个需求类型下的需求元素，构建层级节点图。

步骤2：根据数据迁入***在数据源类型下的全部需求元素，构建第一层级节点；根据数据迁入***在实体类型下的全部需求元素，构建第二层级节点；根据数据迁入***在业务属性类型下的全部需求元素，构建第三层级节点，以得到层级节点图。

步骤3：获取与当前处理的数据迁出***对应的当前标准数据模型。

步骤4：按照从低层到高层的顺序，在层级节点图中获取当前处理层级，并获取与当前处理层级相邻的上一层级对应的目标需求类型。

步骤5：根据当前处理层级中的各需求元素和目标需求类型在当前标准数据模型中进行查找。

步骤6：判断当前需求元素是否与唯一一个目标需求类型具有映射关系；若否，执行步骤7，若是，执行步骤8。

步骤7：判断多个目标需求类型是否存在数据迁移关系；若是，执行步骤9，若否，执行步骤10。

步骤8：在层级节点图中建立当前处理层级中的各需求元素与匹配的上一层级需求元素之间的映射关系，执行步骤13。

步骤9：判断多个目标需求类型所携带的数据是否相同；若是，执行步骤11，若否，执行步骤12。

步骤10：合并所有的目标需求类型作为最终的目标需求类型，将该目标需求类型与当前需求元素的映射关系作为当前需求元素与匹配的目标需求类型之间的映射关系，返回执行步骤8。

步骤11：根据数据血缘选择出最初始的目标需求类型，将该目标需求类型与当前需求元素的映射关系作为当前需求元素与匹配的目标需求类型之间的映射关系，返回执行步骤8。

步骤12：根据预设规则筛选符合规则的目标需求类型，将该目标需求类型与当前需求元素的映射关系作为当前需求元素与匹配的目标需求类型之间的映射关系，返回执行步骤8。

步骤13：按照从低层到高层的顺序，在层级节点图中获取当前处理层级的操作，直至处理至所述层级节点图的第二层级。

步骤14：根据处理后的层级节点图形成迁移映射关系图。

步骤15：按照迁移映射关系图，将各数据迁出***中的数据迁移至数据迁入***中。

步骤16：将一级迁入结果输入至迁移脚本，利用迁移脚本中的核验规则模块处理传递至数据迁入***。

步骤17：判断一级迁移结果是否符合核验规则模块的核验标准；若是，执行步骤18，若否，执行步骤19。

步骤18：所述迁移脚本将数据传递至数据迁入***，所述数据迁入***获得二级迁移结果。

步骤19：迁移脚本输出错误结果集，并对所述错误结果集进行错误处理。

上述整个数据迁移过程均在数据资产装置内进行，减少了迁入***实施人员对其他***掌握程度的依赖、减少了人工分析、设计的工作量，提升了整个数据迁移的效率和准确性。

实施例三

图3为本发明实施例三提供的一种数据迁移装置的结构示意图。如图3所示，该装置包括：

层级构建模块310，用于根据数据迁入***在多个需求类型下的需求元素，构建层级节点图，需求类型包括数据源、实体和业务属性；不同需求类型位于不同层级；

标准数据模型匹配模块320，用于获取与至少一个数据迁出***分别匹配的标准数据模型，标准数据模型中用于存储所属数据迁出***的多个元素间映射关系，每个元素间映射关系中的两个元素隶属于不同需求类型；

迁移映射关系图构建模块330，用于根据各标准数据模型，在所述层级节点图中建立相邻层级中的各需求元素之间的映射关系，形成迁移映射关系图；

数据迁入模块340，按照所述迁移映射关系图，将各所述数据迁出***中的数据迁移至所述数据迁入***中。

本发明实施例的技术方案，根据需求元素构建层级节点图，并获取与至少一个数据迁出***分别匹配的标准数据模型，再根据标准数据模型与层级节点图得到迁移映射关系图，最终按照迁移映射关系图，将各数据迁出***中的数据迁移至所述数据迁入***中，解决了数据迁移过程中人工数据迁移的工作量较大，数据迁移效率较低的问题，实现了基于数据资产的数据迁移过程的自动化，减少了人工数据迁移的工作量，提高了数据迁移的效率。

在上述各实施例的基础上，迁移映射关系图构建模块330可以包括：

当前标准数据模型获取单元，用于获取与当前处理的数据迁出***对应的当前标准数据模型；

查找条件获取单元，用于按照从低层到高层的顺序，在所述层级节点图中获取当前处理层级，并获取与所述当前处理层级相邻的上一层级对应的目标需求类型；

映射关系查找单元，用于根据当前处理层级中的各需求元素和目标需求类型在当前标准数据模型中进行查找，并根据查找结果，在层级节点图中建立当前处理层级中的各需求元素与匹配的上一层级需求元素之间的映射关系；

第一重复执行单元，用于返回执行按照从低层到高层的顺序，在所述层级节点图中获取当前处理层级的操作，直至处理至所述层级节点图的第二层级。

在上述各实施例的基础上，映射关系查找单元，进一步包括：

元素间映射关系获取子单元，用于在当前处理层级中获取当前需求元素，并在当前标准数据模型中获取与当前需求元素和目标需求类型共同对应的至少一个元素间映射关系；

上级需求元素确定子单元，用于根据所述至少一个元素间映射关系，确定与当前需求元素匹配的目标上一层级需求元素；

映射关系建立子单元，用于在所述层级节点图中建立与当前需求元素与目标上一层级需求元素之间的映射关系；

第二重复执行模块，用于返回执行在当前处理层级中获取当前需求元素的操作，直至完成对当前处理层级中全部需求元素的处理。

在上述各实施例的基础上，映射关系建立子单元，可以具体用于：

如果当前需求元素与唯一一个目标需求类型具有映射关系，则所述映射关系即为当前需求元素与匹配的目标需求类型之间的映射关系；

如果当前需求元素与多个目标需求类型具有映射关系，且所述多个目标需求类型存在数据迁移关系且所携带的数据相同，则根据数据血缘选择出最初始的目标需求类型，将该目标需求类型与当前需求元素的映射关系作为当前需求元素与匹配的目标需求类型之间的映射关系；

如果当前需求元素与多个目标需求类型具有映射关系，且所述多个目标需求类型存在数据迁移关系且所携带的数据不相同，则根据预设规则筛选符合规则的目标需求类型，将该目标需求类型与当前需求元素的映射关系作为当前需求元素与匹配的目标需求类型之间的映射关系；

在上述各实施例的基础上，映射关系建立子单元，可以具体用于：

如果当前需求元素与唯一一个目标需求类型具有映射关系，则所述映射关系即为当前需求元素与匹配的目标需求类型之间的映射关系；

如果当前需求元素与多个目标需求类型具有映射关系，且所述多个目标需求类型不存在数据迁移关系，则合并所有的目标需求类型作为最终的目标需求类型，将该目标需求类型与当前需求元素的映射关系作为当前需求元素与匹配的目标需求类型之间的映射关系。

在上述各实施例的基础上，数据迁入模块340可以用于：

基于迁移映射关系图生成迁移脚本；其中，所述迁移脚本包括迁移规则模块与核验规则模块；

将所述数据迁出***中的数据通过所述迁移脚本中的迁移规则模块处理传递至数据迁入***，所述数据迁入***获得一级迁移结果。

其中，所述核验规则模块可以用于对所述已经迁移业务属性数据进行数据正确性的核验。

在上述各实施例的基础上，数据迁入模块340还可以用于：

将所述数据迁出***中的数据通过所述迁移脚本中的迁移规则模块处理传递至数据迁入***，所述迁入***获得一级迁移结果之后，将所述一级迁入结果输入至所述迁移脚本，利用所述迁移脚本中的核验规则模块处理传递至数据迁入***；

若所述一级迁移结果符合核验规则模块的核验标准，则所述迁移脚本将数据传递至数据迁入***，所述数据迁入***获得二级迁移结果；

若所述一级迁移结果不符合核验规则模块的核验标准，则所述迁移脚本输出错误结果集，并对所述错误结果集进行错误处理。

本发明实施例所提供的数据迁移装置可执行本发明任意实施例所提供的数据迁移方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM12以及RAM13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如数据迁移方法。

具体的，该方法包括：

根据数据迁入***在多个需求类型下的需求元素，构建层级节点图，需求类型包括数据源、实体和业务属性；不同需求类型位于不同层级；

获取与至少一个数据迁出***分别匹配的标准数据模型，标准数据模型中用于存储所属数据迁出***的多个元素间映射关系，每个元素间映射关系中的两个元素隶属于不同需求类型；

根据各标准数据模型，在所述层级节点图中建立相邻层级中的各需求元素之间的映射关系，形成迁移映射关系图；

按照所述迁移映射关系图，将各所述数据迁出***中的数据迁移至所述数据迁入***中。

在一些实施例中，数据迁移方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM13并由处理器11执行时，可以执行上文描述的数据迁移方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据迁移方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的***和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种数据迁移方法，其特征在于，包括：

根据数据迁入***在多个需求类型下的需求元素，构建层级节点图，需求类型包括数据源、实体和业务属性；不同需求类型位于不同层级；

获取与至少一个数据迁出***分别匹配的标准数据模型，标准数据模型中用于存储所属数据迁出***的多个元素间映射关系，每个元素间映射关系中的两个元素隶属于不同需求类型；

根据各标准数据模型，在所述层级节点图中建立相邻层级中的各需求元素之间的映射关系，形成迁移映射关系图；

按照所述迁移映射关系图，将各所述数据迁出***中的数据迁移至所述数据迁入***中。

2.根据权利要求1所述的方法，其特征在于，根据标准数据模型，在所述层级节点图中建立相邻层级中的各需求元素之间的映射关系，包括：

获取与当前处理的数据迁出***对应的当前标准数据模型；

按照从低层到高层的顺序，在所述层级节点图中获取当前处理层级，并获取与所述当前处理层级相邻的上一层级对应的目标需求类型；

根据当前处理层级中的各需求元素和目标需求类型在当前标准数据模型中进行查找，并根据查找结果，在层级节点图中建立当前处理层级中的各需求元素与匹配的上一层级需求元素之间的映射关系；

返回执行按照从低层到高层的顺序，在所述层级节点图中获取当前处理层级的操作，直至处理至所述层级节点图的第二层级。

3.根据权利要求2所述的方法，其特征在于，根据当前处理层级中的各需求元素和目标需求类型在当前标准数据模型中进行查找，并根据查找结果，在层级节点图中建立当前处理层级中的各需求元素与匹配的上一层级需求元素之间的映射关系，包括：

在当前处理层级中获取当前需求元素，并在当前标准数据模型中获取与当前需求元素和目标需求类型共同对应的至少一个元素间映射关系；

根据所述至少一个元素间映射关系，确定与当前需求元素匹配的目标上一层级需求元素；

在所述层级节点图中建立与当前需求元素与目标上一层级需求元素之间的映射关系；

返回执行在当前处理层级中获取当前需求元素的操作，直至完成对当前处理层级中全部需求元素的处理。

4.根据权利要求3所述的方法，其特征在于，在当前处理层级中获取当前需求元素，并在当前标准数据模型中获取与当前需求元素和目标需求类型共同对应的至少一个元素间映射关系，包括：

如果当前需求元素与唯一一个目标需求类型具有映射关系，则所述映射关系即为当前需求元素与匹配的目标需求类型之间的映射关系；

如果当前需求元素与多个目标需求类型具有映射关系，且所述多个目标需求类型存在数据迁移关系且所携带的数据相同，则根据数据血缘选择出最初始的目标需求类型，将该目标需求类型与当前需求元素的映射关系作为当前需求元素与匹配的目标需求类型之间的映射关系；

如果当前需求元素与多个目标需求类型具有映射关系，且所述多个目标需求类型存在数据迁移关系且所携带的数据不相同，则根据预设规则筛选符合规则的目标需求类型，将该目标需求类型与当前需求元素的映射关系作为当前需求元素与匹配的目标需求类型之间的映射关系。

5.根据权利要求3所述的方法，其特征在于，在当前处理层级中获取当前需求元素，并在当前标准数据模型中获取与当前需求元素和目标需求类型共同对应的至少一个元素间映射关系，包括：

如果当前需求元素与唯一一个目标需求类型具有映射关系，则所述映射关系即为当前需求元素与匹配的目标需求类型之间的映射关系；

如果当前需求元素与多个目标需求类型具有映射关系，且所述多个目标需求类型不存在数据迁移关系，则合并所有的目标需求类型作为最终的目标需求类型，将该目标需求类型与当前需求元素的映射关系作为当前需求元素与匹配的目标需求类型之间的映射关系。

6.根据权利要求1-5任一项所述的方法，其特征在于，按照所述迁移映射关系图，将各所述数据迁出***中的数据迁移至所述数据迁入***中，包括：

基于迁移映射关系图生成迁移脚本；其中，所述迁移脚本包括迁移规则模块与核验规则模块；

将所述数据迁出***中的数据通过所述迁移脚本中的迁移规则模块处理传递至数据迁入***，所述数据迁入***获得一级迁移结果。

其中，所述核验规则模块可以用于对所述已经迁移业务属性数据进行数据正确性的核验。

7.根据权利要求6所述的方法，其特征在于，将所述数据迁出***中的数据通过所述迁移脚本中的迁移规则模块处理传递至数据迁入***，所述迁入***获得一级迁移结果之后，还包括：

将所述一级迁入结果输入至所述迁移脚本，利用所述迁移脚本中的核验规则模块处理传递至数据迁入***；

若所述一级迁移结果符合核验规则模块的核验标准，则所述迁移脚本将数据传递至数据迁入***，所述数据迁入***获得二级迁移结果；

若所述一级迁移结果不符合核验规则模块的核验标准，则所述迁移脚本输出错误结果集，并对所述错误结果集进行错误处理。

8.一种数据迁移装置，其特征在于，包括：

层级构建模块，用于根据数据迁入***在多个需求类型下的需求元素，构建层级节点图，需求类型包括数据源、实体和业务属性；不同需求类型位于不同层级；

标准数据模型匹配模块，用于获取与至少一个数据迁出***分别匹配的标准数据模型，标准数据模型中用于存储所属数据迁出***的多个元素间映射关系，每个元素间映射关系中的两个元素隶属于不同需求类型；

迁移映射关系图构建模块，用于根据各标准数据模型，在所述层级节点图中建立相邻层级中的各需求元素之间的映射关系，形成迁移映射关系图；

数据迁入模块，按照所述迁移映射关系图，将各所述数据迁出***中的数据迁移至所述数据迁入***中。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的数据迁移方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据迁移方法。

Images