CN115687303A - 数据信息迁移方法、装置、设备及存储介质 - Google Patents

数据信息迁移方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115687303A
CN115687303A CN202211362835.2A CN202211362835A CN115687303A CN 115687303 A CN115687303 A CN 115687303A CN 202211362835 A CN202211362835 A CN 202211362835A CN 115687303 A CN115687303 A CN 115687303A
Authority
CN
China
Prior art keywords
data information
storage capacity
capacity value
migrated
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211362835.2A
Other languages
English (en)
Inventor
葛志贇
陆照信
乔波
张子君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Bank of China
Original Assignee
Agricultural Bank of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Bank of China filed Critical Agricultural Bank of China
Priority to CN202211362835.2A priority Critical patent/CN115687303A/zh
Publication of CN115687303A publication Critical patent/CN115687303A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供的一种数据信息迁移方法、装置、设备及存储介质,涉及数据信息处理技术领域,该方法通过获取待迁移的数据信息,并计算待迁移的数据信息的第一存储容量值;其中,第一存储容量值表征待迁移的数据信息在原始数据库中所需的存储容量值;根据第一存储容量值,建立预设数据库的存储结构;根据预设数据库的存储结构,迁移待迁移的数据信息。采用本技术方案,能够预先评估该数据信息迁移后的存储容量,进而实现高效率的数据信息迁移。

Description

数据信息迁移方法、装置、设备及存储介质
技术领域
本申请涉及数据信息处理技术领域,尤其涉及一种数据信息迁移方法、装置、设备及存储介质。
背景技术
目前,现有的银行是基于IBM大型主机构建的核心业务***,该核心业务***具备集中、专有和封闭的特点,可以满足大量数据集中后的业务经营需要。互联网金融企业采用X86平台与开源软件创建敏捷、弹性、低成本的分布式联机交易处理架构,可处理海量交易。
而随着互联网金融对传统银行业的冲击,银行要求核心***快速迭代,同比主机资源消耗逐年走高,因此,拥有更低成本的IT技术势在必行。
因此,需要一种数据信息迁移方法,能够预先评估该数据信息迁移后的存储容量,进而实现高效率的数据信息迁移。
发明内容
本申请提供一种数据信息迁移方法、装置、设备及存储介质,能够预先评估该数据信息迁移后的存储容量,进而实现高效率的数据信息迁移。
第一方面,本申请提供一种数据信息迁移方法,包括:
获取待迁移的数据信息,并计算所述待迁移的数据信息的第一存储容量值;其中,所述第一存储容量值表征所述待迁移的数据信息在原始数据库中所需的存储容量值;
根据所述第一存储容量值,建立预设数据库的存储结构;
根据所述预设数据库的存储结构,迁移所述待迁移的数据信息。
在一个示例中,所述根据所述第一存储容量值,建立所述预设数据库的存储结构,包括:
根据所述第一存储容量值,计算第二存储容量值;其中,所述第二存储容量值表征所述待迁移的数据信息迁移至预设数据库中所需的存储容量值;
根据所述第二存储容量值,建立所述预设数据库的存储结构。
在一个示例中,所述根据所述第一存储容量值,计算第二存储容量值,包括:
若所述待迁移的数据信息中表的主键字段小于或者等于预设数量,则所述第二存储容量值为所述第一存储容量值的第一倍数值;
若所述待迁移的数据信息中表的主键字段大于预设数量,则所述第二存储容量值为所述第一存储容量值的第二倍数值。
在一个示例中,所述获取待迁移的数据信息之后,还包括:
对所述待迁移的数据信息进行脱敏处理,得到脱敏处理后的数据信息。
在一个示例中,所述根据所述预设数据库的存储结构,迁移所述待迁移的数据信息,包括:
将所述待迁移的数据信息进行转码处理,得到转码处理后的数据信息;
将所述转码处理后的数据信息按照主键字段顺序进行排序,得到排序后的数据信息;
根据所述预设数据库中的存储结构,迁移所述排序后的数据信息。
在一个示例中,所述根据所述预设数据库中的存储结构,迁移所述排序后的数据信息,包括:
根据所述预设数据库的存储结构,确定存储节点;
根据所述排序后的数据信息的数据类型,确定对应的分布算法;
根据所述分布算法,将所述排序后的数据信息迁移至所述存储节点。
第二方面,本申请提供一种数据信息迁移装置,所述装置包括:
获取单元,用于获取待迁移的数据信息,并计算所述待迁移的数据信息的第一存储容量值;其中,所述第一存储容量值表征所述待迁移的数据信息在原始数据库中所需的存储容量值;
建立单元,用于根据所述第一存储容量值,建立预设数据库的存储结构;
迁移单元,用于根据所述预设数据库的存储结构,迁移所述待迁移的数据信息。
在一个示例中,建立单元,包括:
计算模块,用于根据所述第一存储容量值,计算第二存储容量值;其中,所述第二存储容量值表征所述待迁移的数据信息迁移至预设数据库中所需的存储容量值;
建立模块,用于根据所述第二存储容量值,建立所述预设数据库的存储结构。
在一个示例中,计算模块,包括:
第一确定子模块,用于若所述待迁移的数据信息中表的主键字段小于或者等于预设数量,则所述第二存储容量值为所述第一存储容量值的第一倍数值;
第二确定子模块,用于若所述待迁移的数据信息中表的主键字段大于预设数量,则所述第二存储容量值为所述第一存储容量值的第二倍数值。
在一个示例中,所述装置,还包括:
脱敏处理单元,用于对所述待迁移的数据信息进行脱敏处理,得到脱敏处理后的数据信息。
在一个示例中,迁移单元,包括:
转码处理模块,用于将所述待迁移的数据信息进行转码处理,得到转码处理后的数据信息;
排序模块,用于将所述转码处理后的数据信息按照主键字段顺序进行排序,得到排序后的数据信息;
迁移模块,用于根据所述预设数据库中的存储结构,迁移所述排序后的数据信息。
在一个示例中,迁移模块,包括:
第三确定子模块,用于根据所述预设数据库的存储结构,确定存储节点;
第四确定子模块,用于根据所述排序后的数据信息的数据类型,确定对应的分布算法;
迁移子模块,用于根据所述分布算法,将所述排序后的数据信息迁移至所述存储节点。
第三方面,本申请提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如第一方面所述的方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面所述的方法。
第五方面,本申请提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第一方面所述的方法。
本申请提供的一种数据信息迁移方法、装置、设备及存储介质,通过获取待迁移的数据信息,并计算所述待迁移的数据信息的第一存储容量值;其中,所述第一存储容量值表征所述待迁移的数据信息在原始数据库中所需的存储容量值;根据所述第一存储容量值,建立预设数据库的存储结构;根据所述预设数据库的存储结构,迁移所述待迁移的数据信息。采用本技术方案,能够预先评估该数据信息迁移后的存储容量,进而实现高效率的数据信息迁移。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是根据本申请实施例一提供的一种数据信息迁移方法的流程示意图;
图2是根据本申请实施例二提供的一种数据信息迁移方法的流程示意图;
图3是根据本申请实施例三提供的一种数据信息迁移装置的结构示意图;
图4是根据本申请实施例四提供的一种数据信息迁移装置的结构示意图;
图5是根据一示例性实施例示出的一种电子设备的框图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本申请提供的数据信息迁移方法,旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图1是根据本申请实施例一提供的一种数据信息迁移方法的流程示意图。实施例一中包括如下步骤:
S101、获取待迁移的数据信息,并计算待迁移的数据信息的第一存储容量值;其中,第一存储容量值表征待迁移的数据信息在原始数据库中所需的存储容量值。
本实施例中,待迁移的数据信息包括如下一种或者多种类型,第一种待迁移的数据信息包括数字、字母和中文;第二种待迁移的数据信息包括数字和字母;第三种待迁移的数据信息包括中文。本实施例中,待迁移的数据信息是从原始数据库迁移至预设数据库中,其中,原始数据库为DB2数据库,其中,DB2数据库是IBM公司开发的大型关系型数据库平台。预设数据库是TDSQL数据库,其中,TDSQL数据库是企业级分布式数据库平台。原始数据库和预设数据库对于同样的数据信息所存储的格式和所需要的存储容量值是不同的。其中,第一存储容量值表征待迁移的数据信息在原始数据库中存储时需要的存储容量值。
S102、根据第一存储容量值,建立预设数据库的存储结构。
本实施例中,同样的数据信息在原始数据库中所占用的存储容量值与该数据信息在预设数据库中所占用的存储容量值之间具备一定的关系,因此,在获取了第一存储容量值之后,能够对预设数据库的存储结构进行建立。预设数据库的存储结构是由多个节点构成的,每一个节点的数据量有该节点的存储容量值,例如,一个节点的数据量的存储容量值为1TB,进一步地,预设数据库中的节点数限制在16个之内。节点又称为set、数据节点、分片。set是分布式实例中最小的数据单元。一个分布式实例是由n个set组成,每个set中存有不同范围的数据,所有set加到一起是一份全量的数据。分布式实例是使用TDSQL分布式数据库创建出来的实例,数据分布在n个set上。
S103、根据预设数据库的存储结构,迁移待迁移的数据信息。
本实施例中,在搭建好预设数据库的存储结构后,将待迁移的数据信息按照预设数据库的存储结构中的各个节点进行迁移。
本申请提供的一种数据信息迁移方法,通过获取待迁移的数据信息,并计算待迁移的数据信息的第一存储容量值;其中,第一存储容量值表征待迁移的数据信息在原始数据库中所需的存储容量值;根据第一存储容量值,建立预设数据库的存储结构;根据预设数据库的存储结构,迁移待迁移的数据信息。采用本技术方案,能够预先评估该数据信息迁移后的存储容量,进而实现高效率的数据信息迁移。
图2是根据本申请实施例二提供的一种数据信息迁移方法的流程示意图。实施例二中包括如下步骤:
S201、获取待迁移的数据信息。
示例性地,本步骤可以参见上述步骤S101,不再赘述。
S202、对待迁移的数据信息进行脱敏处理,得到脱敏处理后的数据信息。
本实施例中,脱敏处理是指对数据信息的敏感信息进行一些初步的处理,例如,进行数据遮挡,脱敏处理后的数据信息的数据安全性要高于待迁移的数据信息的数据安全性。
S203、计算待迁移的数据信息的第一存储容量值;其中,第一存储容量值表征待迁移的数据信息在原始数据库中所需的存储容量值。
示例性地,本步骤可以参见上述步骤S101,不再赘述。
S204、根据第一存储容量值,计算第二存储容量值;其中,第二存储容量值表征待迁移的数据信息迁移至预设数据库中所需的存储容量值。
本实施例中,第一存储容量值包括表的存储容量值以及索引关系的存储容量值,第二存储容量值包括表的存储容量值以及索引关系的存储容量值。
在一个示例中,根据第一存储容量值,计算第二存储容量值,包括:
若待迁移的数据信息中表的主键字段小于或者等于预设数量,则第二存储容量值为第一存储容量值的第一倍数值;
若待迁移的数据信息中表的主键字段大于预设数量,则第二存储容量值为第一存储容量值的第二倍数值。
本实施例中,预设数量可以进行设置,第一倍数值可以是两倍,第二倍数值是大于两倍的数值。本实施例中,表的主键字段越多,非主键索引关系较多,则第二存储容量值就越大。例如,待迁移的数据信息是数字和字母,则第二倍数值为三倍。
本实施例中,数据信息的数据类型的不同,不会造成第一存储容量值与第二存储容量值之间内的差异。其中,数据信息的数据类型可以是char型和varchar型。
S205、根据第二存储容量值,建立预设数据库的存储结构。
本实施例中,预设数据库的存储结构是大于第二存储容量值的,具体的存储结构的数值可以根据具体的场景进行设置。
S206、将待迁移的数据信息进行转码处理,得到转码处理后的数据信息。
本实施例中,转码处理是因为原始数据库的数据信息的数据存储方式与预设数据库的数据信息的数据存储方式不同,需要将待迁移的数据信息的数据存储方式转码为预设数据库的数据信息的数据存储方式。
S207、将转码处理后的数据信息按照主键字段顺序进行排序,得到排序后的数据信息。
本实施例中,主键字段顺序排序比主键字段乱序排序所占用的存储容量值小,因此,需要将转码处理后的数据信息按照主键字段顺序进行排序,得到排序后的数据信息。具体的,转码处理后的数据信息包括数字、字母、中文、数据类型为char和varchar类型时,主键字段乱序排序所占用的存储容量值可以参见表1。
表1主键字段乱序排序所占用的存储容量值
Figure BDA0003923335000000071
转码处理后的数据信息包括数字、字母,数据类型为varchar类型时,主键字段乱序排序和顺序排序所占用的存储容量值可以参见表2。
表2主键字段乱序排序和顺序排序所占用的存储容量值
Figure BDA0003923335000000072
转码处理后的数据信息包括中文,数据类型为char类型时,主键字段乱序排序和顺序排序所占用的存储容量值可以参见表3。
表3数据类型为char类型时主键字段乱序排序和顺序排序所占用的存储容量值
Figure BDA0003923335000000081
S208、根据预设数据库中的存储结构,迁移排序后的数据信息。
本实施例中,通过load data工具迁移排序后的数据信息。
在一个示例中,根据预设数据库中的存储结构,迁移排序后的数据信息,包括:
根据预设数据库的存储结构,确定存储节点;
根据排序后的数据信息的数据类型,确定对应的分布算法;
根据分布算法,将排序后的数据信息迁移至存储节点。
本实施例中,预设数据库的存储结构中存在不同数量的存储节点,先确定具体的存储节点的数量,然后再根据排序后的数据信息的数据类型,确定具体的分布算法,然后将排序后的数据信息按照不同的分布算法迁移至存储节点上。具体的可以采用分片表的形式进行,其中,分片表为TDSQL数据库中的一种表类型,即水平拆分表,分片表需指定一个字段,使用不同的分布算法将数据信息分布到不同的节点。
本申请提供的一种数据信息迁移方法,根据第一存储容量值,计算第二存储容量值;其中,第二存储容量值表征待迁移的数据信息迁移至预设数据库中所需的存储容量值,根据第二存储容量值,建立预设数据库的存储结构,将待迁移的数据信息进行转码处理,得到转码处理后的数据信息,并根据预设数据库中的存储结构,迁移排序后的数据信息。采用本技术方案,能够提供一种数据信息迁移的存储结构的计算方式,进而提升数据信息迁移的成功率。
图3是根据本申请实施例三提供的一种数据信息迁移装置的结构示意图。具体的,实施例三的装置30中包括:
获取单元301,用于获取待迁移的数据信息,并计算待迁移的数据信息的第一存储容量值;其中,第一存储容量值表征待迁移的数据信息在原始数据库中所需的存储容量值;
建立单元302,用于根据第一存储容量值,建立预设数据库的存储结构;
迁移单元303,用于根据预设数据库的存储结构,迁移待迁移的数据信息。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图4是根据本申请实施例四提供的一种数据信息迁移装置的结构示意图。具体的,实施例四的装置40中包括:
获取单元401,用于获取待迁移的数据信息,并计算待迁移的数据信息的第一存储容量值;其中,第一存储容量值表征待迁移的数据信息在原始数据库中所需的存储容量值;
建立单元402,用于根据第一存储容量值,建立预设数据库的存储结构;
迁移单元403,用于根据预设数据库的存储结构,迁移待迁移的数据信息。
在一个示例中,建立单元402,包括:
计算模块4021,用于根据第一存储容量值,计算第二存储容量值;其中,第二存储容量值表征待迁移的数据信息迁移至预设数据库中所需的存储容量值;
建立模块4022,用于根据第二存储容量值,建立预设数据库的存储结构。
在一个示例中,计算模块4021,包括:
第一确定子模块40211,用于若待迁移的数据信息中表的主键字段小于或者等于预设数量,则第二存储容量值为第一存储容量值的第一倍数值;
第二确定子模块40212,用于若待迁移的数据信息中表的主键字段大于预设数量,则第二存储容量值为第一存储容量值的第二倍数值。
在一个示例中,该装置,还包括:
脱敏处理单元404,用于对待迁移的数据信息进行脱敏处理,得到脱敏处理后的数据信息。
在一个示例中,迁移单元403,包括:
转码处理模块4031,用于将待迁移的数据信息进行转码处理,得到转码处理后的数据信息;
排序模块4032,用于将转码处理后的数据信息按照主键字段顺序进行排序,得到排序后的数据信息;
迁移模块4033,用于根据预设数据库中的存储结构,迁移排序后的数据信息。
在一个示例中,迁移模块4033,包括:
第三确定子模块40331,用于根据预设数据库的存储结构,确定存储节点;
第四确定子模块40332,用于根据排序后的数据信息的数据类型,确定对应的分布算法;
迁移子模块40333,用于根据分布算法,将排序后的数据信息迁移至存储节点。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图5是根据一示例性实施例示出的一种电子设备的框图,该设备可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
装置500可以包括以下一个或多个组件:处理组件502,存储器504,电源组件506,多媒体组件508,音频组件510,输入/输出(I/O)接口512,传感器组件514,以及通信组件516。
处理组件502通常控制装置500的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件502可以包括一个或多个模块,便于处理组件502和其他组件之间的交互。例如,处理组件502可以包括多媒体模块,以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件506为装置500的各种组件提供电力。电源组件506可以包括电源管理***,一个或多个电源,及其他与为装置500生成、管理和分配电力相关联的组件。
多媒体组件508包括在装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件508包括一个前置摄像头和/或后置摄像头。当装置500处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如,音频组件510包括一个麦克风(MIC),当装置500处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中,音频组件510还包括一个扬声器,用于输出音频信号。
I/O接口512为处理组件502和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器,用于为装置500提供各个方面的状态评估。例如,传感器组件514可以检测到装置500的打开/关闭状态,组件的相对定位,例如所述组件为装置500的显示器和小键盘,传感器组件514还可以检测装置500或装置500一个组件的位置改变,用户与装置500接触的存在或不存在,装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件514还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件516经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件516还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器504,上述指令可由装置500的处理器520执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当该存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述电子设备的数据信息迁移方法。
本申请还公开了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如本实施例中所述的方法。
本申请以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或电子设备上执行。
在本申请的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据电子设备)、或者包括中间件部件的计算***(例如,应用电子设备)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和电子设备。客户端和电子设备一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-电子设备关系的计算机程序来产生客户端和电子设备的关系。电子设备可以是云电子设备,又称为云计算电子设备或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。电子设备也可以为分布式***的电子设备,或者是结合了区块链的电子设备。应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种数据信息迁移方法,其特征在于,所述方法包括:
获取待迁移的数据信息,并计算所述待迁移的数据信息的第一存储容量值;其中,所述第一存储容量值表征所述待迁移的数据信息在原始数据库中所需的存储容量值;
根据所述第一存储容量值,建立预设数据库的存储结构;
根据所述预设数据库的存储结构,迁移所述待迁移的数据信息。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一存储容量值,建立所述预设数据库的存储结构,包括:
根据所述第一存储容量值,计算第二存储容量值;其中,所述第二存储容量值表征所述待迁移的数据信息迁移至预设数据库中所需的存储容量值;
根据所述第二存储容量值,建立所述预设数据库的存储结构。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一存储容量值,计算第二存储容量值,包括:
若所述待迁移的数据信息中表的主键字段小于或者等于预设数量,则所述第二存储容量值为所述第一存储容量值的第一倍数值;
若所述待迁移的数据信息中表的主键字段大于预设数量,则所述第二存储容量值为所述第一存储容量值的第二倍数值。
4.根据权利要求1所述的方法,其特征在于,所述获取待迁移的数据信息之后,还包括:
对所述待迁移的数据信息进行脱敏处理,得到脱敏处理后的数据信息。
5.根据权利要求1所述的方法,其特征在于,所述根据所述预设数据库的存储结构,迁移所述待迁移的数据信息,包括:
将所述待迁移的数据信息进行转码处理,得到转码处理后的数据信息;
将所述转码处理后的数据信息按照主键字段顺序进行排序,得到排序后的数据信息;
根据所述预设数据库中的存储结构,迁移所述排序后的数据信息。
6.根据权利要求5所述的方法,其特征在于,所述根据所述预设数据库中的存储结构,迁移所述排序后的数据信息,包括:
根据所述预设数据库的存储结构,确定存储节点;
根据所述排序后的数据信息的数据类型,确定对应的分布算法;
根据所述分布算法,将所述排序后的数据信息迁移至所述存储节点。
7.一种数据信息迁移装置,其特征在于,所述装置包括:
获取单元,用于获取待迁移的数据信息,并计算所述待迁移的数据信息的第一存储容量值;其中,所述第一存储容量值表征所述待迁移的数据信息在原始数据库中所需的存储容量值;
建立单元,用于根据所述第一存储容量值,建立预设数据库的存储结构;
迁移单元,用于根据所述预设数据库的存储结构,迁移所述待迁移的数据信息。
8.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-6中任一项所述的方法。
10.一种计算机程序产品,其特征在于,包括计算机程序,该计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN202211362835.2A 2022-11-02 2022-11-02 数据信息迁移方法、装置、设备及存储介质 Pending CN115687303A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211362835.2A CN115687303A (zh) 2022-11-02 2022-11-02 数据信息迁移方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211362835.2A CN115687303A (zh) 2022-11-02 2022-11-02 数据信息迁移方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115687303A true CN115687303A (zh) 2023-02-03

Family

ID=85048603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211362835.2A Pending CN115687303A (zh) 2022-11-02 2022-11-02 数据信息迁移方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115687303A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117709517A (zh) * 2023-11-24 2024-03-15 武汉索元数据信息有限公司 一种优化信息确定方法、装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117709517A (zh) * 2023-11-24 2024-03-15 武汉索元数据信息有限公司 一种优化信息确定方法、装置
CN117709517B (zh) * 2023-11-24 2024-05-10 武汉索元数据信息有限公司 一种优化信息确定方法、装置

Similar Documents

Publication Publication Date Title
CN107621886B (zh) 一种输入推荐方法、装置及电子设备
CN114374663B (zh) 消息处理方法和消息处理装置
CN115687303A (zh) 数据信息迁移方法、装置、设备及存储介质
CN108628883B (zh) 一种数据处理方法、装置及电子设备
CN115563156A (zh) 流数据信息的校验方法、装置、设备及存储介质
CN114090738A (zh) 场景数据信息确定的方法、装置、设备及存储介质
CN114298227A (zh) 文本去重方法、装置、设备及介质
CN114612202A (zh) 数据处理方法、装置、设备、可读存储介质及产品
CN111191998A (zh) 事项处理方法及装置
CN115333877B (zh) 信息处理方法、装置、终端和存储介质
CN116562999A (zh) 金融制品资产类别确定方法、设备及存储介质
CN115271529A (zh) 商户考核指标值确定方法、装置、设备及存储介质
CN114240393A (zh) 基于管理***的数据处理方法、装置、设备及存储介质
CN115437887A (zh) 告警文本信息处理方法、装置、设备及存储介质
CN116010811A (zh) 交易数据信息分类模型训练方法、设备及存储介质
CN114418766A (zh) 待交易数据信息的处理方法、装置、设备及存储介质
CN115952311A (zh) 文本信息生成方法、装置、设备及存储介质
CN115576925A (zh) 基于数据库的数据迁移的方法、装置及电子设备
CN114329088A (zh) 目录结构文件生成方法、装置、设备及存储介质
CN115905387A (zh) 数据代码信息生成方法、装置、设备及存储介质
CN117520398A (zh) 变量比对方法、装置、设备及存储介质
CN117472931A (zh) 数据库执行语句的调用方法、装置、设备及存储介质
CN114510481A (zh) 用户信用数据信息存储方法、装置及设备
CN115544167A (zh) 数据传递方法、装置、设备及介质
CN117520865A (zh) 疑似风险目标数据集归类处理方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination