CN115639972B - 数据迁移方法、装置、电子设备以及存储介质 - Google Patents
数据迁移方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN115639972B CN115639972B CN202211660378.5A CN202211660378A CN115639972B CN 115639972 B CN115639972 B CN 115639972B CN 202211660378 A CN202211660378 A CN 202211660378A CN 115639972 B CN115639972 B CN 115639972B
- Authority
- CN
- China
- Prior art keywords
- data
- storage system
- target data
- verification result
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000013508 migration Methods 0.000 title claims abstract description 65
- 230000005012 migration Effects 0.000 title claims abstract description 65
- 238000012795 verification Methods 0.000 claims abstract description 93
- 238000013524 data verification Methods 0.000 claims abstract description 70
- 238000006243 chemical reaction Methods 0.000 claims abstract description 64
- 230000002159 abnormal effect Effects 0.000 claims description 23
- 230000005856 abnormality Effects 0.000 claims description 14
- 230000008676 import Effects 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 16
- 238000012545 processing Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种数据迁移方法、装置、电子设备以及存储介质，涉及数据处理技术领域，该方法包括：获取目标数据，目标数据基于第二存储***对应的第二数据格式对第一存储***中导出的源数据进行格式转换得到；基于第二存储***构建第三存储***，并将目标数据导入至第三存储***中，第二存储***和第三存储***的数据结构相同；对目标数据进行数据校验，得到数据校验结果，数据校验结果包括完整性校验结果以及安全性校验结果；在确定数据校验结果为校验通过的情况下，将第二存储***替换为第三存储***，解决了现有技术中如何避免对源数据进行格式转换的过程中出现的错误，影响IT应用的正常运行的技术问题。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据迁移方法、装置、电子设备以及存储介质。
背景技术
IT应用的数据存储于特定的存储***，IT应用在进行版本更新、设备更新或者数据备份时，需要将原存储***中的数据迁移至新的存储***中。
由于原存储***和新存储***之间往往存在很多差异，因此需要将原存储***中导出的源数据，转化为符合新存储***格式的数据，并将格式转换后的数据导入至新存储***中。而在将源数据转化为符合新存储***格式的数据的过程一旦出现错误，将会给IT应用带来不可预知的风险。
因此，如何避免对源数据进行格式转换的过程中出现的错误，影响IT应用的正常运行，是相关领域技术人员亟待解决的技术问题。
发明内容
本发明提供一种数据迁移方法、装置、电子设备以及存储介质，用以解决现有技术中如何避免对源数据进行格式转换的过程中出现的错误，影响IT应用的正常运行的技术问题。
本发明提供一种数据迁移方法，包括：
获取目标数据，所述目标数据基于第二存储***对应的第二数据格式对第一存储***中导出的源数据进行格式转换得到；
基于所述第二存储***构建第三存储***，并将所述目标数据导入至所述第三存储***中，所述第二存储***和所述第三存储***的数据结构相同；
对所述目标数据进行数据校验，得到数据校验结果，所述数据校验结果包括完整性校验结果以及安全性校验结果；
在确定所述数据校验结果为校验通过的情况下，将所述第二存储***替换为所述第三存储***。
根据本发明提供的一种数据迁移方法，所述对所述目标数据进行数据校验，得到数据校验结果，包括：
基于所述第一存储***对应的数据核对列表，对所述目标数据进行完整性校验，得到所述目标数据的完整性校验结果；
基于所述第三存储***的数据约束信息和数据结构信息，对所述目标数据进行安全性校验，得到所述目标数据的安全性校验结果；
基于所述完整性校验结果和所述安全性校验结果，确定所述目标数据的数据校验结果。
根据本发明提供的一种数据迁移方法，所述基于所述第一存储***对应的数据核对列表，对所述目标数据进行完整性校验，包括：
针对所述数据核对列表中的每一种待核对数据项，检测所述目标数据中是否存在所述待核对数据项的一级文件名称；
在所述目标数据中存在所述待核对数据项的一级文件名称的情况下，检测所述目标数据中是否存在所述待核对数据项下每个待核对对象的二级文件名称；
在所述目标数据中存在所述待核对对象的二级文件名称的情况下，检测所述目标数据中是否存在所述待核对对象所对应的各个待核对文件的三级文件名称。
根据本发明提供的一种数据迁移方法，所述基于所述第三存储***的数据约束信息和数据结构信息，对所述目标数据进行安全性校验，得到所述目标数据的安全性校验结果，包括：
基于所述第三存储***的数据约束信息对所述目标数据进行校验，得到约束校验结果；所述数据约束信息中包含所述第三存储***的至少一个数据约束项；
基于所述第三存储***的数据结构信息对所述目标数据进行校验，得到结构校验结果；所述数据结构信息中包含所述第三存储***中的第一存储区域与第二存储区域之间的数据对应关系；
基于所述约束校验结果和所述结构校验结果，确定所述目标数据的安全性校验结果。
根据本发明提供的一种数据迁移方法，所述将所述第二存储***替换为所述第三存储***，包括：
在所述第二存储***和所述第三存储***为数据库的情况下，断开所述第二存储***与所述第一存储***的通信连接，并创建所述第三存储***与所述第一存储***的通信连接；
在所述第二存储***和所述第三存储***为存储文件的情况下，将第一存储***的数据导出路径修改为所述第三存储***的第三存储路径。
根据本发明提供的一种数据迁移方法，所述获取目标数据，包括：
获取第一存储***中导出的源数据、第一存储***对应的第一数据格式，以及第二存储***对应的第二数据格式；
获取所述第一数据格式与所述第二数据格式对应的格式差异数据；
基于所述格式差异数据对所述源数据进行格式转换，得到格式转换后的目标数据。
根据本发明提供的一种数据迁移方法，所述将所述目标数据导入至所述第三存储***中，包括：
在检测到成功完成对所述源数据的格式转换的情况下，检测格式转换后的目标数据中是否存在异常数据；
在检测到所述目标数据中不存在异常数据的情况下，将所述目标数据导入至所述第三存储***中。
根据本发明提供的一种数据迁移方法，所述方法还包括：
在检测到对所述源数据进行格式转换失败或者所述目标数据中存在异常数据的情况下，获取格式转换日志，并基于所述格式转换日志进行异常上报。
根据本发明提供的一种数据迁移方法，所述方法还包括：
检测是否成功将所述目标数据导入至所述第三存储***；
在检测到未成功将所述目标数据导入所述第三存储***的情况下，获取数据导入日志，并基于所述数据导入日志进行异常上报。
本发明还提供一种数据迁移装置，包括：
数据获取模块，用于获取目标数据，所述目标数据基于第二存储***对应的第二数据格式对第一存储***中导出的源数据进行格式转换得到；
数据导入模块，用于基于所述第二存储***构建第三存储***，并将所述目标数据导入至所述第三存储***中，所述第二存储***和所述第三存储***的数据结构相同；
数据校验模块，用于对所述目标数据进行数据校验，得到数据校验结果，所述数据校验结果包括完整性校验结果以及安全性校验结果；
***替换模块，用于在确定所述数据校验结果为校验通过的情况下，将所述第二存储***替换为所述第三存储***。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的数据迁移方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的数据迁移方法。
本发明提供的数据迁移方法、装置、电子设备以及存储介质，通过将格式转换后的目标数据导入至与第二存储***具有相同数据结构的第三存储***中，并基于第三存储***对导入的目标数据进行完整性校验以及安全性校验，以检测导入的目标数据是否存在格式转换错误，由于整个数据校验过程在第三存储***中进行，而不会影响第一存储***和第二存储***的正常运行，即不会影响IT应用的正常运行；并且在确定数据校验结果为校验通过，即保证对源数据进行格式转换的过程中没有出现错误的情况下，将第二存储***替换为第三存储***，以基于替换后的存储***进行数据存储，以避免对源数据进行格式转换的过程中出现的错误影响IT应用的正常运行，解决了现有技术中如何避免对源数据进行格式转换的过程中出现的错误，影响IT应用的正常运行的技术问题。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的数据迁移方法的流程示意图之一；
图2是本发明实施例提供的数据迁移方法的流程示意图之二；
图3是本发明实施例提供的数据迁移方法的流程示意图之三；
图4是本发明实施例中数据核对列表的示意图之一；
图5是本发明实施例中数据核对列表的示意图之二；
图6是本发明实施例提供的数据迁移方法的流程示意图之四；
图7是本发明实施例提供的数据迁移方法的流程示意图之五；
图8是本发明实施例提供的数据迁移方法的流程示意图之六；
图9是本发明实施例提供的数据迁移方法的流程示意图之七；
图10是本发明实施例提供的数据迁移装置的结构示意图；
图11是本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图9描述本发明的数据迁移方法。如图1所示，本发明提供一种数据迁移方法，包括：
步骤101，获取目标数据，目标数据基于第二存储***对应的第二数据格式对第一存储***中导出的源数据进行格式转换得到。
其中，源数据的数据格式为第一存储***对应的第一数据格式。目标数据的数据格式为第二存储***对应的第二数据格式。第一存储***即为原存储***，第二存储***即为新的存储***。
步骤102，基于第二存储***构建第三存储***，并将目标数据导入至第三存储***中，第二存储***和第三存储***的数据结构相同。
其中，第三存储***是第二存储***的备份存储***，第三存储***与第二存储***具有相同的数据结构。
在一个实施例中，获取第二存储***的创建数据包；基于创建数据包，构建第三存储***。
步骤103，对目标数据进行数据校验，得到数据校验结果，数据校验结果包括完整性校验结果以及安全性校验结果。
进一步地，基于第一存储***对应的数据核对列表以及第三存储***的数据约束信息和数据结构信息，对目标数据进行数据校验，得到数据校验结果。其中，第三存储***的数据约束和数据结构需要符合第二存储***的数据结构。
步骤104，在确定数据校验结果为校验通过的情况下，将第二存储***替换为第三存储***。
进一步地，在确定数据校验结果为校验不通过的情况下，继续使用第二存储***进行数据存储。
上述步骤101至步骤104，通过将格式转换后的目标数据导入至与第二存储***具有相同数据结构的第三存储***中，并基于第三存储***对导入的目标数据进行完整性校验以及安全性校验，以检测导入的目标数据是否存在格式转换错误，由于整个数据校验过程在第三存储***中进行，而不会影响第一存储***和第二存储***的正常运行，即不会影响IT应用的正常运行；并且在确定数据校验结果为校验通过，即保证对源数据进行格式转换的过程中没有出现错误的情况下，将第二存储***替换为第三存储***，以基于替换后的存储***进行数据存储，以避免对源数据进行格式转换的过程中出现的错误影响IT应用的正常运行，解决了现有技术中如何避免对源数据进行格式转换的过程中出现的错误，影响IT应用的正常运行的技术问题。
在一个实施例中，如图2所示，上述步骤103包括步骤201至步骤203，其中：
步骤201，基于第一存储***对应的数据核对列表，对目标数据进行完整性校验，得到目标数据的完整性校验结果。
其中，数据核对列表表示第一存储***中导出的源数据的数据核对表，包括至少一种待核对数据项，用于核对格式转换后的目标数据中是否存在源数据中的每一种待核对数据项对应的文件。每一种待核对数据项代表一类数据对应的文件，例如，在待核对数据项为用户数据项的情况下，该用户数据项代表用户数据对应的文件。
步骤202，基于第三存储***的数据约束信息和数据结构信息，对目标数据进行安全性校验，得到目标数据的安全性校验结果。
其中，数据约束信息中包含第三存储***的至少一个数据约束项，数据约束项为第三存储***的固定约束项。例如，数据约束项为不重叠约束或者数据位约束，不重叠约束是指用户名称或者设备ID不重叠的约束。数据位约束包括电话号码的数据位为预设值的约束。
步骤203，基于完整性校验结果和安全性校验结果，确定目标数据的数据校验结果。
在一个实施例中，在确定完整性校验结果和安全性校验结果均为校验通过的情况下，确定数据校验结果为校验通过；在确定完整性校验结果和安全性校验结果中的任意一项为校验不通过的情况下，确定数据校验结果为校验不通过。
上述步骤201至步骤203，通过基于第一存储***对应的数据核对列表，对目标数据进行完整性校验，以避免格式转换后的目标数据丢失某些数据的情况，从而保证格式转换后的目标数据的数据完整性；并基于第三存储***的数据约束信息和数据结构信息，对目标数据进行安全性校验，以确保格式转换后的目标数据符合第三存储***的数据约束和数据结构，由于第三存储***是基于第二存储***构建的，因此可以保证格式转换后的目标数据同样符合第二存储***的数据约束和数据结构，进而可以避免对源数据进行格式转换的过程中出现的错误，影响IT应用的正常运行。
在一个实施例中，如图3所示，上述步骤201包括步骤301至步骤303，其中：
步骤301，针对数据核对列表中的每一种待核对数据项，检测目标数据中是否存在待核对数据项的一级文件名称。
如图4所示，数据核对列表表示至少一种待核对数据项的一级文件名称、每一种待核对数据项下的每个待核对对象的二级文件名称，以及各个待核对对象所对应的各个待核对文件的三级文件名称。待核对数据项包括用户数据项、项目数据项以及运行数据项等。
在一个实施例中，以待核对数据项为用户数据项为例进行说明，用户数据项下包含各个用户对应文件的二级文件名称，每个用户对应文件下包含各个待核对文件的三级文件名称。待核对文件包含配置文件、权限文件和日志文件。其中，配置文件中包含用户的配置信息，权限文件中包含用户的权限信息，日志文件中包含用户的日志信息。
如图5所示，用户数据项下包含用户1、用户2和用户3各自对应文件的二级文件名称。用户1对应文件下包含的待核对文件1和待核对文件2的三级文件名称。用户2对应文件下包含的待核对文件3和待核对文件4的三级文件名称。用户3对应文件下包含的待核对文件5和待核对文件6的三级文件名称。
需要说明的是，通过检测目标数据中是否存在待核对数据项的一级文件名称，以确定目标数据中是否存在待核对数据项对应的文件，即不需要检测待核对数据项对应文件中的具体数据，只需要核对是否存在待核对数据项的一级文件名称即可，以在实现数据核对功能的同时，简化数据核对流程，从而提高数据核对效率，进而提高目标数据的数据校验效率。
步骤302，在目标数据中存在待核对数据项的一级文件名称的情况下，检测目标数据中是否存在待核对数据项下每个待核对对象的二级文件名称。
进一步地，在目标数据中不存在该待核对数据项的一级文件名称的情况下，由于一级目录不存在，则二级目录和三级目录肯定也不存在，因此不再对该待核对数据项下的各个待核对对象进行检测，而是跳转至步骤301，以对下一个待核对数据项进行检测。
需要说明的是，通过检测目标数据中是否存在待核对数据项下每个待核对对象的二级文件名称，以确定目标数据中是否存在待核对数据项下每个待核对对象对应的文件，即不需要检测每个待核对对象对应的文件中的具体数据，只需要核对是否存在每个待核对对象的二级文件名称即可，以在实现数据核对功能的同时，简化数据核对流程，从而提高数据核对效率，进而提高目标数据的数据校验效率。
步骤303，在目标数据中存在待核对对象的二级文件名称的情况下，检测目标数据中是否存在待核对对象所对应的各个待核对文件的三级文件名称。
进一步地，在目标数据中不存在待核对对象的二级文件名称的情况下，由于二级目录不存在，则三级目录肯定也不存在，因此不再对该待核对对象所对应的各个待核对文件进行检测，而是跳转至步骤302，以对下一个待核对对象进行检测。
需要说明的是，通过检测目标数据中是否存在待核对对象所对应的各个待核对文件的三级文件名称，以确定目标数据中是否存在待核对对象所对应的各个待核对文件，即不需要检测待核对对象所对应的各个待核对文件中的具体数据，只需要核对是否存在各个待核对文件的三级文件名称即可，以在实现数据核对功能的同时，简化数据核对流程，从而提高数据核对效率，进而提高目标数据的数据校验效率。
在一个实施例中，如图6所示，上述步骤202包括步骤401至步骤403，其中：
步骤401，基于第三存储***的数据约束信息对目标数据进行校验，得到约束校验结果；数据约束信息中包含第三存储***的至少一个数据约束项。
其中，数据约束项为第三存储***的固定约束项，包括不重叠约束和数据位约束，不重叠约束是指用户名称或者设备ID不重叠的约束，用于检测目标数据中是否存在重复的用户名称或者设备ID。数据位约束包括电话号码的数据位为预设值的约束，用于检测目标数据中的特定数据的数据位是否符合数据位约束规则。
例如，电话号码的位数是否为预设值。又例如，某一个代表时间的字符串的位数是否等于时间字符串的位数约束值，若该字符串的位数不等于时间字符串的位数约束值，则确定该字符串不能用于表示时间，因此存在错误。
步骤402，基于第三存储***的数据结构信息对目标数据进行校验，得到结构校验结果；数据结构信息中包含第三存储***中的第一存储区域与第二存储区域之间的数据对应关系。
其中，数据结构信息是随着用户数据的新增不断更新的，数据结构信息中包含各个存储区域之间的数据对应关系，例如，数据结构信息中包含第一存储区域与第二存储区域之间的数据对应关系，
在一个实施例中，第一存储区域表示用户数据存储区域，用于存储所有用户的全部用户数据。第一存储区域的存储方式为2进制存储方式，例如，采用一个二进制数来表示用户的权限信息，例如10101，该二进制数中的每一个二进制位代表一种用户权限，其中，“0”代表该用户没有该二进制位对应的用户权限，“1”表示该用户具有该二进制位对应的用户权限。
在一个实施例中，第二存储区域表示可视化存储区域，用于存储个别用户的部分用户数据。第一存储区域的存储方式为可视化存储方式，例如，“用户1具有用户权限1、用户权限2和用户权限3”。
步骤403，基于约束校验结果和结构校验结果，确定目标数据的安全性校验结果。
具体地，在确定约束校验结果和结构校验结果均为校验通过的情况下，确定安全性校验结果为校验通过。在确定约束校验结果和结构校验结果中的任意一项为校验不通过的情况下，确定安全性校验结果为校验不通过。
在一个实施例中，本发明提供的数据迁移方法，还包括：在检测到数据校验结果为校验不通过的情况下，获取数据校验日志，并基于数据校验日志进行异常上报，数据校验日志包括完整性校验日志和安全性校验日志，继续使用第一存储***和原版的第二存储***，即继续使用原版IT应用，并不影响IT应用的正常运行。
进一步地，在消除异常原因的情况下，重复执行上述实施例提供的各个数据迁移方法，以将第一存储***的源数据迁移至新的第二存储***，新的第二存储***即为替换后的第三存储***。上述实施例，通过在检测到数据校验结果为校验不通过的情况下，获取数据校验日志，并基于数据校验日志进行异常上报，以提示技术人员排查异常原因，进而在消除异常原因的情况下，重复执行上述实施例提供的各个数据迁移方法，以实现将第一存储***的源数据迁移至新的第二存储***，本发明提供的数据迁移方法的处理过程具有可以重复执行，直到达到预期效果的优点。
在一个实施例中，如图7所示，上述步骤104包括步骤501至步骤502，其中：
步骤501，在第二存储***和第三存储***为数据库的情况下，断开第二存储***与第一存储***的通信连接，并创建第三存储***与第一存储***的通信连接。
例如，第二存储***和第三存储***为两个具有相同数据库结构的mysql服务，mysql服务即为mysql数据库。
步骤501，在第二存储***和第三存储***为存储文件的情况下，将第一存储***的数据导出路径修改为第三存储***的第三存储路径。
例如，第二存储***和第三存储***为两个具有相同数据结构的两个文件或者两堆文件。
具体地，将第一存储***的数据导出路径由第二存储***的第二存储路径，修改为第三存储***的第三存储路径。
在一个实施例中，如图8所示，上述步骤101包括步骤601至步骤603，其中：
步骤601，获取第一存储***中导出的源数据、第一存储***对应的第一数据格式，以及第二存储***对应的第二数据格式。
步骤602，获取第一数据格式与第二数据格式对应的格式差异数据。其中，格式差异数据中包含第一数据格式与第二数据格式的至少一个格式差异特征。
步骤603，基于格式差异数据对源数据进行格式转换，得到格式转换后的目标数据。
上述步骤601至步骤603，通过获取第一数据格式与第二数据格式对应的格式差异数据，并基于格式差异数据对源数据进行格式转换，即只需要对存在差异的地方进行格式转换，以在实现格式转换功能的基础上，有效减少格式转换过程的数据处理量，从而提高格式转换效率，进而进一步提高数据迁移效率。
在一个实施例中，如图9所示，上述步骤102包括步骤701至步骤702，其中：
步骤701，在检测到成功完成对源数据的格式转换的情况下，检测格式转换后的目标数据中是否存在异常数据。
步骤702，在检测到目标数据中不存在异常数据的情况下，将目标数据导入至第三存储***中。
上述步骤701至步骤702，通过在检测到成功完成对源数据的格式转换的情况下，检测格式转换后的目标数据中是否存在异常数据，在检测到目标数据中不存在异常数据的情况下，将目标数据导入至第三存储***中，以保证导入至第三存储***中的目标数据的数据质量，从而可以避免由于导入至第三存储***中的目标数据存在异常而影响后续的数据迁移过程，进而保证后续数据迁移过程的顺利进行。
在一个实施例中，本发明提供的数据迁移方法，还包括：在检测到对源数据进行格式转换失败或者目标数据中存在异常数据的情况下，获取格式转换日志，并基于格式转换日志进行异常上报，继续使用第一存储***和原版的第二存储***，即继续使用原版IT应用，并不影响IT应用的正常运行。
进一步地，在消除异常原因的情况下，重复执行上述实施例提供的各个数据迁移方法，以将第一存储***的源数据迁移至新的第二存储***，新的第二存储***即为替换后的第三存储***。
上述实施例，通过在检测到对源数据进行格式转换失败或者目标数据中存在异常数据的情况下，获取格式转换日志，并基于格式转换日志进行异常上报，以提示技术人员排查异常原因，进而在消除异常原因的情况下，重复执行上述实施例提供的各个数据迁移方法，以实现将第一存储***的源数据迁移至新的第二存储***，本发明提供的数据迁移方法的处理过程具有可以重复执行，直到达到预期效果的优点。
在一个实施例中，本发明提供的数据迁移方法，还包括：检测是否成功将目标数据导入至第三存储***，在检测到未成功将目标数据导入第三存储***的情况下，获取数据导入日志，并基于数据导入日志进行异常上报，继续使用第一存储***和原版的第二存储***，即继续使用原版IT应用，并不影响IT应用的正常运行。
进一步地，在消除异常原因的情况下，重复执行上述实施例提供的各个数据迁移方法，以将第一存储***的源数据迁移至新的第二存储***，新的第二存储***即为替换后的第三存储***。
上述实施例，通过在检测到未成功将目标数据导入第三存储***的情况下，获取数据导入日志，并基于数据导入日志进行异常上报，以提示技术人员排查异常原因，进而在消除异常原因的情况下，重复执行上述实施例提供的各个数据迁移方法，以实现将第一存储***的源数据迁移至新的第二存储***，本发明提供的数据迁移方法的处理过程具有可以重复执行，直到达到预期效果的优点。
另外，本发明提供的数据迁移方法，通过排查将源数据转化为符合新存储***格式的数据的过程出现的错误，以避免给IT应用带来不可预知的风险，该不可预知的风险可以包括数据的异常合并、异常删除、异常拆分、权限丢失以及配置异常变换、白名单丢失、数据丢失等。
下面对本发明提供的数据迁移装置进行描述，下文描述的数据迁移装置与上文描述的数据迁移方法可相互对应参照。
如图10所示，本发明提供一种数据迁移装置，数据迁移装置100包括：
数据获取模块101，用于获取目标数据，目标数据基于第二存储***对应的第二数据格式对第一存储***中导出的源数据进行格式转换得到。
数据导入模块102，用于基于第二存储***构建第三存储***，并将目标数据导入至第三存储***中，第二存储***和第三存储***的数据结构相同。
数据校验模块103，用于对目标数据进行数据校验，得到数据校验结果，数据校验结果包括完整性校验结果以及安全性校验结果。
***替换模块104，用于在确定数据校验结果为校验通过的情况下，将第二存储***替换为第三存储***。
在一个实施例中，数据校验模块103包括第一校验单元、第二校验单元和结果确定单元，其中：
第一校验单元，用于基于第一存储***对应的数据核对列表，对目标数据进行完整性校验，得到目标数据的完整性校验结果。
第二校验单元，用于基于第三存储***的数据约束信息和数据结构信息，对目标数据进行安全性校验，得到目标数据的安全性校验结果。
结果确定单元，用于基于完整性校验结果和安全性校验结果，确定目标数据的数据校验结果。
在一个实施例中，第一校验单元，还用于针对数据核对列表中的每一种待核对数据项，检测目标数据中是否存在待核对数据项的一级文件名称；在目标数据中存在待核对数据项的一级文件名称的情况下，检测目标数据中是否存在待核对数据项下每个待核对对象的二级文件名称；在目标数据中存在待核对对象的二级文件名称的情况下，检测目标数据中是否存在待核对对象所对应的各个待核对文件的三级文件名称。
在一个实施例中，第二校验单元，还用于基于第三存储***的数据约束信息对目标数据进行校验，得到约束校验结果；数据约束信息中包含第三存储***的至少一个数据约束项；基于第三存储***的数据结构信息对目标数据进行校验，得到结构校验结果；数据结构信息中包含第三存储***中的第一存储区域与第二存储区域之间的数据对应关系；基于约束校验结果和结构校验结果，确定目标数据的安全性校验结果。
在一个实施例中，结果确定单元，还用于在确定完整性校验结果和安全性校验结果均为校验通过的情况下，确定数据校验结果为校验通过；在确定完整性校验结果和安全性校验结果中的任意一项为校验不通过的情况下，确定数据校验结果为校验不通过。
在一个实施例中，数据迁移装置100还包括异常监测模块，用于在检测到数据校验结果为校验不通过的情况下，获取数据校验日志，并基于数据校验日志进行异常上报，数据校验日志包括完整性校验日志和安全性校验日志。
在一个实施例中，***替换模块104，还用于在第二存储***和第三存储***为数据库的情况下，断开第二存储***与第一存储***的通信连接，并创建第三存储***与第一存储***的通信连接；在第二存储***和第三存储***为存储文件的情况下，将第一存储***的数据导出路径修改为第三存储***的第三存储路径。
在一个实施例中，数据获取模块101，还用于获取第一存储***中导出的源数据、第一存储***对应的第一数据格式，以及第二存储***对应的第二数据格式；获取第一数据格式与第二数据格式对应的格式差异数据；基于格式差异数据对源数据进行格式转换，得到格式转换后的目标数据。
在一个实施例中，数据导入模块102，还用于在检测到成功完成对源数据的格式转换的情况下，检测格式转换后的目标数据中是否存在异常数据；在检测到目标数据中不存在异常数据的情况下，将目标数据导入至第三存储***中。
在一个实施例中，异常监测模块，还用于在检测到对源数据进行格式转换失败或者目标数据中存在异常数据的情况下，获取格式转换日志，并基于格式转换日志进行异常上报。
在一个实施例中，异常监测模块，还用于检测是否成功将目标数据导入至第三存储***；在检测到未成功将目标数据导入第三存储***的情况下，获取数据导入日志，并基于数据导入日志进行异常上报。
图11示例了一种电子设备的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行上述各方法提供的数据迁移方法，该方法包括：获取目标数据，目标数据基于第二存储***对应的第二数据格式对第一存储***中导出的源数据进行格式转换得到；基于第二存储***构建第三存储***，并将目标数据导入至第三存储***中，第二存储***和第三存储***的数据结构相同；对目标数据进行数据校验，得到数据校验结果，数据校验结果包括完整性校验结果以及安全性校验结果；在确定数据校验结果为校验通过的情况下，将第二存储***替换为第三存储***。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的数据迁移方法，该方法包括：获取目标数据，目标数据基于第二存储***对应的第二数据格式对第一存储***中导出的源数据进行格式转换得到；基于第二存储***构建第三存储***，并将目标数据导入至第三存储***中，第二存储***和第三存储***的数据结构相同；对目标数据进行数据校验，得到数据校验结果，数据校验结果包括完整性校验结果以及安全性校验结果；在确定数据校验结果为校验通过的情况下，将第二存储***替换为第三存储***。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (11)
1.一种数据迁移方法，其特征在于，包括：
获取目标数据，所述目标数据基于第二存储***对应的第二数据格式对第一存储***中导出的源数据进行格式转换得到；
基于所述第二存储***构建第三存储***，并将所述目标数据导入至所述第三存储***中，所述第二存储***和所述第三存储***的数据结构相同；
对所述目标数据进行数据校验，得到数据校验结果，所述数据校验结果包括完整性校验结果以及安全性校验结果；
在确定所述数据校验结果为校验通过的情况下，将所述第二存储***替换为所述第三存储***；
其中，所述对所述目标数据进行数据校验，得到数据校验结果，包括：
基于所述第一存储***对应的数据核对列表，对所述目标数据进行完整性校验，得到所述目标数据的完整性校验结果；
基于所述第三存储***的数据约束信息和数据结构信息，对所述目标数据进行安全性校验，得到所述目标数据的安全性校验结果；
基于所述完整性校验结果和所述安全性校验结果，确定所述目标数据的数据校验结果。
2.根据权利要求1所述的数据迁移方法，其特征在于，所述基于所述第一存储***对应的数据核对列表，对所述目标数据进行完整性校验，包括：
针对所述数据核对列表中的每一种待核对数据项，检测所述目标数据中是否存在所述待核对数据项的一级文件名称；
在所述目标数据中存在所述待核对数据项的一级文件名称的情况下，检测所述目标数据中是否存在所述待核对数据项下每个待核对对象的二级文件名称；
在所述目标数据中存在所述待核对对象的二级文件名称的情况下，检测所述目标数据中是否存在所述待核对对象所对应的各个待核对文件的三级文件名称。
3.根据权利要求1所述的数据迁移方法，其特征在于，所述基于所述第三存储***的数据约束信息和数据结构信息，对所述目标数据进行安全性校验，得到所述目标数据的安全性校验结果，包括：
基于所述第三存储***的数据约束信息对所述目标数据进行校验，得到约束校验结果；所述数据约束信息中包含所述第三存储***的至少一个数据约束项；
基于所述第三存储***的数据结构信息对所述目标数据进行校验，得到结构校验结果；所述数据结构信息中包含所述第三存储***中的第一存储区域与第二存储区域之间的数据对应关系；
基于所述约束校验结果和所述结构校验结果，确定所述目标数据的安全性校验结果。
4.根据权利要求1-3任一项所述的数据迁移方法，其特征在于，所述将所述第二存储***替换为所述第三存储***，包括：
在所述第二存储***和所述第三存储***为数据库的情况下，断开所述第二存储***与所述第一存储***的通信连接，并创建所述第三存储***与所述第一存储***的通信连接；
在所述第二存储***和所述第三存储***为存储文件的情况下，将第一存储***的数据导出路径修改为所述第三存储***的第三存储路径。
5.根据权利要求1-3任一项所述的数据迁移方法，其特征在于，所述获取目标数据，包括：
获取第一存储***中导出的源数据、第一存储***对应的第一数据格式，以及第二存储***对应的第二数据格式；
获取所述第一数据格式与所述第二数据格式对应的格式差异数据；
基于所述格式差异数据对所述源数据进行格式转换，得到格式转换后的目标数据。
6.根据权利要求1-3任一项所述的数据迁移方法，其特征在于，所述将所述目标数据导入至所述第三存储***中，包括：
在检测到成功完成对所述源数据的格式转换的情况下，检测格式转换后的目标数据中是否存在异常数据；
在检测到所述目标数据中不存在异常数据的情况下，将所述目标数据导入至所述第三存储***中。
7.根据权利要求6所述的数据迁移方法，其特征在于，所述方法还包括：
在检测到对所述源数据进行格式转换失败或者所述目标数据中存在异常数据的情况下，获取格式转换日志，并基于所述格式转换日志进行异常上报。
8.根据权利要求7所述的数据迁移方法，其特征在于，所述方法还包括：
检测是否成功将所述目标数据导入至所述第三存储***；
在检测到未成功将所述目标数据导入所述第三存储***的情况下，获取数据导入日志，并基于所述数据导入日志进行异常上报。
9.一种数据迁移装置，其特征在于，包括：
数据获取模块，用于获取目标数据，所述目标数据基于第二存储***对应的第二数据格式对第一存储***中导出的源数据进行格式转换得到；
数据导入模块，用于基于所述第二存储***构建第三存储***，并将所述目标数据导入至所述第三存储***中，所述第二存储***和所述第三存储***的数据结构相同；
数据校验模块，用于对所述目标数据进行数据校验，得到数据校验结果，所述数据校验结果包括完整性校验结果以及安全性校验结果；
***替换模块，用于在确定所述数据校验结果为校验通过的情况下，将所述第二存储***替换为所述第三存储***；
其中，所述数据校验模块包括第一校验单元、第二校验单元和结果确定单元，其中：
第一校验单元，用于基于第一存储***对应的数据核对列表，对目标数据进行完整性校验，得到目标数据的完整性校验结果；
第二校验单元，用于基于第三存储***的数据约束信息和数据结构信息，对目标数据进行安全性校验，得到目标数据的安全性校验结果；
结果确定单元，用于基于完整性校验结果和安全性校验结果，确定目标数据的数据校验结果。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述的数据迁移方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的数据迁移方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211660378.5A CN115639972B (zh) | 2022-12-23 | 2022-12-23 | 数据迁移方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211660378.5A CN115639972B (zh) | 2022-12-23 | 2022-12-23 | 数据迁移方法、装置、电子设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115639972A CN115639972A (zh) | 2023-01-24 |
| CN115639972B true CN115639972B (zh) | 2023-04-07 |
Family
ID=84949921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211660378.5A Active CN115639972B (zh) | 2022-12-23 | 2022-12-23 | 数据迁移方法、装置、电子设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115639972B (zh) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10198447B2 (en) * | 2015-09-14 | 2019-02-05 | Komprise Inc. | Electronic file migration system and various methods of transparent data migration management |
| CN113672597A (zh) * | 2021-09-03 | 2021-11-19 | 中国银行股份有限公司 | 数据库跨平台迁移方法、装置、***和设备 |
| CN115033551A (zh) * | 2021-12-30 | 2022-09-09 | 天翼云科技有限公司 | 一种数据库迁移方法、装置、电子设备及存储介质 |
| CN114372043A (zh) * | 2022-01-14 | 2022-04-19 | 中国农业银行股份有限公司 | 数据迁移方法、装置、电子设备及存储介质 |
| CN115129704A (zh) * | 2022-07-22 | 2022-09-30 | 中国平安人寿保险股份有限公司 | 迁移数据校验方法及其***、电子设备、存储介质 |
-
2022
- 2022-12-23 CN CN202211660378.5A patent/CN115639972B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115639972A (zh) | 2023-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110088744B (zh) | 一种数据库维护方法及其*** | |
| CN106327140B (zh) | 一种对数据修改的监控方法和装置 | |
| CN109284331B (zh) | 基于业务数据资源的制证信息获取方法、终端设备及介质 | |
| CN103440460A (zh) | 一种应用***变更验证方法及验证*** | |
| CN107451007B (zh) | 针对增加区块进行勘误的区块链的验证方法及*** | |
| CN114116170A (zh) | 定时任务的执行方法、装置、计算机设备以及存储介质 | |
| CN115639972B (zh) | 数据迁移方法、装置、电子设备以及存储介质 | |
| CN112256532A (zh) | 测试界面生成方法、装置、计算机设备及可读存储介质 | |
| CN107451011B (zh) | 并行增加区块的区块链的勘误方法及*** | |
| CN116506340A (zh) | 流量链路的测试方法、装置、电子设备及存储介质 | |
| CN111737351A (zh) | 分布式管理***事务管理方法及装置 | |
| CN111222181A (zh) | Ai模型的监管方法、***、服务器及存储介质 | |
| CN109426576B (zh) | 容错处理方法以及容错组件 | |
| CN113378239B (zh) | 一种数据内容确权方法及*** | |
| CN115496470A (zh) | 全链路配置化数据处理方法、装置和电子设备 | |
| CN113704123A (zh) | 接口测试方法、装置、设备以及存储介质 | |
| CN110647771B (zh) | 一种mysql数据库存储完整性校验保护方法及装置 | |
| CN110807037B (zh) | 一种数据修改方法、装置、电子设备及存储介质 | |
| WO2017125001A1 (zh) | 保护组处理方法和装置 | |
| CN116909838B (zh) | 一种异常日志上报方法、***、终端设备及存储介质 | |
| US8811195B2 (en) | Revenue assurances proactive testing method and system | |
| CN115776508A (zh) | 一种埋点校验方法及*** | |
| CN117667643A (zh) | 测试用例集的演化方法、装置、计算设备集群及存储介质 | |
| CN117632733A (zh) | 验证账务***的验证方法、装置及电子设备 | |
| CN115048439A (zh) | 数据转换方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |