CN109359085A - 文件迁移方法、装置、计算机设备及存储介质 - Google Patents
文件迁移方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN109359085A CN109359085A CN201810965515.3A CN201810965515A CN109359085A CN 109359085 A CN109359085 A CN 109359085A CN 201810965515 A CN201810965515 A CN 201810965515A CN 109359085 A CN109359085 A CN 109359085A
- Authority
- CN
- China
- Prior art keywords
- file
- migrated
- xml
- migration
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013508 migration Methods 0.000 title claims abstract description 166
- 230000005012 migration Effects 0.000 title claims abstract description 166
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 238000013509 system migration Methods 0.000 description 2
- 101000695861 Arabidopsis thaliana Brefeldin A-inhibited guanine nucleotide-exchange protein 5 Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种文件迁移方法、装置、计算机设备及存储介质，该方法包括：自动从多个获取到的目标文件中确定出一个目标文件的文件内容存在预设的关键字的待迁移文件，因此不需要人工从海量的文件中确定出需要迁移的待迁移文件，同时，由于将一个待迁移文件作为当前待迁移文件，并自动将当前待迁移文件迁移第二数据库中，若迁移成功，则继续执行迁移动作，若迁移失败，则根据记录的迁移失败的原因更新当前待迁移文件，以使所述更新后的当前待迁移文件被成功迁移，实现了迁移失败的文件被更新后能够成功迁移到第二数据库，直到所有的待迁移文件都迁移到第二数据库中，从而提高了迁移文件的效率。
Description
技术领域
本发明涉及大数据处理领域，尤其涉及一种文件迁移方法、装置、计算机设备及存储介质。
背景技术
目前，随着社会电子科技的进步，在保险行业中，保险公司为了保存业务资料或数据等，设置有多个不同的电子业务***。
通常，保险公司的业务资料或数据以文件形式存在，如XML文件，由于业务的各个文件中一部分文件需要从一个电子业务***迁移到另一个电子业务***，而另一部分文件不需要迁移，所以在将各个待迁移的文件从一个电子业务***迁移到另一个电子业务***之前，首先需要人工从海量的文件中确定出各个需要迁移的文件，也即确定出各个待迁移的文件，然后才通过人工将各个待迁移的文件从一个电子业务***一单单地录入到另一个电子业务***，如将各个待迁移的投诉保单(也即遭到投诉的保险对应的保单)从理赔***一单单地录入到咨诉***，“筛选-录入”这个过程需要花费大量的时间，同时由于格式不符等原因容易导致录入失败，从而导致迁移文件的效率低下。
发明内容
本发明实施例提供一种可以提高迁移文件的效率的文件迁移方法、装置、计算机设备及存储介质，以解决传统迁移文件的效率低下的问题。
一种文件迁移方法，包括：
获取第一数据库中的多个目标文件；
将所述目标文件中文件内容存在预设的关键字的目标文件确定为待迁移文件；
将所述待迁移文件中一个待迁移文件确定为当前待迁移文件；
以并行多线程方式将所述当前待迁移文件迁移至第二数据库中；
若将所述当前待迁移文件迁移至第二数据库中的迁移结果为迁移成功，则在直到所述第一数据库中所有待迁移文件均被成功迁移到所述第二数据库中之前，将所述第一数据库中的下一个待迁移文件确定为新的当前待迁移文件；
若将所述当前待迁移文件迁移至第二数据库中的迁移结果为迁移失败，则记录迁移失败的原因，根据所述迁移失败的原因更新所述当前待迁移文件，以使所述更新后的当前待迁移文件被成功迁移到所述第二数据库中，在直到所述第一数据库中所有待迁移文件均被成功迁移到所述第二数据库中之前，将所述第一数据库中的下一个待迁移文件确定为新的当前待迁移文件。
一种文件迁移装置，包括：
获取模块，用于获取第一数据库中的多个目标文件；
第一确定模块，用于将所述目标文件中文件内容存在预设的关键字的目标文件确定为待迁移文件；
第二确定模块，用于将所述待迁移文件中一个待迁移文件确定为当前待迁移文件；
迁移模块，用于以并行多线程方式将所述当前待迁移文件迁移至第二数据库中；
第三确定模块，用于若将所述当前待迁移文件迁移至第二数据库中的迁移结果为迁移成功，则在直到所述第一数据库中所有待迁移文件均被成功迁移到所述第二数据库中之前，将所述第一数据库中的下一个待迁移文件确定为新的当前待迁移文件；
更新模块，用于若将所述当前待迁移文件迁移至第二数据库中的迁移结果为迁移失败，则记录迁移失败的原因，根据所述迁移失败的原因更新所述当前待迁移文件，以使所述更新后的当前待迁移文件被成功迁移到所述第二数据库中，在直到所述第一数据库中所有待迁移文件均被成功迁移到所述第二数据库中之前，将所述第一数据库中的下一个待迁移文件确定为新的当前待迁移文件。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述文件迁移方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述文件迁移方法的步骤。
上述文件迁移方法、装置、计算机设备及存储介质，因为自动从多个获取到的目标文件中确定出一个所述目标文件的文件内容存在预设的关键字的待迁移文件，所述获取目标文件为从第一数据库中获取目标文件，所以不需要人工从海量的文件中确定出各个需要迁移的待迁移文件，同时，由于将一个待迁移文件作为当前待迁移文件，并自动将当前待迁移文件迁移第二数据库中，若迁移成功，则在直到所有待迁移文件均被成功迁移之前将下一个待迁移文件确定为新的当前待迁移文件，继续执行迁移动作，若迁移失败，则根据记录的迁移失败的原因更新当前待迁移文件，以使所述更新后的当前待迁移文件被成功迁移，在直到所有待迁移文件均被成功迁移之前将下一个待迁移文件确定为新的当前待迁移文件，因此当迁移失败时，可以根据记录的迁移失败的原因更新当前待迁移文件，实现了迁移失败的文件被更新后能够成功迁移到第二数据库，直到所有的待迁移文件都迁移到第二数据库中，从而不需要通过人工将各个所述待迁移的文件从一个电子业务***一单单地录入到另一个电子业务***，进而提高了迁移文件的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中文件迁移方法的一应用环境示意图；
图2是本发明一实施例中文件迁移方法的一流程图；
图3是本发明一实施例中文件迁移方法中确定待迁移文件的一流程图；
图4是本发明一实施例中文件迁移方法中迁移当前待迁移文件至第二数据库的一流程图；
图5是本发明一实施例中文件迁移方法中读取XML子文件至缓存的一流程图；
图6是本发明一实施例中文件迁移装置的一示意图；
图7是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供的文件迁移方法，可应用在如图1的应用环境中，其中，计算机设备通过网络与服务器进行通信。服务端获取第一数据库中的各个目标文件，服务端将各个目标文件中文件内容存在预设的关键字的目标文件确定为各个待迁移文件，服务端将各个待迁移文件中一个待迁移文件确定为当前待迁移文件，服务端将当前待迁移文件迁移至第二数据库中，若将当前待迁移文件迁移至第二数据库中的迁移结果为迁移成功，则在直到第一数据库中各个待迁移文件均被成功迁移到第二数据库中之前，服务端将第一数据库中的下一个待迁移文件确定为新的当前待迁移文件，若将当前待迁移文件迁移至第二数据库中的迁移结果为迁移失败，则服务端记录迁移失败的原因，根据迁移失败的原因更新当前待迁移文件，以使所述更新后的当前待迁移文件被成功迁移到第二数据库中，在直到第一数据库中各个待迁移文件均被成功迁移到第二数据库中之前，服务端将第一数据库中的下一个待迁移文件确定为新的当前待迁移文件。其中，计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种文件迁移方法，该文件迁移方法应用在金融行业中，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：
S10：获取第一数据库中的多个目标文件；
具体地，获取各个目标文件在第一数据库中的存储路径，然后，根据该存储路径从第一数据库中提取各个目标文件，该目标文件存在多个。
需要说明的是，第一数据库可以为保险行业咨诉***的数据库，也可以为保险行业其他***的数据库，第一数据库可以为sql数据库或oracle数据库，第一数据库也可以为其他数据库，第一数据库的具体内容，可以根据实际应用进行设定，此处不做限制。
S20：将目标文件中文件内容存在预设的关键字的目标文件确定为待迁移文件；
具体地，将提取得到的各个目标文件中文件内容存在预设的关键字的目标文件确定为各个待迁移文件。其中，预设的关键字可以为“Type＝传送类”或“Type＝迁移类”等，预设的关键字的具体内容，可以根据实际应用进行设定，此处不做限制。
S30：将待迁移文件中一个待迁移文件确定为当前待迁移文件；
具体地，将确定得到的各个待迁移文件中的一个待迁移文件确定为当前待迁移文件。
S40：以并行多线程方式将当前待迁移文件迁移至第二数据库中；
具体地，以并行多线程方式采用文件迁移工具将确定得到的当前待迁移文件迁移至第二数据库中。
需要说明的是，文件迁移工具可以为SQLyog工具或Navicat Premium工具等，第二数据库可以为sql数据库或oracle数据库，文件迁移工具和第二数据库的具体内容，可以根据实际应用进行设定，此处不做限制。
S50：判断当前待迁移文件迁移至第二数据库中是否成功；
具体地，判断当前待迁移文件迁移至第二数据库中是否成功，若接收到预设的成功提醒消息，则代表当前待迁移文件成功迁移至第二数据库中，若不接收到预设的成功提醒消息，则代表迁移失败。其中，预设的成功提醒消息可以为短信或声音等，预设的成功提醒消息的具体内容，可以根据实际需求进行设定，此处不做限制。
S60：若将当前待迁移文件迁移至第二数据库中的迁移结果为迁移成功，则在直到第一数据库中所有待迁移文件均被成功迁移到第二数据库中之前，将第一数据库中的下一个待迁移文件确定为新的当前待迁移文件；
具体地，当将当前待迁移文件迁移至第二数据库中所得到的迁移结果为迁移成功时，在直到第一数据库中所有待迁移文件均被成功迁移到第二数据库中之前，将第一数据库中的下一个待迁移文件确定为新的当前待迁移文件。
S70：若将当前待迁移文件迁移至第二数据库中的迁移结果为迁移失败，则记录迁移失败的原因，根据迁移失败的原因更新当前待迁移文件，以使更新后的当前待迁移文件被成功迁移到第二数据库中，在直到第一数据库中所有待迁移文件均被成功迁移到第二数据库中之前，将第一数据库中的下一个待迁移文件确定为新的当前待迁移文件。
在本发明实施例中，迁移失败的原因为格式不符、字符集不符或后缀名不符。
具体地，当将当前待迁移文件迁移至第二数据库中的所得到的迁移结果为迁移失败时，记录迁移失败的原因，然后根据迁移失败的原因更新当前待迁移文件，以使更新后的当前待迁移文件被成功迁移到第二数据库中，在直到第一数据库中所有待迁移文件均被成功迁移到第二数据库中之前，将第一数据库中的下一个待迁移文件确定为新的当前待迁移文件。
在图2对应的实施例中，通过上述步骤S10至步骤S70，因为自动从多个获取到的目标文件中确定出一个所述目标文件的文件内容存在预设的关键字的待迁移文件，所述获取目标文件为从第一数据库中获取目标文件，所以不需要人工从海量的文件中确定出需要迁移的待迁移文件，同时，由于将一个待迁移文件作为当前待迁移文件，并自动将当前待迁移文件迁移第二数据库中，若迁移成功，则在直到所有待迁移文件均被成功迁移之前将下一个待迁移文件确定为新的当前待迁移文件，继续执行迁移动作，若迁移失败，则根据记录的迁移失败的原因更新当前待迁移文件，以使所述更新后的当前待迁移文件被成功迁移，在直到所有待迁移文件均被成功迁移之前将下一个待迁移文件确定为新的当前待迁移文件，因此当迁移失败时，可以根据记录的迁移失败的原因更新当前待迁移文件，实现了迁移失败的文件被更新后能够成功迁移到第二数据库，直到所有的待迁移文件都迁移到第二数据库中，从而不需要通过人工将各个所述待迁移的文件从一个电子业务***一单单地录入到另一个电子业务***，进而提高了迁移文件的效率。
在一实施例中，该文件迁移方法应用在金融行业中，目标文件为XML文件，一种文件迁移方法中根据迁移失败的原因更新当前待迁移文件具体包括如下步骤：
S701：若迁移失败的原因为格式不符，则将当前待迁移XML文件中的XML标签的格式更新为XML文件中XML标签的标准格式；
具体地，当迁移失败的原因为格式不符时，将确定得到的当前待迁移XML文件中的XML标签的格式更新为XML文件中XML标签的标准格式，如将“<p>This is a paragraph”更新为属性标签“<p>This is a paragraph</p>”。
S702：若迁移失败的原因为字符集不符，则将当前待迁移XML文件中的字符集更新为符合当前显示的标准字符集；
在本实施例中，常见字符集包括万国码、ASCII字符集、GB2312字符集、BIG5字符集、GB18030字符集和Unicode字符集等。
具体地，当迁移失败的原因为字符集不符时，将当前待迁移XML文件中的字符集更新为符合当前显示的标准字符集。如，将UTF-8字符集更新为ASCII字符集。
需要说明的是，UTF-8，英文全称为8-bit Unicode Transformation Format，中文名为万国码，ASCII，英文全称为American Standard Code for InformationInterchange，中文名为美国信息交换标准代码。
S703：若迁移失败的原因为后缀名不符，则将当前待迁移XML文件的后缀名更新为XML文件的标准后缀名。
具体地，当迁移失败的原因为后缀名不符时，将当前待迁移XML文件的后缀名更新为XML文件的标准后缀名。如将文件名称“车险.x”更新为文件名称“车险.xml”。
在本一实施例中，通过上述步骤S701至步骤S703，由于根据不同迁移失败的原因更新当前待迁移文件，得到便于迁移的更新后的当前待迁移文件，从而方便了将更新后的当前待迁移文件迁移至第二数据库中，进而提高了文件迁移的便捷性。
在一实施例中，该文件迁移方法应用在金融行业中，目标文件为XML文件，如图3所示图2对应实施例中一种文件迁移方法中步骤S20在一个应用场景下的流程图，具体包括如下步骤：
S201：剔除XML文件中的预定类型的数据，得到XML文件对应的剔除后的XML文件；
具体地，剔除各个XML文件中的预定类型的数据，得到各个XML文件对应的剔除后的XML文件。
需要说明的是，预定类型的数据可以为空格或转义字符等，预定类型的数据的具体内容，可以根据实际应用进行设定，此处不做限制。
S202：采用预设的XML文件的节点解析工具对剔除后的XML文件进行解析，得到剔除后的XML文件对应的各个XML节点集合，其中，XML节点集合存在一个以上XML节点；
具体地，采用预设的XML文件的节点解析工具对得到的各个剔除后的XML文件进行解析，得到各个剔除后的XML文件对应的各个XML节点的集合，其中，XML节点集合存在一个以上XML节点，如根节点“<bookstore>”，同时“<bookstore>”中有四个“<book>”节点。
需要说明的是，预设的XML文件的节点解析工具可以为DOM节点解析工具或SAX节点解析工具，预设的XML文件的节点解析工具的具体内容，可以根据实际应用进行设定，此处不做限制。
S203：判断剔除后的XML文件对应的各个XML节点集合中的一个以上XML节点是否存在预设的关键字，若是，则执行步骤S204，若否，则执行步骤S205；
具体地，判断得到的各个剔除后的XML文件对应的各个XML节点的集合中的一个以上的XML节点是否存在预设的关键字。其中，预设的关键字可以为“XMLType＝传送类”或“XMLType＝迁移类”等，预设的关键字的具体内容，可以根据实际应用进行设定，此处不做限制。
S204：将剔除后的XML文件确定为各个待迁移文件；
具体地，将得到的各个剔除后的XML文件确定为各个待迁移文件，以待将各个待迁移文件迁移至第二数据库中。
S205：将剔除后的XML文件确定为各个备用文件。
具体地，将各个剔除后的XML文件确定为各个备用文件。所述各个备用文件保存于备用数据库中，随时可以调用。其中，备用数据库可以为sql数据库或oracle数据库，备用数据库的具体内容，可以根据实际需求进行设定，此处不做限制。
在图3对应的实施例中，通过上述步骤S201至步骤S205，由于先采用预设的XML文件的节点解析工具准确地解析XML文件，然后判断解析得到的XML文件中XML节点是否存在预设的关键字，从而可以准确地知道某一个XML文件中存在预设的关键字，避免了将不存在预设的关键字的XML文件确定为待迁移文件，提高了确定待迁移文件的准确性。
在一实施例中，该文件迁移方法应用在金融行业中，目标文件为XML文件，如图4所示图2对应实施例中一种文件迁移方法中步骤S40在一个应用场景下的流程图，具体包括如下步骤：
S401：按照当前待迁移XML文件的文件内容的先后顺序将当前待迁移XML文件切割为两个以上当前待迁移XML子文件；
具体地，首先将当前待迁移XML文件的文件内容按照先后顺序排列好，然后按照当前待迁移XML文件的文件内容的先后顺序将当前待迁移XML文件切割为当前待迁移XML子文件，该当前待迁移XML子文件存在两个以上。
S402：创建各个迁移任务；
具体地，将得到的各个当前待迁移XML子文件生成对应的任务，完成各个迁移所述当前待迁移XML子文件的迁移任务的创建。
S403：以并行多线程方式执行各个迁移任务。
具体地，以并行多线程方式执行创建好的各个迁移任务，以使得完成当前待迁移文件迁移至第二数据库的工作。
在图4对应的实施例中，通过上述步骤S401至步骤S403，由于按照当前待迁移XML文件的文件内容的先后顺序将当前待迁移XML文件切割为各个当前待迁移XML子文件，然后按照切割得到的各个当前待迁移XML子文件的先后顺序创建各个当前待迁移XML子文件对应的迁移任务，最后以并行多线程方式执行各个迁移任务，从而不需要一个接着一个执行迁移任务，提高了执行迁移任务的效率。
在一实施例中，该文件迁移方法应用在金融行业中，目标文件为XML文件，在如图5所示图2至图4对应实施例中一种文件迁移方法中步骤S20之前，该文件迁移方法还包括如下步骤：
S801：获取各个XML文件的字节；
具体地，首先通过获取文件大小的工具获取各个XML文件的字节大小，其中，获取文件大小的工具可以为FileChannel工具等，获取文件大小的工具的具体内容，可以根据实际应用进行设定，此处不做限制。
S802：设置大于或等于各个XML文件的字节中最大的字节的缓存；
具体地，设置大于或等于获取得到的各个XML文件的字节大小中最大的字节的缓存区域，以使得保证足够的存储空间存储读取进来的各个XML文件。
S803：将各个XML文件读取至缓存。
具体地，将各个XML文件读取至设置好的缓存区域。
在图5对应的实施例中，通过上述步骤S801至步骤S803，由于设置适合各个XML文件的字节大小的缓存区域，从而可以不浪费资源的情况下有序地将各个XML文件读取至设置好的缓存区域，保证了当将各个XML文件迁移至第二数据库时可以稳定地获取到缓存区域中的各个XML文件，提高了迁移文件的稳定性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种文件迁移装置，该文件迁移装置与上述实施例中文件迁移方法一一对应。如图6所示，该文件迁移装置包括获取模块61、第一确定模块62、第二确定模块63、迁移模块64、第三确定模块65和更新模块66。各功能模块详细说明如下：
获取模块61，用于获取第一数据库中的各个目标文件；
第一确定模块62，用于将各个目标文件中文件内容存在预设的关键字的目标文件确定为各个待迁移文件；
第二确定模块63，用于将各个待迁移文件中一个待迁移文件确定为当前待迁移文件；
迁移模块64，用于将当前待迁移文件迁移至第二数据库中；
第三确定模块65，用于若将当前待迁移文件迁移至第二数据库中的迁移结果为迁移成功，则在直到第一数据库中各个待迁移文件均被成功迁移到第二数据库中之前，将第一数据库中的下一个待迁移文件确定为新的当前待迁移文件；
更新模块66，用于若将当前待迁移文件迁移至第二数据库中的迁移结果为迁移失败，则记录迁移失败的原因，根据迁移失败的原因更新当前待迁移文件，以使更新后的当前待迁移文件被成功迁移到第二数据库中，在直到第一数据库中各个待迁移文件均被成功迁移到第二数据库中之前，将第一数据库中的下一个待迁移文件确定为新的当前待迁移文件。
进一步地，目标文件为XML文件，根据所述迁移失败的原因更新当前待迁移文件包括：
第一更换单元，用于若迁移失败的原因为格式不符，则将当前待迁移XML文件中的XML标签的格式更新为XML文件中XML标签的标准格式；
第二更换单元，用于若迁移失败的原因为字符集不符，则将当前待迁移XML文件中的字符集更新为符合当前显示的标准字符集；
第三更换单元，用于若迁移失败的原因为后缀名不符，则将当前待迁移XML文件的后缀名更新为XML文件的标准后缀名。
进一步地，目标文件为XML文件，第一确定模块62包括：
剔除单元，用于剔除各个XML文件中的预定类型的数据，得到各个XML文件对应的剔除后的XML文件；
解析单元，用于采用预设的XML文件的节点解析工具对各个剔除后的XML文件进行解析，得到各个剔除后的XML文件对应的各个XML节点集合，其中，XML节点集合存在一个以上XML节点；
判断单元，用于判断各个剔除后的XML文件对应的各个XML节点集合中的一个以上XML节点是否存在预设的关键字；
断定单元，用于若各个剔除后的XML文件对应的各个XML节点集合中的一个以上XML节点存在预设的关键字，则将各个剔除后的XML文件确定为各个待迁移文件。
进一步地，目标文件为XML文件，迁移模块64包括：
切割单元，用于按照当前待迁移XML文件的文件内容的先后顺序将当前待迁移XML文件切割为两个以上当前待迁移XML子文件；
创建单元，用于创建各个迁移任务，其中，迁移任务为迁移所述当前待迁移XML子文件的任务；
执行单元，用于以并行多线程方式执行各个迁移任务。
进一步地，目标文件为XML文件，所述文件迁移装置还包括：
获得单元，用于获取各个XML文件的字节；
设置单元，用于设置大于或等于各个XML文件的字节中最大的字节的缓存；
读取单元，用于将各个XML文件读取至缓存。
关于文件迁移装置的具体限定可以参见上文中对于文件迁移方法的限定，在此不再赘述。上述文件迁移装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储文件迁移方法所涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种文件迁移方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例文件迁移方法的步骤，例如图2所示的步骤S10至步骤S70。或者，处理器执行计算机程序时实现上述实施例中文件迁移装置的各模块/单元的功能，例如图6所示获取模块61至更新模块66的功能。为避免重复，这里不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中文件迁移方法，或者，该计算机程序被处理器执行时实现上述装置实施例中文件迁移装置中各模块/单元的功能。为避免重复，这里不再赘述。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种文件迁移方法，其特征在于，所述文件迁移方法包括：
获取第一数据库中的多个目标文件；
将所述目标文件中文件内容存在预设的关键字的目标文件确定为待迁移文件；
将所述待迁移文件中一个待迁移文件确定为当前待迁移文件；
以并行多线程方式将所述当前待迁移文件迁移至第二数据库中；
若将所述当前待迁移文件迁移至第二数据库中的迁移结果为迁移成功，则在直到所述第一数据库中所有待迁移文件均被成功迁移到所述第二数据库中之前，将所述第一数据库中的下一个待迁移文件确定为新的当前待迁移文件；
若将所述当前待迁移文件迁移至第二数据库中的迁移结果为迁移失败，则记录迁移失败的原因，根据所述迁移失败的原因更新所述当前待迁移文件，以使所述更新后的当前待迁移文件被成功迁移到所述第二数据库中，在直到所述第一数据库中所有待迁移文件均被成功迁移到所述第二数据库中之前，将所述第一数据库中的下一个待迁移文件确定为新的当前待迁移文件。
2.如权利要求1所述的文件迁移方法，其特征在于，所述目标文件为XML文件，所述根据所述迁移失败的原因更新所述当前待迁移文件包括：
若所述迁移失败的原因为格式不符，则将所述当前待迁移XML文件中的XML标签的格式更新为XML文件中XML标签的标准格式；
若所述迁移失败的原因为字符集不符，则将所述当前待迁移XML文件中的字符集更新为符合当前显示的标准字符集；
若所述迁移失败的原因为后缀名不符，则将所述当前待迁移XML文件的后缀名更新为XML文件的标准后缀名。
3.如权利要求1所述的文件迁移方法，其特征在于，所述目标文件为XML文件，所述将所述目标文件的文件内容存在预设的关键字的目标文件确定为待迁移文件包括：
剔除所述XML文件中的预定类型的数据，得到所述XML文件对应的剔除后的XML文件；
采用预设的XML文件的节点解析工具对所述剔除后的XML文件进行解析，得到所述剔除后的XML文件对应的各个XML节点集合，其中，XML节点集合存在一个以上XML节点；
判断所述剔除后的XML文件对应的各个XML节点集合中的一个以上XML节点是否存在预设的关键字；
若所述剔除后的XML文件对应的各个XML节点集合中的一个以上XML节点存在预设的关键字，则将所述剔除后的XML文件确定为待迁移文件。
4.如权利要求1所述的文件迁移方法，其特征在于，所述目标文件为XML文件，所述以并行多线程方式将所述当前待迁移文件迁移至第二数据库中包括：
按照所述当前待迁移XML文件的文件内容的先后顺序将所述当前待迁移XML文件切割为两个以上当前待迁移XML子文件；
创建各个迁移任务，其中，所述迁移任务为迁移所述当前待迁移XML子文件的任务；
以并行多线程方式执行各个所述迁移任务。
5.如权利要求1至4中任一项所述的文件迁移方法，其特征在于，所述目标文件为XML文件，在将目标文件中文件内容存在预设的关键字的目标文件确定为待迁移文件之前，所述文件迁移方法还包括：
获取所述各个XML文件的字节；
设置大于或等于所述各个XML文件的字节中最大的字节的缓存；
将所述各个XML文件读取至所述缓存。
6.一种文件迁移装置，其特征在于，所述文件迁移装置包括：
获取模块，用于获取第一数据库中的多个目标文件；
第一确定模块，用于将所述目标文件中文件内容存在预设的关键字的目标文件确定为待迁移文件；
第二确定模块，用于将所述待迁移文件中一个待迁移文件确定为当前待迁移文件；
迁移模块，用于以并行多线程方式将所述当前待迁移文件迁移至第二数据库中；
第三确定模块，用于若将所述当前待迁移文件迁移至第二数据库中的迁移结果为迁移成功，则在直到所述第一数据库中所有待迁移文件均被成功迁移到所述第二数据库中之前，将所述第一数据库中的下一个待迁移文件确定为新的当前待迁移文件；
更新模块，用于若将所述当前待迁移文件迁移至第二数据库中的迁移结果为迁移失败，则记录迁移失败的原因，根据所述迁移失败的原因更新所述当前待迁移文件，以使所述更新后的当前待迁移文件被成功迁移到所述第二数据库中，在直到所述第一数据库中所有待迁移文件均被成功迁移到所述第二数据库中之前，将所述第一数据库中的下一个待迁移文件确定为新的当前待迁移文件。
7.如权利要求6所述的文件迁移装置，其特征在于，所述目标文件为XML文件，所述更新模块包括：
第一更换单元，用于若所述迁移失败的原因为格式不符，则将所述当前待迁移XML文件中的XML标签的格式更新为XML文件中XML标签的标准格式；
第二更换单元，用于若所述迁移失败的原因为字符集不符，则将所述当前待迁移XML文件中的字符集更新为符合当前显示的标准字符集；
第三更换单元，用于若所述迁移失败的原因为后缀名不符，则将所述当前待迁移XML文件的后缀名更新为XML文件的标准后缀名。
8.如权利要求6至7中任一项所述的文件迁移装置，其特征在于，所述第一确定模块包括：
剔除单元，用于剔除所述XML文件中的预定类型的数据，得到所述XML文件对应的剔除后的XML文件；
解析单元，用于采用预设的XML文件的节点解析工具对所述剔除后的XML文件进行解析，得到所述剔除后的XML文件对应的各个XML节点集合，其中，XML节点集合存在一个以上XML节点；
判断单元，用于判断所述剔除后的XML文件对应的各个XML节点集合中的一个以上XML节点是否存在预设的关键字；
断定单元，用于若所述剔除后的XML文件对应的各个XML节点集合中的一个以上XML节点存在预设的关键字，则将所述剔除后的XML文件确定为待迁移文件。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述文件迁移方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述文件迁移方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810965515.3A CN109359085A (zh) | 2018-08-23 | 2018-08-23 | 文件迁移方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810965515.3A CN109359085A (zh) | 2018-08-23 | 2018-08-23 | 文件迁移方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109359085A true CN109359085A (zh) | 2019-02-19 |
Family
ID=65350263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810965515.3A Pending CN109359085A (zh) | 2018-08-23 | 2018-08-23 | 文件迁移方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109359085A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111475467A (zh) * | 2020-03-27 | 2020-07-31 | 平安科技（深圳）有限公司 | 一种文件管理方法、云端文件管理***及终端 |
| CN111522792A (zh) * | 2020-04-20 | 2020-08-11 | 中国银行股份有限公司 | 文件迁移方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100077168A1 (en) * | 2008-09-24 | 2010-03-25 | Hitachi, Ltd. | System and method for controlling automated page-based tier management in storage systems |
| CN104065685A (zh) * | 2013-03-22 | 2014-09-24 | ***股份有限公司 | 面向云计算环境的分层存储***中的数据迁移方法 |
| WO2016045096A1 (zh) * | 2014-09-26 | 2016-03-31 | 华为技术有限公司 | 一种文件迁移方法、装置和存储设备 |
| CN106446166A (zh) * | 2016-09-23 | 2017-02-22 | 郑州云海信息技术有限公司 | 数据从db2数据库迁移到k‑db数据库的方法和装置 |
| CN107436912A (zh) * | 2016-05-27 | 2017-12-05 | 三星Sds株式会社 | 数据迁移装置及其方法 |
-
2018
- 2018-08-23 CN CN201810965515.3A patent/CN109359085A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100077168A1 (en) * | 2008-09-24 | 2010-03-25 | Hitachi, Ltd. | System and method for controlling automated page-based tier management in storage systems |
| CN104065685A (zh) * | 2013-03-22 | 2014-09-24 | ***股份有限公司 | 面向云计算环境的分层存储***中的数据迁移方法 |
| WO2016045096A1 (zh) * | 2014-09-26 | 2016-03-31 | 华为技术有限公司 | 一种文件迁移方法、装置和存储设备 |
| CN107436912A (zh) * | 2016-05-27 | 2017-12-05 | 三星Sds株式会社 | 数据迁移装置及其方法 |
| CN106446166A (zh) * | 2016-09-23 | 2017-02-22 | 郑州云海信息技术有限公司 | 数据从db2数据库迁移到k‑db数据库的方法和装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111475467A (zh) * | 2020-03-27 | 2020-07-31 | 平安科技（深圳）有限公司 | 一种文件管理方法、云端文件管理***及终端 |
| CN111522792A (zh) * | 2020-04-20 | 2020-08-11 | 中国银行股份有限公司 | 文件迁移方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10409892B2 (en) | Formatting data by example | |
| CN111339041A (zh) | 文件解析入库、文件生成方法及装置 | |
| CN112380180A (zh) | 数据同步处理方法、装置、设备及存储介质 | |
| CN106909595B (zh) | 一种数据迁移方法及装置 | |
| CN105677904B (zh) | 基于分布式文件***的小文件存储方法及装置 | |
| CN108536745B (zh) | 基于Shell的数据表提取方法、终端、设备及存储介质 | |
| CN110019873B (zh) | 人脸数据处理方法、装置及设备 | |
| CN113568566A (zh) | 利用索引物件来进行简易存储服务无缝迁移的方法、主装置以及存储服务器 | |
| CN110096626A (zh) | 合同文本数据的处理方法、装置、设备及存储介质 | |
| CN112286934A (zh) | 数据库表导入方法、装置、设备及介质 | |
| CN111984659B (zh) | 数据更新方法、装置、计算机设备和存储介质 | |
| CN113688288A (zh) | 数据关联分析方法、装置、计算机设备和存储介质 | |
| CN109359085A (zh) | 文件迁移方法、装置、计算机设备及存储介质 | |
| CN109542860B (zh) | 基于hdfs的业务数据管理方法、终端设备 | |
| CN112860412B (zh) | 业务数据处理方法、装置、电子设备及存储介质 | |
| CN110019169B (zh) | 一种数据处理的方法及装置 | |
| CN102073554A (zh) | 一种文件异常关闭的恢复方法和装置 | |
| CN114816772B (zh) | 基于兼容层运行的应用的排错方法、排错***及计算设备 | |
| EP3082050A1 (en) | Mass data fusion storage method and system | |
| CN115145674A (zh) | 基于动态锚点的页面跳转方法、装置、设备及介质 | |
| CN113868138A (zh) | 测试数据的获取方法、***、设备及存储介质 | |
| CN112035486B (zh) | 分区表的分区建立方法、装置和设备 | |
| JP2008171225A (ja) | データベース自動移行システム | |
| CN103853577A (zh) | 网站头部导航栏的加载方法及装置 | |
| CN105022743A (zh) | 一种管理索引的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |