CN109753229B - 数据迁移方法、装置、网络附属存储设备和存储介质 - Google Patents

数据迁移方法、装置、网络附属存储设备和存储介质 Download PDF

Info

Publication number
CN109753229B
CN109753229B CN201711093304.7A CN201711093304A CN109753229B CN 109753229 B CN109753229 B CN 109753229B CN 201711093304 A CN201711093304 A CN 201711093304A CN 109753229 B CN109753229 B CN 109753229B
Authority
CN
China
Prior art keywords
file
network attached
attached storage
accessed
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711093304.7A
Other languages
English (en)
Other versions
CN109753229A (zh
Inventor
张明谦
罗先强
何益
刘遵一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201711093304.7A priority Critical patent/CN109753229B/zh
Publication of CN109753229A publication Critical patent/CN109753229A/zh
Application granted granted Critical
Publication of CN109753229B publication Critical patent/CN109753229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据迁移方法、装置、网络附属存储设备和存储介质,涉及通信技术领域。该数据迁移方法包括:在源网络附属存储设备将数据迁移至目标网络附属存储设备的过程中,目标网络附属存储设备接收客户端发送的数据访问请求;目标网络附属存储设备根据待访问文件路径确定待访问文件根目录;根据待访问文件根目录确定待访问文件存储在源网络附属存储设备中,目标网络附属存储设备存有根目录与源网络附属存储设备对应关系;目标网络附属存储设备将数据访问请求转发给源网络附属存储设备,接收源网络附属存储设备发送的待访问文件,并将待访问文件发送给客户端。利用本发明的技术方案能够在数据访问业务不中断的条件下,实现在线数据迁移。

Description

数据迁移方法、装置、网络附属存储设备和存储介质
技术领域
本发明涉及通信技术领域,尤其涉及一种数据迁移方法、装置、网络附属存储设备和存储介质。
背景技术
网络附属存储(Network Attached Storage)设备是一种专用数据存储服务器,包括存储器件和内嵌***软件。由于网络附属存储设备可集中管理数据,能够释放带宽,提高网络性能,网络附属存储设备在网络中的应用越来越广泛。
在网络附属存储异构运行环境中,数据有时需要在不同的网络附属存储设备中进行迁移。现阶段,需要部署第三方迁移服务器,在第三方迁移服务器中使用robocopy或rsync等迁移工具,将某一网络附属存储设备中的数据迁移至第三方迁移服务器中,再将数据由第三方迁移服务器迁移至另一网络附属存储设备中。但是,在数据迁移过程中,客户端无法对数据进行访问。因此,在数据进行迁移时需要中断数据访问业务,无法实现在线数据迁移。
发明内容
本申请提供了一种数据迁移方法、装置、网络附属存储设备和存储介质,能够在数据访问业务不中断的条件下,实现在线数据迁移。
第一方面,本申请提供了一种数据迁移方法,包括:在源网络附属存储设备将数据迁移至目标网络附属存储设备的过程中,所述目标网络附属存储设备接收客户端发送的数据访问请求,所述数据访问请求包括待访问文件的文件名以及所述待访问文件的路径;所述目标网络附属存储设备根据所述待访问文件的路径确定所述待访问文件的根目录;根据所述待访问文件的根目录确定所述待访问文件存储在所述源网络附属存储设备中,所述目标网络附属存储设备中保存有所述根目录与所述源网络附属存储设备之间的对应关系;所述目标网络附属存储设备将所述数据访问请求转发给所述源网络附属存储设备;所述目标网络附属存储设备接收所述源网络附属存储设备发送的所述待访问文件,并将所述待访问文件发送给所述客户端。。
可在源网络附属存储设备将数据迁移至目标网络附属存储设备的过程中,根据客户端发送的数据访问请求中的待访问文件的路径,确定待访问文件的根目录,从而确定待访问文件的所在网络附属存储设备。若待访问文件存储在源网络附属存储设备中,则将数据访问请求发送至源网络附属存储设备,由源网络附属存储设备进行待访问文件的查找。目标网络附属存储设备将源网络附属存储设备查找到并发送来的待访问文件返回给客户端。从而在数据迁移过程中也可实现数据访问,保持数据访问业务的持续进行,避免数据访问业务中断。在数据访问业务不中断的前提下,实现在线数据迁移。
结合第一方面,在第一方面的第一种可能中,上述数据迁移方法还包括:将所述源网络附属存储设备的文件目录映射至所述目标网络附属存储设备中,以使得所述目标网络附属存储设备存储有所述目标网络附属存储设备的文件目录和所述源网络附属存储设备的文件目录,所述文件目录包括所述根目录。
利用映射的方式,使得目标网络附属存储设备存储有目标网络附属存储设备的文件目录和所述源网络附属存储设备的文件目录,从而可查找待访问文件的根目录。从而避免待访问文件在源网络附属存储设备中,需将待访问文件所在的文件复制到目标网络附属存储设备后再对待访问文件进行访问以及处理的情况。若将待访问文件所在的文件复制到目标网络附属存储设备后再进行对待访问文件的访问以及处理,且待访问文件的大小较大,将待访问文件复制到目标网络附属存储设备所花费的时间较长。而发起数据访问请求的业务的客户端在较长的时间内没有接收到回应,则认为业务超时,从而中断业务。应用本发明实施例中的数据迁移方法,直接在待访问文件所在的网络附属存储设备中对待访问文件进行访问以及处理,节省访问时间,且可有效避免无意义的业务超时情况,降低业务中断的可能性
结合第一方面或第一方面,在第一方面的第二种可能中,在所述目标网络附属存储设备接收所述源网络附属存储设备发送的所述待访问文件,并将所述待访问文件发送给所述客户端之后,还包括:所述目标网络附属存储设备保存所述源网络附属存储设备发送的所述待访问文件。
将源网络附属存储设备返回的被访数据存储于目标网络附属存储设备,避免可能发生更新的数据未在目标网络附属存储设备中更新的情况,保证数据迁移过程中数据的准确性。
结合第一方面,在第一方面的第三种可能中,所述数据访问请求为数据写操作请求;所述目标网络附属存储设备接收所述源网络附属存储设备发送的所述待访问文件,并将所述待访问文件发送给所述客户端,包括:若所述待访问文件正在迁移,则将根据所述数据写操作请求更新的所述待访问文件记录在日志中;等待所述待访问文件迁移完毕,利用所述日志对迁移完毕的所述待访问文件进行回放。
在待访问文件正在迁移时,为了避免出现迁移错误,将根据数据写操作请求更新的待访问文件记录在日志中,在该待访问文件迁移完毕后,利用日志回放待访问文件,从而保证数据迁移过程中进行业务处理后待访问文件的准确性。
第二方面,本申请提供了一种数据迁移装置,包括:请求接收模块,用于在源网络附属存储设备将数据迁移至目标网络附属存储设备的过程中,接收客户端发送的数据访问请求,所述数据访问请求包括待访问文件的文件名以及所述待访问文件的路径;根目录确定模块,用于根据所述待访问文件的路径确定所述待访问文件的根目录;位置确定模块,用于根据所述待访问文件的根目录确定所述待访问文件存储在所述源网络附属存储设备中,所述目标网络附属存储设备中保存有所述根目录与所述源网络附属存储设备之间的对应关系;转发代理模块,用于所述目标网络附属存储设备将所述数据访问请求转发给所述源网络附属存储设备;回复模块,用于所述目标网络附属存储设备接收所述源网络附属存储设备发送的所述待访问文件,并将所述待访问文件发送给所述客户端。
结合第二方面,在第二方面的第一种可能中,上述数据迁移装置还包括:映射模块,用于将所述源网络附属存储设备的文件目录映射至所述目标网络附属存储设备中,以使得所述目标网络附属存储设备存储有所述目标网络附属存储设备的文件目录和所述源网络附属存储设备的文件目录,所述文件目录包括所述根目录。
结合第二方面,在第二方面的第二种可能中,上述数据迁移装置还包括:转存模块,用于保存所述源网络附属存储设备发送的所述待访问文件。
结合第二方面,在第二方面的第三种可能中,所述数据访问请求为数据写操作请求;所述回复模块具体用于:若所述待访问文件正在迁移,则将根据所述数据写操作请求更新的所述待访问文件记录在日志中;等待所述待访问文件迁移完毕,利用所述日志对迁移完毕的所述待访问文件进行回放。
第三方面,本申请提供了一种网络附属存储设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序,所述处理器执行所述程序时实现上述技术方案中的数据迁移方法。
第四方面,本申请提供了一种存储介质,所述存储介质上存储有程序,所述程序被处理器执行时实现上述技术方案中的数据迁移方法。
本申请提供了一种数据迁移方法、装置、网络附属存储设备和存储介质,应用于数据迁移过程中的目标网络附属存储设备。可在源网络附属存储设备将数据迁移至目标网络附属存储设备的过程中,根据客户端发送的数据访问请求中的待访问文件的路径,确定待访问文件的根目录,从而确定待访问文件的所在网络附属存储设备。若待访问文件存储在源网络附属存储设备中,则将数据访问请求发送至源网络附属存储设备,由源网络附属存储设备进行待访问文件的查找。目标网络附属存储设备将源网络附属存储设备查找到并发送来的待访问文件返回给客户端。从而在数据迁移过程中也可实现数据访问,保持数据访问业务的持续进行,避免数据访问业务中断。在数据访问业务不中断的前提下,实现在线数据迁移。
附图说明
图1为本发明实施例中数据迁移的应用场景示意图;
图2为本发明实施例中一种数据迁移方法的流程图;
图3为本发明实施例中一种数据迁移的***的示例说明图
图4为本发明另一实施例中一种数据迁移方法的流程图;
图5为本发明一实施例中一种数据迁移装置的结构示意图;
图6为本发明另一实施例中一种数据迁移装置的结构示意图;
图7为本发明一实施例中的一种网络附属存储设备的硬件结构示意图。
具体实施方式
本发明实施例提供了一种数据迁移方法、装置、网络附属存储设备和存储介质,可应用于网络附属存储设备之间进行数据迁移的场景中。多个网络附属存储设备可互为异构设备,也就是说,多个网络附属存储设备可为不同厂商的不同结构、不同标准的网络附属存储设备。图1为本发明实施例中数据迁移的应用场景示意图。数据可以以文件的形式在多个网络附属存储设备中迁移。如图1所示,文件可在网络附属存储设备A、网络附属存储设备B和网络附属存储设备C之间进行迁移。在本发明实施例中,在数据迁移过程中,客户端仍然可以访问文件。也就是说,在数据迁移过程中,客户端仍然可以继续进行任务。数据进行迁移并不会导致业务中断,从而实现数据在线迁移。其中,客户端可为电脑、控制台、手机等控制终端。在数据迁移过程中,客户端可挂载于目标网络附属存储设备。目标网络附属存储设备为数据迁移的目的地网络附属存储设备,源网络附属存储设备为数据迁移的起源网络附属存储设备。目标网络附属存储设备与源网络附属存储设备之间可通过标准协议进行通信,比如利用网络文件***(Network File System,NFS)标准协议或通用网络文件***(Common Internet File System,CIFS)标准协议等进行通信。即数据以文件的方式由源网络附属存储设备向目标网络附属存储设备迁移。比如,数据由网络附属存储设备B和网络附属存储设备C向网络附属存储设备A迁移,则网络附属存储设备A为目标网络附属存储设备,网络附属存储设备B和网络附属存储设备C均为源网络附属存储设备。挂载至目标网络附属存储设备的客户端可获取目标网络附属存储设备和源网络附属存储设备中所有数据的文件目录即图1中的文件目录(总),并能够在客户端展示出来。
图2为本发明实施例中一种数据迁移方法的流程图。数据迁移方法可由目标网络附属存储设备执行。如图2所示,数据迁移方法可包括步骤S101至步骤S105。
在步骤S101中,在源网络附属存储设备将数据迁移至目标网络附属存储设备的过程中,目标网络附属存储设备接收客户端发送的数据访问请求。
目标网络附属存储设备向源网络附属存储设备发起迁移请求,请求数据迁移。源网络附属存储设备接收到迁移请求,响应该迁移请求,将数据向目标网络附属存储设备迁移。目标网络附属存储设备接收由源网络附属设备迁移来的数据。在一个示例中,在数据迁移的过程中,可对数据加锁,避免多用户的数据访问请求并行而引起的数据丢失或不一致的问题,从而保证数据的一致性。在数据迁移过程中,客户端可挂载至目标网络附属存储设备,客户端可向目标附属存储设备发送数据访问请求。目标网络附属存储设备可接收并处理客户端发送的数据访问请求。
数据访问请求包括待访问文件的文件名以及待访问文件的路径,从而可以利用待访问文件的文件名和待访问文件的路径,访问待访问文件。比如,待访问文件的文件名为“exam results”,待访问文件的路径为“ServerC\FolderC_1\exam results”,则可确定待访问文件具体存储的位置。
数据访问请求可包括数据读操作请求和数据写操作请求。数据读操作请求即请求读取待访问文件。数据写操作请求即请求对待访问文件进行写操作,比如增添、修改、删除等。
在步骤S102中,目标网络附属存储设备根据待访问文件的路径确定待访问文件的根目录。
根目录至逻辑驱动器的最上一级目录,得知根目录即可得知待访问文件存储在具体哪一个网络附属存储设备中,也可得知待访问文件存储在目标网络附属存储设备或源网络附属存储设备。比如,待访问文件的路径为“ServerC\FolderC_1\exam results”,则待访问文件的根目录为“ServerC\”。
在步骤S103中,根据待访问文件的根目录确定待访问文件存储在源网络附属存储设备中。
在目标网络附属存储设备中保存有根目录与源网络附属存储设备之间的对应关系。参与数据迁移过程的源网络附属存储设备的数据可为一个,也可为多个。目标网络附属存储设备可根据待访问文件的根目录,在根目录与源网络附属存储设备之间的对应关系中查找得到与待访问文件的根目录对应的源网络附属存储设备,从而确定存储待访问文件的源网络附属存储设备。需要说明的是,随着数据迁移过程的时间推移,待访问文件的路径可实时更新,待访问文件的根目录也随着路径的更新而更新。同理,目标网络附属存储设备中根目录与源网络附属存储设备的对应关系也可以实时更新。
比如,根目录与源网络附属存储设备之间的对应关系包括:“ServerA\”与网络附属存储设备A对应,“ServerB\”与网络附属存储设备B对应,“ServerC\”与网络附属存储设备C对应。若待访问文件的根目录为“ServerB\”,则可确定待访问文件的根目录对应的源网络附属存储设备为网络附属存储设备B。
又比如,若待访问文件的访问路径为E:\\ServerB\FolderB_3,则可确定待访问文件位于目标网络附属存储设备即网络附属存储设备B中。若待访问文件的访问路径为G:\\ServerC\FolderC_1,则可确定待访问文件位于源网络附属存储设备即网络附属存储设备C中。
在步骤S104中,目标网络附属存储设备将数据访问请求转发给源网络附属存储设备。
待访问文件存储在源网络附属存储设备中,则目标网络附属存储设备将数据访问请求转发给源网络附属存储设备。由源网络附属存储设备查找待访问文件,源网络附属存储设备可对待访问文件进行处理,将查找到的待访问文件返回给目标网络附属存储设备。目标网络附属存储设备接收源网络附属存储设备返回的待访问文件,由目标网络附属存储设备将源网络附属存储设备返回的待访问文件返回给客户端。
在步骤S105中,目标网络附属存储设备接收源网络附属存储设备发送的待访问文件,并将待访问文件发送给客户端。
数据访问请求可包括数据读操作请求和数据写操作请求。若数据访问请求为数据读操作请求,则目标网络附属存储设备将数据读操作请求转发给源网络附属存储设备,由源网络附属存储设备根据数据读操作请求,查找待访问文件,将待访问文件返回给目标网络附属存储设备,目标网络附属存储设备将待访问文件再返回给客户端。
若数据访问请求为数据写操作请求,则目标网络附属存储设备将数据写操作请求转发给源网络附属存储设备。源网络附属存储设备根据数据写操作请求查找待访问文件,并对待访问文件中的数据进行写操作,并将根据数据写操作请求更新的待访问文件返回给目标网络附属存储设备,目标网络附属存储设备将根据数据写操作请求更新的待访问文件返回给客户端。
在一个示例中,若待访问文件的根目录不属于源网络附属存储设备,则可确定待访问文件的根目录属于目标网络附属存储设备。目标网络附属存储设备根据待访问文件的根目录确定待访问文件存储在目标网络附属存储设备中,则可根据数据访问请求访问存储于目标网络附属存储设备中的待访问文件,并将待访问文件返回给客户端。在完成数据迁移后,可将源网络附属存储设备下线。业务在目标网络附属存储设备上完成。
在本发明实施例中,在源网络附属存储设备将数据迁移至目标网络附属存储设备的过程中,根据客户端发送的数据访问请求中的待访问文件的路径,确定待访问文件的根目录,从而确定待访问文件的所在网络附属存储设备。若待访问文件存储在源网络附属存储设备中,则将数据访问请求发送至源网络附属存储设备,由源网络附属存储设备进行待访问文件的查找。目标网络附属存储设备将源网络附属存储设备查找到并发送来的待访问文件返回给客户端。从而在数据迁移过程中也可实现数据访问,保持数据访问业务的持续进行,避免数据访问业务中断。在数据访问业务不中断的前提下,实现在线数据迁移。
在上述两个实施例中,可以得到,对待访问文件的访问以及处理均在待访问文件所在的网络附属存储设备中进行。从而避免待访问文件在源网络附属存储设备中,需将待访问文件所在的文件复制到目标网络附属存储设备后再对待访问文件进行访问以及处理的情况。若将待访问文件所在的文件复制到目标网络附属存储设备后再进行对待访问文件的访问以及处理,且待访问文件的大小较大,将待访问文件复制到目标网络附属存储设备所花费的时间较长。而发起数据访问请求的业务的客户端在较长的时间内没有接收到回应,则认为业务超时,从而中断业务。应用本发明实施例中的数据迁移方法,直接在待访问文件所在的网络附属存储设备中对待访问文件进行访问以及处理,节省访问时间,且可有效避免无意义的业务超时情况,降低业务中断的可能性。
图3为本发明实施例中一种数据迁移的***的示例说明图。如图3所示,数据迁移的***可包括客户端、目标网络附属存储设备和源网络附属存储设备。图3中的ISILON/NETAPP/VNX、9000FS以及TFS为不同厂商的网络附属存储设备,同时也作为源网络附属存储设备。客户端挂载于目标网络附属存储设备,与目标网络附属存储设备连接。目标网络附属存储设备包括输入输出控制模块(简称IO控制模块)、网络附属存储虚拟文件***(简称NAS_VFS)、后台迁移模块、通用网络文件***/网络文件***和客户代理(Client Agent,CA)/可移植操作***接口应用适配层(Portable Operating System Interface of UNIX,PAL)。
其中,输入输出控制模块可查找文件目录,从而定位数据的所在位置。网络附属存储虚拟文件***可包括第三方虚拟文件***(简称Third_VFS)和私有虚拟文件***(简称Private_VFS)。第三方虚拟文件***和私有文件***针对不同范围的业务。通用网络文件***/网络文件***和客户代理/可移植操作***接口应用适配层为适用于不同业务的***及设备。后台迁移模块可调用客户代理和可移植操作***接口应用适配层的接口读写文件中的数据,也可控制通用网络文件***/网络文件***与源网络附属存储设备之间进行数据的迁移。
图4为本发明另一实施例中一种数据迁移方法的流程图。图4所示的数据迁移方法为图2所示的数据迁移方法的一种具体实现方式。图2中的步骤S105可细化为图4中的步骤S1051和步骤S1052;图4中的数据迁移方法还可包括步骤S106和步骤107。
在步骤S1051中,若待访问文件正在迁移,则将根据数据写操作请求更新的待访问文件记录在日志中。
在本发明实施例中,数据访问请求为数据写操作请求,即需要对待访问文件进行写操作。若待访问文件正在迁移,则待访问文件的一部分数据迁移至目标网络附属存储设备,待访问文件的另一部分数据还未迁移至目标网络附属存储设备。为了避免数据丢失或发生错误,可将数据写操作请求更新的待访问文件记录在日志即log中。
在步骤S1052中,等待待访问文件迁移完毕,利用日志对迁移完毕的待访问文件进行回放。
利用日志对迁移完毕的待访问文件进行回放,即等待待访问文件迁移完毕,利用日志中根据数据写操作请求更新的待访问文件替换目标网络附属存储设备中的迁移完毕的待访问文件。
在另一个示例中,若待访问文件还未开始迁移或已经迁移成功,且待访问文件当前的所在位置为源网络附属存储设备,则可将根据数据写操作请求更新的待访问文件存储在目标网络附属存储设备内,也可在源网络附属存储设备存储根据数据写操作请求更新的待访问文件。
在步骤S106中,将源网络附属存储设备的文件目录映射至目标网络附属存储设备中,以使得目标网络附属存储设备存储有目标网络附属存储设备的文件目录和源网络附属存储设备的文件目录。
客户端可挂载至目标网络附属存储设备,即客户端通过与目标网络附属存储设备之间的数据交互实现业务。在一个示例中,目标网络附属存储设备可构建所有的网络附属存储设备的全局命名空间(global namespace,GNS)。其中,所有的网络附属存储设备包括目标网络附属存储设备和源网络附属存储设备。目标网络附属存储设备构建全局命名空间时,将目标网络附属存储设备的文件目录放入全局命名空间。在全局命名空间包括目标网络附属存储设备的基础上,将源网络附属存储设备的文件目录映射至全局命名空间中,使得全局命名空间包括源网络附属存储设备的文件目录和目标网络附属存储设备的文件目录。文件目录中包括根目录。文件目录可看作存储阵列,文件目录中的每一条记录可看作存储阵列中的一个元素。
比如,如图1所示,目标网络附属存储设备为网络附属存储设备A,源网络附属存储设备包括网络附属存储设备B和网络附属存储设备C。网络附属存储设备A中的文件目录A包括“ServerA\FolderA_1”、“ServerA\FolderA_2”和“ServerA\FolderA_3”,根目录为“ServerA\”;网络附属存储设备B中的文件目录B包括“ServerB\FolderB_1”、“ServerB\FolderB_2”和“ServerB\FolderB_3”,根目录为“ServerB\”;网络附属存储设备C中的文件目录C包括“ServerC\FolderC_1”、“ServerC\FolderC_2”和“ServerC\FolderC_3”,根目录为“ServerC\”。经过映射后,全局命名空间中的文件目录(总)包括文件目录A、文件目录B和文件目录C,文件目录(总)包括根目录“ServerA\”“ServerB\”和“ServerC\”。
需要注意的是,这里的映射只是将源网络附属存储设备的文件目录映射至全局命名空间,还未将源网络附属存储设备中的数据全部迁移至目标附属存储设备中。
在一个示例中,在构建全局命名空间,且将原网络附属存储设备的文件目录也映射至全局命名空间后,客户端也可显示总的文件目录,但客户端显示的总的文件目录与目标网络附属存储设备中经过映射后的全局命名空间中的文件目录有所不同,客户端显示的总的文件目录可不记录数据当前存在于目标网络附属存储设备或源网络附属存储设备,但全局命名空间中经过映射后得到的文件目录记录了根目录与各网络附属存储设备之间的对应关系,根目录与各网络附属存储设备之间的对应关系包括根目录与源网络附属存储设备之间的对应关系。文件目录记录了文件的存储位置即访问路径,文件包括数据。全局命名空间中的文件目录可实时更新或周期性更新,同理,根目录与各网络附属存储设备之间的对应关系也可随着实时更新或周期性更新。因此在数据迁移过程中,目标网络附属存储设备能够通过全局命名空间中经过映射得到的文件目录感知文件的迁移状态,文件的迁移状态即为文件当前的所在位置。
在数据迁移过程中,客户端挂载至目标网络附属存储设备,客户端可向目标附属存储设备发送数据访问请求。数据访问请求包括待访问文件的访问路径。目标网络附属存储设备接收到数据访问请求,可根据数据访问请求中待访问文件的访问路径,在全局命名空间中的文件目录中查找,从而确定数据访问请求指示的待访问文件的所在位置。待访问文件的所在位置包括目标网络附属存储设备或源网络附属存储设备。若待访问文件的所在位置为源网络附属存储设备,且源网络附属存储设备的数目为两个以上,则待访问文件的所在位置会具体至其中一个源网络附属存储设备。
在步骤S107中,目标网络附属存储设备保存源网络附属存储设备发送的待访问文件。
若待访问文件存储于源网络附属存储设备中,则源网络附属存储设备需要将待访问文件先返回给目标网络附属存储设备,目标网络附属存储设备再将待访问文件返回给客户端。在源网络附属存储设备需要将待访问文件先返回给目标网络附属存储设备时,目标网络附属存储设备可将待访问文件存储于目标网络附属存储设备中。
图5为本发明一实施例中一种数据迁移装置200的结构示意图。如图5所示,数据迁移装置200可包括请求接收模块201、根目录确定模块202、位置确定模块203、转发代理模块204和回复模块205。
请求接收模块201,用于在源网络附属存储设备将数据迁移至目标网络附属存储设备的过程中,接收客户端发送的数据访问请求,所述数据访问请求包括待访问文件的文件名以及所述待访问文件的路径。
请求接收模块201的相关说明可参见上述实施例中步骤S101的相关说明部分。具体的,请求接收模块201可集成于网络附属存储设备的处理器中。
根目录确定模块202,用于根据所述待访问文件的路径确定所述待访问文件的根目录。
根目录确定模块202的相关说明可参见上述实施例中步骤S102的相关说明部分。具体的,根目录确定模块202可集成于网络附属存储设备的处理器中。
位置确定模块203,用于根据所述待访问文件的根目录确定所述待访问文件存储在所述源网络附属存储设备中,所述目标网络附属存储设备中保存有所述根目录与所述源网络附属存储设备之间的对应关系。
位置确定模块203的相关说明可参见上述实施例中步骤S103的相关说明部分。具体的,位置确定模块203可集成于网络附属存储设备的处理器中。
转发代理模块204,用于所述目标网络附属存储设备将所述数据访问请求转发给所述源网络附属存储设备。
转发代理模块204的相关说明可参见上述实施例中步骤S104的相关说明部分。具体的,转发代理模块204可集成于网络附属存储设备的处理器中。
回复模块205,用于所述目标网络附属存储设备接收所述源网络附属存储设备发送的所述待访问文件,并将所述待访问文件发送给所述客户端。
回复模块205的相关说明可参见上述实施例中步骤S105的相关说明部分。具体的,回复模块205可集成于网络附属存储设备的处理器中。
在本发明实施例中,可在源网络附属存储设备将数据迁移至目标网络附属存储设备的过程中,根据客户端发送的数据访问请求中的待访问文件的路径,确定待访问文件的根目录,从而确定待访问文件的所在网络附属存储设备。若待访问文件存储在源网络附属存储设备中,则将数据访问请求发送至源网络附属存储设备,由源网络附属存储设备进行待访问文件的查找。目标网络附属存储设备将源网络附属存储设备查找到并发送来的待访问文件返回给客户端。从而在数据迁移过程中也可实现数据访问,保持数据访问业务的持续进行,避免数据访问业务中断。在数据访问业务不中断的前提下,实现在线数据迁移。
而且对待访问文件的访问以及处理均在待访问文件所在的网络附属存储设备中进行,从而避免待访问文件在源网络附属存储设备中,需将待访问文件复制到目标网络附属存储设备后再对待访问文件进行访问以及处理的情况。直接在待访问文件所在的网络附属存储设备中对待访问文件进行访问以及处理,节省访问时间,且可有效避免无意义的业务超时情况,降低业务中断的可能性。
在本发明的另一实施例中,数据访问请求为数据写操作请求,上述实施例中的回复模块205具体用于:若所述待访问文件正在迁移,则将根据所述数据写操作请求更新的所述待访问文件记录在日志中;等待所述待访问文件迁移完毕,利用所述日志对迁移完毕的所述待访问文件进行回放。具体说明可参见上述实施例中的步骤S1051和步骤S1052的相关说明部分。
在被访数据正在迁移时,为了避免出现迁移错误,将根据数据写操作请求更新的被访数据记录在日志中,在该被访数据迁移完毕后,利用日志回放数据,从而保证数据迁移过程中进行业务处理后数据的准确性。
若被访数据的所在位置为目标网络附属存储设备,则访问代理模块204可在目标网络附属存储设备中查找待访问文件,并将查找到的待访问文件返回给客户端。在被访数据所在的网络附属存储设备中进行查找和相关处理等操作,使得在迁移过程中,对数据进行处理更加直观快捷。
图6为本发明另一实施例中一种数据迁移装置200的结构示意图。图6与图5的不同之处在于,图6所示的数据迁移装置200还可包括映射模块206和转存模块207。
映射模块206,用于将所述源网络附属存储设备的文件目录映射至所述目标网络附属存储设备中,以使得所述目标网络附属存储设备存储有所述目标网络附属存储设备的文件目录和所述源网络附属存储设备的文件目录,所述文件目录包括所述根目录。
映射模块206的相关说明可参见上述实施例中步骤S106的相关说明部分。映射模块206可集成于网络附属存储设备的处理器中。
转存模块207,用于保存所述源网络附属存储设备发送的所述待访问文件。
转存模块207的相关说明可参见上述实施例中步骤S107的相关说明部分。转存模块205可集成于网络附属存储设备的处理器中。
将源网络附属存储设备返回的被访数据存储于目标网络附属存储设备,避免可能发生更新的数据未在目标网络附属存储设备中更新的情况,保证数据迁移过程中数据的准确性。
结合图1至图6描述的本发明实施例的数据迁移方法和装置可以由网络附属存储设备300来实现。图7为本发明一实施例中的一种网络附属存储设备300的硬件结构示意图。
网络附属存储设备300包括存储器301、处理器302及存储在存储器301上并可在处理器302上运行的计算机程序。
在一个示例中,上述处理器302可以包括中央处理器(CPU),或者特定集成电路(ASIC),或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器301可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器301可包括硬盘驱动器(即HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(即USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器301可包括可移除或不可移除或固定的介质。在合适的情况下,存储器301可在网络附属存储设备300的内部或外部。在特定实施例中,存储器301是非易失性固态存储器。在特定实施例中,存储器301包括只读存储器(即ROM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(即PROM)、可擦除PROM(即EPROM)、电可擦除PROM(即EEPROM)、电可改写ROM(即EAROM)或闪存或者两个或更多个以上这些的组合。
处理器302通过读取存储器301中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于执行上述实施例中的数据迁移方法。
在一个示例中,网络附属存储设备300还可包括通信接口303和总线304。其中,如图7所示,存储器301、处理器302、通信接口303通过总线304连接并完成相互间的通信。
通信接口303,主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。也可通信接口303接入输入设备和/或输出设备。
总线304包括硬件、软件或两者,将采样频率推荐设备300的部件彼此耦接在一起。举例来说而非限制,总线304可包括加速图形端口(即AGP)或其他图形总线、增强工业标准架构(即EISA)总线、前端总线(即FSB)、超传输(即HT)互连、工业标准架构(即ISA)总线、无限带宽互连、低引脚数(即LPC)总线、存储器总线、微信道架构(即MCA)总线、***组件互连(即PCI)总线、PCI-Express(即PCI-X)总线、串行高级技术附件(即SATA)总线、视频电子标准协会局部(即VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线304可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线,但本发明考虑任何合适的总线或互连。
本发明一实施例还提供一种存储介质,该存储介质上存储有程序,该程序被处理器执行时实现上述实施例中的数据迁移方法。

Claims (8)

1.一种数据迁移方法,其特征在于,包括:
在源网络附属存储设备将数据迁移至目标网络附属存储设备的过程中,所述目标网络附属存储设备接收客户端发送的数据访问请求,所述数据访问请求包括待访问文件的文件名以及所述待访问文件的路径;
所述目标网络附属存储设备根据所述待访问文件的路径确定所述待访问文件的根目录;
根据所述待访问文件的根目录确定所述待访问文件存储在所述源网络附属存储设备中,所述目标网络附属存储设备中保存有所述根目录与所述源网络附属存储设备之间的对应关系;
所述目标网络附属存储设备将所述数据访问请求转发给所述源网络附属存储设备;
所述目标网络附属存储设备接收所述源网络附属存储设备发送的所述待访问文件,并将所述待访问文件发送给所述客户端;
所述方法还包括:
将所述源网络附属存储设备的文件目录映射至所述目标网络附属存储设备中,以使得所述目标网络附属存储设备存储有所述目标网络附属存储设备的文件目录和所述源网络附属存储设备的文件目录,所述文件目录包括所述根目录。
2.根据权利要求1所述的方法,其特征在于,在所述目标网络附属存储设备接收所述源网络附属存储设备发送的所述待访问文件,并将所述待访问文件发送给所述客户端之后,还包括:
所述目标网络附属存储设备保存所述源网络附属存储设备发送的所述待访问文件。
3.根据权利要求1所述的方法,其特征在于,所述数据访问请求为数据写操作请求;
所述目标网络附属存储设备接收所述源网络附属存储设备发送的所述待访问文件,并将所述待访问文件发送给所述客户端,包括:
若所述待访问文件正在迁移,则将根据所述数据写操作请求更新的所述待访问文件记录在日志中;
等待所述待访问文件迁移完毕,利用所述日志对迁移完毕的所述待访问文件进行回放。
4.一种数据迁移装置,其特征在于,包括:
请求接收模块,用于在源网络附属存储设备将数据迁移至目标网络附属存储设备的过程中,接收客户端发送的数据访问请求,所述数据访问请求包括待访问文件的文件名以及所述待访问文件的路径;
根目录确定模块,用于根据所述待访问文件的路径确定所述待访问文件的根目录;
位置确定模块,用于根据所述待访问文件的根目录确定所述待访问文件存储在所述源网络附属存储设备中,所述目标网络附属存储设备中保存有所述根目录与所述源网络附属存储设备之间的对应关系;
转发代理模块,用于所述目标网络附属存储设备将所述数据访问请求转发给所述源网络附属存储设备;
回复模块,用于所述目标网络附属存储设备接收所述源网络附属存储设备发送的所述待访问文件,并将所述待访问文件发送给所述客户端;
映射模块,用于将所述源网络附属存储设备的文件目录映射至所述目标网络附属存储设备中,以使得所述目标网络附属存储设备存储有所述目标网络附属存储设备的文件目录和所述源网络附属存储设备的文件目录,所述文件目录包括所述根目录。
5.根据权利要求4所述的装置,其特征在于,还包括:
转存模块,用于保存所述源网络附属存储设备发送的所述待访问文件。
6.根据权利要求4所述的装置,其特征在于,所述数据访问请求为数据写操作请求;
所述回复模块具体用于:
若所述待访问文件正在迁移,则将根据所述数据写操作请求更新的所述待访问文件记录在日志中;
等待所述待访问文件迁移完毕,利用所述日志对迁移完毕的所述待访问文件进行回放。
7.一种网络附属存储设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序,所述处理器执行所述程序时实现如权利要求1至3中任意一项所述的数据迁移方法。
8.一种存储介质,其特征在于,所述存储介质上存储有程序,所述程序被处理器执行时实现如权利要求1至3中任意一项所述的数据迁移方法。
CN201711093304.7A 2017-11-08 2017-11-08 数据迁移方法、装置、网络附属存储设备和存储介质 Active CN109753229B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711093304.7A CN109753229B (zh) 2017-11-08 2017-11-08 数据迁移方法、装置、网络附属存储设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711093304.7A CN109753229B (zh) 2017-11-08 2017-11-08 数据迁移方法、装置、网络附属存储设备和存储介质

Publications (2)

Publication Number Publication Date
CN109753229A CN109753229A (zh) 2019-05-14
CN109753229B true CN109753229B (zh) 2020-09-18

Family

ID=66401575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711093304.7A Active CN109753229B (zh) 2017-11-08 2017-11-08 数据迁移方法、装置、网络附属存储设备和存储介质

Country Status (1)

Country Link
CN (1) CN109753229B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427350A (zh) * 2019-07-11 2019-11-08 北京梧桐车联科技有限责任公司 数据迁移中的数据处理方法及装置、存储设备及介质
CN113050890A (zh) * 2021-03-26 2021-06-29 北京沃东天骏信息技术有限公司 一种数据迁移方法和装置
CN115277840B (zh) * 2022-03-18 2024-04-23 中国建设银行股份有限公司 一种数据迁移方法、装置、电子设备及计算机可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073462A (zh) * 2010-11-29 2011-05-25 华为技术有限公司 虚拟存储迁移方法、***和虚拟机监控器
CN102611745A (zh) * 2011-12-31 2012-07-25 成都市华为赛门铁克科技有限公司 文件在线迁移方法、装置和***
CN102955845A (zh) * 2012-10-23 2013-03-06 北京亿赞普网络技术有限公司 数据访问方法、装置与分布式数据库***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8548902B2 (en) * 2003-08-15 2013-10-01 Larry Porter System for online lending services via an application service provider network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073462A (zh) * 2010-11-29 2011-05-25 华为技术有限公司 虚拟存储迁移方法、***和虚拟机监控器
CN102611745A (zh) * 2011-12-31 2012-07-25 成都市华为赛门铁克科技有限公司 文件在线迁移方法、装置和***
CN102955845A (zh) * 2012-10-23 2013-03-06 北京亿赞普网络技术有限公司 数据访问方法、装置与分布式数据库***

Also Published As

Publication number Publication date
CN109753229A (zh) 2019-05-14

Similar Documents

Publication Publication Date Title
US8306948B2 (en) Global deduplication file system
US9940042B2 (en) Distributed storage system, and data-access method therefor
CN107786638B (zh) 一种数据处理方法、装置及***
US7680067B2 (en) Peer-to-peer data synchronization architecture
CN109271098B (zh) 一种数据迁移方法及装置
CN111654519B (zh) 用于传输数据处理请求的方法和装置
US20160277497A1 (en) Facilitating access to remote cloud services
CN109753229B (zh) 数据迁移方法、装置、网络附属存储设备和存储介质
CN107851122B (zh) 大规模存储和检索具有良有界生命的数据
US9176853B2 (en) Managing copy-on-writes to snapshots
CN106331153B (zh) 一种业务请求的过滤方法、装置及***
US20070156763A1 (en) Storage management system and method thereof
WO2016197838A1 (zh) 一种访问方法及装置
CN112839076B (zh) 数据存储、读取方法、网关、电子设备及存储介质
EP3163946A1 (en) Information transmission method and apparatus, device, computer program and recording medium
WO2021109587A1 (zh) 一种文件存储方法、装置、设备及可读存储介质
US11754727B2 (en) Picture processing method and related device
CN114637703B (zh) 数据访问装置、方法、可读介质和电子设备
WO2016101662A1 (zh) 一种数据处理方法及相关服务器
WO2014153931A1 (zh) 文件存储方法、装置、访问客户端及元数据服务器***
CN109144403B (zh) 一种用于云盘模式切换的方法与设备
CN108509150B (zh) 数据处理方法及装置
CN110347656B (zh) 文件存储***中请求的管理方法和装置
US10013201B2 (en) Region-integrated data deduplication
CN115543225B (zh) 数据处理方法、***、装置、计算机存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant