CN101945131B - 一种基于存储虚拟化的数据迁移方法 - Google Patents

一种基于存储虚拟化的数据迁移方法 Download PDF

Info

Publication number
CN101945131B
CN101945131B CN2010102824277A CN201010282427A CN101945131B CN 101945131 B CN101945131 B CN 101945131B CN 2010102824277 A CN2010102824277 A CN 2010102824277A CN 201010282427 A CN201010282427 A CN 201010282427A CN 101945131 B CN101945131 B CN 101945131B
Authority
CN
China
Prior art keywords
migration
data
throughput
logical volume
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2010102824277A
Other languages
English (en)
Other versions
CN101945131A (zh
Inventor
曹强
黄建忠
谢长生
陈洁
刘效华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN2010102824277A priority Critical patent/CN101945131B/zh
Publication of CN101945131A publication Critical patent/CN101945131A/zh
Application granted granted Critical
Publication of CN101945131B publication Critical patent/CN101945131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于存储虚拟化的数据迁移方法，该方法基于存储虚拟化的数据迁移***实现，在客户端代理中进行，是将源逻辑卷的数据迁移到目标逻辑卷的过程。本发明以逻辑卷为迁移单位，以满足在目标逻辑卷中满写操作的原则，从而提高了迁移效率。本发明在迁移过程中进行迁移速率控制，以最大可能优先满足用户请求，有效保证了业务不间断地运行。本发明方法简化了现有技术方法的复杂性，保证了源逻辑卷和目标逻辑卷的数据一致性。

Description

一种基于存储虚拟化的数据迁移方法
技术领域
本发明属于数据迁移领域，尤其涉及其中的在线迁移和速率控制领域。该方法能够实现在数据迁移的同时，对用户请求透明，并能够有效控制迁移速率。
背景技术
数据迁移是指把源设备上的数据信息，通过建立好的硬件架构和软件平台迁移到目标设备上，并且保证迁移前后设备上的所有数据，包括普通的数据、链接等都不发生任何的改变，这样当迁移完成后就可以马上投入使用。目前，数据迁移方法主要有以下几种方法：
(1)逻辑卷数据镜像方法，即对需要迁移的每个卷都做逻辑卷数据镜像，如IBM LVM，Veritas VxVM。这种方法适用于已经采用逻辑卷管理器的***，可以利用逻辑卷管理器的管理功能完成原有数据到新存储的迁移，并支持联机迁移。逻辑卷管理器可以理解为在物理存储设备和操作***之间增加的一个逻辑存储管理层。逻辑卷数据镜像方法的优点主要有：支持任意存储***之间的迁移和适合于主机存储的非经常性迁移。
(2)直接拷贝方法，即利用操作***命令直接拷贝要迁移的数据，然后复制到要迁移到的目的地，如IBMAIX tar，dd，savevg，mksysb，cpio等命令。这种方法适用于脱机迁移的环境。
(3)备份恢复方法，即利用备份管理软件对数据做备份，然后恢复到目的地，如IBM T SM，EMC Legato NetWorker，Symantec Veritas NetBackup等。这种方法适用于对于联机要求高的环境，可以结合在线备份的方法，然后恢复到目的地。
(4)存储虚拟化的方法，即通过存储虚拟化技术将数据从源端迁移到目的地，如EMC的Invista、IBM的SVC和LSI StoreAge SVM等。存储虚拟化的方法是在源和目的地增加必要的存储虚拟化设备，通过网络将数据从源端迁移到目的地。这种方法的主要优点有：兼容现有主流存储设备，如：IBM，EMC，HDS，LSI Logic，并支持不同厂商不同品牌存储设备间的数据迁移和容灾，适合于频繁移动数据的大型企业。
在数据迁移方面，海量的业务数据为企业带来下列挑战：
(1)数据迁移导致***停顿时间过长，有时长达数天，给企业业务运营带来极大的不便；
(2)数据迁移就意味着应用下线；
(3)数据迁移过程中存在数据一致性风险；
(4)需要迁移的数据量巨大(TB级别)；
由此可见，数据迁移对企业IT部门来说是一项非常浩大的工程，稍有不慎就会造成难以换回的损失。
发明内容
本发明的目的在于提供一种基于存储虚拟化的数据迁移方法，该方法可以在迁移数据的同时，保证用户请求的顺利完成，即保证业务的连续性，并可以有效地控制迁移速率，使用户可以占有更大的带宽。
本发明提供的一种基于存储虚拟化的数据迁移方法，其步骤包括：
(1)客户端代理接收来自于存储资源管理器的数据迁移信号；
(2)客户端代理设置迁移标志，当***存在迁移标志时，用户的写请求同时对源逻辑卷和目标逻辑卷进行写，当***不存在迁移标志时，用户的写请求只对源逻辑卷进行写；
(3)打开源逻辑卷根目录，并读取根目录下的第一个子目录项；
(4)判断子目录项是否为空，如果是，表示数据迁移已经全部完成，则转到步骤(11)；否则，表示数据迁移尚未全部完成，则转到步骤(5)；
(5)标记本次迁移开始时间T1，记录数据迁移这段时间本次迁移的用户吞吐量B1；
(6)数据迁移过程开始，将源逻辑卷的数据同步到目标逻辑卷的子目录项中，并记录本次迁移的迁移吞吐量B2；
(7)标志本次迁移结束时间T2；
(8)求出本次迁移过程时间T＝T2-T1，并利用T2时B1与B2的值计算出***总吞吐量B1+B2，令P为T时间内用户吞吐量所占的***总吞吐量的百分比，则P＝B1/(B1+B2)；
(9)根据所计算出的P值进行迁移速率控制：当P值处在第一等级内，睡眠W1时间；当P值在第二等级内时，睡眠W2时间；当P值处在第三等级内时，睡眠W3时间，其中，第一等级是指用户吞吐量所占***总吞吐量的百分比大于等于0且小于20％，第二等级是指是指用户吞吐量所占***总吞吐量的百分比大于等于20％且小于80％，第二等级是指是指用户吞吐量所占***总吞吐量的百分比大于等于80％且小于100％，W1，W2，W3分别表示预先设置的高、中、低睡眠阈值；
(10)读取根目录下的下一个子目录项，转入步骤(4)；
(11)客户端代理清除***迁移标志；
(12)数据迁移过程结束。
本发明方法简化了现有技术方法的复杂性，保证了源逻辑卷和目标逻辑卷的数据一致性，具体来讲，本发明具有以下优点：
(1)本发明以逻辑卷为迁移单位，以满足在目标逻辑卷中满写操作的原则，从而提高了迁移效率。
(2)本发明在迁移过程中进行迁移速率控制，以最大可能优先满足用户请求，有效保证了业务不间断地运行。
附图说明
图1为现有数据迁移***的结构示意图；
图2为数据迁移时用户请求过程示意图；
图3为迁移速率控制流程图。
具体实施方式
本发明方法是在基于存储虚拟化的数据迁移***中实现的，如图1所示，该数据迁移***包括：
(1)客户端代理，主要功能是向下述的存储资源管理器获得满足条件的存储设备信息、实现虚拟文件***层的各种文件操作，如打开文件、读写文件等操作以及执行数据迁移操作；
(2)存储资源管理器，主要功能是把下述的存储资源代理组织一个存储资源后备池，为上述客户端代理提供存储设备；
(3)存储资源代理由不同性能、不同容量、不同可用性的物理卷组成，主要功能是为客户端代理提供存储设备便于客户端代理存储数据。
基于存储虚拟化的数据迁移***中，客户端代理、存储资源管理器和存储资源代理通过以太网交换机连接在一起，存储资源代理根据物理卷性能的不同，将其划分为快速、中等和慢速设备。数据迁移的起始端被称为源逻辑卷，迁移目标端被称为目标逻辑卷。
如图2所示，数据迁移时用户请求过程主要分为读和写请求过程，由于存在数据迁移操作，因此客户端代理中存在两个逻辑卷，即源逻辑卷和目标逻辑卷。用户的读操作只对源逻辑卷操作，即只读源逻辑卷上面的数据；用户的写操作需要对两个逻辑卷同时进行，即写操作既要在源逻辑卷上执行，也要在目标逻辑卷上执行，这样保证了源逻辑卷和目标逻辑卷上数据的一致性。
本发明提供的一种基于存储虚拟化的数据迁移的方法，该方法基于存储虚拟化的数据迁移***实现，该数据迁移***包括客户端代理、存储资源管理器和存储资源代理。数据迁移过程在客户端代理中进行，是将源逻辑卷的数据迁移到目标逻辑卷的过程，如图3所示，其具体实现如步骤(A1)-(A12)：
(A1)客户端代理接收来自于存储资源管理器的数据迁移信号；
(A2)客户端代理设置迁移标志，当***存在迁移标志时，用户的写请求需要对源逻辑卷和目标逻辑卷同时写，当***不存在迁移标志时，用户的写请求只需要对源逻辑卷进行写；
(A3)打开源逻辑卷根目录，并读取根目录下的第一个子目录项；
(A4)判断子目录项是否为空，如果是，表示数据迁移已经全部完成，则转到步骤(A11)；否则，表示数据迁移尚未全部完成，则转到步骤(A5)；
(A5)标记本次迁移开始时间T1，记录本次迁移的用户吞吐量B1；
(A6)数据迁移过程开始，将源逻辑卷的数据同步到目标逻辑卷的子目录项中，并记录本次迁移的迁移吞吐量B2；
(A7)标志本次迁移结束时间T2；
(A8)求出本次迁移过程时间T＝T2-T1。***总吞吐量(即用户吞吐量与迁移吞吐量之和)为B1+B2，令P为T时间内用户吞吐量所占的***总吞吐量的百分比，则P＝B1/(B1+B2)；
(A9)根据所计算出的P值进行迁移速率控制，具体控制策略为：根据P值将用户吞吐量所占***总吞吐量的百分比分为三个等级L1(0≤P＜20％)，L2(20％≤P＜80％)，L3(80≤P≤100％)，表示用户吞吐量为低，中，高，同时设置三个睡眠阈值W1，W2，W3，通常设为120s，60s，1s。当P值处在L1等级内，则说明用户吞吐量很低，应控制迁移吞吐量，则睡眠W1时间；当P值在L2等级内时，说明用户吞吐量较低，应控制迁移吞吐量，则睡眠W2时间；当P值处在L3等级内时，说明用户吞吐量偏高，不需要控制迁移吞吐量，则睡眠W3时间。
(A10)读取根目录下的下一个子目录项，转入步骤(A4)；
(A11)客户端代理清除***迁移标志；
(A12)数据迁移过程结束。
以上所述为本发明的较佳实施例而已，但本发明不应该局限于该实施例和附图所公开的内容。所以凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (1)

1.一种基于存储虚拟化的数据迁移方法，其步骤包括：
(1)客户端代理接收来自于存储资源管理器的数据迁移信号；
(2)客户端代理设置迁移标志，当***存在迁移标志时，用户的写请求同时对源逻辑卷和目标逻辑卷进行写，当***不存在迁移标志时，用户的写请求只对源逻辑卷进行写；
(3)打开源逻辑卷根目录，并读取根目录下的第一个子目录项；
(4)判断子目录项是否为空，如果是，表示数据迁移已经全部完成，则转到步骤(11)；否则，表示数据迁移尚未全部完成，则转到步骤(5)；
(5)标记本次迁移开始时间T1，记录本次迁移的用户吞吐量B1；
(6)数据迁移过程开始，将源逻辑卷的数据同步到目标逻辑卷的子目录项中，并记录本次迁移的迁移吞吐量B2；
(7)标志本次迁移结束时间T2；
(8)求出本次迁移过程时间T＝T2-T1，并利用T2时B1与B2的值计算出***总吞吐量B1+B2，令P为T时间内用户吞吐量所占的***总吞吐量的百分比，则P＝B1/(B1+B2)；
(9)根据所计算出的P值进行迁移速率控制：当P值处在第一等级内，睡眠W1时间；当P值在第二等级内时，睡眠W2时间；当P值处在第三等级内时，睡眠W3时间，其中，第一等级是指用户吞吐量所占***总吞吐量的百分比大于等于0且小于20％，第二等级是指用户吞吐量所占***总吞吐量的百分比大于等于20％且小于80％，第三等级是指用户吞吐量所占***总吞吐量的百分比大于等于80％且小于等于100％，W1，W2，W3分别表示预先设置的高、中、低睡眠阈值；
(10)读取根目录下的下一个子目录项，转入步骤(4)；
(11)客户端代理清除***迁移标志；
(12)数据迁移过程结束。
CN2010102824277A 2010-09-16 2010-09-16 一种基于存储虚拟化的数据迁移方法 Active CN101945131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010102824277A CN101945131B (zh) 2010-09-16 2010-09-16 一种基于存储虚拟化的数据迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010102824277A CN101945131B (zh) 2010-09-16 2010-09-16 一种基于存储虚拟化的数据迁移方法

Publications (2)

Publication Number Publication Date
CN101945131A CN101945131A (zh) 2011-01-12
CN101945131B true CN101945131B (zh) 2012-08-15

Family

ID=43436898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102824277A Active CN101945131B (zh) 2010-09-16 2010-09-16 一种基于存储虚拟化的数据迁移方法

Country Status (1)

Country Link
CN (1) CN101945131B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152407A (zh) * 2013-02-20 2013-06-12 浪潮电子信息产业股份有限公司 一体化数据灾备***设计方法
CN105530273B (zh) * 2014-09-29 2018-08-03 国际商业机器公司 用于数据迁移的方法和装置
CN106649335A (zh) * 2015-10-30 2017-05-10 阿里巴巴集团控股有限公司 一种数据处理方法及装置
CN105549904B (zh) * 2015-12-08 2019-01-08 华为技术有限公司 一种应用于存储***中的数据迁移方法及存储设备
CN107193489A (zh) * 2017-05-15 2017-09-22 郑州云海信息技术有限公司 一种基于存储虚拟网关的存储级数据迁移方法和装置
CN111078121A (zh) * 2018-10-18 2020-04-28 深信服科技股份有限公司 一种分布式存储***数据迁移方法、***、及相关组件
CN110764699B (zh) * 2019-09-29 2022-11-04 苏州浪潮智能科技有限公司 一种存储卷在线迁移的方法和装置
CN111930707B (zh) * 2020-07-10 2022-08-02 江苏安超云软件有限公司 一种windows云迁移的盘符修正方法及***
CN111913663A (zh) * 2020-07-29 2020-11-10 星辰天合（北京）数据科技有限公司 存储卷在线迁移的方法、装置和存储卷在线迁移的***
CN112685391B (zh) * 2021-03-22 2021-06-08 腾讯科技（深圳）有限公司 一种服务数据迁移方法、装置、计算机设备和存储介质
CN114398005A (zh) * 2021-12-22 2022-04-26 上海金仕达软件科技有限公司 数据安全迁移方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1877540A (zh) * 2005-06-10 2006-12-13 北京艾德斯科技有限公司 网络存储中的快照***与方法
CN101464812A (zh) * 2009-01-06 2009-06-24 北京航空航天大学 一种虚拟机迁移方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1877540A (zh) * 2005-06-10 2006-12-13 北京艾德斯科技有限公司 网络存储中的快照***与方法
CN101464812A (zh) * 2009-01-06 2009-06-24 北京航空航天大学 一种虚拟机迁移方法

Also Published As

Publication number Publication date
CN101945131A (zh) 2011-01-12

Similar Documents

Publication Publication Date Title
CN101945131B (zh) 一种基于存储虚拟化的数据迁移方法
US9823877B2 (en) Virtual machine backup from storage snapshot
US11397648B2 (en) Virtual machine recovery method and virtual machine management device
US8689047B2 (en) Virtual disk replication using log files
US9043637B2 (en) Failure recovery method in information processing system and information processing system
CN106062742B (zh) 用于改进快照性能的***和方法
US10379964B2 (en) Integrating resources at a backup site
CN102402471A (zh) 基于存储阵列快照功能的数据实时备份方法及***
CN105446826A (zh) 虚拟机备份、恢复的方法及设备
CN103455577A (zh) 云主机镜像文件的多备份就近存储和读取方法及***
CN104239166A (zh) 一种对运行中虚拟机实现文件备份的方法
CN103999058A (zh) 带驱动器***服务器
US9785642B2 (en) Reducing a backup time of a backup of data files
CN103019804B (zh) OpenVZ虚拟化的VPS快速迁移方法
WO2022021856A1 (zh) 一种多磁盘虚拟机在线迁移到不同存储池的方法及装置
CN110058813A (zh) 一种基于云平台块存储的本地存储管理方法
CN106104515A (zh) 利用非易失性存储器的文件***设计和故障恢复方法
US20170228370A1 (en) Performing nearline storage of a file
CN103516549A (zh) 一种基于共享对象存储的文件***元数据日志机制
CN104040512A (zh) 存储空间的处理方法、装置及非易失性计算机可读存储介质
CN104583966A (zh) 用于去重复文件***的备份和恢复***以及对应的服务器和方法
CN104268097B (zh) 一种元数据处理方法及***
WO2022033269A1 (zh) 数据处理的方法、设备及***
CN117827538A (zh) 一种结合快照技术的云桌面跨城容灾方法
CN107786670A (zh) 一种本地存储数据和云存储结合运用的***和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant