CN112558881A - 一种迁移存储***的方法及*** - Google Patents
一种迁移存储***的方法及*** Download PDFInfo
- Publication number
- CN112558881A CN112558881A CN202011507409.4A CN202011507409A CN112558881A CN 112558881 A CN112558881 A CN 112558881A CN 202011507409 A CN202011507409 A CN 202011507409A CN 112558881 A CN112558881 A CN 112558881A
- Authority
- CN
- China
- Prior art keywords
- storage system
- data
- description information
- new
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000008676 import Effects 0.000 claims description 3
- 230000005012 migration Effects 0.000 abstract description 21
- 238000013508 migration Methods 0.000 abstract description 21
- 230000008569 process Effects 0.000 abstract description 7
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 238000013500 data storage Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种在线迁移存储***的方法,该方法包括:在原有存储***上部署一套新存储***;通过所述新存储***从所述原有存储***读出原有文件描述信息;将所述原有文件描述信息导入所述新存储***;通过所述新存储***根据导入的原有文件描述信息,重新构建新的数据描述信息;将所述新存储***上线,以对外提供数据服务。本发明还公开一种在线迁移存储***的***,通过本发明所述的方法和***,消除了现有技术中数据拷贝过程耗时高、效率低、存储空间消耗严重等问题,大大提高了迁移效率,明显降低了数据迁移成本,因此具有明显的技术优势和有益效果。
Description
技术领域
本发明涉及数据迁移领域,尤其涉及一种迁移存储***的方法及***。
背景技术
在存储***的使用过程中,由于旧的存储***无法满足新的需求需要升级,需要对原有存储的数据进行迁移,通常的做法是通过拷贝的方式将原有存储***中的数据拷贝到新的存储***中,在此过程中,数据拷贝的过程非常耗时,效率很低,同时对存储空间的消耗较为严重,数据在线迁移的过程中,需要同时占用2倍的存储空间。
因此,如何提高在线数据迁移的效率,减少数据迁移过程中的存储消耗,降低迁移成本是该领域亟需解决的问题。
发明内容
本发明的目的在于克服现有技术中存在的上述缺陷,提供一种迁移存储***的方法,用于解决现有技术中存在的在耗时高、效率低、存储消耗高的缺陷。
为达到上述目的,本发明第一方面公开一种迁移存储***的方法,其特征在于,所述方法具体包括以下实现步骤:S1:在原有存储***上部署一套新存储***;S2:通过所述新存储***从所述原有存储***读出原有文件描述信息;S3:将所述原有文件描述信息导入所述新存储***;S4:通过所述新存储***根据导入的原有文件描述信息,重新构建新的数据描述信息;S5:将所述新存储***上线,以对外提供数据服务。
进一步的,所述的原有文件描述信息包括文件在实际物理存储介质的起始地址和结束地址。
进一步的,所述的新的数据描述信息包括节点识别号、存储设备识别号、起始地址和结束地址。
进一步的,还包括将原有存储***中非纠删码数据块迁移为纠删码数据块。
进一步的,还包括根据所述纠删码数据块生成校验数据。
本发明第二方面公开一种迁移存储***的***,具体包括:部署模块:用于在所述原有存储***上部署新的存储***;信息读取模块:用于从所述原有存储***读出原有文件描述信息;信息导入模块:用于将所述原有文件描述信息导入所述新存储***;信息重构模块:用于根据导入的原有文件描述信息,重新构建新的数据描述信息;数据服务模块:用于对外提供数据服务。
进一步的,还包括数据格式转换模块:用于将原有存储***中非纠删码数据描述信息转换为纠删码数据描述信息。
进一步的,还包括校验码生成模块:用于根据纠删码数据块生成校验数据,或者根据所述原有存储***生成校验数据。
本发明第三方面还公开一种电子设备,所述设备包括处理器以及存储器,其中,所述存储器用于存储可执行程序,所述处理器用于执行所述可执行程序以实现本发明第一方面所述的任意一种迁移存储***的方法。
综上,利用本发明公开的方法和***,在对原有存储***的数据迁移过程中,不需要数据拷贝,也不需要进行其他转码或者迁移工作,而是在现有的存储***服务器上部署一套新的存储***,即可实现对原数据的无缝迁移,相比现有技术,消除了现有技术中数据拷贝过程耗时高、效率低、存储空间消耗严重等问题,大大提高了迁移效率,明显降低了数据迁移成本,因此具有明显的技术优势和有益效果。
本发明公开的方法和***中所述的模块,在实际应用中,即可以在一台服务器上部署多个模块,也可以每一模块独立部署在不同的服务器上,特别的,根据需要,为了提供更强大的计算处理能力,也可以根据需要将模块部署到集群服务器上。
为了对本发明有更清楚全面的了解,下面结合附图,对本发明的具体实施方式进行详细描述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了一个实施例中数据迁移方法的主要步骤示意图。
图2示出了一个实施例中数据迁移的原理示意图。
图3示出了一个实施例中数据迁移方法中数据描述的构建示意图;
图4示出了一个实施例中数据迁移***的框架示意图。
具体实施方式
请参阅图1,图1示出了一个实施例中数据迁移方法的主要步骤示意图,具体包括步骤S11~S13:
S11:在原有存储***上部署一套新存储***;
通过部署一套新存储***,用于管理分布在不同地方的服务器物理介质,它和原有存储***的物理存储介质无关,通过和数据的物理地址建立的映射关系,从而实现对原有存储***上的物理介质的数据进行操作(例如增删改查)。
S12:通过所述新存储***从所述原有存储***读出原有文件描述信息;
新存储***首先要从原有存储***获取文件的描述信息,作为一种举例,有些存储介质数据的组织形式为:H1+D1/H2+D2/H3+D3,则其文件的描述形式为:ip1:device1/block2;另一些存储介质数据的组织形式为:H1/D1/D2/D3,则其文件的描述形式可能是:Node1:device1/BlockId/size。
S13:将所述原有文件描述信息导入所述新存储***;
新存储***读入原有文件描述信息,并进行解析,获取数据的实际物理存储位置的信息(如begin地址和end地址)即可。
S14:通过所述新存储***根据导入的原有文件描述信息,重新构建新的数据描述信息。
新存储***基于导入的文件描述信息,全部重新建立生成新的数据描述信息,作为一种举例,新的描述信息为:node:device:begin:end。
S15:将所述新存储***上线提供数据操作服务。
对新存储***上线,新存储***上可对外提供数据操作服务(例如增删改查)。
作为一种举例,如图2所示,图2示出了一个实施例中数据迁移的原理示意图,该实施例中,假设原有存储***包含4个不同厂家的存储介质,不同厂家的编号为:201、202、203、204,其中,不同厂家的存储介质对应的编号为a、b、c、d,原有文件***对应的编号为:A、B、C、D。
数据迁移的原理是,在原有存储***中部署新存储***,新存储***不需要修改原有存储***的文件***,也不需要和原有存储***之间有任何的格式变换、数据拷贝或者交互的过程,也不更改原有存储介质的存储数据格式,只是读入已有的物理存储介质上的文件描述信息,解析获得数据的存储位置,然后进一步重新构建新的数据描述信息,进而建立新的数据管理形式。
具体如何通过原有存储介质上的文件描述信息获得新的数据描述信息的过程,请参阅图3所示的示意图。
请参阅图3,图3示出了一个实施例中数据迁移方法中数据描述的构建示意图,在该实施例中,以一个大小为10M的图片文件1.jpg为例,分别采用不同的存储介质进行存储,为了方便描述,分别标识为第一文件301和第二文件302,1.jpg在不同的存储介质的数据组织形式和文件描述信息分别如下:
第一文件301:数据组织形式为:H1+D1/H2+D2/H3+D3;每个存储块分配的空间大小一样,文件分块存储在D1、D2、D3的物理介质上时,其每一个数据块的描述信息为:ip1:device1/block2;
第二文件301:数据组织形式为:H/D5/D6/D7;每个存储块分配的空间大小不一样,文件分块存储在D5、D6、D7的物理介质上时,其每一个数据块的描述信息为:Node1:device1/Block/size;
新存储***读入上述两个文件的描述信息,解析出每个数据块所处的节点编号、存储介质编号,以及或者计算或者读出数据存放的起始位置和结束位置,然后按照格式产生新的数据描述信息,作为一种举例,新的数据描述信息包括节点识别号、存储设备识别号、起始地址和结束地址,格式为:node:device:begin:end。通过这样的转换,新存储***获得存储介质上所有文件的新的数据描述信息,进一步可以据此实现对存储介质的接管。
请参阅图4,图4示出了一个实施例中数据迁移***的框架示意图,该实施例中,数据迁移***包括部署模块401、信息读取模块402、信息导入模块403、信息重构模块404、校验码生成模块405、数据服务模块406,其中:
部署模块401:用于在所述原有存储***上部署新的存储***;
信息读取模块402:用于从所述原有存储***读出原有文件描述信息;
信息导入模块403:用于将所述原有文件描述信息导入所述新存储***;
信息重构模块404:用于根据导入的原有文件描述信息,重新构建新的数据描述信息;
校验码生成模块405:用于根据纠删码数据块生成校验数据,或者根据所述原有存储***生成校验数据;
数据服务模块406:用于对外提供数据服务;
需要说明的是,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成,所述计算机程序可以存储于计算机可读存储介质中,所述存储介质可以包括但不限于:只读存储器(ROM,Read OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种迁移存储***的方法,其特征在于,所述方法具体包括以下实现步骤:
S1:在原有存储***上部署一套新存储***;
S2:通过所述新存储***从所述原有存储***读出原有文件描述信息;
S3:将所述原有文件描述信息导入所述新存储***;
S4:通过所述新存储***根据导入的原有文件描述信息,重新构建新的数据描述信息;
S5:将所述新存储***上线,以对外提供数据服务。
2.如权利要求1所述的一种迁移存储***的方法,其特征在于,所述的原有文件描述信息包括文件在实际物理存储介质的起始地址和结束地址。
3.如权利要求1所述的一种迁移存储***的方法,其特征在于,所述的新的数据描述信息包括节点识别号、存储设备识别号、起始地址和结束地址。
4.如权利要求1所述的一种迁移存储***的方法,其特征在于,还包括将原有存储***中非纠删码数据块迁移为纠删码数据块。
5.如权利要求4所述的一种迁移存储***的方法,其特征在于,还包括根据所述纠删码数据块生成校验数据。
6.如权利要求1所述的一种迁移存储***的方法,其特征在于,还包括根据所述原有存储***生成校验数据。
7.一种迁移存储***的***,其特征在于,包括:
部署模块:用于在所述原有存储***上部署新的存储***;
信息读取模块:用于从所述原有存储***读出原有文件描述信息;
信息导入模块:用于将所述原有文件描述信息导入所述新存储***;
信息重构模块:用于根据导入的原有文件描述信息,重新构建新的数据描述信息;
数据服务模块:用于对外提供数据服务。
8.如权利要求7所述的***,其特征在于,还包括:
数据格式转换模块:用于将原有存储***中非纠删码数据描述信息转换为纠删码数据描述信息。
9.如权利要求7所述的***,其特征在于,还包括:
校验码生成模块:用于根据纠删码数据块生成校验数据,或者根据所述原有存储***生成校验数据。
10.一种电子设备,其特征在于,所述设备包括处理器以及存储器,其中:
所述存储器用于存储可执行程序;
所述处理器用于执行所述可执行程序以实现权利要求1-6所述的任意一种迁移存储***的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011507409.4A CN112558881A (zh) | 2020-12-18 | 2020-12-18 | 一种迁移存储***的方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011507409.4A CN112558881A (zh) | 2020-12-18 | 2020-12-18 | 一种迁移存储***的方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112558881A true CN112558881A (zh) | 2021-03-26 |
Family
ID=75031703
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011507409.4A Pending CN112558881A (zh) | 2020-12-18 | 2020-12-18 | 一种迁移存储***的方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112558881A (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102340530A (zh) * | 2010-07-26 | 2012-02-01 | 杭州信核数据科技有限公司 | 一种存储空间接管和数据迁移的方法和*** |
US8719534B1 (en) * | 2012-03-21 | 2014-05-06 | Netapp, Inc. | Method and system for generating a migration plan |
CN104932986A (zh) * | 2014-03-19 | 2015-09-23 | ***通信集团公司 | 一种数据重分布方法及装置 |
CN105549904A (zh) * | 2015-12-08 | 2016-05-04 | 华为技术有限公司 | 一种应用于存储***中的数据迁移方法及存储设备 |
CN106953893A (zh) * | 2017-02-15 | 2017-07-14 | 北京百度网讯科技有限公司 | 云存储***间的数据迁移 |
CN107704206A (zh) * | 2017-10-09 | 2018-02-16 | 郑州云海信息技术有限公司 | 在线迁移异构***数据的方法、装置、设备和存储介质 |
CN107766374A (zh) * | 2016-08-19 | 2018-03-06 | 上海凯翔信息科技有限公司 | 一种海量小文件存储读取的优化方法和*** |
CN109901786A (zh) * | 2017-12-08 | 2019-06-18 | 腾讯科技(深圳)有限公司 | 数据迁移方法、***、装置及计算机可读存储介质 |
CN110990189A (zh) * | 2019-11-29 | 2020-04-10 | 北京金山云网络技术有限公司 | 数据存储方法、装置、电子设备及计算机可读存储介质 |
CN111078121A (zh) * | 2018-10-18 | 2020-04-28 | 深信服科技股份有限公司 | 一种分布式存储***数据迁移方法、***、及相关组件 |
CN111273870A (zh) * | 2020-01-20 | 2020-06-12 | 深圳奥思数据科技有限公司 | 云存储***间海量数据迭代迁移方法、设备及存储介质 |
-
2020
- 2020-12-18 CN CN202011507409.4A patent/CN112558881A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102340530A (zh) * | 2010-07-26 | 2012-02-01 | 杭州信核数据科技有限公司 | 一种存储空间接管和数据迁移的方法和*** |
US8719534B1 (en) * | 2012-03-21 | 2014-05-06 | Netapp, Inc. | Method and system for generating a migration plan |
CN104932986A (zh) * | 2014-03-19 | 2015-09-23 | ***通信集团公司 | 一种数据重分布方法及装置 |
CN105549904A (zh) * | 2015-12-08 | 2016-05-04 | 华为技术有限公司 | 一种应用于存储***中的数据迁移方法及存储设备 |
CN107766374A (zh) * | 2016-08-19 | 2018-03-06 | 上海凯翔信息科技有限公司 | 一种海量小文件存储读取的优化方法和*** |
CN106953893A (zh) * | 2017-02-15 | 2017-07-14 | 北京百度网讯科技有限公司 | 云存储***间的数据迁移 |
CN107704206A (zh) * | 2017-10-09 | 2018-02-16 | 郑州云海信息技术有限公司 | 在线迁移异构***数据的方法、装置、设备和存储介质 |
CN109901786A (zh) * | 2017-12-08 | 2019-06-18 | 腾讯科技(深圳)有限公司 | 数据迁移方法、***、装置及计算机可读存储介质 |
CN111078121A (zh) * | 2018-10-18 | 2020-04-28 | 深信服科技股份有限公司 | 一种分布式存储***数据迁移方法、***、及相关组件 |
CN110990189A (zh) * | 2019-11-29 | 2020-04-10 | 北京金山云网络技术有限公司 | 数据存储方法、装置、电子设备及计算机可读存储介质 |
CN111273870A (zh) * | 2020-01-20 | 2020-06-12 | 深圳奥思数据科技有限公司 | 云存储***间海量数据迭代迁移方法、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180285376A1 (en) | Method and apparatus for operating on file | |
US20060161583A1 (en) | Method, system and program product for interning invariant data objects in dynamic space constrained systems | |
CN110018878B (zh) | 一种分布式***数据加载方法以及装置 | |
CN110888843A (zh) | 一种跨主机的稀疏文件拷贝方法、装置、设备及存储介质 | |
CN105701854B (zh) | 一种3d渲染方法、装置及引擎 | |
CN111666088A (zh) | Pod的更替方法、装置、电子设备及计算机可读存储介质 | |
CN103685408A (zh) | 以存储区域网络提供读取基础镜像的服务器、主机及方法 | |
JP6193406B2 (ja) | 差分符号化のためのシリアライゼーション | |
JP5556025B2 (ja) | ストレージシステム | |
CN113051102A (zh) | 文件备份方法、装置、***、存储介质和计算机设备 | |
CN112558881A (zh) | 一种迁移存储***的方法及*** | |
CN113835625B (zh) | 一种基于子路径的数据存储方法、装置、设备及存储介质 | |
CN115757213A (zh) | 芯片电路、处理器的启动方法及服务器 | |
CN115586872A (zh) | 一种容器镜像管理方法、装置、设备及存储介质 | |
CN115714706A (zh) | 基于内嵌h5的访问加速***、方法、存储介质及电子设备 | |
CN110287004B (zh) | 基于docker容器技术的基础环境镜像预热方法及装置 | |
CN110837442B (zh) | 基于脏数据位图和网络块设备的kvm虚拟机备份*** | |
CN110597759B (zh) | LayaIDE中图集资源优化的方法、存储介质 | |
CN109542531A (zh) | 一种文件布局调整方法及装置 | |
CN112579117A (zh) | 数据升级方法及装置 | |
JP2020119343A (ja) | 情報処理システム、方法、および情報処理装置 | |
CN111045748B (zh) | 快速读取配置文件的方法及***、服务器及介质 | |
CN113553329B (zh) | 数据集成***和方法 | |
CN116760913B (zh) | k8s集群协议转换平台配置下发方法及*** | |
US20230350593A1 (en) | Method, system, and circuit for deploying file system on embedded memory in programmable computing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |