CN103067525B - 一种基于特征码的云存储数据备份方法 - Google Patents

一种基于特征码的云存储数据备份方法 Download PDF

Info

Publication number
CN103067525B
CN103067525B CN201310020907.XA CN201310020907A CN103067525B CN 103067525 B CN103067525 B CN 103067525B CN 201310020907 A CN201310020907 A CN 201310020907A CN 103067525 B CN103067525 B CN 103067525B
Authority
CN
China
Prior art keywords
memory node
condition code
district
file block
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310020907.XA
Other languages
English (en)
Other versions
CN103067525A (zh
Inventor
凌捷
柳毅
钱进进
毛宇
余琦
郭圣昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201310020907.XA priority Critical patent/CN103067525B/zh
Publication of CN103067525A publication Critical patent/CN103067525A/zh
Application granted granted Critical
Publication of CN103067525B publication Critical patent/CN103067525B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于特征码的云存储数据备份方法，通过发送上传文件的请求,并监听每个存储区的可用存储节点，生成索引表并反馈，对文件进行切分，进而得到多个文件分块，对多个文件分块进行特征码的分配，对对应存储区的存储节点和备份存储区的存储节点进行特征码的分配，将文件分别上传至对应存储区的存储节点和备份存储区的存储节点，进而进行存储。本发明一种基于特征码的云存储数据备份方法采用异存储区域备份，每个备份都存储在不同的存储区，从而提高了云存储数据的可靠性，而且通过特征码的方式有效降低查找存储节点的时间开销，提高***效率以及降低服务器的负荷。本发明作为一种基于特征码的云存储数据备份方法应用于云存储***中。

Description

一种基于特征码的云存储数据备份方法
技术领域
本发明涉及云存储领域，尤其涉及一种基于特征码的云存储数据备份方法。
背景技术
随着计算机技术的不断发展和信息化程度的不断提高，人们对信息的依赖程度越来越高。信息在IT环境中的高度集中存储，很大程度上提高了信息和数据管理的自动化，提高了运营效率，降低了成本。云存储是在云计算概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件***等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个***。当云计算***运算和处理的核心是大量数据的存储和管理时，云计算***中就需要配置大量的存储设备，那么云计算***就转变成为一个云存储***，所以云存储是一个以数据存储和管理为核心的云计算***。
目前云存储***都是通过取模或哈希再散列的方式分配存储节点的，这样能实现服务器的复杂均衡，但是每一个分块的存储节点都需要主服务器进行计算再分配，这样会大大地增加了主服务器CPU的负荷，降低了***的效率。传统的备份方法是将每个子块分配到一个节点上，该节点把此子块发送给其他所有的节点，这样明显地增加了服务器的负荷，而且会导致大量的冗余数据的存在。
发明内容
为了解决上述技术问题，本发明的目的是提供一种能提高***效率，减少***负荷的一种基于特征码的云存储数据备份方法。
本发明所采用的技术方案是：
一种基于特征码的云存储数据备份方法，包括以下步骤：
A、发送上传文件的请求,并监听每个存储区的可用存储节点，生成索引表并反馈；
B、对文件进行切分，进而得到多个文件分块，对多个文件分块进行特征码的分配；
C、对对应存储区的存储节点和备份存储区的存储节点进行特征码的分配；
D、根据文件分块特征码信息以及相应存储节点的特征码信息，将文件分别上传至对应存储区的存储节点和备份存储区的存储节点，进而进行存储。
作为所述的一种基于特征码的云存储数据备份方法的进一步改进，所述的步骤B包括：
B1、主服务器根据预设的文件分块大小对文件进行切分，得到多个文件分块；
B2、主服务器根据文件分块的顺序，对得到的多个文件分块依次编号；
B3、主服务器根据文件编号信息和文件分块编号信息，对多个文件分块进行特征码的分配。
作为所述的一种基于特征码的云存储数据备份方法的进一步改进，所述的步骤C包括：
C1、主服务器获取对应存储区和备份存储区的编号；
C2、主服务器根据反馈的索引表，查询得出与文件分块相应的对应存储区的存储节点和备份存储区的存储节点；
C3、主服务器根据对应存储区的编号信息、备份存储区的编号信息以及文件分块特征码信息，对对应存储区的存储节点和备份存储区的存储节点进行特征码的分配。
作为所述的一种基于特征码的云存储数据备份方法的进一步改进，所述的步骤D包括：
D1、主服务器将文件分块特征码信息、对应存储区的存储节点特征码信息和备份存储区的存储节点特征码信息返回给客户端；
D2、客户端根据返回的文件分块特征码信息、对应存储区的存储节点特征码信息和备份存储区的存储节点特征码信息，将文件分块并行上传到其相应对应存储区的存储节点和备份存储区的存储节点。
作为所述的一种基于特征码的云存储数据备份方法的进一步改进，所述的文件分块特征码信息包括文件编号信息和文件分块编号信息。
作为所述的一种基于特征码的云存储数据备份方法的进一步改进，所述的文件编号信息包括用户所在区的编号信息、用户编号信息和文件编号。
作为所述的一种基于特征码的云存储数据备份方法的进一步改进，所述存储节点的特征码信息包括存储节点所在存储区的编号信息和存储节点的编号信息。
本发明的有益效果是：
本发明一种基于特征码的云存储数据备份方法，通过发送上传文件的请求,并监听每个存储区的可用存储节点，生成索引表并反馈，对文件进行切分，进而得到多个文件分块，对多个文件分块进行特征码的分配，对对应存储区的存储节点和备份存储区的存储节点进行特征码的分配，根据文件分块特征码信息以及相应存储节点的特征码信息，将文件分别上传至对应存储区的存储节点和备份存储区的存储节点，进而进行存储。本发明一种基于特征码的云存储数据备份方法采用异存储区域备份，每个备份都存储在不同的存储区，即使其中几个存储区的所有服务器都出现故障的情况，文件块在***正常工作的存储区都存储有备份，从而提高了云存储数据的可靠性和可用性，而且通过特征码的方式能够有效降低查找存储节点的时间开销，提高***的效率以及降低服务器的负荷。
附图说明
下面结合附图对本发明的具体实施方式作进一步说明：
图1是本发明一种基于特征码的云存储数据备份方法的步骤流程图；
图2是本发明一种基于特征码的云存储数据备份方法步骤B实施例一的步骤流程图；
图3是本发明一种基于特征码的云存储数据备份方法步骤C实施例二的步骤流程图；
图4是本发明一种基于特征码的云存储数据备份方法步骤D实施例三的步骤流程图。
具体实施方式
图1是本发明一种基于特征码的云存储数据备份方法的步骤流程图，结合图1，本发明作为一种基于特征码的云存储数据备份方法，包括以下步骤：
A、发送上传文件的请求,并监听每个存储区的可用存储节点，生成索引表并反馈；
B、对文件进行切分，进而得到多个文件分块，对多个文件分块进行特征码的分配；
C、对对应存储区的存储节点和备份存储区的存储节点进行特征码的分配；
D、根据文件分块特征码信息以及相应存储节点的特征码信息，将文件分别上传至对应存储区的存储节点和备份存储区的存储节点，进而进行存储。
图2是本发明一种基于特征码的云存储数据备份方法步骤C实施例一的步骤流程图，所述的步骤B包括：
B1、主服务器根据预设的文件分块大小对文件进行切分，得到多个文件分块；
B2、主服务器根据文件分块的顺序，对得到的多个文件分块依次编号；
B3、主服务器根据文件编号信息和文件分块编号信息，对多个文件分块进行特征码的分配。
图3是本发明一种基于特征码的云存储数据备份方法步骤D实施例二的步骤流程图，所述的步骤C包括：
C1、主服务器获取对应存储区和备份存储区的编号；
C2、主服务器根据反馈的索引表，查询得出与文件分块相应的对应存储区的存储节点和备份存储区的存储节点；
C3、主服务器根据对应存储区的编号信息、备份存储区的编号信息以及文件分块特征码信息，对对应存储区的存储节点和备份存储区的存储节点进行特征码的分配。
图4是本发明一种基于特征码的云存储数据备份方法步骤E实施例三的步骤流程图，所述的步骤D包括：
D1、主服务器将文件分块特征码信息、对应存储区的存储节点特征码信息和备份存储区的存储节点特征码信息返回给客户端；
D2、客户端根据返回的文件分块特征码信息、对应存储区的存储节点特征码信息和备份存储区的存储节点特征码信息，将文件分块并行上传到其相应对应存储区的存储节点和备份存储区的存储节点。
本发明的具体工作流程：
客户端发送请求要上传文件到云端，监听服务器节点会监听每个存储区的可用存储节点，生成一张索引表并反馈给主服务器节点，副本数可以任意设定，这里选择副本数为3，分别选取三个存储区，需要在每个存储区存储一份，当i区的第j个用户（用户编号为i_j）要上传一个文件时，i区的可用存储服务器节点数为n，设该区的所有存储节点都是可用的，则此存储区的存储服务器节点的编号从i_1到i_n，假设i区的第j个用户（编号为i_j）的第k+1个文件（编号为i_j_k）的切分为p块,则此文件的每个分块的编号依次为i_j_k_0、i_j_k_1…..i_j_k_p-1，则此文件第一块存储在节点编号为i_(jmodn)的节点上，第二块存储在节点编号为i_(j+1)modn的节点上，第p块则存储在节点编号为i_[((p+j-2)modn)+1]的节点编号上,再根据文件块信息和索引表选取三个区的特征码，分别为((i–1)modn)+1,(imodn)+1,((i+1)modn)+1,最后根据文件块特征码和索引表中对应区的可用存储节点特征码选取文件块对应的存储节点。这里假设此三个区的所有存储节点都是可用的，且可用存储节点数分别为m((i–1)modn)+1,m(imodn)+1,m((i+1)modn)+1，则((i–1)modn)+1区第p块存储在节点特征码为((i–1)modn)+1_[(p+j-2)modm((i-1)modn)+1+1]的存储节点上，(imodn)+1区第p块存储在节点特征码为(imodn)+1_[(p+j-2)modm(imodn)+1+1]的存储节点上，((i+1)modn)+1区第p块存储在节点特征码为((i+1)modn)+1_[(p+j-2)modm((i+1)modn)+1+1]的存储节点上，每个备份只需要找到第一个和最后一个文件块的存储节点，再把三个区的相应存储节点地址返回给客户端，并将相关信息写入数据库。客户端收到返回信息后，将文件分块并行上传到对应的存储节点，由于每个区都存有一个副本，每个块要传到三个存储区的相应存储节点，若三个存储区中有失效节点时，根据反馈的索引表，每个区中的存储节点都对应一个特征码，数据的每个分块也都对应一个特征码，根据分片的特征码的最后一位数的大小依次存储在可用节点上。当用户下载文件时，发送请求给主服务器，主服务器根据监控节点服务器反馈回来的索引表和数据库表中的文件信息，首先选取本区的可用存储节点，若本区中有失效节点并且此文件的文件块存储在此节点上，根据此文件块特征码，找出其他两个存储区的此文件块的可用存储节点，并发送信息给存储节点服务器，不同存储区的存储节点服务器并行工作，这样实现了存储服务器的负载均衡，提高了数据可用性与传输效率。
从上述内容可以看出：
本发明一种基于特征码的云存储数据备份方法，通过发送上传文件的请求,并监听每个存储区的可用存储节点，生成索引表并反馈，对文件进行切分，进而得到多个文件分块，对多个文件分块进行特征码的分配，对对应存储区的存储节点和备份存储区的存储节点进行特征码的分配，根据文件分块特征码信息以及相应存储节点的特征码信息，将文件分别上传至对应存储区的存储节点和备份存储区的存储节点，进而进行存储。本发明一种基于特征码的云存储数据备份方法采用异存储区域备份，每个备份都存储在不同的存储区，即使其中几个存储区的所有服务器都出现故障的情况，文件块在***正常工作的存储区都存储有备份，从而提高了云存储数据的可靠性和可用性，而且通过特征码的方式能够有效降低查找存储节点的时间开销，提高***的效率以及降低服务器的负荷。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (6)

1.一种基于特征码的云存储数据备份方法，其特征在于，包括以下步骤：
A、发送上传文件的请求,并监听每个存储区的可用存储节点，生成索引表并反馈；
B、对文件进行切分，进而得到多个文件分块，对多个文件分块进行特征码的分配；
C、对对应存储区的存储节点和备份存储区的存储节点进行特征码的分配；
D、根据文件分块特征码信息以及相应存储节点的特征码信息，将文件分别上传至对应存储区的存储节点和备份存储区的存储节点，进而进行存储；
所述的步骤D包括：
D1、主服务器将文件分块特征码信息、对应存储区的存储节点特征码信息和备份存储区的存储节点特征码信息返回给客户端；
D2、客户端根据返回的文件分块特征码信息、对应存储区的存储节点特征码信息和备份存储区的存储节点特征码信息，将文件分块并行上传到其相应对应存储区的存储节点和备份存储区的存储节点。
2.根据权利要求1所述的一种基于特征码的云存储数据备份方法，其特征在于：所述的步骤B包括：
B1、主服务器根据预设的文件分块大小对文件进行切分，得到多个文件分块；
B2、主服务器根据文件分块的顺序，对得到的多个文件分块依次编号；
B3、主服务器根据文件编号信息和文件分块编号信息，对多个文件分块进行特征码的分配。
3.根据权利要求1所述的一种基于特征码的云存储数据备份方法，其特征在于：所述的步骤C包括：
C1、主服务器获取对应存储区和备份存储区的编号；
C2、主服务器根据反馈的索引表，查询得出与文件分块相应的对应存储区的存储节点和备份存储区的存储节点；
C3、主服务器根据对应存储区的编号信息、备份存储区的编号信息以及文件分块特征码信息，对对应存储区的存储节点和备份存储区的存储节点进行特征码的分配。
4.根据权利要求1所述的一种基于特征码的云存储数据备份方法，其特征在于：所述文件分块特征码信息包括文件编号信息和文件分块编号信息。
5.根据权利要求4所述的一种基于特征码的云存储数据备份方法，其特征在于：所述的文件编号信息包括用户所在区的编号信息、用户编号信息和文件编号。
6.根据权利要求1所述的一种基于特征码的云存储数据备份方法，其特征在于：所述存储节点的特征码信息包括存储节点所在存储区的编号信息和存储节点的编号信息。
CN201310020907.XA 2013-01-18 2013-01-18 一种基于特征码的云存储数据备份方法 Expired - Fee Related CN103067525B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310020907.XA CN103067525B (zh) 2013-01-18 2013-01-18 一种基于特征码的云存储数据备份方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310020907.XA CN103067525B (zh) 2013-01-18 2013-01-18 一种基于特征码的云存储数据备份方法

Publications (2)

Publication Number Publication Date
CN103067525A CN103067525A (zh) 2013-04-24
CN103067525B true CN103067525B (zh) 2015-11-25

Family

ID=48109979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310020907.XA Expired - Fee Related CN103067525B (zh) 2013-01-18 2013-01-18 一种基于特征码的云存储数据备份方法

Country Status (1)

Country Link
CN (1) CN103067525B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103442090B (zh) * 2013-09-16 2016-08-17 苏州市职业大学 一种数据分散存储的云计算***
CN104572344B (zh) * 2013-10-29 2018-10-30 杭州海康威视***技术有限公司 一种多云间数据备份的方法和***
CN103902410B (zh) * 2014-03-28 2016-10-05 西北工业大学 云存储***的数据备份加速方法
CN103973810B (zh) * 2014-05-22 2018-01-16 华为技术有限公司 基于互联网协议ip盘的数据处理方法和装置
CN105450542B (zh) * 2014-08-21 2019-08-27 联想(北京)有限公司 一种数据处理方法及第一电子设备
CN104317676A (zh) * 2014-11-21 2015-01-28 四川智诚天逸科技有限公司 一种数据备份容灾方法
CN105159919A (zh) * 2015-07-24 2015-12-16 福建师范大学 一种数据多副本关联的方法及***
CN105227637B (zh) * 2015-09-06 2019-10-18 浙江宇视科技有限公司 一种提高云存储资源修复效率的方法和装置
CN106776727A (zh) * 2016-11-16 2017-05-31 郑州云海信息技术有限公司 基于wfs网络文件存储***的wap端访问方法及***
CN108241553B (zh) * 2016-12-23 2022-04-08 中科星图股份有限公司 一种数据备份控制方法
CN109309694A (zh) * 2017-07-27 2019-02-05 杭州海康威视数字技术股份有限公司 一种数据存储的方法和***
CN107197055A (zh) * 2017-08-01 2017-09-22 成都鼎智汇科技有限公司 一种在云端实现存储资源分配的装置
CN112422630A (zh) * 2017-09-28 2021-02-26 华为技术有限公司 云存储***和云存储***中的对象处理方法
CN112702167B (zh) * 2020-12-14 2022-11-11 苏州浪潮智能科技有限公司 一种集群特征码获得方法、装置及电子设备
CN112968940A (zh) * 2021-01-30 2021-06-15 银盛通信有限公司 一种基于分区认证技术的互联网交易数据储存方法
CN113836018B (zh) * 2021-09-24 2024-04-09 中国建设银行股份有限公司 一种测试环境配置参数的备份方法及相关装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477486A (zh) * 2009-01-22 2009-07-08 中国人民解放军国防科学技术大学 一种基于扇区重组的文件备份恢复方法
CN101645888A (zh) * 2009-06-02 2010-02-10 中国科学院声学研究所 一种基于访问频度变长逻辑分段的数据分发方法
CN102169507A (zh) * 2011-05-26 2011-08-31 厦门雅迅网络股份有限公司 一种分布式实时搜索引擎
CN102387179A (zh) * 2010-09-02 2012-03-21 联想(北京)有限公司 分布式文件***及其结点、存储方法和存储控制方法
CN102779185A (zh) * 2012-06-29 2012-11-14 浙江大学 一种高可用分布式全文索引方法
CN102833298A (zh) * 2011-06-17 2012-12-19 英业达集团(天津)电子技术有限公司 分布式的重复数据删除***及其处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477486A (zh) * 2009-01-22 2009-07-08 中国人民解放军国防科学技术大学 一种基于扇区重组的文件备份恢复方法
CN101645888A (zh) * 2009-06-02 2010-02-10 中国科学院声学研究所 一种基于访问频度变长逻辑分段的数据分发方法
CN102387179A (zh) * 2010-09-02 2012-03-21 联想(北京)有限公司 分布式文件***及其结点、存储方法和存储控制方法
CN102169507A (zh) * 2011-05-26 2011-08-31 厦门雅迅网络股份有限公司 一种分布式实时搜索引擎
CN102833298A (zh) * 2011-06-17 2012-12-19 英业达集团(天津)电子技术有限公司 分布式的重复数据删除***及其处理方法
CN102779185A (zh) * 2012-06-29 2012-11-14 浙江大学 一种高可用分布式全文索引方法

Also Published As

Publication number Publication date
CN103067525A (zh) 2013-04-24

Similar Documents

Publication Publication Date Title
CN103067525B (zh) 一种基于特征码的云存储数据备份方法
EP3223165B1 (en) File processing method, system and server-clustered system for cloud storage
CN103067461B (zh) 一种文件的元数据管理***以及元数据管理方法
US10275184B2 (en) Framework for volatile memory query execution in a multi node cluster
US10558565B2 (en) Garbage collection implementing erasure coding
CN101334797B (zh) 一种分布式文件***及其数据块一致性管理的方法
KR101885688B1 (ko) 낮은 지연속도 데이터 액세스를 위한 데이터 스트림의 분할
KR100985443B1 (ko) 시퀀스 관리 장치, 데이터 백업 방법, 데이터 백업 클라이언트, 데이터 백업 시스템, 프로그램가능 하드웨어 장치 및 데이터 백업 장치
CN103810061B (zh) 一种高可用云存储方法
CN105025053A (zh) 基于云存储技术的分布式文件的上传方法及其***
CN103455631A (zh) 一种数据处理方法、装置及***
CN105117171A (zh) 一种能源scada海量数据分布式处理***及其方法
CN103890738A (zh) 用于保留克隆分离操作之后的存储对象中的消重的***和方法
CN104679896A (zh) 一种大数据环境下的智能检索方法
CN105468660A (zh) 分布式文件***的读方法、客户端设备及分布式文件***
CN103716384A (zh) 跨数据中心实现云存储数据同步的方法和装置
US20130226867A1 (en) Apparatus and method for converting replication-based file into parity-based file in asymmetric clustering file system
EP3635529B1 (en) Deduplicating distributed erasure coded objects
CN111552730A (zh) 数据分发方法、装置、电子设备、存储介质
CN111212138B (zh) 一种跨站点存储***及数据信息访问方法
CN113992648A (zh) 一种基于容器编排技术的路况实时发布方法及装置
CN112131229A (zh) 基于区块链的分布式数据存取方法、装置及存储节点
CN112148797A (zh) 基于区块链的分布式数据存取方法、装置及存储节点
US20210185123A1 (en) Distributed information storage system, methods and programs
WO2011136261A1 (ja) ストレージシステム、ストレージシステムの制御方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

CF01 Termination of patent right due to non-payment of annual fee