CN109254956B - 一种数据下载的方法、装置及电子设备 - Google Patents
一种数据下载的方法、装置及电子设备 Download PDFInfo
- Publication number
- CN109254956B CN109254956B CN201810844119.5A CN201810844119A CN109254956B CN 109254956 B CN109254956 B CN 109254956B CN 201810844119 A CN201810844119 A CN 201810844119A CN 109254956 B CN109254956 B CN 109254956B
- Authority
- CN
- China
- Prior art keywords
- file
- shared
- storage
- network storage
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012937 correction Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 2
- 238000013500 data storage Methods 0.000 abstract description 27
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioethics (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例涉及网络存储设备技术领域,公开了一种数据存储的方法、数据下载的方法、装置及电子设备。通过与至少一个其它网络存储设备组建共享存储群组,共享存储群组内所有网络存储设备均设置共享空间;接收存储请求,存储请求携带有待存储文件;将待存储文件存储于网络存储设备;将待存储文件的副本存储至共享存储群组中的其它网络存储设备的共享空间;接收文件读取请求;识别网络存储设备中是否存在与文件读取请求相匹配的待读文件;若存在,则判断待读文件是否已失效;若未失效,则直接从网络存储设备读取待读文件;若已失效,从共享存储群组的其它网络存储设备读取待读文件的副本。本发明降低了存储成本,提高了数据存储的安全性。
Description
技术领域
本发明实施例涉及网络存储设备技术领域,尤其涉及一种数据存储的方法、数据下载的方法、装置及电子设备。
背景技术
云存储是指通过集群应用、网络技术或分布式文件***等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的***。
而云存储通常分为公有云和私有云,私有云是指某一组织或者个人独占的网络存储设备,私有云存储可应用在一个区域、一个企业,甚至是一个家庭内部,比如,家庭NAS(Network Attached Storage,网络附属存储)产品,家庭内每个用户独立配置网络存储设备,每个用户只可以访问自己网络存储设备。
发明人在实现本发明的过程中,发现:在私有云中,每个用户都是独占自己的网络存储设备,当其网络存储设备的存储空间一旦出现损坏,因数据无备份,会导致数据永久丢失。
发明内容
本申请发明实施例提供一种提高数据存储的安全性的数据存储的方法、数据下载的方法、装置及电子设备。
本发明实施例公开了如下技术方案:
第一方面,本发明实施例提供了一种数据存储的方法,应用于网络存储设备,所述方法包括:
与至少一个其它网络存储设备组建共享存储群组,所述共享存储群组内所有网络存储设备均设置共享空间;
接收存储请求,所述存储请求携带有待存储文件;
将所述待存储文件存储于所述网络存储设备;
将所述待存储文件的副本存储至所述共享存储群组中的其它网络存储设备的共享空间。
可选地,所述将所述待存储文件的副本存储至所述共享存储群组中的其它网络存储设备的共享空间包括:
根据预设纠删算法,将所述待存储文件的副本分割成若干个数据块;
将所述若干个数据块分别存储至所述共享存储群组中的其它不同网络存储设备的共享空间中。
可选地,所述方法还包括:对所述数据块进行加密处理;
所述将所述若干个数据块分别存储至所述共享存储群组中的其它不同网络存储设备的共享空间中的步骤具体为:将所述若干个加密后的数据块分别存储至所述共享存储群组中的其它不同网络存储设备的共享空间中。
可选地,所述方法还包括:
当所述待存储文件的副本完成存储至所述共享存储群组中的其它网络存储设备的共享空间之后,在所述网络存储设备内将所述待存储文件标记为共享文件;
检测所述网络存储设备内的共享文件或者位于所述网络存储设备的共享空间内的文件是否已失效;
若已失效,向所述共享存储群组发送文件替换请求;
接收所述共享存储群组根据文件替换请求所返回的替换文件;
将所述替换文件替换失效的文件。
第二方面,本发明实施例提供了一种数据下载的方法,应用于网络存储设备,所述网络存储设备与至少一个其它网络存储设备组建共享存储群组,所述共享存储群组内所有网络存储设备均设置共享空间,所述方法包括:
接收文件读取请求;
识别所述网络存储设备中是否存在与所述文件读取请求相匹配的待读文件;
若存在,则判断所述待读文件是否已失效;
若未失效,则直接从所述网络存储设备读取所述待读文件;
若已失效,从所述共享存储群组的其它网络存储设备读取所述待读文件的副本。
可选地,所述从所述共享存储群组的其它网络存储设备读取所述待读文件的副本包括:
判断位于所述共享存储群组的所述待读文件是否已失效;
若已失效,则返回读取失效信息;
若未失效,则从所述共享存储群组提取所述待读文件,并且返回所述待读文件。
可选地,若所述待读文件的副本在所述共享存储群组的存储方式为分块存储;
从所述共享存储群组的其它网络存储设备读取所述待读文件的副本包括:
分别从所述共享存储群组中的其它网络存储设备中提取所述待读文件的数据块;
根据预设纠删算法,将提取的数据块整合形成完整的待存储文件的副本。
第三方面,本发明实施例提供了一种数据存储装置,应用于网络存储设备,所述装置包括:
组群单元,用于与至少一个其它网络存储设备组建共享存储群组,所述共享存储群组内所有网络存储设备均设置共享空间;
接收单元,用于接收存储请求,所述存储请求携带有待存储文件;
第一存储单元,用于将所述待存储文件存储于所述网络存储设备;
第二存储单元,用于将所述待存储文件的副本存储至所述共享存储群组中的其它网络存储设备的共享空间。
可选地,所述第二存储单元包括:
分割模块,用于根据预设纠删算法,将所述待存储文件的副本分割成若干个数据块;
共享存储模块,用于将所述若干个数据块分别存储至所述共享存储群组中的其它不同网络存储设备的共享空间中。
可选地,第二存储单元包括还包括:加密模块;
所述加密模块用于对所述数据块进行加密处理;
所述共享存储模块具体用于将所述若干个加密后的数据块分别存储至所述共享存储群组中的其它不同网络存储设备的共享空间中。
可选地,所述装置还包括:
标记单元,用于当所述待存储文件的副本完成存储至所述共享存储群组中的其它网络存储设备的共享空间之后,在所述网络存储设备内将所述待存储文件标记为共享文件;
检测单元,用于检测所述网络存储设备内的共享文件或者位于所述网络存储设备的共享空间内的文件是否已失效;
发送单元,用于若已失效,向所述共享存储群组发送文件替换请求;
第二接收单元,用于接收所述共享存储群组根据文件替换请求所返回的替换文件;
文件替换单元,用于将所述替换文件替换失效的文件。
第四方面,本发明实施例提供了一种数据下载的装置,应用于网络存储设备,所述网络存储设备与至少一个其它网络存储设备组建共享存储群组,所述共享存储群组内所有网络存储设备均设置共享空间,所述装置包括:
接收单元,用于接收文件读取请求;
识别单元,用于识别所述网络存储设备中是否存在与所述文件读取请求相匹配的待读文件;
判断单元,用于若存在,则判断所述待读文件是否已失效;
第一读取单元,用于若未失效,则直接从所述网络存储设备读取所述待读文件;
第二读取单元,用于若已失效,从所述共享存储群组的其它网络存储设备读取所述待读文件的副本。
可选地,所述第二读取单元具体用于:
判断位于所述共享存储群组的所述待读文件是否已失效;
若已失效,则返回读取失效信息;
若未失效,则从所述共享存储群组提取所述待读文件,并且返回所述待读文件。
可选地,若所述待读文件的副本在所述共享存储群组的存储方式为分块存储,所述第二读取单元具体用于:
分别从所述共享存储群组中的其它网络存储设备中提取所述待读文件的数据块;
根据预设纠删算法,将提取的数据块整合形成完整的待存储文件的副本。
第五方面,本发明实施例提供了一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的方法。
第六方面,本发明实施例提供了一种计算机程序产品,所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行上述的方法。
第七方面,本发明实施例还提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行上述的方法。
本发明的有益效果是:与现有技术相比较,本发明实施例提供了一种数据存储的方法,通过与至少一个其它网络存储设备组建共享存储群组,共享存储群组内所有网络存储设备均设置共享空间,当需要存储待存储文件时,除了将待存储文件存储于网络存储设备之外,还将待存储文件的副本存储至共享存储群组中的其它网络存储设备的共享空间,实现对待存储文件进行备份,当用户的网络存储设备的存储空间出现问题时,还可以从共享空间进行恢复,提高数据存储的安全性。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1为本发明实施例提供的一种共享存储群组的结构示意图;
图2为本发明实施例提供的一种数据存储的方法的流程示意图;
图3为本发明另一实施例提供的一种数据存储的方法的流程示意图;
图4为本发明实施例提供的一种数据下载的方法的流程示意图;
图5为本发明实施例提供的一种数据存储的装置的流程示意图;
图6是本发明实施例提供的一种数据下载的装置的流程示意图;
图7是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
请参阅图1,图1为本发明实施例提供的一种共享存储群组的结构示意图。如图1所示,所述共享存储群组100包括网络存储设备10和共享空间20,在所述共享存储群组100中至少包括两个所述网络存储设备10,所述共享空间20是在所述网络存储设备10内设置的,故所述共享空间20的数量与所述共享存储群组100中的所述网络存储设备10的数量一致。
可以理解,所述网络存储设备10指的是为一个用户独自占有的能够连接到网络的存储设备。在大数据的信息时代,各种信息都是以数据的形式进行存放的,随着个人的数据越来越多,用以存储的所述网络存储设备10也要求具有越来越大的存储容量,或者,个人的数据可以存放在多个所述网络存储设备10中。所述网络存储设备10与电子设备连接,电子设备可以向网络存储设备存储数据,也可以从网络存储设备读取数据,或者编辑所述网络存储设备10中的数据。比如,在家庭NAS 中,用户可以将所述网络存储设备10中的数据(比如照片、视频或文件等)通过云端的方式与家人实现数据共享。
网络存储设备10上的存储介质可以具体为U盘(USB闪存盘,USB flash disk)、SSD、emmc、EMCP、ufs、及SD卡、移动硬盘等设备。在一些实施例中,所述网络存储设备10上的存储介质包括存储控制器和存储器两部分,存储控制器和存储器之间电性连接。存储控制器的功能可具体由控制芯片实现,例如:单片机。存储器的功能可具体由存储芯片实现,存储芯片为flash芯片,flash类型的芯片可具体为NAND flash芯片等。
所述共享空间20是指所述网络存储设备10上开放给所述共享存储群组100中的其他网络存储设备10的存储空间。可以理解,所述共享空间20为所述网络存储设备10上的存储空间的一部分,用于存储所述共享存储群组100中的其他网络存储设备10的待存储文件的副本。即每一个所述网络存储设备10存储的是存储请求对应的待存储文件,待存储文件的副本(即文件备份)存储于所述共享存储群组100中的其它网络存储设备10的共享空间20。
在发明实施例中,所述共享存储群组100中的所有网络存储设备10 均开设有共享空间20,而且,所述共享存储群组100可以由一个用户进行创建,每一个用户具有各自的标识和网络接入鉴权(包括登录账号和密码等),相应的,每一个用户所拥有的网络存储设备10也具有相同的标识和网络接入鉴权。优选地,在用户邀请其他网络存储设备10加入所述共享存储群组100时,要求输入验证信息,便于其他网络存储设备10识别该用户的身份,其他网络存储设备10收到该用户的请求信息,所述请求信息包括该用户的用户信息和验证信息,点击确认,加入所述共享存储群组100。
可以理解,所述共享存储群组100中的任意一个网络存储设备10 对应的用户均可以邀请其他的网络存储设备10,为保证所述共享存储群组100中的每一个网络存储设备10对应的用户互相之间彼此认识,新邀请的网络存储设备10需要通过所述共享存储群组100中已有的所有网络存储设备10的对应的用户的验证后方可加入。在一些实施例中,网络存储设备10与用户经常使用的电子设备(比如手机)会进行关联,当新邀请的网络存储设备10超过预设的时间未接收到验证通过的回复时,通过短信或弹出窗口提醒所述共享存储群组100中所有的未进行验证的网络存储设备10对应的用户即时进行验证。若网络存储设备10与电子设备未进行关联,当再次使用所述网络存储设备10时,可以给与之相连的电子设备发送验证信息。当所述共享存储群组100中有至少一个用户选择拒绝该用户加入所述共享存储群组100的请求,为避免该用户误操作的可能性,***会再次下发验证请求给拒绝请求的用户,进行第二次确认,提高共享存储群组100的可靠性。
请参阅图2,图2为本发明实施例提供的一种数据存储的方法的流程示意图。如图2所示,所述数据存储的方法应用于网络存储设备,包括:
S11:与至少一个其它网络存储设备组建共享存储群组,所述共享存储群组内所有网络存储设备均设置共享空间。
网络存储设备是指某一用户或者某一组织独占的网络存储设备,在一些实施例中,某一用户或者某一组织独占网络存储设备的实现方式为:使某一用户或者某一组织可以注册成为该网络存储设备的用户,没有注册的用户不允许访问该网络存储设备。
可以理解的是:同一个网络存储设备可以创建或加入多个不同的共享存储群组,实现与不同网络存储设备进行共享存储。
S12:接收存储请求,所述存储请求携带有待存储文件。
在一些实施例中,所述存储请求携带有待存储文件的访问地址链接,可以减小存储请求的数据包大小,提升数据处理效率。需要说明的是,用户在存储个人数据前,可以为即将进行存储的数据选择存储方式,所述存储方式包括共享存储或非共享存储,当选择非共享存储时,用户的个人数据将全部存储于非共享空间中;当选择共享存储时,用户的个人数据可以存储在共享空间,也可以存储在非共享空间中。
S13:将所述待存储文件存储于所述网络存储设备。
可以理解,当选择非共享存储的存储方式时,所述待存储文件只能存储在所述网络存储设备中,不能将所述待存储文件存储于所述共享存储群组的其它网络存储设备。
S14:将所述待存储文件的副本存储至所述共享存储群组中的其它网络存储设备的共享空间。
所述共享存储群组中的每一个网络存储设备是平等的,不存在主次之分,所述待存储文件的副本可以随机地存储至所述共享存储群组中的其它网络存储设备的共享空间;还可以根据接收存储请求的网络存储设备与所述共享存储群组中的其它网络存储设备是否属于同一个局域网,优先将所述待存储文件的副本存储在同一个局域网的其它网络存储设备;当其它网络存储设备同属于同一个局域网时,可以根据与接收存储请求的网络存储设备的距离的远近,其它网络存储设备的共享空间的可用空间大小等进行存储,优先将所述待存储文件的副本存储在共享空间的可用空间较大的其它网络存储设备。
在一些实施例中,为了保证网络存储设备的存储私密性,网络存储设备除了设置共享空间之外,每一个所述网络存储设备还设置有非共享空间,当用户不想对数据进行共享存储时,可以直接将数据存储于非共享空间,并且不把该数据存储于共享空间,即为:不执行步骤S14,对于非共享空间内的数据,其它网络存储设备不能够访问,即是同一个群组的成员也不允许。
在一些实施例中,在存储副本时,也可以使用分块存储的方式,则步骤S14包括:根据预设纠删算法,将所述待存储文件的副本分割成若干个数据块;将所述若干个数据块分别存储至所述共享存储群组中的其它不同网络存储设备的共享空间中。
纠删码技术是存储领域常见的两种数据冗余技术之一,是一种前向错误纠正技术,主要应用在网络传输中避免包的丢失,存储***利用它来提高存储可靠性。纠删码技术主要是通过纠删码算法将原始的数据进行编码得到冗余,并将数据和冗余一并存储起来,以达到容错的目的。其基本思想是将n块原始的数据元素通过一定的计算,得到m块冗余元素(也称校验块)。对于这n+m块的元素,当小于m块的其中任意元素出错(包括原始数据和冗余数据)时,均可以通过对应的重构算法恢复出原来的n块数据。生成校验的过程被成为编码,恢复丢失数据块的过程被称为解码。磁盘利用率为n/(n+m)。基于纠删码的方法与多副本方法相比具有冗余度低、磁盘利用率高等优点。
或者,步骤S14包括根据预设纠删算法,将所述待存储文件的副本分割成若干个数据块;对所述数据块进行加密处理;将所述若干个加密后的数据块分别存储至所述共享存储群组中的其它不同网络存储设备的共享空间中。
由于网络存储设备是用户独立拥有的,对于用户本身不需要进行加密,而其它网络存储设备是由其它用户独立拥有的,当用户将数据存储于其它网络存储设备的共享空间时,需要进行加密处理,避免其它用户可以直接查看该用户的数据,提高私密性。
在本发明实施例中,通过与至少一个其它网络存储设备组建共享存储群组,共享存储群组内所有网络存储设备均设置共享空间,当需要存储待存储文件时,除了将待存储文件存储于网络存储设备之外,还将待存储文件的副本存储至共享存储群组中的其它网络存储设备的共享空间,实现对待存储文件进行备份,当用户的网络存储设备的存储空间出现问题时,还可以从共享空间进行恢复,提高数据存储的安全性。
请参阅图3,图3为本发明另一实施例提供的一种数据存储的方法的流程示意图,本实施例与上述实施例不同之处在于,所述方法还包括:
S15:在所述网络存储设备内将所述待存储文件标记为共享文件。
S16:检测所述网络存储设备内的共享文件或者位于所述网络存储设备的共享空间内的文件是否已失效。
S17:若已失效,向所述共享存储群组发送文件替换请求。
S18:接收所述共享存储群组根据文件替换请求所返回的替换文件。
S19:将所述替换文件替换失效的文件。
综上,在待存储文件存储于所述网络存储设备,所述待存储文件的副本存储至所述共享存储群组中的其它网络存储设备的共享空间之后,检测完成存储的待存储文件是否有效,并且及时将替换失效的文件替换,避免了由于网络中可能存在的原因造成待存储文件的失效,提高存储数据的准确性。
请参阅图4,图4为本发明实施例提供的一种数据下载的方法的流程示意图。所述数据下载的方法应用于网络存储设备,所述网络存储设备与至少一个其它网络存储设备组建共享存储群组,所述共享存储群组内所有网络存储设备均设置共享空间,所述数据下载的方法包括:
S21:接收文件读取请求。
通过操作***提供的接口从文件存储对象(包括网络存储设备和其他网络存储设备的存储空间)中读取文件,可以理解,文件读取请求的指令和程序等由操作***(用户进行相应的操作)产生,比如,双击目标文件夹等。
S22:识别所述网络存储设备中是否存在与所述文件读取请求相匹配的待读文件。
S23:若存在,则判断所述待读文件是否已失效。
若不存在与所述文件读取请求相匹配的待读文件,则无论所述网络存储设备还是所述共享存储群组的其它网络存储设备的共享空间中均不会存在所述待读文件。
S241:若未失效,则直接从所述网络存储设备读取所述待读文件。
在一些实施例中,本地读操作是由所述网络存储设备的高速缓存器驻留其中的处理器发起的。可以理解,用户处于私有云存储的网络中时,优先采用从所述网络存储设备读取所述待读文件,减少数据传输的带宽,提升数据下载的效率。
S242:若已失效,从所述共享存储群组的其它网络存储设备读取所述待读文件的副本。
若所述待读文件的副本在所述共享存储群组的存储方式为整个文件存储,步骤S242包括判断位于所述共享存储群组的所述待读文件是否已失效;若已失效,则返回读取失效信息;若未失效,则从所述共享存储群组提取所述待读文件,并且返回所述待读文件。
若所述待读文件的副本在所述共享存储群组的存储方式为分块存储,从所述共享存储群组的其它网络存储设备读取所述待读文件的副本包括:分别从所述共享存储群组中的其它网络存储设备中提取所述待读文件的数据块;根据预设纠删算法,将提取的数据块整合形成完整的待存储文件的副本。
可以理解,当所述待读文件的副本在所述共享存储群组的存储方式为分块存储时,省去了判断位于所述共享存储群组的所述待读文件是否已失效的步骤,由于采用了纠删算法,纵使所述共享存储群组中的多个节点失效,只要失效点的数量在允许的范围内,均还可以将数据复原,提升了数据在存储过程中的可靠性,比如,避免了数据由于网络因素造成丢失、错误或毁坏等。
请参阅图5,图5为本发明实施例提供的一种数据存储的装置的流程示意图。如图5所示,所述数据存储的装置300应用于网络存储设备,包括:
组群单元301,用于与至少一个其它网络存储设备组建共享存储群组,所述共享存储群组内所有网络存储设备均设置共享空间。
接收单元302,用于接收存储请求,所述存储请求携带有待存储文件。
第一存储单元303,用于将所述待存储文件存储于所述网络存储设备。
第二存储单元304,用于将所述待存储文件的副本存储至所述共享存储群组中的其它网络存储设备的共享空间。
所述第二存储单元304包括分割模块3041,用于根据预设纠删算法,将所述待存储文件的副本分割成若干个数据块;共享存储模块3042,用于将所述若干个数据块分别存储至所述共享存储群组中的其它不同网络存储设备的共享空间中。
在一些实施例中,所述第二存储单元304还包括加密模块3043,所述加密模块3043用于对所述数据块进行加密处理;所述共享存储模块 3042具体用于将所述若干个加密后的数据块分别存储至所述共享存储群组中的其它不同网络存储设备的共享空间中。
在一些实施例中,所述装置300还包括:
标记单元305,用于当所述待存储文件的副本完成存储至所述共享存储群组中的其它网络存储设备的共享空间之后,在所述网络存储设备内将所述待存储文件标记为共享文件。
检测单元306,用于检测所述网络存储设备内的共享文件或者位于所述网络存储设备的共享空间内的文件是否已失效。
发送单元307,用于若已失效,向所述共享存储群组发送文件替换请求。
第二接收单元308,用于接收所述共享存储群组根据文件替换请求所返回的替换文件。
文件替换单元309,用于将所述替换文件替换失效的文件。
由于数据存储的装置的构思与上述各个实施例所述的数据存储的方法的构思一样,在内容不互相冲突下,数据存储的装置的实施例可以引用上述各个实施例的内容,在此不赘述。
请参阅图6,图6是本发明实施例提供的一种数据下载的装置的流程示意图。如图6所示,所述数据下载的装置400应用于网络存储设备,所述网络存储设备与至少一个其它网络存储设备组建共享存储群组,所述共享存储群组内所有网络存储设备均设置共享空间,所述装置400包括:
接收单元401,用于接收文件读取请求。
识别单元402,用于识别所述网络存储设备中是否存在与所述文件读取请求相匹配的待读文件。
判断单元403,用于若存在,则判断所述待读文件是否已失效。
第一读取单元404,用于若未失效,则直接从所述网络存储设备读取所述待读文件。
第二读取单元405,用于若已失效,从所述共享存储群组的其它网络存储设备读取所述待读文件的副本。
若所述待读文件的副本在所述共享存储群组的存储方式为整个文件存储,所述第二读取单元405具体用于:判断位于所述共享存储群组的所述待读文件是否已失效;若已失效,则返回读取失效信息;若未失效,则从所述共享存储群组提取所述待读文件,并且返回所述待读文件。
若所述待读文件的副本在所述共享存储群组的存储方式为分块存储,所述第二读取单元405具体用于:分别从所述共享存储群组中的其它网络存储设备中提取所述待读文件的数据块;根据预设纠删算法,将提取的数据块整合形成完整的待存储文件的副本。
由于数据下载的装置的构思与上述各个实施例所述的数据下载的方法的构思一样,在内容不互相冲突下,数据下载的装置的实施例可以引用上述各个实施例的内容,在此不赘述。
如图7所示,图7为本发明实施例提供的一种电子设备的结构示意图。其中,电子设备600可以为独立的电子设备,也可以整合成网络存储设备的存储控制器中的模块或单元。所述电子设备600包括:一个或多个处理器601以及存储器602,图7中以一个处理器601为例。
处理器601和存储器602可以通过总线或者其他方式连接,图7中以通过总线连接为例。
存储器602作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本发明实施例中的数据存储的方法和数据下载的方法对应的程序指令/模块(例如,附图6所示的接收单元401、识别单元402、判断单元403、第一读取单元404、第二读取单元405等等)。处理器601通过运行存储在存储器 602中的非易失性软件程序、指令以及单元,从而执行电子设备600的各种功能应用以及数据处理,即实现所述方法实施例的数据存储的方法和数据下载的方法。
存储器602可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据电子设备600使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器602可选包括相对于处理器601远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。所述网络的实施例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个单元存储在所述存储器602中,当被所述一个或者多个处理器601执行时,执行上述实施例中的数据存储的方法、装置和数据下载的方法、装置。
该电子设备600可执行上述实施例中的数据存储的方法和数据下载的方法,具备执行方法相应的功能模块和有益效果。未在电子设备600 实施例中详尽描述的技术细节,可参见上述实施例中的数据存储的方法、装置和数据下载的方法、装置。
本发明实施例提供了一种计算机程序产品,所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被电子设备600执行时,使所述电子设备600执行上述实施例中的数据存储的方法、装置和数据下载的方法、装置。例如,执行以上描述的图2中的方法步骤S11至步骤S14,实现图5中的301-309单元的功能。
本发明实施例提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使电子设备600执行上述实施例中的数据存储的方法、装置和数据下载的方法、装置。
本申请实施例的电子设备600可以以多种形式存在,包括但不限于: 智能手机、计算机、智能手表、智能手环、平板电脑、掌上电脑等等具有存储功能的电子设备。
需要说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施例的描述,本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。本领域普通技术人员可以理解实现所述实施例方法中的全部或部分流程是可以通过计算机程序指令相关的硬件来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如所述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(Random Access Memory, RAM)等。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (6)
1.一种数据下载的方法,应用于网络存储设备,其特征在于,所述方法包括:
与至少一个其它网络存储设备组建共享存储群组,所述共享存储群组内所有网络存储设备均设置共享空间;所述共享存储群组中的每一个网络存储设备是平等的,不存在主次之分;存储文件的副本随机的存储至共享存储群组中的其他网络存储设备的共享空间,或者,根据接收存储请求的网络存储设备与所述共享存储群组中的其它网络存储设备是否属于同一个局域网、与接收存储请求的网络存储设备的距离的远近、其它网络存储设备的共享空间的可用空间大小进行存储;
接收存储请求,所述存储请求携带有待存储文件;
将所述待存储文件存储于所述网络存储设备;
根据预设纠删算法,将所述待存储文件的副本分割成若干个数据块,对所述数据块进行加密处理,将所述若干个加密后的数据块分别存储至所述共享存储群组中的其它不同网络存储设备的共享空间中;
在所述网络存储设备内将所述待存储文件标记为共享文件;
检测所述网络存储设备内的共享文件或者位于所述网络存储设备的共享空间内的文件是否已失效;若已失效,向所述共享存储群组发送文件替换请求;接收所述共享存储群组根据文件替换请求所返回的替换文件;将所述替换文件替换失效的文件;
接收文件读取请求;
识别所述网络存储设备中是否存在与所述文件读取请求相匹配的待读文件;
若存在,则判断所述待读文件是否已失效;
若未失效,则直接从所述网络存储设备读取所述待读文件;
若已失效,分别从所述共享存储群组中的其它网络存储设备中提取所述待读文件的数据块,根据预设纠删算法,将提取的数据块整合形成完整的待存储文件的副本。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
判断位于所述共享存储群组的所述待读文件是否已失效;
若已失效,则返回读取失效信息;
若未失效,则从所述共享存储群组提取所述待读文件,并且返回所述待读文件。
3.一种数据下载的装置,应用于网络存储设备,其特征在于,所述装置包括:
组群单元,用于与至少一个其它网络存储设备组建共享存储群组,所述共享存储群组内所有网络存储设备均设置共享空间;所述共享存储群组中的每一个网络存储设备是平等的,不存在主次之分;存储文件的副本随机的存储至共享存储群组中的其他网络存储设备的共享空间,或者,根据接收存储请求的网络存储设备与所述共享存储群组中的其它网络存储设备是否属于同一个局域网、与接收存储请求的网络存储设备的距离的远近、其它网络存储设备的共享空间的可用空间大小进行存储;
第一接收单元,用于接收存储请求,所述存储请求携带有待存储文件;
第一存储单元,用于将所述待存储文件存储于所述网络存储设备;
分割模块,用于根据预设纠删算法,将所述待存储文件的副本分割成若干个数据块;
共享存储模块,用于将所述若干个数据块分别存储至所述共享存储群组中的其它不同网络存储设备的共享空间中;
标记单元,用于在所述网络存储设备内将所述待存储文件标记为共享文件;
检测单元,用于检测所述网络存储设备内的共享文件或者位于所述网络存储设备的共享空间内的文件是否已失效;
发送单元,用于若已失效,向所述共享存储群组发送文件替换请求;
第二接收单元,用于接收所述共享存储群组根据文件替换请求所返回的替换文件;
文件替换单元,用于将所述替换文件替换失效的文件;
接收单元,用于接收文件读取请求;
识别单元,用于识别所述网络存储设备中是否存在与所述文件读取请求相匹配的待读文件;
判断单元,用于若存在,则判断所述待读文件是否已失效;
第一读取单元,用于若未失效,则直接从所述网络存储设备读取所述待读文件;
第二读取单元,用于若已失效,分别从所述共享存储群组中的其它网络存储设备中提取所述待读文件的数据块;根据预设纠删算法,将提取的数据块整合形成完整的待存储文件的副本。
4.根据权利要求3所述的装置,其特征在于,所述共享存储模块还具体用于:
判断位于所述共享存储群组的所述待读文件是否已失效;
若已失效,则返回读取失效信息;
若未失效,则从所述共享存储群组提取所述待读文件,并且返回所述待读文件。
5.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1或2所述的方法。
6.一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行权利要求1或2所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810844119.5A CN109254956B (zh) | 2018-07-27 | 2018-07-27 | 一种数据下载的方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810844119.5A CN109254956B (zh) | 2018-07-27 | 2018-07-27 | 一种数据下载的方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109254956A CN109254956A (zh) | 2019-01-22 |
CN109254956B true CN109254956B (zh) | 2022-09-02 |
Family
ID=65049851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810844119.5A Active CN109254956B (zh) | 2018-07-27 | 2018-07-27 | 一种数据下载的方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109254956B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110209670B (zh) * | 2019-05-09 | 2022-03-25 | 北京猫盘技术有限公司 | 基于网络存储设备集群的数据处理方法及装置 |
CN112272185A (zh) * | 2020-10-30 | 2021-01-26 | 江苏智云领创信息咨询有限公司 | 一种计算机信息与移动端数据共享方法 |
CN113885795B (zh) * | 2021-09-23 | 2024-01-19 | 惠州Tcl移动通信有限公司 | 一种数据存储方法、装置、终端设备及存储介质 |
CN114915461A (zh) * | 2022-04-29 | 2022-08-16 | 联想(北京)有限公司 | 一种处理方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101188569A (zh) * | 2006-11-16 | 2008-05-28 | 饶大平 | 在网络上构建数据量子空间的方法及分布式文件存储*** |
CN102270161A (zh) * | 2011-06-09 | 2011-12-07 | 华中科技大学 | 一种基于纠删码的多等级容错数据存储、读取和恢复方法 |
CN103106124A (zh) * | 2012-12-29 | 2013-05-15 | 华中科技大学 | 一种基于纠删码集群存储***的交叉重构方法 |
CN107861843A (zh) * | 2017-11-30 | 2018-03-30 | 紫光股份有限公司 | 一种基于局域网计算机的文件备份*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10769029B2 (en) * | 2016-11-18 | 2020-09-08 | International Business Machines Corporation | Accessing records of a backup file in a network storage |
-
2018
- 2018-07-27 CN CN201810844119.5A patent/CN109254956B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101188569A (zh) * | 2006-11-16 | 2008-05-28 | 饶大平 | 在网络上构建数据量子空间的方法及分布式文件存储*** |
CN102270161A (zh) * | 2011-06-09 | 2011-12-07 | 华中科技大学 | 一种基于纠删码的多等级容错数据存储、读取和恢复方法 |
CN103106124A (zh) * | 2012-12-29 | 2013-05-15 | 华中科技大学 | 一种基于纠删码集群存储***的交叉重构方法 |
CN107861843A (zh) * | 2017-11-30 | 2018-03-30 | 紫光股份有限公司 | 一种基于局域网计算机的文件备份*** |
Also Published As
Publication number | Publication date |
---|---|
CN109254956A (zh) | 2019-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109254956B (zh) | 一种数据下载的方法、装置及电子设备 | |
US11327840B1 (en) | Multi-stage data recovery in a distributed storage network | |
CN110602239B (zh) | 一种区块链信息存储方法及相关设备 | |
CN109831487B (zh) | 分片文件验证方法及终端设备 | |
CN109885256B (zh) | 一种基于数据分片的数据存储方法、设备及介质 | |
US10073652B2 (en) | Performance optimized storage vaults in a dispersed storage network | |
CN110716895B (zh) | 目标数据归档方法、装置、计算机设备及介质 | |
CN111163182B (zh) | 基于区块链的设备注册方法、装置、电子设备和存储介质 | |
US11074139B2 (en) | Dynamic block chain system using metadata for backing up data based on digest rules | |
CN111262822B (zh) | 文件存储方法、装置、区块链节点和*** | |
CN104468548A (zh) | 一种数据验证的方法、灾备存储器和生产存储器 | |
EP4195033A1 (en) | Method and apparatus for upgrading blockchain system, and terminal device | |
CN106201788A (zh) | 用于分布式存储集群的副本修复方法及*** | |
CN111260475A (zh) | 一种数据处理方法、区块链节点设备及存储介质 | |
CN114741234A (zh) | 数据的备份存储方法、设备及*** | |
CN111339551B (zh) | 数据的验证方法及相关装置、设备 | |
CN105550071A (zh) | ***文件升级及检测方法、通信设备 | |
CN110908801B (zh) | 基于区块链的数据处理方法、装置、计算机设备和存储介质 | |
CN110503432B (zh) | 资源转移请求的处理方法、装置和计算机可读存储介质 | |
CN116049318A (zh) | 一种数据存储方法及通信装置 | |
CN115935414A (zh) | 基于区块链的数据校验方法、装置、电子设备和存储介质 | |
CN106020975B (zh) | 数据操作方法、装置和*** | |
US10122795B2 (en) | Consistency level driven data storage in a dispersed storage network | |
CN113158201A (zh) | 信息的安全备份方法及装置 | |
CN112738249A (zh) | 基于量化交易的文件上传方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |