CN103997540B - 网络分布式存储的实现方法 - Google Patents

网络分布式存储的实现方法 Download PDF

Info

Publication number
CN103997540B
CN103997540B CN201410255679.9A CN201410255679A CN103997540B CN 103997540 B CN103997540 B CN 103997540B CN 201410255679 A CN201410255679 A CN 201410255679A CN 103997540 B CN103997540 B CN 103997540B
Authority
CN
China
Prior art keywords
customer terminal
file
terminal equipment
storage
management platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410255679.9A
Other languages
English (en)
Other versions
CN103997540A (zh
Inventor
花锦
王卓影
伍俊杰
朱祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
You Hua Telecom Technology Co Ltd Of Shenzhen
Original Assignee
You Hua Telecom Technology Co Ltd Of Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by You Hua Telecom Technology Co Ltd Of Shenzhen filed Critical You Hua Telecom Technology Co Ltd Of Shenzhen
Priority to CN201410255679.9A priority Critical patent/CN103997540B/zh
Publication of CN103997540A publication Critical patent/CN103997540A/zh
Application granted granted Critical
Publication of CN103997540B publication Critical patent/CN103997540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供了一种网络分布式存储的实现方法，该方法包括：客户终端设备将设备编号、IP地址、空闲存储空间和已存储的内容上报到网络中的管理平台；管理平台收到存储文件的请求后，根据文件大小、文件上传者IP地址选择合适的客户终端设备进行文件存储，并记录文件标识和设备编号；管理平台收到读取文件的请求后，根据文件标识查找存储文件的客户终端设备，以便从客户终端设备上下载文件。本发明存储分布更广，更贴近用户，不需要增加存储服务器，最大限度地利用了空闲资源，节省了成本。

Description

网络分布式存储的实现方法
技术领域
本发明涉及通信技术领域，具体涉及一种网络分布式存储的实现方法及相应的分布式存储***、以及客户终端设备(CPE，Customer Premise Equipment)。
背景技术
分布式存储***，是将数据分散存储在多***立的设备上。传统的网络存储***采用集中的存储服务器存放所有数据，存储服务器成为***性能的瓶颈，不能满足大规模存储应用的需要。分布式网络存储***采用可扩展的***结构，利用多台存储服务器分担存储负荷。
随着网络通信速率的提高，以及网络存储的数据量越来越大，随之又产生了新的问题，即需要不断增加存储服务器来存储这些数据。
发明内容
本发明的特征和优点在下文的描述中部分地陈述，或者可从该描述显而易见，或者可通过实践本发明而学习。
为克服现有技术的问题，本发明提供一种网络分布式存储的实现方法，利用客户终端设备中的空闲存储空间，不需要增加存储服务器也能实现分布式网络存储。
本发明解决上述技术问题所采用的技术方案如下：
根据本发明的一个方面，提供一种网络分布式存储的实现方法，包括：
客户终端设备将客户终端设备编号、IP地址、空闲存储空间和已存储的内容上报到网络中的管理平台；
管理平台收到存储文件的请求后，根据文件大小、文件上传者IP地址选择合适的客户终端设备，将文件存储到选定的客户终端设备，并记录文件标识和客户终端设备编号；其中，对于新的客户终端设备，直接在客户终端设备上存入合适的数据；对于存储过内容的客户终端设备，管理平台首先判断客户终端设备是否有要删除的内容，如果有，则由客户终端设备删除内容后上报管理平台；如果不需要删除内容，则判断存储空间是否足够；如果存储空间不够，则客户终端设备不操作，而是提供其它网络存储服务；如果存储空间足够，则客户终端设备存入合适大小的数据；
管理平台收到读取文件的请求后，根据文件标识查找存储文件的客户终端设备，并从客户终端设备上下载文件或通知请求设备直接从客户终端设备上下载文件。
根据本发明的一个实施例，客户终端设备在每次启动后向管理平台上报其客户终端设备编号、IP地址、空闲存储空间和已存储的内容，并在每次完成数据存储或删除后向管理平台上报存储空间和存储内容的变化。
根据本发明的一个实施例，对网络存储报文打上特定的标签，以区分需要在客户终端设备上进行存储的数据，还是需要客户终端设备转发到用户端的数据，或是进入客户终端设备***处理的数据。
根据本发明的一个实施例，已存储的内容通过文件名或消息摘要算法第五版的值的方式上报管理平台。
根据本发明的一个实施例，在将文件存储到客户终端设备上时进行冗余备份，将文件存储在多个客户终端设备上。
根据本发明的一个实施例，从客户终端设备上下载文件时，如有多个客户终端设备上存储有文件，则同时从多个客户终端设备上下载文件，加快下载速度。
根据本发明的一个实施例，管理平台收到读取文件的请求后，筛选所有存储了请求内容的客户终端设备中距离请求设备最近的客户终端设备，供请求设备进行下载。
根据本发明的另一个方面，提供一种网络分布式存储***，包括：
客户终端设备，其将客户终端设备编号、IP地址、空闲存储空间和已存储的内容上报到网络中的管理平台，用于利用其外部存储设备的剩余空间存储网络文件，并供请求设备或管理平台下载其所存储的文件；
管理平台，其收到存储文件的请求后，根据文件大小、文件上传者IP地址选择合适的客户终端设备，将文件存储到选定的客户终端设备，并记录文件标识和客户终端设备编号；并在收到读取文件的请求后，根据文件标识查找存储文件的客户终端设备，并从客户终端设备上下载文件或通知请求设备直接从客户终端设备上下载文件。
根据本发明的另一个方面，提供一种客户终端设备，包括：
上报模块，其将客户终端设备编号、IP地址、空闲存储空间和已存储的内容上报到网络中的管理平台，供管理平台选择合适的客户终端设备来存储网络文件；
存储模块，其响应管理平台的操作，利用客户终端设备上的外部存储设备的剩余空间存储网络文件，并供请求设备或管理平台下载其所存储的文件。
本发明提供了一种网络分布式存储的实现方法，利用客户终端设备中的空闲存储空间，不需要增加存储服务器也能实现分布式网络存储。本发明的分布式存储***利用的不是专门部署的存储空间，而是CPE设备上的空余空间，相比传统的分布式存储***，存储分布更广，更贴近用户，不需要增加存储服务器，最大限度地利用了空闲资源，节省了成本。
通过阅读说明书，本领域普通技术人员将更好地了解这些技术方案的特征和内容。
附图说明
下面通过参考附图并结合实例具体地描述本发明，本发明的优点和实现方式将会更加明显，其中附图所示内容仅用于对本发明的解释说明，而不构成对本发明的任何意义上的限制，在附图中：
图1为CPE的nandflash分区图；
图2为本发明实施例的网络分布式存储流程图；
图3为本发明实施例的网络分布式存储内容的下载流程图；
图4为本发明实施例的网络分布式存储体***结构示意图；
图5为本发明实施例的CPE内部模块结构示意图。
具体实施方式
目前，CPE设备已具备使用nand-flash的成熟技术。Flash存储器又称闪存，它结合了ROM(随机存取存储器)和RAM(只读存储器)的长处，不仅具备电子可擦除可编程(EEPROM)的性能，还可以快速读取数据(具有非易失性随机访问存储器，即NVRAM的优势)，使数据不会因为断电而丢失。Nand-flash内存是flash内存的一种，其内部采用非线性宏单元模式，为固态大容量内存的实现提供了廉价有效的解决方案,NAND-flash的单元尺寸几乎是NOR-flash的一半，由于生产过程更为简单，NAND结构可以在给定的模具尺寸内提供更高的容量，也就相应地降低了价格。
随着国内进行大规模的“光进铜退”用户线路改造，家庭用户线路的传输速率也由铜线时代的最高理论值：上行速率1.2Mbps；下行速率24Mbps，增加到由EPON(以太无源光网络)光纤到户的上行、下行1Gbps，更快的GPON(千兆位以太无源光网络)达到上行1.25Gbps，下行2.5Gbps。在网络数据的传输方面，网络传输速度已经不是限制CPE(连接因特网络的用户层硬件)内置存储器作为网络分布存储的瓶颈。
本发明涉及利用CPE(Customer Premise Equipment，客户终端设备)内置存储器作为网络分布存储的一种实现方法，使用家庭网络通信***中的必须的设备CPE，利用CPE存储器中闲置的空间，作为分布式存储***的存储服务器。
本发明也采用分布式存储***，但利用的不是专门部署的存储空间，而是CPE设备上的空余空间，相比传统的分布式存储***，存储分布更广，更贴近用户。
本发明CPE的存储器以Nand-flash作为优选实施例进行说明。CPE使用nand-flash的大小为1-2GB，而CPE的***都在10MB左右，且CPE***使用flash的空间最大不会超过64MB,剩下的存储空间都被闲置了,并且，随着用户的使用习惯，设备由使用时通电转变成为一直通电，使用模式和使用习惯的转变使得CPE具备了作为网络存储设备的三个要点：1)有存储空间；2)具备IP地址；3)设备一直在线。当然，本发明并不限于只有使用nand-flash技术的CPE才能够适用本发明的方案，任何具有存储器的CPE均可以适用本发明。
CPE***是基于linux内核进行开发的***，CPE的对外部存储设备如sram、nand-flash等具备读写能力，因此，可以利用这些外部存储设备，根据需要对计算机网络数据选择进行转发或本地存储。Nand-flash可以看作PC的硬盘，如图1所示的CPE***nandflash分区，引导区51相当于PC的BIOS，程序区52和配置区53(配置区用于存放***配置参数)相当于安装PC操作***的C盘，flash中剩下的空间即网络数据区54就是PC中的其他盘，可以用来存放网络数据。
对于需要存放的数据，可以对网络存储报文打上特定的标签，让CPE区分是转发到用户端，或是进入CPE***处理，还是本地存储,对于网络存储报文可以直接在本地存储。首先，判断网络数据是本地数据还是用户数据，如果是用户数据则发送给用户端，例如多媒体视频等。如果是本地数据，则判断是CPE***数据，还是网络存储数据，如果是CPE***数据，则发送给CPE***处理。如果是网络存储数据则直接在本地存储。
对每台CPE赋予一个标识ID，CPE利用自身的IP地址将设备ID号、IP地址、flash空闲存储空间和已存储的内容上报到网络中的管理平台(如服务器)，这样，管理平台就能知道目前整个网络环境中有多少台CPE可用，每台CPE上存储了什么内容，以及每台CPE的空闲存储空间，有了可操作的数据。
分布式存储包括存储和下载两方面：
1.存储的示例性步骤如图2所示
101.CPE启动后上报管理平台设备ID号、IP地址、flash空闲存储空间和已存储的内容，已存储的内容可以通过文件名、MD5值(消息摘要算法第五版的值)等方式上报服务器；
102.平台判断CPE的状态，如果是新设备，则进入步骤103；
103.存入合适大小的数据，合适的数据是指满足CPE设备上剩余空间和需要保存的数据，存入是指将数据保存在CPE上，是实现分布式存储的基础。通过向管理平台上报信息判断其内容和空闲存储空间。
104.如果CPE是存储过的设备(或已上报设备)，管理平台检索CPE存储的内容；
105.管理平台判断其内容，是否为要删除内容，还是要保留或存储。
106.如果是要删除的内容，则删除内容后上报平台信息，这是因为有些数据已经从服务器中标记为删除，则需要从分布的存储中删除。
107.如果不需要删除内容，则判断存储空间是否足够。
108.如果存储空间不够，则不操作，而是提供其它网络存储服务，例如存储更小一些的网络文件。
109.如果存储空间足够，则存入合适大小的数据，通过向管理平台上报信息判断其内容和空闲存储空间。
服务器收到存储的文件的请求后，根据文件大小、文件上传者IP所属范围等信息选择合适的CPE，将文件存储到相应CPE，记录文件ID和CPE编号等相关信息，并考虑冗余，将文件存储在多个CPE上，防止某个CPE断电后无法获取文件。服务器收到读取文件的请求后，根据文件ID查找存储文件的CPE，如有多个可同时从多个CPE上下载文件，加快下载速度。
2.下载的示例性步骤如图3所示
201.管理平台收到下载请求；
202.管理平台判断请求内容是否在分布式存储***中有保留；
203.如果没有保留，则反馈无保留信息；
204.如果有保留内容，则管理平台检索保留内容的CPE设备；
205.判断保留内容CPE设备到请求设备的路由距离；
206.反馈距离请求设备合适的设备ID或IP地址,例如反馈距离最近的CPE设备ID或IP地址。通过筛选所有存储了请求内容的CPE设备中，找到距离请求设备最近的设备。一份数据可能存储在多个CPE上，服务器记录所有存储了文件的CPE，筛选最近的设备，供请求设备下载文件，这样有利于快速传输文件。
1、CPE能够利用flash中的空闲存储空间
2、CPE主动上报设备中关键的信息，并且能够响应平台的操作。
如图4所示，本发明的网络分布式存储***，包括：
客户终端设备20，其将客户终端设备编号、IP地址、空闲存储空间和已存储的内容上报到网络中的管理平台，用于利用其外部存储设备的剩余空间存储网络文件，并供请求设备或管理平台下载其所存储的文件；
管理平台10，其收到存储文件的请求后，根据文件大小、文件上传者IP地址选择合适的客户终端设备，将文件存储到选定的客户终端设备20，并记录文件标识和客户终端设备编号；并在收到读取文件的请求后，根据文件标识查找存储文件的客户终端设备20，并从客户终端设备20上下载文件或通知请求设备直接从客户终端设备上下载文件。
如图5所示，本发明的客户终端设备20，包括：
上报模块21，其将客户终端设备编号、IP地址、空闲存储空间和已存储的内容上报到网络中的管理平台，供管理平台选择合适的客户终端设备来存储网络文件；
存储模块22，其响应管理平台的操作，利用客户终端设备上的外部存储设备的剩余空间存储网络文件，并供请求设备或管理平台下载其所存储的文件。
本发明的分布式存储***利用的不是专门部署的存储空间，而是CPE设备上的空余空间，相比传统的分布式存储***，存储分布更广，更贴近用户，不需要增加存储服务器，最大限度地利用了空闲资源，节省了成本。
以上参照附图说明了本发明的优选实施例，本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明。举例而言，作为一个实施例的部分示出或描述的特征可用于另一实施例以得到又一实施例。以上仅为本发明较佳可行的实施例而已，并非因此局限本发明的权利范围，凡运用本发明说明书及附图内容所作的等效变化，均包含于本发明的权利范围之内。

Claims (6)

1.一种网络分布式存储的实现方法，其特征在于，包括：
客户终端设备将客户终端设备编号、IP地址、空闲存储空间和已存储的内容上报到网络中的管理平台；
管理平台收到存储文件的请求后，根据文件大小、文件上传者IP地址选择合适的客户终端设备，将文件存储到选定的客户终端设备，并记录文件标识和客户终端设备编号；其中，对于新的客户终端设备，直接在客户终端设备上存入合适的数据；对于存储过内容的客户终端设备，管理平台首先判断客户终端设备是否有要删除的内容，如果有，则由客户终端设备删除内容后上报管理平台；如果不需要删除内容，则判断存储空间是否足够；如果存储空间不够，则客户终端设备不操作，而是提供其它网络存储服务；如果存储空间足够，则客户终端设备存入合适大小的数据；
管理平台收到读取文件的请求后，根据文件标识查找存储文件的客户终端设备，并从客户终端设备上下载文件或通知请求设备直接从客户终端设备上下载文件。
2.根据权利要求1所述的网络分布式存储的实现方法，其特征在于，客户终端设备在每次启动后向管理平台上报其客户终端设备编号、IP地址、空闲存储空间和已存储的内容，并在每次完成数据存储或删除后向管理平台上报存储空间和存储内容的变化。
3.根据权利要求1所述的网络分布式存储的实现方法，其特征在于，对网络存储报文打上特定的标签，以区分需要在客户终端设备上进行存储的数据，还是需要客户终端设备转发到用户端的数据，或是进入客户终端设备***处理的数据。
4.根据权利要求1所述的网络分布式存储的实现方法，其特征在于，在将文件存储到客户终端设备上时进行冗余备份，将文件存储在多个客户终端设备上。
5.根据权利要求4所述的网络分布式存储的实现方法，其特征在于，从客户终端设备上下载文件时，如有多个客户终端设备上存储有文件，则同时从多个客户终端设备上下载文件，加快下载速度。
6.根据权利要求5所述的网络分布式存储的实现方法，其特征在于，管理平台收到读取文件的请求后，筛选所有存储了请求内容的客户终端设备中距离请求设备最近的客户终端设备，供请求设备进行下载。
CN201410255679.9A 2014-06-10 2014-06-10 网络分布式存储的实现方法 Active CN103997540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410255679.9A CN103997540B (zh) 2014-06-10 2014-06-10 网络分布式存储的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410255679.9A CN103997540B (zh) 2014-06-10 2014-06-10 网络分布式存储的实现方法

Publications (2)

Publication Number Publication Date
CN103997540A CN103997540A (zh) 2014-08-20
CN103997540B true CN103997540B (zh) 2017-09-12

Family

ID=51311542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410255679.9A Active CN103997540B (zh) 2014-06-10 2014-06-10 网络分布式存储的实现方法

Country Status (1)

Country Link
CN (1) CN103997540B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598817B (zh) * 2014-12-19 2017-04-12 北京奇安信科技有限公司 文件修复的方法、装置及***
CN105991671A (zh) * 2015-01-28 2016-10-05 中兴通讯股份有限公司 一种存储文件的方法和服务器
WO2018049256A1 (en) * 2016-09-09 2018-03-15 At & T Intellectual Property I, L.P. Distributed customer premises equipment
CN106648899A (zh) * 2016-12-28 2017-05-10 深圳Tcl数字技术有限公司 基于终端设备剩余存储空间的云计算存储方法及装置
CN107330061B (zh) * 2017-06-29 2021-02-02 苏州浪潮智能科技有限公司 一种基于分布式存储的文件删除方法及装置
CN109429376B (zh) * 2017-07-17 2020-09-25 大唐移动通信设备有限公司 一种资源释放方法及装置
CN108696571B (zh) * 2018-03-28 2021-09-24 深圳市网心科技有限公司 云存储服务***、方法、云服务智能设备及电子装置
CN110830522A (zh) * 2018-08-07 2020-02-21 石悌君 一种共享存储***
CN109660604B (zh) * 2018-11-29 2023-04-07 上海碳蓝网络科技有限公司 数据存取方法及设备
CN110012108A (zh) * 2019-04-15 2019-07-12 深圳市网心科技有限公司 数据副本存储方法、下载方法、云存储***及相关装置
CN110196842A (zh) * 2019-04-26 2019-09-03 视联动力信息技术股份有限公司 文件存储方法、管理方法、装置、服务器及存储介质
CN114765908A (zh) * 2021-01-13 2022-07-19 京东方科技集团股份有限公司 客户前置设备、物联网***、数据传输方法及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103092527A (zh) * 2011-10-31 2013-05-08 深圳市快播科技有限公司 小文件的存储方法及***
CN203167000U (zh) * 2013-03-29 2013-08-28 广州中国科学院软件应用技术研究所 一种基于Android***机顶盒的NAS云存储***
CN103379156A (zh) * 2012-04-24 2013-10-30 深圳市腾讯计算机***有限公司 实现存储空间动态均衡的方法、***和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7860743B2 (en) * 2005-08-23 2010-12-28 Cable Television Laboratories, Inc. Method and system of distributing advertisements
CN101188569B (zh) * 2006-11-16 2011-05-04 饶大平 在网络上构建数据量子空间的方法及分布式文件存储***
CN101335765B (zh) * 2008-07-25 2010-12-29 华中科技大学 基于移动缓存的存储服务中间件
CN101710901B (zh) * 2009-10-22 2012-12-05 乐视网信息技术（北京）股份有限公司 一种具有p2p功能的分布式存储***和方法
CN101901275A (zh) * 2010-08-23 2010-12-01 华中科技大学 一种分布式存储***及其方法
CN102685164B (zh) * 2011-03-16 2016-11-16 中国电信股份有限公司 终端存储空间受限情况下文件下载更新的方法和***
CN102724301B (zh) * 2012-05-29 2015-02-04 中国联合网络通信集团有限公司 云数据库***以及云数据读写处理方法、设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103092527A (zh) * 2011-10-31 2013-05-08 深圳市快播科技有限公司 小文件的存储方法及***
CN103379156A (zh) * 2012-04-24 2013-10-30 深圳市腾讯计算机***有限公司 实现存储空间动态均衡的方法、***和装置
CN203167000U (zh) * 2013-03-29 2013-08-28 广州中国科学院软件应用技术研究所 一种基于Android***机顶盒的NAS云存储***

Also Published As

Publication number Publication date
CN103997540A (zh) 2014-08-20

Similar Documents

Publication Publication Date Title
CN103997540B (zh) 网络分布式存储的实现方法
CN104486445B (zh) 一种基于云平台的分布式可扩展资源监控***
CN111371696B (zh) 一种在Kubernetes中实现Pod网络流控的方法
CN101431558B (zh) 移动终端数据控制的方法和一种移动终端
CN111200657B (zh) 一种管理资源状态信息的方法和资源下载***
CN105357322B (zh) 一种基于拓扑划分的虚拟机分配方法
CN105025053A (zh) 基于云存储技术的分布式文件的上传方法及其***
CN101699479B (zh) 一种过程运维管理方法及***
CN103152390B (zh) 分布式存储***的节点配置方法、装置、节点及***
CN112506670B (zh) 一种多节点自动化运维任务处理方法、***及存储介质
CN104081376B (zh) 使用分布式文件***协议远程维持***固件映像
CN103475517B (zh) 光网络终端设备及其硬件配置参数保存方法
CN103326925B (zh) 一种消息推送方法及装置
CN101924658B (zh) 一种接入设备的告警屏蔽方法
CN102546558B (zh) 一种光网络单元中协议的切换方法及光网络单元
CN103888424B (zh) 集群式数据加密***及其数据处理方法
CN104168139A (zh) 一种基于pon***的olt设备定制方法
CN102402544A (zh) 一种附件共享的方法、装置及业务***
CN101771557A (zh) 管理对象实例别名的方法和设备
CN105159925A (zh) 一种数据库集群数据分配方法及***
CN103051478B (zh) 一种大容量电信网管***及其设置和应用方法
CN105450679B (zh) 进行数据云存储的方法及***
CN101867484A (zh) 一种设备升级的方法及***
KR100876105B1 (ko) 유무선 단말기로 멀티미디어 콘텐츠 다운로드 방법
CN100473041C (zh) 一种p2p***中查找种子的方法及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant