CN101916289A - 支持海量小文件和动态备份数的数字图书馆存储***的构建方法 - Google Patents
支持海量小文件和动态备份数的数字图书馆存储***的构建方法 Download PDFInfo
- Publication number
- CN101916289A CN101916289A CN 201010262584 CN201010262584A CN101916289A CN 101916289 A CN101916289 A CN 101916289A CN 201010262584 CN201010262584 CN 201010262584 CN 201010262584 A CN201010262584 A CN 201010262584A CN 101916289 A CN101916289 A CN 101916289A
- Authority
- CN
- China
- Prior art keywords
- file
- backup
- small documents
- digital library
- backup number
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003860 storage Methods 0.000 title claims abstract description 35
- 238000012856 packing Methods 0.000 claims abstract description 11
- 230000005540 biological transmission Effects 0.000 claims abstract description 6
- 238000009825 accumulation Methods 0.000 claims description 21
- 238000010276 construction Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000012821 model calculation Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims 1
- 238000013500 data storage Methods 0.000 abstract 1
- 230000004044 response Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种支持海量小文件和动态备份数的数字图书馆存储***的构建方法,包括以下三部分内容:(1)***的构建采用采用两层体系架构,即传输层和存储层;传输层主要用于存储层与数字图书馆门户之间的数据传输,负载均衡、缓存以及预取等策略均在此层实现;而存储层主要负责数据的存储,由普通服务器搭建的分布式文件***和高可靠性存储组成。(2)采用打包策略,将同一本书的书页打包。(3)根据图书的大小和访问频率,动态计算每本图书的备份数。本发明将普通服务器构成的分布式文件***与高可靠性存储结合起来提供数据的存储服务,既保证了数据的可靠性,又保证了数据的可用性;将小文件打包存储,减少了小文件数量,提高了***性能;根据文件大小和文件访问频率计算文件的备份数,提高了***的整体可用性。
Description
技术领域
本发明涉及数字图书馆存储***技术领域,特别是涉及一种能支持海量小文件和动态备份数的数字图书馆存储***的构建方法。
背景技术
近年来,随着数字图书馆的发展,数字资源以及参与用户呈现不断增长的趋势,迫切需要一种新的数字图书馆体系架构来支持海量数据的访问和服务。
存储***是数字图书馆体系架构的核心部分,传统的数字图书馆常采用NAS、SAN等商业解决方案,但其具有以下缺点:1.NAS、SAN等商业解决方案价格昂贵,且不同厂商之间的兼容性差,这导致数字图书馆的可持续发展性差。2.NAS、SAN等解决方案用磁盘阵列作为底层存储,磁盘阵列的控制器将成为***性能瓶颈,不能很好支持海量用户的并发访问,缺乏可扩展性。3.NAS、SAN等解决方案是通用的解决方法,并没有针对数字图书馆进行优化,直接使用性能不佳。
Google、Yahoo、亚马逊以及百度、网易、淘宝等国内外大型互联网公司,也同样面临着海量资源和海量用户的挑战。其主要采用分布式文件***来解决海量资源的存储问题,如Google的Google File System,Yahoo的Hadoop分布式文件***和亚马逊的Simple Storage Services。该分布式文件***主要部署在普通服务器上,从而价格低廉,同时又采用备份策略来解决数据的可靠性问题。但数字图书馆具有其自身特点,不能直接采用类似于Google File System的分布式文件***。首先,数字图书馆中具有海量的小文件,比如书页只占有几十KB大小,而Goole File System被设计成用来存放大约数GB以上的大文件。如果直接将海量小文件存放在Google File System中,将降低***性能。其次,数字图书馆需同时关注数据的可用性和可靠性。虽然备份数增多可以增加数据可靠性和可用性,但由于存储空间有限,不能无限制增加备份数。而数字图书馆中的数据访问具有不均衡性,如果增加访问量多的数据的备份数,减少访问量少的数据的备份数,将提高***的整体可用性。另外,数据的大小也不一样,增加小文件的备份数,减少大文件的备份数,将提高***的整体可靠性。
发明内容
本发明的目的在于克服现有架构中的不足,提供一种能支持海量小文件和动态备份数的数字图书馆存储***的构建方法。
本发明解决其技术问题采用的技术方案如下:
支持海量小文件和动态备份数的数字图书馆存储***的构建方法包括如下步骤:
1)采用由传输层和存储层构成的两层体系架构实现数字图书馆门户访问文件过程,传输层由代理服务器和代理管理器组成,代理服务器负责从存储层读取数据,然后缓存在本地,代理管理器用来管理各代理服务器,维护每个代理服务器的负载、缓存摘要以及心跳信息,用于负载均衡、请求转发以及代理服务器管理;传输层主要负责存储层与数字图书馆门户之间的数据传输,并在此层实现负载均衡、缓存以及预取,而存储层主要负责数据的存储,由分布式文件***和高可靠性存储组成,保持整个***同时具有高可靠性和可用性;
2)采用打包方式处理海量小文件,为每本书包含的大量小书页文件生成一个大文件存放在存储***中,同时在大文件头上生成小文件的索引,用于小文件的随机访问;
3)基于文件大小和文件访问频率动态计算文件的备份数。
所述的采用由传输层和存储层构成的两层体系架构实现数字图书馆门户访问文件过程步骤包括:首先,将访问请求转发给代理管理器,代理管理器根据其维护的每台代理服务器的缓存摘要和负载信息,将请求转发给缓存中包含请求文件或负载较小的代理服务器中;然后,代理服务器收到访问请求后,查看本地缓存,如果缓存中包含所需文件,则读取后直接返回,否则访问存储层读取书页;在存储层中,先访问分布式文件***,如果存在,则返回并在代理服务器中缓存,并更新缓存摘要,否则访问高可靠性存储;每次访问都在日志中记录,用来计算文件的访问频率。
所述的采用打包方式处理海量小文件步骤包括:生成的大文件包含以下字段:Version字段存储结构的版本,用来表示该结构体的编解码方法;Metadata字段存储文件的相关信息,包括文件的格式、小文件数目以及其它元数据信息;Offset中记录了各小文件在“包”中的相对位置信息;File Length、File Block和Checksum是存储了小文件的长度、内容和内容的校验码,于是,访问第i个小文件的流程为:首先读取固定长度的Version和Metadata信息,得到解码方式和文件信息num_of_pages,然后再跳过4*(i-1)个字节,读接下来的4个字节得到小文件的Offset,然后再跳过(num_of_pages-i-1)*4+Offset个字节,读接下来的4个字节得到File Length,再读取File Length个字节得到小文件的内容,然后再读取接下来的4个字节得到校验码Checksum,如果小文件内容通过检验码校验,则返回小文件内容,否则返回读取出错信息。
所述的基于文件大小和文件访问频率动态计算文件的备份数步骤包括:
1)计算备份数为n的文件在分布式文件***中不可用的概率:设一个文件的备份数为n,则通过生死过程模型计算该文件在分布式文件***中不可用的概率为:其中λk表示从含有k个备份生成k+1个备份的速度,μk+1表示因设备故障等原因从含有k+1个备份变成k个备份的速度,在构建方法中,λ0表示从可靠性存储中生成一个备份存到分布式文件***中的速度,当0<k≤n时,设λk=λ,μk=kμ,这样可得到:μ可以通过分布式文件***中机器的平均故障时间MTTF得到λ与网络带宽b和待修复的数据量s相关,可计算为
2)计算数字图书馆中图书的大小和访问信息:设数字图书馆中有图书N本,每本被打包成一个大文件,即有N个文件,该N个文件均在高可靠性存储中存有一个备份以保证可靠性,设有M个文件已被用户访问,则有N-M个文件未被用户访问,于是在分布式文件***中只保存了被用户访问的M个文件的备份,以增加***可用性;假设每个文件的大小分别为{s1,s2,...,sM},被用户访问的次数分别为{f1,f2,...,fM},备份数分别为{n1,n2,...,nM},将其归一化:
3)计算每个文件的备份数:设n是平均备份数,也就是于是要满足大文件备份数少,而小文件备份数多的要求,需满足定义***的整体可用性为:这里表示第k个文件在***中不可用的概率,其中nk为第k个文件的备份数,于是各文件的备份数可通过求解下面的最优化问题得到:
本发明与技术背景相比,具有的有益的效果是:
1)将普通服务器构成的分布式文件***与高可靠性存储结合起来提供数据的存储服务,既保证了数据的可靠性,又保证了数据的可用性;
2)将小文件打包存储,减少了小文件数量,提高了***性能;
3)根据文件大小和文件访问频率计算文件的备份数,提高了***的整体可用性。
附图说明
图1为本发明提出的数字图书馆体系架构图;
图2为本发明提出的图书打包结构图;
图3为本发明提到的生死过程模型;
图4为本发明在实施例中的图书文件大小分布图;
图5为本发明在实施例中访问次数最多的前100本图书的访问分布图;
图6为本发明在具体实施过程中得到的文件备份数分布图;
图7为本发明提出的动态备份管理策略与均衡备份管理策略的可靠性比较图;
图8为本发明提出的动态备份管理策略与均衡备份管理策略的请求响应时间比较图。
具体实施方式
支持海量小文件和动态备份数的数字图书馆存储***的构建方法包括如下步骤:
1)采用由传输层和存储层构成的两层体系架构实现数字图书馆门户访问文件过程,传输层由代理服务器和代理管理器组成,代理服务器负责从存储层读取数据,然后缓存在本地,代理管理器用来管理各代理服务器,维护每个代理服务器的负载、缓存摘要以及心跳信息,用于负载均衡、请求转发以及代理服务器管理;传输层主要负责存储层与数字图书馆门户之间的数据传输,并在此层实现负载均衡、缓存以及预取,而存储层主要负责数据的存储,由分布式文件***和高可靠性存储组成,保持整个***同时具有高可靠性和可用性;
2)采用打包方式处理海量小文件,为每本书包含的大量小书页文件生成一个大文件存放在存储***中,同时在大文件头上生成小文件的索引,用于小文件的随机访问;
3)基于文件大小和文件访问频率动态计算文件的备份数。
所述的采用由传输层和存储层构成的两层体系架构实现数字图书馆门户访问文件过程步骤包括:首先,将访问请求转发给代理管理器,代理管理器根据其维护的每台代理服务器的缓存摘要和负载信息,将请求转发给缓存中包含请求文件或负载较小的代理服务器中;然后,代理服务器收到访问请求后,查看本地缓存,如果缓存中包含所需文件,则读取后直接返回,否则访问存储层读取书页;在存储层中,先访问分布式文件***,如果存在,则返回并在代理服务器中缓存,并更新缓存摘要,否则访问高可靠性存储;每次访问都在日志中记录,用来计算文件的访问频率。
如图2所示,所述的采用打包方式处理海量小文件步骤包括:生成的大文件包含以下字段:Version字段存储结构的版本,用来表示该结构体的编解码方法;Metadata字段存储文件的相关信息,包括文件的格式、小文件数目以及其它元数据信息;Offset中记录了各小文件在“包”中的相对位置信息;File Length、File Block和Checksum是存储了小文件的长度、内容和内容的校验码,于是,访问第i个小文件的流程为:首先读取固定长度的Version和Metadata信息,得到解码方式和文件信息num_of_pages,然后再跳过4*(i-1)个字节,读接下来的4个字节得到小文件的Offset,然后再跳过(num_of_pages-i-1)*4+Offset个字节,读接下来的4个字节得到File Length,再读取File Length个字节得到小文件的内容,然后再读取接下来的4个字节得到校验码Checksum,如果小文件内容通过检验码校验,则返回小文件内容,否则返回读取出错信息。
所述的基于文件大小和文件访问频率动态计算文件的备份数步骤包括:
1)计算备份数为n的文件在分布式文件***中不可用的概率:设一个文件的备份数为n,则通过生死过程模型(如图3所示)计算该文件在分布式文件***中不可用的概率为:其中λk表示从含有k个备份生成k+1个备份的速度,μk+1表示因设备故障等原因从含有k+1个备份变成k个备份的速度,在构建方法中,λ0表示从可靠性存储中生成一个备份存到分布式文件***中的速度,当0<k≤n时,设λk=λ,μk=kμ,这样可得到:μ可以通过分布式文件***中机器的平均故障时间MTTF得到λ与网络带宽b和待修复的数据量s相关,可计算为
2)计算数字图书馆中图书的大小和访问信息:设数字图书馆中有图书N本,每本被打包成一个大文件,即有N个文件,该N个文件均在高可靠性存储中存有一个备份以保证可靠性,设有M个文件已被用户访问,则有N-M个文件未被用户访问,于是在分布式文件***中只保存了被用户访问的M个文件的备份,以增加***可用性;假设每个文件的大小分别为{s1,s2,...,sM},被用户访问的次数分别为{f1,f2,...,fM},备份数分别为{n1,n2,...,nM},将其归一化:
3)计算每个文件的备份数:设n是平均备份数,也就是于是要满足大文件备份数少,而小文件备份数多的要求,需满足定义***的整体可用性为:这里表示第k个文件在***中不可用的概率,其中nk为第k个文件的备份数,于是各文件的备份数可通过求解下面的最优化问题得到:
实施例1
CADAL数字图书馆中的所有图书都以打包的形式存储,根据访问日志,得到CADAL数字图书馆中已被访问的图书和尚未被访问的图书,尚未被访问的图书只存放在高可靠性存储之中,而被访问的图书则同时按其备份数存储在以普通服务器搭建的分布式文件***之中。
统计数字图书馆中被访问过的图书的大小和访问频率,得到文件的大小为{s1,s2,...,sM},被用户访问的次数为{f1,f2,...,fM},分布如图4和图5所示,从图4只可以看到图书的大小是不均匀的,一小部分图书远大于平均大小;从图5中可以看到前10的图书其访问量占有前100图书的52.12%,表明图书的访问也是极不均衡的;设MTTF=1年,即分布式文件***中机器的平均故障时间为1年,设b=2Mpbs,经统计分布式文件***中,每台机器大概存储200GB,即s=200GB,于是可以计算得到和预先设定***的平均备份数n=3,最终得到每本书的备份数其分布如图6所示,发现图书的备份数与fk/sk相关,而且只有一部分图书其备份数是平均备份数。设本发明所提的动态备份管理策略与均衡备份管理策略的可靠性分别表示为和其中和分别表示动态备份管理策略和均衡备份管理策略下第k个文件不可用的概率,于是两种方法的可靠性差距表示为:reldis=Ra-Rb,图7比较了本发明所提的动态备份管理策略与均衡备份管理策略的***可靠性,可以看出本发明提到的动态备份管理策略***可靠性优于均衡备份管理策略。设某台服务器处理某个文件的请求响应时间服从概率分布F,则拥有n个备份的文件被请求时的响应时间服从分布为F′=Fmin(1,2,...,n)=1-(1-F)n,设F服从正态分布N(1,1),***的整体响应时间为这里tk为第k个文件的平均响应时间,它服从图8比较了本发明所提的动态备份管理策略与均衡备份管理策略的请求响应时间,可以看出,本发明所提的动态备份管理策略较均衡备份管理策略能缩减***响应时间。
Claims (4)
1.一种支持海量小文件和动态备份数的数字图书馆存储***的构建方法,其特征在于包括如下步骤:
1)采用由传输层和存储层构成的两层体系架构实现数字图书馆门户访问文件过程,传输层由代理服务器和代理管理器组成,代理服务器负责从存储层读取数据,然后缓存在本地,代理管理器用来管理各代理服务器,维护每个代理服务器的负载、缓存摘要以及心跳信息,用于负载均衡、请求转发以及代理服务器管理;传输层主要负责存储层与数字图书馆门户之间的数据传输,并在此层实现负载均衡、缓存以及预取,而存储层主要负责数据的存储,由分布式文件***和高可靠性存储组成,保持整个***同时具有高可靠性和可用性;
2)采用打包方式处理海量小文件,为每本书包含的大量小书页文件生成一个大文件存放在存储***中,同时在大文件头上生成小文件的索引,用于小文件的随机访问;
3)基于文件大小和文件访问频率动态计算文件的备份数。
2.根据权利要求1所述的一种支持海量小文件和动态备份数的数字图书馆存储***的构建方法,其特征在于所述的采用由传输层和存储层构成的两层体系架构实现数字图书馆门户访问文件过程步骤包括:首先,将访问请求转发给代理管理器,代理管理器根据其维护的每台代理服务器的缓存摘要和负载信息,将请求转发给缓存中包含请求文件或负载较小的代理服务器中;然后,代理服务器收到访问请求后,查看本地缓存,如果缓存中包含所需文件,则读取后直接返回,否则访问存储层读取书页;在存储层中,先访问分布式文件***,如果存在,则返回并在代理服务器中缓存,并更新缓存摘要,否则访问高可靠性存储;每次访问都在日志中记录,用来计算文件的访问频率。
3.根据权利要求1所述的一种支持海量小文件和动态备份数的数字图书馆存储***的构建方法,其特征在于所述的采用打包方式处理海量小文件步骤包括:
生成的大文件包含以下字段:Version字段存储结构的版本,用来表示该结构体的编解码方法;Metadata字段存储文件的相关信息,包括文件的格式、小文件数目以及其它元数据信息;Offset中记录了各小文件在“包”中的相对位置信息;File Length、File Block和Checksum是存储了小文件的长度、内容和内容的校验码,于是,访问第i个小文件的流程为:首先读取固定长度的Version和Metadata信息,得到解码方式和文件信息num_of_pages,然后再跳过4*(i-1)个字节,读接下来的4个字节得到小文件的Offset,然后再跳过(num_of_pages-i-1)*4+Offset个字节,读接下来的4个字节得到File Length,再读取File Length个字节得到小文件的内容,然后再读取接下来的4个字节得到校验码Checksum,如果小文件内容通过检验码校验,则返回小文件内容,否则返回读取出错信息。
4.根据权利要求1所述的一种支持海量小文件和动态备份数的数字图书馆存储***的构建方法,其特征在于所述的基于文件大小和文件访问频率动态计算文件的备份数步骤包括:
1)计算备份数为n的文件在分布式文件***中不可用的概率:设一个文件的备份数为n,则通过生死过程模型计算该文件在分布式文件***中不可用的概率为:其中λk表示从含有k个备份生成k+1个备份的速度,μk+1表示因设备故障等原因从含有k+1个备份变成k个备份的速度,在构建方法中,λ0表示从可靠性存储中生成一个备份存到分布式文件***中的速度,当0<k≤n时,设λk=λ,μk=kμ,这样可得到:μ可以通过分布式文件***中机器的平均故障时间MTTF得到λ与网络带宽b和待修复的数据量s相关,可计算为
2)计算数字图书馆中图书的大小和访问信息:设数字图书馆中有图书N本,每本被打包成一个大文件,即有N个文件,该N个文件均在高可靠性存储中存有一个备份以保证可靠性,设有M个文件已被用户访问,则有N-M个文件未被用户访问,于是在分布式文件***中只保存了被用户访问的M个文件的备份,以增加***可用性;假设每个文件的大小分别为{s1,s2,...,sM},被用户访问的次数分别为{f1,f2,...,fM},备份数分别为{n1,n2,...,nM},将其归一化:
3)计算每个文件的备份数:设n是平均备份数,也就是于是要满足大文件备份数少,而小文件备份数多的要求,需满足定义***的整体可用性为:这里表示第k个文件在***中不可用的概率,其中nk为第k个文件的备份数,于是各文件的备份数可通过求解下面的最优化问题得到:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102625841A CN101916289B (zh) | 2010-08-20 | 2010-08-20 | 支持海量小文件和动态备份数的数字图书馆存储***的构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102625841A CN101916289B (zh) | 2010-08-20 | 2010-08-20 | 支持海量小文件和动态备份数的数字图书馆存储***的构建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101916289A true CN101916289A (zh) | 2010-12-15 |
CN101916289B CN101916289B (zh) | 2012-11-14 |
Family
ID=43323801
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010102625841A Active CN101916289B (zh) | 2010-08-20 | 2010-08-20 | 支持海量小文件和动态备份数的数字图书馆存储***的构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101916289B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102156730A (zh) * | 2011-04-07 | 2011-08-17 | 江苏省电力公司 | 基于文件存储动态聚合的优化方法 |
CN102622185A (zh) * | 2011-01-27 | 2012-08-01 | 北京东方广视科技股份有限公司 | 在多个存储单元中存储文件的方法以及存储分配方法 |
CN102955764A (zh) * | 2011-08-23 | 2013-03-06 | 北京中文在线数字出版股份有限公司 | 一种数字图书提供方法及装置 |
CN103049559A (zh) * | 2012-12-29 | 2013-04-17 | 深圳先进技术研究院 | 一种海量数据自动放置方法和装置 |
CN104408091A (zh) * | 2014-11-11 | 2015-03-11 | 清华大学 | 分布式文件***的数据存储方法及*** |
CN104572670A (zh) * | 2013-10-15 | 2015-04-29 | 方正国际软件(北京)有限公司 | 一种小文件的存储、查询及删除方法和*** |
CN105282236A (zh) * | 2015-09-16 | 2016-01-27 | 上海亿保健康管理有限公司 | 一种分布式缓存方法及装置 |
CN106203154A (zh) * | 2016-06-27 | 2016-12-07 | 联想(北京)有限公司 | 一种文件存储方法及电子设备 |
CN106446079A (zh) * | 2016-09-08 | 2017-02-22 | 中国科学院计算技术研究所 | 一种面向分布式文件***的文件预取/缓存方法及装置 |
CN109344122A (zh) * | 2018-10-15 | 2019-02-15 | 中山大学 | 一种基于文件预创策略的分布式元数据管理方法及*** |
TWI743474B (zh) * | 2019-04-26 | 2021-10-21 | 鴻齡科技股份有限公司 | 存儲資源管理裝置及管理方法 |
CN114205416A (zh) * | 2021-10-27 | 2022-03-18 | 北京旷视科技有限公司 | 资源缓存方法、装置、电子设备和计算机可读介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010042171A1 (en) * | 2000-05-09 | 2001-11-15 | Christophe Vermeulen | Caching of files during loading from a distributed file system |
CN101610287A (zh) * | 2009-06-16 | 2009-12-23 | 浙江大学 | 一种应用于分布式海量存储***的负载均衡方法 |
-
2010
- 2010-08-20 CN CN2010102625841A patent/CN101916289B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010042171A1 (en) * | 2000-05-09 | 2001-11-15 | Christophe Vermeulen | Caching of files during loading from a distributed file system |
CN101610287A (zh) * | 2009-06-16 | 2009-12-23 | 浙江大学 | 一种应用于分布式海量存储***的负载均衡方法 |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102622185A (zh) * | 2011-01-27 | 2012-08-01 | 北京东方广视科技股份有限公司 | 在多个存储单元中存储文件的方法以及存储分配方法 |
CN102622185B (zh) * | 2011-01-27 | 2015-09-23 | 北京东方广视科技股份有限公司 | 在多个存储单元中存储文件的方法以及存储分配方法 |
CN102156730A (zh) * | 2011-04-07 | 2011-08-17 | 江苏省电力公司 | 基于文件存储动态聚合的优化方法 |
CN102156730B (zh) * | 2011-04-07 | 2013-03-20 | 江苏省电力公司 | 基于文件存储动态聚合的优化方法 |
CN102955764A (zh) * | 2011-08-23 | 2013-03-06 | 北京中文在线数字出版股份有限公司 | 一种数字图书提供方法及装置 |
CN102955764B (zh) * | 2011-08-23 | 2015-01-14 | 北京中文在线数字出版股份有限公司 | 一种数字图书提供方法及装置 |
CN103049559A (zh) * | 2012-12-29 | 2013-04-17 | 深圳先进技术研究院 | 一种海量数据自动放置方法和装置 |
CN104572670B (zh) * | 2013-10-15 | 2019-07-23 | 方正国际软件(北京)有限公司 | 一种小文件的存储、查询及删除方法和*** |
CN104572670A (zh) * | 2013-10-15 | 2015-04-29 | 方正国际软件(北京)有限公司 | 一种小文件的存储、查询及删除方法和*** |
CN104408091A (zh) * | 2014-11-11 | 2015-03-11 | 清华大学 | 分布式文件***的数据存储方法及*** |
CN104408091B (zh) * | 2014-11-11 | 2019-03-01 | 清华大学 | 分布式文件***的数据存储方法及*** |
CN105282236A (zh) * | 2015-09-16 | 2016-01-27 | 上海亿保健康管理有限公司 | 一种分布式缓存方法及装置 |
CN105282236B (zh) * | 2015-09-16 | 2018-04-03 | 上海亿保健康管理有限公司 | 一种分布式缓存方法及装置 |
CN106203154A (zh) * | 2016-06-27 | 2016-12-07 | 联想(北京)有限公司 | 一种文件存储方法及电子设备 |
CN106446079B (zh) * | 2016-09-08 | 2019-06-18 | 中国科学院计算技术研究所 | 一种面向分布式文件***的文件预取/缓存方法及装置 |
CN106446079A (zh) * | 2016-09-08 | 2017-02-22 | 中国科学院计算技术研究所 | 一种面向分布式文件***的文件预取/缓存方法及装置 |
CN109344122A (zh) * | 2018-10-15 | 2019-02-15 | 中山大学 | 一种基于文件预创策略的分布式元数据管理方法及*** |
CN109344122B (zh) * | 2018-10-15 | 2020-05-15 | 中山大学 | 一种基于文件预创策略的分布式元数据管理方法及*** |
TWI743474B (zh) * | 2019-04-26 | 2021-10-21 | 鴻齡科技股份有限公司 | 存儲資源管理裝置及管理方法 |
CN114205416A (zh) * | 2021-10-27 | 2022-03-18 | 北京旷视科技有限公司 | 资源缓存方法、装置、电子设备和计算机可读介质 |
CN114205416B (zh) * | 2021-10-27 | 2024-03-12 | 北京旷视科技有限公司 | 资源缓存方法、装置、电子设备和计算机可读介质 |
Also Published As
Publication number | Publication date |
---|---|
CN101916289B (zh) | 2012-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101916289B (zh) | 支持海量小文件和动态备份数的数字图书馆存储***的构建方法 | |
CN104935648B (zh) | 一种高性价比的cdn***及文件预推、分片缓存的方法 | |
US10489422B2 (en) | Reducing data volume durability state for block-based storage | |
CN102523234B (zh) | 一种应用服务器集群实现方法及*** | |
US9720620B1 (en) | Efficient data volume replication for block-based storage | |
CN102662992B (zh) | 一种海量小文件的存储、访问方法及装置 | |
US10659225B2 (en) | Encrypting existing live unencrypted data using age-based garbage collection | |
CN101510219B (zh) | 文件数据访问方法、装置以及*** | |
CN102855239B (zh) | 一种分布式地理文件*** | |
CN104317736B (zh) | 一种分布式文件***多级缓存实现方法 | |
CN107832423B (zh) | 一种用于分布式文件***的文件读写方法 | |
US20150332191A1 (en) | Reducing costs related to use of networks based on pricing heterogeneity | |
CN102439580A (zh) | 用于网络加速以及对高速缓存文件***进行高效索引编制的***及方法 | |
CN103366016A (zh) | 基于hdfs的电子文件集中存储及优化方法 | |
CN102904948A (zh) | 一种超大规模低成本存储*** | |
CN103078936A (zh) | 基于gfs的分布式文件***的元数据分级存储方法和*** | |
CN103037004A (zh) | 云存储***操作的实现方法和装置 | |
CN109783018A (zh) | 一种数据存储的方法及装置 | |
CN107368608A (zh) | 基于arc替换算法的hdfs小文件缓存管理方法 | |
CN104395892A (zh) | 在缓存***的c项的存储缓存器中管理n项的列表的存储的方法 | |
CN106528451A (zh) | 针对小文件的二级缓存预取的云存储框架及构建方法 | |
CN105516313A (zh) | 一种用于大数据的分布式存储*** | |
CN102868727A (zh) | 一种实现逻辑卷高可用性的方法 | |
CN107422989A (zh) | 一种Server SAN***多副本读取方法及存储架构 | |
CN113806300A (zh) | 数据存储方法、***、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |