CN107943867A - 支持异构存储的高性能层次化存储*** - Google Patents
支持异构存储的高性能层次化存储*** Download PDFInfo
- Publication number
- CN107943867A CN107943867A CN201711106687.7A CN201711106687A CN107943867A CN 107943867 A CN107943867 A CN 107943867A CN 201711106687 A CN201711106687 A CN 201711106687A CN 107943867 A CN107943867 A CN 107943867A
- Authority
- CN
- China
- Prior art keywords
- file
- data
- storage
- data block
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 101
- 238000007726 management method Methods 0.000 claims abstract description 27
- 238000013500 data storage Methods 0.000 claims abstract description 11
- 238000012544 monitoring process Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 6
- 238000012800 visualization Methods 0.000 claims abstract description 6
- 230000008901 benefit Effects 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 16
- 238000013517 stratification Methods 0.000 claims description 12
- 238000012217 deletion Methods 0.000 claims description 9
- 230000037430 deletion Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000007792 addition Methods 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000013523 data management Methods 0.000 claims description 2
- 238000013508 migration Methods 0.000 description 4
- 230000005012 migration Effects 0.000 description 4
- 230000033228 biological regulation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007599 discharging Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013028 medium composition Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种支持异构存储的高性能层次化存储***,包括:文件***模块,提供不同存储介质上的数据文件的统一访问;数据块存储模块,通过数据切片方式将完整数据分散存储到各个不同的节点;元数据管理模块,元数据管理模块结合集中与分散管理的优势,采用多副本分布式冗余存储的方法;存储调度模块,一方面它实现数据副本在各个节点间的调度,另一方面它实现数据块在内存、SSD以及HDD三种不同存储介质之间的调度;可视化模块,主要提供整个存储***的使用情况,实时监测的展示,以及动态调整的可视化操作。本发明有效解决海量大数据访问低效问题,提升平台的数据存储和访问效率。
Description
技术领域
本发明涉及一种存储***,具体地,涉及一种支持异构存储的高性能层次化存储***。
背景技术
在海量大数据的需求下,数据存储的数据分布和数据访问速度对数据处理影响巨大,合理的大数据存储能力和分布能力决定着数据可访问性,高效的数据访问能力决定着计算处理速度。
在影像数据处理平台中,数据主要采用集中存储,在面对高分辨率,大数据量的影像数据文件,平台存储处理如果效率不高,在时间紧急等情况下,***无法完成规模化的数据处理。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种支持异构存储的高性能层次化存储***,其通过能利用异构存储进行大数据的分层存储,配合合理的数据层次化存储算法,可以有效解决海量大数据访问低效问题,提升平台的数据存储和访问效率。
根据本发明的一个方面,提供一种支持异构存储的高性能层次化存储***,其特征在于,包括:
文件***模块,提供不同存储介质上的数据文件的统一访问;文件***负责组织、管理、维护分布式文件***存储的所有数据文件,文件在文件***中以主文件、目录文件、元文件进行存储;
数据块存储模块,通过数据切片方式将完整数据分散存储到各个不同的节点,数据访问可以以并发的方式提高访问速度;数据块存储模块采用定长分块算法对数据块进行划分;该算法采用预先义好的块大小对文件进行切分,并进行弱校验值和md5强校验值;弱校验值主要是为了提升差异编码的性能,先计算弱校验值并进行hash查找,如果发现则计算md5强校验值并作进一步hash查找;由于弱校验值计算量要比md5小很多,因此可以有效提高编码性能;
元数据管理模块,元数据是用来记录文件***中文件和数据块的对应信息,元数据管理模块结合集中与分散管理的优势,采用多副本分布式冗余存储的方法;提供了元数据多备份处理和版本控制,以实现元数据的容错性和高可用性;
存储调度模块,一方面它实现数据副本在各个节点间的调度,另一方面它实现数据块在内存、SSD以及HDD三种不同存储介质之间的调度;
可视化模块,主要提供整个存储***的使用情况,实时监测的展示,以及动态调整的可视化操作。
优选地,所述文件***模块又包括两个子模块,文件描述子模块和文件体子模块;文件描述子模块记录着对文件大小、类型、文件标志、读写权限等的描述;文件体子模块记录着文件的实际数据信息。
优选地,所述文件***模块包括以下功能:
文件创建,所有的元数据操作,以及用于文件打开的读操作和写操作,通过文件***对象返回文件流对象来执行;
文件写,文件***通过访问元数据模块,获取文件信息,再结合文件***调度模块,选择数据块存储位置,文件***便可以将文件写入数据块选择存储的存储层;
文件读,通过文件***对象可以修改文件元数据,或者通过获取一个个输入流来读取文件。
优选地,所述数据块存储模块包括以下功能:
数据块分配,所有的文件都是以块存储,块存储模块根据文件大小分配定长的数据块进行文件数据存储,同时数据块分布在不同的机器节点上;
数据块冗余,为了保证数据的高可靠性,底层通过数据块冗余来保证数据多副本,副本数可以进行预选设置;
数据块重平衡,保证文件***使用过程中,数据块的分布均匀,不会因数据块集中而造成数据访问性能丢失。
优选地,所述元数据管理模块包括以下功能:
中央存储库:保存所有的元数据集中存储,负责***正常运转时元数据服务访问;
分布式冗余备份:依据***中不同节点与中央存储库的网络距离对元数据进行备份,使得在元数据在遭遇破坏时能够及时恢复;极端情况下,在某个存储介质发生损坏时,依然可以通过元数据备份访问数据块;
元数据的版本控制:采用树形结构保存一定数目的历史版本,以便用户对不同的版本间的恢复,降低错误的更改对***造成的影响。
优选地,所述存储调度模块在各个节点之间的分配调度有以下三种策略选择:
贪心分配策略:分配数据块到首个有足够空间的存储节点;
最大剩余空间分配策略:分配数据块到有最大剩余空间的存储节点;
轮询调度分配策略:分配数据块到通过轮询调度选出节点。
优选地,所述可视化模块包括以下功能:
增删数据:增删数据提供对存储***中各个层次的数据的上传与删除等基本的管理工作,方便了用户的操作;
***展示:***展示模块显示了整个***的使用概况,各个存储层次的负载情况等;
监测管理:监测管理是对整个***的运行状况的实时监测,以便及时发现过载或者受损的存储介质,对其中的数据进行备份和迁移;
存储配置:存储配置则是***的存储配置管理模块,实现了对***的可视化配置,便于集群的管理;同时提供配置文件的版本控制的功能,以实现版本间的快速恢复。
与现有技术相比,本发明具有如下的有益效果:
(1)由于数据分层存储,热点数据副本优先加载到性能高的存储,***根据数据特性充分发挥异构存储的高性能。
(2)数据动态调整,现有分布式存储方案都是数据副本静态存储,数据不做迁移,本方案会根据数据的时效性实现数据的动态存储。
(3)采用分布式内存缓存数据,相对于集中存储,热点数据只有常用的副本会在内存或高速存储,其他副本可以持久化到磁盘或低速存储,一方面加速分布式计算,一方面提高磁盘利用率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明支持异构存储的高性能层次化存储***的原理框图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
如图1所示,本发明支持异构存储的高性能层次化存储***包括:
文件***模块,提供不同存储介质上的数据文件的统一访问。文件***负责组织、管理、维护分布式文件***存储的所有数据文件,文件在文件***中以主文件、目录文件、元文件进行存储。
数据块存储模块,通过数据切片方式将完整数据分散存储到各个不同的节点,数据访问可以以并发的方式提高访问速度。数据块存储模块采用定长分块算法对数据块进行划分。该算法采用预先义好的块大小对文件进行切分,并进行弱校验值和md5强校验值。弱校验值主要是为了提升差异编码的性能,先计算弱校验值并进行hash查找,如果发现则计算md5强校验值并作进一步hash查找。由于弱校验值计算量要比md5小很多,因此可以有效提高编码性能;
元数据管理模块,元数据是用来记录文件***中文件和数据块的对应信息,元数据管理模块结合集中与分散管理的优势,采用多副本分布式冗余存储的方法。提供了元数据多备份处理和版本控制,以实现元数据的容错性和高可用性;
存储调度模块,一方面它实现数据副本在各个节点间的调度,另一方面它实现数据块在内存、SSD以及HDD三种不同存储介质之间的调度;
可视化模块,主要提供整个存储***的使用情况,实时监测的展示,以及动态调整的可视化操作。
文件***模块又包括两个子模块,文件描述子模块和文件体子模块;文件描述子模块记录着对文件大小、类型、文件标志、读写权限等的描述;文件体子模块记录着文件的实际数据信息。
文件***模块包括以下功能:
文件创建,所有的元数据操作,以及用于文件打开的读操作和写操作,通过文件***对象返回文件流对象来执行;
文件写,文件***通过访问元数据模块,获取文件信息,再结合文件***调度模块,选择数据块存储位置,文件***便可以将文件写入数据块选择存储的存储层;
文件读,通过文件***对象可以修改文件元数据,或者通过获取一个个输入流来读取文件。
数据块存储模块包括以下功能:
数据块分配,所有的文件都是以块存储,块存储模块根据文件大小分配定长的数据块进行文件数据存储,同时数据块分布在不同的机器节点上;
数据块冗余,为了保证数据的高可靠性,底层通过数据块冗余来保证数据多副本,副本数可以进行预选设置;
数据块重平衡,保证文件***使用过程中,数据块的分布均匀,不会因数据块集中而造成数据访问性能丢失。
元数据管理模块包括以下功能:
中央存储库:保存所有的元数据集中存储,负责***正常运转时元数据服务访问;
分布式冗余备份:依据***中不同节点与中央存储库的网络距离对元数据进行备份,使得在元数据在遭遇破坏时能够及时恢复;极端情况下,在某个存储介质发生损坏时,依然可以通过元数据备份访问数据块;
元数据的版本控制:采用树形结构保存一定数目(用户可自行设置)的历史版本,以便用户对不同的版本间的恢复,降低错误的更改对***造成的影响。
存储调度模块在各个节点之间的分配调度有三种策略可以选择:
(1)贪心分配策略:分配数据块到首个有足够空间的存储节点;
(2)最大剩余空间分配策略:分配数据块到有最大剩余空间的存储节点;
(3)轮询调度分配策略:分配数据块到通过轮询调度选出节点。
可视化模块包括以下功能:
增删数据:增删数据提供对存储***中各个层次的数据的上传与删除等基本的管理工作,方便了用户的操作;
***展示:***展示模块显示了整个***的使用概况,各个存储层次的负载情况等;
监测管理:监测管理是对整个***的运行状况的实时监测,以便及时发现过载或者受损的存储介质,对其中的数据进行备份和迁移;
存储配置:存储配置则是***的存储配置管理模块,实现了对***的可视化配置,便于集群的管理;同时提供配置文件的版本控制的功能,以实现版本间的快速恢复。
数据在内存、SSD以及HDD之间的存储调度,则主要是依据数据热度评价机制,尽可能使得内存中尽量缓存访问频度高的数据副本,SSD保存访问频度次之的数据副本,而HDD则保存冷数据副本。数据的热度一方面可以由***为每个用户设定,也可以在用户上传数据的时候指定一种热度。热度分为0到3四种级别,设定了三个副本在不同节点上的存储层次,如表1所示。此种存储策略能发挥高存取效率,在保证数据高可靠性的同时提高了存储容量的利用率。
表1数据热度存储策略
热度级别 | 主副本 | 从副本 | 从副本 |
0 | 内存 | SSD | SSD |
1 | 内存 | SSD | HDD |
2 | SSD | HDD | HDD |
3 | HDD | HDD | HDD |
由于分布式文件***采用副本冗余的策略实现数据高可用性,但是实际在使用中,并不是每个副本都具备很高的被访问性。***实现热数据副本的动态迁移,热副本加载到内存,冷副本持久化到磁盘。
存储迁移保证了数据根据实际需求或者实际使用情况,在一个节点之间不同存储层级之间的迁移。通常来讲,某个文件最近一段时间的平均I/O可以反映此文件的热度;但是有些文件即使不经常访问,但是需要其在访问时及时被调用。所以我们为用户提供了一个可配置文件重要性的参数。
若规定文件为重要文件,则保留一份副本在内存中永不降级,若规定文件为次重要文件;则保留一份副本在SSD,根据文件近期平均I/O确定是否回迁;若规定文件为不重要,则保留副本在HDD,同样根据文件近期平均I/O确定是否回迁。考虑到存储容量的问题,最终的存储层级根据文件重要性,平均I/O和剩余磁盘大小三个参数最终决定的。
基于平均I/O确定文件层级的策略如下:
平均热度近似计算公式如下式(1):
I/Oavg=(Anew-Aold)/(S·T)…………(1)
其中,Anew为根据记录日志读取的文件最近I/O活动的统计值,Aold为最早的统计值,S表示文件大小,T表示预设的时间值。
工作流程如下:在一定时间T内,计算该层级下所有文件的I/Oavg,并找出最大值max和最小值min。设置一定的I/O阈值,将小于此值的目标文件存放至迁移队列。对于次层级的文件层次,设置回迁阈值,若大于该值,则将文件放入回迁队列。
根据磁盘空间确定文件层级的策略:内存、SSD以及HDD三个存储层次的速度与容量呈现金字塔形状,为了解决越上层次的存储空间越容易占满的问题,对内存层和SSD层分别设置一个预留空间使用率的阈值,最大值Cmax和最小值Cmin。若实际利用率大于Cmax,则文件***强制进行文件迁出,若实际利用率介于Cmin和Cmax之间,则暂停数据写操作,允许数据迁出操作;若实际利用率小于Cmin,则暂停数据迁出操作允许数据的写入。
优先从未被标记重要级别的文件,以及低重要性数据中选择哪些数据进行迁出。选择迁出的策略,提供了以下三种方式:贪心回收策略:移出任意的块直到释放出所需大小的空间。LRU回收策略:移出最近最少使用的数据块直到释放出所需大小的空间。部分LRU回收策略:基于最近最少使用移出,但是选择有最大剩余空间的存储目录,只从该目录移出数据块。
本发明是一个动态调整的高效存储技术,通过它可以构建高效的数据存储***。数据存储***由内存,SSD和HDD等不同存储介质组成,不同存储介质之间通过软件定义进行数据统一管理。数据存储***主要包括文件***模块、数据块存储模块、元数据管理模块和存储调度模块,向外部提供数据统一访问接口,数据管理,数据存储操作等功能。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。
Claims (7)
1.一种支持异构存储的高性能层次化存储***,其特征在于,包括:
文件***模块,提供不同存储介质上的数据文件的统一访问;文件***负责组织、管理、维护分布式文件***存储的所有数据文件,文件在文件***中以主文件、目录文件、元文件进行存储;
数据块存储模块,通过数据切片方式将完整数据分散存储到各个不同的节点,数据访问可以以并发的方式提高访问速度;数据块存储模块采用定长分块算法对数据块进行划分;该算法采用预先义好的块大小对文件进行切分,并进行弱校验值和md5强校验值;弱校验值主要是为了提升差异编码的性能,先计算弱校验值并进行hash查找,如果发现则计算md5强校验值并作进一步hash查找;由于弱校验值计算量要比md5小很多,因此可以有效提高编码性能;
元数据管理模块,元数据是用来记录文件***中文件和数据块的对应信息,元数据管理模块结合集中与分散管理的优势,采用多副本分布式冗余存储的方法;提供了元数据多备份处理和版本控制,以实现元数据的容错性和高可用性;
存储调度模块,一方面它实现数据副本在各个节点间的调度,另一方面它实现数据块在内存、SSD以及HDD三种不同存储介质之间的调度;
可视化模块,主要提供整个存储***的使用情况,实时监测的展示,以及动态调整的可视化操作。
2.根据权利要求1所述的支持异构存储的高性能层次化存储***,其特征在于,所述文件***模块又包括两个子模块,文件描述子模块和文件体子模块;文件描述子模块记录着对文件大小、类型、文件标志、读写权限等的描述;文件体子模块记录着文件的实际数据信息。
3.根据权利要求1所述的支持异构存储的高性能层次化存储***,其特征在于,所述文件***模块包括以下功能:
文件创建,所有的元数据操作,以及用于文件打开的读操作和写操作,通过文件***对象返回文件流对象来执行;
文件写,文件***通过访问元数据模块,获取文件信息,再结合文件***调度模块,选择数据块存储位置,文件***便可以将文件写入数据块选择存储的存储层;
文件读,通过文件***对象可以修改文件元数据,或者通过获取一个个输入流来读取文件。
4.根据权利要求1所述的支持异构存储的高性能层次化存储***,其特征在于,所述数据块存储模块包括以下功能:
数据块分配,所有的文件都是以块存储,块存储模块根据文件大小分配定长的数据块进行文件数据存储,同时数据块分布在不同的机器节点上;
数据块冗余,为了保证数据的高可靠性,底层通过数据块冗余来保证数据多副本,副本数可以进行预选设置;
数据块重平衡,保证文件***使用过程中,数据块的分布均匀,不会因数据块集中而造成数据访问性能丢失。
5.根据权利要求1所述的支持异构存储的高性能层次化存储***,其特征在于,所述元数据管理模块包括以下功能:
中央存储库:保存所有的元数据集中存储,负责***正常运转时元数据服务访问;
分布式冗余备份:依据***中不同节点与中央存储库的网络距离对元数据进行备份,使得在元数据在遭遇破坏时能够及时恢复;极端情况下,在某个存储介质发生损坏时,依然可以通过元数据备份访问数据块;
元数据的版本控制:采用树形结构保存一定数目的历史版本,以便用户对不同的版本间的恢复,降低错误的更改对***造成的影响。
6.根据权利要求1所述的支持异构存储的高性能层次化存储***,其特征在于,所述存储调度模块在各个节点之间的分配调度有以下三种策略选择:
贪心分配策略:分配数据块到首个有足够空间的存储节点;
最大剩余空间分配策略:分配数据块到有最大剩余空间的存储节点;
轮询调度分配策略:分配数据块到通过轮询调度选出节点。
7.根据权利要求1所述的支持异构存储的高性能层次化存储***,其特征在于,所述可视化模块包括以下功能:
增删数据:增删数据提供对存储***中各个层次的数据的上传与删除等基本的管理工作,方便了用户的操作;
***展示:***展示模块显示了整个***的使用概况,各个存储层次的负载情况等;
监测管理:监测管理是对整个***的运行状况的实时监测,以便及时发现过载或者受损的存储介质,对其中的数据进行备份和迁移;
存储配置:存储配置则是***的存储配置管理模块,实现了对***的可视化配置,便于集群的管理;同时提供配置文件的版本控制的功能,以实现版本间的快速恢复。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711106687.7A CN107943867B (zh) | 2017-11-10 | 2017-11-10 | 支持异构存储的高性能层次化存储*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711106687.7A CN107943867B (zh) | 2017-11-10 | 2017-11-10 | 支持异构存储的高性能层次化存储*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107943867A true CN107943867A (zh) | 2018-04-20 |
CN107943867B CN107943867B (zh) | 2021-11-23 |
Family
ID=61934815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711106687.7A Active CN107943867B (zh) | 2017-11-10 | 2017-11-10 | 支持异构存储的高性能层次化存储*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107943867B (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109032809A (zh) * | 2018-08-13 | 2018-12-18 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 基于遥感影像存储位置的异构并行调度*** |
CN109062505A (zh) * | 2018-07-13 | 2018-12-21 | 南瑞集团有限公司 | 一种缓存策略写入分层硬件架构下的写性能优化方法 |
CN109271871A (zh) * | 2018-08-22 | 2019-01-25 | 平安科技(深圳)有限公司 | 样本存储路径生成方法、装置、计算机设备及存储介质 |
CN109284072A (zh) * | 2018-09-28 | 2019-01-29 | 北京航空航天大学 | 一种针对异构存储***的自适应数据动态调度方法和*** |
CN109714402A (zh) * | 2018-12-12 | 2019-05-03 | 胡书恺 | 一种冗余数据采集***及其运行使用方法 |
CN110659249A (zh) * | 2019-09-25 | 2020-01-07 | 浪潮电子信息产业股份有限公司 | 一种元数据子树迁移方法、装置、设备及可读存储介质 |
CN111176584A (zh) * | 2019-12-31 | 2020-05-19 | 曙光信息产业(北京)有限公司 | 一种基于混合内存的数据处理方法及装置 |
CN111309270A (zh) * | 2020-03-13 | 2020-06-19 | 清华大学 | 一种持久性内存键值存储*** |
CN111367639A (zh) * | 2020-03-06 | 2020-07-03 | 中国科学技术大学 | 面向异构突发数据缓存的基于结构感知的i/o调度方法 |
CN111400318A (zh) * | 2020-03-09 | 2020-07-10 | 北京易华录信息技术股份有限公司 | 一种数据存储的调度策略的生成方法及装置 |
CN111427844A (zh) * | 2020-04-15 | 2020-07-17 | 成都信息工程大学 | 一种面向文件分级存储的数据迁移***及方法 |
CN111866038A (zh) * | 2019-04-25 | 2020-10-30 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 基于异构多副本的分布式存储动态防御***及方法 |
CN111881107A (zh) * | 2020-08-05 | 2020-11-03 | 北京计算机技术及应用研究所 | 支持多文件***挂载的分布式存储方法 |
CN111970520A (zh) * | 2020-08-13 | 2020-11-20 | 北京中电兴发科技有限公司 | 一种异构节点流式数据分布式存储方法 |
CN112948343A (zh) * | 2021-03-25 | 2021-06-11 | 兴业数字金融服务(上海)股份有限公司 | 基于分布式大数据块的海量内容存储***和方法 |
CN112947860A (zh) * | 2021-03-03 | 2021-06-11 | 成都信息工程大学 | 一种分布式数据副本的分级存储与调度方法 |
WO2023070935A1 (zh) * | 2021-10-28 | 2023-05-04 | 华为云计算技术有限公司 | 一种数据存储方法、装置及相关设备 |
CN117056303A (zh) * | 2023-10-13 | 2023-11-14 | 中国电子科技集团公司第十五研究所 | 适用于军事行动大数据的数据存储方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040225688A1 (en) * | 2003-05-06 | 2004-11-11 | Drew Thaler | File creation API |
CN105243130A (zh) * | 2015-09-29 | 2016-01-13 | 中国电子科技集团公司第三十二研究所 | 面向数据挖掘的文本处理***及方法 |
CN106446126A (zh) * | 2016-09-19 | 2017-02-22 | 哈尔滨航天恒星数据***科技有限公司 | 一种海量空间信息数据存储管理方法及存储管理*** |
CN106682235A (zh) * | 2017-01-18 | 2017-05-17 | 济南浪潮高新科技投资发展有限公司 | 一种异构数据映射***及方法 |
CN107153588A (zh) * | 2017-05-12 | 2017-09-12 | 成都优孚达信息技术有限公司 | 数据编码存储方法 |
CN107291889A (zh) * | 2017-06-20 | 2017-10-24 | 郑州云海信息技术有限公司 | 一种数据存储方法及*** |
-
2017
- 2017-11-10 CN CN201711106687.7A patent/CN107943867B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040225688A1 (en) * | 2003-05-06 | 2004-11-11 | Drew Thaler | File creation API |
CN105243130A (zh) * | 2015-09-29 | 2016-01-13 | 中国电子科技集团公司第三十二研究所 | 面向数据挖掘的文本处理***及方法 |
CN106446126A (zh) * | 2016-09-19 | 2017-02-22 | 哈尔滨航天恒星数据***科技有限公司 | 一种海量空间信息数据存储管理方法及存储管理*** |
CN106682235A (zh) * | 2017-01-18 | 2017-05-17 | 济南浪潮高新科技投资发展有限公司 | 一种异构数据映射***及方法 |
CN107153588A (zh) * | 2017-05-12 | 2017-09-12 | 成都优孚达信息技术有限公司 | 数据编码存储方法 |
CN107291889A (zh) * | 2017-06-20 | 2017-10-24 | 郑州云海信息技术有限公司 | 一种数据存储方法及*** |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109062505A (zh) * | 2018-07-13 | 2018-12-21 | 南瑞集团有限公司 | 一种缓存策略写入分层硬件架构下的写性能优化方法 |
CN109032809A (zh) * | 2018-08-13 | 2018-12-18 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 基于遥感影像存储位置的异构并行调度*** |
CN109271871A (zh) * | 2018-08-22 | 2019-01-25 | 平安科技(深圳)有限公司 | 样本存储路径生成方法、装置、计算机设备及存储介质 |
CN109284072A (zh) * | 2018-09-28 | 2019-01-29 | 北京航空航天大学 | 一种针对异构存储***的自适应数据动态调度方法和*** |
CN109284072B (zh) * | 2018-09-28 | 2020-06-02 | 北京航空航天大学 | 一种针对异构存储***的自适应数据动态调度方法和*** |
CN109714402A (zh) * | 2018-12-12 | 2019-05-03 | 胡书恺 | 一种冗余数据采集***及其运行使用方法 |
CN111866038A (zh) * | 2019-04-25 | 2020-10-30 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 基于异构多副本的分布式存储动态防御***及方法 |
CN110659249A (zh) * | 2019-09-25 | 2020-01-07 | 浪潮电子信息产业股份有限公司 | 一种元数据子树迁移方法、装置、设备及可读存储介质 |
CN111176584A (zh) * | 2019-12-31 | 2020-05-19 | 曙光信息产业(北京)有限公司 | 一种基于混合内存的数据处理方法及装置 |
CN111176584B (zh) * | 2019-12-31 | 2023-10-31 | 曙光信息产业(北京)有限公司 | 一种基于混合内存的数据处理方法及装置 |
CN111367639A (zh) * | 2020-03-06 | 2020-07-03 | 中国科学技术大学 | 面向异构突发数据缓存的基于结构感知的i/o调度方法 |
CN111400318A (zh) * | 2020-03-09 | 2020-07-10 | 北京易华录信息技术股份有限公司 | 一种数据存储的调度策略的生成方法及装置 |
CN111400318B (zh) * | 2020-03-09 | 2023-09-15 | 北京易华录信息技术股份有限公司 | 一种数据存储的调度策略的生成方法及装置 |
CN111309270A (zh) * | 2020-03-13 | 2020-06-19 | 清华大学 | 一种持久性内存键值存储*** |
CN111427844B (zh) * | 2020-04-15 | 2023-05-19 | 成都信息工程大学 | 一种面向文件分级存储的数据迁移***及方法 |
CN111427844A (zh) * | 2020-04-15 | 2020-07-17 | 成都信息工程大学 | 一种面向文件分级存储的数据迁移***及方法 |
CN111881107A (zh) * | 2020-08-05 | 2020-11-03 | 北京计算机技术及应用研究所 | 支持多文件***挂载的分布式存储方法 |
CN111881107B (zh) * | 2020-08-05 | 2022-09-06 | 北京计算机技术及应用研究所 | 支持多文件***挂载的分布式存储方法 |
CN111970520B (zh) * | 2020-08-13 | 2022-04-08 | 北京中电兴发科技有限公司 | 一种异构节点流式数据分布式存储方法 |
CN111970520A (zh) * | 2020-08-13 | 2020-11-20 | 北京中电兴发科技有限公司 | 一种异构节点流式数据分布式存储方法 |
CN112947860A (zh) * | 2021-03-03 | 2021-06-11 | 成都信息工程大学 | 一种分布式数据副本的分级存储与调度方法 |
CN112948343A (zh) * | 2021-03-25 | 2021-06-11 | 兴业数字金融服务(上海)股份有限公司 | 基于分布式大数据块的海量内容存储***和方法 |
WO2023070935A1 (zh) * | 2021-10-28 | 2023-05-04 | 华为云计算技术有限公司 | 一种数据存储方法、装置及相关设备 |
CN117056303A (zh) * | 2023-10-13 | 2023-11-14 | 中国电子科技集团公司第十五研究所 | 适用于军事行动大数据的数据存储方法及装置 |
CN117056303B (zh) * | 2023-10-13 | 2024-01-16 | 中国电子科技集团公司第十五研究所 | 适用于军事行动大数据的数据存储方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107943867B (zh) | 2021-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107943867A (zh) | 支持异构存储的高性能层次化存储*** | |
US8732217B2 (en) | Using a per file activity ratio to optimally relocate data between volumes | |
CN103914516B (zh) | 一种存储***分层管理的方法与*** | |
US9110919B2 (en) | Method for quickly identifying data residing on a volume in a multivolume file system | |
US8909887B1 (en) | Selective defragmentation based on IO hot spots | |
US9355112B1 (en) | Optimizing compression based on data activity | |
CN110058822B (zh) | 一种磁盘阵列横向拓展方法 | |
JP5944587B2 (ja) | 計算機システム及び制御方法 | |
CN107844269A (zh) | 一种基于一致性哈希的分层混合存储***及方法 | |
US9612758B1 (en) | Performing a pre-warm-up procedure via intelligently forecasting as to when a host computer will access certain host data | |
CN103095805A (zh) | 一种对数据进行智能分层管理的云存储*** | |
JP5330503B2 (ja) | ストレージ性能の最適化 | |
CN107291889A (zh) | 一种数据存储方法及*** | |
KR20110087192A (ko) | 데이터 요소 배치 제공 방법 및 컴퓨터 프로그램 제품 | |
CN107798130A (zh) | 一种分布式存储的快照方法 | |
CN104731864A (zh) | 一种海量非结构化数据的数据存储方法 | |
WO2019085769A1 (zh) | 一种数据分层存储、分层查询方法及装置 | |
CN103455577A (zh) | 云主机镜像文件的多备份就近存储和读取方法及*** | |
CN107003814A (zh) | 存储***中的有效元数据 | |
CN101997911A (zh) | 一种数据迁移的方法及*** | |
CN102694828A (zh) | 一种分布式缓存***数据存取的方法及装置 | |
JP7323804B2 (ja) | データ処理装置およびデータ処理プログラム | |
CN109522283A (zh) | 一种重复数据删除方法及*** | |
CN108776690B (zh) | 基于分层治理的hdfs分布式与集中式混合数据存储***的方法 | |
CN113704217A (zh) | 一种分布式持久性内存文件***中元数据及数据组织架构方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |