CN107943867A - 支持异构存储的高性能层次化存储*** - Google Patents
支持异构存储的高性能层次化存储*** Download PDFInfo
- Publication number
- CN107943867A CN107943867A CN201711106687.7A CN201711106687A CN107943867A CN 107943867 A CN107943867 A CN 107943867A CN 201711106687 A CN201711106687 A CN 201711106687A CN 107943867 A CN107943867 A CN 107943867A
- Authority
- CN
- China
- Prior art keywords
- file
- data
- storage
- data block
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 101
- 238000007726 management method Methods 0.000 claims abstract description 27
- 238000013500 data storage Methods 0.000 claims abstract description 11
- 238000012544 monitoring process Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 6
- 238000012800 visualization Methods 0.000 claims abstract description 6
- 230000008901 benefit Effects 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 16
- 238000013517 stratification Methods 0.000 claims description 12
- 238000012217 deletion Methods 0.000 claims description 9
- 230000037430 deletion Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000007792 addition Methods 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000013523 data management Methods 0.000 claims description 2
- 238000013508 migration Methods 0.000 description 4
- 230000005012 migration Effects 0.000 description 4
- 230000033228 biological regulation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007599 discharging Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013028 medium composition Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种支持异构存储的高性能层次化存储***，包括：文件***模块，提供不同存储介质上的数据文件的统一访问；数据块存储模块，通过数据切片方式将完整数据分散存储到各个不同的节点；元数据管理模块，元数据管理模块结合集中与分散管理的优势，采用多副本分布式冗余存储的方法；存储调度模块，一方面它实现数据副本在各个节点间的调度，另一方面它实现数据块在内存、SSD以及HDD三种不同存储介质之间的调度；可视化模块，主要提供整个存储***的使用情况，实时监测的展示，以及动态调整的可视化操作。本发明有效解决海量大数据访问低效问题，提升平台的数据存储和访问效率。
Description
技术领域
本发明涉及一种存储***，具体地，涉及一种支持异构存储的高性能层次化存储***。
背景技术
在海量大数据的需求下，数据存储的数据分布和数据访问速度对数据处理影响巨大，合理的大数据存储能力和分布能力决定着数据可访问性，高效的数据访问能力决定着计算处理速度。
在影像数据处理平台中，数据主要采用集中存储，在面对高分辨率，大数据量的影像数据文件，平台存储处理如果效率不高，在时间紧急等情况下，***无法完成规模化的数据处理。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种支持异构存储的高性能层次化存储***，其通过能利用异构存储进行大数据的分层存储，配合合理的数据层次化存储算法，可以有效解决海量大数据访问低效问题，提升平台的数据存储和访问效率。
根据本发明的一个方面，提供一种支持异构存储的高性能层次化存储***，其特征在于，包括：
文件***模块，提供不同存储介质上的数据文件的统一访问；文件***负责组织、管理、维护分布式文件***存储的所有数据文件，文件在文件***中以主文件、目录文件、元文件进行存储；
数据块存储模块，通过数据切片方式将完整数据分散存储到各个不同的节点，数据访问可以以并发的方式提高访问速度；数据块存储模块采用定长分块算法对数据块进行划分；该算法采用预先义好的块大小对文件进行切分，并进行弱校验值和md5强校验值；弱校验值主要是为了提升差异编码的性能，先计算弱校验值并进行hash查找，如果发现则计算md5强校验值并作进一步hash查找；由于弱校验值计算量要比md5小很多，因此可以有效提高编码性能；
元数据管理模块，元数据是用来记录文件***中文件和数据块的对应信息，元数据管理模块结合集中与分散管理的优势，采用多副本分布式冗余存储的方法；提供了元数据多备份处理和版本控制，以实现元数据的容错性和高可用性；
存储调度模块，一方面它实现数据副本在各个节点间的调度，另一方面它实现数据块在内存、SSD以及HDD三种不同存储介质之间的调度；
可视化模块，主要提供整个存储***的使用情况，实时监测的展示，以及动态调整的可视化操作。
优选地，所述文件***模块又包括两个子模块，文件描述子模块和文件体子模块；文件描述子模块记录着对文件大小、类型、文件标志、读写权限等的描述；文件体子模块记录着文件的实际数据信息。
优选地，所述文件***模块包括以下功能：
文件创建，所有的元数据操作，以及用于文件打开的读操作和写操作，通过文件***对象返回文件流对象来执行；
文件写，文件***通过访问元数据模块，获取文件信息，再结合文件***调度模块，选择数据块存储位置，文件***便可以将文件写入数据块选择存储的存储层；
文件读，通过文件***对象可以修改文件元数据，或者通过获取一个个输入流来读取文件。
优选地，所述数据块存储模块包括以下功能：
数据块分配，所有的文件都是以块存储，块存储模块根据文件大小分配定长的数据块进行文件数据存储，同时数据块分布在不同的机器节点上；
数据块冗余，为了保证数据的高可靠性，底层通过数据块冗余来保证数据多副本，副本数可以进行预选设置；
数据块重平衡，保证文件***使用过程中，数据块的分布均匀，不会因数据块集中而造成数据访问性能丢失。
优选地，所述元数据管理模块包括以下功能：
中央存储库：保存所有的元数据集中存储，负责***正常运转时元数据服务访问；
分布式冗余备份：依据***中不同节点与中央存储库的网络距离对元数据进行备份，使得在元数据在遭遇破坏时能够及时恢复；极端情况下，在某个存储介质发生损坏时，依然可以通过元数据备份访问数据块；
元数据的版本控制：采用树形结构保存一定数目的历史版本，以便用户对不同的版本间的恢复，降低错误的更改对***造成的影响。
优选地，所述存储调度模块在各个节点之间的分配调度有以下三种策略选择：
贪心分配策略：分配数据块到首个有足够空间的存储节点；
最大剩余空间分配策略：分配数据块到有最大剩余空间的存储节点；
轮询调度分配策略：分配数据块到通过轮询调度选出节点。
优选地，所述可视化模块包括以下功能：
增删数据：增删数据提供对存储***中各个层次的数据的上传与删除等基本的管理工作，方便了用户的操作；
***展示：***展示模块显示了整个***的使用概况，各个存储层次的负载情况等；
监测管理：监测管理是对整个***的运行状况的实时监测，以便及时发现过载或者受损的存储介质，对其中的数据进行备份和迁移；
存储配置：存储配置则是***的存储配置管理模块，实现了对***的可视化配置，便于集群的管理；同时提供配置文件的版本控制的功能，以实现版本间的快速恢复。
与现有技术相比，本发明具有如下的有益效果：
(1)由于数据分层存储，热点数据副本优先加载到性能高的存储，***根据数据特性充分发挥异构存储的高性能。
(2)数据动态调整，现有分布式存储方案都是数据副本静态存储，数据不做迁移，本方案会根据数据的时效性实现数据的动态存储。
(3)采用分布式内存缓存数据，相对于集中存储，热点数据只有常用的副本会在内存或高速存储，其他副本可以持久化到磁盘或低速存储，一方面加速分布式计算，一方面提高磁盘利用率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明支持异构存储的高性能层次化存储***的原理框图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
如图1所示，本发明支持异构存储的高性能层次化存储***包括：
文件***模块，提供不同存储介质上的数据文件的统一访问。文件***负责组织、管理、维护分布式文件***存储的所有数据文件，文件在文件***中以主文件、目录文件、元文件进行存储。
数据块存储模块，通过数据切片方式将完整数据分散存储到各个不同的节点，数据访问可以以并发的方式提高访问速度。数据块存储模块采用定长分块算法对数据块进行划分。该算法采用预先义好的块大小对文件进行切分，并进行弱校验值和md5强校验值。弱校验值主要是为了提升差异编码的性能，先计算弱校验值并进行hash查找，如果发现则计算md5强校验值并作进一步hash查找。由于弱校验值计算量要比md5小很多，因此可以有效提高编码性能；
元数据管理模块，元数据是用来记录文件***中文件和数据块的对应信息，元数据管理模块结合集中与分散管理的优势，采用多副本分布式冗余存储的方法。提供了元数据多备份处理和版本控制，以实现元数据的容错性和高可用性；
存储调度模块，一方面它实现数据副本在各个节点间的调度，另一方面它实现数据块在内存、SSD以及HDD三种不同存储介质之间的调度；
可视化模块，主要提供整个存储***的使用情况，实时监测的展示，以及动态调整的可视化操作。
文件***模块又包括两个子模块，文件描述子模块和文件体子模块；文件描述子模块记录着对文件大小、类型、文件标志、读写权限等的描述；文件体子模块记录着文件的实际数据信息。
文件***模块包括以下功能：
文件创建，所有的元数据操作，以及用于文件打开的读操作和写操作，通过文件***对象返回文件流对象来执行；
文件写，文件***通过访问元数据模块，获取文件信息，再结合文件***调度模块，选择数据块存储位置，文件***便可以将文件写入数据块选择存储的存储层；
文件读，通过文件***对象可以修改文件元数据，或者通过获取一个个输入流来读取文件。
数据块存储模块包括以下功能：
数据块分配，所有的文件都是以块存储，块存储模块根据文件大小分配定长的数据块进行文件数据存储，同时数据块分布在不同的机器节点上；
数据块冗余，为了保证数据的高可靠性，底层通过数据块冗余来保证数据多副本，副本数可以进行预选设置；
数据块重平衡，保证文件***使用过程中，数据块的分布均匀，不会因数据块集中而造成数据访问性能丢失。
元数据管理模块包括以下功能：
中央存储库：保存所有的元数据集中存储，负责***正常运转时元数据服务访问；
分布式冗余备份：依据***中不同节点与中央存储库的网络距离对元数据进行备份，使得在元数据在遭遇破坏时能够及时恢复；极端情况下，在某个存储介质发生损坏时，依然可以通过元数据备份访问数据块；
元数据的版本控制：采用树形结构保存一定数目(用户可自行设置)的历史版本，以便用户对不同的版本间的恢复，降低错误的更改对***造成的影响。
存储调度模块在各个节点之间的分配调度有三种策略可以选择：
(1)贪心分配策略：分配数据块到首个有足够空间的存储节点；
(2)最大剩余空间分配策略：分配数据块到有最大剩余空间的存储节点；
(3)轮询调度分配策略：分配数据块到通过轮询调度选出节点。
可视化模块包括以下功能：
增删数据：增删数据提供对存储***中各个层次的数据的上传与删除等基本的管理工作，方便了用户的操作；
***展示：***展示模块显示了整个***的使用概况，各个存储层次的负载情况等；
监测管理：监测管理是对整个***的运行状况的实时监测，以便及时发现过载或者受损的存储介质，对其中的数据进行备份和迁移；
存储配置：存储配置则是***的存储配置管理模块，实现了对***的可视化配置，便于集群的管理；同时提供配置文件的版本控制的功能，以实现版本间的快速恢复。
数据在内存、SSD以及HDD之间的存储调度，则主要是依据数据热度评价机制，尽可能使得内存中尽量缓存访问频度高的数据副本，SSD保存访问频度次之的数据副本，而HDD则保存冷数据副本。数据的热度一方面可以由***为每个用户设定，也可以在用户上传数据的时候指定一种热度。热度分为0到3四种级别，设定了三个副本在不同节点上的存储层次，如表1所示。此种存储策略能发挥高存取效率，在保证数据高可靠性的同时提高了存储容量的利用率。
表1数据热度存储策略
| 热度级别 | 主副本 | 从副本 | 从副本 |
| 0 | 内存 | SSD | SSD |
| 1 | 内存 | SSD | HDD |
| 2 | SSD | HDD | HDD |
| 3 | HDD | HDD | HDD |
由于分布式文件***采用副本冗余的策略实现数据高可用性，但是实际在使用中，并不是每个副本都具备很高的被访问性。***实现热数据副本的动态迁移，热副本加载到内存，冷副本持久化到磁盘。
存储迁移保证了数据根据实际需求或者实际使用情况，在一个节点之间不同存储层级之间的迁移。通常来讲，某个文件最近一段时间的平均I/O可以反映此文件的热度；但是有些文件即使不经常访问，但是需要其在访问时及时被调用。所以我们为用户提供了一个可配置文件重要性的参数。
若规定文件为重要文件，则保留一份副本在内存中永不降级，若规定文件为次重要文件；则保留一份副本在SSD，根据文件近期平均I/O确定是否回迁；若规定文件为不重要，则保留副本在HDD，同样根据文件近期平均I/O确定是否回迁。考虑到存储容量的问题，最终的存储层级根据文件重要性，平均I/O和剩余磁盘大小三个参数最终决定的。
基于平均I/O确定文件层级的策略如下：
平均热度近似计算公式如下式(1)：
I/Oavg＝(Anew-Aold)/(S·T)…………(1)
其中，Anew为根据记录日志读取的文件最近I/O活动的统计值，Aold为最早的统计值，S表示文件大小，T表示预设的时间值。
工作流程如下：在一定时间T内，计算该层级下所有文件的I/Oavg，并找出最大值max和最小值min。设置一定的I/O阈值，将小于此值的目标文件存放至迁移队列。对于次层级的文件层次，设置回迁阈值，若大于该值，则将文件放入回迁队列。
根据磁盘空间确定文件层级的策略：内存、SSD以及HDD三个存储层次的速度与容量呈现金字塔形状，为了解决越上层次的存储空间越容易占满的问题，对内存层和SSD层分别设置一个预留空间使用率的阈值，最大值Cmax和最小值Cmin。若实际利用率大于Cmax，则文件***强制进行文件迁出，若实际利用率介于Cmin和Cmax之间，则暂停数据写操作，允许数据迁出操作；若实际利用率小于Cmin，则暂停数据迁出操作允许数据的写入。
优先从未被标记重要级别的文件，以及低重要性数据中选择哪些数据进行迁出。选择迁出的策略，提供了以下三种方式：贪心回收策略：移出任意的块直到释放出所需大小的空间。LRU回收策略：移出最近最少使用的数据块直到释放出所需大小的空间。部分LRU回收策略：基于最近最少使用移出，但是选择有最大剩余空间的存储目录，只从该目录移出数据块。
本发明是一个动态调整的高效存储技术，通过它可以构建高效的数据存储***。数据存储***由内存，SSD和HDD等不同存储介质组成，不同存储介质之间通过软件定义进行数据统一管理。数据存储***主要包括文件***模块、数据块存储模块、元数据管理模块和存储调度模块，向外部提供数据统一访问接口，数据管理，数据存储操作等功能。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (7)
1.一种支持异构存储的高性能层次化存储***，其特征在于，包括：
文件***模块，提供不同存储介质上的数据文件的统一访问；文件***负责组织、管理、维护分布式文件***存储的所有数据文件，文件在文件***中以主文件、目录文件、元文件进行存储；
数据块存储模块，通过数据切片方式将完整数据分散存储到各个不同的节点，数据访问可以以并发的方式提高访问速度；数据块存储模块采用定长分块算法对数据块进行划分；该算法采用预先义好的块大小对文件进行切分，并进行弱校验值和md5强校验值；弱校验值主要是为了提升差异编码的性能，先计算弱校验值并进行hash查找，如果发现则计算md5强校验值并作进一步hash查找；由于弱校验值计算量要比md5小很多，因此可以有效提高编码性能；
元数据管理模块，元数据是用来记录文件***中文件和数据块的对应信息，元数据管理模块结合集中与分散管理的优势，采用多副本分布式冗余存储的方法；提供了元数据多备份处理和版本控制，以实现元数据的容错性和高可用性；
存储调度模块，一方面它实现数据副本在各个节点间的调度，另一方面它实现数据块在内存、SSD以及HDD三种不同存储介质之间的调度；
可视化模块，主要提供整个存储***的使用情况，实时监测的展示，以及动态调整的可视化操作。
2.根据权利要求1所述的支持异构存储的高性能层次化存储***，其特征在于，所述文件***模块又包括两个子模块，文件描述子模块和文件体子模块；文件描述子模块记录着对文件大小、类型、文件标志、读写权限等的描述；文件体子模块记录着文件的实际数据信息。
3.根据权利要求1所述的支持异构存储的高性能层次化存储***，其特征在于，所述文件***模块包括以下功能：
文件创建，所有的元数据操作，以及用于文件打开的读操作和写操作，通过文件***对象返回文件流对象来执行；
文件写，文件***通过访问元数据模块，获取文件信息，再结合文件***调度模块，选择数据块存储位置，文件***便可以将文件写入数据块选择存储的存储层；
文件读，通过文件***对象可以修改文件元数据，或者通过获取一个个输入流来读取文件。
4.根据权利要求1所述的支持异构存储的高性能层次化存储***，其特征在于，所述数据块存储模块包括以下功能：
数据块分配，所有的文件都是以块存储，块存储模块根据文件大小分配定长的数据块进行文件数据存储，同时数据块分布在不同的机器节点上；
数据块冗余，为了保证数据的高可靠性，底层通过数据块冗余来保证数据多副本，副本数可以进行预选设置；
数据块重平衡，保证文件***使用过程中，数据块的分布均匀，不会因数据块集中而造成数据访问性能丢失。
5.根据权利要求1所述的支持异构存储的高性能层次化存储***，其特征在于，所述元数据管理模块包括以下功能：
中央存储库：保存所有的元数据集中存储，负责***正常运转时元数据服务访问；
分布式冗余备份：依据***中不同节点与中央存储库的网络距离对元数据进行备份，使得在元数据在遭遇破坏时能够及时恢复；极端情况下，在某个存储介质发生损坏时，依然可以通过元数据备份访问数据块；
元数据的版本控制：采用树形结构保存一定数目的历史版本，以便用户对不同的版本间的恢复，降低错误的更改对***造成的影响。
6.根据权利要求1所述的支持异构存储的高性能层次化存储***，其特征在于，所述存储调度模块在各个节点之间的分配调度有以下三种策略选择：
贪心分配策略：分配数据块到首个有足够空间的存储节点；
最大剩余空间分配策略：分配数据块到有最大剩余空间的存储节点；
轮询调度分配策略：分配数据块到通过轮询调度选出节点。
7.根据权利要求1所述的支持异构存储的高性能层次化存储***，其特征在于，所述可视化模块包括以下功能：
增删数据：增删数据提供对存储***中各个层次的数据的上传与删除等基本的管理工作，方便了用户的操作；
***展示：***展示模块显示了整个***的使用概况，各个存储层次的负载情况等；
监测管理：监测管理是对整个***的运行状况的实时监测，以便及时发现过载或者受损的存储介质，对其中的数据进行备份和迁移；
存储配置：存储配置则是***的存储配置管理模块，实现了对***的可视化配置，便于集群的管理；同时提供配置文件的版本控制的功能，以实现版本间的快速恢复。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711106687.7A CN107943867B (zh) | 2017-11-10 | 2017-11-10 | 支持异构存储的高性能层次化存储*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711106687.7A CN107943867B (zh) | 2017-11-10 | 2017-11-10 | 支持异构存储的高性能层次化存储*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107943867A true CN107943867A (zh) | 2018-04-20 |
| CN107943867B CN107943867B (zh) | 2021-11-23 |
Family
ID=61934815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711106687.7A Active CN107943867B (zh) | 2017-11-10 | 2017-11-10 | 支持异构存储的高性能层次化存储*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107943867B (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109032809A (zh) * | 2018-08-13 | 2018-12-18 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 基于遥感影像存储位置的异构并行调度*** |
| CN109062505A (zh) * | 2018-07-13 | 2018-12-21 | 南瑞集团有限公司 | 一种缓存策略写入分层硬件架构下的写性能优化方法 |
| CN109271871A (zh) * | 2018-08-22 | 2019-01-25 | 平安科技（深圳）有限公司 | 样本存储路径生成方法、装置、计算机设备及存储介质 |
| CN109284072A (zh) * | 2018-09-28 | 2019-01-29 | 北京航空航天大学 | 一种针对异构存储***的自适应数据动态调度方法和*** |
| CN109714402A (zh) * | 2018-12-12 | 2019-05-03 | 胡书恺 | 一种冗余数据采集***及其运行使用方法 |
| CN110659249A (zh) * | 2019-09-25 | 2020-01-07 | 浪潮电子信息产业股份有限公司 | 一种元数据子树迁移方法、装置、设备及可读存储介质 |
| CN111176584A (zh) * | 2019-12-31 | 2020-05-19 | 曙光信息产业(北京)有限公司 | 一种基于混合内存的数据处理方法及装置 |
| CN111309270A (zh) * | 2020-03-13 | 2020-06-19 | 清华大学 | 一种持久性内存键值存储*** |
| CN111367639A (zh) * | 2020-03-06 | 2020-07-03 | 中国科学技术大学 | 面向异构突发数据缓存的基于结构感知的i/o调度方法 |
| CN111400318A (zh) * | 2020-03-09 | 2020-07-10 | 北京易华录信息技术股份有限公司 | 一种数据存储的调度策略的生成方法及装置 |
| CN111427844A (zh) * | 2020-04-15 | 2020-07-17 | 成都信息工程大学 | 一种面向文件分级存储的数据迁移***及方法 |
| CN111866038A (zh) * | 2019-04-25 | 2020-10-30 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 基于异构多副本的分布式存储动态防御***及方法 |
| CN111881107A (zh) * | 2020-08-05 | 2020-11-03 | 北京计算机技术及应用研究所 | 支持多文件***挂载的分布式存储方法 |
| CN111970520A (zh) * | 2020-08-13 | 2020-11-20 | 北京中电兴发科技有限公司 | 一种异构节点流式数据分布式存储方法 |
| CN112948343A (zh) * | 2021-03-25 | 2021-06-11 | 兴业数字金融服务（上海）股份有限公司 | 基于分布式大数据块的海量内容存储***和方法 |
| CN112947860A (zh) * | 2021-03-03 | 2021-06-11 | 成都信息工程大学 | 一种分布式数据副本的分级存储与调度方法 |
| WO2023070935A1 (zh) * | 2021-10-28 | 2023-05-04 | 华为云计算技术有限公司 | 一种数据存储方法、装置及相关设备 |
| CN117056303A (zh) * | 2023-10-13 | 2023-11-14 | 中国电子科技集团公司第十五研究所 | 适用于军事行动大数据的数据存储方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040225688A1 (en) * | 2003-05-06 | 2004-11-11 | Drew Thaler | File creation API |
| CN105243130A (zh) * | 2015-09-29 | 2016-01-13 | 中国电子科技集团公司第三十二研究所 | 面向数据挖掘的文本处理***及方法 |
| CN106446126A (zh) * | 2016-09-19 | 2017-02-22 | 哈尔滨航天恒星数据***科技有限公司 | 一种海量空间信息数据存储管理方法及存储管理*** |
| CN106682235A (zh) * | 2017-01-18 | 2017-05-17 | 济南浪潮高新科技投资发展有限公司 | 一种异构数据映射***及方法 |
| CN107153588A (zh) * | 2017-05-12 | 2017-09-12 | 成都优孚达信息技术有限公司 | 数据编码存储方法 |
| CN107291889A (zh) * | 2017-06-20 | 2017-10-24 | 郑州云海信息技术有限公司 | 一种数据存储方法及*** |
-
2017
- 2017-11-10 CN CN201711106687.7A patent/CN107943867B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040225688A1 (en) * | 2003-05-06 | 2004-11-11 | Drew Thaler | File creation API |
| CN105243130A (zh) * | 2015-09-29 | 2016-01-13 | 中国电子科技集团公司第三十二研究所 | 面向数据挖掘的文本处理***及方法 |
| CN106446126A (zh) * | 2016-09-19 | 2017-02-22 | 哈尔滨航天恒星数据***科技有限公司 | 一种海量空间信息数据存储管理方法及存储管理*** |
| CN106682235A (zh) * | 2017-01-18 | 2017-05-17 | 济南浪潮高新科技投资发展有限公司 | 一种异构数据映射***及方法 |
| CN107153588A (zh) * | 2017-05-12 | 2017-09-12 | 成都优孚达信息技术有限公司 | 数据编码存储方法 |
| CN107291889A (zh) * | 2017-06-20 | 2017-10-24 | 郑州云海信息技术有限公司 | 一种数据存储方法及*** |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109062505A (zh) * | 2018-07-13 | 2018-12-21 | 南瑞集团有限公司 | 一种缓存策略写入分层硬件架构下的写性能优化方法 |
| CN109032809A (zh) * | 2018-08-13 | 2018-12-18 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 基于遥感影像存储位置的异构并行调度*** |
| CN109271871A (zh) * | 2018-08-22 | 2019-01-25 | 平安科技（深圳）有限公司 | 样本存储路径生成方法、装置、计算机设备及存储介质 |
| CN109284072A (zh) * | 2018-09-28 | 2019-01-29 | 北京航空航天大学 | 一种针对异构存储***的自适应数据动态调度方法和*** |
| CN109284072B (zh) * | 2018-09-28 | 2020-06-02 | 北京航空航天大学 | 一种针对异构存储***的自适应数据动态调度方法和*** |
| CN109714402A (zh) * | 2018-12-12 | 2019-05-03 | 胡书恺 | 一种冗余数据采集***及其运行使用方法 |
| CN111866038A (zh) * | 2019-04-25 | 2020-10-30 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 基于异构多副本的分布式存储动态防御***及方法 |
| CN110659249A (zh) * | 2019-09-25 | 2020-01-07 | 浪潮电子信息产业股份有限公司 | 一种元数据子树迁移方法、装置、设备及可读存储介质 |
| CN111176584A (zh) * | 2019-12-31 | 2020-05-19 | 曙光信息产业(北京)有限公司 | 一种基于混合内存的数据处理方法及装置 |
| CN111176584B (zh) * | 2019-12-31 | 2023-10-31 | 曙光信息产业(北京)有限公司 | 一种基于混合内存的数据处理方法及装置 |
| CN111367639A (zh) * | 2020-03-06 | 2020-07-03 | 中国科学技术大学 | 面向异构突发数据缓存的基于结构感知的i/o调度方法 |
| CN111400318A (zh) * | 2020-03-09 | 2020-07-10 | 北京易华录信息技术股份有限公司 | 一种数据存储的调度策略的生成方法及装置 |
| CN111400318B (zh) * | 2020-03-09 | 2023-09-15 | 北京易华录信息技术股份有限公司 | 一种数据存储的调度策略的生成方法及装置 |
| CN111309270A (zh) * | 2020-03-13 | 2020-06-19 | 清华大学 | 一种持久性内存键值存储*** |
| CN111427844B (zh) * | 2020-04-15 | 2023-05-19 | 成都信息工程大学 | 一种面向文件分级存储的数据迁移***及方法 |
| CN111427844A (zh) * | 2020-04-15 | 2020-07-17 | 成都信息工程大学 | 一种面向文件分级存储的数据迁移***及方法 |
| CN111881107A (zh) * | 2020-08-05 | 2020-11-03 | 北京计算机技术及应用研究所 | 支持多文件***挂载的分布式存储方法 |
| CN111881107B (zh) * | 2020-08-05 | 2022-09-06 | 北京计算机技术及应用研究所 | 支持多文件***挂载的分布式存储方法 |
| CN111970520B (zh) * | 2020-08-13 | 2022-04-08 | 北京中电兴发科技有限公司 | 一种异构节点流式数据分布式存储方法 |
| CN111970520A (zh) * | 2020-08-13 | 2020-11-20 | 北京中电兴发科技有限公司 | 一种异构节点流式数据分布式存储方法 |
| CN112947860A (zh) * | 2021-03-03 | 2021-06-11 | 成都信息工程大学 | 一种分布式数据副本的分级存储与调度方法 |
| CN112948343A (zh) * | 2021-03-25 | 2021-06-11 | 兴业数字金融服务（上海）股份有限公司 | 基于分布式大数据块的海量内容存储***和方法 |
| WO2023070935A1 (zh) * | 2021-10-28 | 2023-05-04 | 华为云计算技术有限公司 | 一种数据存储方法、装置及相关设备 |
| CN117056303A (zh) * | 2023-10-13 | 2023-11-14 | 中国电子科技集团公司第十五研究所 | 适用于军事行动大数据的数据存储方法及装置 |
| CN117056303B (zh) * | 2023-10-13 | 2024-01-16 | 中国电子科技集团公司第十五研究所 | 适用于军事行动大数据的数据存储方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107943867B (zh) | 2021-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107943867A (zh) | 支持异构存储的高性能层次化存储*** | |
| US8732217B2 (en) | Using a per file activity ratio to optimally relocate data between volumes | |
| CN103914516B (zh) | 一种存储***分层管理的方法与*** | |
| US9110919B2 (en) | Method for quickly identifying data residing on a volume in a multivolume file system | |
| US8909887B1 (en) | Selective defragmentation based on IO hot spots | |
| US9355112B1 (en) | Optimizing compression based on data activity | |
| CN110058822B (zh) | 一种磁盘阵列横向拓展方法 | |
| JP5944587B2 (ja) | 計算機システム及び制御方法 | |
| CN107844269A (zh) | 一种基于一致性哈希的分层混合存储***及方法 | |
| US9612758B1 (en) | Performing a pre-warm-up procedure via intelligently forecasting as to when a host computer will access certain host data | |
| CN103095805A (zh) | 一种对数据进行智能分层管理的云存储*** | |
| JP5330503B2 (ja) | ストレージ性能の最適化 | |
| CN107291889A (zh) | 一种数据存储方法及*** | |
| KR20110087192A (ko) | 데이터 요소 배치 제공 방법 및 컴퓨터 프로그램 제품 | |
| CN107798130A (zh) | 一种分布式存储的快照方法 | |
| CN104731864A (zh) | 一种海量非结构化数据的数据存储方法 | |
| WO2019085769A1 (zh) | 一种数据分层存储、分层查询方法及装置 | |
| CN103455577A (zh) | 云主机镜像文件的多备份就近存储和读取方法及*** | |
| CN107003814A (zh) | 存储***中的有效元数据 | |
| CN101997911A (zh) | 一种数据迁移的方法及*** | |
| CN102694828A (zh) | 一种分布式缓存***数据存取的方法及装置 | |
| JP7323804B2 (ja) | データ処理装置およびデータ処理プログラム | |
| CN109522283A (zh) | 一种重复数据删除方法及*** | |
| CN108776690B (zh) | 基于分层治理的hdfs分布式与集中式混合数据存储***的方法 | |
| CN113704217A (zh) | 一种分布式持久性内存文件***中元数据及数据组织架构方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |