CN110162273A - 一种基于分布式存储***的衰减式分层存储***及方法 - Google Patents

一种基于分布式存储***的衰减式分层存储***及方法 Download PDF

Info

Publication number
CN110162273A
CN110162273A CN201910448847.9A CN201910448847A CN110162273A CN 110162273 A CN110162273 A CN 110162273A CN 201910448847 A CN201910448847 A CN 201910448847A CN 110162273 A CN110162273 A CN 110162273A
Authority
CN
China
Prior art keywords
data
migration
object fragment
layer
measurement period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910448847.9A
Other languages
English (en)
Inventor
殷双飞
袁晓光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Computer Technology and Applications
Original Assignee
Beijing Institute of Computer Technology and Applications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Computer Technology and Applications filed Critical Beijing Institute of Computer Technology and Applications
Priority to CN201910448847.9A priority Critical patent/CN110162273A/zh
Publication of CN110162273A publication Critical patent/CN110162273A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G06F3/0649—Lifecycle management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于分布式存储***的衰减式分层存储***及方法，涉及分布式存储技术领域。本发明利用信息***中数据的时效性，将流入***的数据以不同的热度进行标识，将大量不再被访问的“冷”数据迁移出宝贵的高速存储介质，转而使用价格低廉、容量大的低速存储介质进行保存，以使访问频繁的“热”数据借助高速存储介质实现与用户的快速交互。随着数据的迁移，高速性能层大量变“冷”的数据往低速容量层移动，而低速容量层少量变“热”的数据往高速性能层移动，这样既满足了大规模存储***中对访问速率的高性能需求，也满足了海量数据对存储介质的大容量需求，同时有效减少了***的总拥有成本。

Description

一种基于分布式存储***的衰减式分层存储***及方法
技术领域
本发明涉及分布式存储技术领域，具体涉及一种基于分布式存储***的衰减式分层存储***及方法。
背景技术
信息存储***中，数据具有明显的生命周期特征，且时效性较强。在大型数据中心中，***的总容量一般为数个PB，当多路数据持续流入存储***中时，大部分数据在初始阶段较为活跃，活跃期过后数据的访问次数便逐渐减少，甚至鲜有使用，但仍然需要长期保存。
现有的持久性存储介质中，以闪存芯片作为存储体的固态硬盘性能较高，不论是数据的连续访问特性还是随机访问特性，其相比较于机械硬盘都有明显的优势。一方面，固态硬盘突出的性能优势为众多小容量设备带来了卓越的性能体验；另一方面，其高昂的存储成本让很多大规模存储***望而却步。若不加以优化而直接使用传统方式构建高性能存储池，将使以分布式为例的大规模存储***带来高额的硬件开销。因此，现有大规模存储***中存在高性能、大容量的存储需求与低存储开销间的矛盾。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是：如何针对分布式存储***提出一种同时满足高性能、大容量需求的基于分布式存储***的衰减式分层存储***及方法。
(二)技术方案
为了解决上述技术问题，本发明提供了一种基于分布式存储***的衰减式分层存储***，所述分布式存储***的存储分层数至少包括2层，其中最高性能层称为第一性能层，次高性能层称为第二性能层，以此类推；在每两个性能层之间，包含有基于分布式存储***的衰减式分层存储***的两个模块：热度识别模块和迁移控制模块；
所述热度识别模块用于将不同访问频率的数据以访问时序为基础进行衰减统计，从而将用户数据进行不同热度的区分；所述迁移控制模块用于控制各存储层间的数据迁移，以使不同热度的数据存储至对应性能的存储层中。
优选地，所述热度识别模块具体用于对存入分布式存储***的对象分片进行统计标记，统计内容包含对象分片的访问次数和访问时间，所述访问次数表征对象分片的访问频率，访问时间表征对象分片的新近度；每个对象分片的热度通过对访问频率进行加权统计，并根据访问时间的顺序进行衰减计算得出；对于每个对象分片的热度统计及加权计算在一个统计周期内进行，超出统计周期时，对象分片的权重将被设定为0；在统计周期内，时间被等分为多个时间片，即子统计周期，每个子统计周期的权重从当前时间点至统计周期末尾逐渐衰减至0；根据每个对象分片的访问次数和当前子统计周期的权重，累积计算求和并确定对象分片的热度。
优选地，所述迁移控制模块实现了对不同热度的对象分片进行迁移管理；数据有两个迁移方向，一个是从高性能层迁移至低性能层，另一个是从低性能层迁移至高性能层；数据的优先存储位置有两种可供选择，即数据优先存储至高性能层，待数据变冷之后迁移至低性能层；或者数据优先存储至低性能层，待数据变热之后存储至高性能层；数据的迁移可发生在任意两个相邻的存储层之间，也可发生在不相邻的存储层之间。
优选地，所述迁移控制模块在实现迁移管理时，数据的迁移可发生在任意两个相邻的存储层之间，也可发生在不相邻的存储层之间。
本发明还提供了一种利用所述的***实现的基于分布式存储***的衰减式分层存储方法，包括以下步骤：利用所述热度识别模块实现热度识别步骤：将不同访问频率的数据以访问时序为基础进行衰减统计，从而将用户数据进行不同热度的区分；利用所述迁移控制模块实现迁移控制步骤：控制各存储层间的数据迁移，以使不同热度的数据存储至对应性能的存储层中。
优选地，在热度识别步骤中，对象分片热度统计的加权累计和公式如下：
其中H表示当前对象分片的热度统计值，n表示一个统计周期内包含的子统计周期的个数，i表示子统计周期的序号，越靠近当前时间点的子统计周期序号值i越小，fi表示对应子统计周期下的对象分片访问计数。
优选地，所述迁移控制步骤中的迁移策略包括当存储层中对象分片的空间占比小于最低容量限制时，只对对象分片进行衰减老化，而不对其进行向下迁移。
优选地，所述迁移控制步骤中的迁移策略还包括当存储层中对象分片的空间占比介于最低容量限制和最高容量限制之间时，只迁移热度统计值为0的对象分片。
优选地，所述迁移控制步骤中的迁移策略还包括当存储层中对象分片的空间占比大于最高容量限制时，优先迁移热度统计值为0的对象分片，若迁移完毕后对象分片的空间占比仍大于最高容量限制，则以热度统计值升序执行数据迁移，直至对象分片占比保持在最低容量限制和最高容量限制之间。
优选地，所述迁移控制步骤中的迁移策略还包括在数据的迁移控制中，当每个存储层中的数据小于最低容量限制时，停止数据迁移。
(三)有益效果
本发明利用信息***中数据的时效性，将流入***的数据以不同的热度进行标识，将大量不再被访问的“冷”数据迁移出宝贵的高速存储介质，转而使用价格低廉、容量大的低速存储介质进行保存，以使访问频繁的“热”数据借助高速存储介质实现与用户的快速交互。随着数据的迁移，高速性能层大量变“冷”的数据往低速容量层移动，而低速容量层少量变“热”的数据往高速性能层移动，这样既满足了大规模存储***中对访问速率的高性能需求，也满足了海量数据对存储介质的大容量需求，同时有效减少了***的总拥有成本(TCO)。
附图说明
图1为本发明的数据分层存储示意图；
图2为本发明的的热度识别步骤中一个统计周期内的热度统计示意图；
图3为本发明的的热度识别步骤中对象分片的权重衰减示意图；
图4为本发明的迁移控制步骤中迁移数据占比示意图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
本发明针对分布式存储***提出了一种同时满足高性能、大容量需求的基于分布式存储***的衰减式分层存储***及方法。该设计旨在使用一种衰减式的统计方法将不同访问频率、不同访问时序的用户数据分层存储至不同性能的介质中，最终达到高使用率的数据存储至高性能层，低使用率的数据存储至低性能层的效果，从而提升用户数据的访问速度、优化分层介质的空间使用率。
传统磁盘阵列存储产品的自动分层技术中，数据访问的行为统计和分析粒度是以数据块为单位的，在本发明描述的分布式存储***中，数据访问的行为统计、分析粒度和数据迁移粒度是以对象分片为单位的，典型的对象数据分片大小为4MB，但不限于4MB。在本发明提出的方法中，***的存储层以分布式***的存储池为基础进行构建，***的存储分层数包括但不限于2层。其中最高性能层称为第一性能层，次高性能层称为第二性能层，以此类推，***中可包含多个性能层。在每两个性能层之间，包含有基于分布式存储***的衰减式分层存储***的两个模块：热度识别模块和迁移控制模块，如图1所示。
热度识别模块用于将不同访问频率的数据以访问时序为基础进行衰减统计，从而将用户数据进行不同热度的区分，该热度识别模块具体用于对存入分布式存储***的对象分片进行统计标记，统计内容包含对象分片的访问次数和访问时间，所述访问次数表征对象分片的访问频率(frequency)，访问时间表征对象分片的新近度(recency)；每个对象分片的热度通过对访问频率进行加权统计，并根据访问时间的顺序进行衰减计算得出；***对于每个对象分片的热度统计及加权计算在一个统计周期内进行，超出统计周期时，对象分片的权重将被设定为0；在统计周期内，时间被等分为多个时间片，即子统计周期，每个子统计周期的权重从当前时间点至统计周期末尾逐渐衰减至0；根据每个对象分片的访问次数和当前子统计周期的权重，累积计算求和并确定对象分片的热度。
迁移控制模块用于控制各存储层间的数据迁移，以使不同热度的数据存储至对应性能的存储层中，迁移控制模块实现了对不同热度的对象分片进行迁移管理；数据有两个迁移方向，一个是从高性能层迁移至低性能层，另一个是从低性能层迁移至高性能层；数据的优先存储位置有两种可供选择，即数据优先存储至高性能层，待数据变冷之后迁移至低性能层；或者数据优先存储至低性能层，待数据变热之后存储至高性能层；数据的迁移可发生在任意两个相邻的存储层之间，也可发生在不相邻的存储层之间，例如，若数据优先存储至高性能层中，则任意低性能层中的数据变热之后可直接迁移至最高性能层；在数据的迁移控制中，当每个存储层中的数据小于最低容量限制时，停止数据迁移，这样可避免数据完全集中至最低性能层以及短时变冷的数据发生大规模迁移。
相应地，本发明还提供了一种对应的分布式存储***的衰减式分层存储方法，包括以下步骤：
热度识别步骤：将不同访问频率的数据以访问时序为基础进行衰减统计，从而将用户数据进行不同热度的区分，该步骤中，热度统计以对象分片为基本单位，文件存储至分布式***后，以固定的大小切分为多个对象分片，典型的对象分片大小为4M，但不限于4M，对象分片的大小可按需配置，例如从512K至256M等。每个对象分片在***内部以对象ID进行标识，同时，***内部对每个对象分片进行持续性的统计。通过对对象分片的访问次数统计，可以确定其访问频率，但是这种统计行为无法面对突发的数据请求，且没有老化机制，不能准确描述一个对象分片的访问特征。
为了更为准确的描述一个对象分片的热度，本步骤加入了数据访问的衰减机制，并基于此提出了统计周期的概念，一个统计周期可以描述为一段固定长度的持续统计时间。在一个统计周期内，时间被划分为n份，每一份可称为一个子统计周期，如图2所示。根据子统计周期与当前时间的间隔，每个子统计周期被赋予了不同大小的权重，并且该权重随时间推移而衰减，其中最靠近当前时间点的子统计周期，权重占比最大。权重占比在时间轴上总体形成一种衰减趋势。
每个对象分片在一个子统计周期内，可能被访问多次，也可能未被访问，为更精确的表示一个对象分片在一段时间内的热度统计，本发明将每个对象分片的每个子统计周期进行定期加权累计，这样既可以兼顾一段时间内该对象分片先前的访问频率对当前热度的贡献，又不至于让这种访问频率对当前热度的影响过大。对象分片热度统计的加权累计和公式如下：
其中H表示当前对象分片的热度统计值，n表示一个统计周期内包含的子统计周期的个数，i表示子统计周期的序号，越靠近当前时间点的子统计周期序号值i越小，fi表示对应子统计周期下的对象分片访问计数。
随着时间的推移，一个对象分片在每个子统计周期内的权重占比将逐渐衰减，如图3所示，当对象分片的访问次数所对应的某个子统计周期超出统计周期的范围时，其权重值将衰减至0，其对应的访问次数不论多少，将不再纳入热度统计的范围。
通过对统计周期以及子统计周期的设定，***可以有效地平滑数据的突发流量，通常统计周期越长，对数据突发的平滑程度越高。为建立准确的热度统计模型，用户需要根据业务特征，选择合适的统计周期、预热周期等窗口时间。在存储池刚被创建的时候或***刚上电启动的时候，预热周期生效。这段时间内***只进行对象分片的热度统计，不进行数据迁移。预热周期的配置，用来获取充足的统计样本，以便建立更加可靠的模型和保证迁移的可靠性。预热周期的时长通常小于统计周期。
迁移控制步骤：控制各存储层间的数据迁移，以使不同热度的数据存储至对应性能的存储层中，实现了对不同热度的对象分片进行迁移管理，该步骤中，数据有两个迁移方向，一个是从高性能层迁移至低性能层，另一个是从低性能层迁移至高性能层。当高性能层中的对象分片随时间推移而逐渐变冷后，将其迁移至比当前存储层性能低一级的存储层中，当低性能层中的对象分片随时间推移而逐渐变热后，将其迁移至比当前存储层性能高一级的存储层中，这里的高性能层和低性能层是相对而言的。
在数据迁移之前，数据的优先存储位置可供选择，分别为高性能层优先和低性能层优先。若选择高性能层优先，则先将访问数据存储至最高性能层，随时间推移将逐渐变冷的对象分片向性能低一级的存储层迁移；若选择低性能层优先，则先将访问数据存储至最低性能层，随时间推移将逐渐变热的对象分片向性能高一级或多级的存储层迁移。最终，最冷的数据位于最低性能层，最热的数据位于最高性能层。
数据的迁移可以发生在相邻的两个存储层之间，也可以跨越不相邻的存储层之间。例如，当选择高性能层优先存储时，位于最低性能层的数据被频繁访问，则最低性能层的对象分片可以跨越其他性能层达到最高性能层。当然，本方法中提出的数据迁移可以选择跨越性能层，也可以严格限制其迁移范围，即只能在相邻的性能层之间迁移。
本发明为每个性能层设定最低容量限制和最高容量限制，该值可以使用默认值，也可以根据需求重新设置；获得每个对象分片的热度统计值后，对各对象分片以热度统计值进行降序排序，记为H1,H2,…,Hn，其中H1>H2，根据该排序结果，可以选择迁移的对象分片。
如图4所示，每个性能层的容量空间设置了最低容量限制和最高容量限制，图中用L和H表示。为了描述数据的迁移控制，这里以高性能层优先存储进行说明。随着时间推移，高性能层的对象分片数量逐渐增多，部分对象分片由于子统计周期的权重衰减，最终累计的热度统计值可能为0，统计值为0的对象分片将首先进行迁移。
迁移控制步骤中的迁移策略描述如下：
当存储层中对象分片的空间占比小于最低容量限制时，***只对对象分片进行衰减老化，而不对其进行向下迁移；
当存储层中对象分片的空间占比介于最低容量限制和最高容量限制之间时，***只迁移热度统计值为0的对象分片；
当存储层中对象分片的空间占比大于最高容量限制时，***优先迁移热度统计值为0的对象分片，若迁移完毕后对象分片的空间占比仍大于最高容量限制，则以热度统计值升序执行数据迁移，直至对象分片占比保持在最低容量限制和最高容量限制之间。
本步骤描述的迁移策略中，当存储层对象分片的空间占比小于最低容量限制时不进行迁移，可以使存储***中每个分层中都保持有一定量的数据存留，不至于当***某一时间段没有用户访问时***存储的数据完全集中于最低性能层，也可避免***短时间内变冷的数据发生大规模的迁移。
可以看出，本发明利用信息***中数据的时效性，将流入***的数据以不同的热度进行标识，将大量不再被访问的“冷”数据迁移出宝贵的高速存储介质，转而使用价格低廉、容量大的低速存储介质进行保存，以使访问频繁的“热”数据借助高速存储介质实现与用户的快速交互。随着数据的迁移，高速性能层大量变“冷”的数据往低速容量层移动，而低速容量层少量变“热”的数据往高速性能层移动，这样既满足了大规模存储***中对访问速率的高性能需求，也满足了海量数据对存储介质的大容量需求，同时有效减少了***的总拥有成本。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于分布式存储***的衰减式分层存储***，其特征在于，所述分布式存储***的存储分层数至少包括两层，其中最高性能层称为第一性能层，次高性能层称为第二性能层，以此类推；在每两个性能层之间，包含有基于分布式存储***的衰减式分层存储***的两个模块：热度识别模块和迁移控制模块；
所述热度识别模块用于将不同访问频率的数据以访问时序为基础进行衰减统计，从而将用户数据进行不同热度的区分；所述迁移控制模块用于控制各存储层间的数据迁移，以使不同热度的数据存储至对应性能的存储层中。
2.如权利要求1所述的***，其特征在于，所述热度识别模块具体用于对存入分布式存储***的对象分片进行统计标记，统计内容包含对象分片的访问次数和访问时间，所述访问次数表征对象分片的访问频率，访问时间表征对象分片的新近度；每个对象分片的热度通过对访问频率进行加权统计，并根据访问时间的顺序进行衰减计算得出；对于每个对象分片的热度统计及加权计算在一个统计周期内进行，超出统计周期时，对象分片的权重将被设定为0；在统计周期内，时间被等分为多个时间片，即子统计周期，每个子统计周期的权重从当前时间点至统计周期末尾逐渐衰减至0；根据每个对象分片的访问次数和当前子统计周期的权重，累积计算求和并确定对象分片的热度。
3.如权利要求1所述的***，其特征在于，所述迁移控制模块实现了对不同热度的对象分片进行迁移管理；数据有两个迁移方向，一个是从高性能层迁移至低性能层，另一个是从低性能层迁移至高性能层；数据的优先存储位置对应有两种可供选择，即数据优先存储至高性能层，待数据变冷之后迁移至低性能层；或者数据优先存储至低性能层，待数据变热之后存储至高性能层。
4.如权利要求3所述的***，其特征在于，所述迁移控制模块在实现迁移管理时，数据的迁移可发生在任意两个相邻的存储层之间，也可发生在不相邻的存储层之间。
5.一种利用权利要求1至4中任一项所述的***实现的基于分布式存储***的衰减式分层存储方法，其特征在于，包括以下步骤：利用所述热度识别模块实现热度识别步骤：将不同访问频率的数据以访问时序为基础进行衰减统计，从而将用户数据进行不同热度的区分；利用所述迁移控制模块实现迁移控制步骤：控制各存储层间的数据迁移，以使不同热度的数据存储至对应性能的存储层中。
6.如权利要求5所述的方法，其特征在于，在热度识别步骤中，对象分片热度统计的加权累计和公式如下：
其中H表示当前对象分片的热度统计值，n表示一个统计周期内包含的子统计周期的个数，i表示子统计周期的序号，越靠近当前时间点的子统计周期序号值i越小，fi表示对应子统计周期下的对象分片访问计数。
7.如权利要求6所述的方法，其特征在于，所述迁移控制步骤中的迁移策略包括当存储层中对象分片的空间占比小于最低容量限制时，只对对象分片进行衰减老化，而不对其进行向下迁移。
8.如权利要求7所述的方法，其特征在于，所述迁移控制步骤中的迁移策略还包括当存储层中对象分片的空间占比介于最低容量限制和最高容量限制之间时，只迁移热度统计值为0的对象分片。
9.如权利要求8所述的方法，其特征在于，所述迁移控制步骤中的迁移策略还包括当存储层中对象分片的空间占比大于最高容量限制时，优先迁移热度统计值为0的对象分片，若迁移完毕后对象分片的空间占比仍大于最高容量限制，则以热度统计值升序执行数据迁移，直至对象分片占比保持在最低容量限制和最高容量限制之间。
10.如权利要求9所述的方法，其特征在于，所述迁移控制步骤中的迁移策略还包括在数据的迁移控制中，当每个存储层中的数据小于最低容量限制时，停止数据迁移。
CN201910448847.9A 2019-05-28 2019-05-28 一种基于分布式存储***的衰减式分层存储***及方法 Pending CN110162273A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910448847.9A CN110162273A (zh) 2019-05-28 2019-05-28 一种基于分布式存储***的衰减式分层存储***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910448847.9A CN110162273A (zh) 2019-05-28 2019-05-28 一种基于分布式存储***的衰减式分层存储***及方法

Publications (1)

Publication Number Publication Date
CN110162273A true CN110162273A (zh) 2019-08-23

Family

ID=67629228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910448847.9A Pending CN110162273A (zh) 2019-05-28 2019-05-28 一种基于分布式存储***的衰减式分层存储***及方法

Country Status (1)

Country Link
CN (1) CN110162273A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377287A (zh) * 2021-04-26 2021-09-10 深圳云宣科技有限公司 一种大数据多维智能存储***及方法
CN113946274A (zh) * 2020-07-15 2022-01-18 浙江宇视科技有限公司 数据处理方法、装置、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697526A (zh) * 2009-10-10 2010-04-21 中国科学技术大学 分布式文件***中元数据管理的负载均衡方法及其***
CN103914516A (zh) * 2014-02-25 2014-07-09 深圳市中博科创信息技术有限公司 一种存储***分层管理的方法与***
CN104102454A (zh) * 2013-04-07 2014-10-15 杭州信核数据科技有限公司 一种自动实现分层存储的方法和管理分层存储的***
CN104978362A (zh) * 2014-04-11 2015-10-14 中兴通讯股份有限公司 分布式文件***的数据迁移方法、装置及元数据服务器
CN105653642A (zh) * 2015-12-25 2016-06-08 曙光信息产业股份有限公司 分布式文件***的数据管理方法和装置
CN106502576A (zh) * 2015-09-06 2017-03-15 中兴通讯股份有限公司 迁移策略调整方法、容量变更建议方法及装置
CN108846114A (zh) * 2018-06-26 2018-11-20 郑州云海信息技术有限公司 分布式***控制方法、装置、设备及可读存储介质
CN108874311A (zh) * 2018-05-29 2018-11-23 北京盛和大地数据科技有限公司 融合存储***中的数据迁移方法和装置
CN109144895A (zh) * 2017-06-15 2019-01-04 中兴通讯股份有限公司 一种数据存储方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697526A (zh) * 2009-10-10 2010-04-21 中国科学技术大学 分布式文件***中元数据管理的负载均衡方法及其***
CN104102454A (zh) * 2013-04-07 2014-10-15 杭州信核数据科技有限公司 一种自动实现分层存储的方法和管理分层存储的***
CN103914516A (zh) * 2014-02-25 2014-07-09 深圳市中博科创信息技术有限公司 一种存储***分层管理的方法与***
CN104978362A (zh) * 2014-04-11 2015-10-14 中兴通讯股份有限公司 分布式文件***的数据迁移方法、装置及元数据服务器
CN106502576A (zh) * 2015-09-06 2017-03-15 中兴通讯股份有限公司 迁移策略调整方法、容量变更建议方法及装置
CN105653642A (zh) * 2015-12-25 2016-06-08 曙光信息产业股份有限公司 分布式文件***的数据管理方法和装置
CN109144895A (zh) * 2017-06-15 2019-01-04 中兴通讯股份有限公司 一种数据存储方法及装置
CN108874311A (zh) * 2018-05-29 2018-11-23 北京盛和大地数据科技有限公司 融合存储***中的数据迁移方法和装置
CN108846114A (zh) * 2018-06-26 2018-11-20 郑州云海信息技术有限公司 分布式***控制方法、装置、设备及可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113946274A (zh) * 2020-07-15 2022-01-18 浙江宇视科技有限公司 数据处理方法、装置、设备及介质
CN113946274B (zh) * 2020-07-15 2024-02-02 浙江宇视科技有限公司 数据处理方法、装置、设备及介质
CN113377287A (zh) * 2021-04-26 2021-09-10 深圳云宣科技有限公司 一种大数据多维智能存储***及方法

Similar Documents

Publication Publication Date Title
CN105653591B (zh) 一种工业实时数据分级存储及迁移方法
US9940024B1 (en) Techniques for determining workload skew
CN104702625B (zh) 一种cdn网络中访问请求调度方法及装置
US9753987B1 (en) Identifying groups of similar data portions
US9052830B1 (en) Techniques for automated evaluation and movement of data between storage tiers for thin devices
CN104699424B (zh) 一种基于页面热度的异构内存管理方法
CN111367469B (zh) 一种分层存储数据迁移方法和***
US8380928B1 (en) Applying data access activity measurements
CN105068940B (zh) 一种基于Bank划分的自适应页策略确定方法
CN106709068B (zh) 一种热点数据识别方法及其装置
CN110162273A (zh) 一种基于分布式存储***的衰减式分层存储***及方法
US20170285973A1 (en) Managing ssd wear rate in hybrid storage arrays
CN109358821A (zh) 一种成本驱动的云计算冷热数据存储优化方法
US9619169B1 (en) Managing data activity information for data migration in data storage systems
CN103095805A (zh) 一种对数据进行智能分层管理的云存储***
CN106156283B (zh) 基于数据温度和节点性能的异构Hadoop存储方法
CN104102454A (zh) 一种自动实现分层存储的方法和管理分层存储的***
CN104035542B (zh) 一种计算与制冷能耗权衡的虚拟机迁移方法及***
CN103379156B (zh) 实现存储空间动态均衡的方法、***和装置
CN103761051A (zh) 一种基于持续数据多输入输出流并发写入性能优化方法
CN103150245B (zh) 确定数据实体的访问特性的方法和存储控制器
CN107122126A (zh) 数据的迁移方法、装置和***
CN108139968A (zh) 确定垃圾收集器线程数量及活动管理的方法及设备
CN107315540A (zh) 一种自动分层存储方法及***
CN104035925B (zh) 数据存储方法、装置和存储***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190823