CN111984549B - 一种数据按照对象拆分的分级存储方法及*** - Google Patents

一种数据按照对象拆分的分级存储方法及*** Download PDF

Info

Publication number
CN111984549B
CN111984549B CN202010726612.4A CN202010726612A CN111984549B CN 111984549 B CN111984549 B CN 111984549B CN 202010726612 A CN202010726612 A CN 202010726612A CN 111984549 B CN111984549 B CN 111984549B
Authority
CN
China
Prior art keywords
data
pool
storage system
hot
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010726612.4A
Other languages
English (en)
Other versions
CN111984549A (zh
Inventor
赵煜
胡永刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010726612.4A priority Critical patent/CN111984549B/zh
Publication of CN111984549A publication Critical patent/CN111984549A/zh
Application granted granted Critical
Publication of CN111984549B publication Critical patent/CN111984549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0811—Multiuser, multiprocessor or multiprocessing cache systems with multilevel cache hierarchies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0844—Multiple simultaneous or quasi-simultaneous cache accessing
    • G06F12/0846—Cache with multiple tag or data arrays being simultaneously accessible
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0893—Caches characterised by their organisation or structure
    • G06F12/0897—Caches characterised by their organisation or structure with two or more cache hierarchy levels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据按照对象拆分的分级存储方法及***，所述方法：S1.设置存储***将上传数据拆分成头对象和若干尾对象；所述头对象包括元数据和信息数据；S2.设置存储***将上传数据的头对象存储到热池，而将尾对象全部存储到冷池；S3.设置存储***统计数据访问热度，将访问热度低于阈值数据的头对象中信息数据从热池转移到冷池，将访问热度高于阈值数据的信息数据从冷池转移到热池。本发明数据按照对象拆分，从而将大量尾对象直接存储到冷池，避免尾对象从热池到冷池的转移；将头对象中元数据作为数据读取的依据，而将头对象中信息数据作为可转移数据，为热池留出余量，提供了存储***的性能，丰富了分布式对象存储***的功能。

Description

一种数据按照对象拆分的分级存储方法及***
技术领域
本发明属于数据存储技术领域，具体涉及一种数据按照对象拆分的分级存储方法及***。
背景技术
分级存储功能是利用存储***中ssd存储介质作为hdd盘的缓存，整体提高存储***的读写性能。在存储过程中，首先将对象存入读写速度快的ssd盘，然后等数据冷却后，再将数据转移到hdd盘。这种方式实际使用过程中存在明显的缺点。
由于ssd磁盘空间比较小，可以存储的数据不是很多，全部数据写入ssd后，很快就会将ssd磁盘写满，接下来就需要将ssd中数据转移到hdd中。当外部写入存储***的速度比ssd转移数据到hdd的速度快的时候就会导致ssd磁盘空间一直是满，并且严重影响到存储***写数据的性能。
此为现有技术的不足，因此，针对现有技术中的上述缺陷，提供一种数据按照对象拆分的分级存储方法及***，是非常有必要的。
发明内容
针对现有技术的上述传统的对象数据先存入ssd盘，再存入hhd盘的方式会导致ssd磁盘空间总是满，严重影响存储***写数据性能的缺陷，本发明提供一种数据按照对象拆分的分级存储方法及***，以解决上述技术问题。
第一方面，本发明提供一种数据按照对象拆分的分级存储方法，包括如下步骤：
S1.设置存储***将上传数据拆分成头对象和若干尾对象；所述头对象包括元数据和信息数据；
S2.设置存储***将上传数据的头对象存储到热池，而将尾对象全部存储到冷池；
S3.设置存储***统计数据访问热度，将访问热度低于阈值数据的头对象中信息数据从热池转移到冷池，将访问热度高于阈值数据的信息数据从冷池转移到热池。
进一步地，步骤S1中，头对象占用空间为固定值，每个尾对象占用空间小于等于设定阈值。
进一步地，步骤S2具体步骤如下：
S21.设置存储***检测热池水位；
当热池水位低于阈值时，进入步骤S22；
当热池水位高于阈值时，进入步骤S23；
S22.设置存储***将上传数据的头对象全部存入热池，而将全部尾对象存入冷池；
S23.设置存储***将上传数据的头对象中元数据存入热池，而将信息数据和全部尾对象存入冷池。依据热池水位情况，确定头对象中信息数据的存储位置。
进一步地，步骤S2热池采用冗余策略，冷池采用纠删策略。
进一步地，步骤S3具体步骤如下：
S31.在存储***设置热度表和热度维护线程，设置热度访问线程根据数据访问及修改情况维护热度表；
S32.在存储***设置转移线程，设置转移线程将访问热度低于阈值数据的头对象中信息数据从热池转移到冷池，将访问热度高于阈值数据的信息数据从冷池转移到热池。当数据被访问、修改时会增加该数据热度值，当数据长时间没有被访问，其热度值会随着时间下降。
进一步地，步骤S31具体步骤如下：
S311.设置热度表记录数据所在存储池以及数据访问热度值；
S312.当时间阈值内数据访问及修改次数增加时，设置热度表维护线程在热度表增加该数据的访问热度；
S313.当时数据访问时间超过时间阈值时，设置热度表维护线程在热度表减少该数据的访问热度。热度表维护线程根据数据访问情况维护热度表。
进一步地，步骤S32具体步骤如下：
S321.设置存储***将热池中访问热度低于阈值的数据加入到热转冷待转移队列；
S322.设置存储***将冷池中访问热度高于阈值的数据加入到冷转热待转移队列；
S323.设置转移线程将热转冷待转移队列中数据的头对象中信息数据转移到冷池中，作为0号尾对象，保留数据的元数据信息在热池头对象中，并修改元数据记录头对象信息数据的位置信息；
S324.设置转移线程将冷转热带转移队列中数据的0号尾对象转移到热池中的头对象，并修改头对象元数据记录头对象信息数据的位置信息。转移线程根据热度表将数据转移到合适的存储位置。
进一步地，还包括如下步骤：
S4.设置存储***在数据下载时，从热池获取头对象，再根据头对象中元数据从冷池获取尾对象。数据下载分别从热池和冷池并行进行，提高了数据读取速度。
第二方面，本发明提供一种数据按照对象拆分的分级存储***，包括：
数据拆分模块，用于设置存储***将上传数据拆分成头对象和若干尾对象；所述头对象包括元数据和信息数据；
数据存储模块，用于设置存储***将上传数据的头对象存储到热池，而将尾对象全部存储到冷池；
数据转移模块，用于设置存储***统计数据访问热度，将访问热度低于阈值数据的头对象中信息数据从热池转移到冷池，将访问热度高于阈值数据的信息数据从冷池转移到热池。
进一步地，数据存储模块包括：
热池水位检测单元，用于设置存储***检测热池水位；
数据存储第一单元，用于当热池水位低于阈值时，设置存储***将上传数据的头对象全部存入热池，而将全部尾对象存入冷池；
数据存储第二单元，用于当热池水位高于阈值时，设置存储***将上传数据的头对象中元数据存入热池，而将信息数据和全部尾对象存入冷池。
进一步地，数据转移模块包括：
热度统计单元，用于在存储***设置热度表和热度维护线程，设置热度访问线程根据数据访问及修改情况维护热度表；
数据转移单元，用于在存储***设置转移线程，设置转移线程将访问热度低于阈值数据的头对象中信息数据从热池转移到冷池，将访问热度高于阈值数据的信息数据从冷池转移到热池。
本发明的有益效果在于，
本发明提供的数据按照对象拆分的分级存储方法及***，数据按照对象拆分，从而将大量尾对象直接存储到冷池，避免尾对象从热池到冷池的转移，大大提供了存储***写数据性能；将头对象中元数据作为数据读取的依据，而将头对象中信息数据作为可转移数据，为热池留出余量，提供了存储***的性能，丰富了分布式对象存储***的功能。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的方法流程示意图一；
图2是本发明的方法流程示意图二；
图3是本发明的***示意图；
图中，1-数据拆分模块；2-数据存储模块；2.1-热池水位检测单元；2.2-数据存储第一单元；2.3-数据存储第二单元；3-数据转移模块；3.1-热度统计单元；3.2-数据转移单元。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
实施例1：
如图1所示，本发明提供一种数据按照对象拆分的分级存储方法，包括如下步骤：
S1.设置存储***将上传数据拆分成头对象和若干尾对象；所述头对象包括元数据和信息数据；
S2.设置存储***将上传数据的头对象存储到热池，而将尾对象全部存储到冷池；
S3.设置存储***统计数据访问热度，将访问热度低于阈值数据的头对象中信息数据从热池转移到冷池，将访问热度高于阈值数据的信息数据从冷池转移到热池。
在某些实施例中，还包括如下步骤：
S4.设置存储***在数据下载时，从热池获取头对象，再根据头对象中元数据从冷池获取尾对象。
实施例2：
如图2所示，本发明提供一种数据按照对象拆分的分级存储方法，包括如下步骤：
S1.设置存储***将上传数据拆分成头对象和若干尾对象；所述头对象包括元数据和信息数据；头对象占用空间为固定值，每个尾对象占用空间小于等于设定阈值；
S2.设置存储***将上传数据的头对象存储到热池，而将尾对象全部存储到冷池；热池采用冗余策略，冷池采用纠删策略；具体步骤如下：
S21.设置存储***检测热池水位；
当热池水位低于阈值时，进入步骤S22；
当热池水位高于阈值时，进入步骤S23；
S22.设置存储***将上传数据的头对象全部存入热池，而将全部尾对象存入冷池；
S23.设置存储***将上传数据的头对象中元数据存入热池，而将信息数据和全部尾对象存入冷池；
S3.设置存储***统计数据访问热度，将访问热度低于阈值数据的头对象中信息数据从热池转移到冷池，将访问热度高于阈值数据的信息数据从冷池转移到热池；具体步骤如下：
S31.在存储***设置热度表和热度维护线程，设置热度访问线程根据数据访问及修改情况维护热度表；
S32.在存储***设置转移线程，设置转移线程将访问热度低于阈值数据的头对象中信息数据从热池转移到冷池，将访问热度高于阈值数据的信息数据从冷池转移到热池。
在某些实施例中，头对象占用空间设置为512k，每个尾对象设置为小于等于4M；由于头对象比较小，相同大小的热池ssd，此种分级方法可以缓存更多的对象；而尾对象作为4m大小条带，存入热池ssd和冷池Hdd性能差别不大，所以将4m大小存入冷池hdd更加合适，节省了热池ssd空间；在读取数据和上传数据时候，从热池ssd读写头对象和从热池Hdd读写尾对象可以达到并发效果，大大提高了存储性能。
相比于传统存储方案，此方案解决了当上传速度过快时，ssd磁盘很容易达到阈值从而影响存储***性能问题
在某些实施例中，步骤S31具体步骤如下：
S311.设置热度表记录数据所在存储池以及数据访问热度值；
S312.当时间阈值内数据访问及修改次数增加时，设置热度表维护线程在热度表增加该数据的访问热度；
S313.当时数据访问时间超过时间阈值时，设置热度表维护线程在热度表减少该数据的访问热度。
步骤S32具体步骤如下：
S321.设置存储***将热池中访问热度低于阈值的数据加入到热转冷待转移队列；
S322.设置存储***将冷池中访问热度高于阈值的数据加入到冷转热待转移队列；
S323.设置转移线程将热转冷待转移队列中数据的头对象中信息数据转移到冷池中，作为0号尾对象，保留数据的元数据信息在热池头对象中，并修改元数据记录头对象信息数据的位置信息；
S324.设置转移线程将冷转热带转移队列中数据的0号尾对象转移到热池中的头对象，并修改头对象元数据记录头对象信息数据的位置信息。
实施例3：
如图3所示，本发明提供一种数据按照对象拆分的分级存储***，包括：
数据拆分模块1，用于设置存储***将上传数据拆分成头对象和若干尾对象；所述头对象包括元数据和信息数据；
数据存储模块2，用于设置存储***将上传数据的头对象存储到热池，而将尾对象全部存储到冷池；数据存储模块2包括：
热池水位检测单元2.1，用于设置存储***检测热池水位；
数据存储第一单元2.2，用于当热池水位低于阈值时，设置存储***将上传数据的头对象全部存入热池，而将全部尾对象存入冷池；
数据存储第二单元2.3，用于当热池水位高于阈值时，设置存储***将上传数据的头对象中元数据存入热池，而将信息数据和全部尾对象存入冷池；
数据转移模块3，用于设置存储***统计数据访问热度，将访问热度低于阈值数据的头对象中信息数据从热池转移到冷池，将访问热度高于阈值数据的信息数据从冷池转移到热池；数据转移模块3包括：
热度统计单元3.1，用于在存储***设置热度表和热度维护线程，设置热度访问线程根据数据访问及修改情况维护热度表；
数据转移单元3.2，用于在存储***设置转移线程，设置转移线程将访问热度低于阈值数据的头对象中信息数据从热池转移到冷池，将访问热度高于阈值数据的信息数据从冷池转移到热池。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种数据按照对象拆分的分级存储方法，其特征在于，包括如下步骤：
S1.设置存储***将上传数据拆分成头对象和若干尾对象；所述头对象包括元数据和信息数据；
S2.设置存储***将上传数据的头对象存储到热池，而将尾对象全部存储到冷池；
S3.设置存储***统计数据访问热度，将访问热度低于阈值数据的头对象中信息数据从热池转移到冷池，将访问热度高于阈值数据的信息数据从冷池转移到热池。
2.如权利要求1所述的数据按照对象拆分的分级存储方法，其特征在于，步骤S2具体步骤如下：
S21.设置存储***检测热池水位；
当热池水位低于阈值时，进入步骤S22；
当热池水位高于阈值时，进入步骤S23；
S22.设置存储***将上传数据的头对象全部存入热池，而将全部尾对象存入冷池；
S23.设置存储***将上传数据的头对象中元数据存入热池，而将信息数据和全部尾对象存入冷池。
3.如权利要求1或2所述的数据按照对象拆分的分级存储方法，其特征在于，步骤S2热池采用冗余策略，冷池采用纠删策略。
4.如权利要求1所述的数据按照对象拆分的分级存储方法，其特征在于，步骤S3具体步骤如下：
S31.在存储***设置热度表和热度维护线程，设置热度访问线程根据数据访问及修改情况维护热度表；
S32.在存储***设置转移线程，设置转移线程将访问热度低于阈值数据的头对象中信息数据从热池转移到冷池，将访问热度高于阈值数据的信息数据从冷池转移到热池。
5.如权利要求4所述的数据按照对象拆分的分级存储方法，其特征在于，步骤S31具体步骤如下：
S311.设置热度表记录数据所在存储池以及数据访问热度值；
S312.当时间阈值内数据访问及修改次数增加时，设置热度表维护线程在热度表增加该数据的访问热度；
S313.当时数据访问时间超过时间阈值时，设置热度表维护线程在热度表减少该数据的访问热度。
6.如权利要求4或5所述的数据按照对象拆分的分级存储方法，其特征在于，步骤S32具体步骤如下：
S321.设置存储***将热池中访问热度低于阈值的数据加入到热转冷待转移队列；
S322.设置存储***将冷池中访问热度高于阈值的数据加入到冷转热待转移队列；
S323.设置转移线程将热转冷待转移队列中数据的头对象中信息数据转移到冷池中，作为0号尾对象，保留数据的元数据信息在热池头对象中，并修改元数据记录头对象信息数据的位置信息；
S324.设置转移线程将冷转热带转移队列中数据的0号尾对象转移到热池中的头对象，并修改头对象元数据记录头对象信息数据的位置信息。
7.如权利要求1所述的数据按照对象拆分的分级存储方法，其特征在于，还包括如下步骤：
S4.设置存储***在数据下载时，从热池获取头对象，再根据头对象中元数据从冷池获取尾对象。
8.一种数据按照对象拆分的分级存储***，其特征在于，包括：
数据拆分模块（1），用于设置存储***将上传数据拆分成头对象和若干尾对象；所述头对象包括元数据和信息数据；
数据存储模块（2），用于设置存储***将上传数据的头对象存储到热池，而将尾对象全部存储到冷池；
数据转移模块（3），用于设置存储***统计数据访问热度，将访问热度低于阈值数据的头对象中信息数据从热池转移到冷池，将访问热度高于阈值数据的信息数据从冷池转移到热池。
9.如权利要求8所述的数据按照对象拆分的分级存储***，其特征在于，数据存储模块（2）包括：
热池水位检测单元（2.1），用于设置存储***检测热池水位；
数据存储第一单元（2.2），用于当热池水位低于阈值时，设置存储***将上传数据的头对象全部存入热池，而将全部尾对象存入冷池；
数据存储第二单元（2.3），用于当热池水位高于阈值时，设置存储***将上传数据的头对象中元数据存入热池，而将信息数据和全部尾对象存入冷池。
10.如权利要求8所述的数据按照对象拆分的分级存储***，其特征在于，数据转移模块（3）包括：
热度统计单元（3.1），用于在存储***设置热度表和热度维护线程，设置热度访问线程根据数据访问及修改情况维护热度表；
数据转移单元（3.2），用于在存储***设置转移线程，设置转移线程将访问热度低于阈值数据的头对象中信息数据从热池转移到冷池，将访问热度高于阈值数据的信息数据从冷池转移到热池。
CN202010726612.4A 2020-07-25 2020-07-25 一种数据按照对象拆分的分级存储方法及*** Active CN111984549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010726612.4A CN111984549B (zh) 2020-07-25 2020-07-25 一种数据按照对象拆分的分级存储方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010726612.4A CN111984549B (zh) 2020-07-25 2020-07-25 一种数据按照对象拆分的分级存储方法及***

Publications (2)

Publication Number Publication Date
CN111984549A CN111984549A (zh) 2020-11-24
CN111984549B true CN111984549B (zh) 2022-07-19

Family

ID=73438131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010726612.4A Active CN111984549B (zh) 2020-07-25 2020-07-25 一种数据按照对象拆分的分级存储方法及***

Country Status (1)

Country Link
CN (1) CN111984549B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104360961A (zh) * 2014-12-10 2015-02-18 浪潮(北京)电子信息产业有限公司 一种基于对象存储的自适应分级处理方法及***
WO2016165441A1 (zh) * 2015-09-06 2016-10-20 中兴通讯股份有限公司 迁移策略调整方法、容量变更建议方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104360961A (zh) * 2014-12-10 2015-02-18 浪潮(北京)电子信息产业有限公司 一种基于对象存储的自适应分级处理方法及***
WO2016165441A1 (zh) * 2015-09-06 2016-10-20 中兴通讯股份有限公司 迁移策略调整方法、容量变更建议方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
对象存储***的合作缓存方案;罗益辉等;《华中科技大学学报(自然科学版)》;20081115(第11期);全文 *

Also Published As

Publication number Publication date
CN111984549A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
Sun et al. DPPDL: a dynamic partial-parallel data layout for green video surveillance storage
CN106095342B (zh) 一种动态可变长条带的瓦记录磁盘阵列构建方法及***
CN103246616B (zh) 一种长短周期访问频度的全局共享缓存替换方法
CN108829341B (zh) 一种基于混合存储***的数据管理方法
CN103631536B (zh) 一种利用ssd的无效数据优化raid5/6写性能的方法
CN103702057B (zh) 一种适应于多路并发写入流媒体数据的分块式存储算法
CN106293511A (zh) 一种面向连续数据存储的动态局部并行数据布局
WO2010066098A1 (zh) 用较大容量dram参与闪存介质管理构建高速固态存储盘的方法及装置
CN103226965B (zh) 基于时间位图的音视频数据存取方法
CN102999428A (zh) 一种瓦记录磁盘的四级编址方法
CN107221351B (zh) 一种固态盘***中纠错码的优化处理方法及其应用
CN110888600B (zh) 一种面向nand闪存的缓冲区管理方法
CN101625586A (zh) 一种管理存储设备节能的方法、设备和计算机
CN108572799B (zh) 一种双向哈希链表的异构内存***数据页迁移方法
CN108959589A (zh) 基于stt-mram加速固态存储器件日志文件保存恢复的方法
CN105005510A (zh) 应用于固态硬盘阻变存储器缓存的纠错保护架构及方法
CN116250041A (zh) 用于dram的刷新管理列表
US20190026028A1 (en) Minimizing performance degradation due to refresh operations in memory sub-systems
CN111984549B (zh) 一种数据按照对象拆分的分级存储方法及***
CN102520885A (zh) 一种混合硬盘的数据管理***
CN105138277A (zh) 一种固态盘阵列的缓存管理方法
CN108647157A (zh) 一种基于相变存储器的映射管理方法及固态硬盘
CN104794061B (zh) 一种相变存储***损耗均衡方法
KR101031338B1 (ko) 동영상 재생 시 디스크 소모 에너지 감소를 위한 메모리 관리 방법
CN104156327A (zh) 一种分布式文件***中写回模式下对象掉电识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant