CN106020722A - 一种云存储***的重复数据去重方法、装置及*** - Google Patents

一种云存储***的重复数据去重方法、装置及*** Download PDF

Info

Publication number
CN106020722A
CN106020722A CN201610334354.9A CN201610334354A CN106020722A CN 106020722 A CN106020722 A CN 106020722A CN 201610334354 A CN201610334354 A CN 201610334354A CN 106020722 A CN106020722 A CN 106020722A
Authority
CN
China
Prior art keywords
data
duplicate removal
storage
storage object
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610334354.9A
Other languages
English (en)
Inventor
于辉
刘俊朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201610334354.9A priority Critical patent/CN106020722A/zh
Publication of CN106020722A publication Critical patent/CN106020722A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G06F3/0641—De-duplication techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种云存储***的重复数据去重方法，包括：S10：判断包含有重复数据的数据存储对象的类型为文件数据还是块数据，如果是文件数据则进入步骤S11，如果是块数据则进入步骤S12；S11：确定所述数据存储对象按照文件级去重方式进行去重；S12：确定所述数据存储对象按照块数据级去重方式进行去重。该方法根据数据存储对象的类型确定相应的去重方式，能够提高存储***去重效率和存储资源池的整体利用率。此外，本发明还公开一种云存储***的重复数据去重装置及云存储***，效果如上所述。

Description

一种云存储***的重复数据去重方法、装置及***
技术领域
本发明涉及计算机技术领域，特别是涉及一种云存储***的重复数据去重方法、装置及***。
背景技术
当前，云计算逐渐被行业认可，云存储***已经逐渐在社会生产和生活领域中起到越来越重要的作用。云存储***中存在着大量的重复数据，这些重复数据的存在大大影响了数据存储、访问的效率，并造成了资源的大量浪费。待存储数据需要重复数据的去重工作，对于待存储数据要实现重复数据的去重，一方面可以有效的节省用户的存储空间，可以间接节省服务商的硬件采购成本、人力能耗和机房的使用空间等；另一个方面，重复数据去重通过互联网并不传输或存储多份相同数据，这样就有效减少对存储空间和网络带宽的占用，进而提高访问和检索效率。在具体实施中，重复数据的去重方式有多种，合适的去重方式不仅提高了存储资源池的利用率还提高了存储效率。
因此，如何对重复数据进行去重，以提高存储资源池的利用率和存储效率是本领域技术人员亟待解决的问题。
发明内容
本发明的目的是提供一种云存储***的重复数据去重方法、装置及***，用于提高存储资源池的利用率和存储效率。
为解决上述技术问题，本发明提供一种云存储***的重复数据去重方法，包括：
S10：判断包含有重复数据的数据存储对象的类型为文件数据还是块数据，如果是文件数据则进入步骤S11，如果是块数据则进入步骤S12；
S11：确定所述数据存储对象按照文件级去重方式进行去重；
S12：确定所述数据存储对象按照块数据级去重方式进行去重。
优选地，在步骤S11之后还包括：
将所述数据存储对象发送至存储资源池中的文件存储设备中以对所述数据存储对象进行去重和存储。
优选地，所述文件存储设备包括NAS网络存储设备。
优选地，在步骤S12之后还包括：
将所述数据存储对象发送至存储资源池中的块存储设备中以对所述数据存储对象进行去重和存储。
优选地，所述块存储设备包括SAN存储设备。
优选地，在步骤S11或步骤S12之后还包括：
将所述数据存储对象发送至存储资源池中的对象存储设备中以对所述数据存储对象进行去重和存储。
优选地，所述对象存储设备包括Ceph对象存储设备。
优选地，在步骤S10之前还包括：
获取存储请求；
接收所述存储请求对应的待存储数据；
判断所述待存储数据是否包含有所述重复数据，如果是，则确定所述待存储数据为所述数据存储对象。
一种云存储***的重复数据去重装置，包括：
数据存储对象类型判断模块，用于判断包含有重复数据的数据存储对象的类型为文件数据还是块数据；
去重方式选择模块，用于在所述数据存储对象类型判断模块判断出所述数据存储对象的类型为文件数据时，确定所述数据存储对象按照文件级去重方式进行去重，或者，用于在所述数据存储对象类型判断模块判断出所述数据存储对象的类型为块数据时，确定所述数据存储对象按照块数据级去重方式进行去重。
一种云存储***，包括所述的云存储***的重复数据去重装置。
本发明所提供的云存储***的重复数据去重方法、装置及***，当接收到数据存储对象后，首先判断数据存储对象的类型为文件数据还是块数据，如果是文件数据则确定数据存储对象按照文件级去重方式进行去重；如果判断数据存储对象的类型为块数据入则确定数据存储对象按照块数据级去重方式进行去重。该方法根据数据存储对象的类型确定相应的去重方式，能够提高存储***去重效率和存储资源池的整体利用率。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种云存储***的重复数据去重方法的流程图；
图2为本发明提供的一种云存储***的重复数据去重装置的结构图；
图3为本发明提供的一种云存储***的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。
本发明的核心是提供一种云存储***的重复数据去重方法及装置。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
图1为本发明提供的一种云存储***的重复数据去重方法的流程图。云存储***的重复数据去重方法包括：
S10：判断包含有重复数据的数据存储对象的类型为文件数据还是块数据，如果是文件数据则进入步骤S11，如果是块数据则进入步骤S12；
S11：确定数据存储对象按照文件级去重方式进行去重；
S12：确定数据存储对象按照块数据级去重方式进行去重。
在具体实施中，数据存储对象的类型可以分为文件数据类型和块数据类型，文件数据类型和块数据类型的去重方式不同。如果数据存储对象为文件数据类型，采用块数据级去重方式的话，则降低存储***去重效率和存储资源池的整体利用率；相同的，如果数据存储对象为块数据类型，采用文件级去重方式的话，则降低存储***去重效率和存储资源池的整体利用率。
本发明中的文件级去重方式指的是：如果发现两个相同的文件，其中之一就会被指向另一个文件的指针所取代。该方式只是简单地将多份访问请求链接到同一份数据，不会影响数据的读取性能，而且用户打开文件时，也不需要进行解压缩或者数据重组。
本发明中的块数据级去重方式指的是：将所有的数据存储对象分解成数据块，然后通过散列算法，为每个块创建一个哈希值，并与其他所有数据块的哈希值进行比对，如果两个不同数据块的哈希值完全一致，其中的一个块就会被删除，并用指向另一个块的指针来代替。该方式有着较高的压缩率，去重粒度更细，能够更好的提高数据去重的效率。
本实施例提供的云存储***的重复数据去重方法，当接收到数据存储对象后，首先判断数据存储对象的类型为文件数据还是块数据，如果是文件数据则确定数据存储对象按照文件级去重方式进行去重；如果判断数据存储对象的类型为块数据入则确定数据存储对象按照块数据级去重方式进行去重。该方法根据数据存储对象的类型确定相应的去重方式，能够提高存储***去重效率和存储资源池的整体利用率。
作为一种有优选地实施方式，在上述实施例的基础上，在步骤S11之后还包括：
将数据存储对象发送至存储资源池中的文件存储设备中以对数据存储对象进行去重和存储。
在确定了数据存储对象为文件数据后，则将数据存储对象按照文件级去重方式进行去重。存储资源池中有多种存储设备，例如，可以是NAS网络存储设备。
作为一种有优选地实施方式，在上述实施例的基础上，在步骤S12之后还包括：
将数据存储对象发送至存储资源池中的块存储设备中以对数据存储对象进行去重和存储。
在确定了数据存储对象为块数据后，则将数据存储对象按照数据级去重方式进行去重。存储资源池中有多种存储设备，例如，可以是SAN存储设备。
作为一种有优选地实施方式，在上述实施例的基础上，在步骤S11或步骤S12之后还包括：
将数据存储对象发送至存储资源池中的对象存储设备中以对数据存储对象进行去重和存储。
在具体实施中，当确定了数据存储对象的去重方式后，无论是按照文件级去重方式还是数据级去重方式都可以将数据存储对象发送至对象存储设置中，以完成去重和存储。对象存储设备包括Ceph对象存储设备。
作为一种有优选地实施方式，在上述实施例的基础上，在步骤S10之前还包括：
获取存储请求；
接收存储请求对应的待存储数据；
判断待存储数据是否包含有重复数据，如果是，则确定待存储数据为数据存储对象。
可以理解的是，在上述实施例的基础上，还包括：
记录步骤S10-S12中的任意一个步骤或几个步骤对应的操作信息。
在步骤S10开始执行到本步骤执行完成后，将该步骤的操作信息记录下来，例如，执行时间等，以便作为后续的问题处理和故障排查依据。对于步骤S11和步骤S12来说相同。
图2为本发明提供的一种云存储***的重复数据去重装置的结构图。一种云存储***的重复数据去重装置，包括：
数据存储对象类型判断模块10，用于判断包含有重复数据的数据存储对象的类型为文件数据还是块数据；
去重方式选择模块11，用于在数据存储对象类型判断模块判断出数据存储对象的类型为文件数据时，确定数据存储对象按照文件级去重方式进行去重，或者，用于在数据存储对象类型判断模块判断出数据存储对象的类型为块数据时，确定数据存储对象按照块数据级去重方式进行去重。
在具体实施中，数据存储对象的类型可以分为文件数据类型和块数据类型，文件数据类型和块数据类型的去重方式不同。如果数据存储对象为文件数据类型，采用块数据级去重方式的话，则降低存储***去重效率和存储资源池的整体利用率；相同的，如果数据存储对象为块数据类型，采用文件级去重方式的话，则降低存储***去重效率和存储资源池的整体利用率。
本发明中的文件级去重方式指的是：如果发现两个相同的文件，其中之一就会被指向另一个文件的指针所取代。该方式只是简单地将多份访问请求链接到同一份数据，不会影响数据的读取性能，而且用户打开文件时，也不需要进行解压缩或者数据重组。
本发明中的块数据级去重方式指的是：将所有的数据存储对象分解成数据块，然后通过散列算法，为每个块创建一个哈希值，并与其他所有数据块的哈希值进行比对，如果两个不同数据块的哈希值完全一致，其中的一个块就会被删除，并用指向另一个块的指针来代替。该方式有着较高的压缩率，去重粒度更细，能够更好的提高数据去重的效率。
本实施例提供的云存储***的重复数据去重装置，当数据存储对象类型判断模块10接收到数据存储对象后，首先判断数据存储对象的类型为文件数据还是块数据，如果是文件数据则去重方式选择模块11确定数据存储对象按照文件级去重方式进行去重；如果判断数据存储对象的类型为块数据入则去重方式选择模块11确定数据存储对象按照块数据级去重方式进行去重。该方法根据数据存储对象的类型确定相应的去重方式，能够提高存储***去重效率和存储资源池的整体利用率。
图3为本发明提供的一种云存储***的结构图。一种云存储***，包括上述实施例所述的云存储***的重复数据去重装置1。在具体实施中，云存储***还包括存储资源池2等。云存储***的重复数据去重装置1的具体实施方式见上述实施例的描述。
以上对本发明所提供的云存储***的重复数据去重方法、装置及***进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

Claims (10)

1.一种云存储***的重复数据去重方法，其特征在于，包括：
S10：判断包含有重复数据的数据存储对象的类型为文件数据还是块数据，如果是文件数据则进入步骤S11，如果是块数据则进入步骤S12；
S11：确定所述数据存储对象按照文件级去重方式进行去重；
S12：确定所述数据存储对象按照块数据级去重方式进行去重。
2.根据权利要求1所述的云存储***的重复数据去重方法，其特征在于，在步骤S11之后还包括：
将所述数据存储对象发送至存储资源池中的文件存储设备中以对所述数据存储对象进行去重和存储。
3.根据权利要求2所述的云存储***的重复数据去重方法，其特征在于，所述文件存储设备包括NAS网络存储设备。
4.根据权利要求1所述的云存储***的重复数据去重方法，其特征在于，在步骤S12之后还包括：
将所述数据存储对象发送至存储资源池中的块存储设备中以对所述数据存储对象进行去重和存储。
5.根据权利要求4所述的云存储***的重复数据去重方法，其特征在于，所述块存储设备包括SAN存储设备。
6.根据权利要求1所述的云存储***的重复数据去重方法，其特征在于，在步骤S11或步骤S12之后还包括：
将所述数据存储对象发送至存储资源池中的对象存储设备中以对所述数据存储对象进行去重和存储。
7.根据权利要求6所述的云存储***的重复数据去重方法，其特征在于，所述对象存储设备包括Ceph对象存储设备。
8.根据权利要求1所述的云存储***的重复数据去重方法，其特征在于，在步骤S10之前还包括：
获取存储请求；
接收所述存储请求对应的待存储数据；
判断所述待存储数据是否包含有所述重复数据，如果是，则确定所述待存储数据为所述数据存储对象。
9.一种云存储***的重复数据去重装置，其特征在于，包括：
数据存储对象类型判断模块，用于判断包含有重复数据的数据存储对象的类型为文件数据还是块数据；
去重方式选择模块，用于在所述数据存储对象类型判断模块判断出所述数据存储对象的类型为文件数据时，确定所述数据存储对象按照文件级去重方式进行去重，或者，用于在所述数据存储对象类型判断模块判断出所述数据存储对象的类型为块数据时，确定所述数据存储对象按照块数据级去重方式进行去重。
10.一种云存储***，其特征在于，包括权利要求9所述的云存储***的重复数据去重装置。
CN201610334354.9A 2016-05-19 2016-05-19 一种云存储***的重复数据去重方法、装置及*** Pending CN106020722A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610334354.9A CN106020722A (zh) 2016-05-19 2016-05-19 一种云存储***的重复数据去重方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610334354.9A CN106020722A (zh) 2016-05-19 2016-05-19 一种云存储***的重复数据去重方法、装置及***

Publications (1)

Publication Number Publication Date
CN106020722A true CN106020722A (zh) 2016-10-12

Family

ID=57095308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610334354.9A Pending CN106020722A (zh) 2016-05-19 2016-05-19 一种云存储***的重复数据去重方法、装置及***

Country Status (1)

Country Link
CN (1) CN106020722A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977168A (zh) * 2017-12-15 2018-05-01 安徽长泰信息安全服务有限公司 一种基于云存储的数据分散存储***
CN108345432A (zh) * 2017-01-25 2018-07-31 三星电子株式会社 用于超量配置存储器***的高效压缩的算法方法
CN108984103A (zh) * 2017-06-02 2018-12-11 伊姆西Ip控股有限责任公司 用于去重的方法和设备
CN109743362A (zh) * 2018-12-17 2019-05-10 南京东大智能化***有限公司 一种应用于全格式数据结构的数据存储方法
CN111404978A (zh) * 2019-09-06 2020-07-10 杭州海康威视***技术有限公司 一种数据存储方法及云存储***
CN112511612A (zh) * 2020-11-19 2021-03-16 中国联合网络通信集团有限公司 云存储数据存储方法、装置、***、设备及存储介质
CN116204136A (zh) * 2023-05-04 2023-06-02 山东浪潮科学研究院有限公司 一种数据存储、查询方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916171A (zh) * 2010-07-16 2010-12-15 中国科学院计算技术研究所 一种并发层次式的重复数据消除方法和***
CN102609215A (zh) * 2012-04-11 2012-07-25 成都市华为赛门铁克科技有限公司 数据处理方法及装置
CN103714123A (zh) * 2013-12-06 2014-04-09 西安工程大学 企业云存储分块对象重复数据删除和重组版本控制方法
CN105511812A (zh) * 2015-12-10 2016-04-20 浪潮(北京)电子信息产业有限公司 一种存储***大数据优化方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916171A (zh) * 2010-07-16 2010-12-15 中国科学院计算技术研究所 一种并发层次式的重复数据消除方法和***
CN102609215A (zh) * 2012-04-11 2012-07-25 成都市华为赛门铁克科技有限公司 数据处理方法及装置
CN103714123A (zh) * 2013-12-06 2014-04-09 西安工程大学 企业云存储分块对象重复数据删除和重组版本控制方法
CN105511812A (zh) * 2015-12-10 2016-04-20 浪潮(北京)电子信息产业有限公司 一种存储***大数据优化方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘洋: "《信息存储技术原理分析》", 31 December 2014 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345432A (zh) * 2017-01-25 2018-07-31 三星电子株式会社 用于超量配置存储器***的高效压缩的算法方法
CN108345432B (zh) * 2017-01-25 2023-11-07 三星电子株式会社 用于超量配置存储器***的高效压缩的算法方法
CN108984103A (zh) * 2017-06-02 2018-12-11 伊姆西Ip控股有限责任公司 用于去重的方法和设备
CN108984103B (zh) * 2017-06-02 2021-06-22 伊姆西Ip控股有限责任公司 用于去重的方法和设备
US11461276B2 (en) 2017-06-02 2022-10-04 EMC IP Holding Company LLC Method and device for deduplication
CN107977168A (zh) * 2017-12-15 2018-05-01 安徽长泰信息安全服务有限公司 一种基于云存储的数据分散存储***
CN107977168B (zh) * 2017-12-15 2021-01-01 安徽长泰信息安全服务有限公司 一种基于云存储的数据分散存储***
CN109743362A (zh) * 2018-12-17 2019-05-10 南京东大智能化***有限公司 一种应用于全格式数据结构的数据存储方法
CN109743362B (zh) * 2018-12-17 2024-04-16 南京东大智能化***有限公司 一种应用于全格式数据结构的数据存储方法
CN111404978B (zh) * 2019-09-06 2023-05-02 杭州海康威视***技术有限公司 一种数据存储方法及云存储***
CN111404978A (zh) * 2019-09-06 2020-07-10 杭州海康威视***技术有限公司 一种数据存储方法及云存储***
CN112511612A (zh) * 2020-11-19 2021-03-16 中国联合网络通信集团有限公司 云存储数据存储方法、装置、***、设备及存储介质
CN116204136A (zh) * 2023-05-04 2023-06-02 山东浪潮科学研究院有限公司 一种数据存储、查询方法、装置、设备及存储介质
CN116204136B (zh) * 2023-05-04 2023-08-15 山东浪潮科学研究院有限公司 一种数据存储、查询方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN106020722A (zh) 一种云存储***的重复数据去重方法、装置及***
US12032826B2 (en) Automated selection of functions to reduce storage capacity based on performance requirements
CN103778148B (zh) Hadoop分布式文件***数据文件的生命周期管理方法和设备
Fu et al. Application-aware local-global source deduplication for cloud backup services of personal storage
CN103136243B (zh) 基于云存储的文件***去重方法及装置
US9298385B2 (en) System, method and computer program product for deduplication aware quality of service over data tiering
US20110184908A1 (en) Selective data deduplication
CN105824881B (zh) 一种基于负载均衡的重复数据删除数据放置方法
CN106611035A (zh) 一种云存储中重复数据删除的检索算法
CN105511812A (zh) 一种存储***大数据优化方法及装置
CN107870981A (zh) 电子装置、数据表归档处理的方法及存储介质
CN110727727B (zh) 一种数据库的统计方法及装置
CN103399797B (zh) 服务器资源配置方法及装置
CN103955530A (zh) 一种在线重复数据删除***的数据重建优化方法
CN112260694B (zh) 一种仿真文件的数据压缩方法
CN103150260A (zh) 重复数据删除方法和装置
CN103412929A (zh) 一种海量数据的存储方法
Wang et al. Exalt: Empowering Researchers to Evaluate {Large-Scale} Storage Systems
CN105630810A (zh) 一种对于海量小文件在分布式存储***中上载的方法
CN106569750A (zh) 一种数据压缩方法及装置
EP2811410A1 (en) Monitoring record management method and device
US10241693B2 (en) Dynamic two-tier data storage utilization
CN110851317A (zh) 一种预测存储设备iops性能数据的方法、装置、设备及存储介质
CN107423425A (zh) 一种对k/v格式的数据快速存储和查询方法
CN114356212A (zh) 数据处理方法、***及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161012