CN114721594A - 一种分布式存储方法、装置、设备及机器可读存储介质 - Google Patents

一种分布式存储方法、装置、设备及机器可读存储介质 Download PDF

Info

Publication number
CN114721594A
CN114721594A CN202210329259.5A CN202210329259A CN114721594A CN 114721594 A CN114721594 A CN 114721594A CN 202210329259 A CN202210329259 A CN 202210329259A CN 114721594 A CN114721594 A CN 114721594A
Authority
CN
China
Prior art keywords
storage
data
data block
stored
characteristic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210329259.5A
Other languages
English (en)
Inventor
何培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Information Technologies Co Ltd
Original Assignee
New H3C Information Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Information Technologies Co Ltd filed Critical New H3C Information Technologies Co Ltd
Priority to CN202210329259.5A priority Critical patent/CN114721594A/zh
Publication of CN114721594A publication Critical patent/CN114721594A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G06F3/0641—De-duplication techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供一种分布式存储方法、装置、设备及机器可读存储介质，该方法包括：响应于数据存储请求，对待存储数据包分割成若干个数据块，计算各数据块的特征信息，将各数据块的特征信息分片存储至存储集群的各存储节点；根据特征信息对比待存储数据包分割成的各数据块与存储集群已存储的各数据块；设置指针。通过本公开的技术方案，采用分布式存储的方式构建重删存储***，在存储集群的各存储节点中分片保存重删存储***的特征信息和数据块，是的重删存储***保留了重删存储模式的高存储利用率的同时，至少存储数据过程中多存储节点并发处理业务，可实现负载均衡，提高存储性能上限。

Description

一种分布式存储方法、装置、设备及机器可读存储介质
技术领域
本公开涉及通信技术领域，尤其是涉及一种分布式存储方法、装置、设备及机器可读存储介质。
背景技术
重删(Data Deduplication，数据重复删除)：一种节约数据存储空间的技术。存储***中存储了很多重复数据，这些数据占用了大量硬盘空间，利用重复数据删除技术，可以只存储一份数据，从而有效提高存储利用率。
现有重删存储***为单机/单节点/备份一体机的存储***，存在的问题至少包括扩容局限性大、故障丢失数据、具有性能瓶颈。具体的，单机存储服务器最大容量由服务器盘数和单盘容量决定，需要扩容只能通过增加硬盘进行，纵向扩展有最大限度、需要停机、操作复杂等局限性；重删池由指纹库、数据块、指纹索引组成，单台存储服务器一旦出现指纹、数据块损坏，将导致数据无法恢复；存储过程中，读写以及网络带宽是影响存储窗口的三大因素，而多存储作业并发情况下，单台存储服务器会成为存储窗口的性能瓶颈，缺少负载均衡。
发明内容
有鉴于此，本公开提供一种分布式存储方法、装置及电子设备、机器可读存储介质，以至少改善上述技术问题之一。
具体地技术方案如下：
本公开提供了一种分布式存储方法，应用于存储集群，所述方法包括：响应于数据存储请求，对待存储数据包分割成若干个数据块，计算各数据块的特征信息，将各数据块的特征信息分片存储至存储集群的各存储节点；根据特征信息对比待存储数据包分割成的各数据块与存储集群已存储的各数据块；根据存在一个关联于特征信息的待存储数据块与一个存储集群已存储的数据块为相同的对比结果，设置指向于该存储集群已存储的数据块的指针关联至该待存储数据关联的特征信息；根据存在一个关联于特征信息的待存储数据块与存储集群已存储的各数据块均不相同的对比结果，存储该待存储数据块至存储集群，设置指向于该存储至存储集群的待存储数据块的指针关联至该待存储数据关联的特征信息。
作为一种技术方案，所述响应于数据存储请求，对待存储数据包分割成若干个数据块，计算各数据块的特征信息，将各数据块的特征信息分片存储至存储集群的各存储节点，包括：记录各数据块的特征信息及其与数据包的关联关系至特征索引。
作为一种技术方案，响应于数据读取请求，从特征索引中获取关联于待读取数据包的各数据块的特征信息；根据关联于待读取数据包的各数据块的特征信息，在存储集群的各存储节点查询匹配的特征信息；根据匹配到的特征信息的指针，找到并返回关联于待读取数据包的各数据块；根据返回的各数据块恢复生成待读取数据包。
作为一种技术方案，生成备份数据，所述备份数据备份有存储集群的各存储节点分布式存储的特征信息和相应设置的指针；若存储集群的存储节点发生变化，根据预先备份数据在变化后的存储集群的各存储节点分布式存储特征信息和相应设置的指针；所述存储集群的存储节点发生的变化包括增加存储节点或减少存储节点或更换存储节点。
本公开同时提供了一种分布式存储装置，应用于存储集群，所述装置包括：特征模块，用于响应于数据存储请求，对待存储数据包分割成若干个数据块，计算各数据块的特征信息，将各数据块的特征信息分片存储至存储集群的各存储节点；对比模块，用于根据特征信息对比待存储数据包分割成的各数据块与存储集群已存储的各数据块；存储模块，用于根据存在一个关联于特征信息的待存储数据块与一个存储集群已存储的数据块为相同的对比结果，设置指向于该存储集群已存储的数据块的指针关联至该待存储数据关联的特征信息；存储模块还用于根据存在一个关联于特征信息的待存储数据块与存储集群已存储的各数据块均不相同的对比结果，存储该待存储数据块至存储集群，设置指向于该存储至存储集群的待存储数据块的指针关联至该待存储数据关联的特征信息。
作为一种技术方案，所述响应于数据存储请求，对待存储数据包分割成若干个数据块，计算各数据块的特征信息，将各数据块的特征信息分片存储至存储集群的各存储节点，包括：记录各数据块的特征信息及其与数据包的关联关系至特征索引。
作为一种技术方案，读取模块，用于响应于数据读取请求，从特征索引中获取关联于待读取数据包的各数据块的特征信息；查询模块，用于根据关联于待读取数据包的各数据块的特征信息，在存储集群的各存储节点查询匹配的特征信息；传输模块，用于根据匹配到的特征信息的指针，找到并返回关联于待读取数据包的各数据块；数据模块，用于根据返回的各数据块恢复生成待读取数据包。
作为一种技术方案，备份模块，用于生成备份数据，所述备份数据备份有存储集群的各存储节点分布式存储的特征信息和相应设置的指针；恢复模块，用于若存储集群的存储节点发生变化，根据预先备份数据在变化后的存储集群的各存储节点分布式存储特征信息和相应设置的指针；所述存储集群的存储节点发生的变化包括增加存储节点或减少存储节点或更换存储节点。
本公开同时提供了一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，处理器执行所述机器可执行指令以实现前述的分布式存储方法。
本公开同时提供了一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现前述的分布式存储方法。
本公开提供的上述技术方案至少带来了以下有益效果：
采用分布式存储的方式构建重删存储***，在存储集群的各存储节点中分片保存重删存储***的特征信息和数据块，是的重删存储***保留了重删存储模式的高存储利用率的同时，至少存储数据过程中多存储节点并发处理业务，可实现负载均衡，提高存储性能上限。
附图说明
为了更加清楚地说明本公开实施方式或者现有技术中的技术方案，下面将对本公开实施方式或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开中记载的一些实施方式，对于本领域普通技术人员来讲，还可以根据本公开实施方式的这些附图获得其他的附图。
图1是本公开一种实施方式中的分布式存储方法的流程图；
图2是本公开一种实施方式中的分布式存储装置的结构图；
图3是本公开一种实施方式中的电子设备的硬件结构图。
具体实施方式
在本公开实施方式使用的术语仅仅是出于描述特定实施方式的目的，而非限制本公开。本公开和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开实施方式可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本公开提供一种分布式存储方法、装置及电子设备、机器可读存储介质，以至少改善上述技术问题之一。
具体地技术方案如后述。
在一种实施方式中，本公开提供了一种分布式存储方法，应用于存储集群，所述方法包括：响应于数据存储请求，对待存储数据包分割成若干个数据块，计算各数据块的特征信息，将各数据块的特征信息分片存储至存储集群的各存储节点；根据特征信息对比待存储数据包分割成的各数据块与存储集群已存储的各数据块；根据存在一个关联于特征信息的待存储数据块与一个存储集群已存储的数据块为相同的对比结果，设置指向于该存储集群已存储的数据块的指针关联至该待存储数据关联的特征信息；根据存在一个关联于特征信息的待存储数据块与存储集群已存储的各数据块均不相同的对比结果，存储该待存储数据块至存储集群，设置指向于该存储至存储集群的待存储数据块的指针关联至该待存储数据关联的特征信息。
具体地，如图1，包括以下步骤：
步骤S11，响应于数据存储请求，对待存储数据包分割成若干个数据块，计算各数据块的特征信息，将各数据块的特征信息分片存储至存储集群的各存储节点。
步骤S12，根据特征信息对比待存储数据包分割成的各数据块与存储集群已存储的各数据块。
步骤S131，根据存在一个关联于特征信息的待存储数据块与一个存储集群已存储的数据块为相同的对比结果，设置指向于该存储集群已存储的数据块的指针关联至该待存储数据关联的特征信息。
步骤S132，根据存在一个关联于特征信息的待存储数据块与存储集群已存储的各数据块均不相同的对比结果，存储该待存储数据块至存储集群，设置指向于该存储至存储集群的待存储数据块的指针关联至该待存储数据关联的特征信息。
采用分布式存储的方式构建重删存储***，在存储集群的各存储节点中分片保存重删存储***的特征信息和数据块，是的重删存储***保留了重删存储模式的高存储利用率的同时，至少存储数据过程中多存储节点并发处理业务，可实现负载均衡，提高存储性能上限。
在一种实施方式中，所述响应于数据存储请求，对待存储数据包分割成若干个数据块，计算各数据块的特征信息，将各数据块的特征信息分片存储至存储集群的各存储节点，包括：记录各数据块的特征信息及其与数据包的关联关系至特征索引。
在一种实施方式中，响应于数据读取请求，从特征索引中获取关联于待读取数据包的各数据块的特征信息；根据关联于待读取数据包的各数据块的特征信息，在存储集群的各存储节点查询匹配的特征信息；根据匹配到的特征信息的指针，找到并返回关联于待读取数据包的各数据块；根据返回的各数据块恢复生成待读取数据包。
在一种实施方式中，生成备份数据，所述备份数据备份有存储集群的各存储节点分布式存储的特征信息和相应设置的指针；若存储集群的存储节点发生变化，根据预先备份数据在变化后的存储集群的各存储节点分布式存储特征信息和相应设置的指针；所述存储集群的存储节点发生的变化包括增加存储节点或减少存储节点或更换存储节点。
在一种实施方式中，数据块的特征信息为数据块的指纹，指纹指的是通过设定算法，如哈希算法，计算得到的数据块的哈希值。以指纹哈希值作为该数据块的唯一标识，当两个数据块的指纹相同时，认为这两个数据块为相同的数据块。也可以使用其他具有唯一性的参数作为数据块的特征信息。
特征索引保存有数据包分割成的数据块的指纹与数据包的关联关系，在特征索引中按照顺序记录指纹及其与相应数据包的关联关系，即可通过特征索引获取到数据包的数据块分块信息及相应的指纹。
在一种实施方式中，可利用存储集群中服务器上已安装的备份软件。利用备份软件的管理服务器组件和存储服务器组件，部署在多台存储服务器上，组成一个分布式重删集群，该集群不区分主从节点。
在一种实施方式中，本公开同时提供了一种分布式存储装置，如图2，应用于存储集群，所述装置包括：特征模块21，用于响应于数据存储请求，对待存储数据包分割成若干个数据块，计算各数据块的特征信息，将各数据块的特征信息分片存储至存储集群的各存储节点；对比模块22，用于根据特征信息对比待存储数据包分割成的各数据块与存储集群已存储的各数据块；存储模块23，用于根据存在一个关联于特征信息的待存储数据块与一个存储集群已存储的数据块为相同的对比结果，设置指向于该存储集群已存储的数据块的指针关联至该待存储数据关联的特征信息；存储模块还用于根据存在一个关联于特征信息的待存储数据块与存储集群已存储的各数据块均不相同的对比结果，存储该待存储数据块至存储集群，设置指向于该存储至存储集群的待存储数据块的指针关联至该待存储数据关联的特征信息。
在一种实施方式中，所述响应于数据存储请求，对待存储数据包分割成若干个数据块，计算各数据块的特征信息，将各数据块的特征信息分片存储至存储集群的各存储节点，包括：记录各数据块的特征信息及其与数据包的关联关系至特征索引。
在一种实施方式中，读取模块，用于响应于数据读取请求，从特征索引中获取关联于待读取数据包的各数据块的特征信息；查询模块，用于根据关联于待读取数据包的各数据块的特征信息，在存储集群的各存储节点查询匹配的特征信息；传输模块，用于根据匹配到的特征信息的指针，找到并返回关联于待读取数据包的各数据块；数据模块，用于根据返回的各数据块恢复生成待读取数据包。
在一种实施方式中，备份模块，用于生成备份数据，所述备份数据备份有存储集群的各存储节点分布式存储的特征信息和相应设置的指针；恢复模块，用于若存储集群的存储节点发生变化，根据预先备份数据在变化后的存储集群的各存储节点分布式存储特征信息和相应设置的指针；所述存储集群的存储节点发生的变化包括增加存储节点或减少存储节点或更换存储节点。
本公开同时提供了一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，处理器执行所述机器可执行指令以实现前述的分布式存储方法。
装置实施方式与对应的方法实施方式相同或相似，在此不再赘述。
在一种实施方式中，本公开提供了一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，处理器执行所述机器可执行指令以实现前述的分布式存储方法，从硬件层面而言，硬件架构示意图可以参见图3所示。
在一种实施方式中，本公开提供了一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现前述的分布式存储方法。
这里，机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(RadomAccess Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
上述实施方式阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本公开时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本公开的实施方式可提供为方法、***、或计算机程序产品。因此，本公开可采用完全硬件实施方式、完全软件实施方式、或结合软件和硬件方面的实施方式的形式。而且，本公开实施方式可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施方式的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域技术人员应明白，本公开的实施方式可提供为方法、***或计算机程序产品。因此，本公开可以采用完全硬件实施方式、完全软件实施方式、或者结合软件和硬件方面的实施方式的形式。而且，本公开可以采用在一个或者多个其中包含有计算机可用程序代码的计算机可用存储介质(可以包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本公开的实施方式而已，并不用于限制本公开。对于本领域技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本公开的权利要求范围之内。

Claims (10)

1.一种分布式存储方法，其特征在于，应用于存储集群，所述方法包括：
响应于数据存储请求，对待存储数据包分割成若干个数据块，计算各数据块的特征信息，将各数据块的特征信息分片存储至存储集群的各存储节点；
根据特征信息对比待存储数据包分割成的各数据块与存储集群已存储的各数据块；
根据存在一个关联于特征信息的待存储数据块与一个存储集群已存储的数据块为相同的对比结果，设置指向于该存储集群已存储的数据块的指针关联至该待存储数据关联的特征信息；
根据存在一个关联于特征信息的待存储数据块与存储集群已存储的各数据块均不相同的对比结果，存储该待存储数据块至存储集群，设置指向于该存储至存储集群的待存储数据块的指针关联至该待存储数据关联的特征信息。
2.根据权利要求1所述的方法，其特征在于，所述响应于数据存储请求，对待存储数据包分割成若干个数据块，计算各数据块的特征信息，将各数据块的特征信息分片存储至存储集群的各存储节点，包括：
记录各数据块的特征信息及其与数据包的关联关系至特征索引。
3.根据权利要求2所述的方法，其特征在于，还包括：
响应于数据读取请求，从特征索引中获取关联于待读取数据包的各数据块的特征信息；
根据关联于待读取数据包的各数据块的特征信息，在存储集群的各存储节点查询匹配的特征信息；
根据匹配到的特征信息的指针，找到并返回关联于待读取数据包的各数据块；
根据返回的各数据块恢复生成待读取数据包。
4.根据权利要求1所述的方法，其特征在于，还包括：
生成备份数据，所述备份数据备份有存储集群的各存储节点分布式存储的特征信息和相应设置的指针；
若存储集群的存储节点发生变化，根据预先备份数据在变化后的存储集群的各存储节点分布式存储特征信息和相应设置的指针；
所述存储集群的存储节点发生的变化包括增加存储节点或减少存储节点或更换存储节点。
5.一种分布式存储装置，其特征在于，应用于存储集群，所述装置包括：
特征模块，用于响应于数据存储请求，对待存储数据包分割成若干个数据块，计算各数据块的特征信息，将各数据块的特征信息分片存储至存储集群的各存储节点；
对比模块，用于根据特征信息对比待存储数据包分割成的各数据块与存储集群已存储的各数据块；
存储模块，用于根据存在一个关联于特征信息的待存储数据块与一个存储集群已存储的数据块为相同的对比结果，设置指向于该存储集群已存储的数据块的指针关联至该待存储数据关联的特征信息；
存储模块还用于根据存在一个关联于特征信息的待存储数据块与存储集群已存储的各数据块均不相同的对比结果，存储该待存储数据块至存储集群，设置指向于该存储至存储集群的待存储数据块的指针关联至该待存储数据关联的特征信息。
6.根据权利要求5所述的装置，其特征在于，所述响应于数据存储请求，对待存储数据包分割成若干个数据块，计算各数据块的特征信息，将各数据块的特征信息分片存储至存储集群的各存储节点，包括：
记录各数据块的特征信息及其与数据包的关联关系至特征索引。
7.根据权利要求6所述的装置，其特征在于，还包括：
读取模块，用于响应于数据读取请求，从特征索引中获取关联于待读取数据包的各数据块的特征信息；
查询模块，用于根据关联于待读取数据包的各数据块的特征信息，在存储集群的各存储节点查询匹配的特征信息；
传输模块，用于根据匹配到的特征信息的指针，找到并返回关联于待读取数据包的各数据块；
数据模块，用于根据返回的各数据块恢复生成待读取数据包。
8.根据权利要求5所述的装置，其特征在于，还包括：
备份模块，用于生成备份数据，所述备份数据备份有存储集群的各存储节点分布式存储的特征信息和相应设置的指针；
恢复模块，用于若存储集群的存储节点发生变化，根据预先备份数据在变化后的存储集群的各存储节点分布式存储特征信息和相应设置的指针；
所述存储集群的存储节点发生的变化包括增加存储节点或减少存储节点或更换存储节点。
9.一种电子设备，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令，以实现权利要求1-4任一所述的方法。
10.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现权利要求1-4任一所述的方法。
CN202210329259.5A 2022-03-31 2022-03-31 一种分布式存储方法、装置、设备及机器可读存储介质 Pending CN114721594A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210329259.5A CN114721594A (zh) 2022-03-31 2022-03-31 一种分布式存储方法、装置、设备及机器可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210329259.5A CN114721594A (zh) 2022-03-31 2022-03-31 一种分布式存储方法、装置、设备及机器可读存储介质

Publications (1)

Publication Number Publication Date
CN114721594A true CN114721594A (zh) 2022-07-08

Family

ID=82239195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210329259.5A Pending CN114721594A (zh) 2022-03-31 2022-03-31 一种分布式存储方法、装置、设备及机器可读存储介质

Country Status (1)

Country Link
CN (1) CN114721594A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116991329A (zh) * 2023-09-25 2023-11-03 深圳市明泰智能技术有限公司 一种自助服务终端设备的数据防冗余方法和***
CN117688106A (zh) * 2024-02-04 2024-03-12 广东东华发思特软件有限公司 一种高效分布式数据存储与检索***、方法及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116991329A (zh) * 2023-09-25 2023-11-03 深圳市明泰智能技术有限公司 一种自助服务终端设备的数据防冗余方法和***
CN116991329B (zh) * 2023-09-25 2023-12-08 深圳市明泰智能技术有限公司 一种自助服务终端设备的数据防冗余方法和***
CN117688106A (zh) * 2024-02-04 2024-03-12 广东东华发思特软件有限公司 一种高效分布式数据存储与检索***、方法及存储介质

Similar Documents

Publication Publication Date Title
CN110471795B (zh) 区块链状态数据恢复方法及装置、电子设备
CN107807794B (zh) 一种数据存储方法和装置
US8782011B2 (en) System and method for scalable reference management in a deduplication based storage system
CN106874348B (zh) 文件存储和索引方法、装置及读取文件的方法
CN114721594A (zh) 一种分布式存储方法、装置、设备及机器可读存储介质
CN109032803B (zh) 数据处理方法和装置、客户端
CN111444196B (zh) 块链式账本中全局状态的哈希的生成方法、装置及设备
CN111444192B (zh) 块链式账本中全局状态的哈希的生成方法、装置及设备
CN111522502B (zh) 数据去重方法、装置、电子设备及计算机可读存储介质
CN109145053B (zh) 数据处理方法和装置、客户端、服务器
CN114936188A (zh) 数据处理方法、装置、电子设备及存储介质
CN108399175B (zh) 一种数据存储、查询方法及其装置
CN115756955A (zh) 一种数据备份、数据恢复的方法、装置及计算机设备
CN110618790A (zh) 基于重复数据删除的雾存储数据去冗余方法
CN107145306B (zh) 分布式数据存储方法及***
CN112800057B (zh) 一种指纹表管理方法及装置
CN114268501B (zh) 数据处理方法、防火墙生成方法、计算设备及存储介质
CN114785662B (zh) 一种存储管理方法、装置、设备及机器可读存储介质
CN114647658A (zh) 一种数据检索方法、装置、设备及机器可读存储介质
CN115421856A (zh) 一种数据恢复方法及装置
CN109791541B (zh) 日志序列号生成方法、装置及可读存储介质
CN113419792A (zh) 一种事件处理方法、装置、终端设备和存储介质
CN109032804B (zh) 数据处理方法和装置、服务器
CN112565373B (zh) 一种镜像文件去重的方法及装置
CN112860694B (zh) 业务数据的处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination