CN116954523B - 一种存储***、数据存储方法、数据读取方法和存储介质 - Google Patents

一种存储***、数据存储方法、数据读取方法和存储介质 Download PDF

Info

Publication number
CN116954523B
CN116954523B CN202311213125.8A CN202311213125A CN116954523B CN 116954523 B CN116954523 B CN 116954523B CN 202311213125 A CN202311213125 A CN 202311213125A CN 116954523 B CN116954523 B CN 116954523B
Authority
CN
China
Prior art keywords
data
storage
module
storage node
dpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311213125.8A
Other languages
English (en)
Other versions
CN116954523A (zh
Inventor
张雪庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Metabrain Intelligent Technology Co Ltd
Original Assignee
Suzhou Metabrain Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Metabrain Intelligent Technology Co Ltd filed Critical Suzhou Metabrain Intelligent Technology Co Ltd
Priority to CN202311213125.8A priority Critical patent/CN116954523B/zh
Publication of CN116954523A publication Critical patent/CN116954523A/zh
Application granted granted Critical
Publication of CN116954523B publication Critical patent/CN116954523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1008—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices
    • G06F11/1044—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices with specific ECC/EDC distribution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9017—Indexing; Data structures therefor; Storage structures using directory or table look-up
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种存储***、数据存储方法、数据读取方法和存储介质，属于数据存储的技术领域。所述***的主存储节点的CPU响应于客户端的数据存储操作，确定待存储的数据后发送至主存储节点的DPU；DPU的纠删加速模块对待存储的数据进行纠删编码运算得到多个数据块和多个校验块，并根据OSD快表查询模块中各个存储设备的状态信息确定对应的目标存储设备的地址信息，并将待存储的数据的数据块或校验块发送至目标存储节点进行存储。本申请旨在降低应用纠删机制的存储过程的时延。

Description

一种存储***、数据存储方法、数据读取方法和存储介质
技术领域
本申请实施例涉及数据存储的技术领域，具体而言，涉及一种存储***、数据存储方法、数据读取方法和存储介质。
背景技术
随着数字全球化，全球存储数据量以ZB级激增，虽然单个存储硬盘性能也逐渐提升，存储设备内部CPU（Central Processing Unit，中央处理器）对存储内存访问带宽和存储所用的网络接口带宽也显著提升，但是随着数据量和数据处理需求的变化，用户对于存储***的输入输出的性能也提出了更高的需求，如需要更高的带宽、提高IOPS（Input/Output Operations Per Second，每秒进行读写操作的次数）的需求以及更低时延的需求，然而后摩尔时代半导体工艺制程发展减缓，单核算力滞胀等技术问题仍对于存储***设计带来了巨大性能提升挑战。
目前应用较为广泛的是分布式存储***，分布式存储***中包含几十、成百甚至上千存储节点；在如此规模的大型分布式存储***中，节点宕机或故障问题时有发生，进而容易出现数据丢失的问题，为了应对数据丢失的问题，高效的容错机制应运而生，即将因机器或设备故障而丢失的数据能够被恢复，目前常用的方法是多副本备份机制和纠删机制。
多副本备份机制可以对数据进行备份存储，从而保证数据的可靠性；如统一的分布式存储***Ceph中，对一个数据默认保存为3个副本，也允许自定义保存的副本数量，虽然Ceph采用CRUSH算法，在大规模集群下，实现数据的快速与准确存放，同时能够在硬件故障或扩展硬件设备时，做到尽可能小的数据迁移，但是多副本备份机制中所有数据的多个副本存储需要耗费大量存储空间，导致存储设备的容量利用率不高，如三个副本备份的存储***容量利用率仅为33%。
纠删机制，基于纠删码（Erasure Code，EC），是一种前向错误纠正技术，主要应用在网络传输中避免包的丢失，具体地，利用纠删码技术将数据分割成片段，把冗余数据块扩展和编码，并将其存储在不同的位置，例如磁盘、存储节点或者其他地理位置；存储***可以利用纠删机制来提高存储、可靠性，相比多副本复制而言，纠删码技术可以以更小的数据冗余度获得更高数据可靠性，即可以在较小的额外存储开销下取得更强的容错能力。
当分布式存储***中出现机器或部件故障时，数据重构的速度对集群的整体性能的影响是巨大的，但是纠删码在进行数据重构时需要从多个节点读数据来修复数据受损节点的数据，而当前分布式存储***集群中的各存储节点的硬盘I/O（Input/Output，输入/输出）压力、网络传输压力和CPU使用率是不同的，存在由于存储设备、网络传输和算力不均衡而导致的某个读取数据非常慢的情况，严重时会影响集群整体性能。
因此，如何降低应用纠删机制时的时延成为了亟待解决的问题。
发明内容
本申请实施例提供一种存储***、数据存储方法、数据读取方法和存储介质，旨在降低应用纠删机制的存储过程的时延。
第一方面，本申请实施例提供一种基于DPU的存储***，所述存储***包括多个存储节点，所述多个存储节点中每个存储节点上包括CPU、DPU和多个存储设备，所述DPU中包括纠删加速模块，所述纠删加速模块中设置有OSD快表查询模块，所述OSD快表查询模块中存储有每个存储节点中各个存储设备的状态信息以及地址信息，其中：
在所述多个存储节点中任一存储节点对应的客户端存储数据时，该存储节点作为主存储节点；
所述主存储节点的CPU用于响应于所述客户端的数据存储操作，确定待存储的数据后发送至所述主存储节点的DPU；
所述DPU的纠删加速模块用于对所述待存储的数据进行纠删编码运算得到多个数据块和多个校验块，并根据所述OSD快表查询模块中各个存储设备的状态信息，确定所述待存储的数据的每个数据块和每个校验块各自对应的目标存储设备的地址信息，并向每个目标存储设备所在的目标存储节点发送存储通知信息，其中，同一个目标存储设备用于存储所述待存储的数据的一个数据块或一个校验块；
所述DPU的纠删加速模块用于响应于任一目标存储节点发送的数据存储信息，将所述数据存储信息对应的所述待存储的数据的数据块或校验块发送至该目标存储节点进行存储。
可选地，所述DPU的纠删加速模块包括FPGA模块和SoC模块，所述OSD快表查询模块设置在所述FPGA模块上；
所述FPGA模块用于根据纠删编码运算生成的数据块数量和校验块数量申请目标存储内存；
所述SoC模块用于执行纠删编码运算后将所述待存储的数据的多个数据块和多个校验块存储在所述FPGA模块的目标存储内存中；
所述SoC模块用于调用所述OSD快表查询模块，根据所述OSD快表查询模块中各个存储设备的状态信息，确定所述待存储的数据的每个数据块和每个校验块各自对应的目标存储设备的地址信息后存储，并向每个目标存储设备所在的目标存储节点发送存储通知信息；
当所述SoC模块响应于任一目标存储节点发送的数据存储信息时，所述SoC模块用于将所述数据存储信息对应的所述待存储的数据的数据块或校验块发送至该目标存储节点，以存储在目标存储设备中。
可选地，所述OSD快表查询模块中存储的各个存储设备的状态信息包括健康状态信息和剩余容量信息；
所述SoC模块用于根据所述OSD快表查询模块中各个存储设备的健康状态信息和剩余容量信息，选择处于健康状态且剩余容量大于预设容量的存储设备作为用于存储所述待存储的数据的数据块或校验块的目标存储设备。
可选地，所述OSD快表查询模块中存储的各个存储设备的状态信息包括健康状态信息和剩余容量信息；
所述SoC模块用于获取所述OSD快表查询模块中处于健康状态的所有存储设备，并将所述处于健康状态的所有存储设备的剩余容量按照从大到小的顺序排序，选择排在前N位的存储设备作为目标存储设备，其中，N的值等于所述待存储的数据的数据块和校验块的数量和。
可选地，所述SoC模块用于根据所述待存储的数据的每个数据块和每个校验块各自对应的目标存储设备的地址信息，封装为预设报文格式后存储。
可选地，在所述多个存储节点中任一存储节点对应的客户端读取数据时，该存储节点作为主存储节点；
所述主存储节点的CPU用于响应于所述客户端的数据读取操作，向所述主存储节点的DPU发送数据读取信息，所述数据读取信息中包括待读取的数据；
所述主存储节点的DPU的纠删加速模块用于通过所述OSD快表查询模块，确定所述待读取的数据的每个数据块和每个校验块各自对应的目标读取设备的地址信息，并获取各个目标读取设备上存储的所述待读取的数据的多个分片数据，所述分片数据包括数据块和校验块；
所述主存储节点的DPU的纠删加速模块用于根据所述待读取的数据的多个分片数据，生成所述待读取的数据的原始数据发送至所述主存储节点的CPU；
所述主存储节点的CPU用于将所述待读取的数据的原始数据发送至客户端。
可选地，所述DPU的纠删加速模块包括FPGA模块和SoC模块，所述OSD快表查询模块设置在所述FPGA模块上；
所述SoC模块用于响应于所述数据读取信息，调用设置在所述FPGA模块上的OSD快表查询模块，确定所述待读取的数据的每个数据块和每个校验块各自对应的目标读取设备的地址信息；
所述SoC模块用于通过RDMA网络获取各个目标读取设备上存储的所述待读取的数据的多个分片数据，并根据所述待读取的数据的多个分片数据，生成所述待读取的数据的原始数据发送至所述主存储节点的CPU。
可选地，当所述待读取的数据的多个分片数据中包括所有数据块时，所述SoC模块用于根据所述所有数据块组成所述待读取的数据的原始数据；
当所述待读取的数据的多个分片数据中缺少任一数据块时，所述SoC模块用于将所述待读取的数据的多个分片数据存储在所述FPGA模块的内存中，并对所述待读取的数据的多个分片数据进行纠删解码运算，生成所述待读取的数据的原始数据。
可选地，所述SoC模块还用于响应于所述数据读取信息，获取所述每个存储节点中各个存储设备的状态信息进行解析后，调用OSD快表更新器对所述OSD快表查询模块中各个存储设备的状态信息进行更新。
可选地，所述SoC模块还用于每隔预设间隔，获取所述每个存储节点中各个存储设备的状态信息进行解析后，调用OSD快表更新器对所述OSD快表查询模块中各个存储设备的状态信息进行更新。
可选地，所述每个存储节点上的所述DPU和所述CPU通过PCIe总线进行数据传输。
可选地，所述主存储节点的CPU用于根据预设的纠删模式，将所述待存储的数据划分为所述预设的纠删模式对应的数量的多个数据块后发送至所述DPU；
所述DPU的纠删加速模块用于根据所述预设的纠删模式对所述待存储的多个数据块进行纠删编码运算。
可选地，所述预设的纠删方式包括纠删码算法以及冗余方式，其中，所述纠删码算法包括阵列纠删码算法、RS纠删码算法和低密度奇偶校验纠删码算法中至少一种。
可选地，所述冗余方式包括4+2冗余方式或6+3冗余方式，其中：
所述4+2冗余方式中包括4个数据块和2个校验块；
所述6+3冗余方式中包括6个数据块和3个校验块。
可选地，所述多个存储节点中包括管理存储节点；
所述管理存储节点用于监测到任一客户端的数据存储操作或数据读取操作后，所述管理存储节点中的客户端软件用于创建handler，获取多个存储节点的集群配置信息；
所述管理存储节点中设置的存储监控器用于获取多个存储节点的集群的存储设备映射信息，所述存储设备映射信息包括每个存储设备的所属区域和地址信息；
所述管理存储节点用于根据所述集群配置信息确定该客户端对应的主存储节点，将该客户端的数据存储操作或数据读取操作发送至主存储节点。
可选地，所述每个存储节点上设置有独立电源，所述独立电源用于为该节点的DPU供电。
可选地，所述存储***的每个存储节点包括BMC和风扇；
所述BMC用于根据所述DPU的当前温度，控制所述风扇的转速，以对所述DPU进行散热。
第二方面，本申请实施例提供一种基于DPU的存储***的数据存储方法，所述方法应用于实施例第一方面所述的存储***，所述方法包括：
响应于客户端的数据存储操作，获取待存储的数据以及所述客户端对应的主存储节点；
所述主存储节点的CPU响应于所述客户端的数据存储操作，确定待存储的数据后发送至所述主存储节点的DPU；
所述DPU的纠删加速模块对所述待存储的数据进行纠删编码运算得到多个数据块和多个校验块，并根据所述OSD快表查询模块中各个存储设备的状态信息，确定所述待存储的数据的每个数据块和每个校验块各自对应的目标存储设备的地址信息，并向每个目标存储设备所在的目标存储节点发送存储通知信息，其中，同一个目标存储设备用于存储所述待存储的数据的一个数据块或一个校验块；
所述DPU的纠删加速模块响应于任一目标存储节点发送的数据存储信息，将所述数据存储信息对应的所述待存储的数据的数据块或校验块发送至该目标存储节点进行存储。
第三方面，本申请实施例提供一种基于DPU的存储***的数据读取方法，所述方法应用于实施例所述的存储***，所述方法包括：
响应于客户端的数据读取操作，获取待存储的数据以及所述客户端对应的主存储节点；
所述主存储节点的CPU响应于所述客户端的数据读取操作，向所述主存储节点的DPU发送数据读取信息，所述数据读取信息中包括待读取的数据；
所述主存储节点的DPU的纠删加速模块通过所述OSD快表查询模块，确定所述待读取的数据的每个数据块和每个校验块各自对应的目标读取设备的地址信息，并获取各个目标读取设备上存储的所述待读取的数据的多个分片数据，所述分片数据包括数据块和校验块；
所述主存储节点的DPU的纠删加速模块根据所述待读取的数据的多个分片数据，生成所述待读取的数据的原始数据发送至所述主存储节点的CPU；
所述主存储节点的CPU将所述待读取的数据的原始数据发送至客户端。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如实施例第二方面所述的基于DPU的存储***的数据存储方法，或如实施例第三方面所述的基于DPU的存储***的数据读取方法。
有益效果：
本实施例提供的存储***中包括多个存储节点，且多个存储节点中每个存储节点上包括CPU、DPU和多个存储设备，而且所述DPU中还包括纠删加速模块，所述纠删加速模块中设置有OSD快表查询模块，所述OSD快表查询模块中存储有每个存储节点中各个存储设备的状态信息以及地址信息。
在存储数据时，当所述多个存储节点中任一存储节点对应的客户端存储数据时，该存储节点作为主存储节点；所述主存储节点的CPU用于响应于所述客户端的数据存储操作，确定待存储的数据后发送至所述主存储节点的DPU；所述DPU的纠删加速模块对所述待存储的数据进行纠删编码运算得到多个数据块和多个校验块，并根据所述OSD快表查询模块中各个存储设备的状态信息，确定每个数据块和每个校验块各自对应的目标存储设备的地址信息，将所述待存储的数据的数据块或校验块发送至该目标存储节点进行存储时，也是由目标存储节点的DPU将数据存储在目标存储设备中。
在读取数据时，所述主存储节点的CPU用于响应于所述客户端的数据读取操作，向所述主存储节点的DPU发送数据读取信息，所述数据读取信息中包括待读取的数据；所述主存储节点的DPU的纠删加速模块用于通过所述OSD快表查询模块，确定所述待读取的数据的每个数据块和每个校验块各自对应的目标读取设备的地址信息，并获取各个目标读取设备上存储的所述待读取的数据的多个分片数据，所述分片数据包括数据块和校验块；所述主存储节点的DPU的纠删加速模块用于根据所述待读取的数据的多个分片数据，生成所述待读取的数据的原始数据发送至所述主存储节点的CPU；所述主存储节点的CPU用于将所述待读取的数据的原始数据发送至客户端。
在本存储***中，将纠删编码运算和解码运算都卸载到DPU上执行，且DPU上设置了纠删加速模块，可以提高纠删编码和解码过程的速率，不仅避免了CPU软件栈的低性能和高时延的不确定性而导致的纠删过程的编解码速度受限，同时还可以提高纠删过程的效率，降低了应用纠删机制的存储过程的时延。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提出的基于DPU的存储***的示意图；
图2是本申请一实施例提出的基于DPU的存储***的示意图；
图3是本申请一实施例提供的基于DPU的存储***的数据存储方法的步骤流程图；
图4是本申请一实施例提出的基于DPU的存储***的数据读取方法的步骤流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
EC：Erasure Coding，纠删码
DPU：Data Processing Unit，数据处理单元
FPGA：Field Programmable Gate Array，现场可编程门阵列
SoC：System on Chip，***级芯片
OSD：Object Storage Device，对象存储设备
I/O：Input/Output，输入/输出
CPU：Central Processing Unit，中央处理器
BMC：baseboard management controller，底板管理控制器
API：Application Programming Interface，应用程序接口
RS纠删码：Reed-Solomon纠删码，里德-所罗门类纠删码
RDMA：Remote Direct Memory Access，远程直接数据存取
当分布式存储***中出现机器或部件故障时，数据重构的速度对集群的整体性能的影响是巨大的，但是纠删码在进行数据重构时需要从多个节点读数据来修复数据受损节点的数据，而当前分布式存储***集群中的各存储节点的硬盘I/O压力、网络传输压力和CPU使用率是不同的，存在由于存储设备、网络传输和算力不均衡而导致的某个读取数据非常慢的情况，严重时会影响集群整体性能。
为了降低应用纠删机制的存储过程的时延，本申请提供一种基于DPU的存储***。
参照图1，示出了本申请实施例中的一种基于DPU的存储***的示意图，所述存储***包括多个存储节点，所述多个存储节点中每个存储节点上包括CPU、DPU和多个存储设备。
本实施例提供的存储***中，每个存储节点上安装有一个DPU，DPU是一种以数据为中心且面向网络传输枢纽进行数据加速处理的专用处理器，可以支持网络、存储、安全、虚拟化、流媒体等场景的卸载和硬件加速，并且DPU是软硬件一体化设备，DPU软件支持纠删与数据传输的应用接口API，通过提供丰富的软件可编程能力，可以实现存储的纠删运算以获得更高的性能，降低软件堆栈的复杂性，并降低整体时延。
在应用DPU进行应用纠删机制的存储过程中，可以在DPU中写入对应的存储软件，如将原始数据分割成k个数据块，使用DPU根据编码矩阵生成m个校验块，将n块（n=k+m）的数据存储在不同的位置。读取数据时DPU纠删从不同的数据分布位置读取数据，利用矩阵运算获得原始数据，只需要k个块就可以恢复原来的数据。
在实际实施的过程中，还可以在每个存储节点上安装CPU时，对CPU硬件的散热以及电源等做出适应性的配置。
具体地，所述每个存储节点上设置有独立电源，所述独立电源用于为该节点的DPU供电；考虑到DPU的功耗较大，单个DPU电源一般小于200W，因此需要在存储节点中提供独立电源的电源接口为DPU供电，而非PCIe供电。
进一步地，为优化整机的功耗和散热，还可以在存储***中的每个存储节点上设置对应的散热策略，具体地，所述存储***的每个存储节点包括BMC和风扇，在BMC中建立针对DPU的散热线程，示例地，可以实时检测DPU的当前温度，然后控制所述风扇的转速，以对所述DPU进行散热。
在实际实施的过程中，还可以为DPU单独设置独立的风扇，在BMC中建立针对独立的风扇的控制策略，令独立的风扇更好地对功耗较大的DPU进行散热。
基于DPU优异的软件可编程能力，可以在DPU中设置纠删加速模块，所述纠删加速模块中设置有OSD快表查询模块，所述OSD快表查询模块中存储有每个存储节点中各个存储设备的状态信息以及地址信息。
在一种可行的实施方式中，所述多个存储节点中包括管理存储节点，所述管理存储节点用于监测到任一客户端的数据存储操作或数据读取操作后，所述管理存储节点的CPU执行存储的客户端软件用于创建handler，与多个存储节点之间建立连接，获取多个存储节点的集群配置信息；所述管理存储节点中设置的存储监控器用于获取多个存储节点的集群的存储设备映射信息，所述存储设备映射信息包括每个存储设备的所属区域和地址信息。
在集群配置的过程中，客户端与对应的主存储节点之间的关系是确定的，当管理存储节点检测到任一客户端的数据存储操作或数据读取操作时，可以将数据存储操作或数据读取操作转发至该客户端对应的主存储节点。
在所述多个存储节点中任一存储节点对应的客户端存储数据时，该存储节点作为主存储节点，然后所述主存储节点的CPU用于响应于所述客户端的数据存储操作，确定待存储的数据后发送至所述主存储节点的DPU。
在一种可行的实施方式中，存储***设置有预设的纠删模式，示例地，纠删模式中包括纠删码算法以及冗余方式，示例地，所述纠删码算法包括阵列纠删码算法、RS纠删码算法和低密度奇偶校验纠删码算法中至少一种；所述冗余方式包括4+2冗余方式或6+3冗余方式，其中：所述4+2冗余方式中包括4个数据块和2个校验块；所述6+3冗余方式中包括6个数据块和3个校验块；可以根据不同的应用需求具有不同纠删码算法和冗余方式组合的纠删模式，示例地，可以采用RS纠删码算法和4+2冗余方式执行纠删过程，也可以采用低密度奇偶校验纠删码算法和6+3冗余方式执行纠删过程，本实施例中不做限制。
在实际实施的时候，可以在存储节点的配置文件中预先定义好的纠删模式，然后所述主存储节点的CPU用于根据预设的纠删模式，将所述待存储的数据划分为所述预设的纠删模式对应的数量的多个数据块后发送至所述DPU，示例地，CPU可以按照4+2冗余方式，将1MB的数据按照16KB进行切分。
当CPU按照预设的纠删模式将待存储的数据划分好后，可以调用DPU驱动程序API接口，通过PCIe总线发送给DPU，然后由所述DPU的纠删加速模块根据所述预设的纠删模式对所述待存储的多个数据块进行纠删编码运算。
当所述DPU的纠删加速模块对所述待存储的数据进行纠删编码运算得到多个数据块和多个校验块后，根据所述OSD快表查询模块中各个存储设备的状态信息，确定所述待存储的数据的每个数据块和每个校验块各自对应的目标存储设备的地址信息。
在一种可行的实施方式中，同一个目标存储设备用于存储所述待存储的数据的一个数据块或一个校验块，示例地，待存储的数据基于4+2冗余方式，生成4个数据块和2个校验块，则需要确定6个目标存储设备，每个目标存储设备只能存储一个分块数据，可以避免一个目标存储设备故障而导致多个分块数据丢失。
目标存储设备的所属区域可以是同一个存储节点，在数据可靠性要求更高的情况下，还可以设置一个存储节点中只能有一个目标存储设备，避免存储节点整体出现故障而导致多个分块数据丢失。
DPU的纠删加速模块确定好待存储的数据的每个数据块和每个校验块各自对应的目标存储设备的地址信息后，向每个目标存储设备所在的目标存储节点发送存储通知信息，具体地，主存储节点的DPU的纠删加速模块向每个目标存储节点的DPU的纠删加速模块发送存储通知信息，以告知目标存储节点可以读取数据。
当目标存储节点接收到存储通知信息后，目标存储节点的DPU向主存储节点的DPU发送数据存储信息，主存储节点的纠删加速模块响应于任一目标存储节点发送的数据存储信息，将所述数据存储信息对应的所述待存储的数据的数据块或校验块发送至该目标存储节点进行存储。
在所述多个存储节点中任一存储节点对应的客户端读取数据时，该存储节点作为主存储节点；所述主存储节点的CPU响应于所述客户端的数据读取操作，向所述主存储节点的DPU发送数据读取信息，所述数据读取信息中包括待读取的数据；所述主存储节点的DPU的纠删加速模块通过所述OSD快表查询模块，确定所述待读取的数据的每个数据块和每个校验块各自对应的目标读取设备的地址信息，并获取各个目标读取设备上存储的所述待读取的数据的多个分片数据，所述分片数据包括数据块和校验块；所述主存储节点的DPU的纠删加速模块用于根据所述待读取的数据的多个分片数据，生成所述待读取的数据的原始数据发送至所述主存储节点的CPU；所述主存储节点的CPU用于将所述待读取的数据的原始数据发送至客户端。
本存储***通过将纠删编码运算和解码运算都卸载到DPU上执行，且DPU上设置了纠删加速模块，可以提高纠删编码和解码过程的速率，不仅避免了CPU软件栈的低性能和高时延的不确定性而导致的纠删过程的编解码速度受限，同时还可以提高纠删过程的效率，降低了应用纠删机制的存储过程的时延。
参照图2，示出了本申请实施例提供的一种基于DPU的存储***的示意图，如图2所示，所述DPU的纠删加速模块包括FPGA模块和SoC模块，所述OSD快表查询模块设置在所述FPGA模块上。
在存储数据时，CPU将待存储的数据发送至DPU后，所述FPGA模块根据纠删编码运算生成的数据块数量和校验块数量申请目标存储内存；然后所述SoC模块执行纠删编码运算后将所述待存储的数据的多个数据块和多个校验块存储在所述FPGA模块的目标存储内存中。
接着，所述SoC模块调用所述OSD快表查询模块，根据所述OSD快表查询模块中各个存储设备的状态信息，确定所述待存储的数据的每个数据块和每个校验块各自对应的目标存储设备的地址信息后存储。
在一种可行的实施方式中，OSD快表查询模块中存储的各个存储设备的状态信息包括健康状态信息和剩余容量信息，所述SoC模块根据所述OSD快表查询模块中各个存储设备的健康状态信息和剩余容量信息，选择处于健康状态且剩余容量大于预设容量的存储设备作为用于存储所述待存储的数据的数据块或校验块的目标存储设备。
在另一种可行的实施方式中，所述OSD快表查询模块中存储的各个存储设备的状态信息包括健康状态信息和剩余容量信息；所述SoC模块用于获取所述OSD快表查询模块中处于健康状态的所有存储设备，并将所述处于健康状态的所有存储设备的剩余容量按照从大到小的顺序排序，选择排在前N位的存储设备作为目标存储设备，其中，N的值等于所述待存储的数据的数据块和校验块的数量和。
在另一种可行的实施方式中，在每一次数据存储完毕后，SoC模块对OSD快表查询模块中各个存储设备状态信息进行更新，然后根据各个存储设备的状态信息确定标定数量的候选存储设备，当下一次数据存储时，直接在标定数量的候选存储设备中选择目标存储设备，可以提高每次数据存储过程的效率。
在其他可行的实施方式中，还可以配置其他的负载均衡策略，令SoC模块在确定目标存储设备时可以合理地分配存储任务。
在SoC模块确定完毕待存储的数据的每个数据块和每个校验块各自对应的目标存储设备的地址信息后，根据所述待存储的数据的每个数据块和每个校验块各自对应的目标存储设备的地址信息，封装为预设报文格式后存储，即预设报文格式可以体现出待存储的数据的每个数据块和每个校验块与对应的目标存储设备之间的对应关系，便于后期从各个不同的目标存储设备中获取数据。
然后所述SoC模块向每个目标存储设备所在的目标存储节点的SoC模块发送存储通知信息，以告知可以取数据，目标存储节点的SoC模块向主存储节点的SoC模块发送数据存储信息。
当所述SoC模块响应于任一目标存储节点发送的数据存储信息时，所述SoC模块将所述数据存储信息对应的所述待存储的数据的数据块或校验块通过RDMA网络发送至该目标存储节点，由目标存储节点的DPU中的SoC模块直接将数据存储在目标存储设备中。
本存储***中，不仅有DPU执行纠删编码和解码的过程，还用DPU中的SoC模块取代CPU直接将数据存储在目标存储设备中，可以进一步减小存储过程中的时延。
在读取数据时，主存储节点的CPU通过PCIe总线将包含有待读取的数据的数据读取信息发送至DPU，DPU上的SoC模块响应于所述数据读取信息，调用设置在所述FPGA模块上的OSD快表查询模块，以及在存储数据时封装的待读取的数据的预设报文格式，可以确定待读取的数据的每个数据块和每个校验块各自对应的目标读取设备的地址信息，然后SoC模块用于通过RDMA网络获取各个目标读取设备上存储的所述待读取的数据的多个分片数据，读取数据时，也可以直接通过目标读取设备上的DPU的SoC模块从目标读取设备上获取数据。
主存储节点的SoC模块根据所述待读取的数据的多个分片数据，生成所述待读取的数据的原始数据发送至所述主存储节点的CPU，当所述待读取的数据的多个分片数据中包括所有数据块时，所述SoC模块用于根据所述所有数据块组成所述待读取的数据的原始数据；当所述待读取的数据的多个分片数据中缺少任一数据块时，所述SoC模块用于将所述待读取的数据的多个分片数据存储在所述FPGA模块的内存中，并对所述待读取的数据的多个分片数据进行纠删解码运算，生成所述待读取的数据的原始数据。
由于纠删机制允许部分数据失效，示例地，对于4+2冗余方式中，4个数据块和2个校验块，如果有任意2个以下的分片数据失效，仍然能通过剩下的数据还原出来；如果丢失的分片数据是1个或2个校验块，则根据剩余4个数据块可以直接组合得到待读取的数据的原始数据，如果丢失的分片数据中至少有一个数据块时，根据剩余的数据块和校验块进行纠删解码运算可以得到待读取的数据的原始数据。
也就是说，对于4+2冗余方式中，获取4个分片数据就可以生成待读取的数据的原始数据，因此在一种可行的实施方式中，还可以配置DPU在待读取的数据的最少4个分片数据对应的目标读取设备中读取分片数据，从而减少数据传输量，可以减少网络传输对整个纠删过程的延迟，如果DPU对其中一个目标读取设备读取数据访问失败或者预设时间内未收到返回的分片数据时，再对剩余的分配数据进行读取。
在一种可行的实施方式中，所述SoC模块还用于响应于所述数据读取信息，获取所述每个存储节点中各个存储设备的状态信息进行解析后，调用OSD快表更新器对所述OSD快表查询模块中各个存储设备的状态信息进行更新；即在每次进行数据读取时，更新OSD快表查询模块，使得OSD快表查询模块中存储的各个存储设备的状态可以及时地更新，减少对后续数据存储过程的影响。
在另一种可行的实施方式中，还可以让SoC模块对OSD快表查询模块进行定时更新，具体地，所述SoC模块每隔预设间隔，获取所述每个存储节点中各个存储设备的状态信息进行解析后，调用OSD快表更新器对所述OSD快表查询模块中各个存储设备的状态信息进行更新。
本实施例提供存储***中，不仅采用DPU执行纠删编码和解码的过程，避免当CPU处理的线程或程序过多时，导致纠删编码和解码的过程出现较大的延迟，还降低软件堆栈的复杂性，避免CPU软件栈的计算影响，整体减少纠删编码和解码的过程的延迟；并且DPU是软硬件一体化设备，通过提供丰富的软件可编程能力，可以实现存储的纠删运算以获得更高的性能，通过在DPU上设置FPGA+SoC架构，使用SoC加速纠删运算的运行结构和硬件与软件逻辑，可以支持多种纠删算法、使用灵活的优势，本存储***实现多存储节点对数据的高效容错机制，提升了存储***的性能和可靠性。
参照图3，示出了本申请实施例提供的一种基于DPU的存储***的数据存储方法的步骤流程图，所述方法应用于实施例所述的存储***，所述方法包括以下步骤：
S101：响应于客户端的数据存储操作，获取待存储的数据以及所述客户端对应的主存储节点。
示例地，所述多个存储节点中包括管理存储节点，管理存储节点监测到任一客户端的数据存储操作或数据读取操作后，管理存储节点的CPU执行客户端软件用于创建handler，与多个存储节点之间建立连接，获取多个存储节点的集群配置信息，存储监控器获取多个存储节点的集群的存储设备映射信息，包括每个存储设备的所属区域和地址信息。
当管理存储节点检测到任一客户端的数据存储操作或数据读取操作时，可以将数据存储操作或数据读取操作转发至该客户端对应的主存储节点。
S102：所述主存储节点的CPU响应于所述客户端的数据存储操作，确定待存储的数据后发送至所述主存储节点的DPU。
具体地，主存储节点的CPU用于根据预设的纠删模式，将所述待存储的数据划分为所述预设的纠删模式对应的数量的多个数据块后发送至所述DPU，如CPU可以按照4+2冗余方式，将1MB的数据按照16KB进行切分。
S103：所述DPU的纠删加速模块对所述待存储的数据进行纠删编码运算得到多个数据块和多个校验块，并根据所述OSD快表查询模块中各个存储设备的状态信息，确定所述待存储的数据的每个数据块和每个校验块各自对应的目标存储设备的地址信息，并向每个目标存储设备所在的目标存储节点发送存储通知信息，其中，同一个目标存储设备用于存储所述待存储的数据的一个数据块或一个校验块。
示例地，所述DPU的纠删加速模块包括FPGA模块和SoC模块，所述OSD快表查询模块设置在所述FPGA模块上。
在存储数据时，CPU将待存储的数据发送至DPU后，FPGA模块申请目标存储内存；然后SoC模块执行纠删编码运算后将待存储的数据的多个数据块和多个校验块存储在所述FPGA模块的目标存储内存中。
接着，SoC模块调用OSD快表查询模块，根据OSD快表查询模块中各个存储设备的状态信息，确定待存储的数据的每个数据块和每个校验块各自对应的目标存储设备的地址信息后存储，示例地，封装为预设报文格式后存储。
然后所述SoC模块向每个目标存储设备所在的目标存储节点的SoC模块发送存储通知信息，以告知可以取数据，目标存储节点的SoC模块向主存储节点的SoC模块发送数据存储信息。
S104：所述DPU的纠删加速模块响应于任一目标存储节点发送的数据存储信息，将所述数据存储信息对应的所述待存储的数据的数据块或校验块发送至该目标存储节点进行存储。
当SoC模块响应于任一目标存储节点发送的数据存储信息时，所述SoC模块将所述数据存储信息对应的所述待存储的数据的数据块或校验块通过RDMA网络发送至该目标存储节点，由目标存储节点的DPU中的SoC模块直接将数据存储在目标存储设备中。
参照图4，示出了本申请实施例提供的一种基于DPU的存储***的数据读取方法的步骤流程图，所述方法应用于实施例所述的存储***，所述方法包括以下步骤：
S201：响应于客户端的数据读取操作，获取待存储的数据以及所述客户端对应的主存储节点。
S202：所述主存储节点的CPU响应于所述客户端的数据读取操作，向所述主存储节点的DPU发送数据读取信息，所述数据读取信息中包括待读取的数据。
S203：所述主存储节点的DPU的纠删加速模块通过所述OSD快表查询模块，确定所述待读取的数据的每个数据块和每个校验块各自对应的目标读取设备的地址信息，并获取各个目标读取设备上存储的所述待读取的数据的多个分片数据，所述分片数据包括数据块和校验块。
DPU上的SoC模块响应于所述数据读取信息，调用设置在所述FPGA模块上的OSD快表查询模块，以及在存储数据时封装的待读取的数据的预设报文格式，确定目标读取设备的地址信息，然后SoC模块用于通过RDMA网络在各个目标读取设备上获取待读取的数据的多个分片数据，读取数据时，也可以直接通过目标读取设备上的DPU的SoC模块从目标读取设备上获取数据。
S204：所述主存储节点的DPU的纠删加速模块根据所述待读取的数据的多个分片数据，生成所述待读取的数据的原始数据发送至所述主存储节点的CPU。
当多个分片数据中包括所有数据块时，SoC模块根据所有数据块组成所述待读取的数据的原始数据；当待读取的数据的多个分片数据中缺少任一数据块时，SoC模块将待读取的数据的多个分片数据存储在FPGA模块的内存中，并对待读取的数据的多个分片数据进行纠删解码运算，生成待读取的数据的原始数据。
S205：所述主存储节点的CPU将所述待读取的数据的原始数据发送至客户端。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如实施例所述的基于DPU的存储***的数据存储方法，或如实施例中所述的基于DPU的存储***的数据读取方法。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (20)

1.一种基于DPU的存储***，其特征在于，所述存储***包括多个存储节点，所述多个存储节点中每个存储节点上包括CPU、DPU和多个存储设备，所述DPU中包括纠删加速模块，所述纠删加速模块包括FPGA模块和SoC模块，所述FPGA模块中设置有OSD快表查询模块，所述OSD快表查询模块中存储有每个存储节点中各个存储设备的状态信息以及地址信息，其中：
在所述多个存储节点中任一存储节点对应的客户端存储数据时，该存储节点作为主存储节点；
所述主存储节点的CPU用于响应于所述客户端的数据存储操作，确定待存储的数据后发送至所述主存储节点的DPU；
所述DPU的纠删加速模块中所述SoC模块用于对所述待存储的数据进行纠删编码运算得到多个数据块和多个校验块后存储在所述FPGA模块中，并调用所述OSD快表查询模块，根据所述OSD快表查询模块中各个存储设备的状态信息，确定所述待存储的数据的每个数据块和每个校验块各自对应的目标存储设备的地址信息，并向每个目标存储设备所在的目标存储节点发送存储通知信息，其中，同一个目标存储设备用于存储所述待存储的数据的一个数据块或一个校验块；
所述DPU的纠删加速模块中所述SoC模块用于响应于任一目标存储节点发送的数据存储信息，将所述数据存储信息对应的所述待存储的数据的数据块或校验块发送至该目标存储节点进行存储。
2.根据权利要求1所述的***，其特征在于，
所述FPGA模块用于根据纠删编码运算生成的数据块数量和校验块数量申请目标存储内存。
3.根据权利要求2所述的***，其特征在于，所述OSD快表查询模块中存储的各个存储设备的状态信息包括健康状态信息和剩余容量信息；
所述SoC模块用于根据所述OSD快表查询模块中各个存储设备的健康状态信息和剩余容量信息，选择处于健康状态且剩余容量大于预设容量的存储设备作为用于存储所述待存储的数据的数据块或校验块的目标存储设备。
4.根据权利要求2所述的***，其特征在于，所述OSD快表查询模块中存储的各个存储设备的状态信息包括健康状态信息和剩余容量信息；
所述SoC模块用于获取所述OSD快表查询模块中处于健康状态的所有存储设备，并将所述处于健康状态的所有存储设备的剩余容量按照从大到小的顺序排序，选择排在前N位的存储设备作为目标存储设备，其中，N的值等于所述待存储的数据的数据块和校验块的数量和。
5.根据权利要求2所述的***，其特征在于，所述SoC模块用于根据所述待存储的数据的每个数据块和每个校验块各自对应的目标存储设备的地址信息，封装为预设报文格式后存储。
6.根据权利要求1所述的***，其特征在于，在所述多个存储节点中任一存储节点对应的客户端读取数据时，该存储节点作为主存储节点；
所述主存储节点的CPU用于响应于所述客户端的数据读取操作，向所述主存储节点的DPU发送数据读取信息，所述数据读取信息中包括待读取的数据；
所述主存储节点的DPU的纠删加速模块用于通过所述OSD快表查询模块，确定所述待读取的数据的每个数据块和每个校验块各自对应的目标读取设备的地址信息，并获取各个目标读取设备上存储的所述待读取的数据的多个分片数据，所述分片数据包括数据块和校验块；
所述主存储节点的DPU的纠删加速模块用于根据所述待读取的数据的多个分片数据，生成所述待读取的数据的原始数据发送至所述主存储节点的CPU；
所述主存储节点的CPU用于将所述待读取的数据的原始数据发送至客户端。
7.根据权利要求6所述的***，其特征在于，所述SoC模块用于响应于所述数据读取信息，调用设置在所述FPGA模块上的OSD快表查询模块，确定所述待读取的数据的每个数据块和每个校验块各自对应的目标读取设备的地址信息；
所述SoC模块用于通过RDMA网络获取各个目标读取设备上存储的所述待读取的数据的多个分片数据，并根据所述待读取的数据的多个分片数据，生成所述待读取的数据的原始数据发送至所述主存储节点的CPU。
8.根据权利要求7所述的***，其特征在于，
当所述待读取的数据的多个分片数据中包括所有数据块时，所述SoC模块用于根据所述所有数据块组成所述待读取的数据的原始数据；
当所述待读取的数据的多个分片数据中缺少任一数据块时，所述SoC模块用于将所述待读取的数据的多个分片数据存储在所述FPGA模块的内存中，并对所述待读取的数据的多个分片数据进行纠删解码运算，生成所述待读取的数据的原始数据。
9.根据权利要求7所述的***，其特征在于，所述SoC模块还用于响应于所述数据读取信息，获取所述每个存储节点中各个存储设备的状态信息进行解析后，调用OSD快表更新器对所述OSD快表查询模块中各个存储设备的状态信息进行更新。
10.根据权利要求7所述的***，其特征在于，所述SoC模块还用于每隔预设间隔，获取所述每个存储节点中各个存储设备的状态信息进行解析后，调用OSD快表更新器对所述OSD快表查询模块中各个存储设备的状态信息进行更新。
11.根据权利要求1所述的***，其特征在于，所述每个存储节点上的所述DPU和所述CPU通过PCIe总线进行数据传输。
12.根据权利要求1所述的***，其特征在于，所述主存储节点的CPU用于根据预设的纠删模式，将所述待存储的数据划分为所述预设的纠删模式对应的数量的多个数据块后发送至所述DPU；
所述DPU的纠删加速模块用于根据所述预设的纠删模式对所述待存储的多个数据块进行纠删编码运算。
13.根据权利要求12所述的***，其特征在于，所述预设的纠删方式包括纠删码算法以及冗余方式，其中，所述纠删码算法包括阵列纠删码算法、RS纠删码算法和低密度奇偶校验纠删码算法中至少一种。
14.根据权利要求13所述的***，其特征在于，所述冗余方式包括4+2冗余方式或6+3冗余方式，其中：
所述4+2冗余方式中包括4个数据块和2个校验块；
所述6+3冗余方式中包括6个数据块和3个校验块。
15.根据权利要求6所述的***，其特征在于，所述多个存储节点中包括管理存储节点；
所述管理存储节点用于监测到任一客户端的数据存储操作或数据读取操作后，所述管理存储节点中的客户端软件用于创建handler，获取多个存储节点的集群配置信息；
所述管理存储节点中设置的存储监控器用于获取多个存储节点的集群的存储设备映射信息，所述存储设备映射信息包括每个存储设备的所属区域和地址信息；
所述管理存储节点用于根据所述集群配置信息确定该客户端对应的主存储节点，将该客户端的数据存储操作或数据读取操作发送至主存储节点。
16.根据权利要求1所述的***，其特征在于，所述每个存储节点上设置有独立电源，所述独立电源用于为该节点的DPU供电。
17.根据权利要求1所述的***，其特征在于，所述存储***的每个存储节点包括BMC和风扇；
所述BMC用于根据所述DPU的当前温度，控制所述风扇的转速，以对所述DPU进行散热。
18.一种基于DPU的存储***的数据存储方法，其特征在于，所述方法应用于权利要求1-17任一所述的存储***，所述方法包括：
响应于客户端的数据存储操作，获取待存储的数据以及所述客户端对应的主存储节点；
所述主存储节点的CPU响应于所述客户端的数据存储操作，确定待存储的数据后发送至所述主存储节点的DPU；
所述DPU的纠删加速模块对所述待存储的数据进行纠删编码运算得到多个数据块和多个校验块，并根据所述OSD快表查询模块中各个存储设备的状态信息，确定所述待存储的数据的每个数据块和每个校验块各自对应的目标存储设备的地址信息，并向每个目标存储设备所在的目标存储节点发送存储通知信息，其中，同一个目标存储设备用于存储所述待存储的数据的一个数据块或一个校验块；
所述DPU的纠删加速模块响应于任一目标存储节点发送的数据存储信息，将所述数据存储信息对应的所述待存储的数据的数据块或校验块发送至该目标存储节点进行存储。
19.一种基于DPU的存储***的数据读取方法，其特征在于，所述方法应用于权利要求1-17任一所述的存储***，所述方法包括：
响应于客户端的数据读取操作，获取待存储的数据以及所述客户端对应的主存储节点；
所述主存储节点的CPU响应于所述客户端的数据读取操作，向所述主存储节点的DPU发送数据读取信息，所述数据读取信息中包括待读取的数据；
所述主存储节点的DPU的纠删加速模块通过所述OSD快表查询模块，确定所述待读取的数据的每个数据块和每个校验块各自对应的目标读取设备的地址信息，并获取各个目标读取设备上存储的所述待读取的数据的多个分片数据，所述分片数据包括数据块和校验块；
所述主存储节点的DPU的纠删加速模块根据所述待读取的数据的多个分片数据，生成所述待读取的数据的原始数据发送至所述主存储节点的CPU；
所述主存储节点的CPU将所述待读取的数据的原始数据发送至客户端。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求18所述的基于DPU的存储***的数据存储方法，或如权利要求19中所述的基于DPU的存储***的数据读取方法。
CN202311213125.8A 2023-09-20 2023-09-20 一种存储***、数据存储方法、数据读取方法和存储介质 Active CN116954523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311213125.8A CN116954523B (zh) 2023-09-20 2023-09-20 一种存储***、数据存储方法、数据读取方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311213125.8A CN116954523B (zh) 2023-09-20 2023-09-20 一种存储***、数据存储方法、数据读取方法和存储介质

Publications (2)

Publication Number Publication Date
CN116954523A CN116954523A (zh) 2023-10-27
CN116954523B true CN116954523B (zh) 2024-01-26

Family

ID=88458698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311213125.8A Active CN116954523B (zh) 2023-09-20 2023-09-20 一种存储***、数据存储方法、数据读取方法和存储介质

Country Status (1)

Country Link
CN (1) CN116954523B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117234743B (zh) * 2023-11-14 2024-02-20 苏州元脑智能科技有限公司 一种数据发送方法、装置、设备及存储介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106598499A (zh) * 2016-12-14 2017-04-26 深圳市中博睿存科技有限公司 一种基于fpga的分布式文件***架构
CN107291889A (zh) * 2017-06-20 2017-10-24 郑州云海信息技术有限公司 一种数据存储方法及***
CN109491599A (zh) * 2018-10-24 2019-03-19 山东超越数控电子股份有限公司 一种分布式存储***及其异构加速方法
CN110018798A (zh) * 2019-04-11 2019-07-16 苏州浪潮智能科技有限公司 一种写数据性能优化方法、装置、设备及存储介质
US10956346B1 (en) * 2017-01-13 2021-03-23 Lightbits Labs Ltd. Storage system having an in-line hardware accelerator
CN112988683A (zh) * 2021-02-07 2021-06-18 北京金山云网络技术有限公司 数据处理方法、装置、电子设备及存储介质
CN113296718A (zh) * 2021-07-27 2021-08-24 阿里云计算有限公司 数据处理方法以及装置
CN114510368A (zh) * 2022-01-17 2022-05-17 杭州加速科技有限公司 一种基于rs纠删码的编解码加速方法及***
CN114625325A (zh) * 2022-05-16 2022-06-14 阿里云计算有限公司 分布式存储***及其存储节点离线处理方法
CN115016979A (zh) * 2022-06-30 2022-09-06 中国工商银行股份有限公司 纠删码数据处理方法、装置及***、存储介质、处理器
CN115167780A (zh) * 2022-07-27 2022-10-11 济南浪潮数据技术有限公司 一种数据重构方法、装置、电子设备及存储介质
CN115344214A (zh) * 2022-08-26 2022-11-15 重庆紫光华山智安科技有限公司 数据读写方法、装置、服务器和计算机可读存储介质
CN115657953A (zh) * 2022-10-31 2023-01-31 济南浪潮数据技术有限公司 一种数据存储方法、装置、设备及计算机可读存储介质
CN115705154A (zh) * 2021-08-10 2023-02-17 三星电子株式会社 存储装置、存储节点以及用于计算存储的***和方法
CN116204137A (zh) * 2023-05-04 2023-06-02 苏州浪潮智能科技有限公司 基于dpu的分布式存储***、控制方法、装置及设备
CN116257186A (zh) * 2023-02-28 2023-06-13 济南浪潮数据技术有限公司 一种数据对象纠删码存储方法、装置、设备及介质
CN116521091A (zh) * 2023-06-28 2023-08-01 苏州浪潮智能科技有限公司 数据读取方法、装置、设备、数据传输***及存储介质
CN116564424A (zh) * 2022-01-30 2023-08-08 密码子（杭州）科技有限公司 基于纠删码与组装技术的dna数据存储方法、读取方法及终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11775193B2 (en) * 2019-08-01 2023-10-03 Dell Products L.P. System and method for indirect data classification in a storage system operations

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106598499A (zh) * 2016-12-14 2017-04-26 深圳市中博睿存科技有限公司 一种基于fpga的分布式文件***架构
US10956346B1 (en) * 2017-01-13 2021-03-23 Lightbits Labs Ltd. Storage system having an in-line hardware accelerator
CN107291889A (zh) * 2017-06-20 2017-10-24 郑州云海信息技术有限公司 一种数据存储方法及***
CN109491599A (zh) * 2018-10-24 2019-03-19 山东超越数控电子股份有限公司 一种分布式存储***及其异构加速方法
CN110018798A (zh) * 2019-04-11 2019-07-16 苏州浪潮智能科技有限公司 一种写数据性能优化方法、装置、设备及存储介质
CN112988683A (zh) * 2021-02-07 2021-06-18 北京金山云网络技术有限公司 数据处理方法、装置、电子设备及存储介质
CN113296718A (zh) * 2021-07-27 2021-08-24 阿里云计算有限公司 数据处理方法以及装置
CN115705154A (zh) * 2021-08-10 2023-02-17 三星电子株式会社 存储装置、存储节点以及用于计算存储的***和方法
CN114510368A (zh) * 2022-01-17 2022-05-17 杭州加速科技有限公司 一种基于rs纠删码的编解码加速方法及***
CN116564424A (zh) * 2022-01-30 2023-08-08 密码子（杭州）科技有限公司 基于纠删码与组装技术的dna数据存储方法、读取方法及终端
CN114625325A (zh) * 2022-05-16 2022-06-14 阿里云计算有限公司 分布式存储***及其存储节点离线处理方法
CN115016979A (zh) * 2022-06-30 2022-09-06 中国工商银行股份有限公司 纠删码数据处理方法、装置及***、存储介质、处理器
CN115167780A (zh) * 2022-07-27 2022-10-11 济南浪潮数据技术有限公司 一种数据重构方法、装置、电子设备及存储介质
CN115344214A (zh) * 2022-08-26 2022-11-15 重庆紫光华山智安科技有限公司 数据读写方法、装置、服务器和计算机可读存储介质
CN115657953A (zh) * 2022-10-31 2023-01-31 济南浪潮数据技术有限公司 一种数据存储方法、装置、设备及计算机可读存储介质
CN116257186A (zh) * 2023-02-28 2023-06-13 济南浪潮数据技术有限公司 一种数据对象纠删码存储方法、装置、设备及介质
CN116204137A (zh) * 2023-05-04 2023-06-02 苏州浪潮智能科技有限公司 基于dpu的分布式存储***、控制方法、装置及设备
CN116521091A (zh) * 2023-06-28 2023-08-01 苏州浪潮智能科技有限公司 数据读取方法、装置、设备、数据传输***及存储介质

Also Published As

Publication number Publication date
CN116954523A (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
US11137940B2 (en) Storage system and control method thereof
US11182258B2 (en) Data rebuild using dynamic peer work allocation
KR101677418B1 (ko) 분산형 스토리지 시스템에서 데이터 재구성의 우선순위화
US11301162B2 (en) Balancing resiliency and performance by selective use of degraded writes and spare capacity in storage systems
US9690663B2 (en) Allocation of replica-sets in a storage cluster
US10649843B2 (en) Storage systems with peer data scrub
US20140298061A1 (en) Power control in a dispersed storage network
US20190235777A1 (en) Redundant storage system
CN116954523B (zh) 一种存储***、数据存储方法、数据读取方法和存储介质
US8775867B2 (en) Method and system for using a standby server to improve redundancy in a dual-node data storage system
WO2019148841A1 (zh) 一种分布式存储***、数据处理方法和存储节点
CN110674539B (zh) 一种硬盘保护设备、方法及***
US20220253356A1 (en) Redundant data calculation method and apparatus
US20210334184A1 (en) Reliability coding with reduced network traffic
CN111587420A (zh) 分布式存储***快速故障恢复的方法和***
JP2023099186A (ja) 複数の故障ドメインに及ぶストレージシステム
CN109840051B (zh) 一种存储***的数据存储方法及装置
WO2022007225A1 (zh) 数据存储方法、存储***、存储设备及存储介质
CN109344012B (zh) 数据重构控制方法、装置和设备
WO2020034695A1 (zh) 数据存储方法、数据恢复方法、装置、设备及存储介质
CN117687835A (zh) 数据处理***、内存镜像方法、装置和计算设备
US11593207B2 (en) Storage system having RAID stripe metadata
US11392423B2 (en) Method for running a quorum-based system by dynamically managing the quorum
US11770448B1 (en) Rotating offline storage units in a dispersed storage network
US10691564B2 (en) Storage system and storage control method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant