CN110780819A - 一种分布式存储***的数据读写方法 - Google Patents

一种分布式存储***的数据读写方法 Download PDF

Info

Publication number
CN110780819A
CN110780819A CN201911025181.2A CN201911025181A CN110780819A CN 110780819 A CN110780819 A CN 110780819A CN 201911025181 A CN201911025181 A CN 201911025181A CN 110780819 A CN110780819 A CN 110780819A
Authority
CN
China
Prior art keywords
target
osd
request
homing group
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911025181.2A
Other languages
English (en)
Inventor
王曙光
孟祥瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Langchao Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Langchao Electronic Information Industry Co Ltd filed Critical Langchao Electronic Information Industry Co Ltd
Priority to CN201911025181.2A priority Critical patent/CN110780819A/zh
Publication of CN110780819A publication Critical patent/CN110780819A/zh
Priority to PCT/CN2020/092831 priority patent/WO2021077745A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种分布式存储***的数据读写方法、装置、存储服务器及可读存储介质，方案包括：获取IO请求，该IO请求包括目标对象的标识信息；根据目标对象的标识信息，确定目标归置组；确定在预先创建的缓存文件中与目标归置组对应的目标OSD，并将IO请求发送至目标OSD，以实现数据读写。可见，该方案在缓存文件中缓存归置组与OSD的对应关系，因此，数据读写过程中无需通过繁琐的计算确定目标归置组对应的目标OSD，从而减少了IO路径中***CPU资源的浪费，并且能够极大的降低IO延时。

Description

一种分布式存储***的数据读写方法
技术领域
本申请涉及计算机技术领域，特别涉及一种分布式存储***的数据读写方法、装置、存储服务器及可读存储介质。
背景技术
随着云计算技术的快速发展，业界对于分布式存储的性能和可靠性要求越来越高。当前分布式存储***中，客户端读写一个对象时，需要先根据对象名计算出归置组，然后利用计算出该归置组的成员，但是计算归置组成员时要经过多层循环和递归调用hash计算，这样极大的浪费了***CPU资源，并且增加了前端IO的延时。
可见，如何提供一种分布式存储***中的数据读写方法，避免数据读写过程对前端IO延时的影响，是亟待本领域技术人员解决的问题。
发明内容
本申请的目的是提供一种分布式存储***的数据读写方法、装置、存储服务器及可读存储介质，用以解决传统数据读写方案在数据读写过程中会占用较多***CPU资源，导致前端IO延时增加的问题。
具体方案如下：
第一方面，本申请提供了一种分布式存储***的数据读写方法，应用于Ceph客户端，包括：
获取IO请求，所述IO请求包括目标对象的标识信息；
根据所述目标对象的标识信息，确定目标归置组；
确定在预先创建的缓存文件中与所述目标归置组对应的目标OSD，并将所述IO请求发送至所述目标OSD，以实现数据读写。
优选的，所述确定在预先创建的缓存文件中与所述目标归置组对应的目标OSD，并将所述IO请求发送至所述目标OSD，包括：
判断预先创建的缓存文件中是否存在所述目标归置组；
若存在，则确定在所述缓存文件中与所述目标归置组对应的目标OSD，并将所述IO请求发送至所述目标OSD；
若不存在，则根据crush算法计算所述目标归置组对应的目标OSD，将所述IO请求发送至所述目标OSD，并在所述缓存文件中记录所述目标归置组与所述目标OSD的对应关系。
优选的，所述根据crush算法计算所述目标归置组对应的目标OSD，包括：
根据crush算法计算所述目标归置组对应的OSD组，将所述OSD组中的主OSD作为目标OSD。
优选的，所述根据所述目标对象的标识信息，确定目标归置组，包括：
对所述目标对象的标识信息的hash值进行取模操作，得到目标归置组的标识信息。
优选的，在所述获取IO请求之前，还包括：
获取待写入文件，按照预设对象大小将所述待写入文件切分为多个目标对象，并确定各个所述目标对象的标识信息；生成携带所述目标对象的标识信息的IO请求。
优选的，所述确定在预先创建的缓存文件中与所述目标归置组对应的目标OSD，包括：
确定在预先创建的缓存列表中与所述目标归置组对应的目标OSD。
优选的，在所述确定在预先创建的缓存文件中与所述目标归置组对应的目标OSD之前，还包括：
若检测到OSD map发生变化，则初始化预先创建的缓存文件。
第二方面，本申请提供了一种分布式存储***的数据读写装置，应用于Ceph客户端，包括：
请求获取模块：用于获取IO请求，所述IO请求包括目标对象的标识信息；
归置组确定模块：用于根据所述目标对象的标识信息，确定目标归置组；
请求发送模块：用于确定在预先创建的缓存文件中与所述目标归置组对应的目标OSD，并将所述IO请求发送至所述目标OSD，以实现数据读写。
第三方面，本申请提供了一种分布式存储***的存储服务器，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如上所述的一种分布式存储***的数据读写方法的步骤。
第四方面，本申请提供了一种可读存储介质，所述可读存储介质上存储计算机程序，所述计算机程序被处理器执行时用于实现如上所述的一种分布式存储***的数据读写方法的步骤。
本申请所提供的一种分布式存储***的数据读写方法、装置、存储服务器及可读存储介质，方案包括：获取IO请求，该IO请求包括目标对象的标识信息；根据目标对象的标识信息，确定目标归置组；确定在预先创建的缓存文件中与目标归置组对应的目标OSD，并将IO请求发送至目标OSD，以实现数据读写。可见，该方案在缓存文件中缓存归置组与OSD的对应关系，因此，数据读写过程中无需通过繁琐的计算确定目标归置组对应的目标OSD，从而减少了IO路径中***CPU资源的浪费，并且能够极大的降低IO延时。
附图说明
为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请所提供的一种分布式存储***的数据读写方法实施例一的实现流程图；
图2为本申请所提供的一种分布式存储***的数据读写方法实施例二的实现流程图；
图3为本申请所提供的一种分布式存储***的数据读写装置实施例的功能框图；
图4为本申请所提供的一种分布式存储***的存储服务器实施例的结构示意图。
具体实施方式
本申请的核心是提供一种分布式存储***的数据读写方法、装置、存储服务器及可读存储介质，减少了数据读写过程中***CPU资源的浪费，并且能够极大的降低IO延时。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面对本申请提供的一种分布式存储***的数据读写方法实施例一进行介绍，参见图1，实施例一包括：
S101、获取IO请求，所述IO请求包括目标对象的标识信息；
S102、根据所述目标对象的标识信息，确定目标归置组；
S103、确定在预先创建的缓存文件中与所述目标归置组对应的目标OSD，并将所述IO请求发送至所述目标OSD，以实现数据读写。
本实施例应用于Ceph客户端，这里说的客户端指的是访问集群的服务进程，对于nas场景指的是nfsserver和samba，对应块场景指的是tgt进程，对应对象场景指的是rgw。
在Ceph中，无论使用哪种存储方式(对象、块、文件***)，数据都会被切分为若干个对象(object)，归置组(Placement Group，简称PG)用于对这些对象进行逻辑归组，从而达到统一管理、提升效率的作用。OSD(Object Storage Device，对象存储设备)用于提供存储资源，每一个disk、SSD、RAID group或者一个分区都可以成为一个OSD。具体而言，数据写入时，文件被切分成若干个对象，对象首先映射到归置组，再由归置组映射到OSD组。其中，对象与归置组之间是“一对多”映射关系，归置组和OSD之间是“多对多”映射关系。需要说明的是，本实施例中的目标OSD是指该OSD组中的主OSD，即可执行数据读写操作的OSD。
本实施例的IO请求中包括目标对象的标识信息，具体的，当IO请求为读请求时，主要包含的信息为目标对象的标识信息、对象读请求的offset、要读取的长度；当IO请求为写请求时，主要包含的信息为目标对象的标识信息、对象写请求的offset、要写入数据的长度和要写入的数据内容。当Ceph客户端接收到IO请求后，首先会根据IO请求中所携带的目标对象的标识信息计算出目标对象映射到的目标归置组，作为一种具体的实施方式，计算目标对象的标识信息的hash值，并取模得到该目标对象所对应的归置组。
然后，一般情况下，会利用CRUSH算法(Controlled Replication Under ScalableHashing，数据存储的分布式选择算法)计算出目标归置组映射到的目标OSD。然而，本实施例预先设置了缓存文件，该缓存文件用于记录配置组与OSD的映射关系，因此，在确定目标归置组之后无需通过繁琐的CRUSH算法计算出对应的目标OSD，只需要通过查询缓存文件即可直接确定目标OSD，从而将IO请求转发至目标OSD，避免了繁琐的计算过程。
具体的，在确定目标归置组之后，首选查询缓存文件，判断缓存文件中是否记录有该目标归置组与OSD的映射关系，若是，则确定与目标归置组对应的目标OSD；否则，利用CRUSH算法计算出与目标归置组对应的目标OSD。其中，CRUSH算法用于计算出对象应该被写入或读出的位置。
本实施例所提供一种分布式存储***的数据读写方法，方案包括：获取IO请求，该IO请求包括目标对象的标识信息；根据目标对象的标识信息，确定目标归置组；确定在预先创建的缓存文件中与目标归置组对应的目标OSD，并将IO请求发送至目标OSD，以实现数据读写。可见，该方案在缓存文件中缓存归置组与OSD的对应关系，因此，数据读写过程中无需通过繁琐的计算确定目标归置组对应的目标OSD，从而减少了IO路径中***CPU资源的浪费，并且能够极大的降低IO延时。
下面开始详细介绍本申请提供的一种分布式存储***的数据读写方法实施例二，实施例二基于前述实施例一实现，并在实施例一的基础上进行了一定程度上的拓展。
具体的，本实施例中以列表的形式记录归置组与OSD之间的映射关系，本实施例以数据写入场景为例进行说明。参见图2，实施例二应用于Ceph客户端，具体包括：
S201、获取待写入文件，按照预设对象大小将所述待写入文件切分为多个目标对象，并确定各个所述目标对象的标识信息；生成携带所述目标对象的标识信息的IO请求；
上述预设对象大小根据实际需求进行调整，通常为2M或4M。切分得到的对象都会有一个唯一的标识信息，一般由待写入文件的File ID与分片的编号构成。
S202、获取IO请求，所述IO请求包括目标对象的标识信息；
S203、对所述目标对象的标识信息的hash值进行取模操作，得到目标归置组的标识信息；
S204、判断预先创建的缓存列表中是否存在所述目标归置组；若是，跳转至S205，否则跳转至S206；
本实施例中，PG的标识信息类似1.0、1.1、1.2，上述缓存列表在代码中可以使用map结构实现，具体内容如下：
[1.0,[1,2,3]]
[1.1,[2,5,3]]
[1.2,[3,6,8]]
.
.
.
[1.5,[6,7,9]]
其中每个归置组的标识信息后面的[1,2,3]是该归置组对应的OSD的标识信息。
S205、确定在所述缓存列表中与所述目标归置组对应的目标OSD；
S206、根据crush算法计算所述目标归置组对应的OSD组，将所述OSD组中的主OSD作为目标OSD，并在所述缓存列表中记录所述目标归置组与所述目标OSD的对应关系；
S207、将所述IO请求发送至所述目标OSD，以实现数据读写；
S208、若检测到OSD map发生变化，则初始化预先创建的缓存列表。
OSD Map中记录集群包含多少个OSD，这些OSD分别属于哪些节点，还有这些节点和OSD分别的权重信息，这些关系都是以树形结构保存。OSD和节点的上线下线都会带来OSDMap的变化，OSD Map变化会导致PG对应的OSD发生相应的变化，所以要清除PG缓存列表，重新进行缓存。
可见，本实施例提供的一种分布式存储***的数据读写方法，通过在缓存文件中缓存归置组与OSD的对应关系，因此，数据读写过程中无需通过繁琐的计算确定目标归置组对应的目标OSD，极大的降低了IO路径上的CPU消耗和延时，从而节省了***CPU资源占用，并且极大的降低了前端IO延时。
下面对本申请实施例提供的一种分布式存储***的数据读写装置进行介绍，下文描述的一种分布式存储***的数据读写装置与上文描述的一种分布式存储***的数据读写方法可相互对应参照。
参见图3，该装置应用于Ceph客户端，包括：
请求获取模块301：用于获取IO请求，所述IO请求包括目标对象的标识信息；
归置组确定模块302：用于根据所述目标对象的标识信息，确定目标归置组；
请求发送模块303：用于确定在预先创建的缓存文件中与所述目标归置组对应的目标OSD，并将所述IO请求发送至所述目标OSD，以实现数据读写。
本实施例的分布式存储***的数据读写装置用于实现前述的分布式存储***的数据读写方法，因此该装置中的具体实施方式可见前文中的分布式存储***的数据读写方法的实施例部分，例如，请求获取模块301、归置组确定模块302、请求发送模块303，分别用于实现上述分布式存储***的数据读写方法中步骤S101，S102，S103。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
另外，由于本实施例的分布式存储***的数据读写装置用于实现前述的分布式存储***的数据读写方法，因此其作用与上述方法的作用相对应，这里不再赘述。
此外，本申请还提供了一种分布式存储***的存储服务器，如图4所示，包括：
存储器100：用于存储计算机程序；
处理器200：用于执行所述计算机程序，以实现如上文所述的一种分布式存储***的数据读写方法的步骤。
最后，本申请提供了一种可读存储介质，所述可读存储介质上存储计算机程序，所述计算机程序被处理器执行时用于实现如上所述的一种分布式存储***的数据读写方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种分布式存储***的数据读写方法，其特征在于，应用于Ceph客户端，包括：
获取IO请求，所述IO请求包括目标对象的标识信息；
根据所述目标对象的标识信息，确定目标归置组；
确定在预先创建的缓存文件中与所述目标归置组对应的目标OSD，并将所述IO请求发送至所述目标OSD，以实现数据读写。
2.如权利要求1所述的方法，其特征在于，所述确定在预先创建的缓存文件中与所述目标归置组对应的目标OSD，并将所述IO请求发送至所述目标OSD，包括：
判断预先创建的缓存文件中是否存在所述目标归置组；
若存在，则确定在所述缓存文件中与所述目标归置组对应的目标OSD，并将所述IO请求发送至所述目标OSD；
若不存在，则根据crush算法计算所述目标归置组对应的目标OSD，将所述IO请求发送至所述目标OSD，并在所述缓存文件中记录所述目标归置组与所述目标OSD的对应关系。
3.如权利要求2所述的方法，其特征在于，所述根据crush算法计算所述目标归置组对应的目标OSD，包括：
根据crush算法计算所述目标归置组对应的OSD组，将所述OSD组中的主OSD作为目标OSD。
4.如权利要求1所述的方法，其特征在于，所述根据所述目标对象的标识信息，确定目标归置组，包括：
对所述目标对象的标识信息的hash值进行取模操作，得到目标归置组的标识信息。
5.如权利要求4所述的方法，其特征在于，在所述获取IO请求之前，还包括：
获取待写入文件，按照预设对象大小将所述待写入文件切分为多个目标对象，并确定各个所述目标对象的标识信息；生成携带所述目标对象的标识信息的IO请求。
6.如权利要求5所述的方法，其特征在于，所述确定在预先创建的缓存文件中与所述目标归置组对应的目标OSD，包括：
确定在预先创建的缓存列表中与所述目标归置组对应的目标OSD。
7.如权利要求1-6任意一项所述的方法，其特征在于，在所述确定在预先创建的缓存文件中与所述目标归置组对应的目标OSD之前，还包括：
若检测到OSD map发生变化，则初始化预先创建的缓存文件。
8.一种分布式存储***的数据读写装置，其特征在于，应用于Ceph客户端，包括：
请求获取模块：用于获取IO请求，所述IO请求包括目标对象的标识信息；
归置组确定模块：用于根据所述目标对象的标识信息，确定目标归置组；
请求发送模块：用于确定在预先创建的缓存文件中与所述目标归置组对应的目标OSD，并将所述IO请求发送至所述目标OSD，以实现数据读写。
9.一种分布式存储***的存储服务器，其特征在于，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如权利要求1-7任意一项所述的一种分布式存储***的数据读写方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1-7任意一项所述的一种分布式存储***的数据读写方法的步骤。
CN201911025181.2A 2019-10-25 2019-10-25 一种分布式存储***的数据读写方法 Pending CN110780819A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911025181.2A CN110780819A (zh) 2019-10-25 2019-10-25 一种分布式存储***的数据读写方法
PCT/CN2020/092831 WO2021077745A1 (zh) 2019-10-25 2020-05-28 一种分布式存储***的数据读写方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911025181.2A CN110780819A (zh) 2019-10-25 2019-10-25 一种分布式存储***的数据读写方法

Publications (1)

Publication Number Publication Date
CN110780819A true CN110780819A (zh) 2020-02-11

Family

ID=69386814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911025181.2A Pending CN110780819A (zh) 2019-10-25 2019-10-25 一种分布式存储***的数据读写方法

Country Status (2)

Country Link
CN (1) CN110780819A (zh)
WO (1) WO2021077745A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363674A (zh) * 2020-11-12 2021-02-12 新华三技术有限公司成都分公司 一种数据写入方法和装置
CN112486413A (zh) * 2020-11-27 2021-03-12 杭州朗和科技有限公司 一种数据读取方法、装置、介质和计算设备
WO2021077745A1 (zh) * 2019-10-25 2021-04-29 浪潮电子信息产业股份有限公司 一种分布式存储***的数据读写方法
CN112783443A (zh) * 2021-01-18 2021-05-11 北京聚云科技有限公司 数据读取方法、装置及电子设备
CN112925482A (zh) * 2021-03-15 2021-06-08 北京首都在线科技股份有限公司 数据处理方法、装置、***、电子设备和计算机存储介质
CN114327299A (zh) * 2022-03-01 2022-04-12 苏州浪潮智能科技有限公司 一种顺序读预读的方法、装置、设备及介质
CN114564460A (zh) * 2022-02-25 2022-05-31 苏州浪潮智能科技有限公司 基于分布式存储***的参数调优方法、装置、设备及介质
CN116737619A (zh) * 2023-08-15 2023-09-12 苏州浪潮智能科技有限公司 数据请求***、方法、装置、计算机设备和存储介质
CN117348820A (zh) * 2023-12-04 2024-01-05 浪潮云信息技术股份公司 一种分布式***的数据处理方法、***、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905540A (zh) * 2014-03-25 2014-07-02 浪潮电子信息产业股份有限公司 基于两级哈希的对象存储数据分布机制
US20160330281A1 (en) * 2015-05-07 2016-11-10 Dell Products L.P. Systems and methods to improve read/write performance in object storage applications

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9317525B2 (en) * 2013-01-30 2016-04-19 Hewlett Packard Enterprise Development Lp Reconstructing a state of a file system using a preserved snapshot
CN108287660B (zh) * 2017-01-09 2021-07-09 ***通信集团河北有限公司 数据存储方法和设备
CN110222013B (zh) * 2019-06-11 2023-05-12 深信服科技股份有限公司 一种集群存储容量确定的方法、***、设备及存储介质
CN110780819A (zh) * 2019-10-25 2020-02-11 浪潮电子信息产业股份有限公司 一种分布式存储***的数据读写方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905540A (zh) * 2014-03-25 2014-07-02 浪潮电子信息产业股份有限公司 基于两级哈希的对象存储数据分布机制
US20160330281A1 (en) * 2015-05-07 2016-11-10 Dell Products L.P. Systems and methods to improve read/write performance in object storage applications

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021077745A1 (zh) * 2019-10-25 2021-04-29 浪潮电子信息产业股份有限公司 一种分布式存储***的数据读写方法
CN112363674B (zh) * 2020-11-12 2022-04-22 新华三技术有限公司成都分公司 一种数据写入方法和装置
CN112363674A (zh) * 2020-11-12 2021-02-12 新华三技术有限公司成都分公司 一种数据写入方法和装置
CN112486413A (zh) * 2020-11-27 2021-03-12 杭州朗和科技有限公司 一种数据读取方法、装置、介质和计算设备
CN112486413B (zh) * 2020-11-27 2022-08-05 杭州朗和科技有限公司 一种数据读取方法、装置、介质和计算设备
CN112783443A (zh) * 2021-01-18 2021-05-11 北京聚云科技有限公司 数据读取方法、装置及电子设备
CN112925482A (zh) * 2021-03-15 2021-06-08 北京首都在线科技股份有限公司 数据处理方法、装置、***、电子设备和计算机存储介质
CN114564460A (zh) * 2022-02-25 2022-05-31 苏州浪潮智能科技有限公司 基于分布式存储***的参数调优方法、装置、设备及介质
CN114564460B (zh) * 2022-02-25 2024-01-19 苏州浪潮智能科技有限公司 基于分布式存储***的参数调优方法、装置、设备及介质
CN114327299A (zh) * 2022-03-01 2022-04-12 苏州浪潮智能科技有限公司 一种顺序读预读的方法、装置、设备及介质
WO2023165188A1 (zh) * 2022-03-01 2023-09-07 苏州浪潮智能科技有限公司 一种顺序读预读的方法、装置、设备及介质
CN116737619A (zh) * 2023-08-15 2023-09-12 苏州浪潮智能科技有限公司 数据请求***、方法、装置、计算机设备和存储介质
CN116737619B (zh) * 2023-08-15 2023-11-03 苏州浪潮智能科技有限公司 数据请求***、方法、装置、计算机设备和存储介质
CN117348820A (zh) * 2023-12-04 2024-01-05 浪潮云信息技术股份公司 一种分布式***的数据处理方法、***、设备及存储介质

Also Published As

Publication number Publication date
WO2021077745A1 (zh) 2021-04-29

Similar Documents

Publication Publication Date Title
CN110780819A (zh) 一种分布式存储***的数据读写方法
US10585617B1 (en) Buffering copy requests in a storage system
CN107436725B (zh) 一种数据写、读方法、装置及分布式对象存储集群
US11243706B2 (en) Fragment management method and fragment management apparatus
US8521986B2 (en) Allocating storage memory based on future file size or use estimates
CN110908589B (zh) 数据文件的处理方法、装置、***和存储介质
EP4030273A1 (en) Data storage method and device
KR101993793B1 (ko) 메모리 관리를 위한 보존 가비지 콜렉팅 및 정수 태깅 기법
CN108920100B (zh) 基于Ceph的读写模型优化和异构副本组合方法
CN108089825B (zh) 一种基于分布式集群的存储***
CN109582649B (zh) 一种元数据存储方法、装置、设备及可读存储介质
CN113703672A (zh) 一种超融合***及其io请求下发方法、物理服务器
CN112346647A (zh) 数据存储方法、装置、设备和介质
CN110427347A (zh) 重复数据删除的方法、装置、存储节点及存储介质
CN115794669A (zh) 一种扩展内存的方法、装置及相关设备
US20220129333A1 (en) Message Processing Method and Apparatus in Distributed System
CN113835639B (zh) 一种i/o请求处理方法、装置、设备及可读存储介质
CN113986522A (zh) 一种基于负载均衡的分布式存储服务器扩容***
CN111435323B (zh) 信息的传输方法、装置、终端、服务器及存储介质
JP6582721B2 (ja) 制御装置、ストレージシステム、及び制御プログラム
WO2023024656A1 (zh) 数据访问方法、存储***及存储节点
CN108769123B (zh) 一种数据***及数据处理方法
CN111966845A (zh) 图片管理方法、装置、存储节点及存储介质
CN108153883B (zh) 搜索方法和装置、计算机设备、程序产品以及存储介质
WO2023093091A1 (zh) 数据存储***、智能网卡及计算节点

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200211