CN109240617A - 分布式存储***写请求处理方法、装置、设备及存储介质 - Google Patents

分布式存储***写请求处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109240617A
CN109240617A CN201811019804.0A CN201811019804A CN109240617A CN 109240617 A CN109240617 A CN 109240617A CN 201811019804 A CN201811019804 A CN 201811019804A CN 109240617 A CN109240617 A CN 109240617A
Authority
CN
China
Prior art keywords
write request
data
written
file
service layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811019804.0A
Other languages
English (en)
Inventor
孟祥瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201811019804.0A priority Critical patent/CN109240617A/zh
Publication of CN109240617A publication Critical patent/CN109240617A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种分布式存储***写请求处理方法、装置、设备及计算机可读存储介质。其中，方法包括NFS服务器在接收到写请求时，将对应的待写入数据存储在预先从文件服务层申请的缓存空间中，然后将携带数据存储地址信息的写请求发送至文件服务层，文件服务器将地址信息和对应文件进行关联，在处理写请求时，直接从该地址对应的缓存空间中获取数据并进行下盘处理。本申请提供的技术方案直接利用文件服务层的内存空间接收存储待写入数据，文件服务层在处理写请求时无需再进行数据的拷贝，从而降低了CPU的消耗，并且NFS服务器和文件服务层共用大块的内存空间，从而降低了内存的占用，有效的提升了内存使用率，有效的提升了性能体验。

Description

分布式存储***写请求处理方法、装置、设备及存储介质
技术领域
本发明实施例涉及分布式存储技术领域，特别是涉及一种分布式存储***写请求处理方法、装置、设备及计算机可读存储介质。
背景技术
随着云技术、大数据的快速发展，数据呈现***式的增长，促使存储技术得到相应的发展，以满足数据存储的现实需求。NAS(Network Attached Storage，网络附加存储)存储技术由于具有大容量、高可用性、良好的可扩展性、良好的兼容性等特点，广泛应用于各行各业。
NAS技术为一种承载于IP网络之上的存储技术，能够提供NAS功能的存储设备称之为NAS存储设备。其通过CIFS(Common Internet File System，通用网络文件***)、NFS(Network File System，即网络文件***)、FTP(File Transfer Protocol，文件传输协议)、HTTP(HyperText Transfer Protocol，超文本传输协议)等协议对网络中的不同客户端提供数据存储空间。
在分布式NAS存储中，NAS协议服务端最常用的为NFS协议，NFS服务端进程负责与NFS客户端交互，提供文件服务给客户，并与后端的存储***交互。NFS服务端进程一般分为两部分：NFS协议服务(nfs server)与文件服务层(client层)，这种架构称之为NAS融合架构，NFS server收发请求，然后把数据传到client层处理。在写请求处理机制中，nfsserver会申请内存来接收写请求数据，并把写请求传入到client层处理，client层把写请求的数据又会拷贝到本层的缓存中做进一步处理。
但是，这种过程中存在进程内部的数据块拷贝，不仅消耗了大量内存，降低内存的利用率；而且拷贝内存还想需要占用CPU资源，造成CPU资源的浪费。
发明内容
本发明实施例的目的是提供一种分布式存储***写请求处理方法、装置、设备及计算机可读存储介质，降低了CPU资源的消耗，提高了内存的利用率。
为解决上述技术问题，本发明实施例提供以下技术方案：
本发明实施例一方面提供了一种分布式存储***写请求处理方法，包括：
当接收到写请求时，从预先申请的缓存空间中为待写入数据分配相应长度的目标缓存空间，以接收并存储所述待写入数据；
将所述写请求发送至文件服务层，以使所述文件服务层将所述写请求中携带的所述目标缓存空间的地址信息与存储所述待写入数据的文件进行关联，用于在执行写请求时进行数据下盘处理；
其中，所述缓存空间为所述文件服务层根据接收的空间申请请求从自身缓存中构造所得。
可选的，在所述将所述写请求发送至文件服务层之后，还包括：
更新所述缓存空间的当前剩余缓存的容量占用值；
判断所述容量占用值是否小于预设容量阈值；
若是，则向所述文件服务层发送申请缓存空间的请求，所述请求包括预申请缓存空间的容量占用值。
可选的，所述从预先申请的缓存空间中为待写入数据分配相应长度的目标缓存空间，以接收并存储所述待写入数据包括：
根据所述写请求的头部信息确定所述待写入数据的长度和偏移量；
从预先申请的缓存空间中为待写入数据分配相应长度的目标缓存空间；
按照所述偏移量将所述待写入数据填充至所述目标缓存空间中。
可选的，所述缓存空间的申请过程包括：
向所述文件服务层发送批量申请缓存块空间的请求，所述请求包括缓存块个数信息；
接收并保存所述文件服务层反馈的携带指针列表地址的信息；所述指针列表地址为所述文件服务层从自身缓存中构造相应的缓存块空间列表地址信息。
可选的，在所述将所述写请求发送至文件服务层之后，还包括：
接收到所述文件服务层反馈的完成写请求的信息后，向NFS客户端返回所述写请求处理结果。
本发明实施例另一方面提供了一种分布式存储***写请求处理装置，包括：
空间分配模块，用于当接收到写请求时，从预先申请的缓存空间中为待写入数据分配相应长度的目标缓存空间，以接收并存储所述待写入数据；所述缓存空间为所述文件服务层根据接收的空间申请请求从自身缓存中构造所得；
写请求处理模块，用于将所述写请求发送至文件服务层，以使所述文件服务层将所述写请求中携带的所述目标缓存空间的地址信息与存储所述待写入数据的文件进行关联，用于在执行写请求时进行数据下盘处理。
本发明实施例还提供了一种分布式存储***写请求处理设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述分布式存储***写请求处理方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有分布式存储***写请求处理程序，所述分布式存储***写请求处理程序被处理器执行时实现如前任一项所述分布式存储***写请求处理方法的步骤。
本发明实施例还提供了一种分布式存储***写请求处理方法，包括：
接收NFS服务器发送的写请求，所述写请求中包含存储所述写请求对应的待写入数据的目标缓存空间的地址信息；
将所述地址信息与所述待写入数据对应的文件进行关联；
处理所述写请求，根据所述地址信息获取所述待写入数据，并进行数据下盘处理；
其中，所述目标缓存空间为所述NFS服务器根据所述待写入数据的长度从预先申请的缓存空间中分配，用于接收并存储所述待写入数据。
本发明实施例最后还提供了一种分布式存储***写请求处理装置，包括：
写请求接收模块，用于接收NFS服务器发送的写请求，所述写请求中包含存储所述写请求对应的待写入数据的目标缓存空间的地址信息；其中，所述目标缓存空间为所述NFS服务器根据所述待写入数据的长度从预先申请的缓存空间中分配，用于接收并存储所述待写入数据；
数据关联模块，用于将所述地址信息与所述待写入数据对应的文件进行关联；
数据下盘处理模块，用于处理所述写请求，根据所述地址信息获取所述待写入数据，并进行数据下盘处理。
本发明实施例提供了一种分布式存储***写请求处理方法，NFS服务器在接收到写请求时，将对应的待写入数据存储在预先从文件服务层申请的缓存空间中，然后将携带数据存储地址信息的写请求发送至文件服务层，文件服务器将地址信息和待写入数据对应文件进行关联，在处理写请求时，直接从该地址对应的缓存空间中的文件上获取数据并进行下盘处理。
本申请提供的技术方案的优点在于，NFS服务器直接利用文件服务层的内存空间接收存储待写入数据，文件服务层通过将写请求中的缓存块信息放到本层缓存中以关联到对应文件上，而在处理写请求时无需再进行数据的拷贝，直接从该文件上进行数据下盘等处理，从而降低了CPU的消耗，并且NFS服务器和文件服务层共用大块的内存空间，从而降低了内存的占用，有效的提升了内存使用率，有效的提升了性能体验。
此外，本发明实施例还针对分布式存储***写请求处理方法提供了相应的实现装置、设备及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置、设备及计算机可读存储介质具有相应的优点。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种分布式存储***写请求处理方法的交互流程示意图；
图2为本发明实施例提供的另一种分布式存储***写请求处理方法的交互流程示意图；
图3为本发明实施例提供的分布式存储***写请求处理装置的一种具体实施方式结构图；
图4为本发明实施例提供的分布式存储***写请求处理装置的另一种具体实施方式结构图
图5为本发明实施例提供的分布式存储***写请求处理装置的再一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。
首先参见图1，图1为本发明实施例提供的一种分布式存储***写请求处理方法的交互流程示意图，本发明实施例可包括以下内容：
S101：NFS服务器接收写请求，从预先申请的缓存空间中为待写入数据分配相应长度的目标缓存空间，以接收并存储待写入数据。
NFS服务器循环接收写请求，当接收到写请求时，便执行S101步骤。
缓存空间为NFS服务器预先向文件服务层申请的存储空间，也即这些存储空间本来就是属于文件服务层自身缓存空间的一部分。当NFS服务器在首次接收到写请求，或者是***创建后，可向文件服务器发送申请缓存空间的请求，在该请求中可携带申请的缓存空间的容量值信息。
文件服务层响应NFS服务器的空间申请请求，根据请求中的空间容量值为NFS服务器分配相应大小的空间。当然，当文件服务层自身的缓存空间不足时，可不响应NFS服务器的请求，或者是将多余的但不足NFS服务器请求空间容量值的容量分配给NFS服务器。
文件服务层为***内部客户端，对接NFS服务器，处理文件操作，与NFS服务器为同一进程。
待写入数据为写请求对应的，要写入***的数据。
NFS服务器根据写请求对应的待写入数据信息，为待写入数据分配足够容纳其的空间长度，也即目标缓存空间。目标缓存空间接收待写入数据并存储这些数据。
S102：NFS服务器将携带的目标缓存空间的地址信息的写请求发送至文件服务层。
NFS服务器向文件服务层发送写请求时，将存储待写入数据的目标缓存空间的地址信息一起发送，使得文件服务层收到信息后，便可得到待写入数据的存储位置。
S103：文件服务层接收NFS服务器发送的写请求，将地址信息和待写入数据对应文件进行关联。
文件服务层得到待写入数据的存储位置，便可与待写入数据进行文件关联，以使文件服务层无需拷贝该待写入数据，便可直接将该文件中的待写入数据获取在本层缓存层中。
S104：文件服务层处理写请求，根据地址信息获取待写入数据，并进行数据下盘处理。
NFS服务器直接使用文件服务层的缓存空间来接收数据，避免了文件服务层写请求处理时的数据拷贝。
在本发明实施例提供的技术方案中，NFS服务器直接利用文件服务层的内存空间接收存储待写入数据，文件服务层通过将写请求中的缓存块信息放到本层缓存中以关联到对应文件上，而在处理写请求时无需再进行数据的拷贝，直接从该文件上进行数据下盘等处理，从而降低了CPU的消耗，并且NFS服务器和文件服务层共用大块的内存空间，从而降低了内存的占用，有效的提升了内存使用率，有效的提升了性能体验。
可选的，NFS服务器在向文件服务层发送空间申请请求时，可发送批量申请缓存块空间的请求，请求包括缓存块个数信息。缓存块为固定大小的存储空间，例如缓存块都是4k对齐，根据缓存块儿的个数信息便可知道NFS服务器申请缓存空间的容量值大小。文件服务层从本层缓存中构造对应的缓存块空间列表，构造完成后，可将指针列表地址返回给NFS服务器，NFS服务器把缓存块空间(指针列表)进行保存。
此外，在NFS服务器为待写入数据分配存储空间时，可根据写请求的头部信息确定待写入数据的长度和偏移量；从预先申请的缓存空间中为待写入数据分配相应长度的目标缓存空间；然后按照偏移量将待写入数据填充至目标缓存空间中，例如可按照4K对齐的偏移进行数据填充。
基于上述实施例，请参见图2，图2为本发明实施例提供的另一种分布式存储***写请求处理方法的交互流程示意图，本发明实施例例如可应用于NAS分布式存储***中，具体的可包括以下内容：
S105：文件服务层向NFS服务器发送写请求完成的结果。
S106：NFS服务器收到文件服务层请求完成的响应信息后，向NFS客户端返回写请求处理结果。
S107：NFS服务器更新缓存空间的当前剩余缓存的容量占用值，并判断容量占用值是否小于预设容量阈值，若是，则执行S108。
S108：NFS服务器向文件服务层发送申请缓存空间的请求，所述请求包括预申请缓存空间的容量占用值。
由上可知，本发明实施例中的NFS服务器在缓存空间被使用后，及时触发预申请机制，预先向文件服务层申请批量的缓存块，使写请求数据接收时能直接分配空间使用，不阻塞请求处理，不堵塞业务，提高整个***的内存利用率，有效的提升了性能体验。
本发明实施例还针对分布式存储***写请求处理方法提供了相应的实现装置，进一步使得所述方法更具有实用性。下面对本发明实施例提供的分布式存储***写请求处理装置进行介绍，下文描述的分布式存储***写请求处理装置与上文描述的分布式存储***写请求处理方法可相互对应参照。
参见图3，图3为本发明实施例提供的分布式存储***写请求处理装置在一种具体实施方式下的结构图，基于NFS服务器，该装置可包括：
空间分配模块301，用于当接收到写请求时，从预先申请的缓存空间中为待写入数据分配相应长度的目标缓存空间，以接收并存储待写入数据；缓存空间为文件服务层根据接收的空间申请请求从自身缓存中构造所得。
写请求处理模块302，用于将写请求发送至文件服务层，以使文件服务层将写请求中携带的目标缓存空间的地址信息与待写入数据对应文件进行关联，用于在执行写请求时进行数据下盘处理。
可选的，在本实施例的一些实施方式中，请参阅图4，所述装置例如还可以包括缓存预申请机制触发模块303，所述缓存预申请机制触发模块303具体可包括：
更细子模块，用于更新缓存空间的当前剩余缓存的容量占用值；
判断子模块，用于判断容量占用值是否小于预设容量阈值；
触发子模块，用于容量占用值小于预设容量阈值，则向文件服务层发送申请缓存空间的请求，请求包括预申请缓存空间的容量占用值。
具体的，所述装置例如还可包括缓存空间预申请模块304，所述缓存空间预申请模块304具体可包括：
请求发送子模块，用于向文件服务层发送批量申请缓存块空间的请求，请求包括缓存块个数信息；
信息存储子模块，用于接收并保存文件服务层反馈的携带指针列表地址的信息；指针列表地址为文件服务层从自身缓存中构造相应的缓存块空间列表地址信息。
此外，在一种具体的实施方式中，所述装置还可包括信息反馈模块305，所述信息反馈模块305为接收到文件服务层反馈的完成写请求的信息后，向NFS客户端返回所述写请求处理结果的模块。
可选的，在本实施例的另一些实施方式中，所述空间分配模块301例如还可以包括：
解析子模块，用于根据写请求的头部信息确定待写入数据的长度和偏移量；
空间分配子模块，用于从预先申请的缓存空间中为待写入数据分配相应长度的目标缓存空间；
数据存储子模块，用于按照偏移量将待写入数据填充至目标缓存空间中。
可选的，参见图5，图5为本发明实施例提供的分布式存储***写请求处理装置在另一种具体实施方式下的结构图，基于文件服务层，该装置可包括：
写请求接收模块501，用于接收NFS服务器发送的写请求，写请求中包含存储写请求对应的待写入数据的目标缓存空间的地址信息；其中，目标缓存空间为NFS服务器根据待写入数据的长度从预先申请的缓存空间中分配，用于接收并存储待写入数据；
数据关联模块502，用于根据地址信息与待写入数据建立关联；
数据下盘处理模块503，用于处理写请求，根据地址信息获取待写入数据，并进行数据下盘处理。
本发明实施例所述分布式存储***写请求处理装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述
由上可知，本发明实施例直接利用文件服务层的内存空间接收存储待写入数据，文件服务层在处理写请求时无需再进行数据的拷贝，直接从该文件上进行数据下盘等处理，从而降低了CPU的消耗，并且NFS服务器和文件服务层共用大块的内存空间，从而降低了内存的占用，有效的提升了内存使用率，有效的提升了性能体验。
本发明实施例还提供了一种分布式存储***写请求处理设备，具体可包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序以实现如上任意一实施例所述分布式存储***写请求处理方法的步骤。
本发明实施例所述分布式存储***写请求处理设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例直接利用文件服务层的内存空间接收存储待写入数据，文件服务层在处理写请求时无需再进行数据的拷贝，从而降低了CPU的消耗，并且NFS服务器和文件服务层共用大块的内存空间，从而降低了内存的占用，有效的提升了内存使用率，有效的提升了性能体验。
本发明实施例还提供了一种计算机可读存储介质，存储有分布式存储***写请求处理程序，所述分布式存储***写请求处理程序被处理器执行时如上任意一实施例所述分布式存储***写请求处理方法的步骤。
本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例直接利用文件服务层的内存空间接收存储待写入数据，文件服务层在处理写请求时无需再进行数据的拷贝，从而降低了CPU的消耗，并且NFS服务器和文件服务层共用大块的内存空间，从而降低了内存的占用，有效的提升了内存使用率，有效的提升了性能体验。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种分布式存储***写请求处理方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种分布式存储***写请求处理方法，其特征在于，包括：
当接收到写请求时，从预先申请的缓存空间中为待写入数据分配相应长度的目标缓存空间，以接收并存储所述待写入数据；
将所述写请求发送至文件服务层，以使所述文件服务层将所述写请求中携带的所述目标缓存空间的地址信息与存储所述待写入数据的文件进行关联，用于在执行写请求时进行数据下盘处理；
其中，所述缓存空间为所述文件服务层根据接收的空间申请请求从自身缓存中构造所得。
2.根据权利要求1所述的分布式存储***写请求处理方法，其特征在于，在所述将所述写请求发送至文件服务层之后，还包括：
更新所述缓存空间的当前剩余缓存的容量占用值；
判断所述容量占用值是否小于预设容量阈值；
若是，则向所述文件服务层发送申请缓存空间的请求，所述请求包括预申请缓存空间的容量占用值。
3.根据权利要求2所述的分布式存储***写请求处理方法，其特征在于，所述从预先申请的缓存空间中为待写入数据分配相应长度的目标缓存空间，以接收并存储所述待写入数据包括：
根据所述写请求的头部信息确定所述待写入数据的长度和偏移量；
从预先申请的缓存空间中为待写入数据分配相应长度的目标缓存空间；
按照所述偏移量将所述待写入数据填充至所述目标缓存空间中。
4.根据权利要求1-3任意一项所述的分布式存储***写请求处理方法，其特征在于，所述缓存空间的申请过程包括：
向所述文件服务层发送批量申请缓存块空间的请求，所述请求包括缓存块个数信息；
接收并保存所述文件服务层反馈的携带指针列表地址的信息；所述指针列表地址为所述文件服务层从自身缓存中构造相应的缓存块空间列表地址信息。
5.根据权利要求4所述的分布式存储***写请求处理方法，其特征在于，在所述将所述写请求发送至文件服务层之后，还包括：
接收到所述文件服务层反馈的完成写请求的信息后，向NFS客户端返回所述写请求处理结果。
6.一种分布式存储***写请求处理装置，其特征在于，包括：
空间分配模块，用于当接收到写请求时，从预先申请的缓存空间中为待写入数据分配相应长度的目标缓存空间，以接收并存储所述待写入数据；所述缓存空间为所述文件服务层根据接收的空间申请请求从自身缓存中构造所得；
写请求处理模块，用于将所述写请求发送至文件服务层，以使所述文件服务层将所述写请求中携带的所述目标缓存空间的地址信息与存储所述待写入数据的文件进行关联，用于在执行写请求时进行数据下盘处理。
7.一种分布式存储***写请求处理方法，其特征在于，包括：
接收NFS服务器发送的写请求，所述写请求中包含存储所述写请求对应的待写入数据的目标缓存空间的地址信息；
将所述地址信息与存储所述待写入数据的文件进行关联；
处理所述写请求，根据所述地址信息获取所述待写入数据，并进行数据下盘处理；
其中，所述目标缓存空间为所述NFS服务器根据所述待写入数据的长度从预先申请的缓存空间中分配，用于接收并存储所述待写入数据。
8.一种分布式存储***写请求处理装置，其特征在于，包括：
写请求接收模块，用于接收NFS服务器发送的写请求，所述写请求中包含存储所述写请求对应的待写入数据的目标缓存空间的地址信息；其中，所述目标缓存空间为所述NFS服务器根据所述待写入数据的长度从预先申请的缓存空间中分配，用于接收并存储所述待写入数据；
数据关联模块，用于将所述地址信息与存储所述待写入数据的文件进行关联；
数据下盘处理模块，用于处理所述写请求，根据所述地址信息获取所述待写入数据，并进行数据下盘处理。
9.一种分布式存储***写请求处理设备，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至5任一项所述分布式存储***写请求处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有分布式存储***写请求处理程序，所述分布式存储***写请求处理程序被处理器执行时实现如权利要求1至5任一项所述分布式存储***写请求处理方法的步骤。
CN201811019804.0A 2018-09-03 2018-09-03 分布式存储***写请求处理方法、装置、设备及存储介质 Pending CN109240617A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811019804.0A CN109240617A (zh) 2018-09-03 2018-09-03 分布式存储***写请求处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811019804.0A CN109240617A (zh) 2018-09-03 2018-09-03 分布式存储***写请求处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN109240617A true CN109240617A (zh) 2019-01-18

Family

ID=65060477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811019804.0A Pending CN109240617A (zh) 2018-09-03 2018-09-03 分布式存储***写请求处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109240617A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111177032A (zh) * 2019-12-29 2020-05-19 浪潮电子信息产业股份有限公司 缓存空间申请方法、***、装置及计算机可读存储介质
CN111399760A (zh) * 2019-11-19 2020-07-10 杭州海康威视***技术有限公司 Nas集群元数据处理方法、装置、nas网关及介质
CN112000287A (zh) * 2020-08-14 2020-11-27 北京浪潮数据技术有限公司 一种io请求处理装置、方法、设备及可读存储介质
CN112445620A (zh) * 2020-11-30 2021-03-05 苏州浪潮智能科技有限公司 一种smb协议写入性能的优化方法、装置及可读存储介质
CN112463880A (zh) * 2020-11-06 2021-03-09 苏州浪潮智能科技有限公司 一种区块链数据存储方法及相关装置
CN112612734A (zh) * 2020-12-18 2021-04-06 平安科技（深圳）有限公司 文件传输方法、装置、计算机设备及存储介质
CN113204314A (zh) * 2021-03-30 2021-08-03 海南视联通信技术有限公司 一种数据存储的方法和装置
CN114296641A (zh) * 2021-12-14 2022-04-08 北京欧珀通信有限公司 增量文件传输方法、装置、电子设备及可读存储介质
CN115202767A (zh) * 2022-09-19 2022-10-18 腾讯科技（深圳）有限公司 一种振动控制方法、装置、设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102123176A (zh) * 2011-03-17 2011-07-13 杭州宏杉科技有限公司 一种网络存储***空间分配管理方法及装置
KR20160082089A (ko) * 2014-12-30 2016-07-08 한국전자통신연구원 분산 메모리 통합 프레임워크 기반 다중 속성 메모리 캐시의 동적 운영 방법 및 시스템
CN105760467A (zh) * 2016-02-05 2016-07-13 浪潮(北京)电子信息产业有限公司 一种数据实时读写方法、装置、***及nfs服务器
CN106776375A (zh) * 2016-12-27 2017-05-31 东方网力科技股份有限公司 一种磁盘内部的数据缓存方法及装置
CN107122131A (zh) * 2017-04-18 2017-09-01 杭州宏杉科技股份有限公司 自动精简配置的方法及装置
CN108459826A (zh) * 2018-02-01 2018-08-28 杭州宏杉科技股份有限公司 一种处理io请求的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102123176A (zh) * 2011-03-17 2011-07-13 杭州宏杉科技有限公司 一种网络存储***空间分配管理方法及装置
KR20160082089A (ko) * 2014-12-30 2016-07-08 한국전자통신연구원 분산 메모리 통합 프레임워크 기반 다중 속성 메모리 캐시의 동적 운영 방법 및 시스템
CN105760467A (zh) * 2016-02-05 2016-07-13 浪潮(北京)电子信息产业有限公司 一种数据实时读写方法、装置、***及nfs服务器
CN106776375A (zh) * 2016-12-27 2017-05-31 东方网力科技股份有限公司 一种磁盘内部的数据缓存方法及装置
CN107122131A (zh) * 2017-04-18 2017-09-01 杭州宏杉科技股份有限公司 自动精简配置的方法及装置
CN108459826A (zh) * 2018-02-01 2018-08-28 杭州宏杉科技股份有限公司 一种处理io请求的方法及装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111399760A (zh) * 2019-11-19 2020-07-10 杭州海康威视***技术有限公司 Nas集群元数据处理方法、装置、nas网关及介质
CN111399760B (zh) * 2019-11-19 2023-01-24 杭州海康威视***技术有限公司 Nas集群元数据处理方法、装置、nas网关及介质
CN111177032A (zh) * 2019-12-29 2020-05-19 浪潮电子信息产业股份有限公司 缓存空间申请方法、***、装置及计算机可读存储介质
CN112000287B (zh) * 2020-08-14 2022-06-17 北京浪潮数据技术有限公司 一种io请求处理装置、方法、设备及可读存储介质
CN112000287A (zh) * 2020-08-14 2020-11-27 北京浪潮数据技术有限公司 一种io请求处理装置、方法、设备及可读存储介质
CN112463880A (zh) * 2020-11-06 2021-03-09 苏州浪潮智能科技有限公司 一种区块链数据存储方法及相关装置
CN112463880B (zh) * 2020-11-06 2023-01-10 苏州浪潮智能科技有限公司 一种区块链数据存储方法及相关装置
CN112445620B (zh) * 2020-11-30 2022-12-27 苏州浪潮智能科技有限公司 一种smb协议写入性能的优化方法、装置及可读存储介质
CN112445620A (zh) * 2020-11-30 2021-03-05 苏州浪潮智能科技有限公司 一种smb协议写入性能的优化方法、装置及可读存储介质
CN112612734A (zh) * 2020-12-18 2021-04-06 平安科技（深圳）有限公司 文件传输方法、装置、计算机设备及存储介质
WO2022126919A1 (zh) * 2020-12-18 2022-06-23 平安科技（深圳）有限公司 文件传输方法、装置、计算机设备及存储介质
CN112612734B (zh) * 2020-12-18 2023-09-26 平安科技（深圳）有限公司 文件传输方法、装置、计算机设备及存储介质
CN113204314A (zh) * 2021-03-30 2021-08-03 海南视联通信技术有限公司 一种数据存储的方法和装置
CN114296641A (zh) * 2021-12-14 2022-04-08 北京欧珀通信有限公司 增量文件传输方法、装置、电子设备及可读存储介质
CN114296641B (zh) * 2021-12-14 2023-09-19 北京欧珀通信有限公司 增量文件传输方法、装置、电子设备及可读存储介质
CN115202767A (zh) * 2022-09-19 2022-10-18 腾讯科技（深圳）有限公司 一种振动控制方法、装置、设备及计算机可读存储介质
CN115202767B (zh) * 2022-09-19 2022-11-25 腾讯科技（深圳）有限公司 一种振动控制方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN109240617A (zh) 分布式存储***写请求处理方法、装置、设备及存储介质
CN106161110B (zh) 一种网络设备中的数据处理方法及***
US9569742B2 (en) Reducing costs related to use of networks based on pricing heterogeneity
CN104796337A (zh) 一种转发报文的方法及装置
CN103116552A (zh) 用于在分布式存储***中分配存储空间的方法和装置
CN105068817B (zh) 将数据写入存储设备的方法及存储设备
CN106325998A (zh) 一种基于云计算的应用部署的方法和装置
CN104166628B (zh) 管理内存的方法、装置和***
CA2242074A1 (en) System and method for remote buffer allocation and management for message passing between network nodes
CN103442090A (zh) 一种数据分散存储的云计算***
CN108509152A (zh) 一种实现容器运行时数据存储的方法及装置
CN109101554A (zh) 用于java平台的数据缓存***、方法以及计算机终端
CN109086136A (zh) 一种Samba软件的请求处理方法及相关装置
CN107391050A (zh) 一种数据迁移方法、***、装置和计算机可读存储介质
CN107277128A (zh) 一种分布式存储协议中请求处理保序的方法及装置
CN109408243A (zh) 一种基于rdma的数据处理方法、装置和介质
CN106250061A (zh) 文件下载处理方法及装置
CN109728984A (zh) 一种接入***、方法及装置
CN105791370B (zh) 一种数据处理方法及相关服务器
US7376679B2 (en) Facilitating delayed block allocation in a distributed file system
CN109271367A (zh) 分布式文件***多节点快照回滚方法及***
CN105897754A (zh) 一种数据处理***、数据拉取方法以及客户端
CN103248636B (zh) 离线下载的***及方法
CN110457251A (zh) 一种多处理器间的数据通信方法及装置
CN109756429A (zh) 带宽分配方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190118