CN108268208A - 一种基于rdma的分布式内存文件*** - Google Patents

一种基于rdma的分布式内存文件*** Download PDF

Info

Publication number
CN108268208A
CN108268208A CN201611261722.8A CN201611261722A CN108268208A CN 108268208 A CN108268208 A CN 108268208A CN 201611261722 A CN201611261722 A CN 201611261722A CN 108268208 A CN108268208 A CN 108268208A
Authority
CN
China
Prior art keywords
client
rdma
data
file system
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611261722.8A
Other languages
English (en)
Other versions
CN108268208B (zh
Inventor
陆游游
舒继武
陈游旻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201611261722.8A priority Critical patent/CN108268208B/zh
Publication of CN108268208A publication Critical patent/CN108268208A/zh
Application granted granted Critical
Publication of CN108268208B publication Critical patent/CN108268208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于RDMA的分布式内存文件***，在分布式内存文件***初始化阶段，将集群用于文件存储的内存统一划分，并注册到网卡，以支持远端节点进行内存直接访问，进而构建分布式共享内存池；在所述分布式内存共享池之上，通过两级哈希索引分别进行文件索引及文件数据块索引，为所述文件***提供查询服务；通过自识别远程过程调用方法处理客户端的请求，并返回处理结果。本发明具有如下优点：减少文件在读写时的数据复制、降低响应延迟，并在程序软件中提高文件访问的整体效率。

Description

一种基于RDMA的分布式内存文件***
技术领域
本发明涉及分布式存储***领域，特别涉及一种基于RDMA的分布式内存文件***。
背景技术
远程直接内存访问(Remote Direct Memory Access，RDMA)是指在没有双方主机操作***直接参与下，直接访问远端内存，从而提供高带宽、低延迟的特性。
分布式环境下的数据传输决定了***整体的I/O性能，这类技术被广泛的应用在分布式文件***和数据库***中。传统的分布式***大多以磁盘作为存储介质，并通过基于TCP/IP的远程过程调用模块进行数据传输，由于磁盘带宽低，延迟高，因此网络传输模块本身不会成为瓶颈，近年来，内存日益廉价，将存储和计算转移到内存的内存计算已经成为一种趋势，存储介质性能提升的同时，网络传输也面临极大的挑战。
目前，尚不存在通用的数据传输模块，用于高效处理不同的网络I/O特性，同时，在并发控制上，仍采用集中式的同步模型，严重影响***的可扩展性。
发明内容
本发明旨在至少解决上述技术问题之一。
为此，本发明的目的在于提出一种基于RDMA的分布式内存文件***，以减少文件在读写时的数据复制、降低响应延迟，并在程序软件中提高文件访问的整体效率。
为了实现上述目的，本发明的实施例公开了一种基于RDMA的分布式内存文件***，所述分布式内存文件***将各节点内存通过RDMA进行网络互联，所述文件***包括客户端和服务端，所述客户端提供文件访问接口，供上层应用调用，所述服务端提供元数据服务和数据服务，所述分布式内存文件***执行以下动作：S1：在所述分布式内存文件***初始化阶段，将集群用于文件存储的内存统一划分，并注册到网卡，以支持远端节点进行内存直接访问，进而构建分布式共享内存池；S2：在所述分布式内存共享池之上，通过两级哈希索引分别进行文件索引及文件数据块索引，为所述文件***提供查询服务；S3：通过自识别远程过程调用方法处理所述客户端的请求，并返回处理结果。
根据本发明实施例的基于RDMA的分布式内存文件***，减少文件在读写时的数据复制、降低响应延迟，并在程序软件中提高文件访问的整体效率。
另外，根据本发明上述实施例的基于RDMA的分布式内存文件***，还可以具有如下附加的技术特征：
进一步地，所述分布式共享内存池依次存放超级块、消息池、链式哈希索引表、元数据存储块和数据存储块。
进一步地，数据布局区域中接收远程节点的直接访问；所述链式哈希索引表和所述元数据存储区中，服务节点响应所述客户端并发请求，对元数据执行查询和更新；元数据根据文件路径名哈希分散到整个集群，各节点独立维护文件的元数据和数据。
进一步地，所述超级块用于存放元数据块数量、元数据块大小、数据块数量和数据块大小，所述超级块在所述文件******启动时被各节点远程读取。
进一步地，所述消息池包括多个消息区，所述多个消息区分配给连入***的不同客户端，以便当客户端有新请求时，所述客户端将新请求远程地写入服务节点的所属消息区，服务端接收线程监测到新请求后，利用自识别方法快速定位消息并处理返回。
进一步地，所述链式哈希索引表用于在查询文件元数据时，计算文件全路径名的哈希值；将所述哈希值作为索引表索引号，查询该索引号下的表项，进行文件名匹配，成功则获取元数据地址并根据地址访问元数据；如果文件名不匹配，则继续查找下一个表项，直到匹配成功。
进一步地，所述元数据存储块和所述数据存储块分别用于存放元数据和数据，所述元数据区和所述数据区被分割为固定大小元数据块和数据块，在所述元数据区和所述数据区的首部存放对应区域的空闲块元数据，以描述内存使用情况。
进一步地，所述两级哈希索引的步骤包括：在客户端发起文件访问请求时，根据文件全路径名计算存放该文件元数据的元数据服务器ID，其中，元数据服务器ID由***配置文件决定；客户端将请求信息发往对应ID的元数据服务器，元数据服务器检测到新消息后，解析出请求内容，根据所述请求内容中的文件路径名进行第二次哈希值计算，根据第二次的哈希值访问所述链式哈希索引表，获取元数据信息，并做出相应的逻辑处理，返回请求结果。
进一步地，所述自识别远程过程调用方法包括：在所述客户端向所述服务端发送消息时，使用RDMA_WRITE_WITH_IMM原语携带消息内容，并在报文头部存放客户端元数据；在所述服务端返回请求结果时，通过RDMA原语将返回结果直接写回到所述客户端指定的内存区域，所述客户端将轮询地监测用于存放返回结果的内存区域，直到数据成功返回。
进一步地，所述客户端将自身ID以及时间戳存放到所述报文头部，所述客户端ID在连接建立时由服务端主节点分配，且全局唯一。
进一步地，在RDMA_WRITE_WITH_IMM消息成功送达之后，服务端根据完成信息获取报文头部的客户端元数据，并解析出客户端ID，根据客户端ID直接查询本地消息池的固定偏移位置，获取新的请求信息。
进一步地，当客户端数量超过所述服务端提前分配的消息池数量时，所述服务端查询已经断开连接的客户端并将其所占用的消息区转移给当前客户端；如果所有客户端均保持连接状态，则需重新申请消息区，注册到网卡并通知所述当前客户端。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明实施例的基于RDMA的分布式内存文件***的执行动作流程图；
图2是本发明一个实施例的RDMA数据传输示意图；
图3是本发明一个实施例的服务节点共享内存的布局图；
图4是本发明一个实施例的数据收发时拷贝次数统计示意图；
图5是本发明一个实施例的自识别远程过程调用示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
以下结合附图描述本发明。在介绍本发明的实施例之前，先对本发明的出现的术语进行说明。
直接内存访问(Direct Memory Access，DMA)允许某些硬件装置独立地直接读写内存，而不需要CPU的大量的参与，该技术用于缓解CPU对外设的处理压力，整个数据传输过程只需CPU在最开始进行初始化传输操作，然后将整个传输动作交给DMA控制器来执行完成。
远程直接内存访问(Remote Direct Memory Access,RDMA)是一种新型的网络通讯技术，它能实现在双方操作***不直接参与的情况下直接访问远端内存，并实现高吞吐、低延迟的特性。RDMA通过让网络适配器将数据直接传输到对方的内存实现数据传输的零拷贝，从而消除了CPU和Cache的直接参与，并减少了冗余的现场切换。目前支持RDMA技术的网络协议栈包括Infiniband、RoCE(RDMA over Converged Ethernet)和iWARP，前两者由Mellanox提供硬件技术支持，特别地，后两者由于采用了普通以太网的数据链路层，因此均可与以太网完全兼容。图2展示了RDMA通信的具体流程：首先由本地CPU以MMIO的方式向网卡发起通信命令，本地网卡检测到新的命令之后，以DMA的方式从内存中读取待传输的数据，将数据打包，并在RDMA网络进行数据传输，对方网卡接收到数据之后，将数据以DMA的方式直接写入到内存对应的地址区域，并将相应的完成信息写入到完成队列，整个过程不涉及对方CPU参与，并绕过了双方的内核，实现了数据传输的零拷贝。通讯双方在建立通讯之前需要经过一下步骤：打开网卡设备；创建保护域，该保护域会与在后面阶段创建的对象绑定，以保障数据传输安全，任何跨域的操作将会引发通讯错误；注册内存，该阶段将通讯的内存进行注册，具体方法是建立该段内存用户态地址和内存地址的映射，并将映射表存到网卡缓存，同时生成该内存段的密钥对(lkey和rkey)，网卡在本地或远程访问内存时需携带相应的密钥进行身份确认；创建CQ(Completion Queue)，发送方在消息发送成功后或者接收方接收消息成功后均会将相应的完成信息放入完成队列，用户可以反复检测完成队列来验证消息发送是否完成；创建QP(Queue Pair)，QP可以对等到TCP/IP的socket，QP由SendQueue和Receive Queue构成，发送方把要发送的消息放入发送队列，同时接收方将接收请求放入接收队列，双方通过这种方式进行网络通信；QP状态初始化，通讯双方创建一一对应的QP之后，需要进行一系列的握手状态转换，直到成功建立起通讯链路。QP可以建立不同的连接类型，包括RC(Reliable Connection)、UC(Unreliable Connection)和UD(UnreliableDatagram)，RC模式下，QP只能进行一对一可靠传输，数据包发送成功后会有相应的确认信息反馈，UC模式下，QP进行一对一传输，无确认信息反馈，UD模式则无一对一的界定，也没有确认信息反馈，以上三种传输模式具有不同的特点，同时对通信原语的支持程度也各不相同。
内存计算是指，面对海量的数据以及高实时性处理的需求，传统的以磁盘为存储介质的存储***因缓慢的访问速度而很难应对新的挑战，从而将存储***转移到内存进行实时处理的新型处理模式。内存存储***主要包含两类，分别是内存数据库***和内存文件***。本发明结合RDMA网络通讯对内存文件***进行重构。目前比较主流的内存文件***包括Alluxio、IGFS等。Alluxio主要用于解决Spark计算框架现存的问题，加速数据处理性能，并使用lineage实现数据的单份存储和可靠恢复。IGFS是一个介于计算框架和HDFS之间的缓存文件***，向上层提供了兼容于HDFS的接口，但是不同于HDFS的是，IGFS没有单独的元数据服务器，而是采用了哈希的方式进行数据分布。
远程过程调用(Remote Procedure Call，RPC)是一种远程通讯协议，它能实现让运行在一台计算机上的程序远程地调用另一台计算机上面的函数，而用户无需关心底层的通讯交互策略。远程过程调用被广泛的应用在分布式***领域，它采用了客户端-服务器的模型，调用过程总是由客户端发起，具体包括将调用函数序列号，调用函数参数等信息打包发送到服务端，然后服务端接收请求并执行，服务端执行完毕后将执行结果返回给客户端。
图1是本发明实施例的一种基于RDMA的分布式内存文件***的执行动作流程图。如图1所示，根据本发明实施例的基于RDMA的分布式内存文件***，首先将各节点内存通过RDMA进行网络互联，分布式内存文件***包括客户端和服务端，客户端提供文件访问接口，供上层应用调用，服务端提供元数据服务和数据服务，分布式内存文件***执行以下动作：
S1：在分布式内存文件***初始化阶段，将集群用于文件存储的内存统一划分，并注册到网卡，以支持远端节点进行内存直接访问，进而构建分布式共享内存池。
S2：在分布式内存共享池之上，通过两级哈希索引分别进行文件索引及文件数据块索引，为文件***提供查询服务；
S3：通过自识别远程过程调用方法处理客户端的请求，并返回处理结果。
需要说明的是，分布式共享内存池由各节点共享内存构成，各节点共享内存具有统一的数据布局，具体地，共享内存依次存放超级块、消息池、链式哈希索引表、元数据存储块和数据存储块(如图3)，该共享内存池用于文件存储和消息传递，因此本文件***的存储介质和通讯方式均发生改变，通过这种统一管理方式，使得软件栈整体变薄，处理速度更高。
在本发明的一个实施例中，数据布局区域中，超级块、消息池和数据区被注册到网卡，该区域可被远程节点直接访问，进而减少内存拷贝以提高效率；链式哈希索引表和元数据存储区由本地服务线程独立维护，具体方法是，服务节点响应所有的元数据请求，并完成相应的索引以及元数据的查询和更新；元数据根据文件路径名哈希分散到整个集群，各节点独立维护文件的元数据和数据，以提升文件***的整体性能。
在本发明的一个实施例中，超级块用于存放文件***的核心数据结构，具体包括元数据块数量、元数据块大小、数据块数量、数据块大小等。该区域在文件******启动时将会被各节点远程读取，用于初始识别和定位。
在本发明的一个实施中，消息池用于客户端与服务端通讯，具体做法是，将消息池划分相同大小的消息区，每个消息区被一个客户端单独占有，即客户端绑定到该服务节点消息池的固定偏移，当客户端有新请求时，客户端新请求远程地写入该服务节点的所属消息区，服务端接收线程监测到新请求后，利用客户端独有的ID号查询对应消息区，识别消息类别并处理返回。
在本发明的一个实施例中，链式哈希索引表用于本地元数据索引，该索引表设置全局的统一入口，以线性表的形式排布，用于索引具体的链式表项，每个表项包含三个字段，分别是文件名、元数据地址、下一入口地址，具体方法是：在查询文件元数据时，首先计算文件全路径名的哈希值，将该值作为索引表索引号，查询线性表，读取对应表项的文件名并进行匹配，成功则获取元数据地址并根据地址访问元数据；如果文件名不匹配，则根据下一入口地址继续查找，直到匹配成功。
在本发明的一个实施例中，元数据存储块和数据存储块分别用于存放元数据和数据。在上述两个区域的首部存放对应区域的位图，用于表示该区域的占用情况。
在本发明的一个实施例中，链式哈希索引表用于本地元数据索引，每个入口包含三个字段，分别是文件名、元数据地址、下一入口地址，具体方法是：在查询文件元数据时，首先计算文件全路径名的哈希值，将该值作为索引表索引号，查询对应入口的文件名并进行匹配，成功则获取元数据地址并根据地址访问元数据；如果文件名不匹配，则根据下一入口地址继续查找，直到匹配成功。
根据本发明的内存文件***在RDMA网络中的重构方法，使得***整体性能大幅提升。传统的分布式文件***，以缓慢的磁盘作为存储介质，用千兆网进行网络通讯，由于磁盘和千兆网本身延迟较高(毫秒级别),因此文件***本身带来的性能损失较小，当把这类文件***以内存作为存储介质，在整个数据通路中，文件***本身占据了大量的延迟，期间引入了大量的数据拷贝(如图4)和冗余的现场切换，使得整体性能不能线性提升，为此本发明结合RDMA技术，专门提出了针对内存介质的优化方案，提出了更薄的数据管理层，构建分布式内存共享池，以哈希的方式定位文件并进行快速获取，使得整个数据通路的延迟变得极低，同时也保证了很高的***吞吐量。
图5示例了本发明实施例的自识别远程调用技术，方法基于支持RDMA硬件技术网络互连的大内存集群，RDMA技术是指节点可以在无需远程CPU直接参与下实现远程内存的直接读写，大内存集群是指集群内各节点配备大容量内存且有空余内存用来构建分布式内存文件***，方法包括：
在客户端向服务端发送消息时，采用了RDMA_WRITE_WITH_IMM原语进行数据发送和自识别，在服务端返回请求结果时，使用RDMA原语将返回数据写回。具体做法是：
在客户端向服务端发送消息时，RDMA_WRITE_WITH_IMM原语允许客户端在发送请求时携带客户端元数据，特别地，客户端将自身ID以及时间戳存放到该区域，以方便服务端快速识别定位；
在服务端返回请求结果时，通过RDMA原语将返回结果直接写回到客户端指定的内存区域，此时，客户端将轮询地监测用于存放返回结果的内存区域，直到数据成功返回。
在本发明的一个实施例中，客户端ID在连接建立时由服务端主节点分配，且全局唯一，这使得客户端可以通过其ID在服务端的消息池中自动占据一个消息区。
在本发明的一个实施例中，自识别无需服务端扫描整个消息池，RDMA_WRITE_WITH_IMM消息成功送达之后，服务端接收队列中的接收请求完成，并将完成信息放入完成队列，服务端通过独立线程循环访问完成队列，用于检测新的请求，服务端发现新消息之后，首先根据完成信息获取该消息携带的辅助信息，并解析出客户端ID，根据客户端ID直接查询本地消息池的固定偏移位置，获取新的请求信息，然后解析请求内容，在服务端执行相应函数，然后将执行结果返回。
在本发明的一个实施例中，当客户端数量达到一定数量，超过了服务端提前分配的消息池数量时，服务端查询已经断开连接的客户端并将其所占用的消息区转移给当前客户端；如果所有客户端均保持活跃状态，则需新申请消息区，注册到网卡并通知客户端。
根据本发明的自识别远程调用技术，远程请求得以及时响应。该技术具有如下优点：选用了RDMA_WRITE_WITH_IMM原语来发送消息，在保证较低延迟的前提下，通过携带辅助信息使得服务端可以快速检测识别，并做出及时处理；服务端选用了RDMA原语将请求结果写回，具有极低延迟的特性，使得整个往返延迟变得更低，同时，客户端在发出远程请求之前会提前分配存放返回结果的内存区域，并将对应地址附到请求信息中，因此服务端可直接按照所给地址进行远程写，在客户端内部可以很好的进行内存区域的并发控制，因此该技术能很好的适应高并发场景。
另外，本发明实施例的基于RDMA的分布式内存文件***的其它构成以及作用对于本领域的技术人员而言都是已知的，为了减少冗余，不做赘述。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。

Claims (12)

1.一种基于RDMA的分布式内存文件***，其特征在于，所述分布式内存文件***将各节点内存通过RDMA进行网络互联，所述文件***包括客户端和服务端，所述客户端提供文件访问接口，供上层应用调用，所述服务端提供元数据服务和数据服务，所述分布式内存文件***执行以下动作：
S1：在所述分布式内存文件***初始化阶段，将集群用于文件存储的内存统一划分，并注册到网卡，以支持远端节点进行内存直接访问，进而构建分布式共享内存池；
S2：在所述分布式内存共享池之上，通过两级哈希索引分别进行文件索引及文件数据块索引，为所述文件***提供查询服务；
S3：通过自识别远程过程调用方法处理所述客户端的请求，并返回处理结果。
2.根据权利要求1所述的基于RDMA的分布式内存文件***，其特征在于，所述分布式共享内存池依次存放超级块、消息池、链式哈希索引表、元数据存储区和数据存储区。
3.根据权利要求2所述的基于RDMA的分布式内存文件***，其特征在于，数据布局区域中接收远程节点的直接访问；所述链式哈希索引表和所述元数据存储区中，服务节点响应所述客户端并发请求，对元数据执行查询和更新；元数据根据文件路径名哈希分散到整个集群，各节点独立维护文件的元数据和数据。
4.根据权利要求2所述的基于RDMA的分布式内存文件***，其特征在于，所述超级块用于存放元数据块数量、元数据块大小、数据块数量和数据块大小，所述超级块在所述文件******启动时被各节点远程读取。
5.根据权利要求2所述的基于RDMA的分布式内存文件***，其特征在于，所述消息池包括多个消息区，所述多个消息区分配给连入***的不同客户端，以便当客户端有新请求时，所述客户端将新请求远程地写入服务节点的所属消息区，服务端接收线程监测到新请求后，利用自识别方法快速定位消息并处理返回。
6.根据权利要求2所述的基于RDMA的分布式内存文件***，其特征在于，所述链式哈希索引表用于元数据索引，在查询文件元数据时，首先计算文件全路径名的哈希值；
将所述哈希值作为索引表索引号，查询该索引号下的表项，进行文件名匹配，成功则获取元数据地址并根据地址访问元数据；
如果文件名不匹配，则继续查找下一个表项，直到匹配成功。
7.根据权利要求2所述的基于RDMA的分布式内存文件***，其特征在于，所述元数据存储区和所述数据存储区分别用于存放元数据和数据，所述元数据区和所述数据区被分割为固定大小元数据块和数据块，在所述元数据区和所述数据区的首部存放对应区域的空闲块位图，以描述内存使用情况。
8.根据权利要求1所述的基于RDMA的分布式内存文件***，其特征在于，所述两级哈希索引的步骤包括：
在客户端发起文件访问请求时，根据文件全路径名计算存放该文件元数据的元数据服务器ID，其中，元数据服务器ID由***配置文件决定；
客户端将请求信息发往对应ID的元数据服务器，元数据服务器检测到新消息后，解析出请求内容，根据所述请求内容中的文件路径名进行第二次哈希值计算，根据第二次的哈希值访问所述链式哈希索引表，获取元数据信息，并做出相应的逻辑处理，返回请求结果。
9.根据权利要求1所述的基于RDMA的分布式内存文件***，其特征在于，所述自识别远程过程调用方法包括：
在所述客户端向所述服务端发送消息时，使用RDMA_WRITE_WITH_IMM原语携带消息内容，并在报文头部存放客户端元数据；
在所述服务端返回请求结果时，通过RDMA原语将返回结果直接写回到所述客户端指定的内存区域，所述客户端将轮询地监测用于存放返回结果的内存区域，直到数据成功返回。
10.根据权利要求9所述的基于RDMA的分布式内存文件***，其特征在于，所述客户端将自身ID以及时间戳存放到所述报文头部，所述客户端ID在连接建立时由服务端主节点分配，且全局唯一。
11.根据权利要求10所述的基于RDMA的分布式内存文件***，其特征在于，在RDMA_WRITE_WITH_IMM消息成功送达之后，服务端根据完成信息获取报文头部的客户端元数据，并解析出客户端ID，根据客户端ID直接查询本地消息池的固定偏移位置，获取新的请求信息。
12.根据权利要求10所述的基于RDMA的分布式内存文件***，其特征在于，当客户端数量超过所述服务端提前分配的消息池数量时，所述服务端查询已经断开连接的客户端并将其所占用的消息区转移给当前客户端；如果所有客户端均保持连接状态，则需重新申请消息区，注册到网卡并通知所述当前客户端。
CN201611261722.8A 2016-12-30 2016-12-30 一种基于rdma的分布式内存文件*** Active CN108268208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611261722.8A CN108268208B (zh) 2016-12-30 2016-12-30 一种基于rdma的分布式内存文件***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611261722.8A CN108268208B (zh) 2016-12-30 2016-12-30 一种基于rdma的分布式内存文件***

Publications (2)

Publication Number Publication Date
CN108268208A true CN108268208A (zh) 2018-07-10
CN108268208B CN108268208B (zh) 2020-01-17

Family

ID=62754948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611261722.8A Active CN108268208B (zh) 2016-12-30 2016-12-30 一种基于rdma的分布式内存文件***

Country Status (1)

Country Link
CN (1) CN108268208B (zh)

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063103A (zh) * 2018-07-27 2018-12-21 郑州云海信息技术有限公司 一种分布式非易失文件***
CN109062929A (zh) * 2018-06-11 2018-12-21 上海交通大学 一种查询任务通信方法及***
CN109407977A (zh) * 2018-09-25 2019-03-01 佛山科学技术学院 一种大数据分布式存储管理方法及***
CN109446160A (zh) * 2018-11-06 2019-03-08 郑州云海信息技术有限公司 一种文件读取方法、***、装置及计算机可读存储介质
CN110018914A (zh) * 2019-03-26 2019-07-16 中国人民银行清算总中心 基于共享内存的消息采集方法及装置
CN110109763A (zh) * 2019-04-12 2019-08-09 厦门亿联网络技术股份有限公司 一种共享内存管理方法及装置
CN110221779A (zh) * 2019-05-29 2019-09-10 清华大学 分布式持久性内存存储***的构建方法
CN110445848A (zh) * 2019-07-22 2019-11-12 阿里巴巴集团控股有限公司 用于事务处理的方法和装置
CN110543367A (zh) * 2019-08-30 2019-12-06 联想(北京)有限公司 资源处理方法及其装置、电子设备和介质
CN110837650A (zh) * 2019-10-25 2020-02-25 华中科技大学 一种不可信网络环境下的云存储oram访问***和方法
CN111104548A (zh) * 2019-12-18 2020-05-05 腾讯科技（深圳）有限公司 一种数据反馈方法、***及存储介质
CN111125049A (zh) * 2019-12-24 2020-05-08 上海交通大学 基于rdma与非易失内存的分布式文件数据块读写方法及***
CN111240588A (zh) * 2019-12-31 2020-06-05 清华大学 一种持久性内存对象存储***
CN111277616A (zh) * 2018-12-04 2020-06-12 中兴通讯股份有限公司 一种基于rdma的数据传输方法和分布式共享内存***
CN111367876A (zh) * 2020-03-04 2020-07-03 中国科学院成都生物研究所 一种基于内存元数据的分布式文件管理方法
CN111400307A (zh) * 2020-02-20 2020-07-10 上海交通大学 支持远程并发访问的持久哈希表访问***
CN111404931A (zh) * 2020-03-13 2020-07-10 清华大学 一种基于持久性内存的远程数据传输方法
CN111539042A (zh) * 2020-07-13 2020-08-14 南京云信达科技有限公司 一种基于核心数据文件可信存储的安全操作方法
CN111858418A (zh) * 2019-04-30 2020-10-30 华为技术有限公司 一种基于远程直接内存访问rdma的内存通信方法及装置
CN112328560A (zh) * 2020-11-25 2021-02-05 北京无线电测量研究所 一种文件调度方法和***
CN112367536A (zh) * 2020-02-20 2021-02-12 上海交通大学 面向视频文件大数据的rdma混合传输方法、***及介质
CN112596669A (zh) * 2020-11-25 2021-04-02 新华三云计算技术有限公司 一种基于分布式存储的数据处理方法及装置
CN112612734A (zh) * 2020-12-18 2021-04-06 平安科技（深圳）有限公司 文件传输方法、装置、计算机设备及存储介质
CN112817887A (zh) * 2021-02-24 2021-05-18 上海交通大学 分离可组合式架构下的远内存访问优化方法及***
CN112948025A (zh) * 2021-05-13 2021-06-11 阿里云计算有限公司 数据加载方法、装置及存储介质、计算设备、计算***
CN112954068A (zh) * 2021-03-09 2021-06-11 西安奥卡云数据科技有限公司 一种基于rdma的数据传输方法及装置
CN113204435A (zh) * 2021-07-01 2021-08-03 阿里云计算有限公司 数据处理方法以及***
CN113238856A (zh) * 2021-03-09 2021-08-10 西安奥卡云数据科技有限公司 一种基于rdma的内存管理方法及装置
CN113287286A (zh) * 2019-01-30 2021-08-20 华为技术有限公司 通过rdma进行分布式存储节点中的输入/输出处理
CN113395359A (zh) * 2021-08-17 2021-09-14 苏州浪潮智能科技有限公司 基于远程直接内存访问的文件币集群数据传输方法、***
WO2021254330A1 (zh) * 2020-06-19 2021-12-23 中兴通讯股份有限公司 内存管理方法、***、客户端、服务器及存储介质
CN114302394A (zh) * 2021-11-19 2022-04-08 深圳震有科技股份有限公司 一种5g upf下网络直接内存访问方法及***
CN114726883A (zh) * 2022-04-27 2022-07-08 重庆大学 一种嵌入式rdma***
CN114756388A (zh) * 2022-03-28 2022-07-15 北京航空航天大学 一种基于rdma的集群***节点间按需共享内存的方法
WO2022160308A1 (zh) * 2021-01-30 2022-08-04 华为技术有限公司 数据存取方法、装置和存储介质
WO2023098050A1 (zh) * 2021-11-30 2023-06-08 华为技术有限公司 远程数据访问方法及装置
CN116886719A (zh) * 2023-09-05 2023-10-13 苏州浪潮智能科技有限公司 存储***的数据处理方法、装置、存储***、设备及介质
CN117453986A (zh) * 2023-12-19 2024-01-26 荣耀终端有限公司 一种搜索方法、后台服务器及搜索***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1771495A (zh) * 2003-05-07 2006-05-10 国际商业机器公司 分布式文件服务体系结构***
CN105933325A (zh) * 2016-06-07 2016-09-07 华中科技大学 一种基于NFSoRDMA的内核态RPC通信加速方法
CN105978985A (zh) * 2016-06-07 2016-09-28 华中科技大学 一种用户态RPC over RDMA的内存管理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1771495A (zh) * 2003-05-07 2006-05-10 国际商业机器公司 分布式文件服务体系结构***
CN105933325A (zh) * 2016-06-07 2016-09-07 华中科技大学 一种基于NFSoRDMA的内核态RPC通信加速方法
CN105978985A (zh) * 2016-06-07 2016-09-28 华中科技大学 一种用户态RPC over RDMA的内存管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YANDONG WANG: "HydraDB: a resilient RDMA-driven key-value middleware for in-memory cluster computing", 《INTERNATIONAL CONFERENCE FOR HIGH PERFORMANCE COMPUTING, NETWORKING, STORAGE & ANALYSIS.IEEE》 *

Cited By (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062929A (zh) * 2018-06-11 2018-12-21 上海交通大学 一种查询任务通信方法及***
CN109063103A (zh) * 2018-07-27 2018-12-21 郑州云海信息技术有限公司 一种分布式非易失文件***
CN109407977B (zh) * 2018-09-25 2021-08-31 佛山科学技术学院 一种大数据分布式存储管理方法及***
CN109407977A (zh) * 2018-09-25 2019-03-01 佛山科学技术学院 一种大数据分布式存储管理方法及***
CN109446160A (zh) * 2018-11-06 2019-03-08 郑州云海信息技术有限公司 一种文件读取方法、***、装置及计算机可读存储介质
CN111277616B (zh) * 2018-12-04 2023-11-03 中兴通讯股份有限公司 一种基于rdma的数据传输方法和分布式共享内存***
CN111277616A (zh) * 2018-12-04 2020-06-12 中兴通讯股份有限公司 一种基于rdma的数据传输方法和分布式共享内存***
CN113287286A (zh) * 2019-01-30 2021-08-20 华为技术有限公司 通过rdma进行分布式存储节点中的输入/输出处理
CN113287286B (zh) * 2019-01-30 2022-12-27 华为技术有限公司 通过rdma进行分布式存储节点中的输入/输出处理
US11681441B2 (en) 2019-01-30 2023-06-20 Huawei Technologies Co., Ltd. Input/output processing in a distributed storage node with RDMA
CN110018914A (zh) * 2019-03-26 2019-07-16 中国人民银行清算总中心 基于共享内存的消息采集方法及装置
CN110018914B (zh) * 2019-03-26 2021-08-13 中国人民银行清算总中心 基于共享内存的消息采集方法及装置
CN110109763A (zh) * 2019-04-12 2019-08-09 厦门亿联网络技术股份有限公司 一种共享内存管理方法及装置
CN111858418B (zh) * 2019-04-30 2023-04-07 华为技术有限公司 一种基于远程直接内存访问rdma的内存通信方法及装置
CN111858418A (zh) * 2019-04-30 2020-10-30 华为技术有限公司 一种基于远程直接内存访问rdma的内存通信方法及装置
CN110221779A (zh) * 2019-05-29 2019-09-10 清华大学 分布式持久性内存存储***的构建方法
CN110445848B (zh) * 2019-07-22 2023-02-24 创新先进技术有限公司 用于事务处理的方法和装置
CN110445848A (zh) * 2019-07-22 2019-11-12 阿里巴巴集团控股有限公司 用于事务处理的方法和装置
CN110543367A (zh) * 2019-08-30 2019-12-06 联想(北京)有限公司 资源处理方法及其装置、电子设备和介质
CN110543367B (zh) * 2019-08-30 2022-07-26 联想(北京)有限公司 资源处理方法及其装置、电子设备和介质
CN110837650A (zh) * 2019-10-25 2020-02-25 华中科技大学 一种不可信网络环境下的云存储oram访问***和方法
CN111104548A (zh) * 2019-12-18 2020-05-05 腾讯科技（深圳）有限公司 一种数据反馈方法、***及存储介质
CN111104548B (zh) * 2019-12-18 2021-09-14 腾讯科技（深圳）有限公司 一种数据反馈方法、***及存储介质
CN111125049B (zh) * 2019-12-24 2023-06-23 上海交通大学 基于rdma与非易失内存的分布式文件数据块读写方法及***
CN111125049A (zh) * 2019-12-24 2020-05-08 上海交通大学 基于rdma与非易失内存的分布式文件数据块读写方法及***
CN111240588B (zh) * 2019-12-31 2021-09-24 清华大学 一种持久性内存对象存储***
CN111240588A (zh) * 2019-12-31 2020-06-05 清华大学 一种持久性内存对象存储***
CN111400307B (zh) * 2020-02-20 2023-06-23 上海交通大学 支持远程并发访问的持久哈希表访问***
CN112367536A (zh) * 2020-02-20 2021-02-12 上海交通大学 面向视频文件大数据的rdma混合传输方法、***及介质
CN111400307A (zh) * 2020-02-20 2020-07-10 上海交通大学 支持远程并发访问的持久哈希表访问***
CN111367876A (zh) * 2020-03-04 2020-07-03 中国科学院成都生物研究所 一种基于内存元数据的分布式文件管理方法
CN111367876B (zh) * 2020-03-04 2023-09-19 中国科学院成都生物研究所 一种基于内存元数据的分布式文件管理方法
CN111404931A (zh) * 2020-03-13 2020-07-10 清华大学 一种基于持久性内存的远程数据传输方法
CN111404931B (zh) * 2020-03-13 2021-03-30 清华大学 一种基于持久性内存的远程数据传输方法
WO2021254330A1 (zh) * 2020-06-19 2021-12-23 中兴通讯股份有限公司 内存管理方法、***、客户端、服务器及存储介质
CN111539042A (zh) * 2020-07-13 2020-08-14 南京云信达科技有限公司 一种基于核心数据文件可信存储的安全操作方法
CN112596669A (zh) * 2020-11-25 2021-04-02 新华三云计算技术有限公司 一种基于分布式存储的数据处理方法及装置
CN112328560A (zh) * 2020-11-25 2021-02-05 北京无线电测量研究所 一种文件调度方法和***
CN112612734B (zh) * 2020-12-18 2023-09-26 平安科技（深圳）有限公司 文件传输方法、装置、计算机设备及存储介质
WO2022126919A1 (zh) * 2020-12-18 2022-06-23 平安科技（深圳）有限公司 文件传输方法、装置、计算机设备及存储介质
CN112612734A (zh) * 2020-12-18 2021-04-06 平安科技（深圳）有限公司 文件传输方法、装置、计算机设备及存储介质
WO2022160308A1 (zh) * 2021-01-30 2022-08-04 华为技术有限公司 数据存取方法、装置和存储介质
CN112817887B (zh) * 2021-02-24 2021-09-17 上海交通大学 分离可组合式架构下的远内存访问优化方法及***
CN112817887A (zh) * 2021-02-24 2021-05-18 上海交通大学 分离可组合式架构下的远内存访问优化方法及***
CN113238856A (zh) * 2021-03-09 2021-08-10 西安奥卡云数据科技有限公司 一种基于rdma的内存管理方法及装置
CN113238856B (zh) * 2021-03-09 2022-07-26 西安奥卡云数据科技有限公司 一种基于rdma的内存管理方法及装置
CN112954068B (zh) * 2021-03-09 2022-09-27 西安奥卡云数据科技有限公司 一种基于rdma的数据传输方法及装置
CN112954068A (zh) * 2021-03-09 2021-06-11 西安奥卡云数据科技有限公司 一种基于rdma的数据传输方法及装置
CN112948025A (zh) * 2021-05-13 2021-06-11 阿里云计算有限公司 数据加载方法、装置及存储介质、计算设备、计算***
CN112948025B (zh) * 2021-05-13 2021-09-14 阿里云计算有限公司 数据加载方法、装置及存储介质、计算设备、计算***
CN113204435A (zh) * 2021-07-01 2021-08-03 阿里云计算有限公司 数据处理方法以及***
CN113395359B (zh) * 2021-08-17 2021-10-29 苏州浪潮智能科技有限公司 基于远程直接内存访问的文件币集群数据传输方法、***
WO2023019800A1 (zh) * 2021-08-17 2023-02-23 苏州浪潮智能科技有限公司 基于远程直接内存访问的文件币集群数据传输方法、***
CN113395359A (zh) * 2021-08-17 2021-09-14 苏州浪潮智能科技有限公司 基于远程直接内存访问的文件币集群数据传输方法、***
CN114302394A (zh) * 2021-11-19 2022-04-08 深圳震有科技股份有限公司 一种5g upf下网络直接内存访问方法及***
CN114302394B (zh) * 2021-11-19 2023-11-03 深圳震有科技股份有限公司 一种5g upf下网络直接内存访问方法及***
WO2023098050A1 (zh) * 2021-11-30 2023-06-08 华为技术有限公司 远程数据访问方法及装置
CN114756388B (zh) * 2022-03-28 2024-05-31 北京航空航天大学 一种基于rdma的集群***节点间按需共享内存的方法
CN114756388A (zh) * 2022-03-28 2022-07-15 北京航空航天大学 一种基于rdma的集群***节点间按需共享内存的方法
CN114726883B (zh) * 2022-04-27 2023-04-07 重庆大学 一种嵌入式rdma***
CN114726883A (zh) * 2022-04-27 2022-07-08 重庆大学 一种嵌入式rdma***
CN116886719A (zh) * 2023-09-05 2023-10-13 苏州浪潮智能科技有限公司 存储***的数据处理方法、装置、存储***、设备及介质
CN116886719B (zh) * 2023-09-05 2024-01-23 苏州浪潮智能科技有限公司 存储***的数据处理方法、装置、存储***、设备及介质
CN117453986A (zh) * 2023-12-19 2024-01-26 荣耀终端有限公司 一种搜索方法、后台服务器及搜索***
CN117453986B (zh) * 2023-12-19 2024-05-24 荣耀终端有限公司 一种搜索方法、后台服务器及搜索***

Also Published As

Publication number Publication date
CN108268208B (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
CN108268208A (zh) 一种基于rdma的分布式内存文件***
CN106657365B (zh) 一种基于rdma的高并发数据传输方法
CN110177118A (zh) 一种基于rdma的rpc通信方法
CN111277616B (zh) 一种基于rdma的数据传输方法和分布式共享内存***
CN104620558B (zh) 用于支持分布式数据网格集群中的消息预处理的***和方法
US10637960B2 (en) Method for bridging publish/subscribe brokers for guaranteed low-latency delivery
US20140280398A1 (en) Distributed database management
CN100536416C (zh) 用于搜索网络连接的方法和装置
CN112631788B (zh) 数据传输方法及数据传输服务器
CN105915658B (zh) 获取客户端ip地址的数据调用方法、数据传输方法
US11068412B2 (en) RDMA transport with hardware integration
US6760304B2 (en) Apparatus and method for receive transport protocol termination
US20200274832A1 (en) Rdma transport with hardware integration and out of order placement
CN109905409A (zh) 基于Socket.IO的物联网网关实时双向通信***
CN103780679A (zh) 基于http协议的长延时远程调用方法
CN106713391A (zh) 一种session信息的共享方法和共享***
CN110535811B (zh) 远端内存管理方法及***、服务端、客户端、存储介质
CN112100146B (zh) 一种高效的纠删分布式存储写入方法、***、介质及终端
US10154079B2 (en) Pre-boot file transfer system
US20100325640A1 (en) Queueing messages related by affinity set
CN114024910A (zh) 一种用于金融交易***的极低延时可靠通讯***及方法
EP1988473A1 (en) A server with a core using a virtual file system and a method for securely redirecting a persistent storage device operation to a middleware infrastructure
KR100597405B1 (ko) 소켓 어플리케이션 프로그램을 이용한 데이터 중계 시스템및 데이터 중계 방법
CN114885007A (zh) 用于实时的强一致性会话同步的方法和电子设备
CN107707546A (zh) 一种报文复制方法及支持报文复制功能的新型网络适配器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant