CN110191194A - 一种基于rdma网络的分布式文件***数据传输方法和*** - Google Patents

一种基于rdma网络的分布式文件***数据传输方法和*** Download PDF

Info

Publication number
CN110191194A
CN110191194A CN201910508982.8A CN201910508982A CN110191194A CN 110191194 A CN110191194 A CN 110191194A CN 201910508982 A CN201910508982 A CN 201910508982A CN 110191194 A CN110191194 A CN 110191194A
Authority
CN
China
Prior art keywords
server
rdma
access request
file
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910508982.8A
Other languages
English (en)
Other versions
CN110191194B (zh
Inventor
王桦
周可
阴智辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910508982.8A priority Critical patent/CN110191194B/zh
Publication of CN110191194A publication Critical patent/CN110191194A/zh
Application granted granted Critical
Publication of CN110191194B publication Critical patent/CN110191194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于RDMA网络的分布式文件***数据传输方法，包括：客户端在接收到来自用户的文件访问请求时，向服务端发起RDMA连接请求，服务端在获取到来自客户端的RDMA连接请求后，建立与客户端的RDMA连接，客户端根据文件访问请求生成网络数据访问请求，并利用RDMA连接将该网络数据访问请求发送到服务端，服务端对网络数据访问请求进行解析，以获取其中的地址信息，并根据该地址信息获取其对应的文件在该服务端的内存中的地址作为服务端返回地址，服务端将服务端返回地址、以及RDMA远程访问权限信息发送到客户端。本发明能够解决现有分布式文件***存在的数据传输过程中内存操作的开销较大的技术问题，以及服务端的负载较大、传输时延较长的技术问题。

Description

一种基于RDMA网络的分布式文件***数据传输方法和***
技术领域
本发明属于计算机网络技术领域，更具体地，涉及一种基于RDMA网络的分布式文件***数据传输方法和***。
背景技术
随着近年来大数据、云计算以及人工智能等计算机信息技术的快速发展，全球互联网数据规模呈指数级增长，众多高并发、低时延应用对高性能硬件的需求催生了高性能存储器的出现。对于高性能存储器而言，由于其存储侧I/O吞吐能力强大，分布式文件***需要分配较多的计算资源以完成数据处理与数据交换，从而导致***的传输时延增加，从而限制了网络传输能力与***性能。为了解决这个问题，远程内存直接存取(RemoteDirect Memory Access，简称RDMA)网络应运而生，它在减少计算资源消耗的同时，能保证极低的传输时延。
目前使用RDMA网络的分布式文件***大多数是将RDMA库或插件作为RDMA模块使用。在此方式下，分布式文件***的RDMA模块封装了底层的RDMA网络传输功能，并为上层应用提供调用接口，上层应用则通过该调用接口，间接使用RDMA网络。
然而，现有使用RDMA网络的分布式文件***都存在一些不可忽略的技术问题：由于分布式文件***的网络传输层基本都与逻辑处理层严格隔离，从而无法根据RDMA传输的特点将RDMA网络与分布式文件***的数据处理机制进行有效的整合与适配，进而一方面会导致数据传输过程中的内存操作的开销较大，另一方面会使得服务端的负载较大，传输时延较长。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于RDMA网络的分布式文件***数据传输方法和***，其目的在于，根据RDMA网络传输的特点将其与分布式文件***有机地结合在一起，从而解决现有使用RDMA网络的分布式文件***存在的数据传输过程中内存操作的开销较大的技术问题，以及服务端的负载较大、传输时延较长的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于RDMA网络的分布式文件***数据传输方法，包括以下步骤：
(1)客户端在接收到来自用户的文件访问请求时，向服务端发起RDMA连接请求；
(2)服务端在获取到来自客户端的RDMA连接请求后，建立与客户端的RDMA连接；
(3)客户端根据文件访问请求生成网络数据访问请求，并利用RDMA连接将该网络数据访问请求发送到服务端；
(4)服务端判断来自于客户端的网络数据访问请求是数据读请求还是数据写请求，如果是数据读请求则进入步骤(5)，如果是数据写请求则进入步骤(6)；
(5)服务端对网络数据访问请求进行解析，以获取其中的地址信息，并根据该地址信息获取其对应的文件在该服务端的内存中的地址作为服务端返回地址，然后进入步骤(8)；
(6)服务端判断网络数据访问请求对应文件的大小是否大于其已注册的文件存储空间，如果是则进入步骤(7)，否则进入步骤(8)；
(7)服务端根据网络数据访问请求对应文件的大小对其已注册的文件存储空间进行扩容操作，并获取网络数据访问请求对应的文件在扩容后的文件存储空间中的待写入地址作为服务端返回地址；
(8)服务端将服务端返回地址、以及RDMA远程访问权限信息发送到客户端；
(9)客户端使用来自服务端的服务端返回地址、以及RDMA远程访问权限信息完成对服务端中与网络数据访问请求对应的单个数据块的远程访问操作；
(10)客户端针对网络数据访问请求对应的其余所有数据块，重复上述步骤(9)，直到完成所有数据块的访问操作为止，并通知服务端数据传输完成。
优选地，步骤(3)具体为，将文件访问请求中的路径信息进行哈希运算以得到地址信息，并将该地址信息、以及文件访问请求对应的文件大小作为网络数据访问请求、并通过RDMA Send的通信方式发送到服务端。
优选地，文件存储空间是***初始化阶段，服务端通过RDMA接口向RDMA网卡注册的内存空间，该内存空间中包含了服务端为所有用户存储的文件数据。
优选地，步骤(7)中的扩容操作是首先对已有的文件存储空间进行翻倍扩容，如果翻倍扩容后的文件存储空间仍然不足以写入网络数据访问请求对应的文件，则继续进行翻倍扩容，直至能够写入网络数据访问请求对应的文件为止，若扩容过程中服务端已经没有足够的空间用于扩容，则过程结束；
优选地，步骤(8)中，RDMA远程访问权限信息是服务端在***初始化阶段向RDMA网卡注册时，从RDMA网卡获取到的。
优选地，步骤(8)中，服务端发送服务端返回地址、以及RDMA远程访问权限信息是通过RDMA Send Inline的方式。
优选地，步骤(9)中，远程访问操作是使用RDMA内存型通讯方式，通讯过程中需要使用客户端在***初始化阶段通过RDMA接口向RDMA网卡注册的内存空间，该内存空间是可以反复使用的。
优选地，所述分布式文件***数据传输方法进一步包括所述步骤(10)以后的以下步骤：
服务器在收到来自于客户端数据传输完成的通知后判断其已注册的文件存储空间的使用率是否超过阈值，如果是则进行文件存储空间的扩容操作，然后过程结束，否则过程结束。
按照本发明的另一方面，提供了一种基于RDMA网络的分布式文件***数据传输***，包括：
第一模块，其设置在客户端中，用于在接收到来自用户的文件访问请求时，向服务端发起RDMA连接请求；
第二模块，其设置于服务端中，用于在获取到来自客户端的RDMA连接请求后，建立与客户端的RDMA连接；
第三模块，其设置在客户端中，用于根据文件访问请求生成网络数据访问请求，并利用RDMA连接将该网络数据访问请求发送到服务端；
第四模块，其设置于服务端中，用于判断来自于客户端的网络数据访问请求是数据读请求还是数据写请求，如果是数据读请求则进入第五模块，如果是数据写请求则进入第六模块；
第五模块，其设置于服务端中，用于对网络数据访问请求进行解析，以获取其中的地址信息，并根据该地址信息获取其对应的文件在该服务端的内存中的地址作为服务端返回地址，然后进入第八模块；
第六模块，其设置于服务端中，用于判断网络数据访问请求对应文件的大小是否大于其已注册的文件存储空间，如果是则进入第七模块，否则进入第八模块；
第七模块，其设置于服务端中，用于根据网络数据访问请求对应文件的大小对其已注册的文件存储空间进行扩容操作，并获取网络数据访问请求对应的文件在扩容后的文件存储空间中的待写入地址作为服务端返回地址；
第八模块，其设置于服务端中，用于将服务端返回地址、以及RDMA远程访问权限信息发送到客户端；
第九模块，其设置在客户端中，用于使用来自服务端的服务端返回地址、以及RDMA远程访问权限信息完成对服务端中与网络数据访问请求对应的单个数据块的远程访问操作；
第十模块，其设置在客户端中，用于针对网络数据访问请求对应的其余所有数据块，重复上述第九模块，直到完成所有数据块的访问操作为止，并通知服务端数据传输完成。
优选地，所述分布式文件***数据传输***进一步包括第十一模块，其设置于服务端中，用于在收到来自于客户端数据传输完成的通知后判断其已注册的文件存储空间的使用率是否超过阈值，如果是则进行文件存储空间的扩容操作，然后过程结束，否则过程结束。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)本发明能够解决现有使用RDMA网络的分布式文件***存在的数据传输过程中内存操作的开销较大的技术问题：由于本发明在***初始化阶段为客户端注册了可重复使用的内存空间，并为服务端注册了包含用户文件数据的内存空间，并在步骤(11)中使用了扩容策略，从而保证了内存注册空间的充足，因此本发明的分布式文件***无需在RDMA数据传输过程中进行内存注册，从而降低了内存操作的开销；
(2)本发明能够解决现有使用RDMA网络的分布式文件***存在的服务端的负载较大、传输时延较长的技术问题：由于本发明采用步骤(8)、(9)和(10)实现了客户端单侧的远程数据访问，无需服务端参与，并进一步通过利用RDMA Send Inline的特性减少了数据复制与上下文切换，因此降低了服务端的负载，提升了分布式文件***的数据传输效率；
(3)由于本发明实现了降低服务端的负载，因此本发明的方法能够适用于高并发的RDMA传输场景，并具有更高的可扩展性能。
附图说明
图1是本发明基于RDMA网络的分布式文件***数据传输方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明基于RDMA网络的分布式文件***数据传输方法包括以下步骤：
(1)客户端在接收到来自用户的文件访问请求时，向服务端发起RDMA连接请求；
(2)服务端在获取到来自客户端的RDMA连接请求后，建立与客户端的RDMA连接；
(3)客户端根据文件访问请求生成网络数据访问请求，并利用RDMA连接将该网络数据访问请求发送到服务端；
具体而言，本步骤是将文件访问请求中的路径信息进行哈希运算以得到地址信息，将该地址信息、以及文件访问请求对应的文件大小作为网络数据访问请求、并通过RDMASend的通信方式发送到服务端。
(4)服务端判断来自于客户端的网络数据访问请求是数据读请求还是数据写请求，如果是数据读请求则进入步骤(5)，如果是数据写请求则进入步骤(6)；
(5)服务端对网络数据访问请求进行解析，以获取其中的地址信息，并根据该地址信息获取其对应的文件在该服务端的内存中的地址作为服务端返回地址，然后进入步骤(8)；
(6)服务端判断网络数据访问请求对应文件的大小是否大于其已注册的文件存储空间，如果是则进入步骤(7)，否则进入步骤(8)；
具体而言，文件存储空间是***初始化阶段，服务端通过RDMA接口向RDMA网卡注册的内存空间，该内存空间中包含了服务端为所有用户存储的文件数据。
现有的分布式文件***中，用于为用户存储文件数据的空间(即文件存储空间)、以及向RDMA网卡注册的内存空间(即内存注册空间)是彼此独立的，在读写数据过程中，文件存储空间和内存注册空间需要进行彼此的数据复制。
本发明上述实现的优点在于，消除了RDMA通讯过程期间文件存储空间和内存注册空间之间的数据复制过程，降低了内存开销，和操作时延。
(7)服务端根据网络数据访问请求对应文件的大小对其已注册的文件存储空间进行扩容操作，并获取网络数据访问请求对应的文件在扩容后的文件存储空间中的待写入地址作为服务端返回地址；
具体而言，扩容操作是首先对已有的文件存储空间进行翻倍扩容，如果翻倍扩容后的文件存储空间仍然不足以写入网络数据访问请求对应的文件，则继续进行翻倍扩容，直至能够写入网络数据访问请求对应的文件为止，若扩容过程中服务端已经没有足够的空间用于扩容，则过程结束；
(8)服务端将服务端返回地址、以及RDMA远程访问权限信息发送到客户端；
其中RDMA远程访问权限信息是服务端在***初始化阶段向RDMA网卡注册时，从RDMA网卡获取到的。
本步骤中服务端发送服务端返回地址、以及RDMA远程访问权限信息是通过RDMASend Inline的方式。
(9)客户端使用来自服务端的服务端返回地址、以及RDMA远程访问权限信息完成对服务端中与网络数据访问请求对应的单个数据块的远程访问操作；
具体而言，该远程访问操作是使用RDMA内存型通讯方式，通讯过程中需要使用客户端在***初始化阶段通过RDMA接口向RDMA网卡注册的内存空间，该内存空间是可以反复使用的，从而避免多次注册所导致的高内存开销。
(10)客户端针对网络数据访问请求对应的其余所有数据块，重复上述步骤(9)，直到完成所有数据块的访问操作为止，并通知服务端数据传输完成。
具体而言，是通过RDMA Send空请求的方式通知服务端数据传输完成。
(11)服务器在收到来自于客户端数据传输完成的通知后判断其已注册的文件存储空间的使用率是否超过阈值，如果是则进行文件存储空间的扩容操作，然后过程结束，否则过程结束；
具体而言，阈值的取值范围是0.3到0.8之间，优选为0.5。
本步骤中的扩容操作是首先对已有的文件存储空间进行翻倍扩容，如果翻倍扩容后的文件存储空间仍然不足以写入网络数据访问请求对应的文件，则继续进行翻倍扩容，直至能够写入网络数据访问请求对应的文件为止，若扩容过程中服务端已经没有足够的空间用于扩容，则过程结束。
总而言之，本发明的优点包括：
(1)本发明能够解决现有使用RDMA网络的分布式文件***存在的数据传输过程中内存操作的开销较大的技术问题：由于本发明在***初始化阶段为客户端注册了可重复使用的内存空间，并为服务端注册了包含用户文件数据的内存空间，并在步骤(11)中使用了扩容策略，从而保证了内存注册空间的充足，因此本发明的分布式文件***无需在RDMA数据传输过程中进行内存注册，从而降低了内存操作的开销；
(2)本发明能够解决现有使用RDMA网络的分布式文件***存在的服务端的负载较大、传输时延较长的技术问题：由于本发明采用步骤(8)、(9)和(10)实现了客户端单侧的远程数据访问，无需服务端参与，并进一步通过利用RDMA Send Inline的特性减少了数据复制与上下文切换，因此降低了服务端的负载，提升了分布式文件***的数据传输效率；
(3)由于本发明实现了降低服务端的负载，因此本发明的方法能够适用于高并发的RDMA传输场景，并具有更高的可扩展性能。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于RDMA网络的分布式文件***数据传输方法，其特征在于，包括以下步骤：
(1)客户端在接收到来自用户的文件访问请求时，向服务端发起RDMA连接请求；
(2)服务端在获取到来自客户端的RDMA连接请求后，建立与客户端的RDMA连接；
(3)客户端根据文件访问请求生成网络数据访问请求，并利用RDMA连接将该网络数据访问请求发送到服务端。
(4)服务端判断来自于客户端的网络数据访问请求是数据读请求还是数据写请求，如果是数据读请求则进入步骤(5)，如果是数据写请求则进入步骤(6)；
(5)服务端对网络数据访问请求进行解析，以获取其中的地址信息，并根据该地址信息获取其对应的文件在该服务端的内存中的地址作为服务端返回地址，然后进入步骤(8)；
(6)服务端判断网络数据访问请求对应文件的大小是否大于其已注册的文件存储空间，如果是则进入步骤(7)，否则进入步骤(8)；
(7)服务端根据网络数据访问请求对应文件的大小对其已注册的文件存储空间进行扩容操作，并获取网络数据访问请求对应的文件在扩容后的文件存储空间中的待写入地址作为服务端返回地址；
(8)服务端将服务端返回地址、以及RDMA远程访问权限信息发送到客户端。
(9)客户端使用来自服务端的服务端返回地址、以及RDMA远程访问权限信息完成对服务端中与网络数据访问请求对应的单个数据块的远程访问操作；
(10)客户端针对网络数据访问请求对应的其余所有数据块，重复上述步骤(9)，直到完成所有数据块的访问操作为止，并通知服务端数据传输完成。
2.根据权利要求1所述的分布式文件***数据传输方法，其特征在于，步骤(3)具体为，将文件访问请求中的路径信息进行哈希运算以得到地址信息，并将该地址信息、以及文件访问请求对应的文件大小作为网络数据访问请求、并通过RDMA Send的通信方式发送到服务端。
3.根据权利要求1或2所述的分布式文件***数据传输方法，其特征在于，文件存储空间是***初始化阶段，服务端通过RDMA接口向RDMA网卡注册的内存空间，该内存空间中包含了服务端为所有用户存储的文件数据。
4.根据权利要求1至3中任意一项所述的分布式文件***数据传输方法，其特征在于，步骤(7)中的扩容操作是首先对已有的文件存储空间进行翻倍扩容，如果翻倍扩容后的文件存储空间仍然不足以写入网络数据访问请求对应的文件，则继续进行翻倍扩容，直至能够写入网络数据访问请求对应的文件为止，若扩容过程中服务端已经没有足够的空间用于扩容，则过程结束。
5.根据权利要求1至4中任意一项所述的分布式文件***数据传输方法，其特征在于，步骤(8)中，RDMA远程访问权限信息是服务端在***初始化阶段向RDMA网卡注册时，从RDMA网卡获取到的。
6.根据权利要求1所述的分布式文件***数据传输方法，其特征在于，步骤(8)中，服务端发送服务端返回地址、以及RDMA远程访问权限信息是通过RDMA Send Inline的方式。
7.根据权利要求1所述的分布式文件***数据传输方法，其特征在于，步骤(9)中，远程访问操作是使用RDMA内存型通讯方式，通讯过程中需要使用客户端在***初始化阶段通过RDMA接口向RDMA网卡注册的内存空间，该内存空间是可以反复使用的。
8.根据权利要求1所述的分布式文件***数据传输方法，其特征在于，进一步包括所述步骤(10)以后的以下步骤：
服务器在收到来自于客户端数据传输完成的通知后判断其已注册的文件存储空间的使用率是否超过阈值，如果是则进行文件存储空间的扩容操作，然后过程结束，然后过程结束，否则过程结束。
9.一种基于RDMA网络的分布式文件***数据传输***，其特征在于，包括：
第一模块，其设置在客户端中，用于在接收到来自用户的文件访问请求时，向服务端发起RDMA连接请求；
第二模块，其设置于服务端中，用于在获取到来自客户端的RDMA连接请求后，建立与客户端的RDMA连接；
第三模块，其设置在客户端中，用于根据文件访问请求生成网络数据访问请求，并利用RDMA连接将该网络数据访问请求发送到服务端；
第四模块，其设置于服务端中，用于判断来自于客户端的网络数据访问请求是数据读请求还是数据写请求，如果是数据读请求则进入第五模块，如果是数据写请求则进入第六模块；
第五模块，其设置于服务端中，用于对网络数据访问请求进行解析，以获取其中的地址信息，并根据该地址信息获取其对应的文件在该服务端的内存中的地址作为服务端返回地址，然后进入第八模块；
第六模块，其设置于服务端中，用于判断网络数据访问请求对应文件的大小是否大于其已注册的文件存储空间，如果是则进入第七模块，否则进入第八模块；
第七模块，其设置于服务端中，用于根据网络数据访问请求对应文件的大小对其已注册的文件存储空间进行扩容操作，并获取网络数据访问请求对应的文件在扩容后的文件存储空间中的待写入地址作为服务端返回地址；
第八模块，其设置于服务端中，用于将服务端返回地址、以及RDMA远程访问权限信息发送到客户端；
第九模块，其设置在客户端中，用于使用来自服务端的服务端返回地址、以及RDMA远程访问权限信息完成对服务端中与网络数据访问请求对应的单个数据块的远程访问操作；
第十模块，其设置在客户端中，用于针对网络数据访问请求对应的其余所有数据块，重复上述第九模块，直到完成所有数据块的访问操作为止，并通知服务端数据传输完成。
10.根据权利要求9所述的分布式文件***数据传输***，其特征在于，进一步包括：
第十一模块，其设置于服务端中，用于在收到来自于客户端数据传输完成的通知后判断其已注册的文件存储空间的使用率是否超过阈值，如果是则进行文件存储空间的扩容操作，然后过程结束，否则过程结束。
CN201910508982.8A 2019-06-13 2019-06-13 一种基于rdma网络的分布式文件***数据传输方法和*** Active CN110191194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910508982.8A CN110191194B (zh) 2019-06-13 2019-06-13 一种基于rdma网络的分布式文件***数据传输方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910508982.8A CN110191194B (zh) 2019-06-13 2019-06-13 一种基于rdma网络的分布式文件***数据传输方法和***

Publications (2)

Publication Number Publication Date
CN110191194A true CN110191194A (zh) 2019-08-30
CN110191194B CN110191194B (zh) 2020-07-03

Family

ID=67721510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910508982.8A Active CN110191194B (zh) 2019-06-13 2019-06-13 一种基于rdma网络的分布式文件***数据传输方法和***

Country Status (1)

Country Link
CN (1) CN110191194B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110908965A (zh) * 2019-11-07 2020-03-24 北京浪潮数据技术有限公司 一种对象存储管理方法、装置、设备及存储介质
CN111131470A (zh) * 2019-12-27 2020-05-08 联想(北京)有限公司 终端设备及其数据处理方法以及数据处理***
CN112565326A (zh) * 2019-09-26 2021-03-26 无锡江南计算技术研究所 面向分布式文件***的rdma通信地址交换方法
CN112559436A (zh) * 2020-12-16 2021-03-26 中国科学院计算技术研究所 一种rdma通信设备的上下文访问方法及***
CN112596669A (zh) * 2020-11-25 2021-04-02 新华三云计算技术有限公司 一种基于分布式存储的数据处理方法及装置
CN112612734A (zh) * 2020-12-18 2021-04-06 平安科技（深圳）有限公司 文件传输方法、装置、计算机设备及存储介质
CN112954068A (zh) * 2021-03-09 2021-06-11 西安奥卡云数据科技有限公司 一种基于rdma的数据传输方法及装置
CN113395359A (zh) * 2021-08-17 2021-09-14 苏州浪潮智能科技有限公司 基于远程直接内存访问的文件币集群数据传输方法、***
CN114553521A (zh) * 2022-02-21 2022-05-27 杭州时代银通软件股份有限公司 一种远端内存访问方法、装置、设备及介质
WO2022156376A1 (zh) * 2021-01-19 2022-07-28 苏州浪潮智能科技有限公司 一种目标地址的预取方法、***、设备及介质
WO2023109864A1 (zh) * 2021-12-16 2023-06-22 华为技术有限公司 一种数据***、数据访问方法及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100312963A1 (en) * 2009-06-09 2010-12-09 Dekoning Rodney A Storage array assist architecture
CN102685219A (zh) * 2012-04-27 2012-09-19 浪潮电子信息产业股份有限公司 San存储***中通过动态扩容提高存储资源利用率的方法
CN103929415A (zh) * 2014-03-21 2014-07-16 华为技术有限公司 Rdma下数据读写的方法、装置和网络***
CN104202391A (zh) * 2014-08-28 2014-12-10 浪潮(北京)电子信息产业有限公司 共享***地址空间的非紧耦合***间的rdma通信方法
CN105589664A (zh) * 2015-12-29 2016-05-18 四川中电启明星信息技术有限公司 虚拟存储高速传输方法
CN107147590A (zh) * 2017-07-12 2017-09-08 郑州云海信息技术有限公司 一种基于rdma协议消息通信的方法及***
CN109194721A (zh) * 2018-08-15 2019-01-11 无锡江南计算技术研究所 一种异步的rdma通信内存动态管理方法及***
US20190102568A1 (en) * 2017-09-30 2019-04-04 Intel Corporation Techniques to provide client-side security for storage of data in a network environment

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100312963A1 (en) * 2009-06-09 2010-12-09 Dekoning Rodney A Storage array assist architecture
CN102685219A (zh) * 2012-04-27 2012-09-19 浪潮电子信息产业股份有限公司 San存储***中通过动态扩容提高存储资源利用率的方法
CN103929415A (zh) * 2014-03-21 2014-07-16 华为技术有限公司 Rdma下数据读写的方法、装置和网络***
CN104202391A (zh) * 2014-08-28 2014-12-10 浪潮(北京)电子信息产业有限公司 共享***地址空间的非紧耦合***间的rdma通信方法
CN105589664A (zh) * 2015-12-29 2016-05-18 四川中电启明星信息技术有限公司 虚拟存储高速传输方法
CN107147590A (zh) * 2017-07-12 2017-09-08 郑州云海信息技术有限公司 一种基于rdma协议消息通信的方法及***
US20190102568A1 (en) * 2017-09-30 2019-04-04 Intel Corporation Techniques to provide client-side security for storage of data in a network environment
CN109194721A (zh) * 2018-08-15 2019-01-11 无锡江南计算技术研究所 一种异步的rdma通信内存动态管理方法及***

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565326A (zh) * 2019-09-26 2021-03-26 无锡江南计算技术研究所 面向分布式文件***的rdma通信地址交换方法
CN112565326B (zh) * 2019-09-26 2023-10-17 无锡江南计算技术研究所 面向分布式文件***的rdma通信地址交换方法
CN110908965A (zh) * 2019-11-07 2020-03-24 北京浪潮数据技术有限公司 一种对象存储管理方法、装置、设备及存储介质
CN111131470B (zh) * 2019-12-27 2021-10-22 联想(北京)有限公司 终端设备及其数据处理方法以及数据处理***
CN111131470A (zh) * 2019-12-27 2020-05-08 联想(北京)有限公司 终端设备及其数据处理方法以及数据处理***
CN112596669A (zh) * 2020-11-25 2021-04-02 新华三云计算技术有限公司 一种基于分布式存储的数据处理方法及装置
CN112559436A (zh) * 2020-12-16 2021-03-26 中国科学院计算技术研究所 一种rdma通信设备的上下文访问方法及***
CN112559436B (zh) * 2020-12-16 2023-11-03 中国科学院计算技术研究所 一种rdma通信设备的上下文访问方法及***
CN112612734A (zh) * 2020-12-18 2021-04-06 平安科技（深圳）有限公司 文件传输方法、装置、计算机设备及存储介质
WO2022126919A1 (zh) * 2020-12-18 2022-06-23 平安科技（深圳）有限公司 文件传输方法、装置、计算机设备及存储介质
CN112612734B (zh) * 2020-12-18 2023-09-26 平安科技（深圳）有限公司 文件传输方法、装置、计算机设备及存储介质
WO2022156376A1 (zh) * 2021-01-19 2022-07-28 苏州浪潮智能科技有限公司 一种目标地址的预取方法、***、设备及介质
CN112954068A (zh) * 2021-03-09 2021-06-11 西安奥卡云数据科技有限公司 一种基于rdma的数据传输方法及装置
CN112954068B (zh) * 2021-03-09 2022-09-27 西安奥卡云数据科技有限公司 一种基于rdma的数据传输方法及装置
CN113395359A (zh) * 2021-08-17 2021-09-14 苏州浪潮智能科技有限公司 基于远程直接内存访问的文件币集群数据传输方法、***
CN113395359B (zh) * 2021-08-17 2021-10-29 苏州浪潮智能科技有限公司 基于远程直接内存访问的文件币集群数据传输方法、***
WO2023109864A1 (zh) * 2021-12-16 2023-06-22 华为技术有限公司 一种数据***、数据访问方法及设备
CN114553521A (zh) * 2022-02-21 2022-05-27 杭州时代银通软件股份有限公司 一种远端内存访问方法、装置、设备及介质

Also Published As

Publication number Publication date
CN110191194B (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN110191194A (zh) 一种基于rdma网络的分布式文件***数据传输方法和***
CN112054963A (zh) 用于异构计算环境中的数据传输的网络接口
US20170192819A1 (en) Method and electronic device for resource allocation
CN101739301B (zh) Unix环境下进程间大量数据传输的方法
CN112948149A (zh) 一种远端内存共享方法、装置、电子设备及存储介质
CN109542814A (zh) 通过pci-express的p2p连接在存储设备之间传输数据的方法和***
CN111966446B (zh) 一种容器环境下rdma虚拟化方法
CN113810931B (zh) 一种面向移动边缘计算网络的自适应视频缓存方法
CN205430501U (zh) 移动终端网络广告视频和正片视频无缝切换装置
CN111125049A (zh) 基于rdma与非易失内存的分布式文件数据块读写方法及***
US20230102617A1 (en) Repeat transaction verification method, apparatus, and device, and medium
CN107147590A (zh) 一种基于rdma协议消息通信的方法及***
CN110083307A (zh) 数据存储方法、存储器和服务器
CN110147345A (zh) 一种基于rdma的键值存储***及其工作方法
Wang et al. Joint design of device to device caching strategy and incentive scheme in mobile edge networks
Zhang et al. A Resource Allocation Scheme for Real‐Time Energy‐Aware Offloading in Vehicular Networks with MEC
CN102541693A (zh) 数据的多副本存储管理方法和***
CN114296659A (zh) 数据单向传输方法、内网端单元和单向隔离光闸***
WO2023207529A1 (zh) 数据处理方法、装置及设备、介质、产品
CN113037824A (zh) 一种面向云计算的高性能区块链架构方法
CN101753580A (zh) 包处理芯片及其数据存储、转发方法
US9665519B2 (en) Using a credits available value in determining whether to issue a PPI allocation request to a packet engine
CN109743350A (zh) 一种科学计算应用影像区交换通信模式的卸载实现方法
CN108833477A (zh) 基于共享内存的消息传输方法、***和装置
CN108628681A (zh) 多用户环境下流式数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant