CN113626184A - 一种超融合性能优化方法、装置及设备 - Google Patents

一种超融合性能优化方法、装置及设备 Download PDF

Info

Publication number
CN113626184A
CN113626184A CN202110745161.3A CN202110745161A CN113626184A CN 113626184 A CN113626184 A CN 113626184A CN 202110745161 A CN202110745161 A CN 202110745161A CN 113626184 A CN113626184 A CN 113626184A
Authority
CN
China
Prior art keywords
iser
memory
super
fusion
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110745161.3A
Other languages
English (en)
Inventor
马怀旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Jinan data Technology Co ltd
Original Assignee
Inspur Jinan data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Jinan data Technology Co ltd filed Critical Inspur Jinan data Technology Co ltd
Priority to CN202110745161.3A priority Critical patent/CN113626184A/zh
Publication of CN113626184A publication Critical patent/CN113626184A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/541—Client-server
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种超融合性能优化方法、装置及设备，该方法包括：首先超融合存储端提供iser server端进行大页内存化和共享内存化，以将内存在***内部进行共享，并将内存地址在多个远程直接数据存取RDMA连接中进行共享，然后，iser server端利用内存地址进行直接注册，并在有IO请求时，将需要IO的内存地址内容和读写的第一key值发送给远端节点；以及将需要IO的内存地址内容和读写的第二key值发送给iser Client端，接着，远端节点(或iser Client端)将内存地址内容和读写的第一key值(或第二key值)发送给自身的智能网卡，以便智能网卡在对应内存位置进行数据拷贝之后，将数据返回远端节点(或iser Client端)进行下发。从而能够对超融合性能进行合理优化，降低超融合时延，提高CPU的利用率。

Description

一种超融合性能优化方法、装置及设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种超融合性能优化方法、装置及设备。
背景技术
在信息***增长的时代，海量数据的增长，传统存储成本高，效率低下无法满足用户数据的增长速度，高效智能的分布式存储技术应运而生。
分布式存储具有以下几个特征：高性能、高可靠性、高可扩展性、透明性、自治性。分布式存储数据存放首先要进行分片切割处理，之后通过一定算法或者是元数据服务，计算或查找出数据存放位置，由于用户数据被分为多个数据块，因此任何一个数据块丢失都可以造成数据不可用，所以分布式存储必须考虑合理的冗余存储模型，为用户的数据分块提供多个冗余的存储副本，从而保证数据的安全性和可靠性。而超融合内部通过网络进行副本数据转发，同时通过网络对外进行服务提供，因此超融合全程离不开网络；关于网络传输，传统网络传输需要CPU参与，但是随着网络速度增加，会导致CPU使用率较高。因此，如何对超融合性能进行合理优化，以加速超融合存储性能，降低超融合时延是目前亟待解决的问题。
发明内容
本申请实施例的主要目的在于提供一种超融合性能优化方法、装置及设备，能够对超融合性能进行合理优化，加速超融合存储性能，降低超融合时延，进而提高CPU的利用率。
第一方面，本申请实施例提供了一种超融合性能优化方法，包括：
超融合存储端提供iser server端进行大页内存化和共享内存化，以将内存在***内部进行共享，并将内存地址在多个远程直接数据存取RDMA连接中进行共享；
所述iser server端利用所述内存地址进行直接注册，并在有IO请求时，将需要IO的内存地址内容和读写的第一key值发送给超融合结构中的远端节点remote；以及在有IO请求时，将需要IO的内存地址内容和读写的第二key值发送给超融合结构中的iser Client端；
所述远端节点将所述内存地址内容和读写的第一key值发送给自身的智能网卡，以便所述智能网卡在对应内存位置进行数据拷贝之后，将所述数据返回所述远端节点进行下发；
所述iser Client端将所述内存地址内容和读写的第二key值发送给自身的智能网卡，以便所述智能网卡在对应内存位置进行数据拷贝之后，将所述数据返回所述iserClient端进行下发。
可选的，所述超融合存储是通过使用iSER协议访问所述Client端的；所述iserserver端是使用大内存页、无锁化队列、RoCE协议和polling机制实现超融合全链路协议卸载的。
可选的，所述大页内存用于避免缺页中断；所述无锁化队列用于提高所述超融合的并发能力；所述iser协议卸载和RoCE协议卸载用于降低网络传输的时延；所述polling机制用于提高事件感知。
可选的，所述iser client端和iser server端是通过智能网卡直接进行内存访问的；所述iser client端和iser server端进行IO下发是通过RDMA进行驱动的，所述iserserver端是主动访问iser client端的数据地址，且通过智能网卡拷贝至本地的注册过的大内存页地址中的。
第二方面，本申请实施例还提供了一种超融合性能优化装置，包括：
共享单元，用于超融合存储端提供iser server端进行大页内存化和共享内存化，以将内存在***内部进行共享，并将内存地址在多个远程直接数据存取RDMA连接中进行共享；
第一发送单元，用于所述iser server端利用所述内存地址进行直接注册，并在有IO请求时，将需要IO的内存地址内容和读写的第一key值发送给超融合结构中的远端节点remote；以及在有IO请求时，将需要IO的内存地址内容和读写的第二key值发送给超融合结构中的iser Client端；
第二发送单元，用于所述远端节点将所述内存地址内容和读写的第一key值发送给自身的智能网卡，以便所述智能网卡在对应内存位置进行数据拷贝之后，将所述数据返回所述远端节点进行下发；
第三发送单元，用于所述iser Client端将所述内存地址内容和读写的第二key值发送给自身的智能网卡，以便所述智能网卡在对应内存位置进行数据拷贝之后，将所述数据返回所述iser Client端进行下发。
可选的，所述超融合存储是通过使用iSER协议访问所述Client端的；所述iserserver端是使用大内存页、无锁化队列、RoCE协议和polling机制实现超融合全链路协议卸载的。
可选的，所述大页内存用于避免缺页中断；所述无锁化队列用于提高所述超融合的并发能力；所述iser协议卸载和RoCE协议卸载用于降低网络传输的时延；所述polling机制用于提高事件感知。
可选的，所述iser client端和iser server端是通过智能网卡直接进行内存访问的；所述iser client端和iser server端进行IO下发是通过RDMA进行驱动的，所述iserserver端是主动访问iser client端的数据地址，且通过智能网卡拷贝至本地的注册过的大内存页地址中的。
本申请实施例还提供了一种超融合性能优化设备，包括：处理器、存储器、***总线；
所述处理器以及所述存储器通过所述***总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述超融合性能优化方法中的任意一种实现方式。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述超融合性能优化方法中的任意一种实现方式。
本申请实施例提供的一种超融合性能优化方法、装置及设备，首先超融合存储端提供iser server端进行大页内存化和共享内存化，以将内存在***内部进行共享，并将内存地址在多个远程直接数据存取RDMA连接中进行共享，然后，iser server端利用内存地址进行直接注册，并在有IO请求时，将需要IO的内存地址内容和读写的第一key值发送给超融合结构中的远端节点remote；以及在有IO请求时，将需要IO的内存地址内容和读写的第二key值发送给超融合结构中的iser Client端，接着，远端节点将内存地址内容和读写的第一key值发送给自身的智能网卡，以便智能网卡在对应内存位置进行数据拷贝之后，将数据返回远端节点进行下发，同时，iser Client端也将内存地址内容和读写的第二key值发送给自身的智能网卡，以便智能网卡在对应内存位置进行数据拷贝之后，将数据返回iserClient端进行下发。从而能够对超融合性能进行合理优化，加速超融合存储性能，降低超融合时延，进而提高CPU的利用率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种超融合性能优化方法的流程示意图；
图2为本申请实施例提供的超融合性能优化的物理架构示意图；
图3为本申请实施例提供的超融合性能优化的整体示意图；
图4为本申请实施例提供的一种超融合性能优化装置的组成示意图。
具体实施方式
目前，超融合内部通过网络进行副本数据转发，同时通过网络对外进行服务提供，因此超融合全程离不开网络；关于网络传输，传统网络传输需要CPU参与，但是随着网络速度增加，会导致CPU使用率较高。因此，如何对超融合性能进行合理优化，以加速超融合存储性能，降低超融合时延是目前亟待解决的问题。
为解决上述缺陷，本申请实施例提供了一种超融合性能优化方法，首先超融合存储端提供iser server端进行大页内存化和共享内存化，以将内存在***内部进行共享，并将内存地址在多个远程直接数据存取RDMA连接中进行共享，然后，iser server端利用内存地址进行直接注册，并在有IO请求时，将需要IO的内存地址内容和读写的第一key值发送给超融合结构中的远端节点remote；以及在有IO请求时，将需要IO的内存地址内容和读写的第二key值发送给超融合结构中的iser Client端，接着，远端节点将内存地址内容和读写的第一key值发送给自身的智能网卡，以便智能网卡在对应内存位置进行数据拷贝之后，将数据返回远端节点进行下发，同时，iser Client端也将内存地址内容和读写的第二key值发送给自身的智能网卡，以便智能网卡在对应内存位置进行数据拷贝之后，将数据返回iser Client端进行下发。从而能够对超融合性能进行合理优化，加速超融合存储性能，降低超融合时延，进而提高CPU的利用率。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
第一实施例
参见图1，为本实施例提供的一种超融合性能优化方法的流程示意图，该方法包括以下步骤：
S101：超融合存储端提供iser server进行大页内存化和共享内存化，以将***内部进行共享，并将内存店址在多个远程直接数据存取RDMA连接中进行共享。
在本实施例中，无论iser协议卸载还是RoCE协议卸载实际上都是通过智能网卡进行内存注册，当进行数据读取、写入还是发送接收时候仅仅告知智能网卡地址，智能网卡主动进行数据拷贝，因此，超融合存储端提供iser server进行大页内存化和共享内存化，以将***内部进行共享，并将内存店址在多个远程直接数据存取RDMA连接中进行共享，此处使用大内存页进行网卡注册，即，通过大页内存共享实现节点内部数据直接内存地址访问，可以避免使用过程中遇到缺页中断，影响超融合(Hyper Converged Infrastructure，简称HCI)的性能。
S102：iser server端利用所述内存地址进行直接注册，并在有IO请求时，将需要IO的内存地址内容和读写的第一key值发送给超融合结构中的远端节点remote；以及在有IO请求时，将需要IO的内存地址内容和读写的第二key值发送给超融合结构中的iserClient端。
S103：远端节点将内存地址内容和读写的第一key值发送给自身的智能网卡，以便智能网卡在对应内存位置进行数据拷贝之后，将数据返回远端节点进行下发。
S104：iser Client端将内存地址内容和读写的第二key值发送给自身的智能网卡，以便该智能网卡在对应内存位置进行数据拷贝之后，将数据返回iser Client端进行下发。
在本实施例中，如图2所示，Iser server端进行IO请求时，会将自己的内存地址告知智能网卡，远端智能网卡准备好地址之后智能网卡间进行数据拷贝直接将数据拷贝到iser server端的内存地址上。
同时，Iser server通过polling到IO请求和数据段内容之后将IO进行切片划分之后通过RoCE协议进行转发，一块内存地址可以再网卡中进行多次注册，因此此处直接注册使用iser server端的内存地址进行注册，协议转发报文部分地址使用私有的在网卡注册过的内存地址，数据段直接使用iser server收到的数据段地址进行副本位置转发。
在此基础上，HCI副本所在的节点收到请求之后直接进行read write请求，直接访问远端注册的内存地址，进行副本数据拷贝到本地内存中直接进行IO下发。并且，副本数据写入之后通过write请求进行告知副本数据完成下发，副本数据写入成功。而远端polling待任务结束之后告知iser client请求处理结束
可见，本申请实施例中超融合存储是通过使用iSER协议访问所述Client端的；所述iser server端是使用大内存页、无锁化队列、RoCE协议和polling机制实现超融合全链路协议卸载的，其中，大页内存用于避免缺页中断；无锁化队列用于提高所述超融合的并发能力；iser协议卸载和RoCE协议卸载用于降低网络传输的时延；polling机制用于提高事件感知，进而能够提高***的CPU利用率。
具体来讲，iser client端和iser server端是通过智能网卡直接进行内存访问，iser client端和iser server端进行IO下发是通过RDMA进行驱动，iser server端是主动访问iser client端的数据地址，且通过智能网卡拷贝至本地的注册过的大内存页地址中的。
而分布式存储一般通过多副本进行数据保存，达到数据冗余，避免单点故障，同时数据进行切片保存；iser server端收到的进行数据切片，根据不同数据片位置，告知远端节点的智能网卡进行数据拷贝，远端节点处理结束之后通过直接内存访问方式将结果写回iser server端的内存地址中，直接通过远端内存操作方式，减少数据通过send recv操作等使用cpu的操作方式，减轻CPU参与度，通过polling轮询内存非阻塞性等待减少业务等待。
此外，本实施例中polling单独占用一颗cpu进行轮询操作，及时发现网络请求到达和内存状态位置位，不需要CPU上下文切换直接处理非耗时请求，达到响应的及时性，同时可以亲NUMA感知提高内存访问速度。
这样，对于如图2所示的超融合性能优化的物理架构，通过执行上述步骤S101-S104，实现例如图3所示的超融合性能优化的整体流程，提供全链路协议卸载，同时保证IO路径中数据断零拷贝，加速IO访问速度，降低IO访问时延，提高了分布式存储虚拟化场景下的存储性能。
综上，本实施例提供的一种超融合性能优化方法，首先超融合存储端提供iserserver端进行大页内存化和共享内存化，以将内存在***内部进行共享，并将内存地址在多个远程直接数据存取RDMA连接中进行共享，然后，iser server端利用内存地址进行直接注册，并在有IO请求时，将需要IO的内存地址内容和读写的第一key值发送给超融合结构中的远端节点remote；以及在有IO请求时，将需要IO的内存地址内容和读写的第二key值发送给超融合结构中的iser Client端，接着，远端节点将内存地址内容和读写的第一key值发送给自身的智能网卡，以便智能网卡在对应内存位置进行数据拷贝之后，将数据返回远端节点进行下发，同时，iser Client端也将内存地址内容和读写的第二key值发送给自身的智能网卡，以便智能网卡在对应内存位置进行数据拷贝之后，将数据返回iser Client端进行下发。从而能够对超融合性能进行合理优化，加速超融合存储性能，降低超融合时延，进而提高CPU的利用率。
第二实施例
本实施例将对一种超融合性能优化装置进行介绍，相关内容请参见上述方法实施例。
参见图4，为本实施例提供的一种超融合性能优化装置的组成示意图，该装置包括：
共享单元401，用于超融合存储端提供iser server端进行大页内存化和共享内存化，以将内存在***内部进行共享，并将内存地址在多个远程直接数据存取RDMA连接中进行共享；
第一发送单元402，用于所述iser server端利用所述内存地址进行直接注册，并在有IO请求时，将需要IO的内存地址内容和读写的第一key值发送给超融合结构中的远端节点remote；以及在有IO请求时，将需要IO的内存地址内容和读写的第二key值发送给超融合结构中的iser Client端；
第二发送单元403，用于所述远端节点将所述内存地址内容和读写的第一key值发送给自身的智能网卡，以便所述智能网卡在对应内存位置进行数据拷贝之后，将所述数据返回所述远端节点进行下发；
第三发送单元404，用于所述iser Client端将所述内存地址内容和读写的第二key值发送给自身的智能网卡，以便所述智能网卡在对应内存位置进行数据拷贝之后，将所述数据返回所述iser Client端进行下发。
在本实施例的一种实现方式中，所述超融合存储是通过使用iSER协议访问所述Client端的；所述iser server端是使用大内存页、无锁化队列、RoCE协议和polling机制实现超融合全链路协议卸载的。
在本实施例的一种实现方式中，所述大页内存用于避免缺页中断；所述无锁化队列用于提高所述超融合的并发能力；所述iser协议卸载和RoCE协议卸载用于降低网络传输的时延；所述polling机制用于提高事件感知。
在本实施例的一种实现方式中，所述iser client端和iser server端是通过智能网卡直接进行内存访问的；所述iser client端和iser server端进行IO下发是通过RDMA进行驱动的，所述iser server端是主动访问iser client端的数据地址，且通过智能网卡拷贝至本地的注册过的大内存页地址中的。
综上，本实施例提供的一种超融合性能优化装置，首先超融合存储端提供iserserver端进行大页内存化和共享内存化，以将内存在***内部进行共享，并将内存地址在多个远程直接数据存取RDMA连接中进行共享，然后，iser server端利用内存地址进行直接注册，并在有IO请求时，将需要IO的内存地址内容和读写的第一key值发送给超融合结构中的远端节点remote；以及在有IO请求时，将需要IO的内存地址内容和读写的第二key值发送给超融合结构中的iser Client端，接着，远端节点将内存地址内容和读写的第一key值发送给自身的智能网卡，以便智能网卡在对应内存位置进行数据拷贝之后，将数据返回远端节点进行下发，同时，iser Client端也将内存地址内容和读写的第二key值发送给自身的智能网卡，以便智能网卡在对应内存位置进行数据拷贝之后，将数据返回iser Client端进行下发。从而能够对超融合性能进行合理优化，加速超融合存储性能，降低超融合时延，进而提高CPU的利用率。
进一步地，本申请实施例还提供了一种超融合性能优化设备，包括：处理器、存储器、***总线；
所述处理器以及所述存储器通过所述***总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述超融合性能优化方法的任一种实现方法。
进一步地，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述超融合性能优化方法的任一种实现方法。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备，等等)执行本申请各个实施例或者实施例的某些部分所述的方法。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种超融合性能优化方法，其特征在于，包括：
超融合存储端提供iser server端进行大页内存化和共享内存化，以将内存在***内部进行共享，并将内存地址在多个远程直接数据存取RDMA连接中进行共享；
所述iser server端利用所述内存地址进行直接注册，并在有IO请求时，将需要IO的内存地址内容和读写的第一key值发送给超融合结构中的远端节点remote；以及在有IO请求时，将需要IO的内存地址内容和读写的第二key值发送给超融合结构中的iser Client端；
所述远端节点将所述内存地址内容和读写的第一key值发送给自身的智能网卡，以便所述智能网卡在对应内存位置进行数据拷贝之后，将所述数据返回所述远端节点进行下发；
所述iser Client端将所述内存地址内容和读写的第二key值发送给自身的智能网卡，以便所述智能网卡在对应内存位置进行数据拷贝之后，将所述数据返回所述iser Client端进行下发。
2.根据权利要求1所述的方法，其特征在于，所述超融合存储是通过使用iSER协议访问所述Client端的；所述iser server端是使用大内存页、无锁化队列、RoCE协议和polling机制实现超融合全链路协议卸载的。
3.根据权利要求2所述的方法，其特征在于，所述大页内存用于避免缺页中断；所述无锁化队列用于提高所述超融合的并发能力；所述iser协议卸载和RoCE协议卸载用于降低网络传输的时延；所述polling机制用于提高事件感知。
4.根据权利要求1所述的方法，其特征在于，所述iser client端和iser server端是通过智能网卡直接进行内存访问的；所述iser client端和iser server端进行IO下发是通过RDMA进行驱动的，所述iser server端是主动访问iser client端的数据地址，且通过智能网卡拷贝至本地的注册过的大内存页地址中的。
5.一种超融合性能优化装置，其特征在于，包括：
共享单元，用于超融合存储端提供iser server端进行大页内存化和共享内存化，以将内存在***内部进行共享，并将内存地址在多个远程直接数据存取RDMA连接中进行共享；
第一发送单元，用于所述iser server端利用所述内存地址进行直接注册，并在有IO请求时，将需要IO的内存地址内容和读写的第一key值发送给超融合结构中的远端节点remote；以及在有IO请求时，将需要IO的内存地址内容和读写的第二key值发送给超融合结构中的iser Client端；
第二发送单元，用于所述远端节点将所述内存地址内容和读写的第一key值发送给自身的智能网卡，以便所述智能网卡在对应内存位置进行数据拷贝之后，将所述数据返回所述远端节点进行下发；
第三发送单元，用于所述iser Client端将所述内存地址内容和读写的第二key值发送给自身的智能网卡，以便所述智能网卡在对应内存位置进行数据拷贝之后，将所述数据返回所述iser Client端进行下发。
6.根据权利要求5所述的装置，其特征在于，所述超融合存储是通过使用iSER协议访问所述Client端的；所述iser server端是使用大内存页、无锁化队列、RoCE协议和polling机制实现超融合全链路协议卸载的。
7.根据权利要求6所述的装置，其特征在于，所述大页内存用于避免缺页中断；所述无锁化队列用于提高所述超融合的并发能力；所述iser协议卸载和RoCE协议卸载用于降低网络传输的时延；所述polling机制用于提高事件感知。
8.根据权利要求5所述的装置，其特征在于，所述iser client端和iser server端是通过智能网卡直接进行内存访问的；所述iser client端和iser server端进行IO下发是通过RDMA进行驱动的，所述iser server端是主动访问iser client端的数据地址，且通过智能网卡拷贝至本地的注册过的大内存页地址中的。
9.一种超融合性能优化设备，其特征在于，包括：处理器、存储器、***总线；
所述处理器以及所述存储器通过所述***总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行权利要求1-4任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行权利要求1-4任一项所述的方法。
CN202110745161.3A 2021-06-30 2021-06-30 一种超融合性能优化方法、装置及设备 Pending CN113626184A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110745161.3A CN113626184A (zh) 2021-06-30 2021-06-30 一种超融合性能优化方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110745161.3A CN113626184A (zh) 2021-06-30 2021-06-30 一种超融合性能优化方法、装置及设备

Publications (1)

Publication Number Publication Date
CN113626184A true CN113626184A (zh) 2021-11-09

Family

ID=78378864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110745161.3A Pending CN113626184A (zh) 2021-06-30 2021-06-30 一种超融合性能优化方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113626184A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114780465A (zh) * 2022-03-01 2022-07-22 阿里巴巴（中国）有限公司 可共享远程直接数据存取链接的创建方法及装置
WO2023116141A1 (zh) * 2021-12-21 2023-06-29 阿里巴巴（中国）有限公司 数据处理方法、***、设备及介质
CN117215995A (zh) * 2023-11-08 2023-12-12 苏州元脑智能科技有限公司 远程直接内存访问方法、分布式存储***及电子设备
CN117573043A (zh) * 2024-01-17 2024-02-20 济南浪潮数据技术有限公司 分布式存储数据的传输方法、装置、***、设备和介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023116141A1 (zh) * 2021-12-21 2023-06-29 阿里巴巴（中国）有限公司 数据处理方法、***、设备及介质
CN114780465A (zh) * 2022-03-01 2022-07-22 阿里巴巴（中国）有限公司 可共享远程直接数据存取链接的创建方法及装置
CN114780465B (zh) * 2022-03-01 2024-04-16 阿里巴巴（中国）有限公司 可共享远程直接数据存取链接的创建方法及装置
CN117215995A (zh) * 2023-11-08 2023-12-12 苏州元脑智能科技有限公司 远程直接内存访问方法、分布式存储***及电子设备
CN117215995B (zh) * 2023-11-08 2024-02-06 苏州元脑智能科技有限公司 远程直接内存访问方法、分布式存储***及电子设备
CN117573043A (zh) * 2024-01-17 2024-02-20 济南浪潮数据技术有限公司 分布式存储数据的传输方法、装置、***、设备和介质

Similar Documents

Publication Publication Date Title
CN113626184A (zh) 一种超融合性能优化方法、装置及设备
WO2019141186A1 (zh) 数据处理方法和装置
US20170193416A1 (en) Reducing costs related to use of networks based on pricing heterogeneity
US9736034B2 (en) System and method for small batching processing of usage requests
CN108989432B (zh) 用户态的文件发送方法、文件接收方法和文件收发装置
CN109564502B (zh) 应用于存储设备中的访问请求的处理方法和装置
CN111404931B (zh) 一种基于持久性内存的远程数据传输方法
US10162775B2 (en) System and method for efficient cross-controller request handling in active/active storage systems
CN113010549A (zh) 基于异地多活***的数据处理方法、相关设备及存储介质
CN112988680B (zh) 数据加速方法、缓存单元、电子设备及存储介质
US12001450B2 (en) Distributed table storage processing method, device and system
US9910808B2 (en) Reflective memory bridge for external computing nodes
JP4208506B2 (ja) 高性能記憶装置アクセス環境
WO2019000423A1 (zh) 一种数据存储方法及设备
CN117370046A (zh) 进程间通信方法、***、设备和存储介质
CN111770054A (zh) 一种针对smb协议读请求的交互加速方法与***
CN112052104A (zh) 基于多机房实现的消息队列的管理方法及电子设备
CN116561150A (zh) 一种缓存更新方法、装置、设备及可读存储介质
JPH07239808A (ja) 分散データ管理方式
CN116302605A (zh) 一种基于消息引擎的消息传输方法
CN113434290A (zh) 基于raft协议的数据处理方法和设备，及计算机存储介质
US20190050253A1 (en) Memory register interrupt based signaling and messaging
CN107615259A (zh) 一种数据处理方法及***
CN116601616A (zh) 一种数据处理装置、方法及相关设备
CN111371884A (zh) 局域网内的数据处理方法、客户机、介质、请求端及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination