CN113923259A - 数据处理方法及*** - Google Patents

数据处理方法及*** Download PDF

Info

Publication number
CN113923259A
CN113923259A CN202110973731.4A CN202110973731A CN113923259A CN 113923259 A CN113923259 A CN 113923259A CN 202110973731 A CN202110973731 A CN 202110973731A CN 113923259 A CN113923259 A CN 113923259A
Authority
CN
China
Prior art keywords
data processing
data
queue
processing request
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110973731.4A
Other languages
English (en)
Inventor
***
吴忠杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Alibaba Cloud Computing Ltd
Original Assignee
Alibaba China Co Ltd
Alibaba Cloud Computing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd, Alibaba Cloud Computing Ltd filed Critical Alibaba China Co Ltd
Priority to CN202110973731.4A priority Critical patent/CN113923259A/zh
Publication of CN113923259A publication Critical patent/CN113923259A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供数据处理方法及***,其中,所述数据处理方法应用于跨虚拟域的存储访问平台,包括:接收用户通过虚拟机发送的数据处理请求;在确定所述数据处理请求中携带有队列标识,且所述队列标识对应的数据队列存在对应的网络链接的情况下,将所述数据处理请求通过所述网络链接发送至数据存储集群进行数据处理。具体的,所述数据处理方法基于远程直接数据存取设备(RDMA)实现数据处理请求从虚拟机到数据存储集群的数据访问,通过RDMA用户态的优势,以及通过数据队列与网络链接的映射关系建立的数据处理请求的快速通路,极大的提升了针对数据处理请求的处理性能。

Description

数据处理方法及***
技术领域
本说明书实施例涉及计算机的数据处理技术领域,特别涉及一种数据处理方法。
背景技术
跨虚拟域存储访问为从虚拟机(VM)到后端物理集群的访问,传统的跨虚拟域存储访问通常采用虚拟网络或者虚拟块设备的方法。例如采用虚拟块设备的方法中,虽然可以实现跨虚拟域的存储访问,但是在接收客户端通过虚拟机发送的存储访问之后,需要将存储访问在块设备以及处理器中进行中转之后,才可以发送至后端的物理集群进行处理,而物理集群处理存储访问之后产生的处理结果,也需要在块设备以及处理器中进行中转之后通过虚拟机返回客户端,整个存储访问的处理链路特别复杂。
发明内容
有鉴于此,本说明书施例提供了一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理***,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种数据处理方法,应用于跨虚拟域的存储访问平台,包括:
接收用户通过虚拟机发送的数据处理请求,其中,所述数据处理请求为所述虚拟机根据远程直接数据存取设备的用户态库进行封装后发送;
在确定所述数据处理请求中携带有队列标识,且所述队列标识对应的数据队列存在对应的网络链接的情况下,将所述数据处理请求通过所述网络链接发送至数据存储集群进行数据处理。
根据本说明书实施例的第二方面,提供了一种数据处理装置,包括:
请求接收模块,被配置为接收用户通过虚拟机发送的数据处理请求,其中,所述数据处理请求为所述虚拟机根据远程直接数据存取设备的用户态库进行封装后发送;
数据处理模块,被配置为在确定所述数据处理请求中携带有队列标识,且所述队列标识对应的数据队列存在网络链接的情况下,将所述数据处理请求通过所述网络链接发送至数据存储集群进行数据处理。
根据本说明书实施例的第三方面,提供了一种数据处理***,其中,
所述客户端,被配置为接收用户发送的数据处理请求,并根据所述数据处理模块上的远程直接数据存取设备的用户态对所述数据处理请求进行封装,且将封装后的数据处理请求发送至所述数据处理模块;
所述服务器,被配置为在确定所述数据处理请求中携带有队列标识,且所述队列标识对应的数据队列存在对应的网络链接的情况下,将所述数据处理请求通过所述网络链接发送至数据存储集群进行数据处理。
根据本说明书实施例的第四方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。
根据本说明书实施例的第五方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。
根据本说明书实施例的第六方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述数据处理方法的步骤。
本说明书一个实施例实现了一种数据处理方法及***,其中,所述数据处理方法应用于跨虚拟域的存储访问平台,包括:接收用户通过虚拟机发送的数据处理请求,其中,所述数据处理请求为所述虚拟机根据远程直接数据存取设备的用户态库进行封装后发送;在确定所述数据处理请求中携带有队列标识,且所述队列标识对应的数据队列存在对应的网络链接的情况下,将所述数据处理请求通过所述网络链接发送至数据存储集群进行数据处理。具体的,所述数据处理方法基于远程直接数据存取设备(RDMA)实现数据处理请求从虚拟机到数据存储集群的数据访问,通过RDMA用户态的优势,以及通过数据队列与网络链接的映射关系建立的数据处理请求的快速通路,极大的提升了针对数据处理请求的处理性能。
附图说明
图1是本说明书一个实施例提供的一种PoV基于Virtio-blk实现跨虚拟域的存储访问的架构示意图;
图2是本说明书一个实施例提供的一种数据处理方法的流程图;
图3是本说明书一个实施例提供的一种数据处理方法的处理过程流程图;
图4是本说明书一个实施例提供的一种数据处理装置的结构示意图;
图5是本说明书一个实施例提供的一种数据处理***的结构示意图;
图6是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
跨虚拟域:从虚拟机VM到物理集群的访问,对于存储来说,用户所使用的包括虚拟文件等存储接口到实际物理存储集群的访问。
RDMA:Remote Direct Memory Access的缩写,意思是远程直接数据存取;RDMA为高性能通信协议,具有用户态、多队列的特点,队列数可达上百K以上。
Virtio:从虚拟机VM到物理集群中物理机的访问协议,实现从虚拟域到物理域的虚拟化访问。
PoV:PoV可以理解为跨虚拟域的一种存储访问实现方式,其实现了用户从虚拟机VM到存储物理集群的安全、高性能访问。
Fastpath:快速数据通路。
QP:queue,队列。
参见图1,图1示出了根据本说明书一个实施例提供的一种PoV基于Virtio-blk实现跨虚拟域的存储访问的架构示意图。
如图1所示,其为PoV基于Virtio-blk实现跨虚拟域的存储访问的设计方案。具体的,PoV将存储访问转换为virtio-blk的读和写操作,然后通过MOC上的PoV Server进行中转,从而实现跨虚拟域的存储访问。
图1中的架构示意图中包括虚拟机VM、硬件加速卡以及服务物理集群。
具体实施时,虚拟机VM接收用户发送的存储访问请求(即PoV Request),将PoVRequest通过Block write操作发送到后端硬件加速卡如MOC上;PoV server获取该PoVRequest,并对将该PoV Request转换成真实的目标存储访问请求(即面向后端物理集群的存储访问请求);其中,该存储访问请求中包括数据头(PoV Header)和/或数据(DataBuff),PoV Header表示这个存储访问请求是要做什么的,例如存储访问请求可以是数据写入请求、数据读取请求、元数据查询请求、目录名查询请求或者数据目录查询请求等。DataBuff表示在存储访问请求为数据写入请求的情况下,待写入的数据是什么,而在存储访问请求为数据读取请求的情况下,该存储访问请求可以不带Data Buff。
此外,由于后端物理集群是一个安全域、物理隔离域,用户无法获取该后端物理集群的IP地址、内部的数据传输协议等,所以虚拟机VM的PoV Request仅需要按照用户需求生成一个存储访问请求即可,后续在PoV server中转换成面向后端物理集群的、真实的、安全的、隔离的目标存储访问请求,这样就做到了虚拟机VM到物理域之间的安全打穿。
当目标存储访问请求最终达到了后端实际存储服务的物理集群后,实现了存储服务由虚拟域到物理集群的访问。在后端物理集群对该目标存储访问请求进行处理之后,将相应的结果(即Response)发送至PoV server,在PoV server处理完请求后,将Response通过上层的Block Read操作返回至虚拟机VM的前端Client。以上的整个过程实现了跨虚拟域到后端物理集群的存储访问。
以目标存储访问请求为数据读取请求为例,后端物理集群对该目标存储访问请求进行处理,获得的相应结果可以理解为数据读取请求对应的读取数据(即Response结果),然后将该读取数据发送至PoV server进行封装,变成向上层虚拟机反映的结果。在对该读取数据封装后,虚拟机VM在接收到用户主动发起的读请求后,将该Response结果通过BlockRead操作进行读取,并发送至前端Client(用户)。
实际应用中,PoV基于Virtio-blk实现跨虚拟域的存储访问的设计方案中,采用了虚拟块设备,虚拟块设备仅会给虚拟机VM返回目标存储访问请求处理完成的消息,而不会将目标存储访问请求的处理结果(即Response结果)返回给前端Client,此时就需要前端Client单独发起一次读请求,将Response结果读取上去。
因此,整个跨虚拟域到后端物理集群的存储访问请求需要经过两次操作,第一次是将存储访问请求写下去,发送至后端物理集群;第二次是再发送一次块设备的读,将后端物理集群处理后发送至PoV server的Response结果读上来。
采用上述方式,虽然可以实现跨虚拟域的存储访问,但是受限于virtio-blk内核模式,其很难使用用户态模式,需要自己开发通用库,这在开源和云环境下面临很大的兼容性挑战;并且使用virtio-blk设备其队列数目存在限制,目前virtio-blk块设备的最大数目一般为cpu core的数目,并且多进程共享这些QP,这在按队列分配用户请求时面临队列竞争问题;此外,在该方法下,每次存储访问需要两次virtio-blk操作,包括一次virtio-blk读和一次写,需要进出内核两次;而virtio-blk设备队列数目有限的情况下,其在请求返回时,需要一直等待,这引入了IO hang风险。这与通用的存储访问语义可在超时后重试存在冲突。
基于此,在本说明书中,提供了另一种数据处理方法,本说明书同时涉及一种数据处理装置,一种数据处理***,一种计算设备,一种计算机可读存储介质以及一种计算机程序,在下面的实施例中逐一进行详细说明。
参见图2,图2示出了根据本说明书一个实施例提供的一种数据处理方法的流程图,所述数据处理方法应用于跨虚拟域的存储访问平台,具体包括以下步骤。
步骤202:接收用户通过虚拟机发送的数据处理请求。
其中,所述数据处理请求为所述虚拟机根据远程直接数据存取设备的用户态库进行封装后发送
具体的,跨虚拟域的存储访问平台,可以理解为采用PoV技术实现跨虚拟域的存储访问平台;那么本说明书实施例提供的数据处理方法,可以理解为PoV基于RDMA设备实现的数据处理方法(即上述的存储访问方法)。而本说明书实施例中的RDMA设备具有用户态、多队列的特点。实际应用中,该数据处理方法包括但不限于基于RDMA设备实现跨虚拟域的存储访问,通过其他具有用户态、多队列的设备均可,本申请对此不作任何限定。
具体实施时,本说明书实施例的跨虚拟域的存储访问平台包括客户端和服务器,其中,客户端可以理解为虚拟机、服务器包括利用RDMA设备的硬件加速卡以及硬件加速卡的处理器,其中,虚拟机可以理解为面向用户提供服务的客户端。
实际应用中,接收用户通过所述虚拟机发送的数据处理请求,可以理解为虚拟机中面向用户提供服务的客户端,接收用户发送的数据处理请求。具体的,用户不感知后端数据存储集群的存储语义、通信协议等,因此为了保证将用户通过虚拟机发送的数据处理请求准确的发送至后端数据存储集群进行数据处理,虚拟机中面向用户提供服务的客户端在接收到用户发送的数据处理请求的情况下,需要对该数据处理请求通过用户态库(用户态通信库)进行封装,将该数据处理请求打包为一个特定格式的数据处理请求,发送给服务器,服务器的硬件加速卡上的RDMA设备也会调用其自身的用户态库,将该数据处理请求发送至后端的数据存储集群进行数据处理。具体实现方式如下所述:
所述接收用户通过虚拟机发送的数据处理请求,可以理解为:
虚拟机接收用户发送的初始数据处理请求,并通过服务器的硬件加速卡上的远程直接数据存取设备的用户态库将所述初始数据处理请求封装为数据处理请求,并发送至远程直接数据存取设备。
其中,初始数据处理请求可以理解数据写入请求、输入存储请求或者文件创建请求等等。
具体的,虚拟机中面向用户提供服务的客户端接收用户发送的初始数据处理请求,虚拟机中面向用户提供服务的客户端调用远程直接数据存取设备的用户态库将该初始数据处理请求进行封装形成数据处理请求,并发送远程直接数据存取设备,由远程直接数据存取设备将该数据处理请求发送至后端的数据存储集群。
本说明书实施例中,将数据处理请求向后端的数据存储集群发送时,通过远程直接数据存取设备开源的用户态Verbs库实现对该数据处理请求的封装,以形成数据处理请求发送至后端的数据存储集群,避免上述采用虚拟块设备的方案中需要将数据处理请求在PoV Server中进行转换,即可将该数据处理请求快速发送至后端的数据存储集群进行数据处理。
实际应用中,若用户之前已经建立过数据队列与网络链接之间的快速通路,那么在发送数据处理请求时,则可以在该数据处理请求中携带数据队列的队列标识,基于该队列标识从映射表中查询到与其对应的网络链接,将该数据处理请求通过该数据队列与网络链接之间的快速通路发送至后端的数据存储集群;而若用户发送的数据处理请求中没有携带队列标识的情况下,则需要对用户的数据处理请求进行分析,以确认用户发送的该数据处理请求是否可以走快速通路进行处理。具体实现方式如下所述:
所述接收用户通过虚拟机发送的数据处理请求之后,还包括:
在确定所述数据处理请求中未携带有队列标识的情况下,获取发送所述数据处理请求的所述用户的属性信息;
在根据所述属性信息确定所述用户存在对应的数据队列的情况下,确定与所述用户对应的数据队列的文件信息;
将所述数据处理请求中携带的文件属性信息与所述文件信息匹配的数据队列作为目标数据队列;
在确定所述目标数据队列存在对应的网络链接的情况下,将所述数据处理请求通过所述网络链接发送至数据存储集群进行数据处理。
其中,用户的属性信息包括但不限于用户的用户标识、用户账号等,文件属性信息包括但不限于文件大小、文件名、文件标识等。
具体的,在确定数据处理请求中未携带有队列标识的情况下,获取发送该数据处理请求的用户的属性信息,例如用户的用户标识;根据该用户标识判断用户之前是否存在数据队列,若存在,则确定与用户存在关联的数据队列的文件信息,通过该文件信息可以确定哪些文件可以走该数据队列的快速通路。再基于数据处理请求中携带的文件属性信息与数据队列的文件信息进行匹配,以确定出数据处理请求中携带的文件属性信息可以走哪条数据队列的快速通路,在确定出目标数据队列,且该目标数据队列仍旧存在网络链接的情况下,将该数据处理请求通过该目标数据队列的网络链接发送至数据存储集群进行数据处理,实现将该数据处理请求通过快速通路发送至后端进行数据处理,提升整体处理性能。
具体实施时,用户通过虚拟机中的客户端向RDMA设备发送封装后的数据处理请求,RDMA设备接收到该数据处理请求之后,判断该数据处理请求中是否存在队列标识,若是,则基于该队列标识从预先存储的关系映射表中找到对应的数据队列,以及该数据队列对应的网络链接,将该数据处理请求通过该数据队列与其对应的网络链接建立的快速通路,快速的发送至后端的数据存储集群进行处理;若否,则获取发送该数据处理请求的用户的用户标识,然后将该用户标识以及数据处理请求中携带的文件属性信息发送至处理器(如PoV Server),PoV Server根据该用户标识以及文件属性信息确认该数据处理请求是否可以共享该用户之前建立的快速通路,若可以,则将该快速通路的数据队列的队列标识返回给RDMA设备,RDMA设备接收到该队列标识后,仍旧可以将该数据处理请求通过快速通路,快速的发送至后端的数据存储集群进行处理。
本说明书实施例中,由于RDMA设备的QP的数目可以在上百K以上,因此可以基于RDMA设备预先建立QP到网络链接的映射关系,从而建立Fasth快速通路,后续使用的时候可以直接通过该映射关系实现请求以及数据的传输,并将QP与网络链接之间的映射关系存储至RDMA设备的映射表中,后续接收用户通过虚拟机的客户端发送的数据处理请求,并且在该数据处理请求携带的队列标识对应的QP命中该映射表后,可以通过该映射表中的快速通路快速完成数据传输。
此外,若根据属性信息确定用户不存在对应的数据队列的情况下,则可以说明该用户之前没有建立过任何的快速通路,那么为了保证数据处理请求的快速发送以及后续数据的快速接收,则可以基于用户的属性信息以及数据处理请求中携带的文件属性信息,为用户创建快速通路。具体实现方式如下所述:
所述获取发送所述数据处理请求的所述用户的属性信息之后,还包括:
在根据所述属性信息确定所述用户不存在对应的数据队列的情况下,基于所述用户的属性信息以及所述数据处理请求中携带的文件属性信息,为所述用户创建数据队列,并为所述数据队列配置网络链接。
具体的,基于用户的属性信息以及数据处理请求中携带的文件属性信息可以为用户针对某个文件目录的数据队列,后续用户在对该文件目录下的数据进行读取、存储或者其他访问时,均可以通过该数据队列以及与该数据队列对应的网络链接形成的快速通路,实现该数据处理,极大的提升数据处理效率。
实际应用中,为了便于用户的后续应用,在用户存在后续的数据处理请求应用的情况下,可以预先获取用户的属性信息以及待进行数据处理的文件属性信息,基于该用户的属性信息以及文件属性信息为用户新建一个或多个数据队列,并为每个数据队列配置对应的网络链接,并将该数据队列的队列标识返回给用户,后续用户则可以基于该队列标识走数据队列和网络链接的快速通路进行数据处理请求的发送,而后端也可以通过该快速通路将数据处理请求的处理结果返回给用户;提升整个数据处理流程的速度。
具体实现方式如下所述:所述接收用户通过虚拟机发送的数据处理请求之后,还包括:
获取所述用户的属性信息,基于所述用户的属性信息以及所述数据处理请求中携带的文件属性信息为所述用户创建数据队列,并为数据队列配置网络链接;
为该数据队列配置对应的队列标识,并将该队列标识通过所述虚拟机返回给用户。
那么后续用户就可以在发送的数据处理请求中携带队列标识,基于该队列标识通过快速通路实现数据传输。
具体实施时,为了方便后续应用,可以将RDMA设备的QP与网络链接的映射关系存储至RDMA设备的硬件的关系映射表中,以便后续接收到数据处理请求后,可以通过该关系映射表快速的判断出该数据处理请求对应的RDMA设备的QP是否具有对应的网络链接。具体实现方式如下所述:
所述为所述数据队列配置网络链接之后,还包括:
为所述数据队列设置队列标识,并将所述数据队列与所述网络链接的映射关系存储至关系映射表中。
步骤204:在确定所述数据处理请求中携带有队列标识,且所述队列标识对应的数据队列存在对应的网络链接的情况下,将所述数据处理请求通过所述网络链接发送至数据存储集群进行数据处理。
具体的,所述确定所述数据处理请求中携带有队列标识,且所述队列标识对应的数据队列存在对应的网络链接,包括:
确定所述数据处理请求中携带有队列标识,且基于所述关系映射表确定所述队列标识对应的数据队列存在对应的网络链接。
实际应用中,在确定数据处理请求中携带有队列标识的情况下,基于该队列标识从预先建立的关系映射表中查找到与该队列标识对应的数据队列,在确定该数据队列存在对应的网络链接的情况下,将该数据处理请求通过该数据队列与网络链接形成的快速通路发送至后端的数据存储集群进行数据处理。
具体实施时,若数据处理请求中携带有队列标识,一般情况下,该队列标识对应的数据队列均会存在网络链接,但是也会存在用户未响应或者长时间不用该快速通路时,***为了保证数据队列的使用率,断开数据队列与网络链接的映射关系的情况,因此即使数据处理请求中携带有队列标识,还是会判断一下该队列标识对应的数据队列与网络链接的映射情况,以确保该数据处理请求可以走快速通路。
实际应用时,用户发送的数据处理请求走快速通路至少可以分为以下两种情况,一种是数据处理请求中不携带队列标识,并且用户之前也不存在建立好的数据队列,那么此时也可以不走快速通路将该数据处理请求发送至后端的数据存储集群;另一种是,数据处理请求中不携带队列标识,虽然用户之前存在建立好的数据队列,但是该数据处理请求中携带的数据处理时间大于等于预设时间阈值(如5秒),那么此时则可以确定用户不是很急需获取到该数据处理请求的处理结果,那么则可以不走快速通路将该数据处理请求发送至后端的数据存储集群。在上述情况下,为了保证数据处理请求可以准确的发送至后端的数据存储集群,则可以为该数据处理请求分配慢速路径,将其发送至后端的数据存储集群。
本说明书实施例中,所述数据处理方法基于远程直接数据存取设备(RDMA)实现数据处理请求从虚拟机到数据存储集群的数据访问,通过RDMA用户态的优势,以及通过数据队列与网络链接的映射关系建立的数据处理请求的快速通路,极大的提升了针对数据处理请求的处理性能。
此外,在将数据处理请求发送至后端的数据存储集群进行数据处理后,后端的数据存储集群对该数据处理请求进行数据处理,例如进行数据读取或者数据存储等等。并且将处理后的数据处理结果通过RDMA以及虚拟机VM的客户端返回至上层用户。完成整个数据处理请求的数据处理过程。具体实现方式如下所述:
所述将所述数据处理请求通过所述网络链接发送至数据存储集群进行数据处理之后,还包括:
接收所述数据存储集群通过所述网络链接返回的数据处理结果,在所述网络链接与所述数据队列存在映射关系的情况下,将所述数据处理结果通过所述数据队列返回至所述虚拟机。
其中,数据处理结果为数据存储集群对数据处理请求进行解析以及处理后获得的数据或者其他处理结果(如数据处理请求为数据存储请求,该数据处理结果可以为数据存储的位置和索引信息等)。
实际应用中,数据存储集群在对数据处理请求进行处理获得数据处理结果之后,会将该数据处理结果返回至RDMA设备,通过RDMA设备发送至虚拟机VM,虚拟机VM的客户端将该数据处理结果展示给用户。
而在具体实施时,由于数据处理请求是通过快速通路发送至后端的数据存储集群的,因此在数据存储集群确定该数据处理请求的数据处理结果之后,可以将该数据处理结果继续通过上述的快速通路返回至上层用户。
那么RDMA在接收到数据存储集群通过网络链接返回的该数据处理请求的数据处理结果之后,需要去硬件的映射表中确定该网络链接对应的数据队列,若存在对应的数据队列,则将该数据处理结果通过该数据队列快速的返回虚拟机VM的客户端,通过客户端展示给用户。
实际应用中,数据处理资源有限,为了满足其他请求也可以通过快速通路实现数据处理,在后端数据存储集群在预设时长内没有返回结果的情况下,可以断开其数据队列与网络链接之间的映射关系,以便将网络资源分配给其他的存储访问请求使用,那么就会存在当数据存储集群返回数据处理请求对应的数据处理结果时,网络链接与数据队列之间的快速通路断开,数据处理结果就需要通过慢速路径返回至上层用户。具体实现方式如下所述:
所述接收所述数据存储集群通过所述网络链接返回的数据处理结果之后,还包括:
在所述网络链接与所述数据队列不存在映射关系的情况下,将所述数据处理结果发送至处理器;
接收所述处理器对所述数据处理结果的解析结果,在所述解析结果满足预设条件的情况下,确定所述数据处理结果对应的所述数据队列;
将所述数据处理结果通过所述数据队列返回至所述虚拟机。
其中,网络链接与数据队列不存在映射关系的情况可以有多种,例如上述介绍的因为资源不足的问题导致的网络链接与数据队列之间的映射关系的断开,又或者是由于数据处理结果超时的问题导致的网络链接与数据队列之间的映射关系的断开,还可以由于用户的个人问题(例如没有续费等)导致的网络链接与数据队列之间的映射关系的断开等等。
具体的,处理器对数据处理结果的解析结果,可以理解为处理器对数据处理结果中的数据的权限进行确定,在确定该数据处理结果中的数据的权限与数据处理请求中用户的权限匹配的情况下,确定数据处理结果对应的数据队列,然后将该数据处理结果通过数据队列通过虚拟机返回客户端。其中,预设条件可以根据实际应用进行设置,例如上述介绍的预设条件可以为数据处理结果中的数据的权限与数据处理请求中用户的权限匹配等。
具体的,在数据存储集群返回数据处理结果的网络链接不存在对应的数据队列的情况下,将数据处理结果发送至PoV Server中,PoV Server对该数据处理结果进行解析,在确定该数据处理结果中的数据可以被上层用户获取,或者该数据处理结果中的数据是安全无风险的情况下,均可以认为该解析结果满足预设条件,可以确定该数据处理结果对应的数据处理请求对应的数据队列,然后将该数据处理结果根据该数据队列通过虚拟机返回至客户端。
另外一种情况下,在数据处理结果中的数据存在错误信息(例如错误代码)的情况下,为了保证可以向上层用户返回数据处理请求的请求结果,可以将数据处理结果在处理器中做相应的数据处理后,将处理后的数据处理结果也通过慢路径的方式返回虚拟机VM的客户端。具体实现方式如下所述:
所述接收所述数据存储集群通过所述网络链接返回的数据处理结果之后,还包括:
在确定所述数据处理结果中存在错误信息的情况下,断开所述网络链接与所述数据队列的映射关系,并将所述数据处理结果发送至处理器;
接收所述处理器对所述数据处理结果处理后的目标数据处理结果,并将所述目标数据处理结果根据所述数据队列返回至所述虚拟机。
其中,错误信息包括错误代码或者乱码等。
具体的,在后端的数据存储集群接收到数据处理请求之后,若发现数据处理请求不安全,不能进行数据读写的情况下,可以在返回的数据处理结果中携带有错误代码。那么在RDMA在确定返回的数据处理结果中存在错误信息的情况下,则断开发送数据处理请求的网络链接与数据队列的映射关系,那么该数据处理结果就会发送至处理器,由处理器对其进行安全处理后,再根据慢速路径通过虚拟机返回至客户端。
实际应用中,处理器对数据处理结果的处理可以理解为,处理器删除数据处理结果中存在安全隐患或者权限隐患的数据,并为该数据处理结果添加删除数据的元数据描述等等。
本说明书实施例中,所述数据处理方法通过RDMA开源用户态的Verbs库,解决了内核态性能问题,通过RDMA多队列解决了队列数据的问题,并且通过RDMA用户态的send/receive语义解决了采用虚拟块设备实现存储访问请求的处理时两次进出内核的问题,同时,通过RDMA的通信语义(RDMA具有重传机制),上层超时重传解决了virtio-blk存在的iohang问题。
下述结合附图3,以本说明书提供的所述数据处理方法在跨虚拟域的存储访问的应用为例,对所述数据处理方法进行进一步说明。其中,图3示出了本说明书一个实施例提供的一种数据处理方法的处理过程流程图,具体包括以下步骤。
如图3所示,所述数据处理方法分为数据平面和控制平面两部分,控制平面用于配置PoV基于RDMA通信的数据链路与数据队列、网络链接之间的映射关系;数据平面用于通过快速通路或者慢速通路实现存储访问请求的发送以及Response数据的接收。
首先,对控制平面进行介绍,当用户需要通过VM访问存储后端的情况下,POV管理链路调用POV管理队列将用户的属性信息以及待访问文件的文件属性信息发送至povserver。
pov server基于该用户的属性信息对该用户访问待访问文件的权限进行验证,在验证通过的情况下,为该用户建立数据QP,同时,建立该数据QP与后端网络链接的映射关系,并为该数据QP配置对应的队列标识;在建立之后将该数据QP与后端网络链接的映射关系存储至POV映射表。
此外,pov server还会将该队列标识通过VM返回至用户,后续用户可以基于该队列标识从数据平面进行数据处理请求的发送以及后端数据处理请求处理结果的接收。
具体的,对数据平面的介绍如下所述:
在上述为用户建立了快速通路之后,用户发送针对待访问文件的数据处理请求,该数据处理请求中携带了该快速通路的数据队列的队列标识。
具体实施时,VM接收用户发送的携带有队列标识的数据处理请求,调用RDMA设备的用户态库将该数据处理请求进行封装,并将封装后的数据处理请求通过PoV基于RDMA通信的数据链路发送至RDMA设备。RDMA设备上的PoV基于RDMA的数据硬件队列基于该数据处理请求中的队列标识确定该数据处理请求对应的数据队列,并从POV映射表中查找与该数据队列对应的网络链接,RDMA设备通过与数据队列对应的网络链接将该数据处理请求发送至后端的数据存储集群。
后端的数据存储集群对该数据处理请求处理后生成的PoV Response数据,并将该PoV Response数据返回给RDMA设备,RDMA接收后端的数据存储集群对该数据处理请求处理后生成的PoV Response数据,并将该PoV Response数据通过PoV映射表中的快速通路发送至VM,由VM返回至用户,完成整个数据处理过程。
另一种情况下,RDMA接收后端的数据存储集群对该数据处理请求处理后生成的PoV Response数据之后,在确定快速通路断开的情况下,可以通过慢路径slow path将该PoV Response数据发送至PoV Server进行处理后,通过PoV Server分配对应的数据队列,将处理后的PoV Response发送至虚拟机VM,完成整个数据处理过程。
具体的,在整个数据处理过程中,基于RDMA的通信方式采用用户态,并利用多队列建立快速通路,有利于加速整个数据处理链路。
本说明书实施例中,所述数据处理方法基于远程直接数据存取设备(RDMA)实现数据处理请求从虚拟机到数据存储集群的数据访问,通过RDMA用户态的优势,以及通过数据队列与网络链接的映射关系建立的数据处理请求的快速通路,极大的提升了针对数据处理请求的处理性能。
与上述方法实施例相对应,本说明书还提供了数据处理装置实施例,图4示出了本说明书一个实施例提供的一种数据处理装置的结构示意图。如图4所示,该装置应用于跨虚拟域的存储访问平台,包括:
请求接收模块402,被配置为接收用户通过虚拟机发送的数据处理请求,其中,所述数据处理请求为所述虚拟机根据远程直接数据存取设备的用户态库进行封装后发送;
数据处理模块404,被配置为在确定所述数据处理请求中携带有队列标识,且所述队列标识对应的数据队列存在网络链接的情况下,将所述数据处理请求通过所述网络链接发送至数据存储集群进行数据处理。
可选地,所述装置,还包括:
队列确定模块,被配置为:
在确定所述数据处理请求中未携带有队列标识的情况下,获取发送所述数据处理请求的所述用户的属性信息;
在根据所述属性信息确定所述用户存在对应的数据队列的情况下,确定与所述用户对应的数据队列的文件信息;
将所述数据处理请求中携带的文件属性信息与所述文件信息匹配的数据队列作为目标数据队列;
在确定所述目标数据队列存在网络链接的情况下,将所述数据处理请求通过所述网络链接发送至数据存储集群进行数据处理。
可选地,所述装置,还包括:
配置模块,被配置为:
在根据所述属性信息确定所述用户不存在对应的数据队列的情况下,基于所述用户的属性信息以及所述数据处理请求中携带的文件属性信息,为所述用户创建数据队列,并为所述数据队列配置网络链接。
可选地,所述装置,还包括:
关系存储模块,被配置为:
为所述数据队列设置队列标识,并将所述数据队列与所述网络链接的映射关系存储至关系映射表中。
可选地,所述数据处理模块404,进一步被配置为:
确定所述数据处理请求中携带有队列标识,且基于所述关系映射表确定所述队列标识对应的数据队列存在网络链接。
可选地,所述装置,还包括:
结果返回模块,被配置为:
接收所述数据存储集群通过所述网络链接返回的数据处理结果,在所述网络链接与所述数据队列存在映射关系的情况下,将所述数据处理结果通过所述数据队列返回至所述虚拟机。
可选地,所述装置,还包括:
结果解析模块,被配置为:
在所述网络链接与所述数据队列不存在映射关系的情况下,将所述数据处理结果发送至处理器;
接收所述处理器对所述数据处理结果的解析结果,在所述解析结果满足预设条件的情况下,确定所述数据处理结果对应的所述数据队列;
将所述数据处理结果通过所述数据队列返回至所述虚拟机。
可选地,所述装置,还包括:
结果处理模块,被配置为:
在确定所述数据处理结果中存在错误信息的情况下,断开所述网络链接与所述数据队列的映射关系,并将所述数据处理结果发送至处理器;
接收所述处理器对所述数据处理结果处理后的目标数据处理结果,并将所述目标数据处理结果根据所述数据队列返回至所述虚拟机。
本说明书实施例中,所述数据处理装置基于远程直接数据存取设备(RDMA)实现数据处理请求从虚拟机到数据存储集群的数据访问,通过RDMA用户态的优势,以及通过数据队列与网络链接的映射关系建立的数据处理请求的快速通路,极大的提升了针对数据处理请求的处理性能。
上述为本实施例的一种数据处理装置的示意性方案。需要说明的是,该数据处理装置的技术方案与上述的数据处理方法的技术方案属于同一构思,数据处理装置的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
与上述方法实施例相对应,本说明书还提供了数据处理装置实施例,图5示出了本说明书一个实施例提供的一种数据处理***的结构示意图。如图5所示,所述数据处理***,包括客户端502和服务器504,其中,
所述客户端502,被配置为接收用户发送的数据处理请求,并根据所述数据处理模块上的远程直接数据存取设备的用户态对所述数据处理请求进行封装,且将封装后的数据处理请求发送至所述服务器504;
所述服务器504,被配置为在确定所述数据处理请求中携带有队列标识,且所述队列标识对应的数据队列存在对应的网络链接的情况下,将所述数据处理请求通过所述网络链接发送至数据存储集群进行数据处理。
可选地,所述客户端502包括虚拟机客户端;
相应地,所述虚拟机客户端,被配置为接收用户发送的数据处理请求,并根据所述数据处理模块上的远程直接数据存取设备的用户态对所述数据处理请求进行封装,且将封装后的数据处理请求发送至所述服务器504。
可选地,所述服务器504包括扩展卡;
相应地,所述扩展卡,被配置为在确定所述数据处理请求中携带有队列标识,且所述队列标识对应的数据队列存在对应的网络链接的情况下,将所述数据处理请求通过所述网络链接发送至数据存储集群进行数据处理。
可选地,所述扩展卡包括第一扩展卡和第二扩展卡,其中,
所述第一扩展卡,被配置为在确定所述数据处理请求中未携带有队列标识的情况下,获取发送所述数据处理请求的所述用户的属性信息,并将所述用户的属性信息以及所述数据处理请求中携带的文件属性信息发送至所述第二扩展卡;
所述第二扩展卡,被配置为在根据所述属性信息确定所述用户存在对应的数据队列的情况下,确定与所述用户对应的数据队列的文件信息,将所述数据处理请求中携带的文件属性信息与所述文件信息匹配的数据队列作为目标数据队列,将所述目标数据队列发送至所述第一扩展卡;
所述第一扩展卡,还被配置为在确定所述目标数据队列存在对应的网络链接的情况下,将所述数据处理请求通过所述网络链接发送至数据存储集群进行数据处理。
可选地,所述第一扩展卡,还被配置为:
在确定所述数据处理请求中未携带有队列标识的情况下,获取发送所述数据处理请求的所述用户的属性信息,并将所述用户的属性信息以及所述数据处理请求中携带的文件属性信息发送至所述第二扩展卡;
所述第二扩展卡,还被配置为基于所述用户的属性信息以及所述数据处理请求中携带的文件属性信息,为所述用户创建数据队列,并为所述数据队列配置网络链接。
本说明书实施例中,所述数据处理***基于远程直接数据存取设备(RDMA)实现数据处理请求从虚拟机到数据存储集群的数据访问,通过RDMA用户态的优势,以及通过数据队列与网络链接的映射关系建立的数据处理请求的快速通路,极大的提升了针对数据处理请求的处理性能。
上述为本实施例的一种数据处理装置的示意性方案。需要说明的是,该数据处理装置的技术方案与上述的数据处理方法的技术方案属于同一构思,数据处理装置的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
图6示出了根据本说明书一个实施例提供的一种计算设备600的结构框图。该计算设备600的部件包括但不限于存储器610和处理器620。处理器620与存储器610通过总线630相连接,数据库650用于保存数据。
计算设备600还包括接入设备640,接入设备640使得计算设备600能够经由一个或多个网络660通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备640可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备600的上述部件以及图6中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图6所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备600可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备600还可以是移动式或静止式的服务器。
其中,处理器620用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的数据处理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的数据处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述数据处理方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的数据处理方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (14)

1.一种数据处理方法,应用于跨虚拟域的存储访问平台,包括:
接收用户通过虚拟机发送的数据处理请求,其中,所述数据处理请求为所述虚拟机根据远程直接数据存取设备的用户态库进行封装后发送;
在确定所述数据处理请求中携带有队列标识,且所述队列标识对应的数据队列存在对应的网络链接的情况下,将所述数据处理请求通过所述网络链接发送至数据存储集群进行数据处理。
2.根据权利要求1所述的数据处理方法,所述接收用户通过虚拟机发送的数据处理请求之后,还包括:
在确定所述数据处理请求中未携带有队列标识的情况下,获取发送所述数据处理请求的所述用户的属性信息;
在根据所述属性信息确定所述用户存在对应的数据队列的情况下,确定与所述用户对应的数据队列的文件信息;
将所述数据处理请求中携带的文件属性信息与所述文件信息匹配的数据队列作为目标数据队列;
在确定所述目标数据队列存在对应的网络链接的情况下,将所述数据处理请求通过所述网络链接发送至数据存储集群进行数据处理。
3.根据权利要求2所述的数据处理方法,所述获取发送所述数据处理请求的所述用户的属性信息之后,还包括:
在根据所述属性信息确定所述用户不存在对应的数据队列的情况下,基于所述用户的属性信息以及所述数据处理请求中携带的文件属性信息,为所述用户创建数据队列,并为所述数据队列配置网络链接。
4.根据权利要求3所述的数据处理方法,所述为所述数据队列配置网络链接之后,还包括:
为所述数据队列设置队列标识,并将所述数据队列与所述网络链接的映射关系存储至关系映射表中。
5.根据权利要求4所述的数据处理方法,所述确定所述数据处理请求中携带有队列标识,且所述队列标识对应的数据队列存在对应的网络链接,包括:
确定所述数据处理请求中携带有队列标识,且基于所述关系映射表确定所述队列标识对应的数据队列存在对应的网络链接。
6.根据权利要求1所述的数据处理方法,所述将所述数据处理请求通过所述网络链接发送至数据存储集群进行数据处理之后,还包括:
接收所述数据存储集群通过所述网络链接返回的数据处理结果,在所述网络链接与所述数据队列存在映射关系的情况下,将所述数据处理结果通过所述数据队列返回至所述虚拟机。
7.根据权利要求6所述的数据处理方法,所述接收所述数据存储集群通过所述网络链接返回的数据处理结果之后,还包括:
在所述网络链接与所述数据队列不存在映射关系的情况下,将所述数据处理结果发送至处理器;
接收所述处理器对所述数据处理结果的解析结果,在所述解析结果满足预设条件的情况下,确定所述数据处理结果对应的所述数据队列;
将所述数据处理结果通过所述数据队列返回至所述虚拟机。
8.根据权利要求6所述的数据处理方法,所述接收所述数据存储集群通过所述网络链接返回的数据处理结果之后,还包括:
在确定所述数据处理结果中存在错误信息的情况下,断开所述网络链接与所述数据队列的映射关系,并将所述数据处理结果发送至处理器;
接收所述处理器对所述数据处理结果处理后的目标数据处理结果,并将所述目标数据处理结果根据所述数据队列返回至所述虚拟机。
9.一种数据处理***,包括客户端和服务器,其中,
所述客户端,被配置为接收用户发送的数据处理请求,并根据所述数据处理模块上的远程直接数据存取设备的用户态对所述数据处理请求进行封装,且将封装后的数据处理请求发送至所述数据处理模块;
所述服务器,被配置为在确定所述数据处理请求中携带有队列标识,且所述队列标识对应的数据队列存在对应的网络链接的情况下,将所述数据处理请求通过所述网络链接发送至数据存储集群进行数据处理。
10.根据权利要求9所述的数据处理***,所述客户端包括虚拟机客户端;
相应地,所述虚拟机客户端,被配置为接收用户发送的数据处理请求,并根据所述数据处理模块上的远程直接数据存取设备的用户态对所述数据处理请求进行封装,且将封装后的数据处理请求发送至所述数据处理模块。
11.根据权利要求9所述的数据处理***,所述服务器包括扩展卡;
相应地,所述扩展卡,被配置为在确定所述数据处理请求中携带有队列标识,且所述队列标识对应的数据队列存在对应的网络链接的情况下,将所述数据处理请求通过所述网络链接发送至数据存储集群进行数据处理。
12.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至8任意一项所述数据处理方法的步骤。
13.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至8任意一项所述数据处理方法的步骤。
14.一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行权利要求1至8任意一项所述数据处理方法的步骤。
CN202110973731.4A 2021-08-24 2021-08-24 数据处理方法及*** Pending CN113923259A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110973731.4A CN113923259A (zh) 2021-08-24 2021-08-24 数据处理方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110973731.4A CN113923259A (zh) 2021-08-24 2021-08-24 数据处理方法及***

Publications (1)

Publication Number Publication Date
CN113923259A true CN113923259A (zh) 2022-01-11

Family

ID=79233176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110973731.4A Pending CN113923259A (zh) 2021-08-24 2021-08-24 数据处理方法及***

Country Status (1)

Country Link
CN (1) CN113923259A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024109624A1 (zh) * 2022-11-23 2024-05-30 华为技术有限公司 一种数据处理的方法以及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530167A (zh) * 2013-09-30 2014-01-22 华为技术有限公司 一种虚拟机内存数据的迁移方法及相关装置和集群***
US20160212214A1 (en) * 2015-01-16 2016-07-21 Avago Technologies General Ip (Singapore) Pte. Ltd. Tunneled remote direct memory access (rdma) communication
CN110868364A (zh) * 2018-08-28 2020-03-06 阿里巴巴集团控股有限公司 一种带宽隔离装置及方法
US20200326971A1 (en) * 2016-12-28 2020-10-15 Intel Corporation Virtualized remote direct memory access

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530167A (zh) * 2013-09-30 2014-01-22 华为技术有限公司 一种虚拟机内存数据的迁移方法及相关装置和集群***
US20160212214A1 (en) * 2015-01-16 2016-07-21 Avago Technologies General Ip (Singapore) Pte. Ltd. Tunneled remote direct memory access (rdma) communication
US20200326971A1 (en) * 2016-12-28 2020-10-15 Intel Corporation Virtualized remote direct memory access
CN110868364A (zh) * 2018-08-28 2020-03-06 阿里巴巴集团控股有限公司 一种带宽隔离装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李鼎基: "基于跨虚拟机零下陷通信的加速器虚拟化框架", 《软件学报》, 31 October 2020 (2020-10-31) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024109624A1 (zh) * 2022-11-23 2024-05-30 华为技术有限公司 一种数据处理的方法以及计算机设备

Similar Documents

Publication Publication Date Title
JP5869135B2 (ja) コプロセッサのためのダイレクトi/oアクセス
US11755513B2 (en) Data processing and writing method based on virtual machine memory identification field and devise
US8798541B1 (en) System and method for socket backed host controller interface emulation for virtual bluetooth adapter
US8762544B2 (en) Selectively communicating data of a peripheral device to plural sending computers
US20090150510A1 (en) System and method for using remote module on vios to manage backups to remote backup servers
CN114217902A (zh) 一种数据传输方法及装置
CN102394872A (zh) 数据通信协议
US10810024B2 (en) Redirection method and apparatus, and system
CN110489440B (zh) 数据查询方法和装置
US10078609B1 (en) Virtualizing a non-USB device as a USB device
CN114201317B (zh) 数据传输方法、装置、存储介质及电子设备
CN109451079A (zh) 一种云u盘及其存储方法和存储***
WO2022170946A1 (zh) 一种访问控制方法及相关装置
CN113923259A (zh) 数据处理方法及***
CN114296953A (zh) 一种多云异构***及任务处理方法
CN112231004A (zh) 云桌面终端usb重定向***
US11489817B2 (en) Computing system with gateway data transfer based upon device data flow characteristics and related methods
EP3913488B1 (en) Data processing method and device
WO2022231780A1 (en) Consistent hashing for communication devices
WO2021232860A1 (zh) 通信方法、装置及***
CN110351333B (zh) 一种具备验证机制的请求队列方法及***
CN114389853A (zh) 一种数据处理方法及装置
EP3176986A1 (en) Method, device and system for remote desktop protocol gateway to conduct routing and switching
CN107615259A (zh) 一种数据处理方法及***
CN110769027A (zh) 服务请求处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40066051

Country of ref document: HK