CN115933985A - 一种分布式存储QoS控制方法及*** - Google Patents
一种分布式存储QoS控制方法及*** Download PDFInfo
- Publication number
- CN115933985A CN115933985A CN202211695008.5A CN202211695008A CN115933985A CN 115933985 A CN115933985 A CN 115933985A CN 202211695008 A CN202211695008 A CN 202211695008A CN 115933985 A CN115933985 A CN 115933985A
- Authority
- CN
- China
- Prior art keywords
- speed limit
- storage
- service module
- qos control
- distributed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种分布式存储QoS控制方法及***。QoS控制方法包括:通过所述分布式存储***的存储管理界面为目标文件存储目录设定限速参数,并将所述限速参数写入ECTD集群;NAS存储节点读取所述限速参数并将所述限速参数传入相应类型的共享服务模块;所述共享服务模块对所述目标文件存储目录进行相应的限速处理。QoS控制***包括处理器和存储器,所述处理器执行所述存储器中保存的计算机程序时实现所述QoS控制方法。根据本发明,能够解决现有的分布式存储QoS控制策略无法针对文件存储目录进行单独限速以及容易因单个存储节点宕机而导致***限速失败的问题。
Description
技术领域
本发明属于分布式存储技术领域,更具体地,涉及一种分布式存储QoS控制方法及***。
背景技术
QoS是Quality of Service的缩写,源于网络资源竞争技术,用于解决网络阻塞或性能瓶颈问题,解决客户端对业务及资源的抢占问题,以更好地提高服务质量,为高优先级业务配置更高的网络带宽或IOPS,满足不同业务人员对资源的需求,优化资源调配方案,阻止用户对资源的抢占,QoS可以帮助管理员更好地分配存储资源,使各个应用客户端充分、平稳地使用后端存储资源。
现有的分布式存储QoS控制策略主要为基于iptables规则的QoS控制策略,该QoS控制策略基于iptables的规则采用hashlimit对客户端的ip和传输带宽进行限速。然而,该QoS控制策略只能限定指定客户端的访问带宽,对文件目录的限速则无法满足。除此之外,在执行该QoS控制策略的过程中,若后端分布式集群的其中一个存储节点宕机,可能造成QoS限速参数丢失,导致限速失败。
发明内容
本发明的目的在于解决现有的分布式存储QoS控制策略无法针对文件存储目录进行单独限速以及容易因单个存储节点宕机而导致***限速失败的问题。
为了实现上述目的,本发明提供一种分布式存储QoS控制方法及***。
根据本发明的第一方面,提供一种分布式存储QoS控制方法,该QoS控制方法应用于分布式存储***,包括以下步骤:
通过所述分布式存储***的存储管理界面为目标文件存储目录设定限速参数,并将所述限速参数写入ECTD集群;
NAS存储节点读取所述限速参数并将所述限速参数传入相应类型的共享服务模块;
所述共享服务模块对所述目标文件存储目录进行相应的限速处理。
作为可选的是,所述通过所述分布式存储***的存储管理界面为目标文件存储目录设定限速参数包括:
通过所述分布式存储***的存储管理界面对存储服务器上所有的磁盘进行池化,并基于形成的存储池创建包含所述目标文件存储目录的文件存储目录列表。
作为可选的是,所述限速参数包括目标文件存储目录的名称、带宽限速值和共享服务模块类型,所述带宽限速值为全局带宽限速值或者指定客户端IP带宽限速值,所述共享服务模块类型至少包括NFS共享服务模块、FTP共享服务模块和SMB共享服务模块之中的一种。
作为可选的是,NAS存储节点将所述限速参数传入相应的共享服务模块包括:
根据所述限速参数获取共享服务模块类型;
将所述限速参数传入相应类型的共享服务模块的配置文件中。
作为可选的是,所述共享服务模块对所述目标文件存储目录进行相应的限速处理包括:
读取自身配置文件中的限速参数;
修改自身代码以实现预定的基于dmClock分布式限流策略;
当接收到客户端对于所述目标文件存储目录的访问请求时,基于dmClock分布式限流策略对所述目标文件存储目录进行全局带宽限速或者指定客户端IP带宽限速,并将限速结果反馈给所述客户端。
根据本发明的第二方面,提供一种分布式存储QoS控制***,该QoS控制***包括处理器和存储器,所述处理器执行所述存储器中保存的计算机程序时实现上述任一种分布式存储QoS控制方法。
本发明的有益效果在于:
本发明的分布式存储QoS控制方法,首先通过所述分布式存储***的存储管理界面为目标文件存储目录设定限速参数,并将所述限速参数写入ECTD集群;其次通过NAS存储节点读取所述限速参数并将所述限速参数传入相应类型的共享服务模块;最后通过所述共享服务模块对所述目标文件存储目录进行相应的限速处理。
本发明的分布式存储QoS控制方法,不仅提供图形化操作界面轻松完成对于文件存储目录的限速参数的设定,而且通过共享服务模块实现常用文件共享服务的QoS控制,并基于ETCD集群解决分布式存储节点在宕机情况下的单点失效问题,当分布式存储***中某一存储节点宕机时不影响整体限速参数的传递。由此可知,采用本发明的分布式存储QoS控制方法,能够有效地解决现有的分布式存储QoS控制策略无法针对文件存储目录进行单独限速以及容易因单个存储节点宕机而导致***限速失败的问题。
本发明的分布式存储QoS控制***与上述分布式存储QoS控制方法属于一个总的发明构思,至少具有与上述分布式存储QoS控制方法相同的有益效果,其有益效果在此不再赘述。
本发明的其他特征和优点将在随后具体实施方式部分予以详细说明。
附图说明
本发明可以通过参考下文中结合附图所做出的描述而得到更好的理解,其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。
图1示出了根据本发明的实施例的分布式存储QoS控制方法的实现流程图;
图2示出了根据本发明的实施例的通过界面设定限速参数并写入ETCD集群的实现流程图;
图3示出了根据本发明的实施例的NAS存储节点读取限速参数并传入共享服务模块的实现流程图;
图4示出了根据本发明的实施例的共享服务模块处理限速并反馈客户端的实现流程图。
具体实施方式
为了使所属技术领域的技术人员能够更充分地理解本发明的技术方案,在下文中将结合附图对本发明的示例性的实施方式进行更为全面且详细的描述。显然地,以下描述的本发明的一个或者多个实施方式仅仅是能够实现本发明的技术方案的具体方式中的一种或者多种,并非穷举。应当理解的是,可以采用属于一个总的发明构思的其他方式来实现本发明的技术方案,而不应当被示例性描述的实施方式所限制。基于本发明的一个或多个实施方式,本领域的普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施方式,都应当属于本发明保护的范围。
实施例:传统的文件存储限速方法只能限定客户端访问带宽,不能针对多个文件目录进行单独限速,虽然NAS存储提供了块存储的限速方法,但是在文件存储方面始终没有支持多种共享模块的QoS解决方案,传统的QoS结合分布式存储,当后端分布式集群中的存储节点其中一台宕机,可能造成QoS限速参数丢失,导致限速失败。
为了解决上述问题,本发明实施例提出了一种分布式存储QoS控制方法,本发明实施例通过存储服务端利用集群多活技术并借鉴dmClock算法来完成对文件存储目录的限速。客户端通过NFS、ISCSI、CIFS、FTP协议读写存储资源,分布式文件存储***一般都通过客户端挂载后进行使用,一个分布式文件存储***会服务多个客户端,用户业务分布在各个客户端因而无法在客户端进行QoS控制,在分布式存储server端采用ETCD集群来控制QoS参数的读取并根据NAS文件目录和共享服务模块之间的对应关系来处理文件存储目录的限速是解决分布式存储QoS的重要思路,对于文件存储来说,QoS旨在合理分配有限的io资源,实现资源的按需分配,使每个NAS存储子目录都能合理的占用资源,因此,分布式存储中对文件目录的限速主要为修改分布式服务端的共享服务模块,借助dmClock令牌桶的思想来完成指定文件目录的限速。
图1示出了本发明实施例的分布式存储QoS控制方法的实现流程图。参照图1,本发明实施例的分布式存储QoS控制方法,应用于分布式存储***,具体包括以下步骤:
步骤S100、通过所述分布式存储***的存储管理界面为目标文件存储目录设定限速参数,并将所述限速参数写入ECTD集群;
步骤S200、NAS存储节点读取所述限速参数并将所述限速参数传入相应类型的共享服务模块;
步骤S300、所述共享服务模块对所述目标文件存储目录进行相应的限速处理。
在步骤S100中,所述限速参数包括目标文件存储目录的名称、带宽限速值和共享服务模块类型,所述带宽限速值为全局带宽限速值或者指定客户端IP带宽限速值,所述共享服务模块类型至少包括NFS共享服务模块、FTP共享服务模块和SMB共享服务模块之中的一种。
本发明实施例中,通过步骤S100~步骤S300可以完成NAS分布式存储***文件存储目录的限速参数设定和限速处理,对文件存储目录限速的目的是防止单个文件存储目录占用过多资源,导致其他文件存储目录的性能受到影响,通过限速解决资源抢占问题,合理分配资源,满足不同级别业务的需求,在特定存储领域为应用使用存储***提供更好的服务质量。
本发明实施例通过存储管理界面为不同的NAS文件存储目录设定不同的限速参数,包括全局限速和基于客户端IP的限速,再把限速参数存储到ETCD集群中,通过NAS存储节点读取限速参数并传入到NAS分布式存储***对应的共享服务模块,共享服务模块根据librados提供的C库接受客户端的访问请求,通过修改各自的源码,读取新增配置文件中的文件存储目录与读写带宽的映射关系,保存到挂载点的令牌池中;限制NFS Ganesha、miniFTP、SMB共享服务模块的每秒钟处理的数据包数量,当数据包总数小于令牌池中令牌数量时,数据包允许通过,当数据包总数大于令牌池中的令牌数时,数据包被限速,等待一段时间禁止数据传输去补充令牌数量,从而实现NAS存储子目录文件的读写带宽的限制。
进一步地,图2示出了本发明实施例的通过界面设定限速参数并写入ETCD集群的实现流程图。参照图2,本发明实施例中,步骤S100包括:
步骤S101、通过所述分布式存储***的存储管理界面对存储服务器上所有的磁盘进行池化,并基于形成的存储池创建包含所述目标文件存储目录的文件存储目录列表。
步骤S102、为目标文件存储目录设置全局带宽或指定客户端IP限速;
步骤S103、限速参数写入ETCD集群。
本发明实施例支持设定特定文件存储目录的全局限速和以客户端IP为主的客户端限速两种限速模式。先通过分布式存储***的存储管理界面对存储服务器上所有的磁盘进行池化,再基于存储池新建文件存储目录列表,再选择特定的文件存储目录进行QoS限速设置。界面中可以填写带宽的限制值,也可以选择指定客户端限速,填写客户端的IP地址,可以填写多个IP地址,限速优先根据指定特定IP地址来限速。
再进一步地,图3示出了本发明实施例的NAS存储节点读取限速参数并传入共享服务模块的实现流程图。参照图3,本发明实施例中,步骤S200包括:
步骤S201、NAS存储节点读取ETCD集群限速参数;
步骤S202、根据共享服务模块类型将传入NFS共享服务模块、FTP共享服务模块和/或SMB共享服务模块的配置文件中。
本发明实施例中,在实际应用时存储集群需要考虑高可用问题,在存储集群内部关闭一台存储服务器不影响整个业务的连续性,假如文件存储目录对应的限速参数设置在一台存储节点,当存储节点宕机后可能会造成文件存储目录QoS的失败。为了解决这一问题,本发明实施例采用ETCD集群方式来实现,配置ETCD数据库集群,当集群中只有一台存储节点工作,都不影响文件存储目录限速的设定。NAS存储节点读取限速参数通过jetcd-core.jar完成ETCD数据库的取值并把取到的参数值传入到共享服务模块对应的配置文件中。
在存储***中,可以使用底层存储Bluestore接口对OSD文件存储进行限速,主要包括两个步骤,首先将限速算法如dmclock设计好,并让代码接口成功添加到Bluestore事务处理接口Do_TRANSACTIONS和DEAL_WITH_TRANSACTIONS函数中;另一个就是设置令牌桶算法中的参数(桶的深度、令牌产生的速度等)来限制传输速度。但本发明实施例采用先把ETCD集群限速与目录对应关系保存到各个共享服务模块配置文件,再修改共享服务模块代码的方式来限制传输速度,这样做的目的就是可以针对不同共享服务来限速。传入接口函数public String qosConfig(int switch,String dirName,String[]IPS,Stringbandwith,String type),表示是否要限制NFS、FTP、SMB模块,限速的目录名称、客户端IP地址、带宽及共享服务模块的类型,通过qosConfig限速接口函数把文件目录与限速参数对应关系写入到各自模块对应的配置文件中。
再进一步地,图4示出了本发明实施例的共享服务模块处理限速并反馈客户端的实现流程图。参照图4,本发明实施例中,步骤S300包括:
步骤S301、共享服务模块读取配置文件中的限速参数;
步骤S302、NFS、FTP、SMB共享服务模块处理限速并将限速结果反馈给客户端。
本发明实施例中,共享服务模块读取自身配置文件中的限速参数;修改自身代码以实现预定的基于dmClock分布式限流策略;当接收到客户端对于所述目标文件存储目录的访问请求时,基于dmClock分布式限流策略对所述目标文件存储目录进行全局带宽限速或者指定客户端IP带宽限速,并将限速结果反馈给客户端。
本发明实施例中,共享服务模块程序通过libcephfs将用户数据存入可靠的分布式存储集群,文件***库((libcephfs)运行在RADOS库(librados)之上,通过修改第三方开源共享服务程序源码实现限速目的。采用令牌桶思想对各个共享服务模块进行修改,按特定的速率向令牌桶投放令牌。根据预设的匹配规则先对数据包进行分类,不符合匹配规则的数据包不需要经过令牌桶的处理,直接发送。符合匹配规则的数据包,则需要令牌桶进行处理。当桶中有足够的令牌则报文可以被继续发送下去,同时令牌桶中的令牌量按数据包的长度做相应的减少。当令牌桶中的令牌不足时,数据包将不能被发送,只有等到桶中生成了新的令牌,数据包才可以发送。这就可以限制报文的流量只能是小于等于令牌生成的速度,达到限制带宽的目的。
FTP共享服务模块处理限速接口包括读取限速参数接口get_limit_by_ip(session_t*sess),主要为获取通过导出模块对应的config文件里获取文件目录的限速参数,再通过get_limit_by_ip(session_t*sess)处理限速值。
各个共享服务模块通过修改源码进行限速,然后发送给Request进行处理,达到文件存储目录限速的目的,用以解决网络延迟和阻塞等问题,为指定的文件存储目录实现限速提供更好的服务能力,通过修改共享服务模块源码,读取新增配置文件中文件目录与读写带宽的映射关系,保存在挂载点的令牌池中;限制共享服务模块每秒钟处理的数据包总大小小于令牌池中令牌数量,从而实现文件存储子目录级别的读写带宽限制,防止单个子目录占用过多资源,影响其他子目录性能。
客户端通过Socket网络通信机制与存储***服务器端进行通信,当服务器端对一个存储接口上发送或接收全部报文的总速率进行限制后,对报文进行分类和按策略再分配,把数据包设置成不同的流量等级,让没设定限速的目录或客户端优先使用存储资源,避免网络拥堵造成的数据包丢包或传输失败现象,以便在网络拥塞的情况下,具有较高优先级的数据包可以优先通过文件存储网关,达到客户端使用存储资源限速的目的。
本发明实施例的分布式存储QoS控制方法,通过Web界面设定文件存储目录的带宽或填写客户端IP,把限速参数保存到ETCD集群,再通过NFS、Samba、FTP共享服务模块读取ETCD集群限速参数,借鉴dmClock令牌桶思想修改各自共享模块的源码,控制每秒钟处理的数据包总大小小于令牌池中令牌数量,从而实现NAS存储文件目录级别的读写带宽限制,防止单个子目录占用过多资源,避免客户端访问造成存储资源紧张问题,保证关键业务服务质量,提高了IO访问带宽安全性和可靠性,对有限的资源更加合理的分配。
本发明实施例的分布式存储QoS控制方法,还通过共享服务模块控制NFS、SMB和FTP三种常用文件共享服务的QoS,且采用ETCD集群保证分布式存储节点在宕机情况下单点失效问题,通过借鉴dmClock令牌桶的思想当客户端访问存储资源的传输速度超过设定的带宽时,就会被限制在设定的带宽进行传输,在限速参数设置时,可以根据具体文件目录设置全局带宽,也可以限定不同客户端访问的带宽,QoS参数存储到ETCD集群数据库,当分布式存储***某一台宕机时不影响整体限速参数的传递。本发明实施例既可以解决客户端对存储资源访问的竞争,也可以为高优先级的业务提供更高的服务质量,解决存储客户端不能限速的难题,可以帮助管理员更好地分配存储性能资源,使各个应用客户端充分、平稳地使用后端存储性能,保障用户业务不受影响。
相应地,在本发明实施例提出的分布式存储QoS控制方法的基础上,本发明实施例还提出了一种分布式存储QoS控制***,该QoS控制***包括处理器和存储器,所述处理器执行所述存储器中保存的计算机程序时实现本发明实施例提出的分布式存储QoS控制方法
虽然以上对本发明的一个或者多个实施方式进行了描述,但是本领域的普通技术人员应当知晓,本发明能够在不偏离其主旨与范围的基础上通过任意的其他的形式得以实施。因此,以上描述的实施方式属于示意性的而非限制性的,在不脱离如所附各权利要求所定义的本发明精神及范围的情况下,对于本技术领域的普通技术人员而言许多修改和替换均具有显而易见性。
Claims (6)
1.一种分布式存储QoS控制方法,应用于分布式存储***,其特征在于,所述分布式存储QoS控制方法包括:
通过所述分布式存储***的存储管理界面为目标文件存储目录设定限速参数,并将所述限速参数写入ECTD集群;
NAS存储节点读取所述限速参数并将所述限速参数传入相应类型的共享服务模块;
所述共享服务模块对所述目标文件存储目录进行相应的限速处理。
2.根据权利要求1所述的分布式存储QoS控制方法,其特征在于,所述通过所述分布式存储***的存储管理界面为目标文件存储目录设定限速参数包括:
通过所述分布式存储***的存储管理界面对存储服务器上所有的磁盘进行池化,并基于形成的存储池创建包含所述目标文件存储目录的文件存储目录列表。
3.根据权利要求1所述的分布式存储QoS控制方法,其特征在于,所述限速参数包括目标文件存储目录的名称、带宽限速值和共享服务模块类型,所述带宽限速值为全局带宽限速值或者指定客户端IP带宽限速值,所述共享服务模块类型至少包括NFS共享服务模块、FTP共享服务模块和SMB共享服务模块之中的一种。
4.根据权利要求3所述的分布式存储QoS控制方法,其特征在于,NAS存储节点将所述限速参数传入相应的共享服务模块包括:
根据所述限速参数获取共享服务模块类型;
将所述限速参数传入相应类型的共享服务模块的配置文件中。
5.根据权利要求4所述的分布式存储QoS控制方法,其特征在于,所述共享服务模块对所述目标文件存储目录进行相应的限速处理包括:
读取自身配置文件中的限速参数;
修改自身代码以实现预定的基于dmClock分布式限流策略;
当接收到客户端对于所述目标文件存储目录的访问请求时,基于dmClock分布式限流策略对所述目标文件存储目录进行全局带宽限速或者指定客户端IP带宽限速,并将限速结果反馈给所述客户端。
6.一种分布式存储QoS控制***,其特征在于,包括处理器和存储器,所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1-5任一项所述的分布式存储QoS控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211695008.5A CN115933985A (zh) | 2022-12-28 | 2022-12-28 | 一种分布式存储QoS控制方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211695008.5A CN115933985A (zh) | 2022-12-28 | 2022-12-28 | 一种分布式存储QoS控制方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115933985A true CN115933985A (zh) | 2023-04-07 |
Family
ID=86649099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211695008.5A Pending CN115933985A (zh) | 2022-12-28 | 2022-12-28 | 一种分布式存储QoS控制方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115933985A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116185965A (zh) * | 2023-05-04 | 2023-05-30 | 联想凌拓科技有限公司 | 用于服务质量控制的方法、装置、设备及介质 |
-
2022
- 2022-12-28 CN CN202211695008.5A patent/CN115933985A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116185965A (zh) * | 2023-05-04 | 2023-05-30 | 联想凌拓科技有限公司 | 用于服务质量控制的方法、装置、设备及介质 |
CN116185965B (zh) * | 2023-05-04 | 2023-08-04 | 联想凌拓科技有限公司 | 用于服务质量控制的方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4696089B2 (ja) | 分散ストレージシステム | |
US10140236B2 (en) | Receiving buffer credits by a plurality of channels of one or more host computational devices for transmitting data to a control unit | |
US9578064B2 (en) | Automatic tuning of virtual data center resource utilization policies | |
US9497139B2 (en) | Client-allocatable bandwidth pools | |
US10289591B2 (en) | Adjustment of buffer credits and other parameters in a startup phase of communications between a plurality of channels and a control unit | |
JP3382953B2 (ja) | 有限メモリコンピュータシステム上におけるクライアント管理フロー制御方法及び装置 | |
US20050086338A1 (en) | Adaptive bandwidth throttling for network services | |
US20050076336A1 (en) | Method and apparatus for scheduling resources on a switched underlay network | |
US10157150B2 (en) | Adjustments of buffer credits for optimizing the number of retry operations and transfer ready operations | |
US9860317B1 (en) | Throughput throttling for distributed file storage services with varying connection characteristics | |
WO2018220708A1 (ja) | 資源割当システム、管理装置、方法およびプログラム | |
CN109756573B (zh) | 一种基于区块链的文件*** | |
US20060200469A1 (en) | Global session identifiers in a multi-node system | |
US8793334B1 (en) | Network-attached storage (NAS) bandwidth manager | |
CN109474700B (zh) | iSCSI客户端的接入方法、存储介质、客户端和存储节点 | |
US11461123B1 (en) | Dynamic pre-copy and post-copy determination for live migration between cloud regions and edge locations | |
CN115933985A (zh) | 一种分布式存储QoS控制方法及*** | |
US8775456B2 (en) | System and method for scheduled and collaborative distribution of software and data to many thousands of clients over a network using dynamic virtual proxies | |
US10776173B1 (en) | Local placement of resource instances in a distributed system | |
US20040143648A1 (en) | Short-cut response for distributed services | |
US11550505B1 (en) | Intra-shard parallelization of data stream processing using virtual shards | |
US11573839B1 (en) | Dynamic scheduling for live migration between cloud regions and edge locations | |
US11734038B1 (en) | Multiple simultaneous volume attachments for live migration between cloud regions and edge locations | |
WO2014138892A1 (en) | Method and apparatus for peer-to-peer file sharing | |
CN115987974A (zh) | 一种轻量级ftp服务方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |