CN116962446B - 一种NVMe-oF链路动态管理方法及*** - Google Patents
一种NVMe-oF链路动态管理方法及*** Download PDFInfo
- Publication number
- CN116962446B CN116962446B CN202310955557.XA CN202310955557A CN116962446B CN 116962446 B CN116962446 B CN 116962446B CN 202310955557 A CN202310955557 A CN 202310955557A CN 116962446 B CN116962446 B CN 116962446B
- Authority
- CN
- China
- Prior art keywords
- management service
- nvme
- link
- network interface
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims description 124
- 238000000034 method Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 238000012217 deletion Methods 0.000 claims description 5
- 230000037430 deletion Effects 0.000 claims description 5
- PWHVEHULNLETOV-UHFFFAOYSA-N Nic-1 Natural products C12OC2C2(O)CC=CC(=O)C2(C)C(CCC2=C3)C1C2=CC=C3C(C)C1OC(O)C2(C)OC2(C)C1 PWHVEHULNLETOV-UHFFFAOYSA-N 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- GWWNCLHJCFNTJA-UHFFFAOYSA-N nicandrenone-2 Natural products C12OC2C2(O)CC=CC(=O)C2(C)C(CCC23C)C1C3CCC2(O)C(C)C1OC(O)C2(C)OC2(C)C1 GWWNCLHJCFNTJA-UHFFFAOYSA-N 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
- H04L67/141—Setup of application sessions
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Cardiology (AREA)
- General Health & Medical Sciences (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开一种NVMe‑oF链路动态管理***，包括元数据管理服务、网络接口管理服务、NVMe‑oF链路管理服务；元数据管理服务实时更新存储集群所有存储节点的IP和端口信息；网络接口管理服务检查客户机当前所有可用于NVMe‑oF连接的网络接口并通过消息队列的方式发送出去；NVMe‑oF链路管理服务从元数据管理服务通过消息队列查询到存储集群当前可用的所有存储节点的IP和端口信息，从网络接口管理服务查询当前客户机的所有满足配置文件要求的网络接口列表，通过对两者进行笛卡尔积运算，得到当前客户机和存储集群之间全部应有的连接链路集合A，与当前已有的链路进行对比，得到缺失的链路集合B，再调用操作***工具将属于集合B中的缺失链路建立起来。存储服务可靠性更高。
Description
技术领域
本发明属于存储技术领域，尤其涉及一种NVMe-oF链路动态管理方法及***。
背景技术
NVMe-oF(NVMe over Fabrics)，是一种基于NVMe的高性能存储接入协议。
NVM Express(NVMe)协议定义了主机如何通过PCIe总线与非易失性存储器进行通信。NVMe规范是为SSD高速存储介质而量身设计，相较于SCSI，是一种更加高效的接口规范，支持65535个I/O队列，每个队列支持65535条命令(队列深度)。队列映射提供预期的CPU资源调度，并能适应在中断或轮询模式下的设备驱动，提供了更高的数据吞吐和更低的通信延迟。随着RDMA(Remote Direct Memory Access)等高速网络技术的发展，NVMe-oF定义了使用多种通用的传输层协议来实现NVMe远程连接能力，常见的有NVMe over RDMA、NVMeover TCP等。
分布式存储***是一种由多个存储节点构成集群提供存储服务的计算机***，在使用NVMe-oF协议接入的分布式存储***中，客户端通过多条网络路径连接到同一个子***(Subsystem)，存储***通过ANA(非对称命名空间访问)功能自动选择可用的最优路径完成数据传输，可以实现在一条或者多条路径出现故障时保证存储功能依然能够正常使用。但是ANA机制仅适用于在已经建立连接的节点间选择最佳链路。为了充分利用ANA机制，一个典型的连接方式是客户端在连接子***时连接到分布式集群所有的节点上。对于一对客户机和子***，客户机需要建立与节点数相同的连接，如图1所示。
在分布式存储***中，节点数量和连接方式是可以在线弹性变化的，而ANA机制本身不能感知到这一点：
1、发生节点增加或者移除后，客户端只会尝试使用原有的连接信息进行重连。因此，在集群发生新加入节点或者节点被移除等变更时，需要一种机制使得客户端能够动态管理链路的增加和删除。极端情况下如果分布式存储***的节点全部更换，则静态连接至原存储节点的计算端将无法获得存储服务。
2、在***正常运行状态下，如果客户端增加了新的网络接口，此时客户端和存储服务之间实际上可以有更多的可用链路，增加这些链路可以让存储服务的可靠性增加，但是客户端无法自动感知这些新的链路并且发起连接。如果关机重新连接存储服务，将会导致运行在***上的服务出现短暂中断。
发明内容
为解决上述问题，本发明的目的是提供一种NVMe-oF链路动态管理方法及***，该NVMe-oF链路动态管理方法及***在存储集群发生节点变动的时候，链路管理服务将会通过运算得出保证可访问性最高的链路集合，然后补全缺失的链路，使得存储服务的可靠性更高。
为实现上述目的，本发明的技术方案为：一种NVMe-oF链路动态管理***，应用于分布式存储集群，包括元数据管理服务、网络接口管理服务、NVMe-oF链路管理服务；其中，所述元数据管理服务被配置在存储集群上，所述网络接口管理服务和所述NVMe-oF链路管理服务被配置在客户机上；所述元数据管理服务实时更新所述存储集群所有存储节点的IP和端口信息并对外提供API接口；所述网络接口管理服务通过轮询的方式检查所述客户机当前所有可用于NVMe-oF连接的网络接口并通过消息队列的方式发送出去；所述NVMe-oF链路管理服务从所述元数据管理服务通过消息队列查询到存储集群当前可用的所有存储节点的IP和端口信息，从所述网络接口管理服务查询当前客户机的所有满足配置文件要求的网络接口列表，通过对两者进行笛卡尔积运算，得到当前客户机和存储集群之间全部应有的连接链路集合A，与当前已有的链路进行对比，得到缺失的链路集合B，再调用操作***提供的NVMe-oF客户端工具将属于集合B中的缺失链路建立起来。
优选的，当所述存储集群中发生节点增加和/或删除动作时，所述元数据管理服务主动上报节点本身的IP和端口信息，和/或，元数据管理服务定期扫描整个存储集群当中节点的可访问性状态，以保持存储集群的IP和端口信息列表当中的信息和集群当中实际可用的节点信息一致。
优选的，所述网络接口管理服务通过轮询的方式检查并更新当前可用网络接口列表，所述当前可用网络接口列表当中保存的所有可用于NVMe-oF连接的网络接口，其他的服务可以通过消息队列获取当前可用于NVMe-oF连接的网络接口。
优选的，所述元数据管理服务通过一个公开的消息队列对外发布集群成员节点变化的事件，所述网络接口管理服务通过一个消息队列对外发布节点的接口变动信息，NVMe-oF链路管理服务订阅所述消息队列，对相应的事件做出响应。
优选的，在存储集群的节点本身发生故障无法主动上报信息的时候，NVMe-oF链路管理服务通过主动探测的方式发现故障并且更新链路。
基于相同的构思，本发明还提供一种NVMe-oF链路动态管理方法，应用于上述任意一项所述的***，包括如下步骤：存储集群中的元数据管理服务实时更新所述存储集群所有存储节点的IP和端口信息并对外提供API接口；所述所有存储节点的IP和端口信息以消息队列的形式被NVMe-oF链路管理服务获取；其中，所述NVMe-oF链路管理服务将获取的所述所有存储节点的IP和端口信息的列表与从客户机上的网络接口管理服务获取的当前客户机的所有满足配置文件要求的网络接口列表进行笛卡尔积运算，得到当前客户机和存储集群之间全部应有的连接链路集合A，与当前已有的链路进行对比，得到缺失的链路集合B，再调用操作***提供的NVMe-oF客户端工具将属于集合B中的缺失链路建立起来。
优选的，所述元数据管理服务在所述存储集群中发生节点增加和/或删除动作时，所述元数据管理服务主动上报节点本身的IP和端口信息，和/或，元数据管理服务定期扫描整个存储集群当中节点的可访问性状态，以保持存储集群的IP和端口信息列表当中的信息和集群当中实际可用的节点信息一致。
基于相同的构思，本发明还提供一种NVMe-oF链路动态管理方法，应用于上述任意一项所述的***，包括如下步骤：客户机上的网络接口管理服务通过轮询的方式检查所述客户机当前所有可用于NVMe-oF连接的网络接口并通过消息队列的方式发送出去；客户机上的NVMe-oF链路管理服务从存储集群上的元数据管理服务通过消息队列查询到存储集群当前可用的所有存储节点的IP和端口信息，从所述网络接口管理服务查询当前客户机的所有满足配置文件要求的网络接口列表，通过对两者进行笛卡尔积运算，得到当前客户机和存储集群之间全部应有的连接链路集合A，与当前已有的链路进行对比，得到缺失的链路集合B，再调用操作***提供的NVMe-oF客户端工具将属于集合B中的缺失链路建立起来。
优选的，所述网络接口管理服务通过轮询的方式检查并更新当前可用网络接口列表，所述当前可用网络接口列表当中保存的所有可用于NVMe-oF连接的网络接口，其他的服务可以通过消息队列获取当前可用于NVMe-oF连接的网络接口。
优选的，在存储集群的节点本身发生故障无法主动上报信息的时候，NVMe-oF链路管理服务通过主动探测的方式发现故障并且更新链路。
本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：
1、本发明的技术方案中，当存储集群节点发生变化时，链路管理服务将会根据最新的节点信息运算的到缺失的存储链路并且补全这些连接，可以使得客户机和存储集群的链路可靠性得到提升。
2、本发明的技术方案中，当客户机增加额外的网络接口时，链路管理服务将会根据最新的可用网络接口的信息运算得到应该新增的存储链路并且建立连接，可以避免网络接口损坏导致客户机和存储集群之间的链路完全中断。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明，其中：
图1为现有技术客户机与分布式存储集群的连接方式示意图；
图2为本发明的服务架构示意图；
图3为本发明元数据管理服务的结构配置示意图；
图4为本发明客户机网络接口管理服务的结构配置示意图；
图5为本发明NVMe-oF链路管理服务的结构配置示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比率，仅用以方便、明晰地辅助说明本发明实施例的目的。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
实施例
本实施例的技术方案主要应用于分布式存储***，本实施例的NVMe-oF链路动态管理***包括分布式存储集群元数据管理服务、网络接口管理服务、NVMe-oF链路管理服务。
如图2所示，为本实施例的服务架构图，分布式存储集群元数据管理服务被配置在存储集群上，网络接口管理服务和NVMe-oF链路管理服务被配置在客户机上。
参见图3，示出了元数据管理服务的结构配置，元数据管理服务当中维护一个列表,列表当中包含整个集群所有存储节点的IP地址和端口。同时服务对外提供api接口，当集群当中发生节点增加和删除动作的时候，可以主动上报节点本身的IP和端口信息，云数据管理服务也会定期扫描，整个集群当中节点的可访问性状态，尽量保持列表当中的信息和集群当中真正可用的节点信息一致。
参见图4，示出了客户机网络接口管理服务的结构配置，客户机网络接口管理服务，通过轮询的方式检查当前可用的网络接口，维护一个内部的列表，列表当中保存的所有可用于NVMe-oF连接的网络接口，其他的服务可以通过消息队列获取当前可用于NVMe-oF连接的网络接口。在现代的商用服务器上面,一般会有许多承担着各种不同功能的网络接口，这些网络接口拥有不同的性能和功能特性，可以根据具体的应用场景选择不同类型的网卡进行NVMe-oF连接。网络接口管理服务将会依据用户在配置文件当中指定的条件，扫描服务器上所有可用的网络接口，并且筛选出符合要求的接口。
参见图5，示出了NVMe-oF链路管理服务的结构配置，动态链路管理服务依赖于元数据管理服务和网络接口管理服务运行，在一次链路刷新任务中，链路管理服务首先从元数据管理服务通过消息队列查询到存储集群当前可用的所有存储节点的IP地址以及端口，然后从接口管理服务查询到当前主机的所有满足配置文件要求的网络接口列表，通过对两者进行笛卡尔积运算，得到当前主机和存储***之间全部应有的连接链路集合A，与当前***已有的链路进行对比，可以得到缺失的链路集合B。最后调用操作***提供的NVMe-oF客户端工具将属于B集合中的缺失链路建立起来。
存储集群节点的变动和客户主机网络接口的变动事件均会触发链路刷新任务的运行，主要分为正常场景和故障场景。在正常场景下，元数据管理服务将会通过一个公开的消息队列对外发布集群成员节点变化的事件，网络接口管理服务则会通过一个消息队列对外发布节点的接口变动信息，链路管理服务则会订阅这些消息队列，对相应的事件做出响应。这个机制需要客户机节点和存储节点都能够正常运作才能上报正确的信息，在节点本身发生故障的时候，可能无法主动上报信息，在这种场景下，链路管理服务将会通过主动探测的方式发现故障并且更新链路。
下面举一个具体的例子：
一个分布式存储集群Cluster A，由3个节点Node1、Node2、Node3组成，有一台客户机Client 1通过NVMe-oF协议连接到Cluster A并且使用其提供的存储服务。
初始状态下，Client 1和集群一共建立了<Client 1，Node 1>、<Client 1，Node 2>、<Client 1，Node 3>三条存储链路，客户机和存储集群之间通过这三条链路完成IO数据传输，当其中至多两条链路发生故障时，客户机依然能够正常完成IO。
在存储集群扩容场景下，一个新的存储节点Node 4被加入存储集群，此时如果是传统的技术，客户机器无法感知到Node 4的加入，因此也不会自动与Node 4建立一条新的网络链接。而使用本实施例的技术方案的前提下，本实施例的链路管理服务将会通过消息队列获得Node 4加入集群的消息，然后执行一次链路刷新任务，Client 1和Node 4之间将会建立一条新的存储链路，这将会使得存储集群和客户机之间的链路可靠性达到最佳水平。
此外，在客户机新增一个网络接口的场景下，在客户机部署的时候已经通过配置文件指明支持RDMA特性的网络接口都可以用于建立存储链路，初始状态下客户机仅有个网络接口NIC 1用于建立存储链路，Client 1和集群一共建立了<NIC 1，Node 1>、<NIC 1，Node 2>、<NIC 1，Node 3>三条存储链路，当一个新的RDMA网卡NIC 2被***主机并且正确配置后，首先会被网络接口管理服务监测到并且通过消息队列对外公布。链路管理服务在通过消息队列得知客户机新增了可用的网络接口NIC 2，将会执行链路刷新任务，Client 1和集群一共建立了<NIC 1，Node 1>、<NIC 1，Node 2>、<NIC 1，Node 3>三条存储链路，Client 1和集群之间将会新增<NIC 2，Node1>、<NIC 2，Node 2>、<NIC 2，Node 3>三条存储链路，客户机的两个网络接口都被用于建立存储链接，可以实现负载均衡和高可用的功能，任意一块网卡突然损坏或者被人为拔出均不会导致客户机和存储集群之间的连接中断。
在现有技术中，客户端连接到分布式集群所有节点的使用场景下，客户机在初次连接时将会获取集群的全部节点信息并且建立多路径连接以保证存储链路的高可用。但是当集群的节点发生节点变动的时候，集群无法将节点更新信息发送到客户端并且自动建立新的连接，因此客户机和存储集群之间将会一直缺失一些实际上可用的链路，整个集群的可访问性并没有达到预期的最佳效果。而本实施例提出的技术方案中，在存储集群发生节点变动的时候，可以通知链路管理服务，链路管理服务将会通过运算得出保证可访问性最高的链路集合，然后补全缺失的链路，使得存储服务的可靠性更高。
此外，在客户机网络接口增加、更换等场景下，比如增加一个用于nvme-of通信的网络接口的时候，实际上可以通过这个新增的网络接口建立更多的存储链路，从客户机侧的硬件层面增加更高的可靠性，但是客户机不会自动建立这样的链路。而本实施例提出的技术方案中，链路管理服务在通过消息队列得知客户机新增了可用的网络接口，将会执行链路刷新任务，自动建立新的可用链路，客户机和存储集群之间的链路可靠性会自动增加到最优状态，同时在新的网络接口对应的的链路建立之后，可以拔出先前的网络接口而不影响IO，这可以使得更换网络接口的时候可以不中断存储服务。
基于相同的构思，本发明还提供一种NVMe-oF链路动态管理方法，应用于上述任意一项所述的***，包括如下步骤：存储集群中的元数据管理服务实时更新所述存储集群所有存储节点的IP和端口信息并对外提供API接口；所述所有存储节点的IP和端口信息以消息队列的形式被NVMe-oF链路管理服务获取；其中，所述NVMe-oF链路管理服务将获取的所述所有存储节点的IP和端口信息的列表与从客户机上的网络接口管理服务获取的当前客户机的所有满足配置文件要求的网络接口列表进行笛卡尔积运算，得到当前客户机和存储集群之间全部应有的连接链路集合A，与当前已有的链路进行对比，得到缺失的链路集合B，再调用操作***提供的NVMe-oF客户端工具将属于集合B中的缺失链路建立起来。
优选的，所述元数据管理服务在所述存储集群中发生节点增加和/或删除动作时，所述元数据管理服务主动上报节点本身的IP和端口信息，和/或，元数据管理服务定期扫描整个存储集群当中节点的可访问性状态，以保持存储集群的IP和端口信息列表当中的信息和集群当中实际可用的节点信息一致。
基于相同的构思，本发明还提供一种NVMe-oF链路动态管理方法，应用于上述任意一项所述的***，包括如下步骤：客户机上的网络接口管理服务通过轮询的方式检查所述客户机当前所有可用于NVMe-oF连接的网络接口并通过消息队列的方式发送出去；客户机上的NVMe-oF链路管理服务从存储集群上的元数据管理服务通过消息队列查询到存储集群当前可用的所有存储节点的IP和端口信息，从所述网络接口管理服务查询当前客户机的所有满足配置文件要求的网络接口列表，通过对两者进行笛卡尔积运算，得到当前客户机和存储集群之间全部应有的连接链路集合A，与当前已有的链路进行对比，得到缺失的链路集合B，再调用操作***提供的NVMe-oF客户端工具将属于集合B中的缺失链路建立起来。
优选的，所述网络接口管理服务通过轮询的方式检查并更新当前可用网络接口列表，所述当前可用网络接口列表当中保存的所有可用于NVMe-oF连接的网络接口，其他的服务可以通过消息队列获取当前可用于NVMe-oF连接的网络接口。
优选的，在存储集群的节点本身发生故障无法主动上报信息的时候，NVMe-oF链路管理服务通过主动探测的方式发现故障并且更新链路。
优选的，网络接口的高可用还可以通过网卡bonding实现。
本发明的技术方案中，当存储集群节点发生变化时，链路管理服务将会根据最新的节点信息运算的到缺失的存储链路并且补全这些连接，可以使得客户机和存储集群的链路可靠性得到提升。当客户机增加额外的网络接口时，链路管理服务将会根据最新的可用网络接口的信息运算得到应该新增的存储链路并且建立连接，可以避免网络接口损坏导致客户机和存储集群之间的链路完全中断。
基于相同的发明构思，本发明还提供一种计算机设备，包括：存储器，所述存储器用于存储处理程序；处理器，所述处理器执行所述处理程序时实现任意一项所述的NVMe-oF链路动态管理方法。
基于相同的发明构思，本发明还提供一种可读存储介质，所述可读存储介质上存储有处理程序，所述处理程序被处理器执行时实现任意一项所述的NVMe-oF链路动态管理方法。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。
Claims (10)
1.一种NVMe-oF链路动态管理***，应用于分布式存储集群，所述NVMe-oF为基于网络的非易失性内存主机控制器接口规范，其特征在于，包括元数据管理服务、网络接口管理服务、NVMe-oF链路管理服务；其中，所述元数据管理服务被配置在存储集群上，所述网络接口管理服务和所述NVMe-oF链路管理服务被配置在客户机上；
所述元数据管理服务实时更新所述存储集群所有存储节点的IP和端口信息并对外提供API接口；
所述网络接口管理服务通过轮询的方式检查所述客户机当前所有可用于NVMe-oF连接的网络接口并通过消息队列的方式发送出去；
所述NVMe-oF链路管理服务从所述元数据管理服务通过消息队列查询到存储集群当前可用的所有存储节点的IP和端口信息，从所述网络接口管理服务查询当前客户机的所有满足配置文件要求的网络接口列表，通过对两者进行笛卡尔积运算，得到当前客户机和存储集群之间全部应有的连接链路集合A，与当前已有的链路进行对比，得到缺失的链路集合B，再调用操作***提供的NVMe-oF客户端工具将属于集合B中的缺失链路建立起来。
2.根据权利要求1所述的NVMe-oF链路动态管理***，其特征在于，当所述存储集群中发生节点增加和/或删除动作时，所述元数据管理服务主动上报节点本身的IP和端口信息，和/或，元数据管理服务定期扫描整个存储集群当中节点的可访问性状态，以保持存储集群的IP和端口信息列表当中的信息和集群当中实际可用的节点信息一致。
3.根据权利要求1所述的NVMe-oF链路动态管理***，其特征在于，所述网络接口管理服务通过轮询的方式检查并更新当前可用网络接口列表，所述当前可用网络接口列表当中保存的所有可用于NVMe-oF连接的网络接口，其他的服务可以通过消息队列获取当前可用于NVMe-oF连接的网络接口。
4.根据权利要求1所述的NVMe-oF链路动态管理***，其特征在于，所述元数据管理服务通过一个公开的消息队列对外发布集群成员节点变化的事件，所述网络接口管理服务通过一个消息队列对外发布节点的接口变动信息，NVMe-oF链路管理服务订阅所述消息队列，对相应的事件做出响应。
5.根据权利要求1所述的NVMe-oF链路动态管理***，其特征在于，在存储集群的节点本身发生故障无法主动上报信息的时候，NVMe-oF链路管理服务通过主动探测的方式发现故障并且更新链路。
6.一种NVMe-oF链路动态管理方法，所述NVMe-oF为基于网络的非易失性内存主机控制器接口规范，应用于权利要求1至权利要求5任意一项所述的***，其特征在于，包括如下步骤：
存储集群中的元数据管理服务实时更新所述存储集群所有存储节点的IP和端口信息并对外提供API接口；
所述所有存储节点的IP和端口信息以消息队列的形式被NVMe-oF链路管理服务获取；其中，所述NVMe-oF链路管理服务将获取的所述所有存储节点的IP和端口信息的列表与从客户机上的网络接口管理服务获取的当前客户机的所有满足配置文件要求的网络接口列表进行笛卡尔积运算，得到当前客户机和存储集群之间全部应有的连接链路集合A，与当前已有的链路进行对比，得到缺失的链路集合B，再调用操作***提供的NVMe-oF客户端工具将属于集合B中的缺失链路建立起来。
7.根据权利要求6所述的NVMe-oF链路动态管理方法，其特征在于，所述元数据管理服务在所述存储集群中发生节点增加和/或删除动作时，所述元数据管理服务主动上报节点本身的IP和端口信息，和/或，元数据管理服务定期扫描整个存储集群当中节点的可访问性状态，以保持存储集群的IP和端口信息列表当中的信息和集群当中实际可用的节点信息一致。
8.一种NVMe-oF链路动态管理方法，所述NVMe-oF为基于网络的非易失性内存主机控制器接口规范，应用于权利要求1至权利要求5任意一项所述的***，其特征在于，包括如下步骤：
客户机上的网络接口管理服务通过轮询的方式检查所述客户机当前所有可用于NVMe-oF连接的网络接口并通过消息队列的方式发送出去；
客户机上的NVMe-oF链路管理服务从存储集群上的元数据管理服务通过消息队列查询到存储集群当前可用的所有存储节点的IP和端口信息，从所述网络接口管理服务查询当前客户机的所有满足配置文件要求的网络接口列表，通过对两者进行笛卡尔积运算，得到当前客户机和存储集群之间全部应有的连接链路集合A，与当前已有的链路进行对比，得到缺失的链路集合B，再调用操作***提供的NVMe-oF客户端工具将属于集合B中的缺失链路建立起来。
9.根据权利要求8所述的NVMe-oF链路动态管理方法，其特征在于，所述网络接口管理服务通过轮询的方式检查并更新当前可用网络接口列表，所述当前可用网络接口列表当中保存的所有可用于NVMe-oF连接的网络接口，其他的服务可以通过消息队列获取当前可用于NVMe-oF连接的网络接口。
10.根据权利要求8所述的NVMe-oF链路动态管理方法，其特征在于，在存储集群的节点本身发生故障无法主动上报信息的时候，NVMe-oF链路管理服务通过主动探测的方式发现故障并且更新链路。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310955557.XA CN116962446B (zh) | 2023-08-01 | 2023-08-01 | 一种NVMe-oF链路动态管理方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310955557.XA CN116962446B (zh) | 2023-08-01 | 2023-08-01 | 一种NVMe-oF链路动态管理方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116962446A CN116962446A (zh) | 2023-10-27 |
| CN116962446B true CN116962446B (zh) | 2024-02-23 |
Family
ID=88446132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310955557.XA Active CN116962446B (zh) | 2023-08-01 | 2023-08-01 | 一种NVMe-oF链路动态管理方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116962446B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10986174B1 (en) * | 2020-09-18 | 2021-04-20 | EMC IP Holding Company LLC | Automatic discovery and configuration of server nodes |
| CN114827145A (zh) * | 2022-04-24 | 2022-07-29 | 阿里巴巴（中国）有限公司 | 服务器集群***、元数据的访问方法及装置 |
| CN114844912A (zh) * | 2022-04-22 | 2022-08-02 | 北京志凌海纳科技有限公司 | 数据链路分配方法、装置及分布式块存储*** |
-
2023
- 2023-08-01 CN CN202310955557.XA patent/CN116962446B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10986174B1 (en) * | 2020-09-18 | 2021-04-20 | EMC IP Holding Company LLC | Automatic discovery and configuration of server nodes |
| CN114844912A (zh) * | 2022-04-22 | 2022-08-02 | 北京志凌海纳科技有限公司 | 数据链路分配方法、装置及分布式块存储*** |
| CN114827145A (zh) * | 2022-04-24 | 2022-07-29 | 阿里巴巴（中国）有限公司 | 服务器集群***、元数据的访问方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116962446A (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11886731B2 (en) | Hot data migration method, apparatus, and system | |
| CN106534328B (zh) | 节点连接方法及分布式计算*** | |
| EP2435916B1 (en) | Cache data processing using cache cluster with configurable modes | |
| CN111615066B (zh) | 一种基于广播的分布式微服务注册及调用方法 | |
| JP6198737B2 (ja) | トラフィックディレクタ環境におけるリソースサーバの動的な発見のためのシステムおよび方法ならびに構成 | |
| US7225356B2 (en) | System for managing operational failure occurrences in processing devices | |
| US20200050479A1 (en) | Blockchain network and task scheduling method therefor | |
| US20130007253A1 (en) | Method, system and corresponding device for load balancing | |
| CN103581276A (zh) | 集群管理装置、***、业务客户端及相应方法 | |
| US9390156B2 (en) | Distributed directory environment using clustered LDAP servers | |
| US7836351B2 (en) | System for providing an alternative communication path in a SAS cluster | |
| CN113839862B (zh) | Mclag邻居之间同步arp信息的方法、***、终端及存储介质 | |
| CN114265753A (zh) | 消息队列的管理方法、管理***和电子设备 | |
| CN108512753B (zh) | 一种集群文件***中消息传输的方法及装置 | |
| US7334038B1 (en) | Broadband service control network | |
| US9544371B1 (en) | Method to discover multiple paths to disk devices cluster wide | |
| CN116962446B (zh) | 一种NVMe-oF链路动态管理方法及*** | |
| CN112491951A (zh) | 对等网络中的请求处理方法、服务器及存储介质 | |
| CN111880932A (zh) | 一种基于多网口的数据存储方法及装置 | |
| CN114928615B (zh) | 负载均衡方法、装置、设备及可读存储介质 | |
| CN112328404B (zh) | 负载均衡方法及装置、电子设备、计算机可读介质 | |
| US20230030168A1 (en) | Protection of i/o paths against network partitioning and component failures in nvme-of environments | |
| WO2021249173A1 (zh) | 一种分布式存储***及其异常处理方法和相关装置 | |
| US20200341968A1 (en) | Differential Update of Local Cache from Central Database | |
| CN116455963A (zh) | 集群节点注册方法、介质、装置及计算设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 8b, building 1, No. 48, Zhichun Road, Haidian District, Beijing 100098 Patentee after: Beijing Zhiling Haina Technology Co.,Ltd. Country or region after: China Address before: 8b, building 1, No. 48, Zhichun Road, Haidian District, Beijing 100098 Patentee before: Beijing zhilinghaina Technology Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |