CN113783765B - 一种实现云内网和云外网互通的方法、***、设备和介质 - Google Patents

一种实现云内网和云外网互通的方法、***、设备和介质 Download PDF

Info

Publication number
CN113783765B
CN113783765B CN202110912843.9A CN202110912843A CN113783765B CN 113783765 B CN113783765 B CN 113783765B CN 202110912843 A CN202110912843 A CN 202110912843A CN 113783765 B CN113783765 B CN 113783765B
Authority
CN
China
Prior art keywords
virtual
network
vtep
cloud
local area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110912843.9A
Other languages
English (en)
Other versions
CN113783765A (zh
Inventor
陈显桂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Data Technology Co Ltd
Original Assignee
Jinan Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Data Technology Co Ltd filed Critical Jinan Inspur Data Technology Co Ltd
Priority to CN202110912843.9A priority Critical patent/CN113783765B/zh
Publication of CN113783765A publication Critical patent/CN113783765A/zh
Application granted granted Critical
Publication of CN113783765B publication Critical patent/CN113783765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4641—Virtual LANs, VLANs, e.g. virtual private networks [VPN]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4633—Interconnection of networks using encapsulation techniques, e.g. tunneling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/25—Routing or path finding in a switch fabric
    • H04L49/253—Routing or path finding in a switch fabric using establishment or release of connections between ports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提出了一种实现云内网和云外网互通的方法、***、设备和介质，该方法包括对配置后网关集群中每台裸金属服务器均安装虚拟交换机、数据库和同步组件，将云内网和虚拟交换机的信息一次同步至数据库中；将虚拟IP地址作为数据传输隧道端点地址注册到一次同步后的数据库中，同步组件将收集的OVN上的虚拟交换机网卡信息二次同步至数据库；在二次同步后的数据库中注册逻辑网络，在裸金属服务器上配置与云外网通信的虚拟局域网，建立虚拟扩展局域网和虚拟局域网的映射；使用虚拟扩展局域网创建虚拟机，通过虚拟机与云外网通信。基于该方法还提出实现云内网和云外网互通的***、设备和介质，本发明提高了生产环境业务正常运行的稳定性。

Description

一种实现云内网和云外网互通的方法、***、设备和介质
技术领域
本发明属于云计算技术领域，特别涉及一种实现云内网和云外网互通的方法、***、设备和介质。
背景技术
近年来，云计算已经深深融入我们的日常生活中。OpenStack是现在比较成熟的开源云计算管理平台，它涵盖了计算、存储、网络等各项基础功能服务，得到了业界的广泛认可。依靠OpenStack在各行各业的大规模应用，OpenStack已经成为了行业的标准，OVN以OpenStack网络标准和接口标准作为依据，进行研发和设计，它完全适配了OpenStack各项功能。OVN(Open Virtual Network)是一款支持虚拟网络的分布式SDN软件***，OVN在OVS现有功能的基础上原生支持虚拟网络抽象，如L2、L3网络以及安全组。OVN实现的L2、L3以及安全组相关功能都是基于OVS流表实现。
目前很多客户的业务也由本地迁移到云上，但实际中也存在一些客户的服务对机器性能要求比较高，需要将服务运行在物理机内，如：数据库服务等，传统业务的数据库服务大都运行在本地数据中心内的物理机上，为了满足云内的业务能够访问云外的数据库，OVN社区提供了云内网络和云外网络互通的方案，但是方案并不是高可用的，易发生单点故障，导致云内外网络不通，影响用户正常业务运行，给客户带来不佳的使用体验。
发明内容
为了解决上述技术问题，本发明提出了一种实现云内网和云外网互通的方法、***、设备和介质，通过软件实现，摆脱了对硬件的依赖，有效解决了硬件厂商捆绑的问题，提高产品竞争力，高可用有效的避免了单点故障，增强用户粘性。
为实现上述目的，本发明采用以下技术方案：
一种实现云内网和云外网互通的方法，包括以下步骤：
对配置后网关集群中每台裸金属服务器均安装虚拟交换机、vtep数据库和配置同步组件，通过同步组件将云内网和虚拟交换机的信息一次同步至vtep数据库中；
将配置网关集群时采用的虚拟IP地址作为数据传输隧道端点地址注册到一次同步后的vtep数据库中，同步组件将收集的分布式SDN控制器上的虚拟交换机网卡信息二次同步至vtep数据库；
在二次同步后的vtep数据库中注册逻辑网络，对应云内网中的虚拟扩展局域网；在裸金属服务器上配置与云外网通信的虚拟局域网，建立虚拟扩展局域网和虚拟局域网的映射；使用虚拟扩展局域网创建虚拟机，通过虚拟机与云外网通信。
进一步的，所述配置网关集群的过程包括：
搭建网关集群，并对网关集群中的每台裸金属服务器均安装高可用软件；
设置网关集群中其中一台裸金属服务器作为主节点，除主节点之外的其余裸金属服务器为备节点；
配置一个IP地址作为所有节点的虚拟IP地址；所有节点包括主节点和备节点。
进一步的，所述vtep数据库为虚拟交换机的数据库；所述vtep数据库用于存放逻辑网络、裸金属服务器网卡、以及虚拟局域网与逻辑网络的绑定关系和云内网虚拟机的mac地址信息。
进一步的，所述通过同步组件将云内网和虚拟交换机的信息一次同步至vtep数据库中的过程为：进程北向连接分布式SDN控制器，南向连接vtep数据库，用于同步云内网和虚拟交换机的信息至vtep数据库中。
进一步的，所述在二次同步后的vtep数据库中注册逻辑网络，对应云内网中的虚拟扩展局域网；在裸金属服务器上配置与云外网通信的虚拟局域网，建立虚拟扩展局域网和虚拟局域网的映射的过程为：
在云内网创建虚拟扩展局域网，用于与云外网通信；
在vtep数据库中注册逻辑网络，其中逻辑网络对应与所述虚拟扩展局域网；
将需要与所述虚拟扩展局域网互通的裸金属服务器上的网卡端口绑定至逻辑网络；流表模拟器根据绑定关系生成虚拟局域网的流表；
在云内网创建vtep端口，将vtep端口的数据传输隧道端点地址配置为虚拟IP地址，vtep端口对应的网络名称为逻辑网络的名称。
进一步的，在建立虚拟扩展局域网和虚拟局域网的映射之后还包括：通过在裸金属服务器上启动流表模拟器、同步组件和高可用软件，实时监测绑定关系变化以及主备节点的健康活动状况；所述流表模拟器用于在裸金属服务器上生成vtep端点，处理虚拟扩展局域网数据包的发送和接收；以及读取vtep数据库中绑定关系，生成裸金属服务器网卡上的收相关流表以及虚拟扩展局域网和虚拟局域网转换流表，进行数据包的处理转发。
进一步的，所述使用所述虚拟扩展局域网创建虚拟机，通过虚拟机与云外网通信的过程为：
在云内网的虚拟扩展局域网上创建vtep端口，配置vtep端口的数据传输隧道端点地址为虚拟IP地址；
配置分布式SDN控制器内的逻辑流表将所有未知的mac地址数据包都指向vtep端口，vtep端口通过虚拟扩展局域网隧道将数据包通过虚拟IP地址发送至主节点裸金属服务器。
本发明还提出了一种实现云内网和云外网互通的***，包括第一同步模块、第二同步模块和通信模块；
所述第一同步模块用于对配置后网关集群中每台裸金属服务器均安装虚拟交换机、vtep数据库和配置同步组件，通过同步组件将云内网和虚拟交换机的信息一次同步至vtep数据库中；
所述第二同步模块用于将配置网关集群时采用的虚拟IP地址作为数据传输隧道端点地址注册到一次同步后的vtep数据库中，同步组件将收集的分布式SDN控制器上的虚拟交换机网卡信息二次同步至vtep数据库；
所述通信模块用于在二次同步后的vtep数据库中注册逻辑网络，对应云内网中的虚拟扩展局域网；在裸金属服务器上配置与云外网通信的虚拟局域网，建立虚拟扩展局域网和虚拟局域网的映射；使用虚拟扩展局域网创建虚拟机，通过虚拟机与云外网通信。
本发明还提出了一种设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述的方法步骤。
本发明还提出了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法步骤。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
本发明提出了一种实现云内网和云外网互通的方法、***、设备和介质，该方法包括对配置后网关集群中每台裸金属服务器均安装虚拟交换机、vtep数据库和配置同步组件，通过同步组件将云内网和虚拟交换机的信息一次同步至vtep数据库中；将配置网关集群时采用的虚拟IP地址作为数据传输隧道端点地址注册到一次同步后的vtep数据库中，同步组件将收集的分布式SDN控制器上的虚拟交换机网卡信息二次同步至vtep数据库；在二次同步后的vtep数据库中注册逻辑网络，对应云内网中的虚拟扩展局域网；在裸金属服务器上配置与云外网通信的虚拟局域网，建立虚拟扩展局域网和虚拟局域网的映射；使用虚拟扩展局域网创建虚拟机，通过虚拟机与云外网通信。本方法在OpenStack平台上基于OVN实现的云内vxlan网络与云外vlan网络互通，使用keepalived软件，采用主备模式，各节点都使用VIP向OVN注册tunnel，正常情况下VIP位于主节点上由主节点提供互通服务，当主节点发生故障keepalived基于vrrp协议从备节点中选择一个主节点，VIP漂移到被选中的备节点上成为主节点，提供互通服务。keepalived软件是开源软件，能够为客户节约成本，此外也能够灵活扩容。本方法全部通过软件实现，摆脱了对硬件的依赖，有效解决了硬件厂商捆绑的问题，提高产品竞争力，高可用有效的避免了单点故障，增强用户粘性。巧妙的实现了高可用，提高了生产环境业务正常运行的稳定性。
基于一种实现云内网和云外网互通的方法，本发明还提出了一种实现云内网和云外网互通的***、设备和存储介质，同样也具有上述方法的作用，在此不做赘述。
附图说明
如图1为本发明实施例1一种实现云内网和云外网互通的架构连接示意图；
如图2为本发明实施例1一种实现云内网和云外网互通的方法流程图；
如图3为本发明实施例2一种实现云内网和云外网互通的***示意图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
实施例1
本发明实施例1提出了一种实现云内网和云外网互通的方法，在OpenStack平台上基于OVN实现的云内vxlan网络与云外vlan网络互通。本方法的核心是使用keepalived软件，采用主备模式，各节点都使用虚拟IP地址VIP向OVN注册tunnel，正常情况下虚拟IP地址VIP位于主节点上由主节点提供互通服务，当主节点发生故障keepalived，基于vrrp协议从备节点中选择一个主节点，VIP漂移到被选中的备节点上成为主节点，提供互通服务。
其中Ovn：Open Virtual Network分布式SDN控制器；
Vxlan：Virtual eXtensible Local Area Network虚拟扩展局域网；
Vlan：Virtual Local Area Network虚拟局域网。
Keepalived：一款基于vrrp协议实现服务高可用的软件
本发明实现的过程不局限于Keepalived软件，也可以选择Heartbeat软件。
本发明中实现的总体过程为：对配置后网关集群中每台裸金属服务器均安装虚拟交换机、vtep数据库和配置同步组件，通过同步组件将云内网和虚拟交换机的信息一次同步至vtep数据库中；
将配置网关集群时采用的虚拟IP地址作为数据传输隧道端点地址注册到一次同步后的vtep数据库中，同步组件将收集的分布式SDN控制器上的虚拟交换机网卡信息二次同步至vtep数据库；
在二次同步后的vtep数据库中注册逻辑网络，对应云内网中的虚拟扩展局域网；在裸金属服务器上配置与云外网通信的虚拟局域网，建立虚拟扩展局域网和虚拟局域网的映射；使用虚拟扩展局域网创建虚拟机，通过虚拟机与云外网通信。
如图1为本发明实施例1一种实现云内网和云外网互通的架构连接示意图。如图2为本发明实施例1一种实现云内网和云外网互通的方法流程图；
在步骤S201中，准备n台(n>1)裸金属服务器搭建网关集群，在n台裸金属上安装操作***以及keepalived软件；该步骤中，使用yum install keepalived命令安装keepalived软件。
在步骤S202中，选择一台裸金属服务器为主节点，其它节点为备节点，keepalived配置为主备模式。
该步骤中，主节点的/etc/keepalived/keepalived.conf配置文件中state配置为MASTER，其它备节点的/etc/keepalived/keepalived.conf配置文件中state配置为BACKUP；从管理网上选取一个未使用的IP作为虚拟IP地址VIP并配置到所有节点的keepalived.conf中的virtual_ipaddress配置选项中；
在步骤S203中，在所有裸金属服务器上安装操作***并配置OpenvSwitch和vtep数据库，其中OpenvSwitch为虚拟交换机；vtep数据库为OpenvSwitch的数据库。vtep数据库用于存放逻辑网络(对应于OpenStack vxlan网络)、裸金属服务器网卡以及vlan网络与逻辑网络绑定关系、OpenStack中虚拟机的mac地址信息等。
在步骤S204中，在裸金属服务器上配置ovn-vtep组件，进程北向连接OVN，南向连接vtep数据库，用来同步OpenStack云内网络和虚拟机相关信息至vtep数据库中。其中ovn-vtep组件为ovn网关数据同步组件，本发明中简化为同步组件。
在步骤S205中，在裸金属服务器上使用步骤S202中的虚拟IP地址VIP作为tunnel地址注册到vtep数据库中，ovn-vtep组件发现并注册tunnel信息到OVN，OVN纳管相应的裸金属服务器；ovn-vtep组件将收集到的OVN上虚拟机网卡信息(比如：mac地址)同步到vtep数据库，为生成云内外互访的流表提供数据来源；其中tunnel地址为数据传输隧道端点地址。
在步骤S206中，在OpenStack平台创建vxlan类型的网络，用于和云外通信的网络。
在步骤S207中，在vtep数据中注册逻辑网络，逻辑网络对应OpenStack网络中vxlan网络。
在步骤S208中，将需要和云内vxlan网络互通的裸金属服务器上的网卡端口绑定至上面创建的逻辑网络，包括网卡端口的名称、vlan号等信息，vtep模拟器会根据绑定关系生成相关修改vlan的流表。其中vtep模拟器是一个脚本文件，作为常驻进程运行，主要生成流表；即vtep模拟器为流表模拟器。
在步骤S209中，在OpenStack网络上创建vtep端口，配置vtep端口的options选项tunnel地址为VIP地址，对应的网络名称为vtep数据库内的逻辑网络名称。
在步骤S210中，分别在裸金属上启动vtep模拟器、ovn-vtep组件、keepalived，他们作为常驻进程，实时监测绑定关系变化以及主备的健康活动状况。其中，vtep模拟器用于在裸金属服务器上生成vtep端点，处理vxlan数据包的发送和接收；读取vtep数据库中绑定关系，生成裸金属网卡上的收相关流表以及vxlan和vlan转换流表，进行数据包的处理转发；
在步骤S211中，在OpenStack平台使用vxlan网络创建虚拟机，创建完成之外在虚拟机内访问同网段的云外主机能够正常通信；
该步骤中，在OpenStack上的vxlan网络上创建vtep端口，配置vtep端口和VIP地址以及vtep数据库内的逻辑网络对应关系；配置OVN内的逻辑流表将所有OVN未知的mac地址数据包都指向此vtep端口，vtep端口通过vxlan隧道将数据包通过VIP发送至主节点裸金属服务器；
本方法还包括，主节点的裸金属服务器通过关机来模拟故障，关机后，在虚拟机内部继续访问同网段的云外主机能够正常通信，即验证了高可用，不受单节点故障影响正常通信。
本方法在OpenStack平台上基于OVN实现的云内vxlan网络与云外vlan网络互通，使用keepalived软件，采用主备模式，各节点都使用VIP向OVN注册tunnel，正常情况下VIP位于主节点上由主节点提供互通服务，当主节点发生故障keepalived基于vrrp协议从备节点中选择一个主节点，VIP漂移到被选中的备节点上成为主节点，提供互通服务。keepalived软件是开源软件，能够为客户节约成本，此外也能够灵活扩容。本方法全部通过软件实现，摆脱了对硬件的依赖，有效解决了硬件厂商捆绑的问题，提高产品竞争力，高可用有效的避免了单点故障，增强用户粘性。巧妙的实现了高可用，提高了生产环境业务正常运行的稳定性。
实施例2
基于本发明实施例1提出的一种实现云内网和云外网互通的方法，本发明实施例2还提出了一种实现云内网和云外网互通的***。如图3为本发明实施例2一种实现云内网和云外网互通的***示意图。该***包括：第一同步模块、第二同步模块和通信模块；
第一同步模块用于对配置后网关集群中每台裸金属服务器均安装虚拟交换机、vtep数据库和配置同步组件，通过同步组件将云内网和虚拟交换机的信息一次同步至vtep数据库中；
第二同步模块用于将配置网关集群时采用的虚拟IP地址作为数据传输隧道端点地址注册到一次同步后的vtep数据库中，同步组件将收集的分布式SDN控制器上的虚拟交换机网卡信息二次同步至vtep数据库；
通信模块用于在二次同步后的vtep数据库中注册逻辑网络，对应云内网中的虚拟扩展局域网；在裸金属服务器上配置与云外网通信的虚拟局域网，建立虚拟扩展局域网和虚拟局域网的映射；使用虚拟扩展局域网创建虚拟机，通过虚拟机与云外网通信。
其中第一同步模块实现的过程为：
准备n台(n>1)裸金属服务器搭建网关集群，在n台裸金属上安装操作***以及keepalived软件；该步骤中，使用yum install keepalived命令安装keepalived软件。
选择一台裸金属服务器为主节点，其它节点为备节点，keepalived配置为主备模式。主节点的/etc/keepalived/keepalived.conf配置文件中state配置为MASTER，其它备节点的/etc/keepalived/keepalived.conf配置文件中state配置为BACKUP；从管理网上选取一个未使用的IP作为虚拟IP地址VIP并配置到所有节点的keepalived.conf中的virtual_ipaddress配置选项中；
在所有裸金属服务器上安装操作***并配置OpenvSwitch和vtep数据库，其中OpenvSwitch为虚拟交换机；vtep数据库为OpenvSwitch的数据库。vtep数据库用于存放逻辑网络(对应于OpenStack vxlan网络)、裸金属服务器网卡以及vlan网络与逻辑网络绑定关系、OpenStack中虚拟机的mac地址信息等。
在裸金属服务器上配置ovn-vtep组件，进程北向连接OVN，南向连接vtep数据库，用来同步OpenStack云内网络和虚拟机相关信息至vtep数据库中。其中ovn-vtep组件为ovn网关数据同步组件，本发明中简化为同步组件。
第二同步模块实现的过程为：在裸金属服务器上使用步骤S202中的虚拟IP地址VIP作为tunnel地址注册到vtep数据库中，ovn-vtep组件发现并注册tunnel信息到OVN，OVN纳管相应的裸金属服务器；ovn-vtep组件将收集到的OVN上虚拟机网卡信息(比如：mac地址)同步到vtep数据库，为生成云内外互访的流表提供数据来源；其中tunnel地址为数据传输隧道端点地址。
通信模块实现的过程为：
在OpenStack平台创建vxlan类型的网络，用于和云外通信的网络。
在vtep数据中注册逻辑网络，逻辑网络对应OpenStack网络中vxlan网络。
将需要和云内vxlan网络互通的裸金属服务器上的网卡端口绑定至上面创建的逻辑网络，包括网卡端口的名称、vlan号等信息，vtep模拟器会根据绑定关系生成相关修改vlan的流表。其中vtep模拟器是一个脚本文件，作为常驻进程运行，主要生成流表；即vtep模拟器为流表模拟器。
在OpenStack网络上创建vtep端口，配置vtep端口的options选项tunnel地址为VIP地址，对应的网络名称为vtep数据库内的逻辑网络名称。
分别在裸金属上启动vtep模拟器、ovn-vtep组件、keepalived，他们作为常驻进程，实时监测绑定关系变化以及主备的健康活动状况。其中，vtep模拟器用于在裸金属服务器上生成vtep端点，处理vxlan数据包的发送和接收；读取vtep数据库中绑定关系，生成裸金属网卡上的收相关流表以及vxlan和vlan转换流表，进行数据包的处理转发；
在OpenStack平台使用vxlan网络创建虚拟机，创建完成之外在虚拟机内访问同网段的云外主机能够正常通信；在OpenStack上的vxlan网络上创建vtep端口，配置vtep端口和VIP地址以及vtep数据库内的逻辑网络对应关系；配置OVN内的逻辑流表将所有OVN未知的mac地址数据包都指向此vtep端口，vtep端口通过vxlan隧道将数据包通过VIP发送至主节点裸金属服务器；
该模块还包括主节点的裸金属服务器通过关机来模拟故障，关机后，在虚拟机内部继续访问同网段的云外主机能够正常通信，即验证了高可用，不受单节点故障影响正常通信。
实施例3
本发明还提出了一种设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现方法步骤如下：
在步骤S201中，准备n台(n>1)裸金属服务器搭建网关集群，在n台裸金属上安装操作***以及keepalived软件；该步骤中，使用yum install keepalived命令安装keepalived软件。
在步骤S202中，选择一台裸金属服务器为主节点，其它节点为备节点，keepalived配置为主备模式。
该步骤中，主节点的/etc/keepalived/keepalived.conf配置文件中state配置为MASTER，其它备节点的/etc/keepalived/keepalived.conf配置文件中state配置为BACKUP；从管理网上选取一个未使用的IP作为虚拟IP地址VIP并配置到所有节点的keepalived.conf中的virtual_ipaddress配置选项中；
在步骤S203中，在所有裸金属服务器上安装操作***并配置OpenvSwitch和vtep数据库，其中OpenvSwitch为虚拟交换机；vtep数据库为OpenvSwitch的数据库。vtep数据库用于存放逻辑网络(对应于OpenStack vxlan网络)、裸金属服务器网卡以及vlan网络与逻辑网络绑定关系、OpenStack中虚拟机的mac地址信息等。
在步骤S204中，在裸金属服务器上配置ovn-vtep组件，进程北向连接OVN，南向连接vtep数据库，用来同步OpenStack云内网络和虚拟机相关信息至vtep数据库中。其中ovn-vtep组件为ovn网关数据同步组件，本发明中简化为同步组件。
在步骤S205中，在裸金属服务器上使用步骤S202中的虚拟IP地址VIP作为tunnel地址注册到vtep数据库中，ovn-vtep组件发现并注册tunnel信息到OVN，OVN纳管相应的裸金属服务器；ovn-vtep组件将收集到的OVN上虚拟机网卡信息(比如：mac地址)同步到vtep数据库，为生成云内外互访的流表提供数据来源；其中tunnel地址为数据传输隧道端点地址。
在步骤S206中，在OpenStack平台创建vxlan类型的网络，用于和云外通信的网络。
在步骤S207中，在vtep数据中注册逻辑网络，逻辑网络对应OpenStack网络中vxlan网络。
在步骤S208中，将需要和云内vxlan网络互通的裸金属服务器上的网卡端口绑定至上面创建的逻辑网络，包括网卡端口的名称、vlan号等信息，vtep模拟器会根据绑定关系生成相关修改vlan的流表。其中vtep模拟器是一个脚本文件，作为常驻进程运行，主要生成流表；即vtep模拟器为流表模拟器。
在步骤S209中，在OpenStack网络上创建vtep端口，配置vtep端口的options选项tunnel地址为VIP地址，对应的网络名称为vtep数据库内的逻辑网络名称。
在步骤S210中，分别在裸金属上启动vtep模拟器、ovn-vtep组件、keepalived，他们作为常驻进程，实时监测绑定关系变化以及主备的健康活动状况。其中，vtep模拟器用于在裸金属服务器上生成vtep端点，处理vxlan数据包的发送和接收；读取vtep数据库中绑定关系，生成裸金属网卡上的收相关流表以及vxlan和vlan转换流表，进行数据包的处理转发；
在步骤S211中，在OpenStack平台使用vxlan网络创建虚拟机，创建完成之外在虚拟机内访问同网段的云外主机能够正常通信；
该步骤中，在OpenStack上的vxlan网络上创建vtep端口，配置vtep端口和VIP地址以及vtep数据库内的逻辑网络对应关系；配置OVN内的逻辑流表将所有OVN未知的mac地址数据包都指向此vtep端口，vtep端口通过vxlan隧道将数据包通过VIP发送至主节点裸金属服务器；
本方法还包括，主节点的裸金属服务器通过关机来模拟故障，关机后，在虚拟机内部继续访问同网段的云外主机能够正常通信，即验证了高可用，不受单节点故障影响正常通信。
需要说明：本发明技术方案还提供了一种电子设备，包括：通信接口，能够与其它设备比如网络设备等进行信息交互；处理器，与通信接口连接，以实现与其它设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的一种实现云内网和云外网互通的方法，而所述计算机程序存储在存储器上。当然，实际应用时，电子设备中的各个组件通过总线***耦合在一起。可理解，总线***用于实现这些组件之间的连接通信。总线***除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。本申请实施例中的存储器用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何计算机程序。可以理解，存储器可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(FlashMemory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random AccessMemory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random AccessMemory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。上述本申请实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、DSP(Digital Signal Processing，即指能够实现数字信号处理技术的芯片)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器读取存储器中的程序，结合其硬件完成前述方法的步骤。处理器执行所述程序时实现本申请实施例的各个方法中的相应流程，为了简洁，在此不再赘述。
实施例4
本发明还提出了一种可读存储介质，可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现方法步骤如下：
在步骤S201中，准备n台(n>1)裸金属服务器搭建网关集群，在n台裸金属上安装操作***以及keepalived软件；该步骤中，使用yum install keepalived命令安装keepalived软件。
在步骤S202中，选择一台裸金属服务器为主节点，其它节点为备节点，keepalived配置为主备模式。
该步骤中，主节点的/etc/keepalived/keepalived.conf配置文件中state配置为MASTER，其它备节点的/etc/keepalived/keepalived.conf配置文件中state配置为BACKUP；从管理网上选取一个未使用的IP作为虚拟IP地址VIP并配置到所有节点的keepalived.conf中的virtual_ipaddress配置选项中；
在步骤S203中，在所有裸金属服务器上安装操作***并配置OpenvSwitch和vtep数据库，其中OpenvSwitch为虚拟交换机；vtep数据库为OpenvSwitch的数据库。vtep数据库用于存放逻辑网络(对应于OpenStack vxlan网络)、裸金属服务器网卡以及vlan网络与逻辑网络绑定关系、OpenStack中虚拟机的mac地址信息等。
在步骤S204中，在裸金属服务器上配置ovn-vtep组件，进程北向连接OVN，南向连接vtep数据库，用来同步OpenStack云内网络和虚拟机相关信息至vtep数据库中。其中ovn-vtep组件为ovn网关数据同步组件，本发明中简化为同步组件。
在步骤S205中，在裸金属服务器上使用步骤S202中的虚拟IP地址VIP作为tunnel地址注册到vtep数据库中，ovn-vtep组件发现并注册tunnel信息到OVN，OVN纳管相应的裸金属服务器；ovn-vtep组件将收集到的OVN上虚拟机网卡信息(比如：mac地址)同步到vtep数据库，为生成云内外互访的流表提供数据来源；其中tunnel地址为数据传输隧道端点地址。
在步骤S206中，在OpenStack平台创建vxlan类型的网络，用于和云外通信的网络。
在步骤S207中，在vtep数据中注册逻辑网络，逻辑网络对应OpenStack网络中vxlan网络。
在步骤S208中，将需要和云内vxlan网络互通的裸金属服务器上的网卡端口绑定至上面创建的逻辑网络，包括网卡端口的名称、vlan号等信息，vtep模拟器会根据绑定关系生成相关修改vlan的流表。其中vtep模拟器是一个脚本文件，作为常驻进程运行，主要生成流表；即vtep模拟器为流表模拟器。
在步骤S209中，在OpenStack网络上创建vtep端口，配置vtep端口的options选项tunnel地址为VIP地址，对应的网络名称为vtep数据库内的逻辑网络名称。
在步骤S210中，分别在裸金属上启动vtep模拟器、ovn-vtep组件、keepalived，他们作为常驻进程，实时监测绑定关系变化以及主备的健康活动状况。其中，vtep模拟器用于在裸金属服务器上生成vtep端点，处理vxlan数据包的发送和接收；读取vtep数据库中绑定关系，生成裸金属网卡上的收相关流表以及vxlan和vlan转换流表，进行数据包的处理转发；
在步骤S211中，在OpenStack平台使用vxlan网络创建虚拟机，创建完成之外在虚拟机内访问同网段的云外主机能够正常通信；
该步骤中，在OpenStack上的vxlan网络上创建vtep端口，配置vtep端口和VIP地址以及vtep数据库内的逻辑网络对应关系；配置OVN内的逻辑流表将所有OVN未知的mac地址数据包都指向此vtep端口，vtep端口通过vxlan隧道将数据包通过VIP发送至主节点裸金属服务器；
本方法还包括，主节点的裸金属服务器通过关机来模拟故障，关机后，在虚拟机内部继续访问同网段的云外主机能够正常通信，即验证了高可用，不受单节点故障影响正常通信。
本申请实施例提供的一种实现云内网和云外网互通的设备和存储介质中相关部分的说明可以参见本申请实施例1提供的一种实现云内网和云外网互通的方法中对应部分的详细说明，在此不再赘述。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制。对于所属领域的技术人员来说，在上述说明的基础上还可以做出其它不同形式的修改或变形。这里无需也无法对所有的实施方式予以穷举。在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种实现云内网和云外网互通的方法，其特征在于，包括以下步骤：
对配置后网关集群中每台裸金属服务器均安装虚拟交换机、vtep数据库和配置同步组件，通过同步组件将云内网和虚拟交换机的信息一次同步至vtep数据库中；
将配置网关集群时采用的虚拟IP地址作为数据传输隧道端点地址注册到一次同步后的vtep数据库中，同步组件将收集的分布式SDN控制器上的虚拟交换机网卡信息二次同步至vtep数据库；
在二次同步后的vtep数据库中注册逻辑网络，对应云内网中的虚拟扩展局域网；在裸金属服务器上配置与云外网通信的虚拟局域网，建立虚拟扩展局域网和虚拟局域网的映射；使用虚拟扩展局域网创建虚拟机，通过虚拟机与云外网通信；
建立虚拟扩展局域网和虚拟局域网的映射的过程为：
在云内网创建虚拟扩展局域网，用于与云外网通信；
在vtep数据库中注册逻辑网络，其中逻辑网络对应与所述虚拟扩展局域网；
将需要与所述虚拟扩展局域网互通的裸金属服务器上的网卡端口绑定至逻辑网络；流表模拟器根据绑定关系生成虚拟局域网的流表；
在云内网创建vtep端口，将vtep端口的数据传输隧道端点地址配置为虚拟IP地址，vtep端口对应的网络名称为逻辑网络的名称；
在建立虚拟扩展局域网和虚拟局域网的映射之后还包括：通过在裸金属服务器上启动流表模拟器、同步组件和高可用软件，实时监测绑定关系变化以及主备节点的健康活动状况；所述流表模拟器用于在裸金属服务器上生成vtep端点，处理虚拟扩展局域网数据包的发送和接收；以及读取vtep数据库中绑定关系，生成裸金属服务器网卡上的收相关流表以及虚拟扩展局域网和虚拟局域网转换流表，进行数据包的处理转发；
所述使用所述虚拟扩展局域网创建虚拟机，通过虚拟机与云外网通信的过程为：
在云内网的虚拟扩展局域网上创建vtep端口，配置vtep端口的数据传输隧道端点地址为虚拟IP地址；
配置分布式SDN控制器内的逻辑流表将所有未知的mac地址数据包都指向vtep端口，vtep端口通过虚拟扩展局域网隧道将数据包通过虚拟IP地址发送至主节点裸金属服务器。
2.根据权利要求1所述的一种实现云内网和云外网互通的方法，其特征在于，所述配置网关集群的过程包括：
搭建网关集群，并对网关集群中的每台裸金属服务器均安装高可用软件；
设置网关集群中其中一台裸金属服务器作为主节点，除主节点之外的其余裸金属服务器为备节点；
配置一个IP地址作为所有节点的虚拟IP地址；所有节点包括主节点和备节点。
3.根据权利要求1所述的一种实现云内网和云外网互通的方法，其特征在于，所述vtep数据库为虚拟交换机的数据库；所述vtep数据库用于存放逻辑网络、裸金属服务器网卡、以及虚拟局域网与逻辑网络的绑定关系和云内网虚拟机的mac地址信息。
4.根据权利要求1所述的一种实现云内网和云外网互通的方法，其特征在于，所述通过同步组件将云内网和虚拟交换机的信息一次同步至vtep数据库中的过程为：进程北向连接分布式SDN控制器，南向连接vtep数据库，用于同步云内网和虚拟交换机的信息至vtep数据库中。
5.一种实现云内网和云外网互通的***，其特征在于，包括第一同步模块、第二同步模块和通信模块；
所述第一同步模块用于对配置后网关集群中每台裸金属服务器均安装虚拟交换机、vtep数据库和配置同步组件，通过同步组件将云内网和虚拟交换机的信息一次同步至vtep数据库中；
所述第二同步模块用于将配置网关集群时采用的虚拟IP地址作为数据传输隧道端点地址注册到一次同步后的vtep数据库中，同步组件将收集的分布式SDN控制器上的虚拟交换机网卡信息二次同步至vtep数据库；
所述通信模块用于在二次同步后的vtep数据库中注册逻辑网络，对应云内网中的虚拟扩展局域网；在裸金属服务器上配置与云外网通信的虚拟局域网，建立虚拟扩展局域网和虚拟局域网的映射；使用虚拟扩展局域网创建虚拟机，通过虚拟机与云外网通信；建立虚拟扩展局域网和虚拟局域网的映射的过程为：
在云内网创建虚拟扩展局域网，用于与云外网通信；
在vtep数据库中注册逻辑网络，其中逻辑网络对应与所述虚拟扩展局域网；
将需要与所述虚拟扩展局域网互通的裸金属服务器上的网卡端口绑定至逻辑网络；流表模拟器根据绑定关系生成虚拟局域网的流表；
在云内网创建vtep端口，将vtep端口的数据传输隧道端点地址配置为虚拟IP地址，vtep端口对应的网络名称为逻辑网络的名称；
在建立虚拟扩展局域网和虚拟局域网的映射之后还包括：通过在裸金属服务器上启动流表模拟器、同步组件和高可用软件，实时监测绑定关系变化以及主备节点的健康活动状况；所述流表模拟器用于在裸金属服务器上生成vtep端点，处理虚拟扩展局域网数据包的发送和接收；以及读取vtep数据库中绑定关系，生成裸金属服务器网卡上的收相关流表以及虚拟扩展局域网和虚拟局域网转换流表，进行数据包的处理转发；
所述使用所述虚拟扩展局域网创建虚拟机，通过虚拟机与云外网通信的过程为：
在云内网的虚拟扩展局域网上创建vtep端口，配置vtep端口的数据传输隧道端点地址为虚拟IP地址；
配置分布式SDN控制器内的逻辑流表将所有未知的mac地址数据包都指向vtep端口，vtep端口通过虚拟扩展局域网隧道将数据包通过虚拟IP地址发送至主节点裸金属服务器。
6.一种设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任意一项所述的方法步骤。
7.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任意一项所述的方法步骤。
CN202110912843.9A 2021-08-10 2021-08-10 一种实现云内网和云外网互通的方法、***、设备和介质 Active CN113783765B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110912843.9A CN113783765B (zh) 2021-08-10 2021-08-10 一种实现云内网和云外网互通的方法、***、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110912843.9A CN113783765B (zh) 2021-08-10 2021-08-10 一种实现云内网和云外网互通的方法、***、设备和介质

Publications (2)

Publication Number Publication Date
CN113783765A CN113783765A (zh) 2021-12-10
CN113783765B true CN113783765B (zh) 2023-01-06

Family

ID=78837179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110912843.9A Active CN113783765B (zh) 2021-08-10 2021-08-10 一种实现云内网和云外网互通的方法、***、设备和介质

Country Status (1)

Country Link
CN (1) CN113783765B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114024799B (zh) * 2022-01-06 2022-04-01 杭州优云科技有限公司 一种裸金属服务器和虚拟化网络互联的方法和装置
CN114553637B (zh) * 2022-02-25 2024-03-19 华云数据控股集团有限公司 分布式裸金属服务器接入网络的方法及应用
CN115277349B (zh) * 2022-07-18 2024-01-02 天翼云科技有限公司 一种配置分布式网关的方法、开放虚拟网络及存储介质
CN115314356B (zh) * 2022-08-09 2023-11-24 中电云计算技术有限公司 一种基于ovn的跨地域分布式sdn控制装置和方法
CN115460040A (zh) * 2022-08-30 2022-12-09 海南视联通信技术有限公司 一种业务处理方法、装置、终端设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109495405A (zh) * 2018-12-12 2019-03-19 平安科技（深圳）有限公司 一种裸金属服务器和云主机网络互通的方法及交换机
CN112787795A (zh) * 2019-11-07 2021-05-11 高新兴科技集团股份有限公司 云服务器时钟同步方法、计算机存储介质及电子设备
WO2021139269A1 (zh) * 2020-08-06 2021-07-15 平安科技（深圳）有限公司 Overlay网络中基于Open vSwitch内核态流表的分布式路由方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015123849A1 (en) * 2014-02-20 2015-08-27 Wenbo Mao Method and apparatus for extending the internet into intranets to achieve scalable cloud network
US10057084B2 (en) * 2015-10-06 2018-08-21 Citrix Systems, Inc. Systems and methods of extending on premise network into the cloud
CN107770064A (zh) * 2016-08-19 2018-03-06 华为技术有限公司 一种跨网络通信的方法、设备
CN107959654B (zh) * 2016-10-14 2020-09-25 北京金山云网络技术有限公司 一种数据传输方法、装置及混合云***
CN107135134B (zh) * 2017-03-29 2019-09-13 广东网金控股股份有限公司 基于虚拟交换机和sdn技术的私用网络接入方法和***
CN111447176B (zh) * 2020-02-26 2023-07-21 中国平安人寿保险股份有限公司 内网安全访问外网的方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109495405A (zh) * 2018-12-12 2019-03-19 平安科技（深圳）有限公司 一种裸金属服务器和云主机网络互通的方法及交换机
CN112787795A (zh) * 2019-11-07 2021-05-11 高新兴科技集团股份有限公司 云服务器时钟同步方法、计算机存储介质及电子设备
WO2021139269A1 (zh) * 2020-08-06 2021-07-15 平安科技（深圳）有限公司 Overlay网络中基于Open vSwitch内核态流表的分布式路由方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SDN在Openstack云数据中心的技术研究;刘瑛;《移动通信》;20161130(第22期);全文 *
基于虚拟化技术的云数据中心基础设施规划方案;李自尊等;《河南科技》;20150305(第05期);全文 *

Also Published As

Publication number Publication date
CN113783765A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN113783765B (zh) 一种实现云内网和云外网互通的方法、***、设备和介质
CN103077242B (zh) 一种实现数据库服务器双机热备的方法
CN110572439B (zh) 一种基于元数据服务和虚拟转发网桥的云监控方法
JP2017201512A (ja) フレキシブルなｈｄｄ／ｓｓｄストレージサポートのシステムおよび方法
CN102035862A (zh) Svc集群中配置节点的故障移交方法和***
CN111581284A (zh) 一种数据库高可用性方法、装置、***和存储介质
CN107666493B (zh) 一种数据库配置方法及其设备
CN102214128A (zh) 多用途恢复环境
EP4390715A1 (en) Information processing method and apparatus
CN112579008A (zh) 容器编排引擎的存储部署方法、装置、设备及存储介质
CN112256477A (zh) 一种虚拟化容错方法及设备
WO2020233001A1 (zh) 双控构架分布式存储***、数据读取方法、装置和存储介质
US20240155023A1 (en) Method and system for implementing bare metal inspection process, device, and storage medium
CN111371620A (zh) 一种基于分布式缓存的裸机服务部署方法及***
CN104636441A (zh) 网络文件***实现方法和装置
US6356985B1 (en) Computer in multi-cluster system
CN117632374A (zh) 容器镜像的读取方法、介质、装置和计算设备
CN105354332A (zh) 基于bcp实现数据库和中间件互备的方法及***
CN112073499A (zh) 一种多机型云物理服务器的动态服务方法
US11979307B2 (en) Network switching method and apparatus, electronic device, and storage medium
US11489712B1 (en) Systems and methods for efficient configuration file management and distribution by network management systems
CN111064643B (zh) 一种节点服务器及其数据交互方法和相关装置
CN115622878A (zh) k8s网桥插件实现方法、装置、电子设备和可读存储介质
CN107819619A (zh) 一种实现网络文件***的访问不间断的方法
CN111444062B (zh) 管理云数据库的主节点和从节点的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant