CN116366370B - 一种非对称通信方法、***、存储介质和通信设备 - Google Patents

一种非对称通信方法、***、存储介质和通信设备 Download PDF

Info

Publication number
CN116366370B
CN116366370B CN202310621051.5A CN202310621051A CN116366370B CN 116366370 B CN116366370 B CN 116366370B CN 202310621051 A CN202310621051 A CN 202310621051A CN 116366370 B CN116366370 B CN 116366370B
Authority
CN
China
Prior art keywords
configuration information
database
asymmetric
information
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310621051.5A
Other languages
English (en)
Other versions
CN116366370A (zh
Inventor
李有
秦海中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202310621051.5A priority Critical patent/CN116366370B/zh
Publication of CN116366370A publication Critical patent/CN116366370A/zh
Application granted granted Critical
Publication of CN116366370B publication Critical patent/CN116366370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227Filtering policies
    • H04L63/0236Filtering by address, protocol, port number or service, e.g. IP-address or URL
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion
    • H04L47/125Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/30Peripheral units, e.g. input or output ports
    • H04L49/3009Header conversion, routing tables or routing tags
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/60Software-defined switches
    • H04L49/602Multilayer or multiprotocol switching, e.g. IP switching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227Filtering policies
    • H04L63/0263Rule management
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供一种非对称通信方法、***、存储介质和通信设备,涉及通信领域,所述方法包括:在网络接口支持非对称通信时,接收报文对应的配置信息;将所述配置信息写入北向数据库;在所述北向数据库写入所述配置信息后,编译所述配置信息得到编译结果,根据所述编译结果更新南向数据库;利用分布式控制器根据所述南向数据库更新二层交换机对应的逻辑流表;利用所述逻辑流表转发所述报文至目标虚拟端口。本申请能解决分布式控制器网络架构无法支持非对称流量通信的问题,能够满足客户对LVS‑DR模式负载均衡的使用,提高产品竞争力。

Description

一种非对称通信方法、***、存储介质和通信设备
技术领域
本申请涉及通信领域,特别涉及一种非对称通信方法、***、存储介质和通信设备。
背景技术
在云计算对外提供服务的时候,只希望对外暴漏一个IP地址(InternetProtocol,基于网际互连协议的网络地址),这样方便用户记录和方案,但只有一个客户端又无法满足高的访问量。此时就需要使用负载均衡技术,对外只暴漏一个VIP(VirtualInternet Protocol,虚拟网络地址)作为通信设备的IP地址,而通信设备不负责应答访问,只负责把应答按照一定的负载算法分担给真实通信设备即可。这样就可以通过使用多个真实通信设备来支撑大量业务,突破了业务量瓶颈问题。
大批量的报文从一个对外通信设备进和出依旧会给唯一的对外通信设备造成很大压力,该对外通信设备使用的即为上文所述VIP地址。而LVS-DR(Linux Virtual Server,基于Linux虚拟通信设备的直接路由请求调度技术)模式提供了一种非对称的负载模式可以解决这个问题,此种模式访问VIP的流量由对外通信设备进行负载分配,而应答的流量直接由真实通信设备回给客户端,不再经过对外通信设备。但遇到个问题,对于真实通信设备来说,报文是从对外通信设备来的,每收到客户端来的包,回包需要直接回给客户端,目前分布式控制器无法实现这种非对称的通信,导致无法使用LVS-DR模式来提供高性能服务。
发明内容
本申请的目的是提供一种非对称通信方法、***、计算机可读存储介质和通信设备,能够实现非对称通信,提高云服务性能。
为解决上述技术问题,本申请提供一种非对称通信方法,包括:
在网络接口支持非对称通信时,接收报文对应的配置信息;
将所述配置信息写入北向数据库;
在所述北向数据库写入所述配置信息后,编译所述配置信息得到编译结果,根据所述编译结果更新南向数据库;
利用分布式控制器根据所述南向数据库更新二层交换机对应的逻辑流表;
利用所述逻辑流表转发所述报文至目标虚拟端口。
其中,接收报文对应的配置信息包括:
利用云环境中的虚拟网络模块接收报文对应的配置信息;所述配置信息由配置命令结合应用程序编程接口生成。
其中,接收报文对应的配置信息之后,还包括:
对所述配置信息进行项目隔离校验;
若所述配置信息校验失败,返回校验失败提示。
其中,对所述配置信息进行项目隔离校验包括:
对所述配置信息中的非对称通信规则和对应应用的端口进行检测;
若所述非对称通信规则和对应应用的端口属于不同项目,或所述非对称通信规则发生冲突,确认所述配置信息校验失败。
其中,将所述配置信息写入北向数据库时,还包括:
将所述配置信息写入备份数据库;所述备份数据库中的配置信息用于在所述北向数据库中配置信息异常时同步至所述北向数据库。
其中,利用分布式控制器根据所述南向数据库更新二层交换机对应的流表信息时,还包括:
将所述编译结果与所述南向数据库中的数据表进行匹配;
根据匹配结果设定优先级。
其中,还包括:
对于条件匹配的报文,不设置链接跟踪状态,同时不执行所述链接跟踪状态的校验。
其中,若设置所述链接跟踪状态,还包括:
根据所述报文的五元组信息确认对所述报文进行溯源,并确认所述报文的去向。
其中,根据所述报文的五元组信息确认对所述报文进行溯源,并确认所述报文的来源和去向之后,还包括:
生成并保存所述报文,及所述报文的来源和去向之间的映射关系。
其中,生成并保存所述报文,及所述报文的来源和去向之间的映射关系时还包括:
在所述映射关系中添加虚拟网口、网络地址、物理地址和端口号中任一种或者任意几种的组合。
其中,将所述配置信息写入备份数据库时包括:
判断所述备份数据库中是否包含不对称信息表;
若否,在通信设备启动后创建所述不对称信息表;
将所述编译结果添加至所述不对称信息表。
其中,所述将所述编译结果添加至所述不对称信息表包括:
将报文所属项目、所属网络信息、所属子网信息、过滤的端口信息、过滤的网络地址信息、过滤的物理地址信息、过滤的协议添加至所述不对称信息表。
其中,将所述配置信息写入北向数据库包括:
将所述配置信息通过二层交换机数据封装协议写入北向数据库中的指定数据表中。
其中,在所述北向数据库写入所述配置信息后,编译所述配置信息得到编译结果,包括:
利用监控进程监控所述北向数据库中所述指定数据表的数据变化;
若检测到所述指定数据表发生由所述配置信息导致的数据变化,编译所述配置信息得到编译结果。
其中,根据所述编译结果更新南向数据库包括:
将所述编译结果写入所述南向数据库中的跟随表中。
其中,编译所述配置信息得到编译结果包括:
确认报文的默认值;所述默认值用于指示所述报文的转发方式;
根据备份数据库中的非对称信息查找所述北向数据库中的本地非对称信息表;
对所述本地非对称信息表中的配置信息进行编译得到编译结果。
其中,还包括:
在所述监控进程中添加对所述本地非对称信息表的全部列信息、本地子网的非对称信息表中全部列信息的监控。
本申请还提供一种非对称通信***,包括:
配置信息接收模块,用于在网络接口支持非对称通信时,接收报文对应的配置信息;
配置信息写入模块,用于将所述配置信息写入北向数据库;
配置信息编译模块,用于在所述北向数据库写入所述配置信息后,编译所述配置信息得到编译结果,根据所述编译结果更新南向数据库;
逻辑流表生成模块,用于利用分布式控制器根据所述南向数据库更新二层交换机对应的逻辑流表;
非对称通信模块,用于利用所述逻辑流表转发所述报文至目标虚拟端口。
其中,配置信息接收模块包括:
配置信息接收单元,用于利用云环境中的虚拟网络模块接收报文对应的配置信息;所述配置信息包含配置命令和应用程序编程接口。
其中,还包括:
校验模块,用于接收报文对应的配置信息之后,对所述配置信息进行项目隔离校验;
提示模块,用于若所述配置信息校验失败,返回校验失败提示。
其中,校验模块包括:
检测单元,用于对所述配置信息中的非对称通信规则和对应应用的端口进行检测;
确认单元,用于如所述非对称通信规则和对应应用的端口属于不同项目,或所述非对称通信规则发生冲突,确认所述配置信息校验失败。
其中,还包括:
备份数据库写入模块,用于将所述配置信息写入北向数据库时,将所述配置信息写入备份数据库;所述备份数据库中的配置信息用于在所述北向数据库中配置信息异常时同步至所述北向数据库。
其中,还包括:
匹配模块,用于利用分布式控制器根据所述南向数据库更新二层交换机对应的流表信息时,将所述编译结果与所述南向数据库中的数据表进行匹配;
设定优先级模块,用于根据匹配结果设定优先级。
其中,还包括:
设置模块,用于对于条件匹配的报文,不设置链接跟踪状态,同时不执行所述链接跟踪状态的校验。
其中,还包括:
溯源模块,用于若设置所述链接跟踪状态,根据所述报文的五元组信息确认对所述报文进行溯源,并确认所述报文的去向。
其中,在执行溯源模块之后,还包括:
保存模块,用于生成并保存所述报文,及所述报文的来源和去向之间的映射关系。
其中,还包括:
组合模块,用于在生成并保存所述报文,及所述报文的来源和去向之间的映射关系时,在所述映射关系中添加虚拟网口、网络地址、物理地址和端口号中任一种或者任意几种的组合。
其中,备份数据库写入模块包括:
判断单元,用于判断所述备份数据库中是否包含不对称信息表;
创建单元,用于所述南向数据库中不包含不对称信息表,在通信设备启动后创建所述不对称信息表;
编译结果添加单元,用于将所述编译结果添加至所述不对称信息表。
其中,编译结果添加单元包括:
添加子单元,用于将报文所属项目、所属网络信息、所属子网信息、过滤的端口信息、过滤的网络地址信息、过滤的物理地址信息、过滤的协议添加至所述不对称信息表。
其中,配置信息写入模块包括:
配置信息写入单元,用于将所述配置信息通过二层交换机数据封装协议写入北向数据库中的指定数据表中。
其中,配置信息编译模块包括:
监控单元,用于利用监控进程监控所述北向数据库中所述指定数据表的数据变化;
编译单元,用于若检测到所述指定数据表发生由所述配置信息导致的数据变化,编译所述配置信息得到编译结果。
其中,配置信息编译模块包括:
编译结果写入单元,用于将所述编译结果写入所述南向数据库中的跟随表中。
其中,编译单元包括:
确认子单元,用于确认报文的默认值;所述默认值用于指示所述报文的转发方式;
查找子单元,用于根据备份数据库中的非对称信息查找所述北向数据库中的本地非对称信息表;
编译子单元,用于对所述本地非对称信息表中的配置信息进行编译得到编译结果。
其中,还包括:
全部列信息添加单元,用于在所述监控进程中添加对所述本地非对称信息表的全部列信息、本地子网的非对称信息表中全部列信息的监控。
本申请还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的方法的步骤。
本申请还提供一种通信设备,包括存储器和处理器,所述存储器中存有计算机程序,所述处理器调用所述存储器中的计算机程序时实现如上所述的方法的步骤。
本申请提供一种非对称通信方法,包括:在网络接口支持非对称通信时,接收报文对应的配置信息;将所述配置信息写入北向数据库;在所述北向数据库写入所述配置信息后,编译所述配置信息得到编译结果,根据所述编译结果更新南向数据库;利用分布式控制器根据所述南向数据库更新二层交换机对应的逻辑流表;利用所述逻辑流表转发所述报文至目标虚拟端口。
本申请的有益效果在于,通过构造逻辑流表,对外服务器在收到报文后,将报文的目的物理地址改为其中一个真实服务器的物理地址进行负载分配后送出,在真实服务器给出应答时,正常情况应当原路返回将报文送到对外服务器,但通过逻辑流表使得报文从真实服务器来时,不添加链接跟踪,继续常规的二层转发和三层转发,提高转发效率,保证转发安全性。如此解决分布式控制器网络架构无法支持非对称流量通信的问题,能够满足客户对LVS-DR模式负载均衡的使用,提高产品竞争力。
本申请还提供一种非对称通信方法、***、计算机可读存储介质和通信设备,具有上述有益效果,此处不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种非对称通信方法的流程图;
图2为基于分布式控制器实现流量镜像的数据面原理图;
图3为本申请实施例所提供的一种非对称通信***结构示意图;
图4为本申请实施例提供的一种通信设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
由于大量的报文仅从一个对外服务器进出,会给对外服务器造成很大压力,但这过程中,报文从对外服务器而来,一旦收到客户端的数据包,数据回包也应回给客户端,但由于真实服务器的存在,分布式控制器无法实现这种非对称通信,难以实现有效的非对称通信过程,降低了分布式云服务的服务性能。
本发明可以用于Openstack开源项目的分布式控制器分布式网络环境,解决非对称流量无法通信的问题。OpenStack是一个开源的云计算管理平台项目,是一系列软件开源项目的组合。分布式控制器模式下新增二层交换机流表规则,支持当包从A经过B送到C后(只是目的物理地址变更为C,目的网络地址依旧是B的),回包可以从C伪造B的IP直接送到A,不因连接追踪被判断为无效包而丢弃,保证非对称流量正常通信。
请参考图1,图1为本申请实施例所提供的一种非对称通信方法的流程图,该方法包括:
S101:在网络接口支持非对称通信时,接收报文对应的配置信息;
本步骤需要在网络接口支持非对称通信时,接收配置信息。用户可以根据自己的需求配置网络接口是否支持非对称通信。该网络接口也可以理解为云主机网卡。通常情况下,若无需实现非对称通信,可以令网络接口不支持非对称通信,可以避免异常入侵导致网络转发压力过载。但本申请实施例建立在网络接口支持非对称通信时所实现的非对称通信。
在此对于如何接收配置信息不作限定,一种可行的实施方式中,可以利用云环境中的虚拟网络模块接收报文对应的配置信息。配置信息可由配置命令结合应用程序编程接口生成。当然也可以接收用户通过命令行、网页或者其他方式下发的配置信息,当然无论采用何种方式,均可以为用户提供配置命令和相应的API应用程序编程接口。
S102:将所述配置信息写入北向数据库;
本步骤旨在将配置信息写入北向数据库,与此对应的还有南向数据库。北向数据库主要包含供用户查看的相关信息,可以包括但不限于用户创建资源时的相关信息,例如虚拟交换机、路由器、端口等信息。而南向数据库主要为对于北向数据库中信息的翻译,例如可包含逻辑流表、物理地址,以及数据报文转发过程中的相关信息,以及***运行的相关参数。北向数据库和南向数据库相结合即为逻辑数据库。该逻辑数据库可以为项目对应的数据库,例如为neutron对应的逻辑数据库,neutron为openstack核心项目之一,提供云计算环境下的虚拟网络功能,OpenStack网络(neutron)管理OpenStack环境中所有虚拟网络基础设施,物理网络基础设施的接入层,是租户虚拟机与互联网信息交互的桥梁,可以通过扩容插件和驱动的方式满足更丰富的网络控制。neutron-server是网络服务的进程名字。
S103:在所述北向数据库写入所述配置信息后,编译所述配置信息得到编译结果,根据所述编译结果更新南向数据库;
本步骤中,南向数据库需要对北向数据库更新的配置信息进行编辑得到编辑结果,并更新自身。
在北向数据库写入配置信息后,可以利用监控进程监控北向数据库中指定数据表的数据变化,若检测到指定数据表发生由配置信息导致的数据变化,编译配置信息得到编译结果。具体的,可以将编译结果写入南向数据库中的跟随表中。而编译过程可以确认报文的默认值。默认值用于指示报文的转发方式。并根据备份数据库中的非对称信息查找北向数据库中的本地非对称信息表,并对本地非对称信息表中的配置信息进行编译得到编译结果。
S104:利用分布式控制器根据所述南向数据库更新二层交换机对应的逻辑流表;
此后需要南向数据库更新二层交换机对应的逻辑流表,具体的,该二层交换机指OVS(Open Virtual Switch),其是软件定义的二层交换机,主要包括ovs-vswithd、ovs-db等进程。该分布式控制器可以采用OVN(Open Virtual Network,虚拟开放网络),其为一种分布式的控制器,主要包含分布式控制器-controller、分布式控制器-northd等进行翻译工作的进程,还有分布式控制器-nb-db、分布式控制器-sb-db等提供db-server服务的进程。各进程都能以集群的形式存在,提供高可用保障。
S105:利用所述逻辑流表转发所述报文至目标虚拟端口。
在得到逻辑流表后,可以对报文直接进行二层转发和三层转发,二层转发为发生在链路层的转发,根据物理地址查找对应的端口,可以理解为基于目的物理地址进行转发。而三层转发为网络层的转发,根据网络地址改变源物理地址和目的物理地址用来进行跨网段、跨虚拟局域网间的通信。
本申请实施例通过构造逻辑流表,对外服务器在收到报文后,将报文的目的物理地址改为其中一个真实服务器的物理地址进行负载分配后送出,在真实服务器给出应答时,正常情况应当原路返回将报文送到对外服务器,但通过逻辑流表使得报文从真实服务器来时,不添加链接跟踪,继续常规的二层转发和三层转发,提高转发效率,保证转发安全性。如此解决分布式控制器网络架构无法支持非对称流量通信的问题,能够满足客户对LVS-DR模式负载均衡的使用,提高产品竞争力。同时本申请实施例支持配置非对称通信的匹配条件可以基于虚拟网口、网络地址、物理地址、协议、端口号等条件,可以实现同一个云主机同时支持对称和非对称,以便满足实际使用场景复杂的网络转发需求。
在其他实施例中,接收报文对应的配置信息之后,可以先对配置信息进行校验,若配置信息校验失败,返回校验失败提示。当然若配置信息校验成功,可以执行后续步骤。此时对应的过程如下:
在网络接口支持非对称通信时,接收报文对应的配置信息;
对配置信息进行校验,若配置信息校验失败,返回校验失败提示;
若配置信息校验成功将配置信息写入北向数据库;
在北向数据库写入配置信息后,编译配置信息得到编译结果,根据编译结果更新南向数据库;
利用分布式控制器根据南向数据库更新二层交换机对应的逻辑流表;
利用逻辑流表转发报文至目标虚拟端口。
在此对于如何对配置信息进行校验不作限定,可以基于项目隔离机制进行校验。由于openstack具有项目隔离机制,此处下发的非对称通信规则和应用的端口必须在一个项目里、且规则不能冲突,当下发的配置信息校验不通过,则返回校验失败提示以告知用户。因此,可以对所述配置信息中的非对称通信规则和对应应用的端口进行检测,若所述非对称通信规则和对应应用的端口属于不同项目,或所述非对称通信规则发生冲突,确认配置信息校验失败。
此外,在将所述配置信息写入北向数据库时,还可以将配置信息写入备份数据库。备份数据库中的配置信息用于在所述北向数据库中配置信息异常时同步至所述北向数据库。
在利用分布式控制器根据所述南向数据库更新二层交换机对应的流表信息时,还将所述编译结果与所述南向数据库中的数据表进行匹配,从而根据匹配结果设定优先级。具体的,可以通过匹配条件(例如虚拟网口的逻辑ID,此ID是分布式控制器南向数据库portbinding表中port的tunnel key,tunnel key为端口对应机器可识别ID),从而下发规则设定较高的优先级。换言之,需要判断编译结果与南向数据库已有数据表中的信息进行匹配检测。对于条件匹配的报文,不设置链接跟踪状态,后续也不校验链接跟踪状态,直接进行二三层转发,但依旧执行端口安全、安全组、防火墙等网络安全限制。若设置链接跟踪状态,可以根据报文的五元组信息确认对所述报文进行溯源,并确认所述报文的去向。此后,可以生成并保存所述报文,以及报文的来源和去向之间的映射关系。同时可以在映射关系中添加虚拟网口、网络地址、物理地址和端口号中任一种或者任意几种的组合。
在将所述配置信息写入备份数据库时,可以判断备份数据库中是否包含不对称信息表。若不包含不对称信息表,则在通信设备启动后创建不对称信息表,以便将编译结果添加至不对称信息表。具体的,可以将报文所属项目、所属网络信息、所属子网信息、过滤的端口信息、过滤的网络地址信息、过滤的物理地址信息、过滤的协议添加至所述不对称信息表。
具体的,用户可以通过命令行、网页或者其他方式下发配置,此处需要给用户提供配置命令、API接口。
而neutron网络服务的进程服务收到配置后需要对用户下发的配置进行校验,当下发的配置校验不通过,则告知用户。校验成功后需要把配置信息写入neutron对应备份数据库的表中。不对称信息表放在备份数据库中,neutron网络服务的进程启动时在自己的数据库中创建(如果未创建),用于记录报文所属项目、所属网络信息、所属子网信息、过滤的端口信息、过滤的网络地址信息、过滤的物理地址信息、过滤的协议。参见表1,表1为备份数据库中不对称信息表的示例,在备份数据中可以按照表1所示格式或者相近格式存储。
表1 不对称信息表
后续需要将所述配置信息写入北向数据库,具体的将所述配置信息通过二层交换机数据封装协议写入北向数据库中的指定数据表中。
具体的,校验成功后把数据通过二层交换机db协议写入分布式控制器北向数据库的指定数据表中,db协议为使用ovs轻量级数据库的轻量级协议,连接数据库的一种数据封装协议。
当规则和虚拟网口绑定时,表示过滤条件只匹配到此端口,需要把本地不对称信息表此列的名称信息写入logical_switch_port表的不对称信息列进行关联。
当规则没有和虚拟网口绑定时,表示此规则应用到整个switch,需要把本地不对称信息表此列的名称信息写入Logical_switch表的asymmetric_forward列进行关联。
分布式控制器北向数据库新增表及数据格式可以如下:
“Logical asymmetric_forward”:{
"columns": {
"external_ids": {
"type": {"key": "string", "value": "string",
"min": 0, "max": "unlimited"}},
"name": {"type": "string"}},
"isRoot": false},
"Logical_Switch_Port": {
"columns": {
"asymmetric_forward": {
"type": {"key": {"type": "uuid",
"refTable": " Logical asymmetric_forward ",
"refType": "strong"},
"min": 0,
"max": "unlimited"}},
}
"Logical_Switch": {
"columns": {
"asymmetric_forward": {
"type": {"key": {"type": "uuid",
"refTable":"Logical asymmetric_forward ",
"refType": "strong"},
"min": 0,
"max": "unlimited"}},
}
若对北向数据库采用监控进程,还可以在监控进程中添加对所述本地非对称信息表的全部列信息、本地子网的非对称信息表中全部列信息的监控。以northd进程作为监控进程为例,northd进程是用于监控分布式控制器北向数据库数据变化并把对应的信息翻译到南向数据库的一个用户态进程,需要添加对本地不对称信息表的监控及翻译功能,并写入分布式控制器南向数据库的logical_flows。翻译Logical_Switch和Logical_Switch_Port表信息时,先追加默认值(添加contrack追踪,并在后续转发过程中判断contrack状态)然后根据不对称信息表中列ID查找本地不对称信息表,根据过滤条件生成更高优先级的逻辑流表,取消contrack追踪,并在后续转发过程中不依据contrack状态进行转发。
此后,northd服务需要添加对北向数据表本地不对称信息表全部列、表Logical_Switch_Port的asymmetric_forward列、表Logical_Switch的asymmetric_forward列的监控。同时分布式控制器会监控南向数据库的更新然后添加对应的流表到二层交换机。
参见图2,图2为基于分布式控制器实现流量镜像的数据面原理图,具体过程如下:
本发明是基于分布式控制器架构的基础上发明的非对称通信方法,所以先介绍一下分布式控制器架构如何通过二层交换机流表进行转发的。
所有虚拟网卡(云主机/虚拟机的网卡)的流量进入二层交换机流表后都会匹配到本网桥的0表,这个表作为入口,首先校验虚拟网口信息是否存在,如果存在则送到8表开始进行二层、三层转发,一直到65表,各表间按照一定规则进行跳转,从而进行比如地址转换、限速、广播、Acl等常规三层交换机处理。到65表后转到目的虚拟网口,65表和0表刚好相反,一个是根据物理虚拟网口找逻辑口,一个根据逻辑口找物理虚拟网口,此时软件交换机二层交换机的转发完成。
二层交换机为加速数据转发,会在新的报文来时使用链接跟踪记录对连接进行追踪,后续报文以及回包可以根据链接跟踪记录加速转发,也能根据是否匹配此记录来判断是否是合法的包,这样既加速了转发性能又增加了安全性。
参考图2左侧,客户端发送包到对外服务器,此过程在DR模式下只有入方向包,没有出方向包,不存在非对称丢包问题。
1、对外服务器收到包后,源网络地址为客户端,目的网络地址为自身,把目的物理地址改为其中一个真实服务器的物理地址进行负载分配后送出,二层交换机判断报文五元组等信息进行判断,当不存在链接跟踪记录时在table20新增链接跟踪记录,并在table21、table43、table48进行追踪校验。
2、当真实服务器给应答时,正常情况应该原路返回,把报文送到 对外服务器,这样直接匹配到链接跟踪记录转发即可,但是由于LVS-DR模式为了加速存在的非对称通信,真实服务器会直接伪造 对外服务器的网络地址把包送给客户端,这样就出现从真实服务器送出了已存在的链接跟踪记录的数据。
3、参考图2右侧,在table20表中,由于检测到此连接已经存在链接跟踪记录,判断为非新建,直接根据存在链接跟踪记录转发,但此报文又是从真实服务器和客户端之间的,和链接跟踪记录的对外服务器与客户端之间连接不符,在table21、校验不通过被丢弃。
4、为解决此问题,本申请配置特殊的规则,此处以配置虚拟端口举例,在table20中追加一条高优先级的流表,当报文从真实服务器来时,不设置链接跟踪状态。
5、table21、table43、table48同步增加优先级高的流表,当报文从真实服务器来时,不再进行链接跟踪,而继续常规的二三层转发、端口安全、ACL校验等。
此外,本申请还能根据某些条件来进行筛选,比如只匹配真实服务器到客户端的流量不执行链接跟踪,支持非对称通信,对于各真实服务器间的数据同步,依旧使用链接跟踪,提高转发效率,保证转发安全性。
下面对本申请实施例提供的非对称通信***进行介绍,下文描述的非对称通信***与上文描述的非对称通信方法可相互对应参照。
参见图3,图3为本申请实施例所提供的一种非对称通信***结构示意图,本申请还提供一种非对称通信***,包括:
配置信息接收模块,用于在网络接口支持非对称通信时,接收报文对应的配置信息;
配置信息写入模块,用于将所述配置信息写入北向数据库;
配置信息编译模块,用于在所述北向数据库写入所述配置信息后,编译所述配置信息得到编译结果,根据所述编译结果更新南向数据库;
逻辑流表生成模块,用于利用分布式控制器根据所述南向数据库更新二层交换机对应的逻辑流表;
非对称通信模块,用于利用所述逻辑流表转发所述报文至目标虚拟端口。
基于上述实施例,作为可行的实施例,配置信息接收模块包括:
配置信息接收单元,用于利用云环境中的虚拟网络模块接收报文对应的配置信息;所述配置信息包含配置命令和应用程序编程接口。
基于上述实施例,作为可行的实施例,还包括:
校验模块,用于接收报文对应的配置信息之后,对所述配置信息进行项目隔离校验;
提示模块,用于若所述配置信息校验失败,返回校验失败提示。
基于上述实施例,作为可行的实施例,校验模块包括:
检测单元,用于对所述配置信息中的非对称通信规则和对应应用的端口进行检测;
确认单元,用于如所述非对称通信规则和对应应用的端口属于不同项目,或所述非对称通信规则发生冲突,确认所述配置信息校验失败。
基于上述实施例,作为可行的实施例,还包括:
备份数据库写入模块,用于将所述配置信息写入北向数据库时,将所述配置信息写入备份数据库;所述备份数据库中的配置信息用于在所述北向数据库中配置信息异常时同步至所述北向数据库。
基于上述实施例,作为可行的实施例,还包括:
匹配模块,用于利用分布式控制器根据所述南向数据库更新二层交换机对应的流表信息时,将所述编译结果与所述南向数据库中的数据表进行匹配;
设定优先级模块,用于根据匹配结果设定优先级。
基于上述实施例,作为可行的实施例,还包括:
设置模块,用于对于条件匹配的报文,不设置链接跟踪状态,同时不执行所述链接跟踪状态的校验。
基于上述实施例,作为可行的实施例,还包括:
溯源模块,用于若设置所述链接跟踪状态,根据所述报文的五元组信息确认对所述报文进行溯源,并确认所述报文的去向。
基于上述实施例,作为可行的实施例,还包括:
保存模块,用于生成并保存所述报文,及所述报文的来源和去向之间的映射关系。
基于上述实施例,作为可行的实施例,还包括:
组合模块,用于在生成并保存所述报文,及所述报文的来源和去向之间的映射关系时,在所述映射关系中添加虚拟网口、网络地址、物理地址和端口号中任一种或者任意几种的组合。
基于上述实施例,作为可行的实施例,备份数据库写入模块包括:
判断单元,用于判断所述备份数据库中是否包含不对称信息表;
创建单元,用于所述南向数据库中不包含不对称信息表,在通信设备启动后创建所述不对称信息表;
编译结果添加单元,用于将所述编译结果添加至所述不对称信息表。
基于上述实施例,作为可行的实施例,编译结果添加单元包括:
添加子单元,用于将报文所属项目、所属网络信息、所属子网信息、过滤的端口信息、过滤的网络地址信息、过滤的物理地址信息、过滤的协议添加至所述不对称信息表。
基于上述实施例,作为可行的实施例,配置信息写入模块包括:
配置信息写入单元,用于将所述配置信息通过二层交换机数据封装协议写入北向数据库中的指定数据表中。
基于上述实施例,作为可行的实施例,配置信息编译模块包括:
监控单元,用于利用监控进程监控所述北向数据库中所述指定数据表的数据变化;
编译单元,用于若检测到所述指定数据表发生由所述配置信息导致的数据变化,编译所述配置信息得到编译结果。
基于上述实施例,作为可行的实施例,配置信息编译模块包括:
编译结果写入单元,用于将所述编译结果写入所述南向数据库中的跟随表中。
基于上述实施例,作为可行的实施例,编译单元包括:
确认子单元,用于确认报文的默认值;所述默认值用于指示所述报文的转发方式;
查找子单元,用于根据备份数据库中的非对称信息查找所述北向数据库中的本地非对称信息表;
编译子单元,用于对所述本地非对称信息表中的配置信息进行编译得到编译结果。
基于上述实施例,作为可行的实施例,还包括:
全部列信息添加单元,用于在所述监控进程中添加对所述本地非对称信息表的全部列信息、本地子网的非对称信息表中全部列信息的监控。
本申请还提供了一种计算机可读存储介质,其上存有计算机程序,该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory ,ROM)、随机存取存储器(Random Access Memory ,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种通信设备,可以包括存储器和处理器,所述存储器中存有计算机程序,所述处理器调用所述存储器中的计算机程序时,可以实现上述实施例所提供的步骤。当然所述通信设备还可以包括各种网络接口,电源等组件。
本申请还提供了一种通信设备,参见图4,本申请实施例提供的一种通信设备的结构示意图,如图4所示,可以包括处理器1410和存储器1420。
其中,处理器1410可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1410可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1410也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1410可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1410还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1420可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1420还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。本实施例中,存储器1420至少用于存储以下计算机程序1421,其中,该计算机程序被处理器1410加载并执行之后,能够实现前述任一实施例公开的非对称通信方法中的相关步骤。另外,存储器1420所存储的资源还可以包括操作***1422和数据1423等,存储方式可以是短暂存储或者永久存储。其中,操作***1422可以包括Windows、Linux、Android等。
在一些实施例中,通信设备还可包括有显示屏1430、输入输出接口1440、通信接口1450、传感器1460、电源1470以及通信总线1480。
当然,图4所示的通信设备的结构并不构成对本申请实施例中通信设备的限定,在实际应用中通信设备可以包括比图4所示的更多或更少的部件,或者组合某些部件。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例提供的***而言,由于其与实施例提供的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (18)

1.一种非对称通信方法,其特征在于,包括:
在网络接口支持非对称通信时,接收报文对应的配置信息;
将所述配置信息写入北向数据库;
在所述北向数据库写入所述配置信息后,编译所述配置信息得到编译结果,根据所述编译结果更新南向数据库;
利用分布式控制器根据所述南向数据库更新二层交换机对应的逻辑流表;
利用所述逻辑流表转发所述报文至目标虚拟端口;
其中,将所述配置信息写入北向数据库时,还包括:
将所述配置信息写入备份数据库;所述备份数据库中的配置信息用于在所述北向数据库中配置信息异常时同步至所述北向数据库;
其中,将所述配置信息写入备份数据库包括:
将所述编译结果添加至不对称信息表;
其中,将所述编译结果添加至所述不对称信息表包括:
将报文所属项目、所属网络信息和所属子网信息添加至所述不对称信息表;
其中,编译所述配置信息得到编译结果包括:
确认报文的默认值;所述默认值用于指示所述报文的转发方式;
根据备份数据库中的非对称信息查找所述北向数据库中的本地非对称信息表;
对所述本地非对称信息表中的配置信息进行编译得到编译结果。
2.根据权利要求1所述的非对称通信方法,其特征在于,接收报文对应的配置信息包括:
利用云环境中的虚拟网络模块接收报文对应的配置信息;所述配置信息由配置命令结合应用程序编程接口生成。
3.根据权利要求1或 2所述的非对称通信方法,其特征在于,接收报文对应的配置信息之后,还包括:
对所述配置信息进行项目隔离校验;
若所述配置信息校验失败,返回校验失败提示。
4.根据权利要求3所述的非对称通信方法,其特征在于,对所述配置信息进行项目隔离校验包括:
对所述配置信息中的非对称通信规则和对应应用的端口进行检测;
若所述非对称通信规则和对应应用的端口属于不同项目,或所述非对称通信规则发生冲突,确认所述配置信息校验失败。
5.根据权利要求1所述的非对称通信方法,其特征在于,利用分布式控制器根据所述南向数据库更新二层交换机对应的流表信息时,还包括:
将编译结果与所述南向数据库中的数据表进行匹配;
根据匹配结果设定优先级。
6.根据权利要求5所述的非对称通信方法,其特征在于,还包括:
对于条件匹配的报文,不设置链接跟踪状态,同时不执行所述链接跟踪状态的校验。
7.根据权利要求6所述的非对称通信方法,其特征在于,若设置所述链接跟踪状态,还包括:
根据所述报文的五元组信息确认对所述报文进行溯源,并确认所述报文的去向。
8.根据权利要求7所述的非对称通信方法,其特征在于,根据所述报文的五元组信息确认对所述报文进行溯源,并确认所述报文的来源和去向之后,还包括:
生成并保存所述报文,及所述报文的来源和去向之间的映射关系。
9.根据权利要求8所述的非对称通信方法,其特征在于,生成并保存所述报文,及所述报文的来源和去向之间的映射关系时还包括:
在所述映射关系中添加虚拟网口、网络地址、物理地址和端口号中任一种或者任意几种的组合。
10.根据权利要求1所述的非对称通信方法,其特征在于,将所述配置信息写入备份数据库时包括:
判断所述备份数据库中是否包含不对称信息表;
若否,在通信设备启动后创建所述不对称信息表;
将所述编译结果添加至所述不对称信息表。
11.根据权利要求10所述的非对称通信方法,其特征在于,所述将所述编译结果添加至所述不对称信息表还包括:
将过滤的端口信息、过滤的网络地址信息、过滤的物理地址信息和过滤的协议添加至所述不对称信息表。
12.根据权利要求1所述的非对称通信方法,其特征在于,将所述配置信息写入北向数据库包括:
将所述配置信息通过二层交换机数据封装协议写入北向数据库中的指定数据表中。
13.根据权利要求12所述的非对称通信方法,其特征在于,在所述北向数据库写入所述配置信息后,编译所述配置信息得到编译结果,包括:
利用监控进程监控所述北向数据库中所述指定数据表的数据变化;
若检测到所述指定数据表发生由所述配置信息导致的数据变化,编译所述配置信息得到编译结果。
14.根据权利要求1所述的非对称通信方法,其特征在于,根据所述编译结果更新南向数据库包括:
将所述编译结果写入所述南向数据库中的跟随表中。
15.根据权利要求13所述的非对称通信方法,其特征在于,还包括:
在所述监控进程中添加对所述本地非对称信息表的全部列信息、本地子网的非对称信息表中全部列信息的监控。
16.一种非对称通信***,其特征在于,包括:
配置信息接收模块,用于在网络接口支持非对称通信时,接收报文对应的配置信息;
配置信息写入模块,用于将所述配置信息写入北向数据库;
配置信息编译模块,用于在所述北向数据库写入所述配置信息后,编译所述配置信息得到编译结果,根据所述编译结果更新南向数据库;
逻辑流表生成模块,用于利用分布式控制器根据所述南向数据库更新二层交换机对应的逻辑流表;
非对称通信模块,用于利用所述逻辑流表转发所述报文至目标虚拟端口;
备份数据库写入模块,用于将所述配置信息写入北向数据库时,将所述配置信息写入备份数据库;所述备份数据库中的配置信息用于在所述北向数据库中配置信息异常时同步至所述北向数据库;
其中,所述备份数据库写入模块包括编译结果添加单元,用于将所述编译结果添加至不对称信息表;
其中,所述编译结果添加单元包括:
添加子单元,用于将报文所属项目、所属网络信息和所属子网信息添加至所述不对称信息表;
其中,所述配置信息编译模块包括编译单元,所述编译单元包括:
确认子单元,用于确认报文的默认值;所述默认值用于指示所述报文的转发方式;
查找子单元,用于根据备份数据库中的非对称信息查找所述北向数据库中的本地非对称信息表;
编译子单元,用于对所述本地非对称信息表中的配置信息进行编译得到编译结果。
17.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-15任一项所述的方法的步骤。
18.一种通信设备,其特征在于,包括存储器和处理器,所述存储器中存有计算机程序,所述处理器调用所述存储器中的计算机程序时实现如权利要求1-15任一项所述的方法的步骤。
CN202310621051.5A 2023-05-30 2023-05-30 一种非对称通信方法、***、存储介质和通信设备 Active CN116366370B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310621051.5A CN116366370B (zh) 2023-05-30 2023-05-30 一种非对称通信方法、***、存储介质和通信设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310621051.5A CN116366370B (zh) 2023-05-30 2023-05-30 一种非对称通信方法、***、存储介质和通信设备

Publications (2)

Publication Number Publication Date
CN116366370A CN116366370A (zh) 2023-06-30
CN116366370B true CN116366370B (zh) 2023-09-01

Family

ID=86910673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310621051.5A Active CN116366370B (zh) 2023-05-30 2023-05-30 一种非对称通信方法、***、存储介质和通信设备

Country Status (1)

Country Link
CN (1) CN116366370B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412114A (zh) * 2016-11-16 2017-02-15 广州市品高软件股份有限公司 一种基于sdn的负载均衡方法及***
CN106685816A (zh) * 2015-11-10 2017-05-17 中国电信股份有限公司 一种基于sdn的路由计算方法、sdn控制器及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106685816A (zh) * 2015-11-10 2017-05-17 中国电信股份有限公司 一种基于sdn的路由计算方法、sdn控制器及***
CN106412114A (zh) * 2016-11-16 2017-02-15 广州市品高软件股份有限公司 一种基于sdn的负载均衡方法及***

Also Published As

Publication number Publication date
CN116366370A (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
US20190081921A1 (en) Management of domain name systems in a large-scale processing environment
CN104079507B (zh) 同步ip信息的方法和装置
US11206188B2 (en) Accessible application cluster topology
CN113572831B (zh) Kubernetes集群间的通信方法、计算机设备及介质
CN109981493B (zh) 一种用于配置虚拟机网络的方法和装置
CN107666493B (zh) 一种数据库配置方法及其设备
US11177974B2 (en) Consistent provision of member node group information on virtual overlay network
EP3327993B1 (en) Routing management
US10153918B2 (en) Joining an application cluster
CN110224917B (zh) 数据传输方法、装置及***、服务器
CN110855488B (zh) 一种虚拟机接入方法及装置
CN111010340B (zh) 数据报文转发控制方法、装置及计算装置
CN115499298B (zh) 一种虚拟机热迁移方法、装置、设备及介质
CN105591872B (zh) 一种实现多数据中心互联的方法和装置
CN111756629A (zh) 设备接入overlay网络及通信的方法、装置、设备、网络及介质
JP2024507146A (ja) キャッシュされた構成情報およびキャッシュされない構成情報に基づいたクラウドインフラストラクチャにおけるパケットフロー
CN103023704B (zh) 虚拟网络服务设备接入方法及***
US11929976B2 (en) Virtual network routing gateway that supports address translation for dataplane as well as dynamic routing protocols (control plane)
US20150095476A1 (en) Dynamic port naming in a chassis
CN114448805A (zh) 虚拟网络设备、虚拟叠加网络及配置、报文传输方法
US9692723B2 (en) Network management of devices residing behind a network device
CN110321199B (zh) 一种共用数据变更的通知方法、装置、电子设备及介质
CN116366370B (zh) 一种非对称通信方法、***、存储介质和通信设备
US10122626B2 (en) Self-managed overlay networks
CN116319354B (zh) 基于云实例迁移的网络拓扑更新方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant