CN115333928B - 网络预警方法、装置、电子设备及存储介质 - Google Patents
网络预警方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115333928B CN115333928B CN202210814995.XA CN202210814995A CN115333928B CN 115333928 B CN115333928 B CN 115333928B CN 202210814995 A CN202210814995 A CN 202210814995A CN 115333928 B CN115333928 B CN 115333928B
- Authority
- CN
- China
- Prior art keywords
- node
- pod
- probability
- equipment
- physical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000005540 biological transmission Effects 0.000 claims abstract description 30
- 230000005856 abnormality Effects 0.000 claims description 162
- 238000004891 communication Methods 0.000 claims description 18
- 230000003993 interaction Effects 0.000 claims description 16
- 230000002547 anomalous effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000002159 abnormal effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0677—Localisation of faults
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/46—Interconnection of networks
- H04L12/4641—Virtual LANs, VLANs, e.g. virtual private networks [VPN]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例提供了一种数据传输过程中的网络预警方法、装置、电子设备及存储介质,方法包括:获取目标Pod节点的节点信息,将节点信息输入关联概率预测模型进行节点关联概率预测,获得目标Pod节点与k8s集群中其他Pod节点之间的关联概率值,并将其他Pod节点中关联概率值满足预设条件的Pod节点作为目标Pod节点对应的关联Pod节点;确定关联Pod节点对应的关联Node节点,并获取关联Pod节点所属第一物理设备对应的第一设备信息以及目标Node节点所属第二物理设备对应的第二设备信息,通过Master节点下发的网络异常预警模型对第一设备信息、第二设备信息分别进行处理,获得针对第一物理设备的第一异常概率以及针对第二物理设备的第二异常概率。
Description
技术领域
本发明涉及IT与软件开发技术领域,特别是涉及一种数据传输过程中的网络预警方法、一种数据传输过程中的网络预警装置、一种电子设备以及一种计算机可读存储介质。
背景技术
随着计算机技术的飞速发展,信息网络已经成为社会发展的重要保证。其中,在传统的硬件资源的虚拟化,以及对虚拟资源、业务资源、用户资源的集中管理运维体系中,虚拟化平台是业界领先的服务器虚拟化解决方案,云操作***的解决方案是通过在服务器上部署虚拟化软件,使一台物理服务器可以承担多台服务器的工作。然而,在相关技术中,通常是收集集群中的相关性能参数,并将这些相关性能参数与预设的检测阈值进行比较,从而实现对集群状态的监测,在这种情况下,容易使得集群出现性能故障时在被发现,导致集群运行不稳定。
发明内容
本发明实施例是提供一种数据传输过程中的网络预警方法、装置、电子设备以及计算机可读存储介质,以解决或部分解决相关技术中无法对集群性能故障进行及时预警的问题。
本发明实施例公开了一种数据传输过程中的网络预警方法,涉及k8s集群,所述k8s集群包括Master节点、与所述Master节点连接的若干个Node节点以及与各所述Node节点连接的至少一个Pod节点;其中,所述k8s集群中部署有分布式虚拟化平台,所述Pod节点基于所述分布式虚拟化平台部署在相应的物理设备上;所述方法应用于目标Node节点,所述目标Node节点部署有关联概率预测模型,所述方法包括:
获取目标Pod节点的节点信息,所述节点信息包括所述目标Pod节点与其他Pod节点之间发生数据交互时产生的信息;
将所述节点信息输入所述关联概率预测模型进行节点关联概率预测,获得所述目标Pod节点与所述k8s集群中其他Pod节点之间的关联概率值,并将所述其他Pod节点中关联概率值满足预设条件的Pod节点作为所述目标Pod节点对应的关联Pod节点;
确定所述关联Pod节点对应的关联Node节点,并获取所述关联Pod节点所属第一物理设备对应的第一设备信息以及所述目标Node节点所属第二物理设备对应的第二设备信息;
将所述第一设备信息输入所述Master节点下发的网络异常预警模型对所述第一物理设备进行异常概率预测,获得针对所述第一物理设备的第一异常概率,以及将所述第二设备信息输入预设的网络异常预警模型对所述第二物理设备进行异常概率预测,获得针对所述第二物理设备的第二异常概率。
可选地,所述第一异常概率为表征所述第一物理设备与所述第二物理设备之间进行数据传输时所述第一物理设备发生异常的概率;所述第二异常概率为表征所述第一物理设备与所述第二物理设备之间进行数据传输时所述第二物理设备发生异常的概率。
可选地,所述将所述第一设备信息输入所述Master节点下发的网络异常预警模型对所述第一物理设备进行异常概率预测,获得针对所述第一物理设备的第一异常概率,以及将所述第二设备信息输入预设的网络异常预警模型对所述第二物理设备进行异常概率预测,获得针对所述第二物理设备的第二异常概率,包括:
响应于所述Master节点下发的模型指令,若根据所述模型指令检测到本地未部署所述网络异常预警模型,则向所述Master节点请求所述网络异常预警模型,并将所述Master节点下发的网络异常预警模型部署在本地;
将所述第一设备信息输入所述网络异常预警模型对所述第一物理设备进行异常概率预测,获得针对所述第一物理设备的第一异常概率;
将所述第二设备信息输入预设的网络异常预警模型对所述第二物理设备进行异常概率预测,获得针对所述第二物理设备的第二异常概率。
可选地,所述第一设备信息至少包括第一设备参数、第一网络端口参数以及与所述第一物理设备同在一个VLAN池中的第三物理设备的第二设备参数,所述将所述第一设备信息输入预设的网络异常预警模型对所述第一物理设备进行异常概率预测,获得针对所述第一物理设备的第一异常概率,包括:
将所述第一设备参数输入预设的网络异常预警模型对所述第一物理设备进行设备异常概率预测,获得针对所述第一物理设备的第一设备异常概率;
将所述网络端口参数输入所述网络异常预警模型对所述第一物理设备进行端口异常概率预测,获得针对所述第一物理设备的第一端口异常概率;
将所述第二设备参数输入预设的网络异常预警模型对所述第三物理设备进行设备异常概率预测,获得针对所述第一物理设备的第二设备异常概率。
可选地,所述第二设备信息至少包括第三设备参数、第二网络端口参数以及与所述第二物理设备同在一个VLAN池中的第四物理设备的第四设备参数,所述将所述第二设备信息输入预设的网络异常预警模型对所述第二物理设备进行异常概率预测,获得针对所述第二物理设备的第二异常概率,包括:
将所述第三设备参数输入预设的网络异常预警模型对所述第二物理设备进行设备异常概率预测,获得针对所述第二物理设备的第三设备异常概率;
将所述第二网络端口参数输入所述网络异常预警模型对所述第二物理设备进行端口异常概率预测,获得针对所述第二物理设备的第二端口异常概率;
将所述第四设备参数输入预设的网络异常预警模型对所述第四物理设备进行设备异常概率预测,获得针对所述第二物理设备的第四设备异常概率。
可选地,所述将所述其他Pod节点中关联概率值满足预设条件的Pod节点作为所述目标Pod节点对应的关联Pod节点,包括:
获取各个所述其他Pod节点对应的权重系数,并采用所述权重系数与关联概率值计算所述其他Pod节点对应的加权概率值;
将所述其他Pod节点中加权概率值大于或等于预设阈值的Pod节点作为与所述目标Pod节点对应的关联Pod节点。
可选地,还包括:
同步所述关联Pod节点发送的目标数据。
可选地,所述k8s集群还包括与所述Node节点连接的历史数据库,所述获取目标Pod节点的节点信息,包括:
从与所述目标Node节点对应的目标历史数据库中,获取目标Pod节点的节点信息。
本发明实施例还公开了一种数据传输过程中的网络预警装置,涉及k8s集群,所述k8s集群包括Master节点、与所述Master节点连接的若干个Node节点以及与各所述Node节点连接的至少一个Pod节点;其中,所述k8s集群中部署有分布式虚拟化平台,所述Pod节点基于所述分布式虚拟化平台部署在相应的物理设备上;所述装置应用于目标Node节点,所述目标Node节点部署有关联概率预测模型,所述装置包括:
节点信息获取模块,用于获取目标Pod节点的节点信息,所述节点信息包括所述目标Pod节点与其他Pod节点之间发生数据交互时产生的信息;
关联Pod确定模块,用于将所述节点信息输入所述关联概率预测模型进行节点关联概率预测,获得所述目标Pod节点与所述k8s集群中其他Pod节点之间的关联概率值,并将所述其他Pod节点中关联概率值满足预设条件的Pod节点作为所述目标Pod节点对应的关联Pod节点;
设备信息获取模块,用于确定所述关联Pod节点对应的关联Node节点,并获取所述关联Pod节点所属第一物理设备对应的第一设备信息以及所述目标Node节点所属第二物理设备对应的第二设备信息;
异常概率确定模块,用于将所述第一设备信息输入所述Master节点下发的网络异常预警模型对所述第一物理设备进行异常概率预测,获得针对所述第一物理设备的第一异常概率,以及将所述第二设备信息输入预设的网络异常预警模型对所述第二物理设备进行异常概率预测,获得针对所述第二物理设备的第二异常概率。
可选地,所述第一异常概率为表征所述第一物理设备与所述第二物理设备之间进行数据传输时所述第一物理设备发生异常的概率;所述第二异常概率为表征所述第一物理设备与所述第二物理设备之间进行数据传输时所述第二物理设备发生异常的概率。
可选地,所述异常概率确定模块具体用于:
响应于所述Master节点下发的模型指令,若根据所述模型指令检测到本地未部署所述网络异常预警模型,则向所述Master节点请求所述网络异常预警模型,并将所述Master节点下发的网络异常预警模型部署在本地;
将所述第一设备信息输入所述网络异常预警模型对所述第一物理设备进行异常概率预测,获得针对所述第一物理设备的第一异常概率;
将所述第二设备信息输入预设的网络异常预警模型对所述第二物理设备进行异常概率预测,获得针对所述第二物理设备的第二异常概率。
可选地,所述第一设备信息至少包括第一设备参数、第一网络端口参数以及与所述第一物理设备同在一个VLAN池中的第三物理设备的第二设备参数,所述异常概率确定模块具体用于:
将所述第一设备参数输入预设的网络异常预警模型对所述第一物理设备进行设备异常概率预测,获得针对所述第一物理设备的第一设备异常概率;
将所述网络端口参数输入所述网络异常预警模型对所述第一物理设备进行端口异常概率预测,获得针对所述第一物理设备的第一端口异常概率;
将所述第二设备参数输入预设的网络异常预警模型对所述第三物理设备进行设备异常概率预测,获得针对所述第一物理设备的第二设备异常概率。
可选地,所述第二设备信息至少包括第三设备参数、第二网络端口参数以及与所述第二物理设备同在一个VLAN池中的第四物理设备的第四设备参数,所述异常概率确定模块具体用于:
将所述第三设备参数输入预设的网络异常预警模型对所述第二物理设备进行设备异常概率预测,获得针对所述第二物理设备的第三设备异常概率;
将所述第二网络端口参数输入所述网络异常预警模型对所述第二物理设备进行端口异常概率预测,获得针对所述第二物理设备的第二端口异常概率;
将所述第四设备参数输入预设的网络异常预警模型对所述第四物理设备进行设备异常概率预测,获得针对所述第二物理设备的第四设备异常概率。
可选地,所述关联Pod确定模块具体用于:
获取各个所述其他Pod节点对应的权重系数,并采用所述权重系数与关联概率值计算所述其他Pod节点对应的加权概率值;
将所述其他Pod节点中加权概率值大于或等于预设阈值的Pod节点作为与所述目标Pod节点对应的关联Pod节点。
可选地,还包括:
数据同步模块,用于同步所述关联Pod节点发送的目标数据。
可选地,所述k8s集群还包括与所述Node节点连接的历史数据库,所述节点信息获取模块具体用于:
从与所述目标Node节点对应的目标历史数据库中,获取目标Pod节点的节点信息。
本发明实施例还公开了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行存储器上所存放的程序时,实现如本发明实施例所述的方法。
本发明实施例还公开了一种计算机可读存储介质,其上存储有指令,当由一个或多个处理器执行时,使得所述处理器执行如本发明实施例所述的方法。
本发明实施例包括以下优点:
在本发明实施例中,在k8s集群中可以包括Master节点、与Master节点连接的若干个Node节点以及与各Node节点连接的至少一个Pod节点,且k8s集群中部署有分布式虚拟化平台,Pod节点基于分布式虚拟化平台部署在相应的物理设备上,则在k8s集群于云计算场景中,对于位于集群中的某一个目标Node节点,可以通过获取目标Pod节点的节点信息,节点信息包括目标Pod节点与其他Pod节点之间发生数据交互时产生的信息,将节点信息输入关联概率预测模型进行节点关联概率预测,获得目标Pod节点与k8s集群中其他Pod节点之间的关联概率值,并将其他Pod节点中关联概率值满足预设条件的Pod节点作为目标Pod节点对应的关联Pod节点,并确定关联Pod节点对应的关联Node节点,通过由Node节点预测关联的Pod节点,可以有效地减少部署在集群中心服务器的Master节点的负载和运算压力,同时,在确定了关联Node节点之后,可以获取关联Pod节点所属第一物理设备对应的第一设备信息以及关联Node节点所属第二物理设备对应的第二设备信息,然后将第一设备信息输入Master节点下发的网络异常预警模型对第一物理设备进行异常概率预测,获得针对第一物理设备的第一异常概率,以及将第二设备信息输入预设的网络异常预警模型对第二物理设备进行异常概率预测,获得针对第二物理设备的第二异常概率,通过网络异常预警模型对集群中Node节点对应的物理设备以及Pod节点对应的物理设备之间在进行数据传输时的异常概率进行预测,以便及时根据预测结果进行预警,从而方便对集群中的通信异常进行及时排障,保证集群运行的稳定性。
附图说明
图1是本发明实施例中提供的一种数据传输过程中的网络预警方法的步骤流程图;
图2是本发明实施例中提供的k8s集群的结构示意图;
图3是本发明实施例中提供的模型构建的示意图;
图4是本发明实施例中提供的一种数据传输过程中的网络预警装置的结构框图;
图5是本发明实施例中提供的一种电子设备的框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
作为一种示例,在人工智能技术的应用中,通过对传统的硬件资源进行虚拟化,实现对虚拟资源、业务资源、用户资源进行集中运维管理,可以有效地提高IT(InformationTechnology,信息技术)基础设备的利用效率,提高运营维护效率,降低IT成本。其中,在相关技术中,通常是收集集群中的相关性能参数,并将这些相关性能参数与预设的检测阈值进行比较,从而实现对集群状态的监测,在这种情况下,容易使得集群出现性能故障时在被发现,导致集群运行不稳定。
对此,本发明的核心发明点之一在于在k8s集群中部署Master节点、Node节点以及Pod节点,其中,Master节点可以部署在集群的中心服务器,Node节点可以部署在集群的地方服务器,Pod节点可以基于集群中分布式虚拟化平台部署在相应的物理设备上,在集群运行的过程中,Master节点可以向Node节点下发网络异常预警模型,Node节点可以在运行过程中与自身关联的Pod节点对应的节点信息,并将节点信息输入至关联概率预测模型中预测Pod节点与集群中其他Pod节点之间的关联关系,确定关联的关联Pod节点,通过由Node节点预测关联的Pod节点,可以有效地减少部署在集群中心服务器的Master节点的负载和运算压力,然后可以获取关联Pod节点所属第一物理设备对应的第一设备信息以及关联Node节点在集群中对应关联的关联Node节点所属第二物理设备对应的第二设备信息,再根据Master节点下发的网络异常预警模型分别对第一设备信息与第二设备信息进行处理,得到第一物理设备与第二物理设备之间在进行数据通信时,第一物理设备发生异常的第一异常概率以及第二设备发生异常的第二异常概率,从而通过网络异常预警模型对集群中Node节点对应的物理设备以及Pod节点对应的物理设备之间在进行数据传输时的异常概率进行预测,以便及时根据预测结果进行预警,从而方便对集群中的通信异常进行及时排障,保证集群运行的稳定性。
具体的,参照图1,示出了本发明实施例中提供的一种数据传输过程中的网络预警方法的步骤流程图,涉及k8s集群,k8s集群包括Master节点、与Master节点连接的若干个Node节点以及与各Node节点连接的至少一个Pod节点;其中,k8s集群中部署有分布式虚拟化平台,Pod节点基于分布式虚拟化平台部署在相应的物理设备上;所述方法可以应用于目标Node节点,目标Node节点部署有关联概率预测模型,具体可以包括如下步骤:
步骤101,获取目标Pod节点的节点信息,所述节点信息包括所述目标Pod节点与其他Pod节点之间发生数据交互时产生的信息;
对于k8s,其可以为kubernetes,其是为容器服务而生的一种可移植容器的编排管理工具,在k8s集群中可以包括多个物理设备/虚拟机组成。具体的,在k8s集群中可以包括Master节点、Node节点以及Pod节点,其中,Master节点可以为部署在集群的中心服务器的节点,负责对其他节点进行关联,如对Node节点进行管理等;Node节点负责对运行集群中的相关容器,并对容器传输的数据进行管理等;Pod节点为集群中独立的、隔离的、最小的工作单元,其可以运行一个或多个容器/服务,通过将多个容器进行结合,可以闯将相应的应用程序以实现相应的数据处理服务等。
参照图2,示出了本发明实施例中提供的k8s集群的结构示意图,对于k8s集群可以包括部署在中心服务器(或中心集群)的Master节点,以及与Master节点通信连接的若干个Node节点,每个Node节点可以部署在地方服务器,且每个Node节点可以对应一个数据库,以及每个Node节点可以与若干个Pod节点进行通信连接。其中,对于Pod节点,其可以为基于分布式虚拟化平台构建的虚拟机,并部署在集群中的相应物理设备上,可以通过对应的OpenAPI(Open Application Programming Interface,开放接口)与部署有Pod节点的物理设备进行通信,即对于Master节点、Node节点以及Pod节点,可以为一个Master节点对应多个Node节点,一个Node节点对应多个Pod节点。可选地,对于Node节点,可以分为部署在地方服务器上的第一类Node节点,以及由至少一个Pod节点组成的第二类Node节点,两者分别部署在集群中不同的物理设备上;对于分布式虚拟化平台,其可以部署在中心服务器,也可以部署在地方服务器,本发明对此不作限制。
可选地,在Master节点中可以部署有网络异常预警模型,可以通过网络异常预警模型对数据传输过程中物理设备发生异常的概率进行预测,以便通过对应的异常概率,方便及时根据预测结果进行预警,从而方便对集群中的通信异常进行及时排障,保证集群运行的稳定性;在Node节点中可以部署有关联概率预测模型,由于集群高可用特性以及高并发情况对Master节点的负载压力,通过关联概率预测模型结合数据库中存储的节点信息对Pod节点与集群中其他Pod节点之间的关联概率进行预测,通过Node节点筛选出每个Pod节点对应的关联Pod节点,可以减少中心服务器中Master节点的负载和运算压力。
在本发明实施例中,在k8s集群运行的过程中,以某一个Node节点为例进行示例性说明,对于目标Node节点,其可以获取与自身关联的目标Pod节点对应的节点信息。其中,节点信息可以包括目标Pod节点与其他Pod节点之间发生数据交互时产生的信息,例如,发生数据交互时,Pod节点的节点标识、IP地址、交互数据量、交互次数以及交互端口等等。
在具体实现中,Master节点可以通过配置文件管理集群中Pod节点对应的网络端口是否暴露,若端口暴露,则Pod节点可以与同一组网中的Pod节点、或集群中其他组网中的Pod节点进行数据交互,并将数据交互过程中的数据存储至中心服务器的日志文件中,以及可以将交互过程中涉及的节点信息存储至对应的数据库中。对于目标Node节点,其可以从与目标Node节点对应的目标历史数据库中,获取目标Pod节点的节点信息,以便根据节点信息预测与Pod节点对应的关联Pod节点。
例如,假设目标Node节点关联有Pod节点①、Pod节点②以及Pod节点③,则目标Node节点可以分别获取Pod节点①、Pod节点②以及Pod节点③对应的节点信息,以便基于节点信息预测Pod节点①、Pod节点②以及Pod节点③对应的关联Pod节点。此外,对于Pod节点①、Pod节点②以及Pod节点③等节点,可以为属于同一个组网的Pod节点,也可以为属于不同组网的Pod节点,对于同一组网的Pod节点,其可以为同属一个IP地址和DNS域名(DomainName System,域名***)的Pod节点,本发明对此不作限制。
步骤102,将所述节点信息输入所述关联概率预测模型进行节点关联概率预测,获得所述目标Pod节点与所述k8s集群中其他Pod节点之间的关联概率值,并将所述其他Pod节点中关联概率值满足预设条件的Pod节点作为所述目标Pod节点对应的关联Pod节点;
在具体实现中,目标Node节点可以从对应的数据库中获取到关联的目标Pod节点对应的节点信息之后,可以将节点信息输入至关联概率预测模型中预测目标Pod节点与同一组网中的其他Pod节点以及其他组网中的其他Pod节点之间的关联概率,通过关联概率值,可以判断目标Pod节点与集群中其他Pod节点之间的关联程度。对于目标Pod节点,其可以为与目标Node节点进行数据交互的节点,包括但不限于一个组网内或不同组网内的一个或多个Pod节点。例如,假设Pod节点①、Pod节点②以及Pod节点③等属于同一个组网,则针对Pod节点①,目标Node节点可以根据其所对应的节点信息,预测Pod节点①分别与Pod节点②和Pod节点③之间的关联概率;假设Pod节点①、Pod节点②以及Pod节点③属于不同的组网,则目标Node节点同样可以根据其所对应的节点信息,预测Pod节点①分别与Pod节点②和Pod节点③之间的关联概率。
在具体实现中,目标Node节点在根据关联概率预测模型得到目标Pod节点与集群中其他Pod节点之间的关联概率值候,可以获取各个其他Pod节点对应的权重系数,并采用权重系数与关联概率值计算其他Pod节点对应的加权概率值,然后将其他Pod节点中加权概率值大于或等于预设阈值的Pod节点作为与目标Pod节点对应的关联Pod节点。其中,对于Pod节点,与目标Pod节点为同一组网中的其他Pod节点,其对应的权重值可以为第一权重值;与目标Pod节点为不同组网中的其他Pod节点,其对应的权重值可以为第二权重值,并且,第一权重值可以大于第二权重值,以表征同一个组网中的不同Pod节点之间的关联度较高,从而在得到关联概率值后进一步通过权重系数进行加权,得到更为准确的加权概率值,进而通过加权概率值可以筛选出与目标Pod节点关联程度较高的关联Pod节点,实现了通过由Node节点筛选出关联的Pod节点,减少了后续进行网络异常预警时需要检测的Pod节点数量,有效地减少部署在集群中心服务器的Master节点的负载和运算压力。
步骤103,确定所述关联Pod节点对应的关联Node节点,并获取所述关联Pod节点所属第一物理设备对应的第一设备信息以及所述目标Node节点所属第二物理设备对应的第二设备信息;
当确定了与目标Pod节点关联程度较大的关联Pod节点后,可以进一步确定这些关联Pod节点所属的Node节点(上述第二类Node节点),并将这些Node节点作为与目标Node节点对应的关联Node节点,然后可以获取各个关联Pod节点所在的第一物理设备对应的第一设备信息,以及目标Node节点所在的第二物理设备对应的第二设备信息,以便根据两者预测第一物理设备与第二物理设备之间发生数据传输时,设备出现异常的概率。
其中,设备信息可以包括物理设备的设备参数、物理设备的网络端口参数以及与物理设备同在一个VLAN池中的其他物理设备对应的设备参数,对于设备参数,其可以包括物理设备在进行数据传输时相关硬件(内存、CPU、磁盘等)关联的参数;对于网络端口参数,其可以包括数据传输时端口的丢包信息、延迟信息等,本发明对此不作限制。
步骤104,将所述第一设备信息输入所述Master节点下发的网络异常预警模型对所述第一物理设备进行异常概率预测,获得针对所述第一物理设备的第一异常概率,以及将所述第二设备信息输入预设的网络异常预警模型对所述第二物理设备进行异常概率预测,获得针对所述第二物理设备的第二异常概率。
在本发明实施例中,目标Node节点在同步关联Pod节点发送的目标数据的同时,可以分别将第一设备信息输入Master节点下发的网络异常预警模型对第一物理设备进行异常概率预测,获得针对第一物理设备的第一异常概率,以及将第二设备信息输入预设的网络异常预警模型对第二物理设备进行异常概率预测,获得针对第二物理设备的第二异常概率。其中,第一异常概率为表征第一物理设备与第二物理设备之间进行数据传输时第一物理设备发生异常的概率;第二异常概率为表征第一物理设备与第二物理设备之间进行数据传输时第二物理设备发生异常的概率。
在具体实现中,目标Node节点可以响应于Master节点下发的模型指令,若根据模型指令检测到本地未部署网络异常预警模型,则向Master节点请求网络异常预警模型,并将Master节点下发的网络异常预警模型部署在本地;若根据模型指令检测到本地部署有网络异常预警模型,则获取Master节点中的网络异常预警模型对应的第一版本以及本地的网络异常预警模型对应的第二版本,并将两者进行比对,并以Master节点上的版本为准更新本地的网络异常预警模型,与Master节点中的网络异常预警模型保持一致,然后可以将第一设备信息输入网络异常预警模型对第一物理设备进行异常概率预测,获得针对第一物理设备的第一异常概率,以及将第二设备信息输入预设的网络异常预警模型对第二物理设备进行异常概率预测,获得针对第二物理设备的第二异常概率。
其中,对于第一设备信息至少包括第一设备参数、第一网络端口参数以及与第一物理设备同在一个VLAN池中的第三物理设备的第二设备参数,则目标Node节点可以将第一设备参数输入预设的网络异常预警模型对第一物理设备进行设备异常概率预测,获得针对第一物理设备的第一设备异常概率,将网络端口参数输入网络异常预警模型对第一物理设备进行端口异常概率预测,获得针对第一物理设备的第一端口异常概率,以及将第二设备参数输入预设的网络异常预警模型对第三物理设备进行设备异常概率预测,获得针对第一物理设备的第二设备异常概率。
对于第二设备信息至少包括第三设备参数、第二网络端口参数以及与第二物理设备同在一个VLAN池中的第四物理设备的第四设备参数,则目标Node节点可以将第三设备参数输入预设的网络异常预警模型对第二物理设备进行设备异常概率预测,获得针对第二物理设备的第三设备异常概率,将第二网络端口参数输入网络异常预警模型对第二物理设备进行端口异常概率预测,获得针对第二物理设备的第二端口异常概率,以及将第四设备参数输入预设的网络异常预警模型对第四物理设备进行设备异常概率预测,获得针对第二物理设备的第四设备异常概率。
通过网络异常预警模型对集群中Node节点对应的物理设备以及Pod节点对应的物理设备之间在进行数据传输时的异常概率进行预测,以便及时根据预测结果进行预警,从而方便对集群中的通信异常进行及时排障,保证集群运行的稳定性。
在本发明实施例中,在k8s集群中可以包括Master节点、与Master节点连接的若干个Node节点以及与各Node节点连接的至少一个Pod节点,且k8s集群中部署有分布式虚拟化平台,Pod节点基于分布式虚拟化平台部署在相应的物理设备上,则在k8s集群于云计算场景中,对于位于集群中的某一个目标Node节点,可以通过获取目标Pod节点的节点信息,节点信息包括目标Pod节点与其他Pod节点之间发生数据交互时产生的信息,将节点信息输入关联概率预测模型进行节点关联概率预测,获得目标Pod节点与k8s集群中其他Pod节点之间的关联概率值,并将其他Pod节点中关联概率值满足预设条件的Pod节点作为目标Pod节点对应的关联Pod节点,并确定关联Pod节点对应的关联Node节点,通过由Node节点预测关联的Pod节点,可以有效地减少部署在集群中心服务器的Master节点的负载和运算压力,同时,在确定了关联Node节点之后,可以获取关联Pod节点所属第一物理设备对应的第一设备信息以及关联Node节点所属第二物理设备对应的第二设备信息,然后将第一设备信息输入Master节点下发的网络异常预警模型对第一物理设备进行异常概率预测,获得针对第一物理设备的第一异常概率,以及将第二设备信息输入预设的网络异常预警模型对第二物理设备进行异常概率预测,获得针对第二物理设备的第二异常概率,通过网络异常预警模型对集群中Node节点对应的物理设备以及Pod节点对应的物理设备之间在进行数据传输时的异常概率进行预测,以便及时根据预测结果进行预警,从而方便对集群中的通信异常进行及时排障,保证集群运行的稳定性。
为了使本领域技术人员更好地理解本发明实施例的技术方案,下面通过一个例子进行示例性说明:
S1、在中心服务器部署初始Kubernetes的集群。一个基于Kubernetes的集群主要包括三个对象Master(主节点)、Node(节点)、Pod。其特征是分析方法包括:Master(主节点):首先,在集群管理服务器上部署Master(主节点)以及历史数据库。对于Master节点,其可以通过配置文件来管理Pod对应网络端口是否暴露,暴露端口的Pod可以与同一组网内其他集群Pod进行数据交互。并将数据存储在中央服务器日志文件中。
S2、采用马尔可夫链算法构建网络异常预警模型,考虑到多集群高可用性特性及高并发情况对Master的负载压力,我们采用随机森林算法构建关联概率预测模型结合历史数据库数据运算来预测Pod与集群内其他Pod及同一组网内其他集群Pod节点关联概率值。减轻中央服务器集群Master负载和运算压力。
其中,对于网络异常预警模型,可以从中心服务器集群Master节点发送flag(下发模型指令)和网络异常预警模型到各地方分布式Node节点对应的服务器。各地方服务器收到flag(下发指令)后检查本地是否部署网络异常预警模型,flag=1表示已部署,flag=0表示未部署,未部署则通过程序发送指令通知中心服务器请求下发模型。中心服务器收到请求指令后,向地方服务器发送网络异常预警模型。部署则更新地方网络异常预警模型与中心服务器保持同步。
具体的,对于网络异常预警模型,其可以为X(k+1)=X(k)×P。其中,公式中:X(k)表示趋势分析与预测对象在t=k时刻的状态向量,P表示一步转移概率矩阵,X(k+1)表示趋势分析与预测对象在t=k+1时刻的状态向量。
采用二步转移矩阵生成数据集合,例如:上月本地服务器资源(网络设备、端口网络品质、主机)采集数据占比100%。其中,故障30%、正常70%。故障中有60%可能本月继续故障,40%可能本月转成正常。则该聚合数据为【0.6、0.4】。本月本地服务器资源(网络设备、端口网络品质、主机)采集数据占比100%。其中,故障30%可能依然是故障,正常70%可能转成故障【0.3、0.7】,上月预测概率【0.6、0.4】;本月转移概率【0.3、0.7】,则通过模型计算得出:下月采集数据故障概率=0.3x0.6+0.3x0.7=0.39;下月采集数据正常概率=0.3x0.4+0.7x0.7=0.61。
对于关联概率预测模型,其可以通过随机森林算法进行构建,具体的,参照图3,示出了本发明实施例中提供的模型构建的示意图:
1、首先是输入为样本集|D|;
2、随机选择训练的数据集和样本特征进行|Di|轮训练;
2-1、对训练集进行第i次随机采样,共采集N次,得到包含N个样本的采样集;
2-2、用采样集|Di|训练第N个决策树模型H(i):
在训练决策树模型的节点的时候,在节点上所有的样本特征中选择一部分样本特征,通过投票的方式在这些随机选择的部分样本特征中选择一个最优的特征来做决策树的左右子树划分结果H(i);
3、H(j)等于该集群所有概率预测H(i)的加权平均值,该集群发生Pod相关联概率加权平均值。
S3、首先将S2的Pod相关联概率加权平均值大于50%的Pod集合在一起简称关联Pod集合。其次通过Master配置文件获取关联Pod集合的Node集合在一起简称关联Node集合。然后将关联Node集合对应的第一物理设备与分布式虚拟化平台资源对应的第二物理设备进行映射。并分别采集第二物理设备对应的(网络设备,端口网络、VLAN池关联的主机等相关信息)监控指标的数据。最后,获取本地历史数据库中虚拟化平台的虚拟化资源映射的Node(第一物理设备)对应的服务器资源告警数据(网络设备,端口网络、VLAN池关联的主机等相关信息)并结合网络异常预警模型运算得出虚拟化平台通过开放结构与k8s集群Node映射的第二物理设备同步资源时可能发生的异常概率。
S4、通过分布式网络解决各地方的分布式网络差异化问题,创建的分布式虚拟化平台资源通过OpenAPI完成与Node集合资源对应的物理设备同步,并预测同步过程中可能出现的故障概率。解决k8s集群与虚拟化的资源与数据差异化屏蔽及故障预警。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图4,示出了本发明实施例中提供的一种数据传输过程中的网络预警装置的结构框图,涉及k8s集群,所述k8s集群包括Master节点、与所述Master节点连接的若干个Node节点以及与各所述Node节点连接的至少一个Pod节点;其中,所述k8s集群中部署有分布式虚拟化平台,所述Pod节点基于所述分布式虚拟化平台部署在相应的物理设备上;所述装置应用于目标Node节点,所述目标Node节点部署有关联概率预测模型,具体可以包括如下模块:
节点信息获取模块401,用于获取目标Pod节点的节点信息,所述节点信息包括所述目标Pod节点与其他Pod节点之间发生数据交互时产生的信息;
关联Pod确定模块402,用于将所述节点信息输入所述关联概率预测模型进行节点关联概率预测,获得所述目标Pod节点与所述k8s集群中其他Pod节点之间的关联概率值,并将所述其他Pod节点中关联概率值满足预设条件的Pod节点作为所述目标Pod节点对应的关联Pod节点;
设备信息获取模块403,用于确定所述关联Pod节点对应的关联Node节点,并获取所述关联Pod节点所属第一物理设备对应的第一设备信息以及所述目标Node节点所属第二物理设备对应的第二设备信息;
异常概率确定模块404,用于将所述第一设备信息输入所述Master节点下发的网络异常预警模型对所述第一物理设备进行异常概率预测,获得针对所述第一物理设备的第一异常概率,以及将所述第二设备信息输入预设的网络异常预警模型对所述第二物理设备进行异常概率预测,获得针对所述第二物理设备的第二异常概率。
在一种可选实施例中,所述第一异常概率为表征所述第一物理设备与所述第二物理设备之间进行数据传输时所述第一物理设备发生异常的概率;所述第二异常概率为表征所述第一物理设备与所述第二物理设备之间进行数据传输时所述第二物理设备发生异常的概率。
在一种可选实施例中,所述异常概率确定模块404具体用于:
响应于所述Master节点下发的模型指令,若根据所述模型指令检测到本地未部署所述网络异常预警模型,则向所述Master节点请求所述网络异常预警模型,并将所述Master节点下发的网络异常预警模型部署在本地;
将所述第一设备信息输入所述网络异常预警模型对所述第一物理设备进行异常概率预测,获得针对所述第一物理设备的第一异常概率;
将所述第二设备信息输入预设的网络异常预警模型对所述第二物理设备进行异常概率预测,获得针对所述第二物理设备的第二异常概率。
在一种可选实施例中,所述第一设备信息至少包括第一设备参数、第一网络端口参数以及与所述第一物理设备同在一个VLAN池中的第三物理设备的第二设备参数,所述异常概率确定模块404具体用于:
将所述第一设备参数输入预设的网络异常预警模型对所述第一物理设备进行设备异常概率预测,获得针对所述第一物理设备的第一设备异常概率;
将所述网络端口参数输入所述网络异常预警模型对所述第一物理设备进行端口异常概率预测,获得针对所述第一物理设备的第一端口异常概率;
将所述第二设备参数输入预设的网络异常预警模型对所述第三物理设备进行设备异常概率预测,获得针对所述第一物理设备的第二设备异常概率。
在一种可选实施例中,所述第二设备信息至少包括第三设备参数、第二网络端口参数以及与所述第二物理设备同在一个VLAN池中的第四物理设备的第四设备参数,所述异常概率确定模块404具体用于:
将所述第三设备参数输入预设的网络异常预警模型对所述第二物理设备进行设备异常概率预测,获得针对所述第二物理设备的第三设备异常概率;
将所述第二网络端口参数输入所述网络异常预警模型对所述第二物理设备进行端口异常概率预测,获得针对所述第二物理设备的第二端口异常概率;
将所述第四设备参数输入预设的网络异常预警模型对所述第四物理设备进行设备异常概率预测,获得针对所述第二物理设备的第四设备异常概率。
在一种可选实施例中,所述关联Pod确定模块402具体用于:
获取各个所述其他Pod节点对应的权重系数,并采用所述权重系数与关联概率值计算所述其他Pod节点对应的加权概率值;
将所述其他Pod节点中加权概率值大于或等于预设阈值的Pod节点作为与所述目标Pod节点对应的关联Pod节点。
在一种可选实施例中,还包括:
数据同步模块,用于同步所述关联Pod节点发送的目标数据。
在一种可选实施例中,所述k8s集群还包括与所述Node节点连接的历史数据库,所述节点信息获取模块401具体用于:
从与所述目标Node节点对应的目标历史数据库中,获取目标Pod节点的节点信息。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
另外,本发明实施例还提供了一种电子设备,包括:处理器,存储器,存储在存储器上并可在处理器上运行的计算机程序,该计算机程序被处理器执行时实现上述数据传输过程中的网络预警方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述数据传输过程中的网络预警方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(RandomAccess Memory,简称RAM)、磁碟或者光盘等。
图5为实现本发明各个实施例的一种电子设备的硬件结构示意图。
该电子设备500包括但不限于:射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、处理器510、以及电源511等部件。本领域技术人员可以理解,图5中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
应理解的是,本发明实施例中,射频单元501可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器510处理;另外,将上行的数据发送给基站。通常,射频单元501包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元501还可以通过无线通信***与网络和其他设备通信。
电子设备通过网络模块502为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元503可以将射频单元501或网络模块502接收的或者在存储器509中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元503还可以提供与电子设备500执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元503包括扬声器、蜂鸣器以及受话器等。
输入单元504用于接收音频或视频信号。输入单元504可以包括图形处理器(Graphics Processing Unit,GPU)5041和麦克风5042,图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元506上。经图形处理器5041处理后的图像帧可以存储在存储器509(或其它存储介质)中或者经由射频单元501或网络模块502进行发送。麦克风5042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元501发送到移动通信基站的格式输出。
电子设备500还包括至少一种传感器505,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板5061的亮度,接近传感器可在电子设备500移动到耳边时,关闭显示面板5061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器505还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元506用于显示由用户输入的信息或提供给用户的信息。显示单元506可包括显示面板5061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板5061。
用户输入单元507可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板5071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板5071上或在触控面板5071附近的操作)。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器510,接收处理器510发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板5071。除了触控面板5071,用户输入单元507还可以包括其他输入设备5072。具体地,其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板5071可覆盖在显示面板5061上,当触控面板5071检测到在其上或附近的触摸操作后,传送给处理器510以确定触摸事件的类型,随后处理器510根据触摸事件的类型在显示面板5061上提供相应的视觉输出。虽然在图5中,触控面板5071与显示面板5061是作为两个独立的部件来实现电子设备的输入和输出功能,但是在某些实施例中,可以将触控面板5071与显示面板5061集成而实现电子设备的输入和输出功能,具体此处不做限定。
接口单元508为外部装置与电子设备500连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元508可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到电子设备500内的一个或多个元件或者可以用于在电子设备500和外部装置之间传输数据。
存储器509可用于存储软件程序以及各种数据。存储器509可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器509可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器510是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器509内的软件程序和/或模块,以及调用存储在存储器509内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。处理器510可包括一个或多个处理单元;优选的,处理器510可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器510中。
电子设备500还可以包括给各个部件供电的电源511(比如电池),优选的,电源511可以通过电源管理***与处理器510逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
另外,电子设备500包括一些未示出的功能模块,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。
本领域普通技术人员可以意识到,结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种数据传输过程中的网络预警方法,其特征在于,涉及k8s集群,所述k8s集群包括Master节点、与所述Master节点连接的若干个Node节点以及与各所述Node节点连接的至少一个Pod节点;其中,所述k8s集群中部署有分布式虚拟化平台,所述Pod节点基于所述分布式虚拟化平台部署在相应的物理设备上;所述方法应用于目标Node节点,所述目标Node节点部署有关联概率预测模型,所述方法包括:
获取目标Pod节点的节点信息,所述节点信息包括所述目标Pod节点与其他Pod节点之间发生数据交互时产生的信息;
将所述节点信息输入所述关联概率预测模型进行节点关联概率预测,获得所述目标Pod节点与所述k8s集群中其他Pod节点之间的关联概率值,并将所述其他Pod节点中关联概率值满足预设条件的Pod节点作为所述目标Pod节点对应的关联Pod节点;
确定所述关联Pod节点对应的关联Node节点,并获取所述关联Pod节点所属第一物理设备对应的第一设备信息以及所述目标Node节点所属第二物理设备对应的第二设备信息;
将所述第一设备信息输入所述Master节点下发的网络异常预警模型对所述第一物理设备进行异常概率预测,获得针对所述第一物理设备的第一异常概率,以及将所述第二设备信息输入预设的网络异常预警模型对所述第二物理设备进行异常概率预测,获得针对所述第二物理设备的第二异常概率。
2.根据权利要求1所述的方法,其特征在于,所述第一异常概率为表征所述第一物理设备与所述第二物理设备之间进行数据传输时所述第一物理设备发生异常的概率;所述第二异常概率为表征所述第一物理设备与所述第二物理设备之间进行数据传输时所述第二物理设备发生异常的概率。
3.根据权利要求1所述的方法,其特征在于,所述将所述第一设备信息输入所述Master节点下发的网络异常预警模型对所述第一物理设备进行异常概率预测,获得针对所述第一物理设备的第一异常概率,以及将所述第二设备信息输入预设的网络异常预警模型对所述第二物理设备进行异常概率预测,获得针对所述第二物理设备的第二异常概率,包括:
响应于所述Master节点下发的模型指令,若根据所述模型指令检测到本地未部署所述网络异常预警模型,则向所述Master节点请求所述网络异常预警模型,并将所述Master节点下发的网络异常预警模型部署在本地;
将所述第一设备信息输入所述网络异常预警模型对所述第一物理设备进行异常概率预测,获得针对所述第一物理设备的第一异常概率;
将所述第二设备信息输入预设的网络异常预警模型对所述第二物理设备进行异常概率预测,获得针对所述第二物理设备的第二异常概率。
4.根据权利要求3所述的方法,其特征在于,所述第一设备信息至少包括第一设备参数、第一网络端口参数以及与所述第一物理设备同在一个VLAN池中的第三物理设备的第二设备参数,所述将所述第一设备信息输入预设的网络异常预警模型对所述第一物理设备进行异常概率预测,获得针对所述第一物理设备的第一异常概率,包括:
将所述第一设备参数输入预设的网络异常预警模型对所述第一物理设备进行设备异常概率预测,获得针对所述第一物理设备的第一设备异常概率;
将所述网络端口参数输入所述网络异常预警模型对所述第一物理设备进行端口异常概率预测,获得针对所述第一物理设备的第一端口异常概率;
将所述第二设备参数输入预设的网络异常预警模型对所述第三物理设备进行设备异常概率预测,获得针对所述第一物理设备的第二设备异常概率。
5.根据权利要求3所述的方法,其特征在于,所述第二设备信息至少包括第三设备参数、第二网络端口参数以及与所述第二物理设备同在一个VLAN池中的第四物理设备的第四设备参数,所述将所述第二设备信息输入预设的网络异常预警模型对所述第二物理设备进行异常概率预测,获得针对所述第二物理设备的第二异常概率,包括:
将所述第三设备参数输入预设的网络异常预警模型对所述第二物理设备进行设备异常概率预测,获得针对所述第二物理设备的第三设备异常概率;
将所述第二网络端口参数输入所述网络异常预警模型对所述第二物理设备进行端口异常概率预测,获得针对所述第二物理设备的第二端口异常概率;
将所述第四设备参数输入预设的网络异常预警模型对所述第四物理设备进行设备异常概率预测,获得针对所述第二物理设备的第四设备异常概率。
6.根据权利要求1所述的方法,其特征在于,所述将所述其他Pod节点中关联概率值满足预设条件的Pod节点作为所述目标Pod节点对应的关联Pod节点,包括:
获取各个所述其他Pod节点对应的权重系数,并采用所述权重系数与关联概率值计算所述其他Pod节点对应的加权概率值;
将所述其他Pod节点中加权概率值大于或等于预设阈值的Pod节点作为与所述目标Pod节点对应的关联Pod节点。
7.根据权利要求1所述的方法,其特征在于,所述k8s集群还包括与所述Node节点连接的历史数据库,所述获取目标Pod节点的节点信息,包括:
从与所述目标Node节点对应的目标历史数据库中,获取目标Pod节点的节点信息。
8.一种数据传输过程中的网络预警装置,其特征在于,涉及k8s集群,所述k8s集群包括Master节点、与所述Master节点连接的若干个Node节点以及与各所述Node节点连接的至少一个Pod节点;其中,所述k8s集群中部署有分布式虚拟化平台,所述Pod节点基于所述分布式虚拟化平台部署在相应的物理设备上;所述装置应用于目标Node节点,所述目标Node节点部署有关联概率预测模型,所述装置包括:
节点信息获取模块,用于获取目标Pod节点的节点信息,所述节点信息包括所述目标Pod节点与其他Pod节点之间发生数据交互时产生的信息;
关联Pod确定模块,用于将所述节点信息输入所述关联概率预测模型进行节点关联概率预测,获得所述目标Pod节点与所述k8s集群中其他Pod节点之间的关联概率值,并将所述其他Pod节点中关联概率值满足预设条件的Pod节点作为所述目标Pod节点对应的关联Pod节点;
设备信息获取模块,用于确定所述关联Pod节点对应的关联Node节点,并获取所述关联Pod节点所属第一物理设备对应的第一设备信息以及所述目标Node节点所属第二物理设备对应的第二设备信息;
异常概率确定模块,用于将所述第一设备信息输入所述Master节点下发的网络异常预警模型对所述第一物理设备进行异常概率预测,获得针对所述第一物理设备的第一异常概率,以及将所述第二设备信息输入预设的网络异常预警模型对所述第二物理设备进行异常概率预测,获得针对所述第二物理设备的第二异常概率。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行存储器上所存放的程序时,实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其上存储有指令,当由一个或多个处理器执行时,使得所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210814995.XA CN115333928B (zh) | 2022-07-12 | 2022-07-12 | 网络预警方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210814995.XA CN115333928B (zh) | 2022-07-12 | 2022-07-12 | 网络预警方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115333928A CN115333928A (zh) | 2022-11-11 |
CN115333928B true CN115333928B (zh) | 2024-07-02 |
Family
ID=83917647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210814995.XA Active CN115333928B (zh) | 2022-07-12 | 2022-07-12 | 网络预警方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115333928B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110262944A (zh) * | 2019-06-21 | 2019-09-20 | 四川长虹电器股份有限公司 | 一种对K8s集群容器资源进行监控并进行告警的方法 |
CN111752759A (zh) * | 2020-06-30 | 2020-10-09 | 重庆紫光华山智安科技有限公司 | Kafka集群故障恢复方法、装置、设备及介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111368290B (zh) * | 2018-12-26 | 2023-06-09 | 中兴通讯股份有限公司 | 一种数据异常检测方法、装置及终端设备 |
US10873592B1 (en) * | 2019-12-23 | 2020-12-22 | Lacework Inc. | Kubernetes launch graph |
CN113918268A (zh) * | 2020-07-07 | 2022-01-11 | 华为技术有限公司 | 一种多租户管理方法及装置 |
CN112925649B (zh) * | 2021-03-31 | 2021-09-14 | 中国人民解放军国防科技大学 | 一种虚拟网络功能的统一监控方法 |
CN114301917A (zh) * | 2021-12-27 | 2022-04-08 | 深圳市赛为智能股份有限公司 | 一种弹性伸缩的设备接入***及其工作方法 |
CN114327766A (zh) * | 2021-12-28 | 2022-04-12 | 北京易华录信息技术股份有限公司 | Kubernetes集群部署方法、装置、设备及计算机可读存储介质 |
CN114675956B (zh) * | 2022-04-14 | 2022-08-30 | 三峡智控科技有限公司 | 一种基于Kubernetes集群之间Pod配置及调度的方法 |
-
2022
- 2022-07-12 CN CN202210814995.XA patent/CN115333928B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110262944A (zh) * | 2019-06-21 | 2019-09-20 | 四川长虹电器股份有限公司 | 一种对K8s集群容器资源进行监控并进行告警的方法 |
CN111752759A (zh) * | 2020-06-30 | 2020-10-09 | 重庆紫光华山智安科技有限公司 | Kafka集群故障恢复方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115333928A (zh) | 2022-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108446207B (zh) | 计算机***容灾能力评估方法、装置及*** | |
CN109995862B (zh) | 一种资源调度方法及终端 | |
CN111338745B (zh) | 一种虚拟机的部署方法、装置及智能设备 | |
CN111309205B (zh) | 一种应用分享方法、第一电子设备及计算机可读存储介质 | |
CN111984401A (zh) | 一种内存溢出管理方法、装置、电子设备及存储介质 | |
CN110008234B (zh) | 一种业务数据搜索方法、装置及电子设备 | |
CN112256748B (zh) | 一种异常检测方法、装置、电子设备及存储介质 | |
CN115617278B (zh) | 路径设备的选择方法、装置、电子设备及可读存储介质 | |
CN116208613A (zh) | 云主机的迁移方法、装置、电子设备及存储介质 | |
CN115237618A (zh) | 请求处理方法、装置、计算机设备及可读存储介质 | |
CN112543195B (zh) | 面向智能网联汽车的信息安全评估方法、装置及电子设备 | |
CN116610508A (zh) | 一种散热测试方法、装置、电子设备及存储介质 | |
CN117076295A (zh) | 数据库的检测方法、***、电子设备及存储介质 | |
CN110489657B (zh) | 一种信息过滤方法、装置、终端设备及存储介质 | |
CN115333928B (zh) | 网络预警方法、装置、电子设备及存储介质 | |
CN117527804A (zh) | 一种网络请求信息转发方法和装置 | |
CN115510005A (zh) | 异常日志信息的展示方法、装置、电子设备及存储介质 | |
CN115240250A (zh) | 模型训练方法、装置、计算机设备及可读存储介质 | |
CN113112011B (zh) | 一种数据预测方法及装置 | |
CN111475141A (zh) | 榜单的生成方法、装置及电子设备 | |
CN116227325A (zh) | 基于神经元模型的电器故障预测方法和装置 | |
CN116244220A (zh) | 缓存数据的存储方法、装置、电子设备及存储介质 | |
CN116094963A (zh) | 流量占比统计方法、装置、电子设备及存储介质 | |
CN116257356A (zh) | 基于人工智能的智慧城市数据处理方法及*** | |
CN116248513A (zh) | 多层级拓扑图谱的生成方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |