CN113542017A - 基于网络拓扑和多指标的一种网络故障定位方法 - Google Patents

Abstract

本发明公开了基于网络拓扑和多指标的一种网络故障定位方法，包括指标预处理***、指标综合分析和结果展示***，所述指标预处理***分为提取TCP层面网络指标并计算出分区健康度、获取拓扑关系和IP地址交换机及端口关系、对获取到的日志指标进行标记算和对获取到的SNMP指标进行计算四个步骤；本发明中针对网络分区提出了网络分区健康度概念。本发明中将日志数量作为故障判断的一个重要指标，并可以对日志进行自动化智能化分类。本发明中本发明中通过异常检测算法，进行异常检测，可以提升检测准确率。本发明中基于拓扑和多维度和异常检测并赋予设备权值进行推断，可有效的定位数据中心中网络设备故障范围。

Description

基于网络拓扑和多指标的一种网络故障定位方法

技术领域

本发明涉及网络技术领域，具体是基于网络拓扑和多指标的一种网络故障定位方法。

背景技术

目前民航大规模数据中心涉及的网络设备数量可能上万，甚至上十万。这些设备组网多采用三级网络架构，将网络设备分层，对应：接入层，汇聚层，核心层；每一层都会有冗余机制设计或主备自动倒换机制，若某一层关键设备发生特定的硬件层或软件层的故障冗导致余机制和自动倒换机制失效，将会导致部分网络或整个网络异常。在上述大规模的网络中，如何有效的快速定位和发现设备故障或这故障点成为了挑战。网络故障的定位过程一般具有特点：网络指标中多，有数值型和非数值型的指标存在，且很多具有很重要的意义可以辅助定位故障点；运维人员在分析指标时经常会耗费大量时间和经历，查看、提取、分析一定时间窗口内指标的特征，同时在如此海量的数据中，容易忽略一些被普通指标淹没的关键细节；故障推断和网络拓扑的强关联性，运维人员往往根据故障现象结合网络拓扑来判断网络故障发生的大体范围，对应如上所诉的层级；有检验的运维人员可以根据拓扑很快推断出大体范围，但是运维人员水平参差不齐，并不是所有运维人员都可以快速准确定位故障所涉及的网络设备范围。因此，随着大数据时代到来和自动化在网络运维领域越来越多的应用，如何解决以上问题也成为业界的挑战。

对于网络指标分析，现有的方式一般是对数值型的指标进行预处理和计算后采用静态或动态基线等算法进行异常检测，对于非数值型指标一般可以将其转化为数值型指标再进行分析，通过关联算法将多指标关联在一起得出最终结果。但在实际情况中有些非数值指标无法有效的转换为数值指标，这会导致忽略一些关键的异常信息。同时大部分算法很难将这两种指标结合起来分析进行有效推断，且大部分基于指标的综合分析推断在不结合拓扑的情况下，无法有效的推断出故障范围，经常会出现误报和错报。

如上所述，网络***的各种指标和网络拓扑被运维人员广泛地应用于监测、分析和确保***的可靠性，并可在***发生故障时利用他们推断出故障发生点，这源于这些数据通常是在实际生产环境中记录详细的***运行时信息的准确数据。有经验的运维人员往往能够通过查看这些指标和拓扑而准确查找到问题根源，甚至预判可能发生的故障等。通常数值型指标仅依靠人工查看容易忽略细小的异常点，非数值型指标在查看过程中人工过滤关键信息耗费时间较长，劳动强度大。因此如何设计一套结合多指标和拓扑进行信息过滤，分析，并推断出异常点的***和方法具有很强的现实意义。

发明内容

本发明的目的在于提供基于网络拓扑和多指标的一种网络故障定位方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

基于网络拓扑和多指标的一种网络故障定位方法，包括指标预处理***、指标综合分析和结果展示***，所述指标预处理***分为提取TCP层面网络指标并计算出分区健康度、获取拓扑关系和IP地址交换机及端口关系、对获取到的日志指标进行标记算和对获取到的SNMP指标进行计算四个步骤，所述指标综合分析和结果展示***分为异常检测指标综合分析两个步骤。

作为本发明进一步的方案：基于传统数据中心拓扑的多维度指标定位网络设备故障的一种方法步骤如下：

S1：提取TCP层面网络指标并计算出分区健康度：

对于每选取好的指标集合，通过网络流量实时采集分析***实时计算每一个指标值健康度，然后根据当前健康度的值加权计算的出网络分区健康度；

S2：获取拓扑关系和IP地址交换机及端口关系：

1、拓扑关系发现：利用LLDP协议SSH远程登录生产网络设备，发现网络设备之间的邻居关系和连线关系，网络设备包括网络防火墙、网络负载均衡、网络交换机。

2、拓扑关系数据库建模：建立数据中心不同功能分区关键设备拓扑直连关系信息表，包括：本端设备，本端端口，对端设备，对端端口,设备所属层级；S3：对获取到的日志指标进行标记算：

1、对获取到的网络设备日志指标格式进行拆分具体信息，同时根据不同的设备厂商的个性化字段进行归并分类。归类后，对特别感兴趣的异常日志进行人工标记。

2、对日志分级后的数量进行实时计算，获取设备对应在不同时间内的日志总数量，分级别不同日志的总数量；

S4：对获取到的SNMP指标进行计算：

1、对采集到的CPU，内存等数据指标直接计入数据库以供后续分析；

2、对采集到的的端口流量指标，在和设备关联后进行数据汇总，得出设备端口收发包流量比，比值入数据库以供后续分析；

S5：异常检测：

1、针对分区健康度、IP健康度、日志数量、和SNMP指标、设备端口流量比几个指标通过统计学算法得出异常点，将异常写入数据库；

2、将异常检测得出的时间输出至告警平台，与现有的监控平台进行交互；S6：指标综合分析：

1、运维人员通过分区健康度指标作为输入，输入分析的时间窗口开始分析；

2、综合分析***将这段时间之内的告警综合至拓扑上，赋予设备权重，并将所以有这段时间之内和故障关联的设备输出，并按照可能性排序。具体涉及的权重策略分为：设备所属层级、IP不通数量权重、人工标记日志命中权重、日志数量异常权重、IP健康度权重、SNMP异常权重、进出流量比权重；

3、将分析过程和步骤存入数据库；通过对SNMP分析得出推出每个固定时间片内异常事件的数量。通过对设备日志的精确匹配和智能识别确定日志异常事件。最后通过结合网络拓扑对每一个网络设备进行分层，通过拓扑和以上异常进行关联，将关联后的时间赋予权值，从而推断出最有可能的故障设备组；S7：结果展示***：

该***实现了第二部分采集数据和第三部分分析过程和结果的可视化展示功能，将日志汇总，分区健康度汇总，同时可以查看单台设备的SNMP相关指标趋势，进出流量比故障推断过程等，辅助运维人员更高效的定位故障。

与现有技术相比，本发明的有益效果是：

1、本发明中针对网络分区提出了网络分区健康度概念。本发明中将日志数量作为故障判断的一个重要指标，并可以对日志进行自动化智能化分类。

2、本发明中本发明中通过异常检测算法，进行异常检测，可以提升检测准确率。本发明中基于拓扑和多维度和异常检测并赋予设备权值进行推断，可有效的定位数据中心中网络设备故障范围。

附图说明

图1为基于传统数据中心拓扑的多维度指标定位网络设备故障的一种方法的***架构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例中，基于网络拓扑和多指标的一种网络故障定位方法，包括指标预处理***、指标综合分析和结果展示***，所述指标预处理***分为提取TCP层面网络指标并计算出分区健康度、获取拓扑关系和IP地址交换机及端口关系、对获取到的日志指标进行标记算和对获取到的SNMP指标进行计算四个步骤，所述指标综合分析和结果展示***分为异常检测指标综合分析两个步骤。

实施例一

指标预处理***，主要针对TCP指标的选取进行处理，得出需要实时计算采集的指标项，并对指标项根据一定算法计算出网络健康度。对syslog和SNMP采集的数据进行归类，和计数，方便后续分析。

实施例二

指标综合分析主要分为数据分析和异常检测模块，异常检测模块将第二部分输出的分区健康度、IP健康度、日志数量、和SNMP指标、设备端口流量比指标通过算法进行异常检测，得出异常点。综合分析将异常检测得出的结果和当前拓扑，ping指标等结合起来分析、推断，对网络设备赋予故障权值，并排序，输出排序结果。

实施例三

结果展示***，该***实现了第二部分采集数据和第三部分分析过程和结果的可视化展示功能，将日志汇总，分区健康度汇总，同时可以查看单台设备的SNMP相关指标趋势，进出流量比故障推断过程等，辅助运维人员更高效的定位故障。

本发明的工作原理是：指标预处理***：标预处理***，主要针对TCP指标的选取进行处理，得出需要实时计算采集的指标项，并对指标项根据一定算法计算出网络健康度。对syslog和SNMP采集的数据进行归类，和计数，方便后续分析

a.提取TCP层面网络指标并计算出分区健康度。对于每选取好的指标集合N，通过网络流量实时采集分析***NPM将每一TCP四元祖报文中的指标值实时抽取汇聚，经过规则过滤到明显偏差流量后，经过一次指数平滑算法或三次指数平滑算法实时计算每一个指标的预测值，根据预测值和实际值的差和容忍度计算当前值得健康度，容忍度可以根据实际情况调整。然后根据当前健康度的值加权计算的出网络分区健康度、IP健康度。对于每一个指标的权值设定可以根据上述指标选取中计算的关联度大小设置权重。设指标A，关联度为a,指标B，关联度为b，则指标A设置的权重为a/(a+b)

b.获取拓扑关系和IP地址交换机及端口关系

拓扑关系数据库建模：建立数据中心不同功能分区关键设备拓扑直连关系信息表，包括：本端设备，本端端口，对端设备，对端端口,设备所属层级

拓扑关系发现：利用LLDP协议SSH远程登录生产网络设备，发现网络设备之间的邻居关系和连线关系，网络设备包括网络防火墙、网络负载均衡、网络交换机,并存入上述网络拓扑关系图数据库，对于无法通过lldp协议方式发现的网络设备通过手工录入的方式确定拓扑图。

c、对获取到的日志指标进行标、记算：虽然不同厂商，不同型号，不同类型的设备***日志定义方式不同，但通常其结构符合RFC3164所规定的格式，因此可以根据RFC3164格式进行拆分，分为“模块/级别/简述/详述”，同时根据不同的设备厂商的个性化字段补充“格式/解释/处理手段”解释进行归并分类。对于可以从厂商资料取得的日志类型，按上述拆分后直接归类进入数据库。同时实时采集日志收，根据上述格式实时拆分后再进行归类、入库。入库后专家会对特别感兴趣的异常日志进行人工标记。

d.对日志分级后的数量进行实时计算，获取设备对应在不同时间内的日志总数量，分级别不同日志的总数量:针对采集***在kafka集群中的日志提取进入在线实时计算flink集运算，根据拆分字段级别，进行累加汇聚运算，分别得不通级别的日志数量序列，并存入数据库，以待后续使用。

f、对获取到的SNMP指标进行计算:对采集到的的端口流量指标，在和设备关联后进行数据汇总，得出设备端口收发包流量比，比值入数据库以供后续分析。

指标综合分析***

a.针对分区健康度的预测：设定时间片间隔为τ，统计[t,t+τ]区间内的健康度Q；采用指数平滑算法对t+τ+1的值进行预测，其中可以根据不同分区的流量特征分别设置不同的指数平滑算法。

b.健康度异常检测：取预测值为X，实际值为Y，当|X-Y|/Y大于等于0.3且连续三次取值均大于0.3时即认为是异常，立刻告警。同时，对于健康度下降至一定值以下的情况，不管是否在正确的异常范围内，均视为告警。当然这个取值可以根据实际情况确定

c.日志数量、和SNMP指标、设备端口流量比几个指标通过固定阈值进行异常检测，超出此范围的值作为异常写入数据库。

d.基于拓扑的设备权重策略：根据以上输出结合拓扑赋予每台设备权值，其中涉及的权重策略具体如下：

ip不健康权重：在一定时间范围[t,t+τ]内取ping不通ip的集合S，根据拓扑对有互联关系的关联的设备赋予权重，每一个ip的权重可以单独调整，ip通过上述采集和预处理***得出和接入网络设备之间的关联关系，权重自拓扑底端接入层交换机开始逐渐向ip所在网关核心层网络设备单向遍历，遍历到的所有设备权重将增加。重复遍历集合S中的ip至所有ip权重被赋予至网络设备上。遍历完成后可得到ip不健康设备集合X。

异常告警权重：在一定时间范围[t,t+τ]内，将日志数量异常告警，SNMP相关指标异常告警，设备端口流量比异常赋予权值，区分设备累加后赋予网络设备，可得到异常告警设备集合Y

特异性匹配权重：针对一定时间范围[t,t+τ]内，针对每台网络设备均可取得若干设备日志，将取得的日志根据指标预处理***中的日志分类进行压缩，可以得到在此时间段内每种日志发生的数量。同时将日志类型和指标预处理***中专家标记的日志进行对比，得出特异性匹配到的日志。将日志数量*权重系数后得出权重值，赋予设备。可以得到特异性匹配设备集合Z。

e.设备优先级排序，针对权重和设备所属层级，进行优先级排序，权重高优先推荐。

f.异常输出:将上述异常检测集合设备组N，作为异常检测得出的事件输出至告警平台，与现有的监控平台进行交互。

4.结果展示***

该***实现了第二部分采集数据和第三部分分析过程和结果的可视化展示功能，可以在首页以矩阵形式将分区健康度展示，并且将日志汇总排名得当前时间范围内出日志数量前5的设备，同时可以查看单台设备的SNMP相关指标趋势，包括CPU、内存、进出流量比等。故障推断过程展示页面通过将分析***中每一步的结果按照列表和流程的方式展示给运维人员，辅助运维人员更高效的定位故障。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (2)

1.基于网络拓扑和多指标的一种网络故障定位方法，包括指标预处理***、指标综合分析和结果展示***，其特征在于，所述指标预处理***分为提取TCP层面网络指标并计算出分区健康度、获取拓扑关系和IP地址交换机及端口关系、对获取到的日志指标进行标记算和对获取到的SNMP指标进行计算四个步骤，所述指标综合分析和结果展示***分为异常检测指标综合分析两个步骤。

2.根据权利要求1所述的基于网络拓扑和多指标的一种网络故障定位方法，其特征在于，所述基于网络拓扑和多指标的一种网络故障定位方法步骤如下：

S1、提取TCP层面网络指标并计算出分区健康度：

对于每选取好的指标集合，通过网络流量实时采集分析***实时计算每一个指标值健康度，然后根据当前健康度的值加权计算的出网络分区健康度；

S2、获取拓扑关系和IP地址交换机及端口关系：

1、拓扑关系发现：利用LLDP协议SSH远程登录生产网络设备，发现网络设备之间的邻居关系和连线关系，网络设备包括网络防火墙、网络负载均衡、网络交换机。

2、拓扑关系数据库建模：建立数据中心不同功能分区关键设备拓扑直连关系信息表，包括：本端设备，本端端口，对端设备，对端端口,设备所属层级；

S3、对获取到的日志指标进行标记算：

1、对获取到的网络设备日志指标格式进行拆分具体信息，同时根据不同的设备厂商的个性化字段进行归并分类。归类后，对特别感兴趣的异常日志进行人工标记。

2、对日志分级后的数量进行实时计算，获取设备对应在不同时间内的日志总数量，分级别不同日志的总数量；

S4、对获取到的SNMP指标进行计算：

1、对采集到的CPU，内存等数据指标直接计入数据库以供后续分析；

2、对采集到的的端口流量指标，在和设备关联后进行数据汇总，得出设备端口收发包流量比，比值入数据库以供后续分析；

S5、异常检测：

1、针对分区健康度、IP健康度、日志数量、和SNMP指标、设备端口流量比几个指标通过统计学算法得出异常点，将异常写入数据库；

2、将异常检测得出的时间输出至告警平台，与现有的监控平台进行交互；

S6、指标综合分析：

1、运维人员通过分区健康度指标作为输入，输入分析的时间窗口开始分析；

2、综合分析***将这段时间之内的告警综合至拓扑上，赋予设备权重，并将所以有这段时间之内和故障关联的设备输出，并按照可能性排序。具体涉及的权重策略分为：设备所属层级、IP不通数量权重、人工标记日志命中权重、日志数量异常权重、IP健康度权重、SNMP异常权重、进出流量比权重；

3、将分析过程和步骤存入数据库；通过对SNMP分析得出推出每个固定时间片内异常事件的数量。通过对设备日志的精确匹配和智能识别确定日志异常事件。最后通过结合网络拓扑对每一个网络设备进行分层，通过拓扑和以上异常进行关联，将关联后的时间赋予权值，从而推断出最有可能的故障设备组；

S7、结果展示***：

该***实现了第二部分采集数据和第三部分分析过程和结果的可视化展示功能，将日志汇总，分区健康度汇总，同时可以查看单台设备的SNMP相关指标趋势，进出流量比故障推断过程等，辅助运维人员更高效的定位故障。

Images