CN108173670A - 检测网络的方法和装置 - Google Patents
检测网络的方法和装置 Download PDFInfo
- Publication number
- CN108173670A CN108173670A CN201611113004.6A CN201611113004A CN108173670A CN 108173670 A CN108173670 A CN 108173670A CN 201611113004 A CN201611113004 A CN 201611113004A CN 108173670 A CN108173670 A CN 108173670A
- Authority
- CN
- China
- Prior art keywords
- matrix
- vector
- abnormal
- network performance
- data sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/04—Arrangements for maintaining operational condition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0677—Localisation of faults
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/08—Testing, supervising or monitoring using real traffic
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例提供了一种检测网络的方法和装置。该方法包括:获取一个或多个目标网络性能指标的解析数据,每个目标网络性能指标的解析数据包括在多个采集时间点上该目标网络性能指标对应的测量值;分析该解析数据,得到多个数据序列,每个数据序列包括一个目标网络性能指标在该多个采集时间点上对应的多个测量值,该多个测量值在该数据序列中按照时间先后顺序排列;根据该多个数据序列,确定异常采集时间点或异常数据序列;确定该异常采集时间点或异常数据序列对应的网络性能指标为异常网络性能指标。本发明实施例提供的方法和装置,通过分析一个或者多个目标网络性能的多个数据序列,能够有效识别出异常网络性能指标。
Description
技术领域
本发明实施例涉及通信领域,并且更具体地,涉及一种检测网络的方法和装置。
背景技术
网络设备在出现故障之前会出现一些异常现象,其中一些典型的异常现象包括网络的一些关键性能指标或者日志的事件记录出现异常,如内存缓慢泄露(内存占用率增加),协议事件(例如,心跳丢失)数量缓慢增加等等。虽然出现这些异常现象的时候故障并未发生,但是人们可以根据这些异常现象对故障进行预警,从而可以在故障发生之前采取相应的措施,避免故障的发生。
现有虽然有一些针对这些问题的预警方法,例如,针对内存泄露,可以根据应用程序或操作***对内存的使用原理,在各个使用环节上进行判断,发现异常,但是这种方法需要对内存操作的原理非常了解,而且不能使用于其他类型的异常检测。对于协议事件,人们通常针对某个事件设置一个阈值,一旦事件频率超过这个阈值便认为出现异常。但是这种方法的异常识别率很低。通过指标或者事件发生的数据时间序列来分析发现异常的方法虽然具备了通用性,但是由于数据通常包含了各种干扰或者随机因素,异常的识别准确率也不高。
因此,目前缺乏基于大批量性能指标和/或协议事件,有效识别异常的指标或事件的方法。
发明内容
本发明实施例提供了一种检测网络的方法和装置,基于大批量性能指标和/或协议事件,能够有效识别异常的网络性能指标。
第一方面,提供了一种检测网络的方法,所述方法包括:获取一个或多个目标网络性能指标的解析数据,每个目标网络性能指标的解析数据包括在多个采集时间点上所述目标网络性能指标对应的测量值;分析所述解析数据,得到多个数据序列,每个数据序列包括一个目标网络性能指标在所述多个采集时间点上对应的多个测量值,所述多个测量值在所述数据序列中按照时间先后顺序排列;根据所述多个数据序列,确定异常时间点或异常数据序列;确定所述异常时间点或异常数据序列对应的网络性能指标为异常网络性能指标。
在本发明实施例中,在性能指标和/或协议事件种类多的情况下,通过对目标网络性能指标对应的多个数据序列进行处理,能够有效识别异常网络性能指标。
在一个可能的设计中,所述多个数据序列为在所述多个采集时间点上针对同一个目标网络性能指标在多条网络链路或多个网络设备上的采集的测量值;或,所述多个数据序列为在所述多个采集时间点上针对多个不同目标网络性能指标在同一条网络链路或者同一个网络设备上采集的测量值。
在一个可能的设计中,所述根据所述多个数据序列,确定异常时间点包括:将所述多个数据序列进行组合,形成数据序列矩阵X,所述矩阵X为M行N列的矩阵;所述矩阵X的N个列向量与所述多个数据序列一一对应,所述矩阵X的M个行向量表示所述多个采集时间点;其中,M和N均为大于1的正整数;根据所述矩阵X,确定所述异常时间点。
在本发明实施例中,通过对网络性能指标对应的数据序列矩阵或指定的数据序列矩阵分析,能够有效查找出的异常时间点对应的异常网络性能指标。
在一个可能的设计中,所述根据所述矩阵X,确定所述异常时间点,包括:获取所述矩阵X的第一相似矩阵;根据所述矩阵X和所述第一相似矩阵对应的第一协方差矩阵的凸组合,获取第一拉普拉斯矩阵;根据所述第一拉普拉斯矩阵的第一奇异值对应的左奇异向量,构造第一投影矩阵,所述第一奇异值大于或者等于第一阈值,所述第一投影矩阵的列向量与所述第一奇异值对应的左奇异向量一一对应;根据所述第一投影矩阵对所述矩阵X的M个行向量分别进行投影计算,得到M个数据向量;根据所述M个数据向量组成的第一计算矩阵,分别计算所述矩阵X中每个行向量的时间点统计量,所述时间点统计量用于指示每个目标网络性能指标在所述矩阵X的行向量对应的采集时间点的状态;根据所述矩阵X中每个行向量的时间点统计量和第二阈值,确定所述异常时间点。
在本发明实施例中,通过对网络性能指标对应的数据序列矩阵或指定的数据序列矩阵分析,能够有效查找出异常时间点对应的异常网络性能指标。
在一个可能的设计中,所述获取所述矩阵X的第一相似矩阵,包括:根据以下公式对所述矩阵X进行变换,形成所述矩阵X的第一相似矩阵;
S=[Sij]
其中,所述S为所述第一相似矩阵,所述Sij为所述第一相似矩阵的第i行和第j列对应的元素,所述Xi为所述矩阵X中的第i行行向量,所述Xj为所述矩阵X中的第j行行向量,所述ε为所述矩阵X的局部特征分析参数,所述σ为所述矩阵X的归一化程度分析参数。
在一个可能的设计中,所述根据所述矩阵X和所述第一相似矩阵对应的第一协方差矩阵的凸组合,获取第一拉普拉斯矩阵,包括:根据所述矩阵X和以下公式,获取第一拉普拉斯矩阵;
其中,所述为所述第一拉普拉斯矩阵,所述C为所述第一协方差矩阵,所述XT为所述矩阵X的转置矩阵,所述λ表示所述矩阵X的总体特征和所述矩阵X的局部特征的权重,λ∈(0,1)。
在一个可能的设计中,所述根据所述第一投影矩阵对所述矩阵X的M个行向量分别进行投影计算,得到M个数据向量,包括:根据以下公式对所述矩阵X的M个行向量分别进行投影计算,得到M个数据向量;
其中,所述为yi为所述矩阵X的第i行行向量对应的数据向量,所述U为所述第一投影矩阵,所述为所述矩阵X中的第i行行向量的转置向量。
在一个可能的设计中,所述根据所述M个数据向量组成的第一计算矩阵,分别计算所述矩阵X中每个行向量的时间点统计量,包括:将所述M个数据向量作为M个列向量组成所述第一计算矩阵;根据以下公式计算所述矩阵X中每个行向量的时间点统计量;
Y=[y1 y2 y3 ... yM]
其中,所述Y为所述第一计算矩阵,所述y1 y2 y3 ... yM分别为所述矩阵X的行向量对应的数据向量,所述YT为所述矩阵Y的转置矩阵,所述为所述矩阵X的第i行行向量对应的数据向量的转置矩阵,所述N为所述矩阵X的列向量的数量,所述Ti 2为所述矩阵X的第i行行向量的时间点统计量。
在一个可能的设计中,所述根据所述矩阵X中每个行向量的时间点统计量和第二阈值,确定所述异常时间点,包括:根据以下公式确定所述第二阈值;将大于或者等于所述第二阈值的时间点统计量确定为所述异常时间点。
其中,所述T为所述第二阈值,所述L和所述M-L为F分布函数的自由度,所述α为F分布函数的分位点,所述L为所述第一投影矩阵的列向量的数量,所述M为所述矩阵X的行向量的数量,所述N为所述矩阵X的列向量的数量。
在本发明实施例中,通过计算公式确定该第二阈值,避免通过人工经验设定阈值来判断,能够进一步有效提高识别异常网络性能指标的准确性。
在一个可能的设计中,所述方法还包括:将所述矩阵X进行转置,形成所述矩阵X的转置矩阵XT,所述转置矩阵XT的行向量与所述多个数据序列一一对应;获取所述矩阵XT的第二相似矩阵;根据所述矩阵XT和所述第二相似矩阵对应的第二协方差矩阵的凸组合,获取第二拉普拉斯矩阵;根据所述第二拉普拉斯矩阵的第二奇异值对应的左奇异向量,构造第二投影矩阵,所述第二奇异值大于或者等于第三阈值;根据所述第二投影矩阵对所述矩阵XT的N个行向量分别进行投影计算,得到N个数据向量;根据所述N个数据向量组成的第二计算矩阵,分别计算所述矩阵XT中每个行向量的指标统计量,所述指标统计量用于表示所述网络性能指标的状态;根据所述矩阵XT中每个行向量的指标统计量和第四阈值,在所述多个数据序列中确定所述异常数据序列,所述异常数据序列对应的行向量的指标统计量大于或者等于所述第四阈值。
在本发明实施例中,通过对网络性能指标对应的数据序列矩阵或指定的数据序列矩阵分析,能够有效查找出异常数据序列对应的异常网络性能指标。
在一个可能的设计中,所述方法还包括:根据所述异常时间点和/或所述异常数据序列,确定所述异常网络性能指标的处理方案。
在一个可能的设计中,所述根据所述异常时间点和/或所述异常数据序列,确定所述异常网络性能指标的处理方案,包括:根据所述异常时间点和/或所述异常数据序列,以及故障树确定所述异常网络性能指标对应的故障类型,其中,所述故障树包括所述异常网络性能指标与所述故障类型的对应关系;根据所述故障类型和决策树,确定所述异常网络性能指标对应的异常处理方案,其中,所述决策树包括所述故障类型与所述异常处理方案的对应关系。
在一些可能的设计中,所述方法还包括:输出维护告警信息,所述维护告警信息包括所述异常处理方案。
在一些可能的设计中,所述方法还包括:向维护***发送异常告警信息,所述告警信息包括所述异常时间点和/或所述异常数据序列。
在一些可能的实现方式中,上述第一方面的方法可以由检测设备执行,也可以由维护设备执行。
在一些可能的实现方式中,运行所述异常处理方案。
在一些可能的实现方式中,所述获取该目标网络性能指标的解析数据,包括:获取数据文件,所述数据文件包括所述网络性能指标的信息;对所述数据文件进行解析处理,形成所述网络性能指标的解析数据。
在本发明实施例中,通过对一个或者多个目标网络性能指标对应的解析数据进行分析,有效识别出大批量性能指标和/或协议事件中的异常网络性能指标。。
在一些可能的实现方式中,矩阵X为M行N列的矩阵,该矩阵X的M个行向量与所述多个数据序列一一对应,该矩阵X的N个列向量表示记录该目标网络性能指标的采集时间点,其中,M和N均为大于1的正整数。
第二方面,提供了一种检测网络的装置,所述装置包括用于执行上述第一方面的方法的模块。基于同一发明构思,由于该装置解决问题的原理与第一方面的方法设计中的方案对应,因此该装置的实施可以参见方法的实施,重复之处不再赘述。所述装置可以是检测设备,也可以是维护设备。
第三方面,提供了一种检测网络的装置,所述装置包括存储器、处理器和收发器。所述存储器用于存储程序,所述处理器用于执行程序,所述收发器用于与其它设备通信。当所述程序被执行时,所述处理器用于执行上述第一方面的方法。所述装置可以是检测设备,也可以是维护设备。
附图说明
图1是根据本发明实施例的检测网络的方法的示意性流程图。
图2是根据本发明实施例的检测网络的方法的另一示意性流程图。
图3是根据本发明实施例的检测网络的方法的另一示意性流程图。
图4是根据本发明实施例的检测网络的装置的示意性框图。
图5是根据本发明实施例的检测网络的方法的另一示意性流程图。
图6是根据本发明实施例的检测网络的装置的另一示意性框图。
具体实施方式
应理解,本发明实施例提供的方法可以应用于各种带有异常分析功能的通信***中,例如,带有网管功能的通信***。所述方法也可以部署在独立的服务器上面。应理解,本发明实施例中的通信***可以是各种通信***。
现有技术中,检测***将性能指标或者协议事件的原始解析数据通过Holt-Winters分解算法分解成趋势分量、季节分量、随机分量。其中,原始解析数据=趋势分量+季节分量+随机分量。趋势分量在所述原始解析数据中占有最大比重,代表着数据的变化趋势。检测***对趋势分量采用曲线拟合的方法构造一条参考曲线。然后设定一个阈值,如果在某个采集时间点,趋势分量的值与参考曲线的值超过了这个阈值,那么便可以认为此性能指标或者协议在这个采集时间点出现了异常。
由于一个指标数据序列数据可以分解成不同频率下指标数据序列之和,这些不同频率下的数据就是原数据的特征。但是,Holt-Winters方法只对具有周期特性的数据序列分解效果较好,而不考虑数据的频率特性,因此不能得到不同频率下的数据特征,导致判断异常准确率过低,不能够进行有效预警。
本发明实施例提供了一种检测网络的方法和装置,通过对同一指标对应的多个数据序列进行分析,能够有效识别网络异常。
图1是本发明实施例的检测网络的方法的示意性流程图。该方法由检测设备执行,所述检测设备可以是网管设备,也可以是网管***中的一个模块。所述检测设备可以是异常检测设备,或者网络维护设备。
S110,获取一个或者多个目标网络性能指标对应的解析数据。
具体而言,检测设备获取一个或者多个目标网络性能指标对应的解析数据,其中,该解析数据包括多个采集时间点和该多个采集时间点上该目标网络性能指标对应的测量值。换句话说,该解析数据包括采集时间点集合和该目标网络性能指标的测量值集合,其中,该采集时间点集合中的每个采集时间点对应该测量值集合中的一个或者多个测量值。
应理解,网络设备在出现故障之前会出现一些异常现象,其中一些典型的异常现象便是网络的一些关键性能指标或者日志的事件记录出现异常。在本发明实施例中,为方便描述,将网络链路及设备的性能指标或者日志的事件统称为网络性能指标。
例如,网络性能指标可以是网络的带宽、时延、丢包等指标,也可以是网络设备的CPU占用率指标、内存占用率指标,还可以是日志文件记录的开放式最短路径优先(OpenShortest Path First,简称为“OSPF”)协议的心跳丢失事件,以及设备商定义的各种指标项。本发明对此不作具体限定。
可选地,该目标网络性能指标的解析数据可以是对数据文件进行解析后得到的数据序列,如图2所示,获取该目标网络性能指标对应的解析数据,包括:
S111,获取数据文件,该数据文件包括该目标网络性能指标的记录信息。
S112,对该数据文件进行解析处理,形成该网络性能指标的解析数据。
具体而言,检测设备可以通过实时收集和/或批量输入的方式获取数据文件,该数据文件包括至少一种目标网络性能指标的记录信息和其它无用信息。检测设备通过对该数据文件进行解析处理,形成该目标网络性能指标对应的解析数据,该解析数据可以是一个数据序列。可选地,该数据序列可以是将该目标网络性能指标在不同时间上的各个数值,按时间先后顺序排列而形成的序列。
可选地,在S111中,数据文件中可以包括多种目标网络性能指标的记录信息。例如,该数据文件同时包括CPU指标的记录信息和内存指标的记录信息。其中,CPU指标包括但不限于CPU占用时间,占用率等相关指标,内存指标包括但不限于内存占用率,使用内存大小等相关指标。
可选地,该数据文件的类型包括但不限于csv、log、txt等类型文件,该数据文件包含了该目标网络性能指标的数据或文字记录。换句话说,用户可以通过选定待检测指标/事件作为该目标网络性能指标并对其数据文件进行解析,获取解析数据。
具体而言,检测设备根据文件后缀名识别文件类型,由于各种文件类型中的数据格式不一致,检测设备通过解析转换,为每个目标网络性能指标生成统一格式。例如,数据序列格式,即在不同时间上该目标网络性能指标的测量值,按时间先后顺序排列而形成的序列。
可选地,该数据文件可以由用户上传,也可以根据配置自动从数据文件来源获取。
可选地,该检测设备将该目标网络性能指标的解析数据存入数据库。
因此,本发明实施例提供的检测网络的方法,通过对一个或者多个目标网络性能指标对应的解析数据进行分析,有效识别出大批量性能指标和/或协议事件中的异常网络性能指标。
下面结合附图1和附图3对本发明实施例提供的分析该解析数据的方法进行说明。如图1所示,该检测网络的方法还包括:
S120,分析该解析数据,得到多个数据序列。
具体而言,检测设备获取一个或者多个目标网络性能指标的解析数据,并对该解析数据进行分解处理,形成多个层次或不同频率的数据序列。其中,该解析数据包括多个采集时间点和该多个采集时间点上该目标网络性能指标对应的测量值,该多个数据序列中的每个数据序列包括一个目标网络性能指标在该多个采集时间点上对应的多个测量值,该多个测量值在该数据序列中按照时间先后顺序排列。
可选地,该多个数据序列为在该多个采集时间点上针对同一个目标网络性能指标在多条网络链路或多个网络设备上的采集的测量值;或,该多个数据序列为在该多个采集时间点上针对多个不同目标网络性能指标在同一条网络链路或者同一个网络设备上采集的测量值。
换句话说,每个数据序列表示一个目标网络性能指标在多个采集时间点上的测量值,按时间先后顺序排列而成的序列。可选地,该多个数据序列为针对同一个目标网络性能指标在多条网络链路或多个网络设备上的采集的测量值;或,该多个数据序列为针对多个不同目标网络性能指标在同一条网络链路或者同一个网络设备上采集的测量值。
可选地,检测设备通过用户配置的分解算法,将每个网络性能指标对应的解析数据分解成多个层次或不同频率的数据序列。可选地,通过用户界面进行配置。
可选地,分解算法包括但不限于三次指数平滑法(Holt-Winters),傅立叶变换、小波变换等。
例如,检测设备可以通过用户配置Holt-Winters分解算法,分解该解析数据得到该目标网络性能指标的趋势分量,或者该目标网络性能指标的趋势分量+随机分量等组合。
又例如,检测设备可以通过用户配置傅立叶/小波变换的频率范围,例如,0-10k。
因此,本发明实施例提供的检测网络的方法,通过分解算法将该目标网络性能指标的解析数据分解成多个数据序列,能够通过对该多个数据序列的分析,识别异常网络性能指标。
如图1所示,该检测网络的方法还包括:
S130,根据该多个数据序列,确定异常时间点或异常数据序列。
具体而言,该检测设备将每个网络性能指标对应的解析数据分解成多个层次或不同频率的数据序列后,将该多个数据序列进行组合,形成数据序列矩阵X。该检测设备根据该矩阵X确定异常时间点或异常数据序列。
可选地,该矩阵X为M行N列的矩阵,该矩阵X的N个列向量与该多个数据序列一一对应,该矩阵X的M个行向量表示记录该目标网络性能指标的多个采集时间点,其中,M和N均为大于1的正整数。
例如,该矩阵X的每一列表示一个路由器单板(MPU,LPU)所记录的内存指标的数据序列。其中,该多个数据序列均是按相同的时间先后顺序排列而形成的数据序列,即矩阵X行数代表了采样次数,每一个行的数据表示同一采集时间点不同路由器单板记录的测量值。
可选地,矩阵X行数可以通过用户设置。
在S130中,可选地,如图3所示,根据该多个数据序列,确定该异常时间点,包括:
S131,获取该矩阵X的第一相似矩阵。
S132,根据该矩阵X和该第一相似矩阵对应的第一协方差矩阵的凸组合,获取第一拉普拉斯矩阵。
S133,根据该第一拉普拉斯矩阵的第一奇异值对应的左奇异向量,构造第一投影矩阵。
具体而言,检测设备根据该第一拉普拉斯矩阵的第一奇异值对应的左奇异向量,构造第一投影矩阵,该第一奇异值大于或者等于第一阈值,该第一投影矩阵的列向量与该第一奇异值对应的左奇异向量一一对应。
可选地,该第一阈值可以是选取的奇异值占总体奇异值的比重。可选地,对奇异值由大到小排序后,前若干个奇异值总和占全部奇异值总和90%的比重,该第一阈值可以是90%。
应理解,该第一阈值也可以是其他数据,例如,80%。本发明对此不作限定。
可选地,该第一阈值可由用户设置。
S134,根据该第一投影矩阵对该矩阵X的M个行向量分别进行投影计算,得到M个数据向量。
S135,根据该M个数据向量组成的第一计算矩阵,分别计算该矩阵X中每个行向量的时间点统计量。
具体而言,检测设备根据该M个数据向量组成的第一计算矩阵,分别计算该矩阵X中每个行向量的时间点统计量,该时间点统计量用于指示该网络在该矩阵X的行向量对应的采集时间点的运行状态。换句话说,检测设备可以通过统计算法计算每个行向量的统计量,由于该矩阵X中的一个行数据表示在同一个采集时间点采样的数据,即该统计量可以作为时间点统计量,用于表示对应的采集时间点上该目标网络性能指标的运行状态。
S136,根据该矩阵X中每个行向量的时间点统计量和第二阈值,确定该异常时间点。可选地,该异常时间点为异常网络指标中最早的采集时间点。
具体而言,检测设备根据该矩阵X中每个行向量的时间点统计量和第二阈值,确定该网络运行异常的异常时间点,该异常时间点对应的行向量的时间点统计量大于或者等于该第二阈值。
应理解,该异常时间点可以为异常网络指标中最早的采集时间点,也可以泛指每个异常网络指标对应的采集时间点,本发明实施例对此不作限定。
因此,检测设备通过配置分析参数,根据网络性能指标对应的数据序列矩阵或指定的数据序列矩阵,能够有效查找出异常时间点对应的异常网络性能指标。
在本发明实施例中,可选地,S131包括:
根据公式(1)和(2)对该矩阵X进行变换,形成该矩阵X的第一相似矩阵。
S=[Sij] (2)
其中,该S为该第一相似矩阵,该Sij为该第一相似矩阵的第i行和第j列对应的元素,该Xi为该矩阵X中的第i行行向量,该Xj为该矩阵X中的第j行行向量,该ε为该矩阵X的局部特征分析参数,该σ为该矩阵X的归一化程度分析参数。其中,局部特征分析参数是计算矩阵局部特征数据时用到的参数。可选地,通过用户设定。
应理解,本发明实施例可以通过上述方法获取矩阵X的第一相似矩阵,也可以通过其它方式获取,本发明实施例对此不作限定。
在本发明实施例中,可选地,S132包括:
根据公式(3),获取第一拉普拉斯矩阵。
其中,该为该第一拉普拉斯矩阵,该C为该第一协方差矩阵,该XT为该矩阵X的转置矩阵,该λ表示该矩阵X的总体特征和该矩阵X的局部特征的权重,λ∈(0,1)。
应理解,本发明实施例可以通过上述方法获取矩阵X的第一拉普拉斯矩阵,也可以通过其它方式获取,本发明实施例对此不作限定。
在本发明实施例中,可选地,S134包括:
根据公式(4)对该矩阵X的M个行向量分别进行投影计算,得到M个数据向量。
其中,该为yi为该矩阵X的第i行行向量对应的数据向量,该U为该第一投影矩阵,该为该矩阵X中的第i行行向量的转置向量。
在本发明实施例中,可选地,S135包括:
将该M个数据向量作为M个列向量组成该第一计算矩阵;该检测设备根据公式(5)和(6)计算该矩阵X中每个行向量的时间点统计量;
Y=[y1 y2 y3 ... yM] (5)
其中,该Y为该第一计算矩阵,该y1 y2 y3 ... yM分别为该矩阵X的行向量对应的数据向量,该YT为该矩阵Y的转置矩阵,该为该矩阵X的第i行行向量对应的数据向量的转置矩阵,该N为该矩阵X的列向量的数量,该Ti 2为该矩阵X的第i行行向量的时间点统计量,该矩阵X中每个行向量的时间点统计量为霍特林(Hotelling)T2统计量。
应理解,在本发明实施例中,可以通过Hotelling统计方法计算该矩阵X中每个行向量的时间点统计量,也可以通过其他统计方法统计该矩阵X中每个行向量的时间点统计量,例如,通过计算该矩阵X中每个行向量的Q统计量作为该时间点统计量,本发明实施例对此不作具体限定。
在本发明实施例中,可选地,S136包括:
根据公式(7)确定该第二阈值;
其中,该T为该第二阈值,该L和该M-L为F分布函数的自由度,该α为F分布函数的分位点,该L为该第一投影矩阵的列向量的数量,该M为该矩阵X的行向量的数量,该N为该矩阵X的列向量的数量。
应理解,本发明实施例可以通过上述方法获取第二阈值,也可以通过其它方式获取,例如用户设置等等,本发明实施例对此不作限定。
应理解,检测设备可以根据该用户配置的分析算法和该矩阵X,确定网络异常的采集时间点,进而确定出异常网络指标;可以获取异常数据序列,即记录异常指标的路由器单板,进而确定出异常网络指标。也可以根据异常的采集时间点和异常数据序列确定出异常网络性能指标的具体测量值。本发明实施例对此不作限定。
本发明实施例提供的检测网络的方法还可以根据上述分析过程确定异常数据序列。
可选地,检测设备将该矩阵X进行转置XT,形成该矩阵X的转置矩阵XT,该转置矩阵XT的行向量与该多个数据序列一一对应;获取该矩阵XT的第二相似矩阵;根据该矩阵XT和该第二相似矩阵对应的第二协方差矩阵的凸组合,获取第二拉普拉斯矩阵;根据该第二拉普拉斯矩阵的第二奇异值对应的左奇异向量,构造第二投影矩阵,该第二奇异值大于或者等于第三阈值;根据该第二投影矩阵对该矩阵的N个行向量分别进行投影计算,得到N个数据向量;根据该N个数据向量组成的第二计算矩阵,分别计算该矩阵XT中每个行向量的指标统计量,该指标统计量用于表示该目标网络性能指标的状态;根据该矩阵XT中每个行向量的指标统计量和第四阈值,在该多个数据序列中确定该异常数据序列,该异常数据序列对应的行向量的指标统计量大于或者等于该第四阈值。
在本发明实施例中,通过对网络性能指标对应的数据序列矩阵或指定的数据序列矩阵进行分析,能够有效查找出异常网络性能指标对应的异常数据序列。
如图1所示,检测设备根据矩阵X确定出异常时间点和异常数据序列后,该检测网络的方法还包括:
S140,确定该异常时间点或异常数据序列对应的网络性能指标为异常网络性能指标。
具体而言,当该多个数据序列针对同一个目标网络性能指标时,确定该异常时间点或异常数据序列对应的网络性能指标为异常网络性能指标;当该多个数据序列针对多个不同目标网络性能指标时,确定该异常数据序列对应的网络性能指标为异常网络性能指标。更具体地,可以通过异常时间点和异常时间序列确定异常网络性能指标具体的测量值。
因此,检测设备根据异常网络性能指标所在的异常数据序列和异常时间点,能够有效确定出该异常网络性能指标,提高识别网络异常的准确性。
可选地,根据该异常时间点和/或该异常数据序列,以及故障树确定该网络的故障类型;根据该网络的故障类型和决策树,确定对应的异常处理方案。
具体而言,故障树可以是一种定义了不同故障原因构成的树状规则。例如,故障A或故障B导致故障C,故障C或故障D可以导致故障E的发生,故障树用来判断故障的根因。决策树可以是一种定义了各种故障处理操作的树状规则,如故障A的消除可以先进行操作A,如果没有恢复则进行B或者C操作,决策树用来推荐故障的处理方案,将人工经验转换成规则文件,***根据告警类型查询规则,最后判断异常发生的原因并向用户推荐处理方式来进行网络维护操作这些操作可以是***自动操作或者由用户进行操作。
可选地,维护***可以通过配置更新/添加规则。
可选地,该集成了专家经验和异常处理规则的***可以是维护***。
应理解,该检测设备在确定出异常网络性能指标对应的异常时间点和/或异常数据序列后,可以直接确定异常处理方案,也可以直接运行该异常处理方案,也可以输出维护告警信息。
例如,该检测设备输出维护告警信息,该维护告警信息包括该异常处理方案。
又例如,该检测设备运行该异常处理方案。
又例如,该检测设备向维护***发送异常告警信息,该告警信息包括该异常时间点和/或该异常数据序列。
具体而言,维护***接受告警消息,该告警信息包括该异常时间点和/或该异常数据序列。该告警消息触发维护动作,对网络采取措施避免故障发生。
还应理解,本发明实施例中的检测设备向维护设备输出的维护告警信息可以包括异常处理方案,也可以只包括该异常时间点和/或该异常数据序列。
因此,在性能指标和/或协议事件种类多的情况下,通过对同一指标不同频率下的数据序列进行处理,有效提高了预警的准确率。
在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器执行存储器中的指令,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
上文结合图1至图3详细描述了本发明实施例的检测网络的方法,下文将结合图4至图6描述本发明实施例的装置。
图4是根据本发明实施例的检测网络的装置200的示意性框图。如图4所示,该装200置包括:
获取单元210,用于获取一个或多个目标网络性能指标的解析数据,每个目标网络性能指标的解析数据包括在多个采集时间点上该目标网络性能指标对应的测量值。
处理单元220,具体用于分析该解析数据,得到多个数据序列,每个数据序列包括一个目标网络性能指标在该多个采集时间点上对应的多个测量值,该多个测量值在该数据序列中按照时间先后顺序排列;根据该多个数据序列,确定异常时间点或异常数据序列;确定该异常时间点或异常数据序列对应的网络性能指标为异常网络性能指标。
可选地,该处理单元220具体用于:将该多个数据序列进行组合,形成数据序列矩阵X,该矩阵X为M行N列的矩阵,该矩阵X的N个列向量与该多个数据序列一一对应,该矩阵X的M个行向量表示记录该目标网络性能指标的采集时间点,其中,M和N均为大于1的正整数;根据该矩阵X,确定异常网络性能指标对应的异常时间点和/或异常数据序列。
可选地,该处理单元220具体用于:获取该矩阵X的第一相似矩阵;根据该矩阵X和该第一相似矩阵对应的第一协方差矩阵的凸组合,获取第一拉普拉斯矩阵;根据该第一拉普拉斯矩阵的第一奇异值对应的左奇异向量,构造第一投影矩阵,该第一奇异值大于或者等于第一阈值,该第一投影矩阵的列向量与该第一奇异值对应的左奇异向量一一对应;根据该第一投影矩阵对该矩阵X的M个行向量分别进行投影计算,得到M个数据向量;根据该M个数据向量组成的第一计算矩阵,分别计算该矩阵X中每个行向量的时间点统计量,该时间点统计量用于指示该目标网络性能指标在该矩阵X的行向量对应的采集时间点的状态;根据该矩阵X中每个行向量的时间点统计量和第二阈值,确定该异常时间点。
可选地,该处理单元220更具体用于:根据公式(8)和(9)对该矩阵X进行变换,形成该矩阵X的第一相似矩阵;
S=[Sij] (9)
其中,该S为该第一相似矩阵,该Sij为该第一相似矩阵的第i行和第j列对应的元素,该Xi为该矩阵X中的第i行行向量,该Xj为该矩阵X中的第j行行向量,该ε为该矩阵X的局部特征分析参数,该σ为该矩阵X的归一化程度分析参数。
可选地,该处理单元220更具体用于:根据公式(10),获取第一拉普拉斯矩阵;
其中,该为该第一拉普拉斯矩阵,该C为该第一协方差矩阵,该XT为该矩阵X的转置矩阵,该λ表示该矩阵X的总体特征和该矩阵X的局部特征的权重,λ∈(0,1)。
可选地,该处理单元220更具体用于:根据公式(11)对该矩阵X的M个行向量分别进行投影计算,得到M个数据向量;
其中,该为yi为该矩阵X的第i行行向量对应的数据向量,该U为该第一投影矩阵,该为该矩阵X中的第i行行向量的转置向量。
可选地,该处理单元220更具体用于:将该M个数据向量作为M个列向量组成该第一计算矩阵;
根据公式(12)和(13)计算该矩阵X中每个行向量的时间点统计量;
Y=[y1 y2 y3 ... yM] (12)
其中,该Y为该第一计算矩阵,该y1 y2 y3 ... yM分别为该矩阵X的行向量对应的数据向量,该YT为该矩阵Y的转置矩阵,该为该矩阵X的第i行行向量对应的数据向量的转置矩阵,该N为该矩阵X的列向量的数量,该Ti 2为该矩阵X的第i行行向量的时间点统计量。
可选地,该处理单元220更具体用于:根据公式(14)确定该第二阈值;
其中,该T为该第二阈值,该L和该M-L为F分布函数的自由度,该α为F分布函数的分位点,该L为该第一投影矩阵的列向量的数量,该M为该矩阵X的行向量的数量,该N为该矩阵X的列向量的数量。
将大于或者等于该第二阈值的时间点统计量确定为该异常时间点。
可选地,该处理单元220还具体用于:将该矩阵X进行转置,形成该矩阵X的转置矩阵XT,该转置矩阵XT的行向量与该多个数据序列一一对应;获取该矩阵XT的第二相似矩阵;根据该矩阵XT和该第二相似矩阵对应的第二协方差矩阵的凸组合,获取第二拉普拉斯矩阵;根据该第二拉普拉斯矩阵的第二奇异值对应的左奇异向量,构造第二投影矩阵,该第二奇异值大于或者等于第三阈值;根据该第二投影矩阵对该矩阵XT的N个行向量分别进行投影计算,得到N个数据向量;根据该N个数据向量组成的第二计算矩阵,分别计算该矩阵XT中每个行向量的指标统计量,该指标统计量用于表示该目标网络性能指标的状态;根据该矩阵XT中每个行向量的指标统计量和第四阈值,在该多个数据序列中确定该异常数据序列,该异常数据序列对应的行向量的指标统计量大于或者等于该第四阈值。
可选地,该获取单元210具体用于:
获取数据文件,该数据文件包括该目标网络性能指标的信息;对该数据文件进行解析处理,形成该目标网络性能指标的解析数据。
可选地,该装置还包括:处理单元220,用于根据该异常时间点和/或该异常数据序列,确定异常处理方案。
可选地,该处理单元220更具体用于:根据该异常时间点和/或该异常数据序列,以及故障树确定该网络的故障类型;根据该网络的故障类型和决策树,确定对应的异常处理方案。
可选地,该处理单元220还用于:输出维护告警信息,该维护告警信息包括该异常处理方案;或者,运行该异常处理方案。
可选地,该处理单元220还用于:向维护***发送异常告警信息,该告警信息包括该异常时间点和/或该异常数据序列。
应理解,本发明实施例的装置200可对应于本申请方法实施例中的各个功能模块其它模块的操作和/或功能,为了简洁,在此不再赘述。
例如,处理单元220具体可以包括:分析模块221,用于分析该解析数据,得到多个数据序列,每个数据序列包括一个目标网络性能指标在该多个采集时间点上对应的多个测量值,该多个测量值在该数据序列中按照时间先后顺序排列。异常检测模块222,用于根据该多个数据序列,确定异常时间点或异常数据序列;确定该异常时间点或异常数据序列对应的网络性能指标为异常网络性能指标。可选地,处理单元220还包括维护模块223,用于根据该异常网络性能指标维护网络。
如图5示出了根据本发明实施例装置200的检测网络的方法的另一示意流程图。
具体而言,获取单元210获取该目标网络性能指标的解析数据;处理单元220接收该获取单元210发送网络性能指标的解析数据,并对该解析数据进行分解处理,形成多个数据序列;异常检测模块222根据该多个数据序列,确定表示网络性能指标异常的异常时间点或异常数据序列;维护模块223接收异常检测模块222发送的该多个数据序列。
图6是本发明实施例提供的检测网络的装置300的示意性框图。如图6所示,该装置300包括:
处理器310、收发器320和存储器330。其中,处理器310、收发器320和存储器330通过总线***相连,该存储器330用于存储指令,该处理器310用于执行该存储器330存储的指令,以控制该收发器320接收或者发送信号。
其中,收发器320用于获取一个或多个目标网络性能指标的解析数据,每个目标网络性能指标的解析数据包括在多个采集时间点上该目标网络性能指标对应的测量值。
处理器310用于分析该解析数据,得到多个数据序列,每个数据序列包括一个目标网络性能指标在该多个采集时间点上对应的多个测量值,该多个测量值在该数据序列中按照时间先后顺序排列;根据该多个数据序列,确定异常时间点或异常数据序列;确定该异常时间点或异常数据序列对应的网络性能指标为异常网络性能指标。
应理解,根据本发明实施例的装置300可对应于本申请方法实施例中的检测设备,也可对应装置200中的各个模块的操作和/或功能,为了简洁,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例该方法的全部或部分步骤
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (24)
1.一种检测网络的方法,其特征在于,所述方法包括:
获取一个或多个目标网络性能指标的解析数据,每个目标网络性能指标的解析数据包括在多个采集时间点上所述目标网络性能指标对应的测量值;
分析所述解析数据,得到多个数据序列,每个数据序列包括一个目标网络性能指标在所述多个采集时间点上对应的多个测量值,所述多个测量值在所述数据序列中按照时间先后顺序排列;
根据所述多个数据序列,确定异常时间点或异常数据序列;
确定所述异常时间点或异常数据序列对应的网络性能指标为异常网络性能指标。
2.根据权利要求1所述的方法,其特征在于,
所述多个数据序列为在所述多个采集时间点上针对同一个目标网络性能指标在多条网络链路或多个网络设备上的采集的测量值;
或
所述多个数据序列为在所述多个采集时间点上针对多个不同目标网络性能指标在同一条网络链路或者同一个网络设备上采集的测量值。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述多个数据序列,确定异常时间点包括:
将所述多个数据序列进行组合,形成数据序列矩阵X,所述矩阵X为M行N列的矩阵;所述矩阵X的N个列向量与所述多个数据序列一一对应,所述矩阵X的M个行向量表示所述多个采集时间点;其中,M和N均为大于1的正整数;
根据所述矩阵X,确定所述异常时间点。
4.根据权利要求3所述的方法,其特征在于,所述根据所述矩阵X,确定所述异常时间点,包括:
获取所述矩阵X的第一相似矩阵;
根据所述矩阵X和所述第一相似矩阵对应的第一协方差矩阵的凸组合,获取第一拉普拉斯矩阵;
根据所述第一拉普拉斯矩阵的第一奇异值对应的左奇异向量,构造第一投影矩阵,所述第一奇异值大于或者等于第一阈值,所述第一投影矩阵的列向量与所述第一奇异值对应的左奇异向量一一对应;
根据所述第一投影矩阵对所述矩阵X的M个行向量分别进行投影计算,得到M个数据向量;
根据所述M个数据向量组成的第一计算矩阵,分别计算所述矩阵X中每个行向量的时间点统计量,所述时间点统计量用于指示每个目标网络性能指标在所述矩阵X的行向量对应的采集时间点的状态;
根据所述矩阵X中每个行向量的时间点统计量和第二阈值,确定所述异常时间点。
5.根据权利要求4所述的方法,其特征在于,所述获取所述矩阵X的第一相似矩阵,包括:
根据以下公式对所述矩阵X进行变换,形成所述矩阵X的第一相似矩阵;
S=[Sij]
其中,所述S为所述第一相似矩阵,所述Sij为所述第一相似矩阵的第i行和第j列对应的元素,所述Xi为所述矩阵X中的第i行行向量,所述Xj为所述矩阵X中的第j行行向量,所述ε为所述矩阵X的局部特征分析参数,所述σ为所述矩阵X的归一化程度分析参数。
6.根据权利要求4或5所述的方法,其特征在于,所述根据所述矩阵X和所述第一相似矩阵对应的第一协方差矩阵的凸组合,获取第一拉普拉斯矩阵,包括:
根据所述矩阵X和以下公式,获取第一拉普拉斯矩阵;
其中,所述为所述第一拉普拉斯矩阵,所述C为所述第一协方差矩阵,所述XT为所述矩阵X的转置矩阵,所述λ表示所述矩阵X的总体特征和所述矩阵X的局部特征的权重,λ∈(0,1)。
7.根据权利要求4至6中任一项所述的方法,其特征在于,所述根据所述第一投影矩阵对所述矩阵X的M个行向量分别进行投影计算,得到M个数据向量,包括:
根据以下公式对所述矩阵X的M个行向量分别进行投影计算,得到M个数据向量;
其中,所述为yi为所述矩阵X的第i行行向量对应的数据向量,所述U为所述第一投影矩阵,所述为所述矩阵X中的第i行行向量的转置向量。
8.根据权利要求4至7中任一项所述的方法,其特征在于,所述根据所述M个数据向量组成的第一计算矩阵,分别计算所述矩阵X中每个行向量的时间点统计量,包括:
将所述M个数据向量作为M个列向量组成所述第一计算矩阵;
根据以下公式计算所述矩阵X中每个行向量的时间点统计量;
Y=[y1 y2 y3 ... yM]
其中,所述Y为所述第一计算矩阵,所述y1 y2 y3 ... yM分别为所述矩阵X的行向量对应的数据向量,所述YT为所述矩阵Y的转置矩阵,所述为所述矩阵X的第i行行向量对应的数据向量的转置矩阵,所述N为所述矩阵X的列向量的数量,所述Ti 2为所述矩阵X的第i行行向量的时间点统计量。
9.根据权利要求4至8中任一项所述的方法,其特征在于,所述根据所述矩阵X中每个行向量的时间点统计量和第二阈值,确定所述异常时间点,包括:
根据以下公式确定所述第二阈值;
其中,所述T为所述第二阈值,所述L和所述M-L为F分布函数的自由度,所述α为F分布函数的分位点,所述L为所述第一投影矩阵的列向量的数量,所述M为所述矩阵X的行向量的数量,所述N为所述矩阵X的列向量的数量;
将大于或者等于所述第二阈值的时间点统计量确定为所述异常时间点。
10.根据权利要求4至9中任一项所述的方法,其特征在于,所述方法还包括:
将所述矩阵X进行转置,形成所述矩阵X的转置矩阵XT,所述转置矩阵XT的行向量与所述多个数据序列一一对应;
获取所述矩阵XT的第二相似矩阵;
根据所述矩阵XT和所述第二相似矩阵对应的第二协方差矩阵的凸组合,获取第二拉普拉斯矩阵;
根据所述第二拉普拉斯矩阵的第二奇异值对应的左奇异向量,构造第二投影矩阵,所述第二奇异值大于或者等于第三阈值;
根据所述第二投影矩阵对所述矩阵XT的N个行向量分别进行投影计算,得到N个数据向量;
根据所述N个数据向量组成的第二计算矩阵,分别计算所述矩阵XT中每个行向量的指标统计量,所述指标统计量用于表示所述目标网络性能指标的状态;
根据所述矩阵XT中每个行向量的指标统计量和第四阈值,在所述多个数据序列中确定所述异常数据序列,所述异常数据序列对应的行向量的指标统计量大于或者等于所述第四阈值。
11.根据权利要求1至10中任一项所述的方法,其特征在于,所述方法还包括:
根据所述异常时间点和/或所述异常数据序列,确定所述异常网络性能指标的处理方案。
12.根据权利要求11所述的方法,其特征在于,所述根据所述异常时间点和/或所述异常数据序列,确定所述异常网络性能指标的处理方案,包括:
根据所述异常时间点和/或所述异常数据序列,以及故障树确定所述异常网络性能指标对应的故障类型,其中,所述故障树包括所述异常网络性能指标与所述故障类型的对应关系;
根据所述故障类型和决策树,确定所述异常网络性能指标对应的异常处理方案,其中,所述决策树包括所述故障类型与所述异常处理方案的对应关系。
13.一种检测网络的装置,其特征在于,所述装置包括:
获取单元,用于获取一个或多个目标网络性能指标的解析数据,每个目标网络性能指标的解析数据包括在多个采集时间点上所述目标网络性能指标对应的测量值;
处理单元,具体用于:
分析所述解析数据,得到多个数据序列,每个数据序列包括一个目标网络性能指标在所述多个采集时间点上对应的多个测量值,所述多个测量值在所述数据序列中按照时间先后顺序排列;
根据所述多个数据序列,确定异常时间点或异常数据序列;
确定所述异常时间点或异常数据序列对应的网络性能指标为异常网络性能指标。
14.根据权利要求13所述的装置,其特征在于,
所述多个数据序列为在所述多个采集时间点上针对同一个目标网络性能指标在多条网络链路或多个网络设备上的采集的测量值;
或
所述多个数据序列为在所述多个采集时间点上针对多个不同目标网络性能指标在同一条网络链路或者同一个网络设备上采集的测量值。
15.根据权利要求13或14所述的装置,其特征在于,所述处理单元更具体用于:
将所述多个数据序列进行组合,形成数据序列矩阵X,所述矩阵X为M行N列的矩阵;所述矩阵X的N个列向量与所述多个数据序列一一对应,所述矩阵X的M个行向量表示所述多个采集时间点;其中,M和N均为大于1的正整数;
根据所述矩阵X,确定所述异常时间点。
16.根据权利要求15所述的装置,其特征在于,所述处理单元具体用于:
获取所述矩阵X的第一相似矩阵;
根据所述矩阵X和所述第一相似矩阵对应的第一协方差矩阵的凸组合,获取第一拉普拉斯矩阵;
根据所述第一拉普拉斯矩阵的第一奇异值对应的左奇异向量,构造第一投影矩阵,所述第一奇异值大于或者等于第一阈值,所述第一投影矩阵的列向量与所述第一奇异值对应的左奇异向量一一对应;
根据所述第一投影矩阵对所述矩阵X的M个行向量分别进行投影计算,得到M个数据向量;
根据所述M个数据向量组成的第一计算矩阵,分别计算所述矩阵X中每个行向量的时间点统计量,所述时间点统计量用于指示每个目标网络性能指标在所述矩阵X的行向量对应的采集时间点的状态;
根据所述矩阵X中每个行向量的时间点统计量和第二阈值,确定所述异常时间点。
17.根据权利要求16所述的装置,其特征在于,所述处理单元具体用于:
根据以下公式对所述矩阵X进行变换,形成所述矩阵X的第一相似矩阵;
S=[Sij]
其中,所述S为所述第一相似矩阵,所述Sij为所述第一相似矩阵的第i行和第j列对应的元素,所述Xi为所述矩阵X中的第i行行向量,所述Xj为所述矩阵X中的第j行行向量,所述ε为所述矩阵X的局部特征分析参数,所述σ为所述矩阵X的归一化程度分析参数。
18.根据权利要求16或17所述的装置,其特征在于,所述处理单元具体用于:
根据所述矩阵X和以下公式,获取第一拉普拉斯矩阵;
其中,所述为所述第一拉普拉斯矩阵,所述C为所述第一协方差矩阵,所述XT为所述矩阵X的转置矩阵,所述λ表示所述矩阵X的总体特征和所述矩阵X的局部特征的权重,λ∈(0,1)。
19.根据权利要求16至18中任一项所述的装置,其特征在于,所述处理单元具体用于:
根据以下公式对所述矩阵X的M个行向量分别进行投影计算,得到M个数据向量;
其中,所述为yi为所述矩阵X的第i行行向量对应的数据向量,所述U为所述第一投影矩阵,所述为所述矩阵X中的第i行行向量的转置向量。
20.根据权利要求16至19中任一项所述的装置,其特征在于,所述处理单元具体用于:
将所述M个数据向量作为M个列向量组成所述第一计算矩阵;
根据以下公式计算所述矩阵X中每个行向量的时间点统计量;
Y=[y1 y2 y3 ... yM]
其中,所述Y为所述第一计算矩阵,所述y1 y2 y3 ... yM分别为所述矩阵X的行向量对应的数据向量,所述YT为所述矩阵Y的转置矩阵,所述为所述矩阵X的第i行行向量对应的数据向量的转置矩阵,所述N为所述矩阵X的列向量的数量,所述Ti 2为所述矩阵X的第i行行向量的时间点统计量。
21.根据权利要求16至20中任一项所述的装置,其特征在于,所述处理单元具体用于:
根据以下公式确定所述第二阈值;
其中,所述T为所述第二阈值,所述L和所述M-L为F分布函数的自由度,所述α为F分布函数的分位点,所述L为所述第一投影矩阵的列向量的数量,所述M为所述矩阵X的行向量的数量,所述N为所述矩阵X的列向量的数量;
将大于或者等于所述第二阈值的时间点统计量确定为所述异常时间点。
22.根据权利要求16至21中任一项所述的装置,其特征在于,所述处理单元还具体用于:
将所述矩阵X进行转置,形成所述矩阵X的转置矩阵XT,所述转置矩阵XT的行向量与所述多个数据序列一一对应;
获取所述矩阵XT的第二相似矩阵;
根据所述矩阵XT和所述第二相似矩阵对应的第二协方差矩阵的凸组合,获取第二拉普拉斯矩阵;
根据所述第二拉普拉斯矩阵的第二奇异值对应的左奇异向量,构造第二投影矩阵,所述第二奇异值大于或者等于第三阈值;
根据所述第二投影矩阵对所述矩阵XT的N个行向量分别进行投影计算,得到N个数据向量;
根据所述N个数据向量组成的第二计算矩阵,分别计算所述矩阵XT中每个行向量的指标统计量,所述指标统计量用于表示所述目标网络性能指标的状态;
根据所述矩阵XT中每个行向量的指标统计量和第四阈值,在所述多个数据序列中确定所述异常数据序列,所述异常数据序列对应的行向量的指标统计量大于或者等于所述第四阈值。
23.根据权利要求13至22中任一项所述的装置,其特征在于,所述处理单元还具体用于:
根据所述异常时间点和/或所述异常数据序列,确定所述异常网络性能指标的处理方案。
24.根据权利要求23所述的装置,其特征在于,所述处理单元具体用于:
根据所述异常时间点和/或所述异常数据序列,以及故障树确定所述异常网络性能指标对应的故障类型,其中,所述故障树包括所述异常网络性能指标与所述故障类型的对应关系;
根据所述故障类型和决策树,确定所述异常网络性能指标对应的异常处理方案,其中,所述决策树包括所述故障类型与所述异常处理方案的对应关系。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611113004.6A CN108173670B (zh) | 2016-12-07 | 2016-12-07 | 检测网络的方法和装置 |
PCT/CN2017/105882 WO2018103453A1 (zh) | 2016-12-07 | 2017-10-12 | 检测网络的方法和装置 |
EP17879585.2A EP3537658A4 (en) | 2016-12-07 | 2017-10-12 | METHOD AND DEVICE FOR NETWORK DETECTION |
US16/431,975 US20190288904A1 (en) | 2016-12-07 | 2019-06-05 | Network Detection Method and Apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611113004.6A CN108173670B (zh) | 2016-12-07 | 2016-12-07 | 检测网络的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108173670A true CN108173670A (zh) | 2018-06-15 |
CN108173670B CN108173670B (zh) | 2020-06-02 |
Family
ID=62490668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611113004.6A Active CN108173670B (zh) | 2016-12-07 | 2016-12-07 | 检测网络的方法和装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20190288904A1 (zh) |
EP (1) | EP3537658A4 (zh) |
CN (1) | CN108173670B (zh) |
WO (1) | WO2018103453A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020119711A1 (zh) * | 2018-12-13 | 2020-06-18 | 中兴通讯股份有限公司 | 一种根因定位方法、服务器和存储介质 |
CN111600735A (zh) * | 2019-02-21 | 2020-08-28 | 烽火通信科技股份有限公司 | 一种样本数据的处理方法、***及装置 |
CN111628901A (zh) * | 2019-02-28 | 2020-09-04 | 华为技术有限公司 | 一种指标异常检测方法以及相关装置 |
CN112513883A (zh) * | 2020-02-28 | 2021-03-16 | 华为技术有限公司 | 异常检测方法和设备 |
CN112532453A (zh) * | 2020-11-30 | 2021-03-19 | 成都思酷智能科技有限公司 | 网络异常信息处理方法及装置 |
CN112732738A (zh) * | 2020-11-05 | 2021-04-30 | 北京邮电大学 | 基于多目标优化的自适应网络数据采集方法及相关设备 |
CN114071526A (zh) * | 2021-11-16 | 2022-02-18 | 北京鼎兴达信息科技股份有限公司 | Gsm-r网络运行状态诊断方法 |
CN114365505A (zh) * | 2019-11-07 | 2022-04-15 | 阿里巴巴集团控股有限公司 | 用于数据中心监控的数据驱动事物图 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109033031B (zh) * | 2018-07-24 | 2022-08-23 | 南通大学 | 一种基于高维随机矩阵的轴承状态检测方法 |
US10958585B2 (en) | 2018-12-31 | 2021-03-23 | Juniper Networks, Inc. | Methods and apparatus for facilitating fault detection and/or predictive fault detection |
US11138059B2 (en) | 2019-09-25 | 2021-10-05 | Juniper Networks, Inc. | Log analysis in vector space |
CN113132130B (zh) * | 2019-12-30 | 2023-04-07 | ***通信集团北京有限公司 | 网络指标预测方法、装置、设备及存储介质 |
CN112035334B (zh) * | 2020-09-15 | 2023-01-31 | 深圳市欢太科技有限公司 | 异常设备检测方法、装置、存储介质与电子设备 |
CN112685273B (zh) * | 2020-12-29 | 2024-07-16 | 京东科技控股股份有限公司 | 异常检测方法、装置、计算机设备和存储介质 |
CN112905671A (zh) * | 2021-03-24 | 2021-06-04 | 北京必示科技有限公司 | 时间序列异常处理方法、装置、电子设备及存储介质 |
CN113543188B (zh) * | 2021-07-22 | 2023-10-27 | 中移(杭州)信息技术有限公司 | 无线网络信号质量检测方法、终端设备及存储介质 |
CN114363061A (zh) * | 2021-12-31 | 2022-04-15 | 深信服科技股份有限公司 | 一种异常流量检测方法、***、存储介质和终端 |
CN114978956B (zh) * | 2022-04-11 | 2024-04-09 | 北京邮电大学 | 智慧城市网络设备性能异常突变点检测方法及装置 |
CN116405273B (zh) * | 2023-03-27 | 2023-10-20 | 苏州慧至智能科技有限公司 | 一种面向物联网的网络攻击检测和状态估计方法 |
CN117295099B (zh) * | 2023-11-24 | 2024-03-12 | 深圳市盾魂科技有限公司 | 一种rtk高精度定位终端维护方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001257677A (ja) * | 2000-03-14 | 2001-09-21 | Fujitsu Ltd | ネットワーク管理装置及びプログラム記録媒体 |
CN103412805A (zh) * | 2013-07-31 | 2013-11-27 | 交通银行股份有限公司 | 一种it故障源诊断方法及*** |
CN106059661A (zh) * | 2015-12-25 | 2016-10-26 | 国家电网公司 | 一种基于时序分析的光传输网络趋势预测方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10860570B2 (en) * | 2013-11-06 | 2020-12-08 | Teoco Ltd. | System, method and computer program product for identification of anomalies in performance indicators of telecom systems |
EP3075102B1 (en) * | 2013-11-26 | 2019-01-16 | Telefonaktiebolaget LM Ericsson (publ) | Method and apparatus for anomaly detection in a network |
US9904584B2 (en) * | 2014-11-26 | 2018-02-27 | Microsoft Technology Licensing, Llc | Performance anomaly diagnosis |
-
2016
- 2016-12-07 CN CN201611113004.6A patent/CN108173670B/zh active Active
-
2017
- 2017-10-12 EP EP17879585.2A patent/EP3537658A4/en not_active Withdrawn
- 2017-10-12 WO PCT/CN2017/105882 patent/WO2018103453A1/zh unknown
-
2019
- 2019-06-05 US US16/431,975 patent/US20190288904A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001257677A (ja) * | 2000-03-14 | 2001-09-21 | Fujitsu Ltd | ネットワーク管理装置及びプログラム記録媒体 |
CN103412805A (zh) * | 2013-07-31 | 2013-11-27 | 交通银行股份有限公司 | 一种it故障源诊断方法及*** |
CN106059661A (zh) * | 2015-12-25 | 2016-10-26 | 国家电网公司 | 一种基于时序分析的光传输网络趋势预测方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020119711A1 (zh) * | 2018-12-13 | 2020-06-18 | 中兴通讯股份有限公司 | 一种根因定位方法、服务器和存储介质 |
CN111600735A (zh) * | 2019-02-21 | 2020-08-28 | 烽火通信科技股份有限公司 | 一种样本数据的处理方法、***及装置 |
CN111600735B (zh) * | 2019-02-21 | 2021-08-03 | 烽火通信科技股份有限公司 | 一种样本数据的处理方法、***及装置 |
CN111628901A (zh) * | 2019-02-28 | 2020-09-04 | 华为技术有限公司 | 一种指标异常检测方法以及相关装置 |
CN111628901B (zh) * | 2019-02-28 | 2022-11-18 | 华为技术有限公司 | 一种指标异常检测方法以及相关装置 |
CN114365505A (zh) * | 2019-11-07 | 2022-04-15 | 阿里巴巴集团控股有限公司 | 用于数据中心监控的数据驱动事物图 |
CN112513883A (zh) * | 2020-02-28 | 2021-03-16 | 华为技术有限公司 | 异常检测方法和设备 |
CN112732738A (zh) * | 2020-11-05 | 2021-04-30 | 北京邮电大学 | 基于多目标优化的自适应网络数据采集方法及相关设备 |
CN112532453A (zh) * | 2020-11-30 | 2021-03-19 | 成都思酷智能科技有限公司 | 网络异常信息处理方法及装置 |
CN114071526A (zh) * | 2021-11-16 | 2022-02-18 | 北京鼎兴达信息科技股份有限公司 | Gsm-r网络运行状态诊断方法 |
CN114071526B (zh) * | 2021-11-16 | 2024-01-30 | 北京鼎兴达信息科技股份有限公司 | Gsm-r网络运行状态诊断方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2018103453A1 (zh) | 2018-06-14 |
EP3537658A1 (en) | 2019-09-11 |
US20190288904A1 (en) | 2019-09-19 |
EP3537658A4 (en) | 2019-10-30 |
CN108173670B (zh) | 2020-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108173670A (zh) | 检测网络的方法和装置 | |
CN107409064B (zh) | 用于支持网络中不规则检测的方法和*** | |
Ahmed et al. | Multivariate online anomaly detection using kernel recursive least squares | |
CN109193650B (zh) | 一种基于高维随机矩阵理论的电网薄弱点评估方法 | |
CN111010291B (zh) | 业务流程异常告警方法、装置、电子设备及存储介质 | |
Lim et al. | Identifying recurrent and unknown performance issues | |
WO2019024553A1 (zh) | 一种故障定界方法及设备 | |
CN107527114A (zh) | 一种基于大数据的线路台区异常分析方法 | |
CN112052149B (zh) | 一种大数据信息采集***及使用方法 | |
CN111722952A (zh) | 业务***的故障分析方法、***、设备和存储介质 | |
CN109374063B (zh) | 一种基于集群管理的变压器异常检测方法、装置和设备 | |
US12039045B2 (en) | Event analysis in an electric power system | |
CN113591393A (zh) | 智能变电站的故障诊断方法、装置、设备和存储介质 | |
CN112213687B (zh) | 基于伪异常点辨识的关口电能表数据异常检测方法及*** | |
CN113125903A (zh) | 线损异常检测方法、装置、设备及计算机可读存储介质 | |
Zhou et al. | Data reconstruction in internet traffic matrix | |
CN113271224A (zh) | 节点的定位方法、装置、存储介质及电子装置 | |
CN117216481A (zh) | 一种用于电器的远程监控方法及*** | |
CN112416896A (zh) | 数据异常的报警方法和装置、存储介质、电子装置 | |
CN109376959A (zh) | 一种配电终端检修时间预估方法及装置 | |
US9229898B2 (en) | Causation isolation using a configuration item metric identified based on event classification | |
CN111245796A (zh) | 一种工业网络入侵检测的大数据分析的方法 | |
CN113032227B (zh) | 一种异常网元检测方法、装置、电子设备及存储介质 | |
Zhao et al. | G-FDDS: a graph-based fault diagnosis in distributed systems | |
WO2024066331A1 (zh) | 网络异常检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |