CN111314121A - 链路异常检测方法以及装置 - Google Patents

链路异常检测方法以及装置 Download PDF

Info

Publication number
CN111314121A
CN111314121A CN202010078851.3A CN202010078851A CN111314121A CN 111314121 A CN111314121 A CN 111314121A CN 202010078851 A CN202010078851 A CN 202010078851A CN 111314121 A CN111314121 A CN 111314121A
Authority
CN
China
Prior art keywords
screening
flow
service
abnormal
link
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010078851.3A
Other languages
English (en)
Inventor
柳泽波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010078851.3A priority Critical patent/CN111314121A/zh
Publication of CN111314121A publication Critical patent/CN111314121A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本说明书实施例提供链路异常检测方法以及装置，其中所述链路异常检测方法包括：获取业务链路中各个业务节点的流量监测数据以及所述业务链路的链路参数信息；分别将对各个业务节点的流量监测数据以及所述链路参数信息进行特征处理获得的特征矩阵输入流量预测模型进行流量预测，并获取输出的各个业务节点在目标时间的预测流量；获取各个业务节点在所述目标时间的真实流量，并根据所述真实流量以及所述预测流量计算生成对应的流量残差序列；利用至少一种异常分析策略对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素对应的业务节点确定为异常节点。

Description

链路异常检测方法以及装置
技术领域
本说明书实施例涉及互联网技术领域，特别涉及一种链路异常检测方法。本说明书一个或者多个实施例同时涉及一种链路异常检测装置，一种计算设备，以及一种计算机可读存储介质。
背景技术
随着互联网技术不断发展，生活中越来越多的业务由线下转为线上办理，通常不同业务的整个处理过程均会涉及多个处理环节，并由多个处理环节共同组成一个完整的业务链路，而潜在的链路异常，往往会对业务的正常处理造成一定的影响，一旦业务链路中任何一个处理环节出现异常，则该业务链路中的其他处理环节则可能无法正常进行业务处理，并且，如果业务链路集成的业务节点较多，同样容易产生异常，因为链路异常导致丢失的消息可能无法追查，链路中信息传输的可靠性较低。
因此，亟需提供一种链路异常检测方法，以实现对链路中异常节点的检测，以避免对于业务的正常运行造成影响。
发明内容
有鉴于此，本说明书施例提供了一种链路异常检测方法。本说明书一个或者多个实施例同时涉及一种链路异常检测装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面，提供了一种链路异常检测方法，包括：
获取业务链路中各个业务节点的流量监测数据以及所述业务链路的链路参数信息；
分别将对各个业务节点的流量监测数据以及所述链路参数信息进行特征处理获得的特征矩阵输入流量预测模型进行流量预测，并获取输出的各个业务节点在目标时间的预测流量；
获取各个业务节点在所述目标时间的真实流量，并根据所述真实流量以及所述预测流量计算生成对应的流量残差序列；
利用至少一种异常分析策略对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素对应的业务节点确定为异常节点。
可选地，所述利用至少一种异常分析策略对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素对应的业务节点确定为异常节点，包括：
利用异常统计算法对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第一流量残差子序列；
利用异常分类模型对所述第一流量残差子序列中的元素进行异常筛选处理，并将筛选结果中的元素对应的业务节点确定为异常节点。
可选地，所述利用至少一种异常分析策略对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素对应的业务节点确定为异常节点，包括：
利用异常统计算法对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第二流量残差子序列；
利用异常分类模型对所述第二流量残差子序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第三流量残差子序列；
利用异常筛选规则对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第四流量残差子序列；
将所述第三流量残差子序列以及所述第四流量残差子序列中的元素对应的业务节点确定为异常节点；
其中，所述异常筛选规则根据所述业务链路涉及的业务类型确定。
可选地，所述利用异常统计算法对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第二流量残差子序列，包括：
利用至少两种统计方法对所述流量残差序列中的元素进行异常筛选处理，获得对应的至少两种筛选结果；
确定所述至少两种筛选结果的交集，将所述交集中的元素组合生成所述第二流量残差子序列。
可选地，所述分别将对各个业务节点的流量监测数据以及所述链路参数信息进行特征处理获得的特征矩阵输入流量预测模型进行流量预测，并获取输出的各个业务节点在目标时间的预测流量，包括：
对各个业务节点的流量监测数据以及所述链路参数信息进行特征处理获得特征矩阵；
分别将所述特征矩阵输入门控循环神经网络模型进行流量预测，获取所述门控循环神经网络模型输出的各个业务节点在所述目标时间的预测流量。
可选地，所述利用至少一种异常分析策略对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素对应的业务节点确定为异常节点步骤执行之后，还包括：
确定异常节点个数，计算所述异常节点个数在所述业务链路中业务节点总数的占比；
在所述占比大于预设阈值的情况下，将所述异常节点对应的真实流量添加到训练样本以形成新的训练样本，基于所述新的训练样本对所述门控循环神经网络模型进行优化。
可选地，所述利用至少一种异常分析策略对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素对应的业务节点确定为异常节点步骤执行之后，还包括：
根据所述异常节点对应的预测流量对所述异常节点的真实流量进行更新；
基于滑动窗口对所述异常节点对应的残差数据进行偏差平滑处理，并根据处理结果对所述残差序列中所述异常节点对应的元素的元素值进行更新。
可选地，所述链路异常检测方法，还包括：
在所述业务节点为新增业务节点的情况下，获取所述业务链路中与所述新增业务节点最近的上游业务节点，并将所述上游业务节点的流量残差序列作为所述新增业务节点的流量残差序列。
可选地，所述链路异常检测方法，还包括：
在所述业务链路中不存在所述新增业务节点的上游业务节点的情况下，则获取所述新增业务节点以及其他各个业务节点的指标数据；
计算所述新增业务节点的指标数据与其他各个业务节点的指标数据的相关度；
将计算结果中相关度最大的指标数据所属的业务节点作为参考节点，根据所述参考节点的残差序列设置所述新增业务节点的流量残差序列。
根据本说明书实施例的第二方面，提供了一种链路异常检测装置，包括：
数据获取模块，被配置为获取业务链路中各个业务节点的流量监测数据以及所述业务链路的链路参数信息；
流量预测模块，被配置为分别将对各个业务节点的流量监测数据以及所述链路参数信息进行特征处理获得的特征矩阵输入流量预测模型进行流量预测，并获取输出的各个业务节点在目标时间的预测流量；
数据计算模块，被配置为获取各个业务节点在所述目标时间的真实流量，并根据所述真实流量以及所述预测流量计算生成对应的流量残差序列；
筛选模块，被配置为利用至少一种异常分析策略对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素对应的业务节点确定为异常节点。
可选地，所述筛选模块，包括：
第一异常统计算法筛选子模块，被配置为利用异常统计算法对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第一流量残差子序列；
第一异常分类模型筛选子模块，被配置为利用异常分类模型对所述第一流量残差子序列中的元素进行异常筛选处理，并将筛选结果中的元素对应的业务节点确定为异常节点。
可选地，所筛选模块，包括：
第二异常统计算法筛选子模块，被配置为利用异常统计算法对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第二流量残差子序列；
第二异常分类模型筛选子模块，被配置为利用异常分类模型对所述第二流量残差子序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第三流量残差子序列；
异常筛选规则筛选子模块，被配置为利用异常筛选规则对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第四流量残差子序列；
异常节点确定子模块，被配置为将所述第三流量残差子序列以及所述第四流量残差子序列中的元素对应的业务节点确定为异常节点；
其中，所述异常筛选规则根据所述业务链路涉及的业务类型确定。
可选地，所述第二异常统计算法筛选子模块，进一步被配置为：
利用至少两种统计方法对所述流量残差序列中的元素进行异常筛选处理，获得对应的至少两种筛选结果；
确定所述至少两种筛选结果的交集，将所述交集中的元素组合生成所述第二流量残差子序列。
根据本说明书实施例的第三方面，提供了一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
获取业务链路中各个业务节点的流量监测数据以及所述业务链路的链路参数信息；
分别将对各个业务节点的流量监测数据以及所述链路参数信息进行特征处理获得的特征矩阵输入流量预测模型进行流量预测，并获取输出的各个业务节点在目标时间的预测流量；
获取各个业务节点在所述目标时间的真实流量，并根据所述真实流量以及所述预测流量计算生成对应的流量残差序列；
利用至少一种异常分析策略对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素对应的业务节点确定为异常节点。
根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现任意一项所述链路异常检测方法的步骤。
本说明书一个实施例实现了通过监测业务链路中各个业务节点的流量数据，并将业务链路的链路参数信息以及监测的流量数据进行特征处理，通过将特征处理获得的特征矩阵输入流量预测模型以对各个业务节点在目标时间的流量进行预测获得预测流量，并利用异常分析策略对根据各个业务节点的预测流量和真实流量进行计算生成的流量残差序列进行筛选，以确定业务链路中可能存在异常的业务节点，保证了异常节点检测的时效性，并有效提高了业务链路中异常节点检测的准确率以及覆盖率。
附图说明
图1是本说明书一个实施例提供的一种链路异常检测方法的处理流程图；
图2是本说明书一个实施例提供的一种链路异常检测方法的处理过程流程图；
图3是本说明书一个实施例提供的一种链路异常检测装置的示意图；
图4是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
RNN(Recurrent Neural Network)：是一类用于处理序列数据的神经网络。
长短期记忆模型(LSTM，long-short term memory)：是一种特殊的RNN模型，为了解决RNN模型梯度弥散的问题而提出。
门控循环单元(GRU，Gated Recurrent Unit)：属于RNN循环神经网络的变体结构。
GESD(generalized extreme studentized deviate)算法：用于检测序列异常值的统计检验算法。
支持向量机(SVM，support vector machines)：是一类按监督学习方式对数据进行二元分类的广义线性分类器。
在本说明书中，提供了一种链路异常检测方法，本说明书同时涉及一种链路异常检测装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
图1示出了根据本说明书一个实施例提供的一种链路异常检测方法的流程图，包括步骤102至步骤108。
步骤102，获取业务链路中各个业务节点的流量监测数据以及所述业务链路的链路参数信息。
由于互联网技术不断发展，生活中越来越多的业务由线下转为线上办理，通常不同业务的整个处理过程均会涉及多个处理环节，并由多个处理环节共同组成一个完整的业务链路，而潜在的链路异常，往往会对业务的正常处理造成一定的影响，一旦业务链路中任何一个处理环节出现异常，则该业务链路中的其他处理环节则可能无法正常进行业务处理。
基于此，本说明书实施例提供的链路异常检测方法，通过监测业务链路中各个业务节点的流量数据，并将业务链路的链路参数信息以及监测的流量数据进行特征处理，通过将特征处理获得的特征矩阵输入流量预测模型以对各个业务节点在目标时间的流量进行预测获得预测流量，并利用异常分析策略对根据各个业务节点的预测流量和真实流量进行计算生成的流量残差序列进行筛选，以确定业务链路中可能存在异常的业务节点，保证了异常节点检测的时效性，并有效提高了业务链路中异常节点检测的准确率以及覆盖率。
具体的，所述业务链路是指由线上业务的多个处理环节共同组成的链路；所述流量监测数据是指业务链路中各个处理环节的历史流量数据；所述业务链路的链路参数信息包括业务信息和节点参数信息等。
以所述业务为线上购买电影票业务为例，若可供用户观影的影片为电影M1和电影M2，服务器中预先为线上购买电影M1的电影票业务设置的业务链路为选择影片(电影M1)->选择目标观影地点->选择场次->点击购票，为线上购买电影M2的电影票业务设置的业务链路为选择影片(电影M2)->选择目标观影地点->选择场次->点击购票，每个业务链路包含4个业务节点，其中，业务节点选择影片的流量监测数据是指在不同时刻电影M1或电影M2的点击量；同理，其他业务节点的流量监测数据是指在不同时刻的各个业务节点的点击量；该业务中的业务链路参数信息包括：业务信息和节点参数信息等。
获取业务链路中各个业务节点的流量监测数据以及链路参数信息后，利用流量预测模型以及所述流量监测数据和链路参数信息对各个业务节点在目标时间的流量进行预测。
步骤104，分别将对各个业务节点的流量监测数据以及所述链路参数信息进行特征处理获得的特征矩阵输入流量预测模型进行流量预测，并获取输出的各个业务节点在目标时间的预测流量。
具体的，对流量监测数据以及链路参数信息进行特征处理是指从流量监测数据以及链路参数信息中抽取出对流量预测更有用的信息，并将这些信息矩阵化获得对应的特征矩阵。
另外，本说明书实施例中的流量预测模型包括门控循环神经网络模型，利用门控循环神经网络模型对各个业务节点的目标时间的流量进行预测，具体可通过以下方式实现：
对各个业务节点的流量监测数据以及所述链路参数信息进行特征处理获得特征矩阵；
分别将所述特征矩阵输入门控循环神经网络模型进行流量预测，获取所述门控循环神经网络模型输出的各个业务节点在所述目标时间的预测流量。
具体实施时，所述门控循环神经网络模型具体为门控循环单元(GRU，GatedRecurrent Unit)，GRU属于RNN循环神经网络的变体结构，它只有一个复位门rt和一个更新门zt，其中，更新门zt决定了要丢弃的信息以及要添加的新信息，即用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门zt的值越大，说明前一时刻的状态信息带入越多。复位门rt控制前一状态有多少信息被写入到ht(输出的预测值)上，复位门rt越小，前一状态的信息被写入的越少。
获得各个业务节点的流量监测数据以及所述链路参数信息后，对这些数据和信息进行特征处理获得特征矩阵，将特征矩阵输入GRU模型后，GRU模型通过前向传播的方式处理数据并输出流量预测结果。
仍以所述业务为线上购买电影票业务为例，获取该业务中4个业务节点在一天中的30个时刻(分别为t-29至t)的流量监测数据以及业务链路的链路参数信息，并对其进行特征处理生成30*1阶特征矩阵，将所述特征矩阵输入GRU模型，即可获得模型输出的各个业务节点在t时刻的预测流量ht，其中，输入GRU模型的xt-29至xt分别对应30*1阶特征矩阵中的第1至30行的数据。
获取各个业务节点在目标时间的预测流量后，可结合各个业务节点在该时刻的真实流量进行异常节点的筛选。
GRU模型通过各种门函数来将重要特征保留下来，能够有效降低在长期前向传播的过程中数据丢失的概率，提高链路中信息传输的可靠性。并且GRU模型训练的收敛时间较短，有利于在实时计算***中做到快速迭代更新模型，保证模型能及时更新以适应流量分布的变化，使预测结果的精度保持在较高水平。
步骤106，获取各个业务节点在所述目标时间的真实流量，并根据所述真实流量以及所述预测流量计算生成对应的流量残差序列。
具体的，所述目标时间可以是某一时刻t，也可以是多个时刻(分别为t、t+1、....)；由于残差是指真实值与预测值(拟合值)之间的差，因此，流量残差序列即由多个残差共同组成，每一个残差均为流量残差序列中的一个元素。
在获取各个业务节点在目标时间的预测流量后，可结合各个业务节点在该时刻的真实流量以及预测流量计算各个业务节点的残差，生成流量残差序列，并通过筛选残差序列中异常元素的方式筛选异常节点。
仍以所述业务为线上购买电影票业务为例，且所述目标时间为某一时刻t，可供用户观影的影片为电影M1和电影M2，则服务器中预先设置的业务链路为选择影片(电影M1)->选择目标观影地点->选择场次->点击购票，以及，选择影片(电影M2)->选择目标观影地点->选择场次->点击购票，对于业务链路：选择影片(电影M1)->选择目标观影地点->选择场次->点击购票，获取业务链路中4个业务节点的流量监测数据以及所述业务链路的链路参数信息后，分别对4个业务节点的流量监测数据以及业务链路的链路参数信息进行特征处理生成特征矩阵，并将特征矩阵输入GRU模型，获得4个业务节点在t时刻的预测流量分别为A1、A2、A3、A4，然后获取4个业务节点在t时刻的真实流量分别为B1、B2、B3、B4，将4个业务节点对应的真实值与预测值之间的差值的绝对值作为各自的残差，生成的流量残差序列为{|A1-B1|、|A2-B2|、|A3-B3|、|A4-B4|}；业务链路：选择影片(电影M2)->选择目标观影地点->选择场次->点击购票的处理过程与前述处理过程类似，在此不再赘述。
获取流量残差序列后，通过筛选流量残差序列中的异常元素，从而确定业务链路中的异常业务节点。
步骤108，利用至少一种异常分析策略对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素对应的业务节点确定为异常节点。
具体的，异常筛选策略是指用于筛选所述流量残差序列中存在异常的元素的筛选策略，本说明书实施例用到的异常分析策略包括异常统计算法、异常分类模型以及异常筛选规则三种策略中的至少一种。
利用不同的策略组合方式获得的异常筛选结果不同，达到的筛选效果也不同，本说明书实施例提供的一种实施方式中，利用异常统计算法以及异常分类模型对流量残差序列中的元素进行异常筛选处理，具体可通过以下方式实现：
利用异常统计算法对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第一流量残差子序列；
利用异常分类模型对所述第一流量残差子序列中的元素进行异常筛选处理，并将筛选结果中的元素对应的业务节点确定为异常节点。
具体的，异常统计算法包括GESD算法、箱线图算法、标准差算法等，异常分类模型包括支持向量机(SVM，support vector machines)模型，利用异常统计算法进行筛选，获得第一次的筛选结果，利用SVM模型对第一次的筛选结果进行二次筛选，获得第二次的筛选结果，将第二次筛选结果中的元素确定为异常元素，并将异常元素对应的业务节点确定为业务节点。
另外，异常统计算法包括GESD算法、箱线图算法、标准差算法等，本说明书实施例采用上述三种算法分别对流量残差序列中的元素进行异常筛选处理，获得三种筛选结果，并将三种筛选结果取交集生成所述第一次的筛选结果。
使用SVM对第一次的筛选结果进行二次筛选，进一步提高检测结果的准确率，并且使用SVM模型无需要大样本量就可训练模型进行检测且能得到较好的性能提升。
本说明书实施例提供的另一种实施方式中，利用异常统计算法、异常分类模型以及异常筛选规则对流量残差序列中的元素进行异常筛选处理具体可通过以下方式实现：
利用异常统计算法对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第二流量残差子序列；
利用异常分类模型对所述第二流量残差子序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第三流量残差子序列；
利用异常筛选规则对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第四流量残差子序列；
将所述第三流量残差子序列以及所述第四流量残差子序列中的元素对应的业务节点确定为异常节点；
其中，所述异常筛选规则根据所述业务链路涉及的业务类型确定。
与前述实施方式类似，本实施方式中，异常统计算法同样包括GESD算法、箱线图算法、标准差算法等，异常分类模型包括支持向量机模型，异常筛选规则是指根据不同的业务情况设置的筛选规则进行辅助筛选；
利用异常统计算法对流量残差序列中的元素进行筛选，获得第一次的筛选结果，利用SVM模型对第一次的筛选结果进行二次筛选，获得第二次筛选结果，再次利用异常筛选规则对流量残差序列中的元素进行筛选，获得第三次筛选结果，将第二次筛选结果与第三次筛选结果中的元素确定为异常元素，并将异常元素对应的业务节点确定为业务节点。
具体实施时，所述异常筛选规则根据不同的业务类型确定，例如，若业务中的业务数据呈周期性变化，则可将异常筛选规则确定为：将环比或同比阈值大于阈值的元素确定为异常元素；若业务中某一用于处理业务数据的服务器节点存在预设资源负载范围，则可将异常筛选规则确定为：将元素值大于阈值的元素确定为异常元素。
根据不同业务类型设置不同的筛选规则进行辅助筛选，有利于进一步提高检测结果的准确率。
使用SVM对第一次的筛选结果进行二次筛选，进一步提高检测结果的准确率，并且使用SVM模型无需要大样本量就可训练模型进行检测且能得到较好的性能提升。
本说明书实施例采用GESD算法、箱线图算法、标准差算法中的至少两种算法进行异常筛选处理，具体可通过以下方式实现：
利用至少两种统计方法对所述流量残差序列中的元素进行异常筛选处理，获得对应的至少两种筛选结果；
确定所述至少两种筛选结果的交集，将所述交集中的元素组合生成所述第二流量残差子序列。
仍以所述业务为线上购买电影票业务为例，根据真实流量和预测流量计算生成的流量残差序列为{|A1-B1|、|A2-B2|、|A3-B3|、|A4-B4|}，若利用两种统计方法进行异常筛选处理获得对应的两种筛选结果分别为{|A1-B1|、|A2-B2|、|A3-B3|}和{|A1-B1|、|A2-B2|、|A4-B4|}，则对两种筛选结果取交集确定的第二流量残差子序列即为{|A1-B1|、|A2-B2|}。
进一步的，利用至少一种异常分析策略对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素对应的业务节点确定为异常节点后，为避免该异常节点对其他业务节点的筛选造成影响，需对异常节点的相关数据进行更新，具体可通过以下方式实现：
根据所述异常节点对应的预测流量对所述异常节点的真实流量进行更新；
基于滑动窗口对所述异常节点对应的残差数据进行偏差平滑处理，并根据处理结果对所述残差序列中所述异常节点对应的元素的元素值进行更新。
此外，在业务链路中存在新增业务节点的情况下，在对新增业务节点进行筛选的过程中，同样需要用到流量残差序列，新增业务节点的流量残差序列通过以下方式确定：
在所述业务节点为新增业务节点的情况下，获取所述业务链路中与所述新增业务节点最近的上游业务节点，并将所述上游业务节点的流量残差序列作为所述新增业务节点的流量残差序列。
沿用上例，对于业务链路：选择影片(电影M1)->选择目标观影地点->选择场次->点击购票，若在点击购票这一业务节点之后存在新增业务节点“确认支付”，则形成新的业务链路对于业务链路：选择影片(电影M1)->选择目标观影地点->选择场次->点击购票->确认支付，对新的业务链路中的前4个业务节点进行异常检测的过程如前所述，在此不再赘述，由于无法获取新增业务节点的流量监测数据(历史流量数据)，因此将新的业务链路中点击购票(与确认支付业务节点距离最近的上游业务节点)这一业务节点的多个非异常残差数据作为确认支付这一业务节点的残差序列，在对其进行异常检测时，可根据目标时间的长短选择相应数目的残差数据作为元素添加至流量残差序列，以通过筛选流量残差序列中的异常元素的方式筛选异常业务节点。
在新增业务节点没有历史流量数据的情况下，通过将与其最近的上游业务节点的非异常残差数据作为新增业务节点的残差序列，以通过该残差序列对新增业务节点进行异常筛选处理，有利于提高业务链路中异常节点检测的准确率以及覆盖率。
与前述实施方式相对应，在业务链路中不存在新增业务节点的上游节点的情况下，新增业务节点的流量残差序列通过以下方式确定：
在所述业务链路中不存在所述新增业务节点的上游业务节点的情况下，则获取所述新增业务节点以及其他各个业务节点的指标数据；
计算所述新增业务节点的指标数据与其他各个业务节点的指标数据的相关度；
将计算结果中相关度最大的指标数据所属的业务节点作为参考节点，根据所述参考节点的残差序列设置所述新增业务节点的流量残差序列。
沿用上例，若可供用户观影的影片除电影M1和电影M2外，新增了电影M3，服务器中为线上购买电影M3的电影票业务设置的业务链路为选择影片(电影M3)->选择目标观影地点->选择场次->点击购票，并需要对该业务链路中的4个业务节点进行异常检测，由于业务节点“选择影片(电影M3)”为新增业务节点，且该业务链路中不存在与其距离最近的上游业务节点，因此，需获取“选择影片(电影M3)”以及其他业务链路中各个业务节点的指标数据；并根据指标数据计算“选择影片(电影M3)”与各个业务节点的相关度，若计算结果为“选择影片(电影M3)”与“选择影片(电影M1)”的相关度最大，且相关度值为95％，大于预设相关度阈值90％，则将业务节点“选择影片(电影M1)”作为参考节点，根据“选择影片(电影M1)”的非异常残差数据设置“选择影片(电影M3)”残差序列。
在新增业务节点没有历史流量数据的情况下，通过将与新增业务节点相关性最大的业务节点作为参考节点，为新增业务节点设置残差序列，以通过该残差序列对新增业务节点进行异常筛选处理，有利于提高业务链路中异常节点检测的准确率以及覆盖率。
除此之外，所述利用至少一种异常分析策略对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素对应的业务节点确定为异常节点步骤执行之后，还包括：
确定异常节点个数，计算所述异常节点个数在所述业务链路中业务节点总数的占比；
在所述占比大于预设阈值的情况下，将所述异常节点对应的真实流量添加到训练样本以形成新的训练样本，基于所述新的训练样本对所述门控循环神经网络模型进行优化。
具体的，在根据筛选结果确定异常节点与业务链路中节点总数的比值大于预设阈值的情况下，则利用异常节点对应的真实流量对GRU模型进行优化，以提高模型输出的预测结果的准确度。
本说明书一个实施例实现了通过监测业务链路中各个业务节点的流量数据，并将业务链路的链路参数信息以及监测的流量数据进行特征处理，通过将特征处理获得的特征矩阵输入流量预测模型以对各个业务节点在目标时间的流量进行预测获得预测流量，并利用异常分析策略对根据各个业务节点的预测流量和真实流量进行计算生成的流量残差序列进行筛选，以确定业务链路中可能存在异常的业务节点，保证了异常节点检测的时效性，并有效提高了业务链路中异常节点检测的准确率以及覆盖率。
下述结合附图2，以本说明书提供的链路异常检测方法具体应用为例，对所述链路异常检测方法进行进一步说明。其中，图2示出了本说明书一个实施例提供的一种链路异常检测方法的处理过程流程图，具体步骤包括步骤202至步骤216。
步骤202，获取业务链路中各个业务节点的流量监测数据以及所述业务链路的链路参数信息。
步骤204，分别将对各个业务节点的流量监测数据以及所述链路参数信息进行特征处理获得的特征矩阵输入GRU模型进行流量预测，并获取输出的各个业务节点在目标时刻的预测流量。
步骤206，获取各个业务节点在所述目标时刻的真实流量，并根据所述真实流量以及所述预测流量计算生成对应的流量残差序列。
步骤208，利用至少两种统计方法对所述流量残差序列中的元素进行异常筛选处理，获得对应的至少两种筛选结果。
步骤210，确定所述至少两种筛选结果的交集，将所述交集中的元素组合生成所述流量残差子序列。
步骤212，利用异常分类模型对流量残差子序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第一筛选处理结果。
步骤214，利用异常筛选规则对流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第二筛选处理结果。
步骤216，将第一筛选处理结果以及第二筛选处理结果中的元素对应的业务节点确定为异常节点。
本说明书一个实施例实现了通过监测业务链路中各个业务节点的流量数据，并将业务链路的链路参数信息以及监测的流量数据进行特征处理，通过将特征处理获得的特征矩阵输入流量预测模型以对各个业务节点在目标时间的流量进行预测获得预测流量，并利用异常分析策略对根据各个业务节点的预测流量和真实流量进行计算生成的流量残差序列进行筛选，以确定业务链路中可能存在异常的业务节点，保证了异常节点检测的时效性，并有效提高了业务链路中异常节点检测的准确率以及覆盖率。
与上述方法实施例相对应，本说明书还提供了链路异常检测装置实施例，图3示出了本说明书一个实施例提供的一种链路异常检测装置的结构示意图。如图3所示，该装置包括：
数据获取模块302，被配置为获取业务链路中各个业务节点的流量监测数据以及所述业务链路的链路参数信息；
流量预测模块304，被配置为分别将对各个业务节点的流量监测数据以及所述链路参数信息进行特征处理获得的特征矩阵输入流量预测模型进行流量预测，并获取输出的各个业务节点在目标时间的预测流量；
数据计算模块306，被配置为获取各个业务节点在所述目标时间的真实流量，并根据所述真实流量以及所述预测流量计算生成对应的流量残差序列；
筛选模块308，被配置为利用至少一种异常分析策略对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素对应的业务节点确定为异常节点。
可选地，所述筛选模块308，包括：
第一异常统计算法筛选子模块，被配置为利用异常统计算法对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第一流量残差子序列；
第一异常分类模型筛选子模块，被配置为利用异常分类模型对所述第一流量残差子序列中的元素进行异常筛选处理，并将筛选结果中的元素对应的业务节点确定为异常节点。
可选地，所筛选模块308，包括：
第二异常统计算法筛选子模块，被配置为利用异常统计算法对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第二流量残差子序列；
第二异常分类模型筛选子模块，被配置为利用异常分类模型对所述第二流量残差子序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第三流量残差子序列；
异常筛选规则筛选子模块，被配置为利用异常筛选规则对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第四流量残差子序列；
异常节点确定子模块，被配置为将所述第三流量残差子序列以及所述第四流量残差子序列中的元素对应的业务节点确定为异常节点；
其中，所述异常筛选规则根据所述业务链路涉及的业务类型确定。
可选地，所述第二异常统计算法筛选子模块，进一步被配置为：
利用至少两种统计方法对所述流量残差序列中的元素进行异常筛选处理，获得对应的至少两种筛选结果；
确定所述至少两种筛选结果的交集，将所述交集中的元素组合生成所述第二流量残差子序列。
可选地，所述流量预测模块304，包括：
特征处理子模块，被配置为对各个业务节点的流量监测数据以及所述链路参数信息进行特征处理获得特征矩阵；
流量预测子模块，被配置为分别将所述特征矩阵输入门控循环神经网络模型进行流量预测，获取所述门控循环神经网络模型输出的各个业务节点在所述目标时间的预测流量。
可选地，所述链路异常检测装置，还包括：
占比计算模块，被配置为确定异常节点个数，计算所述异常节点个数在所述业务链路中业务节点总数的占比；
模型优化模块，被配置为在所述占比大于预设阈值的情况下，将所述异常节点对应的真实流量添加到训练样本以形成新的训练样本，基于所述新的训练样本对所述门控循环神经网络模型进行优化。
可选地，所述链路异常检测装置，还包括：
第一数据更新模块，被配置为根据所述异常节点对应的预测流量对所述异常节点的真实流量进行更新；
第二数据更新模块，被配置为基于滑动窗口对所述异常节点对应的残差数据进行偏差平滑处理，并根据处理结果对所述残差序列中所述异常节点对应的元素的元素值进行更新。
可选地，所述链路异常检测装置，还包括：
流量残差序列确定模块，被配置为在所述业务节点为新增业务节点的情况下，获取所述业务链路中与所述新增业务节点最近的上游业务节点，并将所述上游业务节点的流量残差序列作为所述新增业务节点的流量残差序列。
可选地，所述链路异常检测装置，还包括：
指标数据获取模块，被配置为在所述业务链路中不存在所述新增业务节点的上游业务节点的情况下，则获取所述新增业务节点以及其他各个业务节点的指标数据；
相关度计算模块，被配置为计算所述新增业务节点的指标数据与其他各个业务节点的指标数据的相关度；
流量残差序列设置模块，被配置为将计算结果中相关度最大的指标数据所属的业务节点作为参考节点，根据所述参考节点的残差序列设置所述新增业务节点的流量残差序列。
本说明书一个实施例利用不同的异常分析策略对流量残差序列中的异常元素进行筛选，以确定业务链路中可能存在异常的业务节点，保证了异常节点检测的时效性，并有效提高了业务链路中异常节点检测的准确率以及覆盖率。
上述为本实施例的一种链路异常检测装置的示意性方案。需要说明的是，该链路异常检测装置的技术方案与上述的链路异常检测方法的技术方案属于同一构思，链路异常检测装置的技术方案未详细描述的细节内容，均可以参见上述链路异常检测方法的技术方案的描述。
图4示出了根据本说明书一个实施例提供的一种计算设备400的结构框图。该计算设备400的部件包括但不限于存储器410和处理器420。处理器420与存储器410通过总线430相连接，数据库450用于保存数据。
计算设备400还包括接入设备440，接入设备440使得计算设备400能够经由一个或多个网络460通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备440可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
在本说明书的一个实施例中，计算设备400的上述部件以及图4中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图4所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备400可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备400还可以是移动式或静止式的服务器。
其中，所述存储器410用于存储计算机可执行指令，处理器420用于执行如下计算机可执行指令：
获取业务链路中各个业务节点的流量监测数据以及所述业务链路的链路参数信息；
分别将对各个业务节点的流量监测数据以及所述链路参数信息进行特征处理获得的特征矩阵输入流量预测模型进行流量预测，并获取输出的各个业务节点在目标时间的预测流量；
获取各个业务节点在所述目标时间的真实流量，并根据所述真实流量以及所述预测流量计算生成对应的流量残差序列；
利用至少一种异常分析策略对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素对应的业务节点确定为异常节点。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的链路异常检测方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述链路异常检测方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时以用于实现所述链路异常检测方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的链路异常检测方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述链路异常检测方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (15)

1.一种链路异常检测方法，包括：
获取业务链路中各个业务节点的流量监测数据以及所述业务链路的链路参数信息；
分别将对各个业务节点的流量监测数据以及所述链路参数信息进行特征处理获得的特征矩阵输入流量预测模型进行流量预测，并获取输出的各个业务节点在目标时间的预测流量；
获取各个业务节点在所述目标时间的真实流量，并根据所述真实流量以及所述预测流量计算生成对应的流量残差序列；
利用至少一种异常分析策略对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素对应的业务节点确定为异常节点。
2.根据权利要求1所述的链路异常检测方法，所述利用至少一种异常分析策略对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素对应的业务节点确定为异常节点，包括：
利用异常统计算法对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第一流量残差子序列；
利用异常分类模型对所述第一流量残差子序列中的元素进行异常筛选处理，并将筛选结果中的元素对应的业务节点确定为异常节点。
3.根据权利要求1所述的链路异常检测方法，所述利用至少一种异常分析策略对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素对应的业务节点确定为异常节点，包括：
利用异常统计算法对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第二流量残差子序列；
利用异常分类模型对所述第二流量残差子序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第三流量残差子序列；
利用异常筛选规则对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第四流量残差子序列；
将所述第三流量残差子序列以及所述第四流量残差子序列中的元素对应的业务节点确定为异常节点；
其中，所述异常筛选规则根据所述业务链路涉及的业务类型确定。
4.根据权利要求3所述的链路异常检测方法，所述利用异常统计算法对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第二流量残差子序列，包括：
利用至少两种统计方法对所述流量残差序列中的元素进行异常筛选处理，获得对应的至少两种筛选结果；
确定所述至少两种筛选结果的交集，将所述交集中的元素组合生成所述第二流量残差子序列。
5.根据权利要求1所述的链路异常检测方法，所述分别将对各个业务节点的流量监测数据以及所述链路参数信息进行特征处理获得的特征矩阵输入流量预测模型进行流量预测，并获取输出的各个业务节点在目标时间的预测流量，包括：
对各个业务节点的流量监测数据以及所述链路参数信息进行特征处理获得特征矩阵；
分别将所述特征矩阵输入门控循环神经网络模型进行流量预测，获取所述门控循环神经网络模型输出的各个业务节点在所述目标时间的预测流量。
6.根据权利要求5所述的链路异常检测方法，所述利用至少一种异常分析策略对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素对应的业务节点确定为异常节点步骤执行之后，还包括：
确定异常节点个数，计算所述异常节点个数在所述业务链路中业务节点总数的占比；
在所述占比大于预设阈值的情况下，将所述异常节点对应的真实流量添加到训练样本以形成新的训练样本，基于所述新的训练样本对所述门控循环神经网络模型进行优化。
7.根据权利要求1所述的链路异常检测方法，所述利用至少一种异常分析策略对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素对应的业务节点确定为异常节点步骤执行之后，还包括：
根据所述异常节点对应的预测流量对所述异常节点的真实流量进行更新；
基于滑动窗口对所述异常节点对应的残差数据进行偏差平滑处理，并根据处理结果对所述残差序列中所述异常节点对应的元素的元素值进行更新。
8.根据权利要求1所述的链路异常检测方法，还包括：
在所述业务节点为新增业务节点的情况下，获取所述业务链路中与所述新增业务节点最近的上游业务节点，并将所述上游业务节点的流量残差序列作为所述新增业务节点的流量残差序列。
9.根据权利要求8所述的链路异常检测方法，还包括：
在所述业务链路中不存在所述新增业务节点的上游业务节点的情况下，则获取所述新增业务节点以及其他各个业务节点的指标数据；
计算所述新增业务节点的指标数据与其他各个业务节点的指标数据的相关度；
将计算结果中相关度最大的指标数据所属的业务节点作为参考节点，根据所述参考节点的残差序列设置所述新增业务节点的流量残差序列。
10.一种链路异常检测装置，包括：
数据获取模块，被配置为获取业务链路中各个业务节点的流量监测数据以及所述业务链路的链路参数信息；
流量预测模块，被配置为分别将对各个业务节点的流量监测数据以及所述链路参数信息进行特征处理获得的特征矩阵输入流量预测模型进行流量预测，并获取输出的各个业务节点在目标时间的预测流量；
数据计算模块，被配置为获取各个业务节点在所述目标时间的真实流量，并根据所述真实流量以及所述预测流量计算生成对应的流量残差序列；
筛选模块，被配置为利用至少一种异常分析策略对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素对应的业务节点确定为异常节点。
11.根据权利要求10所述的链路异常检测装置，所述筛选模块，包括：
第一异常统计算法筛选子模块，被配置为利用异常统计算法对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第一流量残差子序列；
第一异常分类模型筛选子模块，被配置为利用异常分类模型对所述第一流量残差子序列中的元素进行异常筛选处理，并将筛选结果中的元素对应的业务节点确定为异常节点。
12.根据权利要求10所述的链路异常检测装置，所筛选模块，包括：
第二异常统计算法筛选子模块，被配置为利用异常统计算法对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第二流量残差子序列；
第二异常分类模型筛选子模块，被配置为利用异常分类模型对所述第二流量残差子序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第三流量残差子序列；
异常筛选规则筛选子模块，被配置为利用异常筛选规则对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素组合生成第四流量残差子序列；
异常节点确定子模块，被配置为将所述第三流量残差子序列以及所述第四流量残差子序列中的元素对应的业务节点确定为异常节点；
其中，所述异常筛选规则根据所述业务链路涉及的业务类型确定。
13.根据权利要求12所述的链路异常检测装置，所述第二异常统计算法筛选子模块，进一步被配置为：
利用至少两种统计方法对所述流量残差序列中的元素进行异常筛选处理，获得对应的至少两种筛选结果；
确定所述至少两种筛选结果的交集，将所述交集中的元素组合生成所述第二流量残差子序列。
14.一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
获取业务链路中各个业务节点的流量监测数据以及所述业务链路的链路参数信息；
分别将对各个业务节点的流量监测数据以及所述链路参数信息进行特征处理获得的特征矩阵输入流量预测模型进行流量预测，并获取输出的各个业务节点在目标时间的预测流量；
获取各个业务节点在所述目标时间的真实流量，并根据所述真实流量以及所述预测流量计算生成对应的流量残差序列；
利用至少一种异常分析策略对所述流量残差序列中的元素进行异常筛选处理，将筛选结果中的元素对应的业务节点确定为异常节点。
15.一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现权利要求1至9任意一项所述链路异常检测方法的步骤。
CN202010078851.3A 2020-02-03 2020-02-03 链路异常检测方法以及装置 Pending CN111314121A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010078851.3A CN111314121A (zh) 2020-02-03 2020-02-03 链路异常检测方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010078851.3A CN111314121A (zh) 2020-02-03 2020-02-03 链路异常检测方法以及装置

Publications (1)

Publication Number Publication Date
CN111314121A true CN111314121A (zh) 2020-06-19

Family

ID=71158184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010078851.3A Pending CN111314121A (zh) 2020-02-03 2020-02-03 链路异常检测方法以及装置

Country Status (1)

Country Link
CN (1) CN111314121A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112291302A (zh) * 2020-09-28 2021-01-29 北京京东尚科信息技术有限公司 物联网设备行为数据分析方法与处理***
CN112333045A (zh) * 2020-11-03 2021-02-05 国家工业信息安全发展研究中心 智能流量基线学习方法、设备和计算机可读存储介质
CN112532439A (zh) * 2020-11-24 2021-03-19 山东科技大学 一种基于注意力多组件时空跨域神经网络模型的网络流量预测方法
CN112822046A (zh) * 2021-01-04 2021-05-18 新华三大数据技术有限公司 流量的预测方法及装置
CN113296991A (zh) * 2020-11-16 2021-08-24 阿里巴巴集团控股有限公司 异常检测方法以及装置
CN113868111A (zh) * 2021-12-06 2021-12-31 金锐同创(北京)科技股份有限公司 基于业务节点的互访关系调整方法、装置及电子设备
CN114584391A (zh) * 2022-03-22 2022-06-03 恒安嘉新（北京）科技股份公司 异常流量处理策略的生成方法、装置、设备及存储介质
CN115118631A (zh) * 2022-06-27 2022-09-27 平安银行股份有限公司 链路异常处理方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101686235A (zh) * 2008-09-26 2010-03-31 中联绿盟信息技术(北京)有限公司 网络异常流量分析设备和方法
CN103532776A (zh) * 2013-09-30 2014-01-22 广东电网公司电力调度控制中心 业务流量检测方法及***
CN105471854A (zh) * 2015-11-18 2016-04-06 国网智能电网研究院 一种基于多级策略的自适应边界异常检测方法
US20160323163A1 (en) * 2013-12-19 2016-11-03 Bae Systems Plc Method and apparatus for detecting fault conditions in a network
CN107483251A (zh) * 2017-08-22 2017-12-15 国网辽宁省电力有限公司辽阳供电公司 一种基于分布式探针监测的网络业务异常侦测方法
CN108322347A (zh) * 2018-02-09 2018-07-24 腾讯科技（深圳）有限公司 数据检测方法、装置、检测服务器及存储介质
CN108833184A (zh) * 2018-06-29 2018-11-16 腾讯科技（深圳）有限公司 服务故障定位方法、装置、计算机设备及存储介质
CN108880838A (zh) * 2017-05-10 2018-11-23 阿里巴巴集团控股有限公司 业务故障的监控方法及装置、计算机设备及可读介质
CN110247910A (zh) * 2019-06-13 2019-09-17 深信服科技股份有限公司 一种异常流量的检测方法、***及相关组件
CN110647447A (zh) * 2019-08-01 2020-01-03 百度时代网络技术（北京）有限公司 用于分布式***的异常实例检测方法、装置、设备和介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101686235A (zh) * 2008-09-26 2010-03-31 中联绿盟信息技术(北京)有限公司 网络异常流量分析设备和方法
CN103532776A (zh) * 2013-09-30 2014-01-22 广东电网公司电力调度控制中心 业务流量检测方法及***
US20160323163A1 (en) * 2013-12-19 2016-11-03 Bae Systems Plc Method and apparatus for detecting fault conditions in a network
CN105471854A (zh) * 2015-11-18 2016-04-06 国网智能电网研究院 一种基于多级策略的自适应边界异常检测方法
CN108880838A (zh) * 2017-05-10 2018-11-23 阿里巴巴集团控股有限公司 业务故障的监控方法及装置、计算机设备及可读介质
CN107483251A (zh) * 2017-08-22 2017-12-15 国网辽宁省电力有限公司辽阳供电公司 一种基于分布式探针监测的网络业务异常侦测方法
CN108322347A (zh) * 2018-02-09 2018-07-24 腾讯科技（深圳）有限公司 数据检测方法、装置、检测服务器及存储介质
CN108833184A (zh) * 2018-06-29 2018-11-16 腾讯科技（深圳）有限公司 服务故障定位方法、装置、计算机设备及存储介质
CN110247910A (zh) * 2019-06-13 2019-09-17 深信服科技股份有限公司 一种异常流量的检测方法、***及相关组件
CN110647447A (zh) * 2019-08-01 2020-01-03 百度时代网络技术（北京）有限公司 用于分布式***的异常实例检测方法、装置、设备和介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112291302A (zh) * 2020-09-28 2021-01-29 北京京东尚科信息技术有限公司 物联网设备行为数据分析方法与处理***
CN112333045A (zh) * 2020-11-03 2021-02-05 国家工业信息安全发展研究中心 智能流量基线学习方法、设备和计算机可读存储介质
CN113296991A (zh) * 2020-11-16 2021-08-24 阿里巴巴集团控股有限公司 异常检测方法以及装置
CN113296991B (zh) * 2020-11-16 2024-02-13 阿里巴巴集团控股有限公司 异常检测方法以及装置
CN112532439A (zh) * 2020-11-24 2021-03-19 山东科技大学 一种基于注意力多组件时空跨域神经网络模型的网络流量预测方法
CN112822046A (zh) * 2021-01-04 2021-05-18 新华三大数据技术有限公司 流量的预测方法及装置
CN113868111A (zh) * 2021-12-06 2021-12-31 金锐同创(北京)科技股份有限公司 基于业务节点的互访关系调整方法、装置及电子设备
CN114584391A (zh) * 2022-03-22 2022-06-03 恒安嘉新（北京）科技股份公司 异常流量处理策略的生成方法、装置、设备及存储介质
CN114584391B (zh) * 2022-03-22 2024-02-09 恒安嘉新（北京）科技股份公司 异常流量处理策略的生成方法、装置、设备及存储介质
CN115118631A (zh) * 2022-06-27 2022-09-27 平安银行股份有限公司 链路异常处理方法、装置、电子设备及存储介质
CN115118631B (zh) * 2022-06-27 2023-09-01 平安银行股份有限公司 链路异常处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111314121A (zh) 链路异常检测方法以及装置
CN113905391B (zh) 集成学习网络流量预测方法、***、设备、终端、介质
US11790369B2 (en) Systems and method for enhanced active machine learning through processing of partitioned uncertainty
CN114285728B (zh) 一种预测模型训练方法、流量预测方法、装置及存储介质
CN110929785A (zh) 数据分类方法、装置、终端设备及可读存储介质
Xia et al. Deciphering spatio-temporal graph forecasting: A causal lens and treatment
Fang et al. SDGNet: A handover-aware spatiotemporal graph neural network for mobile traffic forecasting
WO2023279674A1 (en) Memory-augmented graph convolutional neural networks
US20230063489A1 (en) Malware Detection with Multi-Level, Ensemble Artificial Intelligence Using Bidirectional Long Short-Term Memory Recurrent Neural Networks and Natural Language Processing
US20230353476A1 (en) Unified recommendation engine
Ngo et al. Adaptive anomaly detection for internet of things in hierarchical edge computing: A contextual-bandit approach
CN115514614A (zh) 基于强化学习的云网络异常检测模型训练方法及存储介质
CN115146844A (zh) 一种基于多任务学习的多模式交通短时客流协同预测方法
US20230252060A1 (en) Artificial Intelligence (AI)-based Engine for Processing Service Requests
Ji et al. Multi-range gated graph neural network for telecommunication fraud detection
Ahsan et al. Network intrusion detection using machine learning approaches: Addressing data imbalance
CN112486784A (zh) 诊断和优化数据分析***的方法、设备和介质
Mortazavi et al. Efficient mobile cellular traffic forecasting using spatial-temporal graph attention networks
CN110633971A (zh) 资损估计方法以及装置
Chen et al. UC-SFDA: Source-free domain adaptation via uncertainty prediction and evidence-based contrastive learning
US20230052255A1 (en) System and method for optimizing a machine learning model
JP7331938B2 (ja) 学習装置、推定装置、学習方法及び学習プログラム
Zheng et al. Flow-by-flow traffic matrix prediction methods: Achieving accurate, adaptable, low cost results
Chen et al. Efficient and interpretable SRU combined with TabNet for network intrusion detection in the big data environment
Lin et al. Multi-Scenario Cellular KPI Prediction Based on Spatiotemporal Graph Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200619