CN111614634B - 流量检测方法、装置、设备及存储介质 - Google Patents
流量检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111614634B CN111614634B CN202010367557.4A CN202010367557A CN111614634B CN 111614634 B CN111614634 B CN 111614634B CN 202010367557 A CN202010367557 A CN 202010367557A CN 111614634 B CN111614634 B CN 111614634B
- Authority
- CN
- China
- Prior art keywords
- flow
- target
- sample
- state
- time point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 301
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 64
- 238000012545 processing Methods 0.000 claims abstract description 54
- 230000002159 abnormal effect Effects 0.000 claims description 67
- 238000004422 calculation algorithm Methods 0.000 claims description 34
- 238000009499 grossing Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 20
- 238000001595 flow curve Methods 0.000 description 16
- 238000013473 artificial intelligence Methods 0.000 description 14
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 241000700605 Viruses Species 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- ZXQYGBMAQZUVMI-GCMPRSNUSA-N gamma-cyhalothrin Chemical compound CC1(C)[C@@H](\C=C(/Cl)C(F)(F)F)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 ZXQYGBMAQZUVMI-GCMPRSNUSA-N 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002155 anti-virotic effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Environmental & Geological Engineering (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请实施例公开了一种流量检测方法、装置、设备及存储介质,属于计算机技术领域。该方法包括:获取多个历史时间点的历史流量和位于多个历史时间点之后的目标时间点的目标流量,根据多个历史时间点的历史流量和目标时间点的目标流量进行拟合处理,获取第一关系数据,根据第一关系数据,确定目标时间点对应的流量范围,在目标流量不属于流量范围的情况下,对目标流量进行状态检测,得到目标流量的检测状态。在网络攻击和设备故障检测中,通过确定目标流量是否属于流量范围,实现了对目标流量的初步检测,提高了检测的准确率,对不属于流量范围的目标流量进行状态检测,进一步提高了检测的准确率和检测效率。
Description
技术领域
本申请实施例涉及计算机技术领域,特别涉及一种流量检测方法、装置、设备及存储介质。
背景技术
随着计算机技术的发展,通过网络进行数据传输的情况日益增多,在数据传输过程中会产生流量,而当网络异常时,如遇到网络攻击或者设备出现问题,产生的流量会发生突变。因此,通过对流量进行检测,可以及时发现网络是否存在异常。
目前,在检测流量的过程中,根据历史时间点的历史流量,对某一时间点的流量进行预测,得到预测流量,并检测该时间点实际产生的目标流量,通过比较目标流量与预测流量,确定目标流量是否存在异常。但是上述方式依赖于预测流量,如果预测流量的准确率较低,导致对目标流量的检测准确率较低。
发明内容
本申请实施例提供了一种流量检测方法、装置、设备及存储介质,提高了目标流量的检测准确率。所述技术方案如下:
一方面,提供了一种流量检测方法,所述方法包括:
获取多个历史时间点的历史流量和位于所述多个历史时间点之后的目标时间点的目标流量;
根据所述多个历史时间点的历史流量和所述目标时间点的目标流量进行拟合处理,获取第一关系数据,所述第一关系数据用于指示任一时间点与所述任一时间点的流量之间的关系;
根据所述第一关系数据,确定所述目标时间点对应的流量范围;
在所述目标流量不属于所述流量范围的情况下,对所述目标流量进行状态检测,得到所述目标流量的检测状态。
在一种可能实现方式中,所述在所述目标流量不属于所述流量范围的情况下,调用流量检测模型,对所述目标流量进行状态检测,得到所述目标流量的检测状态之前,所述方法还包括:
获取多个第一样本时间点的样本流量和第二样本时间点的样本流量,所述第二样本时间点位于所述多个第一样本时间点之后;
获取所述第二样本时间点的样本流量的样本检测状态;
根据所述多个第一样本时间点的样本流量、所述第二样本时间点的样本流量及所述样本检测状态,训练所述流量检测模型。
在另一种可能实现方式中,所述根据所述第一关系数据,确定所述目标时间点对应的流量范围之后,所述方法还包括:
在所述目标流量属于所述流量范围的情况下,确定所述目标流量的检测状态为正常状态。
在另一种可能实现方式中所述在所述目标流量不属于所述流量范围的情况下,对所述目标流量进行状态检测,得到所述目标流量的检测状态之后,所述方法还包括:
在所述目标流量小于所述流量范围的最小值,且所述检测状态为异常状态的情况下,确定所述检测状态为低流量状态;或者,
在所述目标流量大于所述流量范围的最大值,且所述检测状态为所述异常状态的情况下,确定所述检测状态为高流量状态。
另一方面,提供了一种流量检测装置,所述装置包括:
流量获取模块,用于获取多个历史时间点的历史流量和位于所述多个历史时间点之后的目标时间点的目标流量;
第一关系获取模块,用于根据所述多个历史时间点的历史流量和所述目标时间点的目标流量进行拟合处理,获取第一关系数据,所述第一关系数据用于指示任一时间点与所述任一时间点的流量之间的关系;
流量范围确定模块,用于根据所述第一关系数据,确定所述目标时间点对应的流量范围;
流量检测模块,用于在所述目标流量不属于所述流量范围的情况下,对所述目标流量进行状态检测,得到所述目标流量的检测状态。
在一种可能实现方式中,所述流量范围确定模块,包括:
参考流量获取单元,用于根据所述第一关系数据,查询所述目标时间点对应的流量,作为参考流量;
参考流量调整单元,用于对所述参考流量进行调整,得到大于所述参考流量的第一流量及小于所述参考的第二流量;
第一范围确定单元,用于将所述第一流量作为所述流量范围的最大值,将所述第二流量作为所述流量范围的最小值,得到所述流量范围。
在另一种可能实现方式中,所述流量范围确定模块,还包括:
第二关系获取单元,用于根据所述第一关系数据获取第二关系数据,所述第二关系数据中任一时间点对应的流量大于所述第一关系数据中相同时间点对应流量;
第三关系获取单元,用于根据所述第一关系数据获取第三关系数据,所述第三关系数据中任一时间点对应的流量小于所述第一关系数据中相同时间点对应流量;
流量查询单元,用于根据所述第二关系数据查询所述目标时间点对应的第三流量,根据所述第三关系数据查询所述目标时间点对应的第四流量;
第二范围确定单元,用于将所述第三流量作为所述流量范围的最大值,将所述第四流量作为所述流量范围的最小值,得到所述流量范围。
在另一种可能实现方式中,所述流量检测模块,还用于:
在所述目标流量不属于所述流量范围的情况下,调用流量检测模型,对所述目标流量进行状态检测,得到所述目标流量的检测状态。
在另一种可能实现方式中,所述装置还包括:
样本流量获取模块,用于获取多个第一样本时间点的样本流量和第二样本时间点的样本流量,所述第二样本时间点位于所述多个第一样本时间点之后;
样本状态获取模块,用于获取所述第二样本时间点的样本流量的样本检测状态;
模型训练模块,用于根据所述多个第一样本时间点的样本流量、所述第二样本时间点的样本流量及所述样本检测状态,训练所述流量检测模型。
在另一种可能实现方式中,所述装置还包括:
所述样本流量获取模块,还用于获取多个样本历史时间点的样本历史流量和样本目标时间点的样本目标流量,所述样本目标时间点位于所述多个样本历史时间点之后;
所述样本状态获取模块,还用于获取所述样本目标时间点的样本目标流量的样本检测状态;
所述模型训练模块,还用于根据所述多个样本历史时间点的样本历史流量、所述样本目标时间点的样本目标流量及所述样本检测状态,继续训练所述流量检测模型。
在另一种可能实现方式中,所述装置还包括:
正常状态确定模块,用于在所述目标流量属于所述流量范围的情况下,确定所述目标流量的检测状态为正常状态。
在另一种可能实现方式中,所述装置还包括:
第一状态确定模块,用于在所述目标流量小于所述流量范围的最小值,且所述检测状态为异常状态的情况下,确定所述检测状态为低流量状态;或者,
第二状态确定模块,用于在所述目标流量大于所述流量范围的最大值,且所述检测状态为所述异常状态的情况下,确定所述检测状态为高流量状态。
在另一种可能实现方式中,所述装置还包括:
第四关系获取模块,用于在所述检测状态为异常状态的情况下,从所述多个历史时间点和所述目标时间点中选取第一数量的时间点,对所述第一数量的时间点的流量进行平滑处理,根据所述第一数量的时间点平滑处理后的流量,获取第四关系数据,所述第四关系数据用于指示任一时间点与所述任一时间点对应的流量之间的关系;
第五关系获取模块,用于根据所述第四关系数据,获取第二数量的时间点,对所述第二数量的时间点的流量进行平滑处理,根据所述第二数量的时间点平滑处理后的流量,获取第五关系数据,所述第五关系数据用于指示任一时间点与所述任一时间点对应的流量之间的关系;
流量查询模块,用于根据所述第四关系数据查询所述目标时间点对应的第五流量,根据所述第五关系数据查询所述目标时间点对应的第六流量;
所述第一状态确定模块,还用于在所述第五流量与所述第六流量之间的差值小于第一预设数值的情况下,确定所述目标流量处于低流量状态;或者,
所述第二状态确定模块,还用于在所述第五流量与所述第六流量之间的差值大于第二预设数值的情况下,确定所述目标流量处于高流量状态。
在另一种可能实现方式中,所述装置还包括:
告警显示模块,用于在所述目标流量的检测状态为异常状态,且在所述目标时间点之前的连续多个历史时间点的历史流量的检测状态为异常状态的情况下,显示告警信息。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现如所述流量检测方法中所执行的操作。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行,以实现如所述流量检测方法中所执行的操作。
本申请实施例提供的方法、装置、设备及存储介质,获取多个历史时间点的历史流量和位于多个历史时间点之后的目标时间点的目标流量,根据多个历史时间点的历史流量和目标时间点的目标流量进行拟合处理,获取第一关系数据,根据第一关系数据,确定目标时间点对应的流量范围,在目标流量不属于流量范围的情况下,对目标流量进行状态检测,得到目标流量的检测状态。本申请实施例提供的流量检测方式,不是依赖于预测流量,而是根据多个历史时间点和目标时间点的流量确定流量范围,提高了流量范围的准确率,通过确定目标流量是否属于流量范围,实现了对目标流量的初步检测,提高了检测的准确率。且后续仅对不属于流量范围的目标流量进行状态检测,进一步提高了检测的准确率和检测效率。
并且,由于仅使用无监督学习算法时,检测准确率较低,仅使用有监督学习算法时,需要对每个目标流量进行检测,检测效率低。而本申请将无监督学习算法和有监督学习算法结合在一起,避免仅使用其中一种算法进行流量检测,可以先采用无监督学习算法过滤部分目标流量,减少有监督学习算法需要检测的目标流量,既提高了检测的准确率,又提高检测效率。
并且,在故障检测场景下,在得到检测结果之后,显示告警信息,以及时提醒技术人员对目标设备进行维护。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种流量检测方法的流程图;
图2是本申请实施例提供的一种出流量曲线和入流量曲线的示意图;
图3是本申请实施例提供的一种流量曲线的示意图;
图4是本申请实施例提供的另一种流量检测方法的流程图;
图5是本申请实施例提供的一种获取流量数据方式的示意图;
图6是本申请实施例提供的一种拟合处理前的流量曲线及拟合处理后的拟合曲线的示意图;
图7是本申请实施例提供的一种正常状态的流量曲线及异常状态的流量曲线的示意图;
图8是本申请实施例提供的一种流量曲线及流量曲线对应的柱状图的示意图;
图9是本申请实施例提供的一种告警显示界面的示意图;
图10是本申请实施例提供的另一种告警信息显示界面的示意图;
图11是本申请实施例提供的另一种流量检测方法的流程图;
图12是本申请实施例提供的一种流量检测装置的结构示意图;
图13是本申请实施例提供的另一种流量检测装置的结构示意图;
图14是本申请实施例提供的一种终端的结构示意图;
图15是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
需要说明的是,本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号(包括但不限于用户终端与其他设备之间传输的信号等),均为经用户或相关方面充分授权的,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
可以理解,本申请所使用的术语“第一”、“第二”和“第三”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说,在不脱离本申请的范围的情况下,可以将第一关系数据称为第二关系数据,将第二关系数据称为第一关系数据。
本申请所使用的术语“每个”、“多个”和“任一”等,多个包括两个或两个以上,每个是指对应的多个中的每一个,任一是指对应的多个中的任意一个。举例来说,多个时间点包括5个时间点,而每个时间点是指这5个时间点中的每一个时间点,任一时间点是指这5个时间点中的任意一个时间点。
为了便于理解本申请实施例提供的流量检测方法,对本申请实施例涉及到的关键词进行解释:
时间序列:时间序列是一组按照时间的先后顺序进行排列的数据点序列,一组时间序列中任两个相邻的数据点之间间隔的时长为预设时长,该预设时长可以为1秒钟、1分钟、1小时或其他时间。在流量检测场景下,时间序列属于监测类型的时间序列,将目标流量和多个历史流量按照时间的先后顺序进行拼接,得到的一组数据即为时间序列,该时间序列中包括按照先后顺序排列的多个时间点对应的流量。
网络流量:网络流量是指通过网络传输数据的过程中传输的数据量。网络流量包括:入流量和出流量,对于目标设备来说,出流量是指目标设备向其他设备发送数据的过程中产生的流量,入流量是指目标设备接收其他设备发送的数据的过程中产生的流量,网络流量的状态可以反映当前网络的状态。
异常检测:异常检测是指从多个数据中检测出异常数据的过程。异常数据是指不同于大部分数据的数据,该异常数据的变化趋势与其他的数据的变化趋势存在明显区别。在流量检测场景下,异常检测即为检测目标流量是否处于异常状态。
告警:告警是指当流量处于异常状态时,计算机设备显示告警信息,或者向其他设备发送告警信息。
云技术(Cloud Technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络***的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台***进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的***后盾支撑,只能通过云计算来实现。
云安全(Cloud Security)是指基于云计算商业模式应用的安全软件、硬件、用户、机构、安全云平台的总称。云安全融合了并行处理、网格计算、未知病毒行为判断等新兴技术和概念,通过网状的大量客户端对网络中软件行为的异常监测,获取互联网中木马、恶意程序的最新信息,并发送到服务端进行自动分析和处理,再把病毒和木马的解决方案分发到每一个客户端。
云安全主要研究方向包括:1、云计算安全,主要研究如何保障云自身及云上各种应用的安全,包括云计算机***安全、用户数据的安全存储与隔离、用户接入认证、信息传输安全、网络攻击防护、合规审计等;2、安全基础设施的云化,主要研究如何采用云计算新建与整合安全基础设施资源,优化安全防护机制,包括通过云计算技术构建超大规模安全事件、信息采集与处理平台,实现对海量信息的采集与关联分析,提升全网安全事件把控能力及风险控制能力;3、云安全服务,主要研究各种基于云计算平台为用户提供的安全服务,如防病毒服务等。
本申请实施例中提供的流量检测方法中采用云安全技术,对流量进行状态检测。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作、交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习、深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
本申请实施例提供的流量检测方法采用人工智能技术进行流量检测。
本申请实施例提供了一种流量检测方法,执行主体为计算机设备。该计算机设备获取多个历史时间点的历史流量和位于多个历史时间点之后的目标时间点的目标流量,根据多个历史时间点的历史流量和目标时间点的目标流量,获取第一关系数据,根据第一关系数据,确定目标时间点对应的流量范围,在目标流量不属于流量范围的情况下,对目标流量进行状态检测处理,得到目标流量的检测状态。
在一种可能实现方式中,该计算机设备为终端,终端可以为便携式、袖珍式、手持式等多种类型的终端,如智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等。
在另一种可能实现方式中,该计算机设备为服务器,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
另外,终端和服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
本申请实施例提供的流量检测方法可以应用于多种场景下。
例如,应用于网络安全场景下。
当网络遭受到网络攻击时,产生的流量会发生突变,采用本申请实施例提供的流量检测方法,可以检测流量的状态,确定流量是否发生突变,从而确定是否遭受到网络攻击。
例如,应用于故障检测场景下。
在数据传输过程中,如果发送数据的发送设备、接收数据的接收设备或者传输数据的传输设备中的任一设备发生故障,均无法保证数据的正常传输,采用本申请实施例提供的流量检测方法,对发送设备的流量、接收设备的流量或传输设备的流量进行检测,确定流量是否处于异常状态,从而确定对应的设备是否发生故障。
图1是本申请实施例提供的一种流量检测方法的流程图。本申请实施例的执行主体为计算机设备,参见图1,该方法包括:
101、计算机设备获取多个历史时间点的历史流量和位于多个历史时间点之后的目标时间点的目标流量。
本申请实施例中,计算机设备获取历史流量和目标流量,对目标流量进行状态检测,得到目标流量的检测状态,其中,目标流量和历史流量可以为任一设备的流量。本申请实施例仅是以目标设备的目标流量为例进行说明,目标设备可以为任一发送或接收数据的设备,例如,终端、服务器等设备;目标设备还可以为转发信号的设备,例如,交换机;目标设备还可以为传输数据的设备,例如,光缆。另外,进行流量检测的对象还可以为某一设备的某一个接口或者某一个IP(Internet Protocol,网络互连协议)地址等。
在一种可能实现方式中,计算机设备与目标设备之间建立连接,计算机设备可以监测目标设备的流量或者目标接口的流量;或者,目标设备将流量发送给计算机设备。计算机设备接收到目标设备的流量之后,按照时间序列的形式存储目标设备的流量,即将流量按照对应的时间点的先后顺序进行排列。
可选地,计算机设备可以采用InfluxDB(时序数据库)、Druid(一种高效的数据库)等可以存储时间序列的数据库存储流量,或者,采用Redis(Remote Dictionary Server,远程字典服务)或其他内存型的数据库存储流量。
本申请实施例中,目标流量可以为出流量或入流量中的任一种,且目标流量的类型与历史流量的类型一致,即如果目标流量为出流量,则历史流量也为出流量;如果目标流量为入流量,则历史流量也为入流量。其中,目标流量为目标时间点的流量,该目标时间点可以为当前时间点,也可以为当前时间点之前的任一历史时间点。
另外,计算机设备可以将连续多个时间点的流量构成时间序列,多个时间点的流量可以采用流量曲线的形式进行表示,流量曲线包括入流量曲线和出流量曲线。例如,参见图2,实线表示出流量曲线,虚线表示入流量曲线,横坐标表示时间,纵坐标表示流量,图2示出了两个不同的设备的流量曲线,曲线示意图201为第一设备在某一时间段内的流量曲线,曲线示意图202为第二设备在某一时间段内的流量曲线。
本申请实施例中,流量的检测状态包括正常状态或异常状态,正常状态是指目标时间点的流量与其他时间点的流量之间的差值较小,异常状态是指当前时间点的流量与其他时间点的流量之间的差值较大。从流量曲线来看,正常状态的流量曲线在连续的多个时间点的流量没有明显的波动,异常状态的流量曲线在某一时间点的流量产生较大的波动。例如,参见图3,横坐标为时间点,纵坐标为流量,图3所示的曲线示意图301中两个时间点的流量为异常状态,6:00的流量有较小的波动,22:00的流量有较大的波动。
102、计算机设备根据多个历史时间点的历史流量和目标时间点的目标流量进行拟合处理,获取第一关系数据。
本申请实施例中,计算机设备获取的第一关系数据用于指示任一时间点与该任一时间点的流量之间的关系,其中,任一时间点为多个历史时间点及目标时间点中的任意一个时间点。由于第一关系数据是根据多个历史时间点的历史流量和目标时间点的目标流量进行拟合处理得到的,因此,该第一关系数据指示的任一时间点的流量与该任一时间点在拟合处理之前的流量可能相同,也可能不同。
在一种可能实现方式中,计算机设备获取第一关系数据之后,存储该第一关系数据,其中,可以以描述语句的形式存储第一关系数据,也可以以公式或函数的形式存储第一关系数据,或者还可以采用其他方式存储第一关系数据。
103、计算机设备根据第一关系数据,确定目标时间点对应的流量范围。
计算机设备首先对目标时间点的目标流量进行过滤处理,在过滤处理的过程中,判断目标流量是否属于目标时间点对应的流量范围,如果属于该流量范围,则过滤目标流量,如果目标流量不属于该流量范围,则对目标流量进行后续的状态检测。
其中,目标流量属于流量范围表示目标流量处于正常状态,不需要对该目标流量进行状态检测,目标流量不属于流量范围表示目标流量有较大的可能处于异常状态,需要采用更加准确的状态检测方式再次对目标流量进行状态检测,以确定目标流量是否处于异常状态。采用上述方式,可以减少进行状态检测的目标流量,提高检测效率。
在一种可能实现方式中,计算机设备根据第一关系数据,查询目标时间点对应的流量,作为参考流量;对参考流量进行调整,得到大于参考流量的第一流量及小于参考的第二流量;将第一流量作为流量范围的最大值,将第二流量作为流量范围的最小值,得到流量范围。其中,参考流量是指正常状态下目标时间点的流量。
可以采用多种方式对参考流量进行调整,例如,该参考流量加一个预设数值,得到第一流量,该参考流量减一个预设数值得到第二流量,该预设数值大于0;或者,该参考流量乘以预设比例得到第一流量,该参考流量除以预设比例得到第二流量,该预设比例大于1,或者还可以采用其他方式,得到第一流量和第二流量。
在另一种可能实现方式中,计算机设备根据第一关系数据获取第二关系数据,根据第一关系数据获取第三关系数据,根据第二关系数据查询目标时间点对应的第三流量,其中,第二关系数据中任一时间点对应的流量大于第一关系数据中相同时间点对应流量,第三关系数据中任一时间点对应的流量小于第一关系数据中相同时间点对应流量。
根据第三关系数据查询所述目标时间点对应的第四流量;将第三流量作为流量范围的最大值,将第四流量作为流量范围的最小值,得到流量范围。也就是说,得到第一关系数据之后,对第一关系数据进行调整,以得到目标时间点对应的流量范围。
可选地,将第一关系数据中每个时间点对应的流量加上同一数值,得到第二关系数据,将第一关系数据中每个时间点对应的流量减去同一数值,得到第三关系数据;或者,将第一关系数据中每个时间点对应的流量乘以一个大于1的数值,得到第二关系数据,将第一关系数据中每个时间点对应的流量乘以一个小于1的数值,得到第三关系数据;或者,还可以采用其他方式对第一关系数据中每个时间点对应的流量进行调整。
104、计算机设备在目标流量不属于流量范围的情况下,对目标流量进行状态检测,得到目标流量的检测状态。
本申请实施例中,目标流量不属于流量范围表示目标流量有较大的可能处于异常状态,计算机设备对目标流量进行较为精确的状态检测,以确定目标流量的检测状态是否为异常状态。
本申请实施例提供的方法,获取多个历史时间点的历史流量和位于多个历史时间点之后的目标时间点的目标流量,根据多个历史时间点的历史流量和目标时间点的目标流量进行拟合处理,获取第一关系数据,根据第一关系数据,确定目标时间点对应的流量范围,在目标流量不属于流量范围的情况下,对目标流量进行状态检测,得到目标流量的检测状态。本申请实施例提供的流量检测方式,不是依赖于预测流量,而是根据多个历史时间点和目标时间点的流量确定流量范围,提高了流量范围的准确率,通过确定目标流量是否属于流量范围,实现了对目标流量的初步检测,提高了检测的准确率。且后续仅对不属于流量范围的目标流量进行状态检测,进一步提高了检测的准确率和检测效率。
图4是本申请实施例提供的一种流量检测方法的示意图。本申请实施例的执行主体为计算机设备,参见图4,该方法包括:
401、计算机设备获取多个历史时间点的历史流量和位于多个历史时间点之后的目标时间点的目标流量。
步骤401的实施方式与上述步骤101的实施方式类似,不同的是,步骤401还对目标流量和历史流量的获取方式进行了说明。
在一种可能实现方式中,计算机设备对目标时间点的目标流量进行状态检测时,获取该目标时间点之前的多个历史时间段内的多个历史时间点的流量作为历史流量。其中,历史时间段可以是目标时间点之前的任一时间段,也可以为与目标时间点间隔预设周期的时间段,预设周期可以为1小时、一天、一周或其他时长。
可选地,计算机设备获取目标时间点及目标时间点之前的、与目标时间点相邻的预设数量个时间点的流量;获取与目标时间点间隔一个预设周期的第一历史时间点及第一历史时间点之前的、与第一历史时间点相邻的预设数量个时间点的流量,以及第一历史时间点之后的、与第一历史时间点相邻的预设数量个时间点的流量;获取与目标时间点间隔多个预设周期的第二历史时间点及第二历史时间点之前的、与第二历史时间点相邻的预设数量个时间点的流量,以及第二历史时间点之后的、与第二历史时间点相邻的预设数量个时间点的流量。
例如,参见图5,预设数量为180,每个时间点之间的间隔为1分钟,第一历史时间点是与目标时间点间隔1天的时间点,第二历史时间点是与目标时间点间隔7天的时间点。
在一种可能实现方式中,计算机设备对多个历史时间点的历史流量和目标时间点的目标流量进行归一化处理,以避免在后续的检测过程中,某一时间段的流量过高,而另一时间段的流量过小导致的检测不准确的问题。
可选地,计算机设备获取第一时间段内的目标时间点及多个历史时间点的流量的平均值,第二时间段内的多个历史时间点的流量的平均值,以及第三时间段内多个历史时间点的流量的平均值,分别获取每个时间段内的多个时间点的流量与平均值之间的比值,将获取的比值作为归一化处理后的该时间点的流量。
例如,基于上述图5的举例,采用dataA表示第一时间段内的181个时间点的流量,dataB表示第二时间段内的361个时间点的流量,dataC表示第三时间段内的361个时间点的流量,meanA表示dataA对应的181个时间点的平均值,meanB表示dataB对应的361个时间点的平均值,meanC表示dataC对应的361个时间点的平均值,归一化处理之后每个时间段的流量采用下述方式表示:
dataA_normalized=dataA/meanA;
dataB_normalized=dataB/meanB;
dataC_normalized=dataC/meanC;
其中,dataA_normalized为归一化处理后第一时间段内的181个时间点的流量;dataB_normalized为归一化处理后第二时间段内的361个时间点的流量;dataC_normalized为归一化处理后第三时间段内的361个时间点的流量。
本申请实施例仅是以采用上述方式对目标流量和历史流量进行归一化处理为例进行说明,在另一实施例中,计算机设备还可以采用其他方式对目标流量和历史流量进行归一化处理。
402、计算机设备根据多个历史时间点的历史流量和目标时间点的目标流量进行拟合处理,获取第一关系数据。
403、计算机设备根据第一关系数据,确定目标时间点对应的流量范围。
步骤402-步骤403的实施方式与上述步骤102-步骤103的实施方式类似,不同的是,步骤402结合步骤401中获取的多个历史时间点的历史流量,对获取第一关系数据进行说明。
在一种可能实现方式中,计算机设备采用下述多项式根据多个历史时间点的历史流量和目标时间点的目标流量进行拟合处理:
P(x)=anxn+an-1xn-1+…+a1x+a0
其中,a表示待确定的多项式的系数,n表示n次多项式,x表示时间点,P(x)表示流量。
例如,基于上述图5的举例,第一时间段为包括当天的某一时间点对应的时间段,第二时间段为前一天的同一时间点对应的时间段,第三时间段为一周前的同一时间点对应的时间段,三个时间段分别为不同日期的同一时间点对应的时间段,参见图6,图6中所示的两个曲线示意图中,横坐标表示时间点,纵坐标表示流量,曲线1为第一时间段内的多个时间点的流量对应的曲线,曲线2为第二时间段对应的曲线,曲线3为第三时间段对应的曲线,其中曲线示意图601中的曲线1至3为拟合处理之前的三个时间段对应的曲线,曲线示意图602中的曲线1至3为拟合处理之前的三个时间段对应的曲线,曲线4为对目标流量和历史流量进行拟合处理,得到的拟合曲线。
需要说明的一点是,本申请实施例仅是以上述公式为例进行说明,在另一实施例中,计算机设备是可以采用其他公式对多个历史时间点的历史流量和目标时间点的目标流量进行拟合处理,得到第一关系数据,本申请实施例对此不做限制。
需要说明的另一点是,本申请实施例中仅是以获取第一关系数据,根据第一关系数据,获取目标时间点对应的流量范围为例进行说明,在另一实施例中,计算机还可以采用其他方式获取目标时间点对应的流量范围。
在一种可能实现方式中,计算机设备获取多个历史时间点的历史流量和目标时间点的目标流量的平均值及标准差,将获取的平均值作为参考流量,将在平均值的基础上增加预设倍数的标准差得到的数值,作为流量范围的最大值,将在平均值的基础上减去预设倍数的标准差得到的数值,作为流量范围的最小值,从而得到流量范围。
可选地,采用下述公式,获取多个历史时间点的历史流量和目标时间点的目标流量的平均值及标准差:
其中,n表示时间点的数量,x表示流量,μ表示平均值,σ2表示方差,σ表示标准差。
则可以确定中间线(Center Line)即参考流量为μ,上界(Up Center Line,UCL)即最大值为μ+L*σ,下界(Low Center Line,LCL)即最小值为μ-L*σ。其中,L为正整数。当L为3时,上述获取流量范围的算法为3σ算法。
在另一种可能实现方式中,计算机设备还可以采用控制图算法中的移动平均算法、指数移动平均算法等算法,还可以采用孤立森林(Isolation Forest)或者One ClassSVM(One Class Support Vector Machine,一类支持向量机)等算法,获取目标时间点对应的流量范围。
另外,如果采用多种算法,分别得到目标时间点对应的多个流量范围,则对目标流量进行初步检测的时候,如果目标流量不属于任一流量范围,则认为该目标流量的检测状态可能为异常状态,后续再次对目标流量进行状态检测;或者,如果目标流量不属于预设数量个流量范围,才认为目标流量的检测状态可能为异常状态,后续再次对目标流量进行状态检测。
本申请实施例中,上述获取流量范围的方式均属于无监督学习算法,无监督学习算法可以快速对目标流量及历史流量进行处理,得到流量范围,提高了流量范围的获取效率。并且,对于任一算法,无法保证该算法同时具有很高的召回率和准确率,上述步骤402-步骤403,获取流量范围,根据流量范围对目标流量进行初步的状态检测,可以检测出可能为异常状态的目标流量,即检测的准确率较低,但是提高了召回率。
404、计算机设备在目标流量不属于流量范围的情况下,调用流量检测模型,对目标流量进行状态检测,得到目标流量的检测状态。
其中,流量检测模型可以对任一设备的目标流量进行检测。
在一种可能实现方式中,计算机设备获取目标流量及历史流量的特征数据,调用流量检测模型,对特征数据进行检测处理,得到目标流量的检测状态。其中,特征数据包括统计特征数据、时间特征数据及其他特征数据,统计特征数据包括最大流量、最小流量、波动率、均值、方差、标准差、差分、积分、同比或环比中的至少一项,时间特征数据包括任两个连续的时间点之间的时间间隔。
其中,最大流量是指目标流量和历史流量中的最大流量,最小流量是指目标流量和历史流量中的最小流量,波动率是指目标流量和历史流量的数值波动情况,可以由方差或标准差表示,均值是指目标流量和历史流量的平均值,差分和积分可以表示目标流量和历史流量的变化趋势,同比是指当前周期的目标流量与上一个周期的历史流量的比值,环比是指当前周期的目标流量与间隔多个周期的历史流量的比值。
计算机设备调用流量检测模型之前,需要获取已经训练完成的流量检测模型,该流量检测模型可以是计算机设备训练的,也可以是由其他设备训练完成发送给计算机设备的。
流量检测模型可以采用下述方式训练:获取多个第一样本时间点的样本流量和第二样本时间点的样本流量;获取第二样本时间点的样本流量的样本检测状态;根据多个第一样本时间点的样本流量、第二样本时间点的样本流量及样本检测状态,训练流量检测模型。其中,第二样本时间点位于多个第一样本时间点之后。
在一种可能实现方式中,计算机设备获取多个第一样本时间点的样本流量和第二样本时间点的样本流量;对多个第一样本时间点的样本流量和第二样本时间点的样本流量进行处理,得到对应的样本特征数据;获取第二样本时间点的样本流量的样本检测状态;根据样本特征数据及样本检测状态,训练流量检测模型。
例如,计算机设备将获取的多个第一样本时间点的样本流量和第二样本时间点的样本流量输入至流量检测模型,通过流量检测模型,得到第二样本时间点的样本流量的预测检测状态,比较预测检测状态和样本检测状态,得到预测检测状态与样本检测状态之间的差异,根据预测检测状态与样本检测状态之间的差异调整流量检测模型的参数,以减小预测检测状态与样本检测状态之间的差异,使流量检测模型学习到根据多个历史时间点的历史流量和目标时间点的目标流量得到目标流量的检测状态的能力。
另外,计算机设备得到目标流量的检测状态之后,将目标流量作为样本目标流量,训练流量检测模型。即获取多个样本历史时间点的样本历史流量和样本目标时间点的样本目标流量;获取样本目标时间点的样本目标流量的样本检测状态;根据多个样本历史时间点的样本历史流量、样本目标时间点的样本目标流量及样本检测状态,继续训练流量检测模型。
在一种可能实现方式中,检测状态可以采用概率表示,概率用于表示目标流量为异常状态的概率,概率越大表示目标流量为异常状态的可能性越大。其中,概率的取值范围为0到1。
可选地,设置预设概率,当目标流量的概率大于预设概率时,表示目标流量为异常状态,当目标流量的概率不大于预设概率时,表示目标流量为正常状态。如果需要检测结果的准确率很高,则可以设置较大的预设概率,如果不需要检测结果的准确率很高,则可以设置较小的预设概率,更加灵活。
在另一种可能实现方式中,检测状态可以采用第一数值或第二数值表示,当检测状态为第一数值时,表示目标流量为异常状态,当检测状态为第二数值时,表示目标流量为正常状态。
另外,本申请实施例中的流量检测模型可以为二分类模型,例如XGBoost,随机森林(Random Forest)、逻辑回归、决策树、LightGBM(基于决策树的梯度提升框架)、CatBoost(categorical boosting),一种梯度提升算法)或者其他的二分类模型;或者可以为卷积神经网络或其他神经网络。
另外,由于步骤404中的目标流量的检测状态有很大可能为异常状态,采用流量检测模型,即有监督学习算法,可以进一步对目标流量进行状态检测,可以提高检测结果的准确率。结合上述步骤403中的实施方式,采用流量范围进行初步检测提高了整个流量检测的召回率,而采用流量检测模型提高了整个流量检测的准确率,因此,本申请实施例的流量检测方式即提高了召回率,又提高了准确率。
405、计算机设备在目标流量的检测状态为异常状态的情况下,确定检测状态为低流量状态还是高流量状态。
本申请实施例中,异常状态包括低流量状态和高流量状态两种类型,计算机设备在确定目标流量为异常状态的情况下,进一步检测目标流量的单调性,确定目标流量为低流量状态还是高流量状态。其中,低流量状态是指目标流量与之前的其他流量相比较突然减小的状态,高流量状态是指目标流量与之前的其他流量相比较突然增大的状态。
例如,参见图7,曲线701和曲线702在时间点300处对应的流量都较小,但是曲线701是从一个较大的流量逐渐减小至较小的流量,流量降低过程较为缓慢,则曲线701对应的流量的检测状态为正常状态,而曲线702则是从一个较大的流量突然减小至较小的流量,流量降低过程很快,则曲线702对应的流量的检测状态为异常状态。
在一种可能实现方式中,计算机设备根据目标时间点对应的流量范围,确定目标流量的检测状态为高流量状态还是低流量状态,在目标流量小于流量范围的最小值,且检测状态为异常状态的情况下,确定检测状态为低流量状态;或者,在目标流量大于流量范围的最大值,且检测状态为异常状态的情况下,确定检测状态为高流量状态。其中,流量范围可以为上述步骤403中采用任一算法得到的流量范围。
在另一种可能实现方式中,计算机设备在检测状态为异常状态的情况下,从多个历史时间点和目标时间点中选取第一数量的时间点,对第一数量的时间点的流量进行平滑处理,根据第一数量的时间点平滑处理后的流量,获取第四关系数据。其中,第四关系数据用于指示任一时间点与任一时间点对应的流量之间的关系,该第四关系数据用于表示多个历史时间点的历史流量和目标时间点的目标流量的变化趋势。
计算机设备根据第四关系数据,获取第二数量的时间点,对第二数量的时间点的流量进行平滑处理,根据第二数量的时间点平滑处理后的流量,获取第五关系数据。其中,第二数量的时间点是从第四关系数据中选取的时间点,第二数量的时间点的流量为第四关系数据中相应时间点对应的流量,且第一数量大于第二数量,第五关系数据用于指示任一时间点与任一时间点对应的流量之间的关系,该第五关系数据用于表示多个历史时间点的历史流量和目标时间点的目标流量的参考变化趋势。
计算机设备根据第四关系数据查询目标时间点对应的第五流量,根据第五关系数据查询目标时间点对应的第六流量;在第五流量与第六流量之间的差值小于第一预设数值的情况下,确定目标流量处于低流量状态;或者,在第五流量与第六流量之间的差值大于第二预设数值的情况下,确定目标流量处于高流量状态。
可选地,可以采用指数移动加权平均(Exponentially Weighted MovingAverage,EWMA)算法,对第一数量的时间点的流量进行平滑处理,根据第一数量的时间点平滑处理后的流量,获取第四关系数据,以及对第二数量的时间点进行处理,根据第二数量的时间点平滑处理后的流量,获取第五关系数据。
可选地,计算机设备采用MACD(Moving Average Convergence/Divergence,异同移动平均线)柱状图确定目标流量的检测状态为高流量状态还是低流量状态。计算机设备还可以从多个历史时间点和目标时间点中选取第三数量的时间点,对第三数量的时间点的流量进行平滑处理,根据第三数量的时间点平滑处理后的流量,获取第六关系数据,第六关系数据用于指示任一时间点与任一时间点对应的流量之间的关系。
计算机设备分别获取第四关系数据中任一时间点对应的流量与第六关系数据中相同时间点对应的流量之间的差值,得到每个时间点的流量对应的差离值(Differentialvalue,DIF),根据多个历史时间点和目标时间点对应的差离值,确定第七关系数据。其中,第三数量与第一数量不同,且第一数量与第三数量之间的差值较大。计算机设备根据第七关系数据进行后续处理。
例如,第一数量为12个,第三数量为26个,对于多个历史时间点和目标时间点来说,从多个历史时间点和目标时间点中选取12个时间点,求取这12个时间点的流量的指数移动加权平均值,根据这12个时间点的流量的指数移动加权平均值,得到第四关系数据,即EWMA(x,12);再从多个历史时间点和目标时间点中选取26个时间点,取值这26个时间点的流量的指数移动加权平均值,根据这26个时间点的流量的指数移动加权平均值,得到第六关系数据,即EWMA(x,26),其中,x表示多个历史时间点和目标时间点。那么,第七关系数据即为DIF=EWMA(x,12)-EWMA(x,26)。
计算机设备从获取第七关系数据中选取9个时间点,采用求取这9个时间点的流量的指数移动加权平均值,根据这9个时间点的流量的指数移动加权平均值,得到第五关系数据,即EWMA(DIF,9),该第五关系数据中的每个时间点对应的流量即为参考值(DigitalElevation Model,DEM),每个时间点对应的差离值与参考值之间的差值为MACD=DIF-DEM。
当该差值小于0时,在如图8所示的坐标系中负半轴区域绘制对应面积的柱状图,当该差值大于0时,在正半轴区域绘制对应面积的柱状图,如果负半轴的柱状图的面积迅速增加,确定目标流量处于低流量状态;如果正半轴的柱状图的面积迅速增加,确定目标流量处于高流量状态。
例如,如图8所示,示意图801为多个历史时间点的历史流量和目标时间点的目标流量的曲线示意图,示意图802为对每个时间点的流量进行平滑处理之后的多个历史时间点的历史流量和目标时间点的目标流量的曲线示意图,其中,实线表示参考值,虚线表示差离值,从示意图802可以看出,在时间点5柱状图在负半轴的面积增加,即可确定时间点5对应的目标流量的检测状态为低流量状态。
本申请实施例仅是以上述确定检测状态为高流量状态还是低流量状态的方式为例进行说明,在另一实施例中,计算机设备还可以采用其他方式检测目标流量的单调性。例如,可以采用多项式拟合方式、线性拟合方式等。
406、计算机设备显示告警信息。
本申请实施例中,计算机设备确定目标流量的检测状态之后,如果目标流量的检测状态为异常状态,计算机设备会显示告警信息。
在一种可能实现方式中,计算机设备在目标流量的检测状态为低流量状态的情况下显示告警信息。也就是说,如果目标流量的检测状态为高流量状态,虽然目标流量发生了异常,但是高流量状态对目标设备的正常使用没有影响,可以不显示告警信息,而如果目标流量的检测状态为低流量状态,会导致目标设备无法正常使用,需要显示告警信息。
在一种可能实现方式中,计算机设备在目标流量的检测状态为异常状态,且在目标时间点之前的连续多个历史时间点的历史流量的检测状态为异常状态的情况下,显示告警信息。也就是说,如果在一段时间内目标设备的流量的检测状态为异常状态,才发送告警信息。计算机设备如果在连续预设数量的时间点的流量的检测状态为异常状态的情况下,才显示告警信息,可以减少不必要的告警,提高告警的质量,避免过多的告警骚扰。
在一种可能实现方式中,告警信息包括目标时间点的目标流量、多个历史时间点的历史流量,显示目标流量及历史流量,通过对比目标流量与历史流量,更加直观地反映目标流量的检测状态为异常状态。
在一种可能实现方式中,计算机设备响应于接收到的告警查询指令,显示告警信息。其中,告警查询指令至少携带设备标识。如果需要查询某一时间段内的告警信息,则告警查询指令还携带时间信息;如果需要查询目标设备的某一个接口的告警信息,则告警查询指令还携带接口标识。
在一种可能实现方式中,计算机设备为终端,该终端安装有流量检测应用程序,通过该流量检测应用程序显示告警信息,该告警信息包括目标时间点的目标流量、多个历史时间点的历史流量,响应于接收到对告警信息的样本设置指令,将显示的告警信息中包括的流量设置为样本流量,该样本设置指令包括正样本设置指令及负样本设置指令。终端响应于接收到正样本设置指令,将显示的流量设置为正样本流量,响应于接收到负样本设置指令,将显示的告警信息中包括的流量设置为负样本流量。其中,正样本流量是指目标流量的检测状态实际为异常状态,且检测状态也为异常状态的流量,负样本数据是指目标流量的检测状态实际为正常状态,且检测状态为异常状态的流量。
例如,参见图9,显示界面显示的流量均为异常状态,每个流量的下方设置有正样本设置按钮和负样本设置按钮,可以通过对曲线901下方的负样本设置按钮进行触发操作,将曲线901对应的流量设置为负样本,对曲线902下方的正样本设置按钮进行触发操作,将曲线902对应的流量设置为正样本。另外,该显示界面中还包括设备选项、接口选项、时间选项以及搜索按钮,设置好设备选型、接口选项和时间选项之后,对搜索按钮进行触发操作,可以查询设置好的设备选型、接口选项和时间选项对应的告警信息。
可选地,对目标流量进行状态检测与显示告警信息及对告警信息进行标注,可以是由同一应用程序执行的,也可以是由不同的应用程序执行的。
在一种可能实现方式中,计算机设备除显示告警信息之外,还可以将告警信息发送给其他设备,由其他设备显示告警信息。其中,可以采用邮件、短信等方式进行发送。
可选地,在故障检测场景下,计算机设备存储有与目标设备关联的其他设备,计算机设备将告警信息发送给其他设备,技术人员可以通过其他设备查看计算机设备发送的告警信息,及时对目标设备进行检查维护,排除目标设备的故障。
例如,参见图10所示的告警信息的显示界面示意图1001,计算机设备采用邮件方式向其他设备发送告警信息,告警信息中包括目标设备标识、接口标识、流量类型、时间点以及目标流量和历史流量的示意图。
本申请实施例提供的方法,获取多个历史时间点的历史流量和位于多个历史时间点之后的目标时间点的目标流量,根据多个历史时间点的历史流量和目标时间点的目标流量进行拟合处理,获取第一关系数据,根据第一关系数据,确定目标时间点对应的流量范围,在目标流量不属于流量范围的情况下,对目标流量进行状态检测,得到目标流量的检测状态。本申请实施例提供的流量检测方式,不是依赖于预测流量,而是根据多个历史时间点和目标时间点的流量确定流量范围,提高了流量范围的准确率,通过确定目标流量是否属于流量范围,实现了对目标流量的初步检测,提高了检测的准确率。且后续仅对不属于流量范围的目标流量进行状态检测,进一步提高了检测的准确率和检测效率。
并且,在故障检测场景下,在得到检测结果之后,显示告警信息,以及时提醒技术人员对目标设备进行维护。
并且,由于仅使用无监督学习算法时,检测准确率较低,仅使用有监督学习算法时,需要对每个目标流量进行检测,检测效率低。而本申请将无监督学习算法和有监督学习算法结合在一起,避免仅使用其中一种算法进行流量检测,可以先采用无监督学习算法过滤部分目标流量,减少有监督学习算法需要检测的目标流量,既提高了检测的准确率,又提高检测效率。
图11是本申请实施例提供的一种流量检测方法的流程图。参见图11,本申请实施例的执行主体为计算机设备,该方法包括:
1101、计算机设备获取多个历史时间点的历史流量和位于多个历史时间点之后的目标时间点的目标流量。
1102、计算机设备根据多个历史时间点的历史流量和目标时间点的目标流量进行拟合处理,获取第一关系数据。
1103、计算机设备根据第一关系数据,确定目标时间点对应的流量范围。
1104、计算机设备在目标流量不属于流量范围的情况下,对目标流量进行状态检测,得到目标流量的检测状态。
1105、计算机设备在目标流量的检测状态为异常状态的情况下,确定检测状态为低流量状态还是高流量状态。
1106、计算机设备显示告警信息。
1107、计算机设备响应于接收到的对告警信息的样本设置指令,将显示的告警信息中包括的目标流量设置为样本目标流量、历史流量设置为样本历史流量及将目标流量的检测状态设置为样本检测状态。
1108、计算机设备根据样本目标流量、样本历史流量和样本检测结果,训练流量检测模型。计算机设备对流量检测模型训练之后,可以采用训练得到的流量检测模型,对目标流量进行检测处理。
图11所示的实施例的实施方式与上述图1或图4所示的实施例的实施方式类似,在此不再赘述。
图12是本申请实施例提供的一种流量检测装置的结构示意图。参见图12,该装置包括:
流量获取模块1201,用于获取多个历史时间点的历史流量和位于多个历史时间点之后的目标时间点的目标流量;
第一关系获取模块1202,用于根据多个历史时间点的历史流量和目标时间点的目标流量进行拟合处理,获取第一关系数据,第一关系数据用于指示任一时间点与任一时间点的流量之间的关系;
流量范围确定模块1203,用于根据第一关系数据,确定目标时间点对应的流量范围;
流量检测模块1204,用于在目标流量不属于流量范围的情况下,对目标流量进行状态检测,得到目标流量的检测状态。
本申请实施例提供的装置,获取多个历史时间点的历史流量和位于多个历史时间点之后的目标时间点的目标流量,根据多个历史时间点的历史流量和目标时间点的目标流量进行拟合处理,获取第一关系数据,根据第一关系数据,确定目标时间点对应的流量范围,在目标流量不属于流量范围的情况下,对目标流量进行状态检测,得到目标流量的检测状态。该装置不是依赖于预测流量,而是根据多个历史时间点和目标时间点的流量确定流量范围,提高了流量范围的准确率,通过确定目标流量是否属于流量范围,实现了对目标流量的初步检测,提高了检测的准确率。且后续仅对不属于流量范围的目标流量进行状态检测,进一步提高了检测的准确率和检测效率。
在一种可能实现方式中,参见图13,流量范围确定模块1203,包括:
参考流量获取单元12031,用于根据第一关系数据,查询目标时间点对应的流量,作为参考流量;
参考流量调整单元12032,用于对参考流量进行调整,得到大于参考流量的第一流量及小于参考的第二流量;
第一范围确定单元12033,用于将第一流量作为流量范围的最大值,将第二流量作为流量范围的最小值,得到流量范围。
在另一种可能实现方式中,参见图13,流量范围确定模块1203,还包括:
第二关系获取单元12034,用于根据第一关系数据获取第二关系数据,第二关系数据中任一时间点对应的流量大于第一关系数据中相同时间点对应流量;
第三关系获取单元12035,用于根据第一关系数据获取第三关系数据,第三关系数据中任一时间点对应的流量小于第一关系数据中相同时间点对应流量;
流量查询单元12036,用于根据第二关系数据查询目标时间点对应的第三流量,根据第三关系数据查询目标时间点对应的第四流量;
第二范围确定单元12037,用于将第三流量作为流量范围的最大值,将第四流量作为流量范围的最小值,得到流量范围。
在另一种可能实现方式中,流量检测模块1204,还用于:
在目标流量不属于流量范围的情况下,调用流量检测模型,对目标流量进行状态检测,得到目标流量的检测状态。
在另一种可能实现方式中,参见图13,该装置还包括:
样本流量获取模块1205,用于获取多个第一样本时间点的样本流量和第二样本时间点的样本流量,第二样本时间点位于多个第一样本时间点之后;
样本状态获取模块1206,用于获取第二样本时间点的样本流量的样本检测状态;
模型训练模块1207,用于根据多个第一样本时间点的样本流量、第二样本时间点的样本流量及样本检测状态,训练流量检测模型。
在另一种可能实现方式中,参见图13,该装置还包括:
样本流量获取模块1205,还用于获取多个样本历史时间点的样本历史流量和样本目标时间点的样本目标流量,样本目标时间点位于多个样本历史时间点之后;
样本状态获取模块1206,还用于获取样本目标时间点的样本目标流量的样本检测状态;
模型训练模块1207,还用于根据多个样本历史时间点的样本历史流量、样本目标时间点的样本目标流量及样本检测状态,继续训练流量检测模型。
在另一种可能实现方式中,参见图13,该装置还包括:
正常状态确定模块1208,用于在目标流量属于流量范围的情况下,确定目标流量的检测状态为正常状态。
在另一种可能实现方式中,参见图13,该装置还包括:
第一状态确定模块1209,用于在目标流量小于流量范围的最小值,且检测状态为异常状态的情况下,确定检测状态为低流量状态;或者,
第二状态确定模块1210,用于在目标流量大于流量范围的最大值,且检测状态为异常状态的情况下,确定检测状态为高流量状态。
在另一种可能实现方式中,参见图13,该装置还包括:
第四关系获取模块1211,用于在检测状态为异常状态的情况下,从多个历史时间点和目标时间点中选取第一数量的时间点,对第一数量的时间点的流量进行平滑处理,根据第一数量的时间点平滑处理后的流量,获取第四关系数据,第四关系数据用于指示任一时间点与任一时间点对应的流量之间的关系;
第五关系获取模块1212,用于根据第四关系数据,获取第二数量的时间点,对第二数量的时间点的流量进行平滑处理,根据第二数量的时间点平滑处理后的流量,获取第五关系数据,第五关系数据用于指示任一时间点与任一时间点对应的流量之间的关系;
流量查询模块1213,用于根据第四关系数据查询目标时间点对应的第五流量,根据第五关系数据查询目标时间点对应的第六流量;
第一状态确定模块1209,还用于在第五流量与第六流量之间的差值小于第一预设数值的情况下,确定目标流量处于低流量状态;或者,
第二状态确定模块1210,还用于在第五流量与第六流量之间的差值大于第二预设数值的情况下,确定目标流量处于高流量状态。
在另一种可能实现方式中,参见图13,该装置还包括:
告警显示模块1214,用于在目标流量的检测状态为异常状态,且在目标时间点之前的连续多个历史时间点的历史流量的检测状态为异常状态的情况下,显示告警信息。
图14示出了本申请一个示例性实施例提供的终端1400的结构示意图。本申请实施例的终端1400用于执行上述图像检测方法中终端所执行的操作。
通常,终端1400包括有:处理器1401和存储器1402。
处理器1401可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1401可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1401也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1401可以在集成有GPU(Graphics Processing Unit,图像处理的交互器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1401还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1402可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1402还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1402中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1401所具有以实现本申请中方法实施例提供的流量检测方法。
在一些实施例中,终端1400还可选包括有:***设备接口1403和至少一个***设备。处理器1401、存储器1402和***设备接口1403之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1403相连。具体地,***设备包括:射频电路1404、触摸显示屏1405、摄像头1406、音频电路1407和电源1409中的至少一种。
***设备接口1403可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器1401和存储器1402。在一些实施例中,处理器1401、存储器1402和***设备接口1403被集成在同一芯片或电路板上;在一些其他实施例中,处理器1401、存储器1402和***设备接口1403中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1404用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1404将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1404包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1404还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1405用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1405是触摸显示屏时,显示屏1405还具有采集在显示屏1405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1401进行处理。此时,显示屏1405还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1405可以为一个,设置终端1400的前面板;在另一些实施例中,显示屏1405可以为至少两个,分别设置在终端1400的不同表面或呈折叠设计;在再一些实施例中,显示屏1405可以是柔性显示屏,设置在终端1400的弯曲表面上或折叠面上。甚至,显示屏1405还可以设置成非矩形的不规则图形,也即异形屏。显示屏1405可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1406用于采集图像或视频。可选地,摄像头组件1406包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端1400的前面板,后置摄像头设置在终端1400的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1406还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1401进行处理,或者输入至射频电路1404以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1401或射频电路1404的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1407还可以包括耳机插孔。
电源1409用于为终端1400中的各个组件进行供电。电源1409可以是交流电、直流电、一次性电池或可充电电池。当电源1409包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1400还包括有一个或多个传感器1410。该一个或多个传感器1410包括但不限于:加速度传感器1411、陀螺仪传感器1412、压力传感器1413、光学传感器1415以及接近传感器1416。
加速度传感器1411可以检测以终端1400建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1411可以用于检测重力加速度在三个坐标轴上的分量。处理器1401可以根据加速度传感器1411采集的重力加速度信号,控制触摸显示屏1405以横向视图或纵向视图进行用户界面的显示。加速度传感器1411还可以用于应用或者用户的运动数据的采集。
陀螺仪传感器1412可以检测终端1400的机体方向及转动角度,陀螺仪传感器1412可以与加速度传感器1411协同采集用户对终端1400的3D动作。处理器1401根据陀螺仪传感器1412采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、应用控制以及惯性导航。
压力传感器1413可以设置在终端1400的侧边框和/或触摸显示屏1405的下层。当压力传感器1413设置在终端1400的侧边框时,可以检测用户对终端1400的握持信号,由处理器1401根据压力传感器1413采集的握持信号进行左右手识别或快捷操作。当压力传感器1413设置在触摸显示屏1405的下层时,由处理器1401根据用户对触摸显示屏1405的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器1415用于采集环境光强度。在一个实施例中,处理器1401可以根据光学传感器1415采集的环境光强度,控制触摸显示屏1405的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏1405的显示亮度;当环境光强度较低时,调低触摸显示屏1405的显示亮度。在另一个实施例中,处理器1401还可以根据光学传感器1415采集的环境光强度,动态调整摄像头组件1406的拍摄参数。
接近传感器1416,也称距离传感器,通常设置在终端1400的前面板。接近传感器1416用于采集用户与终端1400的正面之间的距离。在一个实施例中,当接近传感器1416检测到用户与终端1400的正面之间的距离逐渐变小时,由处理器1401控制触摸显示屏1405从亮屏状态切换为息屏状态;当接近传感器1416检测到用户与终端1400的正面之间的距离逐渐变大时,由处理器1401控制触摸显示屏1405从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图14中示出的结构并不构成对终端1400的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图15是本申请实施例提供的一种服务器的结构示意图,该服务器1500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central ProcessingUnits,CPU)1501和一个或一个以上的存储器1502,其中,存储器1502中存储有至少一条指令,该至少一条指令由处理器1501加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
服务器1500可以用于执行上述流量检测方法中服务器所执行的步骤。
本申请实施例还提供了一种计算机设备,该计算机设备包括处理器和存储器,存储器中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的流量检测方法中所执行的操作。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的流量检测方法中所执行的操作。
本申请实施例还提供了一种计算机程序,该计算机程序中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的流量检测方法中所执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上仅为本申请实施例的可选实施例,并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (18)
1.一种流量检测方法,其特征在于,所述方法包括:
获取多个历史时间点的历史流量和位于所述多个历史时间点之后的目标时间点的目标流量;
根据所述多个历史时间点的历史流量和所述目标时间点的目标流量进行拟合处理,获取第一关系数据,所述第一关系数据用于指示任一时间点与所述任一时间点的流量之间的关系;
利用无监督学习算法,根据所述第一关系数据,查询所述目标时间点对应的流量,作为参考流量,所述参考流量是指正常状态下所述目标时间点的流量;对所述参考流量进行调整,得到大于所述参考流量的第一流量及小于所述参考流量的第二流量;将所述第一流量作为所述目标时间点对应的流量范围的最大值,将所述第二流量作为所述流量范围的最小值,得到所述流量范围;或者,
利用无监督学习算法,根据所述第一关系数据获取第二关系数据,所述第二关系数据中任一时间点对应的流量大于所述第一关系数据中相同时间点对应流量;根据所述第一关系数据获取第三关系数据,所述第三关系数据中任一时间点对应的流量小于所述第一关系数据中相同时间点对应流量;根据所述第二关系数据查询所述目标时间点对应的第三流量,根据所述第三关系数据查询所述目标时间点对应的第四流量;将所述第三流量作为所述目标时间点对应的流量范围的最大值,将所述第四流量作为所述流量范围的最小值,得到所述流量范围;
在所述目标流量不属于所述流量范围的情况下,对所述目标流量进行状态检测,得到所述目标流量的检测状态。
2.根据权利要求1所述的方法,其特征在于,所述在所述目标流量不属于所述流量范围的情况下,对所述目标流量进行状态检测,得到所述目标流量的检测状态,包括:
在所述目标流量不属于所述流量范围的情况下,调用流量检测模型,对所述目标流量进行状态检测,得到所述目标流量的检测状态。
3.根据权利要求2所述的方法,其特征在于,所述在所述目标流量不属于所述流量范围的情况下,调用流量检测模型,对所述目标流量进行状态检测,得到所述目标流量的检测状态之后,所述方法还包括:
获取多个样本历史时间点的样本历史流量和样本目标时间点的样本目标流量,所述样本目标时间点位于所述多个样本历史时间点之后;
获取所述样本目标时间点的样本目标流量的样本检测状态;
根据所述多个样本历史时间点的样本历史流量、所述样本目标时间点的样本目标流量及所述样本检测状态,继续训练所述流量检测模型。
4.根据权利要求1所述的方法,其特征在于,所述在所述目标流量不属于所述流量范围的情况下,对所述目标流量进行状态检测,得到所述目标流量的检测状态之后,所述方法还包括:
在所述检测状态为异常状态的情况下,从所述多个历史时间点和所述目标时间点中选取第一数量的时间点,对所述第一数量的时间点的流量进行平滑处理,根据所述第一数量的时间点平滑处理后的流量,获取第四关系数据,所述第四关系数据用于指示任一时间点与所述任一时间点对应的流量之间的关系;
根据所述第四关系数据,获取第二数量的时间点,对所述第二数量的时间点的流量进行平滑处理,根据所述第二数量的时间点平滑处理后的流量,获取第五关系数据,所述第五关系数据用于指示任一时间点与所述任一时间点对应的流量之间的关系;
根据所述第四关系数据查询所述目标时间点对应的第五流量,根据所述第五关系数据查询所述目标时间点对应的第六流量;
在所述第五流量与所述第六流量之间的差值小于第一预设数值的情况下,确定所述目标流量处于低流量状态;或者,
在所述第五流量与所述第六流量之间的差值大于第二预设数值的情况下,确定所述目标流量处于高流量状态。
5.根据权利要求1所述的方法,其特征在于,所述在所述目标流量不属于所述流量范围的情况下,对所述目标流量进行状态检测,得到所述目标流量的检测状态之后,所述方法还包括:
在所述目标流量的检测状态为异常状态,且在所述目标时间点之前的连续多个历史时间点的历史流量的检测状态为异常状态的情况下,显示告警信息。
6.根据权利要求2所述的方法,其特征在于,所述在所述目标流量不属于所述流量范围的情况下,调用流量检测模型,对所述目标流量进行状态检测,得到所述目标流量的检测状态之前,所述方法还包括:
获取多个第一样本时间点的样本流量和第二样本时间点的样本流量,所述第二样本时间点位于所述多个第一样本时间点之后;
获取所述第二样本时间点的样本流量的样本检测状态;
根据所述多个第一样本时间点的样本流量、所述第二样本时间点的样本流量及所述样本检测状态,训练所述流量检测模型。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述目标流量属于所述流量范围的情况下,确定所述目标流量的检测状态为正常状态。
8.根据权利要求1所述的方法,其特征在于,所述在所述目标流量不属于所述流量范围的情况下,对所述目标流量进行状态检测,得到所述目标流量的检测状态之后,所述方法还包括:
在所述目标流量小于所述流量范围的最小值,且所述检测状态为异常状态的情况下,确定所述检测状态为低流量状态;或者,
在所述目标流量大于所述流量范围的最大值,且所述检测状态为所述异常状态的情况下,确定所述检测状态为高流量状态。
9.一种流量检测装置,其特征在于,所述装置包括:
流量获取模块,用于获取多个历史时间点的历史流量和位于所述多个历史时间点之后的目标时间点的目标流量;
第一关系获取模块,用于根据所述多个历史时间点的历史流量和所述目标时间点的目标流量进行拟合处理,获取第一关系数据,所述第一关系数据用于指示任一时间点与所述任一时间点的流量之间的关系;
流量范围确定模块,包括参考流量获取单元、参考流量调整单元和第一范围确定单元;
所述参考流量获取单元,用于利用无监督学习算法,根据所述第一关系数据,查询所述目标时间点对应的流量,作为参考流量,所述参考流量是指正常状态下所述目标时间点的流量;
所述参考流量调整单元,用于对所述参考流量进行调整,得到大于所述参考流量的第一流量及小于所述参考流量的第二流量;
所述第一范围确定单元,用于将所述第一流量作为所述目标时间点对应的流量范围的最大值,将所述第二流量作为所述流量范围的最小值,得到所述流量范围;或者,
所述流量范围确定模块包括第二关系获取单元、第三关系获取单元、流量查询单元和第二范围确定单元;
所述第二关系获取单元,用于利用无监督学习算法,根据所述第一关系数据获取第二关系数据,所述第二关系数据中任一时间点对应的流量大于所述第一关系数据中相同时间点对应流量;
所述第三关系获取单元,用于根据所述第一关系数据获取第三关系数据,所述第三关系数据中任一时间点对应的流量小于所述第一关系数据中相同时间点对应流量;
所述流量查询单元,用于根据所述第二关系数据查询所述目标时间点对应的第三流量,根据所述第三关系数据查询所述目标时间点对应的第四流量;
所述第二范围确定单元,用于将所述第三流量作为所述目标时间点对应的流量范围的最大值,将所述第四流量作为所述流量范围的最小值,得到所述流量范围;
流量检测模块,用于在所述目标流量不属于所述流量范围的情况下,对所述目标流量进行状态检测,得到所述目标流量的检测状态。
10.根据权利要求9所述的装置,其特征在于,所述流量检测模块,还用于:
在所述目标流量不属于所述流量范围的情况下,调用流量检测模型,对所述目标流量进行状态检测,得到所述目标流量的检测状态。
11.根据权利要求10所述的装置,其特征在于,所述装置还包括:
样本流量获取模块,用于获取多个样本历史时间点的样本历史流量和样本目标时间点的样本目标流量,所述样本目标时间点位于所述多个样本历史时间点之后;
样本状态获取模块,用于获取所述样本目标时间点的样本目标流量的样本检测状态;
模型训练模块,用于根据所述多个样本历史时间点的样本历史流量、所述样本目标时间点的样本目标流量及所述样本检测状态,继续训练所述流量检测模型。
12.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第四关系获取模块,用于在所述检测状态为异常状态的情况下,从所述多个历史时间点和所述目标时间点中选取第一数量的时间点,对所述第一数量的时间点的流量进行平滑处理,根据所述第一数量的时间点平滑处理后的流量,获取第四关系数据,所述第四关系数据用于指示任一时间点与所述任一时间点对应的流量之间的关系;
第五关系获取模块,用于根据所述第四关系数据,获取第二数量的时间点,对所述第二数量的时间点的流量进行平滑处理,根据所述第二数量的时间点平滑处理后的流量,获取第五关系数据,所述第五关系数据用于指示任一时间点与所述任一时间点对应的流量之间的关系;
流量查询模块,用于根据所述第四关系数据查询所述目标时间点对应的第五流量,根据所述第五关系数据查询所述目标时间点对应的第六流量;
所述装置还包括:
第一状态确定模块,用于在所述第五流量与所述第六流量之间的差值小于第一预设数值的情况下,确定所述目标流量处于低流量状态;或者,
第二状态确定模块,用于在所述第五流量与所述第六流量之间的差值大于第二预设数值的情况下,确定所述目标流量处于高流量状态。
13.根据权利要求9所述的装置,其特征在于,所述装置还包括:
告警显示模块,用于在所述目标流量的检测状态为异常状态,且在所述目标时间点之前的连续多个历史时间点的历史流量的检测状态为异常状态的情况下,显示告警信息。
14.根据权利要求10所述的装置,其特征在于,所述装置还包括:
样本流量获取模块,用于获取多个第一样本时间点的样本流量和第二样本时间点的样本流量,所述第二样本时间点位于所述多个第一样本时间点之后;
样本状态获取模块,用于获取所述第二样本时间点的样本流量的样本检测状态;
模型训练模块,用于根据所述多个第一样本时间点的样本流量、所述第二样本时间点的样本流量及所述样本检测状态,训练所述流量检测模型。
15.根据权利要求9所述的装置,其特征在于,所述装置还包括:
正常状态确定模块,用于在所述目标流量属于所述流量范围的情况下,确定所述目标流量的检测状态为正常状态。
16.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第一状态确定模块,用于在所述目标流量小于所述流量范围的最小值,且所述检测状态为异常状态的情况下,确定所述检测状态为低流量状态;或者,
第二状态确定模块,用于在所述目标流量大于所述流量范围的最大值,且所述检测状态为所述异常状态的情况下,确定所述检测状态为高流量状态。
17.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现如权利要求1至8任一权利要求所述的流量检测方法中所执行的操作。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行,以实现如权利要求1至8任一权利要求所述的流量检测方法中所执行的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010367557.4A CN111614634B (zh) | 2020-04-30 | 2020-04-30 | 流量检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010367557.4A CN111614634B (zh) | 2020-04-30 | 2020-04-30 | 流量检测方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111614634A CN111614634A (zh) | 2020-09-01 |
CN111614634B true CN111614634B (zh) | 2024-01-23 |
Family
ID=72198071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010367557.4A Active CN111614634B (zh) | 2020-04-30 | 2020-04-30 | 流量检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111614634B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114258055A (zh) * | 2020-09-10 | 2022-03-29 | 中兴通讯股份有限公司 | 流量模式确定方法、电子设备及存储介质 |
CN114449569B (zh) * | 2020-11-02 | 2024-01-16 | ***通信集团广东有限公司 | 用户流量使用量处理方法、网络设备及业务处理*** |
CN112583635B (zh) * | 2020-11-24 | 2024-05-28 | 视联动力信息技术股份有限公司 | 视联网网络状态的检测方法、装置、终端设备和存储介质 |
CN112994978B (zh) * | 2021-02-25 | 2023-01-24 | 网宿科技股份有限公司 | 一种网络流量监测方法及装置 |
CN113949678B (zh) * | 2021-09-15 | 2023-09-01 | 北京三快在线科技有限公司 | 流量控制方法、装置、电子设备及计算机可读存储介质 |
CN114785588A (zh) * | 2022-04-20 | 2022-07-22 | 中国工商银行股份有限公司 | 流量检测方法和装置 |
CN115037528B (zh) * | 2022-05-24 | 2023-11-03 | 天翼云科技有限公司 | 一种异常流量检测方法及装置 |
CN117692350B (zh) * | 2024-02-04 | 2024-04-30 | 中国人民解放军军事科学院***工程研究院 | 一种基于指纹的流量预测方法及*** |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8682812B1 (en) * | 2010-12-23 | 2014-03-25 | Narus, Inc. | Machine learning based botnet detection using real-time extracted traffic features |
CN107483455A (zh) * | 2017-08-25 | 2017-12-15 | 国家计算机网络与信息安全管理中心 | 一种基于流的网络节点异常检测方法和*** |
WO2018090544A1 (zh) * | 2016-11-15 | 2018-05-24 | 平安科技(深圳)有限公司 | DoS/DDoS攻击检测方法和装置、服务器和存储介质 |
CN108255681A (zh) * | 2018-02-09 | 2018-07-06 | 腾讯科技(北京)有限公司 | 任务告警方法及装置 |
CN108880931A (zh) * | 2018-05-29 | 2018-11-23 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
CN109032829A (zh) * | 2018-07-23 | 2018-12-18 | 腾讯科技(深圳)有限公司 | 数据异常检测方法、装置、计算机设备及存储介质 |
EP3502889A1 (en) * | 2017-12-21 | 2019-06-26 | Guangdong Oppo Mobile Telecommunications Corp., Ltd | Method and device for preloading application, storage medium, and terminal device |
CN110086649A (zh) * | 2019-03-19 | 2019-08-02 | 深圳壹账通智能科技有限公司 | 异常流量的检测方法、装置、计算机设备及存储介质 |
CN110377447A (zh) * | 2019-07-17 | 2019-10-25 | 腾讯科技(深圳)有限公司 | 一种异常数据检测方法、装置及服务器 |
CN110784458A (zh) * | 2019-10-21 | 2020-02-11 | 新华三信息安全技术有限公司 | 流量异常检测方法、装置及网络设备 |
-
2020
- 2020-04-30 CN CN202010367557.4A patent/CN111614634B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8682812B1 (en) * | 2010-12-23 | 2014-03-25 | Narus, Inc. | Machine learning based botnet detection using real-time extracted traffic features |
WO2018090544A1 (zh) * | 2016-11-15 | 2018-05-24 | 平安科技(深圳)有限公司 | DoS/DDoS攻击检测方法和装置、服务器和存储介质 |
CN107483455A (zh) * | 2017-08-25 | 2017-12-15 | 国家计算机网络与信息安全管理中心 | 一种基于流的网络节点异常检测方法和*** |
EP3502889A1 (en) * | 2017-12-21 | 2019-06-26 | Guangdong Oppo Mobile Telecommunications Corp., Ltd | Method and device for preloading application, storage medium, and terminal device |
CN108255681A (zh) * | 2018-02-09 | 2018-07-06 | 腾讯科技(北京)有限公司 | 任务告警方法及装置 |
CN108880931A (zh) * | 2018-05-29 | 2018-11-23 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
CN109032829A (zh) * | 2018-07-23 | 2018-12-18 | 腾讯科技(深圳)有限公司 | 数据异常检测方法、装置、计算机设备及存储介质 |
CN110086649A (zh) * | 2019-03-19 | 2019-08-02 | 深圳壹账通智能科技有限公司 | 异常流量的检测方法、装置、计算机设备及存储介质 |
CN110377447A (zh) * | 2019-07-17 | 2019-10-25 | 腾讯科技(深圳)有限公司 | 一种异常数据检测方法、装置及服务器 |
CN110784458A (zh) * | 2019-10-21 | 2020-02-11 | 新华三信息安全技术有限公司 | 流量异常检测方法、装置及网络设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111614634A (zh) | 2020-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111614634B (zh) | 流量检测方法、装置、设备及存储介质 | |
CN110032670B (zh) | 时序数据的异常检测方法、装置、设备及存储介质 | |
CN110209952B (zh) | 信息推荐方法、装置、设备及存储介质 | |
CN111556294B (zh) | 安全监测方法、装置、服务器、终端及可读存储介质 | |
CN111262887B (zh) | 基于对象特征的网络风险检测方法、装置、设备及介质 | |
CN111104980B (zh) | 确定分类结果的方法、装置、设备及存储介质 | |
CN111818050B (zh) | 目标访问行为检测方法、***、装置、设备及存储介质 | |
KR20220092629A (ko) | IoT 디바이스의 알람 규칙 구성 방법 및 장치, 디바이스, 및 저장 매체 | |
CN111914180B (zh) | 基于图结构的用户特征确定方法、装置、设备及介质 | |
CN108712555A (zh) | 一种发送报警信息的方法及装置 | |
CN110162956B (zh) | 确定关联账户的方法和装置 | |
CN111753520A (zh) | 一种风险预测方法、装置、电子设备及存储介质 | |
CN111310664A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN112256748B (zh) | 一种异常检测方法、装置、电子设备及存储介质 | |
CN112256732B (zh) | 一种异常检测方法、装置、电子设备及存储介质 | |
CN111931712B (zh) | 人脸识别方法、装置、抓拍机及*** | |
CN112231666A (zh) | 违规帐号的处理方法、装置、终端、服务器及存储介质 | |
CN114143280B (zh) | 会话显示方法、装置、电子设备及存储介质 | |
CN107944242B (zh) | 一种生物识别功能禁用方法和移动终端 | |
CN111310701B (zh) | 手势识别方法、装置、设备及存储介质 | |
CN116560934A (zh) | 异常设备检测方法、装置、设备、存储介质及程序产品 | |
CN111897709A (zh) | 监控用户的方法、装置、电子设备及介质 | |
CN115296978B (zh) | 根因定位方法、装置、设备 | |
CN111259252A (zh) | 用户标识识别方法、装置、计算机设备及存储介质 | |
CN113111894A (zh) | 号码分类方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |