CN113595784B - 网络流量检测方法、装置、设备、存储介质及程序产品 - Google Patents

Abstract

本发明公开了一种网络流量检测方法、装置、设备、存储介质及程序产品，该方法包括：当检测到通信连接请求时，获取该通信连接请求的通信对数据和通信对数据的监控指标数据，其中，所述通信对数据包括关键通信对数据和非关键通信对数据；根据通信对数据的业务类型对所述通信对数据进行分类汇总，得到通信对数据的流量数据；检测关键通信对数据的监控指标数据中是否存在异常数据；若不存在，根据所述流量数据判断通信对数据的流量是否异常，若异常，检测非关键通信对数据的监控指标数据中是否存在异常数据。本发明通过分级检测减少无效告警，提高对网络流量异常的检测准确度，同时可以结合对各监控指标数据的检测快速定位异常指标并分析异常原因。

Description

网络流量检测方法、装置、设备、存储介质及程序产品

技术领域

本发明涉及通信技术领域，尤其涉及一种网络流量检测方法、装置、设备、存储介质及程序产品。

背景技术

随着信息时代的到来，网络通信成为了越来越重要的基础设施服务，各个行业或企业也越来越关注自己的数据，纷纷建立了数据中心便于对数据进行存储和使用等。数据中心一般是网络和数据流转的中心枢纽，每时每刻都有大量的通信流量在进出交换。目前的网络通信一般采用TCP(Transmission Control Protocol传输控制协议)连接，TCP是一种面向连接的、可靠的、基于字节流的传输层通信协议。通常两个终端之间建立TCP连接时需要经过“三次握手”，TCP的“三次握手”指的是在进行数据传输或信息交互之前的准备阶段，两个终端之间需要进行三次交互才能建立通信。

数据中心的大量成立，导致网络运维的数据量也随之增加，在互联网业务快速扩张、人力成本高的时代，在数据中心的流量进出口对建立TCP连接的“三次握手”的交互过程的网络流量进行检测和分析，从而对整个数据中心的网络通信的连接状态进行检测，确定各个TCP连接的数据传输或信息交互是否存在异常，减少人工运维的工作量尤为重要。

传统的对网络流量进行检测的方式是固定阈值告警，即对TCP连接的各项连接指标设置固定阈值，一旦网络实时连接的某一项指标超过设定的阈值就会产生告警。基于传统的网络流量的检测方法，如果某个指标只在某个特定时刻超出了其设定阈值，则会产生无效告警。并且，当有一个或多个指标产生告警时，无法结合其他指标快速确定指标异常的原因，也即，传统的网络流量检测方法存在难以综合多项指标分析异常原因或对异常进行定位等缺陷。

发明内容

本发明的主要目的在于提供一种网络流量检测方法、装置、设备、存储介质及程序产品，旨在解决传统的网络流量检测方法存在无效告警，导致对网络流量异常的检测准确度较低，并且基于固定阈值的告警难以综合多项指标快速定位异常指标并分析异常原因的技术问题。

此外，为实现上述目的，本发明还提供一种网络流量检测方法，所述网络流量检测方法包括以下步骤：

当检测到通信连接请求时，获取所述通信连接请求的通信对数据和所述通信对数据的监控指标数据，其中，所述通信对数据包括关键通信对数据和非关键通信对数据；

根据所述通信对数据的业务类型对所述通信对数据进行分类汇总，得到所述通信对数据的流量数据；

检测所述关键通信对数据的监控指标数据中是否存在异常数据；

若不存在，根据所述流量数据判断所述通信对数据的流量是否异常，若异常，检测所述非关键通信对数据的监控指标数据中是否存在异常数据。

可选地，所述检测所述关键通信对数据的监控指标数据中是否存在异常数据的步骤，包括：

将所述关键通信对数据的监控指标数据输入至预设的目标检测模型中，得到对所述关键通信对数据的监控指标数据的预测值，其中，所述目标检测模型是利用历史通信对数据对预设的基础检测模型进行迭代训练得到的；

将所述预测值与所述关键通信对数据的监控指标数据的真实值进行比较，确定所述预测值与所述真实值的目标差值；

基于所述目标差值与预设的经验阈值确定所述关键通信对数据的监控指标数据中是否存在异常数据，其中，所述经验阈值是对所述通信对数据的监控指标数据进行挖掘得到的。

可选地，所述流量数据包括各业务类型的子流量数据，以及对各所述子流量数据进行汇总得到的总流量数据，所述根据所述通信对数据的业务类型对所述通信对数据进行分类汇总，得到所述通信对数据的流量数据的步骤，包括：

将所述通信对数据的各监控指标数据按列排列，并按照各所述监控指标数据对业务类型相同的通信对数据进行汇总，得到各业务类型的子流量数据；

按照各所述监控指标数据对所述子流量数据进行汇总，得到所述通信对数据的总流量数据，其中，所述子流量数据和所述总流量数据为各所述监控指标数据的一维时间序列。

可选地，所述流量数据具有周期性特征，所述根据所述流量数据判断所述通信对的流量是否异常的步骤，包括：

根据所述流量数据的周期性特征，对所述流量数据进行二维化得到二维数据；

对所述二维数据进行切片处理，得到二维特征矩阵；

对所述二维特征矩阵进行特征提取，并根据提取的特征确定所述通信对数据的流量的预测值；

将所述通信对的流量的预测值与所述通信对的流量的真实值进行比较，判断所述通信对数据的流量是否异常。

可选地，所述当检测到通信连接请求时，获取所述通信连接请求的通信对数据和所述通信对数据的监控指标数据的步骤，包括：

当检测到通信连接请求时，获取所述通信连接请求的通信对数据；

对预设时间间隔内获取的各所述通信对数据进行汇总，得到所述通信对数据的监控指标数据。

可选地，所述检测所述非关键通信对数据的监控指标数据中是否存在异常数据的步骤之后，还包括：

若检测到所述非关键通信对数据的监控指标数据中存在异常数据，输出告警信息，其中，所述告警信息中包括存在异常数据的目标非关键通信对数据，以及所述目标非关键通信对数据的异常指标；

若目标非关键通信对的异常指标有多个，则在所述告警信息中对多个异常指标进行排序。

此外，为实现上述目的，本发明还提供一种网络流量检测装置，所述网络流量检测装置包括：

数据获取模块，用于当检测到通信连接请求时，获取所述通信连接请求的通信对和所述通信对的监控指标数据，其中，所述通信对包括关键通信对和非关键通信对；

数据汇总模块，用于根据所述通信对的业务类型对所述通信对进行分类汇总，得到所述通信对的流量数据；

第一检测模块，用于检测所述关键通信对的监控指标数据中是否存在异常数据；

第二检测模块，用于若不存在，根据所述流量数据判断所述通信对的流量是否异常，若异常，检测所述非关键通信对的监控指标数据中是否存在异常数据。

此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的网络流量检测程序，所述网络流量检测程序被所述处理器执行时实现如上述的网络流量检测方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有网络流量检测程序，所述网络流量检测程序被处理器执行时实现如上述的方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的网络流量检测方法的步骤。

本发明实施例提出的一种网络流量检测方法、装置、设备、存储介质及程序产品。传统基于固定阈值的网络流量检测方法中，容易产生无效告警，导致对网络流量异常的检测准确度较低，并且基于固定阈值的告警难以综合多项指标分析异常原因或对异常进行定位。与传统的网络流量检测方法相比，本发明实施例中，当检测到通信连接请求时，获取所述通信连接请求的通信对和所述通信对的监控指标数据，其中，所述通信对包括关键通信对和非关键通信对；根据所述通信对的业务类型对所述通信对进行分类汇总，得到所述通信对的流量数据；检测所述关键通信对的监控指标数据中是否存在异常数据；若不存在，根据所述流量数据判断所述通信对的流量是否异常，若异常，检测所述非关键通信对的监控指标数据中是否存在异常数据。通过对获取的通信对数据进行分级检测，减少了基于固定阈值的检测方式中，因单个指标数据的短时异常导致的无效告警，提高了对通信连接过程中的网络流量异常的检测准确度，并且，通过将通信对数据划分为关键通信对数据和非关键通信对数据，当检测到异常时，可以结合对监控指标数据的检测结果快速确定导致流量异常的指标，从而快速定位异常通信对并对异常原因进行综合分析，提高对网络流量异常原因的定位和分析效率。

附图说明

图1为本发明实施例提供的终端设备一种实施方式的硬件结构示意图；

图2为本发明网络流量检测方法第一实施例的流程示意图；

图3为本发明网络流量检测装置一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

本发明实施例设备(又叫终端、设备或者终端设备)可以是PC，也可以是智能手机、平板电脑和便携计算机等具有显示和数据处理功能的可移动式终端设备。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及网络流量检测程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的网络流量检测程序，所述网络流量检测程序被处理器执行时实现下述实施例提供的网络流量检测方法中的操作。

基于上述设备硬件结构，提出了本发明网络流量检测方法的实施例。

需要说明的是，建立TCP连接的“三次握手”中，第一次握手：客户端向服务器端发送一段TCP报文(syn包)，标记位为SYN，表示“请求建立新连接”，序号为Seq＝X(X一般为1)，随后客户端进入SYN-SENT阶段，等待服务器端确认；第二次握手：服务器端接收到来自客户端的TCP报文之后，结束LISTEN阶段，并向客户端返回一段TCP报文(syn.ack包)，其中，报文的标志位为SYN和ACK，序号为Seq＝Y，确认号为Ack＝X+1，表示收到客户端的序号Seq并将其值加1作为自己确认号Ack的值表示“确认客户端的报文Seq序号有效，服务器能正常接收客户端发送的数据，并同意创建新连接”(即告诉客户端，服务器已收到数据)，随后服务器端进入SYN-RCVD阶段；第三次握手：客户端接收到来自服务器端的确认收到数据的TCP报文之后，明确了从客户端到服务器的数据传输是正常的，结束SYN-SENT阶段，并返回最后一段TCP报文(ack包)，其中，标志位为Ack，表示“确认收到服务器端同意连接的信号”，序号为Seq＝X+1，表示收到服务器端的确认号Ack，并将其值作为自己的序号值，确认号为Ack＝Y+1，表示收到服务器端序号Seq，并将其值加1作为自己的确认号Ack的值。随后客户端进入ESTABLISHED(连接已建立)阶段。服务器收到来自客户端的“确认收到服务器数据”的TCP报文之后，明确了从服务器到客户端的数据传输是正常的，结束SYN-RCVD阶段，进入ESTABLISHED阶段。客户端和服务端即完成三次握手，完成通信连接。通信连接建立后，客户端和服务器就可以进行数据传输和信息交互了。

在客户端与服务器端传输的TCP报文中，双方的确认号Ack和序号Seq的值，都是在彼此Ack和Seq值的基础上进行计算的，这样做保证了TCP报文传输的连贯性。一旦出现某一方发出的TCP报文丢失，便无法继续"握手"，以此确保了"三次握手"的顺利完成。因此，对TCP连接建立过程中发送的报文进行检测和分析，可以检测TCP连接建立过程中的网络流量是否存在异常。

传统的对TCP连接建立过程中的网络流量进行检测的方法，大多是采用固定阈值进行告警，当在通信连接的建立过程中，在某个时刻某个指标超出了其设定阈值时，就会产生异常告警，但对于瞬时告警或在某些特殊时间段内，如有营销活动时，某些指标短时超过设定阈值属于正常现象，并不一定表示网络流量存在异常。因此，传统的基于固定阈值的异常检测方式，存在对网络流量异常的检测准确度较低的问题，并且，当某个指标超过其设定阈值而产生的告警时，也难以综合多项指标快速定位和分析网络流量的异常原因，例如，在建立通信连接时，当检测到某个时刻或某个时间间隔内，建立通信连接请求的客户端向服务端发送了M个syn包，但是服务端接收到的syn包数量为N个，服务端响应客户端请求时的丢包数(M-N)超过了丢包数指标的设定阈值，因此会触发告警，但是，根据告警信息无法得知是哪些客户端在哪个时刻或那个时间段内发送的syn包丢失，因此也无法快速分析出具体的丢包原因。基于此，提出了本发明网络流量检测方法的各实施例。

在本发明各实施例中用到的关键技术术语包括：

通信对数据：在建立TCP连接时产生“三次握手”交互发送的报文等信息为通信对数据，其中，建立通信连接的两个终端(一般是客户端和服务器端)可以称为通信对，同一个通信对在“三次握手”时产生的通信对数据中的源地址、目的地址和端口号等信息均相同。

网络流量：网络流量就是网络上传输的数据量，在本发明各实施例中，网络流量是指建立TCP通信时传输的报文信息(即通信对数据)的数据量。

首先参照图2，图2为本发明网络流量检测方法第一实施例的流程示意图，在本发明网络流量检测方法的第一实施例中，所述网络流量检测方法包括：

步骤S10，当检测到通信连接请求时，获取所述通信连接请求的通信对数据和所述通信对数据的监控指标数据，其中，所述通信对数据包括关键通信对数据和非关键通信对数据；

在本发明各实施例中，网络流量检测方法在网络流量检测终端上实施，并对网络中建立通信连接的数据流量进行检测，根据对流量的检测结果确定网络中的通信连接状态是否存在异常。其中，网络流量终端可以是个人电脑或平板电脑等具有显示和数据处理功能的终端设备。近年来，随着信息技术的发展，各行各业越来越关注自身的数据价值，因此纷纷建立数据中心并对自己的数据中心重视度越来越高。特别是银行等金融行业，数据中心是整个网络中数据流转和交换的枢纽，支撑着各个客户端的数据流转和交换需求，从而确保银行的各个业务流程的正常运行。而数据中心每时每刻都有大量的数据流转，若客户端与数据中心服务器端的通信连接产生异常，则会影响客户端的数据流转或交换，进而对客户端的业务产生影响。因此，需要及时检测客户端与服务器端的通信连接状态是否存在异常。传统的对通信连接中的流量检测方法，基于固定阈值进行告警，不仅检测准确度较低，当检测到异常时，也无法及时分析或准确定位异常。在本实施例中，本发明的网络流量检测方法用于对网络中建立通信连接的数据流量进行检测，进而对银行等金融机构的数据中心网络中的通信连接状态进行检测。采用分级检测的方式，不仅可以提高对异常的检测准确度，还可以快速分析和定位异常。

具体地，当在网络中检测通信连接请求时，获取该通信连接请求的通信对数据和该通信对数据的监控指标数据，其中，获取的通信对数据中包括关键通信对数据和非关键通信对数据。具体地，该通信连接请求一般是客户端向服务器端发送的通信连接请求，以客户端和服务器端为例，当检测到有客户端发送通信连接请求的报文时，对该客户端与服务器端之间建立通信连接的报文进行抓取，并根据抓取的报文生成对通信对数据的监控指标数据。其中，通信对数据的监控指标数据包括客户端请求数、服务器端响应数量、三次握手的syn包、三次握手的syn.ack包、三次握手的ack包、客户端带数据的包数、客户端reset包(重置包)、客户端fin包(结束包，fin为finish)、客户端无数据的包数、服务端带数据的包数、服务端reset包、服务端fin包等，用于对通信对数据的流量进行监控。通信对数据中各个报文的源地址、目的地址和端口号等信息均是相同的，换言之，在建立通信连接时，同一个客户端向同一个服务端发送的报文为通信对数据，其中，在通信对数据中，客户端和服务器端为一个通信对。

对抓取的通信对数据进行汇总分析等处理，可以得到对整个网络中的通信连接状态的监控指标数据，例如，对抓取的syn包、syn.ack包和ack包的数量可以确定通信连接的建立状况，若三者数量不一致，则说明在通信连接建立中存在丢包的情况，进而可以确定网络流量存在异常。

进一步地，由于通信连接的建立需要经过三次握手交互，因此，在获取通信对数据的监控指标数据时，可以是对同一时刻抓取的不同通信对的通信对数据进行汇总，进而得到相应的监控指标数据以检测当前的网络流量，也可以是每经过预设时间间隔对抓取的通信对数据进行汇总一次，得到每个通信对建立通信连接时的网络流量的监控指标数据，然后对每个通信对的通信对数据进行汇总，得到对整体网络流量进行检测的监控指标数据。

更进一步地，获取的通信对数据中，包括关键通信对数据和非关键通信对数据，通信对数据为关键通信对数据还是非关键通信对数据，需要根据通信对数据所对应的通信对是否为关键通信对确定，关键通信对和非关键通信对可以根据通信对之间的业务量(即通信频率)确定，或根据通信对中客户端的业务类型的优先级确定，客户端的业务类型的优先级高的为关键通信对。需要说明的是，同一个客户端对应不同的服务器端时，可能对应不同的业务类型，业务类型的优先级也不同，因此，在确定业务类型的优先级时，也可以同时结合通信对中的客户端和服务器端进行确定。进一步地，在不同的时间段内，不同的业务的优先级也可能是不同的，因此，关键通信和非关键通信对并不一定是固定的，可以随着时间等条件对关键通信对和非关键通信对进行调整。

进一步地，步骤S10的细化，包括：

步骤S11，当检测到通信连接请求时，获取所述通信连接请求的通信对数据；

步骤S12，对预设时间间隔内获取的各所述通信对数据进行汇总，得到所述通信对数据的监控指标数据。

在获取通信对数据和通信对数据的监控指标数据时，首先是对各个通信对在建立通信连接时发送的报文进行抓取，进而得到通信对数据，然后对预设时间间隔内抓取的通信对数据进行汇总，得到对通信对数据流量的监控指标数据。在对通信对数据进行汇总时，是按照相同的通信对进行汇总的，对同一个通信对的数据进行汇总得到各个通信对流量的监控指标数据，从而可以判断各个通信对的流量是否存在异常。

然后对同类型的通信对数据进行汇总，得到各个类型的监控指标数据，可知地，对于不同的通信对数据，可以按照不同的标准进行类型划分，并对划分后的通信对数据从不同的维度进行汇总，进而从不同的维度对通信对数据的流量进行检测。

步骤S20，根据所述通信对数据的业务类型对所述通信对数据进行分类汇总，得到所述通信对数据的流量数据；

进一步地，在本实施例中，获取通信对数据和通信对数据的监控指标数据后，按照通信对数据的业务类型对获取的通信对数据进行分类汇总，得到通信对数据的流量数据。其中，通信对数据的总流量数据包括各个业务类型的子流量数据和对各业务类型的子流量数据进行汇总后得到的总流量数据，即按照各个通信对的业务类型，对不同业务类型的通信对的数据进行汇总，得到不同业务类型的通信对数据的流量，然后对各个业务类型的通信对数据的流量进行汇总得到总流量。具体地，根据通信对数据的业务类型对获取的通信对数据进行分类汇总，进而得到通信对数据的流量数据的步骤，包括：

步骤S21，将所述通信对数据的各监控指标数据按列排列，并按照各所述监控指标数据对业务类型相同的通信对数据进行汇总，得到各业务类型的子流量数据；

步骤S22，按照各所述监控指标数据对所述子流量数据进行汇总，得到所述通信对数据的总流量数据，其中，所述子流量数据和所述总流量数据为各所述监控指标数据的一维时间序列。

在对通信对数据进行汇总时，首先将通信对数据的监控指标数据按列排列，然后将通信对数据在监控指标数据的通道方向上堆叠汇总，在汇总时，先对业务类型相同的通信对数据进行汇总，然后对各业务类型的通信对数据进行汇总。以监控指标数据中的syn包数量和syn.ack包数量为例，对不同业务类型的通信对数据中的syn包和syn.ack包分别进行汇总，得到syn包和syn.ack包的流量数据，当有多个监控指标数据时，按照业务类型把通信对数据中每个监控指标数据对应的数据进行汇总，从而得到不同颗粒度的流量数据。其中，经过汇总得到的监控指标数据为各个监控指标数据的一维时间序列，表示了某个时刻或某个时间段内，各个监控指标数据的值。

步骤S30，检测所述关键通信对的监控指标数据中是否存在异常数据；

在获取通信对数据后，首先检测各个关键通信对数据的监控指标数据是否异常，通过检测观景通信对的各个监控指标数据可以判断关键通信对数据的流量是否存在异常，通过对各个监控指标数据进行检测，当关键通信对数据的流量异常时，可以快速确定造成流量异常的指标，并定位异常通信对。其中，检测关键通信对数据的监控指标数据是否异常时，可以将当前时刻或截止到当前时刻的某个时间段内，各关键通信对数据的监控指标数据与各监控指标数据的正常值进行比较。需要说明的是，各监控指标数据的正常值可以基于各关键通信对数据的历史数据进行分析挖掘得到，也可以是基于对该通信对数据的监控指标的性能要求进行自适应调整的值。

可知地，传统的基于固定阈值的异常检测方式，当监控指标数据超过其设定的正常阈值范围时，就会产生异常告警，以服务器的宽带资源占用率为例，基于固定阈值的告警方式，当检测到服务器的宽带资源占用率达到90％以上时，则触发告警，若正常情况下服务器的宽带资源占用率只有70％左右，当服务器的宽带资源占用率长时间在80％左右时，表明服务器性能已经存在异常，可见，传统的基于固定阈值的告警方式，对于潜在异常的检测精度不足。而在本实施例中，通过对历史数据进行挖掘，确定不同业务类型的通信对数据的监控指标数据的正常值，同一个通信对数据的监控指标数据在不同的时间段也的正常值可以是不同的，例如，若某关键通信对中的客户端的业务量较为集中，需要在某些特定的时间段如每月的最后一天等进行集中处理，则该客户端与服务器端关键通信对数据在某个特定的时间段内，与服务器端的通信连接请求会短时间内快速增加，则为减少无效告警，该关键通信对数据的监控指标数据的正常值在集中处理业务的时间段与非集中处理业务的时间段内，可以是不同的。

当检测到关键通信对数据的监控指标数据中存在异常数据时，则输出告警提示信息，该告警提示信息中包含异常通信对以及该异常通信对的异常指标数据，从而从关键通信对数据中，快速定位处异常通信对，有助于对异常原因的快速分析。

步骤S40，若不存在，根据所述流量数据判断所述通信对的流量是否异常，若异常，检测所述非关键通信对的监控指标数据中是否存在异常数据。

若关键通信对数据的监控指标数据中，不存在异常数据，则检测所有通信对数据的流量数据是否异常，若在关键通信对数据中为检测到异常数据，而通信对数据的流量存在异常时，则检测非关键通信对数据的监控指标数据中，是否存在异常数据，从而确定总体通信对数据的流量异常，是否为非关键通信对数据的流量异常导致的。

进一步地，通信对数据的流量数据具有周期性特征，而不同时刻或时间段的流量数据是否异常可以通过汇总的监控指标数据进行判断，在判断通信对数据的流量是否异常时，具体包括：

步骤S41，根据所述流量数据的周期性特征，对所述流量数据进行二维化得到二维数据；

步骤S42，对所述二维数据进行切片处理，得到二维特征矩阵；

步骤S43，对所述二维特征矩阵进行特征提取，并根据提取的特征确定所述通信对数据的流量的预测值；

步骤S44，将所述通信对的流量的预测值与所述通信对的流量的真实值进行比较，判断所述通信对数据的流量是否异常。

根据通信对数据的流量数据的周期性特征，基于对监控指标数据进行汇总得到的一维时间序列的流量数据，对该流量数据进行二维化，具体的，将每个监控指标数据的一维时间序列，以周期为横坐标，每各周期内第几次获取的监控指标数据记录为纵坐标进行二维化，得到的二维数据在纵坐标方向表示该流量指标数据在该周期内的发展趋势，在横坐标方向表示该流量指标数据在每个周期内同一时间段的变化趋势。

对得到的二维数据进行切片处理，得到多通道的二维特征矩阵，对该二维特征矩阵进行特征提取，并根据提取的特征确定获取的通信对数据的流量的预测值，并将该预测值与经过汇总得到的真实值进行比较，根据预测值与真实值之间的差值，判断通信对数据的流量是否存在异常。

进一步地，步骤S40之后，还包括：

步骤S401，若检测到所述非关键通信对数据的监控指标数据中存在异常数据，输出告警信息，其中，所述告警信息中包括存在异常数据的目标非关键通信对数据，以及所述目标非关键通信对数据的异常指标；

步骤S402，若目标非关键通信对的异常指标有多个，则在所述告警信息中对多个异常指标进行排序。

当检测到非关键通信对数据的监控指标数据中存在异常数据时，输出告警信息，其中，输出的告警信息中，包含异常的非关键通信对数据，以及该异常非关键通信对数据的异常指标，若异常指标有多个，则在告警信息中对多个异常指标进行排序。在对多个异常指标进行排序时，可以是按照各个指标超出其正常范围值的异常程度进行排序，也可以按照各个指标设定的优先级顺序进行排序，在此不作具体限定。可知地，当检测到有多个非关键通信对数据异常时，可以在告警信息中对多个异常的非关键通信对数据进行排序。

在本实施例中，当检测到通信连接请求时，获取所述通信连接请求的通信对数据和所述通信对数据的监控指标数据，其中，所述通信对数据包括关键通信对数据和非关键通信对数据；根据所述通信对数据的业务类型对所述通信对数据进行分类汇总，得到所述通信对数据的流量数据；检测所述关键通信对数据的监控指标数据中是否存在异常数据；若不存在，根据所述流量数据判断所述通信对数据的流量是否异常，若异常，检测所述非关键通信对数据的监控指标数据中是否存在异常数据。通过对获取的通信对数据进行分级检测，减少了基于固定阈值的检测方式中，因单个指标数据的短时异常导致的无效告警，提高了对通信连接过程中的网络流量异常的检测准确度，并且，通过将通信对数据划分为关键通信对数据和非关键通信对数据，当检测到异常时，可以结合对监控指标数据的检测结果快速确定导致流量异常的指标，从而快速定位异常通信对并对异常原因进行综合分析，提高对网络流量异常原因的定位和分析效率。

进一步地，在本发明上述实施例的基础上，提出了本发明网络流量检测方法的第二实施例。

本实施例是第一实施例中步骤S30细化的步骤，基于上述实施例，在本实施例中，检测关键通信对书的监控指标数据中是否存在异常数据的步骤，包括：

步骤S301，将所述关键通信对数据的监控指标数据输入至预设的目标检测模型中，得到对所述关键通信对数据的监控指标数据的预测值，其中，所述目标检测模型是利用历史通信对数据对预设的基础检测模型进行迭代训练得到的；

基于上述实施例，在本实施例中，检测关键通信对数据的监控数据中是否存在异常数据时，是将关键通信对数据的监控指标数据输入值预设的目标检测模型中进行检测的，其中，预设的目标检测模型是利用历史通信对数据对搭建的基础检测模型进行迭代训练得到的。

进一步地，在对基础检测模型进行迭代训练时，首先利用历史通信对数据提取监控指标数据，并生成对应的样本数据集，利用生成的样本数据集对搭建的基础检测模型进行迭代训练，直到模型参数收敛时，得到训练好的目标检测模型。将获取的通信对数据的监控指标数据输入至训练好的目标检测模型中，可以根据输入的通信对数据，得到该通信对数据的监控指标的预测值。

步骤S302，将所述预测值与所述关键通信对数据的监控指标数据的真实值进行比较，确定所述预测值与所述真实值的目标差值；

在得到关键通信对数据的监控指标数据的预测值后，将该预测值与获取的各监控指标数据的真实值进行比较，进而确定二者之间的目标差值，根据该目标差值可以对关键通信对数据的监控指标数据中是否存在异常数据进行检测。需要说明的是，经过训练得到的目标检测模型，可以根据不同时刻或时间段获取的通信对数据得到不同的监控指标数据的预测值。可知地，银行等金融机构的业务，一般呈现周期性，该周期性可以是以小时或以天为周期的小周期性，也可以是月度、季度或年度的大周期性，这导致了不同的通信对数据的流量具有不同的周期性。

根据获取关键通信对数据的时间，确定对关键通信对的监控指标数据的预测值后，将预测值与获取的真实值进行比较，从而确定预测值与真实值之间的目标差值，根据该目标差值判断通关键信对数据的监控指标数据中是否存在异常数据，进而确定关键通信对数据的流量是否异常。

步骤S303，基于所述目标差值与预设的经验阈值确定所述关键通信对数据的监控指标数据中是否存在异常数据，其中，所述经验阈值是对所述通信对数据的历史监控指标数据进行挖掘得到的。

进一步地，根据关键通信对数据的监控指标数据的预测值与真实值之间的目标差值，判断关键通信对数据的监控指标数据中是否存在异常数据时，具体是将该目标差值与预设的经验阈值进行比较，若该目标差值大于预设的经验阈值，则说明关键通信对数据的监控指标数据中存在异常指标，进而可以确定关键通信对数据的流量异常。其中，预设的经验阈值是对历史通信对数据的监控指标数据进行挖掘得到的，通过对历史通信对数据继续宁挖掘确定告警阈值，相比于传统的固定阈值的告警方式，可以提高对潜在的流量异常的检测精度。

在本实施例中，通过利用基于历史通信对数据进行迭代训练得到的目标检测模型，得到关键通信对数据的监控指标数据的预测值，并基于对历史通信对数据的监控指标数据进行挖掘得到的经验阈值，判断关键通信对数据的流量是否异常，与传统的基于固定阈值的检测方式相比，能够及时检测出网络中潜在的流量异常，提高了对关键通信对数据的流量异常的检测精度。

此外，参照图3，本发明实施例还提出一种网络流量检测装置，所述网络流量检测装置包括：

数据获取模块10，用于当检测到通信连接请求时，获取所述通信连接请求的通信对和所述通信对的监控指标数据，其中，所述通信对包括关键通信对和非关键通信对；

数据汇总模块20，用于根据所述通信对的业务类型对所述通信对进行分类汇总，得到所述通信对的流量数据；

第一检测模块30，用于检测所述关键通信对的监控指标数据中是否存在异常数据；

第二检测模块40，用于若不存在，根据所述流量数据判断所述通信对的流量是否异常，若异常，检测所述非关键通信对的监控指标数据中是否存在异常数据。

可选地，所述数据获取模块10，还用于：

当检测到通信连接请求时，获取所述通信连接请求的通信对数据；

对预设时间间隔内获取的各所述通信对数据进行汇总，得到所述通信对数据的监控指标数据。

可选地，所述数据汇总模块20，还用于：

将所述通信对数据的各监控指标数据按列排列，并按照各所述监控指标数据对业务类型相同的通信对数据进行汇总，得到各业务类型的子流量数据；

按照各所述监控指标数据对所述子流量数据进行汇总，得到所述通信对数据的总流量数据，其中，所述子流量数据和所述总流量数据为各所述监控指标数据的一维时间序列。

可选地，所述第一检测模块30，还用于：

将所述关键通信对数据的监控指标数据输入至预设的目标检测模型中，得到对所述关键通信对数据的监控指标数据的预测值，其中，所述目标检测模型是利用历史通信对数据对预设的基础检测模型进行迭代训练得到的；

将所述预测值与所述关键通信对数据的监控指标数据的真实值进行比较，确定所述预测值与所述真实值的目标差值；

基于所述目标差值与预设的经验阈值确定所述关键通信对数据的监控指标数据中是否存在异常数据，其中，所述经验阈值是对所述通信对数据的监控指标数据进行挖掘得到的。

可选地，所述第二检测模块40，还用于：

根据所述流量数据的周期性特征，对所述流量数据进行二维化得到二维数据；

对所述二维数据进行切片处理，得到二维特征矩阵；

对所述二维特征矩阵进行特征提取，并根据提取的特征确定所述通信对数据的流量的预测值；

将所述通信对的流量的预测值与所述通信对的流量的真实值进行比较，判断所述通信对数据的流量是否异常。

可选地，所述网络流量检测装置还包括告警提示模块，用于：

若检测到所述非关键通信对数据的监控指标数据中存在异常数据，输出告警信息，其中，所述告警信息中包括存在异常数据的目标非关键通信对数据，以及所述目标非关键通信对数据的异常指标；

若目标非关键通信对的异常指标有多个，则在所述告警信息中对多个异常指标进行排序。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有网络流量检测程序，所述网络流量检测程序被处理器执行时实现上述实施例提供的网络流量检测方法中的操作。

此外，本发明实施例还提出一种计算机程序产品，包括计算机程序，所述计算机被处理器执行时实现上述实施例提供的网络流量检测方法中的操作。

本发明设备、计算机程序产品和计算机可读存储介质各实施例，均可参照本发明网络流量检测方法各个实施例，此处不再赘述。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来，而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序；术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。

对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的网络流量检测方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种网络流量检测方法，其特征在于，所述网络流量检测方法包括以下步骤：

当检测到通信连接请求时，获取所述通信连接请求的通信对数据和所述通信对数据的监控指标数据，其中，所述通信对数据包括关键通信对数据和非关键通信对数据；

其中，需要建立通信连接的两个终端为通信对，在所述通信对建立TCP连接时产生“三次握手”交互发送的报文信息为所述通信对数据，所述通信对数据的监控指标数据包括客户端请求数、服务器端响应数量、三次握手的syn包、三次握手的syn.ack包、三次握手的ack包、客户端带数据的包数、客户端重置包、客户端结束包、客户端无数据的包数、服务端带数据的包数、服务端reset包、服务端fin包中的至少一项，用于对所述通信对数据的流量进行监控；

其中，根据所述通信对数据所对应的通信对是否为关键通信对确定所述通信对数据是所述关键通信对数据或是所述非关键通信对数据；

其中，根据所述通信对之间的业务量，或，所述通信对中客户端的业务类型的优先级，确定所述通信对是所述关键通信对或是所述非关键通信对；

根据所述通信对数据的业务类型对所述通信对数据进行分类汇总，得到所述通信对数据的流量数据；

检测所述关键通信对数据的监控指标数据中是否存在异常数据；

若不存在，根据所述流量数据判断所述通信对数据的流量是否异常，若异常，检测所述非关键通信对数据的监控指标数据中是否存在异常数据。

2.如权利要求1所述的网络流量检测方法，其特征在于，所述检测所述关键通信对数据的监控指标数据中是否存在异常数据的步骤，包括：

将所述关键通信对数据的监控指标数据输入至预设的目标检测模型中，得到对所述关键通信对数据的监控指标数据的预测值，其中，所述目标检测模型是利用历史通信对数据对预设的基础检测模型进行迭代训练得到的；

将所述预测值与所述关键通信对数据的监控指标数据的真实值进行比较，确定所述预测值与所述真实值的目标差值；

基于所述目标差值与预设的经验阈值确定所述关键通信对数据的监控指标数据中是否存在异常数据，其中，所述经验阈值是对所述通信对数据的监控指标数据进行挖掘得到的。

3.如权利要求1所述的网络流量检测方法，其特征在于，所述流量数据包括各业务类型的子流量数据，以及对各所述子流量数据进行汇总得到的总流量数据，所述根据所述通信对数据的业务类型对所述通信对数据进行分类汇总，得到所述通信对数据的流量数据的步骤，包括：

将所述通信对数据的各监控指标数据按列排列，并按照各所述监控指标数据对业务类型相同的通信对数据进行汇总，得到各业务类型的子流量数据；

按照各所述监控指标数据对所述子流量数据进行汇总，得到所述通信对数据的总流量数据，其中，所述子流量数据和所述总流量数据为各所述监控指标数据的一维时间序列。

4.如权利要求3所述的网络流量检测方法，其特征在于，所述流量数据具有周期性特征，所述根据所述流量数据判断所述通信对的流量是否异常的步骤，包括：

根据所述流量数据的周期性特征，对所述流量数据进行二维化得到二维数据；

对所述二维数据进行切片处理，得到二维特征矩阵；

对所述二维特征矩阵进行特征提取，并根据提取的特征确定所述通信对数据的流量的预测值；

将所述通信对的流量的预测值与所述通信对的流量的真实值进行比较，判断所述通信对数据的流量是否异常。

5.如权利要求1所述的网络流量检测方法，其特征在于，所述当检测到通信连接请求时，获取所述通信连接请求的通信对数据和所述通信对数据的监控指标数据的步骤，包括：

当检测到通信连接请求时，获取所述通信连接请求的通信对数据；

对预设时间间隔内获取的各所述通信对数据进行汇总，得到所述通信对数据的监控指标数据。

6.如权利要求1所述的网络流量检测方法，其特征在于，所述检测所述非关键通信对数据的监控指标数据中是否存在异常数据的步骤之后，还包括：

若检测到所述非关键通信对数据的监控指标数据中存在异常数据，输出告警信息，其中，所述告警信息中包括存在异常数据的目标非关键通信对数据，以及所述目标非关键通信对数据的异常指标；

若目标非关键通信对的异常指标有多个，则在所述告警信息中对多个异常指标进行排序。

7.一种网络流量检测装置，其特征在于，所述网络流量检测装置包括：

数据获取模块，用于当检测到通信连接请求时，获取所述通信连接请求的通信对和所述通信对的监控指标数据，其中，所述通信对包括关键通信对和非关键通信对；

其中，需要建立通信连接的两个终端为通信对，在所述通信对建立TCP连接时产生“三次握手”交互发送的报文信息为所述通信对数据，所述通信对数据的监控指标数据包括客户端请求数、服务器端响应数量、三次握手的syn包、三次握手的syn.ack包、三次握手的ack包、客户端带数据的包数、客户端重置包、客户端结束包、客户端无数据的包数、服务端带数据的包数、服务端reset包、服务端fin包中的至少一项，用于对所述通信对数据的流量进行监控；

其中，根据所述通信对数据所对应的通信对是否为关键通信对确定所述通信对数据是所述关键通信对数据或是所述非关键通信对数据；

其中，根据所述通信对之间的业务量，或，所述通信对中客户端的业务类型的优先级，确定所述通信对是所述关键通信对或是所述非关键通信对；

数据汇总模块，用于根据所述通信对的业务类型对所述通信对进行分类汇总，得到所述通信对的流量数据；

第一检测模块，用于检测所述关键通信对的监控指标数据中是否存在异常数据；

第二检测模块，用于若不存在，根据所述流量数据判断所述通信对的流量是否异常，若异常，检测所述非关键通信对的监控指标数据中是否存在异常数据。

8.一种网络流量检测设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的网络流量检测程序，所述网络流量检测程序被所述处理器执行时实现如权利要求1至6中任一项所述的网络流量检测方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有网络流量检测程序，所述网络流量检测程序被处理器执行时实现如权利要求1至6中任一项所述的网络流量检测方法的步骤。