CN111917740B - 一种异常流量告警日志检测方法、装置、设备及介质 - Google Patents

一种异常流量告警日志检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN111917740B
CN111917740B CN202010680405.XA CN202010680405A CN111917740B CN 111917740 B CN111917740 B CN 111917740B CN 202010680405 A CN202010680405 A CN 202010680405A CN 111917740 B CN111917740 B CN 111917740B
Authority
CN
China
Prior art keywords
alarm log
alarm
flow
log
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010680405.XA
Other languages
English (en)
Other versions
CN111917740A (zh
Inventor
赵贤哲
范渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Original Assignee
DBAPPSecurity Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DBAPPSecurity Co Ltd filed Critical DBAPPSecurity Co Ltd
Priority to CN202010680405.XA priority Critical patent/CN111917740B/zh
Publication of CN111917740A publication Critical patent/CN111917740A/zh
Application granted granted Critical
Publication of CN111917740B publication Critical patent/CN111917740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种异常流量告警日志检测方法、装置、设备、介质，该方法包括：分别根据第一预设告警规则和第二预设告警规则生成原始流量包对应的第一流量告警日志和第二流量告警日志，其中，第一预设告警规则的精度高于第二预设告警规则；对所述第一流量告警日志打标签，并根据所述第一流量告警日志中的标签对所述第二流量告警日志打标签；将带有标签的所述第二流量告警日志作为样本数据，并利用所述样本数据训练预设的流量告警日志分类模型；利用训练后流量告警日志分类模型对获取到的待检测流量告警日志进行分类，以确定所述待检测流量告警日志是否为异常流量告警日志。这样可以提高检测准确率，降低误报率，增强流量威胁检测能力。

Description

一种异常流量告警日志检测方法、装置、设备及介质
技术领域
本申请涉及计算机技术领域，特别涉及一种异常流量告警日志检测方法、装置、设备、介质。
背景技术
流量告警数据是指通过抓取网络访问流量数据并进行检测后，通过网络流量分析***以一定的规则提取出的数据。在云互联网时代通常会有黑客等攻击者利用漏洞攻击等威胁手段对企业网站及业务***进行流量层面上的攻击。所以可以对流量对应的流量告警日志进行相应的检测，以便确定是否存在异常告警，以便对企业网站或业务***的管理。而在对流量告警日志检测的过程中，可以通过机器学习的方法训练模型，以对流量告警日志进行检测，以便根据检测结果对网络或***进行管理。而在机器学习的过程中需要大量的流量告警日志的样本数据进行训练，在样本准备阶段会存在样本量不足的情况，样本量过小容易出现过拟合的情况，导致检测准确率较低，存在较多误报。
发明内容
有鉴于此，本申请的目的在于提供一种异常流量告警日志检测方法、装置、设备、介质，能够提高检测准确率，降低误报率。其具体方案如下：
第一方面，本申请公开了一种异常流量告警日志检测方法，包括：
分别根据第一预设告警规则和第二预设告警规则生成原始流量包对应的第一流量告警日志和第二流量告警日志，其中，所述第一预设告警规则的精度高于第二预设告警规则；
对所述第一流量告警日志打标签，并根据所述第一流量告警日志中的标签对所述第二流量告警日志打标签；
将带有标签的所述第二流量告警日志作为样本数据，并利用所述样本数据训练预设的流量告警日志分类模型；
利用训练后流量告警日志分类模型对获取到的待检测流量告警日志进行分类，以确定所述待检测流量告警日志是否为异常流量告警日志。
可选地，所述分别根据第一预设告警规则和第二预设告警规则生成原始流量包对应的第一流量告警日志和第二流量告警日志之后，还包括：
分别将所述第一流量告警日志和所述第二流量告警日志中不属于预设告警类型的流量告警日志删除；
将保留下的第一流量告警日志和第二流量告警日志中满足预设要求的流量告警日志删除，其中，所述预设要求包括流量告警日志中的数据无法解析和/或流量告警日志对应的访问地址为预设访问地址。
可选地，所述对所述第一流量告警日志打标签之前，还包括：
判断所述第一流量告警日志的告警数量是否小于或等于所述第二流量告警日志的告警数量；
如果所述第一流量告警日志的告警数量小于或等于所述第二流量告警日志的告警数量，则对所述第一流量告警日志打标签。
可选地，所述对所述第一流量告警日志打标签，包括
获取所述第一流量告警日志的标签信息，其中，所述标签信息包括误报标签和非误报标签；
根据所述标签信息对所述第一流量告警日志打标签。
可选地，所述分别根据第一预设告警规则和第二预设告警规则生成原始流量包对应的第一流量告警日志和第二流量告警日志，包括：
通过suricata分别根据第一预设告警规则和第二预设告警规则生成原始流量包对应的第一流量告警日志和第二流量告警日志。
可选地，所述根据所述第一流量告警日志中的标签对所述第二流量告警日志打标签，包括：
将所述第一流量告警日志中的各个流量告警日志分别与所述第二流量告警日志中的各个流量告警日志进行比对；
对所述第一流量告警日志和所述第二流量告警日志中相同的流量告警日志进行标签同步处理。
可选地，所述将所述第一流量告警日志中的各个流量告警日志分别与所述第二流量告警日志中的各个流量告警日志进行比对之后，还包括：
对所述第二流量告警日志中存在，且所述第一流量告警日志中不存在的流量告警日志打误报标签。
第二方面，本申请公开了一种异常流量告警日志检测装置，包括：
日志生成模块，用于分别根据第一预设告警规则和第二预设告警规则生成原始流量包对应的第一流量告警日志和第二流量告警日志，其中，所述第一预设告警规则的精度高于第二预设告警规则；
打标签模块，用于对所述第一流量告警日志打标签，并根据所述第一流量告警日志中的标签对所述第二流量告警日志打标签；
模型训练模块，用于将带有标签的所述第二流量告警日志作为样本数据，并利用所述样本数据训练预设的流量告警日志分类模型；
检测模块，用于利用训练后流量告警日志分类模型对获取到的待检测流量告警日志进行分类，以确定所述待检测流量告警日志是否为异常流量告警日志。
第三方面，本申请公开了一种电子设备，包括：
存储器和处理器；
其中，所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序，以实现前述公开的异常流量告警日志检测方法。
第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述公开的异常流量告警日志检测方法。
可见，本申请先分别根据第一预设告警规则和第二预设告警规则生成原始流量包对应的第一流量告警日志和第二流量告警日志，其中，所述第一预设告警规则的精度高于第二预设告警规则，然后对所述第一流量告警日志打标签，并根据所述第一流量告警日志中的标签对所述第二流量告警日志打标签，再将带有标签的所述第二流量告警日志作为样本数据，并利用所述样本数据训练预设的流量告警日志分类模型，然后利用训练后流量告警日志分类模型对获取到的待检测流量告警日志进行分类，以确定所述待检测流量告警日志是否为异常流量告警日志。由此可见，本申请可以先利用原始流量包和预设告警规则生成样本数据，以便解决在机器学习中的训练样本不足问题，然后再利用生成的训练样本训练流量告警日志分类模型，在所述流量告警日志分类模型训练完成之后，便可以利用训练后流量告警日志分类模型对获取到的待检测流量告警日志，以确定所述待检测流量告警日志是否为异常流量告警日志。这样先生成大量的样本数据，并利用生成的大量样本数据训练模型，可以提高检测准确率，降低误报率，增强流量威胁检测能力。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种异常流量告警日志检测方法流程图；
图2为本申请公开的一种具体的异常流量告警日志检测方法流程图；
图3为本申请公开的一种第一流量告警日志和第二流量告警日志的关系示意图；
图4为本申请公开的一种具体的异常流量告警日志检测部分方法流程图；
图5为本申请公开的一种异常流量告警日志检测装置结构示意图；
图6为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1所示，本申请实施例公开了一种异常流量告警日志检测方法，该方法包括：
步骤S11：分别根据第一预设告警规则和第二预设告警规则生成原始流量包对应的第一流量告警日志和第二流量告警日志，其中，所述第一预设告警规则的精度高于第二预设告警规则。
在具体的实施过程中，需要先分别根据第一预设告警规则和第二告警规则生成原始流量对应的第一流量告警日志和第二流量告警日志，其中，所述第一预设告警规则的精度高于所述第二预设告警规则的精度。可以先获取所述第一预设告警规则，将获取到的所述第一预设告警规则修改之后作为所述第二预设告警规则，使得所述第一预设告警规则的精度大于所述第二预设告警规则的精度。例如，所述第一预设告警规则为alert http anyany->any any(msg:”检测到sql注入攻击”；content:”select”；http_uri；content:”from”；http_uri；distance:0；)。则将所述第一预设告警规则修改后作为第二预设告警规则，所述第二预设告警规则为alert http any any->any any(msg:”检测到sql注入攻击”；content:”select”；http_uri；content:”from”；http_uri；)。这样可以使得所述第二流量告警日志中包括所述第一流量告警日志的内容。
在生成所述第一流量告警日志和所述第二流量告警日志之前，还需要抓取所述原始流量包。在实际应用中，可以通过使用tcpdump方法在服务器上进行流量包的抓取工作，并存储为pcap后缀文件作为原始流量包。具体的，可以通过执行“tcpdump-XvvennSs 0-iens22 tcp-w http.pcap”命令在服务器上进行流量包的抓取。
步骤S12：对所述第一流量告警日志打标签，并根据所述第一流量告警日志中的标签对所述第二流量告警日志打标签。
在生成所述第一流量告警日志和所述第二流量告警日志之后，还需要对所述流量告警日志打标签，并根据所述第一流量告警日志中的标签对所述第二流量告警日志打标签。具体的，可以获取所述第一流量告警日志的标签信息，其中，所述标签信息包括误报标签和非误报标签；根据所述标签信息对所述第一流量告警日志打标签。
由于所述第一预设告警规则的精度高于所述第二预设告警规则的精度，所以所述第二流量告警日志包括第一流量告警日志中的日志，所以可以根据所述第一流量告警日志中的标签对所述第二流量告警日志打标签。
步骤S13：将带有标签的所述第二流量告警日志作为样本数据，并利用所述样本数据训练预设的流量告警日志分类模型。
在根据所述第一流量告警日志中的标签对所述第二流量告警日志打标签之后，便可以得到带有标签的第二流量告警日志，便可以将带有标签的第二流量告警日志作为样本数据，并利用所述样本数据训练预设的流量告警日志分类模型。其中，利用所述第二流量告警日志训练预设的流量告警日志分类模型之前，还包括：构建所述流量告警日志分类模型，其中，所述流量告警日志分类模型可以是分类器。
步骤S14：利用训练后流量告警日志分类模型对获取到的待检测流量告警日志进行分类，以确定所述待检测流量告警日志是否为异常流量告警日志。
在利用带有标签的第二流量告警日志对预设的流量告警日志模型进行训练之后，得到训练后流量告警日志分类模型，所述训练后流量告警日志分类模型可以将输入的日志分为正常流量告警日志和异常流量告警日志，异常流量告警日志也即误报流量告警日志。所以可以利用所述训练后流量告警日志分类模型对获取到的待检测流量告警日志进行分类，便可以确定所述待检测流量告警日志是否为异常流量告警日志。
可见，本申请先分别根据第一预设告警规则和第二预设告警规则生成原始流量包对应的第一流量告警日志和第二流量告警日志，其中，所述第一预设告警规则的精度高于第二预设告警规则，然后对所述第一流量告警日志打标签，并根据所述第一流量告警日志中的标签对所述第二流量告警日志打标签，再将带有标签的所述第二流量告警日志作为样本数据，并利用所述样本数据训练预设的流量告警日志分类模型，然后利用训练后流量告警日志分类模型对获取到的待检测流量告警日志进行分类，以确定所述待检测流量告警日志是否为异常流量告警日志。由此可见，本申请可以先利用原始流量包和预设告警规则生成样本数据，以便解决在机器学习中的训练样本不足问题，然后再利用生成的训练样本训练流量告警日志分类模型，在所述流量告警日志分类模型训练完成之后，便可以利用训练后流量告警日志分类模型对获取到的待检测流量告警日志，以确定所述待检测流量告警日志是否为异常流量告警日志。这样先生成大量的样本数据，并利用生成的大量样本数据训练模型，可以提高检测准确率，降低误报率，增强流量威胁检测能力。
参见图2所示，本申请实施例公开了一种具体的异常流量告警日志检测方法，该方法包括：
步骤S21：通过suricata分别根据第一预设告警规则和第二预设告警规则生成原始流量包对应的第一流量告警日志和第二流量告警日志，其中，所述第一预设告警规则的精度高于第二预设告警规则。
在实际应用中，可以利用suricata分别根据第一预设告警规则和第二预设告警规则生成原始流量包对应的第一流量告警日志和第二流量告警日志，其中，所述第一预设告警规则的精度高于第二预设告警规则。具体的，可以通过修改suricata的配置文件以加载所述第一预设告警规则和所述第二预设告警规则，使用suricata-r http.pcap-l log/方式分别生成两个日志文件，分别命名为第一流量告警日志和第二流量告警日志。参见图3所示，所述第二流量告警日志包括所述第一流量告警日志的日志。所述第一流量告警日志和所述第二流量告警日志中的每一行皆为json格式，表示一条流量告警日志。
步骤S22：分别将所述第一流量告警日志和所述第二流量告警日志中不属于预设告警类型的流量告警日志删除。
在得到所述第一流量告警日志和所述第二流量告警日志之后，还需要对所述第一流量告警日志和所述第二流量告警日志进行相应的处理，包括：分别将所述第一流量告警日志和所述第二流量告警日志中不属于预设告警类型的流量告警日志删除。其中，所述预设告警类型可以根据实际情况进行确定。例如，需对http协议的数据进行打标签操作可以通过python将所述第一流量告警日志和所述第二流量告警日志中每一行json的appProtocol字段为http的数据进行保留，其余数据进行删除处理。
步骤S23：将保留下的第一流量告警日志和第二流量告警日志中满足预设要求的流量告警日志删除，其中，所述预设要求包括流量告警日志中的数据无法解析和/或流量告警日志对应的访问地址为预设访问地址。
将所述第一流量告警日志和所述第二流量告警日志中属于预设告警类型的日志保留下来之后，还需要将保留下的第一流量告警日志和第二流量告警日志中满足预设要求的流量告警日志删除，其中，所述预设要求包括流量告警日志中的数据无法解析和/或流量告警日志对应的访问地址为预设访问地址。保留下的第一流量告警日志和第二流量告警日志中可能存在大量无法解析或者业务产生的无效数据，所以需要将这些数量删除。例如，在业务***中有部分传输过程中为字节流传输信息，该部分信息并不具有可读性，产生的日志为乱码，但是与预设告警规则匹配上，则可以通过提取特征和python编写脚本对所述第一流量告警日志和所述第二流量告警日志中的该部分数据进行过滤，将这部分数据清除。具体的，就是对所述第一流量告警日志和所述第二流量告警日志中的数据进行质量控制，使得后续得到的样本数据可用性较高。
步骤S24：对所述第一流量告警日志打标签，并根据所述第一流量告警日志中的标签对所述第二流量告警日志打标签。
在对所述第一流量告警日志和所述第二流量告警日志进行相应的处理之后，便可以对所述第一流量告警日志打标签。
在对所述第一流量告警日志打标签之前，还包括：判断所述第一流量告警日志的告警数量是否小于或等于所述第二流量告警日志的告警数量；如果所述第一流量告警日志的告警数量小于或等于所述第二流量告警日志的告警数量，则对所述第一流量告警日志打标签。在实际应用中，为使得可以根据所述第一流量告警日志的标签对所述第二流量告警日志打标签，所以需要所述第一流量告警日志中的告警数量小于或等于所述第二流量告警日志中的告警数量。如果所述第一流量告警日志中的告警数量大于所述第二流量告警日志，则需要获取所述第一预设告警规则和所述第二告警规则。具体的，可以使用python等脚本统计所述第一流量告警日志和所述第二流量告警日志中的告警数量。
在所述第一流量告警日志中的告警数量小于或等于所述第二流量告警日志中的告警数量时，对所述第一流量告警日志打标签。对所述第一流量告警日志打标签，包括获取所述第一流量告警日志的标签信息，其中，所述标签信息包括误报标签和非误报标签；根据所述标签信息对所述第一流量告警日志打标签。也可以将所述第一流量告警日志通过logstash发送至ES
(ElasticSearch)，通过kibana等方式进行筛查并对告警数据进行打标签的操作。例如，数据中存在某个字段唯一可确定该告警，则将该字段作为记录的值，并对该值进行记录是否误报。
在对所述第一流量告警日志打标签之后，便可以根据所述第一流量告警日志对所述第二流量告警日志打标签。根据所述第一流量告警日志中的标签对所述第二流量告警日志打标签，包括：将所述第一流量告警日志中的各个流量告警日志分别与所述第二流量告警日志中的各个流量告警日志进行比对；对所述第一流量告警日志和所述第一流量告警日志中相同的流量告警日志进行标签同步处理。对所述第二流量告警日志中存在，且所述第一流量告警日志中不存在的流量告警日志打误报标签。具体的，就是将所述第一流量告警日志中的各个流量告警日志分别与所述第二流量告警日志中的各个流量告警日志进行比对，对于所述第一流量告警日志和所述第二流量告警日志中共有的流量告警日志进行标签同步处理，对于所述第二流量告警日志中有，但是所述第一流量告警日志中没有的流量告警日志，则打误判标签。
步骤S25：将带有标签的所述第二流量告警日志作为样本数据，并利用所述样本数据训练预设的流量告警日志分类模型。
步骤S26：利用训练后流量告警日志分类模型对获取到的待检测流量告警日志进行分类，以确定所述待检测流量告警日志是否为异常流量告警日志。
步骤S25和步骤S26的具体实施过程可以参考前述实施例中公开的内容，再次不再进行赘述。
参见图4所示，为异常流量告警日志检测方法的部分流程图。首先获取两份suricata规则，也即第一预设告警规则和第二预设告警规则，并抓取流量包，可以利用PCAP进行抓包。然后suricata根据两份suricata规则和抓取到的流量包产生2份流量告警日志，即第一流量告警日志和第二流量告警日志。对两份流量告警日志进行类型过滤，保留下所需类型日志，在对两份流量告警日志中保留下的数据进行质量控制，也即，将无法解码等的数据删除。然后对第一份规则产生的流量告警日志中的误报进行筛查并打标签，第一份规则产生的流量告警日志也即第一流量告警日志。将第一份规则产生的流量告警日志和第二份规则产生的流量告警日志进行告警比对，对第二份规则产生的流量告警日志中的数据批量打标签。
参见图5所示，本申请实施例公开了一种异常流量告警日志检测装置，包括：
日志生成模块11，用于分别根据第一预设告警规则和第二预设告警规则生成原始流量包对应的第一流量告警日志和第二流量告警日志，其中，所述第一预设告警规则的精度高于第二预设告警规则；
打标签模块12，用于对所述第一流量告警日志打标签，并根据所述第一流量告警日志中的标签对所述第二流量告警日志打标签；
模型训练模块13，用于将带有标签的所述第二流量告警日志作为样本数据，并利用所述样本数据训练预设的流量告警日志分类模型；
检测模块14，用于利用训练后流量告警日志分类模型对获取到的待检测流量告警日志进行分类，以确定所述待检测流量告警日志是否为异常流量告警日志。
可见，本申请先分别根据第一预设告警规则和第二预设告警规则生成原始流量包对应的第一流量告警日志和第二流量告警日志，其中，所述第一预设告警规则的精度高于第二预设告警规则，然后对所述第一流量告警日志打标签，并根据所述第一流量告警日志中的标签对所述第二流量告警日志打标签，再将带有标签的所述第二流量告警日志作为样本数据，并利用所述样本数据训练预设的流量告警日志分类模型，然后利用训练后流量告警日志分类模型对获取到的待检测流量告警日志进行分类，以确定所述待检测流量告警日志是否为异常流量告警日志。由此可见，本申请可以先利用原始流量包和预设告警规则生成样本数据，以便解决在机器学习中的训练样本不足问题，然后再利用生成的训练样本训练流量告警日志分类模型，在所述流量告警日志分类模型训练完成之后，便可以利用训练后流量告警日志分类模型对获取到的待检测流量告警日志，以确定所述待检测流量告警日志是否为异常流量告警日志。这样先生成大量的样本数据，并利用生成的大量样本数据训练模型，可以提高检测准确率，降低误报率，增强流量威胁检测能力。
进一步的，所述异常流量告警日志检测装置，还包括：
第一数据处理模块，用于分别将所述第一流量告警日志和所述第二流量告警日志中不属于预设告警类型的流量告警日志删除；
第二数据处理模块，用于将保留下的第一流量告警日志和第二流量告警日志中满足预设要求的流量告警日志删除，其中，所述预设要求包括流量告警日志中的数据无法解析和/或流量告警日志对应的访问地址为预设访问地址。
进一步的，所述异常流量告警日志检测装置，还包括：
判断模块，用于判断所述第一流量告警日志的告警数量是否小于或等于所述第二流量告警日志的告警数量；
相应的，所述打标签模块12，用于在所述第一流量告警日志的告警数量小于或等于所述第二流量告警日志的告警数量时，则对所述第一流量告警日志打标签。
具体的，所述打标签模块12，包括：
信息获取单元，用于获取所述第一流量告警日志的标签信息，其中，所述标签信息包括误报标签和非误报标签；
第一打标签单元，用于根据所述标签信息对所述第一流量告警日志打标签。
在实际应用中，日志生成模块11，具体用于：
通过suricata分别根据第一预设告警规则和第二预设告警规则生成原始流量包对应的第一流量告警日志和第二流量告警日志。
具体的，所述打标签模块12，包括：
比对单元，用于将所述第一流量告警日志中的各个流量告警日志分别与所述第二流量告警日志中的各个流量告警日志进行比对；
标签同步单元，用于对所述第一流量告警日志和所述第二流量告警日志中相同的流量告警日志进行标签同步处理。
具体的，所述打标签模块12，包括：
第二打标签单元，用于对所述第二流量告警日志中存在，且所述第一流量告警日志中不存在的流量告警日志打误报标签。
参见图6所示，为本申请实施例提供的一种电子设备20的结构示意图，该电子设备20能够实现前述实施例中公开的异常流量告警日志检测方法。
通常，本实施例中的电子设备20包括：处理器21和存储器22。
其中，处理器21可以包括一个或多个处理核心，比如四核心处理器、八核心处理器等。处理器21可以采用DSP(digital signal processing,数字信号处理)、FPGA(field-programmable gate array,现场可编程们阵列)、PLA(programmable logic array,可编程逻辑阵列)中的至少一种硬件来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(central processing unit,中应处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以集成有GPU(graphics processing unit,图像处理器)，GPU用于负责显示屏所需要显示的图像的渲染和绘制。一些实施例中，处理器21可以包括AI(artificialintelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器22可以包括一个或多个计算机可读存储介质，计算机可读存储介质可以是非暂态的。存储器22还可以包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器22至少用于存储以下计算机程序221，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例中公开的异常流量告警日志检测的方法步骤。另外，存储器22所存储的资源还可以包括操作***222和数据223等，存储方式可以是短暂存储也可以是永久存储。其中，操作***222可以是Windows、Unix、Linux等。数据223可以包括各种各样的数据。
在一些实施例中，电子设备20还可包括有显示屏23、输入输出接口24、通信接口25、传感器26、电源27以及通信总线28。
本技术领域人员可以理解，图6中示出的结构并不构成对电子设备20的限定，可以包括比图示更多或更少的组件。
进一步的，本申请实施例还公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述任一实施例中公开的异常流量告警日志检测方法。
其中，关于上述异常流量告警日志检测方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得一系列包含其他要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的一种异常流量告警日志检测方法、装置、设备、介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种异常流量告警日志检测方法，其特征在于，包括：
分别根据第一预设告警规则和第二预设告警规则生成原始流量包对应的第一流量告警日志和第二流量告警日志，其中，所述第一预设告警规则的精度高于第二预设告警规则；
对所述第一流量告警日志打标签，并根据所述第一流量告警日志中的标签对所述第二流量告警日志打标签；
将带有标签的所述第二流量告警日志作为样本数据，并利用所述样本数据训练预设的流量告警日志分类模型；
利用训练后流量告警日志分类模型对获取到的待检测流量告警日志进行分类，以确定所述待检测流量告警日志是否为异常流量告警日志；
所述根据所述第一流量告警日志中的标签对所述第二流量告警日志打标签，包括：
将所述第一流量告警日志中的各个流量告警日志分别与所述第二流量告警日志中的各个流量告警日志进行比对；
对所述第一流量告警日志和所述第二流量告警日志中相同的流量告警日志进行标签同步处理；
所述将所述第一流量告警日志中的各个流量告警日志分别与所述第二流量告警日志中的各个流量告警日志进行比对之后，还包括：
对所述第二流量告警日志中存在，且所述第一流量告警日志中不存在的流量告警日志打误报标签。
2.根据权利要求1所述的异常流量告警日志检测方法，其特征在于，所述分别根据第一预设告警规则和第二预设告警规则生成原始流量包对应的第一流量告警日志和第二流量告警日志之后，还包括：
分别将所述第一流量告警日志和所述第二流量告警日志中不属于预设告警类型的流量告警日志删除；
将保留下的第一流量告警日志和第二流量告警日志中满足预设要求的流量告警日志删除，其中，所述预设要求包括流量告警日志中的数据无法解析和/或流量告警日志对应的访问地址为预设访问地址。
3.根据权利要求1所述的异常流量告警日志检测方法，其特征在于，所述对所述第一流量告警日志打标签之前，还包括：
判断所述第一流量告警日志的告警数量是否小于或等于所述第二流量告警日志的告警数量；
如果所述第一流量告警日志的告警数量小于或等于所述第二流量告警日志的告警数量，则对所述第一流量告警日志打标签。
4.根据权利要求1所述的异常流量告警日志检测方法，其特征在于，所述对所述第一流量告警日志打标签，包括
获取所述第一流量告警日志的标签信息，其中，所述标签信息包括误报标签和非误报标签；
根据所述标签信息对所述第一流量告警日志打标签。
5.根据权利要求1所述的异常流量告警日志检测方法，其特征在于，所述分别根据第一预设告警规则和第二预设告警规则生成原始流量包对应的第一流量告警日志和第二流量告警日志，包括：
通过suricata分别根据第一预设告警规则和第二预设告警规则生成原始流量包对应的第一流量告警日志和第二流量告警日志。
6.一种异常流量告警日志检测装置，其特征在于，包括：
日志生成模块，用于分别根据第一预设告警规则和第二预设告警规则生成原始流量包对应的第一流量告警日志和第二流量告警日志，其中，所述第一预设告警规则的精度高于第二预设告警规则；
打标签模块，用于对所述第一流量告警日志打标签，并根据所述第一流量告警日志中的标签对所述第二流量告警日志打标签；
模型训练模块，用于将带有标签的所述第二流量告警日志作为样本数据，并利用所述样本数据训练预设的流量告警日志分类模型；
检测模块，用于利用训练后流量告警日志分类模型对获取到的待检测流量告警日志进行分类，以确定所述待检测流量告警日志是否为异常流量告警日志；
所述打标签模块，包括：
比对单元，用于将所述第一流量告警日志中的各个流量告警日志分别与所述第二流量告警日志中的各个流量告警日志进行比对；
标签同步单元，用于对所述第一流量告警日志和所述第二流量告警日志中相同的流量告警日志进行标签同步处理；
第二打标签单元，用于对所述第二流量告警日志中存在，且所述第一流量告警日志中不存在的流量告警日志打误报标签。
7.一种电子设备，其特征在于，包括：
存储器和处理器；
其中，所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序，以实现权利要求1至5任一项所述的异常流量告警日志检测方法。
8.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的异常流量告警日志检测方法。
CN202010680405.XA 2020-07-15 2020-07-15 一种异常流量告警日志检测方法、装置、设备及介质 Active CN111917740B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010680405.XA CN111917740B (zh) 2020-07-15 2020-07-15 一种异常流量告警日志检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010680405.XA CN111917740B (zh) 2020-07-15 2020-07-15 一种异常流量告警日志检测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111917740A CN111917740A (zh) 2020-11-10
CN111917740B true CN111917740B (zh) 2022-08-26

Family

ID=73281182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010680405.XA Active CN111917740B (zh) 2020-07-15 2020-07-15 一种异常流量告警日志检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111917740B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112685277B (zh) * 2020-12-31 2023-01-24 海光信息技术股份有限公司 警告信息检查方法、装置、电子设备和可读存储介质
CN112953756A (zh) * 2021-01-22 2021-06-11 武汉武钢绿色城市技术发展有限公司 一种基于python的网络环路消除方法
CN112948211A (zh) * 2021-02-26 2021-06-11 杭州安恒信息技术股份有限公司 一种基于日志处理的告警方法、装置、设备及介质
CN112711516B (zh) * 2021-03-26 2021-06-18 腾讯科技（深圳）有限公司 一种数据处理方法和相关装置
CN113052338B (zh) * 2021-03-31 2022-11-08 上海天旦网络科技发展有限公司 基于规则与模型增强的运维告警规则生成方法和***
CN113852591B (zh) * 2021-06-08 2023-09-22 天翼数字生活科技有限公司 基于改进四分位差法的摄像头异常访问识别与告警方法
CN114070642A (zh) * 2021-11-26 2022-02-18 中国电信股份有限公司 网络安全检测方法、***、设备及存储介质
CN114466009A (zh) * 2021-12-22 2022-05-10 天翼云科技有限公司 数据处理方法、边缘超融合端、云端及可读存储介质
CN115766079B (zh) * 2022-10-10 2023-12-05 北京明朝万达科技股份有限公司 一种流量数据处理方法、装置、电子设备及可读存储介质
CN116860578A (zh) * 2023-07-07 2023-10-10 广州守恶网络科技有限公司 一种网络与信息安全日志管理***及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019770A (zh) * 2017-07-24 2019-07-16 华为技术有限公司 训练分类模型的方法与装置
US20190236460A1 (en) * 2018-01-29 2019-08-01 Salesforce.Com, Inc. Machine learnt match rules
CN109344862B (zh) * 2018-08-21 2023-11-28 中国平安人寿保险股份有限公司 正样本的获取方法、装置、计算机设备和存储介质
CN109389030B (zh) * 2018-08-23 2022-11-29 平安科技（深圳）有限公司 人脸特征点检测方法、装置、计算机设备及存储介质
CN110717551B (zh) * 2019-10-18 2023-01-20 中国电子信息产业集团有限公司第六研究所 流量识别模型的训练方法、装置及电子设备
CN111222648B (zh) * 2020-01-15 2023-09-26 深圳前海微众银行股份有限公司 半监督机器学习优化方法、装置、设备及存储介质
CN111291895B (zh) * 2020-01-17 2022-06-28 支付宝(杭州)信息技术有限公司 组合特征评估模型的样本生成和训练方法及装置
CN111277606B (zh) * 2020-02-10 2022-04-15 北京邮电大学 检测模型训练方法、检测方法及装置、存储介质

Also Published As

Publication number Publication date
CN111917740A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN111917740B (zh) 一种异常流量告警日志检测方法、装置、设备及介质
EP3469770B1 (en) Spam classification system based on network flow data
US9954805B2 (en) Graymail filtering-based on user preferences
CN108718298B (zh) 一种恶意外连流量检测方法及装置
CN109492118B (zh) 一种数据检测方法及检测装置
CN107395650B (zh) 基于沙箱检测文件识别木马回连方法及装置
JP2016091549A (ja) マルウェアイベントとバックグラウンドイベントとを分離するためのシステム、デバイス、および方法
CN113051543B (zh) 在大数据环境下的云服务安全校验方法及云服务***
CN113328994B (zh) 一种恶意域名处理方法、装置、设备及机器可读存储介质
EP3905084A1 (en) Method and device for detecting malware
CN111049786A (zh) 一种网络攻击的检测方法、装置、设备及存储介质
CN111177795A (zh) 一种利用区块链识别视频篡改的方法、装置和计算机存储介质
CN110602030A (zh) 网络入侵阻断方法、服务器及计算机可读介质
CN111049783A (zh) 一种网络攻击的检测方法、装置、设备及存储介质
CN113472803A (zh) 漏洞攻击状态检测方法、装置、计算机设备和存储介质
CN113507461A (zh) 基于大数据的网络监控***及网络监控方法
CN111464510A (zh) 一种基于快速梯度提升树模型的网络实时入侵检测方法
US9332031B1 (en) Categorizing accounts based on associated images
US11423099B2 (en) Classification apparatus, classification method, and classification program
CN116738369A (zh) 一种流量数据的分类方法、装置、设备及存储介质
CN117009963A (zh) 用于基于机器学习的恶意软件检测的***和方法
CN115643044A (zh) 数据处理方法、装置、服务器及存储介质
CN113810342B (zh) 一种入侵检测方法、装置、设备、介质
CN114254704A (zh) 一种http隧道检测方法、装置、电子设备及存储介质
CN111526110A (zh) 检测电子邮箱账户非授权登录的方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant