CN107454096A - 一种基于日志回放的误报消除方法 - Google Patents

一种基于日志回放的误报消除方法 Download PDF

Info

Publication number
CN107454096A
CN107454096A CN201710734958.7A CN201710734958A CN107454096A CN 107454096 A CN107454096 A CN 107454096A CN 201710734958 A CN201710734958 A CN 201710734958A CN 107454096 A CN107454096 A CN 107454096A
Authority
CN
China
Prior art keywords
sample storehouse
test sample
test
playback
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710734958.7A
Other languages
English (en)
Other versions
CN107454096B (zh
Inventor
郭晓
范渊
龙文洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Original Assignee
DBAPPSecurity Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DBAPPSecurity Co Ltd filed Critical DBAPPSecurity Co Ltd
Priority to CN201710734958.7A priority Critical patent/CN107454096B/zh
Publication of CN107454096A publication Critical patent/CN107454096A/zh
Application granted granted Critical
Publication of CN107454096B publication Critical patent/CN107454096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H04L63/205—Network architectures or network communication protocols for network security for managing network security; network security policies in general involving negotiation or determination of the one or more network security mechanisms to be used, e.g. by negotiation between the client and the server or between peers or by selection according to the capabilities of the entities involved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Alarm Systems (AREA)
  • Storage Device Security (AREA)

Abstract

本发明涉及网络安全技术，旨在提供一种基于日志回放的误报消除方法。该种基于日志回放的误报消除方法包括步骤：动态生成测试样本库；更新安全策略后，对规则库进行回放测试；对得到的新规则测试结果进行分析，得出新规则在测试样本库里的误报率；将得到的误报率与误报阀值比较，自动配置新规则是否开启。本发明能智能、高效地判断新安全策略的适用性，能消除新安全策略启用导致的误报，以及消除新安全策略启用导致的误阻断。

Description

一种基于日志回放的误报消除方法
技术领域
本发明是关于网络安全技术领域，特别涉及一种基于日志回放的误报消除方法。
背景技术
当WEB应用广泛，丰富的同时，WEB服务器以其强大的计算能力、处理性能及蕴含的较高价值逐渐成为主要攻击目标。SQL注入、网页篡改、网页挂马等安全事件，频繁发生。
在现实中，采用防火墙作为安全保障***的第一道防线依旧会存在这样那样的问题，由此产生了Web应用防护***WAF。Web应用防护***用以解决诸如防火墙一类传统设备束手无策的Web应用安全问题。
与传统防火墙不同，WAF工作在应用层，因此对Web应用防护具有先天的技术优势。基于对Web应用业务和逻辑的深刻理解，WAF对来自Web应用访问的各类请求进行内容检测和验证，确保其安全性与合法性，对非法的请求予以实时阻断，从而对各类网站站点进行有效防护。
WAF一般分为基于规则的保护和基于异常的保护：
基于异常的保护，是基于对合法行为应用数据建立模型，并以此为依据判断行为的异常。但这需要对应用行为业务十分了解才可能做到，可现实中这是十分困难的一件事情。
基于规则的保护，是提供各种Web应用的安全规则，建立规则库并实时维护、更新。用户可以按照这些规则对Web应用进行全方面检测和防护。这种方式效率高、全面，但这会产生一定的误报。
在实际的应用中，针对不同的***内外部环境，WAF会配置适用的规则集作为安全策略。但在安全策略启用前，需要大量人工检查、监控该安全策略是否确实适用，不会产生误报或误阻断，从而影响正常业务的进行。
发明内容
本发明的主要目的在于克服现有技术中的不足，提供一种基于日志回放的误报消除方法。为解决上述技术问题，本发明的解决方案是：
提供一种基于日志回放的误报消除方法，用于对Web应用防护***WAF的规则库进行维护，所述基于日志回放的误报消除方法包括下述步骤：
步骤一：动态生成测试样本库，具体通过下述子步骤实现：
步骤A：首先获取某个时间段(具体时间段可进行配置)内Web应用的访问日志(即WEB服务器中保存的访问日志)；
步骤B：在步骤A获取的访问日志中，抽取Web请求(所述Web请求，是客户端向Web应用发起的访问请求)；
步骤C：根据步骤B中获取的Web请求，从访问日志中获取相应Web请求参数即请求内容，形成测试样本库；
所述测试样本库保存有Web请求、Web请求参数，测试样本库是Web应用防护***WAF经过在线业务检测积累而形成的样本库；
步骤二：更新安全策略后，对规则库进行回放测试；具体通过下述子步骤实现：
步骤D：针对Web应用环境的内部变化和外部变化(在线业务***环境，即Web应用环境中存在的变化包括但不限于以下：黑客在尝试不同的新的攻击方式以构成威胁、在线业务***中发现新的安全漏洞)，对安全策略(安全策略是用于所有与安全相关活动的一套规则集合)进行更新，包括但不限于以下：重新组合规则库中已有规则、添加规则库中新规则；
所述规则库是Web应用防护***WAF上，用于对网络流量进行规则匹配，检测和过滤恶意攻击流量的规则特征库；
步骤E：回放测试检测引擎载入更新后的安全策略和测试样本库；
所述回放测试检测引擎与正常业务检测引擎是一样的工作机制，即运行规则库对访问请求进行检测，但回放测试检测引擎输入的规则库是更新后的规则库，输入的数据流量是样本库流量，仅用于进行回放测试；
步骤F：进行回放测试，回放测试检测引擎运行步骤E载入的安全策略对测试样本库里的Web请求进行检测，得到新规则测试结果；
步骤三：对步骤F中得到的新规则测试结果进行分析，得出新规则在测试样本库里的误报率(由于测试样本库中哪些样本是攻击，哪些样本不是攻击，都是已知的，故根据这些已知情况，能够得到新的安全策略误报情况，从而算出误报率)；
步骤四：将步骤三得到的误报率与误报阀值(误报阀值是可配置项)比较，自动配置新规则是否开启：若误报率不低于误报阀值，则关闭新的安全策略；若误报率低于误报阀值，则打开新的安全策略，用于作为Web应用防护***WAF的安全策略。
在本发明中，所述步骤C中，测试样本库的积累分为两种：
1)配置有测试样本库积累时间(即定期)：当测试样本库的积累时间达到所配置的积累时间时，测试样本库完成积累；
2)配置有测试样本库积累数量(即定量)：当测试样本库的积累数量达到所配置的积累数量时，测试样本库完成积累。
在本发明中，所述步骤二中，遍历测试离线进行，不影响在线检测业务。
在本发明中，所述回放测试检测引擎设置在Web应用防护***WAF中，且回放测试检测引擎与Web应用防护***WAF的正常业务检测引擎是两个独立的引擎进程，因此回放测试不影响正常业务。
与现有技术相比，本发明的有益效果是：
本发明能智能、高效地判断新安全策略的适用性，能消除新安全策略启用导致的误报，以及消除新安全策略启用导致的误阻断。
附图说明
图1为本发明的实现流程图。
图2为本发明中测试样本库的生成流程示意图。
图3为本发明中新策略测试的流程示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
如图1所示的一种基于日志回放的误报消除方法，用于对Web应用防护***WAF的规则库进行维护，具体包括下述步骤：
S1)动态生成测试样本库，具体通过下述子步骤实现：
步骤A：首先获取某个时间段(具体时间段可进行配置)内Web应用的访问日志，即WEB服务器中保存的访问日志。
步骤B：在步骤A获取的访问日志中，抽取Web请求。Web请求，是客户端向Web应用发起的访问请求。
步骤C：根据步骤B中获取的Web请求，从访问日志中获取相应Web请求参数即请求内容，形成测试样本库；
所述测试样本库保存有Web请求、Web请求参数，测试样本库是Web应用防护***WAF经过在线业务检测的积累。积累可以分两种：
1)配置测试样本库积累时间；当测试样本库的积累时间达到所配置的时间时，测试样本库将完成积累。
2)配置测试样本库积累数量；当测试样本库的积累数量达到所配置的积累数量时，测试样本库将完成积累。
S2)更新安全策略后，对规则库进行回放测试。具体通过下述子步骤实现：
步骤D：针对在线业务***环境的内部和外部变化，需要对安全策略进行更新。更新安全策略，包括但不限于以下：重新组合规则库中已有规则、添加规则库中新规则。
具体是指，在线业务***环境中存在的变化，包括但不限于以下：黑客可能在尝试不同的新的攻击方式以构成威胁、在线业务***中发现新的安全漏洞。针对这些变化，安全防护***需更新安全策略进行防护。
所述安全策略，是用于所有与安全相关活动的一套规则集合。
所述规则库是指网络安全防护设备上，用于对访问请求进行规则匹配，检测和过滤恶意攻击访问的规则特征库。
步骤E：回放测试检测引擎载入更新后的安全策略和测试样本库。
所述回放测试检测引擎设置在Web应用防护***WAF中，回放测试检测引擎与Web应用防护***WAF的正常业务检测引擎是两个独立的引擎进程，因此回放测试不影响正常业务。且回放测试检测引擎与实际运行引擎是一样的工作机制，即运行规则库对访问请求进行检测的引擎，但输入的规则库和访问请求不一样。回放测试检测引擎输入的规则库是更新后的规则库，输入的数据是样本库，仅用于进行回放测试。
步骤F：进行回放测试，回放测试检测引擎运行步骤E载入的安全策略对测试样本库里的Web请求进行检测，得到新规则测试结果。
S3)对步骤F中得到的新规则测试结果进行分析，得出新的安全策略在测试样本库里的误报率。
具体地，由于测试样本库中哪些样本是攻击，哪些样本不是攻击，都是已知的。根据这些已知情况，能够得到新的安全策略误报情况，从而算出误报率。
S4)将步骤三得到的误报率与误报阀值(误报阀值是可配置项)比较，自动配置新规则是否开启：若误报率不低于误报阀值，则关闭新的安全策略；若误报率低于误报阀值，则打开新的安全策略，用于作为Web应用防护***WAF的安全策略。新的安全策略在启用前，必须进行回放测试
下面的实施例可以使本专业的专业技术人员更全面地理解本发明，但不以任何方式限制本发明。
Web应用防护***WAF根据在线业务检测日志，将最近一定量的Web请求及请求参数保存下来，形成测试样本库。比如：Web请求url1、url2、url3…，积累了一万条或者一个时间周期(这两个为可配置项)。假设现在新增加了一条规则A，Web应用防护***WAF将新开一个检测引擎进程叫做回放测试检测引擎，载入新规则库A，将存储的web请求库回放，回放流量经过新开的这个检测引擎。回放测试检测引擎遍历样本库的所有Web请求并进行回放测试。Web应用防护***WAF将规则A的测试结果与误报阀值比较后，确认是否开启这条新规则A，从而消除误报。
最后，需要注意的是，以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (4)

1.一种基于日志回放的误报消除方法，用于对Web应用防护***WAF的规则库进行维护，其特征在于，所述基于日志回放的误报消除方法包括下述步骤：
步骤一：动态生成测试样本库，具体通过下述子步骤实现：
步骤A：首先获取某个时间段内Web应用的访问日志；
步骤B：在步骤A获取的访问日志中，抽取Web请求；
步骤C：根据步骤B中获取的Web请求，从访问日志中获取相应Web请求参数即请求内容，形成测试样本库；
所述测试样本库保存有Web请求、Web请求参数，测试样本库是Web应用防护***WAF经过在线业务检测积累而形成的样本库；
步骤二：更新安全策略后，对规则库进行回放测试；具体通过下述子步骤实现：
步骤D：针对Web应用环境的内部变化和外部变化，对安全策略进行更新，包括但不限于以下：重新组合规则库中已有规则、添加规则库中新规则；
所述规则库是Web应用防护***WAF上，用于对网络流量进行规则匹配，检测和过滤恶意攻击流量的规则特征库；
步骤E：回放测试检测引擎载入更新后的安全策略和测试样本库；
所述回放测试检测引擎与正常业务检测引擎是一样的工作机制，即运行规则库对访问请求进行检测，但回放测试检测引擎输入的规则库是更新后的规则库，输入的数据流量是样本库流量，仅用于进行回放测试；
步骤F：进行回放测试，回放测试检测引擎运行步骤E载入的安全策略对测试样本库里的Web请求进行检测，得到新规则测试结果；
步骤三：对步骤F中得到的新规则测试结果进行分析，得出新规则在测试样本库里的误报率；
步骤四：将步骤三得到的误报率与误报阀值比较，自动配置新规则是否开启：若误报率不低于误报阀值，则关闭新的安全策略；若误报率低于误报阀值，则打开新的安全策略，用于作为Web应用防护***WAF的安全策略。
2.根据权利要求1所述的一种基于日志回放的误报消除方法，其特征在于，所述步骤C中，测试样本库的积累分为两种：
1)配置有测试样本库积累时间：当测试样本库的积累时间达到所配置的积累时间时，测试样本库完成积累；
2)配置有测试样本库积累数量：当测试样本库的积累数量达到所配置的积累数量时，测试样本库完成积累。
3.根据权利要求1所述的一种基于日志回放的误报消除方法，其特征在于，所述步骤二中，遍历测试离线进行，不影响在线检测业务。
4.根据权利要求1所述的一种基于日志回放的误报消除方法，其特征在于，所述回放测试检测引擎设置在Web应用防护***WAF中，且回放测试检测引擎与Web应用防护***WAF的正常业务检测引擎是两个独立的引擎进程，因此回放测试不影响正常业务。
CN201710734958.7A 2017-08-24 2017-08-24 一种基于日志回放的误报消除方法 Active CN107454096B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710734958.7A CN107454096B (zh) 2017-08-24 2017-08-24 一种基于日志回放的误报消除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710734958.7A CN107454096B (zh) 2017-08-24 2017-08-24 一种基于日志回放的误报消除方法

Publications (2)

Publication Number Publication Date
CN107454096A true CN107454096A (zh) 2017-12-08
CN107454096B CN107454096B (zh) 2019-11-29

Family

ID=60494004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710734958.7A Active CN107454096B (zh) 2017-08-24 2017-08-24 一种基于日志回放的误报消除方法

Country Status (1)

Country Link
CN (1) CN107454096B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040128A (zh) * 2018-09-18 2018-12-18 四川长虹电器股份有限公司 一种基于离线pcap流量包的WAF反向代理检测方法
CN109413108A (zh) * 2018-12-18 2019-03-01 杭州安恒信息技术股份有限公司 一种基于安全的waf检测方法和***
CN113542204A (zh) * 2020-04-22 2021-10-22 中国电信股份有限公司 防护规则生成方法、装置和存储介质
CN113726779A (zh) * 2021-08-31 2021-11-30 北京天融信网络安全技术有限公司 规则误报测试方法、装置、电子设备及计算机存储介质
CN113992438A (zh) * 2021-12-27 2022-01-28 北京微步在线科技有限公司 一种网络安全检测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103491060A (zh) * 2012-06-13 2014-01-01 北京新媒传信科技有限公司 一种防御Web攻击的方法、装置、及***
CN103581180A (zh) * 2013-10-28 2014-02-12 深信服网络科技（深圳）有限公司 根据攻击日志调整命中特征的方法和装置
CN104601530A (zh) * 2013-10-31 2015-05-06 中兴通讯股份有限公司 云安全服务的实现方法及***
US20150222666A1 (en) * 2014-02-06 2015-08-06 Vmware, Inc. OWL-Based Intelligent Security Audit
CN105262720A (zh) * 2015-09-07 2016-01-20 深信服网络科技（深圳）有限公司 web机器人流量识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103491060A (zh) * 2012-06-13 2014-01-01 北京新媒传信科技有限公司 一种防御Web攻击的方法、装置、及***
CN103581180A (zh) * 2013-10-28 2014-02-12 深信服网络科技（深圳）有限公司 根据攻击日志调整命中特征的方法和装置
CN104601530A (zh) * 2013-10-31 2015-05-06 中兴通讯股份有限公司 云安全服务的实现方法及***
US20150222666A1 (en) * 2014-02-06 2015-08-06 Vmware, Inc. OWL-Based Intelligent Security Audit
CN105262720A (zh) * 2015-09-07 2016-01-20 深信服网络科技（深圳）有限公司 web机器人流量识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
丁威: ""防火墙封阻引用攻击技术综述"", 《安防科技》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040128A (zh) * 2018-09-18 2018-12-18 四川长虹电器股份有限公司 一种基于离线pcap流量包的WAF反向代理检测方法
CN109040128B (zh) * 2018-09-18 2020-09-22 四川长虹电器股份有限公司 一种基于离线pcap流量包的WAF反向代理检测方法
CN109413108A (zh) * 2018-12-18 2019-03-01 杭州安恒信息技术股份有限公司 一种基于安全的waf检测方法和***
CN109413108B (zh) * 2018-12-18 2021-07-02 杭州安恒信息技术股份有限公司 一种基于安全的waf检测方法和***
CN113542204A (zh) * 2020-04-22 2021-10-22 中国电信股份有限公司 防护规则生成方法、装置和存储介质
CN113726779A (zh) * 2021-08-31 2021-11-30 北京天融信网络安全技术有限公司 规则误报测试方法、装置、电子设备及计算机存储介质
CN113992438A (zh) * 2021-12-27 2022-01-28 北京微步在线科技有限公司 一种网络安全检测方法及装置
CN113992438B (zh) * 2021-12-27 2022-03-22 北京微步在线科技有限公司 一种网络安全检测方法及装置

Also Published As

Publication number Publication date
CN107454096B (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
CN107454096B (zh) 一种基于日志回放的误报消除方法
Caselli et al. Sequence-aware intrusion detection in industrial control systems
Orojloo et al. A method for evaluating the consequence propagation of security attacks in cyber–physical systems
CN106790023A (zh) 网络安全联合防御方法和装置
US20150355957A1 (en) System and method for real-time detection of anomalies in database usage
Jardine et al. Senami: Selective non-invasive active monitoring for ics intrusion detection
WO2016150313A1 (zh) 一种可疑进程的探测方法及装置
CN104144063A (zh) 基于日志分析和防火墙安全矩阵的网站安全监控报警***
CN106209826A (zh) 一种网络安全设备监测的安全事件分析方法
CN112787992A (zh) 一种敏感数据的检测与防护的方法、装置、设备和介质
CN102088379A (zh) 基于沙箱技术的客户端蜜罐网页恶意代码检测方法与装置
Taveras SCADA live forensics: real time data acquisition process to detect, prevent or evaluate critical situations
CN101902349B (zh) 一种检测端口扫描行为的方法和***
CN111818102B (zh) 一种应用于网络靶场的防御效能评估方法
CN105573291B (zh) 一种基于关键参数融合校验的威胁检测方法及安全装置
Eigner et al. Towards resilient artificial intelligence: Survey and research issues
CN111079271A (zh) 一种基于***残差指纹的工业信息物理***攻击检测方法
CN106534212A (zh) 基于用户行为和数据状态的自适应安全防护方法及***
CN106470188A (zh) 安全威胁的检测方法、装置以及安全网关
CN107426196A (zh) 一种识别web入侵的方法及***
CN109787964A (zh) 进程行为溯源装置和方法
CN110597691A (zh) 一种计算机监控***
CN109743339A (zh) 电力厂站的网络安全监测方法和装置、计算机设备
Hong et al. $ R $-print: A system residuals-based fingerprinting for attack detection in industrial cyber-physical systems
CN111104670B (zh) 一种apt攻击的识别和防护方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 310051 No. 188 Lianhui Street, Xixing Street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Annan information technology Limited by Share Ltd

Address before: Zhejiang Zhongcai Building No. 68 Binjiang District road Hangzhou City, Zhejiang Province, the 310051 and 15 layer

Applicant before: Dbappsecurity Co.,ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant