CN108712365A - 一种基于流量日志的DDoS攻击事件检测方法及*** - Google Patents

一种基于流量日志的DDoS攻击事件检测方法及*** Download PDF

Info

Publication number
CN108712365A
CN108712365A CN201810251701.0A CN201810251701A CN108712365A CN 108712365 A CN108712365 A CN 108712365A CN 201810251701 A CN201810251701 A CN 201810251701A CN 108712365 A CN108712365 A CN 108712365A
Authority
CN
China
Prior art keywords
value
ddos attack
period
flow
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810251701.0A
Other languages
English (en)
Other versions
CN108712365B (zh
Inventor
李明哲
刘丙双
涂波
张洛什
尚秋里
苗权
康春建
刘鑫沛
李传海
戴帅夫
张建宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHANGAN COMMUNICATION TECHNOLOGY Co Ltd
National Computer Network and Information Security Management Center
Original Assignee
CHANGAN COMMUNICATION TECHNOLOGY Co Ltd
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHANGAN COMMUNICATION TECHNOLOGY Co Ltd, National Computer Network and Information Security Management Center filed Critical CHANGAN COMMUNICATION TECHNOLOGY Co Ltd
Publication of CN108712365A publication Critical patent/CN108712365A/zh
Application granted granted Critical
Publication of CN108712365B publication Critical patent/CN108712365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1458—Denial of Service

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种基于流量日志的DDoS攻击事件检测方法，步骤包括：确定统计周期，在每个统计周期读取海量网络流量日志，统计所有被关注的IP在各统计周期内接收到的网络流量值；将单个统计周期内接收到的流量超过一阈值T1的IP及其对应的流量值存储为流量记录；筛选出当前统计周期内接收到的当前流量超过一阈值T2的IP集合；针对所述IP集合中的每个IP，从所述流量记录中读取其历史流量值，如果有IP的历史流量值不存在或者小于其当前流量值的R倍，则判定该IP遭受DDoS攻击。本发明还提供一种基于流量日志的DDoS攻击事件检测***。

Description

一种基于流量日志的DDoS攻击事件检测方法及***
技术领域
本发明涉及网络安全、大数据分析等领域，具体涉及一种基于大型网络的海量流量日志发现DDoS攻击事件的方法及***。
背景技术
分布式拒绝服务(DDoS：Distributed Denial of Service)攻击指借助于客户/服务器技术，将多个计算机联合起来作为攻击平台，对一个或多个目标发动DDoS攻击，从而成倍地提高拒绝服务攻击的威力。通常，攻击者使用一个偷窃帐号将DDoS主控程序安装在一个计算机上，在一个设定的时间主控程序将与大量代理程序通讯，代理程序已经被安装在网络上的许多计算机上。代理程序收到指令时就发动攻击。利用客户/服务器技术，主控程序能在几秒钟内激活成百上千次代理程序的运行。
DDoS攻击通过大量合法的请求占用大量网络资源，以达到瘫痪网络的目的。这种攻击方式可分为以下几种：(1)通过使网络过载来干扰甚至阻断正常的网络通讯；(2)通过向服务器提交大量请求，使服务器超负荷；(3)阻断某一用户访问服务器；(4)阻断某服务与特定***或个人的通讯。
分布式拒绝服务攻击采取的攻击手段就是分布式的，其攻击的模式改变了传统的点对点的攻击模式，使攻击方式出现了没有规律的情况，而且在进行攻击的时候，通常使用的也是常见的协议和服务，这样只是从协议和服务的类型上是很难对攻击进行区分的。在进行攻击的时候，攻击数据包都是经过伪装的，在源IP地址上也是进行伪造的，这样就很难对攻击进行地址的确定，在查找方面也是很难的，这样就导致了分布式拒绝服务攻击在检验方法上是很难做到的。
对分布式攻击进行必要的分析，就可以得到这种攻击的特性。分布式拒绝服务在进行攻击的时候，要对攻击目标的流量地址进行集中，然后在攻击的时候不会出现拥塞控制。在进行攻击的时候会选择使用随机的端口来进行攻击，会通过数千端口对攻击的目标发送大量的数据包，使用固定的端口进行攻击的时候，会向同一个端口发送大量的数据包。
基于海量网络日志进行DDoS攻击检测的一般方法，是进行基线比较，即将某个IP地址的当前流量水平同其历史基线水平进行比较。然而，对所有IP地址的基线水平进行存储，会造成巨大的存储开销和加载开销。
发明内容
本发明的目的在于提供一种基于流量日志的DDoS攻击事件检测方法及***，能够克服基于海量网络日志的基线流量存储开销，不需要存储全部基线数据，节省存储空间。
为实现上述目的，本发明采用如下技术方案：
一种基于流量日志的DDoS攻击事件检测方法，其步骤包括：
确定统计周期，在每个统计周期读取海量网络流量日志，统计所有被关注的IP在各统计周期内接收到的网络流量值；
将单个统计周期内接收到的流量超过一阈值T1的IP及其对应的流量值存储为流量记录；
筛选出当前统计周期内接收到的当前流量超过一阈值T2的IP集合；
针对所述IP集合中的每个IP，从所述流量记录中读取其历史流量值，如果有IP的历史流量值不存在或者小于其当前流量值的R倍，则判定该IP遭受DDoS攻击。
进一步地，所述统计周期大于等于1秒，小于等于1小时。
进一步地，所述阈值T2>T1，较佳地，T2≥2T1。
进一步地，所述阈值T1≥1Mbps，通过合理地设置所述阈值T1，可针对***具体能力调节基线存储和计算的开销。
进一步地，所述阈值T2≤500Mbps。
进一步地，所述历史流量值为当前统计周期的未遭受DDoS攻击的最近一天或几天的同一时段统计周期的平均流量值。
进一步地，所述R≤0.5。
进一步地，流量记录存储为NetFlow格式。
一种基于流量日志的DDoS攻击事件检测***，包括：
一配置管理模块，用于在***初始化阶段加载包含参数T1、T2、R的配置库；
一数据接入模块，用于周期性读取流量记录，并进行格式转换，方便后续数据分析；
一数据分析模块，用于分析流量记录，发现当前统计周期内的DDoS攻击事件；
一情报输出模块，用于将当前统计周期内发现的DDoS攻击事件发往其他***，用于深入挖掘或可视化展示。
进一步地，所述流量记录存储于一大数据平台，如Hadoop。
与现有技术相比，本发明的优点在于：
在本发明方法中，只有超过T1阈值的流量值才会被存储，通过合理设置T1值，可筛选出DDoS攻击可能性高的IP，不需要存储全部基线数据，节省存储空间，减少基线比较过程的计算量的开销；如果没有这一机制，所有的流量值都会被存储，开销显然要大，例如全部流量值存储开销为1GB，而超过T1的流量值存储开销0.1GB，那么利用本方法可节约0.9GB的开销。将筛选出的IP的流量值与T2进行比较，进一步筛选出DDoS可能性更高的IP，进一步缩小范围；通过当前流量值与历史同期的正常流量值进行比较，合理设置R值，能够判定出遭受DDoS攻击的IP地址。本方法能够有效检测大规模网络中的所有流量型DDoS攻击事件。
附图说明
图1是实施例中的一种基于流量日志的DDoS攻击事件检测方法的流程图。
图2是实施例中的一种基于流量日志的DDoS攻击事件检测***框图。
图3是实施例中的一种基于流量日志的DDoS攻击事件检测***的工作示意图。
具体实施方式
为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。
本实施例提供一种基于流量日志的DDoS攻击事件检测方法，如图1所示，步骤包括：
1)确定统计周期，选择在1秒至1小时之间的某值，确定流量阈值2Mbps≤2T1≤T2≤500Mbps，确定比例值R≤0.5；
2)例行统计所有IP在各个统计周期内接收到的网络流量值；
3)将单个统计周期内接收到的流量超过阈值T1的IP及其对应的流量值存储为流量记录；
4)筛选出当前统计周期内接收到的当前流量值超过T2的IP集合；
5)针对所述IP集合中的每个IP及其对应当前流量，从流量记录读取其未遭受DDoS攻击的最近一天同一时段统计周期的历史流量值，如果一IP的历史流量值不存在，或者小于当前流量值的R倍，则判定其可能遭受DDoS攻击。
本实施例还提供一种基于流量日志的DDoS攻击事件检测***，以实现上述方法，如图2所示，包括：
配置管理模块，负责在***初始化阶段加载包含T1、T2、R等参数的配置库；
数据接入模块，负责周期性读取大数据平台中的流量记录，并进行格式转换，方便后续数据分析；
数据分析模块，负责分析流量记录，发现本周期内的DDoS攻击事件；
情报输出模块，负责将本周期内发现的DDoS攻击事件发往其他***，用于深入挖掘或可视化展示。
上述***基于大数据平台开发，可在省级运营商网络出口采集并分析网络日志，输出可能的DDoS攻击行为报告，如图3所示工作示意图，具体实施如下：
1、部署数据接入模块，作为网络探针，在被关注网络的出入口等关键位置采集网络流量，生成NetFlow格式的日志(流量记录)，并存储至大数据平台。当平台存储空间有限时，采用滚动删除的方式，保留最近2周至一个月的相关记录。
2、数据分析模块对大数据平台中存储的流量记录进行分析，尝试参数组合，检测DDoS攻击事件，将检测到的DDoS攻击事件存储于事件库中。
3、根据实际效果调整参数取值，再次应用于本***。
现有技术会不加筛选地存储所有IP的流量记录(相当于T1＝0)，虽然存储的信息更为完整，但存储开销迅速增长。而本发明提供的方法针对具体的网络环境合理设置了T1值，不需要存储全部基线数据，只关注有明显DDoS嫌疑的大流量IP地址进行周期流量存储，存储开销显著降低，节省存储空间，减少基线比较过程的计算量；通过将筛选出的IP的流量与T2进行比较，进一步筛选IP，再通过当前流量与历史流量进行比较，判定DDoS攻击，本方法能够有效检测大规模网络中的所有流量型DDoS攻击事件。
以上实施例仅用以说明本发明的技术方案而非对其限制，并且在应用上可以延伸到其他的修改、变化、应用和实施例，同时认为所有这样的修改、变化、应用、实施例都在本发明的范围内。

Claims (10)

1.一种基于流量日志的DDoS攻击事件检测方法，其步骤包括：
确定统计周期，在每个统计周期读取海量网络流量日志，统计所有被关注的IP在各统计周期内接收到的网络流量值；
将单个统计周期内接收到的流量超过一阈值T1的IP及其对应的流量值存储为流量记录；
筛选出当前统计周期内接收到的当前流量超过一阈值T2的IP集合；
针对所述IP集合中的每个IP，从所述流量记录中读取其历史流量值，如果有IP的历史流量值不存在或者小于其当前流量值的R倍，则判定该IP遭受DDoS攻击。
2.根据权利要求1所述的方法，其特征在于，所述统计周期大于1秒，小于等于1小时。
3.根据权利要求1所述的方法，其特征在于，所述阈值T2>T1，较佳地，所述阈值T2≥2T1。
4.根据权利要求1或3所述的方法，其特征在于，所述阈值T1≥1Mbps。
5.根据权利要求1或3所述的方法，其特征在于，所述阈值T2≤500Mbps。
6.根据权利要求1所述的方法，其特征在于，所述历史流量值为当前统计周期的未遭受DDoS攻击的最近一天或几天的同一时段统计周期的平均流量值。
7.根据权利要求1所述的方法，其特征在于，所述R≤0.5。
8.根据权利要求1所述的方法，其特征在于，所述流量记录存储为NetFlow格式。
9.一种基于流量日志的DDoS攻击事件检测***，包括：
一配置管理模块，用于在***初始化阶段加载包含参数T1、T2、R的配置库；
一数据接入模块，用于周期性读取流量记录，并进行格式转换；
一数据分析模块，用于分析流量记录，发现当前统计周期内的DDoS攻击事件；
一情报输出模块，用于输出当前统计周期内发现的DDoS攻击事件。
10.根据权利要求9所述的***，其特征在于，所述流量记录存储于一大数据平台。
CN201810251701.0A 2017-08-29 2018-03-26 一种基于流量日志的DDoS攻击事件检测方法及*** Active CN108712365B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2017107552711 2017-08-29
CN201710755271 2017-08-29

Publications (2)

Publication Number Publication Date
CN108712365A true CN108712365A (zh) 2018-10-26
CN108712365B CN108712365B (zh) 2020-10-27

Family

ID=63866250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810251701.0A Active CN108712365B (zh) 2017-08-29 2018-03-26 一种基于流量日志的DDoS攻击事件检测方法及***

Country Status (1)

Country Link
CN (1) CN108712365B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111200614A (zh) * 2020-01-07 2020-05-26 中山大学 一种针对第三方匿名EDoS攻击的防御方法及***
CN111541655A (zh) * 2020-04-08 2020-08-14 国家计算机网络与信息安全管理中心 网络异常流量检测方法、控制器及介质
CN113179257A (zh) * 2021-04-20 2021-07-27 杭州迪普科技股份有限公司 阈值学习方法、装置、设备及计算机可读存储介质
CN115412363A (zh) * 2022-09-13 2022-11-29 杭州迪普科技股份有限公司 异常流量日志处理方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080196103A1 (en) * 2007-02-09 2008-08-14 Chao-Yu Lin Method for analyzing abnormal network behaviors and isolating computer virus attacks
JP4216223B2 (ja) * 2004-05-10 2009-01-28 日本電信電話株式会社 ネットワーク攻撃検知装置および方法ならびにプログラム
CN101729389A (zh) * 2008-10-21 2010-06-09 北京启明星辰信息技术股份有限公司 基于流量预测和可信网络地址学习的流量控制装置和方法
CN102271068A (zh) * 2011-09-06 2011-12-07 电子科技大学 一种dos/ddos攻击检测方法
US20130291107A1 (en) * 2012-04-27 2013-10-31 The Irc Company, Inc. System and Method for Mitigating Application Layer Distributed Denial of Service Attacks Using Human Behavior Analysis
CN104954192A (zh) * 2014-03-27 2015-09-30 东华软件股份公司 一种网络流量监测方法和设备
CN106411934A (zh) * 2016-11-15 2017-02-15 平安科技（深圳）有限公司 DoS/DDoS攻击检测方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4216223B2 (ja) * 2004-05-10 2009-01-28 日本電信電話株式会社 ネットワーク攻撃検知装置および方法ならびにプログラム
US20080196103A1 (en) * 2007-02-09 2008-08-14 Chao-Yu Lin Method for analyzing abnormal network behaviors and isolating computer virus attacks
CN101729389A (zh) * 2008-10-21 2010-06-09 北京启明星辰信息技术股份有限公司 基于流量预测和可信网络地址学习的流量控制装置和方法
CN102271068A (zh) * 2011-09-06 2011-12-07 电子科技大学 一种dos/ddos攻击检测方法
US20130291107A1 (en) * 2012-04-27 2013-10-31 The Irc Company, Inc. System and Method for Mitigating Application Layer Distributed Denial of Service Attacks Using Human Behavior Analysis
CN104954192A (zh) * 2014-03-27 2015-09-30 东华软件股份公司 一种网络流量监测方法和设备
CN106411934A (zh) * 2016-11-15 2017-02-15 平安科技（深圳）有限公司 DoS/DDoS攻击检测方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111200614A (zh) * 2020-01-07 2020-05-26 中山大学 一种针对第三方匿名EDoS攻击的防御方法及***
CN111541655A (zh) * 2020-04-08 2020-08-14 国家计算机网络与信息安全管理中心 网络异常流量检测方法、控制器及介质
CN113179257A (zh) * 2021-04-20 2021-07-27 杭州迪普科技股份有限公司 阈值学习方法、装置、设备及计算机可读存储介质
CN115412363A (zh) * 2022-09-13 2022-11-29 杭州迪普科技股份有限公司 异常流量日志处理方法和装置

Also Published As

Publication number Publication date
CN108712365B (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN110149343B (zh) 一种基于流的异常通联行为检测方法和***
US9531742B2 (en) Detection of malicious network connections
KR101519623B1 (ko) 오탐률을 줄이기 위한 분산 서비스 거부 공격 탐지 장치 및 방법, 분산 서비스 거부 공격 탐지 및 방어 장치
US7114183B1 (en) Network adaptive baseline monitoring system and method
CN106790050B (zh) 一种异常流量检测方法及检测***
Zou et al. Monitoring and early warning for internet worms
US9130982B2 (en) System and method for real-time reporting of anomalous internet protocol attacks
KR101077135B1 (ko) 웹 서비스 대상 응용계층 디도스 공격 탐지 및 대응 장치
Dickerson et al. Fuzzy intrusion detection
US7836496B2 (en) Dynamic network protection
US6742128B1 (en) Threat assessment orchestrator system and method
Lung-Yut-Fong et al. Distributed detection/localization of change-points in high-dimensional network traffic data
US20050234920A1 (en) System, computer-usable medium and method for monitoring network activity
US20220239675A1 (en) Security threat detection based on network flow analysis
CN108712365A (zh) 一种基于流量日志的DDoS攻击事件检测方法及***
JP2007179131A (ja) イベント検出システム、管理端末及びプログラムと、イベント検出方法
CN109361673A (zh) 基于流量数据样本统计和平衡信息熵估计的网络异常检测方法
CN117395076A (zh) 基于大数据的网络感知异常检测***与方法
JP6970344B2 (ja) 感染拡大攻撃検知装置、攻撃元特定方法及びプログラム
Amza et al. Hybrid network intrusion detection
WO2020248306A1 (zh) 采集代理部署方法及装置
Qin et al. Symmetry degree measurement and its applications to anomaly detection
KR101338223B1 (ko) 네트워크 트래픽 분석 시스템 및 방법
Bianchi et al. Measurement data reduction through variation rate metering
Jaber Model for Preventing DDoS Attacks Using a Hypervisor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant