CN108494746B - 一种网络端口流量异常检测方法及*** - Google Patents

一种网络端口流量异常检测方法及*** Download PDF

Info

Publication number
CN108494746B
CN108494746B CN201810187959.9A CN201810187959A CN108494746B CN 108494746 B CN108494746 B CN 108494746B CN 201810187959 A CN201810187959 A CN 201810187959A CN 108494746 B CN108494746 B CN 108494746B
Authority
CN
China
Prior art keywords
flow
port
domain name
event
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810187959.9A
Other languages
English (en)
Other versions
CN108494746A (zh
Inventor
李明哲
涂波
刘丙双
戴帅夫
张建宇
李少华
闻博
梅锋
李莉
蒋志鹏
周模
冯婷婷
尚秋里
张洛什
李传海
方喆君
孙中豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chang'an Communication Technology Co ltd
National Computer Network and Information Security Management Center
Original Assignee
Chang'an Communication Technology Co ltd
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chang'an Communication Technology Co ltd, National Computer Network and Information Security Management Center filed Critical Chang'an Communication Technology Co ltd
Priority to CN201810187959.9A priority Critical patent/CN108494746B/zh
Publication of CN108494746A publication Critical patent/CN108494746A/zh
Application granted granted Critical
Publication of CN108494746B publication Critical patent/CN108494746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种网络端口流量异常检测方法及***。本方法为：1)对目标数据平台中的通联会话日志流量进行读取并按照源端口号、目的端口号分组汇总，然后统计每个端口的流量指标数据，构成对应端口的流量序列；2)根据每一端口的流量序列，构成该端口的输入向量，输入LSTM网络得到该端口时刻t的流量预测值；将该端口时刻t的流量预测值与观测值进行对比；如果二者偏差大于设定条件，则确定该端口的流量异常；3)根据该端口的近期全部流量日志和预设规则对该端口的流量异常进行定性，判断出该端口的流量异常事件；如果无法判断，则将提取的流量日志输入训练好的机器学习模型对该端口的流量异常进行分类，识别出该端口的流量异常事件。

Description

一种网络端口流量异常检测方法及***
技术领域
本发明涉及大数据、网络安全、深度学习等领域，涉及一种网络端口流量异常检测方法及***，利用广域网流量被动分析手段对DDoS、僵尸网络、病毒传播等网络异常事件进行发现与画像。
背景技术
今天的互联网面临着诸多安全威胁。例如，分布式拒绝服务(DDoS，DistributedDenial of Service)攻击对诸多组织机构的网站和设备造成过严重损失。DDoS是指借助于客户/服务器技术，将多个计算机联合起来作为攻击平台，对一个或多个目标发动DDoS攻击，从而成倍地提高拒绝服务攻击的威力。
DDoS攻击常常由某一个僵尸网络发起。僵尸网络是由被感染僵尸程序的主机组成的一个可控网络。攻击者通过命令和控制信道(C&C，Command and Control)对僵尸主机发送指令，从而进行信息窃取、拒绝服务攻击等网络攻击和犯罪。自上世纪九十年代末出现，僵尸网络结构和形态从最初简单的集中式C&C发展到基于P2P的分布式C&C，所使用的域名则从最初的固定域名演变为域名自动生成(Domain Generation Automation)。
为了应对僵尸网络的威胁，政府、企业与科研机构正在联手对僵尸网络进行检测和打击。僵尸网络检测的重要手段是对互联网流量进行采集和分析，发现异常特征，从而筛选和锁定僵尸网络成员，进而采取打击行动。对互联网流量的有效分析不仅有助于发现僵尸网络成员，同时也能检测到其他恶意网络流量，如恶意域名请求，恶意文件传播，恶意链接访问，以及DDoS攻击。
对网络流量异常的发现，依赖于对正常的流量波动进行预测。如果在广域网上观察各网络端口的流量起伏，则可以将全部流量视作65536维的时间序列。本发明的经验是，这种序列存在着多重频率的周期性，也存在偶然的波动性。恶意网络事件常常带来明显的流量波动。为了对网络流量这种复杂的时间序列进行建模，可以考虑采用循环神经网络(RNN)。
Long Short-Term Memory Neural Network(长短时记忆神经网络)简称LSTM，是一种RNN特殊的类型，可以学习长期依赖信息。LSTM由Hochreiter&Schmidhuber(1997)提出，并在近期被Alex Graves进行了改良和推广。在语音识别、语音合成、手写连体字识别、时间序列预测、图像标题生成、端到端机器翻译等领域，LSTM都取得相当巨大的成功，并得到了广泛的使用。LSTM通过刻意的设计来避免长期依赖导致神经网络训练过程中的梯度退化和发散，能序列化数据在前后序列的特征。
发明内容
本发明提出一种网络端口流量异常检测方法及***，命名为cPortMon，用于实时发现网络端口流量异常。cPortMon是cNetS网络安全监测分析***的子***。cNetS***在大量骨干网络出入口部署网络流量采集探针，并存储于基础数据大数据平台。
本发明的技术方案为：
一种网络端口流量异常检测方法，其步骤包括：
1)对目标数据平台中的通联会话日志流量进行读取并按照源端口号、目的端口号分组汇总，然后统计每个端口的流量指标数据，构成对应端口的流量序列；
2)根据每一端口的流量序列，构成该端口的输入向量，输入LSTM网络得到该端口时刻t的流量预测值；将该端口时刻t的流量预测值与该端口时刻t的观测值进行对比；如果二者偏差大于设定条件，则确定该端口的流量异常；
3)对于流量异常的端口，威胁发现模块从该目标数据平台抽取该端口的近期全部流量日志，根据提取的流量日志和预设规则对该端口的流量异常进行定性，判断出该端口的流量异常事件；如果根据预设规则无法对该端口的流量异常进行定性，则将提取的流量日志输入训练好的机器学习模型对该端口的流量异常进行分类，识别出该端口的流量异常事件。
进一步的，所述设定条件为：
Figure BDA0001590864560000021
其中，o(t)为端口时刻t的观测值，p(t)为端口时刻t的预测值；o(τ)为端口时刻τ的观测值，p(τ)为端口时刻τ的预测值，T为观测周期长度，m为自然数，k1,k2为比例系数。
进一步的，k1,k2的取值均为2。
进一步的，威胁发现模块判断出该端口的流量异常事件是否为僵尸网络事件的方法为：当提取的流量日志中出现单个主机针对大量主机相同端口发起单SYN包连接时，则认定流量源为扫描源；当出现大规模针对相同网络端口的扫描源时，认定流量异常事件为活跃僵尸网络事件。
进一步的，确定出僵尸网络事件中的僵尸机的方法为：将威胁发现模块认定为扫描源的主机确定为僵尸机，将周期性或准周期性对同一非周知域名发起请求的主机确定为僵尸机；所述非周知域名为设定的周知域名名单之外的域名。
进一步的，判断一流量源是否周期性或准周期性对同一非周知域名发起请求的方法为：获取该流量源的请求解析域名集合，并过滤掉周知域名；然后对请求解析域名集合中剩余的每个域名执行如下操作：
61)如果该流量源对当前域名d的解析请求事件序列数Nd低于阈值k5，则忽略对域名d的所有解析请求事件，结束对该域名d的处理；否则，进入步骤62)；
62)针对所有间隔，用DBSCAN算法对该流量源对域名d的所有解析请求事件进行聚类，将解析请求间隔值相同的聚为一类，如果一聚类结果C，满足|C|>k6Nd，则认定该流量源周期性对域名d发起请求，取该聚类结果C中的解析请求间隔值的均值u为域名请求周期，进入步骤64)；否则，进入步骤63)；k6取值为0.9～0.98；
63)如果出现了多个的聚类结果Ci,i＝1,2,...Nc，这些聚类结果中的解析请求间隔值的均值记作ui；取umin＝minui，如果各ui均近似为或等于umin的倍数；则认定该流量源准周期性对域名d发起请求，周期为umin；否则结束对该域名d的处理；
64)判定该流量源周期性或准周期性对该域名d发起请求，该域名d为主控域名。
一种网络端口流量异常检测***，其特征在于，包括流量采集模块、流式分析模块、流量预测模块、异常判断模块和威胁发现模块；其中，
流量采集模块，用于采集目标数据平台中的通联会话日志流量；
流式分析模块，用于按照源端口号、目的端口号对采集的通联会话日志流量进行分组汇总，然后统计每个端口的流量指标数据，构成对应端口的流量序列；
流量预测模块，用于根据每一端口的流量序列，构成该端口的输入向量，输入LSTM网络得到该端口时刻t的流量预测值；
异常判断模块，用于将端口时刻t的流量预测值与该端口时刻t的观测值进行对比，如果二者偏差大于设定条件，则确定该端口的流量异常；
威胁发现模块，用于对于流量异常的端口，从该目标数据平台抽取该端口的近期全部流量日志，根据提取的流量日志和预设规则对该端口的流量异常进行定性，判断出该端口的流量异常事件；如果根据预设规则无法对该端口的流量异常进行定性，则将提取的流量日志输入训练好的机器学习模型对该端口的流量异常进行分类，识别出该端口的流量异常事件。
cPortMon结构如图1所示。cPortMon的Realtime Analysis对大数据平台中的通联会话日志流量进行读取，分别按照源端口号、目的端口号分组汇总，以预设周期长度T统计连接数、字节数等流量指标，构成流量序列。建议T设为1小时长度。
对各个端口各个方向的流量序列进行长期观测和记录，构成观测序列用于长期在线训练LSTM网络：
o＝o(t),t＝O,T,2T,...
LSTM基于历史观测值，自时刻mT起对各端口流量生成的预测值序列为：
p＝p(t)＝p(o(t-T)，o(t-2T)，...)，t＝mT，(m+1)T，...
建议mT超过一星期时间长度。如时刻t某端口的观测值o(t)远大于对应的预测值p(t)，则告警端口流量异常事件:
Figure BDA0001590864560000041
阈值k1,k2控制异常触发条件，建议设置为2。
用上述公式在两个情形下触发异常条件，对LSTM网络本身的预测误差进行了一定的容忍，能够减少预测误差造成的误判。
cNetS的其他模块也扮演着重要角色。cNetS整体架构如图2所示。cNetS采用Mon-Mine架构进行模块设计。Mon类模块基于原始数据对各类网络实体进行实时快速监控，Mine类模块则基于Mon模块发现的异常，进行深入的挖掘。除cPortMon外，其他Mon类模块如cHostMon,cNameMon,cLinkMon等分别从IP，域名，URL等角度对网络流量进行监测，并实时发现相应的流量异常事件。当各类Mon模块发现的异常事件后，相关资料会提交给威胁发现模块，用于进一步验证和定性恶意网络事件的存在。根据恶意事件的分类不同，这些事件的相关资料又会分派给多个挖掘溯源模块执行进一步信息挖掘。如僵尸网络事件会被分配给cBotMine,恶意文件传播事件分配给cMalMon，DDoS攻击事件分配给cDoSMon。威胁情报库向威胁发现模块提供情报支持，而各类Mine模块则向威胁情报库提供情报反馈。另外，威胁情报库也支持从外部数据源导入情报。
当cPortMon发现端口流量异常后，威胁发现模块从数据管理平台抽取相关端口的近期全部流量日志，对事件进行定性。定性的策略，先提交预设规则判断，无法判断的，会提交已经训练好的机器学习模型(随机决策森林)进行分类。威胁发现模块结构如图3所示。
对于僵尸网络，本发明提出了如下规则：
·当出现单个主机针对大量主机相同端口发起单SYN包连接时，可直接认定流量源(即对大量主机相同端口发起单SYN包连接的单个主机)为扫描源。
·当出现针对相同网络端口的扫描源超过设定阈值时，认定为活跃僵尸网络传播事件。
·威胁情报库中有涉及该端口的漏洞，且已知僵尸网络利用此漏洞的记录，则将僵尸网络传播事件对应到具体的已知僵尸网络。
cBotMine负责进一步分析僵尸网络相关的流量异常事件，所执行的任务包括Bot检测，Bot画像和主控溯源，如图4所示。
Bot检测功能从异常端口流量中提取出僵尸机名单。主要通过以下两个判据：
·被威胁发现模块认定为扫描源的主机；
·周期性或准周期性对同一非周知域名发起请求的主机。
周期性规律发现算法作用于对相同域名的解析时间间隔序列。针对该流量源的请求解析域名集合，用Alexa10000过滤周知域名，并对剩余每个域名执行如下操作：
1.如果对当前域名d的解析请求事件序列数Nd低于阈值k5，则忽略对本域名的所有解析请求事件，退出计算过程。否则，进入步骤2。建议k5取值在50到100之间。
2.针对所有间隔，用DBSCAN算法聚类，距离误差设1分钟。如果绝大部分间隔值聚为一类C，使得|C|>k6Nd，则认定周期性，取该类均值u为域名请求周期，进入步骤4。否则，进入步骤3。建议k6取值在0.9到0.98之间。
3.如果出现了多个明显的类Ci,i＝1,2,...Nc，这些类的均值记作ui。取umin＝minui，如果各ui均近似为umin的倍数，即对任意ui均满足下列两个条件之一：
Figure BDA0001590864560000051
「ui/umin」-ui/umin＜∈
也认定周期性，为umin为周期，而缺少主导类的现象为原始事件数据缺失所致，进入步骤4。如果不满足认定周期性的条件，退出计算。建议∈取值范围在0.1以下。
4.认定当前域名为主控域名，提交给威胁情报库。另外，可检测该域名是否为DGA域名，不在本文讨论范围之内。
Bot画像模块对Bot检测模块发现的Bot进行如下计算：
1.发症时间发现。对异常行为的发生时间进行分析，确定最早时间为感染时间。
2.健康状态画像。在发症时间之前，统计该主机的通信归属地分布，协议类型分布，本地周知端口频率分布，远程周知端口频率分布等特征。
3.感染源追溯。假定感染时间和发症时间相近，没有潜伏期，则在发症时间之前提取长度为5分钟的时间窗口内的所有事件。对于端口侵入式僵尸网络，排查相应端口被扫描事件和成功连接事件，认定成功的连接源为感染源。对于其他类型的僵尸网络，在该时间窗口内检测不符合健康状态的会话，以远端IP作为疑似扫描源。
4.施害行为追溯。对于端口侵入式僵尸网络，挖掘其对外扫描规律，发现成功的端口扫描事件，加入新增受害者名单。
5.疑似感染源和受害者名单反馈给威胁情报库。
主控溯源模基于已知Bot进行通联关系计算，尝试发现上一级主控。利用以下准则：
·Bot检测模块中发现的主控域名，其解析值认定为主控IP地址。如果不能通过主动解析和被动监测方式发现主控域名解析值，则观察当前Bot在解析请求之后发起的连接地址。
·如果多个Bot向同一个主机Hc的同一个非周知端口Pc多次发生通联关系，则认定Hc:Pc为主控地址。
·如果已知Bot向同一个主机Hc的同一个非周知端口Pc周期性发生通联关系。其中，周期性规律发现算法复用Bot检测模块中的对应实现。
与现有技术相比，本发明的积极效果为：
关于异常流量挖掘的研究大多面向企业Intranet环境，而本发明的研究则针对广域网环境。只有大型运营商、CERT等少数组织机构能够在广域网环境下进行流量分析监测。在这种场景下，流量的统计特征趋于明显，偶然性事件则被平滑化，有助于异常事件的发现。
本发明具有诸多优势：
1.本发明对新威胁的发现并非由签名值匹配操作引发，因此能够发现未知威胁。
2.本发明对流量的分析完全是被动观察的方式，不会对互联网本省造成干扰，对僵尸网络不可见。
3.本发明的方法能较容易地扩展到更大规模的集群上，以实现对更大流量的监测。
4.cNetS采用Mon-Mine分离式架构，各模块职责明确，有利于工程研发、维护和升级。Mon类模块适用于采用简单快速流式处理任务，Mine类模块适用复杂的离线挖掘任务，既保证了***吞吐性能，又支持复杂算法实现。
附图说明
图1为cPortMon模块示意图；
图2为cNetS整体架构图；
图3为威胁发现模块执行流程图；
图4为cBotMine模块示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，结合附图和具体实施方式对本发明作进一步详细的说明。
cNetS的流量采集模块采用高性能服务器实现，加载多块10Ge网卡，运行DPDK框架实现高速流量采集。网络流量在骨干网络路由器导出，通过镜像方式分流引入。流量采集模块将流量汇总成NetFlow摘要格式输出给cPortMon和cHostMon模块，针对DNS响应包导出域名、源宿IP、时间戳等摘要字段输出给cNameMon模块，针对HTTP请求包导出URL、源宿IP等摘要信息输出给cLinkMon模块。
摘要流量通过Apache Kafka传输给各Mon类模块。各Mon类模块既可利用SparkStreaming实时处理流量数据，也可同时将Kafka的输出副本存储至Hadoop平台，并在后期通过Hive进行数据访问，执行离线挖掘任务。
cPortMon的实时流量处理程序累计各端口在各时段的流量，并在各时段结束后将汇总结果进行存储。cPortMon的离线挖掘程序读取各时段汇总结果。除最近24个周期的流量汇总结果外，对各端口的流量构建时间序列，并使用TensorFlow框架进行流量预测最近24周期的流量。预测流量同最近24个周期的流量值比较，如果偏差过大，则判定为流量异常事件，提交给威胁发现模块进行处理。
以上实施仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (8)

1.一种网络端口流量异常检测方法，其步骤包括：
1)对目标数据平台中的通联会话日志流量进行读取并按照源端口号、目的端口号分组汇总，然后统计每个端口的流量指标数据，构成对应端口的流量序列；
2)根据每一端口的流量序列，构成该端口的输入向量，输入LSTM网络得到该端口时刻t的流量预测值；将该端口时刻t的流量预测值与该端口时刻t的观测值进行对比；如果二者偏差大于设定条件，则确定该端口的流量异常；其中所述设定条件为：
Figure FDA0002503946730000011
其中，o(t)为端口时刻t的观测值，p(t)为端口时刻t的预测值；o(τ)为端口时刻τ的观测值，p(τ)为端口时刻τ的预测值，T为观测周期长度，m为自然数，k1,k2为比例系数；
3)对于流量异常的端口，威胁发现模块从该目标数据平台抽取该端口的近期全部流量日志，根据提取的流量日志和预设规则对该端口的流量异常进行定性，判断出该端口的流量异常事件；如果根据预设规则无法对该端口的流量异常进行定性，则将提取的流量日志输入训练好的机器学习模型对该端口的流量异常进行分类，识别出该端口的流量异常事件。
2.如权利要求1所述的方法，其特征在于，k1,k2的取值均为2。
3.如权利要求1所述的方法，其特征在于，威胁发现模块判断出该端口的流量异常事件是否为僵尸网络事件的方法为：当提取的流量日志中出现单个主机针对大量主机相同端口发起单SYN包连接时，则认定流量源为扫描源；当出现针对相同网络端口的扫描源超过设定阈值时，认定流量异常事件为活跃僵尸网络事件。
4.如权利要求3所述的方法，其特征在于，确定出僵尸网络事件中的僵尸机的方法为：将威胁发现模块认定为扫描源的主机确定为僵尸机，将周期性或准周期性对同一非周知域名发起请求的主机确定为僵尸机；所述非周知域名为设定的周知域名名单之外的域名。
5.如权利要求4所述的方法，其特征在于，判断一流量源是否周期性或准周期性对同一非周知域名发起请求的方法为：获取该流量源的请求解析域名集合，并过滤掉周知域名；然后对请求解析域名集合中剩余的每个域名执行如下操作：
61)如果该流量源对当前域名d的解析请求事件序列数Nd低于阈值k5，则忽略对域名d的所有解析请求事件，结束对该域名d的处理；否则，进入步骤62)；
62)针对所有间隔，用DBSCAN算法对该流量源对域名d的所有解析请求事件进行聚类，将解析请求间隔值相同的聚为一类，如果一聚类结果C，满足|C|>k6Nd，则认定该流量源周期性对域名d发起请求，取该聚类结果C中的解析请求间隔值的均值u为域名请求周期，进入步骤64)；否则，进入步骤63)；k6取值为0.9～0.98；
63)如果出现了多个的聚类结果Ci,i＝1,2,...Nc，这些聚类结果中的解析请求间隔值的均值记作ui；取umin＝minui，如果各ui均近似为或等于umin的倍数；则认定该流量源准周期性对域名d发起请求，周期为umin；否则结束对该域名d的处理；
64)判定该流量源周期性或准周期性对该域名d发起请求，该域名d为主控域名。
6.一种网络端口流量异常检测***，其特征在于，包括流量采集模块、流式分析模块、流量预测模块、异常判断模块和威胁发现模块；其中，
流量采集模块，用于采集目标数据平台中的通联会话日志流量；
流式分析模块，用于按照源端口号、目的端口号对采集的通联会话日志流量进行分组汇总，然后统计每个端口的流量指标数据，构成对应端口的流量序列；
流量预测模块，用于根据每一端口的流量序列，构成该端口的输入向量，输入LSTM网络得到该端口时刻t的流量预测值；
异常判断模块，用于将端口时刻t的流量预测值与该端口时刻t的观测值进行对比，如果二者偏差大于设定条件，则确定该端口的流量异常；其中所述设定条件为：
Figure FDA0002503946730000021
其中，o(t)为端口时刻t的观测值，p(t)为端口时刻t的预测值；o(τ)为端口时刻τ的观测值，p(τ)为端口时刻τ的预测值，T为观测周期长度，m为自然数，k1,k2为比例系数；
威胁发现模块，用于对于流量异常的端口，从该目标数据平台抽取该端口的近期全部流量日志，根据提取的流量日志和预设规则对该端口的流量异常进行定性，判断出该端口的流量异常事件；如果根据预设规则无法对该端口的流量异常进行定性，则将提取的流量日志输入训练好的机器学习模型对该端口的流量异常进行分类，识别出该端口的流量异常事件。
7.如权利要求6所述的***，其特征在于，威胁发现模块判断出该端口的流量异常事件是否为僵尸网络事件的方法为：当提取的流量日志中出现单个主机针对大量主机相同端口发起单SYN包连接时，则认定流量源为扫描源；当出现针对相同网络端口的扫描源超过设定阈值时，认定流量异常事件为活跃僵尸网络事件。
8.如权利要求7所述的***，其特征在于，还包括一Bot检测模块，用于确定出僵尸网络事件中的僵尸机，其方法为：将威胁发现模块认定为扫描源的主机确定为僵尸机，将周期性或准周期性对同一非周知域名发起请求的主机确定为僵尸机；所述非周知域名为设定的周知域名名单之外的域名。
CN201810187959.9A 2018-03-07 2018-03-07 一种网络端口流量异常检测方法及*** Active CN108494746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810187959.9A CN108494746B (zh) 2018-03-07 2018-03-07 一种网络端口流量异常检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810187959.9A CN108494746B (zh) 2018-03-07 2018-03-07 一种网络端口流量异常检测方法及***

Publications (2)

Publication Number Publication Date
CN108494746A CN108494746A (zh) 2018-09-04
CN108494746B true CN108494746B (zh) 2020-08-25

Family

ID=63341847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810187959.9A Active CN108494746B (zh) 2018-03-07 2018-03-07 一种网络端口流量异常检测方法及***

Country Status (1)

Country Link
CN (1) CN108494746B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI684889B (zh) 2018-10-04 2020-02-11 安碁資訊股份有限公司 評估網域名稱的方法及其伺服器
CN111224924B (zh) * 2018-11-27 2022-08-05 北京金山云网络技术有限公司 流量处理方法、装置、电子设备及存储介质
CN109582555A (zh) * 2018-12-04 2019-04-05 北京锐安科技有限公司 数据异常检测方法、装置、检测***及存储介质
CN109800782A (zh) * 2018-12-11 2019-05-24 国网甘肃省电力公司金昌供电公司 一种基于模糊knn算法的电网故障检测方法及装置
CN111343136A (zh) * 2018-12-19 2020-06-26 福建雷盾信息安全有限公司 一种基于流量行为特征的网络异常行为分析检测方法
CN109768995B (zh) * 2019-03-06 2021-08-13 国网甘肃省电力公司电力科学研究院 一种基于循环预测和学习的网络流量异常检测方法
CN110040107A (zh) * 2019-03-18 2019-07-23 百度在线网络技术（北京）有限公司 车辆入侵检测及预测模型训练方法、装置及存储介质
CN109995592A (zh) * 2019-04-09 2019-07-09 中国联合网络通信集团有限公司 业务质量监控方法和设备
CN112073355A (zh) * 2019-05-25 2020-12-11 福建雷盾信息安全有限公司 基于网络流量的脆弱性分析方法
CN110149343B (zh) * 2019-05-31 2021-07-16 国家计算机网络与信息安全管理中心 一种基于流的异常通联行为检测方法和***
CN110493253B (zh) * 2019-09-02 2021-06-22 四川长虹电器股份有限公司 一种基于树莓派设计的家用路由器的僵尸网络分析方法
CN110519290B (zh) * 2019-09-03 2021-01-26 南京中孚信息技术有限公司 异常流量检测方法、装置及电子设备
CN111092852B (zh) * 2019-10-16 2023-04-07 平安科技（深圳）有限公司 基于大数据的网络安全监控方法、装置、设备及存储介质
CN110730175B (zh) * 2019-10-16 2022-12-06 杭州安恒信息技术股份有限公司 一种基于威胁情报的僵尸网络检测方法及检测***
CN111209163A (zh) * 2020-01-03 2020-05-29 中国工商银行股份有限公司 应用***异常检测方法及***
CN113572653B (zh) * 2020-04-29 2023-03-21 华为技术有限公司 获取流量预测范围的方法、装置、设备及存储介质
US11290329B2 (en) 2020-04-30 2022-03-29 Hewlett Packard Enterprise Development Lp Configuring a network based on a centroid configuration of a group of network entities
CN111935064A (zh) * 2020-05-28 2020-11-13 南京南瑞信息通信科技有限公司 一种工控网络威胁自动隔离方法及***
CN111818097B (zh) * 2020-09-01 2020-12-22 北京安帝科技有限公司 基于行为的流量监测方法及装置
CN114928560B (zh) * 2022-05-16 2023-01-31 珠海市鸿瑞信息技术股份有限公司 基于大数据的网络流量和设备日志协同管理***及方法
CN115952465B (zh) * 2023-03-10 2023-07-21 畅捷通信息技术股份有限公司 一种传感器数据异常检测的方法、装置及计算机存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100609707B1 (ko) * 2004-11-10 2006-08-09 한국전자통신연구원 네트워크 이벤트의 그래프 표현을 통한 보안 상황 분석방법 및 그 장치
CN104486324B (zh) * 2014-12-10 2018-02-27 北京百度网讯科技有限公司 识别网络攻击的方法及***
CN106453392B (zh) * 2016-11-14 2019-04-09 中国人民解放军防空兵学院 基于流量特征分布的全网络异常流识别方法
CN106789297A (zh) * 2016-12-29 2017-05-31 淮海工学院 基于神经网络的网络流量预测***及其流量预测方法
CN107592312B (zh) * 2017-09-18 2021-04-30 济南互信软件有限公司 一种基于网络流量的恶意软件检测方法

Also Published As

Publication number Publication date
CN108494746A (zh) 2018-09-04

Similar Documents

Publication Publication Date Title
CN108494746B (zh) 一种网络端口流量异常检测方法及***
Moustafa et al. An ensemble intrusion detection technique based on proposed statistical flow features for protecting network traffic of internet of things
Karatas et al. Deep learning in intrusion detection systems
Kirubavathi et al. Botnet detection via mining of traffic flow characteristics
US8762298B1 (en) Machine learning based botnet detection using real-time connectivity graph based traffic features
US20190104136A1 (en) Apparatus, system and method for identifying and mitigating malicious network threats
Haddadi et al. Benchmarking the effect of flow exporters and protocol filters on botnet traffic classification
US8682812B1 (en) Machine learning based botnet detection using real-time extracted traffic features
Kirubavathi Venkatesh et al. HTTP botnet detection using adaptive learning rate multilayer feed-forward neural network
US20230012220A1 (en) Method for determining likely malicious behavior based on abnormal behavior pattern comparison
Niu et al. Identifying APT malware domain based on mobile DNS logging
Stevanovic et al. Unsupervised clustering of web sessions to detect malicious and non-malicious website users
De Assis et al. Fast defense system against attacks in software defined networks
Amoli et al. Unsupervised network intrusion detection systems for zero-day fast-spreading attacks and botnets
Le et al. Unsupervised monitoring of network and service behaviour using self organizing maps
Haddadi et al. Botnet behaviour analysis: How would a data analytics‐based system with minimum a priori information perform?
Verma et al. A meta-analysis of role of network intrusion detection systems in confronting network attacks
M NALAYINI et al. Detection of DDoS Attack Using Machine Learning Algorithms
Kemp et al. An approach to application-layer DoS detection
Ogawa et al. Malware originated http traffic detection utilizing cluster appearance ratio
Jing et al. DDoS detection based on graph structure features and non‐negative matrix factorization
Bharathula et al. Equitable machine learning algorithms to probe over p2p botnets
Klymash et al. Concept of intelligent detection of DDoS attacks in SDN networks using machine learning
Catak Two-layer malicious network flow detection system with sparse linear model based feature selection
Gogoi et al. HTTP Low and Slow DoS Attack Detection using LSTM based deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant