CN110245491B - 网络攻击类型的确定方法、装置以及存储器和处理器 - Google Patents

网络攻击类型的确定方法、装置以及存储器和处理器 Download PDF

Info

Publication number
CN110245491B
CN110245491B CN201910502393.9A CN201910502393A CN110245491B CN 110245491 B CN110245491 B CN 110245491B CN 201910502393 A CN201910502393 A CN 201910502393A CN 110245491 B CN110245491 B CN 110245491B
Authority
CN
China
Prior art keywords
log file
attack type
log
attack
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910502393.9A
Other languages
English (en)
Other versions
CN110245491A (zh
Inventor
章昊
马金辉
汪伟
章伟
郭兴华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Anhui Electric Power Co Ltd
Original Assignee
State Grid Anhui Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Anhui Electric Power Co Ltd filed Critical State Grid Anhui Electric Power Co Ltd
Priority to CN201910502393.9A priority Critical patent/CN110245491B/zh
Publication of CN110245491A publication Critical patent/CN110245491A/zh
Application granted granted Critical
Publication of CN110245491B publication Critical patent/CN110245491B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了网络攻击类型的确定方法、装置以及存储器和处理器。该方法包括：获取用户上传的日志文件和该日志文件的标签；进行分类；将日志文件和该日志文件对应的标签作为训练数据输入到预先配置的机器学习模型当中进行训练得到对应于该攻击类型的训练模型；获取预定的日志文件；将预定的日志文件分别输入到多个训练模型中，将概率值中最大的对应的攻击类型确定为预定的日志文件对应的攻击类型；将确定的攻击类型提示给预定的日志文件的上传者。通过本申请解决了相关技术中靠人工识别网络攻击类型可能出现偏差以及靠机器学习识别网络攻击类型缺少训练数据的问题，进而提高了网络攻击类型的识别效果。

Description

网络攻击类型的确定方法、装置以及存储器和处理器
技术领域
本申请涉及网络安全，具体而言，涉及一种网络攻击类型的确定方法、装置以及存储器和处理器。
背景技术
在现有技术中，网络攻击多种多样，只有能够正确判断出网络攻击的类型，才能进行有效的保护。目前网络攻击类型的判断基本上依靠人工进行判断。这样需要每一个网络管理员都具有丰富的经验，这在某种程度上是不可能的。
随着机器学习的发展，很多机器学习的模型已经被开源，通过机器学习来判断网络攻击类型有一个很重要的前提，这个前提就是需要大量的训练数据。网络攻击的训练数据作为单个的管理员来说一般不容易获取到。所以机器学习的模型好搭建，困难的是如何能够获取到大量的训练数据。
针对相关技术中靠人工识别网络攻击类型可能出现偏差以及靠机器学习识别网络攻击类型缺少训练数据的问题，目前尚未提出有效的解决方案。
发明内容
本申请提供了一种网络攻击类型的确定方法、装置以及存储器和处理器，以解决相关技术中靠人工识别网络攻击类型可能出现偏差以及靠机器学习识别网络攻击类型缺少训练数据的问题。
根据本申请的一个方面，提供了一种网络攻击类型的确定方法，包括：获取用户上传的日志文件和该日志文件的标签，其中，所述日志文件被攻击的服务器记录下来的日志文件，所述日志文件的标签攻击所述服务器的攻击行为的攻击类型；根据所述攻击类型对所述日志文件进行分类；在预定的攻击类型的日志文件的数量达到阈值的情况下，将所述日志文件和该日志文件对应的标签作为训练数据输入到预先配置的机器学习模型当中进行训练得到对应于该攻击类型的训练模型，在该步骤被重复的情况下，分别得到多个与不同攻击类型多个训练模型；获取预定的日志文件；将所述预定的日志文件分别输入到所述多个训练模型中，获取所述日志文件跟每个攻击类型所对应的概率值；将所述概率值中最大的对应的攻击类型确定为所述预定的日志文件对应的攻击类型；将确定的攻击类型提示给所述预定的日志文件的上传者。
进一步地，获取所述用户上传的日志文件和该日志文件的标签包括：提供第一接口，其中，所述第一接口用于上传日志文件以及该日志文件的标签；通过所述第一接口获取所述用户上传的日志文件和该日志文件的标签。
进一步地，获取所述预定的日志文件包括：提供第二接口，其中，所述第二接口用于上传预定的日志文件；通过所述第二接口获取所述预定的日志文件。
进一步地，所述第一接口和所述第二接口是通过网页提供的。
根据本申请的另一个方面，还提供了一种网络攻击类型的确定装置，包括：第一获取模块，用于获取用户上传的日志文件和该日志文件的标签，其中，所述日志文件被攻击的服务器记录下来的日志文件，所述日志文件的标签攻击所述服务器的攻击行为的攻击类型；分类模块，用于根据所述攻击类型对所述日志文件进行分类；训练模块，用于在预定的攻击类型的日志文件的数量达到阈值的情况下，将所述日志文件和该日志文件对应的标签作为训练数据输入到预先配置的机器学习模型当中进行训练得到对应于该攻击类型的训练模型，在该步骤被重复的情况下，分别得到多个与不同攻击类型多个训练模型；第二获取模块，用于获取预定的日志文件；输入模块，用于将所述预定的日志文件分别输入到所述多个训练模型中，获取所述日志文件跟每个攻击类型所对应的概率值；确定模块，用于将所述概率值中最大的对应的攻击类型确定为所述预定的日志文件对应的攻击类型；提示模块，用于将确定的攻击类型提示给所述预定的日志文件的上传者。
进一步地，所述第一获取模块用于：提供第一接口，其中，所述第一接口用于上传日志文件以及该日志文件的标签；通过所述第一接口获取所述用户上传的日志文件和该日志文件的标签。
进一步地，所述第二获取模块用于：提供第二接口，其中，所述第二接口用于上传预定的日志文件；通过所述第二接口获取所述预定的日志文件。
进一步地，所述第一接口和所述第二接口是通过网页提供的。
根据本申请的另一个方面，提供了一种存储器，用于存储软件，其中，所述软件用于执行上述的方法。
根据本申请的另一个方面，提供了一种处理器，用于执行软件，其中，所述软件用于执行上述述的方法。
通过本申请采用以下步骤：获取用户上传的日志文件和该日志文件的标签，其中，所述日志文件被攻击的服务器记录下来的日志文件，所述日志文件的标签攻击所述服务器的攻击行为的攻击类型；根据所述攻击类型对所述日志文件进行分类；在预定的攻击类型的日志文件的数量达到阈值的情况下，将所述日志文件和该日志文件对应的标签作为训练数据输入到预先配置的机器学习模型当中进行训练得到对应于该攻击类型的训练模型，在该步骤被重复的情况下，分别得到多个与不同攻击类型多个训练模型；获取预定的日志文件；将所述预定的日志文件分别输入到所述多个训练模型中，获取所述日志文件跟每个攻击类型所对应的概率值；将所述概率值中最大的对应的攻击类型确定为所述预定的日志文件对应的攻击类型；将确定的攻击类型提示给所述预定的日志文件的上传者。通过本申请解决了相关技术中靠人工识别网络攻击类型可能出现偏差以及靠机器学习识别网络攻击类型缺少训练数据的问题，进而提高了网络攻击类型的识别效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例提供的基于大数据的安全策略优化处理方法的流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
网络攻击的类型有很多种，下面列举四个大类。
1、服务拒绝攻击
服务拒绝攻击企图通过使服务计算机崩溃或把它压跨来阻止提供服务，服务拒绝攻击是最容易实施的攻击行为，主要包括：
死亡之ping(ping ofdeath)
概览：由于在早期的阶段，路由器对包的最大尺寸都有限制，许多操作***对TCP/IP栈的实现在ICMP包上都是规定64KB，并且在对包的标题头进行读取之后，要根据该标题头里包含的信息来为有效载荷生成缓冲区，当产生畸形的，声称自己的尺寸超过ICMP上限的包也就是加载的尺寸超过64K上限时，就会出现内存分配错误，导致TCP/IP堆栈崩溃，致使接受方当机。
防御：现在所有的标准TCP/IP实现都已实现对付超大尺寸的包，并且大多数防火墙能够自动过滤这些攻击，包括：从windows98之后的windows,NT(service pack 3之后)，linux、Solaris、和Mac OS都具有抵抗一般ping ofdeath攻击的能力。此外，对防火墙进行配置，阻断ICMP以及任何未知协议，都讲防止此类攻击。
泪滴(teardrop)
概览：泪滴攻击利用那些在TCP/IP堆栈实现中信任IP碎片中的包的标题头所包含的信息来实现自己的攻击。IP分段含有指示该分段所包含的是原包的哪一段的信息，某些TCP/IP(包括servicepack4以前的NT)在收到含有重叠偏移的伪造分段时将崩溃。
UDP洪水(UDP flood)
概览：各种各样的假冒攻击利用简单的TCP/IP服务，如Chargen和Echo来传送毫无用处的占满带宽的数据。通过伪造与某一主机的Chargen服务之间的一次的UDP连接，回复地址指向开着Echo服务的一台主机，这样就生成在两台主机之间的足够多的无用数据流，如果足够多的数据流就会导致带宽的服务攻击。
SYN洪水(SYN flood)
概览：一些TCP/IP栈的实现只能等待从有限数量的计算机发来的ACK消息，因为他们只有有限的内存缓冲区用于创建连接，如果这一缓冲区充满了虚假连接的初始信息，该服务器就会对接下来的连接停止响应，直到缓冲区里的连接企图超时。在一些创建连接不受限制的实现里，SYN洪水具有类似的影响。
Land攻击
概览：在Land攻击中，一个特别打造的SYN包它的原地址和目标地址都被设置成某一个服务器地址，此举将导致接受服务器向它自己的地址发送SYN-ACK消息，结果这个地址又发回ACK消息并创建一个空连接，每一个这样的连接都将保留直到超时掉，对Land攻击反应不同，许多UNIX实现将崩溃，NT变的极其缓慢(大约持续五分钟)。
Smurf攻击
概览：一个简单的smurf攻击通过使用将回复地址设置成受害网络的广播地址的ICMP应答请求(ping)数据包来淹没受害主机的方式进行，最终导致该网络的所有主机都对此ICMP应答请求作出答复，导致网络阻塞，比pingofdeath洪水的流量高出一或两个数量级。更加复杂的Smurf将源地址改为第三方的受害者，最终导致第三方雪崩。
Fraggle攻击
概览：Fraggle攻击对Smurf攻击作了简单的修改，使用的是UDP应答消息而非ICMP
电子邮件炸弹
概览：电子邮件炸弹是最古老的匿名攻击之一，通过设置一台机器不断的大量的向同一地址发送电子邮件，攻击者能够耗尽接受者网络的带宽。
畸形消息攻击
概览：各类操作***上的许多服务都存在此类问题，由于这些服务在处理信息之前没有进行适当正确的错误校验，在收到畸形的信息可能会崩溃。
2、利用型攻击
利用型攻击是一类试图直接对你的机器进行控制的攻击，最常见的有三种：
口令猜测
概览：一旦黑客识别了一台主机而且发现了基于NetBIOS、Telnet或NFS这样的服务的可利用的用户帐号，成功的口令猜测能提供对机器控制。
特洛伊木马
概览：特洛伊木马是一种或是直接由一个黑客，或是通过一个不令人起疑的用户秘密安装到目标***的程序。一旦安装成功并取得管理员权限，安装此程序的人就可以直接远程控制目标***。最有效的一种叫做后门程序，恶意程序包括：NetBus、BackOrifice和BO2k,用于控制***的良性程序如：netcat、VNC、pcAnywhere。理想的后门程序透明运行。
缓冲区溢出
概览：由于在很多的服务程序中大意的程序员使用象strcpy(),strcat()类似的不进行有效位检查的函数，最终可能导致恶意用户编写一小段利用程序来进一步打开安全豁口然后将该代码缀在缓冲区有效载荷末尾，这样当发生缓冲区溢出时，返回指针指向恶意代码，这样***的控制权就会被夺取。
3、信息收集型攻击
信息收集型攻击并不对目标本身造成危害，如名所示这类攻击被用来为进一步入侵提供有用的信息。主要包括：扫描技术、体系结构刺探、利用信息服务。
扫描技术
地址扫描
概览：运用ping这样的程序探测目标地址，对此作出响应的表示其存在。
端口扫描
概览：通常使用一些软件，向大范围的主机连接一系列的TCP端口，扫描软件报告它成功的建立了连接的主机所开的端口。
反响映射
概览：黑客向主机发送虚假消息，然后根据返回“hostunreachable”这一消息特征判断出哪些主机是存在的。目前由于正常的扫描活动容易被防火墙侦测到，黑客转而使用不会触发防火墙规则的常见消息类型，这些类型包括：RESET消息、SYN-ACK消息、DNS响应包。
慢速扫描
概览：由于一般扫描侦测器的实现是通过监视某个时间桢里一台特定主机发起的连接的数目(例如每秒10次)来决定是否在被扫描，这样黑客可以通过使用扫描速度慢一些的扫描软件进行扫描。
体系结构探测
概览：黑客使用具有已知响应类型的数据库的自动工具，对来自目标主机的、对坏数据包传送所作出的响应进行检查。由于每种操作***都有其独特的响应方法(例NT和Solaris的TCP/IP堆栈具体实现有所不同)，通过将此独特的响应与数据库中的已知响应进行对比，黑客经常能够确定出目标主机所运行的操作***。
利用信息服务
DNS域转换
概览：DNS协议不对转换或信息性的更新进行身份认证，这使得该协议被人以一些不同的方式加以利用。如果你维护着一台公共的DNS服务器，黑客只需实施一次域转换操作就能得到你所有主机的名称以及内部IP地址。
Finger服务
概览：黑客使用finger命令来刺探一台finger服务器以获取关于该***的用户的信息。
LDAP服务
概览：黑客使用LDAP协议窥探网络内部的***和它们的用户的信息。
4、假消息攻击
用于攻击目标配置不正确的消息，主要包括：DNS高速缓存污染、伪造电子邮件。
DNS高速缓存污染
概览：由于DNS服务器与其他名称服务器交换信息的时候并不进行身份验证，这就使得黑客可以将不正确的信息掺进来并把用户引向黑客自己的主机。
伪造电子邮件
概览：由于SMTP并不对邮件的发送者的身份进行鉴定，因此黑客可以对你的内部客户伪造电子邮件，声称是来自某个客户认识并相信的人，并附带上可安装的特洛伊木马程序，或者是一个引向恶意网站的连接。
在上述攻击类型的，只要发起过攻击，基本上在服务器都会留有或多或少的痕迹，这些痕迹都被记录到日志文件当中。这些日志文件可以截取发生攻击行为的那一段时间范围的日志，并且把这个日志标签上攻击行为的类型，然后上传到网站上。在网站上还可以有上传指导，在该指导文件中可以说明一下如何对日志文件进行标签。
有上述可知，目前网络攻击存在多种类型，并且，每种类型中都有其对应的防护策略。在本实施例中提供了网络攻击类型的确定方法，图1是根据本申请实施例的网络攻击类型的确定方法的流程图，如图1所示，该流程包括如下步骤：
步骤S102，获取用户上传的日志文件和该日志文件的标签，其中，该日志文件被攻击的服务器记录下来的日志文件，该日志文件的标签攻击该服务器的攻击行为的攻击类型；
步骤S104，根据该攻击类型对该日志文件进行分类；
分类可以是一级分类，例如，就分为上文所描述的4大类，当然也可以是二级分类，就是根据每一个大类下面的小类来收集日志，如果还有三级分类也可以根据三级分类来收集日志。根据哪个级别来收集日志可以在后台提供配置界面，灵活的进行配置。当然也可以直接配置多级分类一起收集，在这种情况下，同一份日志文件可能属于不同的几个类别。
步骤S106，在预定的攻击类型的日志文件的数量达到阈值的情况下，将该日志文件和该日志文件对应的标签作为训练数据输入到预先配置的机器学习模型当中进行训练得到对应于该攻击类型的训练模型，在该步骤被重复的情况下，分别得到多个与不同攻击类型多个训练模型；
在收集日志文件的时间，一方面规定一个文件的数量，例如，当一个分类的日志文件达到10000份就可以训练了，这个10000份的数量对于网络攻击类型模型的训练是比较合适的。也可以规定一个时间阈值，例如1个月，如果在1个月内收集不到10000份，则按照该类型的大类来进行收集，比如说A类别和B类别同属于一个更大的攻击类别1，A类别和B类别分别在一个月内收集到了8000份日志文件，此时，自动将A类别和B类别合并为类别1，此时类别1就有了16000份日志文件，从而可以自动进行训练了。比较优选的是，在预定时间阈值内如果收集的日志数量很多，则也可以拆成小类进行训练，例如，类别1在一个月内收集到了十万份日志，此时如果拆成小类发现A类别和B类别分别有6万份日志和4万份日志，此时就可以按照A类别和B类别来进行训练。
在一个比较优的实施方式中，可以就大类和该大类下的小类都分别训练出模型来如果一个日志文件能匹配给小类则用确定该小类为攻击类型，如果匹配小类失败，则可以尝试匹配大类。或者，作为另一个可选的方式，可以先匹配大类，如果大类匹配成功，则将大类反馈给用户，然后提示用户“正在匹配小类”，等待小类匹配之后，再显示给用户。这种方式是一种比较友好的方式。
在一个比较优的实施方式中，在训练好模型之后，也可以继续收集日志文件。当再收集到的日志文件达到一定数量之后，加上原有的日志文件可以在对该模型重新进行训练。由于重新训练出的模型不一定比原来的模型更加优秀，所以，可以采用一种策略，就是重新收集到的日志文件和该文件对应的类型用来进行验证，把这些日志文件放入到模型当中，如果结果和用户上传的结果相同，则认为模型可靠。如果重新收集到的日志文件超过一个比例(例如，百分之20)都验证失败，则将这些新收集到的日志文件和原来的日志文件一起再对模型进行训练。如果新收集到的日志文件验证可靠度高，则不再重新进行训练。
步骤S108，获取预定的日志文件；将该预定的日志文件分别输入到该多个训练模型中，获取该日志文件跟每个攻击类型所对应的概率值；将该概率值中最大的对应的攻击类型确定为该预定的日志文件对应的攻击类型；
作为另外一种实现方式，也可以将匹配到的所有的攻击类型都提示给日志的上传者，然后重点提示概率最大的攻击类型。
步骤S110，将确定的攻击类型提示给该预定的日志文件的上传者。
通过上述步骤，采用了机器学***台，通过该平台可以收集用户已经有的日志文件和该日志文件的攻击类型，这种通过平台收集的方式可以得到大量的数据进行训练，从而解决了相关技术中靠人工识别网络攻击类型可能出现偏差以及靠机器学习识别网络攻击类型缺少训练数据的问题，进而提高了网络攻击类型的识别效果。
可选地，获取该用户上传的日志文件和该日志文件的标签包括：提供第一接口，其中，该第一接口用于上传日志文件以及该日志文件的标签；通过该第一接口获取该用户上传的日志文件和该日志文件的标签。
可选地，获取该预定的日志文件包括：提供第二接口，其中，该第二接口用于上传预定的日志文件；通过该第二接口获取该预定的日志文件。
可选地，该第一接口和该第二接口是通过网页提供的。
在本实施例中还提供了一种网络攻击类型的确定装置，该装置包括：第一获取模块，用于获取用户上传的日志文件和该日志文件的标签，其中，该日志文件被攻击的服务器记录下来的日志文件，该日志文件的标签攻击该服务器的攻击行为的攻击类型；分类模块，用于根据该攻击类型对该日志文件进行分类；训练模块，用于在预定的攻击类型的日志文件的数量达到阈值的情况下，将该日志文件和该日志文件对应的标签作为训练数据输入到预先配置的机器学习模型当中进行训练得到对应于该攻击类型的训练模型，在该步骤被重复的情况下，分别得到多个与不同攻击类型多个训练模型；第二获取模块，用于获取预定的日志文件；输入模块，用于将该预定的日志文件分别输入到该多个训练模型中，获取该日志文件跟每个攻击类型所对应的概率值；确定模块，用于将该概率值中最大的对应的攻击类型确定为该预定的日志文件对应的攻击类型；提示模块，用于将确定的攻击类型提示给该预定的日志文件的上传者。
可选地，第一获取模块用于：提供第一接口，其中，该第一接口用于上传日志文件以及该日志文件的标签；通过该第一接口获取该用户上传的日志文件和该日志文件的标签。
可选地，第二获取模块用于：提供第二接口，其中，该第二接口用于上传预定的日志文件；通过该第二接口获取该预定的日志文件。
可选地，该第一接口和该第二接口是通过网页提供的。
在本实施例中，提供了一种存储器，用于存储软件，其中，该软件用于执行上述的方法。
在本实施例中，提供了一种处理器，用于执行软件，其中，该软件用于执行上述的方法。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例提供了一种存储介质，其上存储有程序或者软件，该程序被处理器执行时实现上述方法。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求的范围之内。

Claims (8)

1.一种网络攻击类型的确定方法，其特征在于，包括：
获取用户上传的日志文件和该日志文件的标签，其中，所述日志文件为被攻击的服务器记录下来的日志文件，所述日志文件的标签为攻击所述服务器的攻击行为的攻击类型；
根据所述攻击类型对所述日志文件进行分类；
在预定的攻击类型的日志文件的数量达到阈值的情况下，将所述日志文件和该日志文件对应的标签作为训练数据输入到预先配置的机器学习模型当中进行训练得到对应于该攻击类型的训练模型，在该步骤被重复的情况下，分别得到多个与不同攻击类型多个训练模型；
获取预定的日志文件；
将所述预定的日志文件分别输入到所述多个训练模型中，获取所述日志文件跟每个攻击类型所对应的概率值；
将所述概率值中最大的对应的攻击类型确定为所述预定的日志文件对应的攻击类型；
将确定的攻击类型提示给所述预定的日志文件的上传者。
2.根据权利要求1所述的方法，其特征在于，获取所述用户上传的日志文件和该日志文件的标签包括：
提供第一接口，其中，所述第一接口用于上传日志文件以及该日志文件的标签；
通过所述第一接口获取所述用户上传的日志文件和该日志文件的标签。
3.根据权利要求1所述的方法，其特征在于，获取所述预定的日志文件包括：
提供第二接口，其中，所述第二接口用于上传预定的日志文件；
通过所述第二接口获取所述预定的日志文件。
4.一种网络攻击类型的确定装置，其特征在于，包括：
第一获取模块，用于获取用户上传的日志文件和该日志文件的标签，其中，所述日志文件为被攻击的服务器记录下来的日志文件，所述日志文件的标签为攻击所述服务器的攻击行为的攻击类型；
分类模块，用于根据所述攻击类型对所述日志文件进行分类；
训练模块，用于在预定的攻击类型的日志文件的数量达到阈值的情况下，将所述日志文件和该日志文件对应的标签作为训练数据输入到预先配置的机器学习模型当中进行训练得到对应于该攻击类型的训练模型，在该步骤被重复的情况下，分别得到多个与不同攻击类型多个训练模型；
第二获取模块，用于获取预定的日志文件；
输入模块，用于将所述预定的日志文件分别输入到所述多个训练模型中，获取所述日志文件跟每个攻击类型所对应的概率值；
确定模块，用于将所述概率值中最大的对应的攻击类型确定为所述预定的日志文件对应的攻击类型；
提示模块，用于将确定的攻击类型提示给所述预定的日志文件的上传者。
5.根据权利要求4所述的装置，其特征在于，所述第一获取模块用于：
提供第一接口，其中，所述第一接口用于上传日志文件以及该日志文件的标签；
通过所述第一接口获取所述用户上传的日志文件和该日志文件的标签。
6.根据权利要求5所述的装置，其特征在于，所述第二获取模块用于：
提供第二接口，其中，所述第二接口用于上传预定的日志文件；
通过所述第二接口获取所述预定的日志文件。
7.一种存储器，其特征在于，用于存储软件，其中，所述软件用于执行权利要求1至3中任一项所述的方法。
8.一种处理器，其特征在于，用于执行软件，其中，所述软件用于执行权利要求1至3中任一项所述的方法。
CN201910502393.9A 2019-06-11 2019-06-11 网络攻击类型的确定方法、装置以及存储器和处理器 Expired - Fee Related CN110245491B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910502393.9A CN110245491B (zh) 2019-06-11 2019-06-11 网络攻击类型的确定方法、装置以及存储器和处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910502393.9A CN110245491B (zh) 2019-06-11 2019-06-11 网络攻击类型的确定方法、装置以及存储器和处理器

Publications (2)

Publication Number Publication Date
CN110245491A CN110245491A (zh) 2019-09-17
CN110245491B true CN110245491B (zh) 2021-01-08

Family

ID=67886541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910502393.9A Expired - Fee Related CN110245491B (zh) 2019-06-11 2019-06-11 网络攻击类型的确定方法、装置以及存储器和处理器

Country Status (1)

Country Link
CN (1) CN110245491B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111016720A (zh) * 2019-12-23 2020-04-17 深圳供电局有限公司 基于k最近邻算法攻击识别方法及充电装置
CN113098832B (zh) * 2019-12-23 2022-09-27 四川大学 一种基于机器学习的远程缓冲区溢出攻击检测方法
CN111277606B (zh) * 2020-02-10 2022-04-15 北京邮电大学 检测模型训练方法、检测方法及装置、存储介质
CN113497784B (zh) * 2020-03-20 2023-03-21 中国电信股份有限公司 检测情报数据的方法、装置及计算机可读存储介质
CN111582474B (zh) * 2020-04-24 2023-08-25 中科物栖(南京)科技有限公司 神经网络结构探测方法、结构探测模型的训练方法及装置
CN111767957B (zh) * 2020-07-01 2024-03-05 中国银行股份有限公司 一种日志异常的检测方法、装置、存储介质及电子设备
CN111787018A (zh) * 2020-07-03 2020-10-16 中国工商银行股份有限公司 用于识别网络攻击行为的方法、装置、电子设备及介质
CN112000502B (zh) * 2020-08-11 2023-04-07 杭州安恒信息技术股份有限公司 海量错误日志的处理方法、装置、电子装置及存储介质
CN112256791A (zh) * 2020-10-27 2021-01-22 北京微步在线科技有限公司 一种网络攻击事件的展示方法及存储介质
CN113094510A (zh) * 2021-04-01 2021-07-09 广州巨时信息科技股份有限公司 一种网络安全数据图谱化智能处理方法和装置
CN113065130A (zh) * 2021-04-15 2021-07-02 深信服科技股份有限公司 一种日志分类方法及相关装置
CN113965405A (zh) * 2021-11-04 2022-01-21 杭州安恒信息技术股份有限公司 一种web攻击的监测方法、装置、设备及可读存储介质
CN114978884B (zh) * 2022-07-27 2022-12-13 北京搜狐新媒体信息技术有限公司 数据包处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013055872A2 (en) * 2011-10-12 2013-04-18 Raytheon Company An integrated circuit for cyber security processing
US20150172309A1 (en) * 2013-12-18 2015-06-18 Cytegic Ltd. Security risk mapping of potential targets
CN105656886A (zh) * 2015-12-29 2016-06-08 北京邮电大学 一种基于机器学习的网站攻击行为的检测方法及装置
WO2017056121A1 (en) * 2015-09-28 2017-04-06 Minded Security S.R.L. Method for the identification and prevention of client-side web attacks
CN107241352A (zh) * 2017-07-17 2017-10-10 浙江鹏信信息科技股份有限公司 一种网络安全事件分类与预测方法及***
CN107682317A (zh) * 2017-09-06 2018-02-09 中国科学院计算机网络信息中心 建立数据检测模型的方法、数据检测方法及设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591006B2 (en) * 2014-09-18 2017-03-07 Microsoft Technology Licensing, Llc Lateral movement detection
US9900338B2 (en) * 2016-02-09 2018-02-20 International Business Machines Corporation Forecasting and classifying cyber-attacks using neural embeddings based on pattern of life data
US10721262B2 (en) * 2016-12-28 2020-07-21 Palantir Technologies Inc. Resource-centric network cyber attack warning system
CN108156142A (zh) * 2017-12-14 2018-06-12 哈尔滨理工大学 基于数据挖掘的网络入侵检测方法
CN108183916B (zh) * 2018-01-15 2020-08-14 华北电力科学研究院有限责任公司 一种基于日志分析的网络攻击检测方法及装置
CN109508544B (zh) * 2018-10-19 2022-12-06 南京理工大学 一种基于mlp的入侵检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013055872A2 (en) * 2011-10-12 2013-04-18 Raytheon Company An integrated circuit for cyber security processing
US20150172309A1 (en) * 2013-12-18 2015-06-18 Cytegic Ltd. Security risk mapping of potential targets
WO2017056121A1 (en) * 2015-09-28 2017-04-06 Minded Security S.R.L. Method for the identification and prevention of client-side web attacks
CN105656886A (zh) * 2015-12-29 2016-06-08 北京邮电大学 一种基于机器学习的网站攻击行为的检测方法及装置
CN107241352A (zh) * 2017-07-17 2017-10-10 浙江鹏信信息科技股份有限公司 一种网络安全事件分类与预测方法及***
CN107682317A (zh) * 2017-09-06 2018-02-09 中国科学院计算机网络信息中心 建立数据检测模型的方法、数据检测方法及设备

Also Published As

Publication number Publication date
CN110245491A (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
CN110245491B (zh) 网络攻击类型的确定方法、装置以及存储器和处理器
US11405419B2 (en) Preventing advanced persistent threat attack
KR101890272B1 (ko) 보안이벤트 자동 검증 방법 및 장치
US8171544B2 (en) Method and system for preventing, auditing and trending unauthorized traffic in network systems
Acer et al. Where the wild warnings are: Root causes of Chrome HTTPS certificate errors
CN110266673B (zh) 基于大数据的安全策略优化处理方法和装置
Osanaiye Short Paper: IP spoofing detection for preventing DDoS attack in Cloud Computing
US11681804B2 (en) System and method for automatic generation of malware detection traps
Indre et al. Detection and prevention system against cyber attacks and botnet malware for information systems and Internet of Things
Mangino et al. Internet-scale insecurity of consumer internet of things: An empirical measurements perspective
CN110768949B (zh) 探测漏洞的方法及装置、存储介质、电子装置
CN112583845A (zh) 一种访问检测方法、装置、电子设备和计算机存储介质
Ye et al. A system-fault-risk framework for cyber attack classification
Aguirre-Anaya et al. A new procedure to detect low interaction honeypots
JP3986871B2 (ja) アンチプロファイリング装置およびアンチプロファイリングプログラム
Amran et al. Metrics for network forensics conviction evidence
Pickering Evaluating the viability of intrusion detection system benchmarking
Mohammed Network-Based Detection and Prevention System Against DNS-Based Attacks
US12039048B2 (en) System and method for automatic generation of malware detection traps
Fu et al. Camouflaging virtual honeypots
Zou et al. Generating comprehensive data with protocol fuzzing for applying deep learning to detect network attacks
Thakare et al. Computer attacks and intrusion detection system: A need review
Leshchenko et al. Technologies for Detecting Malicious Requests in Computer Networks Based on the DNS Protocol.
O’Hara Cloud-based network telescope for Internet background radiation collection
Reikha et al. A Survey on Predicting Distributed Denial of Service Attack

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhang Hao

Inventor after: Ma Jinhui

Inventor after: Wang Wei

Inventor after: Zhang Wei

Inventor after: Guo Xinghua

Inventor before: Zhang Wei

Inventor before: Guo Xinghua

CB03 Change of inventor or designer information
TA01 Transfer of patent application right

Effective date of registration: 20201222

Address after: 230000 No. 9 Huangshan Road, Baohe District, Hefei City, Anhui Province

Applicant after: STATE GRID ANHUI ELECTRIC POWER Co.,Ltd.

Address before: 230000 commercial building 108, building 20b, Mingzhu garden, intersection of Lianhua Road and Danxia Road, Hefei Economic and Technological Development Zone, Anhui Province

Applicant before: Hefei Yishihui Network Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210108

Termination date: 20210611

CF01 Termination of patent right due to non-payment of annual fee