CN111131314B - 网络行为的检测方法、装置、计算机设备和存储介质 - Google Patents
网络行为的检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111131314B CN111131314B CN201911418725.1A CN201911418725A CN111131314B CN 111131314 B CN111131314 B CN 111131314B CN 201911418725 A CN201911418725 A CN 201911418725A CN 111131314 B CN111131314 B CN 111131314B
- Authority
- CN
- China
- Prior art keywords
- behavior
- image
- detected
- historical
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title abstract description 31
- 230000006399 behavior Effects 0.000 claims abstract description 627
- 239000013598 vector Substances 0.000 claims abstract description 257
- 238000013507 mapping Methods 0.000 claims abstract description 119
- 238000000034 method Methods 0.000 claims abstract description 66
- 230000002159 abnormal effect Effects 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims description 93
- 230000000877 morphologic effect Effects 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 17
- 238000012795 verification Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 206010000117 Abnormal behaviour Diseases 0.000 abstract description 24
- 238000012545 processing Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 10
- 230000009471 action Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000003542 behavioural effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000003999 initiator Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- WYTGDNHDOZPMIW-RCBQFDQVSA-N alstonine Natural products C1=CC2=C3C=CC=CC3=NC2=C2N1C[C@H]1[C@H](C)OC=C(C(=O)OC)[C@H]1C2 WYTGDNHDOZPMIW-RCBQFDQVSA-N 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种网络行为的检测方法、装置、计算机设备和存储介质。该网络行为的检测方法包括:获取待检测单位时间窗内目标主体网络行为的行为数据并映射为行为图像,得到待检测图像;获取历史单位时间窗内目标主体网络行为的行为数据并映射为行为图像,得到历史图像;提取待检测图像的特征向量,得到待检测特征向量,提取历史图像的特征向量,得到历史特征向量;将历史特征向量组输入至预设的行为预测模型,得到预测特征向量;比对待检测特征向量和预测特征向量,以确定待检测单位时间窗内目标主体网络行为是否存在异常。通过本发明,能够提升对未知异常行为检测的准确度。
Description
技术领域
本发明涉及异常网络行为检测技术领域,尤其涉及一种网络行为的检测方法、装置、计算机设备和存储介质。
背景技术
近年来,全世界不断发生网络安全事件,网络安全问题日益突出。随着相关数据量呈***式增长的趋势,网络攻击模式也越来越复杂多变,在防御方面,目前针对已知威胁的发现和处置游刃有余,而面对未知威胁往往办法不多,大多需要依靠安全人员的经验和已有工具或产品来分析,而这些方式已经无法满足业界需求。
同时,人工智能技术飞速发展,机器学习及其分支深度学习技术在计算机视觉、语音识别和自然语言处理等领域取得了巨大突破。学术界和工业界越来越多的人开始利用人工智能技术尝试解决网络安全中的问题。人工智能可凭借自动化、智能化及大规模运算能力等优势,快速检测百万、千万甚至上亿次事件,以发现安全威胁。
在现有技术中,基于人工智能进行异常网络行为的检测时,通常是根据人工经验抽取网络行为的特征,具体包括专家利用经验从IP、域名、UA、时间等多种维度定义特征,抽取后拼接为特征向量,人工智能模型基于该特征向量来进行网络行为的检测。
但是该检测网络不仅非常耗费人力成本,而且由于行为模型和安全事件不断变化,人工经验有一定的滞后性,往往覆盖不全,应对未知威胁能力较差,使得对未知异常行为的检出准确度并不高。
因此,提供一种网络行为的检测方法、装置、计算机设备和存储介质,提升对未知异常行为检测的准确度,成为本领域亟需解决的技术问题。
发明内容
本发明的目的是提供一种网络行为的检测方法、装置、计算机设备和存储介质,用于解决现有技术中的上述技术问题。
一方面,为实现上述目的,本发明提供了一种网络行为的检测方法。
该网络行为的检测方法包括:获取待检测单位时间窗内目标主体网络行为的行为数据,得到待检测行为数据组;获取历史单位时间窗内目标主体网络行为的行为数据,得到历史行为数据组;将待检测行为数据组按照预设的映射规则映射为行为图像,得到待检测图像,将历史行为数据组按照映射规则映射为行为图像,得到历史图像;提取待检测图像的特征向量,得到待检测特征向量,提取历史图像的特征向量,得到历史特征向量;将历史特征向量组输入至预设的行为预测模型,得到预测特征向量,历史特征向量组包括多个连续的历史单位时间窗对应的历史特征向量;比对待检测特征向量和预测特征向量,以确定待检测单位时间窗内目标主体网络行为是否存在异常。
进一步地,提取行为图像的特征向量的步骤包括:建立初始自编码器,其中,初始自编码器包括输入层、编码层、反编码层和输出层;获取训练行为图像,并将训练行为图像分别作为初始自编码器的输入层的输入和输出层的输出,对初始自编码器进行训练,得到目标自编码器;获取验证行为图像,将验证行为图像作为目标自编码器的输入层的输入,得到目标自编码器的输出层的输出;通过验证行为图像与目标自编码器的输出层的输出进行比对,判断目标自编码器是否满足要求;当目标自编码器满足要求时,将行为图像作为目标自编码器的输入层的输入,获取目标自编码器的编码层的输出,以得到行为图像的特征向量。
进一步地,在将多个连续的历史单位时间窗对应的历史特征向量输入至预设的行为预测模型,得到预测特征向量的步骤之前,网络行为的检测方法还包括:获取目标主体的网络数据;提取网络数据中的行为数据组,其中,行为数据组包括单位时间窗内目标主体的网络行为的行为数据;将行为数据组按照映射规则映射为行为图像,得到训练行为图像;提取训练行为图像的特征向量,得到训练特征向量,其中,训练特征向量为L*1的矩阵;按照时间先后顺序对网络数据对应的多个训练特征向量进行排序,得到训练特征向量队列;采用滑动窗口方式,对训练特征向量队列进行取值和拼接,以得到多个训练样本,其中,训练样本包括拼接向量和预测向量,拼接向量包括由滑动窗口内的T个训练特征向量构成的L*T矩阵,预测向量包括与滑动窗口相邻且位于滑动窗口后的训练特征向量;建立初始行为预测模型,其中,初始行为预测模型包括输入层、中间层和输出层;将训练样本中的拼接向量作为初始行为预测模型的输入层的输入,将训练样本中的预测向量作为初始行为预测模型的输出层的输出,对初始行为预测模型进行训练,得到行为预测模型。
进一步地,比对待检测特征向量和预测特征向量,以确定待检测单位时间窗内目标主体网络行为是否存在异常的步骤包括:计算待检测特征向量和预测特征向量的均方根误差;判断均方根误差是否大于预设误差阈值;以及当均方根误差大于预设误差阈值时,确定待检测单位时间窗内目标主体网络行为存在异常。
进一步地,该网络行为的检测方法还包括:在连续s个待检测单位时间窗内,具有r个待检测单位时间窗内目标主体网络行为存在异常时,产生报警,其中,r≤s。
进一步地,行为数据包括行为对端、行为属性和行为时间,行为属性为目标主体与行为对端之间产生的网络行为的属性,将行为数据组按照预设的映射规则映射为图像的步骤包括:针对每条行为数据,将行为对端映射为预设模板图像中点的位置坐标,将行为属性映射为点的形态属性,在位置坐标处显示形态属性的点,得到行为数据对应的图像点;在关联点之间设置连接线,其中,行为时间满足预设关联关系的两条行为数据对应的图像点互为关联点。
进一步地,关联点为行为时间相邻的两条行为数据对应的图像点;连接线为向量,向量的方向表征关联点对应的行为时间的先后。
进一步地,将行为数据组按照预设的映射规则映射为图像的步骤还包括:统计行为数据组对应的相同关联点的数量;将数量映射为线的形态属性,在关联点之间设置连接线的步骤包括:在关联点之间按照线的形态属性设置连接线。
进一步地,将行为对端映射为预设模板图像中点的位置坐标的步骤包括:在预设模板图像中预设多个点的位置坐标;通过按序分配、随机分配或最远距离分配,将预设多个点的位置坐标分配一个端标识,建立位置坐标与端标识之间的一一对应的第一映射关系;根据行为对端的端标识和第一映射关系,确定行为对端对应的位置坐标。
进一步地,预设模板图像为具有n*n个像素的图片,其中,n=(2k-1)*m,点为包括m个像素,相邻的点之间间隔m个像素,同一个点的各像素的RGB值相同,点的形态属性为点的像素的RGB值,将行为属性映射为点的形态属性的步骤包括:确定行为属性的编号i;确定像素的RGB值范围,其中,像素的R值的范围为0~r,像素的G值的范围为0~g,像素的B值的范围为0~b;采用以下公式计算编号i对应的十六进制数其中,表示向下取整,c表示行为属性的种类数量,HEX()表示将二进制数转为十六进制数;以及将十六进制数x的每两位数转换为十进制数得到点的像素的RGB值。
进一步地,线的形态属性为线的像素的RGB值,将数量映射为线的形态属性的步骤包括:将数量由十进制数转换为十六进制数;将十六进制数的每两位转为十进制数,得到线的像素的RGB值。
另一方面,为实现上述目的,本发明提供了一种网络行为的检测装置。
该网络行为的检测装置包括:第一获取模块,用于获取待检测单位时间窗内目标主体网络行为的行为数据,得到待检测行为数据组;第二获取模块,用于获取历史单位时间窗内目标主体网络行为的行为数据,得到历史行为数据组;映射模块,用于将待检测行为数据组按照预设的映射规则映射为行为图像,得到待检测图像,将历史行为数据组按照映射规则映射为行为图像,得到历史图像;提取模块,用于提取待检测图像的特征向量,得到待检测特征向量,提取历史图像的特征向量,得到历史特征向量;预测模块,用于将历史特征向量组输入至预设的行为预测模型,得到预测特征向量,其中,历史特征向量组为多个连续的历史单位时间窗对应的历史特征向量;比对模块,用于比对待检测特征向量和预测特征向量,以确定待检测单位时间窗内目标主体网络行为是否存在异常。
为实现上述目的,本发明还提供一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行计算机程序时实现上述方法的步骤。
为实现上述目的,本发明还提供计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法的步骤。
本发明提供的网络行为的检测方法、装置、计算机设备和存储介质,对某一时间段内目标主体的网络行为进行检测时,将该时间段作为待检测单位时间窗,获取该待检测单位时间窗内目标主体网络行为的行为数据,得到待检测行为数据组,获取该待检测单位时间窗之前的多个历史单位时间窗内目标主体网络行为的行为数据,得到对应每个历史单位时间窗的历史行为数据组,对待检测行为数据组进行图像映射和特征向量的提取,得到待检测特征向量,对各个历史行为数据组进行同样的图像映射和特征向量的提取,得到历史特征向量,利用多个历史特征向量,通过预设的预测行为模型,预测待检测单位时间窗内目标主体正常的网络行为对应的特征向量,最后将预测到的特征向量与待检测单位时间窗内目标主体实际发生的网络行为对应的待检测特征向量进行比对,基于二者的偏差来确定待检测单位时间窗内目标主体实际发生的网络行为是否存在异常。从中可以看出,通过本发明,将行为数据组映射为图像,并基于对图像进行特征向量的提取和识别,来实现异常行为的检测,具体利用正常的历史网络行为预测理论上正常的网络行为,然后将预测行为与真实行为进行比对,以确定真实行为是否为异常行为,该过程无需依靠专家经验,可对未知的异常行为进行检测,相对现有技术中基于经验的检测能够提升对未知异常行为检测的准确度。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本发明实施例一提供的网络行为的检测方法的流程图;
图2为本发明实施例二提供的异常行为检测***的工作流程图;
图3为本发明实施例二提供的预设模板图像的示意图;
图4至图5为本发明实施例二提供的网络数据处理为图像的效果图;
图6为本发明实施例二提供的网络行为的检测方法中特征组合和正常行为模型训练示意图;
图7为本发明实施例二提供的网络行为的检测方法中正常行为预测过程示意图;
图8为本发明实施例三提供的网络行为的检测装置的框图;
图9为本发明实施例四提供的计算机设备的硬件结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了提升对未知异常行为检测的准确度,本发明提供了一种网络行为的检测方法、装置、计算机设备和存储介质,在该检测方法中,在对一个目标时间段内目标主体的网络行为进行检测时,将该时间段作为一个待检测单位时间窗,获取该时间窗内目标主体网络行为的行为数据,得到待检测行为数据组,然后获取历史单位时间窗内目标主体网络行为的行为数据,得到历史行为数据组,将待检测行为数据组按照预设的映射规则映射为行为图像,得到待检测图像,将历史行为数据组按照映射规则映射为行为图像,得到历史图像,提取待检测图像的特征向量,得到待检测特征向量,提取历史图像的特征向量,得到历史特征向量,将多个连续的历史单位时间窗对应的历史特征向量输入至预设的行为预测模型,得到预测特征向量,该预测特征向量也即预测到的该目标时间段内的理论特征向量,最后通过比对待检测特征向量和预测特征向量,以确定待检测单位时间窗内目标主体网络行为是否存在异常,当待检测特征向量偏离预测特征向量超过正常偏差时,表明该定待检测单位时间窗内目标主体网络行为存在异常。从中可以看出,本发明实现了一种自动化的网络行为的检测方法,在该方法中先将行为数据组映射为图像,能够基于对图像进行特征向量的提取和识别,来实现异常行为的检测,具体利用历史的网络行为对应的特征向量预测检测时间段内的理论行为对应的特征向量,然后将预测出的理论数据与真实数据进行比对,以确定真实行为是否为异常行为,该过程无需依靠专家经验,可对未知的异常行为进行检测,相对现有技术中基于经验的检测能够提升对未知异常行为检测的准确度。
关于本发明提供的网络行为的检测方法、装置、计算机设备和存储介质的具体实施例,将在下文中详细描述。
实施例一
本发明实施例提供了一种网络行为的检测方法,通过该方法,将网络数据中表征网络行为的行为数据图像化,基于对图像进行特征向量的提取,利用历史的网络行为对应的特征向量预测检测时间段内的理论行为对应的特征向量,然后将预测出的理论数据与真实数据进行比对,以确定真实行为是否为异常行为,过程无需依靠专家经验,可对未知的异常行为进行检测,提升了对未知异常行为检测的准确度,具体地,图1为本发明实施例一提供的网络行为的检测方法的流程图,如图1所示,该实施例提供的网络行为的检测方法包括如下的步骤S101至步骤S106。
步骤S101:获取待检测单位时间窗内目标主体网络行为的行为数据,得到待检测行为数据组。
当需要检测某一个目标主体在一段时间内的网络行为是否异常时,将该段时间作为待检测单位时间窗,获取该待检测单位时间窗内目标主体网络行为的行为数据,将获得的行为数据作为一个待检测行为数据组;可选地,每一次网络行为对应一条行为数据,若该待检测单位时间窗内目标主体具有多次网络行为时,待检测行为数据组包括多条行为数据。例如,检测某个IP地址在某一天内的网络行为是否正常时,获取该天内该IP地址网络行为的行为数据。
网络行为是指在通信网络中,由目标主体向其他主体发起的网络行为,可选地,行为数据可包括网路行为的接收端(也即行为对端)和网络行为的行为属性,行为对端具体可以为接收端的标识、编号、地址等可以唯一标识接收端的信息,行为属性为网络行为的属性。网络行为包含但不限于连接、登录、查询、写入、发邮件等涉及数据交互的动作。
可选地,在获取待检测单位时间窗内目标主体网络行为的行为数据时,可通过获取待检测单位时间窗内网络流量数据以及网络日志数据等网络数据,对网络数据中表征网络行为的数据进行提取来获取行为数据。具体地,可通过抓包、读取日志等方式获取网络数据。
步骤S102:获取历史单位时间窗内目标主体网络行为的行为数据,得到历史行为数据组。
在该步骤S102中,历史单位时间窗与待检测单位时间窗的时长相等,时间为待检测单位时间窗的历史时间,例如待检测单位时间窗为2018年9月5日一天,则历史单位时间窗为2018年9月5日之前的一天,可选地,历史单位时间窗为与待检测单位时间窗邻近的时间。
在获取历史单位时间窗内目标主体网络行为的行为数据时,可采用与上述步骤S101中获取行为数据时相同的获取方法,历史行为数据组为对应一个历史单位时间窗内目标主体网络行为的行为数据。
步骤S103:将待检测行为数据组按照预设的映射规则映射为行为图像,得到待检测图像,将历史行为数据组按照映射规则映射为行为图像,得到历史图像。
在该步骤S103中,将待检测行为数据组和历史行为数据组分别按照映射规则映射为行为图像,也即将行为数据图像化,通过图像上的特征来体现行为数据,从而能够通过识别图像的方式实现对网络行为的识别。在本申请中,将待检测行为数据组映射得到的行为图像定义为待检测图像,将历史行为数据组映射得到的行为图像定义为历史图像。
步骤S104:提取待检测图像的特征向量,得到待检测特征向量,提取历史图像的特征向量,得到历史特征向量。
在该步骤S104中,对待检测图像和历史图像分别提取特征向量,该处的特征向量为图像特征构成的向量。在本申请中,将由待检测图像提取到的特征向量定义为待检测特征向量,将由历史图像提取到的特征向量定义为历史特征向量。
步骤S105:将历史特征向量组输入至预设的行为预测模型,得到预测特征向量。
其中,历史特征向量组为多个连续的历史单位时间窗对应的历史特征向量。
通过上述步骤S102至步骤S104,可获得多个连续的历史单位时间窗对应的历史特征向量,例如获得2018年8月4日(不含)至2018年9月4日(含)连续31天中,每一天对应的历史特征向量。
在该步骤S105中,通过预设的行为预测模型,基于多个历史特征向量来预测待检测单位时间窗内网络行为对应的特征向量,也即,基于历史数据预测待检测单位时间窗内的理论数据。在本申请中,将预测到的待检测单位时间窗内网络行为对应的特征向量定义为预测特征向量。
步骤S106:比对待检测特征向量和预测特征向量,以确定待检测单位时间窗内目标主体网络行为是否存在异常。
预测特征向量为基于历史特征向量预测到的正常情况下网络行为对应的特征向量,对于异常的网络行为,其真实的特征向量会偏离正常网络行为的特征向量,因此,将待检测特征向量与预测特征向量进行比对,当待检测特征向量与预测特征向量之间的偏差超出预设阈值时,确定待检测单位时间窗内目标主体网络行为存在异常,其中,预设阈值可根据偏差的具体计算方法进行设置。
在该实施例提供的网络行为的检测方法中,对某一时间段内目标主体的网络行为进行检测时,将该时间段作为待检测单位时间窗,获取该待检测单位时间窗内目标主体网络行为的行为数据,得到待检测行为数据组,获取该待检测单位时间窗之前的多个历史单位时间窗内目标主体网络行为的行为数据,得到对应每个历史单位时间窗的历史行为数据组,对待检测行为数据组进行图像映射和特征向量的提取,得到待检测特征向量,对各个历史行为数据组进行同样的图像映射和特征向量的提取,得到历史特征向量,利用多个历史特征向量,通过预设的预测行为模型,预测待检测单位时间窗内目标主体正常的网络行为对应的特征向量,最后将预测到的特征向量与待检测单位时间窗内目标主体实际发生的网络行为对应的待检测特征向量进行比对,基于二者的偏差来确定待检测单位时间窗内目标主体实际发生的网络行为是否存在异常。从中可以看出,该网络行为的检测方法将行为数据组映射为图像,并基于对图像进行特征向量的提取和识别,来实现异常行为的检测,具体利用正常的历史网络行为预测理论上正常的网络行为,然后将预测行为与真实行为进行比对,以确定真实行为是否为异常行为,该过程无需依靠专家经验,可对未知的异常行为进行检测,相对现有技术中基于经验的检测能够提升对未知异常行为检测的准确度。
可选地,在一种实施例中,提取行为图像的特征向量的步骤包括:建立初始自编码器,其中,初始自编码器包括输入层、编码层、反编码层和输出层;获取训练行为图像,并将训练行为图像分别作为初始自编码器的输入层的输入和输出层的输出,对初始自编码器进行训练,得到目标自编码器;获取验证行为图像,将验证行为图像作为目标自编码器的输入层的输入,得到目标自编码器的输出层的输出;通过验证行为图像与目标自编码器的输出层的输出进行比对,判断目标自编码器是否满足要求;当目标自编码器满足要求时,将行为图像作为目标自编码器的输入层的输入,获取目标自编码器的编码层的输出,以得到行为图像的特征向量。
具体地,自编码器是一种无监督的数据维度压缩和数据特征表达方法。它是一种神经网络,经过训练能将数据压缩并近似复原,可选地,该实施例中的自编码器可以为卷积自编码器,卷积自编码器利用了传统自编码器的无监督的学习方式,通过引入卷积和池化等操作实现特征提取的一种深层神经网络。
在该实施例中,自编码器的输入层接收输入的图像,编码层对输入图像进行编码压缩,反编码层再对编码层输出的数据进行反编码,并在反编码后通过输出层输出。训练行为图像为表征一个主体(可以为目标主体,也可以为其他主体)在一段时间(可以等于单位时间窗的时长,也可以不等于单位时间窗的时长)内网络行为对应的行为数据组所映射得到的行为图像,将训练行为图像作为训练样本,对初始自编码器进行训练,使得自编码器学习到对图像进行压缩并近似复原的能力。针对训练后得到的目标自编码器,获取验证行为图像对目标自编码器进行验证,如果目标自编码器能够将验证行为图像进行压缩并近似复原,也即向目标自编码器输入的验证行为图像与目标自编码器的输出层的输出进行比对时偏差较小,表明目标自编码器满足要求,能够将网络行为对应的行为数据组所映射得到的图像压缩并近似复原,也就是说,当目标自编码器的输出层的输出与验证行为图像的偏差在预定的可接受偏差范围内时,表明目标自编码器满足要求,其中,可接受偏差范围可根据应用场景的精度要求进行设置。
在进行特征提取时,包括提取待验证行为图像和历史行为图像的特征时,均将行为图像作为目标自编码器的输入层的输入,获取目标自编码器的编码层的输出,编码层用于对行为图像进行编码和压缩,编码层的输出能够表征行为图像上的特征,因而可以作为行为图像的特征向量,分别得到待验证特征向量和历史特征向量。
可选地,在一种实施例中,在将多个连续的历史单位时间窗对应的历史特征向量输入至预设的行为预测模型,得到预测特征向量的步骤之前,网络行为的检测方法还包括:获取目标主体的网络数据;提取网络数据中的行为数据组,其中,行为数据组包括单位时间窗内目标主体的网络行为的行为数据;将行为数据组按照映射规则映射为行为图像,得到训练行为图像;提取训练行为图像的特征向量,得到训练特征向量,其中,训练特征向量为L*1的矩阵;按照时间先后顺序对网络数据对应的多个训练特征向量进行排序,得到训练特征向量队列;采用滑动窗口方式,对训练特征向量队列进行取值和拼接,以得到多个训练样本,其中,训练样本包括拼接向量和预测向量,拼接向量包括由滑动窗口内的T个训练特征向量构成的L*T矩阵,预测向量包括与滑动窗口相邻且位于滑动窗口后的训练特征向量;建立初始行为预测模型,其中,初始行为预测模型包括输入层、中间层和输出层;将训练样本中的拼接向量作为初始行为预测模型的输入层的输入,将训练样本中的预测向量作为初始行为预测模型的输出层的输出,对初始行为预测模型进行训练,得到行为预测模型。
具体地,在使用行为预测模型进行预测之前,首先通过训练的方式训练得到该模型,在训练时,获取目标主体的网络数据,提取网络数据中的行为数据组,得到多个行为数据组,将每个行为数据组均按照映射规则映射为行为图像后,进行特征提取,得到多个特征向量定义为训练特征向量,设训练特征向量为L维的列向量,也即训练特征向量为L*1的矩阵,将多个训练特征向量按照时间先后顺序排序作为队列,采用滑动窗口方式对队列进行取值和拼接,提取出滑动窗口内的T个训练特征向量作为训练样本中的输入样本,与滑动窗口相邻且位于滑动窗口后的一个训练特征向量作为训练样本中的输出样本,对初始的行为预测模型进行巡林,以得到最终的行为预测模型。
可选地,在一种实施例中,比对待检测特征向量和预测特征向量,以确定待检测单位时间窗内目标主体网络行为是否存在异常的步骤包括:计算待检测特征向量和预测特征向量的均方根误差;判断均方根误差是否大于预设误差阈值;以及当均方根误差大于预设误差阈值时,确定待检测单位时间窗内目标主体网络行为存在异常。
具体地,通过均方根误差对待检测特征向量和预测特征向量之间的偏差进行衡量,当均方根误差大于预设误差阈值,表明二者差异较大,确定待检测单位时间窗内目标主体网络行为存在异常。
可选地,在一种实施例中,该网络行为的检测方法还包括:在连续s个待检测单位时间窗内,具有r个待检测单位时间窗内目标主体网络行为存在异常时,产生报警,其中,r≤s。
具体地,在该实施例中,r和s均可以为预设值,r是可容忍的异常观测单位时间窗数。如果业务要求单个单位时间窗检测出异常就需要告警,那么r=1;如果虽然单个单位时间窗检测出异常,但是基于正常的数据波动以及业务需要等,可并不立即告警,而是继续考察多个单位时间窗,那么r>1。通过该实施例,根据实际需要设置r和s的值,避免在网络数据波动较大的场景误报警,又能够在连续多个待检测单位时间内多次出现异常行为时,也即目标主体出现异常行为的概率较大时产生报警。
可选地,在一种实施例中,行为数据包括行为对端、行为属性和行为时间,行为属性为目标主体与行为对端之间产生的网络行为的属性,将行为数据组按照预设的映射规则映射为图像的步骤包括:针对每条行为数据,将行为对端映射为预设模板图像中点的位置坐标,将行为属性映射为点的形态属性,在位置坐标处显示形态属性的点,得到行为数据对应的图像点;在关联点之间设置连接线,其中,行为时间满足预设关联关系的两条行为数据对应的图像点互为关联点。
具体地,行为对端是指目标主体发出的网络行为的接收端,行为数据中包括的行为对端具体可包括接收端的标识、编号、地址等可以唯一标识接收端的信息;行为属性是指该网络行为的属性,包括连接方式、数据传输协议等;行为时间是指网络行为的产生时间。对行为数据组按照预设的映射规则映射为图像,也即将网络行为图像化。映射规则包括在行为对端(本申请中是指标识行为对端的信息)与预设模板图像的点的位置坐标之间建立的映射关系,通过该映射关系,针对每条行为数据,将行为对端映射为预设模板图像中点的位置坐标,需要说明是,该处的位置坐标可以为在一种坐标系中标识点位置的数据,例如直角坐标系中通过横纵坐标标识点位置的数据,又如极坐标系中通过极角和极径标识点位置的数据;也可以为通过序号等标识点位置的数据,例如通过图像中像素的序号标识点位置的数据等,本申请对此并不进行限定,所有能够在图像中标识出点位置的数据均属于本申请中的位置坐标,以实现通过在预设模板图像中不同位置的点来表征不同行为对端的目的。
映射规则还包括在行为属性与预设模板图像的点的形态属性之间建立的映射关系,通过该映射关系,针对每条行为数据,将行为属性映射为预设模板图像中点的形态属性,需要说明是,该处的行为属性可以为网络行为的单个属性,例如网络连接的连接方式,也可以为网络行为的多个属性的组合,例如网络连接的连接方式和数据传输协议的组合,该处的点的形态属性可以为点的大小、形状和/或颜色,也可以为点的其他参数,所有能够在图像中体现出点的差异的特性均属于本申请的点的形态属性,以实现通过在预设模板图像中点的不同形态属性来表征不同行为属性的目的。
行为数据组包括多条行为数据,每条行为数据对应一个网络行为,行为数据组表征目标主体在一段时间内发起的多个网络行为的数据。可根据实际需要预设基于行为时间的关联关系,在该行为数据组中,定义行为时间满足预设关联关系的两条行为数据对应的图像点互为关联点,例如,将间隔时间满足预设时长的两条行为数据对应的图像点互为关联点,通过在关联点之间显示连接线,实现上述关联关系的图像化,也即,通过图像信息体现哪些网络行为之间满足关联关系。针对行为数据组,将每条行为数据映射到预设模板图像上的同时,在关联点之间设置连接线,能够通过图像体现网络行为的关联关系。
在该实施例提供的网络行为的检测方法中,行为数据包括网络行为的行为对端以及网络行为的行为属性,将行为对端映射为预设模板图像中的点的位置坐标,将行为属性映射为点的形态属性,通过在位置坐标出显示该形态属性的点,得到行为数据对应的图像点,行为数据还包括行为时间,行为时间的关联关系通过关联点之间设置的连接线体现,实现了网络行为的图像化。
可选地,在一种实施例中,关联点为行为时间相邻的两条行为数据对应的图像点。
采用该实施例提供的网络行为的检测方法,将关联点定义为行为时间相邻的两条行为数据对应的图像点,关联点之间的连接线能够表征出哪些网络行为是相邻的网络行为,一方面,增加了图像表示网络行为信息的量,另一方面,对于一些安全威胁,相邻的网络行为之间具有特定的特征,因此,基于具有相邻网络行为表征的图像进行网络行为的检测,能够实现对这类型安全威胁的准确检测。
可选地,在一种实施例中,连接线为向量,向量的方向表征关联点对应的行为时间的先后。
采用该实施例提供的网络行为的检测方法,对于行为时间相邻的两条行为数据对应的图像点,不仅在两个图像点(也即关联点)之间显示连接线,而且将连接线设置为具有方向的线,也即将连接线设置为向量,通过向量的方向来表征行为时间的先后,从而当图像为体现多个网络行为的图像时,能够通过图像表征出网络行为发起端发起的网络行为的路径,也即图像表征出网络行为链,表征出系列行为的先后关系,从而能够基于正常行为的图像学习和预测到正常的行为上下关系作为参照进行比对。
可选地,在一种实施例中,将行为数据组按照预设的映射规则映射为图像的步骤还包括:统计行为数据组对应的相同关联点的数量;将数量映射为线的形态属性,在关联点之间设置连接线的步骤包括:在关联点之间按照线的形态属性设置连接线。
具体地,将关联点表征的两条行为数据作为一个行为数据单元,当行为数据组对应有相同关联点时,也即行为数据组中包括相同的行为数据单元,在该实施例提供的网络行为的检测方法中,针对某一关联点,对行为数据组中该关联点表征的行为数据单元的数量进行统计,如果行为数据组中包括N个此行为数据单元,则该关联点的数量为N。预先设置数量与线的形态属性之间的映射关系,在确定一个关联点的数量后,基于该映射关系可将确定的数量映射为线的形态属性,然后在关联点之间显示连接线时,按照映射到的线的形态属性来设置。该处的线的形态属性可以为线的形状、粗细和/或颜色,也可以为线的其他参数,所有能够在图像中体现出线的差异的特性均属于本申请的线的形态属性,以实现通过在预设模板图像中线的不同形态属性来表征关联点数量的目的。
采用该实施例提供的网络行为的检测方法,将关联点的数量映射为关联点之间连接线的形态属性,从而关联点之间的连接线在表征出哪些网络行为之间满足关联关系的同时,还能够表征出这些网络行为的多少,增加了图像表示网络行为信息的量。
可选地,在一种实施例中,将行为对端映射为预设模板图像中点的位置坐标的步骤包括:在预设模板图像中预设多个点的位置坐标;通过按序分配、随机分配或最远距离分配,将预设多个点的位置坐标分配一个端标识,建立位置坐标与端标识之间的一一对应的第一映射关系;根据行为对端的端标识和第一映射关系,确定行为对端对应的位置坐标。
具体地,在预设模板图像中预设多个点的位置坐标时,可以随机设置多个点,也可以按照一定规律设置多个点;在将预设模板图像中的点与行为对端之间建立映射关系时,可以按序将点的位置坐标分配给一个行为对端,针对多个行为对端,将各个行为对端进行排序,然后按照在某一方向上的顺序将每个点分配给一个行为对端,或者将每个点随机分配给一个行为对端,或者也可以将一个点分配给一个行为对端后,再计算确定一个与该点距离最远的点,将该距离最远的点分配给下一个行为对端,以此类推,直到所有的行为对端都对应有一个点,形成位置坐标与行为对端之间的一一对应的第一映射关系,在将一个确定的行为对端映射为预设模板图像中点的位置坐标时,在第一映射关系中查找该行为对端所对应的位置坐标。
可选地,在一种实施例中,预设模板图像为具有多个像素的图片,一个点包括若干个像素,位置坐标根据像素的位置确定,点的形态属性根据像素的RGB值确定。
具体地,点的位置坐标可以为该点所包括的一个像素的位置坐标,或者也可以为一个像素的序号等。点的形态属性为点的颜色,具体根据像素的RGB值确定,采用该实施例提供的网络行为的检测方法,点的位置坐标和形态属性均可以根据图片中的像素确定。
可选地,在一种实施例中,同一个点的各像素的RGB值相同,使得一个点整体的颜色均匀,有利于图像识别和图像处理,进而有利于网络行为的识别和处理,且在设置行为属性与点的形态属性的映射关系时,点的形态属性简化为一个RGB值,映射关系简单。
可选地,在一种实施例中,不同点包括的像素的数量相同,也即不同点的大小相同,有利于图像识别和图像处理,进而有利于网络行为的识别和处理。
可选地,在一种实施例中,各点在图片上均匀设置,也即各相邻的点之间的距离相等。
可选地,在一种实施例中,预设模板图像为具有n*n个像素的图片,其中,n=(2k-1)*m,点为包括m个像素,相邻的点之间间隔m个像素,同一个点的各像素的RGB值相同,点的形态属性为点的像素的RGB值,将行为属性映射为点的形态属性的步骤包括:确定行为属性的编号i;确定像素的RGB值范围,其中,像素的R值的范围为0~r,像素的G值的范围为0~g,像素的B值的范围为0~b;采用以下公式计算编号i对应的十六进制数其中,表示向下取整,c表示行为属性的种类数量,HEX()表示将二进制数转为十六进制数;以及将十六进制数x的每两位数转换为十进制数得到点的像素的RGB值。
具体地,对于所有行为数据中不同种类的行为属性进行编号,并且确定像素的RGB值范围,该RGB值范围为预设图像模板上可显示的RGB值的范围,则r*g*b为预设图像模板上可显示的颜色种类数量,去除预设图像模板的一种背景颜色,r*g*b-1为预设图像模板上可显示的点的颜色种类数量,也即预设图像模板上可表征的行为属性的种类数量,c为实际行为属性的种类数量,通过公式的计算,得到编号为i的行为属性对应的十六进制数,将该十六进制数中每两位数转换为十进制数,即可得到像素的RGB值,实现了行为属性向点的形态属性的映射。
可选地,在一种实施例中,线的形态属性为线的像素的RGB值,将数量映射为线的形态属性的步骤包括:将数量由十进制数转换为十六进制数;将十六进制数的每两位转为十进制数,得到线的像素的RGB值。
具体地,将一种关联点的数量(前述行为数据单元的数量)映射为线的形态属性时,将数量映射为线对应的RGB值,也即线的颜色,使点的形态属性和线的形态属性均为像素的RGB值。
实施例二
本发明实施例二提供了一种优选地网络行为的检测方法,与上述实施例一中的相同的技术特征和技术效果可相互参考。在该实施例中,网络行为的检测方法通过一种异常行为检测***实现,具体地,图2为本发明实施例二提供的异常行为检测***的工作流程图,如图2所示,该实施例提供的异常行为检测***包括数据处理模块、行为表示模块、特征抽取器训练模块、特征抽取模块、正常行为训练模块、正常行为预测模块和异常行为预测模块。
数据处理模块的输入为原始网络数据,该原始网络数据可以为原始网络流量或日志数据,凡是包含由来源方(发起端)到目的方(接收端)的网络行为的数据都在本发明涉及的技术范围内。来源方是网络行为的发起方,例如:源IP、服务器账号、员工编号、邮箱等。目的方是行为的接收方,例如:目的IP、主机名、数据库、业务***、邮箱等。网络行为包含但不限于连接、登录、查询、写入、发邮件等涉及数据交互的动作。
数据处理模块在对原始网络数据进行处理时,执行的是网络行为的检测方法中行为数据的获取步骤,主要步骤包括抽取数据、统计并做规范化处理。首先从原始网络数据中抽取每一个来源方的行为序列,该行为序列也即行为数据组,行为数据组中的行为数据可包括:日期、时间、来源方、目的方,还可包括登录方式、协议、端口等附加的行为属性。行为属性可以是一种,也可以是多种。在该实施例中,以TCP连接的网络行为举例,来源方位来源IP,目的方为目的IP,行为属性为连接协议,实际场景中也可以根据需求定义不同的目的方和行为属性。以某一来源方(如客户端IP10.70.1.11)为例,抽取的数据和生成的序列如表1所示:
表1数据抽取样例
关于上表1,是指IP为10.70.1.11的客户端在2019-01-01 00:08:00通过HTTP方式访问了目的IP10.11.11.5,在2019-01-01 00:09:30通过SSH方式访问了目的IP10.11.11.6……以此类推。
随后,对表1中的数据进行统计和归并。对于每两次相邻的网络行为,按时间先后,将时间早者的目的方记为前一目的方,将时间晚者的目的方记为后一目的方,并记下各自的行为属性。还应记下观测时间范围内(如1天)的四元组(前一目的方,后一目的方,前一属性,后一属性)出现的次数。注意,为便于表述和实际的效果,下文观测时间范围的最小单位为1天,但在实际使用时,该取值可大于或小于1天。
数据处理模块的输出为处理后的数据,格式如表2所示:
表2数据统计并处理后数据样例
行为表示模块的输入为数据处理模块的输出结果,如上表2所示样例。行为表示模块在进行行为表示时,具体包括如下的步骤:
定义一张n*n(n=(2k-1)*8,k为正整数)的图片(也即预设模板图像),颜色范围为RGB=(255,255,255)。用直径为8像素的圆点表示目的方,此方法可表示k*k个目的方,如图3所示。每个圆点与目的方的对应关系可以有不同设定方式,如:按序分配、随机分配或最远距离分配或其他通过数学计算得到的分配方式,其中,按序分配包括按照从左至右或从上至下的顺序分配,或者按照蛇形顺序分配,或者按照回形顺序分配等。如图3所示,用圆点的颜色表示行为属性,因为除去图片背景色RGB=(255,255,255)外,可用的R、G、B值最多可表示256*256*256-1=16777215种不同属性。先为行为属性编号,再将点的颜色映射到各个行为属性,方法是取表示向下取整,c表示行为属性的种类个数,i表示当前行为属性的编号,HEX()表示将二进制数转为十六进制数。再取x的每两位数十六进制数转为十进制,对应为R、G、B值。对行为属性的编号并赋予颜色的样例如表3所示(假设属性的种类个数为50,即样例中共有50种不同的协议)。
表3对属性编号并赋予颜色样例
前后两个目的方的跳转关系(也即上文中的关联关系)用两个圆点(也即关联点)之间的连接线表示,线的RGB值表示出现次数(也即关联点的数量)。将十进制的出现次数转为十六进制数,取该十六进制数的每两位转为十进制分别为R、G、B的值。次数与颜色的映射关系如表4所示。若次数大于16777214,均用RGB=(255,255,254)表示。
表4出现次数与线颜色的映射关系
出现次数 | 次数的十六进制 | 线颜色(RGB) |
1 | 1 | (0,0,1) |
2 | 2 | (0,0,2) |
3 | 3 | (0,0,3) |
…… | ||
10000 | 2710 | (0,39,16) |
10001 | 2711 | (0,39,17) |
10002 | 2712 | (0,39,18) |
…… | ||
16777214 | FFFFFE | (255,255,254) |
依上述方法步骤,每个来源方(如IP或人)在每个观测时间范围(如1天)的行为可以用一张图片来表示。依然以表1和表2的行为数据为例,其转化后的效果图如图4所示,需要说明的是,图4中的10.11.11.5等IP信息和网格线只是为了便于说明,实际图片中并不包括IP信息和网格线本身。
每个来源方(如IP或人)在多个观测时间范围(如多天)的行为可以表示为多张图片的集合,具体效果图如图5所示。
通过上述方法得到行为图像数据后,如图2所示,获取该行为图像数据作为训练行为图像,对初始自编码器通过特征抽取器训练模块进行训练,可选地,初始自编码器为一个CNN自编码器。CNN自编码器的输入图像和预测目标是同一张图片,中间的卷积层作为编码层,相当于在做自动化的压缩编码,压缩结果再经过反卷积或上采样处理(相当于反编码层),输出层最终恢复到与输入层的输入图片相同大小的维度,训练完CNN自编码器之后,得到目标自编码器,获取上述行为图像数据作为验证行为图像进行测试,如果输出层结果与输入层图像极为相似,那么可认为该目标自编码器效果显著,中间的压缩编码层可用于输入图像的压缩编码表示,得到能够进行特征向量提取的特征抽取器。
如上所述,使用大量行为图像数据训练好目标自编码器后,向目标自编码器输入某一行为图像,经过输入层和编码层的计算后,取出编码层输出的压缩编码结果即为提取出的特征向量,这里,压缩编码结果定义为长度为L的列向量(L*1维矩阵),即经过目标自编码器提取出的特征向量为L*1的列向量。
需要对目标主体的网络行为进行检测之前,获取目标主体的网络数据,通过上述数据处理模块和行为表示模块得到行为图像数据后,再通过上述目标自编码器得到对应每张行为图像的特征向量对行为预测模型进行训练,具体地,采用滑动窗口方式将窗口内长度为L的列向量进行拼接,滑动窗口大小为T。每次取大小为L*T的矩阵预测第T+1个L列向量。如图6所示,将第1至第T天(在该实施例中,单位时间窗的时长为1天)的特征向量拼接,目标是预测第T+1天的特征向量,作为第1个训练样本;将第2至第T+1天的特征向量拼接,目标是预测第T+2天的特征向量(图6中具有填充的向量),作为第2个训练样本……以此类推,积累足够的用于训练正常行为模型的样本。可选地,模型采用RNN/LSTM等深度学习算法训练,待训练充分后,模型具备记忆T天正常行为并预测第T+1天行为的能力,正常行为训练模块输出的是上述具备这种能力的模型——正常行为模型,也即行为预测模型。
正常行为模型训练结束后即可应用于实际网络行为的检测,待预测数据的时间通常要晚于训练所用数据。如图7所示,在正常行为预测过程中,每天真实行为对应的特征记为Xi,用前T天Xi预测的第T+1天结果记为Y。例如,用(X-T+1,X-T+2,…,X-1,X0)预测得到Y1,用(X-T+2,X-T+3,…,X0,X1)预测得到Y2,以此类推,经正常行为预测模块输出各预测结果Yi。
在异常行为预测模块中,通过对比行为预测结果(Y1,Y2,…,Ym)与真实数据(X1,X2,…,Xm)的差别来检测某天是否发生异常行为。其中,m是可容忍的异常观测天数。如果业务要求当天检测出异常就要告警,那么m=1,由输出的异常度决定是否告警;如果虽然当天检测出异常,但是考虑到有可能因为正常的数据波动,或是因业务需要考察后续行为再做决定,并不立即告警,那么m>1,由多天异常度的计算结果决定是否告警。
其中,行为异常度的计算如下:第i天的行为异常度通过计算Xi与Yi的均方根误差得到:
其中,Xi=(Xi1,Xi2,…,Xij,…,XiL),Yi=(Yi1,Yi2,…,Yij,…,YiL)。
当m=1时,若Si大于预设阈值,则告警。当m>1时,若m天内有r天Si大于预设阈值(r≤m),则告警。
实施例三
对应于上述实施例一,本发明实施例三提供了一种网络行为的检测装置,相关技术特征和技术效果可参考上述,此处不再赘述。图8为本发明实施例三提供的网络行为的检测装置的框图,如图8所示,该装置包括:第一获取模块301、第二获取模块302、映射模块303、提取模块304、预测模块305和比对模块306。
其中,第一获取模块301用于获取待检测单位时间窗内目标主体网络行为的行为数据,得到待检测行为数据组;第二获取模块302用于获取历史单位时间窗内目标主体网络行为的行为数据,得到历史行为数据组;映射模块303用于将待检测行为数据组按照预设的映射规则映射为行为图像,得到待检测图像,将历史行为数据组按照映射规则映射为行为图像,得到历史图像;提取模块304用于提取待检测图像的特征向量,得到待检测特征向量,提取历史图像的特征向量,得到历史特征向量;预测模块305用于将历史特征向量组输入至预设的行为预测模型,得到预测特征向量,其中,历史特征向量组为多个连续的历史单位时间窗对应的历史特征向量;比对模块306用于比对待检测特征向量和预测特征向量,以确定待检测单位时间窗内目标主体网络行为是否存在异常。
可选地,在一种实施例中,提取模块304在提取行为图像的特征向量时,具体执行的步骤包括:建立初始自编码器,其中,初始自编码器包括输入层、编码层、反编码层和输出层;获取训练行为图像,并将训练行为图像分别作为初始自编码器的输入层的输入和输出层的输出,对初始自编码器进行训练,得到目标自编码器;获取验证行为图像,将验证行为图像作为目标自编码器的输入层的输入,得到目标自编码器的输出层的输出;通过验证行为图像与目标自编码器的输出层的输出进行比对,判断目标自编码器是否满足要求;当目标自编码器满足要求时,将行为图像作为目标自编码器的输入层的输入,获取目标自编码器的编码层的输出,以得到行为图像的特征向量。
可选地,在一种实施例中,网络行为的检测装置还包括:训练模块,用于在将多个连续的历史单位时间窗对应的历史特征向量输入至预设的行为预测模型,得到预测特征向量的步骤之前,执行以下步骤:获取目标主体的网络数据;提取网络数据中的行为数据组,其中,行为数据组包括单位时间窗内目标主体的网络行为的行为数据;将行为数据组按照映射规则映射为行为图像,得到训练行为图像;提取训练行为图像的特征向量,得到训练特征向量,其中,训练特征向量为L*1的矩阵;按照时间先后顺序对网络数据对应的多个训练特征向量进行排序,得到训练特征向量队列;采用滑动窗口方式,对训练特征向量队列进行取值和拼接,以得到多个训练样本,其中,训练样本包括拼接向量和预测向量,拼接向量包括由滑动窗口内的T个训练特征向量构成的L*T矩阵,预测向量包括与滑动窗口相邻且位于滑动窗口后的训练特征向量;建立初始行为预测模型,其中,初始行为预测模型包括输入层、中间层和输出层;将训练样本中的拼接向量作为初始行为预测模型的输入层的输入,将训练样本中的预测向量作为初始行为预测模型的输出层的输出,对初始行为预测模型进行训练,得到行为预测模型。
可选地,在一种实施例中,比对模块306在比对待检测特征向量和预测特征向量,以确定待检测单位时间窗内目标主体网络行为是否存在异常时,具体执行的步骤包括:计算待检测特征向量和预测特征向量的均方根误差;判断均方根误差是否大于预设误差阈值;以及当均方根误差大于预设误差阈值时,确定待检测单位时间窗内目标主体网络行为存在异常。
可选地,在一种实施例中,网络行为的检测装置还包括:报警模块,用于在连续s个待检测单位时间窗内,具有r个待检测单位时间窗内目标主体网络行为存在异常时,产生报警,其中,r≤s。
可选地,在一种实施例中,行为数据包括行为对端、行为属性和行为时间,行为属性为目标主体与行为对端之间产生的网络行为的属性,映射模块303将行为数据组按照预设的映射规则映射为图像时,具体执行的步骤包括:针对每条行为数据,将行为对端映射为预设模板图像中点的位置坐标,将行为属性映射为点的形态属性,在位置坐标处显示形态属性的点,得到行为数据对应的图像点;在关联点之间设置连接线,其中,行为时间满足预设关联关系的两条行为数据对应的图像点互为关联点。
可选地,在一种实施例中,关联点为行为时间相邻的两条行为数据对应的图像点;连接线为向量,向量的方向表征关联点对应的行为时间的先后。
可选地,在一种实施例中,映射模块303在将行为数据组按照预设的映射规则映射为图像时,具体执行的步骤还包括:统计行为数据组对应的相同关联点的数量;将数量映射为线的形态属性,其中,在关联点之间设置连接线时,在关联点之间按照线的形态属性设置连接线。
可选地,在一种实施例中,映射模块303在将行为对端映射为预设模板图像中点的位置坐标时,具体执行的步骤包括:在预设模板图像中预设多个点的位置坐标;通过按序分配、随机分配或最远距离分配,将预设多个点的位置坐标分配一个端标识,建立位置坐标与端标识之间的一一对应的第一映射关系;根据行为对端的端标识和第一映射关系,确定行为对端对应的位置坐标。
可选地,在一种实施例中,预设模板图像为具有n*n个像素的图片,其中,n=(2k-1)*m,点为包括m个像素,相邻的点之间间隔m个像素,同一个点的各像素的RGB值相同,点的形态属性为点的像素的RGB值,映射模块303在将行为属性映射为点的形态属性时,具体执行的步骤包括:确定行为属性的编号i;确定像素的RGB值范围,其中,像素的R值的范围为0~r,像素的G值的范围为0~g,像素的B值的范围为0~b;采用以下公式计算编号i对应的十六进制数其中,表示向下取整,c表示行为属性的种类数量,HEX()表示将二进制数转为十六进制数;以及将十六进制数x的每两位数转换为十进制数得到点的像素的RGB值。
可选地,在一种实施例中,线的形态属性为线的像素的RGB值,映射模块303在将数量映射为线的形态属性时,具体执行的步骤包括:将数量由十进制数转换为十六进制数;将十六进制数的每两位转为十进制数,得到线的像素的RGB值。
实施例四
本实施例四还提供一种计算机设备,如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个服务器所组成的服务器集群)等。如图9所示,本实施例的计算机设备01至少包括但不限于:可通过***总线相互通信连接的存储器011、处理器012,如图9所示。需要指出的是,图9仅示出了具有组件存储器011和处理器012的计算机设备01,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
本实施例中,存储器011(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器011可以是计算机设备01的内部存储单元,例如该计算机设备01的硬盘或内存。在另一些实施例中,存储器011也可以是计算机设备01的外部存储设备,例如该计算机设备01上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(FlashCard)等。当然,存储器011还可以既包括计算机设备01的内部存储单元也包括其外部存储设备。本实施例中,存储器011通常用于存储安装于计算机设备01的操作***和各类应用软件,例如实施例三的网络行为的检测装置程序代码等。此外,存储器011还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器012在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器012通常用于控制计算机设备01的总体操作。本实施例中,处理器012用于运行存储器011中存储的程序代码或者处理数据,例如网络行为的检测方法等。
实施例五
本实施例五还提供一种计算机可读存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储网络行为的检测装置,被处理器执行时实现实施例一的网络行为的检测方法。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种网络行为的检测方法,其特征在于,包括:
获取待检测单位时间窗内目标主体网络行为的行为数据,得到待检测行为数据组;
获取历史单位时间窗内所述目标主体网络行为的行为数据,得到历史行为数据组;
将所述待检测行为数据组按照预设的映射规则映射为行为图像,得到待检测图像,将所述历史行为数据组按照所述映射规则映射为行为图像,得到历史图像;
提取所述待检测图像的特征向量,得到待检测特征向量,提取所述历史图像的特征向量,得到历史特征向量;
将历史特征向量组输入至预设的行为预测模型,得到预测特征向量,其中,所述历史特征向量组为多个连续的所述历史单位时间窗对应的历史特征向量;
比对所述待检测特征向量和所述预测特征向量,以确定所述待检测单位时间窗内所述目标主体网络行为是否存在异常。
2.根据权利要求1所述的网络行为的检测方法,其特征在于,提取所述行为图像的所述特征向量的步骤包括:
建立初始自编码器,其中,所述初始自编码器包括输入层、编码层、反编码层和输出层;
获取训练行为图像,并将所述训练行为图像分别作为所述初始自编码器的输入层的输入和输出层的输出,对所述初始自编码器进行训练,得到目标自编码器;
获取验证行为图像,将所述验证行为图像作为所述目标自编码器的输入层的输入,得到所述目标自编码器的输出层的输出;
通过所述验证行为图像与所述目标自编码器的输出层的输出进行比对,判断所述目标自编码器是否满足要求;
当所述目标自编码器满足要求时,将所述行为图像作为所述目标自编码器的输入层的输入,获取所述目标自编码器的编码层的输出,以得到所述行为图像的所述特征向量。
3.根据权利要求2所述的网络行为的检测方法,其特征在于,在将历史特征向量组输入至所述预设的行为预测模型,得到预测特征向量的步骤之前,所述网络行为的检测方法还包括:
获取所述目标主体的网络数据;
提取所述网络数据中的行为数据组,其中,所述行为数据组包括单位时间窗内所述目标主体的网络行为的所述行为数据;
将所述行为数据组按照所述映射规则映射为行为图像,得到训练行为图像;
提取所述训练行为图像的特征向量,得到训练特征向量,其中,所述训练特征向量为L*1的矩阵;
按照时间先后顺序对所述网络数据对应的多个所述训练特征向量进行排序,得到训练特征向量队列;
采用滑动窗口方式,对所述训练特征向量队列进行取值和拼接,以得到多个训练样本,其中,所述训练样本包括拼接向量和预测向量,所述拼接向量包括由所述滑动窗口内的T个所述训练特征向量构成的L*T 矩阵,所述预测向量包括与所述滑动窗口相邻且位于所述滑动窗口后的所述训练特征向量;
建立初始行为预测模型,其中,所述初始行为预测模型包括输入层、中间层和输出层;
将所述训练样本中的所述拼接向量作为所述初始行为预测模型的输入层的输入,将所述训练样本中的所述预测向量作为所述初始行为预测模型的输出层的输出,对所述初始行为预测模型进行训练,得到所述行为预测模型。
4.根据权利要求1所述的网络行为的检测方法,其特征在于,比对所述待检测特征向量和所述预测特征向量,以确定所述待检测单位时间窗内所述目标主体网络行为是否存在异常的步骤包括:
计算所述待检测特征向量和所述预测特征向量的均方根误差;
判断所述均方根误差是否大于预设误差阈值;
当所述均方根误差大于所述预设误差阈值时,确定所述待检测单位时间窗内所述目标主体网络行为存在异常;以及
在连续s个所述待检测单位时间窗内,具有r个所述待检测单位时间窗内所述目标主体网络行为存在异常时,产生报警,其中,r≤s。
5.根据权利要求1所述的网络行为的检测方法,其特征在于,所述行为数据包括行为对端、行为属性和行为时间,所述行为属性为所述目标主体与所述行为对端之间产生的网络行为的属性,将所述行为数据组按照预设的映射规则映射为图像的步骤包括:
针对每条所述行为数据,将所述行为对端映射为预设模板图像中点的位置坐标,将所述行为属性映射为点的形态属性,在所述位置坐标处显示所述形态属性的点,得到所述行为数据对应的图像点;
在关联点之间设置连接线,其中,所述行为时间满足预设关联关系的两条所述行为数据对应的所述图像点互为所述关联点。
6.根据权利要求5所述的网络行为的检测方法,其特征在于,
所述关联点为所述行为时间相邻的两条所述行为数据对应的所述图像点,所述连接线为向量,所述向量的方向表征所述关联点对应的所述行为时间的先后;
将所述行为对端映射为预设模板图像中点的位置坐标的步骤包括:在所述预设模板图像中预设多个点的位置坐标;通过按序分配、随机分配或最远距离分配,将所述预设多个点的位置坐标分配一个端标识,建立所述位置坐标与所述端标识之间的一一对应的第一映射关系;根据所述行为对端的所述端标识和所述第一映射关系,确定所述行为对端对应的所述位置坐标;
将所述行为数据组按照预设的映射规则映射为图像的步骤还包括:统计所述行为数据组对应的相同所述关联点的数量;将所述数量映射为线的形态属性;在所述关联点之间设置连接线的步骤包括:在所述关联点之间按照所述线的形态属性设置所述连接线;
所述线的形态属性为所述线的像素的RGB值,将所述数量映射为线的形态属性的步骤包括:将所述数量由十进制数转换为十六进制数;将所述十六进制数的每两位转为十进制数,得到所述线的像素的RGB值。
7.根据权利要求5所述的网络行为的检测方法,其特征在于,所述预设模板图像为具有n*n个像素的图片,其中,n=(2k-1)*m,所述点为包括m个所述像素,相邻的所述点之间间隔m个所述像素,同一个点的各所述像素的RGB值相同,所述点的形态属性为所述点的像素的RGB值,将所述行为属性映射为点的形态属性的步骤包括:
确定所述行为属性的编号i;
确定所述像素的RGB值范围,其中,所述像素的R值的范围为0~r,所述像素的G值的范围为0~g,所述像素的B值的范围为0~b;
采用以下公式计算所述编号i对应的十六进制数x=HEX(⌊(r*g*b-1)/c⌋*i),其中,⌊⌋表示向下取整,c 表示所述行为属性的种类数量,HEX()表示将二进制数转为十六进制数;以及
将所述十六进制数x的每两位数转换为十进制数得到所述点的像素的RGB值。
8.一种网络行为的检测装置,其特征在于,包括:
第一获取模块,用于获取待检测单位时间窗内目标主体网络行为的行为数据,得到待检测行为数据组;
第二获取模块,用于获取历史单位时间窗内所述目标主体网络行为的行为数据,得到历史行为数据组;
映射模块,用于将所述待检测行为数据组按照预设的映射规则映射为行为图像,得到待检测图像,将所述历史行为数据组按照所述映射规则映射为行为图像,得到历史图像;
提取模块,用于提取所述待检测图像的特征向量,得到待检测特征向量,提取所述历史图像的特征向量,得到历史特征向量;
预测模块,用于将历史特征向量组输入至预设的行为预测模型,得到预测特征向量,其中,所述历史特征向量组为多个连续的所述历史单位时间窗对应的历史特征向量;
比对模块,用于比对所述待检测特征向量和所述预测特征向量,以确定所述待检测单位时间窗内所述目标主体网络行为是否存在异常。
9.一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911418725.1A CN111131314B (zh) | 2019-12-31 | 2019-12-31 | 网络行为的检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911418725.1A CN111131314B (zh) | 2019-12-31 | 2019-12-31 | 网络行为的检测方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111131314A CN111131314A (zh) | 2020-05-08 |
CN111131314B true CN111131314B (zh) | 2022-04-12 |
Family
ID=70507110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911418725.1A Active CN111131314B (zh) | 2019-12-31 | 2019-12-31 | 网络行为的检测方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111131314B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112073396A (zh) * | 2020-08-27 | 2020-12-11 | 北京天融信网络安全技术有限公司 | 一种内网横向移动攻击行为的检测方法及装置 |
JP7165830B2 (ja) * | 2020-09-29 | 2022-11-04 | 楽天グループ株式会社 | 異常判定システム、異常判定方法及びプログラム |
CN113568819B (zh) * | 2021-01-31 | 2024-04-16 | 腾讯科技(深圳)有限公司 | 异常数据检测方法、装置、计算机可读介质及电子设备 |
CN112839059B (zh) * | 2021-02-22 | 2022-08-30 | 北京六方云信息技术有限公司 | Web入侵检测自适应告警过滤处理方法、装置及电子设备 |
CN113627754A (zh) * | 2021-07-27 | 2021-11-09 | 北京达佳互联信息技术有限公司 | 指标检测的操作控制方法、装置、电子设备及存储介质 |
CN114612887B (zh) * | 2021-09-01 | 2023-01-10 | 腾讯科技(深圳)有限公司 | 单据异常检测方法、装置、设备及计算机可读存储介质 |
CN115604016B (zh) * | 2022-10-31 | 2023-06-23 | 北京安帝科技有限公司 | 一种行为特征链模型的工控异常行为监测方法和*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10015182B1 (en) * | 2016-06-30 | 2018-07-03 | Symantec Corporation | Systems and methods for protecting computing resources |
CN108965055A (zh) * | 2018-07-17 | 2018-12-07 | 成都力鸣信息技术有限公司 | 一种基于历史时间取点法的网络流量异常检测方法 |
CN108985361A (zh) * | 2018-07-02 | 2018-12-11 | 北京金睛云华科技有限公司 | 一种基于深度学习的恶意流量检测实现方法和装置 |
CN110138763A (zh) * | 2019-05-09 | 2019-08-16 | 中国科学院信息工程研究所 | 一种基于动态web浏览行为的内部威胁检测***及方法 |
CN110336838A (zh) * | 2019-08-07 | 2019-10-15 | 腾讯科技(武汉)有限公司 | 账号异常检测方法、装置、终端及存储介质 |
CN110581856A (zh) * | 2019-09-17 | 2019-12-17 | 武汉思普崚技术有限公司 | 一种恶意代码的检测方法及*** |
-
2019
- 2019-12-31 CN CN201911418725.1A patent/CN111131314B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10015182B1 (en) * | 2016-06-30 | 2018-07-03 | Symantec Corporation | Systems and methods for protecting computing resources |
CN108985361A (zh) * | 2018-07-02 | 2018-12-11 | 北京金睛云华科技有限公司 | 一种基于深度学习的恶意流量检测实现方法和装置 |
CN108965055A (zh) * | 2018-07-17 | 2018-12-07 | 成都力鸣信息技术有限公司 | 一种基于历史时间取点法的网络流量异常检测方法 |
CN110138763A (zh) * | 2019-05-09 | 2019-08-16 | 中国科学院信息工程研究所 | 一种基于动态web浏览行为的内部威胁检测***及方法 |
CN110336838A (zh) * | 2019-08-07 | 2019-10-15 | 腾讯科技(武汉)有限公司 | 账号异常检测方法、装置、终端及存储介质 |
CN110581856A (zh) * | 2019-09-17 | 2019-12-17 | 武汉思普崚技术有限公司 | 一种恶意代码的检测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN111131314A (zh) | 2020-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111131314B (zh) | 网络行为的检测方法、装置、计算机设备和存储介质 | |
CN111107107B (zh) | 网络行为的检测方法、装置、计算机设备和存储介质 | |
EP3396625A1 (en) | Image tampering detection method and system, electronic apparatus and storage medium | |
CN111783875A (zh) | 基于聚类分析的异常用户检测方法、装置、设备及介质 | |
CN111475797A (zh) | 一种对抗图像生成方法、装置、设备以及可读存储介质 | |
CN112200081A (zh) | 异常行为识别方法、装置、电子设备及存储介质 | |
CN110969143A (zh) | 基于图像识别的取证方法、***、计算机设备及存储介质 | |
CN109376689B (zh) | 人群分析方法及装置 | |
CN113919513A (zh) | 一种联邦学习安全聚合方法、装置及电子设备 | |
CN111814776B (zh) | 一种图像处理方法、设备、服务器及存储介质 | |
CN113127864B (zh) | 特征码提取方法、装置、计算机设备和可读存储介质 | |
CN110955891A (zh) | 文件检测的方法、装置、***和数据处理法的方法 | |
CN111553241A (zh) | 掌纹的误匹配点剔除方法、装置、设备及存储介质 | |
CN112487929A (zh) | 儿童绘本的图像识别方法、装置、设备及存储介质 | |
CN111131322B (zh) | 网络行为的检测方法、装置、计算机设备和存储介质 | |
CN113537248B (zh) | 图像识别方法和装置、电子设备和存储介质 | |
CN117391585A (zh) | 工业互联网的仓储信息管理方法以及*** | |
CN115934484B (zh) | 基于扩散模型数据增强的异常检测方法、存储介质及设备 | |
CN111091194A (zh) | 一种基于cavwnb_kl算法的操作***识别方法 | |
CN113920497B (zh) | 一种铭牌识别模型的训练、铭牌的识别方法及相关装置 | |
CN115797291A (zh) | 回路端子的识别方法、装置、计算机设备和存储介质 | |
CN114998665A (zh) | 一种图像类别识别方法、装置、电子设备及存储介质 | |
CN111797922B (zh) | 文本图像分类方法及装置 | |
CN115019057A (zh) | 图像特征提取模型确定方法及装置、图像识别方法及装置 | |
CN113298102B (zh) | 一种目标分类模型的训练方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder |
Address after: Room 332, 3 / F, Building 102, 28 xinjiekouwei street, Xicheng District, Beijing 100088 Patentee after: QAX Technology Group Inc. Patentee after: Qianxin Wangshen information technology (Beijing) Co.,Ltd. Address before: Room 332, 3 / F, Building 102, 28 xinjiekouwei street, Xicheng District, Beijing 100088 Patentee before: QAX Technology Group Inc. Patentee before: LEGENDSEC INFORMATION TECHNOLOGY (BEIJING) Inc. |
|
CP01 | Change in the name or title of a patent holder |