CN117473249A - 网络流量检测模型的建模方法、检测方法及相关设备 - Google Patents
网络流量检测模型的建模方法、检测方法及相关设备 Download PDFInfo
- Publication number
- CN117473249A CN117473249A CN202311278189.6A CN202311278189A CN117473249A CN 117473249 A CN117473249 A CN 117473249A CN 202311278189 A CN202311278189 A CN 202311278189A CN 117473249 A CN117473249 A CN 117473249A
- Authority
- CN
- China
- Prior art keywords
- network traffic
- word vector
- vector matrix
- network
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 title claims abstract description 65
- 239000011159 matrix material Substances 0.000 claims abstract description 131
- 239000013598 vector Substances 0.000 claims abstract description 120
- 238000013528 artificial neural network Methods 0.000 claims abstract description 79
- 230000007246 mechanism Effects 0.000 claims abstract description 34
- 230000002159 abnormal effect Effects 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 241000700605 Viruses Species 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- ZXQYGBMAQZUVMI-GCMPRSNUSA-N gamma-cyhalothrin Chemical compound CC1(C)[C@@H](\C=C(/Cl)C(F)(F)F)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 ZXQYGBMAQZUVMI-GCMPRSNUSA-N 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000002458 infectious effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开实施例提供了一种网络流量检测模型的建模方法、网络流量的检测方法、装置、计算机设备及可读存储介质，涉及计算机技术领域。该建模方法包括：获取文本形式的网络流量；将所述文本形式的网络流量通过词嵌入获得词向量矩阵；计算所述词向量矩阵的行列式值；根据所述词向量矩阵的行列式值确定神经网络的注意力机制的头数；根据所述词向量矩阵对所述神经网络进行训练以完成网络流量检测模型的建模，以使所述网络流量检测模型具备根据网络流量识别异常流量的能力。本公开实施例提供的方案建立的网络流量检测模型，能够根据文本形式的网络流量进行检测的网络流量检测模型。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及一种网络流量检测模型的建模方法、网络流量的检测方法、装置、计算机设备及可读存储介质。
背景技术
目前，物联网的迅速发展为移动通信网络带来了许多潜在的危险，网络的攻击可能来源于任何一个物联网连接，因此，异常流量检测显得愈发重要，而它在近年来也取得了诸多研究进展。有许多经典的神经网络已经应用到了异常流量检测中：卷积神经网络(CNN)可以自动学习网络流量的局部特征，循环神经网络(RNN)和长短时记忆网络(LSTM)能够捕捉网络流量序列数据中的时间依赖关系，它们都能对异常流量进行有效检测。
发明内容
本公开实施例提供了一种网络流量检测模型的建模方法、网络流量的检测方法、装置、计算机设备及可读存储介质，涉及计算机技术领域，建立的网络流量检测模型，提升了异常流量的检测准确度。
本公开实施例提供了一种网络流量检测模型的建模方法，包括：获取文本形式的网络流量；将所述文本形式的网络流量通过词嵌入获得词向量矩阵；计算所述词向量矩阵的行列式值；根据所述词向量矩阵的行列式值确定神经网络的注意力机制的头数；根据所述词向量矩阵对所述神经网络进行训练以完成网络流量检测模型的建模，以使所述网络流量检测模型具备根据网络流量识别异常流量的能力。
在一个实施例中，建模方法还包括：根据所述词向量矩阵的行列式值确定所述神经网络的非超参数的初始化数值。
在一个实施例中，计算所述词向量矩阵的行列式值包括：在所述词向量矩阵为非方阵时，以所述词向量矩阵所包括的最大方阵计算行列式值以作为所述词向量矩阵的行列式值。
在一个实施例中，根据所述词向量矩阵的行列式值确定所述神经网络的注意力机制的头数包括：确定所述神经网络的注意力机制的初始头数和与所述初始头数对应的行列式第一阈值；将所述词向量矩阵的行列式值与所述行列式第一阈值进行比较以根据所述神经网络的注意力机制的初始头数确定所述神经网络的注意力机制的头数。
在一个实施例中，根据所述词向量矩阵的行列式值确定所述神经网络的非超参数的初始化数值包括：确定所述神经网络的非超参数的原始数值和与所述原始数值对应的行列式第二阈值；将所述词向量矩阵的行列式值与所述行列式第二阈值进行比较以根据所述神经网络的非超参数的原始数值确定所述神经网络的非超参数的初始化数值。
本公开实施例提供了一种网络流量的检测方法，包括：获取文本形式的网络流量；将所述文本形式的网络流量通过词嵌入获得词向量矩阵；将所述词向量矩阵输入至通过训练的网络流量检测模型进行检测；在所述文本形式的网络流量检测为正常流量时，允许访问；在所述网络流量检测模型检测为异常流量时，拒绝访问；其中所述网络流量检测模型是如上实施例中任一项所述的方法所建立的网络流量检测模型。
本公开实施例提供了一种网络流量检测模型的建模装置，包括：第一获取模块，用于获取文本形式的网络流量；第一词嵌入模块，用于将所述文本形式的网络流量通过词嵌入获得词向量矩阵；计算模块，用于计算所述词向量矩阵的行列式值；头数模块，用于根据所述词向量矩阵的行列式值确定所述神经网络的注意力机制的头数；训练模块，用于根据所述词向量矩阵对对所述神经网络进行训练以完成网络流量检测模型的建模，以使所述网络流量检测模型具备根据网络流量识别异常流量的能力。
本公开实施例提供了一种网络流量的检测装置，包括：第二获取模块，用于获取文本形式的网络流量；第二词嵌入模块，用于将所述文本形式的网络流量通过词嵌入获得词向量矩阵；检测模块，用于将所述词向量矩阵输入至通过训练的网络流量检测模型进行检测；判断模块，用于在所述文本形式的网络流量检测为正常流量时，允许访问；所述判断模块，用于在所述网络流量检测模型检测为异常流量时，拒绝访问；其中所述网络流量检测模型是如上实施例中任一项所述的方法所建立的网络流量检测模型。
本公开实施例提供了一种计算机设备，包括处理器、存储器、输入输出接口；所述处理器分别与所述存储器和所述输入输出接口相连，其中，所述输入输出接口用于接收数据及输出数据，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以使得所述计算机设备执行如上实施例中任一项所述的方法。
本公开实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于由处理器加载并执行，以使得具有所述处理器的计算机设备执行如上实施例中任一项所述的方法。
本申请的网络流量检测模型的建模方法，通过获取文本形式的网络流量；将所述文本形式的网络流量通过词嵌入获得词向量矩阵；计算所述词向量矩阵的行列式值；根据所述词向量矩阵的行列式值确定神经网络的注意力机制的头数；根据所述词向量矩阵对所述神经网络进行训练以完成网络流量检测模型的建模，以使所述网络流量检测模型具备根据网络流量识别异常流量的能力，从而建立能够根据文本形式的网络流量进行检测的网络流量检测模型。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了可以应用本公开实施方式的网络流量检测模型的建模方法的示例性***架构的示意图；
图2是本公开实施例提供的一种网络流量检测模型的建模方法的流程图；
图3示出了本公开一个实施例的网络流量的日志数据转换为词向量矩阵的示意图；
图4是本公开实施例提供的一种根据所述词向量矩阵的行列式值确定所述神经网络的注意力机制的头数方法的流程图；
图5是本公开实施例提供的一种根据所述词向量矩阵的行列式值确定所述神经网络的非超参数的初始化数值方法的流程图；
图6是本公开实施例提供的一种网络流量的检测方法的流程图；
图7是本公开实施例提供的一种网络流量检测模型的建模装置的结构示意图；
图8是本公开实施例提供的网络流量的检测装置的结构示意图；
图9是本公开实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
在本公开实施例中，可以基于深度学习模型Transformer等技术，获取文本形式的网络流量；将所述文本形式的网络流量通过词嵌入获得词向量矩阵；计算所述词向量矩阵的行列式值；根据所述词向量矩阵的行列式值确定神经网络的注意力机制的头数；根据所述词向量矩阵对所述神经网络进行训练以完成网络流量检测模型的建模，以使所述网络流量检测模型具备根据网络流量识别异常流量的能力，从而建立能够根据文本形式的网络流量进行检测的网络流量检测模型。
下面首先对本公开的一些术语进行说明：
异常流量，指的是网络中与正常流量不一致的数据包或数据流，并且可能具有危害性的网络信息。常见的异常流量有木马病毒，蠕虫病毒，感染性病毒等。
Transformer模型，是一种基于自注意力机制的神经网络模型，用于处理序列数据。相比于传统的循环神经网络模型，Transformer模型具有更好的并行性能和更短的训练时间，因此在自然语言处理领域中得到了广泛应用。
Word2Vec，是一个流行的用于学习词嵌入(word embeddings)的算法。它是用于表示文本数据的一种技术，它能将每个词转换为一个维度相对较低的连续向量，使得这些向量能够捕捉词之间的语义和语法关系。
本公开实施例提供的方案涉及Transformer、Word2Vec和异常流量等技术。
图1示出了可以应用本公开实施方式的网络流量检测模型的建模方法的示例性***架构100的示意图。
如图1所示，***架构100可以包括终端101、102、103中的一种或多种，网络104和服务器105。网络104是用以在终端101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
应该理解，图1中的终端、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
终端101、102、103通过网络104与服务器105交互，可以接收或发送消息等。终端101、102、103可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器。例如终端103(也可以是终端101或102)向服务器105发送网络流量检测模型的建模的指令，服务器105可以获取文本形式的网络流量；将所述文本形式的网络流量通过词嵌入获得词向量矩阵；计算所述词向量矩阵的行列式值；根据所述词向量矩阵的行列式值确定神经网络的注意力机制的头数；根据所述词向量矩阵对所述神经网络进行训练以完成网络流量检测模型的建模，以使所述网络流量检测模型具备根据网络流量识别异常流量的能力，从而建立能够根据文本形式的网络流量进行检测的网络流量检测模型。
其中，终端可以是手机(如终端101)或平板电脑(如终端102)，还可以是台式计算机(如终端101)等，在此不做限制。其中，终端中可以显示应用程序，该应用程序可以是网络流量检测模型的建模的应用程序等。其中，图1中的终端仅为例举出的部分设备，在本公开中终端并不仅限于该图1中所例举的设备。
可以理解的是，本公开实施例中所提及的终端可以是一种用户设备，本公开实施例中的服务器包括但不限于服务器或服务器组成的集群。其中，以上所提及的终端可以是一种电子设备，包括但不限于手机、平板电脑、智能语音交互设备、智能家电、车载终端、台式电脑、笔记本电脑、掌上电脑、车载设备、增强现实/虚拟现实(Augmented Reality/Virtual Reality，AR/VR)设备、头盔显示器、智能电视、可穿戴设备、智能音箱、数码相机、摄像头及其他具备网络接入能力的移动互联网设备(mobile internet device，MID)，或者火车、轮船、飞行等场景下的终端设备等。
其中，以上所提及的服务器可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、车路协同、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器，还可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***。
可选的，本公开实施例中所涉及的数据可以存储在云平台中，或者可以基于云存储技术、区块链技术对该数据进行存储，在此不做限制。
随着移动设备的广泛普及和移动网络技术的快速发展，网络安全问题日益严重，异常流量检测技术在此背景下应运而生，物联网异常流量检测在移动通信领域中具有重要意义，尤其在连接种类繁多的工业领域。它可以有效识别和阻止潜在的网络攻击，为移动通信网络提供安全保障。
图2是本公开实施例提供的一种网络流量检测模型的建模方法的流程图。本公开实施例提供的方法可以由图1实施例中的终端或服务器执行，或由终端和服务器交互执行。
如图2所示，本公开实施例提供的方法可以包括如下步骤。
在步骤S210中，获取文本形式的网络流量。
在该步骤中，终端或服务器获取文本形式的网络流量。
其中，文本形式的网络流量例如可以是日志数据。
在步骤S220中，将所述文本形式的网络流量通过词嵌入获得词向量矩阵。
在该步骤中，终端或服务器将所述文本形式的网络流量通过词嵌入获得词向量矩阵。
图3示出了本公开一个实施例的网络流量的日志数据转换为词向量矩阵的示意图。
网络流量的日志数据是持续产生的文本信息，而计算机以及神经网络是无法理解字符型信息的。因此，为了让计算机理解日志数据等文本数据，必须首先将日志数据进行向量化，通过词嵌入转换为词向量矩阵。
本申请中，例如可以通过Word2Vec转换工具完成所述文本形式的网络流量向词向量矩阵的转换。
在步骤S230中，计算所述词向量矩阵的行列式值。
在该步骤中，终端或服务器计算所述词向量矩阵的行列式值。
在一个实施例中，在所述词向量矩阵为非方阵时，以所述词向量矩阵所包括的最大方阵计算行列式值以作为所述词向量矩阵的行列式值。
在一个实施例中，在所述词向量矩阵为方阵时，以所述词向量矩阵的方阵计算行列式值以作为所述词向量矩阵的行列式值。
其中，行列式是与方阵相关的一种数学工具。对于一个n×n的方阵，其行列式是一个标量，通常表示为det(A)或者|A|。在二维和三维空间中，行列式的值相对简单易求，但对于更高维度，求行列式的值则需要一种被称为递归的方法。
行列式在数学上是描述矩阵所代表的线性变换对体积的伸缩因子，本申请赋予其新的解释，将其看作是数据的信息量。
在步骤S240中，根据所述词向量矩阵的行列式值确定神经网络的注意力机制的头数。
在该步骤中，终端或服务器根据所述词向量矩阵的行列式值确定神经网络的注意力机制的头数。
其中，神经网络例如可以是Transformer模型。
在步骤S250中，根据所述词向量矩阵对所述神经网络进行训练以完成网络流量检测模型的建模，以使所述网络流量检测模型具备根据网络流量识别异常流量的能力。
在该步骤中，终端或服务器根据所述词向量矩阵对所述神经网络进行训练以完成网络流量检测模型的建模，以使所述网络流量检测模型具备根据网络流量识别异常流量的能力。
其中，文本形式的网络流量例如可以是已经完成标注的数据，所述文本形式的网络流量通过词嵌入获得词向量矩阵可以直接用于Transformer模型的训练。
图2的网络流量检测模型的建模方法，通过获取文本形式的网络流量；将所述文本形式的网络流量通过词嵌入获得词向量矩阵；计算所述词向量矩阵的行列式值；根据所述词向量矩阵的行列式值确定神经网络的注意力机制的头数；根据所述词向量矩阵对所述神经网络进行训练以完成网络流量检测模型的建模，以使所述网络流量检测模型具备根据网络流量识别异常流量的能力，从而建立能够根据文本形式的网络流量进行检测的网络流量检测模型。
图4是本公开实施例提供的一种根据所述词向量矩阵的行列式值确定所述神经网络的注意力机制的头数方法的流程图。本公开实施例提供的方法可以由图1实施例中的终端或服务器执行，或由终端和服务器交互执行。
如图4所示，本公开实施例提供的方法可以包括如下步骤。
在步骤S410中，确定所述神经网络的注意力机制的初始头数和与所述初始头数对应的行列式第一阈值。
在该步骤中，终端或服务器确定所述神经网络的注意力机制的初始头数和与所述初始头数对应的行列式第一阈值。
在步骤S420中，将所述词向量矩阵的行列式值与所述行列式第一阈值进行比较以根据所述神经网络的注意力机制的初始头数确定所述神经网络的注意力机制的头数。
在该步骤中，终端或服务器将所述词向量矩阵的行列式值与所述行列式第一阈值进行比较以根据所述神经网络的注意力机制的初始头数确定所述神经网络的注意力机制的头数。
其中，当数据的行列式值超过第一阈值时，就增加头数。第一阈值根据实际数据来设定，比如说，可以计算所拥有的所有数据的行列式值的平均值，然后设定第一阈值为平均值的两倍，并通过实验来调整。
当的数据的行列式值超过阈值时，就增加头数。具体的增加方式可以有多种，比如说，可以设定每次增加1个头，也可以设定每次增加头数的10％。增加的头数可以根据实际需求来调整，但需要注意的是，增加头数会增加模型的复杂度和计算资源的需求。
最后，需要设定一个最大的头数，以防止头数过多导致计算资源无法承受。这个最大头数可以根据实际计算资源来设定。
在一个实施例中，网络流量检测模型的建模方法还包括：根据所述词向量矩阵的行列式值确定所述神经网络的非超参数的初始化数值。
图5是本公开实施例提供的一种根据所述词向量矩阵的行列式值确定所述神经网络的非超参数的初始化数值方法的流程图。本公开实施例提供的方法可以由图1实施例中的终端或服务器执行，或由终端和服务器交互执行。
如图5所示，本公开实施例提供的方法可以包括如下步骤。
在步骤S510中，确定所述神经网络的非超参数的原始数值和与所述原始数值对应的行列式第二阈值。
在该步骤中，终端或服务器确定所述神经网络的非超参数的原始数值和与所述原始数值对应的行列式第二阈值。
在步骤S520中，将所述词向量矩阵的行列式值与所述行列式第二阈值进行比较以根据所述神经网络的非超参数的原始数值确定所述神经网络的非超参数的初始化数值。
在该步骤中，终端或服务器将所述词向量矩阵的行列式值与所述行列式第二阈值进行比较以根据所述神经网络的非超参数的原始数值确定所述神经网络的非超参数的初始化数值。
其中，超参数是神经网络在训练过程不发生变化的参数；非超参数是训练过程发生变化的参数。非超参数的原始数值是神经网络训练开始时默认的参数值。神经网络的非超参数的初始化数值是经过调整的非超参数的数值。
其中，第二阈值可以通过实验来确定，或者根据输入数据的范围来预设。第二阈值设定是可以是例如通过物联网流量数据的特点来决定的，第二阈值可以由数据规模、任务需求和数据质量来综合考虑。
具体的第二阈值设置需要通过实验来确定。可以尝试使用不同的第二阈值，然后选择使模型性能最优的第二阈值。在初始阶段，会使用简单的方法，如设置一个固定的第二阈值，或者根据数据的均值和标准差来设置第二阈值。然后，根据模型的表现来逐步调整第二阈值。
计算权重初始化值：然后，将行列式的值与第二阈值的比例用作初始化注意力权重。为了保证权重在0到1之间，使用一个sigmoid函数来将行列式值与第二阈值的比例映射到0到1的范围。它的代码可以由以下公式(1)体现：
weight_init＝1/(1+np.exp(-det/thresh)) (1)
其中，weight_init是行列式的值与第二阈值的比例；np.exp是指数函数；det是行列式的值；thresh是第二阈值。
神经网络的非超参数的初始化数值：可以使用weight_init来设定神经网络的非超参数的初始化数值。具体如何设置取决于transformer模型的具体实现，一般可以直接替换模型中的非超参数的原始数值。
图6是本公开实施例提供的一种网络流量的检测方法的流程图。本公开实施例提供的方法可以由图1实施例中的服务器执行。
本申请上述的网络流量检测模型在完成建模后，可以设置在图1中***架构的服务器105端，在用户通过终端103(也可以是终端101或102)向服务器105发出调用请求时，会生成相应的文本形式的网络流量(例如，访问日志数据)，服务器105端的网络流量检测模型可以通过图6的方法对用户程序的访问日志数据进行检测。
如图6所示，本公开实施例提供的方法可以包括如下步骤：
在步骤S610中，获取文本形式的网络流量；
在步骤S620中，将所述文本形式的网络流量通过词嵌入获得词向量矩阵；
在步骤S630中，将所述词向量矩阵输入至通过训练的网络流量检测模型进行检测；
在步骤S640中，在所述文本形式的网络流量检测为正常流量时，允许访问；
在步骤S650中，在所述网络流量检测模型检测为异常流量时，拒绝访问。
本公开的网络流量的检测方法，通过获取文本形式的网络流量；将所述文本形式的网络流量通过词嵌入获得词向量矩阵；将所述词向量矩阵输入至通过训练的网络流量检测模型进行检测；在所述文本形式的网络流量检测为正常流量时，允许访问；在所述网络流量检测模型检测为异常流量时，拒绝访问，能够实现对用户程序的网络流量的检测。
图7是本公开实施例提供的一种网络流量检测模型的建模装置的结构示意图。
如图7所示，本公开实施例提供的网络流量检测模型的建模装置700可以包括：
第一获取模块710，用于获取文本形式的网络流量；
第一词嵌入模块720，用于将所述文本形式的网络流量通过词嵌入获得词向量矩阵；
计算模块730，用于计算所述词向量矩阵的行列式值；
头数模块740，用于根据所述词向量矩阵的行列式值确定所述神经网络的注意力机制的头数；
训练模块750，用于根据所述词向量矩阵对对所述神经网络进行训练以完成网络流量检测模型的建模，以使所述网络流量检测模型具备根据网络流量识别异常流量的能力。
本申请的网络流量检测模型的建模装置，通过第一获取模块，用于获取文本形式的网络流量；第一词嵌入模块，用于将所述文本形式的网络流量通过词嵌入获得词向量矩阵；计算模块，用于计算所述词向量矩阵的行列式值；头数模块，用于根据所述词向量矩阵的行列式值确定所述神经网络的注意力机制的头数；训练模块，用于根据所述词向量矩阵对对所述神经网络进行训练以完成网络流量检测模型的建模，以使所述网络流量检测模型具备根据网络流量识别异常流量的能力，从而建立能够根据文本形式的网络流量进行检测的网络流量检测模型。
在一个实施例中，装置还包括初始化数值模块，用于根据所述词向量矩阵的行列式值确定所述神经网络的非超参数的初始化数值。
在一个实施例中，计算模块730，还用于在所述词向量矩阵为非方阵时，以所述词向量矩阵所包括的最大方阵计算行列式值以作为所述词向量矩阵的行列式值。
在一个实施例中，头数模块740，还用于确定所述神经网络的注意力机制的初始头数和与所述初始头数对应的行列式第一阈值；将所述词向量矩阵的行列式值与所述行列式第一阈值进行比较以根据所述神经网络的注意力机制的初始头数确定所述神经网络的注意力机制的头数。
在一个实施例中，初始化数值模块，还用于确定所述神经网络的非超参数的原始数值和与所述原始数值对应的行列式第二阈值；将所述词向量矩阵的行列式值与所述行列式第二阈值进行比较以根据所述神经网络的非超参数的原始数值确定所述神经网络的非超参数的初始化数值。
图8是本公开实施例提供的网络流量的检测装置的结构示意图。
如图8所示，本公开实施例提供的网络流量的检测装置800可以包括：
第二获取模块810，用于获取文本形式的网络流量；
第二词嵌入模块820，用于将所述文本形式的网络流量通过词嵌入获得词向量矩阵；
检测模块830，用于将所述词向量矩阵输入至通过训练的网络流量检测模型进行检测；
判断模块840，用于在所述文本形式的网络流量检测为正常流量时，允许访问；
所述判断模块840，用于在所述网络流量检测模型检测为异常流量时，拒绝访问；
其中所述网络流量检测模型是由以上实施例中任一项所述的方法所建立的网络流量检测模型。
本公开的网络流量的检测装置，通过第二获取模块，用于获取文本形式的网络流量；第二词嵌入模块，用于将所述文本形式的网络流量通过词嵌入获得词向量矩阵；检测模块，用于将所述词向量矩阵输入至通过训练的网络流量检测模型进行检测；判断模块，用于在所述文本形式的网络流量检测为正常流量时，允许访问；所述判断模块，用于在所述网络流量检测模型检测为异常流量时，拒绝访问，能够实现对用户程序的网络流量的检测。
参见图9，图9是本公开实施例提供的一种计算机设备900的结构示意图。如图9所示，本公开实施例中的计算机设备可以包括：一个或多个处理器901、存储器902和输入输出接口903。该处理器901、存储器902和输入输出接口903通过总线904连接。存储器902用于存储计算机程序，该计算机程序包括程序指令，输入输出接口903用于接收数据及输出数据，如用于宿主机与计算机设备之间进行数据交互，或者用于在宿主机中的各个虚拟机之间进行数据交互；处理器901用于执行存储器902存储的程序指令。
其中，该处理器901可以执行如下操作：
获取文本形式的网络流量；将所述文本形式的网络流量通过词嵌入获得词向量矩阵；计算所述词向量矩阵的行列式值；根据所述词向量矩阵的行列式值确定神经网络的注意力机制的头数；根据所述词向量矩阵对所述神经网络进行训练以完成网络流量检测模型的建模，以使所述网络流量检测模型具备根据网络流量识别异常流量的能力。
或者，该处理器901可以执行如下操作：
获取文本形式的网络流量；将所述文本形式的网络流量通过词嵌入获得词向量矩阵；将所述词向量矩阵输入至通过训练的网络流量检测模型进行检测；在所述文本形式的网络流量检测为正常流量时，允许访问；在所述网络流量检测模型检测为异常流量时，拒绝访问。
在一些可行的实施方式中，该处理器901可以是中央处理单元(centralprocessing unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器902可以包括只读存储器和随机存取存储器，并向处理器901和输入输出接口903提供指令和数据。存储器902的一部分还可以包括非易失性随机存取存储器。例如，存储器902还可以存储设备类型的信息。
具体实现中，该计算机设备可通过其内置的各个功能模块执行如上述实施例中各个步骤所提供的实现方式，具体可参见上述实施例中各个步骤所提供的实现方式，在此不再赘述。
本公开实施例通过提供一种计算机设备，包括：处理器、输入输出接口、存储器，通过处理器获取存储器中的计算机程序，执行上述实施例中所示方法的各个步骤，进行传输操作。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序适于由该处理器加载并执行上述实施例中各个步骤所提供的方法，具体可参见上述实施例中各个步骤所提供的实现方式，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本公开所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本公开方法实施例的描述。作为示例，计算机程序可被部署为在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行。
该计算机可读存储介质可以是前述任一实施例提供的装置或者该计算机设备的内部存储单元，例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smart mediacard，SMC)，安全数字(secure digital，SD)卡，闪存卡(flash card)等。进一步地，该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本公开实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中的各种可选方式中所提供的方法。
本公开实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在该说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
本公开实施例提供的方法及相关装置是参照本公开实施例提供的方法流程图和/或结构示意图来描述的，具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程传输设备的处理器以产生一个机器，使得通过计算机或其他可编程传输设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程传输设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程传输设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
以上所揭露的仅为本公开较佳实施例而已，当然不能以此来限定本公开之权利范围，因此依本公开权利要求所作的等同变化，仍属本公开所涵盖的范围。
Claims (10)
1.一种网络流量检测模型的建模方法，其特征在于，包括：
获取文本形式的网络流量；
将所述文本形式的网络流量通过词嵌入获得词向量矩阵；
计算所述词向量矩阵的行列式值；
根据所述词向量矩阵的行列式值确定神经网络的注意力机制的头数；
根据所述词向量矩阵对所述神经网络进行训练以完成网络流量检测模型的建模，以使所述网络流量检测模型具备根据网络流量识别异常流量的能力。
2.根据权利要求1所述的方法，其特征在于，还包括：
根据所述词向量矩阵的行列式值确定所述神经网络的非超参数的初始化数值。
3.根据权利要求1所述的方法，其特征在于，计算所述词向量矩阵的行列式值包括：
在所述词向量矩阵为非方阵时，以所述词向量矩阵所包括的最大方阵计算行列式值以作为所述词向量矩阵的行列式值。
4.根据权利要求1所述的方法，其特征在于，根据所述词向量矩阵的行列式值确定所述神经网络的注意力机制的头数包括：
确定所述神经网络的注意力机制的初始头数和与所述初始头数对应的行列式第一阈值；
将所述词向量矩阵的行列式值与所述行列式第一阈值进行比较以根据所述神经网络的注意力机制的初始头数确定所述神经网络的注意力机制的头数。
5.根据权利要求2所述的方法，其特征在于，根据所述词向量矩阵的行列式值确定所述神经网络的非超参数的初始化数值包括：
确定所述神经网络的非超参数的原始数值和与所述原始数值对应的行列式第二阈值；
将所述词向量矩阵的行列式值与所述行列式第二阈值进行比较以根据所述神经网络的非超参数的原始数值确定所述神经网络的非超参数的初始化数值。
6.一种网络流量的检测方法，其特征在于，包括：
获取文本形式的网络流量；
将所述文本形式的网络流量通过词嵌入获得词向量矩阵；
将所述词向量矩阵输入至通过训练的网络流量检测模型进行检测；
在所述文本形式的网络流量检测为正常流量时，允许访问；
在所述网络流量检测模型检测为异常流量时，拒绝访问；
其中所述网络流量检测模型是权利要求1-5中任一项所述的方法所建立的网络流量检测模型。
7.一种网络流量检测模型的建模装置，其特征在于，包括：
第一获取模块，用于获取文本形式的网络流量；
第一词嵌入模块，用于将所述文本形式的网络流量通过词嵌入获得词向量矩阵；
计算模块，用于计算所述词向量矩阵的行列式值；
头数模块，用于根据所述词向量矩阵的行列式值确定所述神经网络的注意力机制的头数；
训练模块，用于根据所述词向量矩阵对对所述神经网络进行训练以完成网络流量检测模型的建模，以使所述网络流量检测模型具备根据网络流量识别异常流量的能力。
8.一种网络流量的检测装置，其特征在于，包括：
第二获取模块，用于获取文本形式的网络流量；
第二词嵌入模块，用于将所述文本形式的网络流量通过词嵌入获得词向量矩阵；
检测模块，用于将所述词向量矩阵输入至通过训练的网络流量检测模型进行检测；
判断模块，用于在所述文本形式的网络流量检测为正常流量时，允许访问；
所述判断模块，用于在所述网络流量检测模型检测为异常流量时，拒绝访问；
其中所述网络流量检测模型是权利要求1-5中任一项所述的方法所建立的网络流量检测模型。
9.一种计算机设备，其特征在于，包括处理器、存储器、输入输出接口；
所述处理器分别与所述存储器和所述输入输出接口相连，其中，所述输入输出接口用于接收数据及输出数据，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以使得所述计算机设备执行权利要求1-5或6中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于由处理器加载并执行，以使得具有所述处理器的计算机设备执行权利要求1-5或6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311278189.6A CN117473249A (zh) | 2023-09-28 | 2023-09-28 | 网络流量检测模型的建模方法、检测方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311278189.6A CN117473249A (zh) | 2023-09-28 | 2023-09-28 | 网络流量检测模型的建模方法、检测方法及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117473249A true CN117473249A (zh) | 2024-01-30 |
Family
ID=89622951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311278189.6A Pending CN117473249A (zh) | 2023-09-28 | 2023-09-28 | 网络流量检测模型的建模方法、检测方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117473249A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117910479A (zh) * | 2024-03-19 | 2024-04-19 | 湖南蚁坊软件股份有限公司 | 聚合新闻判断方法、装置、设备及介质 |
-
2023
- 2023-09-28 CN CN202311278189.6A patent/CN117473249A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117910479A (zh) * | 2024-03-19 | 2024-04-19 | 湖南蚁坊软件股份有限公司 | 聚合新闻判断方法、装置、设备及介质 |
| CN117910479B (zh) * | 2024-03-19 | 2024-06-04 | 湖南蚁坊软件股份有限公司 | 聚合新闻判断方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112685565A (zh) | 基于多模态信息融合的文本分类方法、及其相关设备 | |
| CN110413812B (zh) | 神经网络模型的训练方法、装置、电子设备及存储介质 | |
| CN111428805B (zh) | 显著性物体的检测方法、模型、存储介质及电子设备 | |
| CN108629823A (zh) | 多视角图像的生成方法和装置 | |
| CN117473249A (zh) | 网络流量检测模型的建模方法、检测方法及相关设备 | |
| WO2023035531A1 (zh) | 文本图像超分辨率重建方法及其相关设备 | |
| CN112650875A (zh) | 房产图片验证方法、装置、计算机设备及存储介质 | |
| CN111325322A (zh) | 基于隐私保护的深度学习方法、***、服务器及存储介质 | |
| WO2021042895A1 (zh) | 基于神经网络的验证码识别方法、***及计算机设备 | |
| CN107608711A (zh) | 升级方法、装置、***和电子设备 | |
| CN112307477A (zh) | 代码检测方法、装置、存储介质以及终端 | |
| CN116633804A (zh) | 网络流量检测模型的建模方法、防护方法及相关设备 | |
| CN111858916B (zh) | 用于聚类句子的方法和装置 | |
| CN111489289A (zh) | 一种图像处理方法、图像处理装置及终端设备 | |
| CN116129501A (zh) | 人脸位姿估计方法及装置 | |
| WO2023066258A1 (zh) | 隐私数据的数据处理方法、装置、计算机设备及介质 | |
| CN115953803A (zh) | 人体识别模型的训练方法及装置 | |
| US20170132755A1 (en) | Method, device and system for processing image | |
| CN114221964A (zh) | 一种访问请求处理方法、装置、计算机设备及存储介质 | |
| CN113961962A (zh) | 一种基于隐私保护的模型训练方法、***及计算机设备 | |
| CN112765022A (zh) | 一种基于数据流的Webshell静态检测方法及电子设备 | |
| CN115035559A (zh) | 人脸活体检测方法、装置、电子设备及计算机存储介质 | |
| CN109523591A (zh) | 图片的处理方法、装置、设备和存储介质 | |
| CN115480946B (zh) | 故障检测模型的建模方法、防护实现方法及相关设备 | |
| CN117688193B (zh) | 图文统一编码方法、装置、计算机设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |