CN117201446A - 结合语义和行为的神经网络的垃圾邮件检测方法及*** - Google Patents

Abstract

本申请提供一种结合语义和行为的神经网络的垃圾邮件检测方法及***，该方法包括：通过递归神经网络对用户的语义信息进行建模，获得语义特征因子；通过图神经网络对用户的行为模式进行建模，获得行为模式特征因子；将语义特征因子和行为模式特征因子串联，构建全局特征空间；利用长短期记忆网络，模拟全局特征空间的演化特征，预测用户界面的性质。本申请对多源信息进行融合，适用于复杂多变的内容，提高垃圾邮件发送者识别的准确性。

Description

结合语义和行为的神经网络的垃圾邮件检测方法及***

技术领域

本申请涉及数据处理技术领域，尤其涉及一种结合语义和行为的神经网络的垃圾邮件检测方法及***。

背景技术

垃圾邮件正在成为基于物联网(IoT)的社交媒体应用的主要威胁。这将对物联网网络空间构成严重的安全威胁。物联网领域的垃圾邮件处理主要有两大类:1)基于神经网络的方法;2)基于元启发式优化算法的方法。然而，它们无法有效地处理隐藏的、复杂的、不断变化的垃圾邮件活动，特别是在高度不确定的物联网环境中。为了确保一个安全可靠的环境，有效的垃圾邮件发送者检测或识别机制至关重要。

然而，基于物联网的社交媒体的垃圾邮件发送者的精确检测在实践中通常被视为一项具有挑战性的任务，原因有二。首先，在线垃圾邮件与社交网络高度相关。因此，社会关系甚至财务关系等语境信息需要作为辅助进行深入分析。其次，优秀的语义特征建模方案发挥着重要作用。这是因为网络垃圾邮件的主要目的是为公众舆论创造具体的方向。考虑到物联网应用环境更加复杂，建立更多的细粒度特征空间将极大地影响垃圾邮件发送者检测的效果。

近年来，很多的研究致力于垃圾邮件发送者的检测。相关研究可分为两类:1)基于行为模式的方法;2)基于语义模式的方法。前者集中于社会行为、评论行为和转发行为等主要行为的模式特征。后者则从语言统计的角度强调言语内容的语义特征。

现有技术方案1:A. Makkar and N. Kumar, “An efficient deep learning-based scheme for web spam detection in IoT environment,” Future GenerationComputer Systems, vol. 108, pp. 467–487, 2020.该方法使用了一种在物联网中检测网络垃圾邮件的深度学习模型。他们的***增强了搜索引擎检测网络垃圾信息的认知能力。该模型通过搜索引擎计算出的网页排名分数，去除垃圾网页。他们的框架首次将LSTM模型用于垃圾邮件检测，并被用于天气预报等问题。

现有技术方案2:Ali Hosseinalipour and Reza Ghanbarzadeh. 2022. “Anovel approach for spam detection using horse herd optimization algorithm.Neural Computing and Applications.”该方法提出了一种新的基于马群元启发式优化算法的垃圾邮件检测方法 。首先，将连续的HOA转化为离散算法;然后得到算法的输入变成了基于反目标，然后转变为多目标。最后，将其用于垃圾邮件检测，即离散化以及多目标问题。

现有技术的缺点1：在与监管机制长期对抗的过程中，掩盖滥发讯息活动的工作日趋成熟，难以被识别。例如，许多垃圾邮件发送者通常会像普通用户一样进行正常的浏览和说话行为。在这种情况下，只涉及少量的垃圾邮件操作。

现有技术的缺点2：大多数基于元启发式优化算法的方法都具有很好的分析和理解常规机器语音的能力。但是这种方法不适用于复杂多变的内容。

因此，目前亟需解决的技术问题是：如何对多源信息进行融合，适用于复杂多变的内容，提高垃圾邮件发送者识别的准确性。

发明内容

本申请的目的在于提供一种结合语义和行为的神经网络的垃圾邮件检测方法及***，对多源信息进行融合，适用于复杂多变的内容，提高垃圾邮件发送者识别的准确性。

为达到上述目的，本申请提供一种结合语义和行为的神经网络的垃圾邮件检测方法，该方法包括：通过递归神经网络对用户的语义信息进行建模，获得语义特征因子；通过图神经网络对用户的行为模式进行建模，获得行为模式特征因子；将语义特征因子和行为模式特征因子串联，构建全局特征空间；利用长短期记忆网络，模拟全局特征空间的演化特征，预测用户界面的性质。

如上所述的结合语义和行为的神经网络的垃圾邮件检测方法，其中，在每个时间戳上，用户的语义模式和行为模式分别通过双向自动编码模型和图神经网络编码为语义特征因子和行为模式特征因子。

如上所述的结合语义和行为的神经网络的垃圾邮件检测方法，其中，通过递归神经网络对用户的语义信息进行建模的方法包括如下子步骤：根据用户的语义模式，通过双向自动编码模型对语义模式编码，获取隐藏状态矢量；根据注意力机制，提取文本内容中的关键词和背景词，并根据关键词和背景词，获得隐藏向量；根据隐藏向量，计算关键词注意权重和背景词注意权重；根据隐藏状态矢量和关键词注意权重，获取关键词增强隐藏状态向量；根据隐藏状态矢量和背景词注意权重，计算背景词增强隐藏状态向量；根据关键词增强隐藏状态向量和背景词增强隐藏状态向量，计算语义特征因子。

如上所述的结合语义和行为的神经网络的垃圾邮件检测方法，其中，通过图神经网络对用户的行为模式进行建模的方法包括如下子步骤：根据用户的行为模式，建立行为模式向量；通过图神经网络学习行为模式的图嵌入向量；将行为模式的图嵌入向量转移到图神经网络的卷积层和全连接层，生成编码结果，获得行为模式特征因子。

如上所述的结合语义和行为的神经网络的垃圾邮件检测方法，其中，根据用户的语义模式，通过双向自动编码模型对语义模式编码，获取隐藏状态矢量的方法包括：双向自动编码模型利用前向激活操作符和后向激活操作符，提取语义模式的前向隐藏状态和后向隐藏状态；将前向隐藏状态和后向隐藏状态串联成隐藏状态矢量。

如上所述的结合语义和行为的神经网络的垃圾邮件检测方法，其中，将行为模式的图嵌入向量转移到图神经网络的卷积层和全连接层，生成编码结果，获得行为模式特征因子的方法包括如下步骤：通过卷积层的卷积运算，将图嵌入向量映射为高阶特征；通过全连接层，将高阶特征映射为更深层次的向量化格式，获得行为模式特征因子。

如上所述的结合语义和行为的神经网络的垃圾邮件检测方法，其中，将语义特征因子和行为模式特征因子串联，构建全局特征空间的方法包括如下步骤：将语义特征因子和行为模式特征因子串联，建立在每个时间戳的协同特征嵌入；将不同时间戳的协同特征嵌入构成一个时间序列的特征序列，构建全局特征空间。

如上所述的结合语义和行为的神经网络的垃圾邮件检测方法，其中，利用长短期记忆网络，模拟全局特征空间的演化特征，预测用户界面的性质的方法包括如下步骤：利用长短期记忆网络，模拟全局特征空间的演化特征，获得输出矩阵；根据输出矩阵，预测用户界面的性质；设定优化目标；根据优化目标，对预测的用户界面的性质进行优化，获得最终用户界面的性质。

如上所述的结合语义和行为的神经网络的垃圾邮件检测方法，其中，利用长短期记忆网络，模拟全局特征空间的演化特征，获得输出矩阵的方法包括：利用长短期记忆网络对协同特征嵌入的时变演变进行建模，在每个时间戳，将协同特征嵌入和前一个时间戳的状态输出结果作为下一时间戳的输入，获取最后一个时间戳时长短期记忆网络的输出矩阵。

本申请还提供一种结合语义和行为的神经网络的垃圾邮件检测***，其中，该***包括：语义模式模块，用于通过递归神经网络对用户的语义信息进行建模，获得语义特征因子；行为模式模块，用于通过图神经网络对用户的行为模式进行建模，获得行为模式特征因子；全局特征模块，用于将语义特征因子和行为模式特征因子串联，构建全局特征空间；预测模块，用于利用长短期记忆网络，模拟全局特征空间的演化特征，预测用户界面的性质。

本申请实现的有益效果如下：

（1）本申请利用语义模式和行为模式两种模式的协作意识，并在社交媒体应用程序中提出一种基于协作神经网络的垃圾邮件发送者检测机制(RG-SPD)。特别是，它通过协同编码长期行为和语义模式，引入多源信息融合。因此，可以捕获特征空间的更全面的表示，以便进一步检测垃圾邮件发送者，提高检测准确度。

（2）本申请在实践中，在两个真实世界的数据集上，在不同的场景和参数设置下进行了一系列的实验。提出的协同垃圾邮件的效率与五个基线有关的几个评价指标进行比较。实验结果表明，与基线相比，本发明一种基于协作神经网络的垃圾邮件发送者检测机制(RG-SPD)的平均性能提高约5%。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请实施例的一种结合语义和行为的神经网络的垃圾邮件检测方法的流程图。

图2为本申请实施例的通过递归神经网络对用户的语义信息进行建模的方法流程图。

图3为本申请实施例的通过图神经网络对用户的行为模式进行建模的方法流程图。

图4为本申请实施例的利用长短期记忆网络，模拟全局特征空间的演化特征，预测用户界面的性质的方法流程图。

图5为本申请实施例的垃圾邮件检测机制的体系结构RG-SPD的结构示意图。

图6为本申请实施例的每个时间戳的长短时记忆网络过程流程图。

图7为本申请实施例的使用50%推特训练数据的准确率和查全率的联合关系散点图。

图8为本申请实施例的使用60%推特训练数据的准确率和查全率的联合关系散点图。

图9为本申请实施例的使用70%推特训练数据的准确率和查全率的联合关系散点图。

图10为本申请实施例的使用50%微博训练数据的准确率和查全率的联合关系散点图。

图11为本申请实施例的使用60%微博训练数据的准确率和查全率的联合关系散点图。

图12为本申请实施例的使用70%微博训练数据的准确率和查全率的联合关系散点图。

图13为本申请实施例的基于推特数据集的F分数柱状图。

图14为本申请实施例的基于微博数据集的F分数柱状图。

图15为本申请实施例的基于推特数据集的准确率柱状图。

图16为本申请实施例的基于微博数据集的准确率柱状图。

图17为本申请实施例的基于推特数据集的AUC值柱状图。

图18为本申请实施例的基于微博数据集的AUC值柱状图。

图19为本申请实施例的一种结合语义和行为的神经网络的垃圾邮件检测***的结构示意图。

附图标记：10-语义模式模块；20-行为模式模块；30-全局特征模块；40-预测模块；100-垃圾邮件检测***。

具体实施方式

下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一

如图1所示，本申请提供一种结合语义和行为的神经网络的垃圾邮件检测方法，该方法包括如下步骤：

步骤S1，通过递归神经网络对用户的语义信息进行建模，获得语义特征因子。

作为本发明的具体实施例，在每个时间戳上，用户的语义模式通过双向自动编码模型编码为语义特征因子。假设表示物联网社交媒体的用户集合，假设每个用户都能在其中执行各种在线活动，考虑到物联网环境中的时变特征，我们将长期活动分为若干部分，时间戳为/>，索引符号记为/>，在第/>个时间戳处，与用户/>相关联的文本内容被标记为/>，每个时间戳的跨度不会持续很长时间（一天甚至一小时），假设时间戳中的文本内容构成一个句子，然后建立双向自动编码模型，得到语义特征因子/>的编码。

如图2所示，步骤S1包括如下子步骤：

步骤S110，根据用户的语义模式，通过双向自动编码模型对语义模式编码，获取隐藏状态矢量。

具体的，从正向和反向两个方向考虑向量化表达，对句子的语义模式进行建模。

在第n个时间戳，双向自动编码模型通过以下两个公式捕获语义嵌入:

； （1）

； （2）

其中，和/>分别表示序列/>的前向激活操作符和后向激活操作符；/>为1到/>范围内的单词索引数。具体来说，公式（1）模拟的是/>从1变到/>的序列，公式（2）模拟的是/>从/>变到1的序列。/>和/>分别表示前向隐藏状态和后向隐藏状态。

将前向隐藏状态和后向隐藏状态串联成一个新的隐藏状态矢量。新的隐藏状态矢量表示为：。

步骤S120，根据注意力机制，提取文本内容中的关键词和背景词，并根据关键词和背景词，获得隐藏向量。

将文本内容内的所有单词分为两种类型，关键词和背景词，因为每个单词在句子的意义上可能扮演不同的角色。显然，关键词是意义的主要贡献者，而背景词则是句子完整性的辅助成分。本发明使用一种基于注意力机制的卷积神经网络模型，用于解决文本分类问题。该模型利用前向和后向激活操作符、卷积操作符和全连接层来提取输入数据的特征，并使用注意力机制来加强关键词的表示。具体来说，该模型将所有单词分为两类：关键词和背景词。通过引入注意力机制，该模型可以自动地从每个时间戳中提取关键词，提高了关键词提取准确率，从而提高垃圾邮件发送者的识别准确度。

作为本发明的具体实施例，引入一种注意机制，在每个时间戳自动从句子中提取关键词，剩余的单词为背景词。

将提取的关键词转换为中心向量，中心向量的表达式如下：

； （3）

其中，表示中心向量；/>表示第/>个关键字的隐态，/>表示关键字的索引数，/>的范围为1 到/>。

将剩余的背景字转移到一个边缘向量，边缘向量的表达式如下：

；（4）

其中，表示边缘向量；/>表示第/>个背景词的隐藏状态，/>为背景词1到的索引数。

将中心向量和边缘向量连接起来，得到第个时间戳处的隐藏向量。隐藏向量的表达式如下：

； （5）

其中，表示隐藏向量；/>表示中心向量；/>表示边缘向量；/>表示连接操作。

步骤S130，根据隐藏向量，计算关键词注意权重和背景词注意权重。

为了对语义特征空间进行编码，需要推导出关键词和背景词的注意权重。

作为本发明具体的实施例，关键字注意权重的计算公式为：

； （6）

其中，表示关键字注意权重；/>表示权重矩阵，/>表示偏置参数，/>表示softmax激活函数；/>表示tanh激活函数；/>表示隐藏向量；/>表示中心向量。

作为本发明的具体实施例，背景词注意权重计算公式为：

；（7）

其中，表示背景词注意权重；/>表示隐藏向量；/>表示边缘向量；为权重矩阵，/>为偏置参数；/>表示softmax激活函数；/>表示tanh激活函数。

步骤S140，根据隐藏状态矢量和关键词注意权重，获取关键词增强隐藏状态向量；根据隐藏状态矢量和背景词注意权重，计算背景词增强隐藏状态向量。

作为本发明的具体实施例，对于用户界面，根据隐藏状态矢量和关键词注意权重，获取关键词增强隐藏状态向量。第个时间戳关键字增强隐藏状态向量的计算公式为：

；（8）

其中，表示第/>个时间戳关键字增强隐藏状态向量；/>表示关键字注意权重；表示隐藏状态矢量。

作为本发明的具体实施例，根据隐藏状态矢量和背景词注意权重，计算背景词增强隐藏状态向量。在第t个时间戳处背景词增强隐藏状态向量的计算公式为：

；（9）

其中，表示第/>个时间戳背景词增强隐藏状态向量；/>表示背景词注意权重；表示隐藏状态矢量。

步骤S150，根据关键词增强隐藏状态向量和背景词增强隐藏状态向量，计算语义特征因子。

作为本发明的具体实施例，语义建模的目标是学习一个映射函数，它能在第/>个时间戳中最好地表达用户界面的语义嵌入，语义特征因子的计算公式为：

； （10）

其中，表示第/>个时间戳关键字增强隐藏状态向量；/>和/>为权重矩阵，/>表示权衡参数；/>表示第/>个时间戳背景词增强隐藏状态向量。

步骤S2，通过图神经网络对用户的行为模式进行建模，获得行为模式特征因子。

作为本发明的具体实施例，在每个时间戳上，用户的行为模式通过图神经网络编码为行为模式特征因子。

作为本发明的具体实施例，与用户界面相关的一系列行为模式构成一个图神经网络模型，该模型将特定的行为模式类型视为节点，将节点之间的关系视为边。图神经网络模型用来学习行为模式的图嵌入(记为)。通过图神经网络对用户的行为模式特征进行编码，获得行为模式特征因子。

作为本发明的具体实施例，考虑到节点的初始内容大多不适合直接计算，将其映射为向量化的数值数据。数据类别通常是结构化数据，通过独热编码将其内容编码为特征向量。此外，一些属性的数据结构是初始数值化的，即注册时间和演讲数。这些属性的内容直接转换为向量，不需要额外的操作。由于不同属性的维数通常是多样的，所以选择维数最多的属性作为均匀性，假设维数为，然后将其他属性的维数通过添加一定数量的零扩展到。

如图3所示，步骤S2包括如下子步骤：

步骤S210，根据用户的行为模式，建立行为模式向量。

具体的，对于用户，第/>个时间戳的行为模式向量可以表示为以下格式:

；（11）

其中，表示用户/>第/>个时间戳的行为模式向量；/>表示第/>个行为模式；/>表示用户/>第/>个时间戳的第1个行为模式；/>表示用户/>第/>个时间戳的第/>个行为模式。

步骤S220，通过图神经网络学习行为模式的图嵌入向量。

具体的，通过图神经网络管理学习第行为模式的图嵌入向量，得到图嵌入向量为：

；（12）

其中，表示图嵌入向量；/>表示用户/>第/>个时间戳的邻接矩阵；/>表示第/>到第/>个行为模式的过渡矩阵集合；/>是偏差向量；/>是第/>个行为模式向量；表示行为模式向量的元素数量。

其中，的计算公式如下：

； （13）

；（14）

其中，为用于计算/>的参数；/>表示用户/>第/>个时间戳的邻接矩阵；/>表示计数算符，/>是不同于/>和/>的行为模式的指标数；/>和/>分别表示时间戳期间第/>和第/>行为模式的变化频率；类似地，/>表示第/>和第的行为模式的共出现频率，/>表示时间戳期间第/>和/>的行为模式的共出现频率。

其中，第到第/>个行为模式的过渡矩阵集合/>获取方法为：对于第/>行为模式，将过渡矩阵划分为两个方向的转移因子:输入因子/>和输出因子/>。对于从第/>到第行为模式的有向边，关系态本质上是从/>传递到/>，表示为公式（15），同理第/>到第/>个行为模式的过渡矩阵集合获取方法依据公式（15）。

； （15）

依据过渡矩阵将公式（12）中的学习目标图嵌入向量改写为：

； （16）

其中，表示图嵌入向量；/>表示用户/>第/>个时间戳的邻接矩阵；/>表示输出因子；/>表示输入因子；/>表示文本内容；/>表示偏差向量。

步骤S230，将行为模式的图嵌入向量转移到图神经网络（GCN）的卷积层和全连接层，生成编码结果，获得行为模式特征因子。

步骤S230包括如下子步骤：

步骤S231，通过卷积层的卷积运算，将图嵌入向量映射为高阶特征。

具体的，高阶特征为：

；（17）

其中，表示高阶特征；/>表示ReLU激活函数；/>表示卷积算子；/>表示权重参数；/>表示图嵌入向量；/>表示偏置向量；/>表示行为模式向量的元素数量。

步骤S232，通过全连接层，将高阶特征映射为更深层次的向量化格式，获得行为模式特征因子。

具体的，全连接层管理将映射为更深层次的向量化格式，获得行为模式特征因子，行为模式特征因子表示为：

；（18）

其中，表示行为模式特征因子；/>表示ReLU激活函数；/>和/>表示权重矩阵；/>表示卷积算子；/>表示高阶特征；/>和/>表示偏置向量。

步骤S3，将语义特征因子和行为模式特征因子串联，构建全局特征空间。

作为本发明的具体实施例，在每个时间戳上，根据用户的语义模式和行为模式，分别通过双向自动编码和图神经网络编码为抽象特征因子，当长期的特征因子构成一个序列后，使用LSTM（长短期记忆网络）对该模式序列进行编码。

作为本发明的具体实施例，将编码的语义特征因子与行为模式特征因子/>相结合，建立在第/>个时间戳处的特征空间的全局嵌入，获得协同特征嵌入。协同特征嵌入表示为：

； （19）

其中，表示协同特征嵌入；/>表示ReLU激活函数；/>和/>是两个映射矩阵，与这两个因素（语义特征因子/>与行为模式特征因子/>）的维度相匹配，/>表示连接操作。

作为本发明的具体实施例，将用户界面在不同时间戳下的协同特征嵌入构成一个时间序列的特征序列，从而构建全局特征空间。当长期或一段时间内的语义特征因子和行为模式特征因子构成一个序列后，对该序列进行解码。

步骤S4，利用长短期记忆网络，模拟全局特征空间的演化特征，预测用户界面的性质。

如图4所示，步骤S4包括如下子步骤：

步骤S410，利用长短期记忆网络，模拟全局特征空间的演化特征，获得输出矩阵。

具体的，利用递归神经网络，模拟全局特征空间的长期演化特征，获得输出矩阵。将时间戳的全局特征空间推广到整个时域，建立LSTM（长短时记忆结构）模型，对一系列活动的演化特征进行建模，最后确定用户界面的性质。利用LSTM（长短期记忆网络）对协同特征嵌入的时变演变进行建模。在每个时间戳，将协同特征嵌入/>和前一个时间戳/>的状态输出结果作为下一时间戳的输入。

作为本发明的具体实施例，状态编码经过三个主要部件的处理后输出。

如图6所示，展示了每个时间戳的长短期记忆网络工作过程流程图。长短期记忆网络的三个主要部件为： 1）遗忘门；2）输入门；3）输出门。协同特征嵌入和前一个时间戳的编码输出矩阵/>作为遗忘门、输入门、输出门的输入。每一个时间戳输出门输出一个编码输出矩阵/>。

其中，遗忘门在第个时间戳处的控制因子计算公式为：

；（20）

其中，表示控制因子；/>和/>分别为权值矩阵和偏置矩阵；/>为前一个时间戳的编码输出矩阵；/>为sigmoid激活函数：

； （21）

其中，输入门在第个时间戳处的单元状态因子计算公式为：

； （22）

；（23）

；（24）

其中，表示输入门在时间戳处的单元状态因子；/>和/>是权重矩阵；/>和/>是偏置参数；/>表示控制因子；/>为前一个时间戳的编码输出；/>表示协同特征嵌入；/>为sigmoid激活函数；/>和/>为用于计算/>的参数。

其中，输出门在第个时间戳处的控制因子计算公式为：

；（25）

其中，和/>分别为权重矩阵和偏置参数。输出矩阵/>是用户/>在最后一个时间戳/>时LSTM的最终输出矩阵；/>均表示激活函数。

步骤S420，根据输出矩阵，预测用户界面的性质。

作为本发明的具体实施例，对于垃圾邮件检测作为一种二值分类方案，本发明引入一种基于sigmoid函数的注意表达式来预测用户界面的性质：

；（26）

其中，表示用户界面的性质；/>表示ReLU激活函数；/>和/>分别为权值矩阵和偏置向量；/>表示用户/>在最后一个时间戳/>时LSTM（长短期记忆网络）的最终输出矩阵。

步骤S430，设定优化目标。

的值位于(0,1)范围内，这里采用Shannon熵来设定以下优化目标:

；（27）

其中，为用户数量；/>表示权衡参数；/>为观察用户的性质；/>表示预测的用户界面的性质；/>表示参数集。

作为本发明的具体实施例，通过公式（28）迭代过程搜索参数集。搜索参数集的公式如下：

；（28）

其中，表示迭代次数；/>表示偏导运算；/>表示权衡参数；/>表示第/>次迭代过程搜索的参数集。

步骤S440，根据优化目标，对预测的用户界面的性质进行优化，获得最终用户界面的性质。

作为本发明的具体实施例，选取优化目标最小值时的预测用户界面的性质，作为最终用户界面的性质。

如图5所示，展示了本发明垃圾邮件检测机制的体系结构的结构示意图。该结构包括编码部分和解码部分。编码部分包括双向自动编码器和图神经网络。在每个时间戳上，编码部分通过双向自动编码器对语义模式进行编码，获得语义特征因子；通过图神经网络对行为模式进行编码，获得行为特征因子；当长期的特征因子（语义特征因子和行为特征因子）构成一个序列后，使用LSTM（长短期记忆网络）对该模式序列进行解码。

作为本发明的具体实施例，通过实际实验数据来分析本发明的有效性。

第一步，选取数据集。

本发明采用推特和新浪微博这两种全球公认的社交网络数据源进行实验评估。下面简要描述这两个平台的两个数据集。

第一个，推特数据集（Twitter）:该数据集借助官方API从Twitter网站上抓取。该数据集包含11000个被标记的用户以及他们的推文和行为记录，其中1000个被标记为垃圾邮件发送者。此外，数据集还包括元数据，如个人配置文件、身份验证状态、社会关系、身份信息和位置。

第二个，微博数据集:本发明利用微博API收集6072名相对活跃用户的元数据和活动记录。五名研究生被指派根据人工体验对所有这些微博用户进行标签。在标签不一致的情况下，选择多数人认可的标签作为最终标签。总共有1158名用户被标记为垃圾邮件发送者。此外，该数据集还涉及元数据，例如社会关系、博客内容、个人简介和身份信息。

第二步，根据选取的数据集，进行实验过程。

垃圾邮件发送者（Spammer）检测是一个二值分类过程，其中Spammer和普通用户分别被标记为1和0。为了度量检测方法的分类性能，引入四个概念。真阳性(TP)和假阳性(FP)分别定义为正确和不正确预测为阳性的样本。同样，真阴性(TN)和假阴性(FN)分别定义为正确预测为阴性和不正确预测为阴性的样本。

选取现有的五种典型分类方法（聚类算法、双向自动编码、支持向量机、循环神经网络、非负矩阵分解）作为基线，与本发明提出的结合语义和行为的神经网络的垃圾邮件检测方法（RG-SPD）进行比较。在选择基线时，充分考虑语义模式和行为模式这两个因素，以评估语义模式和行为模式的协同感知效果。前两种方法是基于语义模式的检测方法，中间两种方法是基于行为模式的检测方法。最后一项考虑了这两个因素，但忽略了长期特征。

实验的开发环境包括一个28核CPU和256gb内存的深度学习工作站。本发明结合语义和行为的神经网络的垃圾邮件检测方法是在TensorFlow（谷歌开源深度学习***）的帮助下实现的。在一个句子中，主题词和背景词分别以60%和40%的比例进行采样。初始时，本发明结合语义和行为的神经网络的垃圾邮件检测方法的批量大小设置为200,SGD（随机梯度下降）学习率设置为0.01，其中公式(10)中权衡参数和公式(28)中权衡参数/>设置均设置为0.5。训练数据的比例最初设定为70%，并在实验过程中多次改变。

图7、图8、图9、图10、图11和图12通过6个散点图展示基于两个数据集的准确率和查全率之间的联合关系，散点距离原点的距离越大，说明该方法的性能越好，可以直观地观察到，本发明所提出的结合语义和行为的神经网络的垃圾邮件检测方法总是比使用不同比例的训练数据(50%、60%和70%)时的基线性能更好。这组实验能够有效地反映语义模式和行为模式之间协作感知的优势，因为相对全局的视角无疑提供了检测精度的相当大的提高。本发明还注意到，当训练规模为50%时，结合语义和行为的神经网络的垃圾邮件检测方法（RG-SPD）在Twitter上并没有获得最佳的性能。由于训练规模较小，结合语义和行为的神经网络的垃圾邮件检测方法（RG-SPD）可能还没有得到很好的训练。这一事实可能带来一些不确定性。

图13和图14显示了两个数据集对四种比例的训练数据的F评分结果；图15和图16显示了两个数据集对四种比例的训练数据的准确率结果，其中考虑了80%的比例。从这些数字可以推断出这一现象的两个方面。首先，大多数方法在训练数据比例设置为70%时获得了比较理想的结果，比设置为80%时效果更好。其次，无论训练数据的比例如何，提出的联合垃圾邮件总是显著优于基线。上述结果可以归因于本发明结合语义和行为的神经网络的垃圾邮件检测方法协作地利用了语义和行为模式的特征。这种全面的洞察力提升了特征空间的深度，与一般的垃圾信息发送者检测方法相比，肯定会改善结果。

图17-图18中的两幅图显示了基于两个数据集得到的本发明结合语义和行为的神经网络的垃圾邮件检测的AUC结果（AUC被定义为ROC曲线下的面积，作为模型评价标准）和基线，分别是50%、60%、70%三种大小的训练数据。这组实验结果反映了随着本发明结合语义和行为的神经网络的垃圾邮件检测方法和基线的变化趋势，性能相对稳定。总的来说，基于行为的方法比基于语义的方法表现得更好，但比由语义和行为模式共同驱动的方法表现得更差。与基于这两种因子的NMF方法相比，本发明提出的本发明结合语义和行为的神经网络的垃圾邮件检测方法仍然具有更好的性能。这组实验结果再次评价本发明结合语义和行为的神经网络的垃圾邮件检测方法的优良性能。除了语义和行为模式的协作意识外，它还考虑了社会活动的演化性质，这是获得上述结果的主要原因。

综上所述，与现有主流的垃圾邮件检测方法相比，本发明提出的结合语义和行为的神经网络的垃圾邮件检测方法（RGRG-SPDSPD）可以获得大约5%的改进。

本发明提出的结合语义和行为的神经网络的垃圾邮件检测方法（RG-SPD）不仅在垃圾邮件检测领域具有一定的应用价值，而且其中使用的技术也可以在社交网络分析、推荐***等领域得到应用。

实施例二

如图19所示，本申请提供一种结合语义和行为的神经网络的垃圾邮件检测***100，该***包括：

语义模式模块10，用于通过递归神经网络对用户的语义信息进行建模，获得语义特征因子；

行为模式模块20，用于通过图神经网络对用户的行为模式进行建模，获得行为模式特征因子；

全局特征模块30，用于将语义特征因子和行为模式特征因子串联，构建全局特征空间；

预测模块40，用于利用长短期记忆网络，模拟全局特征空间的演化特征，预测用户界面的性质

本申请实现的有益效果如下：

（1）本申请利用语义模式和行为模式两种模式的协作意识，并在社交媒体应用程序中提出一种结合语义和行为的神经网络的垃圾邮件检测方法。特别是，它通过协同编码长期行为和语义模式，引入多源信息融合。因此，可以捕获特征空间的更全面的表示，以便进一步检测垃圾邮件发送者，提高检测准确度。

（2）本申请在实践中，在两个真实世界的数据集上，在不同的场景和参数设置下进行了一系列的实验。提出的协同垃圾邮件的效率与五个基线有关的几个评价指标进行比较。实验结果表明，与基线相比，本发明一种结合语义和行为的神经网络的垃圾邮件检测方法的平均性能提高约5%。

在本申请的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请的描述中，“例如”一词用来表示“用作例子、例证或说明”。本申请中被描述为“例如”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理内所做的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。

Claims (10)

1.一种结合语义和行为的神经网络的垃圾邮件检测方法，其特征在于，该方法包括：

通过递归神经网络对用户的语义信息进行建模，获得语义特征因子；

通过图神经网络对用户的行为模式进行建模，获得行为模式特征因子；

将语义特征因子和行为模式特征因子串联，构建全局特征空间；

利用长短期记忆网络，模拟全局特征空间的演化特征，预测用户界面的性质。

2.根据权利要求1所述的结合语义和行为的神经网络的垃圾邮件检测方法，其特征在于，在每个时间戳上，用户的语义模式和行为模式分别通过双向自动编码模型和图神经网络编码为语义特征因子和行为模式特征因子。

3.根据权利要求2所述的结合语义和行为的神经网络的垃圾邮件检测方法，其特征在于，通过递归神经网络对用户的语义信息进行建模的方法包括如下子步骤：

根据用户的语义模式，通过双向自动编码模型对语义模式编码，获取隐藏状态矢量；

根据注意力机制，提取文本内容中的关键词和背景词，并根据关键词和背景词，获得隐藏向量；

根据隐藏向量，计算关键词注意权重和背景词注意权重；

根据隐藏状态矢量和关键词注意权重，获取关键词增强隐藏状态向量；根据隐藏状态矢量和背景词注意权重，计算背景词增强隐藏状态向量；

根据关键词增强隐藏状态向量和背景词增强隐藏状态向量，计算语义特征因子。

4.根据权利要求2所述的结合语义和行为的神经网络的垃圾邮件检测方法，其特征在于，通过图神经网络对用户的行为模式进行建模的方法包括如下子步骤：

根据用户的行为模式，建立行为模式向量；

通过图神经网络学习行为模式的图嵌入向量；

将行为模式的图嵌入向量转移到图神经网络的卷积层和全连接层，生成编码结果，获得行为模式特征因子。

5.根据权利要求3所述的结合语义和行为的神经网络的垃圾邮件检测方法，其特征在于，根据用户的语义模式，通过双向自动编码模型对语义模式编码，获取隐藏状态矢量的方法包括：

双向自动编码模型利用前向激活操作符和后向激活操作符，提取语义模式的前向隐藏状态和后向隐藏状态；将前向隐藏状态和后向隐藏状态串联成隐藏状态矢量。

6.根据权利要求4所述的结合语义和行为的神经网络的垃圾邮件检测方法，其特征在于，将行为模式的图嵌入向量转移到图神经网络的卷积层和全连接层，生成编码结果，获得行为模式特征因子的方法包括如下步骤：

通过卷积层的卷积运算，将图嵌入向量映射为高阶特征；

通过全连接层，将高阶特征映射为更深层次的向量化格式，获得行为模式特征因子。

7.根据权利要求4所述的结合语义和行为的神经网络的垃圾邮件检测方法，其特征在于，将语义特征因子和行为模式特征因子串联，构建全局特征空间的方法包括如下步骤：

将语义特征因子和行为模式特征因子串联，建立在每个时间戳的协同特征嵌入；

将不同时间戳的协同特征嵌入构成一个时间序列的特征序列，构建全局特征空间。

8.根据权利要求1所述的结合语义和行为的神经网络的垃圾邮件检测方法，其特征在于，利用长短期记忆网络，模拟全局特征空间的演化特征，预测用户界面的性质的方法包括如下步骤：

利用长短期记忆网络，模拟全局特征空间的演化特征，获得输出矩阵；

根据输出矩阵，预测用户界面的性质；

设定优化目标；

根据优化目标，对预测的用户界面的性质进行优化，获得最终用户界面的性质。

9.根据权利要求8所述的结合语义和行为的神经网络的垃圾邮件检测方法，其特征在于，利用长短期记忆网络，模拟全局特征空间的演化特征，获得输出矩阵的方法包括：

利用长短期记忆网络对协同特征嵌入的时变演变进行建模，在每个时间戳，将协同特征嵌入和前一个时间戳的状态输出结果作为下一时间戳的输入，获取最后一个时间戳时长短期记忆网络的输出矩阵。

10.一种结合语义和行为的神经网络的垃圾邮件检测***，其特征在于，该***执行权利要求1-9之一所述的方法，该***包括：

语义模式模块，用于通过递归神经网络对用户的语义信息进行建模，获得语义特征因子；

行为模式模块，用于通过图神经网络对用户的行为模式进行建模，获得行为模式特征因子；

全局特征模块，用于将语义特征因子和行为模式特征因子串联，构建全局特征空间；

预测模块，用于利用长短期记忆网络，模拟全局特征空间的演化特征，预测用户界面的性质。