CN116304042A - 一种基于多模态特征自适应融合的虚假新闻检测方法 - Google Patents

Abstract

本发明提供了一种基于多模态特征自适应融合的虚假新闻检测方法，包括：对待检测的新闻中的文字信息和图像信息进行预处理；对预处理后的文本和图像数据进行不同判别特征的提取，其中包括采用senta‑bilstm对预处理后的新闻文本进行文本情感特征的提取，采用BERT预训练模型和掩码注意力网络对新闻文本进行文本语义特征提取，采用添加可学习权重参数的方式，将上述各特征表示进行自适应融合，获得最终的判别特征向量；输入到带有softmax的全连接层进行预测。本发明可以有效引入文本情感信息、准确全面地捕捉到图文信息在语义层面上的联系并且减少由向量拼接引入的噪声，从而提升虚假新闻检测效果。

Description

一种基于多模态特征自适应融合的虚假新闻检测方法

技术领域

本发明属于深度学习、信息处理领域，尤其是涉及一种基于多模态特征自适应融合的虚假新闻检测方法。

背景技术

随着新浪微博、推特等社交媒体的急速发展，为虚假新闻的短时间内传播提供了机会，更为公共事件操纵者捏造、扭曲事实提供了便利。这使得虚假新闻愈发难以控制，不同于传统媒体线性、单向的传播模式，社交媒体的传播特点和方式使得新闻扩散愈加迅速，其所带来的不良影响更广，社会危害也更大。为了能有效消除虚假新闻造成恶劣的社会影响，实现社交媒体上虚假新闻的自动检测势在必行。随着多媒体技术发展，使新闻的形式从单纯的文字内容逐步转变为带有图片或视频的多媒体内容，因而更加吸引读者。因此，现有的研究工作大部分都是聚焦多模态信息的研究展开的。

在多模态虚假新闻检测方面，早期研究主要是通过简单拼接来增强特征的提取和融合多模态信息。其他一些研究利用辅助任务，如特征重构和事件判别来提高虚假新闻检测的可靠性和模型泛化能力。虽然人们在多模态假虚新闻检测中付出了巨大的努力，先前的方法也在虚假新闻检测任务上取得了很好的性能，但是依然存在如下问题：

(1)文本深层情感特征未充分利用。针对新闻文本信息的处理，在提取文本语义特征时，大多方法仅仅考虑了文本的语义特征，往往忽略文本深层的隐藏特征，如情感特征等，这对识别煽动性极强的虚假新闻有很明显的帮助。

(2)图像语义特征不能精准获取。针对新闻图像信息的处理，在提取图像特征时，由于社交媒体中的虚假新闻图片大都是图文共存的形式，即存在大量聊天截图、视频截图或者新闻报道截图等，而目前绝大多数方法使用的图像特征提取模型，大都是在标准的自然图像上进行大规模训练的，通过这样的方式提取到的深层语义特征，很容易受到图像中文字干扰，导致难以对图像进行准确表达，不能达到理想效果。

(3)在多模态特征融合时，仅仅通过向量拼接的手段，盲目地进行图像和文本特征融合，往往会引入噪声，导致多模态虚假新闻的检测效果难有提升。

发明内容

有鉴于此，本发明旨在提出一种基于多模态特征自适应融合的虚假新闻检测方法，以有效引入文本情感信息、全面准确地捕捉到图文信息在语义层面上的联系并且减少由向量拼接引入的噪声，从而提升虚假新闻检测效果。

为达到上述目的，本发明的技术方案是这样实现的：一种基于多模态特征自适应融合的虚假新闻检测方法，包括以下步骤：

S1：对待检测新闻数据进行预处理，获得有效新闻文本和图像；

S2：基于提取到的文本和图像，获取包括情感、文本、图像等多模态特征表示；

S3：基于获取的多模态特征，通过赋予不同的可学习参数，进行自适应加权特征拼接，得到最终新闻的多模态特征表示；

S4：基于获取的新闻多模态特征表示，通过分类器，进行新闻真假预测。

进一步的，在S1中，所述对待检测新闻数据进行预处理，获得有效新闻文本和图像，包括：

对新闻中的文本进行预处理，经过文本标准化、文本清洗、繁体转换和拼写纠错等步骤，获得文本序列；

对新闻中的图片进行预处理，经过图像去重、过滤无效格式图像等步骤，保留清晰可处理的图片，并统一图片大小，得到最终的新闻图像。

进一步的，在S2中，所述基于提取到的文本和图像，获取包括情感、文本、图像等多模态特征表示，包括：

采用senta-bilstm模型对新闻文本进行情感极性计算，获得文本对应的情感极性评分，并构建情感特征，最终得到情感极性特征表示；

采用BERT预训练模型和掩码注意力网络对新闻文本进行文本特征提取，得到新闻的文本语义特征表示；

采用VIT-GPT2模型和CnOCR工具分别对图像描述信息和图像中的文字信息进行提取并拼接，与新闻文本语义特征一同送入特征度量网络进行计算，最终获得文本与图像的语义级的差异度量特征。

进一步的，在S2中，所述特征度量网络，使用逐元素相减和相乘的组合操作对两文本的特征进行初步匹配，同时为达到减少参数量，提高模型计算效率和泛化能力，本发明使用conv1D代替全连接层对上述匹配特征进行转换，这些操作共同组成了特征向量比较函数，最后再将结果送入最大池化层，获得图文语义差异度量特征表示。

进一步的，在S3中，所述基于获取的多模态特征，通过赋予不同的可学习参数，进行自适应加权特征拼接，得到最终新闻的多模态特征表示，包括：

将获得的新闻情感极性特征表示、新闻文本特征表示、新闻图文差异度量特征表示前分别添加不同的可学习参数；

将添加了可学习参数的不同特征表示进行拼接，获得最终的新闻多模态特征表示。

进一步的，在S4中，所述基于获取的新闻多模态特征表示，通过文本分类器，进行新闻真假预测，包括：

基于得到的新闻多模态特征表示，送入带有softmax的全连接层分类器中进行新闻的真假预测。

相对于现有技术，本发明所述的基于多模态特征自适应融合的虚假新闻检测方法具有以下优势：

1)通过引入了新闻文本的深层情感极性特征，丰富了新闻文本特征信息，提高了虚假新闻检测的准确率；

2)在提取新闻图像特征时，充分考虑了图像的文本描述信息和图像内的文本信息，并通过与新闻的文本语义特征进行差异性计算，获得更为合理的图文差异比较特征，避免了简单图像特征提取中噪声大、结果偏差大的问题；

3)在多模态特征融合的时引入可学习参数，将不同特征表示进行自适应的加权拼接，有效降低了简单拼接文本图像特征引入的噪声问题，提高了虚假新闻检测的效果。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的基于多模态特征自适应融合的虚假新闻检测模型的流程示意图；

图2为本发明实施例所述的基于多模态特征自适应融合的虚假新闻检测模型的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面将参考附图并结合实施例来详细说明本发明。

如图1和图2所示，本发明的一种基于多模态特征自适应融合的虚假新闻检测方法的模型结构包含四部分：第一部分实现对待检测新闻数据进行预处理，第二部分是获取包括情感、文本、图像等多模态特征表示。第三部分是通过将多种特征进行自适应加权拼接的方式进行融合。第四部分是将获取的新闻多模态特征表示送入分类器进行新闻真假预测。具体包括以下步骤：

S1：对待检测新闻数据进行预处理，获得有效新闻文本和图像。

首先对新闻中的文本进行预处理，主要是对文本中的冗余信息进行过滤操作，通过文本标准化、文本清洗、中英文分词、分词清洗、词语标准化和拼写纠错后，获得最终的单词序列S，其公式表示如下：

S＝{word₁，word₂，…，word_n}

其中word_i表示单词序列中的第i个单词。

然后对新闻中的图片进行预处理。由于数据集中存在少量长截图的图片，剔除这些数据的同时，保留JPG或JPEG格式的图片，最终保留清晰可处理的图片，并统一图片大小为512×512，得到最终的新闻图像I。

S2：基于提取到的文本和图像，获取包括情感、文本、图像等多模态特征表示。

1)使用senta-bilstm模型对新闻文本进行情感极性计算，提取文本的情感极性特征。具体的，首先在虚假新闻分类任务的数据集上对模型进行微调，即通过模型提供的Reader函数将原始文本转化为模型的输入格式，接着通过设置遍历次数epoch＝1，批次大小batch_size＝32等参数后进行Finetune，通过内置评估函数进行周期性评估模型效果。完成微调后，使用模型预测新闻文本的情感分类，结果返回文本的积极情绪和消极情绪的预测概率，最终通过构建文本情感特征，得到一个2×1维的文本情感极性特征表示，其公式表示如下：

e_s＝senta_bilstm(S)

其中e_s为待测新闻的情感极性特征。

2)采用BERT预训练模型和掩码注意力网络对新闻文本进行文本特征提取，得到新闻的文本语义特征表示。

具体地，首先对输入的文本语句S＝{word₁，word₂，…，word_n}进行编码，其中word_i代表分词后句子中第i个单词，添加[CLS]和[SEP]标记后，获得token列表T＝[[CLS]，token₁，...，token_n，[SEP]]其中token_i为第i个单词的token，其公式表示如下：

T＝BertTokenizer(S)

其中T为单词的token列表，S为文本预处理后的单词序列，BertTokenizer(·)是BERT的编码函数。

然后将token列表送入BERT模型，获得单词的词嵌入向量W＝[w_cls，w₁，...，w_n，w_sep]，其中wi为第i个单词的嵌入表示，其公式表示如下：

W＝BERT(T)

其中W为单词的词嵌入向量，T为单词序列的token列表，BERT(·)为BERT模型的核心计算函数。

最后，将所有单词的嵌入向量送入掩码注意力网络，通过计算每个单词的权重，对其向量表示进行加权，从而突出更重要单词对句子的影响。得到新闻文本句子的语义特征表示，其公式表示如下：

e_t＝Mask_Attention(W)

其中，e_t表示文本句子的语义特征表示，是一个维度为768×1的向量，W为单词的词嵌入向量，Mask_Attention(·)为掩码注意力网络的核心计算函数。

3)采用VIT-GPT2模型和CnOCR工具分别对图像描述信息和图像中的文字信息进行提取并进行拼接，其公式表示如下：

D_i2t＝image_to_text(I)

D_ocr＝Cn_OCR(I)

D＝D_i2t+D_ocr

其中，D_i2t为提取的图像描述的文本，D_ocr为提取的图像中文本，D为图像描述文本和图像中的文本的拼接文本，image_to_text(·)为VIT-GPT2模型的核心计算函数，Cn_OCR(·)为CnOCR的核心计算函数。

随后将拼接的文本输入到BERT模型中，获得图像的文本描述特征表示，其公式表示如下：

T_d＝BertTokenizer(D)

W_a＝BERT(T_d)

e_d＝Mask_Attention(W_d)

其中D为图像描述文本和图像中的文本的拼接文本，T_d为拼接文本单词的token列表，W_d为单词的词嵌入向量，e_d表示拼接文本句子的语义特征表示，BertTokenizer(·)是BERT模型的编码函数，BERT(·)为BERT模型的核心计算函数，Mask_Attention(·)为掩码注意力网络的核心计算函数。

最后，将获得的拼接文本的语义特征向量与新闻文本语义特征向量一同送入特征度量网络进行计算，最终获得文本与图像的语义差异度量特征其公式表示如下：

f_cmp(e_d，e_t)＝conv1D[e_d-e_t，e_d⊙e_t]

e_c＝MaxPooling(f_cmp(e_d，e_t))

其中e_d表示拼接文本句子的语义特征向量，e_t表示文本句子的语义特征向量，e_c为拼接文本的语义特征向量与新闻文本语义特征向量的差异比较特征向量，conv1D[·]为一维卷积操作，⊙为Hadamard乘积，f_cmp(·)是特征度量网络向量比较函数，MaxPooling(·)为最大池化计算。

S3：基于获取的多模态特征，通过赋予不同的可学习参数，进行自适应加权特征拼接，得到最终新闻的多模态特征表示。

具体地，将获得的新闻文本的情感极性特征、新闻文本语义特征、新闻图文差异比较特征前分别添加不同的可学习参数α、β、γ。之后将添加了可学习参数的不同特征表示进行拼接，获得最终的新闻多模态特征表示e_m，其公式表示如下：

e_m＝αe_s+βe_t+γe_c

其中，e_s为新闻文本的情感极性特征向量，e_t为新闻文本语义特征向量，e_c为新闻图文语义差异比较特征向量，e_m为新闻的多模态特征表示。

S4：基于获取的新闻多模态特征表示，通过分类器，进行新闻真假预测。

为了将新闻的多模态特征e_m用于虚假新闻检测，使用一个带有Softmax激活函数的全连接层输出e_m代表真实新闻和虚假新闻的概率，具体如下：

其中

为预测概率，W′为全连接层的参数，b为偏置项。

根据预先设定的阈值thr(一般设为0.5)，得到最终的预测结果：

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于多模态特征自适应融合的虚假新闻检测方法，其特征在于，包括以下步骤：

S1：对待检测新闻数据进行预处理，获得有效新闻文本和图像；

S2：基于提取到的文本和图像，提取情感、文本特征，同时通过特征度量网络构建图文语义差异度量特征；

S3：基于获取的多模态特征，通过赋予不同的可学习参数，进行自适应加权特征拼接，得到最终新闻的多模态特征表示；

S4：基于获取的新闻多模态特征表示，通过分类器，进行新闻真假预测。

2.根据权利要求1所述的基于多模态特征自适应融合的虚假新闻检测方法，其特征在于：对待检测新闻数据进行预处理，获得有效新闻文本和图像，包括：

对新闻中的文本进行预处理，经过文本标准化、文本清洗、繁体转换和拼写纠错等步骤，获得文本序列；

对新闻中的图片进行预处理，经过图像去重、过滤无效格式图像等步骤，保留清晰可处理的图片，并统一图片大小，得到最终的新闻图像。

3.根据权利要求1所述的基于多模态特征自适应融合的虚假新闻检测方法，其特征在于：基于提取到的文本和图像，获取包括情感、文本、图像等多模态特征表示，包括：

采用senta-bilstm模型对新闻文本进行情感极性计算，获得文本对应的情感极性评分，并构建情感特征，最终得到情感极性特征表示；

采用BERT(Bidirectional Encoder Representations from Transformer)预训练模型和掩码注意力网络对新闻文本进行文本特征提取，得到新闻的文本语义特征表示；

采用VIT-GPT2模型和CnOCR工具分别对图像描述信息和图像中的文字信息进行提取并拼接，与新闻文本语义特征一同送入特征度量网络进行计算，最终获得文本与图像的语义级的差异度量特征。

4.根据权利要求3所述的基于多模态特征自适应融合的虚假新闻检测方法，其特征在于:使用逐元素相减和相乘的组合操作对两文本的特征进行初步匹配，同时为减少参数量，本发明使用conv1D代替全连接层对上述匹配特征进行转换，这些操作共同组成了特征向量比较函数，最后再将结果送入最大池化层，获得图文语义差异度量特征表示。

5.根据权利要求1所述的基于多模态特征自适应融合的虚假新闻检测方法，其特征在于：基于获取的多模态特征，通过赋予不同的可学习参数，进行自适应加权特征拼接，得到最终新闻的多模态特征表示，包括：

将获得的新闻情感极性特征表示、新闻文本特征表示、新闻图文差异度量特征表示前分别添加不同的可学习参数；

将添加了可学习参数的不同特征表示进行拼接，获得最终的新闻多模态特征表示。

6.根据权利要求1所述的基于多模态特征自适应融合的虚假新闻检测方法，其特征在于：基于获取的新闻多模态特征表示，通过文本分类器，进行新闻真假预测，包括：

基于得到的新闻多模态特征表示，送入带有softmax的全连接层分类器中进行新闻的真假预测。

Images