CN113806587A - 一种多模态特征融合的视频描述文本生成方法 - Google Patents

Abstract

本发明公开了一种多模态特征融合的视频描述文本生成方法，步骤包括：1)建立数据集、验证集及语义词典；2)构建多模态特征融合网络，获得聚合特征；3)利用语法感知视频动作的编码器获得描述语句的主语、谓语和宾语；4)利用动作指导解码器，生成视频的描述文本；5)训练视频文本生成网络模型；6)生成视频的文本描述语句，经过步骤1至步骤5完成网络训练之后，获得视频文本生成网络模型的所有参数，这时，将待描述视频作为输入视频，进行步骤2至步骤4之后，获得待描述视频的文本描述。本发明方法，具有更高的准确性。

Description

一种多模态特征融合的视频描述文本生成方法

技术领域

本发明属于视频文本描述生成技术领域，涉及一种多模态特征融合的视频描述文本生成方法。

背景技术

视频文本描述的任务是自动生成一个完整自然的句子来描述视频内容，准确地对视频中包含的内容进行理解在实际中具有重要意义和广泛应用。比如面对海量的视频数据，可以利用视频文本描述进行快速高效的视频检索，也可以利用生成的视频文本描述对视频进行智能审核。

在视频描述文本生成过程中，如果不能更好的学习到视频多模态特征中包含的语义信息，会导致视频内容和生成的描述之间的语义不一致的问题。目前2D和3D卷积神经网络已成功地改善了从视觉、音频和运动信息中学习表示的技术，但是解决如何将提取到的视频多模态特征进行聚合的问题，仍然是一个可以提升文本描述准确率的研究思路。

发明内容

本发明的目的是提供一种多模态特征融合的视频描述文本生成的方法，解决了现有技术在视频描述文本生成中，存在视频内容和生成的描述之间的语义不一致的问题。

本发明采用的技术方案是，一种多模态特征融合的视频描述文本生成方法，按照以下步骤实施：

步骤1、建立数据集、验证集及语义词典；

步骤2、构建多模态特征融合网络，获得聚合特征；

步骤3、利用语法感知视频动作的编码器获得描述语句的主语、谓语和宾语；

步骤4、利用动作指导解码器，生成视频的描述文本；

步骤5、训练视频文本生成网络模型；

步骤6、生成视频的文本描述语句，

经过步骤1至步骤5完成网络训练之后，获得视频文本生成网络模型的所有参数；再将待描述视频作为输入视频，进行步骤2至步骤4之后，获得待描述视频的文本描述。

本发明的有益效果是，在视频描述文本生成网络模型中，将2D卷积神经网络获得的RGB特征和3D卷积神经网络获得的时序特征，通过多模态特征融合模型，获得更符合文本描述需求的聚合特征，聚合特征与语法感知预测动作模块生成的谓语编码信息结合，将其送入到解码网络模型中，对输入视频进行文本描述。采用本发明方法生成的视频描述文本与目前检索到的主流论文的算法指标相比，具有更高的准确性。

附图说明

图1是本发明方法的多模态特征融合模型的流程图；

图2是本发明方法中的自注意力机制流程图；

图3是本发明方法中的基于语法感知预测动作模块的编码器流程图；

图4是本发明方法的语法感知预测动作模块中的编码层流程图；

图5是本发明方法所采用的解码器模型的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明的多模态特征融合的视频描述文本生成方法，按照以下步骤具体实施：

步骤1、建立数据集、验证集及语义词典，具体过程是，

1.1)构建数据集和验证集，

因为视频的文本描述网络的数据集的泛化能力的要求，除了特殊情况下需要采用自制的标注的数据集，一般情况下均建议采用公开的数据集；

本步骤优选目前使用率相对较高的视频描述文本生成数据集MSR-VTT和MSVD；其中，MSVD数据集包含1967个YouTube公开短视频，每个视频主要显示一个活动，持续时长为10s～25s，视频包含不同的人、动物、动作及场景等，由不同的人对视频内容进行标注，平均每条视频对应40条文本描述语句；MSR-VTT数据集共10000个视频，平均每个视频对应20条文本描述语句；

从前述MSR-VTT和MSVD数据集中随机选择一部分(本步骤优选为全部数据的80％)作为训练集的数据样本，剩下20％的样本作为验证集样本；

1.2)建立语义词典，

从训练集和验证集的样本标注中，将所有单词按出现次数由高到低排序，选择前m个单词，组成语义概念集合，m是经验值，m优选总单词数的前80％到85％；

先给每个单词分配一个0至m的整数序号，之后(给每个单词)加上四个附加标记，即开始标识<bos>、结束标识<eos>、空白标识<pad>和替换标识<unk>，共m+4个整数序号，构成语义词典vocab＝{1，2,...,m+4}；对带标注的句子做最少的预处理，即删除标点符号，分别在每个句子的开头和结尾添加<bos>和<eos>，语义词典中未包含的单词被替换为<unk>，句子的长度固定为L，L为经验值，按照视频文本描述语句长度的统计结果，优选L∈[20,40]；如果句子太长删除超出的单词，句子太短则使用<pad>补充至固定长度；

假设训练集的样本总数为N，i是其中的第i个视频样本，i＝1,2,...,N，L是第i个视频的文本描述长度；利用建立的语义词典对数据集样本进行语义词典标注，表达式是：

Y_i＝[y_i,1,y_i,2,...,y_i,L]，i＝1,2,...,N (1)

其中，y_i,t为整数，表示第i个视频的第t个单词在文本语义词典中的排序序号，t＝1,2,...,L；

步骤2、构建多模态特征融合网络，获得聚合特征，

2.1)提取视频的多模态特征，

采用三个网络结构联合提取视频的多模态特征，首先，对一个输入视频(在模型训练时，输入视频为步骤1给出的训练样本视频，训练结束之后，输入视频为需要进行文本描述的视频)进行等间隔采样，获得预处理后的T帧长度的视频，(T为经验值，结合所需要描述的视频内容决定，优选T∈[16,64])；之后，提取预处理后视频的二维RGB特征和目标区域特征，分别采用二维卷积网络InceptionResnetV2(IRV2)(是现有技术)的最后一层平均池化层输出M₁(M₁＝1536)维特征向量描述视频的二维RGB特征V^r，采用FasterRCNN网络(是现有技术)的RoI Pooling层输出的M₂(M₂＝1024)维特征向量作为视频中多个目标区域特征V^b；然后，将每个视频连续16帧作为一个片段，每个片段重复8帧，采用三维卷积网络C3D(是现有技术)的全连接FC6层的输出M₃(M₃＝2048)维特征向量描述视频的三维时序特性V^m，共同构建每个视频对应的视觉多模态特征，表达式是：

V＝{V^r,V^m,V^b} (2)

2.2)利用多模态特征融合模型获取聚合特征，

2.2.1)利用自注意力机制模块计算场景表示特征V^rm'，

如图1所示，利用多模态特征融合模型的构架，将步骤2.1)得到的二维RGB特征V^r和三维时序特征V^m拼接为全局特征V^rm，经过三个不同的线性变换得到维度相同的查询向量Q^rm、键向量K^rm和值向量V^rm，表达式是：

{Q^rm，K^rm，V^rm}＝{V^rm·W_Q ^rm,V^rm·W_K ^rm,V^rm·W_V ^rm} (3)

其中，W_Q ^rm、W_K ^rm、W_V ^rm是训练过程学习到的参数；

2.2.2)如图2所示，利用Self-Attention模块，首先计算查询向量Q^rm与键向量K^rm之间的点乘，为防止结果过大，除以一个尺度标度

其中

为矩阵Q^rm的维度，再乘以矩阵V^rm，再利用softmax操作将其结果归一化为概率分布，得到加权的场景表示特征V^rm'表达式是：

其中，

为矩阵Q^rm的维度；

2.2.3)构建MA模块计算运动特征V^m'，

将步骤1中得到的三维时序特征V^m与语义词典中利用词性标注(part-of-speechtagging：pos)(词性标记是现有技术)标注的动词经过Ebedding得到的编码E_pos，通过MA模块进行结合，该模块通过两个线性变换层和ReLU层，生成能够关注到物体间交互关系的运动特征V^m'，表达式是：

其中，W^m、

b^m是训练过程学习到的线性变换的权重，ReLU是激活函数；

2.2.4)构建动态注意力模块求解聚合特征V'，

前述步骤2.2.1)和步骤2.2.2)得到的场景表示特征V^rm'与运动特征V^m'和二维RGB特征V^r，经过一个动态注意力模块进行多模态特征融合得到最终的聚合特征V'；首先将V^rm'和V^m'进行点乘，除以一个尺度标度

其中

为矩阵V^rm′的维度，再乘以矩阵V^r，然后经过softmax操作将其结果归一化为概率分布，得到聚合特征V′，表达式是：

步骤3、利用语法感知视频动作的编码器获得描述语句的主语、谓语和宾语，

进行语法感知视频动作所用的编码器采用的基本结构为SAAT网络模型(SAAT网络模型为现有技术)，属于一种语法感知预测动作模块，分为组件提取器-编码器(Cxe)和组件提取器-解码器(Cxd)；

如图3所示，组件提取器-编码器(Cxe)和组件提取器-解码器(Cxd)的结构相同，均是由一个Embedding层和三个结构相同基于自注意力机制的Encoding层堆叠组成；

如图4所示，每个Encoding层的结构是，由一个自注意力机制(Self-Attention)、层归一化(layerNorm)和非线性前馈网络(FFN)组成，具体过程是：

3.1)由组件提取器-编码器(Cxe)得到场景语义特征V^bs，

将步骤2.1)得到的视频的目标区域特征

和目标位置编码R_l作为Cxe的输入序列，编码为场景语义特征

其中K是目标区域的数量；

3.1.1)将视频的目标区域特征V^b和目标位置编码R_l通过级联的方式拼接，得到级联特征R_c，表达式是：

其中，

k＝1,2,...,K，是目标中心坐标及目标的宽度和高度信息，w_f,h_f分别是视频帧的宽、高；

3.1.2)将步骤3.1.1)得到的级联特征R_c经过Embedding层，利用三个不同的线性变换得到相同维度的映射矩阵Q_c，K_c，V_c，表达式是：

{Q_c，K_c，V_c}＝{R_c·W^Q,R_c·W^K,R_c·W^V} (8)

其中，W^Q、W^K、W^V均是训练过程学习到的参数；

3.1.3)经过一个基于自注意力机制的Encoding层(见图2)计算Q_c与K_c之间的点乘，为防止结果过大，除以一个尺度标度

其中d_Q为矩阵Q_c的维度，再乘以矩阵V_c，再利用softmax操作将其结果归一化为概率分布，得到加权的场景语义特征V^bs，表达式是：

3.2)利用组件提取器-解码器(Cxd)得到视频动作，即文本描述语句的谓语，

利用视频的多模态特征和场景语义特征V^bs作为组件提取器-解码器(Cxd)的输入，解码得到视频中的动作即谓语，具体过程是：

3.2.1)设置全局RGB特征V^r作为预测主语的Query，场景语义特征V^bs作为Key-Value，利用自注意力机制(公式(10))得到主语的特征编码E_s，再经过一个softmax层(公式(11))得到主语的单词概率矩阵p_θ(word|V^bs,V^rs)，然后利用argmax函数(公式(12))得到概率最大的单词矩阵即为对应的主语s，表达式是：

E_s＝fatt(V^rs,V^bs,V^bs) (10)

p_θ(word|V^bs,V^rs)＝softmax(W_s ^T·E_s) (11)

其中，

W_v、W_s是训练过程学习到的参数；

3.2.2)将步骤3.2.1)得到的主语的编码特征E_s作为预测视频的动作(即谓语)的Query，视频的时序特征V^m作为Key-Value，利用公式(13)计算谓语的特征编码E_a，利用公式(14)计算谓语的单词概率矩阵p_θ(word|s,V^m)，再利用公式(15)得到对应的谓语a，表达式是：

E_a＝fatt(E_s,V^ma,V^ma)) (13)

p_θ(word|s,V^ma)＝softmax(W_a ^T·E_a) (14)

其中，

W_m、W_a是训练过程学习到的参数；

3.2.3)将谓语的编码特征E_a作为预测宾语的Query，视频的场景语义特征V^bs作为Key-Value，利用公式(16)计算宾语的特征编码E_o，利用公式(17)计算宾语的单词概率矩阵p_θ(word|a,V^bs)，利用公式(18)得到对应的宾语o，表达式如下：

E_o＝fatt(E_a,V^bs,V^bs)) (16)

p_θ(word|a,V^bs)＝softmax(W_o ^T·E_o) (17)

其中，W_o是训练过程学习到的参数；

步骤4、利用动作指导解码器，生成视频的描述文本，

如图5所示，利用解码器模型，具体过程如下：

4.1)通过Attention模块，计算谓语特征编码E_a的注意力权重β_t，

将步骤3.2.2)中公式(13)计算出的谓语的特征编码E_a，和t-1时刻LSTMs输出h_t-1拼接，h₀为表示起始符<bos>的0向量，得到嵌入向量E_wordt，则Attention在t时刻输出的注意力分布β_t的表达式是：

其中，

W_β、W_h、b_β是训练过程学习到的参数；

4.2)通过LSTMs(是公开技术)生成单词预测结果h_t，表达式是：

其中，W_Lv是训练过程学习到的参数；

4.3)计算预测单词概率，

预测结果经过softmax函数得到t时刻单词预测概率p_θ(word_t)，概率最大的单词为当前时刻预测单词，表达式是：

p_θ(word_t)＝softmax(W_w·h_t) (24)

word_t＝argmax(p_θ(word_t)) (25)

其中，W_w是训练过程学习到的参数；

4.4)令t＝t+1，循环执行步骤4.1)至步骤(4.3)，直到预测的word_t为结束标识<eos>为止；

步骤5、训练视频文本生成网络模型，

将步骤1给出的所有训练样本输入视频文本生成网络模型，重复步骤2至步骤4，使用标准的交叉熵损失来进行训练，视频文本生成网络模型的总损失函数是SAAT模块的最小化损失L_s与视频描述文本生成器的损失L_c之和，表达式是：

L(θ)＝L_c+λ·L_s (26)

其中，word_t ⁽ⁱ⁾是第i个训练样本的第t个单词，

L为步骤1给出的标签单词属性，(s,a,o)_(i)是第i个训练样本的输出的主语、谓语和宾语，(s*,a*,o*)_(i)是第i个训练样本标签的主语、谓语和宾语，V^b,V^r,V^m分别为步骤2.1)提取视频的目标区域特征，二维RGB特征，三维时序特征；

步骤6、生成视频的文本描述语句，

经过步骤1至步骤5完成网络训练之后，便可获得视频文本生成网络模型的所有参数；再将待描述视频作为输入视频，进行步骤2至步骤4之后，便可获得视频的文本描述。

至此，构建的视频文本生成网络模型可以根据视频多模态特征和视频动作引导生成的视频文本描述。

Claims (6)

1.一种多模态特征融合的视频描述文本生成方法，其特征在于，按照以下步骤实施：

步骤1、建立数据集、验证集及语义词典；

步骤2、构建多模态特征融合网络，获得聚合特征；

步骤3、利用语法感知视频动作的编码器获得描述语句的主语、谓语和宾语；

步骤4、利用动作指导解码器，生成视频的描述文本；

步骤5、训练视频文本生成网络模型；

步骤6、生成视频的文本描述语句，

经过步骤1至步骤5完成网络训练之后，获得视频文本生成网络模型的所有参数；再将待描述视频作为输入视频，进行步骤2至步骤4之后，获得待描述视频的文本描述。

2.根据权利要求1所述的多模态特征融合的视频描述文本生成方法，其特征在于，所述的步骤1的具体过程是：

1.1)构建数据集和验证集，

除了特殊情况下需要采用自制的标注的数据集，一般情况下均建议采用公开的数据集；

选用视频描述文本生成数据集MSR-VTT和MSVD，选取全部数据的80％作为训练集的数据样本，剩下20％的样本作为验证集样本；

1.2)建立语义词典，

从训练集和验证集的样本标注中，将所有单词按出现次数由高到低排序，选择前m个单词，组成语义概念集合；

先给每个单词分配一个0至m的整数序号，之后给每个单词加上四个附加标记，即开始标识<bos>、结束标识<eos>、空白标识<pad>和替换标识<unk>，共m+4个整数序号，构成语义词典vocab＝{1，2,...,m+4}；对带标注的句子做最少的预处理，即删除标点符号，分别在每个句子的开头和结尾添加<bos>和<eos>，语义词典中未包含的单词被替换为<unk>，句子的长度固定为L，如果句子太长删除超出的单词，句子太短则使用<pad>补充至固定长度；

假设训练集的样本总数为N，i是其中的第i个视频样本，i＝1,2,...,N，L是第i个视频的文本描述长度；利用建立的语义词典对数据集样本进行语义词典标注，表达式是：

Y_i＝[y_i,1,y_i,2,...,y_i,L]，i＝1,2,...,N (1)

其中，y_i,t为整数，表示第i个视频的第t个单词在文本语义词典中的排序序号，t＝1,2,...,L。

3.根据权利要求1所述的多模态特征融合的视频描述文本生成方法，其特征在于，所述的步骤2的具体过程是：

2.1)提取视频的多模态特征，

采用三个网络结构联合提取视频的多模态特征，首先，对一个输入视频进行等间隔采样，获得预处理后的T帧长度的视频；之后，提取预处理后视频的二维RGB特征和目标区域特征，分别采用二维卷积网络InceptionResnetV2的最后一层平均池化层输出M₁维特征向量描述视频的二维RGB特征V^r，采用Faster RCNN网络的RoI Pooling层输出的M₂维特征向量作为视频中多个目标区域特征V^b；然后，将每个视频连续16帧作为一个片段，每个片段重复8帧，采用三维卷积网络C3D的全连接FC6层的输出M₃维特征向量描述视频的三维时序特性V^m，共同构建每个视频对应的视觉多模态特征，表达式是：

V＝{V^r,V^m,V^b} (2)

2.2)利用多模态特征融合模型获取聚合特征，

2.2.1)利用自注意力机制模块计算场景表示特征V^rm'，

利用多模态特征融合模型，将步骤2.1)得到的二维RGB特征V^r和三维时序特征V^m拼接为全局特征V^rm，经过三个不同的线性变换得到维度相同的查询向量Q^rm、键向量K^rm和值向量V^rm，表达式是：

{Q^rm，K^rm，V^rm}＝{V^rm·W_Q ^rm,V^rm·W_K ^rm,V^rm·W_V ^rm} (3)

其中，W_Q ^rm、W_K ^rm、W_V ^rm是训练过程学习到的参数；

2.2.2)利用Self-Attention模块，首先计算查询向量Q^rm与键向量K^rm之间的点乘，为防止结果过大，除以一个尺度标度

其中

为矩阵Q^rm的维度，再乘以矩阵V^rm，再利用softmax操作将其结果归一化为概率分布，得到加权的场景表示特征V^rm'表达式是：

其中，

为矩阵Q^rm的维度；

2.2.3)构建MA模块计算运动特征V^m'，

将步骤1中得到的三维时序特征V^m与语义词典中利用词性标注，标注的动词经过Ebedding得到的编码E_pos，通过MA模块进行结合，该模块通过两个线性变换层和ReLU层，生成能够关注到物体间交互关系的运动特征V^m'，表达式是：

其中，W^m、W_a ^m、b^m是训练过程学习到的线性变换的权重，ReLU是激活函数；

2.2.4)构建动态注意力模块求解聚合特征V'，

前述步骤2.2.1)和步骤2.2.2)得到的场景表示特征V^rm'与运动特征V^m'和二维RGB特征V^r，经过一个动态注意力模块进行多模态特征融合得到最终的聚合特征V'；首先将V^rm'和V^m'进行点乘，除以一个尺度标度

其中

为矩阵V^rm′的维度，再乘以矩阵V^r，然后经过softmax操作将其结果归一化为概率分布，得到聚合特征V′，表达式是：

4.根据权利要求1所述的多模态特征融合的视频描述文本生成方法，其特征在于，所述的步骤3的具体过程是：

进行语法感知视频动作所用的编码器采用的基本结构为SAAT网络模型，分为组件提取器-编码器和组件提取器-解码器；

组件提取器-编码器和组件提取器-解码器的结构相同，均是由一个Embedding层和三个结构相同基于自注意力机制的Encoding层堆叠组成；

每个Encoding层的结构由一个自注意力机制、层归一化和非线性前馈网络组成，具体过程是：

3.1)由组件提取器-编码器得到场景语义特征V^bs，

将步骤2.1)得到的视频的目标区域特征

和目标位置编码R_l作为组件提取器-编码器的输入序列，编码为场景语义特征

其中K是目标区域的数量；

3.1.1)将视频的目标区域特征V^b和目标位置编码R_l通过级联的方式拼接，得到级联特征R_c，表达式是：

其中，

是目标中心坐标及目标的宽度和高度信息，w_f,h_f分别是视频帧的宽、高；

3.1.2)将步骤3.1.1)得到的级联特征R_c经过Embedding层，利用三个不同的线性变换得到相同维度的映射矩阵Q_c，K_c，V_c，表达式是：

{Q_c，K_c，V_c}＝{R_c·W^Q,R_c·W^K,R_c·W^V} (8)

其中，W^Q、W^K、W^V均是训练过程学习到的参数；

3.1.3)经过一个基于自注意力机制的Encoding层计算Q_c与K_c之间的点乘，为防止结果过大，除以一个尺度标度

其中d_Q为矩阵Q_c的维度，再乘以矩阵V_c，再利用softmax操作将其结果归一化为概率分布，得到加权的场景语义特征V^bs，表达式是：

3.2)利用组件提取器-解码器得到视频动作，即文本描述语句的谓语，

利用视频的多模态特征和场景语义特征V^bs作为组件提取器-解码器的输入，解码得到视频中的动作即谓语，具体过程是：

3.2.1)设置全局RGB特征V^r作为预测主语的Query，场景语义特征V^bs作为Key-Value，利用自注意力机制得到主语的特征编码E_s，再经过一个softmax层得到主语的单词概率矩阵p_θ(word|V^bs,V^rs)，然后利用argmax函数得到概率最大的单词矩阵即为对应的主语s，表达式是：

E_s＝fatt(V^rs,V^bs,V^bs) (10)

p_θ(word|V^bs,V^rs)＝softmax(W_s ^T·E_s) (11)

其中，

是训练过程学习到的参数；

3.2.2)将步骤3.2.1)得到的主语的编码特征E_s作为预测视频的动作的Query，视频的时序特征V^m作为Key-Value，利用公式(13)计算谓语的特征编码E_a，利用公式(14)计算谓语的单词概率矩阵p_θ(word|s,V^m)，再利用公式(15)得到对应的谓语a，表达式是：

E_a＝fatt(E_s,V^ma,V^ma)) (13)

p_θ(word|s,V^ma)＝softmax(W_a ^T·E_a) (14)

其中，

是训练过程学习到的参数；

3.2.3)将谓语的编码特征E_a作为预测宾语的Query，视频的场景语义特征V^bs作为Key-Value，利用公式(16)计算宾语的特征编码E_o，利用公式(17)计算宾语的单词概率矩阵p_θ(word|a,V^bs)，利用公式(18)得到对应的宾语o，表达式如下：

E_o＝fatt(E_a,V^bs,V^bs)) (16)

p_θ(word|a,V^bs)＝softmax(W_o ^T·E_o) (17)

其中，W_o是训练过程学习到的参数。

5.根据权利要求1所述的多模态特征融合的视频描述文本生成方法，其特征在于，所述的步骤4的具体过程是：

4.1)通过Attention模块，计算谓语特征编码E_a的注意力权重β_t，

将步骤3.2.2)中公式(13)计算出的谓语的特征编码E_a，和t-1时刻LSTMs输出h_t-1拼接，h₀为表示起始符<bos>的0向量，得到嵌入向量

则Attention在t时刻输出的注意力分布β_t的表达式是：

其中，

b_β是训练过程学习到的参数；

4.2)通过LSTMs生成单词预测结果h_t，表达式是：

其中，W_Lv是训练过程学习到的参数；

4.3)计算预测单词概率，

预测结果经过softmax函数得到t时刻单词预测概率p_θ(word_t)，概率最大的单词为当前时刻预测单词，表达式是：

p_θ(word_t)＝softmax(W_w·h_t) (24)

word_t＝arg max(p_θ(word_t)) (25)

其中，W_w是训练过程学习到的参数；

4.4)令t＝t+1，循环执行步骤4.1)至步骤(4.3)，直到预测的word_t为结束标识<eos>为止。

6.根据权利要求1所述的多模态特征融合的视频描述文本生成方法，其特征在于，所述的步骤5的具体过程是：

将步骤1给出的所有训练样本输入视频文本生成网络模型，重复步骤2至步骤4，使用标准的交叉熵损失来进行训练，视频文本生成网络模型的总损失函数是SAAT模块的最小化损失L_s与视频描述文本生成器的损失L_c之和，表达式是：

L(θ)＝L_c+λ·L_s (26)

其中，word_t ⁽ⁱ⁾是第i个训练样本的第t个单词，

L为步骤1给出的标签单词属性，(s,a,o)_(i)是第i个训练样本的输出的主语、谓语和宾语，(s*,a*,o*)_(i)是第i个训练样本标签的主语、谓语和宾语，V^b,V^r,V^m分别为步骤2.1)提取视频的目标区域特征，二维RGB特征，三维时序特征。

Images