CN113762322B - 基于多模态表示的视频分类方法、装置和设备及存储介质 - Google Patents

Abstract

本申请公开了一种基于多模态表示的视频分类方法、装置和设备及存储介质，涉及人工智能技术领域，用于降低模型学习的难度，提升模型训练效率。该方法包括：将目标视频的各个模态的数据信息输入至已训练的目标多模态视频表示模型；获得目标多模态视频表示模型输出的目标视频在目标业务场景的视频业务类别；其中，目标多模态视频表示模型是基于各个模态各自对应的基础视频数据样本集合进行视频域的适应性预训练，并基于目标业务场景中各个模态各自对应的视频业务数据样本集合进行再训练获得的，每一基础视频数据样本集合包括各个视频对应于同一模态的基础视频数据样本，每一视频业务数据样本集合包括各个视频对应于同一模态的视频业务数据样本。

Description

基于多模态表示的视频分类方法、装置和设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及人工智能(Artificial Intelligence，AI)技术领域，提供一种基于多模态表示的视频分类方法、装置和设备及存储介质。

背景技术

随着AI技术的发展，AI在视频平台的各个视频业务场景中均有所涉及，例如视频推荐分类、视频运营分类以及视频标题党识别业务场景等。以视频运营分类为例，通过AI技术可以智能识别视频的运营类别，进而可辅助运营人员进行视频分发。

一般而言，视频涉及到视频文本、视频画面以及视频内的音频等多模态的内容，因此对于视频的表示一般是基于多模态数据进行的，即基于视频的多模态数据构建多模态表示模型，但是相较于普通的单模态模型而言，多模态表示模型的参数过多，模型训练难度较大，使得模型难以收敛，且耗时较长，模型训练效率低。

发明内容

本申请实施例提供一种基于多模态表示的视频分类方法、装置和设备及存储介质，用于降低模型学习的难度，提升模型训练效率。

一方面，提供一种基于多模态表示的视频分类方法，所述方法包括：

获取目标视频对应于各个模态的数据信息，将所述各个模态的数据信息输入至已训练的目标多模态视频表示模型；

获得所述目标多模态视频表示模型输出的所述目标视频在目标业务场景的视频业务类别；

其中，所述目标多模态视频表示模型是基于各个模态各自对应的基础视频数据样本集合进行视频域的适应性预训练，并基于所述目标业务场景中各个模态各自对应的视频业务数据样本集合进行再训练获得的，每一基础视频数据样本集合包括各个视频对应于同一模态的基础视频数据样本，每一视频业务数据样本集合包括各个视频对应于同一模态的视频业务数据样本。

一方面，提供一种基于多模态表示的视频分类装置，所述装置包括：

数据获取单元，用于获取目标视频对应于各个模态的数据信息，将所述各个模态的数据信息输入至已训练的目标多模态视频表示模型；

视频分类单元，用于获得所述目标多模态视频表示模型输出的所述目标视频在目标业务场景的视频业务类别；

其中，所述目标多模态视频表示模型是基于各个模态各自对应的基础视频数据样本集合进行视频域的适应性预训练，并基于所述目标业务场景中各个模态各自对应的视频业务数据样本集合进行再训练获得的，每一基础视频数据样本集合包括各个视频对应于同一模态的基础视频数据样本，每一视频业务数据样本集合包括各个视频对应于同一模态的视频业务数据样本。

可选的，所述目标多模态视频表示模型包括多个单模态编码子模型，以及对所述多个单模态编码子模型输出的单模态特征向量进行特征融合的特征融合子模型，每一单模态编码子模型对应于视频的一种模态；

则所述装置还包括模型训练单元，用于：

采用所述各个模态各自对应的基础视频数据样本集合，分别对各个模态对应的预训练编码子模型进行所述适应性预训练，获得各个模态各自对应的单模态编码子模型；其中，每一预训练编码子模型为基于相应模态的通用数据集进行初始化预训练获得的；

采用所述各个模态各自对应的视频业务数据样本集合，对获得的各个单模态编码子模型以及所述特征融合子模型进行迭代训练，直至满足设定的收敛条件；

在满足设定的收敛条件时，输出已训练的所述目标多模态视频表示模型。

可选的，所述模型训练单元，具体用于：

针对各个视频，分别执行如下操作：

针对一个视频，分别采用所述各个单模态编码子模型，对所述一个视频的相应模态的视频业务数据样本进行特征编码，获得多个单模态特征向量，其中，每个单模态特征向量对应一种模态；

采用所述特征融合子模型，对所述多个单模态特征向量进行特征融合，获得所述一个视频的视频特征向量；

基于获得的各个视频各自对应的视频特征向量以及多个单模态特征向量，分别对各个单模态编码子模型以及所述特征融合子模型进行参数调整。

可选的，每个单模态编码子模型包括至少一个注意力权重矩阵，所述模型训练单元，具体用于：

对各个模态的视频业务数据样本进行基础特征提取，获得各个模态各自对应的基础特征向量；

根据获得的各个基础特征向量，与相应单模态编码子模型包括的至少一个注意力权重矩阵，分别获得各个基础特征向量各自对应的权重特征向量集合；其中，每个权重特征向量集合包括的每个权重特征向量对应于一个注意力权重矩阵；

根据获得的各个权重特征向量集合，获得所述多个单模态特征向量。

可选的，所述至少一个注意力权重矩阵包括查询向量权重矩阵、键向量权重矩阵和值向量权重矩阵；所述模型训练单元，具体用于：

针对各个基础特征向量，分别执行如下操作：针对一个基础特征向量，根据所述基础特征向量与所述查询向量权重矩阵、所述键向量权重矩阵和所述值向量权重矩阵，分别得到对应的查询向量、键向量和值向量；

针对所述各个基础特征向量，分别执行以下操作：

根据一个基础特征向量的查询向量与各个基础特征向量的键向量，分别获得各个基础特征向量各自对应的注意力权重值；所述注意力权重值用于表征所述一个视频在各个基础特征向量对应模态的视频数据，与所述一个视频在所述一个基础特征向量对应模态的视频数据的关联程度；

根据所述各个基础特征向量各自对应的值向量以及注意力权重值，得到所述一个视频在所述一个基础特征向量对应模态的单模态特征向量。

可选的，所述模型训练单元，具体用于：

采用所述特征融合子模型包括的向量拼接层，将所述多个单模态特征向量按照设定的方式进行向量拼接，获得所述一个视频的视频特征向量；

采用所述特征融合子模型包括的池化层，对所述多个单模态特征向量进行池化处理，获得所述一个视频的视频特征向量；

采用所述特征融合子模型包括的卷积层，对由所述多个单模态特征向量组成的特征矩阵，采用设定的步长进行卷积运算，获得所述一个视频的视频特征向量；

采用所述特征融合子模型包括的全连接层，对所述多个单模态特征向量进行映射处理，获得所述一个视频的视频特征向量。

可选的，所述模型训练单元，具体用于：

针对各个单模态编码子模型，分别执行如下操作：基于一个单模态编码子模型输出的各个视频各自对应的单模态特征向量，确定所述一个单模态编码子模型的单模态编码损失；

基于各个视频各自对应的视频特征向量，确定所述多模态视频表示模型的视频表示损失；

基于获得的各个单模态编码子模型各自对应的单模态编码损失，以及所述视频表示损失，获得所述多模态视频表示模型的模型总损失；

基于所述总模型损失对各个单模态编码子模型以及所述特征融合子模型进行参数调整。

可选的，所述模型训练单元，具体用于：

针对各个视频，分别执行如下操作：

基于一个视频的视频特征向量，确定所述一个视频在所述目标视频业务场景中的预测视频业务类别；

基于获得的预测视频业务类别，以及所述一个视频的业务数据样本中包括的标注视频业务类型，确定所述一个视频的视频表示损失；

基于获得的各个视频的视频表示损失，获得所述多模态视频表示模型的视频表示损失。

可选的，一个基础视频数据样本集合为如下数据样本集合的任意一种：

包括各个视频的视频文本数据样本的文本数据样本集合；

包括各个视频的视频图像数据样本的图像数据样本集合；

包括各个视频的视频音频数据样本的音频数据样本集合。

可选的，所述数据获取单元，具体用于：

针对各个视频，分别执行如下操作：

针对一个视频，采用文本提取方法对所述一个视频中进行文本提取，获得视频内文本；

对所述视频内文本与所述一个视频的标题文本以及视频介绍文本进行拼接处理，获得所述一个视频对应的拼接文本；

对各个视频各自对应的拼接文本进行数值化处理，获得各个拼接文本各自对应的文本索引，每一文本索引唯一对应一个拼接文本。

一方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一种方法的步骤。

一方面，提供一种计算机存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法的步骤。

一方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一种方法的步骤。

本申请实施例中，在训练目标多模态视频表示模型时，首先基于基础视频数据样本对模型进行视频域的适应性预训练，在预训练完成后，再基于目标业务场景的视频业务数据样本进行再训练，这样，通过对模型进行视频域的预先训练，使得模型有了一定的初步表达能力，进而在下游视频相关任务的模型训练难度更低，模型就更容易收敛，模型训练耗时相应得以减少，模型训练效率更高。并且，分阶段的训练过程使得多模态表示模型的学习更具层次性，使得多模态的表示能力更为丰富，方便模型适应不同类型的下游视频分类任务，提升下游视频分类任务的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的应用场景示意图；

图2为本申请实施例提供的基于多模态表示的视频分类方法的流程示意图；

图3为本申请实施例提供的目标多模态视频表示模型的一种结构示意图；

图4为本申请实施例提供的目标多模态视频表示模型的数据处理流程示意图；

图5为本申请实施例提供的目标多模态视频表示模型的分阶段训练示意图；

图6为本申请实施例提供的基础视频数据样本集合的组成示意图；

图7为本申请实施例提供的图像模态的视频编码器的通用预训练流程示意图；

图8为本申请实施例提供的文本模态的文本编码器的通用预训练流程示意图；

图9为本申请实施例提供的采用多模态协同学习的方式进行的适应性预训练的流程示意图；

图10为本申请实施例提供的适应性预训练过程中数据处理流程示意图；

图11为本申请实施例提供的一个基础特征向量的处理流程图；

图12为本申请实施例提供的获取图像模态的单模态特征向量的流程示意图；

图13为本申请实施例提供的S3阶段进行目标业务场景训练的流程示意图；

图14为本申请实施例提供的基于多模态表示的视频分类装置的一种结构示意图；

图15为本申请实施例提供的计算机设备的一种结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

为便于理解本申请实施例提供的技术方案，这里先对本申请实施例使用的一些关键名词进行解释：

模态(modality)：在本申请实施例中，每一种信息的形式，都可以称为一种模态，对于视频而言，视频信息的媒介包括有音频、视频(指视频图像)以及文本，那么每一种媒介形式都可以称为视频的一种模态，即音频模态(表示为a)、视频模态(或称图像模态)(表示为v)以及文本模态(表示为t)。

多模态视频表示模型：是指针对视频的多模态表示(MultimodalRepresentation)模型，多模态表示模型是基于多模态机器学习(MultiModal MachineLearning，MMML)过程获得的，多模态机器学习旨在通过机器学习的方法实现处理和理解多源模态信息的能力，例如视频、音频、语义(文本)之间的多模态学习，通过利用多模态之间的互补性，剔除模态间的冗余性，从而学习到更好的特征表示。多模态表示学习主要包括两大方向：联合表示(Joint Representations)和协同表示(CoordinatedRepresentations)，联合表示将多个模态的信息一起映射到一个统一的多模态向量空间，协同表示负责将多模态中的每个模态分别映射到各自的表示空间，但映射后的向量之间满足一定的相关性约束，在本申请的分阶段训练过程中，则涉及到多模态表示学习的这两种方式。

通用数据集：是指不具备特定领域性的数据集，或可理解为涵盖各个领域数据的数据集，本申请实施例中采用的通用数据集可以采用网络开源数据集，例如针对文本，通用数据集可以为***数据集；针对图像，通用数据集可以为ImageNet数据集；针对音频，通用数据集可以为YouTube-8M数据集。

基础视频数据样本集合：基础视频数据样本集合是针对视频域而言的，基础视频数据样本集合包括各个视频对应于同一模态的基础视频数据样本，且每个模态的基础视频数据样本集合包含多个基础视频数据样本，每个基础视频数据样本包括一个视频的在一个模态的基础数据以及基础类型，基础类型是指视频本身的类型，而不涉及特定视频业务场景中视频分类的类型，例如基础类型可以为连续剧、情景剧、电影、悬疑剧、音乐短片(MusicVideo，MV)等。例如，针对图像模态而言，基础视频数据样本集合可以由多个视频的视频帧图像样本构成，每个视频帧图像样本可以包含一个视频的多个视频图像帧以及该视频的基础类型标签。

视频业务数据样本集合：视频业务数据样本集合是针对特定视频业务场景而言的，不同的视频业务场景，其所对应的视频业务数据样本数据可能不同。对应于每一模态，可以有相对应的视频业务数据样本集合，每个视频业务数据样本集合包括该模态下的多个视频业务数据样本，每个视频业务数据样本可以包括一个视频的在一个模态的业务数据以及视频业务类别。例如，针对图像模态而言，视频业务数据样本集合可以由多个视频的视频帧图像样本构成，每个视频帧图像样本可以包含一个视频的多个视频图像帧以及该视频的相关业务数据，例如可以包括该视频在该视频业务场景的视频业务类别，还可以包括该视频。

视频业务类别：是指视频在目标视频业务场景中的业务类别，基于视频业务场景的不同，视频业务类别可以相应不同，视频业务类别的具体划分可以基于具体业务场景的需求而设定。

例如，当目标视频业务场景为视频推荐业务场景时，可以按照推荐程度高低进行类别划分，即用于表征针对某个用户而言，一个视频的推荐程度高低，例如十分推荐、较为推荐、一般推荐以及不推荐等。当目标视频业务场景为视频运营分类场景时，则视频业务类别可以为视频的运营类别，以便于运营人员进行视频分发。当目标视频业务场景为标题党识别场景时，则视频业务类别可以表征视频标题与视频内容的符合程度，例如符合或者不符合。

注意力(Attension)机制：注意力机制的本质来自于人类视觉注意力机制，人们视觉在感知东西的时候一般不会是一个场景从到头看到尾每次全部都看，而往往是根据需求观察注意特定的一部分，而且当人们发现一个场景经常在某部分出现自己想观察的东西时，人们会进行学习在将来再出现类似场景时把注意力放到该部分上。因此，注意力机制实质上是从大量信息中筛选出高价值信息的手段，在大量信息中，不同信息对于结果的重要性是不同的，这种重要性可以通过赋予不同大小的权值来体现，换言之，注意力机制可以理解成对多个来源进行合成时分配权重的一种规则。具体而言，注意力机制实现了从query和一系列键值对(key-value pair)到输出结果(output)的映射，其中query、key和value都是向量，输出结果的计算通过对value进行加权求和来得到，而每一个value所对应的权值是由query和key通过一个相容性函数来计算获取。

即：

Attention(Query，Source)表示得到的基于注意力机制得到输出结果，Similarity可以是基于Softmax归一化函数计算得到的权值，Softmax归一化函数的参数即为query向量，Source为键值对集合，L_x为Source的长度，或为Source中键值对的数量。上述描述是针对单一注意力机制而言的，在单一注意力机制中采用一组query即可，在多头注意力机制中包含多组query，分别针对每组query进行加权平均得到计算结果之后，最后将多组结果再进行拼接等操作得到最终结果。

本申请实施例涉及人工智能和机器学习(Machine Learning，ML)技术，主要基于人工智能中的机器学习而设计。

人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

语音技术(Speech Technology)的关键技术有自动语音识别技术(ASR)和语音合成技术(TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中语音成为未来最被看好的人机交互方式之一。

自然语言处理(Nature Language processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。人工神经网络(Artificial Neural Network，ANN)，从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成，每个节点代表一种特定的输出函数，称为激励函数(activation function)，每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆，网络的输出则依网络的连接方式，权重值和激励函数的不同而不同，而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

本申请实施例在对视频进行特征表示时，采用基于深度学习的人工神经网络模型。在本申请实施例中的视频特征表示可分为两部分，包括训练部分和应用部分。其中，训练部分就涉及到机器学习这一技术领域，在训练部分中，通过机器学习这一技术训练人工神经网络模型(即后续提及的多模态视频表示模型)，使得基于本申请实施例中给出的各个视频的多模态数据分阶段训练人工神经网络模型，并通过优化算法不断调整模型参数，直至模型收敛；应用部分用于使用在训练部分训练得到的人工神经网络模型中编码部分来对视频进行特征表示，并基于获得的视频特征向量对视频进行分类预测等。另外，还需要说明的是，本申请实施例中人工神经网络模型可以是在线训练也可以是离线训练，在此不做具体限定。在本文中是以离线训练为例进行举例说明的。

下面对本申请实施例的设计思想进行简要介绍。

由于视频涉及多模态内容，因此一般考虑采用视频的多模态数据构建多模态表示模型，但是一般而言，多模态表示模型的参数过多，模型训练难度较大，使得模型难以收敛，且耗时较长。

考虑到在对多模态表示模型训练时，往往直接借助开源预训练模型直接进行训练，而忽略了不同模态在当前业务场景的适应性过渡学习，使得模型难以训练和取得更好效果，因此可考虑增加模型的适应性训练，使得模型对当前业务场景有更好的适应性。

鉴于此，本申请实施例提供一种基于多模态表示的视频分类方法，在该方法中，在训练目标多模态视频表示模型时，首先基于基础视频数据样本对模型进行视频域的适应性预训练，在预训练完成后，再基于目标业务场景的视频业务数据样本进行再训练，这样，通过对模型进行视频域的预先训练，使得模型有了一定的初步表达能力，进而在下游视频相关任务的模型训练难度更低，模型就更容易收敛，模型训练耗时相应得以减少，模型训练效率更高。并且，分阶段的训练过程使得多模态表示模型的学习更具层次性，使得多模态的表示能力更为丰富，方便模型适应不同类型的下游视频分类任务，提升下游视频分类任务的准确性。

并且，还考虑到直接进行端到端的训练，大量参数也使得模型难以收敛，因此还可以通过对多模态表示模型的不同模态进行多任务学习，进而丰富单模态的表示能力，增加对不同下游任务的普适性。因此，本申请实施例中，在预训练阶段，通过采用不同模态的样本数据进行相应模态的特征学习，降低模型收敛难度。

在介绍完本申请实施例的设计思想之后，下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施过程中，可以根据实际需要灵活地应用本申请实施例提供的技术方案。

本申请实施例提供的方案可以适用于大多数视频业务分类场景中，例如视频推荐分类、视频运营分类以及视频标题党识别业务场景。如图1所示，为本申请实施例提供的一种应用场景示意图，在该场景中，可以包括终端设备101和服务器102。

终端设备101例如可以为手机、平板电脑(PAD)、笔记本电脑、台式电脑、智能电视以及智能可穿戴设备等。终端设备101可以安装有可以进行视频业务的应用，例如浏览器或者视频客户端等，用户可以通过在应用上进行相应的视频业务。本申请实施例涉及的应用可以是软件客户端，也可以是网页、小程序等客户端，后台服务器则是与软件或是网页、小程序等相对应的后台服务器，不限制客户端的具体类型。

服务器102可以为终端设备101上安装的客户端所对应的后台服务器，例如可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，但并不局限于此。

服务器102可以包括一个或多个处理器1021、存储器1022以及与终端交互的I/O接口1023等。此外，服务器102还可以配置数据库1024，数据库1024可以用于存储各个视频的各个模态的数据信息以及训练得到的模型参数等。其中，服务器102的存储器1022中还可以存储本申请实施例提供的基于多模态表示的视频分类方法的程序指令，这些程序指令被处理器1021执行时能够用以实现本申请实施例提供的基于多模态表示的视频分类方法的步骤，以获取视频在目标业务场景的视频业务类别。

终端设备101和服务器102之间可以通过一个或者多个网络103进行直接或间接的通信连接。该网络103可以是有线网络，也可以是无线网络，例如无线网络可以是移动蜂窝网络，或者可以是无线保真(Wireless-Fidelity，WIFI)网络，当然还可以是其他可能的网络，本发明实施例对此不做限制。

需要说明的是，在本申请实施例中，终端设备101的数量可以为一个，也可以为多个，同样的，服务器102的数量也可以为一个，也可以为多个，也就是说对于，终端设备101或者服务器102的数量并不进行限制。

在一种可能的实施方式中，本申请实施例的视频分类方法可应用于视频推荐分类场景中，那么终端设备101上安装的应用可以为提供给用户的视频播放客户端，针对每个视频而言，可以利用本申请实施例的视频分类方法输出对于各个用户的推荐度，从而基于推荐度为各个用户进行视频推荐，向用户推荐的视频可以在视频播放客户端上呈现，用户即可基于视频播放客户端查看到这些视频。

在一种可能的实施方式中，本申请实施例的视频分类方法可应用于运营分类场景中，那么终端设备101上安装的应用可以为提供给视频运营人员的视频管理客户端，针对每个视频而言，可以利用本申请实施例的视频分类方法输出其运营类型，从而辅助运营人员进行视频分发，无需运营人员认为判断视频的运营类型。

在一种可能的应用场景中，本申请中的账户数据(如历史操作对象序列以及相应的操作对象属性序列等)、相似账户关系以及模型参数可以采用云存储技术进行存储。云存储(cloudstorage)是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储***是指通过集群应用、网格技术以及分布存储文件***等功能，将网络中大量各种不同类型的存储设备(或称存储节点)通过应用软件或应用接口集合起来协同工作，共同对外提供数据存储和业务访问功能的一个存储***。

在一种可能的应用场景中，为了便于降低通信时延，可以在各个地区部署服务器102，或为了负载均衡，可以由不同的服务器102分别去服务各个终端备10对应的地区。多个服务器102以通过区块链实现数据的共享，多个服务器102相当于多个服务器102组成的数据共享***。例如终端设备101位于地点a，与服务器102之间进行通信连接，终端设备101位于地点b，与其他服务器102之间通信连接。

对于数据共享***中的每个服务器102，均具有与该服务器102对应的节点标识，数据共享***中的每个服务器102均可以存储有数据共享***中其他服务器102的节点标识，以便后续根据其他服务器102的节点标识，将生成的区块广播至数据共享***中的其他服务器102。每个服务器102中可维护一个如下表所示的节点标识列表，将服务器102名称和节点标识对应存储至该节点标识列表中。其中，节点标识可为网络之间互联的协议(InternetProtocol，IP)地址以及其他任一种能够用于标识该节点的信息。

当然，本申请实施例提供的方法并不限用于图1所示的应用场景中，还可以用于其他可能的应用场景，本申请实施例并不进行限制。对于图1所示的应用场景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述，在此先不过多赘述。

请参见图2，为本申请实施例提供的基于多模态表示的视频分类方法的流程示意图，该方法可以通过图1中的服务器102或者终端设备101来执行，也可以由服务器102和终端设备101共同执行，这里主要以服务器102来执行为例进行介绍，该方法的流程介绍如下。

步骤201：获取目标视频对应于各个模态的数据信息，将各个模态的数据信息输入至已训练的目标多模态视频表示模型。

本申请实施例中，目标视频对应于各个模态的数据信息可以包括如下信息中的一种或者多种的组合：

(1)目标视频中的文本数据信息。

其中，文本数据信息可以包括目标视频涉及到的所有可能的文本内容，例如除了视频的标题和视频简介之外，还可以包括目标视频中视频画面上呈现的文本，例如歌词、字幕、产品文本以及视频语音文本等，在获取这些文本内容之后，则可将这些文本内容进行拼接，获得目标视频对应的拼接文本，并可采用数值化处理方式对拼接文本进行处理，例如借助字典将其数值化。

产品文本是指视频画面中呈现的产品上的文本(如产品名称、厂家等)，针对歌词、字幕、产品文本等，可以采用光学字符识别(Optical Character Recognition，OCR)技术从视频画面中提取获得，视频语音文本是指基于目标视频中语音转换的文本(例如电视剧中人物对话、MV中歌词等)，针对视频语音文本，可以采用自动语音识别(Automatic SpeechRecognition，ASR)技术提取文本内容。

(2)目标视频中的图像数据信息

文本数据信息是指目标视频中的视频帧，视频图像可以包括目标视频的所有图像或者部分图像，当视频图像包括目标视频的部分图像时，则可以从目标视频中抽取部分视频帧，这些视频帧例如可以为目标视频的关键帧，也可以是通过一定的图像识别方法对各个视频帧进行图像识别之后，选取的最能够反映视频内容的多个视频帧。例如，在实际应用时，可以采用FFMPEG(一种多媒体处理工具)抽取目标视频中特定长度(例如30帧)的视频帧。

(3)目标视频中的音频数据信息

音频数据信息可以包括目标视频的完整音频或者部分音频，当视频音频包括目标视频的部分音频时，则可以从目标视频的完整音频中抽取部分音频片段。部分音频片段可以为目标视频的完整音频中的连续的音频片段，也可以是抽取多段音频片段后，将这些音频片段进行拼接获得的。例如，可以采用FFMPEG抽取音频，并将其转化梅尔频普图特征。

步骤202：获得目标多模态视频表示模型输出的目标视频在目标业务场景的视频业务类别；目标多模态视频表示模型是基于各个模态各自对应的基础视频数据样本集合进行视频域的适应性预训练，并基于目标业务场景中各个模态各自对应的视频业务数据样本集合进行再训练获得的，每一基础视频数据样本集合包括各个视频对应于同一模态的基础视频数据样本，每一视频业务数据样本集合包括各个视频对应于同一模态的视频业务数据样本。

本申请实施例中，将获得的目标视频的多个模态的数据信息输入至目标多模态视频表示模型，通过目标多模态视频表示模型进行处理后，则可以获得目标多模态视频表示模型输出的目标视频在目标业务场景的视频业务类别，进而可以依据目标视频的视频业务类别，开展在目标业务场景的相关视频业务。

其中，本申请实施例的目标多模态视频表示模型是基于各个模态各自对应的基础视频数据样本集合进行视频域的适应性预训练，并基于目标业务场景中各个模态各自对应的视频业务数据样本集合进行再训练获得的，分阶段的训练过程使得多模态表示模型的学习更具层次性，使得多模态的表示能力更为丰富，方便模型适应不同类型的下游视频分类任务，进而提升了下游视频分类任务的准确性。

参见图3所示，为目标多模态视频表示模型的一种结构示意图。其中，目标多模态视频表示模型包括多个单模态编码子模型和特征融合子模型，一个单模态编码子模型对应一个模态，用于对一个模态的数据信息进行特征编码，如图3所示，视频编码器、文本编码器以及音频编码器均为单模态编码子模型。

(1)视频编码器

视频编码器对应于图像模态，用于对目标视频的图像数据信息进行特征编码，因而任何能够进行视频编码的编码器结构均可采用，例如可以采用inception_resnet_v1、efficient-net、inception、resnet或者inception V4等结构，在此不逐一进行例举。

(2)文本编码器

文本编码器对应于文本模态，用于对目标视频的图像数据信息进行特征编码，一般而言，任何能够进行文本编码的编码器结构均可采用，例如可以采用albert、bert或者electra等结构，在此不逐一进行例举。

(3)音频编码器

音频编码器对应于音频模态，用于对目标视频的音频数据信息进行特征编码。一般而言，任何能够进行音频编码的编码器结构均可采用，例如可以采用vggish等结构，在此不逐一进行例举。

基于图3的目标多模态视频表示模型，上述步骤202可以包括如下步骤2021～2024。参见图4所示，为目标多模态视频表示模型的数据处理流程示意图。

步骤2021：利用各个单模态编码子模型对相应模态的数据信息进行特征编码，分别获得各个模态的基础特征向量。

如图3所示，针对图像模态，利用视频编码器对目标视频的图像数据信息进行特征编码，获得图像基础特征向量，同理，针对文本模态利用文本编码器获得文本基础特征向量，针对音频模态利用音频编码器获得音频基础特征向量。

步骤2022：基于获得的各个基础特征向量，获得各个模态的单模态特征向量。

由于各个模态的数据信息均来自于同一视频，因此在一定程度上是存在一定的联系的，因此如图3所示，在经过各个编码器进行特征编码获得基础特征向量之后，为了使得各个模态的特征向量表示更为准确，可以基于多模态协同表示的方式，在各个模态的特征向量中融入其他模态的信息，使得最终获得的各个单模态特征向量之间满足一定的相关性约束。

在一种可能的实施方式中，可以利用transformer或者encoder-decoder中encoder部分对各个模态的特征进行自注意力机制融合，得到各模态的最终表示，即获得各个模态的单模态特征向量，对于利用注意力机制来实施的具体过程将后续训练过程中具体进行介绍，因而在此先不过多赘述。当然，也可以采用其他可能的方式进行多模态协同表示，例如L2正则化等，本申请实施例对此不做限制。

步骤2023：基于获得的各个单模态特征向量，利用特征融合子模型进行特征融合，获得视频特征向量。

本申请实施例中，特征融合是指将各个单模态特征向量所包含的信息进行整合，特征融合可以采用如下方式中的任一种方式：

(1)向量拼接

通过向量拼接方式进行特征融合时，则特征融合子模型可以包括向量拼接层，以通过向量拼接层将多个单模态特征向量按照设定的方式进行向量拼接，获得目标视频的视频特征向量。例如，可以将各个单模态特征向量接续在前一单模态特征向量之后，如将文本模态的单模态特征向量拼接在图像模态的单模态特征向量之后，并将音频模态的单模态特征向量拼接在文本模态的单模态特征向量之后。

对于采用向量拼接方式进行特征融合之后，获得的拼接特征向量的维度较多，还可以采用一定的特征精简方式对拼接特征向量进行特征精简，从而得到视频特征向量。

(2)特征池化(pooling)

通过特征池化方式进行特征融合时，则特征融合子模型可以包括池化层，以通过池化层对多个单模态特征向量进行池化处理，获得目标视频的视频特征向量。

具体的，池化处理可以采用最大池化(max-pooling)或者均值池化(mean-pooling)等池化处理方式来进行，本申请实施例对此并不进行限制。

(3)卷积(Convolution)处理

通过卷积处理进行特征融合时，则特征融合子模型可以包括卷积层，以通过卷积层对由多个单模态特征向量组成的特征矩阵，采用设定的步长进行卷积运算，获得目标视频的视频特征向量。

具体的，卷积层可以包括至少一个权重矩阵，权重矩阵中的参数可以是通过训练得到的，通过该权重矩阵对上述特征矩阵进行卷积处理，从而得到目标视频的视频特征向量。

(4)全连接处理

通过全连接处理进行特征融合时，则特征融合子模型可以包括全连接层(fullyconnected layers，FC)，对多个单模态特征向量进行映射处理，获得目标视频的视频特征向量。

步骤2024：基于视频特征向量进行类型预测，获得目标视频的视频业务类别。

本申请实施例中，类型预测可以采用任何可能的分类器来实现，例如可以采用FC或者softmax方法等实现。

下面，将对目标多模态视频表示模型的训练过程进行具体的介绍。参见图5所示，为目标多模态视频表示模型的分阶段训练示意图，训练过程具体可包括3个阶段，即通用预训练阶段、视频域适应性预训练阶段以及有目标业务场景训练阶段。

S1：通用预训练阶段。

在通用预训练阶段，主要进行各个模态的通用数据的学习，得到一个初步的预训练编码子模型，如图5所示，在通用预训练阶段，利用通用数据集对初始构建的多模态视频表示模型进行训练。

本申请实施例中，对于图像模态的视频编码器，可以采用图像模态的通用数据集，例如开源ImageNet数据集，进行图像分类任务学习，获得的视频编码器表示为g(v)；对于音频模态的音频编码器，可以采用音频模态的通用数据集，例如开源youtube-8M数据集进行音频分类任务学习，获得的音频编码器可以表示为g(a)；对于文本模态的文本编码器，可以采用文本模态的通用数据集，例如开源***数据，对文本编码器进行掩码语言模型任务(masked language model)学习，获得的文本编码器可以表示为g(t)。

需要说明的是，通用预训练阶段为可选的阶段，在具体应用时，可直接获取已有的各个模态的预训练模型，即借用预训练模型的参数，从而可以省去通用预训练阶段的过程，进一步提升模型训练效率。

S2：视频域适应性预训练阶段。

通过S1阶段对各个单模态编码子模型分别进行预训练之后，各个模态的单模态编码子模型都可以得到的初步的表示，进而可以进入第二阶段的适应性预训练，即视频域的适应性预训练。视频域的适应性预训练，主要进行各个模态的视频基础数据的学习，得到能够进行视频编码的单模态编码子模型，在S2阶段，采用所述各个模态各自对应的基础视频数据样本集合，分别对各个模态对应的预训练编码子模型(S1阶段得到的)进行所述适应性预训练，获得各个模态各自对应的单模态编码子模型；如图5所示，在视频域适应性预训练阶段，利用基础视频数据样本集合对S1阶段得到的各个预训练编码子模型再次进行训练。

具体的，每个基础视频数据样本集合包括各个视频对应于同一模态的基础视频数据样本，各个视频可以为来源于一个或者多个视频平台的视频。参见图6所示，为基础视频数据样本集合的组成示意图。若从某个视频平台采集到N个视频，则通过这N个视频的各个模态的数据信息可以组成如下的基础视频数据样本集合：

(1)图像数据样本集合V

图像数据样本集合V包括N个图像数据样本，参见图6所示的v1～vn，每个图像数据样本对应于一个视频，且包括从相应视频中的图像数据，并且为了后续的视频编码器的有监督学习，针对每个图像数据样本进行了视频分类标注，即每个图像数据样本还可以包括视频基础类型标签(即图6的视频标签)，如连续剧、电影、仙侠剧、武侠剧或者情景剧等。

其中，上述的图像数据可以为从视频中抽取的原始视频帧，也可以是经过一定图像处理得到的图像数据，例如可以为对抽取的原始视频帧进行像素值提取得到的像素值数据。

(2)音频数据样本集合A

音频数据样本集合A包括N个音频数据样本，参见图6所示的a1～an，每个音频数据样本对应于一个视频，且包括从相应视频中的音频数据，同样的，针对每个音频数据样本进行了视频分类标注，即每个音频数据样本还可以包括视频基础类型标签。其中，视频分类标注可以只针对一个视频进行，为某个视频进行视频分类标注之后，则相应的音频数据样本以及图像数据样本则可关联该视频基础类型标签。

其中，上述的音频数据可以为从视频中抽取的原始音频片段，也可以是经过一定音频处理得到的音频数据，例如可以为对抽取的原始音频片段进行音频信号处理(SignalProcessing)得到的音频特征，例如将抽取的原始音频片段转化梅尔频普图(Mel-Frequency Spectrum，MFC)特征。

(3)文本数据样本集合T

文本数据样本集合T包括N个文本数据样本，参见图6所示的t1～tn，每个文本数据样本对应于一个视频，且包括从相应视频中的文本数据。文本编码器的训练可以采用自监督的方式进行，例如采用掩码语言模型任务学习方式进行。

文本数据样本的采自各个视频包括的各方面文本。具体的，在获得视频A的文本数据样本时，可以采用文本提取方法对所述一个视频中进行文本提取，获得视频内文本，例如可以采取OCR技术对视频图像进行文本提取，以及采用ASR技术对视频内的语音进行文本提取，从而获得视频内文本，再将视频A的标题文本以及视频介绍文本等文本内容，以及对视频A的视频内文本进行拼接处理，获得视频A对应的拼接文本。

进而，针对各个视频各自对应的拼接文本进行数值化处理，获得各个拼接文本各自对应的文本索引，每一文本索引用于表征视频A包括的文本内容，且每个文本索引唯一对应一个拼接文本，在后续的训练过程中则可以利用该文本索引参与训练过程。

在实际应用时，一个基础视频数据样本集合可以为上述数据样本集合的任意一种。

本申请实施例中，对于图像模态的视频编码器(S1阶段训练结束之后的)，可以采用上述图像数据样本集合V，进行分类任务学习，获得的视频编码器表示为d(v)；对于音频模态的音频编码器，可以采用上述音频数据样本集合A，进行分类任务学习，获得的音频编码器可以表示为d(a)；对于文本模态的文本编码器，可以采用上述文本数据样本集合T，对文本编码器进行掩码语言模型任务学习，获得的文本编码器可以表示为d(t)。

需要说明的是，由于在S2阶段，所采用的各个模态的数据集合之间是存在关联关系的，即图像数据样本、音频数据样本以及文本数据样本均可采样于同一视频，因此，在S2阶段，可采用多模态协同学习的方式进行训练，以使得训练的各个单模态编码子模型在一定程度满足一定的关联关系。当然，采用多模态协同学习的方式进行训练仅为一种可选的实施方式，在具体实施时刻依据实际需求具体进行选择。

S3：目标业务场景训练阶段。

通过S2阶段的适应性预训练之后，各个模态的单模态编码子模型都可以适应视频域的表达，进而可以进入第三阶段的具体业务场景的训练，即目标业务场景训练。目标业务场景训练，主要进行各个模态的视频业务数据的学习。如图5所示，在目标业务场景训练阶段，利用各个模态对应的视频业务数据样本集合，对S2阶段得到的各个单模态编码子模型，以及目标多模态视频表示模型的其他部分，如特征融合子模型进行迭代训练，也就是说，在目标业务场景训练阶段，可以对完整的目标多模态视频表示模型进行端到端的训练。

具体的，每个视频业务数据样本集合包括各个视频对应于同一模态的视频业务数据样本，各个视频可以为来源于视频平台的特定业务场景的各个视频。与图6所示的集合组成类似，视频业务数据样本集合可以包括图像数据样本集合V、音频数据样本集合A和文本数据样本集合T，除此之外，针对每个视频还进行了视频业务类别的标注。

需要说明的是，区别于S2阶段的视频基础类型标签，在S3阶段标注的视频业务类别主要是指在目标业务场景中的类型，例如推荐度高低、是否为标题党(指视频内容与视频标题不符)或者运营分类等等，当然，每个视频业务数据样本集合中的视频业务数据样本也可以携带类似于S2阶段的视频基础类型标签，但S3阶段的视频基础类型标签与S2阶段可以相同，也可以不同。

举例来讲，在S2阶段，针对一个视频的图像数据样本，其可以包含该视频的图像数据以及该视频所属的基础类型(如电视剧、电影或者MV等)，那么在S3阶段，针对一个视频的图像数据样本，也可以包含该视频的图像数据以及该视频所属的基础类型(如武侠剧、仙侠剧或者都市情景剧等)，即S3阶段的视频基础类型标签的层次与S2阶段可以不同，同时，还会包括该视频在目标业务场景的视频业务类型(如为标题党或者并非标题党)，针对同一业务场景，一个视频的各个模态的视频业务类型标签是相同的。

本申请实施例中，对于图像模态的视频编码器(S2阶段训练结束之后的)，可以采用S3阶段的图像数据样本集合V进行分类任务学习，获得的视频编码器表示为t(v)；对于音频模态的音频编码器，可以采用S3阶段的音频数据样本集合A，进行分类任务学习，获得的音频编码器可以表示为t(a)；对于文本模态的文本编码器，可以采用S3阶段的文本数据样本集合T，对文本编码器进行掩码语言模型任务学习，获得的文本编码器可以表示为t(t)，据此可分别构建各个模态的分类损失函数的分类器c(v)、c(a)和c(t)。

进一步地，将t(v)、t(a)以及t(t)编码获得的特征进行特征融合，并通过多层前馈神经网络进行联合特征学习，得到目标多模态视频表示模型的最终表示f，并据此特征构建基于分类损失函数的分类器c(f)。

最终，将各单模态和最终的多模态分类器c(v)、c(a)、c(t)和c(f)求和进行联合学习，获得最终的目标多模态视频表示模型。

下面，对S1阶段各个模态的通用预训练过程进行介绍。

由于图像模态和音频模态的单模态编码子模型的训练过程类似，这里具体以图像模态为例进行介绍，参见图7，为图像模态的视频编码器的通用预训练流程示意图。

步骤701：采用视频编码器对通用数据集中每个图像数据样本进行特征编码，获得图像特征向量。

步骤702：基于各个图像特征向量，获得相应图像的预测类型。

步骤703：基于预测类型与标注类型，计算视频编码器的编码损失。

本申请实施例中，编码损失可以采用交叉熵损失函数(Cross-entropy lossfunction)进行计算，当然，也可以采用其他可能的损失函数，如0-1损失函数(zero-oneloss)等，本申请实施例对此不做限制。

步骤704：判断视频编码器是否达到收敛条件。

收敛条件可以包括如下条件的任一种：

(1)视频编码器的编码损失不大于设定的损失阈值。

(2)视频编码器的迭代次数大于设定次数阈值。

步骤705：若步骤704的判断结果为否，则基于编码损失对视频编码器的参数进行调整，并基于调整后的视频编码器进入下一次迭代过程，即跳转至步骤701。

步骤706：若步骤704的判断结果为是，则训练结束。

参见图8所示，为文本模态的文本编码器的通用预训练流程示意图。

步骤801：针对每个文本数据样本，随机掩盖该文本数据样本的部分文本内容。

步骤802：采用文本编码器对每个文本数据样本中未被掩盖的文本内容进行特征编码，获得文本特征向量。

步骤803：基于各个文本特征向量，预测相应文本数据样本中被掩盖的文本内容。

步骤804：基于预测的被掩盖的文本内容与实际被掩盖的文本内容，计算文本编码器的编码损失。

本申请实施例中，文本编码器的编码损失也可以采用交叉熵损失函数进行计算，当然，也可以采用其他可能的损失函数，如0-1损失函数等，本申请实施例对此不做限制。

步骤805：判断文本编码器是否达到收敛条件。

收敛条件可以包括如下条件的任一种：

(1)文本编码器的编码损失不大于设定的损失阈值。

(2)文本编码器的迭代次数大于设定次数阈值。

步骤806：若步骤805的判断结果为否，则基于编码损失对文本编码器的参数进行调整，并基于调整后的文本编码器进入下一次迭代过程，即跳转至步骤801。

步骤807：若步骤805的判断结果为是，则训练结束。

下面，对S2阶段各个模态的适应性预训练过程进行介绍。

在一种可能的实施方式中，S2阶段中，各个模态的单模态编码子模型的训练过程可以与S1阶段的训练过程相同，但所基于训练数据集为视频域的基础视频数据样本集合，因此，对于这种训练方式可以参见上述图7和图8相应部分的描述，在此不再赘述。

需要说明的是，针对文本编码器的训练，除了采用掩码训练方式进行，还可以加入视频类型标签的融入，使得文本编码器的训练更能够适应视频领域。

在另一种可能的实施方式中，还可以采用多模态协同学习的方式进行训练。参见图9所示，为采用多模态协同学习的方式进行的适应性预训练的流程示意图。由于基础视频数据样本集合为各个视频对应于各个模态的基础视频数据样本集合，而一个视频可对应多个模态的基础数据样本，且在训练过程中针对各个视频的数据处理过程类似，因此这里具体以视频A的处理为例进行说明。

步骤901：采用单模态编码子模型对视频A的各个模态的基础数据样本进行基础特征提取，获得基础特征向量。

参见图10所示，为适应性预训练过程中数据处理流程示意图。采用视频编码器对视频A的图像数据样本进行基础特征提取，获得图像基础特征向量；采用音频编码器对视频A的音频数据样本进行基础特征提取，获得音频基础特征向量；采用文本编码器对视频A的文本数据样本进行基础特征提取，获得文本基础特征向量。

步骤902：根据获得的各个基础特征向量，以及各个单模态编码子模型包括的至少一个注意力权重矩阵，分别获得各个模态的权重特征向量集合。

本申请实施例中，每个单模态编码子模型包括至少一个注意力权重矩阵，进而可以根据获得的各个基础特征向量，与相应单模态编码子模型包括的至少一个注意力权重矩阵，分别获得各个基础特征向量各自对应的权重特征向量集合；其中，每个权重特征向量集合包括的每个权重特征向量对应于一个注意力权重矩阵。

参见图10所示，针对图像模态，将图像基础特征向量可以分别与各个注意力权重矩阵相乘，得到相应的图像权重特征向量，一个图像权重特征向量对应于一个注意力权重矩阵。与图像模态同理，将音频基础特征向量可以分别与各个注意力权重矩阵相乘，得到相应的音频权重特征向量，将文本基础特征向量可以分别与各个注意力权重矩阵相乘，得到相应的文本权重特征向量。

如图11所示，为一个基础特征向量的处理流程图。其中，至少一个注意力权重矩阵可以包括查询向量权重矩阵W_Q、键向量权重矩阵Q_K和值向量权重矩阵Q_V。针对一个基础特征向量而言，该基础特征向量分别与查询向量权重矩阵W_Q、键向量权重矩阵Q_K和值向量权重矩阵Q_V进行相乘后，则可以得到相应的图像权重特征向量集合，该图像权重特征向量集合包括查询向量Q、键向量K和值向量V。

步骤903：根据获得的各个权重特征向量集合，分别获得各个模态的单模态特征向量。

本申请实施例中，根据获得的各个权重特征向量集合进行协同学习，以获得各个模态的单模态特征向量。

具体的，针对每个基础特征向量而言，如图像基础特征向量，可以根据图像基础特征向量的查询向量与各个基础特征向量的键向量，分别获得每个基础特征向量各自对应的注意力权重值，注意力权重值用于表征一个视频在各个基础特征向量对应模态的视频数据，与一个视频在图像基础特征向量对应模态的视频数据的关联程度；进而，可以根据各个基础特征向量各自对应的值向量以及注意力权重值，得到一个视频在图像基础特征向量对应模态的单模态特征向量。

由于各个模态获得单模态特征向量的过程类似，因此这里具体以图像模态为例进行说明。

参见图12所示，为获取图像模态的单模态特征向量的流程示意图。在分别获得图像模态、文本模态以及音频模态的权重特征向量集合之后，则可以根据图像模态的查询向量Q与各个模态(包括图像模态自身)的键向量K进行相乘，获得各个模态各自对应的注意力权重值，注意力权重值用于表征视频A在各个模态的视频数据，与对图像模态的视频数据的关联程度，进而根据各个模态的值向量V与各个模态各自对应的注意力权重值进行加权求和，得到图像模态的单模态特征向量。

步骤904：基于各个模态的单模态特征向量，分别预测视频A的基础类型。

即针对图像模态，利用图像模态的单模态特征向量，获得视频A的基础类型，音频模态与文本模态同理。

步骤905：基于各个模态的预测基础类型与标注基础类型，分别计算各个单模态编码子模型针对视频A的单模态编码损失。

具体的，基于图像模态的预测基础类型与标注基础类型，可获得视频编码器针对视频A的视频编码损失，同理，亦可以分别获得音频编码器以及文本编码器针对视频A的单模态编码损失。

同理，针对出视频A之外的其他视频，也可以采用上述的过程获得各个单模态编码子模型相应的编码损失，进而针对每个单模态编码子模型，综合所有视频的编码损失，得到该单模态编码子模型的编码损失。

步骤906：判断各个单模态编码子模型是否达到收敛条件。

步骤907：若步骤906的判断结果为否，则基于各个单模态编码子模型的编码损失分别对各自的参数进行调整，并基于调整后的单模态编码子模型进入下一次迭代过程，即跳转至步骤901。

步骤908：若步骤908的判断结果为是，即各个单模态编码子模型均收敛，则训练结束。

下面，对S3阶段端到端的目标多模态视频表示模型的训练过程进行介绍。参见图13，为S3阶段进行目标业务场景训练的流程示意图。由于视频业务数据样本集合为各个视频对应于各个模态的视频业务数据样本集合，而一个视频可对应多个模态的业务数据样本，且在训练过程中针对各个视频的数据处理过程类似，因此这里同样以视频A的处理为例进行说明。

步骤1301：分别采用各个单模态编码子模型，对视频A的相应模态的视频业务数据样本进行特征编码，获得多个单模态特征向量，每个单模态特征向量对应一种模态。

视频A的相应模态的视频业务数据样本进行特征编码的过程与图9所示的实施例的过程相同，因此针对步骤1301的具体过程可参见上述图9所示的实施例部分的介绍，在此不再进行赘述。

步骤1302：基于各个单模态编码子模型输出的视频A的单模态特征向量，确定各个单模态编码子模型针对视频A的单模态编码损失。

具体的，基于图像模态的单模态特征向量，可以获得视频A的预测基础类型，进而根据预测基础类型和标注基础类型，可获得视频编码器针对视频A的视频编码损失，同理，亦可以分别获得音频编码器以及文本编码器针对视频A的单模态编码损失。

同理，针对出视频A之外的其他视频，也可以基于每个视频的各个单模态特征向量，分别获得各个单模态编码子模型相应的单模态编码损失，进而针对每个单模态编码子模型，综合所有视频的编码损失，得到该单模态编码子模型的单模态编码损失。

步骤1303：采用特征融合子模型，对视频A的多个单模态特征向量进行特征融合，获得视频A的视频特征向量。

具体的，特征融合可以采用如下方式中的任一种：

(1)采用特征融合子模型包括的向量拼接层，将视频A的多个单模态特征向量按照设定的方式进行向量拼接，获得视频A的视频特征向量。

(2)采用特征融合子模型包括的池化层，对视频A的多个单模态特征向量进行池化处理，获得视频A的视频特征向量。

(3)采用特征融合子模型包括的卷积层，对由视频A的多个单模态特征向量组成的特征矩阵，采用设定的步长进行卷积运算，获得视频A的视频特征向量。

(4)采用特征融合子模型包括的全连接层，对视频A的多个单模态特征向量进行映射处理，获得视频A的视频特征向量。

步骤1304：基于视频A的视频特征向量，确定多模态视频表示模型针对视频A的视频表示损失。

具体的，在获得视频A的视频特征向量之后，基于视频A的视频特征向量，可以预测获得视频A的视频业务类别，进而根据预测视频业务类别和标注视频业务类别，可获得目标多模态视频表示模型针对视频A的视频表示损失。

同理，针对出视频A之外的其他视频，也可以基于每个视频的视频特征向量，获得相应的视频表示损失，进而综合所有视频的视频表示损失，得到目标多模态视频表示模型的视频表示损失。

本申请实施例中，单模态编码损失用于表征各个单模态编码子模型的模型损失，视频表示损失用于表征目标多模态视频表示模型的整体模型损失。

步骤1305：基于各个单模态编码损失以及视频表示损失，获得目标多模态视频表示模型的模型总损失。

本申请实施例的模态编码损失以及视频表示损失均可以采用交叉熵损失函数进行计算，当然，也可以采用其他可能的损失函数，如0-1损失函数。在各个单模态编码损失以及视频表示损失之后，可以基于各个单模态编码损失以及视频表示损失进行求和，获得模型总损失，也可以为每个损失赋予一定的权重，进而基于各个单模态编码损失以及视频表示损失进行加权求和，获得模型总损失。

步骤1306：判断目标多模态视频表示模型是否达到收敛条件。

步骤1307：当步骤1306的判断结果为否时，基于所述总模型损失对各个单模态编码子模型以及特征融合子模型进行参数调整。

本申请实施例中，除了各个单模态编码子模型以及特征融合子模型之外，也可以将目标多模态视频表示模型的其他参数作为训练参数，那么在进行参数调整时，也会对这些参数一并进行调整，并采用调整之后的目标多模态视频表示模型进入下一次迭代训练过程，即跳转至步骤1301。

步骤1308：当步骤1306的判断结果为是时，模型训练结束。

本申请实施例中，通过多阶段多任务的训练方法，在不同粒度的数据集上结合不同模态的不同任务针对多模态视频表示模型进行预训练，使得多模态视频表示模型有了一定的初步表示能力，加速模型训练，减少模型训练耗时，降低学习难度，使其在下游任务的学习过程中更容易收敛，并且得益于在不同粒度的数据集预先训练，使得多模态模型的学习更具层次性，方便模型在下游任务能够由浅及深的学习，此外，由于在不同任务上针对多模态的不同模态进行了预训练，使得多模态的表示能力更为丰富，方便模型适应不同类型的下游任务，更易取得更好结果。

经过实验验证，相比直接训练多模态模型，本申请实施例的多阶段多任务的训练方法，借助通用数据和领域内数据的学习，能带来16个百分点以上的效果提升，显然，模型对于视频的表达更为准确。

请参见图14，基于同一发明构思，本申请实施例还提供了一种基于多模态表示的视频分类装置140，该装置包括：

数据获取单元1401，用于获取目标视频对应于各个模态的数据信息，将各个模态的数据信息输入至已训练的目标多模态视频表示模型；

视频分类单元1402，用于获得目标多模态视频表示模型输出的目标视频在目标业务场景的视频业务类别；

其中，目标多模态视频表示模型是基于各个模态各自对应的基础视频数据样本集合进行视频域的适应性预训练，并基于目标业务场景中各个模态各自对应的视频业务数据样本集合进行再训练获得的，每一基础视频数据样本集合包括各个视频对应于同一模态的基础视频数据样本，每一视频业务数据样本集合包括各个视频对应于同一模态的视频业务数据样本。

可选的，目标多模态视频表示模型包括多个单模态编码子模型，以及对多个单模态编码子模型输出的单模态特征向量进行特征融合的特征融合子模型，每一单模态编码子模型对应于视频的一种模态；

则该装置还包括模型训练单元1403，用于：

采用各个模态各自对应的基础视频数据样本集合，分别对各个模态对应的预训练编码子模型进行适应性预训练，获得各个模态各自对应的单模态编码子模型；其中，每一预训练编码子模型为基于相应模态的通用数据集进行初始化预训练获得的；

采用各个模态各自对应的视频业务数据样本集合，对获得的各个单模态编码子模型以及特征融合子模型进行迭代训练，直至满足设定的收敛条件；

在满足设定的收敛条件时，输出已训练的目标多模态视频表示模型。

可选的，模型训练单元1403，具体用于：

针对各个视频，分别执行如下操作：

针对一个视频，分别采用各个单模态编码子模型，对一个视频的相应模态的视频业务数据样本进行特征编码，获得多个单模态特征向量，其中，每个单模态特征向量对应一种模态；

采用特征融合子模型，对多个单模态特征向量进行特征融合，获得一个视频的视频特征向量；

基于获得的各个视频各自对应的视频特征向量以及多个单模态特征向量，分别对各个单模态编码子模型以及特征融合子模型进行参数调整。

可选的，每个单模态编码子模型包括至少一个注意力权重矩阵，模型训练单元1403，具体用于：

对各个模态的视频业务数据样本进行基础特征提取，获得各个模态各自对应的基础特征向量；

根据获得的各个基础特征向量，与相应单模态编码子模型包括的至少一个注意力权重矩阵，分别获得各个基础特征向量各自对应的权重特征向量集合；其中，每个权重特征向量集合包括的每个权重特征向量对应于一个注意力权重矩阵；

根据获得的各个权重特征向量集合，获得多个单模态特征向量。

可选的，至少一个注意力权重矩阵包括查询向量权重矩阵、键向量权重矩阵和值向量权重矩阵；模型训练单元1403，具体用于：

针对各个基础特征向量，分别执行如下操作：针对一个基础特征向量，根据基础特征向量与查询向量权重矩阵、键向量权重矩阵和值向量权重矩阵，分别得到对应的查询向量、键向量和值向量；

针对各个基础特征向量，分别执行以下操作：

根据一个基础特征向量的查询向量与各个基础特征向量的键向量，分别获得各个基础特征向量各自对应的注意力权重值；注意力权重值用于表征一个视频在各个基础特征向量对应模态的视频数据，与一个视频在一个基础特征向量对应模态的视频数据的关联程度；

根据各个基础特征向量各自对应的值向量以及注意力权重值，得到一个视频在一个基础特征向量对应模态的单模态特征向量。

可选的，模型训练单元1403，具体用于：

采用特征融合子模型包括的向量拼接层，将多个单模态特征向量按照设定的方式进行向量拼接，获得一个视频的视频特征向量；

采用特征融合子模型包括的池化层，对多个单模态特征向量进行池化处理，获得一个视频的视频特征向量；

采用特征融合子模型包括的卷积层，对由多个单模态特征向量组成的特征矩阵，采用设定的步长进行卷积运算，获得一个视频的视频特征向量；

采用特征融合子模型包括的全连接层，对多个单模态特征向量进行映射处理，获得一个视频的视频特征向量。

可选的，模型训练单元1403，具体用于：

针对各个单模态编码子模型，分别执行如下操作：基于一个单模态编码子模型输出的各个视频各自对应的单模态特征向量，确定一个单模态编码子模型的单模态编码损失；

基于各个视频各自对应的视频特征向量，确定多模态视频表示模型的视频表示损失；

基于获得的各个单模态编码子模型各自对应的单模态编码损失，以及视频表示损失，获得多模态视频表示模型的模型总损失；

基于总模型损失对各个单模态编码子模型以及特征融合子模型进行参数调整。

可选的，模型训练单元1403，具体用于：

针对各个视频，分别执行如下操作：

基于一个视频的视频特征向量，确定一个视频在目标视频业务场景中的预测视频业务类别；

基于获得的预测视频业务类别，以及一个视频的业务数据样本中包括的标注视频业务类型，确定一个视频的视频表示损失；

基于获得的各个视频的视频表示损失，获得多模态视频表示模型的视频表示损失。

可选的，一个基础视频数据样本集合为如下数据样本集合的任意一种：

包括各个视频的视频文本数据样本的文本数据样本集合；

包括各个视频的视频图像数据样本的图像数据样本集合；

包括各个视频的视频音频数据样本的音频数据样本集合。

可选的，数据获取单元1401，具体用于：

针对各个视频，分别执行如下操作：

针对一个视频，采用文本提取方法对一个视频中进行文本提取，获得视频内文本；

对视频内文本与一个视频的标题文本以及视频介绍文本进行拼接处理，获得一个视频对应的拼接文本；

对各个视频各自对应的拼接文本进行数值化处理，获得各个拼接文本各自对应的文本索引，每一文本索引唯一对应一个拼接文本。

该装置可以用于执行图2～图13所示的实施例中所示的方法，因此，对于该装置的各功能模块所能够实现的功能等可参考图2～图13所示的实施例的描述，不多赘述。其中，模型训练单元1403并不是必选的功能单元，因此在图14中以虚线进行示出。

本申请实施例提供的基于多模态表示的视频分类装置，通过在训练目标多模态视频表示模型时，首先基于基础视频数据样本对模型进行视频域的适应性预训练，在预训练完成后，再基于目标业务场景的视频业务数据样本进行再训练，这样，通过对模型进行视频域的预先训练，使得模型有了一定的初步表达能力，进而在下游视频相关任务的模型训练难度更低，模型就更容易收敛，模型训练耗时相应得以减少，模型训练效率更高。并且，分阶段的训练过程使得多模态表示模型的学习更具层次性，使得多模态的表示能力更为丰富，方便模型适应不同类型的下游视频分类任务，提升下游视频分类任务的准确性。

请参见图15，基于同一技术构思，本申请实施例还提供了一种计算机设备150，可以包括存储器1501和处理器1502。该计算机设备150例如可以为图1所示的终端设备101或者服务器102，当计算机设备150为服务器102，则存储器1501和处理器1502则可以分别对应于服务器102的存储器1022和处理器1021。

所述存储器1501，用于存储处理器1502执行的计算机程序。存储器1501可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据计算机设备的使用所创建的数据等。处理器1502，可以是一个中央处理单元(central processing unit，CPU)，或者为数字处理单元等等。本申请实施例中不限定上述存储器1501和处理器1502之间的具体连接介质。本申请实施例在图15中以存储器1501和处理器1502之间通过总线1503连接，总线1503在图15中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线1503可以分为地址总线、数据总线、控制总线等。为便于表示，图15中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器1501可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器1501也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器1501是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1501可以是上述存储器的组合。

处理器1502，用于调用所述存储器1501中存储的计算机程序时执行如图2～图13所示的实施例中设备所执行的方法。

在一些可能的实施方式中，本申请提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤，例如，所述计算机设备可以执行如图2～图13所示的实施例中设备所执行的方法。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (14)

1.一种基于多模态表示的视频分类方法，其特征在于，所述方法包括：

获取目标视频对应于各个模态的数据信息，将所述各个模态的数据信息输入至已训练的目标多模态视频表示模型；所述目标多模态视频表示模型包括多个单模态编码子模型和特征融合子模型，所述多个单模态编码子模型分别用于对所述各个模态的数据信息进行特征编码，获得所述目标视频的多个单模态特征向量，所述特征融合子模型用于对所述多个单模态特征向量进行特征融合，每一单模态编码子模型对应于视频的一种模态，且所述每一单模态编码子模型包括至少一个注意力权重矩阵；

获得所述目标多模态视频表示模型输出的所述目标视频在目标业务场景的视频业务类别；

其中，所述目标多模态视频表示模型是基于各个模态各自对应的基础视频数据样本集合进行视频域的适应性预训练，并基于所述目标业务场景中各个模态各自对应的视频业务数据样本集合进行再训练获得的，每一基础视频数据样本集合包括各个视频对应于同一模态的基础视频数据样本，每一视频业务数据样本集合包括各个视频对应于同一模态的视频业务数据样本。

2.如权利要求1所述的方法，其特征在于，所述目标多模态视频表示模型是采用以下方式进行训练的：

采用所述各个模态各自对应的基础视频数据样本集合，分别对各个模态对应的预训练编码子模型进行所述适应性预训练，获得各个模态各自对应的单模态编码子模型；其中，每一预训练编码子模型为基于相应模态的通用数据集进行初始化预训练获得的；

采用所述各个模态各自对应的视频业务数据样本集合，对获得的各个单模态编码子模型以及所述特征融合子模型进行迭代训练，直至满足设定的收敛条件；

在满足设定的收敛条件时，输出已训练的所述目标多模态视频表示模型。

3.如权利要求2所述的方法，其特征在于，每一次迭代训练包括如下步骤：

针对各个视频，分别执行如下操作：

针对一个视频，分别采用所述各个单模态编码子模型，对所述一个视频的相应模态的视频业务数据样本进行特征编码，获得多个单模态特征向量，其中，每个单模态特征向量对应一种模态；

采用所述特征融合子模型，对所述多个单模态特征向量进行特征融合，获得所述一个视频的视频特征向量；

基于获得的各个视频各自对应的视频特征向量以及多个单模态特征向量，分别对各个单模态编码子模型以及所述特征融合子模型进行参数调整。

4.如权利要求3所述的方法，其特征在于，分别采用所述各个单模态编码子模型，对所述一个视频的相应模态的视频业务数据样本进行特征编码，获得所述多个单模态特征向量，包括：

对各个模态的视频业务数据样本进行基础特征提取，获得各个模态各自对应的基础特征向量；

根据获得的各个基础特征向量，与相应单模态编码子模型包括的至少一个注意力权重矩阵，分别获得各个基础特征向量各自对应的权重特征向量集合；其中，每个权重特征向量集合包括的每个权重特征向量对应于一个注意力权重矩阵；

根据获得的各个权重特征向量集合，获得所述多个单模态特征向量。

5.如权利要求4所述的方法，其特征在于，所述至少一个注意力权重矩阵包括查询向量权重矩阵、键向量权重矩阵和值向量权重矩阵；

则根据获得的各个基础特征向量，与相应单模态编码子模型包括的至少一个注意力权重矩阵，分别获得各个基础特征向量各自对应的权重特征向量集合，包括：

针对各个基础特征向量，分别执行如下操作：针对一个基础特征向量，根据所述基础特征向量与所述查询向量权重矩阵、所述键向量权重矩阵和所述值向量权重矩阵，分别得到对应的查询向量、键向量和值向量；

则根据获得的各个权重特征向量集合，获得所述多个单模态特征向量，包括：

针对所述各个基础特征向量，分别执行以下操作：

根据一个基础特征向量的查询向量与各个基础特征向量的键向量，分别获得各个基础特征向量各自对应的注意力权重值；所述注意力权重值用于表征所述一个视频在各个基础特征向量对应模态的视频数据，与所述一个视频在所述一个基础特征向量对应模态的视频数据的关联程度；

根据所述各个基础特征向量各自对应的值向量以及注意力权重值，得到所述一个视频在所述一个基础特征向量对应模态的单模态特征向量。

6.如权利要求3所述的方法，其特征在于，采用所述特征融合子模型，对所述多个单模态特征向量进行特征融合，获得所述一个视频的视频特征向量，包括：

采用所述特征融合子模型包括的向量拼接层，将所述多个单模态特征向量按照设定的方式进行向量拼接，获得所述一个视频的视频特征向量；

采用所述特征融合子模型包括的池化层，对所述多个单模态特征向量进行池化处理，获得所述一个视频的视频特征向量；

采用所述特征融合子模型包括的卷积层，对由所述多个单模态特征向量组成的特征矩阵，采用设定的步长进行卷积运算，获得所述一个视频的视频特征向量；

采用所述特征融合子模型包括的全连接层，对所述多个单模态特征向量进行映射处理，获得所述一个视频的视频特征向量。

7.如权利要求3所述的方法，其特征在于，所述基于获得的各个视频各自对应的视频特征向量以及多个单模态特征向量，分别对各个单模态编码子模型以及所述特征融合子模型进行参数调整，包括：

针对各个单模态编码子模型，分别执行如下操作：基于一个单模态编码子模型输出的各个视频各自对应的单模态特征向量，确定所述一个单模态编码子模型的单模态编码损失；

基于各个视频各自对应的视频特征向量，确定所述目标多模态视频表示模型的视频表示损失；

基于获得的各个单模态编码子模型各自对应的单模态编码损失，以及所述视频表示损失，获得所述目标多模态视频表示模型的模型总损失；

基于所述总模型损失对各个单模态编码子模型以及所述特征融合子模型进行参数调整。

8.如权利要求7所述的方法，其特征在于，基于各个视频各自对应的视频特征向量，确定所述目标多模态视频表示模型的视频表示损失，包括：

针对各个视频，分别执行如下操作：

基于一个视频的视频特征向量，确定所述一个视频在所述目标视频业务场景中的预测视频业务类别；

基于获得的预测视频业务类别，以及所述一个视频的业务数据样本中包括的标注视频业务类型，确定所述一个视频的视频表示损失；

基于获得的各个视频的视频表示损失，获得所述目标多模态视频表示模型的视频表示损失。

9.如权利要求1-8任一所述的方法，其特征在于，一个基础视频数据样本集合为如下数据样本集合的任意一种：

包括各个视频的视频文本数据样本的文本数据样本集合；

包括各个视频的视频图像数据样本的图像数据样本集合；

包括各个视频的视频音频数据样本的音频数据样本集合。

10.如权利要求9所述的方法，其特征在于，所述方法还包括：

针对各个视频，分别执行如下操作：

针对一个视频，采用文本提取方法对所述一个视频中进行文本提取，获得视频内文本；

对所述视频内文本与所述一个视频的标题文本以及视频介绍文本进行拼接处理，获得所述一个视频对应的拼接文本；

对各个视频各自对应的拼接文本进行数值化处理，获得各个拼接文本各自对应的文本索引，每一文本索引唯一对应一个拼接文本。

11.一种基于多模态表示的视频分类装置，其特征在于，所述装置包括：

数据获取单元，用于获取目标视频对应于各个模态的数据信息，将所述各个模态的数据信息输入至已训练的目标多模态视频表示模型；所述目标多模态视频表示模型包括多个单模态编码子模型和特征融合子模型，所述多个单模态编码子模型分别用于对所述各个模态的数据信息进行特征编码，获得所述目标视频的多个单模态特征向量，所述特征融合子模型用于对所述多个单模态特征向量进行特征融合，每一单模态编码子模型对应于视频的一种模态，且所述每一单模态编码子模型包括至少一个注意力权重矩阵；

视频分类单元，用于获得所述目标多模态视频表示模型输出的所述目标视频在目标业务场景的视频业务类别；

其中，所述目标多模态视频表示模型是基于各个模态各自对应的基础视频数据样本集合进行视频域的适应性预训练，并基于所述目标业务场景中各个模态各自对应的视频业务数据样本集合进行再训练获得的，每一基础视频数据样本集合包括各个视频对应于同一模态的基础视频数据样本，每一视频业务数据样本集合包括各个视频对应于同一模态的视频业务数据样本。

12.如权利要求11所述的装置，其特征在于，所述装置还包括模型训练单元，用于：

采用所述各个模态各自对应的基础视频数据样本集合，分别对各个模态对应的预训练编码子模型进行所述适应性预训练，获得各个模态各自对应的单模态编码子模型；其中，每一预训练编码子模型为基于相应模态的通用数据集进行初始化预训练获得的；

采用所述各个模态各自对应的视频业务数据样本集合，对获得的各个单模态编码子模型以及所述特征融合子模型进行迭代训练，直至满足设定的收敛条件；

在满足设定的收敛条件时，输出已训练的所述目标多模态视频表示模型。

13.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，

所述处理器执行所述计算机程序时实现权利要求1至10任一项所述方法的步骤。

14.一种计算机存储介质，其上存储有计算机程序指令，其特征在于，

该计算机程序指令被处理器执行时实现权利要求1至10任一项所述方法的步骤。