CN111930992B - 神经网络训练方法、装置及电子设备 - Google Patents

神经网络训练方法、装置及电子设备 Download PDF

Info

Publication number
CN111930992B
CN111930992B CN202010819997.9A CN202010819997A CN111930992B CN 111930992 B CN111930992 B CN 111930992B CN 202010819997 A CN202010819997 A CN 202010819997A CN 111930992 B CN111930992 B CN 111930992B
Authority
CN
China
Prior art keywords
sample
neural network
information
modal
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010819997.9A
Other languages
English (en)
Other versions
CN111930992A (zh
Inventor
徐世坚
杨田雨
姜文浩
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010819997.9A priority Critical patent/CN111930992B/zh
Publication of CN111930992A publication Critical patent/CN111930992A/zh
Application granted granted Critical
Publication of CN111930992B publication Critical patent/CN111930992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请属于人工智能技术领域，具体涉及一种神经网络训练方法、神经网络训练装置、计算机可读介质以及电子设备。该方法包括：从视频样本中按照视频时间顺序采样得到至少两个样本片段；调整所述至少两个样本片段的排列顺序，并获取调整后的片段顺序信息；通过对应于不同模态类型的神经网络对所述样本片段进行特征提取，以得到所述样本片段的至少两个模态特征；根据各个所述模态特征的特征相似度以及所述片段顺序信息对所述神经网络进行训练，以更新所述神经网络的网络参数。该方法无需对视频数据进行人工标注，降低了数据处理成本并提高了数据处理效率。

Description

神经网络训练方法、装置及电子设备
技术领域
本申请属于人工智能技术领域，具体涉及一种神经网络训练方法、神经网络训练装置、计算机可读介质以及电子设备。
背景技术
随着计算机和网络技术的发展，通过手机、电脑等各种计算机设备制作、传播或观看网络视频已经成为人们日常生活中十分常见的一种娱乐活动。针对网络平台上存储和传播的海量视频数据，为了向用户提供准确高效的视频搜索和视频推荐等服务内容，通常需要对视频数据进行分类处理，另外还可以根据视频分类结果为视频添加各种类型标签，如“体育”、“影视”、“综艺”、“搞笑”等等。
随着深度学***台上，用户每天上传的视频数据都是海量的，对这些视频数据进行人工标记是不切实际的。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本申请的目的在于提供一种神经网络训练方法、神经网络训练装置、计算机可读介质以及电子设备，至少在一定程度上克服视频数据处理等相关技术中存在的数据处理成本高、效率低等技术问题。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供一种神经网络训练方法，该方法包括：
从视频样本中按照视频时间顺序采样得到至少两个样本片段；
调整所述至少两个样本片段的排列顺序，并获取调整后的片段顺序信息；
通过对应于不同模态类型的神经网络对所述样本片段进行特征提取，以得到所述样本片段的至少两个模态特征；
根据各个所述模态特征的特征相似度以及所述片段顺序信息对所述神经网络进行训练，以更新所述神经网络的网络参数。
根据本申请实施例的一个方面，提供一种神经网络训练装置，该装置包括：
视频采样模块，被配置为从视频样本中按照视频时间顺序采样得到至少两个样本片段；
顺序调整模块，被配置为调整所述至少两个样本片段的排列顺序，并获取调整后的片段顺序信息；
特征提取模块，被配置为通过对应于不同模态类型的神经网络对所述样本片段进行特征提取，以得到所述样本片段的至少两个模态特征；
参数更新模块，被配置为根据各个所述模态特征的特征相似度以及所述片段顺序信息对所述神经网络进行训练，以更新所述神经网络的网络参数。
在本申请的一些实施例中，基于以上技术方案，所述视频采样模块包括：
第一提取单元，被配置为对视频样本进行多模态信息提取，得到对应于不同模态类型的模态信息样本；
第一采样单元，被配置为按照视频时间顺序分别对各个所述模态信息样本进行同步采样，以得到对应于不同模态类型的至少两个样本片段。
在本申请的一些实施例中，基于以上技术方案，所述视频采样模块包括：
第二采样单元，被配置为按照视频时间顺序对视频样本进行采样以得到至少两个视频片段；
第二提取单元，被配置为对所述视频片段进行多模态信息提取，得到对应于不同模态类型的至少两个样本片段。
在本申请的一些实施例中，基于以上技术方案，所述样本片段的采样间隔大于或等于所述样本片段的采样长度。
在本申请的一些实施例中，基于以上技术方案，所述模态类型包括图像模态、音频模态和文本模态中的至少两种；所述特征提取模块包括：
图像特征提取单元，被配置为若所述样本片段包括对应于所述图像模态的图像样本，则通过图像处理神经网络对所述图像样本进行特征提取，以得到所述样本片段的图像特征；
音频特征提取单元，被配置为若所述样本片段包括对应于所述音频模态的音频样本，则通过音频处理神经网络对所述音频样本进行特征提取，以得到所述样本片段的音频特征；
文本特征提取单元，被配置为若所述样本片段包括对应于所述文本模态的文本样本，则通过文本处理神经网络对所述文本样本进行特征提取以得到所述样本片段的文本特征。
在本申请的一些实施例中，基于以上技术方案，所述图像处理神经网络包括多个依次连接的三维卷积处理单元，所述三维卷积处理单元包括依次连接的二维空间卷积层和一维时间卷积层；所述图像特征提取单元包括：
二维空间卷积子单元，被配置为通过所述二维空间卷积层对所述图像样本进行卷积处理，得到携带空间特征的中间特征图；
一维时间卷积子单元，被配置为通过所述一维时间卷积层对所述中间特征图进行卷积处理，得到携带所述空间特征以及时间特征的所述样本片段的图像特征。
在本申请的一些实施例中，基于以上技术方案，所述音频处理神经网络包括多个依次连接的二维卷积处理单元，所述音频特征提取单元包括：
音频滤波子单元，被配置为对所述音频样本进行滤波处理，以得到二维的梅尔频谱图；
对数运算子单元，被配置为对所述梅尔频谱图进行对数运算以得到用于量化声音强度的二维频谱信息；
二维卷积子单元，被配置为通过所述二维卷积处理单元对所述二维频谱信息进行卷积处理，得到所述样本片段的音频特征。
在本申请的一些实施例中，基于以上技术方案，所述二维卷积处理单元包括残差连接分支和卷积连接分支；所述二维卷积子单元包括：
残差映射子单元，被配置为通过所述残差连接分支对所述二维频谱信息进行映射处理以得到残差映射信息；
卷积映射子单元，被配置为通过所述卷积连接分支对所述二维频谱信息进行卷积处理以得到音频卷积信息；
映射叠加子单元，被配置为对所述残差映射信息和所述音频卷积信息进行叠加得到所述样本片段的音频特征。
在本申请的一些实施例中，基于以上技术方案，所述参数更新模块包括：
对比误差确定单元，被配置为分别获取各个所述模态特征之间的特征相似度，并根据所述特征相似度确定所述模态特征的对比误差信息；
顺序误差确定单元，被配置为对所述模态特征进行映射处理得到顺序预测信息，并根据所述片段顺序信息和所述顺序预测信息确定所述样本片段的顺序误差信息；
误差叠加单元，被配置为对所述对比误差信息和所述顺序误差信息进行叠加处理得到整体损失误差，并根据所述整体损失误差更新所述神经网络的网络参数。
在本申请的一些实施例中，基于以上技术方案，所述对比误差确定单元包括：
正负样本确定子单元，被配置为将对应于同一样本片段的模态特征作为正样本，并将对应于不同样本片段的模态特征作为负样本；
对比误差计算子单元，被配置为通过对比损失函数对所述正样本以及所述负样本的特征相似度进行误差计算以得到所述模态特征的对比误差信息。
在本申请的一些实施例中，基于以上技术方案，所述顺序误差确定单元包括：
特征选取子单元，被配置为分别从对应于每个样本片段的各个模态特征中随机选取得到对应于所述样本片段的样本特征；
局部拼接子单元，被配置为将对应于各个样本片段的所述样本特征分别进行两两拼接处理以得到局部拼接特征；
局部映射子单元，被配置为分别对各个所述局部拼接特征进行映射处理以得到所述局部拼接特征的局部映射特征；
整体拼接子单元，被配置为将所述局部映射特征进行拼接处理以得到整体拼接特征；
整体映射子单元，被配置为对所述整体拼接特征进行映射处理以得到所述整体拼接特征的整体映射特征；
归一化映射子单元，被配置为对所述整体映射特征中的各个特征元素进行归一化映射以得到所述模态特征的顺序预测信息。
在本申请的一些实施例中，基于以上技术方案，所述顺序误差确定单元还包括：
预测目标确定子单元，被配置为将所述片段顺序信息作为目标值，并将所述顺序预测信息作为预测值；
顺序误差计算子单元，被配置为通过交叉熵损失函数对所述目标值和所述预测值进行误差计算以得到所述样本片段的顺序误差信息。
在本申请的一些实施例中，基于以上技术方案，所述神经网络训练装置还包括：
公共映射模块，被配置为通过共用的映射头神经网络对各个所述模态特征进行映射处理以得到对应于公共嵌入空间的模态特征。
根据本申请实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的神经网络训练方法。
根据本申请实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器被配置为经由执行所述可执行指令来执行如以上技术方案中的神经网络训练方法。
根据本申请实施例的一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以上技术方案中的神经网络训练方法。
在本申请实施例提供的技术方案中，通过对视频样本进行片段采样并进行顺序调整可以在神经网络训练过程中融入视频时序信息，从而基于视频时序信息实现自监督学习，无需对视频数据进行人工标注，降低了数据处理成本并提高了数据处理效率。除此之外，通过多模态特征提取，可以直接关注视频的语义特征，减少冗余信息，从而基于跨模态特征进行对比学习，获得针对不同模态类型的多种神经网络，提高特征提取的准确性和表征能力。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示意性地示出了应用本申请技术方案的示例性***架构框图。
图2示意性地示出了本申请一些实施例中的神经网络训练方法的步骤流程图。
图3示意性地示出了本申请实施例中神经网络训练方法在一应用场景中的原理示意图。
图4示意性地示出了本申请一些实施例中的三维卷积处理单元的模型结构示意图。
图5示意性地示出了由音频波形图转换至对数梅尔频谱图的效果示意图。
图6示意性地示出了本申请一些实施例中对神经网络进行参数更新的方法步骤流程图。
图7示意性地示出了本申请一些实施例中基于对比学习优化特征提取的原理示意图。
图8示意性地示出了本申请实施例提供的神经网络训练装置的结构框图。
图9示意性示出了适于用来实现本申请实施例的电子设备的计算机***结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
在对本申请技术方案进行解释说明之前，首先对本申请技术方案中涉及的人工智能技术做简要说明。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
语音技术(Speech Technology)的关键技术有自动语音识别技术(ASR)和语音合成技术(TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中语音成为未来最被看好的人机交互方式之一。
自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
无监督学习(Unsupervised learning)：无监督学习是机器学习中的一种学习策略。传统的有监督学习的方式需要依赖大量的有人工标记的数据，通常来说非常耗时且不实用。无监督学习可以利用无标签的数据来进行训练。代表性的无监督学习方法例如，生成对抗网络。
自监督学习(Self-supervised learning)：自监督学习是一种特殊的有监督学习策略。和无监督学习类似，自监督学习也不依赖人工标记的数据。相反，自监督学习的标签或监督信息来自数据本身。通常可以根据数据本身的一些特征来设定一些辅助的学习任务，利用数据自身的监督信息进行学习。例如，对图像进行旋转操作然后预测图像旋转的角度，可以作为辅助学习任务来学习好的特征表示用于图像分类。
多模态学习(Multi-modal learning)：人们接收到的信息通常包含不同的模态。例如，视频主要包含图像和音频两个模态。通常，不同的模态刻画了信息的不同成分。多模态学习可以整合不同模态之间的信息，从而获得更鲁棒的、更全面的特征表示。
对比学习(Contrastive learning)：对比学习在深度学习中可以被视为训练一个特征编码器进行特征提取，然后对该特征进行字典查找。具体的，考虑一个给定的查询样本q的编码特征，以及一组字典样本的编码特征{k0,k1,k2…}。假设字典中有一个样本k+与q相匹配，那么我们可以使用一个对比损失函数来计算样本对之间的相似度，从而在字典中找出该匹配样本k+。
对比损失函数(Contrastive loss function)：对比损失函数通常用于对比学习之中。比较常用的对比损失函数有边界损失函数(Margin-based loss)和噪声对比估计函数(Noise Contrastive Estimation loss,NCE Loss)。其中一种NCE损失函数例如可以是InfoNCE损失函数，其表达式如下：
Figure BDA0002634111520000091
其中，τ称为温度超参数。分母上的求和包含对一个正样本和K个负样本的计算。因此，该损失函数可以看作是用于K+1类分类的分类器，其目标是把查询样本q分到第k+类。
卷积神经网络(Convolutional Neural Network，CNN)是一类包含卷积操作的前馈神经网络，通常由卷积层，池化层，全连接层，激活层等组成。可以用于图像、音频等高维数据的特征提取。
预训练Pre-train和微调Finetune是两个结合在一起的概念。在深度学习中，因为种种原因(例如数据集太小，从头开始训练太耗时间或者难以收敛等)，网络在某个特定任务的特定数据集上训练之前可以先进行预训练。之后再将该网络在特定任务的数据集上进行微调。通常，预训练是在一个较大的数据集上进行，其训练任务可以和后续特定任务相同，也可以不同。训练完的网络参数可以作为后续训练的初始化参数，从而在微调阶段获得更好的特征提取或者更快的收敛速度，提升网络性能。
本申请技术方案可以基于云计算技术来实现。云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用***能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。
作为云计算的基础能力提供商，会建立云计算资源池(简称云平台)，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(虚拟化机器，包含操作***)、存储设备、网络设备。
云计算是网格计算(Grid Computing)、分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(NetworkStorage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。不同于以往的并行分布式计算，云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。
图1示意性地示出了应用本申请技术方案的示例性***架构框图。
如图1所示，***架构100可以包括终端设备110、网络120和服务器130。终端设备110可以包括智能手机、平板电脑、笔记本电脑、台式电脑等各种电子设备。服务器130可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云计算服务的云服务器。网络120可以是能够在终端设备110和服务器130之间提供通信链路的各种连接类型的通信介质，例如可以是有线通信链路或者无线通信链路。
根据实现需要，本申请实施例中的***架构可以具有任意数目的终端设备、网络和服务器。例如，服务器130可以是由多个服务器设备组成的服务器群组。另外，本申请实施例提供的技术方案可以应用于终端设备110，也可以应用于服务器130，或者可以由终端设备110和服务器130共同实施，本申请对此不做特殊限定。
举例而言，基于本申请技术方案训练得到的神经网络模型可以应用于流媒体平台的视频分类以及公众号或者小程序的搜索等涉及视频检索的应用场景，该神经网络模型可以配置在图1所示的终端设备110上，或者也可以配置在服务器130上。通过训练好的神经网络模型，可以对用户上传的视频实现自动打标签，或者是提取视频对应的语义特征用于视频检索，从而可以有效提升用户的体验质量。
在视频搜索的应用场景中，可以使用本申请对后台服务器中已存储的视频进行特征学习和分类，自动打上符合视频的语义信息的标签。这样，在用户实际使用中，以用户输入的搜索关键词进行检索，可以进行准确的标签查找和匹配，推荐高匹配度的视频给用户。
下面结合具体实施方式对本申请提供的神经网络训练方法、神经网络训练装置、计算机可读介质以及电子设备等技术方案做出详细说明。
图2示意性地示出了本申请一些实施例中的神经网络训练方法的步骤流程图。该神经网络训练方法可以应用于终端设备或者服务器，也可以由终端设备和服务器共同执行。如图2所示，该神经网络训练方法主要可以包括如下的步骤S210～步骤S240。
步骤S210：从视频样本中按照视频时间顺序采样得到至少两个样本片段。
步骤S220：调整至少两个样本片段的排列顺序，并获取调整后的片段顺序信息。
步骤S230：通过对应于不同模态类型的神经网络对样本片段进行特征提取，以得到样本片段的至少两个模态特征。
步骤S240：根据各个模态特征的特征相似度以及片段顺序信息对神经网络进行训练，以更新神经网络的网络参数。
在本申请实施例提供的神经网络训练方法中，通过对视频样本进行片段采样并进行顺序调整可以在神经网络训练过程中融入视频时序信息，从而基于视频时序信息实现自监督学习，无需对视频数据进行人工标注，降低了数据处理成本并提高了数据处理效率。除此之外，通过多模态特征提取，可以直接关注视频的语义特征，减少冗余信息，从而基于跨模态特征进行对比学习，获得针对不同模态类型的多种神经网络，提高特征提取的准确性和表征能力。
图3示意性地示出了本申请实施例中神经网络训练方法在一应用场景中的原理示意图。如图3所示，在该应用场景中进行神经网络训练的方法主要可以包括如下的步骤S301～步骤S306。
步骤S301：对一个视频样本进行采样后得到三组样本片段。每组样本片段中均包括有对应于图像模态的图像片段和对应于音频模态的音频片段。根据视频时间顺序，可以将三组样本片段依次确定为片段1、片段2和片段3。
步骤S302：对各组样本片段进行随机排序(shuffle)以打乱其排列顺序。如图中所示的打乱后的排列顺序为片段2、片段3、片段1。
步骤S303：对打乱排列顺序后的各组样本片段进行对比学习，提取得到每组样本片段的图像特征φv和音频特征φa。
步骤S304：从每组样本片段的图像特征φv和音频特征φa中随机选取一个作为样本特征。
步骤S305：对各个样本特征进行两两组合并融合处理后得到融合特征。
步骤S306：对各组样本片段的排列顺序进行预测。预测目标是样本片段在步骤S302中随机排序后的排列顺序，即片段2、片段3、片段1的片段排列顺序。
将预测结果与预测目标之间的误差在网络框架中进行反向传播，获得神经网络中每个网络参数的误差梯度，从而根据误差梯度对各个网络参数进行更新优化。通过迭代训练，不断优化神经网络的特征提取能力。
下面分别对以上实施例中的神经网络训练方法的各个方法步骤做详细说明。
在步骤S210中，从视频样本中按照视频时间顺序采样得到至少两个样本片段。
在一些可选的实施方式中，本申请可以先对视频样本进行多模态信息提取，得到对应于不同模态类型的模态信息样本；然后按照视频时间顺序分别对各个模态信息样本进行同步采样，以得到对应于不同模态类型的至少两个样本片段。
与视频数据相关的模态类型例如可以包括图像模态、音频模态、文本模态等等，通过模态信息提取可以相应地得到图像信息样本、音频信息样本和文本信息样本。其中，图像信息样本是用于表示视频样本中各帧视频画面的图像数据；音频信息样本是用于表示视频样本中的背景音、人物对话等各种声音信号的音频数据；文本信息样本可以包括从视频数据中直接提取得到的视频简洁、文字标题等文本数据，也可以包括对视频中图像数据进行文本识别得到的视频画面中的字幕等文本数据，另外还可以包括对视频中的人物对话等声音信号进行语音文本转换得到的文本数据。
在另一些可选的实施方式中，本申请实施例也可以先按照视频时间顺序对视频样本进行采样以得到至少两个视频片段；然后再对视频片段进行多模态信息提取，得到对应于不同模态类型的至少两个样本片段。通过统一的视频采样后再进行多模态信息提取，可以减少数据采样的次数，提高数据采样效率。
可选地，本申请实施例可以在进行数据采样时，可以控制样本片段的采样间隔大于或等于样本片段的采样长度。由此可以保证相邻的两个的样本片段之间不会出现数据重合，避免神经网络利用样本片段之间的重合信息这种底层特征来进行后续的排列顺序预测而丢失了对其他高层次语义信息的学习能力。
以图3所示的应用场景为例，针对一个给定的视频样本，可以从中采样n个定长的图像样本片段。通常，出于计算量的考虑，图像样本片段的长度一般取15～30帧。音频样本片段与图像样本片段同步，即同时开始进行采样，通常可以取1～2s的音频样本片段。这n个音视频片段存在n！种排列方式。由于阶乘极大的增长速率，一般而言，将n取值以3～5为宜。在进行采样时，可以对原始的视频样本进行均匀采样，每两个相邻的样本片段之间间隔相同的帧数。
在步骤S220中，调整至少两个样本片段的排列顺序，并获取调整后的片段顺序信息。
在步骤S210中是按照视频时间顺序进行数据采样的，采样得到的各个样本片段也是按照视频播放的时间先后顺序进行依次排列。为了在神经网络训练中引入视频的时序信息，本步骤可以对采样得到的样本片段进行顺序调整，从而获得调整后的片段顺序信息。例如，图3中经过顺序打乱后得到的片段顺序信息可以表示为一个顺序为2、3、1的数字编号序列。在本申请实施例中，若采样得到样本片段的数量为n，那么对其进行随机顺序打乱的排列方式可以包括n！种，因此后续利用神经网络进行顺序预测的过程可以看做是一个n！类的分类问题。
在步骤S230中，通过对应于不同模态类型的神经网络对样本片段进行特征提取，以得到样本片段的至少两个模态特征。
针对不同模态类型的样本片段，本步骤可以采用专门的神经网络对其进行特征提取以得到相应的模态特征。例如，本申请实施例中的模态类型可以包括图像模态、音频模态和文本模态中的至少两种；采样得到的样本片段可以相应的包括图像样本、音频样本或者文本样本；进一步地，对其进行特征提取后可以得到相应的图像特征、音频特征或者文本特征。下面分别针对三种不同模态类型的特征提取方法进行说明。
若样本片段包括对应于图像模态的图像样本，则通过图像处理神经网络对图像样本进行特征提取，以得到样本片段的图像特征。
本申请实施例中使用的图像处理神经网络可以记作R(2+1)D网络，该神经网络包括多个依次连接的三维卷积处理单元，图4示意性地示出了本申请一些实施例中的三维卷积处理单元的模型结构示意图。如图4所示，三维卷积处理单元可以包括依次连接的二维空间卷积层和一维时间卷积层。其中二维空间卷积层中使用大小为1×d×d的二维卷积核，一维时间卷积层中使用大小为t×1×1的一维卷积核，二维空间卷积层和一维时间卷积层组合在一起相当于一个卷积核为t×d×d的三维卷积层。换言之，本申请实施例使用的三维卷积处理单元将三维卷积显式地分解为两个单独且连续的运算，即一个二维空间卷积核一个一维时间卷积，相比于传统的三维卷积网络，拆分后的两个卷积操作之间增加了额外的非线性整流层(nonlinear rectification layer)，使得模型的非线性表达能力得到增强，从而能够表示更复杂的函数。另外，这样的操作分解使得网络更易于优化，且特征提取效果表现更好。
在此基础上，基于三维卷积处理单元进行样本特征提取的方法可以包括：通过二维空间卷积层对图像样本进行卷积处理，得到携带空间特征的中间特征图；通过一维时间卷积层对中间特征图进行卷积处理，得到携带空间特征以及时间特征的样本片段的图像特征。
若样本片段包括对应于音频模态的音频样本，则通过音频处理神经网络对音频样本进行特征提取，以得到样本片段的音频特征。
在一些可选的实施方式中，本申请实施例中使用的音频处理神经网络可以包括多个依次连接的二维卷积处理单元。在进行音频特征提取时，可以首先对音频样本进行滤波处理，以得到二维的梅尔频谱图(Mel Spectrogram)，具体可以通过梅尔尺度滤波器组(Mel-scale filter banks)将一维的音频数据声谱图转化成二维的梅尔频谱图；然后对梅尔频谱图进行对数运算以得到用于量化声音强度(单位为分贝dB)的二维频谱信息；再通过二维卷积处理单元对二维频谱信息进行卷积处理，得到样本片段的音频特征。
图5示意性地示出了由音频波形图转换至对数梅尔频谱图的效果示意图。如图5所示，相比于简单的波形图，梅尔频谱图可以刻画更多的关于音频样本的特征，并且处理后的音频样本可以当作二维的图像数据，用二维卷积网络进行处理。
本申请实施例中使用的音频处理神经网络例如可以是ResNet18网络，组成该神经网络的二维卷积处理单元包括残差连接分支和卷积连接分支。通过残差连接分支对二维频谱信息进行映射处理可以得到残差映射信息；通过卷积连接分支对二维频谱信息进行卷积处理可以得到音频卷积信息；再对残差映射信息和音频卷积信息进行叠加可以得到样本片段的音频特征。二维卷积处理单元的数据运算过程可以表示为：xm＝h(xi)+F(xi,W)，xo＝f(xm)。其中，xi和xo分别为二维卷积处理单元的输入数据和输出数据。F(·)为残差函数，表示学习到的残差。h(·)为恒等映射，f(·)为最后的激活函数。基于残差学习可以降低神经网络的训练难度，提高训练效率。
若样本片段包括对应于文本模态的文本样本，则通过文本处理神经网络对文本样本进行特征提取以得到样本片段的文本特征。
文本处理神经网络例如可以采用循环神经网络(Recurrent Neural Network,RNN)或者长短期记忆网络(Long Short-Term Memory，LSTM)等各种适用于文本处理的网络模型。
由以上实施例中针对不同模态类型的神经网络可以提取得到不同类型的模态特征，如图像特征、音频特征、文本特征等等。在由各个神经网络的全局池化层进行池化处理输出相应的模态特征后，本申请实施例还可以通过共用的映射头(projection head)神经网络对各个模态特征进行映射处理以得到对应于公共嵌入空间(embedding space)的模态特征。采用统一的嵌入空间，有利于后续进行特征相似度的计算和对比时保证处理结果的一致性和稳定性。映射头神经网络例如可以采用多层感知机或者其他任意的适用于进行特征提取的网络模型。
在步骤S240中，根据各个模态特征的特征相似度以及片段顺序信息对神经网络进行训练，以更新神经网络的网络参数。
根据各个模态特征的特征相似度可以实现多种模态类型之间的跨模态对比学习，根据片段顺序信息可以利用视频样本的时序信息进行非监督学习，基于对比学习和非监督学习对用于进行特征提取的各个神经网络进行训练，可以更新神经网络的网络参数，从而提高神经网络对视频数据的特征提取能力，优化提取得到数据特征的表征效果。
图6示意性地示出了本申请一些实施例中对神经网络进行参数更新的方法步骤流程图。如图6所示，步骤S240中的根据各个模态特征的特征相似度以及片段顺序信息对神经网络进行训练，以更新神经网络的网络参数，可以包括如下的步骤S610～步骤S630。
步骤S610：分别获取各个模态特征之间的特征相似度，并根据特征相似度确定模态特征的对比误差信息。
对比学习的基本思想就是通过正样本和负样本对之间的对比来学习样本的特征表示。通过最大化锚样本(anchor sample)和正样本之间的相似度，同时最小化锚样本和其他所有的负样本之间的相似度，从而提高特征提取准确性。图7示意性地示出了本申请一些实施例中基于对比学习优化特征提取的原理示意图。如图7中所示，各个样本片段Video 1、Video 2……Video N均包括有对应图像样本和音频样本。其中，图像样本通过神经网络R(2+1)D进行特征提取后得到图像特征φv，音频样本通过神经网络ResNet18进行特征提取后得到音频特征φa。
本申请实施例将对应于同一样本片段的模态特征作为正样本，并将对应于不同样本片段的模态特征作为负样本。例如，给定一对样本片段(a,v)，则对于图像样本v，其正样本定义为与之对应的音频样本a。同样的，对于音频样本a，其正样本为与之对应的图像样本v。正样本定义为对应于同一样本片段的不同模态的输入数据，相应的负样本可以定义为来自不同样本片段的输入数据。例如，给定一对样本片段(a,v)和另一对样本片段(a′,v′)，则对于音频样本a或图像样本v来说，a′和v′就是他们的负样本，反之亦然。
通过对比损失函数对正样本以及负样本的特征相似度进行误差计算以得到模态特征的对比误差信息。
举例而言，给定一批包含k组输入样本片段的特征集合
Figure BDA0002634111520000171
其对比损失函数由如下两部分组成：
Figure BDA0002634111520000172
Figure BDA0002634111520000173
其中，sim(φa,φv)计算的是φa和φv之间的特征相似度：
Figure BDA0002634111520000174
τ是一个温度超参数。
最终的对比学习损失函数为以上两个损失函数之和：
Lcontrast＝Lav+Lva
通过对比学习损失函数Lcontrast即可计算得到模态特征的对比误差信息。
步骤S620：对模态特征进行映射处理得到顺序预测信息，并根据片段顺序信息和顺序预测信息确定样本片段的顺序误差信息。
通过对比学习，神经网络可以学到包括图像样本和音频样本的各个样本片段所对应的特征表示。对于每个视频样本，可以获得一组图像样本和音频样本的数据组作为输入数据。假设每个视频样本采样得到n个样本片段，则经过对比学习之后，可以得到n个由图像特征和音频特征构成的模态特征组合，即{(φa1,φv1),(φa2,φv2),…,(φan,φvn)}。
在一些可选的实施方式中，本申请实施例可以按照如下的步骤S621～步骤S624对各个样本片段对应的模态特征组合进行处理以得到样本片段的顺序误差信息。
步骤S621：分别从对应于每个样本片段的各个模态特征中随机选取得到对应于样本片段的样本特征。
本申请实施例可以定义一个随机函数()，该函数可以随机地从同一对模态特征组合中选取一个样本特征，用于后续的顺序预测：
fi＝σ(φai,φvi)
对于同一个视频样本，可以经过随机筛选后获得n个样本特征{f1,f2,…,fn}。
在输入数据的时候已经将各个样本片段的顺序打乱了，因此这n个样本特征也是乱序的。对于这些样本特征的排序可以看作是分类问题。将每一种可能的排列方式视为一个类别，因此顺序预测问题就转化为一个n！类的分类问题，其输入数据是n个样本特征的特征集合，输出数据是对所有可能的排列方式的概率分布。
步骤S622：将对应于各个样本片段的样本特征分别进行两两拼接处理以得到局部拼接特征，并分别对各个局部拼接特征进行映射处理以得到局部拼接特征的局部映射特征。
将n个样本特征中的每个样本特征分别与其他所有样本特征进行两两拼接后可以得到M个局部拼接特征，M为所有可能的组合数。再对各个局部拼接特征进行映射处理后可以得到M个局部映射特征hk：
Figure BDA0002634111520000182
k＝1,2……M
Figure BDA0002634111520000181
其中，
Figure BDA0002634111520000183
表示向量拼接操作，g(·)为非线性映射函数。
步骤S623：将局部映射特征进行拼接处理以得到整体拼接特征，并对整体拼接特征进行映射处理以得到整体拼接特征的整体映射特征。
按照如下公式首先对M个局部映射特征hk进行拼接处理后可以得到整体拼接特征，再对整体拼接特征进行映射处理后可以得到整体拼接特征的整体映射特征a：
Figure BDA0002634111520000191
其中，f(·)为非线性映射函数，a是n！维度的logits向量。
步骤S624：对整体映射特征中的各个特征元素进行归一化映射以得到模态特征的顺序预测信息。
整体映射特征a中的每个维度的特征元素ai均对应一种样本片段的排列方式，通过对整体映射特征a中的各个特征元素进行归一化映射以得到模态特征的顺序预测信息pi：
Figure BDA0002634111520000192
顺序预测信息pi用于表示第i类排列方式的预测概率。
步骤S624：将片段顺序信息作为目标值，并将顺序预测信息作为预测值，通过交叉熵损失函数对目标值和预测值进行误差计算以得到样本片段的顺序误差信息。
举例而言，从同一视频样本中按照视频时间顺序采样得到三组样本片段{(a1,v1),(a2,v2),(a3,v3)}，将其排列顺序随机打乱后，得到顺序调整后的样本片段序列为{(a2,v2),(a3,v3),(a1,v1)}，那么(2,3,1)即作为预测目标。基于预测目标可以利用如下的交叉熵损失函数计算顺序误差信息，以度量预测结果。
Figure BDA0002634111520000193
其中，yi表示第i个顺序类别的实际概率，其取值为1或者0。
经过如上的步骤S621～步骤S624可以获得样品片段的顺序误差信息。
步骤S630：对对比误差信息和顺序误差信息进行叠加处理得到整体损失误差，并根据整体损失误差更新神经网络的网络参数。
由以上实施例中的技术方案可以获得在对比学习过程中的对比学习损失函数Lcontrast以及在顺序预测过程中的交叉熵损失函数Lentropy，将二者进行叠加可以得到整体损失函数L：
L＝Lcontrast+Lentropy
对神经网络的训练目标是使整体损失函数L最小化。
基于整体损失L可以计算得到当前训练轮次下对比误差信息和顺序误差信息叠加得到的整体损失误差，对整体损失误差在神经网络架构中进行反向传播，可以计算得到各个网络参数的误差梯度，根据该误差梯度可以对神经网络的网络参数进行更新。完成参数更新后，可以继续输入训练数据集以进行下一轮次的训练。
本申请实施例可以利用Youtube-8M、HowTo100M、kinetics-400、kinetics-600、Moments in time等大规模数据集作为训练数据集对神经网络进行预训练。例如，经过以上实施例所介绍的神经网络训练方法进行训练后可以得到预训练完成的图像处理神经网络和音频处理神经网络，其中图像处理神经网络用于提取视频数据中的图像特征，而音频处理神经网络用语提取视频数据中的音频特征。
为了进一步实现具体的业务应用，本申请实施例可以对预训练完成的神经网络进行微调和测试。其中微调阶段可以使用有标签的数据集进行有监督学习，测试阶段可以使用UCF101和HMDB51等小规模数据集进行测试。在微调完成后的测试阶段，例如可以从每个测试视频中采样10个样本片段进行分类，最终的测试结果是这10个样本片段的分类结果的众数。
在实际应用中，以视频检索为例，可以首先利用本申请技术方案提供的神经网络训练方法进行预训练，然后用数据规模较小的业务数据集对预训练得到的神经网络进行微调。然后可以用微调后的神经网络对服务器上的大规模视频数据集进行预测，其预测结果就作为视频对应的伪标签。在检索阶段，以用户输入的关键词为标签，从服务器上查找最匹配的视频返回给用户。
另外，针对视频检索等任务，除了最直接的基于用户输入关键词的查找方式以外，也可以进行基于样本的检索，即由用户给定的一个视频，去检索其他相似视频。在这个过程中，可以对用户的给定视频用预训练的神经网络进行语义特征提取，然后将提取得到的语义特征与服务器上其他视频的语义特征进行匹配，查找语义最相近的视频，并将查找得到的视频返回给用户。
在一些可选的实施方式中，本申请实施例可以根据实际需要将对应于单一模态类型的神经网络进行微调和应用。例如，基于视频动作分类的应用场景中，可以只对用于进行图像特征提取的图像处理神经网络进行微调，微调完成后可以单独使用该图像处理神经网络对服务器上的大规模视频数据集进行预测分类，并为相应的视频添加相应的分类标签。
在另一些可选的实施方式中，本申请实施例也可以将预训练好的对应于不同模态类型的各个神经网络共同进行微调和应用。例如，可以同时对用于进行图像特征提取的图像处理神经网络和用于进行音频特征提取的音频处理神经网络进行微调，微调完成后可以通过多层感知机或者其他特征融合方式对提取得到的图像特征和音频特征进行融合处理以得到融合特征，然后基于融合特征进行视频分类。
综合以上各实施例中的技术方案可知，本申请实现了一种新的端到端的用于视频特征学习和分类的自监督方案，该方案免去了大量的人工对视频类别进行标记的需要，可以方便地应用于各种真实业务场景。
不同于传统的基于上下文的辅助学习任务的自监督方案，本申请使用对比学习来进行特征提取。由于对比学习更关注的是正负样本之间的对比，因此，该学习方法更适合学到具有判别性的、高层次的、富含语义信息的特征，有利于下游的分类任务。
本申请充分利用了视频数据自身所具有的独特性，即多模态性和时序性。传统的基于帧排序或者视频片段排序的方案只考虑了视频的时序特点，忽视了多模态的信息；而以往的多模态特征学习方案也只考虑了视频的多模态的特点，没有考虑时序性。本申请技术方案将视频的图像和音频两种特性(另外也可以包括文本等其他模态特征)充分结合起来，可以获得更好的特征表示。尤其是，在本申请的技术方案中，特征排序和对比学习是相辅相成的两个任务。好的对比学习可以保证同一视频的跨模态特征具有很好的一致性，易于排序；而特征排序又要求所学到的音频特征和图像特征既有一致性又有判别性，从而迫使对比学习学到更好的特征表示。
在真实的应用场景中，本申请技术方案具有可扩展性。可以使用大规模的、多样性的数据集进行预训练。当应用到具体的应用中时，可以使用特定的小规模的数据集进行微调，从而获得针对性的性能提升。
应当注意，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的神经网络训练方法。图8示意性地示出了本申请实施例提供的神经网络训练装置的结构框图。如图8所示，神经网络训练装置800主要可以包括：
视频采样模块810，被配置为从视频样本中按照视频时间顺序采样得到至少两个样本片段；
顺序调整模块820，被配置为调整至少两个样本片段的排列顺序，并获取调整后的片段顺序信息；
特征提取模块830，被配置为通过对应于不同模态类型的神经网络对样本片段进行特征提取，以得到样本片段的至少两个模态特征；
参数更新模块840，被配置为根据各个模态特征的特征相似度以及片段顺序信息对神经网络进行训练，以更新神经网络的网络参数。
在本申请的一些实施例中，基于以上各实施例，视频采样模块包括：
第一提取单元，被配置为对视频样本进行多模态信息提取，得到对应于不同模态类型的模态信息样本；
第一采样单元，被配置为按照视频时间顺序分别对各个模态信息样本进行同步采样，以得到对应于不同模态类型的至少两个样本片段。
在本申请的一些实施例中，基于以上各实施例，视频采样模块包括：
第二采样单元，被配置为按照视频时间顺序对视频样本进行采样以得到至少两个视频片段；
第二提取单元，被配置为对视频片段进行多模态信息提取，得到对应于不同模态类型的至少两个样本片段。
在本申请的一些实施例中，基于以上各实施例，样本片段的采样间隔大于或等于样本片段的采样长度。
在本申请的一些实施例中，基于以上各实施例，模态类型包括图像模态、音频模态和文本模态中的至少两种；特征提取模块包括：
图像特征提取单元，被配置为若样本片段包括对应于图像模态的图像样本，则通过图像处理神经网络对图像样本进行特征提取，以得到样本片段的图像特征；
音频特征提取单元，被配置为若样本片段包括对应于音频模态的音频样本，则通过音频处理神经网络对音频样本进行特征提取，以得到样本片段的音频特征；
文本特征提取单元，被配置为若样本片段包括对应于文本模态的文本样本，则通过文本处理神经网络对文本样本进行特征提取以得到样本片段的文本特征。
在本申请的一些实施例中，基于以上各实施例，图像处理神经网络包括多个依次连接的三维卷积处理单元，三维卷积处理单元包括依次连接的二维空间卷积层和一维时间卷积层；图像特征提取单元包括：
二维空间卷积子单元，被配置为通过二维空间卷积层对图像样本进行卷积处理，得到携带空间特征的中间特征图；
一维时间卷积子单元，被配置为通过一维时间卷积层对中间特征图进行卷积处理，得到携带空间特征以及时间特征的样本片段的图像特征。
在本申请的一些实施例中，基于以上各实施例，音频处理神经网络包括多个依次连接的二维卷积处理单元，音频特征提取单元包括：
音频滤波子单元，被配置为对音频样本进行滤波处理，以得到二维的梅尔频谱图；
对数运算子单元，被配置为对梅尔频谱图进行对数运算以得到用于量化声音强度的二维频谱信息；
二维卷积子单元，被配置为通过二维卷积处理单元对二维频谱信息进行卷积处理，得到样本片段的音频特征。
在本申请的一些实施例中，基于以上各实施例，二维卷积处理单元包括残差连接分支和卷积连接分支；二维卷积子单元包括：
残差映射子单元，被配置为通过残差连接分支对二维频谱信息进行映射处理以得到残差映射信息；
卷积映射子单元，被配置为通过卷积连接分支对二维频谱信息进行卷积处理以得到音频卷积信息；
映射叠加子单元，被配置为对残差映射信息和音频卷积信息进行叠加得到样本片段的音频特征。
在本申请的一些实施例中，基于以上各实施例，参数更新模块包括：
对比误差确定单元，被配置为分别获取各个模态特征之间的特征相似度，并根据特征相似度确定模态特征的对比误差信息；
顺序误差确定单元，被配置为对模态特征进行映射处理得到顺序预测信息，并根据片段顺序信息和顺序预测信息确定样本片段的顺序误差信息；
误差叠加单元，被配置为对对比误差信息和顺序误差信息进行叠加处理得到整体损失误差，并根据整体损失误差更新神经网络的网络参数。
在本申请的一些实施例中，基于以上各实施例，对比误差确定单元包括：
正负样本确定子单元，被配置为将对应于同一样本片段的模态特征作为正样本，并将对应于不同样本片段的模态特征作为负样本；
对比误差计算子单元，被配置为通过对比损失函数对正样本以及负样本的特征相似度进行误差计算以得到模态特征的对比误差信息。
在本申请的一些实施例中，基于以上各实施例，顺序误差确定单元包括：
特征选取子单元，被配置为分别从对应于每个样本片段的各个模态特征中随机选取得到对应于样本片段的样本特征；
局部拼接子单元，被配置为将对应于各个样本片段的样本特征分别进行两两拼接处理以得到局部拼接特征；
局部映射子单元，被配置为分别对各个局部拼接特征进行映射处理以得到局部拼接特征的局部映射特征；
整体拼接子单元，被配置为将局部映射特征进行拼接处理以得到整体拼接特征；
整体映射子单元，被配置为对整体拼接特征进行映射处理以得到整体拼接特征的整体映射特征；
归一化映射子单元，被配置为对整体映射特征中的各个特征元素进行归一化映射以得到模态特征的顺序预测信息。
在本申请的一些实施例中，基于以上各实施例，顺序误差确定单元还包括：
预测目标确定子单元，被配置为将片段顺序信息作为目标值，并将顺序预测信息作为预测值；
顺序误差计算子单元，被配置为通过交叉熵损失函数对目标值和预测值进行误差计算以得到样本片段的顺序误差信息。
在本申请的一些实施例中，基于以上各实施例，神经网络训练装置还包括：
公共映射模块，被配置为通过共用的映射头神经网络对各个模态特征进行映射处理以得到对应于公共嵌入空间的模态特征。
本申请各实施例中提供的神经网络训练装置的具体细节已经在对应的方法实施例中进行了详细的描述，此处不再赘述。
图9示意性地示出了用于实现本申请实施例的电子设备的计算机***结构框图。
需要说明的是，图9示出的电子设备的计算机***900仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示，计算机***900包括中央处理器901(Central Processing Unit，CPU)，其可以根据存储在只读存储器902(Read-Only Memory，ROM)中的程序或者从存储部分908加载到随机访问存储器903(Random Access Memory，RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器903中，还存储有***操作所需的各种程序和数据。中央处理器901、在只读存储器902以及随机访问存储器903通过总线904彼此相连。输入/输出接口905(Input/Output接口，即I/O接口)也连接至总线904。
以下部件连接至输入/输出接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至输入/输出接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理器901执行时，执行本申请的***中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (15)

1.一种神经网络训练方法，其特征在于，包括：
从视频样本中按照视频时间顺序采样得到至少两个样本片段；
调整所述至少两个样本片段的排列顺序，并获取调整后的片段顺序信息，所述片段顺序信息用于实现所述神经网络的自监督学习；
通过对应于不同模态类型的神经网络对所述样本片段进行特征提取，以得到所述样本片段的至少两个模态特征；
分别获取各个所述模态特征之间的特征相似度，并根据所述特征相似度确定所述模态特征的对比误差信息；
对所述模态特征进行映射处理得到顺序预测信息，并根据所述片段顺序信息和所述顺序预测信息确定所述样本片段的顺序误差信息；
对所述对比误差信息和所述顺序误差信息进行叠加处理得到整体损失误差，并根据所述整体损失误差更新所述神经网络的网络参数。
2.根据权利要求1所述的神经网络训练方法，其特征在于，所述从视频样本中按照视频时间顺序采样得到至少两个样本片段，包括：
对视频样本进行多模态信息提取，得到对应于不同模态类型的模态信息样本；
按照视频时间顺序分别对各个所述模态信息样本进行同步采样，以得到对应于不同模态类型的至少两个样本片段。
3.根据权利要求1所述的神经网络训练方法，其特征在于，所述从视频样本中按照视频时间顺序采样得到至少两个样本片段，包括：
按照视频时间顺序对视频样本进行采样以得到至少两个视频片段；
对所述视频片段进行多模态信息提取，得到对应于不同模态类型的至少两个样本片段。
4.根据权利要求1所述的神经网络训练方法，其特征在于，所述样本片段的采样间隔大于或等于所述样本片段的采样长度。
5.根据权利要求1所述的神经网络训练方法，其特征在于，所述模态类型包括图像模态、音频模态和文本模态中的至少两种；所述通过对应于不同模态类型的神经网络对所述样本片段进行特征提取，以得到所述样本片段的至少两个模态特征，包括：
若所述样本片段包括对应于所述图像模态的图像样本，则通过图像处理神经网络对所述图像样本进行特征提取，以得到所述样本片段的图像特征；
若所述样本片段包括对应于所述音频模态的音频样本，则通过音频处理神经网络对所述音频样本进行特征提取，以得到所述样本片段的音频特征；
若所述样本片段包括对应于所述文本模态的文本样本，则通过文本处理神经网络对所述文本样本进行特征提取以得到所述样本片段的文本特征。
6.根据权利要求5所述的神经网络训练方法，其特征在于，所述图像处理神经网络包括多个依次连接的三维卷积处理单元，所述三维卷积处理单元包括依次连接的二维空间卷积层和一维时间卷积层；所述通过图像处理神经网络对所述图像样本进行特征提取，以得到所述样本片段的图像特征，包括：
通过所述二维空间卷积层对所述图像样本进行卷积处理，得到携带空间特征的中间特征图；
通过所述一维时间卷积层对所述中间特征图进行卷积处理，得到携带所述空间特征以及时间特征的所述样本片段的图像特征。
7.根据权利要求5所述的神经网络训练方法，其特征在于，所述音频处理神经网络包括多个依次连接的二维卷积处理单元，所述通过音频处理神经网络对所述音频样本进行特征提取，以得到所述样本片段的音频特征，包括：
对所述音频样本进行滤波处理，以得到二维的梅尔频谱图；
对所述梅尔频谱图进行对数运算以得到用于量化声音强度的二维频谱信息；
通过所述二维卷积处理单元对所述二维频谱信息进行卷积处理，得到所述样本片段的音频特征。
8.根据权利要求7所述的神经网络训练方法，其特征在于，所述二维卷积处理单元包括残差连接分支和卷积连接分支；所述通过所述二维卷积处理单元对所述二维频谱信息进行卷积处理，得到所述样本片段的音频特征，包括：
通过所述残差连接分支对所述二维频谱信息进行映射处理以得到残差映射信息；
通过所述卷积连接分支对所述二维频谱信息进行卷积处理以得到音频卷积信息；
对所述残差映射信息和所述音频卷积信息进行叠加得到所述样本片段的音频特征。
9.根据权利要求1所述的神经网络训练方法，其特征在于，所述根据所述特征相似度确定所述模态特征的对比误差信息，包括：
将对应于同一样本片段的模态特征作为正样本，并将对应于不同样本片段的模态特征作为负样本；
通过对比损失函数对所述正样本以及所述负样本的特征相似度进行误差计算以得到所述模态特征的对比误差信息。
10.根据权利要求1所述的神经网络训练方法，其特征在于，所述对所述模态特征进行映射处理得到顺序预测信息，包括：
分别从对应于每个样本片段的各个模态特征中随机选取得到对应于所述样本片段的样本特征；
将对应于各个样本片段的所述样本特征分别进行两两拼接处理以得到局部拼接特征；
分别对各个所述局部拼接特征进行映射处理以得到所述局部拼接特征的局部映射特征；
将所述局部映射特征进行拼接处理以得到整体拼接特征；
对所述整体拼接特征进行映射处理以得到所述整体拼接特征的整体映射特征；
对所述整体映射特征中的各个特征元素进行归一化映射以得到所述模态特征的顺序预测信息。
11.根据权利要求1所述的神经网络训练方法，其特征在于，所述根据所述片段顺序信息和所述顺序预测信息确定所述样本片段的顺序误差信息，包括：
将所述片段顺序信息作为目标值，并将所述顺序预测信息作为预测值；
通过交叉熵损失函数对所述目标值和所述预测值进行误差计算以得到所述样本片段的顺序误差信息。
12.根据权利要求1所述的神经网络训练方法，其特征在于，在得到所述样本片段的至少两个模态特征之后，所述方法还包括：
通过共用的映射头神经网络对各个所述模态特征进行映射处理以得到对应于公共嵌入空间的模态特征。
13.一种神经网络训练装置，其特征在于，包括：
视频采样模块，被配置为从视频样本中按照视频时间顺序采样得到至少两个样本片段；
顺序调整模块，被配置为调整所述至少两个样本片段的排列顺序，并获取调整后的片段顺序信息，所述片段顺序信息用于实现所述神经网络的自监督学习；
特征提取模块，被配置为通过对应于不同模态类型的神经网络对所述样本片段进行特征提取，以得到所述样本片段的至少两个模态特征；
参数更新模块，被配置为分别获取各个所述模态特征之间的特征相似度，并根据所述特征相似度确定所述模态特征的对比误差信息；对所述模态特征进行映射处理得到顺序预测信息，并根据所述片段顺序信息和所述顺序预测信息确定所述样本片段的顺序误差信息；对所述对比误差信息和所述顺序误差信息进行叠加处理得到整体损失误差，并根据所述整体损失误差更新所述神经网络的网络参数。
14.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至12中任意一项所述的神经网络训练方法。
15.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任意一项所述的神经网络训练方法。
CN202010819997.9A 2020-08-14 2020-08-14 神经网络训练方法、装置及电子设备 Active CN111930992B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010819997.9A CN111930992B (zh) 2020-08-14 2020-08-14 神经网络训练方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010819997.9A CN111930992B (zh) 2020-08-14 2020-08-14 神经网络训练方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111930992A CN111930992A (zh) 2020-11-13
CN111930992B true CN111930992B (zh) 2022-10-28

Family

ID=73310377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010819997.9A Active CN111930992B (zh) 2020-08-14 2020-08-14 神经网络训练方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111930992B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114528896A (zh) * 2020-11-23 2022-05-24 京东城市(北京)数字科技有限公司 模型训练、数据增强方法、装置、电子设备及存储介质
CN113110592B (zh) * 2021-04-23 2022-09-23 南京大学 一种无人机避障与路径规划方法
CN113140222B (zh) * 2021-05-10 2023-08-01 科大讯飞股份有限公司 一种声纹向量提取方法、装置、设备及存储介质
CN113449070A (zh) * 2021-05-25 2021-09-28 北京有竹居网络技术有限公司 多模态数据检索方法、装置、介质及电子设备
CN113486833B (zh) * 2021-07-15 2022-10-04 北京达佳互联信息技术有限公司 多模态特征提取模型训练方法、装置、电子设备
CN113792594B (zh) * 2021-08-10 2024-04-12 南京大学 一种基于对比学习的视频中语言片段定位方法及装置
CN113747385B (zh) * 2021-08-27 2022-12-16 中移（杭州）信息技术有限公司 室内定位方法、装置、设备及计算机可读存储介质
CN113743277A (zh) * 2021-08-30 2021-12-03 上海明略人工智能(集团)有限公司 一种短视频分类方法及***、设备和存储介质
US20230072445A1 (en) * 2021-09-07 2023-03-09 Huawei Technologies Co., Ltd. Self-supervised video representation learning by exploring spatiotemporal continuity
CN114494930B (zh) * 2021-09-09 2023-09-22 马上消费金融股份有限公司 语音与图像同步性衡量模型的训练方法及装置
CN114020887B (zh) * 2021-10-29 2023-11-07 北京有竹居网络技术有限公司 用于确定响应语句的方法、设备、装置和介质
CN114049502B (zh) * 2021-12-22 2023-04-07 贝壳找房(北京)科技有限公司 神经网络的训练、特征提取、数据处理方法和设备
CN114443891B (zh) * 2022-01-14 2022-12-06 北京有竹居网络技术有限公司 编码器的生成方法、指纹提取方法、介质及电子设备
CN114332637B (zh) * 2022-03-17 2022-08-30 北京航空航天大学杭州创新研究院 遥感影像水体提取方法、遥感影像水体提取的交互方法
CN114821119B (zh) * 2022-06-22 2022-10-28 中国科学技术大学 针对图数据不变特征的图神经网络模型的训练方法和装置
CN115278299B (zh) * 2022-07-27 2024-03-19 腾讯科技（深圳）有限公司 无监督的训练数据生成方法、装置、介质及设备
CN115618891B (zh) * 2022-12-19 2023-04-07 湖南大学 一种基于对比学习的多模态机器翻译方法和***
CN117011924B (zh) * 2023-10-07 2024-02-13 之江实验室 一种基于语音和图像的说话人数目估计方法和***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324852A (zh) * 2013-06-25 2013-09-25 上海交通大学 基于特征匹配的四模态医学影像诊断***
WO2017210949A1 (zh) * 2016-06-06 2017-12-14 北京大学深圳研究生院 一种跨媒体检索方法
CN107562812A (zh) * 2017-08-11 2018-01-09 北京大学 一种基于特定模态语义空间建模的跨模态相似性学习方法
CN108694200A (zh) * 2017-04-10 2018-10-23 北京大学深圳研究生院 一种基于深度语义空间的跨媒体检索方法
CN110175266A (zh) * 2019-05-28 2019-08-27 复旦大学 一种用于多段视频跨模态检索的方法
CN110188209A (zh) * 2019-05-13 2019-08-30 山东大学 基于层次标签的跨模态哈希模型构建方法、搜索方法及装置
CN111309971A (zh) * 2020-01-19 2020-06-19 浙江工商大学 一种基于多级编码的文本到视频的跨模态检索方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103838835B (zh) * 2014-02-25 2017-11-21 中国科学院自动化研究所 一种网络敏感视频检测方法
US11409791B2 (en) * 2016-06-10 2022-08-09 Disney Enterprises, Inc. Joint heterogeneous language-vision embeddings for video tagging and search
US10621991B2 (en) * 2018-05-06 2020-04-14 Microsoft Technology Licensing, Llc Joint neural network for speaker recognition
CN108986050B (zh) * 2018-07-20 2020-11-10 北京航空航天大学 一种基于多分支卷积神经网络的图像和视频增强方法
CN108921150A (zh) * 2018-09-18 2018-11-30 深圳市华百安智能技术有限公司 基于网络硬盘录像机的人脸识别***
CN111177419A (zh) * 2018-11-10 2020-05-19 北外在线(北京)教育科技有限公司 数字学习内容的标注检索方法
CN109635676B (zh) * 2018-11-23 2020-12-11 清华大学 一种从视频中定位音源的方法
CN109919966A (zh) * 2019-01-24 2019-06-21 北京明略软件***有限公司 区域确定方法、装置、存储介质和处理器
CN110070023B (zh) * 2019-04-16 2020-06-16 上海极链网络科技有限公司 一种基于运动顺序性回归的自监督学习方法及装置
CN111294646B (zh) * 2020-02-17 2022-08-30 腾讯科技（深圳）有限公司 一种视频处理方法、装置、设备及存储介质
CN111488932B (zh) * 2020-04-10 2021-03-16 中国科学院大学 一种基于帧率感知的自监督视频时-空表征学习方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324852A (zh) * 2013-06-25 2013-09-25 上海交通大学 基于特征匹配的四模态医学影像诊断***
WO2017210949A1 (zh) * 2016-06-06 2017-12-14 北京大学深圳研究生院 一种跨媒体检索方法
CN108694200A (zh) * 2017-04-10 2018-10-23 北京大学深圳研究生院 一种基于深度语义空间的跨媒体检索方法
CN107562812A (zh) * 2017-08-11 2018-01-09 北京大学 一种基于特定模态语义空间建模的跨模态相似性学习方法
CN110188209A (zh) * 2019-05-13 2019-08-30 山东大学 基于层次标签的跨模态哈希模型构建方法、搜索方法及装置
CN110175266A (zh) * 2019-05-28 2019-08-27 复旦大学 一种用于多段视频跨模态检索的方法
CN111309971A (zh) * 2020-01-19 2020-06-19 浙江工商大学 一种基于多级编码的文本到视频的跨模态检索方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于ST-Simfusion算法和本体的视频语义提取研究;李梅;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120215(第2期);全文 *
基于深度神经网络的语音-图像跨模态检索研究;郭毛;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20200515(第5期);全文 *
基于视频场景深度学习的人物语义识别模型;高翔等;《计算机技术与发展》;20180630;第28卷(第6期);全文 *

Also Published As

Publication number Publication date
CN111930992A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111930992B (zh) 神经网络训练方法、装置及电子设备
CN111444340B (zh) 文本分类方法、装置、设备及存储介质
CN113239169B (zh) 基于人工智能的回答生成方法、装置、设备及存储介质
CN112989212B (zh) 媒体内容推荐方法、装置和设备及计算机存储介质
CN113555032B (zh) 多说话人场景识别及网络训练方法、装置
CN113761153A (zh) 基于图片的问答处理方法、装置、可读介质及电子设备
CN111653270B (zh) 语音处理方法、装置、计算机可读存储介质及电子设备
CN116050496A (zh) 图片描述信息生成模型的确定方法及装置、介质、设备
CN113822125A (zh) 唇语识别模型的处理方法、装置、计算机设备和存储介质
CN111046757A (zh) 人脸画像生成模型的训练方法、装置及相关设备
CN114495916B (zh) 背景音乐的***时间点确定方法、装置、设备和存储介质
CN115131698A (zh) 视频属性确定方法、装置、设备及存储介质
CN113761156A (zh) 人机交互对话的数据处理方法、装置、介质及电子设备
Akinpelu et al. Lightweight deep learning framework for speech emotion recognition
CN112580343A (zh) 模型生成方法、问答质量判断方法、装置、设备及介质
CN116955591A (zh) 用于内容推荐的推荐语生成方法、相关装置和介质
CN116958852A (zh) 视频与文本的匹配方法、装置、电子设备和存储介质
CN113571063B (zh) 语音信号的识别方法、装置、电子设备及存储介质
CN115223214A (zh) 合成嘴型人脸的识别方法、模型获取方法、装置和设备
CN117711001B (zh) 图像处理方法、装置、设备和介质
CN116542292B (zh) 图像生成模型的训练方法、装置、设备及存储介质
CN113421551B (zh) 语音识别方法、装置、计算机可读介质及电子设备
CN113762322B (zh) 基于多模态表示的视频分类方法、装置和设备及存储介质
CN117011650B (zh) 一种图像编码器的确定方法及相关装置
CN115273803A (zh) 模型训练方法和装置、语音合成方法、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant