CN110232340B - 建立视频分类模型以及视频分类的方法、装置 - Google Patents

建立视频分类模型以及视频分类的方法、装置 Download PDF

Info

Publication number
CN110232340B
CN110232340B CN201910461500.8A CN201910461500A CN110232340B CN 110232340 B CN110232340 B CN 110232340B CN 201910461500 A CN201910461500 A CN 201910461500A CN 110232340 B CN110232340 B CN 110232340B
Authority
CN
China
Prior art keywords
video
features
classification model
feature
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910461500.8A
Other languages
English (en)
Other versions
CN110232340A (zh
Inventor
牛国成
何伯磊
肖欣延
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910461500.8A priority Critical patent/CN110232340B/zh
Publication of CN110232340A publication Critical patent/CN110232340A/zh
Application granted granted Critical
Publication of CN110232340B publication Critical patent/CN110232340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明提供一种建立视频分类模型与视频分类的方法、装置，方法包括：获取各视频及其对应的类别标注结果；分别从各视频中提取预设类型的特征，并基于各特征构建各视频对应的组合特征；将从视频中提取的各特征与该视频对应的组合特征分别作为分类模型的输入，获取分类模型针对该视频的各特征与组合特征的输出结果；根据分类模型针对视频的各特征与组合特征的输出结果与该视频对应的类别标注结果，分别获取同一个视频的各特征与组合特征对应的损失函数；根据同一个视频的各特征以及组合特征对应的损失函数确定分类模型的损失函数，并利用分类模型的损失函数调整分类模型的参数，得到视频分类模型。本发明能够提升所建立的视频分类模型的分类准确性。

Description

建立视频分类模型以及视频分类的方法、装置
【技术领域】
本发明涉及自然语言处理技术领域，尤其涉及一种建立视频分类模型以及视频分类的方法、装置、设备和计算机存储介质。
【背景技术】
现有技术在通过视频的多个特征进行视频分类模型的建立时，往往只使用视频多个特征的组合特征所对应的损失函数来优化分类模型的参数。但仅使用视频的组合特征进行分类模型损失函数的计算时，无法兼顾视频中所有特征的贡献，会导致丢失原始的单个特征所包含信息的问题，使得最终训练得到的视频分类模型对视频分类的准确性较低。
【发明内容】
有鉴于此，本发明提供了一种建立视频分类模型以及视频分类的方法、装置、设备和计算机存储介质，用于在分类模型的训练过程中兼顾视频中所有特征的贡献，从而提升所建立的视频分类模型的分类准确性。
本发明为解决技术问题所采用的技术方案为提供一种建立视频分类模型的方法，所述方法包括：获取训练数据，所述训练数据中包含各视频以及各视频对应的类别标注结果；分别从所述各视频中提取预设类型的特征，并基于所提取的各特征构建所述各视频对应的组合特征；将从视频中所提取的各特征以及该视频对应的组合特征分别作为分类模型的输入，获取所述分类模型针对该视频的各特征以及组合特征的输出结果；根据所述分类模型针对所述视频的各特征以及组合特征的输出结果与该视频对应的类别标注结果，分别获取同一个视频的各特征以及组合特征所对应的损失函数；根据所述同一个视频的各特征以及组合特征所对应的损失函数，确定所述分类模型的损失函数，并利用所述分类模型的损失函数调整所述分类模型的参数，得到视频分类模型。
根据本发明一优选实施例，所述预设类型的特征为视频的视觉特征、视频的音频特征、视频中音频对应的文字特征、视频中字幕以及剧目名称的特征、视频中的人脸特征、视频封面图的特征、视频所属标签的特征、视频标题的特征以及视频的知识库特征中的至少两种。
根据本发明一优选实施例，所述基于所提取的各特征构建所述各视频对应的组合特征包括：将从所述视频中提取的各特征进行拼接，得到拼接结果；获取从所述视频中提取的各特征之间的组合关系；根据所提取的视频中每个特征对其他特征的注意力，对所提取的各特征进行调整，获取调整后的各特征；将所述拼接结果、各特征之间的组合关系以及调整后的各特征进行拼接，将拼接结果作为所述各视频对应的组合特征。
根据本发明一优选实施例，所述分别获取同一个视频的各特征以及组合特征所对应的损失函数包括：根据所述各视频对应的类别标注结果，确定所述各视频所属的分类任务；根据所述各视频所属的分类任务确定损失函数的计算公式；根据所确定的损失函数的计算公式，分别获取同一个视频的各特征以及组合特征所对应的损失函数。
根据本发明一优选实施例，所述根据所述同一个视频的各特征以及组合特征所对应的损失函数，确定分类模型的损失函数包括：将所述同一个视频的各特征的损失函数以及组合特征的损失函数的和，确定为分类模型的损失函数。
根据本发明一优选实施例，所述方法还包括：所述分类模型的训练目标为最小化所述分类模型的损失函数。
本发明为解决技术问题所采用的技术方案是提供一种视频分类的方法，所述方法包括：获取待分类视频；从所述待分类视频中提取预设类型的特征，并基于所提取的特征构建所述待分类视频对应的组合特征；将所述待分类视频对应的组合特征作为视频分类模型的输入，根据所述视频分类模型的输出结果确定所述待分类视频的所属类别。
根据本发明一优选实施例，所述基于所提取的特征构建所述待分类视频对应的组合特征包括：将从所述待分类视频中所提取的特征进行拼接，得到拼接结果；获取从所述待分类视频中所提取的特征之间的组合关系；根据从所述待分类视频中所提取的每个特征对其他特征的注意力，对所提取的特征进行调整，获取调整后的各特征；将所述拼接结果、特征之间的组合关系以及调整后的各特征进行拼接，将拼接结果作为所述待分类视频对应的组合特征。
根据本发明一优选实施例，所述根据所述视频分类模型的输出结果确定所述待分类视频的所属类别包括：确定所述视频分类模型的输出结果中大于预设阈值的概率值；将所确定的概率值对应的类别确定为所述待分类视频的所属类别。
本发明为解决技术问题所采用的技术方案为提供一种建立视频分类模型的装置，所述装置包括：第一获取单元，用于获取训练数据，所述训练数据中包含各视频以及各视频对应的类别标注结果；第一构建单元，用于分别从所述各视频中提取预设类型的特征，并基于所提取的各特征构建所述各视频对应的组合特征；第一处理单元，用于将从视频中所提取的各特征以及该视频对应的组合特征分别作为分类模型的输入，获取所述分类模型针对该视频的各特征以及组合特征的输出结果；第一训练单元，用于根据所述分类模型针对所述视频的各特征以及组合特征的输出结果与该视频对应的类别标注结果，分别获取同一个视频的各特征以及组合特征所对应的损失函数；第二训练单元，用于根据所述同一个视频的各特征以及组合特征所对应的损失函数，确定所述分类模型的损失函数，并利用所述分类模型的损失函数调整所述分类模型的参数，得到视频分类模型。
根据本发明一优选实施例，所述预设类型的特征为视频的视觉特征、视频的音频特征、视频中音频对应的文字特征、视频中字幕以及剧目名称的特征、视频中的人脸特征、视频封面图的特征、视频所属标签的特征、视频标题的特征以及视频的知识库特征中的至少两种。
根据本发明一优选实施例，所述第一构建单元在基于所提取的特征构建所述各视频对应的组合特征时，具体执行：将从所述视频中提取的各特征进行拼接，得到拼接结果；获取从所述视频中提取的各特征之间的组合关系；根据所提取的视频中每个特征对其他特征的注意力，对所提取的各特征进行调整，获取调整后的各特征；将所述拼接结果、各特征之间的组合关系以及调整后的各特征进行拼接，将拼接结果作为所述各视频对应的组合特征。
根据本发明一优选实施例，所述第一训练单元在分别获取同一个视频的各特征以及组合特征所对应的损失函数时，具体执行：根据所述各视频对应的类别标注结果，确定所述各视频所属的分类任务；根据所述各视频所属的分类任务确定损失函数的计算公式；根据所确定的损失函数的计算公式，分别获取同一个视频的各特征以及组合特征所对应的损失函数。
根据本发明一优选实施例，所述第二训练单元在根据所述同一个视频的各特征以及组合特征所对应的损失函数，确定分类模型的损失函数时，具体执行：将所述同一个视频的各特征的损失函数以及组合特征的损失函数的和，确定为分类模型的损失函数。
根据本发明一优选实施例，所述第二训练单元还执行：用于使所述分类模型的训练目标为最小化所述分类模型的损失函数。
本发明为解决技术问题所采用的技术方案为提供一种视频分类的装置，所述装置包括：第二获取单元，用于获取待分类视频；第二构建单元，用于从所述待分类视频中提取预设类型的特征，并基于所提取的特征构建所述待分类视频对应的组合特征；第二处理单元，用于将所述待分类视频对应的组合特征作为视频分类模型的输入，根据所述视频分类模型的输出结果确定所述待分类视频的所属类别。
根据本发明一优选实施例，所述第二构建单元在基于所提取的特征构建所述待分类视频对应的组合特征时，具体执行：将从所述待分类视频中所提取的特征进行拼接，得到拼接结果；获取从所述待分类视频中所提取的特征之间的组合关系；根据从所述待分类视频中所提取的每个特征对其他特征的注意力，对所提取的特征进行调整，获取调整后的各特征；将所述拼接结果、特征之间的组合关系以及调整后的各特征进行拼接，将拼接结果作为所述待分类视频对应的组合特征。
根据本发明一优选实施例，所述第二处理单元在根据所述视频分类模型的输出结果确定所述待分类视频的所属类别时，具体执行：确定所述视频分类模型的输出结果中大于预设阈值的概率值；将所确定的概率值对应的类别确定为所述待分类视频的所属类别。
由以上技术方案可以看出，本发明通过利用视频的各特征所对应的损失函数以及视频对应的组合特征所对应的损失函数，得到分类模型的损失函数，进而根据所得到的损失函数来训练得到视频分类模型，使得分类模型的训练过程中能够兼顾视频中所有特征的贡献，避免视频中的单个特征所包含信息丢失的问题，从而提升所建立的视频分类模型的分类准确性。
【附图说明】
图1为本发明一实施例提供的一种建立视频分类模型的方法流程图；
图2为本发明一实施例提供的一种视频分类的方法流程图；
图3为本发明一实施例提供的一种建立视频分类模型的装置结构图；
图4为本发明一实施例提供的一种视频分类的装置结构图；
图5为本发明一实施例提供的计算机***/服务器的框图。
【具体实施方式】
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
图1为本发明一实施例提供的一种建立视频分类模型的方法流程图，如图1中所示，所述方法包括：
在101中，获取训练数据，所述训练数据中包含各视频以及各视频对应的类别标注结果。
在本步骤中，获取各视频以及各视频所对应的类别标注结果作为训练数据，所获取的训练数据用于训练得到视频分类模型。其中，本步骤可以通过终端或服务器端来获取训练数据。
具体地，本步骤获取的各视频对应的类别标注结果为各视频属于预设类别中各个类别的标签集合。其中，本步骤可以由人工将视频所属类别的标签标注为“1”，将其他类别的标签标注为“0”。
举例来说，若预设类别中分别包含有类别1、类别2、类别3以及类别4，若获取的视频A所属的类别为类别1以及类别3，则本步骤获取的视频A对应的类别标注结果可以为[1,0,1,0]。
在102中，分别从所述各视频中提取预设类型的特征，并基于所提取的特征构建所述各视频对应的组合特征。
在本步骤中，分别从步骤101所获取的各视频中提取预设类型的特征，进而基于所提取的特征构建各视频对应的组合特征。其中，本步骤可以由服务器端根据所获取的视频进行特征的提取以及构建。
具体地，本步骤所提取的预设类型的特征为视频的视觉特征、视频的音频特征、视频中音频对应的文字特征、视频中字幕以及剧目名称的特征、视频中的人脸特征、视频封面图的特征、视频所属标签的特征、视频标题的特征以及视频的知识库特征等中的至少两种。
可以理解的是，本步骤在从视频中提取预设类型的特征时，可以使用现有技术进行提取。本发明对提取视频中预设类型的特征的方式不进行限定。
举例来说，可以采用以下方式提取视频的视觉特征：从视频中采样10帧图像；按照时间顺序组合各帧图像以得到图像序列；使用预先训练好的检测模型对图像序列中的每帧图像进行预测，例如使用RestNet(Representational State Transfer Net，表述性状态转移网络)模型，将每帧图像在该模型最后一层的全连接层的输出作为该图像的表示；将图像序列中所包含图像的表示进行组合，将组合结果作为该视频的视觉特征。
举例来说，可以采用以下方式提取视频的音频特征：从视频的音频中提取音频的梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficient,MFCC)；分别对音频中各词语对应的梅尔频率倒谱系数进行卷积处理，将处理结果作为视频的音频特征。
举例来说，可以采用以下方式提取视频中音频对应的文字特征：将视频中的音频识别为文字；对识别得到的文字进行分词，并根据分词结果得到音频对应的词向量序列；使用卷积神经网络对所得到的词向量序列进行处理，将处理结果作为视频中音频对应的文字特征。
举例来说，可以采用以下方式提取视频中字幕以及剧目名称的特征：对视频中的字幕进行OCR识别(Optical Character Recognition，光学字符识别)，根据识别结果生成文字序列；将所生成的文字序列进行分词，并根据分词结果得到词向量序列；使用卷积神经网络对所得到的词向量序列进行处理，将处理结果作为视频中字幕的特征；提取视频中的剧目名称并进行向量映射，将映射结果作为视频中剧目名称的特征。
举例来说，可以采用以下方式提取视频中的人脸特征：使用人脸识别工具识别出视频中含有的人物信息以及人物人脸的位置信息；使用BoW(Bag of Word，词袋)模型对识别得到的信息进行向量映射，将映射结果作为视频中的人脸特征。
举例来说，可以采用以下方式提取视频封面图的特征：提取视频的封面图；使用预先训练好的RestNet模型对该封面图进行预测，将该模型最后一层的全连接层的输出作为视频封面图的特征。
举例来说，可以采用以下方式提取视频所属标签的特征：获取视频在上传时由作者为该视频所打上的标签；使用BoW模型对该标签进行向量映射，将映射结果作为视频所属标签的特征。
举例来说，可以采用以下方式提取视频的标题特征：获取视频对应的标题；使用LSTM(long-short term memory，长短期记忆)模型对所获取的标题进行处理，将处理结果作为视频的标题特征。
举例来说，可以采用以下方式提取视频的知识库特征：从视频中提取作者标签、人物名称以及剧目名称等内容；从预设的知识库中查询得到与所提取的内容对应的知识库信息；将所提取的知识库信息进行向量映射，将映射结果作为视频的知识库特征。
本步骤在从各视频中提取得到预设类型的特征之后，便能够基于从各视频中所提取的特征进行融合，从而构建各视频所对应的组合特征。
具体地，本步骤在基于所提取的特征构建各视频对应的组合特征时，可以采用以下方式：将从视频中所提取的各特征进行拼接，得到拼接结果；获取从视频中所提取的各特征之间的组合关系，例如使用因式分解机(Factorization Machine，FM)来获取所提取的各特征之间的组合关系；根据所提取的视频中每个特征对其他特征的注意力，对所提取的各特征进行调整，获取调整后的各特征，例如使用注意力(ATTENTION)机制来对所提取的各特征进行调整；将所得到的拼接结果、各特征之间的组合关系以及调整后的各特征进行拼接，将拼接结果作为各视频对应的组合特征。
现有技术中通常使用将多个特征直接进行拼接来得到组合特征的方式，但该方式可能导致所得到的组合特征无法充分地获取各特征所包含信息的问题，从而使得特征之间的组合效果不够明显。而使用本发明所提供的上述组合方式，能够充分地获取各特征以及各特征之间所包含的信息，从而获取特征之间组合效果更为明显的组合特征。
可以理解的是，本步骤还可以直接将上述拼接结果、特征之间的组合关系以及调整后的特征中的至少一种作为各视频对应的组合特征；本步骤还可以将上述拼接结果、特征之间的组合关系以及调整后的特征中的任意两种的拼接结果，作为各视频对应的组合特征。
在103中，将从视频中所提取的各特征以及该视频对应的组合特征分别作为分类模型的输入，获取所述分类模型针对该视频的各特征以及组合特征的输出结果。
在本步骤中，将步骤102从视频中所提取的各特征以及所构建的各视频对应的组合特征分别作为分类模型的输入，从而获取分类模型针对该视频的各特征以及组合特征所输出的输出结果。
举例来说，若从视频A中提取出特征1、特征2以及特征3，若根据所提取的3个特征构建得到的组合特征为特征4，则本步骤分别将特征1、特征2、特征3以及特征4作为分类模型的输入，从而获取分类模型针对每个输入所输出的输出结果。
其中，本步骤所获取的分类模型的输出结果为与所输入的特征对应的视频属于每个预设类别的概率集合。
举例来说，若本步骤将视频A的特征1作为分类模型的输入，则模型的输出结果可以为[0.6,0.3,0.7,0.1]，即表明视频A属于类别1的概率为0.6，属于类别2的概率为0.3，属于类别3的概率为0.7，属于类别4的概率为0.1；同理，本步骤可分别得到分类模型针对视频A的特征2、3、4的输出结果。
可以理解的是，本步骤中的分类模型可以为支持向量机、回归模型或者深度学习模型，本发明对分类模型的类型不进行限定。
在104中，根据所述分类模型针对所述视频的各特征以及组合特征的输出结果与该视频对应的类别标注结果，分别获取同一个视频的各特征以及组合特征所对应的损失函数。
在本步骤中，根据步骤101中所获取的对应各视频的类别标注结果以及步骤103中由分类模型针对各视频的各特征以及组合特征的输出结果，分别获取同一个视频的各特征以及组合特征所对应的损失函数。
举例来说，若从视频A中提取得到特征1、特征2以及特征3，并根据所提取的3个特征得到的组合特征为特征4，则分别将特征1、特征2、特征3以及特征4作为输入得到分类模型的输出结果，并分别计算特征1、特征2、特征3以及特征4所对应的损失函数。
其中，本步骤在获取各特征以及组合特征所对应的损失函数时，需要根据视频对应的类别标注结果所属的分类任务来选取相对应的计算公式。
具体地，若视频对应的类别标注结果为二分类任务时，则损失函数的计算公式为：
Figure GDA0002737486750000101
在公式中：i表示第i个预设类别；yi表示与视频对应的类别标注结果中类别i对应的标注结果；si表示分类模型针对输入所输出的类别i的输出结果。
若视频对应的类别标注结果为多标签分类任务时，则损失函数的计算公式为：
Figure GDA0002737486750000102
在公式中：i表示第i个预设类别；yi表示与视频对应的类别标注结果中类别i对应的标注结果；si表示分类模型针对输入所输出的类别i的输出结果。
举例来说，若视频A的类别标注结果为[0，1，0，0]，表明视频A为二分类任务，则使用上述第一个计算公式计算视频A的各特征以及组合特征的损失函数，若根据视频A的特征1所得到的输出结果为[0.3，0.8，0.2，0.4]，则该特征1对应的损失函数为：-log(0.8)。
若视频A的类别标注结果为[0，1，1，0]，表明视频A为多标签分类任务，则使用上述第二个计算公式计算视频A的各特征以及组合特征的损失函数，若根据视频A的特征1所得到的输出结果为[0.3，0.8，0.2，0.4]，则该特征1对应的损失函数为：[-log(0.7)]+[-log(0.8)]+[-log(0.2)]+[-log(0.6)]。
在105中，根据所述同一个视频的各特征以及组合特征所对应的损失函数，确定分类模型的损失函数，并利用所述分类模型的损失函数调整分类模型的参数，得到视频分类模型。
在本步骤中，根据步骤104中所获取的同一个视频的各特征的损失函数以及该视频的组合特征的损失函数，确定分类模型的损失函数，进而利用所确定的分类模型的损失函数来调整分类模型的参数，得到视频分类模型。
也就是说，本步骤除了能够获取视频对应的组合特征所贡献的损失之外，还能够获取从视频中所提取的各特征所贡献的损失，避免所得到的组合特征丢失原始特征的信息的问题，从而使得分类模型能够更好地兼顾视频中所有特征的贡献。
具体地，本步骤在根据同一个视频的各特征以及组合特征所对应的损失函数确定分类模型的损失函数时，可以采用以下方式：将同一个视频的各特征的损失函数以及组合特征的损失函数的和，确定为分类模型的损失函数。
举例来说，若视频A的特征1所获取的损失函数为loss1、特征2所获取的损失函数为loss2、特征3所获取的损失函数为loss3、特征4所获取的损失函数为loss4，则分类模型的损失函数为：loss1+loss2+loss3+loss4。
可以理解的是，本步骤在对分类模型进行训练时，训练目标为最小化分类模型的损失函数。其中，最小化分类模型的损失函数时可以包括：在预设次数内得到的损失函数相等，或者在预设次数内得到的损失函数之间的差值小于或等于预设阈值，等等。
在将分类模型训练完毕后，就得到了视频分类模型。利用该视频分类模型，能够根据所输入的待分类视频的组合特征得到该视频属于每个预设类别的概率集合，进而根据所得到的概率集合确定待分类视频所属的类别。
图2为本发明一实施例提供的一种视频分类的方法流程图，如图2中所示，所述方法包括：
在201中，获取待分类视频。
在本步骤，获取待分类视频。可以理解的是，所获取的待分类视频可以为用户通过终端实时拍摄的视频，也可以为用户选取存储在终端本地的视频，还可以为用户通过终端从互联网中所选取的视频；本步骤在获取待分类视频之后，将其发送至服务器端进行后续处理。
在202中，从所述待分类视频中提取预设类型的特征，并基于所提取的特征构建所述待分类视频对应的组合特征。
在本步骤中，从步骤201中所获取的待分类视频中提取预设类型的特征，并基于所提取的特征构建该待分类视频对应的组合特征。其中，本步骤可以由服务器端根据所获取的待分类视频进行特征的提取以及构建。
其中，本步骤从待分类视频中所提取的预设类型的特征为视频的视觉特征、视频的音频特征、视频中音频对应的文字特征、视频中字幕以及剧目名称的特征、视频中的人脸特征、视频封面图的特征、视频所属标签的特征、视频标题的特征以及视频的知识库特征等特征中的至少两种。对于每种特征的提取方式已在上文描述，在此不进行赘述。
具体地，本步骤在基于所提取的特征构建该待分类视频对应的组合特征时，可以采用以下方式：将从待分类视频中所提取的各特征进行拼接，得到拼接结果；获取从待分类视频中所提取的各特征之间的组合关系；根据从待分类视频中所提取的每个特征对其他特征的注意力，对所提取的各特征进行调整，获取调整后的各特征；将所得到的拼接结果、各特征之间的组合关系以及调整后的各特征进行拼接，将拼接结果作为待分类视频对应的组合特征。
在203中，将所述待分类视频对应的组合特征作为视频分类模型的输入，根据所述视频分类模型的输出结果确定待分类视频的所属类别。
在本步骤中，将步骤202中所构建的待分类视频对应的组合特征输入预先训练得到的视频分类模型，根据视频分类模型的输出结果确定待分类视频的所属类别。其中，视频分类模型的输出结果为待分类视频属于每个预设类别的概率集合。
具体地，本步骤在根据视频分类模型的输出结果确定待分类视频的所属类别时，可以采用以下方式：确定视频分类模型的输出结果中大于预设阈值的概率值；将所确定的概率值对应的类别确定为待分类视频的所属类别。
举例来说，若待分类视频为视频B，所构建的视频B对应的组合特征为特征5，将特征5输入预先训练得到的视频分类模型，若得到的输出结果为[0.3，0.7，0.8，0.2]，若预设阈值为0.5，则将概率值0.7以及0.8对应的类别确定为视频B的所属类别。
图3为本发明一实施例提供的一种建立视频分类模型的装置结构图，如图3中所示，所述装置包括：第一获取单元31、第一构建单元32、第一处理单元33、第一训练单元34以及第而训练单元35。
第一获取单元31，用于获取训练数据，所述训练数据中包含各视频以及各视频对应的类别标注结果。
第一获取单元31获取各视频以及各视频所对应的类别标注结果作为训练数据，所获取的训练数据用于训练得到视频分类模型。其中，第一获取单元31可以通过终端或服务器端来获取训练数据。
具体地，第一获取单元31获取的各视频对应的类别标注结果为各视频属于预设类别中各个类别的标签集合。其中，第一获取单元31可以由人工将视频所属类别的标签标注为“1”，将其他类别的标签标注为“0”。
第一构建单元32，用于分别从所述各视频中提取预设类型的特征，并基于所提取的特征构建所述各视频对应的组合特征。
第一构建单元32分别从第一获取单元31所获取的各视频中提取预设类型的特征，进而基于所提取的特征构建各视频对应的组合特征。其中，第一构建单元32可以由服务器端根据所获取的视频进行特征的提取以及构建。
具体地，第一构建单元32所提取的预设类型的特征为视频的视觉特征、视频的音频特征、视频中音频对应的文字特征、视频中字幕以及剧目名称的特征、视频中的人脸特征、视频封面图的特征、视频所属标签的特征、视频标题的特征以及视频的知识库特征等中的至少两种。
可以理解的是，第一构建单元32在从视频中提取预设类型的特征时，可以使用现有技术进行提取。本发明对提取视频中预设类型的特征的方式不进行限定。
第一构建单元32在从各视频中提取得到预设类型的特征之后，便能够基于从各视频中所提取的特征进行融合，从而构建各视频所对应的组合特征。
具体地，第一构建单元32在基于所提取的特征构建各视频对应的组合特征时，可以采用以下方式：将从视频中所提取的各特征进行拼接，得到拼接结果；获取从视频中所提取的各特征之间的组合关系；根据所提取的视频中每个特征对其他特征的注意力，对所提取的各特征进行调整，获取调整后的各特征；将所得到的拼接结果、各特征之间的组合关系以及调整后的各特征进行拼接，将拼接结果作为各视频对应的组合特征。
现有技术中通常使用将多个特征直接进行拼接来得到组合特征的方式，但该方式可能导致所得到的组合特征无法充分地获取各特征所包含信息的问题，使得特征之间的组合效果不够明显。而使用本发明所提供的上述组合方式，能够充分地获取各特征以及各特征之间所包含的信息，从而获取特征之间组合效果更为明显的组合特征。
可以理解的是，第一构建单元32还可以直接将上述拼接结果、各特征之间的组合关系以及调整后的各特征中的至少一种作为各视频对应的组合特征；第一构建单元32还可以将上述拼接结果、各特征之间的组合关系以及调整后的各特征中的任意两种的拼接结果，作为各视频对应的组合特征。
第一处理单元33，用于将从视频中所提取的各特征以及该视频对应的组合特征分别作为分类模型的输入，获取所述分类模型针对该视频的各特征以及组合特征的输出结果。
第一处理单元33将第一构建单元32从视频中所提取的各特征以及所构建的各视频对应的组合特征分别作为分类模型的输入，从而获取分类模型针对该视频的各特征以及组合特征所输出的输出结果。
其中，第一处理单元33所获取的分类模型的输出结果为与所输入的特征对应的视频属于每个预设类别的概率集合。
可以理解的是，第一处理单元33中的分类模型可以为支持向量机、回归模型或者深度学习模型，本发明对分类模型的类型不进行限定。
第一训练单元34，用于根据所述分类模型针对所述视频的各特征以及组合特征的输出结果与该视频对应的类别标注结果，分别获取同一个视频的各特征以及组合特征所对应的损失函数。
第一训练单元34根据第一获取单元31所获取的对应各视频的类别标注结果以及第一处理单元33由分类模型针对各视频的各特征以及组合特征的输出结果，分别获取同一个视频的各特征以及组合特征所对应的损失函数。
第一训练单元34在获取各特征以及组合特征所对应的损失函数时，需要根据视频对应的类别标注结果所属的分类任务来选取相对应的计算公式。
具体地，若视频对应的类别标注结果为二分类任务时，则损失函数的计算公式为：
Figure GDA0002737486750000151
在公式中：i表示第i个预设类别；yi表示与视频对应的类别标注结果中类别i对应的标注结果；si表示分类模型针对输入所输出的类别i的输出结果。
若视频对应的类别标注结果为多标签分类任务时，则损失函数的计算公式为：
Figure GDA0002737486750000152
在公式中：i表示第i个预设类别；yi表示与视频对应的类别标注结果中类别i对应的标注结果；si表示分类模型针对输入所输出的类别i的输出结果。
第二训练单元35，用于根据所述同一个视频的各特征以及组合特征所对应的损失函数，确定所述分类模型的损失函数，并利用所述分类模型的损失函数调整所述分类模型的参数，得到视频分类模型。
第二训练单元35根据第一训练单元34所获取的同一个视频的各特征的损失函数以及该视频的组合特征的损失函数，确定分类模型的损失函数，进而利用所确定的分类模型的损失函数来调整分类模型的参数，得到视频分类模型。
也就是说，第二训练单元35除了能够获取视频对应的组合特征所贡献的损失之外，还能够获取从视频中所提取的各特征所贡献的损失，避免所得到的组合特征丢失原始特征的信息的问题，从而使得分类模型能够更好地兼顾视频中所有特征的贡献。
具体地，第二训练单元35在根据同一个视频的各特征以及组合特征所对应的损失函数确定分类模型的损失函数时，可以采用以下方式：将同一个视频的各特征的损失函数以及组合特征的损失函数的和，确定为分类模型的损失函数。
可以理解的是，第二训练单元35在对分类模型进行训练时，训练目标为最小化分类模型的损失函数。其中，最小化分类模型的损失函数时可以包括：在预设次数内得到的损失函数相等，或者在预设次数内得到的损失函数之间的差值小于或等于预设阈值，等等。
第二训练单元35在将分类模型训练完毕后，就得到了视频分类模型。利用该视频分类模型，能够根据所输入的待分类视频的组合特征得到该视频属于每个预设类别的概率集合，进而根据所得到的概率集合确定待分类视频所属的类别。
图4为本发明一实施例提供的一种视频分类的装置结构图，如图4中所示，所述装置包括：第二获取单元41、第二构建单元42以及第二处理单元43。
第二获取单元41，用于获取待分类视频。
第二获取单元41获取待分类视频。可以理解的是，所获取的待分类视频可以为用户通过终端实时拍摄的视频，也可以为用户选取存储在终端本地的视频，还可以为用户通过终端从互联网中所选取的视频；第二获取单元41在获取待分类视频之后，将其发送至服务器端进行后续处理。
第二构建单元42，用于从所述待分类视频中提取预设类型的特征，并基于所提取的特征构建所述待分类视频对应的组合特征。
第二构建单元42从第二获取单元41中所获取的待分类视频中提取预设类型的特征，并基于所提取的特征构建该待分类视频对应的组合特征。其中，第二构建单元42可以由服务器端根据所获取的待分类视频进行特征的提取以及构建。
其中，第二构建单元42从待分类视频中所提取的预设类型的特征为视频的视觉特征、视频的音频特征、视频中音频对应的文字特征、视频中字幕以及剧目名称的特征、视频中的人脸特征、视频封面图的特征、视频所属标签的特征、视频标题的特征以及视频的知识库特征等特征中的至少两种。对于每种特征的提取方式已在上文描述，在此不进行赘述。
具体地，第二构建单元42在基于所提取的特征构建该待分类视频对应的组合特征时，可以采用以下方式：将从待分类视频中所提取的各特征进行拼接，得到拼接结果；获取从待分类视频中所提取的各特征之间的组合关系；根据从待分类视频中所提取的每个特征对其他特征的注意力，对所提取的各特征进行调整，获取调整后的各特征；将所得到的拼接结果、各特征之间的组合关系以及调整后的各特征进行拼接，将拼接结果作为待分类视频对应的组合特征。
第二处理单元43，用于将所述待分类视频对应的组合特征作为视频分类模型的输入，根据所述视频分类模型的输出结果确定待分类视频的所属类别。
第二处理单元43将第二构建单元42所构建的待分类视频对应的组合特征输入预先训练得到的视频分类模型，根据视频分类模型的输出结果确定待分类视频的所属类别。其中，视频分类模型的输出结果为待分类视频属于每个预设类别的概率集合。
具体地，第二处理单元43在根据视频分类模型的输出结果确定待分类视频的所属类别时，可以采用以下方式：确定视频分类模型的输出结果中大于预设阈值的概率值；将所确定的概率值对应的类别确定为待分类视频的所属类别。
如图5所示，计算机***/服务器012以通用计算设备的形式表现。计算机***/服务器012的组件可以包括但不限于：一个或者多个处理器或者处理单元016，***存储器028，连接不同***组件(包括***存储器028和处理单元016)的总线018。
总线018表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
计算机***/服务器012典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机***/服务器012访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
***存储器028可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)030和/或高速缓存存储器032。计算机***/服务器012可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***034可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线018相连。存储器028可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块042的程序/实用工具040，可以存储在例如存储器028中，这样的程序模块042包括——但不限于——操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块042通常执行本发明所描述的实施例中的功能和/或方法。
计算机***/服务器012也可以与一个或多个外部设备014(例如键盘、指向设备、显示器024等)通信，在本发明中，计算机***/服务器012与外部雷达设备进行通信，还可与一个或者多个使得用户能与该计算机***/服务器012交互的设备通信，和/或与使得该计算机***/服务器012能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口022进行。并且，计算机***/服务器012还可以通过网络适配器020与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器020通过总线018与计算机***/服务器012的其它模块通信。应当明白，尽管图中未示出，可以结合计算机***/服务器012使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理单元016通过运行存储在***存储器028中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的方法流程。
随着时间、技术的发展，介质含义越来越广泛，计算机程序的传播途径不再受限于有形介质，还可以直接从网络下载等。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
利用本发明所提供的技术方案，通过视频的各特征所对应的损失函数以及视频对应的组合特征所对应的损失函数，得到分类模型的损失函数，进而根据所得到的损失函数来训练得到视频分类模型，使得分类模型的训练过程中能够兼顾视频中所有特征的贡献，避免视频中的单个特征所包含信息丢失的问题，而由于使用了更为丰富的信息进行分类模型的训练，从而能够提升所建立的视频分类模型的分类准确性。
在本发明所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (18)

1.一种建立视频分类模型的方法，其特征在于，所述方法包括：
获取训练数据，所述训练数据中包含各视频以及各视频对应的类别标注结果；
分别从所述各视频中提取至少两种预设类型的特征，并基于所提取的各特征构建所述各视频对应的组合特征；
将从同一个视频中所提取的各特征以及该同一个视频对应的组合特征分别作为分类模型的输入，获取所述分类模型针对该同一个视频的各特征以及组合特征的输出结果；
根据所述分类模型针对所述同一个视频的各特征以及组合特征的输出结果与该同一个视频对应的类别标注结果，分别获取所述同一个视频的各特征以及组合特征所对应的损失函数；
根据所述同一个视频的各特征以及组合特征所对应的损失函数，确定所述分类模型的损失函数，并利用所述分类模型的损失函数调整所述分类模型的参数，得到视频分类模型。
2.根据权利要求1所述的方法，其特征在于，所述基于所提取的各特征构建所述各视频对应的组合特征包括：
将从所述视频中提取的各特征进行拼接，得到拼接结果；
获取从所述视频中提取的各特征之间的组合关系；
根据所提取的视频中每个特征对其他特征的注意力，对所提取的各特征进行调整，获取调整后的各特征；
将所述拼接结果、各特征之间的组合关系以及调整后的各特征进行拼接作为所述各视频对应的组合特征。
3.根据权利要求1所述的方法，其特征在于，所述分别获取同一个视频的各特征以及组合特征所对应的损失函数包括：
根据所述各视频对应的类别标注结果，确定所述各视频所属的分类任务；
根据所述各视频所属的分类任务确定损失函数的计算公式；
根据所确定的损失函数的计算公式，分别获取同一个视频的各特征以及组合特征所对应的损失函数。
4.根据权利要求1所述的方法，其特征在于，所述根据所述同一个视频的各特征以及组合特征所对应的损失函数，确定分类模型的损失函数包括：
将所述同一个视频的各特征的损失函数以及组合特征的损失函数的和，确定为分类模型的损失函数。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述分类模型的训练目标为最小化所述分类模型的损失函数。
6.一种视频分类的方法，其特征在于，所述方法包括：
获取待分类视频；
从所述待分类视频中提取预设类型的特征，并基于所提取的特征构建所述待分类视频对应的组合特征；
将所述待分类视频对应的组合特征作为视频分类模型的输入，根据所述视频分类模型的输出结果确定所述待分类视频的所属类别；
所述视频分类模型是根据权利要求1～5中任一项权利要求所述的建立视频分类模型的方法预先构建的。
7.根据权利要求6所述的方法，其特征在于，所述基于所提取的特征构建所述待分类视频对应的组合特征包括：
将从所述待分类视频中所提取的特征进行拼接，得到拼接结果；
获取从所述待分类视频中所提取的特征之间的组合关系；
根据从所述待分类视频中所提取的每个特征对其他特征的注意力，对所提取的特征进行调整，获取调整后的各特征；
将所述拼接结果、特征之间的组合关系以及调整后的各特征进行拼接作为所述待分类视频对应的组合特征。
8.根据权利要求6所述的方法，其特征在于，所述根据所述视频分类模型的输出结果确定所述待分类视频的所属类别包括：
确定所述视频分类模型的输出结果中大于预设阈值的概率值；
将所确定的概率值对应的类别确定为所述待分类视频的所属类别。
9.一种建立视频分类模型的装置，其特征在于，所述装置包括：
第一获取单元，用于获取训练数据，所述训练数据中包含各视频以及各视频对应的类别标注结果；
第一构建单元，用于分别从所述各视频中提取至少两种预设类型的特征，并基于所提取的各特征构建所述各视频对应的组合特征；
第一处理单元，用于将从同一个视频中所提取的各特征以及该同一个视频对应的组合特征分别作为分类模型的输入，获取所述分类模型针对该同一个视频的各特征以及组合特征的输出结果；
第一训练单元，用于根据所述分类模型针对所述同一个视频的各特征以及组合特征的输出结果与该同一个视频对应的类别标注结果，分别获取所述同一个视频的各特征以及组合特征所对应的损失函数；
第二训练单元，用于根据所述同一个视频的各特征以及组合特征所对应的损失函数，确定所述分类模型的损失函数，并利用所述分类模型的损失函数调整所述分类模型的参数，得到视频分类模型。
10.根据权利要求9所述的装置，其特征在于，所述第一构建单元在基于所提取的特征构建所述各视频对应的组合特征时，具体执行：
将从所述视频中提取的各特征进行拼接，得到拼接结果；
获取从所述视频中提取的各特征之间的组合关系；
根据所提取的视频中每个特征对其他特征的注意力，对所提取的各特征进行调整，获取调整后的各特征；
将所述拼接结果、各特征之间的组合关系以及调整后的各特征进行拼接作为所述各视频对应的组合特征。
11.根据权利要求9所述的装置，其特征在于，所述第一训练单元在分别获取同一个视频的各特征以及组合特征所对应的损失函数时，具体执行：
根据所述各视频对应的类别标注结果，确定所述各视频所属的分类任务；
根据所述各视频所属的分类任务确定损失函数的计算公式；
根据所确定的损失函数的计算公式，分别获取同一个视频的各特征以及组合特征所对应的损失函数。
12.根据权利要求9所述的装置，其特征在于，所述第二训练单元在根据所述同一个视频的各特征以及组合特征所对应的损失函数，确定分类模型的损失函数时，具体执行：
将所述同一个视频的各特征的损失函数以及组合特征的损失函数的和，确定为分类模型的损失函数。
13.根据权利要求9所述的装置，其特征在于，所述第二训练单元还执行：
用于使所述分类模型的训练目标为最小化所述分类模型的损失函数。
14.一种视频分类的装置，其特征在于，所述装置包括：
第二获取单元，用于获取待分类视频；
第二构建单元，用于从所述待分类视频中提取预设类型的特征，并基于所提取的特征构建所述待分类视频对应的组合特征；
第二处理单元，用于将所述待分类视频对应的组合特征作为视频分类模型的输入，根据所述视频分类模型的输出结果确定所述待分类视频的所属类别；
所述视频分类模型是根据权利要求9～13中任一项权利要求所述的建立视频分类模型的装置预先构建的。
15.根据权利要求14所述的装置，其特征在于，所述第二构建单元在基于所提取的特征构建所述待分类视频对应的组合特征时，具体执行：
将从所述待分类视频中所提取的特征进行拼接，得到拼接结果；
获取从所述待分类视频中所提取的特征之间的组合关系；
根据从所述待分类视频中所提取的每个特征对其他特征的注意力，对所提取的特征进行调整，获取调整后的各特征；
将所述拼接结果、特征之间的组合关系以及调整后的各特征进行拼接作为所述待分类视频对应的组合特征。
16.根据权利要求14所述的装置，其特征在于，所述第二处理单元在根据所述视频分类模型的输出结果确定所述待分类视频的所属类别时，具体执行：
确定所述视频分类模型的输出结果中大于预设阈值的概率值；
将所确定的概率值对应的类别确定为所述待分类视频的所属类别。
17.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～8中任一项所述的方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～8中任一项所述的方法。
CN201910461500.8A 2019-05-30 2019-05-30 建立视频分类模型以及视频分类的方法、装置 Active CN110232340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910461500.8A CN110232340B (zh) 2019-05-30 2019-05-30 建立视频分类模型以及视频分类的方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910461500.8A CN110232340B (zh) 2019-05-30 2019-05-30 建立视频分类模型以及视频分类的方法、装置

Publications (2)

Publication Number Publication Date
CN110232340A CN110232340A (zh) 2019-09-13
CN110232340B true CN110232340B (zh) 2021-01-22

Family

ID=67858724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910461500.8A Active CN110232340B (zh) 2019-05-30 2019-05-30 建立视频分类模型以及视频分类的方法、装置

Country Status (1)

Country Link
CN (1) CN110232340B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717067B (zh) * 2019-12-16 2020-05-05 北京海天瑞声科技股份有限公司 视频中音频聚类的处理方法和装置
CN112016586A (zh) * 2020-07-08 2020-12-01 武汉智筑完美家居科技有限公司 图片分类方法及装置
CN112165634B (zh) * 2020-09-29 2022-09-16 北京百度网讯科技有限公司 建立音频分类模型的方法、自动转换视频的方法和装置
CN112418215A (zh) * 2020-11-17 2021-02-26 峰米(北京)科技有限公司 一种视频分类识别方法、装置、存储介质和设备
CN113032627A (zh) * 2021-03-25 2021-06-25 北京小米移动软件有限公司 视频分类方法、装置、存储介质及终端设备
CN113378784B (zh) * 2021-07-01 2022-06-07 北京百度网讯科技有限公司 视频标签推荐模型的训练方法和确定视频标签的方法
CN113449700B (zh) * 2021-08-30 2021-11-23 腾讯科技（深圳）有限公司 视频分类模型的训练、视频分类方法、装置、设备及介质
CN114064973B (zh) * 2022-01-11 2022-05-03 人民网科技(北京)有限公司 视频新闻分类模型建立方法、分类方法、装置及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8452778B1 (en) * 2009-11-19 2013-05-28 Google Inc. Training of adapted classifiers for video categorization
CN105975594A (zh) * 2016-05-09 2016-09-28 清华大学 基于组合特征向量和SVMperf的情感分类方法及装置
CN107169455B (zh) * 2017-05-16 2020-08-28 中山大学 基于深度局部特征的人脸属性识别方法
CN109190482B (zh) * 2018-08-06 2021-08-20 北京奇艺世纪科技有限公司 多标签视频分类方法及***、***训练方法及装置

Also Published As

Publication number Publication date
CN110232340A (zh) 2019-09-13

Similar Documents

Publication Publication Date Title
CN110232340B (zh) 建立视频分类模型以及视频分类的方法、装置
CN109117777B (zh) 生成信息的方法和装置
US11151406B2 (en) Method, apparatus, device and readable storage medium for image-based data processing
CN110245259B (zh) 基于知识图谱的视频打标签方法及装置、计算机可读介质
WO2021072875A1 (zh) 智能对话的生成方法、装置、计算机设备及计算机存储介质
CN110942011B (zh) 一种视频事件识别方法、***、电子设备及介质
CN109660865B (zh) 为视频自动打视频标签的方法及装置、介质和电子设备
CN107909088B (zh) 获取训练样本的方法、装置、设备和计算机存储介质
CN113158656B (zh) 讽刺内容识别方法、装置、电子设备以及存储介质
CN111709406A (zh) 文本行识别方法及装置、可读存储介质、电子设备
CN107948730B (zh) 基于图片生成视频的方法、装置、设备及存储介质
CN110188766B (zh) 基于卷积神经网络的图像主目标检测方法及装置
CN110851641A (zh) 跨模态检索方法、装置和可读存储介质
CN114358203A (zh) 图像描述语句生成模块的训练方法及装置、电子设备
CN112613293B (zh) 摘要生成方法、装置、电子设备及存储介质
CN114495128B (zh) 字幕信息检测方法、装置、设备以及存储介质
CN112149663A (zh) 结合rpa和ai的图像文字的提取方法、装置及电子设备
CN112650867A (zh) 图片匹配方法、装置、电子设备以及存储介质
CN114218945A (zh) 实体识别方法、装置、服务器及存储介质
CN109657127B (zh) 一种答案获取方法、装置、服务器及存储介质
CN113762303B (zh) 图像分类方法、装置、电子设备及存储介质
CN111460224B (zh) 评论数据的质量标注方法、装置、设备及存储介质
CN112822506A (zh) 用于分析视频流的方法和装置
CN112542163B (zh) 智能语音交互方法、设备及存储介质
CN111477212A (zh) 内容识别、模型训练、数据处理方法、***及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant