CN111277892B - 用于选取视频片段的方法、装置、服务器和介质 - Google Patents

用于选取视频片段的方法、装置、服务器和介质 Download PDF

Info

Publication number
CN111277892B
CN111277892B CN202010065171.8A CN202010065171A CN111277892B CN 111277892 B CN111277892 B CN 111277892B CN 202010065171 A CN202010065171 A CN 202010065171A CN 111277892 B CN111277892 B CN 111277892B
Authority
CN
China
Prior art keywords
video
module
title
video frame
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010065171.8A
Other languages
English (en)
Other versions
CN111277892A (zh
Inventor
李甫
何栋梁
孙昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010065171.8A priority Critical patent/CN111277892B/zh
Publication of CN111277892A publication Critical patent/CN111277892A/zh
Priority to US17/026,488 priority patent/US11490168B2/en
Application granted granted Critical
Publication of CN111277892B publication Critical patent/CN111277892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开的实施例公开了用于选取视频片段的方法、装置、服务器和介质。该方法的一具体实施方式包括：从视频确定出至少两个视频片段；对于各视频片段，执行如下的精彩度确定步骤：将该视频片段中的视频帧的特征序列和视频的标题的特征序列输入预先建立的预测模型，得到所输入的视频帧与视频的标题的关联度；基于该视频片段的视频帧与标题的关联度，确定该视频片段的精彩度；基于各视频片段的精彩度，从各视频片段中确定出目标视频片段。通过预测模型计算视频帧与标题的关联度，以此表征视频帧的精彩程度，进而获得视频中各个片段的精彩度，将精彩度最高的片段确定为该视频中最精彩的片段，可以大量减少操作人员的工作量，提高选取视频的效率。

Description

用于选取视频片段的方法、装置、服务器和介质
技术领域
本公开的实施例涉及计算机技术领域，具体涉及用于选取视频片段的方法、装置、服务器和介质。
背景技术
一段视频中最精彩，最吸引眼球或者最符合标题描述的片段称为视频的精彩片段，从视频中选取精彩片段有着非常广泛的应用。例如，提取最精彩或最相关的一个片段，可用于视频展示的动态封面，吸引用户点击；可用于标注人员的快速审核，只需观看最重要的片段，无需观看整段视频；可用于后续视频的进一步高级加工，例如增加特效，慢放等操作；还可以用于精彩镜头合集、相关视频推荐等。
相关技术中，选取视频精彩片段的方法包括以下两种：第一种方式是人工选取，标注人员观看完整个视频后，手动选取最精彩的一个片段，作为精彩片段的输出。第二种方式是全监督方式的模型训练，对于每个训练视频，需要操作人员标注出各个精彩片段的起止位置，然后利用深度学习训练一个二分类模型，判断哪一段是精彩的，哪一段是不精彩的。
由于如今视频资源日益增长，这两种方法的审核人员每天面对的新增视频达十万甚至百万之多，导致人力不足，资源积压；同时大量重复性的工作，增加了很多不必要的成本。
发明内容
本公开的实施例提出了用于选取视频片段的方法和装置。
第一方面，本公开的实施例提供了一种用于选取视频片段的方法，该方法包括：从视频确定出至少两个视频片段；对于各视频片段，执行如下的精彩度确定步骤：将该视频片段中的视频帧的特征序列和视频的标题信息输入预先建立的预测模型，得到所输入的视频帧与视频的标题的关联度；基于该视频片段的视频帧与标题的关联度，确定该视频片段的精彩度；基于各视频片段的精彩度，从各视频片段中确定出目标视频片段。
在一些实施例中，将该视频片段中的视频帧的特征序列和视频的标题信息输入预先建立的预测模型，得到所输入的视频帧与视频的标题的关联度，包括：将特征序列输入第一全连接网络模块，输出降维后的特征序列；将降维后的特征序列分别输入正向GRU模块和反向GRU模块，并将正向GRU模块和反向GRU模块的输出拼接得到编码后的特征序列；将编码后的特征序列和视频的标题信息输入注意力模块，得到视频帧与标题的关联度，注意力模块包括第二全连接网络模块和Softmax处理模块，第二全连接网络模块的输出维度为1。
在一些实施例中，第一全连接网络模块的输出维度小于视频帧的特征序列的维度，使得第一全连接网络模块输出的特征序列的维度小于视频帧的特征序列的维度；正向GRU模块和反向GRU模块的隐层维度均为第一全连接网络模块的输出维度的一半，使得将正向GRU模块和反向GRU模块的输出拼接之后形成的编码后的特征序列的维度与第一全连接网络模块输出的特征序列的维度相同。
在一些实施例中，预测模型通过如下方式训练得到：获取训练视频；基于获取的视频，获取训练视频中的视频帧的特征序列、训练视频的标题信息以及视频帧与标题信息之间的关联度；将所获取的视频帧的特征序列和训练视频的标题信息作为输入，将视频帧与标题信息之间的关联度作为期望输出，训练预先建立的初始预测模型，得到训练后的预测模型。
在一些实施例中，标题信息通过如下方式获取：对视频的标题进行切词；确定视频的标题中包含的词在词典中的位置索引，词典为预先存储的词的集合；确定位置索引为视频的标题信息。
在一些实施例中，视频帧为基于预设条件从视频片段中所包含的所有帧图像中选取的特定帧图像的集合。
第二方面，本公开的实施例提供了一种用于选取视频片段的装置，包括：分段单元，被配置成从视频确定出至少两个视频片段；精彩度计算单元，被配置成对于各视频片段，执行如下的精彩度确定步骤：将该视频片段中的视频帧的特征序列和视频的标题信息输入预先建立的预测模型，得到所输入的视频帧与视频的标题的关联度；基于该视频片段的视频帧与标题的关联度，确定该视频片段的精彩度；选取单元，被配置成基于各视频片段的精彩度，从各视频片段中确定出目标视频片段。
在一些实施例中，精彩度计算单元包括视频帧关联度计算模块，被配置成执行如下步骤：将特征序列输入第一全连接网络模块，输出降维后的特征序列；将降维后的特征序列分别输入正向GRU模块和反向GRU模块，并将正向GRU模块和反向GRU模块的输出拼接得到编码后的特征序列；将编码后的特征序列和视频的标题信息输入注意力模块，得到视频帧与标题的关联度，注意力模块包括第二全连接网络模块和Softmax处理模块，第二全连接网络模块的输出维度为1。
在一些实施例中，视频帧关联度计算模块被进一步配置成：第一全连接网络模块的输出维度小于视频帧的特征序列的维度，使得第一全连接网络模块输出的特征序列的维度小于视频帧的特征序列的维度；正向GRU模块和反向GRU模块的隐层维度均为第一全连接网络模块的输出维度的一半，使得将正向GRU模块和反向GRU模块的输出拼接之后形成的编码后的特征序列的维度与第一全连接网络模块输出的特征序列的维度相同。
在一些实施例中，还包括模型训练单元，被配置成通过如下方式训练得到预测模型：获取训练视频；基于获取的视频，获取训练视频中的视频帧的特征序列、训练视频的标题信息以及视频帧与标题信息之间的关联度；将所获取的视频帧的特征序列和训练视频的标题信息作为输入，将视频帧与标题信息之间的关联度作为期望输出，训练预先建立的初始预测模型，得到训练后的预测模型。
在一些实施例中，还包括标题信息获取单元，被配置为执行如下步骤：对视频的标题进行切词；确定视频的标题中包含的词在词典中的位置索引，词典为预先存储的词的集合；确定位置索引为视频的标题信息。
在一些实施例中，还包括视频帧提取单元，被配置成基于预设条件从视频片段中选取视频帧。
本公开的实施例提供的用于选取视频片段的方法和装置，通过预测模型计算视频帧与标题的关联度，以此表征视频帧的精彩程度，进而获得视频中各个片段的精彩度，将精彩度最高的片段确定为该视频中最精彩的片段，可以大量减少操作人员的工作量，提高选取视频的效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
图1是本公开的一些实施例可以应用于其中的示例性***架构图；
图2是根据本公开的用于选取视频片段的方法的一个实施例的流程图；
图3是根据本公开的实施例的用于选取视频片段的方法的一个应用场景的示意图；
图4是根据本公开的用于选取视频片段的方法的又一个实施例的流程图；
图5是根据本公开的用于选取视频片段的装置的一个实施例的结构示意图；
图6是适于用来实现本公开的实施例的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开的实施例的用于选取视频片段的方法或用于选取视频片段的装置的示例性***架构100。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，用于将待选取片段的视频发送至服务器或者接收由服务器选定的视频片段等。终端设备101、102、103上可以安装有信息交互应用。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏并且支持信息交互的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的视频进行处理的后台数据处理服务器，后台数据处理服务器可以对接收到的视频进行处理选取其中的精彩片段并将处理结果(例如精彩片段)反馈给终端设备。
需要说明的是，本公开的实施例所提供的用于选取视频片段的方法可以由服务器105执行。相应地，用于选取视频片段的装置可以设置于服务器105中。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
继续参考图2，示出了根据本公开的用于选取视频片段的方法的一个实施例的流程200。该用于选取视频片段的方法，包括以下步骤：
步骤201，从视频确定出至少两个视频片段。
在本实施例中，用于选取视频片段的方法的执行主体(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从用户利用其进行信息交互的终端接收待选取片段的视频。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
通常，用户利用终端上的信息交互功能将待选取片段的视频发送至执行主体。在本实施例中，上述待选取片段的视频可以包括WMA格式、AVI格式、MP4格式、ASF格式、MPEG格式、MOV格式、RM格式、FLV格式的视频。执行主体接收到待选取片段的视频后，将视屏分割成至少两个不重叠的片段，然后分别计算两个片段的精彩度，从中选取精彩度最高的片段即为整个视频中最精彩的片段。如此，可以保证选取的精彩片段是连续的，不会影响到观看体验。分别对上述至少两个片段执行如下计算精彩度的步骤。作为示例，可以根据视频内容将视频分割成多个不重叠的片段，也可以根据时间分割，具体地实现方式在此不作限定。
步骤202，将视频片段中的视频帧的特征序列和视频的标题信息输入预先建立的预测模型，得到所输入的视频帧与视频的标题的关联度。
在本实施例中，基于步骤201中得到的视频片段，上述执行主体(例如图1所示的服务器)将视频片段中所包含的视频帧的特征序列和视频标题输入预先建立的预测模型，输出视频帧与该视频标题的关联度。本实施例中的关联度用于表征视频帧与视频标题的相符程度，相符程度越高，则视频帧的精彩程度就越高。
在本实施例中，可以将视频标题中的关键词的词向量作为标题信息，词向量用于指向关键词在预先存储的词集合中的位置。
在本实施例中，视频帧的特征序列的提取可以借助现有技术实现，例如可以采用开源的网络结构ResNet101直接对视频帧提取特征，选取分类器前的池化层的输出作为视频帧的特征序列，作为示例，若视频片段中包括N个视频帧，池化层的输出维度为2048，则视频帧的特征序列为N×2048的序列。
在本实施例中，预测模型的主要任务是分析理解视频内容，对其自动起一个概括性标题，在起标题的过程中，每个视频帧的贡献度是不一样的，通过学习每个视频帧对于标题的概括程度，间接获取每一个视频帧与标题的关联度，以此衡量视频帧的精彩度。
步骤203，基于视频片段的视频帧与标题的关联度，确定该视频片段的精彩度。
在一些可选的实现方式中，可以将从视频片段中选取的多个视频帧与标题的关联度的均值作为该视频片段的精彩度，以此衡量该视频片段的精彩度。
分别对视频中包含的各视频片段执行上述步骤202和203，可以确定各视频片段的精彩度。
此外，本实施例还进一步包括：
步骤204，基于各视频片段的精彩度，从各视频片段中确定出目标视频片段。在本实施例中，例如可以将精彩度最高的视频片段确定为要选取的目标视频片段，以此实现了对整个视频中精彩片段的选取。
继续参见图3，图3是根据本实施例的用于选取视频片段的方法的应用场景的一个示意图。在图3的应用场景中，用户通过终端设备301将待选取片段的视频303发送至服务端302，服务端302作为应用场景中的执行主体对视频303执行如下操作：从视频303中确定至少连个视频片段，例如可以根据时长将视频分割成不重叠的多个视频片段，然后对各个视频片段执行计算精彩度的步骤，提取视频标题的特征序列和各个视频片段中的视频帧的特征序列，将上述特征序列输入预测模型，确定片段中包括的视频帧的关联度，进而基于视频帧的关联度确定各个视频片段的精彩度，之后基于各个视频片段的精彩度，将其中精彩度最高的视频片段确定为选取的目标视频片段304，完成视频精彩片段的选取过程。最后由服务端302将确定出的目标视频片段作为视频303中的精彩片段发送至终端301，由终端301呈现给用户。
本公开提供的上述实施例中的方法，通过预测模型确定视频帧与视频标题的关联度，以此表征视频帧的精彩程度，进而获得视频中各个片段的精彩度，将精彩度最高的片段确定为该视频中最精彩的片段，可以大量减少操作人员的工作量，提高选取视频的效率。
进一步参考图4，其示出了用于选取视频片段的方法的又一个实施例的流程400。该用于选取视频片段的方法的流程400，包括以下步骤：
步骤401，从视频确定出至少两个视频片段。此步骤与前述步骤201相近，此处不再赘述。
步骤402，将视频片段中视频帧的特征序列输入第一全连接网络模块，关于视频帧的特征序列的获取方法可以参见前述步骤202中的相关内容。
在一些可选的实现方式中，第一全连接网络的输出维度小于特征序列的维度，通过步骤402，可以降低特征序列的维度，从而起到节省运算量的作用。作为示例，基于前述获取到的N×2048的特征序列，可以将第一全连接网络模块的输出维度设置为1024，则将特征序列输入第一全连接网络模块后输出的是一个N×1024的特征序列。作为另一个示例，可以将第一全连接网络模块的输出维度设置为512，则输出的是N×512的特征序列。
步骤403，将步骤402输出的特征序列输入正向GRU(gated recurrent unit，门控循环单元)模块。
步骤404，将步骤402输出的特征序列输入反向GRU模块。
步骤403和步骤404其实是将步骤402输出的特征序列分别输入正向GRU模块和反向GRU模块，其作用是将帧图像的特征序列与时间关联。通过双向操作(正向GRU和反向GRU)，可以更好的建立模型的时序信息。由于两个GRU模块互不连接，因此将两个模块的输出拼接起来以获取编码后的特征序列，即执行步骤405。
步骤405，将正向GRU模块和反向GRU模块的输出拼接得到编码后的特征序列。
在一些可选的实现方式中，为了不增加额外的运算量，使得编码后的特征序列的维度与输入前的特征序列的维度保持不变，可以将正向GRU模块和反向GRU模块的输出维度均设置为第一全连接网络模块输出维度的一半。下面结合前述例子说明，若提取到的视频帧的特征序列为N×2048，第一全连接网络模块的输出维度为1024，则输入正向GRU模块和反向GRU模块的特征序列为N×1024，可以将两个GRU模块的隐层维度设置为512，则两个GRU模块的输出维度均为512，在此基础上得到的编码后的特征序列为N×1024。
步骤406，将编码后的特征序列和视频的标题信息输入注意力模块，确定视频帧与视频标题的关联度。
注意力模块的作用是学习每一个视频帧的权重，该权重即为对应的视频帧与标题的关联度。在本实施例中，是通过如下步骤实现的：
将编码后的特征序列和标题信息输入第二全连接网络模块，以获得编码后的特征序列与视频标题的相符程度，第二全连接网络模块的输出维度为1，则输出的是一个N×1的特征序列，之后再对输出的N×1的特征序列进行Softmax处理，使得特征序列中的数值之和为1，即可获得一个N×1的权重值序列，序列中的N个权重值与N个视频帧与视频标题的关联度一一对应。
步骤407，基于视频片段的视频帧与标题的关联度，确定该视频片段的精彩度，此步骤与前述步骤203相近，此处不再赘述。
将从视频中确定出的所有片段执行上述步骤402至407，以获取各个片段的精彩度。
之后，步骤408，基于各视频片段的精彩度，从各视频片段中确定出目标视频片段，此步骤与前述步骤204相近，此处不再赘述。
从图4中可以看出，与图2对应的实施例相比，本实施例中的用于选取视频片段的方法的流程400体现了通过预测模型确定视频帧关联度的详细步骤。由此，本实施例描述的方案可以用于通过弱监督的方式确定视频中的精彩片段，从而节省了操作人员的工作量。
在本实施例的一些可选的实现方式中，预测模型可以通过如下方式训练得到：
获取训练视频,本实施例的执行主体可以通过多个渠道获取训练样本，例如通过网络获取视频。
基于获取的视频，获取训练视频中的视频帧的特征序列、训练视频的标题信息以及视频帧与标题信息之间的关联度，此步骤可以参见前述步骤401至步骤406。
将所获取的视频帧的特征序列和训练视频的标题信息作为输入，将视频帧与标题信息之间的关联度作为期望输出，训练预先建立的初始预测模型，得到训练后的预测模型。下面通过举例说明。将编码后的特征序列与权重值序列中对应的数值相乘取和，即可获得编码后的特征向量。再将编码后的特征向量输入GRU模块，在GRU模块的每一个时刻，均有三个输入，分别是编码的特征序列、编码的特征向量和上一时刻的真实值，其功能是预测下一个词，即输出预测值。基于每一个时刻的真实值与预测值均可以计算该时刻的损失值，所有时刻的损失值之和即为训练过程的总损失值。通过训练，将初始预测模型的总损失值降低到特定水平即可以获得预测模型。
作为可选的实现方式，上述这些实施例中的标题信息可以通过如下方式获取：对视频的标题进行切词；确定视频的标题中包含的词在词典中的位置索引，词典为预先存储的词的集合；确定位置索引为视频的标题信息。例如可以采用相关技术中的分词工具，对标题进行切词。作为示例，待选取片段的视频标题为：“电焊工现场展示精湛焊接工艺，看到最后的成品，我就服了”，切词效果为：“电，焊工，现场，展示，精湛，焊接，工艺，看到，最后，的，成品，我，就，服，了”，然后统计每个词出现的频次，删掉频次较小的词，将剩下的每个词映射到词典中的位置索引作为视频标题的特征序列，其中，词典为预测模型中预先存储的所有词的集合。
需要说明的是，作为可选的实现方式，上述这些实施例中的视频帧可以是基于预设条件从视频片段中选取的特定的帧图像的集合，例如，可以根据时间选取，在视频片段中每一秒包含的多个帧图像里面选取其中一个帧图像，这些帧图像的集合即为该视频片段的视频帧。
进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种用于选取视频判断的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于选取视频片段的装置500包括：分段单元501、精彩度计算单元502、选取单元503。其中，分段单元501，被配置成从视频确定出至少两个视频片段；精彩度计算单元502，被配置成对于各视频片段，执行如下的精彩度确定步骤：将该视频片段中的视频帧的特征序列和视频的标题的特征序列输入预先建立的预测模型，得到所输入的视频帧与视频的标题的关联度；基于该视频片段的视频帧与标题的关联度，确定该视频片段的精彩度；选取单元503，被配置成基于各视频片段的精彩度，从各视频片段中确定出目标视频片段。
在本实施例中，精彩度计算单元502包括视频帧关联度计算模块，被配置成执行如下步骤：将特征序列输入第一全连接网络模块，输出降维后的特征序列；将降维后的特征序列分别输入正向GRU模块和反向GRU模块，并将正向GRU模块和反向GRU模块的输出拼接得到编码后的特征序列；将编码后的特征序列和视频的标题信息输入注意力模块，得到视频帧与标题的关联度，注意力模块包括第二全连接网络模块和Softmax处理模块，第二全连接网络模块的输出维度为1。
在本实施例中，视频帧关联度计算模块被进一步配置成：第一全连接网络模块的输出维度小于视频帧的特征序列的维度，使得第一全连接网络模块输出的特征序列的维度小于视频帧的特征序列的维度；正向GRU模块和反向GRU模块的隐层维度均为第一全连接网络模块的输出维度的一半，使得将正向GRU模块和反向GRU模块的输出拼接之后形成的编码后的特征序列的维度与第一全连接网络模块输出的特征序列的维度相同。
在本实施例中，还包括模型训练单元，被配置成通过如下方式训练得到预测模型：获取训练视频；基于获取的视频，获取训练视频中的视频帧的特征序列、训练视频的标题信息以及视频帧与标题信息之间的关联度；将所获取的视频帧的特征序列和训练视频的标题信息作为输入，将视频帧与标题信息之间的关联度作为期望输出，训练预先建立的初始预测模型，得到训练后的预测模型。
在本实施例中，在一些实施例中，还包括标题信息获取单元，被配置为执行如下步骤：对视频的标题进行切词；确定视频的标题中包含的词在词典中的位置索引，词典为预先存储的词的集合；确定位置索引为视频的标题信息。
在本实施例中，该装置还包括视频帧提取单元，被配置成基于预设条件从视频片段中选取视频帧。
下面参考图6，其示出了适于用来实现本公开的实施例的电子设备(例如图1中的服务器或终端设备)600的结构示意图。本公开的实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的终端设备/服务器仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述服务器中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：从视频确定出至少两个视频片段；对于各视频片段，执行如下的精彩度确定步骤：将该视频片段中的视频帧的特征序列和视频的标题信息输入预先建立的预测模型，得到所输入的视频帧与视频的标题的关联度，其中，视频的标题信息为视频的标题进行切词后所包含的词组在词典中的位置索引，词典为全部训练样本的标题切词后得到的词组的集合；基于该视频片段的视频帧与标题的关联度，确定该视频片段的精彩度；基于各视频片段的精彩度，从各视频片段中确定出目标视频片段。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括分段单元、精彩度计算单元和选取单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，选取单元还可以被描述为“从视频确定出至少两个视频片段的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种用于选取视频片段的方法，包括：
从视频确定出至少两个视频片段；
对于各视频片段，执行如下的精彩度确定步骤：
将该视频片段中的视频帧的特征序列和所述视频的标题信息输入预先建立的预测模型，得到所输入的视频帧与所述视频的标题的关联度，其中，所述预先建立的预测模型包括双向GRU模块和注意力模块；
基于该视频片段的视频帧与所述标题的关联度，确定该视频片段的精彩度；
所述方法还包括：
基于各所述视频片段的精彩度，从各所述视频片段中确定出目标视频片段。
2.根据权利要求1所述的方法，其中，所述将该视频片段中的视频帧的特征序列和所述视频的标题信息输入预先建立的预测模型，得到所输入的视频帧与所述视频的标题的关联度，包括：
将所述特征序列输入第一全连接网络模块，输出降维后的特征序列；
将所述降维后的特征序列分别输入正向GRU模块和反向GRU模块，并将所述正向GRU模块和反向GRU模块的输出拼接得到编码后的特征序列；
将所述编码后的特征序列和所述视频的标题信息输入注意力模块，得到视频帧与所述标题的关联度，所述注意力模块包括第二全连接网络模块和Softmax处理模块，所述第二全连接网络模块的输出维度为1。
3.根据权利要求2所述的方法，其中，
所述第一全连接网络模块的输出维度小于所述视频帧的特征序列的维度，使得所述第一全连接网络模块输出的特征序列的维度小于所述视频帧的特征序列的维度；
所述正向GRU模块和所述反向GRU模块的隐层维度均为所述第一全连接网络模块的输出维度的一半，使得将所述正向GRU模块和所述反向GRU模块的输出拼接之后形成的编码后的特征序列的维度与所述第一全连接网络模块输出的特征序列的维度相同。
4.根据权利要求3所述的方法，其中，所述预测模型通过如下方式训练得到：
获取训练视频；
基于获取的视频，获取所述训练视频中的视频帧的特征序列、所述训练视频的标题信息以及视频帧与所述标题信息之间的关联度；
将所获取的视频帧的特征序列和所述训练视频的标题信息作为输入，将视频帧与所述标题信息之间的关联度作为期望输出，训练预先建立的初始预测模型，得到训练后的预测模型。
5.根据权利要求1至4之一所述的方法，其中，所述标题信息通过如下方式获取：
对所述视频的标题进行切词；
确定所述视频的标题中包含的词在词典中的位置索引，所述词典为预先存储的词的集合；
确定所述位置索引为所述视频的标题信息。
6.根据权利要求1至4之一所述的方法，其中，所述视频帧基于预设条件从所述视频片段中选取。
7.一种用于选取视频片段的装置，包括：
分段单元，被配置成从视频确定出至少两个视频片段；
精彩度计算单元，被配置成对于各所述视频片段，执行如下的精彩度确定步骤：将该视频片段中的视频帧的特征序列和所述视频的标题信息输入预先建立的预测模型，得到所输入的视频帧与视频的标题的关联度，其中，所述预先建立的预测模型包括双向GRU模块和注意力模块；基于该视频片段的视频帧与所述标题的关联度，确定该视频片段的精彩度；
选取单元，被配置成基于各所述视频片段的精彩度，从各所述视频片段中确定出目标视频片段。
8.根据权利要求7所述的装置，其中，所述精彩度计算单元包括视频帧精彩度计算模块，被配置成执行如下步骤：
将所述特征序列输入第一全连接网络模块，输出降维后的特征序列；
将所述降维后的特征序列分别输入正向GRU模块和反向GRU模块，并将所述正向GRU模块和反向GRU模块的输出拼接得到编码后的特征序列；
将所述编码后的特征序列和所述视频的标题信息输入注意力模块，得到视频帧与所述标题的关联度，所述注意力模块包括第二全连接网络模块和Softmax处理模块，所述第二全连接网络模块的输出维度为1。
9.根据权利要求8所述的装置，其中，所述视频帧精关联计算模块被进一步配置成：
所述第一全连接网络模块的输出维度小于所述视频帧的特征序列的维度，使得所述第一全连接网络模块输出的特征序列的维度小于所述视频帧的特征序列的维度；
所述正向GRU模块和所述反向GRU模块的隐层维度均为所述第一全连接网络模块的输出维度的一半，使得将所述正向GRU模块和所述反向GRU模块的输出拼接之后形成的编码后的特征序列的维度与所述第一全连接网络模块输出的特征序列的维度相同。
10.根据权利要求9所述的装置，其中，还包括模型训练单元，被配置成通过如下方式训练得到所述预测模型：
获取训练视频；
基于获取的视频，获取所述训练视频中的视频帧的特征序列、所述训练视频的标题信息以及视频帧与所述标题信息之间的关联度；
将所获取的视频帧的特征序列和所述训练视频的标题信息作为输入，将视频帧与所述标题信息之间的关联度作为期望输出，训练预先建立的初始预测模型，得到训练后的预测模型。
11.根据权利要求7至9之一所述的装置，其中，还包括标题信息获取单元，被配置为执行如下步骤：
对所述视频的标题进行切词；
确定所述视频的标题中包含的词在词典中的位置索引，所述词典为预先存储的词的集合；
确定所述位置索引为所述视频的标题信息。
12.根据权利要求7至9之一所述的装置，其中，还包括视频帧提取单元，被配置成基于预设条件从所述视频片段选取所述视频帧。
13.一种服务器，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
14.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。
CN202010065171.8A 2020-01-20 2020-01-20 用于选取视频片段的方法、装置、服务器和介质 Active CN111277892B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010065171.8A CN111277892B (zh) 2020-01-20 2020-01-20 用于选取视频片段的方法、装置、服务器和介质
US17/026,488 US11490168B2 (en) 2020-01-20 2020-09-21 Method and apparatus for selecting video clip, server and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010065171.8A CN111277892B (zh) 2020-01-20 2020-01-20 用于选取视频片段的方法、装置、服务器和介质

Publications (2)

Publication Number Publication Date
CN111277892A CN111277892A (zh) 2020-06-12
CN111277892B true CN111277892B (zh) 2022-03-22

Family

ID=71002209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010065171.8A Active CN111277892B (zh) 2020-01-20 2020-01-20 用于选取视频片段的方法、装置、服务器和介质

Country Status (2)

Country Link
US (1) US11490168B2 (zh)
CN (1) CN111277892B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111984821A (zh) * 2020-06-22 2020-11-24 汉海信息技术(上海)有限公司 确定视频动态封面的方法、装置、存储介质及电子设备
CN112069952A (zh) * 2020-08-25 2020-12-11 北京小米松果电子有限公司 视频片段提取方法、视频片段提取装置及存储介质
CN115086709A (zh) * 2021-03-10 2022-09-20 上海哔哩哔哩科技有限公司 动态封面设置方法和***
CN113361376B (zh) * 2021-06-02 2023-01-17 北京三快在线科技有限公司 获取视频封面的方法、装置、计算机设备及可读存储介质
CN113676671B (zh) * 2021-09-27 2023-06-23 北京达佳互联信息技术有限公司 视频剪辑方法、装置、电子设备及存储介质
CN114390365B (zh) * 2022-01-04 2024-04-26 京东科技信息技术有限公司 用于生成视频信息的方法和装置
CN114559177B (zh) * 2022-03-07 2023-12-05 北京洞微科技发展有限公司 基于影像数据分析的焊接评估方法、装置及存储介质
CN116503791B (zh) * 2023-06-30 2023-09-15 腾讯科技（深圳）有限公司 模型的训练方法、装置、电子设备及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431689B (zh) * 2007-11-05 2012-01-04 华为技术有限公司 生成视频摘要的方法及装置
US9141859B2 (en) * 2008-11-17 2015-09-22 Liveclips Llc Method and system for segmenting and transmitting on-demand live-action video in real-time
US8571330B2 (en) * 2009-09-17 2013-10-29 Hewlett-Packard Development Company, L.P. Video thumbnail selection
JP5306550B2 (ja) * 2013-01-25 2013-10-02 株式会社東芝 映像解析情報送信装置、映像解析情報配信システム及び配信方法、映像視聴システム及び映像視聴方法
US20150312652A1 (en) * 2014-04-24 2015-10-29 Microsoft Corporation Automatic generation of videos via a segment list
US20160014482A1 (en) * 2014-07-14 2016-01-14 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Generating Video Summary Sequences From One or More Video Segments
WO2016038522A1 (en) * 2014-09-08 2016-03-17 Google Inc. Selecting and presenting representative frames for video previews
CN106792218A (zh) * 2016-12-20 2017-05-31 北京猎豹移动科技有限公司 视频剪辑播放方法和装置
US10715814B2 (en) * 2017-02-23 2020-07-14 Netflix, Inc. Techniques for optimizing encoding parameters for different shot sequences
CN107832724A (zh) * 2017-11-17 2018-03-23 北京奇虎科技有限公司 从视频文件中提取人物关键帧的方法及装置
CN108429920A (zh) 2018-02-06 2018-08-21 北京奇虎科技有限公司 一种处理标题党视频的方法和装置
US10595101B2 (en) * 2018-03-15 2020-03-17 International Business Machines Corporation Auto-curation and personalization of sports highlights
CN109618184A (zh) * 2018-12-29 2019-04-12 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质
CN109889923B (zh) 2019-02-28 2021-03-26 杭州一知智能科技有限公司 利用结合视频描述的分层自注意力网络总结视频的方法
CN110072140B (zh) * 2019-03-22 2021-05-28 厦门理工学院 一种视频信息提示方法、装置、设备及存储介质
CN110267119B (zh) 2019-06-28 2023-06-30 北京奇艺世纪科技有限公司 视频精彩度的评价方法及相关设备
CN110347872B (zh) * 2019-07-04 2023-10-24 腾讯科技（深圳）有限公司 视频封面图像提取方法及装置、存储介质及电子设备
CN110598014B (zh) * 2019-09-27 2021-12-10 腾讯科技（深圳）有限公司 一种多媒体数据处理方法、装置及存储介质

Also Published As

Publication number Publication date
CN111277892A (zh) 2020-06-12
US20210227302A1 (en) 2021-07-22
US11490168B2 (en) 2022-11-01

Similar Documents

Publication Publication Date Title
CN111277892B (zh) 用于选取视频片段的方法、装置、服务器和介质
CN110321958B (zh) 神经网络模型的训练方法、视频相似度确定方法
US11758088B2 (en) Method and apparatus for aligning paragraph and video
CN110213614B (zh) 从视频文件中提取关键帧的方法和装置
CN110633423B (zh) 目标账号识别方法、装置、设备及存储介质
CN109961032B (zh) 用于生成分类模型的方法和装置
CN110516159B (zh) 一种信息推荐方法、装置、电子设备及存储介质
CN109862100B (zh) 用于推送信息的方法和装置
CN109815448B (zh) 幻灯片生成方法及装置
CN111897950A (zh) 用于生成信息的方法和装置
CN111258736A (zh) 信息处理方法、装置和电子设备
CN115801980A (zh) 视频生成方法和装置
CN113589991A (zh) 一种文本输入方法、装置、电子设备和存储介质
CN109919220B (zh) 用于生成视频的特征向量的方法和装置
US20230367972A1 (en) Method and apparatus for processing model data, electronic device, and computer readable medium
CN115294501A (zh) 视频识别方法、视频识别模型训练方法、介质及电子设备
CN112954453B (zh) 视频配音方法和装置、存储介质和电子设备
CN113395538A (zh) 音效渲染方法、装置、计算机可读介质和电子设备
US20230377331A1 (en) Media annotation with product source linking
CN116186545A (zh) 预训练模型的训练、应用方法、装置、电子设备及介质
CN113177176A (zh) 特征构建方法、内容显示方法及相关装置
CN109889737B (zh) 用于生成视频的方法和装置
CN109857838B (zh) 用于生成信息的方法和装置
CN112766285B (zh) 图像样本生成方法、装置和电子设备
CN111949819A (zh) 用于推送视频的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant