CN110650379B - 视频摘要生成方法、装置、电子设备及存储介质 - Google Patents

视频摘要生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110650379B
CN110650379B CN201910917211.4A CN201910917211A CN110650379B CN 110650379 B CN110650379 B CN 110650379B CN 201910917211 A CN201910917211 A CN 201910917211A CN 110650379 B CN110650379 B CN 110650379B
Authority
CN
China
Prior art keywords
image
images
frames
frame
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910917211.4A
Other languages
English (en)
Other versions
CN110650379A (zh
Inventor
张水发
李岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910917211.4A priority Critical patent/CN110650379B/zh
Publication of CN110650379A publication Critical patent/CN110650379A/zh
Application granted granted Critical
Publication of CN110650379B publication Critical patent/CN110650379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开是关于一种视频摘要生成方法、装置、电子设备及存储介质，属于互联网技术领域。方法包括：获取目标视频中的多帧图像，将该多帧图像输入至图像聚类模型中，基于图像聚类模型，将该多帧图像划分为多个类别，从每个类别中选取目标图像，将选取的多个目标图像进行拼接，得到目标视频的视频摘要。该方法基于图像聚类模型，可以快速对多帧图像进行聚类，无需对每帧图像中对象的运动轨迹进行分析，缩短了处理时间，提高了生成视频摘要的效率。并且，从每个类别中选取目标图像，该目标图像能够代表该类别中的多帧图像的内容，根据多个目标图像生成的视频摘要，能够准确概括目标视频的内容，提高了生成的视频摘要的准确率。

Description

视频摘要生成方法、装置、电子设备及存储介质
技术领域
本公开涉及互联网技术领域，尤其涉及一种视频摘要生成方法、装置、电子设备及存储介质。
背景技术
随着互联网技术的发展，互联网中传播的视频越来越多，为了便于用户了解视频内容，可以为视频生成视频摘要，将视频摘要展示给用户，用户根据视频摘要选择要观看的视频。因此，如何生成视频摘要至关重要。
相关技术中，通常采用运动目标检测法来生成视频摘要，首先对目标视频中的每帧图像中的对象的运动轨迹进行分析，从而提取目标视频中的多个运动对象，将多个运动对象拼接在同一背景场景中，构成视频摘要。
但是，上述方案需要对目标视频中的每帧图像中的对象的运动轨迹进行分析，需要耗费较长的时间，导致生成视频摘要的效率低下。并且，所生成的视频摘要仅是包括多个运动对象，不能准确概括目标视频的内容，导致生成的视频摘要准确率不佳。
发明内容
本公开提供了一种视频摘要生成方法、装置、电子设备及存储介质，能够克服相关技术中存在的由于只对运动对象的运动轨迹进行分析而导致生成视频摘要的效率低下和准确率不佳的问题。
根据本公开实施例的第一方面，提供一种视频摘要生成方法，所述方法包括：
获取目标视频中的多帧图像；
将所述多帧图像输入至图像聚类模型中，基于所述图像聚类模型，将所述多帧图像划分为多个类别，每个类别中包括至少一帧图像；
从所述每个类别中选取目标图像；
将选取的多个目标图像进行拼接，得到所述目标视频的视频摘要。
在一种可能实现方式中，所述获取目标视频中的多帧图像，包括：
获取所述目标视频中的多帧原始图像；
对于所述多帧原始图像中相邻的任两帧原始图像，采用以下公式，获取所述任两帧原始图像之间的差值：
Figure BDA0002216461720000021
其中，Δ为所述任两帧原始图像之间的差值，w为所述原始图像的高度，h为所述原始图像的宽度，Pxy为所述任两帧原始图像中的其中一帧原始图像在(x，y)位置上的像素值，Qxy为所述任两帧原始图像中的另一帧原始图像在(x，y)位置上的像素值；
当所述任两帧原始图像之间的差值小于预设阈值时，删除所述任两帧原始图像中的其中一帧原始图像。
在另一种可能实现方式中，所述图像聚类模型包括差分层、融合层、特征提取层和输出层，所述将所述多帧图像输入至图像聚类模型中，基于所述图像聚类模型，将所述多帧图像划分为多个类别，包括：
将所述多帧图像输入至所述图像聚类模型中的差分层；
在所述差分层中，选取所述多帧图像中的任两帧图像，对所述任两帧图像进行差值运算，得到差值图像；
在所述融合层中，对所述任两帧图像及所述差值图像进行融合处理，得到融合图像；
在所述特征提取层中，提取所述融合图像的图像特征；
在所述输出层中，获取所述图像特征对应的聚类标识，所述聚类标识用于表示所述任两帧图像是否属于相同类别，根据所述多帧图像中的任两帧图像对应的聚类标识，将所述多帧图像划分为多个类别。
在另一种可能实现方式中，所述从所述每个类别中选取目标图像，包括：
从所述每个类别中选取任一帧图像，作为目标图像。
在另一种可能实现方式中，所述从所述每个类别中选取任一帧图像，作为目标图像，包括：
对于所述每个类别，获取所述类别中多帧图像的图像特征；
对所述多帧图像的图像特征进行平均处理，得到平均图像特征；
从所述多帧图像中，选取图像特征与所述平均图像特征之间的相似度最大的图像，作为目标图像。
在另一种可能实现方式中，所述将所述多帧图像输入至图像聚类模型中，基于所述图像聚类模型，将所述多帧图像划分为多个类别之前，所述方法还包括：
获取样本视频中的多帧样本图像；
将所述多帧样本图像中相邻的任两帧样本图像进行组合，得到多个组合；
获取所述多个组合中每个组合对应的聚类标识，所述聚类标识用于表示对应组合中的两帧样本图像是否属于相同类别；
根据所述多个组合和所述多个组合对应的聚类标识，训练所述图像聚类模型。
根据本公开实施例的第二方面，提供一种视频摘要生成装置，所述装置包括：
图像获取单元，被配置为获取目标视频中的多帧图像；
图像聚类单元，被配置为将所述多帧图像输入至图像聚类模型中，基于所述图像聚类模型，将所述多帧图像划分为多个类别，每个类别中包括至少一帧图像；
目标图像获取单元，被配置为从所述每个类别中选取目标图像；
视频摘要生成单元，被配置为将选取的多个目标图像进行拼接，得到所述目标视频的视频摘要。
在一种可能实现方式中，所述图像获取单元，包括：
原始图像获取子单元，被配置为获取所述目标视频中的多帧原始图像；
差值获取子单元，被配置为对于所述多帧原始图像中相邻的任两帧原始图像，采用以下公式，获取所述任两帧原始图像之间的差值：
Figure BDA0002216461720000031
其中，Δ为所述任两帧原始图像之间的差值，w为所述原始图像的高度，h为所述原始图像的宽度，Pxy为所述任两帧原始图像中的其中一帧原始图像在(x，y)位置上的像素值，Qxy为所述任两帧原始图像中的另一帧原始图像在(x，y)位置上的像素值；
图像删除子单元，被配置为当所述任两帧原始图像之间的差值小于预设阈值时，删除所述任两帧原始图像中的其中一帧原始图像。
在另一种可能实现方式中，所述图像聚类模型包括差分层、融合层、特征提取层和输出层，所述图像聚类单元，包括：
图像输入子单元，被配置为将所述多帧图像输入至所述图像聚类模型中的差分层；
差值图像获取子单元，被配置为在所述差分层中，选取所述多帧图像中的任两帧图像，对所述任两帧图像进行差值运算，得到差值图像；
融合图像获取子单元，被配置为在所述融合层中，对所述任两帧图像及所述差值图像进行融合处理，得到融合图像；
图像特征提取子单元，被配置为在所述特征提取层中，提取所述融合图像的图像特征；
输出子单元，被配置为在所述输出层中，获取所述图像特征对应的聚类标识，所述聚类标识用于表示所述任两帧图像是否属于相同类别，根据所述多帧图像中的任两帧图像对应的聚类标识，将所述多帧图像划分为多个类别。
在另一种可能实现方式中，所述目标图像获取单元，被配置为从所述每个类别中选取任一帧图像，作为目标图像。
在另一种可能实现方式中，所述目标图像获取单元，还包括：
特征获取子单元，被配置为对于所述每个类别，获取所述类别中多帧图像的图像特征；
平均特征获取子单元，被配置为对所述多帧图像的图像特征进行平均处理，得到平均图像特征；
目标图像获取子单元，被配置为从所述多帧图像中，选取图像特征与所述平均图像特征之间的相似度最大的图像，作为目标图像。
根据本公开实施例的第三方面，提供了一种用于生成视频摘要的电子设备，所述电子设备包括：
一个或多个处理器；
用于存储所述一个或多个处理器可执行命令的易失性或非易失性存储器；
其中，所述一个或多个处理器被配置为执行第一方面所述的视频摘要生成方法。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行第一方面所述的视频摘要生成方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行第一方面所述的视频摘要生成方法。
本公开实施例提供的视频摘要生成方法、装置、电子设备及存储介质，获取目标视频中的多帧图像，将该多帧图像输入至图像聚类模型中，基于图像聚类模型，将该多帧图像划分为多个类别，从每个类别中选取目标图像，将选取的多个目标图像进行拼接，得到目标视频的视频摘要。该方法基于图像聚类模型，可以快速对多帧图像进行聚类，无需对每帧图像中对象的运动轨迹进行分析，缩短了处理时间，提高了生成视频摘要的效率。并且，从每个类别中选取目标图像，该目标图像能够代表该类别中的多帧图像的内容，根据多个目标图像生成的视频摘要，能够准确概括目标视频的内容，提高了生成的视频摘要的准确率。
并且，本公开实施例提供的方法，获取样本视频中的多帧样本图像，将多帧样本图像中相邻的任两帧样本图像进行组合，得到多个组合，获取多个组合中每个组合对应的聚类标识，根据多个组合和该多个组合对应的聚类标识，训练图像聚类模型，从而能够提高了图像聚类模型的准确率。后续根据输入的多帧图像，基于图像聚类模型，能够快速对多帧图像进行聚类，无需对每帧图像中对象的运动轨迹进行分析，缩短了处理时间，提高了生成视频摘要的效率。并且，从每个类别中选取目标图像，该目标图像能够代表该类别中的多帧图像的内容，根据多个目标图像生成的视频摘要，能够准确概括目标视频的内容，提高了生成的视频摘要的准确率。
并且，本公开实施例提供的方法，在获取样本图像时，通过获取相邻的任两帧图像之间的差值，确定这两帧图像是否相同，从而删除样本视频中的任两帧相同图像中的一帧图像，减少用于训练的样本图像的数量，便于后续对图像聚类模型进行训练，提高训练效率。
并且，本公开实施例提供的方法，基于图像聚类模型可以准确理解目标视频的内容，将目标视频划分为多个类别后，按照类别来选取用于生成视频摘要的目标图像，所选取的目标图像能够准确概括目标视频的内容，并且还能够减小生成的视频摘要的数据量，从而增大了视频压缩比，保留了目标视频中的有用信息。
并且，本公开实施例提供的方法，通过判断多帧原始图像中相邻的任两帧图像是否相同，可以去除多帧原始图像中的相同图像，从而减少后续步骤中的数据量，而且，剩余的图像为不相同的图像，保证用于生成视频摘要的每帧图像为不相同图像，避免图像重复。
并且，本公开实施例提供的方法，基于图像聚类模型进行分类，能够快速判断任两帧图像是否属于同一类别，能够快速准确地对多帧图像进行聚类，提高了生成视频摘要的效率。而且，基于图像聚类模型中的差分层、融合层、特征提取层和输出层对多帧图像进行处理，可以快速准确地对多帧图像进行聚类，无需对每帧图像中的运动对象进行分析，缩短了处理时间，提高了生成视频摘要的效率。还可以理解每帧图像的语义信息，对视频内容的理解更为准确。
并且，本公开实施例提供的方法，选取的目标图像能够代表类别中多帧图像的内容，无需选取该类别中的多帧图像，减少了用于生成视频摘要的目标图像的数量，提高了生成视频摘要的效率。
并且，与选取类别中任一图像作为目标图像相比较，靠近聚类中心的图像更能够代表该类别的内容，因此选取靠近该类别的聚类中心的图像作为目标图像，提高了准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种视频摘要生成方法的流程图。
图2是根据一示例性实施例示出的一种图像聚类模型训练方法的流程图。
图3是根据一示例性实施例示出的一种图像聚类模型的示意图。
图4是根据一示例性实施例示出的另一种视频摘要生成方法的流程图。
图5是根据一示例性实施例示出的一种视频摘要生成装置的结构示意图。
图6是根据一示例性实施例示出的另一种视频摘要生成装置的结构示意图。
图7是根据一示例性实施例示出的一种终端的框图。
图8是根据一示例性实施例示出的一种服务器的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的设备和方法的例子。
图1是根据一示例性实施例提供的一种视频摘要生成方法的示意图，参见图1，包括以下步骤：
101、获取目标视频中的多帧图像。
102、将多帧图像输入至图像聚类模型中，基于图像聚类模型，将多帧图像划分为多个类别，每个类别中包括至少一帧图像。
103、从每个类别中选取目标图像。
104、将选取的多个目标图像进行拼接，得到目标视频的视频摘要。
本公开实施例提供的方法，获取目标视频中的多帧图像，将该多帧图像输入至图像聚类模型中，基于图像聚类模型，将该多帧图像划分为多个类别，从每个类别中选取目标图像，将选取的多个目标图像进行拼接，得到目标视频的视频摘要。该方法基于图像聚类模型，可以快速对多帧图像进行聚类，无需对每帧图像中对象的运动轨迹进行分析，缩短了处理时间，提高了生成视频摘要的效率。并且，从每个类别中选取目标图像，该目标图像能够代表该类别中的多帧图像的内容，根据多个目标图像生成的视频摘要，能够准确概括目标视频的内容，提高了生成的视频摘要的准确率。
在一种可能实现方式中，获取目标视频中的多帧图像，包括：
获取目标视频中的多帧原始图像；
对于多帧原始图像中相邻的任两帧原始图像，采用以下公式，获取任两帧原始图像之间的差值：
Figure BDA0002216461720000071
其中，Δ为任两帧原始图像之间的差值，w为原始图像的高度，h为原始图像的宽度，Pxy为任两帧原始图像中的其中一帧原始图像在(x，y)位置上的像素值，Qxy为任两帧原始图像中的其中另一帧原始图像在(x，y)位置上的像素值；
当任两帧原始图像之间的差值小于预设阈值时，删除任两帧原始图像中的其中一帧原始图像。
在另一种可能实现方式中，图像聚类模型包括差分层、融合层、特征提取层和输出层，将多帧图像输入至图像聚类模型中，基于图像聚类模型，将多帧图像划分为多个类别，包括：
将多帧图像输入至图像聚类模型中的差分层；
在差分层中，选取多帧图像中的任两帧图像，对任两帧图像进行差值运算，得到差值图像；
在融合层中，对任两帧图像及差值图像进行融合处理，得到融合图像；
在特征提取层中，提取融合图像的图像特征；
在输出层中，获取图像特征对应的聚类标识，聚类标识用于表示任两帧图像是否属于相同类别，根据所述多帧图像中的任两帧图像对应的聚类标识，将所述多帧图像划分为多个类别。
在另一种可能实现方式中，从每个类别中选取目标图像，包括：
从每个类别中选取任一帧图像，作为目标图像。
在另一种可能实现方式中，从每个类别中选取任一帧图像，作为目标图像，包括：
对于每个类别，获取类别中多帧图像的图像特征；
对多帧图像的图像特征进行平均处理，得到平均图像特征；
从多帧图像中，选取图像特征与平均图像特征之间的相似度最大的图像，作为目标图像。
在另一种可能实现方式中，将多帧图像输入至图像聚类模型中，基于图像聚类模型，将多帧图像划分为多个类别之前，方法还包括：
获取样本视频中的多帧样本图像；
将多帧样本图像中相邻的任两帧样本图像进行组合，得到多个组合；
获取多个组合中每个组合对应的聚类标识，聚类标识用于表示对应组合中的两帧样本图像是否属于相同类别；
根据多个组合和多个组合对应的聚类标识，训练图像聚类模型。
本公开实施例中，为了生成任一视频的视频摘要，提供了一种图像聚类模型，将任一视频中的多帧图像输入至图像聚类模型中，即可将多帧图像划分为多个类别，从每个类别中选取目标图像，将选取的多个目标图像进行拼接，得到该视频的视频摘要。在使用该图像聚类模型之前，需要对该图像聚类模型进行训练，训练过程详见下述实施例。
图2是根据一示例性实施例示出的一种图像聚类模型训练方法的流程图，应用于服务器，参见图2，包括以下步骤：
201、获取样本视频中的多帧样本图像。
服务器可以获取用于进行训练的样本视频，从样本视频中获取多帧样本图像。例如，服务器可以将样本视频中的每帧图像作为样本图像，从而获取到多帧样本图像。或者，服务器还可以判断样本视频中相邻的任两帧图像是否是相同图像，如果是相同图像，则删除该任两帧图像中的其中一帧图像，将剩余的另一帧图像作为样本图像，从而获取到多帧样本图像。
其中，获取样本视频中的多帧样本图像，包括以下步骤：
一、获取样本视频中的多帧图像。
样本视频中包括多帧图像，为了训练图像聚类模型，服务器获取样本视频中的多帧图像。
二、对于多帧图像中相邻的任两帧图像，采用以下公式，获取任两帧图像之间的差值：
Figure BDA0002216461720000091
其中，Δ为任两帧图像之间的差值，w为图像的高度，h为图像的宽度，Pxy为任两帧图像中的其中一帧图像在(x，y)位置上的像素值，Qxy为任两帧图像中的其中另一帧图像在(x，y)位置上的像素值。
在一种可能实现方式中，将获取的样本视频中的多帧图像按照任意顺序进行排列，基于按照顺序排列的多帧图像，获取相邻的任两帧图像之间的差值。或者，将获取的样本视频中的多帧图像按照在样本视频中的顺序进行排列，基于按照顺序排列的多帧图像，获取相邻的任两帧图像之间的差值。或者，将获取的样本视频中的多帧图像按照其他方式进行排列，基于按照顺序排列的多帧图像，获取相邻的任两帧图像之间的差值。
并且，同一样本视频中的多帧图像的图像尺寸相同，因此能够采用上述公式获取任两帧图像之间的差值。任两帧图像之间的差值用于表示任两帧图像之间的相似度，差值越小表示两帧图像越相似，差值越大表示两帧图像越不相同。
另外，还可以采用帧间差分法获取两帧图像之间的差值，或者采用其他方式获取差值，本公开实施例对此不做限定。
三、当任两帧图像之间的差值小于预设阈值时，删除任两帧图像中的其中一帧图像。
其中，当任两帧图像之间的差值小于预设阈值时，认为该任两帧图像是相同图像，则删除任两帧图像中的其中一帧图像，将剩余的另一帧图像作为样本图像。当任两帧图像之间的差值不小于预设阈值时，认为该任两帧图像是不相同图像，则将两帧图像都保留下来，作为样本图像。
在一种可能实现方式中，当任两帧图像之间的差值小于预设阈值时，删除任两帧图像中任意的一帧图像。或者，对两帧图像的质量进行评估，删除其中质量较差的一帧图像。或者，对于任两帧相同图像，按照样本视频中图像的顺序，删除任两帧图像中的第一帧图像或者第二帧图像，进一步减少样本图像的数量。
在获取样本图像时，通过获取相邻的任两帧图像之间的差值，确定这两帧图像是否相同，从而删除样本视频中的任两帧相同图像中的一帧图像，减少用于训练的样本图像的数量，便于后续对图像聚类模型进行训练，提高训练效率。
需要说明的是，本公开实施例获取多帧样本图像时，对图像质量不做要求，在另一实施例中，可以基于图像质量评估模型，对样本视频中的每帧图像进行质量评估，得到每帧图像的图像质量分值，从而从样本视频中筛选出图像质量分值较高的多帧图像，作为样本图像。
需要说明的另一点是，本公开实施例仅是以一个样本视频为例，对训练图像聚类模型的过程进行说明。实际上，服务器存储有多个样本视频，服务器可以根据多个样本视频训练图像聚类模型，本公开实施例对样本视频的数量和内容均不做限定。
202、将多帧样本图像中相邻的任两帧样本图像进行组合，得到多个组合。
多帧样本图像按照顺序排列，可以从第一帧样本图像开始进行遍历，将当前遍历的样本图像与下一帧样本图像进行组合，得到一个组合，之后继续遍历下一帧样本图像，重复上述组合步骤，直至对多帧样本图像遍历完成时，即可得到多个组合。
例如，从样本视频中筛选出的样本图像包括第一帧、第三帧、第七帧和第十帧，则将第一帧和第三帧进行组合、第三帧和第七帧进行组合、第七帧和第十帧进行组合，得到3个组合。
203、获取多个组合中每个组合对应的聚类标识，该聚类标识用于表示对应组合中的两帧样本图像是否属于相同类别。
根据每个组合中的两帧图像是否属于相同类别，得到每个组合对应的聚类标识。聚类标识用于表示对应组合中的两帧样本图像是否属于相同类别。
在一种可能实现方式中，由技术人员对每个组合中的两帧图像是否属于相同类别进行判断，并根据判断结果设置每个组合的聚类标识。
例如，该聚类标识可以包括第一标识和第二标识，第一标识用于表示两帧图像属于相同类别，即这两帧图像为相似图像。第二标识用于表示两帧图像属于不同类别，即这两帧图像为不相似的图像。例如，该第一标识可以为1，该第二标识为0。
204、根据多个组合和该多个组合对应的聚类标识，训练图像聚类模型。
训练过程中，以多个组合作为图像聚类模型的输入，以该多个组合的聚类标识作为图像聚类模型的输出，对该图像聚类模型进行训练。通过训练使图像聚类模型学习到判断任两帧图像是否属于相同类别的能力。
例如，将一个组合输入至图像聚类模型，基于图像聚类模型输出对应的预测聚类标识，根据该预测聚类标识与该组合的聚类标识之间的误差，对该图像聚类模型的参数进行调整，以使调整后该图像聚类模型输出的预测聚类标识与聚类标识之间的误差减小，达到训练该图像聚类模型的目的。
本公开实施例所采用的图像聚类模型可以为卷积神经网络模型、循环神经网络模型、长短期记忆网络模型等。
在一种可能实现方式中，图像聚类模型如图3所示，图像聚类模型中包括差分层、融合层、特征提取层和输出层，其中差分层对输入的两帧图像进行差值运算，得到差值图像，然后融合层对两帧图像和差值图像进行融合处理，得到融合图像，特征提取层对融合图像采用卷积神经网络提取图像特征，输出层输出图像特征对应的聚类标识。
需要说明的是，本公开实施例仅是以执行主体为服务器为例，在另一实施例中，还可以由终端执行本公开实施例提供的训练方法，本公开实施例对执行主体不做限定。
本公开实施例提供的方法，获取样本视频中的多帧样本图像，将多帧样本图像中相邻的任两帧样本图像进行组合，得到多个组合，获取多个组合中每个组合对应的聚类标识，根据多个组合和该多个组合对应的聚类标识，训练图像聚类模型，从而能够提高了图像聚类模型的准确率。后续根据输入的多帧图像，基于图像聚类模型，能够快速对多帧图像进行聚类，无需对每帧图像中对象的运动轨迹进行分析，缩短了处理时间，提高了生成视频摘要的效率。并且，从每个类别中选取目标图像，该目标图像能够代表该类别中的多帧图像的内容，根据多个目标图像生成的视频摘要，能够准确概括目标视频的内容，提高了生成的视频摘要的准确率。
并且，在获取样本图像时，通过获取相邻的任两帧图像之间的差值，确定这两帧图像是否相同，从而删除样本视频中的任两帧相同图像中的一帧图像，减少用于训练的样本图像的数量，便于后续对图像聚类模型进行训练，提高训练效率。
图4是根据一示例性实施例示出的一种视频摘要生成方法的流程图，应用于服务器，参见图4，包括以下步骤：
401、获取目标视频中的多帧图像。
本公开实施例中，服务器存储有多个视频，该多个视频可以由发布者提供给维护人员，由维护人员存储至服务器，或者由发布者的终端发送给服务器，或者由其他设备发送给服务器。
本公开实施例以目标视频为例，服务器获取目标视频，并且根据目标视频的多帧图像，生成视频摘要。后续服务器将该目标视频推荐给任一终端时，可以将目标视频和视频摘要发送给终端，由终端播放该视频摘要，供用户查看并了解目标视频的大致内容。其中，该目标视频可以为电影、电视剧等影视作品、美食类视频、美妆类视频、搞笑视频等。
该目标视频包括多帧原始图像，为了确定该目标视频的视频摘要，服务器获取该目标视频中的多帧图像。
在一种可能实现方式中，为了减小数据量，服务器可以判断多帧原始图像中相邻的任两帧是否相同，如果相同，则删除其中的一帧图像，保留剩余的另一帧图像，从而获取目标视频中的多帧图像。
例如，获取目标视频中的多帧图像包括以下步骤：
一、获取目标视频中的多帧原始图像。
二、对于多帧原始图像中相邻的任两帧原始图像，采用以下公式，获取任两帧原始图像之间的差值：
Figure BDA0002216461720000121
其中，Δ为任两帧原始图像之间的差值，w为原始图像的高度，h为原始图像的宽度，Pxy为任两帧原始图像中的其中一帧原始图像在(x，y)位置上的像素值，Qxy为任两帧原始图像中的其中另一帧原始图像在(x，y)位置上的像素值。
三、当任两帧原始图像之间的差值小于预设阈值时，删除任两帧原始图像中的其中一帧原始图像。
具体实施方式与上述步骤201中获取样本视频中的多帧样本图像的实施方式类似，在此不再赘述。
通过判断多帧原始图像中相邻的任两帧图像是否相同，可以去除多帧原始图像中的相同图像，从而减少后续步骤中的数据量，并且，剩余的图像为不相同的图像，保证用于生成视频摘要的每帧图像为不相同图像，避免图像重复。
需要说明的是，本公开实施例获取多帧图像时，对图像质量不做要求，在另一实施例中，可以基于图像质量评估模型，对目标视频中的每帧图像进行质量评估，得到每帧图像的图像质量分值，从而从目标视频中筛选出图像质量分值较高的多帧图像。
402、获取图像聚类模型。
本公开实施例中，图像聚类模型已训练完成，服务器存储该图像聚类模型。当要为目标视频生成视频摘要时，可以获取已经存储的图像聚类模型。其中，该图像聚类模型可以通过步骤201-步骤204训练得到，或者也可以采用其他方式训练得到。
403、将多帧图像输入至图像聚类模型中，基于该图像聚类模型，将多帧图像划分为多个类别，每个类别中包括至少一帧图像。
在一种可能实现方式中，将多帧图像输入至图像聚类模型中，在该图像聚类模型中，将多帧图像中的任两帧图像进行组合，得到多个组合，获取该多个组合的聚类标识。由于聚类标识用于表示对应组合中的两帧图像是否属于相同类别，因此根据该多个组合的聚类标识，能够将属于相同类别的图像划分到一个类别中，将属于不同类别的图像划分到不同类别中，从而得到多个类别，每个类别中包括至少一帧图像。基于图像聚类模型进行分类，能够快速判断任两帧图像是否属于同一类别，能够快速准确地对多帧图像进行聚类，提高了生成视频摘要的效率。
其中，在进行组合时，可以随机从多帧图像中选取任两帧图像进行组合，或者还可以按照该多帧图像的排列顺序，将相邻的任两帧图像进行组合，或者还可以采用其他方式进行组合。
在一种可能实现方式中，图像聚类模型包括差分层、融合层、特征提取层和输出层，将多帧图像输入至图像聚类模型中，基于图像聚类模型，将多帧图像划分为多个类别，包括以下步骤：
一、将多帧图像输入至图像聚类模型中的差分层。
二、在差分层中，选取多帧图像中的任两帧图像，对任两帧图像进行差值运算，得到差值图像。即将任两帧图像中在每个位置上的像素点的像素值进行差值运算，将每个位置上得到的差值作为差值图像中对应位置上像素点的像素值，从而得到差值图像。
三、在融合层中，对任两帧图像及差值图像进行融合处理，得到融合图像。
四、在特征提取层中，提取融合图像的图像特征。
其中，对融合图像进行特征提取时，可以采用卷积神经网络、HOG(Histogram ofOriented Gradient,方向梯度直方图)特征提取算法、LBP(Local Binary Pattern，局部二值模式)特征提取算法或者其他算法进行。
五、在输出层中，获取图像特征对应的聚类标识，聚类标识用于表示任两帧图像是否属于相同类别，根据多帧图像中的任两帧图像对应的聚类标识，将多帧图像划分为多个类别。
例如，对于目标视频的四帧图像，当根据获取到的聚类标识确定第一帧和第二帧属于相同类别，第二帧和第三帧属于相同类别，第三帧和第四帧属于不同类别，则将该四帧图像分为两个类别，第一帧、第二帧和第三帧属于一个类别，第四帧属于一个类别。
基于图像聚类模型中的差分层、融合层、特征提取层和输出层对多帧图像进行处理，可以快速准确地对多帧图像进行聚类，无需对每帧图像中的运动对象进行分析，缩短了处理时间，提高了生成视频摘要的效率。还可以理解每帧图像的语义信息，对视频内容的理解更为准确。
需要说明的是，在另一实施例中，可以先通过特征提取层，分别提取任两帧图像及差值图像的图像特征，再通过融合层，对提取的图像特征进行融合。本公开实施例对图像聚类模型的具体架构不做限定。
404、从每个类别中选取目标图像。
在一种可能实现方式中，从每个类别中选取任一帧图像，作为目标图像。该目标图像能够代表该类别中多帧图像的内容，无需选取该类别中的多帧图像，减少了用于生成视频摘要的目标图像的数量，提高了生成视频摘要的效率。
在另一种可能实现方式中，还可以从多帧图像中选取靠近聚类中心的图像，作为目标图像，该过程包括以下步骤：
一、对于每个类别，获取该类别中多帧图像的图像特征。
对该类别中的每帧图像进行特征提取，得到每帧图像的图像特征。其中，在进行特征提取时，可以采用卷积神经网络、HOG(Histogram of Oriented Gradient,方向梯度直方图)特征提取算法、LBP(Local Binary Pattern，局部二值模式)特征提取算法或者其他算法进行。
二、对多帧图像的图像特征进行平均处理，得到平均图像特征。
在一种可能实现方式中，采用以下公式，得到该类别中的多帧图像的平均图像特征：
Figure BDA0002216461720000141
其中，μ为该类别中的多帧图像的平均图像特征，fi为该类别中第i帧图像的图像特征，N为该类别中的图像数量。
三、从多帧图像中，选取图像特征与平均图像特征之间的相似度最大的图像，作为目标图像。
其中，该相似度用于表示图像特征与平均图像特征之间的相似程度，相似度越大，表示选取的图像特征与平均图像特征越相似，则选取图像特征与平均图像特征之间的相似度最大的图像，作为目标图像，从而能够将该图像作为该类别的代表帧。
在一种可能实现方式中，可以采用欧氏距离来表示图像特征与平均图像特征之间的相似度，欧式距离越小表示相似度越大，因此，可以选取图像特征与平均图像特征之间的欧式距离最小的图像，作为目标图像。
与选取该类别中任一图像作为目标图像相比较，靠近聚类中心的图像更能够代表该类别的内容，因此选取靠近该类别的聚类中心的图像作为目标图像，提高了准确率。
需要说明的是，目标视频中可能会包括渐变帧图像，该渐变帧图像的内容与上一帧图像和下一帧图像的内容相似，表示这三帧图像的内容具有连续性。考虑到这种情况，从每个类别中选取图像特征与平均图像特征之间的相似度最大的图像，即可将渐变帧图像选取出来作为目标图像，该渐变帧图像可以准确表示附近图像表达的内容。
需要说明的是，本公开实施例中从每个类别中选取一帧图像为例进行说明，在另一实施例中，可以从每个类别中选取多帧图像，例如，从每个类别中选取图像特征与平均图像特征之间的相似度较大的预设数量个图像作为目标图像，或者采用其他方式选取多帧图像。
405、将选取的多个目标图像进行拼接，得到目标视频的视频摘要。
在一种可能实现方式中，可以按照多个目标图像在目标视频中的顺序，将多个目标图像进行拼接，得到视频摘要。
在另一种可能实现方式中，还可以设置每个目标图像的播放时长、显示效果及对应的背景音频等，按照多个目标图像在目标视频中的顺序、每个目标图像的播放时长、显示效果及对应的背景音频等，将多个目标图像进行拼接，得到视频摘要。
另外，还可以从多个目标图像中，选取一帧目标图像，作为该视频摘要的封面。也可以将目标视频和视频摘要推荐给任一终端，由该终端向用户显示视频摘要，供用户查看。
采用选取的多个目标图像生成的视频摘要，既准确概括了视频内容，又减小了视频摘要的数据量，生成的视频摘要更为准确。
需要说明的是，本公开实施例仅是以执行主体为服务器为例，在另一实施例中，还可以由终端执行本公开实施例提供的生成方法。
其中，终端存储有多个视频，该目标视频可以为终端存储的任一个视频，终端存储的视频可以由终端从服务器下载得到。或者，终端登录服务器，服务器存储有多个视频，可以为终端推荐视频，该目标视频可以为服务器为终端推荐的任一个视频。
终端获取目标视频，采用本公开实施例提供的方法生成目标视频的视频摘要后，播放该视频摘要，用户即可查看该视频摘要，了解该目标视频的大致内容。
本公开实施例提供的方法，获取目标视频中的多帧图像，获取图像聚类模型，将多帧图像输入至图像聚类模型中，基于该图像聚类模型，将多帧图像划分为多个类别，从每个类别中选取目标图像，将选取的多个目标图像进行拼接，得到目标视频的视频摘要。该方法基于图像聚类模型，可以快速对多帧图像进行聚类，无需对每帧图像中对象的运动轨迹进行分析，缩短了处理时间，提高了生成视频摘要的效率。并且，从每个类别中选取目标图像，该目标图像能够代表该类别中的多帧图像的内容，根据多个目标图像生成的视频摘要，能够准确概括目标视频的内容，提高了生成的视频摘要的准确率。
相关技术中，在生成目标视频的视频摘要时，为了准确概括目标视频的内容，通常生成的视频摘要会包括较多的图像，导致数据量较大，视频压缩比较小。其中，视频压缩比是指目标视频的数据量与摘要视频的数据量之间的差值，与目标视频的数据量之间的比例。而本公开实施例提供的方法，基于图像聚类模型可以准确理解目标视频的内容，将目标视频划分为多个类别后，按照类别来选取用于生成视频摘要的目标图像，所选取的目标图像能够准确概括目标视频的内容，并且还能够减小生成的视频摘要的数据量，从而增大了视频压缩比，保留了目标视频中的有用信息。
并且，通过判断多帧原始图像中相邻的任两帧图像是否相同，可以去除多帧原始图像中的相同图像，从而减少后续步骤中的数据量，而且，剩余的图像为不相同的图像，保证用于生成视频摘要的每帧图像为不相同图像，避免图像重复。
并且，基于图像聚类模型进行分类，能够快速判断任两帧图像是否属于同一类别，能够快速准确地对多帧图像进行聚类，提高了生成视频摘要的效率。而且，基于图像聚类模型中的差分层、融合层、特征提取层和输出层对多帧图像进行处理，可以快速准确地对多帧图像进行聚类，无需对每帧图像中的运动对象进行分析，缩短了处理时间，提高了生成视频摘要的效率。还可以理解每帧图像的语义信息，对视频内容的理解更为准确。
并且，选取的目标图像能够代表该类别中多帧图像的内容，无需选取该类别中的多帧图像，减少了用于生成视频摘要的目标图像的数量，提高了生成视频摘要的效率。
并且，与选取类别中任一图像作为目标图像相比较，靠近聚类中心的图像更能够代表该类别的内容，因此选取靠近该类别的聚类中心的图像作为目标图像，提高了准确率。
图5是根据一示例性实施例示出的一种视频摘要生成装置的框图，参见图5，该装置包括：
图像获取单元501，被配置为获取目标视频中的多帧图像；
图像聚类单元502，被配置为将多帧图像输入至图像聚类模型中，基于图像聚类模型，将多帧图像划分为多个类别，每个类别中包括至少一帧图像；
目标图像获取单元503，被配置为从每个类别中选取目标图像；
视频摘要生成单元504，被配置为将选取的多个目标图像进行拼接，得到目标视频的视频摘要。
在一种可能实现方式中，参见图6，图像获取单元501，包括：
原始图像获取子单元5011，被配置为获取目标视频中的多帧原始图像；
差值获取子单元5012，被配置为对于多帧原始图像中相邻的任两帧原始图像，采用以下公式，获取任两帧原始图像之间的差值：
Figure BDA0002216461720000171
其中，Δ为任两帧原始图像之间的差值，w为原始图像的高度，h为原始图像的宽度，Pxy为任两帧原始图像中的其中一帧原始图像在(x，y)位置上的像素值，Qxy为任两帧原始图像中的其中另一帧原始图像在(x，y)位置上的像素值；
图像删除子单元5013，被配置为当任两帧原始图像之间的差值小于预设阈值时，删除任两帧原始图像中的其中一帧原始图像。
在另一种可能实现方式中，参见图6，图像聚类模型包括差分层、融合层、特征提取层和输出层，图像聚类单元502，包括：
图像输入子单元5021，被配置为将多帧图像输入至图像聚类模型中的差分层；
差值图像获取子单元5022，被配置为在差分层中，选取多帧图像中的任两帧图像，对任两帧图像进行差值运算，得到差值图像；
融合图像获取子单元5023，被配置为在融合层中，对任两帧图像及差值图像进行融合处理，得到融合图像；
特征提取子单元5024，被配置为在特征提取层中，提取融合图像的图像特征；
输出子单元5025，被配置为在输出层中，获取图像特征对应的聚类标识，聚类标识用于表示任两帧图像是否属于相同类别，根据所述多帧图像中的任两帧图像对应的聚类标识，将所述多帧图像划分为多个类别。
在另一种可能实现方式中，目标图像获取单元503，被配置为从每个类别中选取任一帧图像，作为目标图像。
在另一种可能实现方式中，参见图6，目标图像获取单元503，还包括：
特征获取子单元5031，被配置为对于每个类别，获取类别中多帧图像的图像特征；
平均特征获取子单元5032，被配置为对多帧图像的图像特征进行平均处理，得到平均图像特征；
目标图像获取子单元5033，被配置为从多帧图像中，选取图像特征与平均图像特征之间的相似度最大的图像，作为目标图像。
在另一种可能实现方式中，参见图6，装置还包括：
样本图像获取单元504，被配置为获取样本视频中的多帧样本图像；
组合获取单元505，被配置为将多帧样本图像中相邻的任两帧样本图像进行组合，得到多个组合；
标识获取单元506，被配置为获取多个组合中每个组合对应的聚类标识，聚类标识用于表示对应组合中的两帧样本图像是否属于相同类别；
模型训练单元507，被配置为根据多个组合和多个组合对应的聚类标识，训练图像聚类模型。
关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图7是根据一示例性实施例示出的一种用于生成视频摘要的终端700的框图。该终端700用于执行上述视频摘要生成方法中终端所执行的步骤，可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端2100还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端700包括有：一个或多个处理器701和一个或多个存储器702。
处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括易失性存储器或非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所具有以实现本申请中方法实施例提供的视频摘要生成方法。
在一些实施例中，终端700还可选包括有：***设备接口703和至少一个***设备。处理器701、存储器702和***设备接口703之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口703相连。具体地，***设备包括：射频电路704、触摸显示屏705、摄像头706、音频电路707、定位组件708和电源709中的至少一种。
***设备接口703可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和***设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和***设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路704用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路704包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及13G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路704还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏705用于显示UI(UserInterface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时，显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时，显示屏705还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏705可以为一个，设置终端700的前面板；在另一些实施例中，显示屏705可以为至少两个，分别设置在终端700的不同表面或呈折叠设计；在再一些实施例中，显示屏705可以是柔性显示屏，设置在终端700的弯曲表面上或折叠面上。甚至，显示屏705还可以设置成非矩形的不规则图形，也即异形屏。显示屏705可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件706用于采集图像或视频。可选地，摄像头组件706包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器701进行处理，或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路707还可以包括耳机插孔。
定位组件708用于定位终端700的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件708可以是基于美国的GPS(GlobalPositioning System，全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源709用于为终端700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于：加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。
加速度传感器711可以检测以终端700建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号，控制触摸显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器712可以检测终端700的机体方向及转动角度，陀螺仪传感器712可以与加速度传感器711协同采集用户对终端700的3D动作。处理器701根据陀螺仪传感器712采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器713可以设置在终端700的侧边框和/或触摸显示屏705的下层。当压力传感器713设置在终端700的侧边框时，可以检测用户对终端700的握持信号，由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在触摸显示屏705的下层时，由处理器701根据用户对触摸显示屏705的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器714用于采集用户的指纹，由处理器701根据指纹传感器714采集到的指纹识别用户的身份，或者，由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器701授权该用户具有相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置终端700的正面、背面或侧面。当终端700上设置有物理按键或厂商Logo时，指纹传感器714可以与物理按键或厂商标志集成在一起。
光学传感器715用于采集环境光强度。在一个实施例中，处理器701可以根据光学传感器715采集的环境光强度，控制触摸显示屏705的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏705的显示亮度；当环境光强度较低时，调低触摸显示屏705的显示亮度。在另一个实施例中，处理器701还可以根据光学传感器715采集的环境光强度，动态调整摄像头组件706的拍摄参数。
接近传感器716，也称距离传感器，通常设置在终端700的前面板。接近传感器716用于采集用户与终端700的正面之间的距离。在一个实施例中，当接近传感器716检测到用户与终端700的正面之间的距离逐渐变小时，由处理器701控制触摸显示屏705从亮屏状态切换为息屏状态；当接近传感器716检测到用户与终端700的正面之间的距离逐渐变大时，由处理器701控制触摸显示屏705从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图7中示出的结构并不构成对终端700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图8是根据一示例性实施例示出的一种服务器的结构示意图，该服务器800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)801和一个或一个以上的存储器802，其中，所述存储器802中存储有至少一条指令，所述至少一条指令由所述处理器801加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
服务器800可以用于执行上述视频摘要生成方法中服务器所执行的步骤。
在示例性实施例中，还提供了一种非临时性计算机可读存储介质，当存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述视频摘要生成方法中服务器或终端所执行的步骤。
在示例性实施例中，还提供了一种计算机程序产品，当计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行上述视频摘要生成方法中服务器或终端所执行的步骤。
本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种视频摘要生成方法，其特征在于，所述方法包括：
获取目标视频中的多帧图像；
将所述多帧图像输入至图像聚类模型中的差分层；
在所述差分层中，选取所述多帧图像中的任两帧图像，对所述任两帧图像进行差值运算，得到差值图像；
在所述图像聚类模型中的融合层中，对所述任两帧图像及所述差值图像进行融合处理，得到融合图像；
在所述图像聚类模型中的特征提取层中，提取所述融合图像的图像特征；
在所述图像聚类模型中的输出层中，获取所述图像特征对应的聚类标识，所述聚类标识用于表示所述任两帧图像是否属于相同类别，根据所述多帧图像中的任两帧图像对应的聚类标识，将所述多帧图像划分为多个类别，每个类别中包括至少一帧图像；
从所述每个类别中选取目标图像；
将选取的多个目标图像进行拼接，得到所述目标视频的视频摘要。
2.根据权利要求1所述的方法，其特征在于，所述获取目标视频中的多帧图像，包括：
获取所述目标视频中的多帧原始图像；
对于所述多帧原始图像中相邻的任两帧原始图像，采用以下公式，获取所述任两帧原始图像之间的差值：
Figure FDA0003448289900000011
其中，Δ为所述任两帧原始图像之间的差值，w为所述原始图像的高度，h为所述原始图像的宽度，Pxy为所述任两帧原始图像中的其中一帧原始图像在(x，y)位置上的像素值，Qxy为所述任两帧原始图像中的另一帧原始图像在(x，y)位置上的像素值；
当所述任两帧原始图像之间的差值小于预设阈值时，删除所述任两帧原始图像中的其中一帧原始图像。
3.根据权利要求1所述的方法，其特征在于，所述从所述每个类别中选取目标图像，包括：
从所述每个类别中选取任一帧图像，作为目标图像。
4.根据权利要求3所述的方法，其特征在于，所述从所述每个类别中选取任一帧图像，作为目标图像，包括：
对于所述每个类别，获取所述类别中多帧图像的图像特征；
对所述多帧图像的图像特征进行平均处理，得到平均图像特征；
从所述多帧图像中，选取图像特征与所述平均图像特征之间的相似度最大的图像，作为所述目标图像。
5.根据权利要求1所述的方法，其特征在于，所述将所述多帧图像输入至图像聚类模型中的差分层之前，所述方法还包括：
获取样本视频中的多帧样本图像；
将所述多帧样本图像中相邻的任两帧样本图像进行组合，得到多个组合；
获取所述多个组合中每个组合对应的聚类标识，所述聚类标识用于表示对应组合中的两帧样本图像是否属于相同类别；
根据所述多个组合和所述多个组合对应的聚类标识，训练所述图像聚类模型。
6.一种视频摘要生成装置，其特征在于，所述装置包括：
图像获取单元，被配置为获取目标视频中的多帧图像；
图像输入子单元，被配置为将所述多帧图像输入至图像聚类模型中的差分层；
差值图像获取子单元，被配置为在所述差分层中，选取所述多帧图像中的任两帧图像，对所述任两帧图像进行差值运算，得到差值图像；
融合图像获取子单元，被配置为在所述图像聚类模型中的融合层中，对所述任两帧图像及所述差值图像进行融合处理，得到融合图像；
图像特征提取子单元，被配置为在所述图像聚类模型中的特征提取层中，提取所述融合图像的图像特征；
输出子单元，被配置为在所述图像聚类模型中的输出层中，获取所述图像特征对应的聚类标识，所述聚类标识用于表示所述任两帧图像是否属于相同类别，根据所述多帧图像中的任两帧图像对应的聚类标识，将所述多帧图像划分为多个类别，每个类别中包括至少一帧图像；
目标图像获取单元，被配置为从所述每个类别中选取目标图像；
视频摘要生成单元，被配置为将选取的多个目标图像进行拼接，得到所述目标视频的视频摘要。
7.根据权利要求6所述的装置，其特征在于，所述图像获取单元，包括：
原始图像获取子单元，被配置为获取所述目标视频中的多帧原始图像；
差值获取子单元，被配置为对于所述多帧原始图像中相邻的任两帧原始图像，采用以下公式，获取所述任两帧原始图像之间的差值：
Figure FDA0003448289900000031
其中，Δ为所述任两帧原始图像之间的差值，w为所述原始图像的高度，h为所述原始图像的宽度，Pxy为所述任两帧原始图像中的其中一帧原始图像在(x，y)位置上的像素值，Qxy为所述任两帧原始图像中的另一帧原始图像在(x，y)位置上的像素值；
图像删除子单元，被配置为当所述任两帧原始图像之间的差值小于预设阈值时，删除所述任两帧原始图像中的其中一帧原始图像。
8.根据权利要求6所述的装置，其特征在于，所述目标图像获取单元，被配置为从所述每个类别中选取任一帧图像，作为目标图像。
9.根据权利要求8所述的装置，其特征在于，所述目标图像获取单元，包括：
特征获取子单元，被配置为对于所述每个类别，获取所述类别中多帧图像的图像特征；
平均特征获取子单元，被配置为对所述多帧图像的图像特征进行平均处理，得到平均图像特征；
目标图像获取子单元，被配置为从所述多帧图像中，选取图像特征与所述平均图像特征之间的相似度最大的图像，作为所述目标图像。
10.根据权利要求6所述的装置，其特征在于，所述装置还包括：
样本图像获取单元，被配置为获取样本视频中的多帧样本图像；
组合获取单元，被配置为将所述多帧样本图像中相邻的任两帧样本图像进行组合，得到多个组合；
标识获取单元，被配置为获取所述多个组合中每个组合对应的聚类标识，所述聚类标识用于表示对应组合中的两帧样本图像是否属于相同类别；
模型训练单元，被配置为根据所述多个组合和所述多个组合对应的聚类标识，训练所述图像聚类模型。
11.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
用于存储所述一个或多个处理器可执行命令的易失性或非易失性存储器；
其中，所述一个或多个处理器被配置为执行如权利要求1至权利要求5任一项所述的视频摘要生成方法。
12.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至权利要求5任一项所述的视频摘要生成方法。
CN201910917211.4A 2019-09-26 2019-09-26 视频摘要生成方法、装置、电子设备及存储介质 Active CN110650379B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910917211.4A CN110650379B (zh) 2019-09-26 2019-09-26 视频摘要生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910917211.4A CN110650379B (zh) 2019-09-26 2019-09-26 视频摘要生成方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110650379A CN110650379A (zh) 2020-01-03
CN110650379B true CN110650379B (zh) 2022-04-01

Family

ID=69011383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910917211.4A Active CN110650379B (zh) 2019-09-26 2019-09-26 视频摘要生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110650379B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738107A (zh) * 2020-06-08 2020-10-02 Oppo（重庆）智能科技有限公司 视频生成方法、视频生成装置、存储介质与电子设备
CN111836073B (zh) * 2020-07-10 2022-02-22 腾讯科技（深圳）有限公司 视频清晰度的确定方法、装置、设备及存储介质
CN113949942A (zh) * 2020-07-16 2022-01-18 Tcl科技集团股份有限公司 视频摘要生成方法、装置、终端设备及存储介质
CN113395542B (zh) * 2020-10-26 2022-11-08 腾讯科技（深圳）有限公司 基于人工智能的视频生成方法、装置、计算机设备及介质
CN113055705B (zh) * 2021-03-25 2022-08-19 郑州师范学院 基于大数据分析的云计算平台数据存储方法
CN113468431B (zh) * 2021-07-22 2024-06-04 咪咕数字传媒有限公司 基于用户行为的内容推荐方法及装置
CN114786039B (zh) * 2022-04-25 2024-03-26 海信电子科技(武汉)有限公司 服务器及视频预览图的制作方法
CN117689782B (zh) * 2024-02-02 2024-05-28 腾讯科技（深圳）有限公司 一种生成海报图像的方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194419A (zh) * 2017-05-10 2017-09-22 百度在线网络技术（北京）有限公司 视频分类方法及装置、计算机设备与可读介质
CN107223344A (zh) * 2017-01-24 2017-09-29 深圳大学 一种静态视频摘要的生成方法及装置
CN109598304A (zh) * 2018-12-04 2019-04-09 北京字节跳动网络技术有限公司 分类模型校准方法、装置、设备及可读介质
CN110245679A (zh) * 2019-05-08 2019-09-17 北京旷视科技有限公司 图像聚类方法、装置、电子设备及计算机可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3407840B2 (ja) * 1996-02-13 2003-05-19 日本電信電話株式会社 映像要約方法
CN101464893B (zh) * 2008-12-31 2010-09-08 清华大学 一种提取视频摘要的方法及装置
CN107077595A (zh) * 2014-09-08 2017-08-18 谷歌公司 选择和呈现代表性帧以用于视频预览
CN104683885A (zh) * 2015-02-04 2015-06-03 浙江大学 一种基于近邻保持重构的视频关键帧摘要提取方法
CN105488527B (zh) * 2015-11-27 2020-01-10 小米科技有限责任公司 图像分类方法及装置
CN105721955B (zh) * 2016-01-20 2018-09-11 天津大学 一种视频关键帧选取方法
EP3223237B1 (en) * 2016-03-22 2020-05-27 Tata Consultancy Services Limited Systems and methods for detecting and tracking a marker
CN108197623A (zh) * 2018-01-19 2018-06-22 百度在线网络技术（北京）有限公司 用于检测目标的方法和装置
CN109348287B (zh) * 2018-10-22 2022-01-28 深圳市商汤科技有限公司 视频摘要生成方法、装置、存储介质和电子设备
CN109977826B (zh) * 2019-03-15 2021-11-02 百度在线网络技术（北京）有限公司 物体的类别识别方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107223344A (zh) * 2017-01-24 2017-09-29 深圳大学 一种静态视频摘要的生成方法及装置
CN107194419A (zh) * 2017-05-10 2017-09-22 百度在线网络技术（北京）有限公司 视频分类方法及装置、计算机设备与可读介质
CN109598304A (zh) * 2018-12-04 2019-04-09 北京字节跳动网络技术有限公司 分类模型校准方法、装置、设备及可读介质
CN110245679A (zh) * 2019-05-08 2019-09-17 北京旷视科技有限公司 图像聚类方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN110650379A (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
CN110650379B (zh) 视频摘要生成方法、装置、电子设备及存储介质
CN110572711B (zh) 视频封面生成方法、装置、计算机设备及存储介质
CN109815150B (zh) 应用测试方法、装置、电子设备及存储介质
CN110490179B (zh) 车牌识别方法、装置及存储介质
CN109360222B (zh) 图像分割方法、装置及存储介质
CN109522863B (zh) 耳部关键点检测方法、装置及存储介质
CN110933468A (zh) 播放方法、装置、电子设备及介质
US11386586B2 (en) Method and electronic device for adding virtual item
CN111432245B (zh) 多媒体信息的播放控制方法、装置、设备及存储介质
CN108776822B (zh) 目标区域检测方法、装置、终端及存储介质
CN111127509A (zh) 目标跟踪方法、装置和计算机可读存储介质
CN112084811A (zh) 身份信息的确定方法、装置及存储介质
CN111027490A (zh) 人脸属性识别方法及装置、存储介质
CN112581358A (zh) 图像处理模型的训练方法、图像处理方法及装置
CN113918767A (zh) 视频片段定位方法、装置、设备及存储介质
CN110675473B (zh) 生成gif动态图的方法、装置、电子设备及介质
CN111586279B (zh) 确定拍摄状态的方法、装置、设备及存储介质
CN111327819A (zh) 选择图像的方法、装置、电子设备及介质
CN114741559A (zh) 确定视频封面的方法、设备及存储介质
CN110991445A (zh) 竖排文字识别方法、装置、设备及介质
CN110728167A (zh) 文本检测方法、装置及计算机可读存储介质
CN110853124A (zh) 生成gif动态图的方法、装置、电子设备及介质
CN111611414A (zh) 车辆检索方法、装置及存储介质
CN111988664B (zh) 视频处理方法、装置、计算机设备及计算机可读存储介质
CN111757146B (zh) 视频拼接的方法、***及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant