CN109996091A - 生成视频封面的方法、装置、电子设备和计算机可读存储介质 - Google Patents

生成视频封面的方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN109996091A
CN109996091A CN201910240072.6A CN201910240072A CN109996091A CN 109996091 A CN109996091 A CN 109996091A CN 201910240072 A CN201910240072 A CN 201910240072A CN 109996091 A CN109996091 A CN 109996091A
Authority
CN
China
Prior art keywords
video
processed
frame
video frame
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910240072.6A
Other languages
English (en)
Inventor
白朔天
欧伟康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Octree Intelligent Technology Co Ltd
Original Assignee
Suzhou Octree Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Octree Intelligent Technology Co Ltd filed Critical Suzhou Octree Intelligent Technology Co Ltd
Priority to CN201910240072.6A priority Critical patent/CN109996091A/zh
Publication of CN109996091A publication Critical patent/CN109996091A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44222Analytics of user selections, e.g. selection of programs or purchase activity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/475End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种生成视频封面的方法、装置、电子设备和计算机可读存储介质。所述生成视频封面的方法包括:获取视频文件中的待处理视频帧;根据各待处理视频帧的内容信息和用户信息,确定所述待处理视频帧中的关键帧;基于各关键帧的图像质量指标确定所述视频文件的封面。通过本发明实施例提供的技术方案,可以给视频自动生成与视频内容相关度较高、符合用户喜好且质量较好的封面。

Description

生成视频封面的方法、装置、电子设备和计算机可读存储介质
技术领域
本发明涉及互联网应用技术领域,特别涉及一种生成视频封面的方法、装置、电子设备和计算机可读存储介质。
背景技术
随着互联网技术的发展,通过网络在各平台观看视频成为了越来越多人的娱乐消遣的方式。为了吸引更多的用户,提高视频的点击率,通常需要为视频生成内容的一个封面。
相关技术中,通常是人工选择某个视频帧作为视频的封面,或者默认第一帧作为视频的封面,但这样的表现力差,不能够表现出内容的关键要素。但上述人工选择图片的方式效率很低,难以满足互联网平台每日视频处理的庞大需求。且人工编译方式和默认第一帧作为封面的方式均往往无法截取到与视频标题或内容相关度最高的图片,从而难以快速吸引用户的注意,进而难以显著提高视频的点击率。
发明内容
为了解决相关技术中存在的生成视频封面的效率低、无法截取到与该视频相关度高且能够吸引用户点击的视频帧作为封面的技术问题,本发明提供了一种生成视频封面的方法、装置、电子设备和计算机可读存储介质。
根据本发明的一个方面,提供了生成视频封面的方法,包括:获取视频文件中的待处理视频帧;根据各待处理视频帧的内容信息和用户信息,确定所述待处理视频帧中的关键帧;基于各关键帧的图像质量指标确定所述视频文件的封面。
在一个示例性实施例中,所述内容信息包括所述待处理视频帧的画面变化程度;其中,根据各待处理视频帧的内容信息和用户信息,确定所述待处理视频帧中的关键帧,包括:若所述画面变化程度超过变化阈值,则判定所述画面变化程度对应的待处理视频帧为关键帧。
在一个示例性实施例中,所述方法还包括:获取各待处理视频帧的颜色信息、对象信息以及前景和背景之间的对比度信息;根据各各待处理视频帧的颜色信息、对象信息以及前景和背景之间的对比度信息确定各待处理视频帧的画面变化程度。
在一个示例性实施例中,所述内容信息包括各待处理视频帧的文本信息;其中,根据各待处理视频帧的内容信息和用户信息,确定所述待处理视频帧中的关键帧,包括:根据各待处理视频帧的文本信息提取关键词;获取各关键词在所述视频文件中的出现频次;若所述出现频次超过频次阈值,则判定包括所述出现频次对应的关键词的待处理视频帧为关键帧。
在一个示例性实施例中,所述用户信息包括观看所述视频文件时在各个待处理视频帧上的历史停留时间信息;其中,根据各待处理视频帧的内容信息和用户信息,确定所述待处理视频帧中的关键帧,包括:若所述历史停留时间信息超过停留阈值,则判定所述历史停留时间信息对应的待处理视频帧为关键帧。
在一个示例性实施例中,所述方法还包括:根据所述视频文件的属性信息确定添加元素;将所述添加元素添加至所述封面的预设位置。
在一个示例性实施例中,获取视频文件中的待处理视频帧,包括:获取所述视频文件;以预设周期抽取所述视频文件中的视频帧,以获取所述待处理视频帧。
根据本发明的一个方面,提供了一种生成视频封面的装置,所述装置包括:视频帧获取模块,配置为获取视频文件中的待处理视频帧;关键帧确定模块,配置为根据各待处理视频帧的内容信息和用户信息,确定所述待处理视频帧中的关键帧;视频封面确定模块,配置为基于各关键帧的图像质量指标确定所述视频文件的封面。
根据本发明的一个方面,提供了一种电子设备,包括:处理器;以及存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现根据上述任一实施例所述的方法。
根据本发明的一个方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现根据上述任一实施例所述的方法。
本发明的某些实施例提供的技术方案可以包括以下有益效果:
通过根据各待处理视频帧的内容信息和用户信息,确定所述待处理视频帧中的关键帧,进而可以基于各关键帧的图像质量指标确定所述视频文件的封面,从而能够从视频帧中提取出并自动生成符合用户喜好、与该视频内容相关度较高且质量较优的视频帧作为该视频的封面,这样生成的视频封面能够很好地吸引用户的注意,提高了用户体验,显著地提高视频的点击率,给视频播放平台带来较多的流量和利益。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并于说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种电子设备的框图;
图2是一示例性实施例示出的一种生成视频封面的方法的流程图;
图3是根据图2对应实施例示出的对步骤S220的细节进行描述的一流程图;
图4是根据图2对应实施例示出的对步骤S220的细节进行描述的另一流程图;
图5是根据一示例性实施例示出的一种生成视频封面的装置的框图。
具体实施方式
这里将详细地对示例性实施例执行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种电子设备的框图。例如,电子设备100可以是用户终端和/或服务器。
参照图1,电子设备100可以包括以下一个或多个组件:处理组件102,存储器104,电源组件106,多媒体组件108,音频组件110,传感器组件114以及通信组件116。
处理组件102通常控制电子设备100的整体操作,诸如与显示,电话呼叫,数据通信,相机操作以及记录操作相关联的操作等。处理组件102可以包括一个或多个处理器118来执行指令,以完成下述的方法的全部或部分步骤。此外,处理组件102可以包括一个或多个模块,便于处理组件102和其他组件之间的交互。例如,处理组件102可以包括多媒体模块,以方便多媒体组件108和处理组件102之间的交互。
存储器104被配置为存储各种类型的数据以支持在电子设备100的操作。这些数据的示例包括用于在电子设备100上操作的任何应用程序或方法的指令。存储器104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM),可编程只读存储器(Programmable Red-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。存储器104中还存储有一个或多个模块,该一个或多个模块被配置成由该一个或多个处理器118执行,以完成下述图2、图3和图4任一所示方法中的全部或者部分步骤。
电源组件106为电子设备100的各种组件提供电力。电源组件106可以包括电源管理***,一个或多个电源,及其他与为电子设备100生成、管理和分配电力相关联的组件。
多媒体组件108包括在所述电子设备100和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(Liquid Crystal Display,简称LCD)和触摸面板。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。屏幕还可以包括有机电致发光显示器(Organic Light Emitting Display ,简称OLED)。
音频组件110被配置为输出和/或输入音频信号。例如,音频组件110包括一个麦克风(Microphone,简称MIC),当电子设备100处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器104或经由通信组件116发送。在一些实施例中,音频组件110还包括一个扬声器,用于输出音频信号。
传感器组件114包括一个或多个传感器,用于为电子设备100提供各个方面的状态评估。例如,传感器组件114可以检测到电子设备100的打开/关闭状态,组件的相对定位,传感器组件114还可以检测电子设备100或电子设备100一个组件的位置改变以及电子设备100的温度变化。在一些实施例中,该传感器组件114还可以包括磁传感器,压力传感器或温度传感器。
通信组件116被配置为便于电子设备100和其他设备之间有线或无线方式的通信。装置100可以接入基于通信标准的无线网络,如WiFi(WIreless-Fidelity,无线保真)。在一个示例性实施例中,通信组件116经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件116还包括近场通信(Near FieldCommunication,简称NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RadioFrequency Identification,简称RFID)技术,红外数据协会(Infrared Data Association,简称IrDA)技术,超宽带(Ultra Wideband ,简称UWB)技术,蓝牙技术和其他技术来实现。
在示例性实施例中,电子设备100可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit ,简称ASIC)、数字信号处理器、数字信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微处理器或其他电子元件实现,用于执行下述方法。
图2是一示例性实施例示出的一种生成视频封面的方法的流程图。
如图2所示,本发明实施例提供的生成视频封面的方法可以包括以下步骤。
在步骤S210中,获取视频文件中的待处理视频帧。
在示例性实施例中,所述获取视频文件中的待处理视频帧,可以包括:获取所述视频文件;以预设周期抽取所述视频文件中的视频帧,以获取所述待处理视频帧。
本发明实施例中,可以以所述预设周期抽取所述视频文件中的视频帧作为所述待处理视频帧,这里的视频文件为待提取关键帧作为其封面的视频文件,例如可以为电视剧、电影、娱乐资讯、预告片、直播视频、主播视频、微视频、游戏视频等。由于视频由多个连续的画面组成,一组连续的视频帧的图像内容变化不大,因此可以以预先设定的周期从视频文件中抽取部分视频帧,以保证从视频文件中提取关键帧的处理效率。例如,每隔1秒从视频文件中抽取一个视频帧,对于一段2分钟的视频,共需要抽取120帧。但这里仅用于举例说明,本发明并不限定于此,预设周期的取值不对其进行限定,也可以不进行视频帧的抽取,直接对整个视频文件的全部视频帧进行下述处理。
在步骤S220中,根据各待处理视频帧的内容信息和用户信息,确定所述待处理视频帧中的关键帧。
在示例性实施例中,所述用户信息可以包括观看所述视频文件时在各个待处理视频帧上的历史停留时间信息。
在示例性实施例中,所述根据各待处理视频帧的内容信息和用户信息,确定所述待处理视频帧中的关键帧,可以包括:若所述历史停留时间信息超过停留阈值,则判定所述历史停留时间信息对应的待处理视频帧为关键帧。
具体的,可以记录该视频文件的历史播放信息,并根据该视频文件的历史播放信息统计出历史上用户在各个待处理视频帧上的停留时间,这里可以累计历史上所有用户在各个待处理视频帧上的停留时间之和作为各个待处理视频帧的历史停留时间。若检测到某一待处理视频帧的历史停留时间超过预先设定的停留阈值,则标记该相应的待处理视频帧为关键帧;若另一待处理视频帧的历史停留时间未超过所述停留阈值,则可以标记该另一待处理视频帧为非关键帧。本发明实施例中,所述停留阈值的具体取值可以根据具体应用场景和具体视频文件进行设置,本发明对此不作限定。
在其他实施例中,还可以采用如下面的图3和/或图4的实施例所述的方法来提取待处理视频帧中的关键帧。
本发明实施例中,所述用户信息还可以包括用户偏好信息、用户年龄信息和用户性别信息等中的任意一种或者多种与用户相关的信息,进而可以根据所述用户偏好信息、用户年龄信息和用户性别信息确定该视频文件的封面。例如,可以预先对视频播放平台的用户进行画像,提取出年轻(例如可以设置15-35岁为年轻人,但本发明并不对此做限定)女性的视频观看偏好信息,从而为年轻女性从视频文件中选择符合青春浪漫甜蜜温馨的视频帧作为关键帧,当目标用户登录该平台时,根据其登录信息判断出该目标用户为年轻女性,则为其确定符合其偏好的视频帧作为该视频文件的封面,即本发明还可以实现自动生成个性化封面的功能,为同一视频文件选择不同的视频帧作为封面,而非相关技术中的同一视频文件均显示同一封面,这样生成的视频封面可以更加符合用户的喜好,更加具有针对性。
在另一些实施例中,所述用户信息还可以包括用户评价信息,在视频文件的播放过程中,用户可以通过“弹幕”形式在各个视频帧上加入其对该视频帧的评价内容,根据这些弹幕内容可以获知用户对各个待处理视频帧的评价信息,对这些评价信息进行情感类型分析,例如情感类型可以分为喜爱、中性、讨厌等类型,从而可以获得用户对各个待处理视频帧的喜爱程度,将喜爱程度较高的待处理视频帧作为关键帧提取出来。
在步骤S230中,基于各关键帧的图像质量指标确定所述视频文件的封面。
本发明实施例中,可以预先设置图像质量评估标准,根据该图像质量评估标准对样本图像进行标注,符合该图像质量评估标准的则标注为质量良好(例如标注为“1”),超过该图像质量评估标准的则标注为质量优异(例如标注为“2”),不符合该图像质量评估标准的则标注为质量低劣(例如标注为“0”),根据该标注的样本图像生成训练图像集,将该训练图像集中的样本图像输入至预先构建的多分类机器学习模型中,预测各个样本图像的质量评估结果,并该质量评估结果和相应的样本图像的标注信息计算损失函数,根据损失函数的优化调整该多分类机器学习模型的参数,获得训练好的多分类机器学习模型。在使用阶段,则可以将各关键帧输入至该训练好的多分类机器学习模型中,输出各关键帧的质量评估结果作为其图像质量评估指标,并从各关键帧中选择图像质量评估指标为优异的关键帧作为该视频文件的封面,若存在多个关键帧的图像质量评估指标为优异,则可以随机选择优异的该多个关键帧的其中一个关键帧作为该视频文件的封面。其中,该多分类机器学习模型可以采用深层神经网络、卷积神经网络等中的任意一种。
在其他实施例中,还可以基于各关键帧的清晰度、亮度、色度等对其图像质量进行打分,根据各关键帧的图像质量分值进行排序,选择图像质量分值最高的关键帧作为所述视频文件的封面。
在示例性实施例中,所述方法还可以包括:根据所述视频文件的属性信息确定添加元素;将所述添加元素添加至所述封面的预设位置。
本发明实施例中,所述视频文件的属性信息可以包括视频名称信息、视频类型信息、视频大小信息和视频创建信息等中的任意一种或者多种。其中所述视频名称信息指示了该视频文件的名称,所述视频类型信息指示了该视频文件的类型,例如武侠类、古装剧类、喜剧类、言情类等,所述视频大小信息指示了该视频文件的大小,所述视频创建信息指示了该视频文件的创建时间和创建者等信息。本发明实施例中,可以根据所述视频文件的上述任意一种或者多种属性信息确定将要往上述确定的封面上添加的元素,例如在封面上添加该视频文件的名称、类型、大小、创建时间和创建者等元素中的任意一种或者多种,从而使用户在看到该视频文件的封面时,可以很直观的了解到这个视频文件的主题名称时什么、属于什么题材和类型的视频,从而可以确定是否自己喜欢的类型;根据封面上显示的视频大小是多少,从而便于用户根据自己当前可用时间确定什么时间段观看;根据封面上显示的创建时间可以了解到其大概的时代背景是怎么样的;根据封面上显示的创建者可以快速了解到是否其喜欢的导演、制片人等信息,这些封面上的添加元素均有利于用户快速确定其当前想要观看的视频,进一步提高了用户体验。
进一步的,还可以对所述添加元素进行处理,例如进行图形化处理,将其变为变体美术字等,从而可以使封面更加美观。在其他实施例中,还可以根据处理后的添加元素的颜色确定其待添加的位置,例如从封面上选择与添加元素相近似或者具有鲜明对比的位置作为其添加位置。
本发明实施方式提供的生成视频封面的方法,通过根据各待处理视频帧的内容信息和用户信息,确定所述待处理视频帧中的关键帧,进而可以基于各关键帧的图像质量指标确定所述视频文件的封面,从而能够从视频帧中提取出并自动生成符合用户喜好、与该视频内容相关度较高且质量较优的视频帧作为该视频的封面,这样生成的视频封面能够很好地吸引用户的注意,提高了用户体验,显著地提高视频的点击率,给视频播放平台带来较多的流量和利益。
图3是根据图2对应实施例示出的对步骤S220的细节进行描述的一流程图。
如图3所示,本发明实施例中,上述步骤S220可以进一步包括以下步骤。
在步骤S221中,获取各待处理视频帧的颜色信息、对象信息以及前景和背景之间的对比度信息。
在步骤S222中,根据各各待处理视频帧的颜色信息、对象信息以及前景和背景之间的对比度信息确定各待处理视频帧的画面变化程度。
本发明实施例中,可以根据待处理视频帧的颜色信息、对象信息以及前景和背景之间的对比度信息,确定该待处理视频帧的画面变化程度。
例如,可以判定颜色越鲜艳、颜色种类越多、不同颜色之间的对比越强烈的待处理视频帧的画面变化程度越高;也可以判定对象种类越多,这里的对象例如可以是人、动物、植物、场景等,则待处理视频帧的画面变化程度越高;也可以判定前景和背景之间的对比度越大,则待处理视频帧的画面变化程度越高;还可以综合视频帧的颜色信息、对象信息以及前景和背景之间的对比度信息,确定该待处理视频帧的画面变化程度。
在步骤S223中,若所述画面变化程度超过变化阈值,则判定所述画面变化程度对应的待处理视频帧为关键帧。
本发明实施例中,所述变化阈值可以根据该视频文件和具体的用户需求来设置,本发明对此不作限定。若检测到某一待处理视频帧的画面变化程度较大,超过了所述变化阈值,则可以将该待处理视频帧提取作为关键帧;若另一待处理视频帧的画面变化程度较小,小于等于所述变化阈值,则可以将该待处理视频帧标记为非关键帧。即本发明实施例中可以选择具有快速变换、变化强烈的视频帧作为关键帧,因为通常这样的视频帧作为封面可以快速抓取用户的眼球,吸引其注意力。
图4是根据图2对应实施例示出的对步骤S220的细节进行描述的另一流程图。
如图4所示,本发明实施例中,上述步骤S220可以进一步包括以下步骤。
在步骤S224中,根据各待处理视频帧的文本信息提取关键词。
本发明实施例中,若所述视频文件存在字幕,则所述文本信息可以是其字幕,则可以对各待处理视频帧的字幕进行处理,提取出关键词,例如对字幕中的没有实际意义的词语、停用词等进行剔除,对字幕进行分词等处理。若所述视频文件不存在字幕,则可以将各待处理视频帧的语音文件进行转换,将语音文件转换为所述文本信息,然后对所述文本信息进行分词等处理,提取出关键词。
在步骤S225中,获取各关键词在所述视频文件中的出现频次。
在步骤S226中,若所述出现频次超过频次阈值,则判定包括所述出现频次对应的关键词的待处理视频帧为关键帧。
本发明实施例中,可以统计各关键词在该视频文件中的出现频次,若某个关键词的出现频次超过预设的频次阈值,则可以判定包括该关键词的待处理视频帧为关键帧。其中,所述频次阈值可以根据具体的视频文件和需求进行设置,本发明对此不作限定。因为通常出现频次较高的关键词与该视频文件的相关度较高,从而将该对应的视频帧作为关键帧,可以生成与该视频文件相关度较高的封面。
下述为本发明装置实施例,可以用于执行本发明上述实现生成视频封面的方法实施例。对于本发明装置实施例中未披露的细节,请参照本发明实现生成视频封面的方法实施例。
图5是根据一示例性实施例示出的一种生成视频封面的装置的框图。
如图5所示,本发明实施例提供的生成视频封面的装置500可以包括视频帧获取模块510、关键帧确定模块520以及视频封面确定模块530。
其中,视频帧获取模块510可以配置为获取视频文件中的待处理视频帧。
关键帧确定模块520可以配置为根据各待处理视频帧的内容信息和用户信息,确定所述待处理视频帧中的关键帧。
视频封面确定模块530可以配置为基于各关键帧的图像质量指标确定所述视频文件的封面。
在示例性实施例中,所述内容信息包括所述待处理视频帧的画面变化程度;其中,关键帧确定模块520可以包括:第一判定单元,可以配置为若所述画面变化程度超过变化阈值,则判定所述画面变化程度对应的待处理视频帧为关键帧。
在示例性实施例中,生成视频封面的装置500还可以包括:对比度获取模块,可以配置为获取各待处理视频帧的颜色信息、对象信息以及前景和背景之间的对比度信息;变化程度确定模块,可以配置为根据各各待处理视频帧的颜色信息、对象信息以及前景和背景之间的对比度信息确定各待处理视频帧的画面变化程度。
在示例性实施例中,所述内容信息包括各待处理视频帧的文本信息;其中,关键帧确定模块520可以包括:关键词提取单元,可以配置为根据各待处理视频帧的文本信息提取关键词;频次获取单元,可以配置为获取各关键词在所述视频文件中的出现频次;第二判定单元,可以配置为若所述出现频次超过频次阈值,则判定包括所述出现频次对应的关键词的待处理视频帧为关键帧。
在示例性实施例中,所述用户信息包括观看所述视频文件时在各个待处理视频帧上的历史停留时间信息;其中,关键帧确定模块520可以包括:第三判定单元,可以配置为若所述历史停留时间信息超过停留阈值,则判定所述历史停留时间信息对应的待处理视频帧为关键帧。
在示例性实施例中,生成视频封面的装置500还可以包括:添加元素确定模块,可以配置为根据所述视频文件的属性信息确定添加元素;元素添加模块,可以配置为将所述添加元素添加至所述封面的预设位置。
在示例性实施例中,视频帧获取模块510可以包括:视频获取单元,可以配置为获取所述视频文件;视频抽取单元,可以配置为以预设周期抽取所述视频文件中的视频帧,以获取所述待处理视频帧。
在示例性实施例中,还提供了一种存储介质,该存储介质为计算机可读存储介质,例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质例如包括指令的存储器104,上述指令可由电子设备100的处理器118执行以完成上述多媒体交互中的传输、终端控制方法。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种生成视频封面的方法,其特征在于,包括:
获取视频文件中的待处理视频帧;
根据各待处理视频帧的内容信息和用户信息,确定所述待处理视频帧中的关键帧;
基于各关键帧的图像质量指标确定所述视频文件的封面。
2.根据权利要求1所述的方法,其特征在于,所述内容信息包括所述待处理视频帧的画面变化程度;其中,根据各待处理视频帧的内容信息和用户信息,确定所述待处理视频帧中的关键帧,包括:
若所述画面变化程度超过变化阈值,则判定所述画面变化程度对应的待处理视频帧为关键帧。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取各待处理视频帧的颜色信息、对象信息以及前景和背景之间的对比度信息;
根据各各待处理视频帧的颜色信息、对象信息以及前景和背景之间的对比度信息确定各待处理视频帧的画面变化程度。
4.根据权利要求1所述的方法,其特征在于,所述内容信息包括各待处理视频帧的文本信息;其中,根据各待处理视频帧的内容信息和用户信息,确定所述待处理视频帧中的关键帧,包括:
根据各待处理视频帧的文本信息提取关键词;
获取各关键词在所述视频文件中的出现频次;
若所述出现频次超过频次阈值,则判定包括所述出现频次对应的关键词的待处理视频帧为关键帧。
5.根据权利要求1所述的方法,其特征在于,所述用户信息包括观看所述视频文件时在各个待处理视频帧上的历史停留时间信息;其中,根据各待处理视频帧的内容信息和用户信息,确定所述待处理视频帧中的关键帧,包括:
若所述历史停留时间信息超过停留阈值,则判定所述历史停留时间信息对应的待处理视频帧为关键帧。
6.根据权利要求1所述的方法,其特征在于,还包括:
根据所述视频文件的属性信息确定添加元素;
将所述添加元素添加至所述封面的预设位置。
7.根据权利要求1所述的方法,其特征在于,获取视频文件中的待处理视频帧,包括:
获取所述视频文件;
以预设周期抽取所述视频文件中的视频帧,以获取所述待处理视频帧。
8.一种生成视频封面的装置,其特征在于,所述装置包括:
视频帧获取模块,配置为获取视频文件中的待处理视频帧;
关键帧确定模块,配置为根据各待处理视频帧的内容信息和用户信息,确定所述待处理视频帧中的关键帧;
视频封面确定模块,配置为基于各关键帧的图像质量指标确定所述视频文件的封面。
9.一种电子设备,其特征在于,包括:
处理器;以及
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现根据权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现根据权利要求1至7中任一项所述的方法。
CN201910240072.6A 2019-03-28 2019-03-28 生成视频封面的方法、装置、电子设备和计算机可读存储介质 Pending CN109996091A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910240072.6A CN109996091A (zh) 2019-03-28 2019-03-28 生成视频封面的方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910240072.6A CN109996091A (zh) 2019-03-28 2019-03-28 生成视频封面的方法、装置、电子设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109996091A true CN109996091A (zh) 2019-07-09

Family

ID=67131681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910240072.6A Pending CN109996091A (zh) 2019-03-28 2019-03-28 生成视频封面的方法、装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109996091A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381339A (zh) * 2019-08-07 2019-10-25 腾讯科技(深圳)有限公司 图片传输方法及装置
CN110392306A (zh) * 2019-07-29 2019-10-29 腾讯科技(深圳)有限公司 一种数据处理方法以及设备
CN110572711A (zh) * 2019-09-27 2019-12-13 北京达佳互联信息技术有限公司 视频封面生成方法、装置、计算机设备及存储介质
CN110602554A (zh) * 2019-08-16 2019-12-20 华为技术有限公司 封面图像确定方法、装置及设备
CN111191078A (zh) * 2020-01-08 2020-05-22 腾讯科技(深圳)有限公司 基于视频信息处理模型的视频信息处理方法及装置
CN111246255A (zh) * 2020-01-21 2020-06-05 北京达佳互联信息技术有限公司 视频推荐方法、装置、存储介质、终端及服务器
CN111651633A (zh) * 2020-04-29 2020-09-11 上海推乐信息技术服务有限公司 一种视频封面选取方法和***
CN111918130A (zh) * 2020-08-11 2020-11-10 北京达佳互联信息技术有限公司 视频封面确定方法、装置、电子设备及存储介质
CN112015926A (zh) * 2020-08-27 2020-12-01 北京字节跳动网络技术有限公司 搜索结果的展示方法、装置、可读介质和电子设备
CN112312200A (zh) * 2019-08-06 2021-02-02 北京字节跳动网络技术有限公司 视频封面生成方法、装置和电子设备
CN112333467A (zh) * 2020-11-27 2021-02-05 中国船舶工业***工程研究院 一种用于检测视频的关键帧的方法、***和介质
CN112533050A (zh) * 2020-11-27 2021-03-19 腾讯科技(深圳)有限公司 一种视频处理方法、装置、设备及介质
TWI722853B (zh) * 2020-04-01 2021-03-21 香港商煜健貿易有限公司 視頻封面生成的方法、裝置、存儲介質和終端設備
CN112752121A (zh) * 2020-05-26 2021-05-04 腾讯科技(深圳)有限公司 一种视频封面生成方法及装置
CN112866801A (zh) * 2021-03-11 2021-05-28 北京小米移动软件有限公司 视频封面的确定方法、装置、电子设备及存储介质
CN113542845A (zh) * 2020-04-16 2021-10-22 腾讯科技(深圳)有限公司 一种信息展示方法、装置、设备及存储介质
CN113596579A (zh) * 2021-07-29 2021-11-02 北京字节跳动网络技术有限公司 视频生成方法、装置、介质及电子设备
CN113784152A (zh) * 2021-07-20 2021-12-10 阿里巴巴达摩院(杭州)科技有限公司 视频处理方法和存储介质
CN113986407A (zh) * 2020-07-27 2022-01-28 华为技术有限公司 封面生成方法、装置及计算机存储介质
CN114245232A (zh) * 2021-12-14 2022-03-25 推想医疗科技股份有限公司 一种视频摘要生成方法、装置、存储介质及电子设备
CN115086773A (zh) * 2021-03-11 2022-09-20 通用电气精准医疗有限责任公司 使用图像循环内关键帧的标识对超声图像循环进行的增强可视化和回放
WO2022206729A1 (zh) * 2021-04-01 2022-10-06 影石创新科技股份有限公司 视频封面选择方法、装置、计算机设备和存储介质
WO2023024803A1 (zh) * 2021-08-23 2023-03-02 北京字跳网络技术有限公司 动态封面生成方法、装置、电子设备、介质及程序产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503693A (zh) * 2016-11-28 2017-03-15 北京字节跳动科技有限公司 视频封面的提供方法及装置
CN106547767A (zh) * 2015-09-18 2017-03-29 北京国双科技有限公司 确定视频封面图片的方法及装置
US20170264934A1 (en) * 2016-03-08 2017-09-14 Flipboard, Inc. Auto video preview within a digital magazine
CN107707967A (zh) * 2017-09-30 2018-02-16 咪咕视讯科技有限公司 一种视频文件封面的确定方法、装置及计算机可读存储介质
CN108833939A (zh) * 2018-06-20 2018-11-16 北京优酷科技有限公司 生成视频的海报的方法及装置
CN109165301A (zh) * 2018-09-13 2019-01-08 北京字节跳动网络技术有限公司 视频封面选择方法、装置和计算机可读存储介质
CN109271542A (zh) * 2018-09-28 2019-01-25 百度在线网络技术(北京)有限公司 封面确定方法、装置、设备及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106547767A (zh) * 2015-09-18 2017-03-29 北京国双科技有限公司 确定视频封面图片的方法及装置
US20170264934A1 (en) * 2016-03-08 2017-09-14 Flipboard, Inc. Auto video preview within a digital magazine
CN106503693A (zh) * 2016-11-28 2017-03-15 北京字节跳动科技有限公司 视频封面的提供方法及装置
CN107707967A (zh) * 2017-09-30 2018-02-16 咪咕视讯科技有限公司 一种视频文件封面的确定方法、装置及计算机可读存储介质
CN108833939A (zh) * 2018-06-20 2018-11-16 北京优酷科技有限公司 生成视频的海报的方法及装置
CN109165301A (zh) * 2018-09-13 2019-01-08 北京字节跳动网络技术有限公司 视频封面选择方法、装置和计算机可读存储介质
CN109271542A (zh) * 2018-09-28 2019-01-25 百度在线网络技术(北京)有限公司 封面确定方法、装置、设备及可读存储介质

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110392306A (zh) * 2019-07-29 2019-10-29 腾讯科技(深圳)有限公司 一种数据处理方法以及设备
CN112312200A (zh) * 2019-08-06 2021-02-02 北京字节跳动网络技术有限公司 视频封面生成方法、装置和电子设备
CN110381339A (zh) * 2019-08-07 2019-10-25 腾讯科技(深圳)有限公司 图片传输方法及装置
CN110602554A (zh) * 2019-08-16 2019-12-20 华为技术有限公司 封面图像确定方法、装置及设备
WO2021031920A1 (zh) * 2019-08-16 2021-02-25 华为技术有限公司 封面图像确定方法、装置及设备
CN110572711A (zh) * 2019-09-27 2019-12-13 北京达佳互联信息技术有限公司 视频封面生成方法、装置、计算机设备及存储介质
CN111191078A (zh) * 2020-01-08 2020-05-22 腾讯科技(深圳)有限公司 基于视频信息处理模型的视频信息处理方法及装置
CN111191078B (zh) * 2020-01-08 2024-05-07 深圳市雅阅科技有限公司 基于视频信息处理模型的视频信息处理方法及装置
CN111246255A (zh) * 2020-01-21 2020-06-05 北京达佳互联信息技术有限公司 视频推荐方法、装置、存储介质、终端及服务器
US11546663B2 (en) 2020-01-21 2023-01-03 Beijing Dajia Internet Information Technology Co., Ltd. Video recommendation method and apparatus
TWI722853B (zh) * 2020-04-01 2021-03-21 香港商煜健貿易有限公司 視頻封面生成的方法、裝置、存儲介質和終端設備
CN113542845B (zh) * 2020-04-16 2024-02-02 腾讯科技(深圳)有限公司 一种信息展示方法、装置、设备及存储介质
CN113542845A (zh) * 2020-04-16 2021-10-22 腾讯科技(深圳)有限公司 一种信息展示方法、装置、设备及存储介质
CN111651633A (zh) * 2020-04-29 2020-09-11 上海推乐信息技术服务有限公司 一种视频封面选取方法和***
CN112752121A (zh) * 2020-05-26 2021-05-04 腾讯科技(深圳)有限公司 一种视频封面生成方法及装置
CN112752121B (zh) * 2020-05-26 2023-06-09 腾讯科技(深圳)有限公司 一种视频封面生成方法及装置
CN113986407A (zh) * 2020-07-27 2022-01-28 华为技术有限公司 封面生成方法、装置及计算机存储介质
CN111918130A (zh) * 2020-08-11 2020-11-10 北京达佳互联信息技术有限公司 视频封面确定方法、装置、电子设备及存储介质
CN112015926A (zh) * 2020-08-27 2020-12-01 北京字节跳动网络技术有限公司 搜索结果的展示方法、装置、可读介质和电子设备
US11928152B2 (en) 2020-08-27 2024-03-12 Beijing Bytedance Network Technology Co., Ltd. Search result display method, readable medium, and terminal device
CN112533050B (zh) * 2020-11-27 2023-11-03 腾讯科技(深圳)有限公司 一种视频处理方法、装置、设备及介质
CN112333467A (zh) * 2020-11-27 2021-02-05 中国船舶工业***工程研究院 一种用于检测视频的关键帧的方法、***和介质
CN112533050A (zh) * 2020-11-27 2021-03-19 腾讯科技(深圳)有限公司 一种视频处理方法、装置、设备及介质
CN112866801A (zh) * 2021-03-11 2021-05-28 北京小米移动软件有限公司 视频封面的确定方法、装置、电子设备及存储介质
CN112866801B (zh) * 2021-03-11 2023-10-03 北京小米移动软件有限公司 视频封面的确定方法、装置、电子设备及存储介质
CN115086773A (zh) * 2021-03-11 2022-09-20 通用电气精准医疗有限责任公司 使用图像循环内关键帧的标识对超声图像循环进行的增强可视化和回放
CN115086773B (zh) * 2021-03-11 2024-04-16 通用电气精准医疗有限责任公司 使用图像循环内关键帧的标识对超声图像循环进行的增强可视化和回放
WO2022206729A1 (zh) * 2021-04-01 2022-10-06 影石创新科技股份有限公司 视频封面选择方法、装置、计算机设备和存储介质
CN113784152A (zh) * 2021-07-20 2021-12-10 阿里巴巴达摩院(杭州)科技有限公司 视频处理方法和存储介质
CN113596579A (zh) * 2021-07-29 2021-11-02 北京字节跳动网络技术有限公司 视频生成方法、装置、介质及电子设备
WO2023024803A1 (zh) * 2021-08-23 2023-03-02 北京字跳网络技术有限公司 动态封面生成方法、装置、电子设备、介质及程序产品
CN114245232B (zh) * 2021-12-14 2023-10-31 推想医疗科技股份有限公司 一种视频摘要生成方法、装置、存储介质及电子设备
CN114245232A (zh) * 2021-12-14 2022-03-25 推想医疗科技股份有限公司 一种视频摘要生成方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN109996091A (zh) 生成视频封面的方法、装置、电子设备和计算机可读存储介质
CN107566907B (zh) 视频剪辑方法、装置、存储介质及终端
CN109819325B (zh) 热点视频标注处理方法、装置、计算机设备及存储介质
US20220360825A1 (en) Livestreaming processing method and apparatus, electronic device, and computer-readable storage medium
CN104756514B (zh) 通过社交网络共享电视和视频节目
US20170289619A1 (en) Method for positioning video, terminal apparatus and cloud server
CN110324662B (zh) 一种视频封面生成方法及装置
US20170289589A1 (en) Live video classification and preview selection
CN110390048A (zh) 基于大数据分析的信息推送方法、装置、设备及存储介质
CN107995523A (zh) 视频播放方法、装置、终端及存储介质
CN107852399A (zh) 流媒体呈现***
CN112131411A (zh) 一种多媒体资源推荐方法、装置、电子设备及存储介质
CN107820138A (zh) 视频播放方法、装置、终端及存储介质
CN108121736B (zh) 一种主题词确定模型的建立方法、装置及电子设备
US10592074B2 (en) Systems and methods for analyzing visual content items
WO2021160119A1 (zh) 一种信息展示方法及装置
CN103530788A (zh) 多媒体评价***、多媒体评价装置以及多媒体评价方法
CN105635824A (zh) 个性化频道推荐方法和***
CN103718166A (zh) 信息处理设备、信息处理方法和计算机程序产品
CN108366302B (zh) Tts播报指令优化方法、智能电视、***及存储装置
WO2020253360A1 (zh) 应用程序的内容展示方法、装置、存储介质和计算机设备
CN106776528B (zh) 一种信息处理方法及装置
CN110287372A (zh) 用于负反馈的标签确定方法、视频推荐方法及其装置
CN109086742A (zh) 场景识别方法、场景识别装置及移动终端
US20120030711A1 (en) Method or system to predict media content preferences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190709

WD01 Invention patent application deemed withdrawn after publication