CN109168062B - 视频播放的展示方法、装置、终端设备及存储介质 - Google Patents

视频播放的展示方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN109168062B
CN109168062B CN201810989015.3A CN201810989015A CN109168062B CN 109168062 B CN109168062 B CN 109168062B CN 201810989015 A CN201810989015 A CN 201810989015A CN 109168062 B CN109168062 B CN 109168062B
Authority
CN
China
Prior art keywords
scene
played
video image
image frame
progress icon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810989015.3A
Other languages
English (en)
Other versions
CN109168062A (zh
Inventor
乔珊
舒莹
申世伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201810989015.3A priority Critical patent/CN109168062B/zh
Publication of CN109168062A publication Critical patent/CN109168062A/zh
Application granted granted Critical
Publication of CN109168062B publication Critical patent/CN109168062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种视频播放的展示方法、装置、终端设备及存储介质,所述视频播放的展示方法包括:获取待播放的视频图像帧;将所述待播放的视频图像帧输入预先训练的场景分类器进行场景识别,得到场景类型;选择与所述场景类型对应的进度图标;将所述进度图标与所述待播放的视频图像帧进行同步展示。本申请旨在实现根据视频内容来展示与视频内容对应的进度图标,从而给用户带来更佳的视觉效果,提升用户体验。

Description

视频播放的展示方法、装置、终端设备及存储介质
技术领域
本申请涉及互联网技术领域,尤其涉及一种视频播放的展示方法、装置、终端设备及存储介质。
背景技术
随着互联网技术的发展,人们的娱乐消遣方式越来越丰富,观看视频也逐渐成为了最受欢迎的娱乐消遣方式之一。伴随着越来越多不同种类的视频内容兴起,随之而来的,就是视频观看体验升级的大爆发。
对于视频播放器而言,视频播放进度条通常只用于辅助提示用户当前播放的视频文件的播放进度,功能比较单一,缺乏趣味性,展示效果差。
发明内容
为克服相关技术中存在的问题,本申请提供一种视频播放的展示方法、装置、终端设备及存储介质。
根据本申请实施例的第一方面,提供一种视频播放的展示方法,包括:
获取待播放的视频图像帧;
将所述视频图像帧输入预先训练的场景分类器进行场景识别,得到场景类型;
选择与所述场景类型对应的进度图标;
将所述进度图标与所述待播放的视频图像帧进行同步进行展示。
在其中一个实施例中,所述将所述视频图像帧输入预先训练的场景分类器进行场景识别,得到场景类型之前,还包括:
获取样本图片集合,所述样本图片集合中包括至少一张样本图片以及每张样本图片对应的场景标注信息;
利用所述样本图片集合中的样本图片以及其对应的场景标注信息,对预设的神经网络图像分类模型进行训练,直至所述预设的神经网络图像分类模型收敛时,得到所述场景分类器。
在其中一个实施例中,所述预设的神经网络图像分类模型为基于卷积神经网络的Inception_v3模型。
在其中一个实施例中,所述待播放的视频图像帧为多帧,各帧所述待播放的视频图像帧的相似度大于或等于预设相似值。
在其中一个实施例中,所述选择与所述场景类型对应的进度图标,包括:
根据所述场景类型从预存的进度图标集中获取对应的进度图标;
或,
根据所述待播放的视频图像帧生成与所述场景类型对应的进度图标。
在其中一个实施例中,所述根据所述待播放的视频图像帧生成与所述场景类型对应的进度图标,包括:
识别所述待播放的视频图像帧的目标物体,根据所述目标物体生成与所述场景类型对应的进度图标;
或,
缩小所述待播放的视频图像帧,将缩小后的所述视频图像帧作为与所述场景类型对应的进度图标;
或,
从所述待播放的视频图像帧中截取特征信息作为与所述场景类型对应的进度图标。
在其中一个实施例中,所述进度图标集包括:所述预设的场景类型对应的进度图标,以及所述预设的场景类型之外所使用的默认进度图标。
在其中一个实施例中,所述将所述待播放的视频图像帧输入预先训练的场景分类器进行场景识别,得到场景类型之后,包括:
计算所述场景类型的置信度;
若所述场景类型的置信度大于设定阈值,执行选择与所述场景类型对应的进度图标,将所述进度图标与所述待播放的视频图像帧进行同步展示的步骤;
否则采用默认进度图标与所述待播放的视频图像帧进行同步展示。
在其中一个实施例中,所述阈值为0.9。
在其中一个实施例中,所述获取待播放的视频图像帧,包括:
对待播放的视频每隔m帧进行一次采样,将采样得到的采样帧作为需要获取的视频图像帧;
所述将所述进度图标与所述待播放的视频图像帧进行同步展示,包括:
将所述采样帧以及该采样帧后续的m-1帧采用所述进度图标进行同步展示。
根据本申请实施例的第二方面,提供一种视频播放的展示装置,包括:
获取模块,被配置为获取待播放的视频图像帧;
识别模块,被配置为将所述视频图像帧输入预先训练的场景分类器进行场景识别,得到场景类型;
选择模块,被配置为选择与所述场景类型对应的进度图标;
展示模块,被配置为将所述进度图标与所述待播放的视频图像帧进行同步展示。
在其中一个实施例中,所述视频播放的展示装置还包括:
样本图片集合获取模块,被配置为获取样本图片集合,所述样本图片集合中包括至少一张样本图片以及每张样本图片对应的场景标注信息;
训练模块,被配置为利用所述样本图片集合中的样本图片以及其对应的场景标注信息,对预设的神经网络图像分类模型进行训练,直至所述预设的神经网络图像分类模型收敛时,得到所述场景分类器。
在其中一个实施例中,所述预设的神经网络图像分类模型为基于卷积神经网络的Inception_v3模型。
在其中一个实施例中,所述待播放的视频图像帧为多帧,各帧所述待播放的视频图像帧的相似度大于或等于预设相似值。
在其中一个实施例中,所述选择模块还被配置为:
根据所述场景类型从预存的进度图标集中获取对应的进度图标;
或,
根据所述待播放的视频图像帧生成与所述场景类型对应的进度图标。
在其中一个实施例中,所述选择模块还被配置为:
识别所述待播放的视频图像帧的目标物体,根据所述目标物体生成与所述场景类型对应的进度图标;
或,
缩小所述待播放的视频图像帧,将缩小后的所述视频图像帧作为与所述场景类型对应的进度图标;
或,
从所述待播放的视频图像帧中截取特征信息作为与所述场景类型对应的进度图标。
在其中一个实施例中,所述进度图标集包括:
所述预设的场景类型对应的进度图标,以及所述预设的场景类型之外所使用的默认进度图标。
在其中一个实施例中,所述视频播放的展示装置还包括:
计算模块,被配置为计算所述场景类型的置信度;
若所述场景类型的置信度大于设定阈值,所述展示模块选择与所述场景类型对应的进度图标,将所述进度图标与所述待播放的视频图像帧进行同步展示;
否则所述展示模块采用默认进度图标与所述待播放的视频图像帧进行同步展示。
在其中一个实施例中,所述阈值为0.9。
在其中一个实施例中,所述获取模块还被配置为对待播放的视频每隔m帧进行一次采样,将采样得到的采样帧作为需要获取的视频图像帧;
所述展示模块还被配置为将所述采样帧以及该采样帧后续的m-1帧采用所述进度图标进行同步展示。
根据本申请实施例的第三方面,提供一种终端设备,包括:
显示器;
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
执行上述任一项技术方案所述的视频播放的展示方法的步骤。
根据本申请实施例的第四方面,提供一种存储介质,当所述存储介质中的指令由终端设备的处理器执行时,使得终端设备能够执行一种视频播放的展示方法,所述方法包括上述任一项技术方案所述的视频播放的展示方法的步骤。
根据本申请实施例的第五方面,提供一种计算机程序产品,当所述存储介质中的指令由终端设备的处理器执行时,使得终端设备能够执行一种视频播放的展示方法,所述方法包括上述任一项技术方案所述的视频播放的展示方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果:本申请利用场景分类器对待播放的视频图像帧进行场景识别,得到该视频图像帧对应的场景类型,并根据所述场景类型选择与所述场景类型对应的进度图标,将所述进度图标与所述待播放的视频图像帧进行同步展示,从而实现了根据视频内容来展示与视频内容对应的进度图标,给用户带来更佳的视觉效果,提升用户体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种视频播放的展示方法的流程图。
图2是根据一示例性实施例示出的一种视频播放的展示装置的框图。
图3是根据一示例性实施例示出的一种终端设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种视频播放的展示方法的流程图,如图1所示,所述视频播放的展示方法用于终端设备中,如终端设备中的视频播放器或直播软件等,所述视频播放的展示方法包括以下步骤:
在步骤S11中,获取待播放的视频图像帧。
在一些实施例中,可以通过对未播放的视频文件或正在播放的视频文件中尚未播放的部分进行采样,获取视频图像帧。这里的视频图像帧,可以是从存储在终端设备的视频文件、在线播放的视频或直播中获取的视频采样帧,可以一次性获取一帧或多帧。其中,在本申请一个实施例中,当所述待播放的视频图像帧为多帧时,各帧所述待播放的视频图像帧的相似度大于或等于预设相似值。
在步骤S12中,将所述待播放的视频图像帧输入预先训练的场景分类器进行场景识别,得到场景类型。
所述场景分类器用于分析输入的视频图像帧的图像内容,根据图像内容进行场景识别,以此判断场景类型。例如,当图像内容展示的是人在看书时,其对应的场景类型为学习;又如,当图像内容展示的是炒菜时,则其对应的场景类型为烹饪。由此根据视频图像帧得到诸如跳舞、唱歌、打游戏等的场景类型。
在一些实施例中,可将多张连续的视频图像帧输入预先训练的场景分类器中进行识别,得到每张视频图像帧对应的场景类型,并计算出各场景类型在所有场景类型中所占的比重,当比重大于预设值时,则该比重对应的场景类型为多帧所述待播放的视频图像帧对应的场景类型,从而有效地提高场景识别的准确性和快速性。
在步骤S13中,选择与所述场景类型对应的进度图标。
所述进度图标可以是图片、表情包或动态图等,其与场景类型可以为一一对应关系,例如,当所述场景类型为唱歌时,则选择与唱歌相关的进度图标,如含有麦克风的进度图标等。当然,所述场景类型与进度图标也可以是一对多关系,以便于用户根据需要设置自己喜欢的进度图标,实现个性化设计。需要说明的是,所述进度图标可以从服务器中获取,也可以从当前终端设备中获取,本申请在此不做具体限定。
在步骤S14中,将所述进度图标与所述待播放的视频图像帧进行同步展示。
在本实施例中,当视频播放时,则对每一帧视频图像帧和与其对应的进度图标进行同步展示,所述进度图标可展示在进度条上,也可展示在视频播放界面的其他位置。当用户观看视频时,所述进度图标可一直显示在视频播放界面上;也可隐藏在视频播放界面中,只有当获取到用户的唤醒指令时,才显示在视频播放界面上,所述唤醒指令如用户移动鼠标、点击视频播放界面等动作指令。
本申请利用场景分类器对待播放的视频图像帧进行场景识别,得到该视频图像帧对应的场景类型,并根据所述场景类型选择与所述场景类型对应的进度图标,将所述进度图标与所述待播放的视频图像帧进行同步展示,从而实现了根据视频内容来展示与视频内容对应的进度图标,给用户带来更佳的视觉效果,提升用户体验。
在其中一个实施例中,所述将所述待播放的视频图像帧输入预先训练的场景分类器进行场景识别,得到场景类型之前,还包括:
获取样本图片集合,所述样本图片集合中包括至少一张样本图片以及每张样本图片对应的场景标注信息;
利用所述样本图片集合中的样本图片以及其对应的场景标注信息,对预设的神经网络图像分类模型进行训练,直至所述预设的神经网络图像分类模型收敛时,得到所述场景分类器。
在本实施例中,所述场景标注信息为能体现所述样本图片所属场景类型的信息。在训练预设的神经网络图像分类模型时,首先获取已确定场景类型的样本图片集合,将样本图片集合中的样本图片及其对应的场景标注信息输入预设的神经网络图像分类模型,对所述预设的神经网络图像分类模型进行Softmax分类训练,以此反复训练预设的神经网络图像分类模型,直至其收敛时,得到场景分类器。在训练的过程中,预设的神经网络图像分类模型中的参数是不断变化的,形成新的神经网络图像分类模型,即在每一次训练时,所利用的神经网络图像分类模型均为上一次训练更新后的神经网络图像分类模型,当模型收敛时,也即神经网络图像分类模型能准确识别出样本图片对应的场景类型时,最终的神经网络图像分类模型为需要得到的场景分类器。其中,当样本图片集合中包含的样本图片越多,在后续识别待播放的视频图像帧时,所能够支持识别的视频图像帧的场景类型也越多,识别的精确度也越高。例如,本实施例的样本图片集合中可以包括上百万张的样本图片。
在其中一个实施例中,所述预设的神经网络图像分类模型为基于卷积神经网络的Inception_v3模型。
Inception v3模型为基于大型图像数据库ImageNet中的数据训练而成的卷积神经网络模型,用于实现图像分类。Inception v3模型大约有2500万个参数,在一台没有图形处理器的现代终端设备上,在极短的时间内就能完成一张图像分类。
在其中一个实施例中,所述选择与所述场景类型对应的进度图标,包括:
根据所述场景类型从预存的进度图标集中获取对应的进度图标;
或,
根据所述待播放的视频图像帧生成与所述场景类型对应的进度图标。
在本实施例中,所述进度图标可以从预存的进度图标集中获取,在所述进度图标集中,每一进度图标都标记了其对应的场景类型,以在场景分类器识别出待播放的视频图像帧所属的场景类型后,能快速从预存的进度图标集中找到该场景类型对应的进度图标。此外,所述进度图标也可以根据所述待播放的视频图像帧直接生成。
在其中一个实施例中,所述根据所述待播放的视频图像帧生成与所述场景类型对应的进度图标,包括:
识别所述待播放的视频图像帧的目标物体,根据所述目标物体生成与所述场景类型对应的进度图标;
或,
缩小所述待播放的视频图像帧,将缩小后的所述视频图像帧作为与所述场景类型对应的进度图标;
或,
从所述待播放的视频图像帧中截取特征信息作为与所述场景类型对应的进度图标。
在本实施例中,当所述进度图标根据所述待播放的视频图像帧生成时,可通过以下方式生成:
当待播放的视频图像帧具有明显代表其所属的场景类型的目标物体时,可直接将所述目标物体制成进度图标,或将与所述目标物体相同类型的物体制成进度图标,其中,所述目标物体可以为视频图像帧中清晰度最高和/或占比空间最大的图像元素。
当待播放的视频图像帧的图像元素比较单一、占比空间较大时,可通过直接缩小所述待播放的视频图像帧的尺寸,将缩小后的所述视频图像帧作为与所述场景类型对应的进度图标。
当所述待播放的视频图像帧中具有体现其场景类型的特征信息时,可通过截取特征信息,根据所述特征信息生成所述进度图标,其中,所述特征信息为能体现待播放的视频图像帧所属场景类型的图像元素。
在其中一个实施例中,所述进度图标集包括:
预设的场景类型对应的进度图标,以及所述预设的场景类型之外所使用的默认进度图标。即所述进度图标集包括了场景分类器可识别的场景类型对应的进度图标,及无法确定场景类型的默认进度图标。
在其中一个实施例中,所述将所述待播放的视频图像帧输入预先训练的场景分类器进行场景识别,得到场景类型之后,包括:
计算所述场景类型的置信度;
若所述场景类型的置信度大于设定阈值,执行选择与所述场景类型对应的进度图标,将所述进度图标与所述待播放的视频图像帧进行同步展示的步骤;
否则采用默认进度图标与所述待播放的视频图像帧进行同步展示。
在本实施例中,当场景类型置信度大于或等于设定阈值时,则表示该场景类型为待播放的视频图像帧对应的真实场景类型,从而根据所述场景类型选择与其对应的进度图标,当视频播放时,将所述进度图标与视频图像帧进行同步展示;当场景类型置信度小于设定阈值时,则表示该场景类型并非是待播放的视频图像帧对应的真实场景类型,即场景分类器无法确定该视频图像帧对应的场景类型,因此采用默认进度图标与所述视频图像帧进行同步展示。
在其中一个实施例中,所述阈值为0.9。当阈值越高时,所述场景分类器识别所述待播放的视频图像帧的精确度也越高。
在其中一个实施例中,所述获取待播放的视频图像帧,包括:
对待播放的视频每隔m帧进行一次采样,将采样得到的采样帧作为需要获取的视频图像帧;
所述将所述进度图标与所述待播放的视频图像帧进行同步展示,包括:
将所述采样帧以及该采样帧后续的m-1帧采用所述进度图标进行同步展示。
在本实施例中,所述待播放的视频图像帧可通过采样得到,将采样得到的采样帧输入预先训练的场景分类器进行场景识别,以此得到所述采样帧的场景类型,并根据所述场景类型选择与其对应的进度图标,在视频播放时,将所述采样帧以及该采样帧后续的m-1帧采用所述进度图标进行同步展示,其中,m≥2。
图2是根据一示例性实施例示出的一种视频播放的展示装置框图。参照图2,该装置包括获取模块21,识别模块22、选择模块23和展示模块24。
该获取模块21被配置为获取待播放的视频图像帧。
在一些实施例中,可以通过对未播放的视频文件或正在播放的视频文件中尚未播放的部分进行采样,获取视频图像帧。这里的视频图像帧,可以是从存储在终端设备的视频文件、在线播放的视频或直播中获取的视频采样帧,可以一次性获取一帧或多帧。其中,在本申请一个实施例中,当所述待播放的视频图像帧为多帧时,各帧所述待播放的视频图像帧的相似度大于或等于预设相似值。
该识别模块22被配置为将所述待播放的视频图像帧输入预先训练的场景分类器进行场景识别,得到场景类型。
所述场景分类器用于分析输入的视频图像帧的图像内容,根据图像内容进行场景识别,以此判断场景类型。例如,当图像内容展示的是人在看书时,其对应的场景类型为学习;又如,当图像内容展示的是炒菜时,则其对应的场景类型为烹饪。由此根据视频图像帧得到诸如跳舞、唱歌、打游戏等的场景类型。
在一些实施例中,可将多张连续的视频图像帧输入预先训练的场景分类器中进行识别,得到每张视频图像帧对应的场景类型,并计算出各场景类型在所有场景类型中所占的比重,当比重大于预设值时,则该比重对应的场景类型为多帧所述待播放的视频图像帧对应的场景类型,从而有效地提高场景识别的准确性和快速性。
该选择模块23被配置为选择与所述场景类型对应的进度图标。
所述进度图标可以是图片、表情包或动态图等,其与场景类型可以为一一对应关系,例如,当所述场景类型为唱歌时,则选择与唱歌相关的进度图标,如含有麦克风的进度图标等。当然,所述场景类型与进度图标也可以是一对多关系,以便于用户根据需要设置自己喜欢的进度图标,实现个性化设计。需要说明的是,所述进度图标可以从服务器中获取,也可以从当前终端设备中获取,本申请在此不做具体限定。
该展示模块24被配置为将所述进度图标与所述待播放的视频图像帧进行同步展示。
在本实施例中,当视频播放时,则对每一帧视频图像帧和与其对应的进度图标进行同步展示,所述进度图标可展示在进度条上,也可展示在视频播放界面的其他位置。当用户观看视频时,所述进度图标可一直显示在视频播放界面上;也可隐藏在视频播放界面中,只有当获取到用户的唤醒指令时,才显示在视频播放界面上,所述唤醒指令如用户移动鼠标、点击视频播放界面等动作指令。
本申请利用场景分类器对待播放的视频图像帧进行场景识别,得到该视频图像帧对应的场景类型,并根据所述场景类型选择与所述场景类型对应的进度图标,将所述进度图标与所述待播放的视频图像帧进行同步展示,从而实现了根据视频内容来展示与视频内容对应的进度图标,给用户带来更佳的视觉效果,提升用户体验。
在其中一个实施例中,所述视频播放的展示装置还包括:
样本图片集合获取模块,被配置为获取样本图片集合,所述样本图片集合中包括至少一张样本图片以及每张样本图片对应的场景标注信息;
训练模块,被配置为利用所述样本图片集合中的样本图片以及其对应的场景标注信息,对预设的神经网络图像分类模型进行训练,直至所述预设的神经网络图像分类模型收敛时,得到所述场景分类器。
在本实施例中,所述场景标注信息为能体现所述样本图片所属场景类型的信息。在训练预设的神经网络图像分类模型时,首先获取已确定场景类型的样本图片集合,将样本图片集合中的样本图片及其对应的场景标注信息输入预设的神经网络图像分类模型,对所述预设的神经网络图像分类模型进行Softmax分类训练,以此反复训练预设的神经网络图像分类模型,直至其收敛时,得到场景分类器。在训练的过程中,预设的神经网络图像分类模型中的参数是不断变化的,形成新的神经网络图像分类模型,即在每一次训练时,所利用的神经网络图像分类模型均为上一次训练更新后的神经网络图像分类模型,当模型收敛时,也即神经网络图像分类模型能准确识别出样本图片对应的场景类型时,最终的神经网络图像分类模型为需要得到的场景分类器。其中,当样本图片集合中包含的样本图片越多,在后续识别待播放的视频图像帧时,所能够支持识别的视频图像帧的类型也越多,识别的精确度也越高。例如,本实施例的样本图片集合中可以包括上百万张的样本图片。
在其中一个实施例中,所述预设的神经网络图像分类模型为基于卷积神经网络的Inception_v3模型。
Inception v3模型为基于大型图像数据库ImageNet中的数据训练而成的卷积神经网络模型,用于实现图像分类。Inception v3模型大约有2500万个参数,在一台没有图形处理器的现代终端设备上,在极短的时间内就能完成一张图像分类。
在其中一个实施例中,所述选择模块23还被配置为:
根据所述场景类型从预存的进度图标集中获取对应的进度图标;
或,
根据所述待播放的视频图像帧生成与所述场景类型对应的进度图标。
在本实施例中,所述进度图标可以从预存的进度图标集中获取,在所述进度图标集中,每一进度图标都标记了其对应的场景类型,以在场景分类器识别出待播放的视频图像帧所属的场景类型后,能快速从预存的进度图标集中找到该场景类型对应的进度图标。此外,所述进度图标也可以根据所述待播放的视频图像帧直接生成。
在其中一个实施例中,所述选择模块23还被配置为:
识别所述待播放的视频图像帧的目标物体,根据所述目标物体生成与所述场景类型对应的进度图标;
或,
缩小所述待播放的视频图像帧,将缩小后的所述视频图像帧作为与所述场景类型对应的进度图标;
或,
从所述待播放的视频图像帧中截取特征信息作为与所述场景类型对应的进度图标。
在本实施例中,当所述进度图标根据所述待播放的视频图像帧生成时,可通过以下方式生成:
当待播放的视频图像帧具有明显代表其所属的场景类型的目标物体时,可直接将所述目标物体制成进度图标,或将与所述目标物体相同类型的物体制成进度图标,其中,所述目标物体可以为视频图像帧中清晰度最高和/或占比空间最大的图像元素。
当待播放的视频图像帧的图像元素比较单一、占比空间较大时,可通过直接缩小所述待播放的视频图像帧的尺寸,将缩小后的所述视频图像帧作为与所述场景类型对应的进度图标。
当所述待播放的视频图像帧中具有体现其场景类型的特征信息时,可通过截取特征信息,根据所述特征信息生成所述进度图标,其中,所述特征信息为能体现待播放的视频图像帧所属场景类型的图像元素。
在其中一个实施例中,所述进度图标集包括:
预设的场景类型对应的进度图标,以及所述预设的场景类型之外所使用的默认进度图标。即所述进度图标集包括了场景分类器可识别的场景类型对应的进度图标,及无法确定场景类型的默认进度图标。
在其中一个实施例中,所述视频播放的展示装置还包括:
计算模块,被配置为计算所述场景类型的置信度;
若所述场景类型的置信度大于设定阈值,所述展示模块选择与所述场景类型对应的进度图标,将所述进度图标与所述待播放的视频图像帧进行同步展示;
否则所述展示模块采用默认进度图标与所述待播放的视频图像帧进行同步展示。
在本实施例中,当场景类型置信度大于或等于设定阈值时,则表示该场景类型为待播放的视频图像帧对应的真实场景类型,从而根据所述场景类型选择与其对应的进度图标,当视频播放时,将所述进度图标与视频图像帧进行同步展示;当场景类型置信度小于设定阈值时,则表示该场景类型并非是待播放的视频图像帧对应的真实场景类型,即场景分类器无法确定该视频图像帧对应的场景类型,因此采用默认进度图标与所述视频图像帧进行同步展示。
在其中一个实施例中,所述阈值为0.9。当阈值越高时,所述场景分类器识别所述待播放的视频图像帧的精确度越高。
在其中一个实施例中,所述获取模块还被配置为对待播放的视频每隔m帧进行一次采样,将采样得到的采样帧作为需要获取的视频图像帧;
所述展示模块还被配置为将所述采样帧以及该采样帧后续的m-1帧采用所述进度图标进行同步展示。
在本实施例中,所述待播放的视频图像帧可通过采样得到,将采样得到的采样帧输入预先训练的场景分类器进行场景识别,以此得到所述采样帧的场景类型,并根据所述场景类型选择与其对应的进度图标,在视频播放时,将所述采样帧以及该采样帧后续的m-1帧采用所述进度图标进行同步展示,其中,m≥2。
图3是根据一示例性实施例示出的一种用于视频播放的展示方法的终端设备300的框图。例如,终端设备300可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
终端设备300可以包括以下一个或多个组件:处理组件302,存储器304,电力组件306,多媒体组件308,音频组件310,输入/输出(I/O)的接口312,传感器组件314,以及通信组件316。
处理组件302通常控制终端设备300的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件302可以包括一个或多个处理器320来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件302可以包括一个或多个模块,便于处理组件302和其他组件之间的交互。例如,处理组件302可以包括多媒体模块,以方便多媒体组件308和处理组件302之间的交互。
存储器304被配置为存储各种类型的数据以支持在设备300的操作。这些数据的示例包括用于在终端设备300上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件306为终端设备300的各种组件提供电力。电源组件306可以包括电源管理***,一个或多个电源,及其他与为终端设备300生成、管理和分配电力相关联的组件。
多媒体组件308包括在所述终端设备300和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件308包括一个前置摄像头和/或后置摄像头。当设备300处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件310被配置为输出和/或输入音频信号。例如,音频组件310包括一个麦克风(MIC),当终端设备300处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器304或经由通信组件316发送。在一些实施例中,音频组件310还包括一个扬声器,用于输出音频信号。
I/O接口312为处理组件302和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件314包括一个或多个传感器,用于为终端设备300提供各个方面的状态评估。例如,传感器组件314可以检测到设备300的打开/关闭状态,组件的相对定位,例如所述组件为终端设备300的显示器和小键盘,传感器组件314还可以检测终端设备300或终端设备300一个组件的位置改变,用户与终端设备300接触的存在或不存在,终端设备300方位或加速/减速和终端设备300的温度变化。传感器组件314可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件314还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件314还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件316被配置为便于终端设备300和其他设备之间有线或无线方式的通信。终端设备300可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件316经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件316还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,终端设备300可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器304,上述指令可由终端设备300的处理器320执行以完成上述视频播放的展示方法。例如,所述存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品,当所述存储介质中的指令由终端设备300的处理器执行时,使得终端设备300能够执行一种视频播放的展示方法,所述方法包括上述任一项实施例所述的视频播放的展示方法的步骤。
本领域技术人员在考虑说明书及实践这里申请的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本申请未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (18)

1.一种视频播放的展示方法,其特征在于,包括:
获取待播放的视频图像帧;
将所述待播放的视频图像帧输入预先训练的场景分类器进行场景识别,得到场景类型;
计算所述场景类型的置信度;
若所述场景类型的置信度大于设定阈值,选择与所述场景类型对应的进度图标;包括:根据所述场景类型从预存的进度图标集中获取对应的进度图标;将所述进度图标与所述待播放的每一帧视频图像帧进行同步展示;其中,所述进度图标集包括所述预设的场景类型对应的进度图标,以及所述预设的场景类型之外所使用的默认进度图标;
若所述场景类型的置信度小于设定阈值,采用默认进度图标与所述待播放的每一帧视频图像帧进行同步展示。
2.根据权利要求1所述的展示方法,其特征在于,所述将所述待播放的视频图像帧输入预先训练的场景分类器进行场景识别,得到场景类型之前,还包括:
获取样本图片集合,所述样本图片集合中包括至少一张样本图片以及每张样本图片对应的场景标注信息;
利用所述样本图片集合中的样本图片以及其对应的场景标注信息,对预设的神经网络图像分类模型进行训练,直至所述预设的神经网络图像分类模型收敛时,得到所述场景分类器。
3.根据权利要求2所述的展示方法,其特征在于,
所述预设的神经网络图像分类模型为基于卷积神经网络的Inception_v3模型。
4.根据权利要求1所述的展示方法,其特征在于,所述待播放的视频图像帧为多帧,各帧所述待播放的视频图像帧的相似度大于或等于预设相似值。
5.根据权利要求1所述的展示方法,其特征在于,所述选择与所述场景类型对应的进度图标,包括:
根据所述待播放的视频图像帧生成与所述场景类型对应的进度图标。
6.根据权利要求5所述的展示方法,其特征在于,所述根据所述待播放的视频图像帧生成与所述场景类型对应的进度图标,包括:
识别所述待播放的视频图像帧的目标物体,根据所述目标物体生成与所述场景类型对应的进度图标;
或,
缩小所述待播放的视频图像帧,将缩小后的所述视频图像帧作为与所述场景类型对应的进度图标;
或,
从所述待播放的视频图像帧中截取特征信息作为与所述场景类型对应的进度图标。
7.根据权利要求1所述的展示方法,其特征在于,所述阈值为0.9。
8.根据权利要求1所述的展示方法,其特征在于,所述获取待播放的视频图像帧,包括:
对待播放的视频每隔m帧进行一次采样,将采样得到的采样帧作为需要获取的视频图像帧;
所述将所述进度图标与所述待播放的每一帧视频图像帧进行同步展示,包括:
将所述采样帧以及该采样帧后续的m-1帧采用所述进度图标进行同步展示。
9.一种视频播放的展示装置,其特征在于,包括:
获取模块,被配置为获取待播放的视频图像帧;
识别模块,被配置为将所述待播放的视频图像帧输入预先训练的场景分类器进行场景识别,得到场景类型;
计算模块,被配置为计算所述场景类型的置信度;
选择模块,被配置为若所述场景类型的置信度大于设定阈值,选择与所述场景类型对应的进度图标;包括:根据所述场景类型从预存的进度图标集中获取对应的进度图标;其中,所述进度图标集包括所述预设的场景类型对应的进度图标,以及所述预设的场景类型之外所使用的默认进度图标;
展示模块,被配置为将所述进度图标与所述待播放的每一帧视频图像帧进行同步展示;以及被配置为若所述场景类型的置信度小于设定阈值,采用默认进度图标与所述待播放的每一帧视频图像帧进行同步展示。
10.根据权利要求9所述的展示装置,其特征在于,还包括:
样本图片集合获取模块,被配置为获取样本图片集合,所述样本图片集合中包括至少一张样本图片以及每张样本图片对应的场景标注信息;
训练模块,被配置为利用所述样本图片集合中的样本图片以及其对应的场景标注信息,对预设的神经网络图像分类模型进行训练,直至所述预设的神经网络图像分类模型收敛时,得到所述场景分类器。
11.根据权利要求10所述的展示装置,其特征在于,所述预设的神经网络图像分类模型为基于卷积神经网络的Inception_v3模型。
12.根据权利要求9所述的展示装置,其特征在于,所述待播放的视频图像帧为多帧,各帧所述待播放的视频图像帧的相似度大于或等于预设相似值。
13.根据权利要求9所述的展示装置,其特征在于,所述选择模块还被配置为:
根据所述待播放的视频图像帧生成与所述场景类型对应的进度图标。
14.根据权利要求13所述的展示装置,其特征在于,所述选择模块还被配置为:
识别所述待播放的视频图像帧的目标物体,根据所述目标物体生成与所述场景类型对应的进度图标;
或,
缩小所述待播放的视频图像帧,将缩小后的所述视频图像帧作为与所述场景类型对应的进度图标;
或,
从所述待播放的视频图像帧中截取特征信息作为与所述场景类型对应的进度图标。
15.根据权利要求9所述的展示装置,其特征在于,所述阈值为0.9。
16.根据权利要求9所述的展示装置,其特征在于,
所述获取模块还被配置为对待播放的视频每隔m帧进行一次采样,将采样得到的采样帧作为需要获取的视频图像帧;
所述展示模块还被配置为将所述采样帧以及该采样帧后续的m-1帧采用所述进度图标进行同步展示。
17.一种终端设备,其特征在于,包括:
显示器;
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
执行根据权利要求1至8任一项所述的视频播放的展示方法的步骤。
18.一种存储介质,其特征在于,当所述存储介质中的指令由终端设备的处理器执行时,使得终端设备能够执行一种视频播放的展示方法,所述方法包括权利要求1至8任一项所述的视频播放的展示方法的步骤。
CN201810989015.3A 2018-08-28 2018-08-28 视频播放的展示方法、装置、终端设备及存储介质 Active CN109168062B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810989015.3A CN109168062B (zh) 2018-08-28 2018-08-28 视频播放的展示方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810989015.3A CN109168062B (zh) 2018-08-28 2018-08-28 视频播放的展示方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN109168062A CN109168062A (zh) 2019-01-08
CN109168062B true CN109168062B (zh) 2020-11-24

Family

ID=64893091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810989015.3A Active CN109168062B (zh) 2018-08-28 2018-08-28 视频播放的展示方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN109168062B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110225411A (zh) * 2019-05-31 2019-09-10 北京奇艺世纪科技有限公司 直播节目的片段回看方法、***、计算机设备及介质
CN113596590B (zh) * 2020-04-30 2022-08-26 聚好看科技股份有限公司 显示设备及播放控制方法
WO2021032092A1 (zh) 2019-08-18 2021-02-25 聚好看科技股份有限公司 显示设备
CN110991246A (zh) * 2019-10-31 2020-04-10 天津市国瑞数码安全***股份有限公司 一种视频检测方法及***
CN111581433B (zh) * 2020-05-18 2023-10-10 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及计算机可读介质
CN114302190B (zh) * 2021-01-14 2023-07-14 海信视像科技股份有限公司 一种显示设备及画质调整方法
CN113949827B (zh) * 2021-09-30 2023-04-07 安徽尚趣玩网络科技有限公司 一种视频内容融合方法及装置
CN115334351B (zh) * 2022-08-02 2023-10-31 Vidaa国际控股(荷兰)公司 一种显示设备及自适应画质调节方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105611413A (zh) * 2015-12-24 2016-05-25 小米科技有限责任公司 一种添加视频段类别标记的方法和装置
CN106713965A (zh) * 2016-12-07 2017-05-24 珠海格力电器股份有限公司 信息展示方法和装置
CN107133631A (zh) * 2016-02-29 2017-09-05 无锡天脉聚源传媒科技有限公司 一种识别电视台图标的方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4720874B2 (ja) * 2008-08-14 2011-07-13 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN105812941A (zh) * 2016-03-31 2016-07-27 北京金山安全软件有限公司 一种视频播放方法、装置及电子设备
CN106559712B (zh) * 2016-11-28 2020-12-04 北京小米移动软件有限公司 视频播放处理方法、装置及终端设备
CN106792212A (zh) * 2016-12-02 2017-05-31 乐视控股(北京)有限公司 一种视频进度调节方法、装置及电子设备
CN107566907B (zh) * 2017-09-20 2019-08-30 Oppo广东移动通信有限公司 视频剪辑方法、装置、存储介质及终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105611413A (zh) * 2015-12-24 2016-05-25 小米科技有限责任公司 一种添加视频段类别标记的方法和装置
CN107133631A (zh) * 2016-02-29 2017-09-05 无锡天脉聚源传媒科技有限公司 一种识别电视台图标的方法及装置
CN106713965A (zh) * 2016-12-07 2017-05-24 珠海格力电器股份有限公司 信息展示方法和装置

Also Published As

Publication number Publication date
CN109168062A (zh) 2019-01-08

Similar Documents

Publication Publication Date Title
CN109168062B (zh) 视频播放的展示方法、装置、终端设备及存储介质
CN106791893B (zh) 视频直播方法及装置
CN111970533A (zh) 直播间的互动方法、装置及电子设备
US20210258619A1 (en) Method for processing live streaming clips and apparatus, electronic device and computer storage medium
US20220013026A1 (en) Method for video interaction and electronic device
US20210029304A1 (en) Methods for generating video, electronic device and storage medium
CN109660873B (zh) 基于视频的交互方法、交互装置和计算机可读存储介质
CN111753135B (zh) 视频展示方法、装置、终端、服务器、***及存储介质
WO2022198934A1 (zh) 卡点视频的生成方法及装置
CN111479158B (zh) 视频展示方法、装置、电子设备及存储介质
CN106254939B (zh) 信息提示方法及装置
CN112543368A (zh) 视频处理方法、视频播放方法、装置及存储介质
CN106331328B (zh) 信息提示的方法及装置
US20220137756A1 (en) Method for displaying interactive content, electronic device, and storage medium
CN113111220A (zh) 视频处理方法、装置、设备、服务器及存储介质
CN110719530A (zh) 一种视频播放方法、装置、电子设备及存储介质
CN111797262A (zh) 诗词生成方法、装置、电子设备和存储介质
CN114245154B (zh) 游戏直播间虚拟物品展示方法、装置及电子设备
CN112691385B (zh) 出装信息获取方法、装置、电子设备、服务器及存储介质
CN112333518B (zh) 用于视频的功能配置方法、装置及电子设备
CN114554271B (zh) 一种信息推送及展示方法、装置、电子设备及存储介质
CN113709571B (zh) 视频展示方法、装置、电子设备及可读存储介质
KR20230120668A (ko) 영상통화 방법 및 장치
CN113515251A (zh) 内容处理方法、装置、电子设备及存储介质
CN110662103B (zh) 多媒体对象重构方法及装置、电子设备、可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant