CN114257846A - 基于内容感知的移动端自适应视频倍速播放方法 - Google Patents

基于内容感知的移动端自适应视频倍速播放方法 Download PDF

Info

Publication number
CN114257846A
CN114257846A CN202111590216.4A CN202111590216A CN114257846A CN 114257846 A CN114257846 A CN 114257846A CN 202111590216 A CN202111590216 A CN 202111590216A CN 114257846 A CN114257846 A CN 114257846A
Authority
CN
China
Prior art keywords
speed
playing
video data
video
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111590216.4A
Other languages
English (en)
Inventor
陈帅斌
蒋泽飞
王晨程
王麒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Denghong Technology Co ltd
Original Assignee
Hangzhou Denghong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Denghong Technology Co ltd filed Critical Hangzhou Denghong Technology Co ltd
Priority to CN202111590216.4A priority Critical patent/CN114257846A/zh
Publication of CN114257846A publication Critical patent/CN114257846A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于内容感知的移动端自适应视频倍速播放方法，包含：在线下载视频数据；解码并播放视频数据；实时分析视频数据并识别其中的特定场景；根据识别结果确定播放速度。本发明的基于内容感知的移动端自适应视频倍速播放方法，将人工智能深度学习算法应用到智能移动端的播放器中，用于特定场景的分析。当不存在所需场景时，采取高速播放的模式快速跳过，当发现特定场景时又自适应的将播放速度降回正常。一方面减少了视频回放定位特定内容的时间，另一方面也减少了播放器倍速播放时的电池消耗，增加了移动设备的使用时间。

Description

基于内容感知的移动端自适应视频倍速播放方法
技术领域
本发明涉及一种基于内容感知的移动端自适应视频倍速播放方法。
背景技术
在智能家居领域，目前智能摄像头广泛采用的是监控画面的连续摄取、连续存储，以及连续回放的模式。按照该模式，在连续监控的情况下，调取回放视频，只能以快进的方式连续播放视频，并在视频中捕捉偶然出现的事件画面，其等待的时间十分漫长，不利于迅速找到有效的视频信息。另一方面，对于目前比较流行的智能摄像头，长时间连续倍速播放，对于手机电量也存在巨大损耗，不利于长时间观看。
发明内容
本发明提供了一种基于内容感知的移动端自适应视频倍速播放方法解决上述提到的技术问题，具体采用如下的技术方案：
一种基于内容感知的移动端自适应视频倍速播放方法，包含以下步骤：
在线下载视频数据；
解码并播放视频数据；
实时分析视频数据并识别其中的特定场景；
根据识别结果确定播放速度。
进一步地，根据识别结果确定播放速度的具体方法为：
根据当前播放的视频数据是否包含特定场景确定播放速度。
进一步地，根据当前播放的视频数据是否包含特定场景确定播放速度的具体方法为：
当识别出当前播放的视频数据包含特定场景时以第一播放速度播放视频数据，当识别出当前播放的视频数据不包含特定场景时以大于第一播放速度的第二播放速度播放视频数据。
进一步地，在在线下载视频数据之前，基于内容感知的移动端自适应视频倍速播放方法还包含：
检测移动端的解码性能。
进一步地，当识别出当前播放的视频数据不包含特定场景并以第二播放速度播放视频数据时，根据检测出的解码性能判断移动端性能是否达标。
进一步地，在移动端性能达标时，按照设置的第二播放速度播放视频数据。
进一步地，在移动端性能未达标时，判断当前播放的视频数据是否是关键帧；
如果不是关键帧，丢弃该视频帧，如果是关键帧，则解码并播放。
进一步地，检测移动端的解码性能的具体方法为：
调用移动端操作***的***函数判断手机是否支持GPU硬件解码，如果支持GPU硬件解码，则调用***硬件解码函数解码预存的视频文件来预估每秒最大解码帧数，如果不支持GPU硬件解码，则调用播放器自带的ffmpeg软件解码器解码预存的视频文件来预估每秒最大解码帧数，以每秒最大解码帧数作为衡量移动端的解码性能的指标。
进一步地，实时分析视频数据并识别其中的特定场景的具体方法为：
加载特定场景检测模型；
通过特定场景检测模型自动识别视频数据中的特定场景。
进一步地，在加载特定场景检测模型之前，
搭建基于深度学习的特定场景检测模型；
收集训练图像；
通过训练图像对特定场景检测模型进行训练。
本发明的有益之处在于所提供的基于内容感知的移动端自适应视频倍速播放方法，将人工智能深度学习算法应用到智能移动端的播放器中，用于特定场景的分析。当不存在所需场景时，采取高速播放的模式快速跳过，当发现特定场景时又自适应的将播放速度降回正常。一方面减少了视频回放定位特定内容的时间，另一方面也减少了播放器倍速播放时的电池消耗，增加了移动设备的使用时间。
附图说明
图1是本发明的一种基于内容感知的移动端自适应视频倍速播放方法的示意图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
如图1所示为本申请的一种基于内容感知的移动端自适应视频倍速播放方法，包含以下步骤：S1：在线下载视频数据。S2：解码并播放视频数据。S3：实时分析视频数据并识别其中的特定场景。S4：根据识别结果确定播放速度。根据上述步骤，本申请的基于内容感知的移动端自适应视频倍速播放方法能够根据视频的内容自动选择播放速度，以实现视频内容的快速定位和观看。以下具体介绍上述步骤。
对于步骤S1：在线下载视频数据。
本申请的移动端是指手机、平板电脑等移动智能设备。在线下载视频数据是指移动端从云端服务器下载监控视频数据。
对于步骤S2：解码并播放视频数据。
移动端通过播放器解码并播放视频数据。
对于步骤S3：实时分析视频数据并识别其中的特定场景。
在本申请中，通过AI检测模型智能检测视频数据中的特定场景。
实时分析视频数据并识别其中的特定场景的具体方法为：
加载特定场景检测模型。通过特定场景检测模型自动识别视频数据中的特定场景。
在本申请中，特定场景检测模型是基于深度学习的模型。在加载特定场景检测模型之前，需要搭建基于深度学习的特定场景检测模型，收集训练图像，再通过训练图像对特定场景检测模型进行训练。
这里，特定场景是指在进行监控视频数据查找时，所关注的场景。举例说明：如果需要查看监控视频数据中某个人的监控画面，我们希望当视频中不包含人物的画面能够快速跳过。则，此时的特定场景是指画面中的人物。我们需要一个能够快速识别视频数据中的图像帧是否包含人物。因此需要训练一个能识别出图像中是否包含人物的人形检测模型。
对于步骤S4：根据识别结果确定播放速度。
具体而言，根据识别结果确定播放速度的具体方法为：
根据当前播放的视频数据是否包含特定场景确定播放速度。
作为一种优选的实施方式，根据当前播放的视频数据是否包含特定场景确定播放速度的具体方法为：
当识别出当前播放的视频数据包含特定场景时以第一播放速度播放视频数据，当识别出当前播放的视频数据不包含特定场景时以大于第一播放速度的第二播放速度播放视频数据。
可以理解的是，若当前播放的视频数据不包含特定场景，说明这些数据并不是我们关心的数据。我们希望能够快速播放这些视频数据。若当前播放的视频数据包含特定场景，说明这些数据是我们关心的数据。我们希望能够慢速播放这些视频数据。因此，在本申请中，若当前播放的视频数据包含特定场景，则以较慢的第一速度播放视频数据。若当前播放的视频数据不包含特定场景，则以较快的第二速度播放视频数据。
作为优选的实施方式，在在线下载视频数据之前，基于内容感知的移动端自适应视频倍速播放方法还包含：检测移动端的解码性能。
这样，当识别出当前播放的视频数据不包含特定场景并以第二播放速度播放视频数据时，根据检测出的解码性能判断移动端性能是否达标。在移动端性能达标时，按照设置的第二播放速度播放视频数据。在移动端性能未达标时，判断当前播放的视频数据是否是关键帧。如果不是关键帧，丢弃该视频帧，如果是关键帧，则解码、渲染并播放。
可以理解的是，移动端快速播放视频会导致耗电加快。同时，对于性能不高的移动端，快速播放视频会产生卡顿等现象。因此，在本申请中，检测移动端的解码性能，若性能能够满足播放器的快速播放视频的需要，就正常的按照第二速度播放视频数据，若性能不能满足播放器快速播放视频的需要，则在快速播放时，实时判断当前播放的视频数据是否是关键帧。如果是关键帧，就真长的解码、渲染播放。若不是关键帧，则直接将该视频帧丢弃，不播放。这样，通过丢弃大部分视频帧不解码，在移动端的解码性能不高时，同样可以达到倍速播放的效果。
优选的，检测移动端的解码性能的具体方法为：
调用移动端操作***(iOS/Android)的***函数判断手机是否支持GPU硬件解码，如果支持GPU硬件解码，则调用***硬件解码函数解码预存的视频文件来预估每秒最大解码帧数，如果不支持GPU硬件解码，则调用播放器自带的ffmpeg软件解码器解码预存的视频文件来预估每秒最大解码帧数，以每秒最大解码帧数作为衡量移动端的解码性能的指标。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种基于内容感知的移动端自适应视频倍速播放方法，其特征在于，包含以下步骤：
在线下载视频数据；
解码并播放所述视频数据；
实时分析所述视频数据并识别其中的特定场景；
根据识别结果确定播放速度。
2.根据权利要求1所述的基于内容感知的移动端自适应视频倍速播放方法，其特征在于，
所述根据识别结果确定播放速度的具体方法为：
根据当前播放的所述视频数据是否包含所述特定场景确定播放速度。
3.根据权利要求2所述的基于内容感知的移动端自适应视频倍速播放方法，其特征在于，
所述根据当前播放的所述视频数据是否包含所述特定场景确定播放速度的具体方法为：
当识别出当前播放的所述视频数据包含所述特定场景时以第一播放速度播放所述视频数据，当识别出当前播放的所述视频数据不包含所述特定场景时以大于所述第一播放速度的第二播放速度播放所述视频数据。
4.根据权利要求3所述的基于内容感知的移动端自适应视频倍速播放方法，其特征在于，
在所述在线下载视频数据之前，所述基于内容感知的移动端自适应视频倍速播放方法还包含：
检测移动端的解码性能。
5.根据权利要求4所述的基于内容感知的移动端自适应视频倍速播放方法，其特征在于，
当识别出当前播放的所述视频数据不包含所述特定场景并以所述第二播放速度播放所述视频数据时，根据检测出的所述解码性能判断移动端性能是否达标。
6.根据权利要求5所述的基于内容感知的移动端自适应视频倍速播放方法，其特征在于，在移动端性能达标时，按照设置的所述第二播放速度播放所述视频数据。
7.根据权利要求6所述的基于内容感知的移动端自适应视频倍速播放方法，其特征在于，
在移动端性能未达标时，判断当前播放的所述视频数据是否是关键帧；
如果不是关键帧，丢弃该视频帧，如果是关键帧，则解码并播放。
8.根据权利要求4所述的基于内容感知的移动端自适应视频倍速播放方法，其特征在于，
检测移动端的解码性能的具体方法为：
调用移动端操作***的***函数判断手机是否支持GPU硬件解码，如果支持GPU硬件解码，则调用***硬件解码函数解码预存的视频文件来预估每秒最大解码帧数，如果不支持GPU硬件解码，则调用播放器自带的ffmpeg软件解码器解码预存的视频文件来预估每秒最大解码帧数，以每秒最大解码帧数作为衡量移动端的解码性能的指标。
9.根据权利要求1所述的基于内容感知的移动端自适应视频倍速播放方法，其特征在于，所述实时分析所述视频数据并识别其中的特定场景的具体方法为：
加载特定场景检测模型；
通过所述特定场景检测模型自动识别所述视频数据中的特定场景。
10.根据权利要求9所述的基于内容感知的移动端自适应视频倍速播放方法，其特征在于，在加载特定场景检测模型之前，
搭建基于深度学习的所述特定场景检测模型；
收集训练图像；
通过所述训练图像对所述特定场景检测模型进行训练。
CN202111590216.4A 2021-12-23 2021-12-23 基于内容感知的移动端自适应视频倍速播放方法 Pending CN114257846A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111590216.4A CN114257846A (zh) 2021-12-23 2021-12-23 基于内容感知的移动端自适应视频倍速播放方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111590216.4A CN114257846A (zh) 2021-12-23 2021-12-23 基于内容感知的移动端自适应视频倍速播放方法

Publications (1)

Publication Number Publication Date
CN114257846A true CN114257846A (zh) 2022-03-29

Family

ID=80797128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111590216.4A Pending CN114257846A (zh) 2021-12-23 2021-12-23 基于内容感知的移动端自适应视频倍速播放方法

Country Status (1)

Country Link
CN (1) CN114257846A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856812A (zh) * 2014-03-25 2014-06-11 北京奇艺世纪科技有限公司 一种视频播放方法及装置
CN104270608A (zh) * 2014-09-28 2015-01-07 武汉烽火众智数字技术有限责任公司 一种智能视频播放器及其播放方法
CN104602117A (zh) * 2015-01-31 2015-05-06 华为技术有限公司 一种倍速播放视频的方法及装置
CN107682742A (zh) * 2017-10-10 2018-02-09 成都德尚视云科技有限公司 无需转码的视频浓缩播放方法
CN109391843A (zh) * 2017-08-03 2019-02-26 腾讯科技（深圳）有限公司 在线视频倍速播放方法、装置、介质及智能终端
CN112437345A (zh) * 2020-11-20 2021-03-02 北京字跳网络技术有限公司 视频倍速播放方法、装置、电子设备及存储介质
CN112822546A (zh) * 2020-12-30 2021-05-18 珠海极海半导体有限公司 基于内容感知的倍速播放方法、***、存储介质和设备
US20210344938A1 (en) * 2019-06-12 2021-11-04 Tencent Technology (Shenzhen) Company Limited Video decoding method and apparatus, computer device, and storage medium

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856812A (zh) * 2014-03-25 2014-06-11 北京奇艺世纪科技有限公司 一种视频播放方法及装置
CN104270608A (zh) * 2014-09-28 2015-01-07 武汉烽火众智数字技术有限责任公司 一种智能视频播放器及其播放方法
CN104602117A (zh) * 2015-01-31 2015-05-06 华为技术有限公司 一种倍速播放视频的方法及装置
CN109391843A (zh) * 2017-08-03 2019-02-26 腾讯科技（深圳）有限公司 在线视频倍速播放方法、装置、介质及智能终端
CN107682742A (zh) * 2017-10-10 2018-02-09 成都德尚视云科技有限公司 无需转码的视频浓缩播放方法
US20210344938A1 (en) * 2019-06-12 2021-11-04 Tencent Technology (Shenzhen) Company Limited Video decoding method and apparatus, computer device, and storage medium
CN112437345A (zh) * 2020-11-20 2021-03-02 北京字跳网络技术有限公司 视频倍速播放方法、装置、电子设备及存储介质
CN112822546A (zh) * 2020-12-30 2021-05-18 珠海极海半导体有限公司 基于内容感知的倍速播放方法、***、存储介质和设备

Similar Documents

Publication Publication Date Title
CN112753225B (zh) 用于嵌入信息卡定位和内容提取的视频处理
US10425679B2 (en) Method and device for displaying information on video image
US7707485B2 (en) System and method for dynamic transrating based on content
CN109788345B (zh) 直播控制方法、装置、直播设备及可读存储介质
CN107247733B (zh) 一种视频片段观看热度分析方法及***
CN105451029B (zh) 一种视频图像的处理方法及装置
US9438876B2 (en) Method for semantics based trick mode play in video system
JP7295950B2 (ja) 映像増強制御方法、装置、電子機器及び記憶媒体
US10749923B2 (en) Contextual video content adaptation based on target device
CN114679607B (zh) 一种视频帧率控制方法、装置、电子设备及存储介质
CN107438202A (zh) 一种实现码率切换的方法及装置
CN115396705B (zh) 投屏操作验证方法、平台及***
CN113301355B (zh) 视频传输、直播与播放方法、设备及存储介质
CN109982120B (zh) 一种多媒体播放方法及装置
CN114339423A (zh) 短视频生成方法、装置、计算设备及计算机可读存储介质
CN114257846A (zh) 基于内容感知的移动端自适应视频倍速播放方法
CN112843733A (zh) 拍摄图像的方法、装置、电子设备及存储介质
CN113497946A (zh) 视频处理方法、装置、电子设备和存储介质
US20230058707A1 (en) Methods, systems, and media for selecting video formats for adaptive video streaming
CN112328152B (zh) 媒体文件的播放控制方法、装置、电子设备及存储介质
CN112565913B (zh) 视频通话方法、装置和电子设备
CN114827724A (zh) 视频播放方法以及相关设备
CN113132744A (zh) 直播弹幕的处理方法、模型、电子装置及计算机存储介质
CN111343391A (zh) 影片撷取方法与使用此方法的电子装置
US11523161B2 (en) Exciting moment pre-cognizant notification for live events

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination