CN114422852A - 视频播放方法、存储介质、处理器和*** - Google Patents

视频播放方法、存储介质、处理器和*** Download PDF

Info

Publication number
CN114422852A
CN114422852A CN202111547411.9A CN202111547411A CN114422852A CN 114422852 A CN114422852 A CN 114422852A CN 202111547411 A CN202111547411 A CN 202111547411A CN 114422852 A CN114422852 A CN 114422852A
Authority
CN
China
Prior art keywords
video frame
video
playing time
optical flow
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111547411.9A
Other languages
English (en)
Inventor
刘凌海
李扬彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202111547411.9A priority Critical patent/CN114422852A/zh
Publication of CN114422852A publication Critical patent/CN114422852A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种视频播放方法、存储介质、处理器和***。其中,该方法包括:在目标视频的解码图像中,获取相邻的第一视频帧和第二视频帧;基于第一视频帧和第二视频帧确定目标光流;基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值;按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧。本发明解决了视频播放的局限大的技术问题。

Description

视频播放方法、存储介质、处理器和***
技术领域
本发明涉及计算机领域,具体而言,涉及一种视频播放方法、存储介质、处理器和***。
背景技术
目前,人们对视频的观看体验要求越来越高,从1080p高清视频到4k高清,再到现在4k超清的流行,无不说明正在进入到越来越“无损”的视频观看体验。在像素方面的高清越来越被满足之外,人们关注点开始转移到高帧率视频观看体验。
在现有技术中,硬件的高刷需要配合视频资源的高帧率才能够起作用,但是高帧率视频码率很高,带宽要求更大,从而存在视频播放的局限性大的技术问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种视频播放方法、存储介质、处理器和***,以至少解决视频播放的局限大的技术问题。
根据本发明实施例的一个方面,提供了一种视频播放方法。该方法可以包括:在目标视频的解码图像中,获取相邻的第一视频帧和第二视频帧;基于第一视频帧和第二视频帧确定目标光流;基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值;按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧。
根据本发明实施例的一个方面,还提供了一种视频播放方法。该方法可以包括:响应作用于操作界面上的提取操作指令,在目标视频的解码图像中,提取出相邻的第一视频帧和第二视频帧;响应作用于操作界面上的插帧操作指令,在操作界面上显示第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值,且基于由第一视频帧和第二视频帧确定的目标光流确定;响应作用于操作界面上的播放操作指令,按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧。
根据本发明实施例的一个方面,还提供了一种视频播放方法。该方法可以包括:从直播平台获取直播视频流的解码图像;在解码图像中,获取相邻的第一视频帧和第二视频帧;基于第一视频帧和第二视频帧确定目标光流;基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值;按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧,得到播放结果,且将播放结果返回至直播平台。
根据本发明实施例的一个方面,还提供了一种视频播放方法。该方法可以包括:通过调用第一接口,在目标视频的解码图像中获取相邻的第一视频帧和第二视频帧,其中,第一接口包括第一参数,第一参数的参数值为第一视频帧和第二视频帧;基于第一视频帧和第二视频帧确定目标光流;基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值;通过调用第二接口向终端设备输出处于第三视频帧,其中,第二接口包括第二参数,第二参数的参数值为第三视频帧,第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间用于使得终端设备依次播放第一视频帧、第三视频帧和第二视频帧。
根据本发明实施例的一个方面,还提供了一种视频处理方法。该方法可以包括:在短视频的解码图像中,获取相邻的第一视频帧和第二视频帧,其中,短视频用于对交易对象进行宣传;基于第一视频帧和第二视频帧确定目标光流;基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得短视频的视频帧率大于第一阈值;按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间生成视频文件,其中,视频文件包括第一视频帧、第三视频帧和第二视频帧。
根据本发明实施例的一个方面,还提供了一种视频播放装置。该装置可以包括:第一获取单元,用于在目标视频的解码图像中,获取相邻的第一视频帧和第二视频帧;第一确定单元,用于基于第一视频帧和第二视频帧确定目标光流;第二确定单元,用于基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值;第一播放单元,用于按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧。
根据本发明实施例的一个方面,还提供了一种视频播放装置。该装置可以包括:提取单元,用于响应作用于操作界面上的提取操作指令,在目标视频的解码图像中,提取出相邻的第一视频帧和第二视频帧;显示单元,用于响应作用于操作界面上的插帧操作指令,在操作界面上显示第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值,且基于由第一视频帧和第二视频帧确定的目标光流确定;播放单元,用于响应作用于操作界面上的播放操作指令,按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧。
根据本发明实施例的一个方面,还提供了一种视频播放装置。该装置可以包括:第二获取单元,用于从直播平台获取直播视频流的解码图像;第三获取单元,用于在解码图像中,获取相邻的第一视频帧和第二视频帧;第三确定单元,用于基于第一视频帧和第二视频帧确定目标光流;第四确定单元,用于基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值;第二播放单元,用于按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧,得到播放结果,且将播放结果返回至直播平台。
根据本发明实施例的一个方面,还提供了一种视频播放装置。该装置可以包括:第四获取单元,用于通过调用第一接口,在目标视频的解码图像中获取相邻的第一视频帧和第二视频帧,其中,第一接口包括第一参数,第一参数的参数值为第一视频帧和第二视频帧;第五确定单元,用于基于第一视频帧和第二视频帧确定目标光流;第六确定单元,用于基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值;输出单元,用于通过调用第二接口向终端设备输出第三视频帧,其中,第二接口包括第二参数,第二参数的参数值为第三视频帧,第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间用于使得终端设备依次播放第一视频帧、第三视频帧和第二视频帧。
根据本发明实施例的一个方面,还提供了一种视频处理装置。该装置可以包括:第五获取单元,用于在短视频的解码图像中,获取相邻的第一视频帧和第二视频帧,其中,短视频用于对交易对象进行宣传;第七确定单元,用于基于第一视频帧和第二视频帧确定目标光流;第八确定单元,用于基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得短视频的视频帧率大于第一阈值;第一生成单元,用于按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间生成视频文件,其中,视频文件包括第一视频帧、第三视频帧和第二视频帧。
根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述任意一项的视频播放的方法。
根据本发明实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述任意一项的视频播放的方法。
根据本发明实施例的另一方面,还提供了一种视频播放***,包括:处理器;存储器,与处理器相连接,用于为处理器提供处理以下处理步骤的指令:在目标视频的解码图像中,获取相邻的第一视频帧和第二视频帧;基于第一视频帧和第二视频帧确定目标光流;基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间;按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧。
在本发明实施例中,在目标视频的解码图像中,获取相邻的第一视频帧和第二视频帧;基于第一视频帧和第二视频帧确定目标光流;基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值;按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧。也就是说,本发明通过在第一视频帧和第二视频帧之中***第三视频帧的方法,实现了将普通视频变成高帧率视频,而且计算过程在接收端完成,不需要增加额外的带宽资源,从而实现了降低对视频播放的局限性的技术效果,解决了视频播放的局限大的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种视频播放方法的计算机终端(或移动设备)的硬件结构框图;
图2是根据本发明实施例的一种视频播放方法的流程图;
图3是根据本发明实施例的另一种视频播放方法的流程图;
图4是根据本发明实施例的另一种视频播放方法的流程图;
图5是根据本发明实施例的另一种视频播放方法的流程图;
图6是根据本发明实施例的一种视频直播插帧架构的流程图;
图7是根据本发明实施例的一种移动实时插帧模块的示意图;
图8是根据本发明实施例的一种视频播放装置的示意图;
图9是根据本发明实施例的另一种视频播放装置的示意图;
图10是根据本发明实施例的另一种视频播放装置的示意图;
图11是根据本发明实施例的另一种视频播放装置的示意图;
图12是根据本发明实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
插帧,连续的两帧视频帧中间,通过算法计算出中间帧进行***,然后按时间播放,达到高帧率的效果;
视频直播插帧,由于直播视频是实时推拉流,所以要支持直播插帧的话,插帧算法需要非常高效才能够达到跟直播视频帧一致的实时状态;
超分辨率成像,是一种提高影片分辨率的技术,通过硬件或软件的方法提高原有图像的分辨率;
内容分发网络(Content Delivery Network,简称为CDN),是指一种透过互联网互相连接的电脑网络***,利用最靠近美味用户的服务器,更快、更可靠地将音乐、图片、视频等文件发送给用户,以提高性能;
光流(optical flow),是指平面上,光照模式的变化情况,在计算机视觉领域,是指视频图像中各点像素随时间的运动情况;
光流超分辨率成像,指的是利用视频帧间的信息进行修复,从而从一个或多个低分辨率图像中恢复高分辨率图像。
实施例1
根据本发明实施例,还提供了一种视频播放的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现视频播放方法的计算机终端(或移动设备)的硬件结构框图。如图1所示,计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“视频播放电路”。该视频播放电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,视频播放电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该视频播放电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本发明实施例中的视频播放方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的视频播放方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
此处需要说明的是,在一些可选实施例中,上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是,图1仅为特定具体实例的一个实例,并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
在图1所示的运行环境下,本申请提供了如图2所示的视频播放方法。需要说明的是,该实施例的视频播放方法可以由图1所示实施例的移动终端执行。
图2是根据本发明实施例的一种视频播放方法的流程图。如图2所示,该方法可以包括以下步骤:
步骤S202,在目标视频的解码图像中,获取相邻的第一视频帧和第二视频帧。
在本发明上述步骤S202提供的技术方案中,解码图像可以为通过对封装之后的目标视频进行解码之后得到的拉流图像,也可以为解码之后得到的原始码图像,可以称为视频帧,其中,多个解码图像以时间顺序连接在一起,组成目标视频。
可选地,第一视频帧和第二视频帧分别为目标视频中不同时刻的视频图像,第一视频帧和第二视频帧可以为连续间隔某一时刻的视频图像,其中,第一视频帧可以用It表示,第二视频帧可以用It+1表示,需要说明的是,1表示第二视频帧和第一视频帧为目标视频中连续的视频帧。
可选地,播放端通过内容分发网络接收到封装过的目标视频,对目标视频进行解码之后得到多个解码图像,第一视频帧和第二视频帧可以为随机选取的连续的两帧视频帧,也可以根据实际需求,按照某一顺序选取的连续的两帧视频帧,从而达到获取第一视频帧和第二视频帧的目的。
步骤S204,基于第一视频帧和第二视频帧确定目标光流。
在本发明上述步骤S204提供的技术方案中,在获取相邻的第一视频帧和第二视频帧之后,可以基于第一视频帧和第二视频帧确定目标光流,该目标光流可以为与原图一样尺寸的光流,可以用
Figure BDA0003416121750000081
表示,其中,光流可以为视频图像中各点像素随时间的运动情况。
可选地,通过分别对第一视频帧和第二视频帧进行下采样,得到第一视频帧的小尺寸的视频帧和第二视频帧的小尺寸的视频帧,对分别对第一视频帧的小尺寸的视频帧和第二视频帧的小尺寸的视频帧进行光流超分辨率的处理,处理后输出与第一视频帧和第二视频帧一样尺寸的目标光流。
步骤S206,基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值。
在本发明上述步骤S206提供的技术方案中,在获取相邻的第一视频帧和第二视频帧之后,可以基于第一视频帧和第二视频帧确定目标光流,可以通过目标光流对第一视频帧和第二视频帧进行图像卷绕之后,得到第三视频帧,其中,第三视频帧可以用
Figure BDA0003416121750000082
表示,可以为高帧频的图像,可以为推算出来的目标图像上物体的变化位置的图像。
可选地,第一阈值可以为高帧率视频的帧率值,可以为根据实际情况设定的帧率值,可以为90fps乃至120fps,如果目标视频的视频帧率大于第一阈值,则可以认为得到了高帧率的目标视频。
可选地,可以通过在第一视频帧和第二视频帧之间加入第三视频帧,提高目标视频的帧率,使得目标视频的视频帧率大于第一阈值。
步骤S208,按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧。
在本发明上述步骤S208提供的技术方案中,在第一视频帧和第二视频帧中***通过目标光流对第一视频帧和第二视频帧进行图像卷绕之后得到的第三视频帧,得到按照第一视频帧、第三视频帧和第二视频帧顺序的目标视频,按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间依次播放第一视频帧、第三视频帧和第二视频帧,从而得到高帧率的目标视频。
可选地,通过在第一视频帧和第二视频帧中***第三视频帧,从而达到优化解决视频中卡顿、抖动等画质问题,进而实现将低帧率视频转化为高帧率视频,提高观影质量。
通过本申请上述步骤S202至步骤S208,在目标视频的解码图像中,获取相邻的第一视频帧和第二视频帧;基于第一视频帧和第二视频帧确定目标光流;基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值;按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧。也就是说,本发明通过在第一视频帧和第二视频帧之中***第三视频帧的方法,实现了将普通视频变成高帧率视频,而且计算过程在接收端完成,不需要增加额外的带宽资源,从而实现了降低对视频播放的局限性的技术效果,解决了视频播放的局限大的技术问题。
下面对该实施例的上述方法进行进一步地介绍。
作为一种可选的实施方式,步骤S206,基于目标光流确定第三视频帧,包括:对目标光流进行图像卷绕处理,得到第三视频帧。
在该实施例中,利用目标光流对第一视频帧和第二视频帧进行图像卷绕处理,得到第三视频帧,其中图像卷绕处理(image warping)可以为通过设定的一系列控制点的位移来定义空间变换的图像变形处理,可以是由控制点将图像分成多个变形区域,对每个变形区域使用双线性插值函数来填充非控制点,其中,控制点可以为目标光流。
可选地,由目标光流确定多个控制点,由控制点将第一视频帧和第二视频帧分别分成多个变形区域,对每个变形区域使用双线性插值函数来填充非控制点,从而得到第三视频帧,该第三视频帧可以为统一的效果图像。
作为一种可选的实施方式,基于第一视频帧和第二视频帧确定目标光流,包括:分别对第一视频帧和第二视频帧进行下采样,其中,采样后的第一视频帧的尺寸小于第二阈值,且采样后的第二视频帧的尺寸小于第二阈值;基于采样后的第一视频帧和采样后的第二视频帧确定目标光流。
在该实施例中,分别对第一视频帧和第二视频帧进行下采样,得到采样后尺寸小于第二阈值的第一视频帧和第二视频,基于采样后的第一视频帧和采样后的第二视频帧确定目标光流。其中,下采样用于缩小图像,可以为同时对图像的长宽缩小一定的倍数;第二阈值可以为根据实际情况提前设定的小尺寸视频帧的尺寸,通过对第一视频帧和第二视频帧进行比例的缩小(下采样),得到尺寸小于第二阈值的第一视频帧和第二视频帧,从而提高网络处理效率。
可选地,分别对第一视频帧和第二视频帧进行下采样,得到第一视频帧的小尺寸视频帧和第二视频帧的小尺寸视频帧,对下采样之后到第一视频帧的小尺寸视频帧和第二视频帧的小尺寸视频帧进行转换,得到与第一视频帧和第二视频帧一样尺寸的光流,即,目标光流。
作为一种可选的实施方式,步骤S204,基于采样后的第一视频帧和采样后的第二视频帧确定目标光流,包括:基于采样后的第一视频帧和采样后的第二视频帧确定目标光流超分辨率;基于目标光流超分辨率确定目标光流。
在该实施列中,低分辨率的光流会影响图像的细节复原效果,因此,对光流进行超分,得到光流超分辨率,从而提供更精准的时序信息,进而提高图像超分的效果。
可选地,将采样后的第一视频帧和采样后的第二视频帧作为输入,利用设计的深度学习卷积网络模型对采样后的第一视频帧和采样后的第二视频帧进行处理,输出光流超分辨率的目标光流。
作为一种可选的实施方式,步骤S204,基于采样后的第一视频帧和采样后的第二视频帧确定所述目标光流,包括:将采样后的第一视频帧和采样后的第二视频帧输入至目标模型中进行处理,得到目标光流超分辨率,且基于目标光流超分辨率确定目标光流,其中,目标模型为基于深度学习训练得到,且用于确定输入视频帧的光流超分辨率,以确定光流的模型。
在该事实例中,目标模型可以为移动端实时插帧模块(VFI模块)中的光流预测和光流超分模块,其中,移动端实时插帧模块可以为提前训练好的目标模型,手机端将解码的拉流图像送入到移动端实时插帧模块,移动端实时插帧模块即可利用手机的算力进行插帧,并将原解码图像和插帧图像按照时序渲染播放给用户。
可选地,移动端实时插帧模块可以包括光流预测和光流超分模块,其中,光流预测和光流超分模块是深度卷积网络模型,可以为通过预先的深度学习训练得到的目标模型,用于对目标光流进行预测和超分辨率处理,由于网络有超分辨率功能,所以保证了算法的效果。
可选地,将进行下采样之后的小尺寸视频帧(采样后的第一视频帧和采样后的第二视频帧)输入至目标模型中进行处理,得到目标光流超分辨率,且基于目标光流超分辨率确定目标光流,从而输出目标光流。
作为一种可选的实施方式,基于目标视频帧样本、与目标视频帧样本对应的光流超分辨率和光流样本,对子模型进行训练,得到目标模型。
在该实施例中,对子模型输入目标视频帧样本,若输出与目标视频帧样本对应的光流超分辨率和光流样本与目标视频帧样本对应的光流超分辨率和光流样本差距较大,则修改参数继续进行训练,直至输出与目标视频帧样本对应的光流超分辨率和光流样本,则得到目标模型。
作为一种可选的实施方式,子模型为初始深度卷积网络模型,目标模型为目标深度卷积网络模型。
该实施例中,子模型和目标模型都为深度卷积网络模型,通过对初始深度卷积网络模型不断深度学习训练,从而得到需要的目标深度卷积网络模型。
作为一种可选的实施方式,目标光流的尺寸与解码图像的尺寸相同。
在该实施例中,为了提高网络前向的效率,因此在输入目标模型时,输入的是小尺寸图像,但通过光流预测和光流超分模块的处理之后,由于包含光流超分辨率的过程,因而,会输出与解码图像一样尺寸的目标光流,从而保证了算法的效果。
该实施例通过在第一视频帧和第二视频帧之中***第三视频帧的方法,实现了将普通视频变成高帧率视频,而且计算过程在接收端完成,不需要增加额外的带宽资源,从而实现了降低对视频播放的局限性的技术效果,解决了视频播放的局限大的技术问题。
本发明实施例还从人机交互侧提供了另一种视频播放方法。
图3是根据本发明实施例的另一种视频播放方法的流程图。如图3所示,该方法可以包括以下步骤:
步骤S302,响应作用于操作界面上的提取操作指令,在目标视频的解码图像中,提取出相邻的第一视频帧和第二视频帧。
在本发明上述步骤S302提供的技术方案中,提取操作指令可以由用户触发,用于在操作界面上提取出目标视频的解码图像中相邻的第一视频帧和第二视频帧,从而该实施例响应作用于操作界面上的提取操作指令,从而提取出相邻的第一视频帧和第二视频帧。
步骤S304,响应作用于操作界面上的插帧操作指令,在操作界面上显示第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值,且基于由第一视频帧和第二视频帧确定的目标光流确定。
在本发明上述步骤S304提供的技术方案中,响应作用于操作界面上的插帧操作指令,从而对第一视频帧、第二视频帧和基于由第一视频帧和第二视频帧确定的目标光流进行处理,得到第三视频帧,并显示在操作界面上,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,通过在播放时间内增加视频帧,从而提高目标视频的视频帧率,使得目标视频的视频帧率大于第一阈值。
步骤S306,响应作用于操作界面上的播放操作指令,按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧。
在本发明上述步骤S306提供的技术方案中,响应作用于操作界面上的播放操作指令,从而按照视频帧的播放时间对第一视频帧、第二视频帧和第三视频帧进行排序,一次播放第一视频帧、第三视频帧和第二视频帧,从而得到衔接更加生动的额目标视频。
本发明实施例还提供了另一种应用于直播场景的视频播放方法。
图4是根据本发明实施例的另一种视频播放方法的流程图。如图4所示,该方法可以包括以下步骤:
步骤S402,从直播平台获取直播视频流的解码图像。
在本发明上述步骤S402提供的技术方案中,解码图像可以为通过对从直播平台获取直播视频流,通过解码工具进行解码之后得到的图形,可以称为拉流图像,也可以为对从直播平台获取直播视频流进行解码之后得到的原始码图像,可以称为视频帧,其中,多个解码图像以直播时间顺序连接在一起,组成直播视频流。
步骤S404,在解码图像中,获取相邻的第一视频帧和第二视频帧;基于第一视频帧和第二视频帧确定目标光流。
在本发明上述步骤S404提供的技术方案中,第一视频帧和第二视频帧分别为直播时不同时刻的视频图像,可以为连续间隔某一时刻的视频图像,其中,第一视频帧可以用It表示,第二视频帧可以用It+t表示,需要说明的是,t可以为任意时间段,可以为1秒、2秒,也可以为3毫秒、4毫秒,此处不做具体限定。
可选地,播放端通过内容分发网络接收到封装过的直播视频,对直播视频进行解码之后得到多个解码图像,随机选取连续的两帧视频帧,从而得到第一视频帧和第二视频帧。
可选地,在该实施例中,目标光流可以为与原图一样尺寸的光流,可以通过对第一视频帧和第二视频帧进行下采样,得到小尺寸的视频帧,对小尺寸的视频帧进行光流超分辨率的处理之后输出与原图一样尺寸的光流,从而得到目标光流。
步骤S406,基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值;
在本发明上述步骤S406提供的技术方案中,第三视频帧可以为利用得到的目标光流对第一视频帧和第二视频帧进行图像卷绕之后得到的,可以用
Figure BDA0003416121750000131
表示;第一阈值可以为高帧率视频的帧率值,可以为根据实际情况设定的帧率值,可以为90fps乃至120fps。
可选地,如果目标视频的视频帧率大于第一阈值,则可以认为得到了高帧率的目标视频,通过在第一视频帧和第二视频帧中***第三视频帧,从而达到优化解决视频中卡顿、抖动等画质问题,进而实现直播视频的视频帧率大于第一阈值的效果。
步骤S408,按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧,得到播放结果,且将播放结果返回至直播平台。
在本发明上述步骤S408提供的技术方案中,在第一视频帧和第二视频帧中***第三视频帧,其中,第三视频帧可以为推算出来的目标图像上物体的变化位置,按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间依次播放第一视频帧、第三视频帧和第二视频帧。
本发明实施例还提供了另一种视频播放方法。
图5是根据本发明实施例的另一种视频播放方法的流程图。如图5所示,该方法可以包括以下步骤:
步骤S502,通过调用第一接口,在目标视频的解码图像中获取相邻的第一视频帧和第二视频帧,其中,第一接口包括第一参数,第一参数的参数值为第一视频帧和第二视频帧。
在本发明上述步骤S502提供的技术方案中,第一接口可以是服务器与客户端之间进行数据交互的接口。客户端可以将目标视频的解码图像传入第一接口,作为第一接口的一个第一参数,实现在目标视频的解码图像中获取相邻的第一视频帧和第二视频帧的目的。
可选地,播放端通过内容分发网络接收到封装过的目标视频,对目标视频进行解码之后得到多个解码图像,随机选取连续的两帧视频帧,从而得到第一视频帧和第二视频帧。
步骤S504,基于第一视频帧和第二视频帧确定目标光流。
步骤S506,基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值。
步骤S508,通过调用第二接口向终端设备输出第三视频帧,其中,第二接口包括第二参数,第二参数的参数值为第三视频帧,第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间用于使得终端设备依次播放第一视频帧、第三视频帧和第二视频帧。
在本发明上述步骤S508提供的技术方案中,第二接口可以是服务器与客户端之间进行数据交互的接口,服务器可以通过调用第二接口,使得终端设备依次播放第一视频帧、第三视频帧和第二视频帧,作为第二接口的一个参数,实现将第一视频帧、第三视频帧和第二视频帧依次播放的结果下发至客户端的目的。可选地,平台通过调用第二接口输出第一视频帧、第三视频帧和第二视频帧依次播放的结果,其中,第二接口用于将视频播放的结果通过互联网部署及接入播放***中,从而输出依次播放的第一视频帧、第三视频帧和第二视频帧的结果。
本发明实施例还提供了另一种应用于离线状态下的视频处理方法,该方法可以用于商家对店铺商品的视频宣传片在离线状态下进行插帧处理。
在该实施例中,在短视频的解码图像中,获取相邻的第一视频帧和第二视频帧,其中,短视频用于对交易对象进行宣传;基于第一视频帧和第二视频帧确定目标光流;基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得短视频的视频帧率大于第一阈值;按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间生成视频文件,其中,视频文件包括第一视频帧、第三视频帧和第二视频帧。
短视频用于对交易对象进行宣传,其中,短视频可以为商家店铺的商品视频,或宣传片等,用于对交易对象进行宣传,通过对封装之后的短视频进行解码,得到拉流图像,也可以为解码之后得到的原始码图像,可以称为视频帧,其中,多个解码图像以时间顺序连接在一起,组成短视频。
可选地,第一视频帧和第二视频帧分别为短视频中不同时刻的视频图像,第一视频帧和第二视频帧可以为连续间隔某一时刻的视频图像,其中,第一视频帧可以用It表示,第二视频帧可以用It+1表示,需要说明的是,1表示第二视频帧和第一视频帧为目标视频中连续的视频帧。
播放端通过内容分发网络接收到封装过的短视频,对短视频进行解码之后得到多个解码图像,第一视频帧和第二视频帧可以为在解码图像中随机选取的连续的两帧视频帧,也可以为根据实际需求,按照某一顺序选取连续的两帧视频帧,从而达到获取第一视频帧和第二视频帧的目的。
可选地,在获取相邻的第一视频帧和第二视频帧之后,可以基于第一视频帧和第二视频帧确定目标光流,该目标光流可以为与原图一样尺寸的光流,可以用
Figure BDA0003416121750000151
表示,其中,光流可以为视频图像中各点像素随时间的运动情况。
可选地,通过分别对第一视频帧和第二视频帧进行下采样,得到第一视频帧的小尺寸的视频帧和第二视频帧的小尺寸的视频帧,对分别对第一视频帧的小尺寸的视频帧和第二视频帧的小尺寸的视频帧进行光流超分辨率的处理,处理后输出与第一视频帧和第二视频帧一样尺寸的目标光流。
可选地,在获取相邻的第一视频帧和第二视频帧之后,可以基于第一视频帧和第二视频帧确定目标光流,可以通过目标光流对第一视频帧和第二视频帧进行图像卷绕之后,得到第三视频帧,其中,第三视频帧可以用
Figure BDA0003416121750000152
表示,可以为高帧频的图像,可以为推算出来的目标图像上物体的变化位置的图像。
可选地,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,通过在第一视频帧和第二视频帧之间加入第三视频帧,达到提高目标视频的帧率的目的,使得短视频的视频帧率大于第一阈值。
可选地,在第一视频帧和第二视频帧中***通过目标光流对第一视频帧和第二视频帧进行图像卷绕之后得到的第三视频帧,得到按照第一视频帧、第三视频帧和第二视频帧的播放时间生成的视频文件,视频文件按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间依次播放第一视频帧、第三视频帧和第二视频帧,从而得到高帧率的目标视频。
在相关技术中,硬件的高刷还需要配合视频资源的高帧率才能够起作用,但是高帧率视频码率很高,带宽要求更大,从而存在视频播放的局限性大的技术问题,然而,在本实施例中,通过插帧的方法将普通视频变成高帧率视频,而且计算过程在接收端完成,不需要增加额外的带宽资源,降低了对视频播放的局限性。
实施例2
下面对该实施例的上述方法的优选实施方式进行进一步介绍。
目前,人们对直播、视频的观看体验要求越来越高,从1080p高清视频到4k高清,再到现在4k超清,无不说明我们正在进入到越来越“无损”的视频观看体验。在像素方面的高清越来越被满足之外,人们关注点开始转移到帧率的“高清”——也就是高帧率视频观看体验。更高的帧率意味着更加丝滑和更多动作(尤其是快动作)细节的呈现。从硬件上来看,现在用户购买手机或者显示屏,都考虑是否为高刷新率(90fps乃至120fps),“高刷”甚至是旗舰手机的默认配置。
在相关技术中,高端电视机通过带有运动估计和补偿芯片,来计算运动估计和补偿,一定程度上消除电视上画面快速运动产生的残影,但是需要特殊硬件的支持,并且硬件的高刷还需要配合视频资源的高帧率才能够起作用,但是高帧率视频码率很高,带宽要求更大,从而存在视频播放的局限性大的技术问题。
针对上述问题,某些手机厂商研制出的运动估计和补偿芯片的插帧技术,也可以实现120fps的高帧率插帧,但是上述方法仍存在需要底层处理器和软件的配合,而且只能够应用在特定手机的问题。
还有学术上的一些方法,例如插帧算法,用神经网络脑补超级慢动作(superSLOMO)等,这些方法都是基于深度学习进行插帧,但是上述方法都存在计算量都非常大,不够高效,没办法在移动端实时插帧的问题。
因而,本发明提出一种在移动端支持视频直播的高效实时插帧的方法。能够不增加内容分发网络推拉流带宽的情况下,利用手机端的算力,对接收的直播视频流在手机本地进行实时插帧和播放,让用户体验高帧率直播视频。
下面对该实施例的上述方法进行进一步地介绍。
图6是根据本发明实施例的一种视频直播插帧架构的流程图,如图6所示,其中,移动端实时插帧模块(VFI模块)是本发明的核心算法。
步骤S601,对图像进行采集。
在推流端进行图像采集,即,将现场的视频信号进行收集。
步骤S602,对采集到的图像进行图像编码。
对采集到的图像按照时间顺序进行编码。
步骤S603,对编码好的图像进行封装,并将封装好的图像发送至网络中。
同时,对按照时间顺序编码的图像使用传输协议进行封装,得到流数据,通过一定的算法将数据流推送至网络中。
步骤S604,将发送至网络中的封装好的图像,分发至播放端。
通过内容分发网络将推送至网络中的数据流推送至播放端进行处理。
步骤S605,接收网络中分发的图像,并对图像进行解封。
播放端与服务器建立连接,并接收内容分发网络分发的数据流,然后对接收的数据流进行解封装,得到按照时间顺序排序的图像。
步骤S606,对解封之后的图像进行解码。
对按照时间顺序排序的图像进行解码,确定要进行操作的拉流图像。
步骤S607,将解码的拉流图像送入到移动实时插帧模块进行插帧。
播放端将解码的拉流图像送入到移动实时插帧模块(VFI模块),移动实时插帧模块即可利用手机的算力进行插帧。
步骤S608,对原解码图像和插帧图像进行采集。
采集原解码图像和插帧图像,将原解码图像和插帧图像按照时序渲染播放给用户,从而实现不增加CDN带宽和其他任何成本就提高视频播放率的效果。
该实施例通过插帧的方法将普通视频变成高帧率视频,而且计算过程在接收端完成,不需要增加额外的带宽资源。
下面对该实施例中的核心移动实时插帧模块进行介绍,具体,以两帧(It和It+1)***一帧(It+0.5)距离对高效移动实时插帧模块进行进一步地介绍,图7是根据本发明实施例的一种移动实时插帧模块的示意图,如图7所示,移动实时插帧模块包括:下采样网络、光流预测和光流超分网络和图像卷积网络。
对图像进行下采样,得到小尺寸视频帧;将小尺寸视频帧输入光流预测和光流超分模块/网络,光流预测和光流超分模块包含光流超分辨率的过程,从而输出与原图一样尺寸的光流(Ft+0.5),得到光流,基于得到的光流对原图进行图像卷绕(image warping),最终输出It+0.5,将得到一帧(It+0.5)***两帧(It和It+1)之间,从而得到高分辨率视频。
其中的光流预测和光流超分模块是深度卷积网络,是通过预先的深度学习训练完成。由于输入网络的是小尺寸图像,所以网络前向非常高效,同时由于网络有超分辨率功能,所以保证了算法的效果。
本发明是纯算法/软件层面的实现方案,不需要特定硬件的支持,如,不需要补偿芯片,同时,设计了高效的神经网络结构,主要是光流预测和光流超分模块,从而支持高中低端手机实时运行,能够支持视频直播实时插帧。
在该实施列中,在目标视频的解码图像中,获取相邻的第一视频帧和第二视频帧;基于第一视频帧和第二视频帧确定目标光流;基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值;按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧。也就是说,本发明通过在第一视频帧和第二视频帧之中***第三视频帧的方法,实现了将普通视频变成高帧率视频,而且计算过程在接收端完成,不需要增加额外的带宽资源,从而实现了降低对视频播放的局限性的技术效果,解决了视频播放的局限大的技术问题。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的资源配置方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例3
根据本发明实施例,还提供了一种用于实施上述图2所示的视频播放方法的视频播放装置。
图8是根据本发明实施例的一种视频播放装置的示意图。如图8所示,该视频播放装置800可以包括:第一获取单元802、第一确定单元804、第二确定单元806和第一播放单元808。
第一获取单元802,用于在目标视频的解码图像中,获取相邻的第一视频帧和第二视频帧。
第一确定单元804,用于基于第一视频帧和第二视频帧确定目标光流。
第二确定单元806,用于基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值。
第一播放单元808,用于按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧。
此处需要说明的是,上述第一获取单元802、第一确定单元804、第二确定单元806和第一播放单元808对应于实施例1中的步骤S202至步骤S208,两个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述单元作为装置的一部分可以运行在实施例一提供的计算机终端10中。
图9是根据本发明实施例的一种视频播放装置的示意图。如图9所示,该视频播放装置900可以包括:提取单元902、显示单元904和播放单元906。
提取单元902,用于响应作用于操作界面上的提取操作指令,在目标视频的解码图像中,提取出相邻的第一视频帧和第二视频帧。
显示单元904,用于响应作用于操作界面上的插帧操作指令,在操作界面上显示第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值,且基于由第一视频帧和第二视频帧确定的目标光流确定。
播放单元906,用于响应作用于操作界面上的播放操作指令,按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧。
此处需要说明的是,上述提取单元902、显示单元904和播放单元906对应于实施例1中的步骤S302至步骤S306,两个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述单元作为装置的一部分可以运行在实施例一提供的计算机终端10中。
图10是根据本发明实施例的一种视频播放装置的示意图。如图10所示,该视频播放装置1000可以包括:第二获取单元1002、第三获取单元1004、第三确定单元1006、第四确定单元1008和第二播放单元1010。
第二获取单元1002,用于从直播平台获取直播视频流的解码图像。
第三获取单元1004,用于在解码图像中,获取相邻的第一视频帧和第二视频帧。
第三确定单元1006,用于基于第一视频帧和第二视频帧确定目标光流。
第四确定单元1008,用于基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值。
第二播放单元1010,用于按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧,得到播放结果,且将播放结果返回至直播平台。
此处需要说明的是,上述第二获取单元1002、第三获取单元1004、第三确定单元1006、第四确定单元1008和第二播放单元1010对应于实施例1中的步骤S402至步骤S410,两个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述单元作为装置的一部分可以运行在实施例一提供的计算机终端10中。
图11是根据本发明实施例的一种视频播放装置的示意图。如图11所示,该视频播放装置1100可以包括:第四获取单元1102、第五确定单元1104、第六确定单元1106和输出单元1108。
第四获取单元1102,用于通过调用第一接口,在目标视频的解码图像中获取相邻的第一视频帧和第二视频帧,其中,第一接口包括第一参数,第一参数的参数值为第一视频帧和第二视频帧。
第五确定单元1104,用于基于第一视频帧和第二视频帧确定目标光流。
第六确定单元1106,用于基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值。
输出单元1108,用于通过调用第二接口向终端设备输出第三视频帧,其中,第二接口包括第二参数,第二参数的参数值为第三视频帧,第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间用于使得终端设备依次播放第一视频帧、第三视频帧和第二视频帧。
此处需要说明的是,上述第四获取单元1102、第五确定单元1104、第六确定单元1106和输出单元1108对应于实施例1中的步骤S502至步骤S508,两个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述单元作为装置的一部分可以运行在实施例一提供的计算机终端10中。
该视频播放装可以包括:第五获取单元、第七确定单元、第八确定单元和第一生成单元。
第五获取单元,用于在短视频的解码图像中,获取相邻的第一视频帧和第二视频帧,其中,短视频用于对交易对象进行宣传。
第七确定单元,用于基于第一视频帧和第二视频帧确定目标光流。
第八确定单元,用于基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得短视频的视频帧率大于第一阈值。
第一生成单元,用于按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间生成视频文件,其中,视频文件包括第一视频帧、第三视频帧和第二视频帧。
在该实施例的视频播放装置中,通过第一获取单元,在目标视频的解码图像中,获取相邻的第一视频帧和第二视频帧;通过第一确定单元,基于第一视频帧和第二视频帧确定目标光流;通过第二确定单元,基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值;通过第一播放单元,按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧。也就是说,本发明通过在第一视频帧和第二视频帧之中***第三视频帧的方法,实现了将普通视频变成高帧率视频,而且计算过程在接收端完成,不需要增加额外的带宽资源,从而实现了降低对视频播放的局限性的技术效果,解决了视频播放的局限大的技术问题。
实施例4
本发明的实施例可以提供一种视频播放***,该视频播放***可以包括计算机终端,该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为移动终端等终端设备。
可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中,上述计算机终端可以执行应用程序的视频播放方法中以下步骤的程序代码:处理器;存储器,与处理器相连接,用于为处理器提供处理以下处理步骤的指令:在目标视频的解码图像中,获取相邻的第一视频帧和第二视频帧;基于第一视频帧和第二视频帧确定目标光流;基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间;按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧。
可选地,图12是根据本发明实施例的一种计算机终端的结构框图。如图12所示,该计算机终端A可以包括:一个或多个(图中仅示出一个)处理器1202、存储器1204、以及传输装置1206。
其中,存储器可用于存储软件程序以及模块,如本发明实施例中的对象检测方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的对象检测方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:在目标视频的解码图像中,获取相邻的第一视频帧和第二视频帧;基于第一视频帧和第二视频帧确定目标光流;基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值;按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧。
可选地,上述处理器还可以执行如下步骤的程序代码:对目标光流进行图像卷绕处理,得到第三视频帧。
可选地,上述处理器还可以执行如下步骤的程序代码:分别对第一视频帧和第二视频帧进行下采样,其中,采样后的第一视频帧的尺寸小于第二阈值,且采样后的第二视频帧的尺寸小于第二阈值;基于采样后的第一视频帧和采样后的第二视频帧确定目标光流。
可选地,上述处理器还可以执行如下步骤的程序代码:基于采样后的第一视频帧和采样后的第二视频帧确定目标光流超分辨率;基于目标光流超分辨率确定目标光流。
可选地,上述处理器还可以执行如下步骤的程序代码:将采样后的第一视频帧和采样后的第二视频帧输入至目标模型中进行处理,得到目标光流超分辨率,且基于目标光流超分辨率确定目标光流,其中,目标模型为基于深度学习训练得到,且用于确定输入视频帧的光流超分辨率,以确定光流的模型。
可选地,上述处理器还可以执行如下步骤的程序代码:基于目标视频帧样本、与目标视频帧样本对应的光流超分辨率和光流样本,对子模型进行训练,得到目标模型。
作为一种可选的示例,处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:响应作用于操作界面上的提取操作指令,在目标视频的解码图像中,提取出相邻的第一视频帧和第二视频帧;响应作用于操作界面上的插帧操作指令,在操作界面上显示第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值,且基于由第一视频帧和第二视频帧确定的目标光流确定;响应作用于操作界面上的播放操作指令,按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧。
作为一种可选的示例,处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:从直播平台获取直播视频流的解码图像;在解码图像中,获取相邻的第一视频帧和第二视频帧;基于第一视频帧和第二视频帧确定目标光流;基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值;按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧,得到播放结果,且将播放结果返回至直播平台。
作为一种可选的示例,处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:通过调用第一接口,在目标视频的解码图像中获取相邻的第一视频帧和第二视频帧,其中,第一接口包括第一参数,第一参数的参数值为第一视频帧和第二视频帧;基于第一视频帧和第二视频帧确定目标光流;基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值;通过调用第二接口向终端设备输出处于第三视频帧,其中,第二接口包括第二参数,第二参数的参数值为第三视频帧,第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间用于使得终端设备依次播放第一视频帧、第三视频帧和第二视频帧。
作为一种可选的示例,处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:在短视频的解码图像中,获取相邻的第一视频帧和第二视频帧,其中,短视频用于对交易对象进行宣传;基于第一视频帧和第二视频帧确定目标光流;基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得短视频的视频帧率大于第一阈值;按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间生成视频文件,其中,视频文件包括第一视频帧、第三视频帧和第二视频帧。
本发明实施例,通过在第一视频帧和第二视频帧之中***第三视频帧的方法,实现了将普通视频变成高帧率视频,而且计算过程在接收端完成,不需要增加额外的带宽资源,从而实现了降低对视频播放的局限性的技术效果,解决了视频播放的局限大的技术问题。
本领域普通技术人员可以理解,图12所示的结构仅为示意,计算机终端A也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices,MID)、PAD等终端设备。图12其并不对上述计算机终端A的结构造成限定。例如,计算机终端A还可包括比图12中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图12所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
实施例5
本发明的实施例还提供了一种计算机可读存储介质。可选地,在本实施例中,上述计算机可读存储介质可以用于保存上述实施例一所提供的视频播放方法所执行的程序代码。
可选地,在本实施例中,上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,上述计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:在目标视频的解码图像中,获取相邻的第一视频帧和第二视频帧;基于第一视频帧和第二视频帧确定目标光流;基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值;按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:对目标光流进行图像卷绕处理,得到第三视频帧。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:分别对第一视频帧和第二视频帧进行下采样,其中,采样后的第一视频帧的尺寸小于第二阈值,且采样后的第二视频帧的尺寸小于第二阈值;基于采样后的第一视频帧和采样后的第二视频帧确定目标光流。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:基于采样后的第一视频帧和采样后的第二视频帧确定目标光流超分辨率;基于目标光流超分辨率确定目标光流。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:将采样后的第一视频帧和采样后的第二视频帧输入至目标模型中进行处理,得到目标光流超分辨率,且基于目标光流超分辨率确定目标光流,其中,目标模型为基于深度学习训练得到,且用于确定输入视频帧的光流超分辨率,以确定光流的模型。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:基于目标视频帧样本、与目标视频帧样本对应的光流超分辨率和光流样本,对子模型进行训练,得到目标模型。
作为一种可选的示例,上述计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:响应作用于操作界面上的提取操作指令,在目标视频的解码图像中,提取出相邻的第一视频帧和第二视频帧;响应作用于操作界面上的插帧操作指令,在操作界面上显示第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值,且基于由第一视频帧和第二视频帧确定的目标光流确定;响应作用于操作界面上的播放操作指令,按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧。
作为一种可选的示例,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:从直播平台获取直播视频流的解码图像;在解码图像中,获取相邻的第一视频帧和第二视频帧;基于第一视频帧和第二视频帧确定目标光流;基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值;按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间,依次播放第一视频帧、第三视频帧和第二视频帧,得到播放结果,且将播放结果返回至直播平台。
作为一种可选的示例,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:通过调用第一接口,在目标视频的解码图像中获取相邻的第一视频帧和第二视频帧,其中,第一接口包括第一参数,第一参数的参数值为第一视频帧和第二视频帧;基于第一视频帧和第二视频帧确定目标光流;基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得目标视频的视频帧率大于第一阈值;通过调用第二接口向终端设备输出处于第三视频帧,其中,第二接口包括第二参数,第二参数的参数值为第三视频帧,第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间用于使得终端设备依次播放第一视频帧、第三视频帧和第二视频帧。
作为一种可选的示例,上述计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:在短视频的解码图像中,获取相邻的第一视频帧和第二视频帧,其中,短视频用于对交易对象进行宣传;基于第一视频帧和第二视频帧确定目标光流;基于目标光流确定第三视频帧,其中,第三视频帧的播放时间处于第一视频帧的播放时间和第二视频帧的播放时间之间,用于使得短视频的视频帧率大于第一阈值;按照第一视频帧的播放时间、第三视频帧的播放时间和第二视频帧的播放时间生成视频文件,其中,视频文件包括第一视频帧、第三视频帧和第二视频帧。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种视频播放方法,其特征在于,包括:
在目标视频的解码图像中,获取相邻的第一视频帧和第二视频帧;
基于所述第一视频帧和所述第二视频帧确定目标光流;
基于所述目标光流确定第三视频帧,其中,所述第三视频帧的播放时间处于所述第一视频帧的播放时间和所述第二视频帧的播放时间之间,用于使得所述目标视频的视频帧率大于第一阈值;
按照所述第一视频帧的播放时间、所述第三视频帧的播放时间和所述第二视频帧的播放时间,依次播放所述第一视频帧、所述第三视频帧和所述第二视频帧。
2.根据权利要求1所述的方法,其特征在于,基于所述目标光流确定第三视频帧,包括:
对所述目标光流进行图像卷绕处理,得到所述第三视频帧。
3.根据权利要求1所述的方法,其特征在于,基于所述第一视频帧和所述第二视频帧确定目标光流,包括:
分别对所述第一视频帧和所述第二视频帧进行下采样,其中,采样后的所述第一视频帧的尺寸小于第二阈值,且采样后的所述第二视频帧的尺寸小于所述第二阈值;
基于采样后的所述第一视频帧和采样后的所述第二视频帧确定所述目标光流。
4.根据权利要求3所述的方法,其特征在于,基于采样后的所述第一视频帧和采样后的所述第二视频帧确定所述目标光流,包括:
基于采样后的所述第一视频帧和采样后的所述第二视频帧确定目标光流超分辨率;
基于所述目标光流超分辨率确定所述目标光流。
5.根据权利要求3所述的方法,其特征在于,基于采样后的所述第一视频帧和采样后的所述第二视频帧确定所述目标光流,包括:
将采样后的所述第一视频帧和采样后的所述第二视频帧输入至目标模型中进行处理,得到目标光流超分辨率,且基于所述目标光流超分辨率确定所述目标光流,其中,所述目标模型为基于深度学习训练得到,且用于确定输入视频帧的光流超分辨率,以确定光流的模型。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
基于目标视频帧样本、与目标视频帧样本对应的光流超分辨率和光流样本,对子模型进行训练,得到所述目标模型。
7.根据权利要求6所述的方法,其特征在于,所述子模型为初始深度卷积网络模型,所述目标模型为目标深度卷积网络模型。
8.根据权利要求1至7中任意一项所述的方法,其特征在于,所述目标光流的尺寸与所述解码图像的尺寸相同。
9.一种视频处理方法,其特征在于,包括:
在短视频的解码图像中,获取相邻的第一视频帧和第二视频帧,其中,所述短视频用于对交易对象进行宣传;
基于所述第一视频帧和所述第二视频帧确定目标光流;
基于所述目标光流确定第三视频帧,其中,所述第三视频帧的播放时间处于所述第一视频帧的播放时间和所述第二视频帧的播放时间之间,用于使得所述短视频的视频帧率大于第一阈值;
按照所述第一视频帧的播放时间、所述第三视频帧的播放时间和所述第二视频帧的播放时间生成视频文件,其中,所述视频文件包括所述第一视频帧、所述第三视频帧和所述第二视频帧。
10.一种视频播放方法,其特征在于,包括:
从直播平台获取直播视频流的解码图像;
在所述解码图像中,获取相邻的第一视频帧和第二视频帧;
基于所述第一视频帧和所述第二视频帧确定目标光流;
基于所述目标光流确定第三视频帧,其中,所述第三视频帧的播放时间处于所述第一视频帧的播放时间和所述第二视频帧的播放时间之间,用于使得所述目标视频的视频帧率大于第一阈值;
按照所述第一视频帧的播放时间、所述第三视频帧的播放时间和所述第二视频帧的播放时间,依次播放所述第一视频帧、所述第三视频帧和所述第二视频帧,得到播放结果,且将所述播放结果返回至所述直播平台。
11.一种视频播放方法,其特征在于,包括:
通过调用第一接口,在目标视频的解码图像中获取相邻的第一视频帧和第二视频帧,其中,所述第一接口包括第一参数,所述第一参数的参数值为所述第一视频帧和所述第二视频帧;
基于所述第一视频帧和所述第二视频帧确定目标光流;
基于所述目标光流确定第三视频帧,其中,所述第三视频帧的播放时间处于所述第一视频帧的播放时间和所述第二视频帧的播放时间之间,用于使得所述目标视频的视频帧率大于第一阈值;
通过调用第二接口向终端设备输出所述第三视频帧,其中,所述第二接口包括第二参数,所述第二参数的参数值为第三视频帧,所述第一视频帧的播放时间、所述第三视频帧的播放时间和所述第二视频帧的播放时间用于使得所述终端设备依次播放所述第一视频帧、所述第三视频帧和所述第二视频帧。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序被处理器运行时控制所述计算机可读存储介质所在设备执行权利要求1至11中任意一项所述的方法。
13.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至11中任意一项所述的方法。
14.一种视频播放***,其特征在于,包括:
处理器;
存储器,与所述处理器相连接,用于为所述处理器提供处理以下处理步骤的指令:在目标视频的解码图像中,获取相邻的第一视频帧和第二视频帧;基于所述第一视频帧和所述第二视频帧确定目标光流;基于所述目标光流确定第三视频帧,其中,所述第三视频帧的播放时间处于所述第一视频帧的播放时间和所述第二视频帧的播放时间之间;按照所述第一视频帧的播放时间、所述第三视频帧的播放时间和所述第二视频帧的播放时间,依次播放所述第一视频帧、所述第三视频帧和所述第二视频帧。
CN202111547411.9A 2021-12-16 2021-12-16 视频播放方法、存储介质、处理器和*** Pending CN114422852A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111547411.9A CN114422852A (zh) 2021-12-16 2021-12-16 视频播放方法、存储介质、处理器和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111547411.9A CN114422852A (zh) 2021-12-16 2021-12-16 视频播放方法、存储介质、处理器和***

Publications (1)

Publication Number Publication Date
CN114422852A true CN114422852A (zh) 2022-04-29

Family

ID=81268100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111547411.9A Pending CN114422852A (zh) 2021-12-16 2021-12-16 视频播放方法、存储介质、处理器和***

Country Status (1)

Country Link
CN (1) CN114422852A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151474A (zh) * 2018-08-23 2019-01-04 复旦大学 一种生成新视频帧的方法
CN110267098A (zh) * 2019-06-28 2019-09-20 连尚(新昌)网络科技有限公司 一种视频处理方法及终端
CN111340711A (zh) * 2020-05-21 2020-06-26 腾讯科技(深圳)有限公司 一种超分辨率重建方法、装置、设备和存储介质
CN111372087A (zh) * 2020-05-26 2020-07-03 深圳看到科技有限公司 全景视频插帧方法、装置及对应的存储介质
CN111800630A (zh) * 2019-04-09 2020-10-20 Tcl集团股份有限公司 一种视频超分辨率重建的方法、***及电子设备
CN112104830A (zh) * 2020-08-13 2020-12-18 北京迈格威科技有限公司 视频插帧方法、模型训练方法及对应装置
CN112488922A (zh) * 2020-12-08 2021-03-12 亿景智联(北京)科技有限公司 一种基于光流插值的超分辨率处理方法
CN112712537A (zh) * 2020-12-21 2021-04-27 深圳大学 视频时空超分辨率实现方法及装置
CN113034380A (zh) * 2021-02-09 2021-06-25 浙江大学 一种基于改进可变形卷积校正的视频时空超分辨率方法和装置
CN113766252A (zh) * 2020-06-03 2021-12-07 广州虎牙科技有限公司 直播视频处理方法、装置、设备、集群和***及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151474A (zh) * 2018-08-23 2019-01-04 复旦大学 一种生成新视频帧的方法
CN111800630A (zh) * 2019-04-09 2020-10-20 Tcl集团股份有限公司 一种视频超分辨率重建的方法、***及电子设备
CN110267098A (zh) * 2019-06-28 2019-09-20 连尚(新昌)网络科技有限公司 一种视频处理方法及终端
CN111340711A (zh) * 2020-05-21 2020-06-26 腾讯科技(深圳)有限公司 一种超分辨率重建方法、装置、设备和存储介质
CN111372087A (zh) * 2020-05-26 2020-07-03 深圳看到科技有限公司 全景视频插帧方法、装置及对应的存储介质
CN113766252A (zh) * 2020-06-03 2021-12-07 广州虎牙科技有限公司 直播视频处理方法、装置、设备、集群和***及存储介质
CN112104830A (zh) * 2020-08-13 2020-12-18 北京迈格威科技有限公司 视频插帧方法、模型训练方法及对应装置
CN112488922A (zh) * 2020-12-08 2021-03-12 亿景智联(北京)科技有限公司 一种基于光流插值的超分辨率处理方法
CN112712537A (zh) * 2020-12-21 2021-04-27 深圳大学 视频时空超分辨率实现方法及装置
CN113034380A (zh) * 2021-02-09 2021-06-25 浙江大学 一种基于改进可变形卷积校正的视频时空超分辨率方法和装置

Similar Documents

Publication Publication Date Title
CN111681167B (zh) 画质调整方法和装置、存储介质及电子设备
US10984276B2 (en) Systems and methods for encoding image files containing depth maps stored as metadata
CN108629743B (zh) 图像的处理方法、装置、存储介质和电子装置
CN110139147B (zh) 一种视频处理方法、***、移动终端、服务器及存储介质
CN110636294A (zh) 视频解码方法及装置,视频编码方法及装置
CN113556582A (zh) 视频数据处理方法、装置、设备以及存储介质
CN113426112A (zh) 游戏画面的显示方法和装置、存储介质及电子设备
CN107979766B (zh) 内容串流***及方法
CN113301355A (zh) 视频传输、直播与播放方法、设备及存储介质
CN110572673A (zh) 视频编解码方法和装置、存储介质及电子装置
US20150326873A1 (en) Image frames multiplexing method and system
CN110662071B (zh) 视频解码方法和装置、存储介质及电子装置
CN114422852A (zh) 视频播放方法、存储介质、处理器和***
CN110572677A (zh) 视频编解码方法和装置、存储介质及电子装置
CN110677676A (zh) 视频编码方法和装置、视频解码方法和装置及存储介质
CN110572672A (zh) 视频编解码方法和装置、存储介质及电子装置
CN110677690B (zh) 视频处理方法和装置、存储介质
CN114359100A (zh) 图像色彩增强方法、装置、存储介质与电子设备
CN110636295B (zh) 视频编解码方法和装置、存储介质及电子装置
CN110677691B (zh) 视频编码、解码方法和装置、存储介质及电子装置
Xu et al. Asymmetric representation for 3D panoramic video
CN110572654B (zh) 视频编码、解码方法和装置、存储介质及电子装置
CN114760497A (zh) 视频生成方法、非易失性存储介质及电子设备
CN113554556A (zh) 数据处理方法和***、存储介质及计算设备
CN110572674A (zh) 视频编解码方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination