CN103108148A - 视频帧的插帧方法以及信息处理设备 - Google Patents
视频帧的插帧方法以及信息处理设备 Download PDFInfo
- Publication number
- CN103108148A CN103108148A CN2011103603191A CN201110360319A CN103108148A CN 103108148 A CN103108148 A CN 103108148A CN 2011103603191 A CN2011103603191 A CN 2011103603191A CN 201110360319 A CN201110360319 A CN 201110360319A CN 103108148 A CN103108148 A CN 103108148A
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- data
- effective
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
视频帧的插帧方法以及信息处理设备,所述插帧方法包括:以预定的周期,从摄像头模组获得第一视频帧;基于所述第一视频帧产生第二视频帧以及第三视频帧,其中所述第二视频帧包含所述第一视频帧的至少一部分奇数行的有效视频数据,所述第三视频帧包含所述第一视频帧的至少一部分偶数行的有效视频数据,并且所述第二视频帧以及第三视频的所述有效视频数据组成完整的所述第一视频帧所需的有效视频数据;利用黑色数据填充所述第二视频帧中除所述有效视频数据外的其它行;利用黑色数据填充所述第三视频帧中除所述有效视频数据外的其它行;以及在当前第一视频帧以及下一第一视频帧之间顺序***所述第二视频帧以及第三视频帧。
Description
技术领域
本发明涉及一种针对视频帧的插帧方法以及使用该方法的信息处理设备。
背景技术
当前,由于视频聊天和视频会议应用的普及,使用诸如笔记本或手机上设置的摄像头模组进行视频会话正在变得越来越普遍。
在较暗的环境中,由于摄像头模组受到其感光能力的限制,如果保证在每一视频帧中的物体得到充分曝光,则需要较长的曝光时间,由此导致单位时间拍摄的视频的帧率(单位时间拍摄的帧数)很低。此时,用户会感觉画面不连贯。此外,在这种情况下,如果摄像头模组采用较高的帧率,则每一视频帧内的物体曝光不足,从而导致视频帧的画面十分昏暗。
此外,即使在光线充足的情况下,由于摄像头模组的硬件能力(如,20FPS),则该摄像头模组产生的视频也是不够连贯的。
发明内容
为了解决现有技术中的上述技术问题,根据本发明的一方面,提供一种视频帧的插帧方法,包括:以预定的周期,从摄像头模组获得第一视频帧;基于所述第一视频帧产生第二视频帧以及第三视频帧,其中所述第二视频帧包含所述第一视频帧的至少一部分奇数行的有效视频数据,所述第三视频帧包含所述第一视频帧的至少一部分偶数行的有效视频数据,并且所述第二视频帧以及第三视频的所述有效视频数据组成完整的所述第一视频帧所需的有效视频数据;利用黑色数据填充所述第二视频帧中除所述有效视频数据外的其它行;利用黑色数据填充所述第三视频帧中除所述有效视频数据外的其它行;以及在当前第一视频帧以及下一第一视频帧之间顺序***所述第二视频帧以及第三视频帧。
此外,根据本发明的一个实施例,视频帧的插帧方法进一步包括:基于所述当前第一视频帧以及所述下一第一视频帧产生第四视频帧。
此外,根据本发明的一个实施例,其中
基于所述当前第一视频帧以及所述下一第一视频帧之间的差值计算运动矢量数据;以及基于所述运动矢量数据产生第四视频帧。
此外,根据本发明的另一个实施例,视频帧的插帧方法进一步包括:
基于所述第四视频帧产生第五视频帧以及第六视频帧,其中所述第五视频帧包含所述第四视频帧的至少一部分奇数行的有效视频数据,所述第六视频帧包含所述第四视频帧的至少一部分偶数行的有效视频数据,并且所述第五视频帧以及第六视频的所述有效视频数据组成完整的所述第四视频帧所需的有效视频数据;利用黑色数据填充所述第五视频帧中除所述有效视频数据外的其它行;利用黑色数据填充所述第六视频帧中除所述有效视频数据外的其它行;以及在所述当前第一视频帧以及所述下一第一视频帧之间顺序***所述第二视频帧、第三视频帧、第四视频帧、第五视频帧以及第六视频帧。
此外,根据本发明的另一方面,提供一种信息处理设备,包括:摄像头模组,配置来拍摄视频,并且产生视频信号;图形处理单元,配置来接收所述摄像头模组产生的视频信号,并且基于所述视频信号以预定的周期产生第一视频帧;以及处理单元,配置来基于所述第一视频帧产生第二视频帧以及第三视频帧,并且在当前第一视频帧以及下一第一视频帧之间顺序***所述第二视频帧以及第三视频帧,其中所述第二视频帧包含所述第一视频帧的至少一部分奇数行的有效视频数据,所述第三视频帧包含所述第一视频帧的至少一部分偶数行的有效视频数据,并且所述第二视频帧以及第三视频的所述有效视频数据组成完整的所述第一视频帧所需的有效视频数据;所述第二视频帧中除所述有效视频数据外的其它行由黑色数据填充;以及所述第三视频帧中除所述有效视频数据外的其它行由黑色数据填充。
此外,根据本发明的一个实施例,其中所述处理单元基于所述当前第一视频帧以及所述下一第一视频帧产生第四视频帧。
此外,根据本发明的一个实施例,其中所述处理单元基于所述当前第一视频帧以及所述下一第一视频帧之间的差值计算运动矢量数据,并且基于所述运动矢量数据产生第四视频帧。
此外,根据本发明的一个实施例,其中所述处理单元基于所述第四视频帧产生第五视频帧以及第六视频帧,并且在所述当前第一视频帧以及所述下一第一视频帧之间顺序***所述第二视频帧、第三视频帧、第四视频帧、第五视频帧以及第六视频帧,其中所述第五视频帧包含所述第四视频帧的至少一部分奇数行的有效视频数据,并且所述第六视频帧包含所述第四视频帧的至少一部分偶数行的有效视频数据,并且所述第五视频帧以及第六视频的所述有效视频数据组成完整的所述第四视频帧所需的有效视频数据;所述第五视频帧中除所述有效视频数据外的其它行由黑色数据填充;以及所述第六视频帧中除所述有效视频数据外的其它行由黑色数据填充。
此外,根据本发明的另一方面,提供一种信息处理设备,包括:摄像头模组,配置来拍摄视频,并且产生视频信号;图形处理单元,配置来接收所述摄像头模组产生的视频信号,并且基于所述视频信号以预定的周期产生第一视频帧;以及视频帧***单元,配置来基于所述第一视频帧产生第二视频帧以及第三视频帧,并且在当前第一视频帧以及下一第一视频帧之间顺序***所述第二视频帧以及第三视频帧,其中所述第二视频帧包含所述第一视频帧的至少一部分奇数行的有效视频数据,所述第三视频帧包含所述第一视频帧的至少一部分偶数行的有效视频数据,所述第二视频帧以及第三视频的所述有效视频数据组成完整的所述第一视频帧所需的有效视频数据;以及所述第二视频帧中除所述有效视频数据外的其它行由黑色数据填充;所述第三视频帧中除所述有效视频数据外的其它行由黑色数据填充。
通过上述配置,提取原始的视频帧的一部分,如奇数行或偶数行的有效视频数据来形成新的视频帧,并且将新的视频帧中的剩余行用黑色数据填充来使新的视频帧具有原始视频帧的大小(分辨率)。通过从原始视频帧中产生新的视频帧,并在原始视频帧之间***这些新的视频帧,可以有效地提高视频的帧率。此外,由于新的视频帧还包含原始视频帧的至少一部分,因此在观看时不会使用户感到不适,由此提高了用户的体验感受。
附图说明
图1是图解根据本发明的一个实施例的信息处理设备的示意方框图;
图2是图解根据本发明另一个实施例的信息处理设备的示意方框图;以及
图3是图解根据本发明的一个实施例的视频帧的插帧方法的流程图。
具体实施方式
将参照附图详细描述根据本发明的各个实施例。这里,需要注意的是,在附图中,将相同的附图标记赋予基本上具有相同或类似结构和功能的组成部分,并且将省略关于它们的重复描述。
下面将参照图1描述根据本发明实施例的信息处理设备。图1是图解根据本发明的一个实施例的信息处理设备的示意方框图。
如图1所示,诸如PC、笔记本、平板电脑或手机之类的信息处理设备可以至少包括摄像头模组1、图形处理单元2以及处理单元3,其中摄像头模组1可以与图形处理单元2连接,并且图形处理单元2可以与处理单元3连接。
这里,摄像头模组1可以是任意类型的摄像头模块,并且可以基于软件的控制拍摄静态图像或视频以产生图像或视频信号(如,感光信号),并且可以将所产生的图像或视频信号发送给图形处理单元2。
图形处理单元2可以由与摄像头模组1匹配的任意图像信号处理器实现,并且可以基于图像信号或视频信号产生具有预定格式(如,jpeg)的图像或具有预定格式(如,mpeg2,mpeg4等等)的视频。在摄像头模组1充分曝光模式拍摄视频的情况下,图形处理单元2可以基于摄像头模组1的曝光时间,以与曝光时间对应的周期顺序地产生多个原始的视频帧(下面简称第一视频帧),以组成连续的视频画面。
处理单元3可以由任意的处理器、微处理器实现。根据本发明的实施例,处理单元3可以在预定的软件的控制下,基于图形处理单元2产生的当前第一视频帧产生两个新的视频帧(下面简称第二视频帧以及第三视频帧),并且在当前第一视频帧以及下一第一视频帧之间顺序***该第二视频帧以及第三视频帧以产生新的视频流。
例如,根据本发明的一个实施例,第二视频帧可以包含当前第一视频帧的奇数行的有效视频数据,而第三视频帧可以包含当前第一视频帧的偶数行的有效视频数据。这里,第二视频帧以及第三视频帧中的有效视频数据指的是第一视频帧中的原始数据。也就是说,当将第二视频帧和第三视频帧中的有效数据组合时,第二视频帧以及第三视频的有效视频数据组成完整的第一视频帧所需的所有有效视频数据。换句话说,第二视频帧和第三视频帧中各包含第一视频帧中的一部分有效数据,并且二者是互补的。
此外,为了保证第二视频帧和第三视频帧具有与第一视频帧具有相同的分辨率,将第二视频帧中除有效视频数据(如,奇数行的有效数据)外的其它行(如,偶数行)由黑色数据填充,而将第三视频帧中除有效视频数据(如,偶数行的有效数据)外的其它行(如,奇数行)由黑色数据填充。
具体地,对于第二视频帧来说,可以通过利用黑色数据填充第一视频帧的偶数行的有效视频数据来产生第二视频帧。此外,对于第三视频帧来说,可以通过利用黑色数据填充第一视频帧的奇数行的有效视频数据来产生第三视频帧。此外,本发明不限于此,还可以通过提取第一视频帧的奇数行的有效视频数据作为第二视频帧的对应奇数行的数据,并且利用黑色数据填充偶数行来产生第二视频帧,而且可以通过提取第一视频帧的偶数行的有效视频数据作为第三视频帧的对应偶数行的数据,并且利用黑色数据填充奇数行来产生第三视频帧。
在处理单元3基于当前第一视频帧产生第二视频帧以及第三视频帧之后,处理单元3可以在当前第一视频帧以及下一个第一视频帧之间顺序地***该第二视频帧以及第三视频帧以产生新的视频流。此时,新的视频流可以提供给信息处理设备的显示器(未示出)进行显示,或者可以将其提供给与信息处理设备连接的远程设备来实现视频聊天或视频会议。
在上面描述了第二视频帧包含当前第一视频帧的奇数行的有效视频数据以及第三视频帧包含当前第一视频帧的偶数行的有效视频数据的情况。还可以基于其它方式从第一视频帧产生第二视频帧和第三视频帧。例如,可以控制处理单元3,使得处理单元3基于当前第一视频帧产生的第二视频帧可以包括第一视频帧的一半奇数行的有效视频数据以及一半偶数行的有效视频数据来作为其对应的奇数行以及偶数行的视频数据。此外,第三视频帧也可以包括第一视频帧的一半奇数行的有效视频数据以及一半偶数行的有效视频数据来作为其对应的奇数行以及偶数行的视频数据。这里,只要第二视频帧和第三视频帧在其对应的位置上分别包含第一视频帧中的一部分有效数据,并且二者是互补的(即,第二视频帧以及第三视频的有效视频数据组成完整的第一视频帧所需的所有有效视频数据),并且将第二视频帧和第三视频帧中剩余的行用黑色数据填充,就可以任意地决定第二视频帧和第三视频帧分别包含第一视频帧中的哪一部分的视频数据,而第二视频帧和第三视频帧中的剩余部分由黑色数据填充。
通过上述配置,利用原始视频帧(第一视频帧)的一部分,如奇数行或偶数行的有效视频数据来形成多个新的视频帧(如,第二和第三视频帧),并且将新的视频帧中的剩余行用黑色数据填充来使新的视频帧具有原始视频帧的大小(分辨率)。在产生新的视频帧之后,在原始视频帧之间***这些新的视频帧,可以有效地提高视频的帧率。例如,在光线不好的情况下,通常摄像头模组1只能产生每秒10~15帧的视频,然后根据本发明的实施例,可以将视频的帧率从10~15FPS提高到30~45FPS,由此使用户不会感受到画面卡顿的情况。
此外,由于新的视频帧中还包含原始视频帧的至少一部分(真实画面),因此在观看时不会使用户感到画面的异常,由此提高了用户的体验感受。
此外,根据本发明的另一个实施例,处理单元3还可以基于图形处理单元2提供的当前第一视频帧以及下一第一视频帧产生中间视频帧(下面,简称第四视频帧)。具体地,处理单元3可以基于当前第一视频帧以及下一第一视频帧之间的差值计算运动矢量数据,并且基于运动矢量数据产生第四视频帧。这里,由于基于运动矢量***中间视频帧的方式对于本领域技术人员来说是熟知的,因此这里仅对其进行简单介绍。
例如,处理单元3可以基于当前所获得的第一视频帧以及随后获得的该第一视频帧的下一视频帧来产生中间视频帧。具体地,可以提取当前第一视频帧与下一第一视频帧之间的差值来确定运动区域,并且在确定运动区域之后,基于运动区域内的特征值的变化确定运动物体的运动矢量(方向,距离等等),并且基于所获得的运动矢量来计算运动物体在中间视频帧(第四视频帧)中的位置。此外,还可以将当前第一视频帧与下一第一视频帧分为多个区块,并且比较区块之间的差值来确定运动区域,并且在确定运动区域之后,基于运动区域内的特征值的变化确定运动物体的运动矢量。然后基于所获得的运动矢量来计算运动物体在第四视频帧中的位置。这里当前第一视频帧与下一第一视频帧中不存在差值的对应区域为静止区域,因此,在获得运动物体在第四视频帧中的位置以及静止区域之后,可以很容易从当前第一视频帧或下一第一视频帧中产生第四视频帧,即中间视频帧。
然后,与之前的描述类似,处理单元3基于第四视频帧产生两个新的视频帧(下面简称第五视频帧以及第六视频帧),并且在当前第一视频帧以及下一第一视频帧之间顺序***第二视频帧、第三视频帧、第四视频帧、第五视频帧以及第六视频帧以产生新的视频流。
例如,根据本发明的一个实施例,第五视频帧可以包含第四视频帧的奇数行的有效视频数据,而第六视频帧可以包含第四视频帧的偶数行的有效视频数据。这里,第五视频帧以及第六视频帧中的有效视频数据指的是第四视频帧中的原始数据。此外,在将第五视频帧和第六视频帧中的有效数据组合时,第五视频帧以及第六视频的有效视频数据组成完整的第四视频帧所需的所有有效视频数据。换句话说,第五视频帧和第六视频帧中各包含第四视频帧中的一部分有效数据,并且二者是互补的。
此外,为了保证第五视频帧和第六视频帧具有与第四视频帧具有相同的分辨率,将第五视频帧中除有效视频数据(如,奇数行的有效数据)外的其它行(如,偶数行)由黑色数据填充,而将第六视频帧中除有效视频数据(如,偶数行的有效数据)外的其它行(如,奇数行)由黑色数据填充。
具体地,对于第五视频帧来说,可以通过利用黑色数据填充第四视频帧的偶数行的有效视频数据来产生第五视频帧。此外,对于第六视频帧来说,可以通过利用黑色数据填充第四视频帧的奇数行的有效视频数据来产生第六视频帧。此外,还可以通过提取第四视频帧的奇数行的有效视频数据作为第五视频帧的对应奇数行的数据,并且利用黑色数据填充偶数行来产生第五视频帧,而且可以通过提取第四视频帧的偶数行的有效视频数据作为第六视频帧的对应偶数行的数据,并且利用黑色数据填充奇数行来产生第六视频帧。
这里,在处理单元3基于第四视频帧产生第五视频帧以及第六视频帧之后,处理单元3可以在当前第一视频帧以及下一个第一视频帧之间顺序地***第二视频帧、第三视频帧、第四视频帧、第五视频帧以及第六视频帧以产生新的视频流。此时,新的视频流可以提供给信息处理设备的显示器(未示出)进行显示,或者可以将其提供给与信息处理设备连接的远程设备来实现视频聊天或视频会议。
在上面描述了第五视频帧包含第四视频帧的奇数行的有效视频数据以及第六视频帧包含第四视频帧的偶数行的有效视频数据的情况。还可以基于其它方式从第四视频帧产生第五视频帧和第六视频帧。这里,只要第五视频帧和第六视频帧在其对应的位置上分别包含第四视频帧中的一部分有效数据,并且二者是互补的(即,第五视频帧以及第六视频的有效视频数据组成完整的第四视频帧所需的所有有效视频数据),并且将第五视频帧和第六视频帧中剩余的行用黑色数据填充,就可以任意地决定第五视频帧和第六视频帧分别包含第一视频帧中的哪一部分的视频数据,而第五视频帧和第六视频帧中的剩余部分由黑色数据填充。
通过上述配置,即使在光线不好,摄像头模组1只能产生每秒10~15帧的视频的情况下,根据本实施例,可以将视频的帧率从10~15FPS提高到60~90FPS,由此使用户完全不会感受到画面卡顿的情况。
此外,由于本实施例进一步提高了视频的帧率,因此每一个视频帧的显示时间相应的缩短。缩短每一个视频帧的显示时间的好处在于显示具有黑色数据的视频帧的时间进一步减小。由于人眼视觉残留的特性,缩短具有黑色数据的视频帧的显示时间(如,小于15ms,即对应于60FPS),人眼不会察觉视频帧中填充的黑色数据,由此进一步提高了用户观看视频的感受。
此外,本发明不限于此。图2是图解根据本发明另一个实施例的信息处理设备的示意方框图。
图2所示的信息处理设备与图1所示的信息处理设备的区别在于:图2的信息处理设备进一步包括视频帧***单元4。这里,由于摄像头模组1、图形处理单元2的结构和功能与图1所示的对应部件相同,因此这里,省略了关于它们的重复描述。
例如,视频帧***单元4可以由DSP实现,并且与图形处理单元2和处理单元3连接。这里,根据本实施例,视频帧***单元4可以代替处理单元3来进行插帧操作。具体地,可以配置视频帧***单元4的内部逻辑(固件)使得视频帧***单元4可以基于图形处理单元2产生的当前第一视频帧产生两个新的视频帧(下面简称第二视频帧以及第三视频帧),并且在当前第一视频帧以及下一第一视频帧之间顺序***该第二视频帧以及第三视频帧以产生新的视频流。
这里,第二视频帧可以包含当前第一视频帧的奇数行的有效视频数据,而第三视频帧可以包含当前第一视频帧的偶数行的有效视频数据。此外,为了保证第二视频帧和第三视频帧具有与第一视频帧具有相同的分辨率,将第二视频帧中除有效视频数据(如,奇数行的有效数据)外的其它行(如,偶数行)由黑色数据填充,而将第三视频帧中除有效视频数据(如,偶数行的有效数据)外的其它行(如,奇数行)由黑色数据填充。
在视频帧***单元4基于当前第一视频帧产生第二视频帧以及第三视频帧之后,视频帧***单元4可以在当前第一视频帧以及下一个第一视频帧之间顺序地***该第二视频帧以及第三视频帧以产生新的视频流。此时,视频帧***单元4可以将所产生的新的视频流提供给处理单元3。然后由处理单元3将新的视频流提供给信息处理设备的显示器(未示出)进行显示,或者可以将其提供给与信息处理设备连接的远程设备来实现视频聊天或视频会议。通过设置视频帧***单元4,可以减少处理单元3的负担,从而能够保证流畅地提供所产生的新的视频流。
在上面描述了根据本发明各个实施例的信息处理设备,下面,将参照图3描述根据本发明实施例的视频帧的插帧方法。图3是图解根据本发明的一个实施例的视频帧的插帧方法的流程图。
如图3所示,在步骤S301,以预定的周期,从摄像头模组获得第一视频帧。
具体地,如之前描述的那样,摄像头模组1在软件的控制下拍摄静态图像或视频以产生图像或视频信号(如,感光信号),并且将所产生的图像或视频信号发送给图形处理单元2。
然后,图形处理单元2接收该视频信号,并且以预定的周期顺序地产生具有预定格式(如,mpeg4)的多个原始的视频帧(下面简称第一视频帧),以组成连续的视频画面。
在步骤S302,基于第一视频帧产生第二视频帧以及第三视频帧,其中第二视频帧包含所述第一视频帧的至少一部分奇数行的有效视频数据,第三视频帧包含所述第一视频帧的至少一部分偶数行的有效视频数据,第二视频帧中除所述有效视频数据外的其它行由黑色数据填充,并且第三视频帧中除所述有效视频数据外的其它行由黑色数据填充。
具体地,处理单元3(或视频帧***单元4)基于当前第一视频帧产生第二视频帧以及第三视频帧。这里,处理单元3所产生的第二视频帧可以包含当前第一视频帧的奇数行的有效视频数据,而第三视频帧可以包含当前第一视频帧的偶数行的有效视频数据。此外,处理单元3将第二视频帧中除有效视频数据(如,奇数行的有效数据)外的其它行(如,偶数行)由黑色数据填充,而将第三视频帧中除有效视频数据(如,偶数行的有效数据)外的其它行(如,奇数行)由黑色数据填充。
这里,可以通过利用黑色数据填充第一视频帧的偶数行的有效视频数据来产生第二视频帧,并且可以通过利用黑色数据填充第一视频帧的奇数行的有效视频数据来产生第三视频帧。此外,还可以通过提取第一视频帧的奇数行的有效视频数据作为第二视频帧的对应奇数行的数据,并且利用黑色数据填充偶数行来产生第二视频帧,而且可以通过提取第一视频帧的偶数行的有效视频数据作为第三视频帧的对应偶数行的数据,并且利用黑色数据填充奇数行来产生第三视频帧。
在上面描述了第二视频帧包含当前第一视频帧的奇数行的有效视频数据以及第三视频帧包含当前第一视频帧的偶数行的有效视频数据的情况。这里,只要第二视频帧和第三视频帧在其对应的位置上分别包含第一视频帧中的一部分有效数据,并且二者是互补的(即,第二视频帧以及第三视频的有效视频数据组成完整的第一视频帧所需的所有有效视频数据),并且将第二视频帧和第三视频帧中剩余的行用黑色数据填充,就可以任意地决定第二视频帧和第三视频帧分别包含第一视频帧中的哪一部分的视频数据,而第二视频帧和第三视频帧中的剩余部分由黑色数据填充。
然后,在步骤S303,在当前第一视频帧以及下一第一视频帧之间顺序***第二视频帧以及第三视频帧。
具体地,处理单元3(或视频帧***单元4)可以在当前第一视频帧以及下一个第一视频帧之间顺序地***该第二视频帧以及第三视频帧以产生新的视频流。这里,新的视频流可以提供给信息处理设备的显示器(未示出)进行显示,或者可以将其提供给与信息处理设备连接的远程设备来实现视频聊天或视频会议。
此外,根据本发明的另一个实施例,图3所示的方法还可以进一步包括步骤:基于当前第一视频帧以及下一第一视频帧产生第四视频帧。
具体地,处理单元3可以提取当前第一视频帧与下一第一视频帧之间的差值来确定运动区域,并且在确定运动区域之后,基于运动区域内的特征值的变化确定运动物体的运动矢量(方向,距离等等),并且基于所获得的运动矢量来计算运动物体在中间视频帧(第四视频帧)中的位置。此外,还可以将当前第一视频帧与下一第一视频帧分为多个区块,并且比较区块之间的差值来确定运动区域,并且在确定运动区域之后,基于运动区域内的特征值的变化确定运动物体的运动矢量。然后基于所获得的运动矢量来计算运动物体在第四视频帧中的位置。这里,由于当前第一视频帧与下一第一视频帧中不存在差值的对应区域为静止区域,因此,在获得运动物体在第四视频帧中的位置以及静止区域之后,可以很容易从当前第一视频帧或下一第一视频帧中产生第四视频帧,即中间视频帧。
在这种情况下,图3所示的方法还可以进一步包括步骤:
基于第四视频帧产生第五视频帧以及第六视频帧,其中第五视频帧包含第四视频帧的至少一部分奇数行的有效视频数据,第六视频帧包含第四视频帧的至少一部分偶数行的有效视频数据,第五视频帧中除所述有效视频数据外的其它行由黑色数据填,并且第六视频帧中除有效视频数据外的其它行由黑色数据填充;以及在当前第一视频帧以及下一第一视频帧之间顺序***所述第二视频帧、第三视频帧、第四视频帧、第五视频帧以及第六视频帧。
具体地,处理单元3基于第四视频帧产生第五视频帧以及第六视频帧,并且在当前第一视频帧以及下一第一视频帧之间顺序***第二视频帧、第三视频帧、第四视频帧、第五视频帧以及第六视频帧以产生新的视频流。
这里,第五视频帧可以包含第四视频帧的奇数行的有效视频数据,而第六视频帧可以包含第四视频帧的偶数行的有效视频数据。此外,在将第五视频帧和第六视频帧中的有效数据组合时,第五视频帧以及第六视频的有效视频数据组成完整的第四视频帧所需的所有有效视频数据。换句话说,第五视频帧和第六视频帧中各包含第四视频帧中的一部分有效数据,并且二者是互补的。此外,第五视频帧中除有效视频数据(如,奇数行的有效数据)外的其它行(如,偶数行)由黑色数据填充,而第六视频帧中除有效视频数据(如,偶数行的有效数据)外的其它行(如,奇数行)由黑色数据填充。
具体地,可以通过利用黑色数据填充第四视频帧的偶数行的有效视频数据来产生第五视频帧。此外,可以通过利用黑色数据填充第四视频帧的奇数行的有效视频数据来产生第六视频帧。此外,还可以通过提取第四视频帧的奇数行的有效视频数据作为第五视频帧的对应奇数行的数据,并且利用黑色数据填充偶数行来产生第五视频帧,而且可以通过提取第四视频帧的偶数行的有效视频数据作为第六视频帧的对应偶数行的数据,并且利用黑色数据填充奇数行来产生第六视频帧。
然后,在处理单元3基于第四视频帧产生第五视频帧以及第六视频帧之后,处理单元3在当前第一视频帧以及下一个第一视频帧之间顺序地***第二视频帧、第三视频帧、第四视频帧、第五视频帧以及第六视频帧以产生新的视频流。所产生的新视频流可以提供给信息处理设备的显示器(未示出)进行显示,或者可以将其提供给与信息处理设备连接的远程设备来实现视频聊天或视频会议。
在上面描述了第五视频帧包含第四视频帧的奇数行的有效视频数据以及第六视频帧包含第四视频帧的偶数行的有效视频数据的情况。还可以基于其它方式从第四视频帧产生第五视频帧和第六视频帧。这里,只要第五视频帧和第六视频帧在其对应的位置上分别包含第四视频帧中的一部分有效数据,并且二者是互补的(即,第五视频帧以及第六视频的有效视频数据组成完整的第四视频帧所需的所有有效视频数据),并且将第五视频帧和第六视频帧中剩余的行用黑色数据填充,就可以任意地决定第五视频帧和第六视频帧分别包含第一视频帧中的哪一部分的视频数据,而第五视频帧和第六视频帧中的剩余部分由黑色数据填充。
在上面详细描述了本发明的各个实施例。然而,本领域技术人员应该理解,在不脱离本发明的原理和精神的情况下,可对这些实施例进行各种修改,组合或子组合,并且这样的修改应落入本发明的范围内。
Claims (9)
1.一种视频帧的插帧方法,包括:
以预定的周期,从摄像头模组获得第一视频帧;
基于所述第一视频帧产生第二视频帧以及第三视频帧,其中所述第二视频帧包含所述第一视频帧的至少一部分奇数行的有效视频数据,所述第三视频帧包含所述第一视频帧的至少一部分偶数行的有效视频数据,并且所述第二视频帧以及第三视频的所述有效视频数据组成完整的所述第一视频帧所需的有效视频数据,所述第二视频帧中除所述有效视频数据外的其它行由黑色数据填充,并且所述第三视频帧中除所述有效视频数据外的其它行由黑色数据填充;以及
在当前第一视频帧以及下一第一视频帧之间顺序***所述第二视频帧以及第三视频帧。
2.如权利要求1所述的方法,进一步包括:
基于所述当前第一视频帧以及所述下一第一视频帧产生第四视频帧。
3.如权利要求2所述的方法,其中
基于所述当前第一视频帧以及所述下一第一视频帧之间的差值计算运动矢量数据;以及
基于所述运动矢量数据产生第四视频帧。
4.如权利要求3所述的方法,进一步包括:
基于所述第四视频帧产生第五视频帧以及第六视频帧,其中所述第五视频帧包含所述第四视频帧的至少一部分奇数行的有效视频数据,所述第六视频帧包含所述第四视频帧的至少一部分偶数行的有效视频数据,所述第五视频帧以及第六视频的所述有效视频数据组成完整的所述第四视频帧所需的有效视频数据,所述第五视频帧中除所述有效视频数据外的其它行由黑色数据填充,并且所述第六视频帧中除所述有效视频数据外的其它行由黑色数据填充;以及
在所述当前第一视频帧以及所述下一第一视频帧之间顺序***所述第二视频帧、第三视频帧、第四视频帧、第五视频帧以及第六视频帧。
5.一种信息处理设备,包括:
摄像头模组,配置来拍摄视频,并且产生视频信号;
图形处理单元,配置来接收所述摄像头模组产生的视频信号,并且基于所述视频信号以预定的周期产生第一视频帧;以及
处理单元,配置来基于所述第一视频帧产生第二视频帧以及第三视频帧,并且在当前第一视频帧以及下一第一视频帧之间顺序***所述第二视频帧以及第三视频帧,
其中所述第二视频帧包含所述第一视频帧的至少一部分奇数行的有效视频数据,所述第三视频帧包含所述第一视频帧的至少一部分偶数行的有效视频数据,并且所述第二视频帧以及第三视频的所述有效视频数据组成完整的所述第一视频帧所需的有效视频数据;
所述第二视频帧中除所述有效视频数据外的其它行由黑色数据填充;以及
所述第三视频帧中除所述有效视频数据外的其它行由黑色数据填充。
6.如权利要求5所述的信息处理设备,其中
所述处理单元基于所述当前第一视频帧以及所述下一第一视频帧产生第四视频帧。
7.如权利要求6所述的信息处理设备,其中
所述处理单元基于所述当前第一视频帧以及所述下一第一视频帧之间的差值计算运动矢量数据,并且基于所述运动矢量数据产生第四视频帧。
8.如权利要求7所述的信息处理设备,其中
所述处理单元基于所述第四视频帧产生第五视频帧以及第六视频帧,并且在所述当前第一视频帧以及所述下一第一视频帧之间顺序***所述第二视频帧、第三视频帧、第四视频帧、第五视频帧以及第六视频帧,
其中所述第五视频帧包含所述第四视频帧的至少一部分奇数行的有效视频数据,并且所述第六视频帧包含所述第四视频帧的至少一部分偶数行的有效视频数据,并且所述第五视频帧以及第六视频的所述有效视频数据组成完整的所述第四视频帧所需的有效视频数据;
所述第五视频帧中除所述有效视频数据外的其它行由黑色数据填充;以及
所述第六视频帧中除所述有效视频数据外的其它行由黑色数据填充。
9.一种信息处理设备,包括:
摄像头模组,配置来拍摄视频,并且产生视频信号;
图形处理单元,配置来接收所述摄像头模组产生的视频信号,并且基于所述视频信号以预定的周期产生第一视频帧;以及
视频帧***单元,配置来基于所述第一视频帧产生第二视频帧以及第三视频帧,并且在当前第一视频帧以及下一第一视频帧之间顺序***所述第二视频帧以及第三视频帧,
其中所述第二视频帧包含所述第一视频帧的至少一部分奇数行的有效视频数据,所述第三视频帧包含所述第一视频帧的至少一部分偶数行的有效视频数据,所述第二视频帧以及第三视频的所述有效视频数据组成完整的所述第一视频帧所需的有效视频数据;以及
所述第二视频帧中除所述有效视频数据外的其它行由黑色数据填充;
所述第三视频帧中除所述有效视频数据外的其它行由黑色数据填充。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110360319.1A CN103108148B (zh) | 2011-11-14 | 2011-11-14 | 视频帧的插帧方法以及信息处理设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110360319.1A CN103108148B (zh) | 2011-11-14 | 2011-11-14 | 视频帧的插帧方法以及信息处理设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103108148A true CN103108148A (zh) | 2013-05-15 |
CN103108148B CN103108148B (zh) | 2016-03-30 |
Family
ID=48315682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110360319.1A Active CN103108148B (zh) | 2011-11-14 | 2011-11-14 | 视频帧的插帧方法以及信息处理设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103108148B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107155016A (zh) * | 2017-03-30 | 2017-09-12 | 安徽森度科技有限公司 | 模拟摄像头数字视频数据实现方法 |
TWI698119B (zh) * | 2019-02-22 | 2020-07-01 | 台達電子工業股份有限公司 | 投影顯示設備與顯示方法 |
CN112866795A (zh) * | 2019-11-28 | 2021-05-28 | 三星电子株式会社 | 电子设备及其控制方法 |
US11044438B2 (en) | 2019-02-22 | 2021-06-22 | Delta Electronics, Inc. | Projection display apparatus and display method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1742485A (zh) * | 2003-01-21 | 2006-03-01 | 索尼株式会社 | 帧转换方法、帧转换电路、以及电子摄影机 |
CN101246680A (zh) * | 2008-02-04 | 2008-08-20 | 炬力集成电路设计有限公司 | 一种图像帧速率转换方法、图像缩放转换装置及设备 |
CN101621652A (zh) * | 2009-07-21 | 2010-01-06 | 上海华平信息技术股份有限公司 | 在图像传输***中高质量传输隔行图像并转逐行的方法 |
US20110216240A1 (en) * | 2010-03-05 | 2011-09-08 | Canon Kabushiki Kaisha | Frame rate conversion processing apparatus, frame rate conversion processing method, and storage medium |
-
2011
- 2011-11-14 CN CN201110360319.1A patent/CN103108148B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1742485A (zh) * | 2003-01-21 | 2006-03-01 | 索尼株式会社 | 帧转换方法、帧转换电路、以及电子摄影机 |
CN101246680A (zh) * | 2008-02-04 | 2008-08-20 | 炬力集成电路设计有限公司 | 一种图像帧速率转换方法、图像缩放转换装置及设备 |
CN101621652A (zh) * | 2009-07-21 | 2010-01-06 | 上海华平信息技术股份有限公司 | 在图像传输***中高质量传输隔行图像并转逐行的方法 |
US20110216240A1 (en) * | 2010-03-05 | 2011-09-08 | Canon Kabushiki Kaisha | Frame rate conversion processing apparatus, frame rate conversion processing method, and storage medium |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107155016A (zh) * | 2017-03-30 | 2017-09-12 | 安徽森度科技有限公司 | 模拟摄像头数字视频数据实现方法 |
TWI698119B (zh) * | 2019-02-22 | 2020-07-01 | 台達電子工業股份有限公司 | 投影顯示設備與顯示方法 |
US11044438B2 (en) | 2019-02-22 | 2021-06-22 | Delta Electronics, Inc. | Projection display apparatus and display method |
CN112866795A (zh) * | 2019-11-28 | 2021-05-28 | 三星电子株式会社 | 电子设备及其控制方法 |
US11778139B2 (en) | 2019-11-28 | 2023-10-03 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
CN112866795B (zh) * | 2019-11-28 | 2023-12-29 | 三星电子株式会社 | 电子设备及其控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103108148B (zh) | 2016-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kara et al. | Evaluation of the concept of dynamic adaptive streaming of light field video | |
US9161023B2 (en) | Method and system for response time compensation for 3D video processing | |
EP2911381B1 (en) | Method and device for processing video image | |
CN105744358B (zh) | 视频播放的处理方法及装置 | |
US9832421B2 (en) | Apparatus and method for converting a frame rate | |
CN103248797A (zh) | 一种基于fpga的视频分辨率增强方法及模块 | |
CN103108148B (zh) | 视频帧的插帧方法以及信息处理设备 | |
US8593575B2 (en) | Video display apparatus for shortened-delay processing of a video signal and video processing method | |
TWI478579B (zh) | 3d影像顯示方法及介面單元 | |
CN100473142C (zh) | 实现视频逐行到隔行转换的装置和转换方法 | |
JP5998579B2 (ja) | マルチディスプレイシステムの映像表示装置、方法及びプログラム | |
CN103139524B (zh) | 视频优化方法以及信息处理设备 | |
CN1367611A (zh) | 三维视频图像数字编码方法 | |
CN106454554A (zh) | 一种氛围光电视时间同步方法和氛围光电视 | |
JP5664356B2 (ja) | 生成装置および生成方法 | |
CN115835035A (zh) | 图像插帧方法、装置、设备及计算机可读存储介质 | |
CN114938461A (zh) | 视频处理方法、装置、设备及可读存储介质 | |
CN101668154B (zh) | 图像显示单元 | |
JP5077037B2 (ja) | 画像処理装置 | |
JPWO2004073300A1 (ja) | 動画像合成装置、動画像合成方法、及び動画像合成機能付き情報端末装置 | |
JP2010087720A (ja) | 表示用走査方式を変換する信号処理装置及び方法 | |
Ding et al. | Video Frame Interpolation with Stereo Event and Intensity Cameras | |
JP5777920B2 (ja) | 画像処理装置および画像処理方法 | |
CN115802105A (zh) | 视频注入方法及其设备、信息处理*** | |
JP6261696B2 (ja) | 画像処理装置、およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |