CN103139524B - 视频优化方法以及信息处理设备 - Google Patents

Abstract

视频优化方法以及使用该方法的信息处理设备，所述方法包括：以预定的周期，从摄像头模组获得第一视频帧；基于当前第一视频帧以及下一第一视频帧产生第二视频帧，分别对所述当前第一视频帧和所述第二视频帧进行优化处理，从而获得第三视频帧和第四视频帧；在所述当前第一视频帧和所述第二视频帧之间***所述第三视频帧；以及在所述第二视频帧和所述下一第一视频帧之间***所述第四视频帧，其中所述第三视频帧中由于运动物体的运动导致的残影区域由黑色数据填充，并且所述第四视频帧中由于运动物体的运动导致的残影区域由黑色数据填充。

Description

视频优化方法以及信息处理设备

技术领域

本发明涉及一种视频优化方法以及信息处理设备。

背景技术

当前，由于视频聊天和视频会议应用的普及，使用诸如笔记本或手机上设置的摄像头模组进行视频会话正在变得越来越普遍。

在较暗的环境中，由于摄像头模组受到其感光能力的限制，如果保证在每一视频帧中的物体得到充分曝光，则需要较长的曝光时间，由此导致单位时间拍摄的视频的帧率(单位时间拍摄的帧数)很低。此时，用户会感觉画面不连贯。此外，在这种情况下，如果摄像头模组采用较高的帧率，则每一视频帧内的物体曝光不足，从而导致视频帧的画面十分昏暗。

此外，即使在光线充足的情况下，由于摄像头模组的硬件处理能力(如，20FPS)有限，通常摄像头模组产生的视频也是不够连贯的。

发明内容

为了解决现有技术中的上述技术问题，根据本发明的一方面，提供一种视频优化方法，包括：以预定的周期，从摄像头模组获得第一视频帧；基于当前第一视频帧以及下一第一视频帧产生第二视频帧，分别对所述当前第一视频帧和所述第二视频帧进行优化处理，从而获得第三视频帧和第四视频帧；在所述当前第一视频帧和所述第二视频帧之间***所述第三视频帧；以及在所述第二视频帧和所述下一第一视频帧之间***所述第四视频帧，其中所述第三视频帧中由于运动物体的运动导致的残影区域由黑色数据填充，并且所述第四视频帧中由于运动物体的运动导致的残影区域由黑色数据填充。

此外，根据本发明的一个实施例，其中基于所述当前第一视频帧以及所述下一第一视频帧确定所述当前第一视频帧以及所述第二视频帧中的运动区域；以及计算所述当前第一视频帧以及所述第二视频帧中的运动区域内由运动物体造成的残影区域；以及利用黑色数据填充所述当前第一视频帧中的所述残影区域来产生所述第三视频帧；以及利用黑色数据填充所述第二视频帧中的所述残影区域来产生所述第四视频帧。

此外，根据本发明的一个实施例，其中基于所述当前第一视频帧以及所述下一第一视频帧之间的差值计算运动矢量数据；以及基于所述运动矢量数据产生所述第二视频帧。

另外，根据本发明的另一方面，提供一种信息处理设备，包括：

摄像头模组，配置来拍摄视频并产生视频信号；图形处理单元，配置来接收所述摄像头模组产生的视频信号，并且基于所述视频信号以预定的周期产生第一视频帧；

处理单元，配置来基于当前第一视频帧以及下一第一视频帧产生第二视频帧，分别对所述当前第一视频帧和所述第二视频帧进行优化处理，从而获得第三视频帧和第四视频帧，在所述当前第一视频帧和所述第二视频帧之间***所述第三视频帧，并且在所述第二视频帧和所述下一第一视频帧之间***所述第四视频帧，其中所述第三视频帧中由于运动物体的运动导致的残影区域由黑色数据填充，并且所述第四视频帧中由于运动物体的运动导致的残影区域由黑色数据填充。

此外，根据本发明的一个实施例，其中所述处理单元基于所述当前第一视频帧以及所述下一第一视频帧确定所述当前第一视频帧以及所述第二视频帧中的运动区域；以及计算所述当前第一视频帧以及所述第二视频帧中的所述运动区域内由运动物体造成的残影区域；以及利用黑色数据填充所述当前第一视频帧中的所述残影区域来产生所述第三视频帧；以及利用黑色数据填充所述第二视频帧中的所述残影区域来产生所述第四视频帧。

此外，根据本发明的一个实施例，其中所述处理单元基于所述当前第一视频帧以及所述下一第一视频帧之间的差值计算运动矢量数据，并且基于所述运动矢量数据产生第二视频帧。

通过上述配置，通过将原始视频帧或中间视频帧中的残影区域用黑色数据填充来产生新的视频帧，并且在原始视频帧和中间视频帧之间***新的视频帧，可以有效地提高视频的帧率。此外，由于新产生的视频帧还消除原始视频帧以及中间视频帧中的运动物体的残影部分，因此在观看时减少了运动物体的残影的显示时间，由此使运动物体的轮廓更加清晰，从而提高了用户的体验感受。

附图说明

图1是图解根据本发明实施例的信息处理设备的示意图；

图2A和2B是图解根据本发明实施例的利用黑色数据填充运动物体的残影区域的示意图；以及

图3是图解根据本发明实施例的视频优化方法的流程图。

具体实施方式

将参照附图详细描述根据本发明的各个实施例。这里，需要注意的是，在附图中，将相同的附图标记赋予基本上具有相同或类似结构和功能的组成部分，并且将省略关于它们的重复描述。

下面将参照图1描述根据本发明实施例的信息处理设备。图1是图解根据本发明的一个实施例的信息处理设备的示意方框图。

如图1所示，诸如PC、笔记本、平板电脑或手机之类的信息处理设备可以至少包括摄像头模组1、图形处理单元2以及处理单元3，其中摄像头模组1可以与图形处理单元2连接，并且图形处理单元2可以与处理单元3连接。

这里，摄像头模组1可以是任意类型的摄像头模块，并且可以基于软件的控制拍摄静态图像或视频以产生图像或视频信号(如，感光信号)，并且可以将所产生的图像或视频信号发送给图形处理单元2。

图形处理单元2可以由与摄像头模组1匹配的任意图像信号处理器实现，并且可以基于图像信号或视频信号产生具有预定格式(如，jpeg)的图像或具有预定格式(如，mpeg2，mpeg4等等)的视频。在摄像头模组1以充分曝光模式拍摄视频的情况下，图形处理单元2可以基于摄像头模组1的曝光时间，以与曝光时间对应的周期顺序地产生多个原始的视频帧(下面简称第一视频帧)，以组成连续的视频画面。

处理单元3可以由任意的处理器、微处理器实现。根据本发明的实施例，处理单元3可以在预定的软件的控制下，基于图形处理单元2产生的当前第一视频帧以及下一第一视频帧产生中间视频帧(下面简称第二视频帧)，并且分别对所述当前第一视频帧和所述第二视频帧进行优化处理以获得两个新的视频帧(下面简称第三视频帧以及第四视频帧)。然后，处理单元3在当前第一视频帧和第二视频帧之间***新产生的第三视频帧，并且在第二视频帧和下一第一视频帧之间***新产生的第四视频帧以产生新的视频流。

例如，根据本发明的一个实施例，处理单元3可以基于当前第一视频帧以及下一第一视频帧之间的差值计算运动矢量数据，并且基于运动矢量数据产生第二视频帧(中间视频帧)。这里，由于基于运动矢量产生中间视频帧的方式对于本领域技术人员来说是熟知的，因此这里仅对其进行简单介绍。

例如，处理单元3可以基于当前所获得的第一视频帧以及随后获得的该第一视频帧的下一视频帧来产生中间视频帧。具体地，可以提取当前第一视频帧与下一第一视频帧之间的差值来确定运动区域，并且在确定运动区域之后，基于运动区域内的特征值的变化确定运动物体的运动矢量(方向，距离等等)，并且基于所获得的运动矢量来计算运动物体在中间视频帧(第二视频帧)中的位置。此外，还可以将当前第一视频帧与下一第一视频帧分为多个区块，并且比较区块之间的差值来确定运动区域，并且在确定运动区域之后，基于运动区域内的特征值的变化确定运动物体的运动矢量。然后基于所获得的运动矢量来计算运动物体在第二视频帧中的位置。这里当前第一视频帧与下一第一视频帧中不存在差值的对应区域为静止区域，因此，在获得运动物体在第二视频帧中的位置以及静止区域之后，可以很容易基于当前第一视频帧和下一第一视频帧中产生第二视频帧，即中间视频帧。

此外，处理单元3分别对当前的第一视频帧和第二视频帧进行优化处理以获得两个新的视频帧，其中第三视频帧与第一视频帧对应，并且第四视频帧与第二视频帧对应。在第三视频帧中，第一视频帧中由于运动物体的运动导致的残影区域由黑色数据填充，而在第四视频帧中，第二视频帧中由于运动物体的运动导致的残影区域由黑色数据填充。

下面将详细描述从当前第一视频帧产生第三视频帧以及从第二视频帧产生第四视频帧的过程。

例如，处理单元3可以提取当前第一视频帧与下一第一视频帧之间的差值来确定第一视频帧中的运动区域。此外，根据本发明的另一个实施例，处理单元3还可以将当前第一视频帧与下一第一视频帧分为多个区块，并且比较区块之间的差值来确定第一视频帧中的运动区域。

在处理单元3确定了第一视频帧中的运动区域之后，处理单元3进一步确定在该运动区域中的运动物体的实际轮廓以及由于运动物体的运动而在第一视频帧中产生的残影区域。

具体地，根据本发明的一个实施例，可以通过计算运动区域中的像素数据之间的差异来确定运动物体的实际轮廓以及运动物体的残影区域。

如图2A所示，由于运动物体的实际轮廓处像素的像素数据与运动物体的轮廓周围的相邻像素的像素数据通常具有较大的差异，而运动物体的运动在第一视频帧中产生的残影中的像素之间的像素数据的差异通常很小甚至没有差异，因此可以通过计算运动区域中的相邻像素的像素数据之间的差值来获得运动物体的轮廓。

例如，可以通过公式(1)获得运动区域中的像素数据之间的差异：

G_x＝f(x+1，y)-f(x，y)

G_y＝f(x，y+1)-f(x，y)........(公式1)

其中Gx和Gy分别表示在横向以及纵向上像素数据之间的差异，x和y分别表示像素坐标值，并且f(x，y)表示在像素(x，y)处的像素数据(如，RGB数据)。

在这种情况下，如果Gx和Gy大于预设的阈值(基于经验值设置)，则可以将像素(x，y)确定为轮廓的一部分。可以重复上述操作直到确定运动物体的轮廓为止。

在通过上述方式确定运动物体的轮廓之后，处理单元3可以将运动区域中运动物体的轮廓周围的差异很小或没有差异的区域确定为运动物体的残影区域。

此外，还可以采用中值差分法来确定相邻像素之间的像素数据的差异。例如，可以通过公式2计算相邻像素的像素数据的中值差分：

Dx＝[f(x+1，y)+I(x-1，y)]/2

Dy＝[f(x，y+1)+f(x，y-1)]/2.........(公式2)

其中Dx和Dy分别表示在横向以及纵向上的相邻像素(其中间间隔一个像素)像素数据之间的中值差异，x和y分别表示像素坐标值，并且f(x，y)表示在像素(x，y)处的像素数据(如，RGB数据)。

在这种情况下，如果Dx和Dy大于预设的阈值(基于经验值设置)，则可以将像素(x，y)确定为轮廓的一部分。可以重复上述操作直到确定运动物体的轮廓为止。在通过上述方式确定运动物体的轮廓之后，处理单元3可以将运动区域中运动物体的轮廓周围的差异很小或没有差异的区域确定为运动物体的残影区域。

另外，还可以通过计算运动区域内的像素的梯度(Gradient)来确定运动区域中运动物体的轮廓以及残影区域，其中在相邻像素之间的梯度大于预定阈值的情况下，处理单元3可以将其确定为轮廓的一部分。在通过上述方式确定运动物体的轮廓之后，处理单元3可以将运动区域中运动物体的轮廓周围的梯度很小的区域确定为运动物体的残影区域。

此外，本发明不限于此，本发明可以采用任意能够确定由于运动物体的运动在第一视频帧中产生的残影的技术来确定运动区域中的残影区域。

在确定了当前第一视频帧中的运动物体的轮廓以及残影区域之后，处理单元3将第一视频帧中所确定的残影区域用黑色数据填充。具体地，处理单元3在确定残影区域时可以记录残影区域所包含的像素坐标，并且利用这些像素坐标来填充黑色数据，从而将第一视频帧中所确定的残影区域用黑色数据填充以产生第三视频帧。

与产生第三视频帧的过程类似，由于通过计算当前的第一视频帧以及该第一视频帧之后的下一个第一视频帧的矢量数据产生第二视频帧，因此，显然很容易确定第二视频帧中的运动区域(其运动区域在当前的第一视频帧的运动区域以及下一个第一视频帧的运动区域之间)。然后，处理单元3可以通过上述公式(1)、公式(2)、梯度计算或其它任意可以确定运动物体的轮廓和残影区域的方法来确定第二视频帧中的运动物体的轮廓以及第二视频帧中由于运动物体的运动导致的残影区域。

在确定了第二视频帧中的运动物体的轮廓以及残影区域之后，处理单元3将第二视频帧中所确定的残影区域用黑色数据填充。具体地，处理单元3在确定第二视频帧中的残影区域时可以记录残影区域所包含的像素坐标，并且利用这些像素坐标来填充黑色数据，从而将第二视频帧中所确定的残影区域用黑色数据填充以产生第四视频帧。

图2B示出了利用黑色数据填充当前第一视频帧以及第二视频以产生第三视频帧和第四视频帧的效果。如图2B所示，由于用黑色数据消除了运动物体轮廓周围的残影区域，因此运动物体的轮廓变得更加清晰起来。

然后，处理单元3在当前第一视频帧和第二视频帧之间***新产生的第三视频帧，并且在第二视频帧和下一第一视频帧之间***新产生的第四视频帧以产生新的视频流。此时，新的视频流可以提供给信息处理设备的显示器(未示出)进行显示，或者可以将其提供给与信息处理设备连接的远程设备来实现视频聊天或视频会议。

通过上述配置，通过将原始视频帧(第一视频帧)以及中间视频帧(第二视频帧)的残影区域用黑色数据填充来产生新的视频帧，并且在原始视频帧和中间视频帧之间***新的视频帧，可以有效地提高视频的帧率。例如，在光线不好的情况下，通常摄像头模组1只能产生每秒10～15帧的视频，然后根据本发明的实施例，可以将视频的帧率从10～15FPS提高到40～60FPS，由此使用户不会感受到画面卡顿的情况。

此外，由于新产生的视频帧还消除原始视频帧(第一视频帧)以及中间视频帧(第二视频帧)中的运动物体的残影部分，因此在观看时减少了运动物体的残影的显示时间，由此使运动物体的轮廓更加清晰，从而提高了用户的体验感受。另外，由于黑色数据的显示时间很短(通常小于15ms)，因此用户很难察觉到视频帧中的黑色填充区域，由此也不会影响视频流的显示效果。

在上面描述了根据本发明实施例的信息处理设备的各个实施例。然而，本发明不限于此，图1所示的的信息处理设备还可以包括视频帧***单元(未示出)。这里，视频帧***单元可以由DSP实现，并且与图形处理单元2和处理单元3连接。这里，根据本实施例，视频帧***单元可以代替处理单元3来进行视频优化操作。具体地，可以配置视频帧***单元的内部逻辑(固件)使得视频帧***单元可以基于当前第一视频帧以及下一第一视频帧产生第二视频帧，分别对当前第一视频帧和所述第二视频帧进行优化处理，从而获得第三视频帧和第四视频帧，这里第三视频帧中由于运动物体的运动导致的残影区域由黑色数据填充，并且第四视频帧中由于运动物体的运动导致的残影区域由黑色数据填充。然后，视频帧***单元在当前第一视频帧和第二视频帧之间***所述第三视频帧，并且在第二视频帧和下一第一视频帧之间***第四视频帧，以形成新的视频流，并且将新的视频流发送给处理单元3以减轻处理单元3的负担。

接下来，将参照图3描述根据本发明实施例的视频优化方法。图3是图解根据本发明实施例的视频优化方法的流程图。

如图3所示，在步骤S301，以预定的周期，从摄像头模组获得第一视频帧。

具体地，摄像头模组1拍摄静态图像或视频以产生图像或视频信号，并且将所产生的图像或视频信号发送给图形处理单元2。图形处理单元2基于图像信号或视频信号产生具有预定格式(如，jpeg)的图像或具有预定格式(如，mpeg2，mpeg4等等)的视频。在摄像头模组1以充分曝光模式拍摄视频的情况下，图形处理单元2可以基于摄像头模组1的曝光时间，以与曝光时间对应的周期顺序地产生多第一视频帧，以组成连续的视频画面。

然后，在步骤S302，基于当前第一视频帧以及下一第一视频帧产生第二视频帧。

具体地，处理单元3基于当前所获得的第一视频帧以及随后获得的该第一视频帧的下一视频帧来产生中间视频帧(第二视频帧)。这里，可以提取当前第一视频帧与下一第一视频帧之间的差值来确定运动区域，并且在确定运动区域之后，基于运动区域内的特征值的变化确定运动物体的运动矢量(方向，距离等等)，并且基于所获得的运动矢量来计算运动物体在中间视频帧(第二视频帧)中的位置。此外，还可以将当前第一视频帧与下一第一视频帧分为多个区块，并且比较区块之间的差值来确定运动区域，并且在确定运动区域之后，基于运动区域内的特征值的变化确定运动物体的运动矢量。然后基于所获得的运动矢量来计算运动物体在第二视频帧中的位置。由于当前第一视频帧与下一第一视频帧中不存在差值的对应区域为静止区域，因此，在获得运动物体在第二视频帧中的位置以及静止区域之后，很容易基于当前第一视频帧和下一第一视频帧中产生第二视频帧，即中间视频帧。

在步骤S303，分别对当前第一视频帧和第二视频帧进行优化处理，从而获得第三视频帧和第四视频帧。

例如，处理单元3分别对当前的第一视频帧和第二视频帧进行优化处理以获得两个新的视频帧，其中第三视频帧与第一视频帧对应，并且第四视频帧与第二视频帧对应。在第三视频帧中，第一视频帧中由于运动物体的运动导致的残影区域由黑色数据填充，而在第四视频帧中，第二视频帧中由于运动物体的运动导致的残影区域由黑色数据填充。

具体地，在处理单元3确定了基于当前第一视频帧与下一第一视频帧中的差异确定当前第一视频帧中的运动区域之后，处理单元3进一步确定在该运动区域中的运动物体的实际轮廓以及由于运动物体的运动而在第一视频帧中产生的残影区域。

例如，如图2A所示，由于运动物体的实际轮廓处像素的像素数据与运动物体的轮廓周围的相邻像素的像素数据通常具有较大的差异，而运动物体的运动在第一视频帧中产生的残影中的像素之间的像素数据的差异通常很小甚至没有差异，因此可以通过计算运动区域中的相邻像素的像素数据之间的差异来获得运动物体的轮廓。具体地，与之前的描述类似，处理单元3可以通过之前描述的公式(1)、公式(2)、梯度计算或其它任意可以确定运动物体的轮廓和残影区域的方法来确定第一视频帧中的运动物体的轮廓以及第一视频帧中由于运动物体的运动导致的残影区域。

在确定了当前第一视频帧中的运动物体的轮廓以及残影区域之后，处理单元3将第一视频帧中所确定的残影区域用黑色数据填充。具体地，处理单元3在确定残影区域时可以记录残影区域所包含的像素坐标，并且利用这些像素坐标来填充黑色数据，从而将第一视频帧中所确定的残影区域用黑色数据填充以产生第三视频帧。

此外，与产生第三视频帧的过程类似，由于通过计算当前的第一视频帧以及该第一视频帧之后的下一个第一视频帧的矢量数据产生第二视频帧，因此，显然很容易确定第二视频帧中的运动区域(其运动区域在当前的第一视频帧的运动区域以及下一个第一视频帧的运动区域之间)。然后，处理单元3可以通过上述公式(1)、公式(2)、梯度计算或其它任意可以确定运动物体的轮廓和残影区域的方法来确定第二视频帧中的运动物体的轮廓以及第二视频帧中由于运动物体的运动导致的残影区域。

在确定了第二视频帧中的运动物体的轮廓以及残影区域之后，处理单元3将第二视频帧中所确定的残影区域用黑色数据填充。具体地，处理单元3在确定第二视频帧中的残影区域时可以记录残影区域所包含的像素坐标，并且利用这些像素坐标来填充黑色数据，从而将第二视频帧中所确定的残影区域用黑色数据填充以产生第四视频帧。

在步骤S304，在当前第一视频帧和第二视频帧之间***第三视频帧。

具体地，处理单元3在产生了第三视频帧之后，将所产生的第三视频帧***在当前的第一视频帧以及第二视频帧之间。

在步骤S305，在第二视频帧和下一第一视频帧之间***第四视频帧。

具体地，处理单元3在产生了第四视频帧之后，将所产生的第四视频帧***在第二视频帧以及下一第一视频帧之间。

在上面以顺序方式描述了图3所示的信息处理方法，然而，本发明不限于此，只要能够得到所期望的结果，可以以与上述描述顺序不同的顺序(如，交换步骤S304和305的顺序)执行上述处理。此外，还可以以并行的方式执行其中的一些步骤。

在上面详细描述了本发明的各个实施例。然而，本领域技术人员应该理解，在不脱离本发明的原理和精神的情况下，可对这些实施例进行各种修改，组合或子组合，并且这样的修改应落入本发明的范围内。

Claims (6)

1.一种视频优化方法，包括：

以预定的周期，从摄像头模组获得第一视频帧；

基于当前第一视频帧以及下一第一视频帧产生第二视频帧，分别对所述当前第一视频帧和所述第二视频帧进行优化处理，从而获得第三视频帧和第四视频帧，其中，所述第三视频帧与所述第一视频帧对应，并且所述第四视频帧与所述第二视频帧对应；

在所述当前第一视频帧和所述第二视频帧之间***所述第三视频帧；以及

在所述第二视频帧和所述下一第一视频帧之间***所述第四视频帧，

其中在所述第三视频帧中，所述第一视频帧中由于运动物体的运动导致的残影区域由黑色数据填充，并且在所述第四视频帧中，所述第二视频帧中由于运动物体的运动导致的残影区域由黑色数据填充。

2.如权利要求1所述的方法，其中

基于所述当前第一视频帧以及所述下一第一视频帧确定所述当前第一视频帧以及所述第二视频帧中的运动区域；以及

计算所述当前第一视频帧以及所述第二视频帧中的运动区域内由运动物体造成的残影区域；以及

利用黑色数据填充所述当前第一视频帧中的所述残影区域来产生所述第三视频帧；以及

利用黑色数据填充所述第二视频帧中的所述残影区域来产生所述第四视频帧。

3.如权利要求1所述的方法，进一步包括：

基于所述当前第一视频帧以及所述下一第一视频帧之间的差值计算运动矢量数据；以及

基于所述运动矢量数据产生所述第二视频帧。

4.一种信息处理设备，包括：

摄像头模组，配置来拍摄视频并产生视频信号；

图形处理单元，配置来接收所述摄像头模组产生的视频信号，并且基于所述视频信号以预定的周期获得第一视频帧；

处理单元，配置来基于当前第一视频帧以及下一第一视频帧产生第二视频帧，分别对所述当前第一视频帧和所述第二视频帧进行优化处理，从而获得第三视频帧和第四视频帧，其中，所述第三视频帧与所述第一视频帧对应，并且所述第四视频帧与所述第二视频帧对应，在所述当前第一视频帧和所述第二视频帧之间***所述第三视频帧，并且在所述第二视频帧和所述下一第一视频帧之间***所述第四视频帧，

其中在所述第三视频帧中，所述第一视频帧中由于运动物体的运动导致的残影区域由黑色数据填充，并且在所述第四视频帧中，所述第二视频帧中由于运动物体的运动导致的残影区域由黑色数据填充。

5.如权利要求4所述的信息处理设备，其中

所述处理单元基于所述当前第一视频帧以及所述下一第一视频帧确定所述当前第一视频帧以及所述第二视频帧中的运动区域；以及

计算所述当前第一视频帧以及所述第二视频帧中的所述运动区域内由运动物体造成的残影区域；以及

利用黑色数据填充所述当前第一视频帧中的所述残影区域来产生所述第三视频帧；以及

利用黑色数据填充所述第二视频帧中的所述残影区域来产生所述第四视频帧。

6.如权利要求4所述的信息处理设备，其中

所述处理单元基于所述当前第一视频帧以及所述下一第一视频帧之间的差值计算运动矢量数据，并且基于所述运动矢量数据产生第二视频帧。