CN102811333B - 视频处理装置以及插补帧生成方法 - Google Patents

Abstract

本发明提供一种视频处理装置以及插补帧生成方法。视频处理装置具有输入部、帧存储器、运动矢量检测部、画面端检测部、插补帧生成部。输入部输入输入信号。帧存储器使输入信号进行帧延迟后作为延迟输入信号而输出。运动矢量检测部基于输入信号和延迟输入信号来检测帧间的运动矢量。画面端检测部检测成为输入信号的画面端的像素。插补帧生成部基于运动矢量和画面端的像素，根据输入信号和延迟输入信号生成插补帧。插补帧生成部，当运动帧指向画面端的像素外侧的像素时，使用画面端的像素或画面端的像素内侧的像素来生成插补帧。

Description

视频处理装置以及插补帧生成方法

技术领域

本发明涉及生成输入视频的帧间的插补帧的视频处理装置以及插补帧生成方法。

背景技术

近年，在电视机等视频处理装置中，一般在输入视频的帧间***插补帧来输出。这样，通过以相对于所输入的帧率高的帧率输出，可以提供平滑的、模糊少的动画。一般根据输入视频的连续的帧间的差异推定帧间的运动矢量，根据该运动矢量和前后的帧来生成要***的插补帧（例如专利文献1：日本特开2008-245135号公报、专利文献2：日本特开2010-278760号公报）。

为了生成插补帧的各像素，前提是存在与插补源的帧相应的像素。因此，在与插补源的帧相应的像素不存在的情况下，插补的精度降低，因此，对于该视频的视听者来说会生成有不适感的帧。其显著地表现在画面端（画面的端部）。

即，当物体在画面端运动时，有时在插补帧的前后帧的一方中物体淡入或淡出，到达画面外，原像素变得不存在于画面上。假如直接将画面外的像素用在插补源中，则一般由于通常的视频数据不存在于画面外，因此发生插补错误。

因此，在专利文献1中，为了在插补源中不使用画面外的像素，在画面端在插补源中仅使用前后的帧的一方的像素。即，如图1所示，不使用虚线所示的运动矢量指向画面外的像素的后帧1f的像素，仅使用指向画面内的像素的前帧0f的像素。在该方法中，在运动矢量的检测精度没有升高的情况下，在使用两个帧生成的插补像素和仅使用1帧生成的插补像素的边界发生急剧的变化，因此，该视频的视听者产生不适感的风险升高。

发明内容

为了解决这种问题而提出本发明，其目的在于提供一种即使在画面端也可以高精度地进行插补的视频处理装置以及插补帧生成方法。

为了解决所述问题，本发明的实施方式的视频处理装置，具备：输入输入信号的输入部（101）；使通过所述输入部（101）输入的输入信号进行帧延迟后作为延迟输入信号而输出的帧存储器（102）；基于通过所述输入部（101）输入的输入信号和所述延迟输入信号检测帧间的运动矢量的运动矢量检测部（103）；检测成为通过所述输入部（101）输入的输入信号的画面端的像素的画面端检测部（104）；以及基于通过所述运动矢量检测部（103）检测出的运动矢量和通过所述画面端检测部（104）检测出的画面端的像素，根据通过所述输入部（101）输入的输入信号和所述延迟输入信号来生成插补帧的插补帧生成部（106，106’），所述插补帧生成部（106，106’），当所述运动矢量指向所述画面端的像素外侧的像素时，使用所述画面端的像素或所述画面端的像素内侧的像素，生成所述插补帧。

还具备画面端矢量控制部（105），其当通过所述运动矢量检测部（103）检测出的运动矢量指向通过所述画面端检测部（104）检测出的画面端外侧的像素时，控制所述运动矢量，以使所述运动矢量指向所述画面端的像素或所述画面端的像素内侧的像素，所述插补帧生成部（106，106’），可以基于通过所述画面端矢量控制部（105）控制后的运动矢量，使用所述画面端的像素或所述画面端的像素内侧的像素来生成所述插补帧。

所述画面端检测部（104），可以将所述输入信号的有效像素区域的上下以及左右端的像素、或从所述输入信号的有效像素区域的上下以及左右端向内侧移动任意像素数后的各像素作为所述画面端的像素来检测。

还具备黑区域检测部（108），其检测所述输入信号的有效像素区域内的黑区域，所述画面端检测部（104）可以将通过所述黑区域检测部（108）检测出的黑区域内侧的像素作为所述画面端的像素来检测。

还可以具备插补比例控制部（109），其根据通过所述运动矢量检测部（103）检测出的运动矢量和通过所述画面端检测部（104）检测出的画面端的像素，控制插补源的帧的使用比例，即插补比例。

所述插补比例控制部（109），可以根据通过所述画面端检测部（104）检测出的画面端的像素和所述运动矢量所指的画面端像素外侧的像素的距离来控制所述插补比例。

所述插补比例控制部（109），可以根据所述运动矢量的矢量量来控制所述插补比例。

所述插补比例控制部（109），可以根据所述运动矢量的检测中的正确度或信用度来控制所述插补比例。

为了解决所述课题，本发明的实施方式的插补帧生成方法具备以下步骤：输入部（101）输入输入信号的输入步骤；使通过所述输入部（101）输入的输入信号进行帧延迟后作为延迟输入信号而输出的延迟步骤；基于通过所述输入部（101）输入的输入信号和所述延迟输入信号检测帧间的运动矢量的运动矢量检测步骤；检测成为通过所述输入部（101）输入的输入信号的画面端的像素的画面端检测步骤；以及基于在所述运动矢量检测步骤中检测出的运动矢量和在所述画面端检测步骤中检测出的画面端的像素，根据通过所述输入部输入的输入信号和所述延迟输入信号生成插补帧的插补帧生成步骤，在所述插补帧生成步骤中，当所述运动矢量指向所述画面端的像素外侧的像素时，使用所述画面端的像素或所述画面端的像素内侧的像素生成所述插补帧。

根据本发明，在运动矢量指向画面端外侧时进行控制，以使该运动矢量指向画面端，因此能够提供即使在画面端也可以高精度地进行插补的视频处理装置以及插补帧生成方法。

附图说明

图1是表示现有技术中的插补帧的生成处理的图。

图2是本发明的第一实施方式中的视频处理装置的结构图。

图3是表示本发明的第一实施方式中的插补帧的生成处理的图。

图4是表示本发明的第一实施方式中的画面端的像素和画面外的像素的相关的图。

图5是本发明的第二实施方式中的视频处理装置的结构图。

图6是本发明的第三实施方式中的视频处理装置的结构图。

图7是用于说明本发明的第三实施方式中的黑区域的图。

图8是本发明的第四实施方式中的视频处理装置的结构图。

图9是表示本发明的第四实施方式中的插补帧的生成处理的图。

具体实施方式

以下，参照附图详细说明本发明的实施方式。

（第一实施方式）

图2是第一实施方式中的视频处理装置的结构图。该视频处理装置是在输入信号的帧间***插补帧来输出的电视机等，如图2所示，具备输入部101、帧存储器102、运动矢量检测部103、画面端检测部104、插补帧生成部106和输出部107。

输入部101输入视频等输入信号。帧存储器102使通过输入部101输入的输入信号延迟1个或多个帧后作为延迟输入信号来输出。运动矢量检测部103根据通过输入部101输入的输入信号和通过帧存储器102进行帧延迟后的信号检测帧间的运动矢量。画面端检测部104检测通过输入部101输入的输入信号的画面端。插补帧生成部106根据通过运动矢量检测部103检测出的运动矢量和通过画面端检测部104检测出的画面端生成帧间的插补帧，将生成的插补帧适当地***输入信号的各帧间。输出部107输出在构成输入信号的各帧间适当地***了通过插补帧生成部106生成的插补帧后的输出信号。

在此，画面端检测部104假定基本上，将输入信号的有效像素区域的上下以及左右端，作为成为画面端的像素（或位置）来检测。但是，根据输入信号，有时即使在有效像素区域内，黑色也进入画面端的几个像素中。为了与这种输入信号相对应，也可以将从有效像素区域的上下以及左右端的像素（有效像素区域端）向内侧任意像素数（有效像素区域内）的像素作为画面端来检测。即，所谓“画面端”，是画面的端部，具体来说，表示有效像素区域的上下以及左右端的像素、或者从有效像素区域的上下以及左右端起内侧任意像素数的像素。

以下，使用图3具体说明本实施方式中的插补帧生成部106的插补帧的生成处理。在图3中将通过帧存储器102延迟并输入到插补帧生成部106的延迟输入信号设为前帧0f。另外，将输入到插补帧生成部106的当前输入信号设为后帧1f。而且，将插补帧生成部106根据前帧0f和后帧1f生成的插补帧设为插补f。在此，设想物体在画面端运动的情况。并且，表示了插补帧（插补f）的前帧0f和后帧1f中，在后帧1f中物体淡出而到达画面外，源像素不存在于画面上的情况。一个矩形对应于一个像素。

在图3中以虚线表示从前帧0f和后帧1f检测出的运动矢量。前帧0f中的像素I9移动到后帧1f中的像素I9的位置。插补f中的插补像素I9’由前帧0f中的像素I9和后帧1f中的像素I9生成，位于前帧0f中的像素I9的位置和后帧1f中的像素I9的位置的中间。

前帧0f中的像素I10移动到后帧1f中的像素I10的位置。如图3所示，后帧1f中的像素I10位于画面外。在这种情况下，当生成插补f中的像素I10’时，后帧1f中的像素I10为画面外像素，因此产生要使用的像素不存在的问题。

图4表示在运动矢量指向画面外的后帧1f中，画面端的像素和运动矢量所指的画面外的像素的相关。即，后帧1f的画面内最外端的像素I9和画面外的4个像素I10～I13，根据互相的距离，相关由大变小。在本实施方式中，当运动矢量指向画面外的4个像素I10～I13时，以全部使用画面内最外端的像素I9的方式进行分配。将这样为了使用画面内最外端的像素I9而分配的区域称为“特别处理区域”。另外，将未分配的进行通常处理的区域称为“通常处理区域”。成为特别处理区域的插补像素的插补源的像素，可以使用画面端的像素（画面内最外端的像素），也可以使用画面端的像素内侧的像素。画面端的像素，与画面外的像素的相关在画面内的像素中最高，因此优选作为插补源的像素。

当画面端一带的运动矢量恒定的情况下，如图3所示，在前帧0f中，成为插补f的特别处理区域的各像素I10’～I13’的插补源的像素I10～I13的运动矢量指向插补f的画面内，因此，通过与通常处理同样的方法在插补源中采用基于运动矢量的像素。另一方面，在后帧1f中，成为基于运动矢量的插补源的像素I10～I13存在于画面外，因此，在插补源中分别采用画面端的像素或其内侧的像素（在本实施方式中为像素I9）。一般来说，位于画面外的像素I10～I13与画面端的像素I9在画面内的像素中相关最高，因此，通过在插补源中采用画面端的像素I9，在通常处理区域和特别处理区域的边界，处理的差异变小。

随着接近插补f的画面端的像素I13’，各像素的本来的插补源所在的像素与画面端的像素的距离慢慢变远，因此相关减小。但是，该变化是分阶段的变化，不是急剧的变化，并且，关于作为插补源而使用的一方的前帧0f，使用基于本来的运动矢量的画面内的插补像素，因此，在通常处理区域和特别处理区域的边界难以发生急剧的变化。由此，对于视听者来说得到不适感少的插补结果。

如上所述，根据第一实施方式中的视频处理装置，当运动矢量指向画面端外侧时，进行控制以便使用画面端的像素或画面端的像素内侧的像素作为插补源，因此，即使在画面端也可以高精度地进行插补。

（第二实施方式）

图5是第二实施方式中的视频处理装置的结构图。该视频处理装置基本上与第一实施方式相同，但是具备控制通过运动矢量检测部103检测出的运动矢量的画面端矢量控制部105。

具体来说，画面端矢量控制部105，当通过运动矢量检测部103检测出的运动矢量指向通过画面端检测部104检测出的画面端外侧时进行控制，以使该运动矢量指向画面端的像素或画面端的像素内侧的像素。由此，插补帧生成部106’基于通过画面端矢量控制部105控制后的运动矢量，使用画面端的像素或画面端的像素内侧的像素生成插补帧。此外，画面端矢量控制部105，当运动矢量指向画面内的像素时不特别进行处理。

如上所述，根据第二实施方式中的视频处理装置，当运动矢量指向画面端外侧时进行控制，以使该运动矢量指向画面端的像素或画面端的像素内侧的像素，因此，即使在画面端也可以高精度地进行插补。

（第三实施方式）

图6是第三实施方式中的视频处理装置的结构图。该视频处理装置基本上与第一实施方式相同，但是具备检测输入信号的有效像素区域内的黑区域（由黑色占据的区域）的黑区域检测部108。另外，画面端检测部104b将通过黑区域检测部108检测出的黑区域视为画面外，将黑区域内侧的像素作为画面端像素来检测。

具体来说，如图7所示，黑区域检测部108，当在有效像素区域内的上下以及左右端检测出黑区域时，将该黑区域视为画面外。例如，有时在电影等视频中画面的上下被切除。另外，在以16：9的宽高比显示的显示器中观看以4：3的宽高比生成的视频时，有时该视频的左右被切除。在这种情况下，如图7所示，可以匹配被切除的区域来设定画面端E1。

如上所述，在第三实施方式中的视频处理装置中，将输入信号的有效像素区域内的黑区域内侧作为画面端来检测，因此，在插补中不使用该黑区域的像素。由此，当有效像素区域内存在黑区域时，在画面端也可以高精度地进行插补。

（第四实施方式）

图8是第四实施方式中的视频处理装置的结构图。该视频处理装置基本上与第一实施方式相同，但是如图8所示，具备基于通过运动矢量检测部103检测出的运动矢量和通过画面端检测部104b检测出的画面端来控制插补比例的插补比例控制部109。所谓插补比例，是插补源的帧的使用比例，换言之，是生成插补像素时的两个像素的使用比例。插补帧生成部106’根据来自插补比例控制部109的插补比例生成插补帧。

以下，具体说明本实施方式中的插补帧的生成处理。即，相关越大，插补的可靠度越高，因此，相关大的像素，在插补中以与通常处理相同程度的比例来采用，相关低的像素，在插补中降低比例来采用。

图9表示具体例。在此也与图4相同，后帧1f的画面内最外端的像素I15和画面外的4个像素I16～I19根据互相的距离，相关从大变小。即，在运动矢量指向靠近画面端的画面外的像素（例如I16）的情况下，运动矢量所指的画面外的像素I16和画面端的像素I15的相关大。因此，在这种情况下以接近通常处理的比例使用前帧0f和后帧1f来进行插补。在本实施方式中，成为插补源的前帧0f的像素和后帧1f的像素的混合比例为1对1地生成通常处理的插补像素。另一方面，当运动矢量指向离画面端远的画面外的像素（例如I19）时，运动矢量所指的画面外的像素I19和画面端的像素I15的相关小。因此，在这种情况下，将运动矢量指向画面外的后帧1f的比例比前帧0f的比例降低来进行插补。

这样，若运动矢量本来所指的画面外的像素和画面端的像素的距离越远，则认为相关越小。并且，将认为相关小的帧的使用比例，相对于另一方的帧的插补比例降低。

如上所述，在第四实施方式中的视频处理装置中，根据运动矢量和画面端来控制插补比例。由此，相关高的像素的使用比例升高，相关低的像素的使用比例降低，因此能够在抑制可靠度低的像素的使用的同时使其分阶段地变化。

在此，根据画面端的像素和运动矢量所指的画面外的像素的距离来控制插补比例，但是插补比例的控制方法不限于此。即，插补比例控制部109可以根据运动矢量的矢量量来控制插补比例。在这种情况下，若矢量量越大，认为相关越小，则可以获得与所述相同的效果。或者，也可以根据运动矢量的检测中的正确度或信用度来控制插补比例。在这种情况下，若正确度或信用度越低，认为相关越小，则可以获得与所述相同的效果。

Claims (9)

1.一种视频处理装置，其特征在于，

具备：输入输入信号的输入部；

使通过所述输入部输入的输入信号进行帧延迟后作为延迟输入信号而输出的帧存储器；

基于通过所述输入部输入的输入信号和所述延迟输入信号检测帧间的运动矢量的运动矢量检测部；

检测成为通过所述输入部输入的输入信号的有效像素区域内的画面端的像素的画面端检测部；以及

基于通过所述运动矢量检测部检测出的运动矢量和通过所述画面端检测部检测出的所述有效像素区域内的画面端的像素，根据通过所述输入部输入的输入信号和所述延迟输入信号生成插补帧的插补帧生成部，

所述插补帧生成部，当所述运动矢量指向所述有效像素区域内的画面端的像素外侧的像素时，使用所述有效像素区域内的画面端的像素或所述有效像素区域内的画面端的像素内侧的像素，生成所述插补帧。

2.根据权利要求1所述的视频处理装置，其特征在于，

还具备画面端矢量控制部，其当通过所述运动矢量检测部检测出的运动矢量指向通过所述画面端检测部检测出的所述有效像素区域内的画面端外侧的像素时，控制所述运动矢量，以使所述运动矢量指向所述有效像素区域内的画面端的像素或所述有效像素区域内的画面端的像素内侧的像素，

所述插补帧生成部基于通过所述画面端矢量控制部控制后的运动矢量，使用所述有效像素区域内的画面端的像素或所述有效像素区域内的画面端的像素内侧的像素，生成所述插补帧。

3.根据权利要求1所述的视频处理装置，其特征在于，

所述画面端检测部将所述输入信号的有效像素区域的上下以及左右端的各像素、或从所述输入信号的有效像素区域的上下以及左右端的像素向内侧移动任意像素数后的各像素作为所述有效像素区域内的画面端的像素来检测。

4.根据权利要求1所述的视频处理装置，其特征在于，

还具备黑区域检测部，其检测所述输入信号的有效像素区域内的黑区域，

所述画面端检测部将通过所述黑区域检测部检测出的黑区域内侧的像素作为所述有效像素区域内的画面端的像素来检测。

5.根据权利要求1所述的视频处理装置，其特征在于，

还具备插补比例控制部，其根据通过所述运动矢量检测部检测出的运动矢量和通过所述画面端检测部检测出的所述有效像素区域内的画面端的像素，控制插补源的帧的使用比例，即插补比例。

6.根据权利要求5所述的视频处理装置，其特征在于，

所述插补比例控制部根据通过所述画面端检测部检测出的所述有效像素区域内的画面端的像素和所述运动矢量所指的所述有效像素区域内的画面端像素外侧的像素的距离来控制所述插补比例。

7.根据权利要求5所述的视频处理装置，其特征在于，

所述插补比例控制部根据所述运动矢量的矢量量来控制所述插补比例。

8.根据权利要求5所述的视频处理装置，其特征在于，

所述插补比例控制部根据所述运动矢量的检测中的正确度或信用度来控制所述插补比例。

9.一种插补帧生成方法，其特征在于，

具备以下步骤：

输入部输入输入信号的输入步骤；

使通过所述输入部输入的输入信号进行帧延迟后作为延迟输入信号而输出的延迟步骤；

基于通过所述输入部输入的输入信号和所述延迟输入信号检测帧间的运动矢量的运动矢量检测步骤；

检测成为通过所述输入部输入的输入信号的有效像素区域内的画面端的像素的画面端检测步骤；以及

基于在所述运动矢量检测步骤中检测出的运动矢量和在所述画面端检测步骤中检测出的所述有效像素区域内的画面端的像素，根据通过所述输入部输入的输入信号和所述延迟输入信号生成插补帧的插补帧生成步骤，

在所述插补帧生成步骤中，当所述运动矢量指向所述有效像素区域内的画面端的像素外侧的像素时，使用所述有效像素区域内的画面端的像素或所述有效像素区域内的画面端的像素内侧的像素生成所述插补帧。