CN102801993A - 图像信号处理装置、图像信号处理方法 - Google Patents

Abstract

本发明提供一种图像信号处理装置和图像信号处理方法。若将超分辨率处理以相同的强度适用于画面整体，则输入图像中包含的模糊在画面整体上一律被降低，因此存在与自然状态不同的情况。作为解决该问题的方法之一，有在输入了左眼用的第1图像和右眼用的第2图像的情况下，根据上述第1图像与上述第2图像之间的对应像素的位置偏移量，决定与画质修正有关的参数，并进行利用上述参数调整图像的进深感的画质修正处理的方法。

Description

图像信号处理装置、图像信号处理方法

技术领域

本发明涉及三维（3D：3 Dimension）影像的图像处理技术。

背景技术

近年来，可立体视的3D影像的内容广受关注。

对于该3D影像，目前较多地使用以2D影像为对象开发的图像处理技术。例如是对图像进行高分辨率化的超分辨率（析像）处理等。

现在的3D影像分发方式的主流是被称作并排（side by side）的、将一个画面分割为左右的区域并对各个区域分配单眼用的影像的方式。在该方式中与2D影像相比，存在水平方向的分辨率成为一半的问题，因此采用利用超分辨率处理进行高分辨率化的方式等。

专利文献1：日本特开2009－251839号公报

专利文献2：日本特开平11－239364号公报

非专利文献1：Sina Farsiu，M.Dirk Robinson，Michael Elad，PeymanMilanfar"Fast and Robust Multiframe Super Resolution"，IEEE Transactions onImage Processing，VOL.13，NO.10，October 2004

非专利文献2：S.Park,et.al."Super-Resolution Image Reconstruction:ATechnical Overview,"IEEE Signal Processing Magazine,USA,IEEE,May2003,p.21-36

但是，如果对画面整体以相同的强度适用超分辨率处理，则原图像中包含的模糊在画面整体上一律降低，因此存在与自然状态不同的情况。

此外，例如在对比度修正、高频成分增强处理等中也同样，如果对画面整体进行同样的处理，则存在与自然状态不同的情况。

专利文献1及专利文献2中记载的方式是鉴于该问题，根据分割后的区域内的频率成分等来推定进深，并与此相应地进行图像处理的方式。

但是，进深推定、适用影像都假设2D影像，不一定能够推定正确的进深。

发明内容

本发明是鉴于上述问题而作出的，其目的是利用3D影像的视差来推定进深，并根据进深仅对关注区域实施高分辨率化处理，从而提供更有立体感的高画质的3D影像。

作为解决上述问题的手段之一有一种图像信号处理方法，在被输入了左眼用的第1图像和右眼用的第2图像的情况下，根据上述第1图像与上述第2图像之间的对应像素的位置偏移量，决定与画质修正有关的参数，进行利用上述参数将图像的进深感调整的画质修正处理。

根据本发明，能够提供更自然且高画质的3D影像。

附图说明

图1是实施例1的图像信号处理装置的模块图。

图2是表示3D影像信号的图像输入的例子的图。

图3是表示进深推定部103的动作的图。

图4是参数决定部的模块图。

图5是图像修正处理部的模块图。

图6是实施例2的图像信号处理装置的模块图。

图7是进深推定部603的动作流程图。

图8是参数强度与进深信号的对应关系图。

图9是决定σ1、σ2的图。

图10是参数强度与进深信号的对应关系图。

图11是sigmoid（S形）函数的例子。

图12是图像信号处理***的***结构图。

图13是图像编码处理***的***结构图。

图14是图像信号处理装置的模块图。

附图标记说明

100…图像信号处理装置，101…左眼用图像信号，102…右眼用图像信号，103…进深推定部，105…画质修正处理部

具体实施方式

以下，说明实施例，但本发明不限于各实施例。

【实施例1】

实施例1中，利用由根据构成3D影像信号的左眼用图像信号和右眼用图像信号求出的视差得到的进深信息，对关注区域进行高分辨率化，实现更自然且高画质的3D影像。

图1是实施例1的图像信号处理装置的模块图。

在图1的图像信号处理装置100中，被输入左眼用图像信号101以及右眼用图像信号102。被输入的图像信号输入至进深推定部103以及画质修正处理部105。

图2表示3D影像信号的输入图像的例子。左眼用图像101和右眼用图像102中，被摄体的水平位置根据进深而不同。将该水平方向的偏差称作视差。

进深推定部103根据左眼用图像和右眼用图像的视差，推定进深。

参数决定部104基于进深推定部103所输出的进深信号，决定用于画质修正处理的参数。

参数决定部104可以利用左右的进深信号计算左眼用参数以及右眼用参数，在左右分别求出的情况下，也可以分为左眼用参数决定部、右眼用参数决定部。

画质修正处理部105利用参数决定部104所输出的参数，对被输入的图像进行画质修正处理，作为左眼用图像信号106以及右眼用图像信号107来输出。画质修正处理部105既可以一起进行左眼用画质修正处理以及右眼用画质修正处理，也可以左右分别处理。

使用图3说明进深推定部103的动作。

进深推定部103中被输入左眼用图像101及右眼用图像102。左眼用图像和右眼用图像中包含视差，根据其大小及正负而进深不同。因此，搜索左眼用图像的某个区域对应于右眼用图像的哪个区域，并求出水平方向的视差，由此能够求出进深。

匹配部303进行左眼用图像和右眼用图像的对应区域的搜索。作为匹配方法，例如可列举将SAD（差分绝对值和）作为类似度的块匹配等。

左眼用进深信号计算部304以及右眼用进深信号计算部305根据匹配部303的输出，计算进深信号。在使用了将SAD作为类似度的块匹配的情况下，两个区域越类似，则值越小，因此选择值最小的视差，作为进深信息。在本实施例中，匹配中将视差作为进深信息来利用，但也可以将利用视差以外的信息对视差进行修正而得到的值作为进深信息。计算出的进深信息成为左眼用进深计算部304以及右眼用进深计算部305的输出。

左眼用输出信号306以及右眼用输出信号307是进深推定部103的输出例。在该例中，被摄体越位于里侧则显示得越黑，越位于近前则显示得越白，但不限于此，只要能得到根据进深而强度不同的输出即可。

从进深推定部103输出的进深信号输入至参数决定部104。

参数决定部104进行从被输入的进深信号向画质修正处理参数的变换。画质修正处理部105根据参数决定部104所输出的参数，进行画质修正处理。

作为画质修正处理参数的例子，可列举在画质修正处理部105中，使用非专利文献或非专利文献2中记载的高分辨率化处理的情况下，将模糊恢复用传递函数作为参数的方法。

在该情况下，需要用于恢复在摄像时产生的图像模糊的传递函数作为参数，一般该传递函数是低通滤波器系数。若将该低通滤波器系数设为低通滤波器处理强的设定，则高分辨率化处理的模糊恢复效果提高，相反，若设为低通滤波器处理弱的设定，则高分辨率化处理的模糊恢复效果降低。利用上述性质，针对关注区域将模糊恢复效果高的滤波器系数作为参数，针对其以外的区域将模糊恢复效果低的滤波器系数作为参数，由此能够对3D影像进行更自然的高分辨率处理。

图4表示参数决定部的结构例。对被输入的进深信号，进行滤波器的选择，计算画质修正处理参数。

例如在以远景的视差为负值、近景的视差为正值的方式拍摄的图像的情况下，通常，视差为0的区域成为焦点距离。因此，将视差为0的区域看作关注区域，将模糊恢复效果高的滤波器系数选择为参数，将视差的绝对值越大则模糊恢复效果越低的滤波器系数选择为参数，由此能够实现更自然且高分辨率化的3D影像。此外，在视差为0的点设定在无限远等情况下，也可以通过实施例2中记载的模糊推定处理或根据对视差进行正规化而得到的值，推定关注区域并变更滤波器系数。

此外，图5表示图像修正处理部的一例。按照从参数决定部输出的画质修正参数，通过低通滤波器选择部502使上述低通滤波器系数按照图像中的每个像素或每个部分区域变化。例如，事先准备系数不同的若干个滤波器，根据画质修正参数选择滤波器，通过高分辨率化处理部501进行高分辨率化。

由此，能够使画质修正处理部105的高分辨率化处理中的低通滤波器的强度按照图像中的每个像素或部分区域变化，既能保持图像的远近感，又能恢复在摄像时产生的图像模糊来对图像进行高分辨率化。

根据实施例1，能够进行对应于进深的高分辨率化，并且通过高分辨率处理控制能够实现更自然的立体感。

【实施例2】

利用图6说明实施例2的图像信号处理装置以及图像信号处理方法。在实施例2中，根据模糊度推定焦点距离，对相当于推定出的焦点距离的视差的区域，实施强度高的高分辨率处理，对于其以外的区域，实施强度弱的高分辨率化处理，由此实现更自然的3D影像。以下，说明该处理。

实施例2的图像信号处理装置600中，被输入左眼用图像信号以及右眼用图像信号。被输入的图像信号输入至模糊度推定部606、进深推定部603以及图像修正处理部605。

模糊度推定部606按照图像中的每个区域，推定并计算作为图像的模糊程度的模糊度。

进深推定部603根据被输入的左眼用图像与右眼用图像的视差、以及模糊度推定部所输出的模糊度，推定进深。

参数决定部604基于进深推定部603所输出的进深信号、以及模糊度推定部606所输出的模糊度，决定用于画质修正处理的参数。

画质修正处理部605利用参数决定部604所输出的参数，对被输入的图像进行画质修正处理并输出。

模糊度推定部606进行左眼用图像和右眼用图像的模糊度的推定。作为模糊度推定处理的具体例，有计算图像的纹理量并推定模糊度的方法。图像的纹理量的计算中，例如能够通过根据周围像素计算图像的分散的方法等来计算。这样计算的纹理量多的部分中能够推定为图像鲜明的区域、即模糊度小的区域，相反，纹理量少的部分中能够推定为图像模糊的区域、即模糊度大的区域。该模糊度推定处理既可以按照画面内的每个部分区域进行，也可以按照每个像素进行。

不限于该方法，也可以通过其他方法推定，例如计算边缘信息，并基于计算出的边缘信息来判断图像鲜明还是模糊等。

利用图7说明进深推定部603的动作。

进深推定部603中被输入左眼用图像和右眼用图像、以及作为模糊度推定部606的输出的左眼用模糊度以及右眼用模糊度。

关于根据视差来推定进深的处理，与实施例1相同，但也可以并用模糊度来推定进深。

从进深推定部603输出的进深信号和从模糊度推定部606输出的模糊度输入至参数决定部604。

参数决定部604进行从被输入的进深信号和模糊度向画质修正处理参数的变换。画质修正处理部605根据参数决定部604所输出的参数，进行画质修正处理。

在画质修正处理部605中，在使用非专利文献1或非专利文献2中记载的高分辨率化处理的情况下，作为所利用的画质修正处理参数的例子，可列举以模糊恢复用传递函数为参数的方法。

在该情况下，需要用于恢复在摄像时产生的图像模糊的传递函数作为参数，一般该传递函数是低通滤波器系数。若将该低通滤波器系数设为低通滤波器处理强的设定，则高分辨率化处理的模糊恢复效果变强，相反，若设为低通滤波器处理弱的设定，则高分辨率化处理的模糊恢复效果变弱。

因此，根据进深推定部603所计算出的进深，按图像中的每个像素或部分区域使上述低通滤波器系数变化。例如准备系数不同的若干个滤波器，根据进深选择滤波器。此时，为了决定针对各进深选择哪个滤波器，可以列举利用模糊度推定部606所输出的模糊度求出焦点的方法。例如统计针对各进深的模糊度之后进行正规化，并推定为得到的模糊量最小的进深为焦点。通过在推定为焦点的进深下设为低通滤波器处理强的设定，能够进行使被关注的被摄体的分辨率高、使其以外的区域的分辨率低于被关注的被摄体的分辨率的控制。

由此，能够使画质修正处理部605的高分辨率化处理中的低通滤波器的强度按图像中的每个像素或部分区域变化，能够一边保持图像的远近感，一边恢复在摄像时产生的图像模糊来对图像进行高分辨率化。

根据实施例2，能够根据进深对位于焦点距离的关注区域进行高分辨率化，能够进行更自然的3D影像的高画质化。

【实施例3】

说明实施例3的图像信号处理装置以及图像信号处理方法。

实施例3的图像信号处理装置与图1所示的实施例1或者图6所示的实施例2的图像信号处理装置相比，不同的仅是参数决定部输出的滤波器特性和画质修正处理部的处理，其他部分相同。

这里，按照图1的例子，对参数决定部和画质修正处理部进行说明。

参数决定部104进行从被输入的进深信号向画质修正处理参数的变换。此时如实施例2所述，不仅利用进深信号，也可以并用模糊度。画质修正处理部105根据参数决定部104所输出的参数，进行画质修正处理。

作为画质修正处理参数的例子，可以列举在画质修正处理部105中使用高频带增强处理的情况下，将使高频带增强或或衰减的滤波器系数作为参数的方法。

按照进深推定部103所计算出的进深，按图像中的每个像素或部分区域使上述滤波器系数变化。例如事先准备系数不同的若干个滤波器，根据进深选择滤波器。此时如实施例2所述，使用根据模糊量计算焦点、并决定增强最高频成分的进深的方法。

由此能够使画质修正处理部105的高频带增强处理中的滤波器的强度按图像中的每个像素或部分区域变化，例如，对于上述关注区域，将高频带增强处理滤波器强度设定得高，对其以外的部分使高频带衰减，能够一边保持图像的远近感，一边进一步增强立体感。此外，在本例中对于关注区域将高频带增强处理滤波器强度设定得高，但将高频带增强处理滤波器强度设为高的区域并不仅限于关注区域。

根据实施例3，能够按照进深进行高频带增强，并且基于高频带增强控制能够进行更自然的3D影像的高画质化。

【实施例4】

说明实施例4的图像信号处理装置以及图像信号处理方法。

实施例4的图像信号处理装置相对于图1所示的实施例1、或者图2所示的实施例2的图像信号处理装置，仅是参数决定部的输出和画质修正处理部的处理不同，其他部分相同。

参数决定部104进行从被输入的进深信号向画质修正处理参数的变换。此时如实施例2所述，不仅利用进深信号，而且还可以并用模糊度。画质修正处理部105按照参数决定部104所输出的参数，进行画质修正处理。

作为画质修正处理参数的例子，叙述在画质修正处理部105中进行噪声去除处理的情况。例如在使用如式1所示的双边滤波器进行噪声去除的情况下，可以列举以式1中的σ1及σ2为参数的方法。

【式1】

$g(i,j)=\frac{\underset{n=-w}{\overset{w}{\mathrm{\Σ}}}\underset{m=-w}{\overset{w}{\mathrm{\Σ}}}f(i+m,j+n)\exp (-\frac{m^2+n^2}{{2\mathrm{\σ}}_1^2})\exp (-\frac{{(f(i,j)-f(i+m,j+n))}^2}{{2\mathrm{\σ}}_2^2})}{\underset{n=-w}{\overset{w}{\mathrm{\Σ}}}\underset{m=-w}{\overset{w}{\mathrm{\Σ}}}\exp (-\frac{m^2+n^2}{{2\mathrm{\σ}}_1^2})\exp (-\frac{{(f(i,j)-f(i+m,j+n))}^2}{{2\mathrm{\σ}}_2^2})}$

g（i，j）：输出亮度

f（i，j）：输入亮度

w：滤波器尺寸

σ1：空间分散系数

σ2：亮度值分散系数

σ1表示与从关注像素位置到周围像素的距离对应的分散，σ2表示与关注像素的亮度与周围像素的亮度差对应的分散。都是值越大则噪声去除效果越强，但图像的模糊感也增加。

根据进深推定部103所计算出的进深，按图像中的每个像素或部分区域，使σ1、σ2中的某一方或其两方变化。图10是参数强度与进深信号的对应关系图。例如通过如图10所示的对应，决定σ1、σ2。该对应可以是在某进深的范围内取较小的值且在其以外取较大的值的梯形型、阶梯函数型、一次函数型、曲线型、或准备决定与进深对应的σ1、σ2的值的表、能够任意设定的方法等。此时也可以如实施例2所示，使用根据模糊量计算焦点区域、对取该区域的视差的部分决定使σ1、σ2最小的进深的方法。

由此能够使画质修正处理部105的噪声去除处理中的参数按图像中的每个像素或部分区域变化，并且能够一边保持图像的远近感，一边进行噪声去除处理。例如，在上述关注区域使噪声去除处理效果较弱，在其以外的区域使噪声去除效果较强，由此能够保持自然的立体感并且实现高画质的3D影像。此外，在本例中对于关注区域使噪声去除处理效果强，但使噪声去除处理强的区域并不仅限于关注区域。

根据实施例4，能够进行对应于进深的噪声去除处理，并且能够进行基于噪声去除处理控制的立体感的调整、高画质化。

【实施例5】

说明实施例5的图像信号处理装置以及图像信号处理方法。

实施例5的图像信号处理装置相对于图1所示的实施例1、或图6所示的实施例2的图像信号处理装置，仅有参数决定部的输出和画质修正处理部的处理不同，其他部分相同。

参数决定部104进行从被输入的进深信号向画质修正处理参数的变换。此时也可以如实施例2所述，不仅利用进深信号，而且还可以并用模糊度。画质修正处理部105根据参数决定部104所输出的参数进行画质修正处理。

作为画质修正处理参数的例，叙述在画质修正处理部105中进行对比度修正的情况。例如列举出在进行对比度修正时，在将如图11所示的sigmoid（s形）函数作为色调曲线来使用的情况下，将sigmoid函数的增益a作为参数的方法。图11是sigmoid函数的例。将a设得越大则曲线越陡，阴影被加强。

根据进深推定部103所计算出的进深，按图像中的每个像素或部分区域使a变化。图9是参数强度与进深信号的对应关系图。例如根据图9所示的对应，决定a。该对应可以是在某进深的范围内取较大的值且在其以外取较小的值的梯形型、阶梯函数型、一次函数型、曲线型、或准备决定与进深对应的a的值的表、能够任意设定的方法等。此时也可以如实施例2所示，使用根据模糊量计算焦点区域、对取该区域的视差的部分决定使a最小的进深的方法。

由此，能够使画质修正处理部105的对比度修正处理中的参数按图像中的每个像素或部分区域变化，例如，能够进行对于上述关注区域强调（增强）阴影、对于其以外的区域不进行阴影强调来增强了进深的对比度修正处理。在本例中对于关注区域进行了阴影强调，但进行阴影强调的区域并不仅限于关注区域。

根据实施例5，能够进行对应于进深的对比度修正处理，并且能够进行基于对比度修正处理控制的立体感的调整。

此外，在本实施例中示出了对比度的修正处理，但也可以同样进行灰度修正处理、显示装置中的各区域的发光控制。

【实施例6】

图14表示实施例6的图像编码装置的模块图。图像编码装置130相对于实施例1或者图6所示的实施例2的图像信号处理装置，仅是参数决定部和编码处理部的处理不同，其他部分相同。

在图14中，举例对图1所示的实施例1进行了参数决定部的变更和将画质修正处理部变更为编码处理部的结构。参数决定部134进行从被输入的进深信号向影像编码参数的变换。此时也可以如实施例2所述，不仅利用进深信号，而且也可以并用模糊度。编码处理部135根据参数决定部134输出的参数进行编码处理。

作为编码处理参数的例，叙述在编码处理部135中进行量化步长（QP）调整的情况。例如在进行QP调整时，根据进深推定部133所计算出的进深，使QP按图像中的宏块或部分区域变化。例如对于位于近前的区域将QP设定得小，对于位于里侧的区域将QP设定得大等，由此与进深相应地选择滤波器。

由此，能够使编码处理部135的QP调整处理中的参数按图像中的每个宏块变化等，并且能够一边保持自然的进深感一边进行编码削减处理。

在本例中利用QP作为编码参数，但也可以利用其它编码模式、预测方式、运动矢量的调整等。

根据实施例6，能够进行与进深相应的编码处理，并能够在保持自然的立体感的状态下实现编码量削减。

此外，本实施例中仅示出了编码处理的例子，但也可以将上述画质修正和编码组合实施。

【实施例7】

图12表示有关实施例7的图像信号处理***例。

图像信号处理***由图像信号处理装置110以及与图像信号处理装置110连接的各种设备构成。具体的设备是接收广播波的天线、与服务器连接的网络、可移动介质（光盘、硬盘驱动器、半导体）等的设备。

图像信号处理装置110由图像信号处理部100、接收部111、输入部112、网络接口部113、读出部114、记录部（硬盘驱动器·半导体）115、再现控制部116、显示部117构成。

作为图像信号处理装置（部）100使用实施例1～6的图像信号处理部，作为其输入图像（原图像），将重叠于来自天线等的广播波上的图像从接收部111输入、或者从网络接口部113输入，或者将保存在可移动介质中的图像从读出部114输入。

并且，由图像信号处理装置100进行画质修正处理之后，向以显示器为代表的显示部117输出。

【实施例8】

图13表示实施例8的图像编码处理***例。

图像信号处理***由图像信号处理装置120以及与图像信号处理装置120连接的各种设备构成。具体的设备是接收广播波的天线、与服务器连接的网络、可移动介质（光盘、硬盘驱动器、半导体）等的设备。

图像信号处理装置120由图像信号处理部130、发送部121、输出部112、网络接口部123、写出部124、记录部（硬盘驱动器·半导体）125构成。

作为图像信号处理装置（部）130使用实施例1～6的图像信号处理部，在由图像信号处理装置100进行画质修正处理之后，将其输出图像（修正图像）从与来自天线等的广播波重叠地发送图像的发送部121输出、或从网络接口部123输出，或者为了将图像保存到可移动介质中而从写出部124写出图像。

Claims (14)

1.一种图像信号处理装置，其特征在于，具备：

参数决定部，在被输入了左眼用的第1图像和右眼用的第2图像的情况下，根据上述第1图像与上述第2图像之间的对应像素的位置偏移量，决定涉及图像的画质修正的参数；以及

画质修正处理部，利用上述参数，调整图像的进深感。

2.如权利要求1所述的图像信号处理装置，其特征在于，

具备进深推定部，该进深推定部根据上述第1图像与上述第2图像之间的对应像素的位置偏移量，推定图像的进深；

上述参数决定部利用来自上述进深推定部的推定结果决定参数。

3.如权利要求2所述的图像信号处理装置，其特征在于，

具备模糊度推定部，该模糊度推定部进行上述第1图像与上述第2图像之间的模糊量的推定；

上述参数决定部利用来自上述模糊度推定部和上述进深推定部的推定结果决定参数。

4.如权利要求1所述的图像信号处理装置，其特征在于，

上述图像修正处理部利用从上述参数决定部输出的参数，进行高分辨率化处理。

5.如权利要求1所述的图像信号处理装置，其特征在于，

上述图像修正处理部利用上述参数进行高频带的增强或衰减的处理。

6.如权利要求1所述的图像信号处理装置，其特征在于，

上述图像修正处理部利用上述参数进行噪声去除处理。

7.如权利要求1所述的图像信号处理装置，其特征在于，

上述图像修正处理部利用从上述参数决定部输出的参数，进行对比度修正、灰度处理或显示装置的发光控制。

8.一种图像信号处理方法，其特征在于，

在被输入了左眼用的第1图像和右眼用的第2图像的情况下，根据上述第1图像与上述第2图像之间的对应像素的位置偏移量，决定涉及画质修正的参数；

进行利用上述参数来调整图像的进深感的画质修正处理。

9.如权利要求8所述的图像信号处理方法，其特征在于，

根据上述第1图像与上述第2图像之间的对应像素的位置偏移量，进行利用视差的进深推定，利用上述进深推定的结果决定涉及画质修正的参数。

10.如权利要求8所述的图像信号处理方法，其特征在于，

推定上述第1图像与上述第2图像之间的模糊量，利用上述模糊量和进深的推定结果进行画质修正。

11.如权利要求8所述的图像信号处理方法，其特征在于，

利用上述参数进行高分辨率化处理。

12.如权利要求8所述的图像信号处理方法，其特征在于，

利用上述参数进行高频带的增强或衰减的处理。

13.如权利要求8所述的图像信号处理方法，其特征在于，

利用上述参数进行噪声去除处理。

14.如权利要求8所述的图像信号处理方法，其特征在于，

利用上述参数进行对比度修正、灰度处理或显示装置的发光控制。

Images