CN102480626A - 图像处理装置、显示装置以及图像处理方法 - Google Patents

Abstract

本发明公开了一种图像处理装置、显示装置、图像处理方法以及图像处理程序，所述图像处理装置包括：深度信息提取部、亮度提取部、对比度提取部、增益生成部以及相关性估计部。根据本发明，在为三维活动图像的每帧进行对比度调整时，估计各帧之间的相关性，从而为观察者提供一种其深度感得到适当修正的平滑三维活动图像。

Description

图像处理装置、显示装置以及图像处理方法

相关申请的交叉引用

本申请包括与2010年11月29日向日本专利局提交的日本专利申请JP2010-265647中公开的相关主题并要求其优先权，将其全部内容通过引用并入此处。

技术领域

本发明涉及图像处理装置、显示装置、图像处理方法以及图像处理程序。

背景技术

近年来，利用双眼视差以立体显示图像的技术受到关注并且已得到实现，所述的双眼视差为左眼用图像和右眼用图像之间的水平方向移位。在立体显示中，双眼视差越大，图像看起来似乎越向前侧凸出或者看起来似乎越向后侧凹陷。于是，通过增大双眼视差，可使立体显示器的输出逼真。然而，存在使观察者出现视觉疲劳的风险。

于是，为减轻观察者的视觉疲劳，提出了用于调整双眼视差的方法。例如，日本专利3749227号公报公开了一种技术，该技术为观察者提供了将双眼视差设定在不同值的多个样本图像，并使观察者作出反应以表明能否忍受所呈图像，从而调整双眼视差。此外，又例如，日本专利特开2001-238231号公报公开了一种技术，该技术根据对象的深度方向的位置，通过改变图像中的对象的模糊状态、对象的遮挡关系和对象的阴影的特征而强调深度感。

发明内容

然而，根据日本专利3749227号公报中公开的技术，为减轻观察者的视觉疲劳，基本上以减小立体感的方向和减小深度感的方向来调整双眼视差。结果，不可避免地损害真实感和/或逼真性。此外，如果从双眼三维信息中感知的立体感和深度感不同于从单眼三维信息中感知的立体感和深度感，则导致不自然性。除此之外，日本专利特开2001-238231号公报未具体说明设定何参数、将何计算公式用作设定所述参数的基础以及待设定的参数采用何值。即便基于试错法设定了值，也不能保证生成的左眼用二维图像和生成的右眼用二维图像使人感觉自然舒适。反而，生成的左眼用二维图像和生成的右眼用二维图像极有可能使人感觉不自然且不舒适，并还引起视觉疲劳。

另一方面，可利用人的一种视觉特性：该视觉特性可指示从单眼二维信息中感知的深度的程度。例如，依据作为一种单眼二维信息的空间透视法，根据物体的对比度级别，人能够凭经验感知人和物体间的距离。于是，在利用对比度分量对图像所进行的处理中，增大在前侧位置显示的对象的对比度会使该对象显示在从当前的前侧位置沿前侧方向进一步向前偏移的位置处，而减小在后侧位置显示的对象的对比度会使该对象显示在从当前的后侧位置沿后侧方向进一步向后偏移的位置处。于是，可基于这种视觉特性来调整图像的对比度分量。

这种情况下，如果所处理的图像为静止图像，则为每个图像调整对比度分量。另一方面，在所处理的图像为活动图像的情况下，如果为所有帧实施与静止图像相同的处理，则对每帧进行独立的处理，从而不存在关于前后帧之间的相关性的信息。于是，为每帧提取深度信息(视差信息)以创建视差图。因为提取出的深度信息中包括误差，故在某些情况下，即使某区域中原始帧之间在深度上实际上没有变化，但由于为该区域错误地提取了深度信息，就如该区域中原始帧之间在深度上存在变化一样。结果，在各帧之间视差图有所变化，并且在每帧中对比度调整增益略微变化。于是，某些情况下会发生诸如出现闪烁等碍眼的现象。

于是，为解决上述问题，本发明的一个目的在于提供一种图像处理装置，该装置在调整三维活动图像中各帧的对比度分量时能够估计出各帧之间的相关性。此外，本发明的另一目的在于提供一种为所述图像处理装置而设置的显示装置、一种由所述图像处理装置所采用的图像处理方法以及一种实施所述图像处理方法的图像处理程序。

为解决上述问题，本发明的一种方式提供了一种图像处理装置，该装置包括：

深度信息提取部，其用于提取输入的三维活动图像的第M帧图像的深度信息；

亮度提取部，其用于提取输入的三维活动图像的第M帧图像的亮度分量；

对比度提取部，其用于基于第M帧图像的亮度分量而提取输入的三维活动图像的第M帧图像的对比度分量；

增益生成部，其用于基于第M帧图像的对比度分量和第M帧图像的深度信息而计算用于调整第M帧图像的对比度分量的增益图CG；以及

相关性估计部，其用于计算包括第(N-1)帧和第N帧(其中N＞0)的至少两个帧的图像之间的相关值。

增益生成部由计算出的用于调整第M帧图像的对比度分量的增益图CG和计算出的相关值而估计用于调整第N帧图像的对比度分量的增益图EG。

此外，还可提供一种配置，所述配置中，第M帧由第0帧和/或第K帧构成，其中，K是作为复位周期的值的周期值的整数倍。

此外，还可提供一种配置，所述配置中，相关性估计部计算第N帧和第(N-1)帧之间的相关值，而增益生成部利用计算出的第N帧和第(N-1)帧之间的相关值而由用于调整第(N-1)帧的对比度分量的增益图EG估计用于调整第N帧的对比度分量的增益图EG。

此外，还可提供一种配置，所述配置中，相关性估计部为除第0帧外的所有帧重复进行处理，以计算第N帧和第(N-1)帧之间的相关值，而增益生成部为除第0帧外的所有帧重复进行处理，以便由计算出的相关值和用于调整第(N-1)帧的对比度分量的增益图EG而估计用于调整第N帧的对比度分量的增益图EG。

此外，还可提供一种配置，所述配置中，如果第N帧与第M帧匹配，则增益生成部对估计出的用于调整第N帧的对比度分量的增益图EG和计算出的用于调整第M帧的对比度分量的增益图CG进行叠加平均处理或利用预设权重而进行加权叠加处理，以便生成用于调整第N帧的对比度分量的增益图MG。

此外，还可提供一种配置，所述配置中，将M个帧的周期值设定为基于输入的活动图像的变化而确定的可变值。

此外，还可提供一种配置，所述配置中，输入的活动图像的运动越大，则M个帧的周期值被设定的值越小，或者，输入的活动图像的运动越小，则M个帧的周期值被设定的值越大。

此外，还可提供一种配置，所述配置中，利用运动预测技术来计算相关值。

此外，还可提供一种进一步包括空间频率分量提取部的配置，该空间频率分量提取部用于基于第M帧图像的亮度分量而提取第M帧图像的空间频率分量。在本配置中，增益生成部基于第M帧图像的对比度分量、第M帧图像的空间频率分量以及第M帧图像的深度信息而计算用于调整第M帧图像的对比度分量的增益图CG。

此外，还可提供一种进一步包括对比度调整部的配置，该对比度调整部利用计算出的用于调整对比度分量的增益图CG、估计出的用于调整对比度分量的增益图EG或生成的用于调整对比度分量的增益图MG来调整第N帧图像的对比度分量。

此外，还可提供一种进一步包括显示装置的配置，该显示装置显示其对比度分量已被图像处理装置调整的每一帧图像。

此外，为解决上述问题，本发明的另一方式提供了一种图像处理方法，该方法具有：

提取输入的三维活动图像的第M帧图像的深度信息的深度信息提取步骤；

提取输入的三维活动图像的第M帧图像的亮度分量的亮度提取步骤；

基于第M帧图像的亮度分量而提取输入的三维活动图像的第M帧图像的对比度分量的对比度提取步骤；

基于第M帧图像的对比度分量和第M帧图像的深度信息而计算用于调整第M帧图像的对比度分量的增益图CG的增益生成步骤；以及

计算包括第(N-1)帧和第N帧(其中N＞0)的至少两个帧图像之间的相关值的相关估计步骤。

增益生成步骤包括由计算出的用于调整第M帧图像的对比度分量的增益图CG和计算出的相关值而估计用于调整第N帧图像的对比度分量的增益图EG的步骤。

除此之外，为解决上述问题，本发明的又一方式提供了一种待由计算机执行的图像处理程序，该程序用于进行的处理包括：

提取输入的活动图像的第M帧图像的深度信息的深度信息提取处理；

提取输入的活动图像的第M帧图像的亮度分量的亮度提取处理；

基于第M帧图像的亮度分量而提取输入的活动图像的第M帧图像的对比度分量的对比度提取处理；

基于第M帧图像的对比度分量和第M帧图像的深度信息而计算用于调整第M帧图像的对比度分量的增益图CG的增益生成处理；以及

计算包括第(N-1)帧和第N帧(其中N＞0)的至少两个帧的图像之间的相关值的相关估计处理。

增益生成处理包括由计算出的用于调整第M帧图像的对比度分量的增益图CG和计算出的相关值而估计用于调整第N帧图像的对比度分量的增益图EG的处理。

此外，为解决上述问题，本发明的再一方式提供了一种图像处理装置，该装置具有：

相关性估计部，其用于计算两个输入连续帧的图像之间的相关值；和

增益生成部，其用于基于输入图像的对比度分量以及输入图像的深度信息而计算用于调整输入图像的对比度分量的增益图CG，并且用于由增益图CG和相关值而估计用于调整输入图像的对比度分量的增益图EG。

此外，还可提供一种配置，所述配置中，增益生成部由第(N-1)帧图像的增益图CG以及第(N-1)帧和第N帧之间的相关值而估计第N帧图像的增益图EG。

此外，还可提供一种配置，所述配置中，增益生成部由第(P-1)帧图像的增益图EG以及第(P-1)帧和第P帧之间的相关值而估计第P帧图像的增益图EG。

此外，还可提供一种配置，所述配置中，增益生成部对第Q帧图像的增益图EG和第Q帧图像的增益图CG进行叠加平均处理或利用预设权重以进行加权叠加处理，以便生成第Q帧图像的增益图MG。

此外，为解决上述问题，本发明的又另一方式提供了一种图像处理装置，该装置包括：

增益生成部，其用于基于第一帧图像的对比度分量和第一帧图像的深度信息而计算第一增益；

对比度调整部，其用于基于第一增益而调整第一帧图像的对比度分量；以及

相关性估计部，其用于计算第一帧图像和第二帧图像之间的相关值。

对比度调整部基于第一增益和相关值来调整第二帧图像的对比度分量。

如上所述，根据本发明，在为三维活动图像的每帧进行对比度调整时，估计各帧之间的相关性，从而为观察者提供一种其深度感得到适当修正的平滑三维活动图像。

附图说明

图1表示本发明的实施方式的图像处理装置的整体配置图；

图2表示由本发明的实施方式的图像处理装置所进行的对比度调整处理的流程图；

图3表示在图2所示的流程图的步骤中的进行增益图CG的计算处理的流程图；

图4表示在图2所示的流程图的步骤中进行增益图EG的估计处理的流程图；

图5为表示待由根据所述实施方式的图像处理装置处理的作为第0帧图像的典型左眼用原始图像以及待由图像处理装置处理的作为第0帧图像的典型右眼用原始图像的图；

图6为表示第0帧的典型左眼用视差图的图；

图7为表示第0帧的典型左眼用增益图CG的图；

图8为表示第1帧的典型左眼用原始图像的图；

图9为在对运动预测技术的说明中所参照的解释图；

图10为表示第0帧和第1帧之间的运动矢量的解释图；

图11为表示第1帧的典型左眼用增益图EG的图；

图12为表示第5帧的典型左眼用原始图像和第5帧的典型右眼用原始图像的图；

图13为表示第5帧的典型左眼用增益图EG的图；

图14为表示第5帧的典型左眼用视差图的图；

图15为表示第5帧的典型左眼用增益图CG的图；并且

图16为表示第5帧的典型左眼用增益图MG的图。

具体实施方式

下面，参照附图来说明本发明的实施方式。应当注意，在本发明的说明书和附图中，具备实际相同的功能性配置的构成元件各由相同的附图标记表示，从而对所述构成元件仅需说明一次。于是，可避免重复说明。

还应当注意，以下列章节说明实施方式。

第一实施方式

图像处理装置的功能性配置

活动图像和帧相关性

图像处理装置的操作

对比度调整处理

增益图CG_N的计算处理

增益图EG_N的估计处理

增益图MG_N的生成处理

第一实施方式

图像处理装置的功能性配置

首先，参照图1的功能性框图来说明一个实施方式的图像处理装置10的功能性配置。

如图所示，图像处理装置10包括：图像输入部11、亮度提取部12、深度信息提取部13、空间频率分量提取部14、对比度提取部15、增益生成部16、对比度调整部17、图像处理部18、图像输出部19以及相关性估计部20。

图像处理装置10进行处理以调整输入的三维活动图像的每帧图像的对比度分量，从而强化或弱化每帧图像的深度感。本例子中，三维图像是使观察者能够感知三维图像的二维图像。在本实施方式中，三维活动图像的每帧图像都构成三维图像。

图像输入部11从外部信源接收三维活动图像，并将每个输入帧的三维活动图像提供给亮度提取部12。从外部信源接收的三维活动图像的数据格式有多种。然而，图像输入部11能够接收任意数据格式的三维活动图像。数据格式的典型例子为第一数据格式、第二数据格式和第三数据格式。在第一数据格式的情况下，以由左眼用图像L和右眼用图像R构成的立体图像的形式来接收三维活动图像。在第二数据格式的情况下，以由至少三个视点图像构成的多视点图像的形式来接收三维活动图像。在第三数据格式的情况下，以二维图像和二维图像的深度信息的形式来接收三维活动图像。

在以下说明中，当被指定为处理对象时，图像或亮度图像意味着在第一数据格式的情况下的左眼用图像L和右眼用图像R，意味着在第二数据格式的情况下的多个视点图像之一，或者意味着在第三数据格式的情况下的二维图像和二维图像的深度信息。

亮度提取部12提取输入的三维活动图像的第M帧图像的亮度分量。第M帧由第0帧和第K帧构成，其中，K是作为复位周期的值的周期值的整数倍。在后面详述所述周期值。

例如，如果图像由RGB颜色坐标系的线性RGB值表示，则亮度提取部12根据符合ITU-R BT709标准的下列等式(1)而将RGB值转换为亮度值Y，从而提取输入的三维活动图像的亮度分量：

Y＝0.2126R+0.7152G+0.0722B...(1)

根据等式(1)，以像素的亮度值Y表示的图像被称作亮度图像。应当注意，所述图像不是必须由亮度值Y(或RGB信号)表示。例如，所述图像还可由CIE XYZ颜色坐标系的XYZ值表示。在本例子中，以亮度值Y表示的图像作为亮度图像。此外，不必须根据等式(1)进行亮度值的提取。即，还可采用其他技术来提取亮度值。

深度信息提取部13提取输入的三维活动图像的第M帧图像的深度信息，并生成视差图。具体来说，图像输入部11可将输入的三维活动图像提供给深度信息提取部13，然后，深度信息提取部13提取被视为处理对象的输入的三维活动图像的第M帧图像的深度信息，或者，亮度提取部12将作为处理对象的亮度信号提供给深度信息提取部13。

如果三维活动图像作为具有第一数据格式的立体图像而接收，则深度信息提取部13计算所谓的双眼视差，该双眼视差为立体图像上的各个对应点之间的图像移位。然后，深度信息提取部13基于计算出的双眼视差来近似计算深度信息。通过采用诸如块匹配技术或DP匹配技术等技术，深度信息提取部13能够计算双眼视差。

此外，如果三维活动图像作为具有第二数据格式的多视点图像而接收，则深度信息提取部13对选自三个以上视点图像的两个视点图像的双眼视差进行计算，然后，基于计算出的双眼视差来近似计算深度信息。

除此之外，如果三维活动图像作为具有第三数据格式和二维图像深度信息的二维图像而接收，则深度信息提取部13接收深度信息本身。于是，深度信息提取部13仅提取深度信息。

空间频率分量提取部14基于由亮度提取部12提取的亮度分量而提取三维活动图像的预定空间频率分量。空间频率分量提取部14通常利用加博滤波器(Gabor filter)，从而能够提取预定空间频率分量。加博滤波器据说与视觉***的信号响应特性相近似，并且具有由下列等式(2)表示的函数g(x，y，λ，θ，ψ，σ，γ)：

$g(x,y,\mathrm{\λ},\mathrm{\θ},\mathrm{\ψ},\mathrm{\σ},\mathrm{\γ})=\exp (-\frac{{(x\cos \mathrm{\θ}+y\sin \mathrm{\θ})}^2+{\mathrm{\γ}}^2{(-x\sin \mathrm{\θ}+y\cos \mathrm{\θ})}^2}{2{\mathrm{\σ}}^2})\cos (2\mathrm{\π}\frac{x\cos \mathrm{\θ}+y\sin \mathrm{\θ}}{\mathrm{\λ}}+\mathrm{\ψ})...\left(2\right)$

在等式(2)中，符号x和y代表亮度图像的坐标值，而符号λ代表与空间频率对应的波长。符号θ和ψ分别代表方位方向和相位。符号σ代表高斯分布的方差，而符号γ代表谱比。而且，这种情况下，通过作为白色和黑色的明暗变化(对比度)的进入人眼的1°视觉内的明暗变化(对比度)来定义空间频率。空间频率的单位为cpd(周/度，cycle per degree)。

例如，空间频率分量提取部14对作为加博滤波器函数的由等式(2)表示的函数g(x，y，λ，θ，ψ，σ，γ)并且对由亮度提取部12提取的亮度图像的亮度Y进行卷积积分，其中，符号λ代表预定波长。空间频率分量提取部14进行这种卷积积分，以便对关于在亮度图像的哪个区域中包括哪个空间频率分量的信息进行提取。

应当注意，对亮度图像的每个区域中包括的空间频率分量进行提取的方法不必须是上述方法。例如，还可采用傅立叶变换等对亮度图像的每个区域中包括的空间频率分量进行提取。然而，在这种情况下，为提取亮度图像的每个区域中包括的空间频率分量，必需对亮度图像进行分区，然后对每个区域进行傅立叶变换。此外，空间频率分量提取部14所进行的处理是为每个预定的空间频率改变对比度调整部17所适用的评价函数的必要处理。于是，如果与对比度调整部17所适用的评价函数相同的评价函数适用于全部亮度图像，则可省略空间频率分量提取部14所进行的处理。

应当注意，就评价函数而言，在日本专利特开2009-270077号公报中所述的关于评价函数的信息也可适用于本专利申请的说明书。

对比度提取部15通过将亮度提取部12提取的亮度分量用作三维活动图像的亮度分量，从而提取三维活动图像的对比度分量。例如，对比度提取部15将水平尺寸×垂直尺寸为n个像素×m个像素(其中，n和m均之2)的区域作为处理单位区域，该处理单位区域为对比度提取部15提取对比度分量的处理单位。对比度提取部15通过将处理单位区域通常从亮度图像的左上端位置沿光栅扫描方向而移动与一次移动中预定的像素计数相对应的距离，从而为遍布整个亮度图像的多个处理单位区域的每一个计算迈克尔逊(Michelson)对比度C。

迈克尔逊对比度C由下列等式(3)定义：

$C=\frac{L_{\max }-L_{\min }}{L_{\max }+L_{\min }}...\left(3\right)$

在上述等式(3)中，符号L_max代表处理单位区域中的亮度值Y的最大值，而符号L_min代表同一处理单位区域中的亮度值Y的最小值。

应当注意，提取三维活动图像的对比度分量的方法不必须是上述方法。即，还可采用其它方法来提取三维活动图像对比度分量。此外，处理单位区域的尺寸不具体局限于特定的值。例如，处理单位区域的最佳尺寸可从视角和像素数确定。

深度信息提取部13通过将亮度提取部12提取的亮度分量用作三维活动图像的亮度分量，从而提取出三维活动图像的深度信息。然后，深度信息提取部13基于深度信息而创建具有双眼视差信息的视差图。

基于对比度提取部15所提取的对比度分量和深度信息提取部13所创建的视差图，增益生成部16计算用于改变三维活动图像的深度感的对比度调整用增益图CG。如前所述，如果空间频率分量提取部14已经提取了空间频率分量，则将空间频率分量、对比度分量和深度信息用于增益生成部16所进行的处理中，以便计算增益图CG。应当注意，在本实施方式的描述中，描述帧的每个对比度调整用增益图CG、EG、MG的所附下标代表为该帧分配的编号(帧号)。例如，用于帧号为N的帧的对比度调整用的增益图CG、EG、MG分别由CG_N、EG_N、MG_N表示，其中，符号N为上文所述的下标，并且符号CG、EG、MG分别表示该增益图是通过计算、估计和由CG、EG复合而成的。

以下说明描述了在未提取空间频率分量的情况下由增益生成部16进行的处理。首先，基于视差图中包括的深度信息，增益生成部16识别出三维亮度图像的后侧区域和三维亮度图像的前侧区域。这种情况下，被分成后侧区域和前侧区域的区域的最小单位的尺寸基本上等于对比度提取部15在计算迈克尔逊对比度C时所使用的处理单位区域的尺寸。对于后侧区域和前侧区域中包括的全部处理单位区域，增益生成部16由迈克尔逊对比度C计算目前存在输入图像的主观深度量D。

由于迈克尔逊对比度C和主观深度量D之间存在单调性关系，因此，例如为了计算三维活动图像的深度感，最好调整亮度图像的对比度分量以增加迈克尔逊对比度C。由计算出的主观深度量D和预定的深度量来确定经对比度分量调整后的处理单位区域的主观深度量D。即，增益生成部16为全部处理单位区域而由当前的主观深度量D和图像的深度信息确定乘数，该乘数待与用作被乘数的当前的迈克尔逊对比度C相乘，并且由确定结果创建增益图。

对比度调整部17利用包含在增益图中的增益作为用于调整对比度分量的增益，以便调整三维活动图像的对比度分量。于是，可利用空间透视法进行图像显示控制，所述空间透视法通过提高图像区域的对比度而使该区域看上去在前侧，并通过降低图像区域的对比度而使所述区域看上去在后侧。

图像处理部18基于对比度调整部17产生的调整结果而生成对比度分量调整后的亮度图像。具体来说，图像处理部18对每个处理单位区域中包括的作为对比度分量调整后的分量的每个空间频率分量的光谱强度进行傅立叶反变换，从而计算每个处理单位区域进行了对比度分量调整后的亮度图像。

图像输出部19将由图像处理部18生成的亮度图像与输入图像的原来的色彩信息组合而得到的图像转换为三维图像，所述三维图像的帧与提供给图像输入部11的帧相同，并且将所述三维图像提供给显示装置30。如果已指定输出三维图像的数据格式，则图像输出部19可在三维图像的数据格式转换为指定数据格式后，将三维图像提供给显示装置30。应当注意，用于显示活动图像的显示装置30可与图像处理装置10集成为一体或与图像处理装置10分开设置。如果显示装置30与图像处理装置10分开设置，则显示装置30和图像处理装置10可利用网络彼此连接。

以上说明描述了一种基于视觉特性的定量关系的用于调整图像的对比度分量的技术，所述定量关系指示从单眼三维信息感知的深度的程度。

活动图像和帧相关性

如果所处理的图像为静止图像，则如上所述，为每个三维图像调整对比度分量。然而，在所处理的图像为活动图像的情况下，如果对所有帧实施与静止图像相同的处理，则为每帧进行独立的处理，从而不存在前后帧之间的连续性的信息。于是，为每帧提取深度信息(视差)以创建视差图。因为提取出的深度信息中包括误差，故在某些情况下，即使某区域中，原始帧之间在深度上实际上没有变化，但为该区域错误地提取了深度信息，就如该区域中原始帧之间在深度上存在变化一样。结果，在各帧之间视差图有所变化，并且在每帧中对比度调整增益略微变化。于是，某些情况下会发生诸如出现闪烁等碍眼的现象。

为解决上述问题，相关性估计部20通过采用运动预测技术而计算两个连续帧的图像之间的相关值。例如，第(N-1)帧和第N帧(其中N＞0)为两个连续帧。这种情况下，通过采用运动预测技术，相关性估计部20由第(N-1)帧图像和第N帧图像之间的运动矢量计算第(N-1)帧图像和第N帧图像之间的相关值。运动预测技术是这样一种技术，即，在观察各帧之间的相关性的同时，估计关于帧中的图像对象正在运动的方向的信息以及关于该对象正在运动的距离长度的信息。例如，在图9所示的典型情况下估计运动矢量。该运动矢量表示以第(N-1)帧的右眼用或左眼用像素P_N-1为基准时的第N帧的右眼用或左眼用像素P_N的状态。相关性估计部20从运动矢量的方向和该矢量的长度识别出像素P的第(N-1)帧和第N帧之间的每个相关性。于是，相关性估计部20能够估计出在下一帧中对象运动至一位置的信息以及该位置的信息。相关性估计部20能够由两个连续帧而为图像中包括的每个像素计算运动矢量。运动预测技术的典型例包括块匹配法和梯度法。

根据上述技术，当调整三维活动图像中每帧的对比度分量时，估计各帧之间的相关性，以避免发生诸如出现闪烁等碍眼的现象。于是，可为观察者提供其深度感得到适当修正的平滑的三维活动图像。

相关性估计部20为除第0帧外的所有帧重复进行处理，以便由第N帧图像和第(N-1)帧图像(其中N＞0)计算相关值。增益生成部16为除第0帧外的所有帧重复进行处理，以便由计算出的相关值和第(N-1)帧的对比度调整用的增益图EG估计第N帧的对比度调整用的增益图EG。例如，增益生成部16为除第0帧外的所有帧重复进行处理，即，由计算出的第P帧和第(P-1)帧之间的相关值并由第(P-1)帧的对比度调整用的增益图EG_P-1而估计第P帧的对比度调整用的增益图EG_P。例如，在第N帧的情况下，即，对于N＝1，增益生成部16由相关值和增益图CG₀估计出增益图EG₁。

如上所述，M个帧的复位周期值为复位周期。然而，在本实施方式中，如果假设复位周期值设定为5，则增益生成部16重复进行处理，以便由计算出的第N帧和第(N-1)帧之间的相关值并由第(N-1)帧的对比度调整用的增益图EG_N-1而估计第N帧的对比度调整用的增益图EG_N，直到用作处理对象的第N帧变成第K帧(其中，K等于复位周期M(＝5)的整数倍)为止。

当用作处理对象的第N帧变成第K帧(其中，K等于复位周期M(＝5)的整数倍)时，增益生成部16基于上述处理所提取的视差图而计算第5帧的增益图CG_N。然后，增益生成部16进行这种处理，即，将计算出的第5帧的增益图CG_N与估计出的第5帧的增益图EG_N叠加以求和，并由该和值计算第5帧的平均增益图MG_N。或者，增益生成部16利用预设权重对计算出的第5帧的增益图CG_N和估计出的第5帧的增益图EG_N进行加权叠加，以求出第5帧的增益图MG_N。例如，在第Q帧的情况下，增益生成部16进行处理，以将计算出的第Q帧的增益图CG_Q与估计出的第Q帧的增益图EG_Q叠加以求和，并且由该和值计算第Q帧的平均增益图MG_Q。或者，增益生成部16利用预设权重而对计算出的第Q帧的增益图CG_Q和估计出的第Q帧的增益图EG_Q进行加权叠加，以求出第Q帧的增益图MG_Q。

例如，如果场景突然发生变化，则可以相信，用作关于各帧之间的连续性的信息的基于运动矢量的信息包括了大量误差。于是，当用作处理对象的第N帧变成第K帧(其中K等于复位周期M的整数倍)时，将用作关于各帧之间的连续性的信息的基于运动矢量的信息复位。此外，增益生成部16进行处理以将计算出的增益图CG_N与估计出的增益图EG_N叠加以求和，并由该和值计算平均增益图MG_N。或者，增益生成部16利用预设权重对计算出的增益图CG_N和估计出的增益图EG_N进行加权叠加，以便求出增益图MG_N。因此，可在减少闪烁次数的同时，防止在关于各帧之间的连续性的信息中包括误差。

应当注意，由用于执行程序的专用控制设备或CPU发出对各部的指令。图中未图示CPU。后述的由CPU执行以进行对比度调整处理的程序已经预先存储在未图示的ROM和非易失性存储器之任一个中。CPU从ROM和非易失性存储器中读出程序并执行所述程序，以便实施亮度提取部12、深度信息提取部13、空间频率分量提取部14、对比度提取部15、增益生成部16、对比度调整部17、图像处理部18以及相关性估计部20的功能。

图像处理装置的操作

下面，参照图2～4所示的流程图来说明图像处理装置10所进行的对比度调整处理。图2表示代表本发明的实施方式的图像处理装置10所进行的对比度调整处理的流程图，而图3表示代表在图2所示的流程图的步骤中所进行的增益图CG的计算处理的流程图。图4表示描述在图2所示的流程图的步骤中所进行的增益图EG的估计处理的流程图。在对图2～4所示的每个流程图的每个步骤的说明中，若必要时，还可参照图5～16。

对比度调整处理

图2中所示的流程图以步骤S205开始，在该步骤中，图像输入部11输入三维活动图像。例如，图像输入部11从第0帧开始，依次输入数据类型为第一数据类型、第二数据类型和第三数据类型之一的三维活动图像的帧。此外，为用作处理对象的帧而指定的编号N设定为0。

图5为图示了作为第0帧原始图像的典型原始图像的图，每个所述典型原始图像作为具备第一数据类型的图像而接收。具备第一数据类型的图像由左眼用图像31L和右眼用图像31R构成。从第0帧开始，逐帧地依次接收所述图像。应当注意，图像图示了在游乐园中登上转轮的人在旋转的同时上下运动。图像的背景各图示了建筑物及其他景点。

增益图CG_N的计算处理

然后，在下一步骤S210中，进行增益图CG_N(计算值)的计算处理。具体来说，在图3所示的流程图的步骤中进行增益图CG_N(计算值)的计算处理。如图所示，流程图从步骤S305开始，其中，亮度提取部12从第N帧的左眼用图像31L和同一帧的右眼用图像31R中提取亮度分量。更具体地，亮度提取部12从第0帧的左眼用图像31L和同一帧的右眼用图像31R中提取亮度分量。然后，在下一步骤S310中，基于由亮度提取部12从第0帧的左眼用图像31L和同一帧的右眼用图像31R中提取的亮度分量，对比度提取部15提取图像的对比度分量以作为用于左眼和右眼的对比度分量。

接下来，在下一步骤S315中，基于左眼用图像31L和右眼用图像31R的亮度分量，空间频率分量提取部14从每个所述图像中提取预定的空间频率分量。然后，在下一步骤S320中，深度信息提取部13提取第0帧的左眼用图像31L和同一帧的右眼用图像31R的深度信息。接下来，基于提取出的对比度分量、提取出的深度信息以及提取出的空间频率分量，空间频率分量提取部14生成具备视差信息的视差图。图6为表示由作为具备第一数据格式的帧而接收的第0帧的典型左眼用图像或第0帧亮度图像而创建的用作第0帧的典型左眼用视差图的典型左眼用视差图32L的图。

接下来，在作为流程图最后步骤的下一步骤S325中，增益生成部16基于视差图而计算用于改变三维活动图像的深度感的对比度调整用增益图CG。图7为表示基于第0帧的左眼用增益图32L而计算出的用作第0帧的左眼用增益图CG₀(计算值)的典型左眼用增益图33L的图。

当如上所述地完成图3所示的流程图所表示的处理时，处理流程返回至图2所示的流程图的步骤S215。在步骤S215中，检查帧号N以判断帧号N是否大于0。此时，帧号N为0。于是，处理流程前进至步骤S220，在该步骤中，对比度调整部17利用增益图CG₀(计算值)调整三维活动图像的对比度分量。然后，在下一步骤S225中，基于对比度调整部17所进行的对比度调整结果，图像处理部18生成由对比度调整部17进行的对比度调整而得到的亮度图像。然后，图像输出部19将组合图像变换为与提供给图像输入部11的三维活动图像相同的特定帧，并且将作为变换结果而得到的三维活动图像提供给显示装置30。组合图像为将图像处理部18生成的亮度图像与输入图像的原来的色彩信息进行组合而得到的图像。

然后，处理流程前进至下一步骤S230，以便判断是否已对用作处理对象的所有帧进行了处理。如果还未对用作处理对象的所有帧进行处理，则处理流程前进至步骤S235，在该步骤中对帧号N加1。在本例子中，待处理的帧所指定的帧号N变为等于1。图8为表示具备第一数据格式的所输入的第1帧的典型左眼用图像(原始图像)34L的图。

增益图EG_N的估计处理

接下来，在步骤S240中，进行增益图EG_N(估计值)的估计处理。具体来说，在图4所示的流程图的步骤中进行增益图EG_N(估计值)的估计处理。如该图所示，流程图从步骤S405开始，在该步骤中，相关性估计部20将图5所示的图像用作第0帧图像并将图8所示的图像用作紧接着第0帧的第1帧图像，以便形成两个连续帧，从而采用块匹配法或梯度法而估计图9所示的运动矢量以作为两个连续帧的每两个对应像素之间的运动矢量。图10为表示利用箭头使第0帧和第1帧之间的每个运动矢量清晰可见的左眼用图像35L的解释图。

然后，在下一步骤S410中，增益生成部16利用运动矢量而由第0帧的增益图CG₀估计出第1帧的增益图EG₁(估计值)。图11表示作为第1帧的左眼用增益图EG₁(估计值)的由附图标记36L表示的典型左眼用增益图EG₁(估计值)。

在上述图4所示的流程图的步骤S410的处理完成后，处理流程再次返回至图2所示的流程图的步骤S245。在步骤S245中，检查帧号N以判断帧号是否为周期值的整数倍。在本例子中，因为周期值为5，而帧号N为1，故帧号N不是周期值的整数倍。于是，处理流程又前进至步骤S250，在该步骤中，对比度调整部17利用增益图EG₁(估计值)而调整三维活动图像的对比度分量。然后，在下一步骤S225中，基于对比度调整部17所进行的对比度调整结果，图像输出部19将作为对比度分量的调整结果而得到的亮度图像变换为与提供给图像输入部11的三维活动图像相同的三维活动图像的特定帧，并且将作为变换结果而得到的三维活动图像提供给显示装置30。

重复进行步骤S230～S250和步骤S225的处理，直到步骤S245中帧号N等于周期值的整数倍为止。应当注意，在步骤S410中，对于第2帧和第2帧以后的帧，增益生成部16由第(N-1)帧的增益图EG_N-1而估计第N帧的增益图EG_N(估计值)。

增益图MG_N的生成处理

首先，如上所述，在步骤S240中已进行增益图EG_N(估计值)的估计处理。结果，生成了第5帧的增益图EG₅(估计值)。图13为表示作为第5帧的增益图的由附图标记38L表示的典型左眼用增益图EG₅(估计值)的图。

接下来，因为在步骤S245中，帧号N等于周期值的整数倍，故处理流程从步骤S245前进至步骤S255，在步骤S255中，增益生成部16以与前述步骤S210同样的方式进行处理，以便基于图12所示的作为第5帧的图像的左眼用图像37L和右眼用图像37R而计算第5帧的增益图CG₅。

如之前参照图3所示的流程图所述，步骤S210和S255中的增益图CG_N(计算值)的计算处理包括在图3所示的流程图的步骤S305～S315中进行的各种提取。然后，在下一步骤S320中，由提取出的深度信息创建第5帧的视差图。接下来，在下一步骤S325中，增益生成部16基于视差图而计算第5帧的对比度调整用增益图CG₅。图14为表示第5帧的典型左眼用视差图39L的图，而图15为表示作为第5帧的增益图的由附图标记40L表示的典型左眼用增益图CG₅(计算值)的图。

然后，处理流程返回至图2所示的流程图的步骤S260。在步骤S260中，增益生成部16进行典型处理以将计算出的第5帧的增益图CG₅和估计出的第5帧的增益图EG₅叠加以求和，并且由该和值计算第5帧的平均增益图MG₅。作为替代处理，增益生成部16利用预设权重对计算出的第5帧的增益图CG₅和估计出的第5帧的增益图EG₅进行加权叠加，以便求出第5帧的增益图MG₅。在典型处理的情况下，根据下列等式计算第5帧的平均增益图MG₅：MG₅＝(CG₅+EG₅)/2。图16为表示作为第5帧的增益图的以附图标记41L表示的典型左眼用增益图MG₅的图。

然后，在下一步骤S265中，对比度调整部17利用增益图MG₅(生成值)来调整三维活动图像的对比度分量。接下来，在前述的下一步骤S225中，基于对比度调整部17所进行的对比度调整结果，图像处理部18生成由对比度调整部17进行对比度调整而得到的亮度图像。然后，图像输出部19将组合图像变换为与提供给图像输入部11的三维活动图像相同的特定帧，并将作为变换结果而得到的三维活动图像提供给显示装置30。组合图像为将由图像处理部18生成的亮度图像与输入图像的原来的色彩信息进行组合而得到的图像。对所有帧重复进行上述处理，直到处理完最后一帧为止。

如上所述，根据本实施方式的由图像处理装置10所实施的图像处理方法，在以第0帧作为第一处理对象的情况下，进行提取深度信息的处理、提取对比度分量的处理以及提取空间频率分量的处理以求出增益图CG₀，并且基于增益图CG₀进行调整对比度分量的处理。

另一方面，如果处理对象为第1帧或随后的帧，则由沿时间轴连续的两个帧估计出运动矢量的方向和该矢量的长度，以便分别识别出所述两个帧的每两个对应像素之间的相关性，从而推测表明下一帧中哪个对象运动至哪个位置的信息。如果从这种信息中已知每个对象的运动，则可基于各帧之间的相关性而将关于前一帧的对象的信息传递给后一帧，于是通过这样的一系列信息而估计出的增益图EG_N可用于调整后一帧的对比度分量的处理。关于前一帧的对象的信息的典型例子包括深度信息和对比度分量。于是，如果为每帧独立地进行对第0帧所实施的提取深度信息的处理、提取对比度分量的处理以及提取空间频率分量的处理，则在某些情况下可发生诸如出现闪烁等碍眼的现象。然而，本实施方式能够避免这种现象。因此，可为观察者提供一种其深度感得到适当修正的平滑三维活动图像。

如上所述，如果用作处理对象的第N帧不是第K帧(其中，K是为上述复位周期的值的周期值M的整数倍)，则采用运动预测技术而由当前帧的对象的运动来预测下一帧的对象的运动。于是，不必为每帧重复进行前述的提取深度信息的处理、提取对比度分量的处理以及提取空间频率分量的处理。特别地，深度信息的计算需要大的处理负荷。于是，通过省略这几种处理，可减轻为随后的帧进行处理所强加的负荷。

然而，例如，如果场景突然发生变化，则可相信，用作关于各帧之间的连续性的信息的基于运动矢量的信息包括了大量误差。于是，当用作处理对象的第N帧变为第K帧(其中K等于复位周期M的整数倍)时，将用作关于各帧之间的连续性的信息的基于运动矢量的信息复位。此时，增益生成部16不是对关于各帧之间的连续性的信息进行完全复位，而是进行处理以将用作前一帧的连续性的信息的估计出的增益图EG_N与新计算出的增益图CG_N叠加以求和，并由用作前一帧的连续性的信息的估计出的增益图EG_N和新计算出的增益图CG_N之和来计算平均增益图MG_N。或者，增益生成部16利用预设权重对新计算出的增益图CG_N和估计出的增益图EG_N进行加权叠加，从而求出增益图MG_N。这样，除了别的要素之外，可由预测出的运动矢量的信息、图像的对比度分量的信息、图像的深度的信息以及图像的空间频率分量的信息等求出增益图MG_N。通过求出增益图MG_N，可降低各帧之间的连续性的信息中包括的误差的数量以及诸如出现闪烁等碍眼的现象的数量。因此，利用增益图MG_N可以以高的精度来调整图像的对比度分量。

应当注意，M个帧的周期值M可设定为根据输入的三维活动图像的变化而变化的值。通常，输入的三维活动图像的变化越大，M个帧的周期值M越小。换言之，输入的三维活动图像的变化越小，M个帧的周期值M越大。如果图像几乎不动，例如场景图像，则M个帧的周期值M可设定为10以用于10个帧。10这个值是在前后帧之间的连续性的信息中引入误差的频率低的推测的基础上确定的。另一方面，如果在图像中存在大量运动，例如体育活动图像，则M个帧的周期值M可设定为1或2以分别用于1个帧或2个帧。值1或2是在前后帧之间的连续性的信息中引入误差的频率高的推测的基础上确定的。然而，周期值M所设定的值越小，则处理负荷越大。

此外，还可为输入的三维活动图像的每个内容设定M个帧的周期值M。还存在优选使内容的周期值M可变的情况。例如，如果视频内容包括剧烈运动的场景和缓慢运动的场景，则对于缓慢运动的场景，周期值M设定为大的值，而另一方面，对于剧烈运动的场景，周期值M设定为小的值。以此方式，用于同样内容的周期值M可设定为不同值。

在上述实施方式的图像处理装置10中，由图像处理装置10中采用的部件所进行的操作(或处理)彼此关联。因此，考虑到各操作或各处理之间的关联，所述各操作或各处理可由一系列操作或一系列处理来替代。于是，图像处理装置10的实施方式可实现为图像处理方法的实施方式以及由计算机所执行的图像处理程序的实施方式，以实现图像处理装置10的功能。

因此，可提供一种图像处理方法，该方法具有：

提取输入的三维活动图像的第M帧图像的深度信息的深度信息提取步骤；

提取输入的三维活动图像的第M帧图像的亮度分量的亮度提取步骤；

基于第M帧图像的亮度分量提取输入的三维活动图像的第M帧图像的对比度分量的对比度提取步骤；

基于第M帧图像的对比度分量和第M帧图像的深度信息而计算用于调整第M帧图像的对比度分量的增益图CG的增益生成步骤；以及

计算包括第(N-1)帧和第N帧(其中N＞0)的至少两个帧的图像之间的相关值的相关估计步骤。

增益生成步骤包括由计算出的用于调整第M帧图像的对比度分量的增益图CG和计算出的相关值而估计用于调整第N帧图像的对比度分量的增益图EG的步骤。

此外，还可提供一种由计算机执行的图像处理程序，该程序进行的处理包括：

提取输入的三维活动图像的第M帧图像的深度信息的深度信息提取处理；

提取输入的三维活动图像的第M帧图像的亮度分量的亮度提取处理；

基于第M帧图像的亮度分量而提取输入的三维活动图像的第M帧图像的对比度分量的对比度提取处理；

基于第M帧图像的对比度分量和第M帧图像的深度信息而计算用于调整第M帧图像的对比度分量的增益图CG的增益生成处理；并且

计算包括第(N-1)帧和第N帧(其中N＞0)的至少两个帧的图像之间的相关值的相关估计处理。

增益生成处理包括由计算出的用于调整第M帧图像的对比度分量的增益图CG和计算出的相关值而估计用于调整第N帧图像的对比度分量的增益图EG的处理。

以上参照附图详述了本发明的优选实施方式。然而，本发明的实施决不限于所述实施方式。显然，本发明所属领域的技术人员在本申请文件所附的权利要求书的范围中所记载的技术思想的范畴内，能够想到对实施方式作出的各种典型变化以及对实施方式的各种典型修改。然而，每个所述典型变化和每个所述典型修改也当然分别属于落入本发明的权利要求书的范围内的变化和修改。

例如，根据上述实施方式所提供的作为估计运动矢量方法的典型方法，可用第N帧的三维活动图像和紧接着第N帧的第(N-1)帧的三维活动图像之间的相关值来估计各图像之间的运动矢量。然而，本发明所提供的作为估计运动矢量技术的每项技术决不限于该典型方法。例如，不仅可利用第N帧图像和紧接着第N帧的第(N-1)帧图像之间的相关值，还可利用第N帧图像和诸如第(N-1)帧与第(N-2)帧等多个前帧的图像之间的相关值来估计运动矢量。这种情况下，如下所述，利用前帧以求出相关值。例如，使用第(N-1)帧图像和第(N-2)帧图像以求出第(N-1)帧的三维活动图像和第(N-2)帧的三维活动图像之间的相关值。然后，使用第N帧图像和第(N-1)帧图像以求出第N帧的三维活动图像和第(N-1)帧的三维活动图像之间的相关值。最后，由所述相关值估计出第N帧的运动矢量。

周期值可设定为1。在这种情况下，为每帧计算增益图CG，并且还为每帧估计增益图EG。

此外，在复位周期内，以与第1帧同样的方式，还可由计算出的用于调整第M帧的对比度分量的增益图CG和相关值而估计用于调整第N帧的对比度分量的增益图EG。例如，在本实施方式的复位周期内，使用了增益图MG。然而，还可使用增益图EG。

应当注意，在本实施方式中，当然可以流程图中所述的顺序而沿时间轴依次进行每个流程图中所述步骤的处理。然而，每个流程图中所述步骤的处理不必是以流程图中所述的顺序而沿时间轴依次进行的处理。例如，所述处理还可包括彼此并存或彼此独立进行的处理。此外，毋庸多言，沿时间轴依次进行的处理的顺序在某些情况下可适当变化。

本领域的技术人员应当明白，在不脱离所附权利要求及其等同物的范围内，取决于设计需要和其它因素可出现各种变化、组合、子组合和替代。

Claims (17)

1.一种图像处理装置，其包括：

深度信息提取部，其用于提取输入的活动图像的第M帧的图像的深度信息；

亮度提取部，其用于提取所述输入的活动图像的所述第M帧的图像的亮度分量；

对比度提取部，其用于基于所述第M帧的图像的亮度分量而提取所述输入的活动图像的所述第M帧的图像的对比度分量；

增益生成部，其用于基于所述第M帧的图像的对比度分量和所述第M帧的图像的深度信息而计算用于调整所述第M帧的图像的对比度分量的增益图CG；以及

相关性估计部，其用于计算包括第(N-1)帧和第N帧的至少两个帧的图像之间的相关值，这里，N＞0，

其中，所述增益生成部由所述计算出的用于调整所述第M帧的图像的对比度分量的增益图CG和所述计算出的相关值而估计用于调整所述第N帧的图像的对比度分量的增益图EG。

2.如权利要求1所述的图像处理装置，其中，所述第M帧包含第0帧和第K帧的至少一个，这里，K是作为复位周期的值的周期值的整数倍。

3.如权利要求2所述的图像处理装置，其中，

所述相关性估计部计算所述第N帧的图像和所述第(N-1)帧的图像之间的相关值，而

所述增益生成部利用所述第N帧的图像和所述第(N-1)帧的图像之间的所述计算出的相关值，由用于调整所述第(N-1)帧的对比度分量的增益图EG来估计用于调整所述第N帧的对比度分量的增益图EG。

4.如权利要求3所述的图像处理装置，其中，

所述相关性估计部为除所述第0帧外的所有帧重复进行处理，以计算所述第N帧的图像和所述第(N-1)帧的图像之间的相关值，而

所述增益生成部为除所述第0帧外的所有帧重复进行处理，以便由所述计算出的相关值以及用于调整所述第(N-1)帧的图像的对比度分量的增益图EG来估计用于调整所述第N帧的图像的对比度分量的增益图EG。

5.如权利要求2所述的图像处理装置，其中，当所述第N帧与所述第M帧匹配时，所述增益生成部对所述估计出的用于调整所述第N帧的图像的对比度分量的增益图EG和所述计算出的用于调整所述第M帧的图像的对比度分量的增益图CG进行叠加平均处理或利用预设权重进行加权叠加处理，以便生成用于调整所述第N帧的图像的对比度分量的增益图MG。

6.如权利要求2所述的图像处理装置，其中，M个帧的所述周期值设定为基于所述输入的活动图像的变化而确定的可变值。

7.如权利要求6所述的图像处理装置，其中，所述输入的活动图像的运动越大，则所述M个帧的所述周期值所设定的值越小，或者，所述输入的活动图像的运动越小，则所述帧的所述周期值所设定的值越大。

8.如权利要求1所述的图像处理装置，其中，所述相关性估计部利用运动预测技术而计算所述相关值。

9.如权利要求1所述的图像处理装置，其中，

所述图像处理装置还包括空间频率分量提取部，该空间频率分量提取部用于基于所述第M帧的图像的亮度分量而提取所述第M帧的图像的空间频率分量，并且

所述增益生成部基于所述第M帧的图像的对比度分量、所述第M帧的图像的空间频率分量以及所述第M帧的图像的深度信息而计算用于调整所述第M帧的图像的对比度分量的增益图CG。

10.如权利要求5所述的图像处理装置，所述图像处理装置还包括对比度调整部，该对比度调整部用于利用所述计算出的用于调整对比度分量的增益图CG、所述估计出的用于调整对比度分量的增益图EG或所述生成的用于调整对比度分量的增益图MG来调整所述第N帧的图像的对比度分量。

11.一种包括如权利要求10所述的图像处理装置的显示装置，所述显示装置显示对比度分量已被所述图像处理装置调整的每个帧的图像。

12.一种图像处理方法，该方法包括：

提取输入的活动图像的第M帧的图像的深度信息的深度信息提取步骤；

提取所述输入的活动图像的所述第M帧的图像的亮度分量的亮度提取步骤；

基于所述第M帧的图像的亮度分量以提取所述输入的活动图像的所述第M帧的图像的对比度分量的对比度提取步骤；

基于所述第M帧的图像的对比度分量和所述第M帧的图像的深度信息而计算用于调整所述第M帧的图像的对比度分量的增益图CG的增益生成步骤；以及

计算包括第(N-1)帧和第N帧的至少两个帧的图像之间的相关值的相关估计步骤，这里，N＞0，

其中，所述增益生成步骤包括由所述计算出的用于调整所述第M帧的图像的对比度分量的增益图CG和所述计算出的相关值而估计用于调整所述第N帧的图像的对比度分量的增益图EG的步骤。

13.一种图像处理装置，其包括：

相关性估计部，其用于计算两个输入连续帧的图像之间的相关值；以及

增益生成部，其用于基于所述输入图像的对比度分量和所述输入图像的深度信息而计算用于调整输入图像的对比度分量的增益图CG，并且由所述增益图CG和所述相关值而估计用于调整所述输入图像的对比度分量的增益图EG。

14.如权利要求13所述的图像处理装置，其中，所述增益生成部由第(N-1)帧的图像的增益图CG以及所述第(N-1)帧的图像和第N帧的图像之间的相关值而估计第N帧的图像的增益图EG。

15.如权利要求14所述的图像处理装置，其中，所述增益生成部由第(P-1)帧的图像的增益图EG以及所述第(P-1)帧的图像和第P帧的图像之间的相关值而估计第P帧的图像的增益图EG。

16.如权利要求14或15所述的图像处理装置，其中，所述增益生成部对第Q帧的图像的增益图EG和所述第Q帧的图像的增益图CG进行叠加平均处理或利用预设权重来进行加权叠加处理，以便生成所述第Q帧的图像的增益图MG。

17.一种图像处理装置，其包括：

增益生成部，其用于基于第一帧的图像的对比度分量和所述第一帧的图像的深度信息而计算第一增益；

对比度调整部，其用于基于所述第一增益而调整所述第一帧的图像的对比度分量；以及

相关性估计部，其用于计算所述第一帧的图像和第二帧的图像之间的相关值，

其中，所述对比度调整部基于所述第一增益和所述相关值以调整所述第二帧的图像的对比度分量。

Images