CN102547356A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

本发明提供了图像处理装置、图像处理方法和程序。图像处理装置包括：图像输入单元，输入二维图像信号；深度信息输出单元，输入或生成深度信息；深度信息可靠度输出单元，输入或生成深度信息输出单元输出的深度信息的可靠度；图像转换单元，输入图像信号、深度信息和深度信息可靠度，并且生成和输出用于实现双眼立体视觉的左眼图像和右眼图像；以及图像输出单元，输出左眼图像和右眼图像，其中图像转换单元具有执行左眼图像和右眼图像中的至少一个的图像生成的配置，并且在图像转换期间执行应用深度信息和深度信息可靠度作为转换控制数据的转换处理。

Description

图像处理装置、图像处理方法和程序

技术领域

本公开涉及图像处理装置、图像处理方法和程序，具体而言涉及对二维图像执行图像转换并且生成符合立体视觉(stereoscopic vision)的双眼视差图像(binocular parallax image)的图像处理装置。

背景技术

关于将二维图像转换成符合立体视觉的双眼视差图像的装置和方法，在现有技术中已经作出了各种提议。基于二维图像生成的双眼视差图像是由供左眼观察的左眼图像和供右眼观察的右眼图像这一对构成的。通过在能够分离左眼图像和右眼图像以分别呈现给观察者的左眼和右眼的显示装置上显示由这样的一对左眼图像和右眼图像构成的双眼视差图像，用户能够将该图像感知为立体图像。

联系这种图像的生成或显示处理而公开的现有技术能够基于其技术被分类成例如以下的类别。

(A)从时间轴方向上的多个二维图像生成三维图像的技术

(a1)在时间轴方向上对两个或更多个图像成像并且用这些图像中的两个替代左右对的技术

(a2)在时间轴方向上对两个或更多个图像成像并且通过确定图像内的物体的运动向量并利用物体越靠前、看起来其运动就越快且运动的距离就越大这个事实等等估计相对位置来执行背景和主要被摄体的分离等等从而来进行渲染(rendering)的技术

(B)从单个二维图像生成三维图像的技术

(b1)将一个图像在水平方向上偏移预定量并且赋予图像浮起的印象以便生成左右图像的技术

(b2)通过按边缘、颜色、亮度、直方图等等执行仅一个图像的构图(场景)分析并且估计深度来进行渲染的技术

(b3)通过利用频率成分、边缘成分等等从仅一个图像中提取左右视差成分来进行渲染的技术

(C)从二维图像的深度信息生成三维图像的技术

(c1)除了一个图像以外还通过使用测距传感器或者根据具有不同焦距的多个图像运算的方法来获得深度信息并且主要利用二维图像通过该深度信息进行空间几何渲染的技术

(c2)除了一个图像以外还通过使用测距传感器或者根据具有不同焦距的多个图像运算的方法来获得深度信息并且主要通过上述的从单个二维图像生成三维图像的方法而仅将深度信息用作辅助来生成三维图像的技术

作为从二维图像生成三维图像的技术，现有技术中提出的技术例如被分类如上。

(a1)在时间轴方向上对两个或更多个图像成像并且用这些图像中的两个替代左右对的技术

例如，日本未实审专利申请公布No.9-107562描述了以上技术。日本未实审专利申请公布No.9-107562公开了具有水平方向上的运动的运动图像的图像处理配置。具体而言，日本未实审专利申请公布No.9-107562公开了一种配置，即，将原始图像输出到左眼图像和右眼图像之一并且将已按场单位延迟的图像输出到另一个。通过这种图像输出控制，水平移动的物体被感知为比背景更靠前。

(a2)在时间轴方向上对两个或更多个图像成像并且通过确定图像内的物体的运动向量并利用物体越靠前、看起来其运动就越快且运动的距离就越大这个事实等等估计相对位置来执行背景和主要被摄体的分离等等从而来进行渲染的技术

例如，日本未实审专利申请公布No.2000-261828、日本未实审专利申请公布No.9-161074和日本未实审专利申请公布No.8-331607描述了以上技术。这些专利文献公开了通过利用诸如块匹配之类的技术从时间轴上的多个图像估计深度来生成左右视差图像的方法。

(b1)将一个图像在水平方向上偏移预定量并且赋予图像浮起的印象以便生成左右图像的技术

例如，日本未实审专利申请公布No.8-30806描述了以上技术。日本未实审专利申请公布No.8-30806提出了一种装置，其通过对静止图像或具有很小运动的图像，使左眼图像和右眼图像在水平方向上仅偏移预定量，来赋予图像浮出的印象。

另外，上述的(b1)项和

(b2)通过按边缘、颜色、亮度、直方图等等执行仅一个图像的构图(场景)分析并且估计深度来进行渲染的技术

日本未实审专利申请公布No.10-51812是公开以上技术的现有技术。日本未实审专利申请公布No.10-51812提出了一种方法，即，将图像分离成多个视差计算区域，根据每个区域中的图像的特征量计算伪深度并且基于该深度来水平偏移左眼图像和右眼图像。

另外，日本未实审专利申请公布No.2005-151534也描述了以上第(b2)项的技术。日本未实审专利申请公布No.2005-151534提出了将图像的结构拟合在相对简单的有限结构(构图)模型中的配置，并且公开了抑制不自然深度的发生的配置。

另外，日本未实审专利申请公布No.2010-63083公开了(b3)通过利用频率成分、边缘成分等等从仅一个图像中提取左右视差成分来进行渲染的技术。日本未实审专利申请公布No.2010-63083提出了通过向原始图像添加微分信号或从原始图像中减去微分信号来生成左右视差图像的方法。

另外，日本未实审专利申请公布No.2009-296272描述了(c1)除了一个图像以外还通过使用测距传感器或者根据具有不同焦距的多个图像运算的方法来获得深度信息并且主要利用二维图像通过该深度信息进行空间几何渲染的技术。日本未实审专利申请公布No.2009-296272提出了通过利用测距传感器获得深度信息来获得三维图像数据的方法。

发明内容

如上所述，已提出了各种技术作为从二维图像生成三维图像的技术。然而，迄今为止提出的技术具有例如以下问题。

关于上述(a1)的技术，对于静止图像或具有很小运动的图像，偏移了整个画面，而未表示图像内的物体的相对位置。

关于(a2)的技术，对于静止图像或具有很小运动的图像，未确定运动向量，未正确估计图像内的物体的相对位置，并且未赋予正确的视差。

在技术(b1)中，对于静止图像或具有很小运动的图像，偏移了整个画面，而未表示图像内的物体的相对位置。

关于(b2)的技术，虽然从图像的特征量估计了伪深度，但估计是基于画面中靠前的物体具有更大的锐度、更大的亮度、更大的饱和度等等这个假设来进行的，而并不一定执行了正确的估计。另外，难以从一个图像检测到详细的深度，并且不容易执行不是构图的部分(例如微小的细节，比如树枝、电缆和头发)的深度估计。因此，对于深度估计错误的部分，赋予了错误的视差。另外，由于不是所有结构(构图)都被覆盖以有限结构(构图)，所以没有本质上的解决。

关于(b3)的技术，只使用了二维图像内的频率成分(特别是高频成分)，与实际深度的相关经常很小，并且在图像内生成了不自然的深度。

关于(c1)的技术，利用现有技术难以准确测量图像内的所有像素的深度(距离)(准确度低)，并且通过使用这种深度信息的方法生成了不自然的视差。

(c2)的技术本质上与(b1)至(b3)的技术相同，但是只将深度信息用作辅助。

简言之，关于不使用深度信息的转换方法，由于只估计了深度，所出发生如下问题，即在许多情况下发生差错并且难出生成高质量的左右视差图像。

另外，关于现有的技术标准，即使使用测距传感器等等，也极难以像素单位的分辨能力获得准确的深度信息，并且通过主要使用这种不准确的深度信息的几何2D-3D转换方法难以生成高质量的左右视差图像。

如上所述，在仅从二维图像生成左右视差图像的情况、通过从二维图像估计深度信息来生成左右视差图像的情况以及从估计的深度信息和二维图像几何地生成左右视差图像的情况中，都存在一些技术问题，图像质量受深度信息的很大影响，并且难以利用现有的技术生成具有高质量立体效果的左右视差图像。

也就是说，关于使用错误的深度信息的左右视差图像生成，在要生成的图像中赋予了错误的视差，可能赋予不可调和的视差，或者出现透视偏离现实(错误)的部分，并且在立体观看时图像看起来不自然且奇怪。已经确定，使用低质量左右视差图像的立体图像不仅令人感到不自然且难以舒适地观看，而且也导致眼睛疲劳。

希望提供一种实现抑制了由于所测量或估计的深度信息的差错而导致的错误立体效果的发生的高质量左右视差图像的生成和呈现的图像处理装置、图像处理方法和程序。

根据本公开的一个实施例，提供了一种图像处理装置，包括：图像输入单元，该图像输入单元输入二维图像信号；深度信息输出单元，该深度信息输出单元以构成二维图像信号的图像区域为单位输入或生成深度信息；深度信息可靠度输出单元，该深度信息可靠度输出单元输入或生成深度信息输出单元输出的深度信息的可靠度；图像转换单元，该图像转换单元输入从图像输入单元输出的图像信号、深度信息输出单元输出的深度信息以及深度信息可靠度输出单元输出的深度信息可靠度，并且生成和输出用于实现双眼立体视觉的左眼图像和右眼图像；以及图像输出单元，该图像输出单元输出从图像转换单元输出的左眼图像和右眼图像，其中，图像转换单元具有通过对输入图像信号的图像转换处理执行左眼图像和右眼图像中的至少一个的图像生成的配置，并且在图像转换期间执行应用深度信息和深度信息可靠度作为转换控制数据的转换处理。

另外，根据本公开的图像处理装置的实施例，图像转换单元可在深度信息可靠度等于或大于预先固定的阈值并且判定可靠度高的情况下执行通过主要应用深度信息的图像转换处理来从二维图像生成左眼图像或右眼图像的处理。

另外，根据本公开的图像处理装置的实施例，图像转换单元可在深度信息可靠度小于预先固定的阈值并且判定可靠度低的情况下执行通过不使用深度信息的图像转换处理来从二维图像生成左眼图像或右眼图像的处理。

另外，根据本公开的图像处理装置的实施例，图像转换单元可执行如下处理：对输入图像信号设置亮度微分信号作为特征量，生成向输入图像信号添加特征量的信号和从输入图像信号中减去特征量的信号，并且生成这两个信号构成的一对作为一对左眼图像和右眼图像。

另外，根据本公开的图像处理装置的实施例，图像转换单元可在深度信息可靠度小于预先固定的第一阈值且等于或大于预先固定的第二阈值并且判定可靠度为中等的情况下执行通过使用深度信息作为辅助的非几何图像转换处理来从输入二维图像生成左眼图像或右眼图像的处理。

另外，根据本公开的图像处理装置的实施例，图像转换单元可包括：视差强调成分计算单元，该视差强调成分计算单元提取输入图像信号的空间特征量并且计算被应用了所提取的特征量的视差强调成分；成分量控制单元，该成分量控制单元基于深度信息和深度信息可靠度来执行视差强调成分的调整；以及视差图像生成单元，该视差图像生成单元执行如下处理：通过对被应用了视差强调成分的输入图像的图像转换处理，来从输入二维图像生成左眼图像或右眼图像，其中对于该视差强调成分，作为成分量控制单元的输出的成分量被调整。

另外，根据本公开的图像处理装置的实施例，图像转换单元可包括：深度控制单元，该深度控制单元基于深度信息可靠度执行深度信息的加权并且生成加权设置深度信息；以及视差图像生成单元，该视差图像生成单元执行如下处理：通过对被应用了作为深度控制单元的输出的加权设置深度信息的输入图像的图像转换处理，来从输入二维图像生成左眼图像或右眼图像。

另外，根据本公开的图像处理装置的实施例，图像处理装置还可包括显示由图像转换单元生成的经转换图像的显示单元。

另外，根据本公开的图像处理装置的实施例，图像处理装置还可包括成像单元，并且图像转换单元通过输入成像单元的成像图像来执行处理。

另外，根据本公开的图像处理装置的实施例，图像处理装置还可包括记录由图像转换单元生成的经转换图像的存储单元。

另外，根据本公开的另一实施例，提供了一种在图像处理装置中执行图像转换处理的图像处理方法，该图像处理方法包括：由图像输入单元进行的图像输入，输入二维图像信号；由深度信息输出单元进行的深度信息输出，以构成二维图像信号的图像区域为单位输入或生成深度信息；由深度信息可靠度输出单元进行的深度信息可靠度输出，输入或生成深度信息输出单元输出的深度信息的可靠度；由图像转换单元进行的图像转换，输入从图像输入单元输出的图像信号、深度信息输出单元输出的深度信息以及深度信息可靠度输出单元输出的深度信息可靠度，并且生成和输出用于实现双眼立体视觉的左眼图像和右眼图像；以及由图像输出单元进行的图像输出，输出从图像转换单元输出的左眼图像和右眼图像，其中，图像转换通过对输入图像信号的图像转换处理执行左眼图像和右眼图像中的至少一个的图像生成，并且在图像转换期间执行应用深度信息和深度信息可靠度作为转换控制数据的转换处理。

另外，根据本公开的另一实施例，提供了一种使图像处理装置执行图像转换处理的程序，该图像转换处理包括：由图像输入单元进行的图像输入，输入二维图像信号；由深度信息输出单元进行的深度信息输出，以构成二维图像信号的图像区域为单位输入或生成深度信息；由深度信息可靠度输出单元进行的深度信息可靠度输出，输入或生成深度信息输出单元输出的深度信息的可靠度；由图像转换单元进行的图像转换，输入从图像输入单元输出的图像信号、深度信息输出单元输出的深度信息以及深度信息可靠度输出单元输出的深度信息可靠度，并且生成和输出用于实现双眼立体视觉的左眼图像和右眼图像；以及由图像输出单元进行的图像输出，输出从图像转换单元输出的左眼图像和右眼图像，其中，在图像转换中，使得执行通过对输入图像信号的图像转换处理进行的左眼图像和右眼图像中的至少一个的图像生成，并且在图像转换期间使得执行应用深度信息和深度信息可靠度作为转换控制数据的转换处理。

这里，本公开的实施例的程序是能够通过以计算机可读格式提供的存储介质或组合介质被提供到例如能够执行各种程序代码的通用***的程序。通过以计算机可读格式提供这种程序，在计算机***上实现根据该程序的处理。

通过稍后描述的基于本公开的实施例的更详细描述和附加附图将清楚本公开的实施例的其他目的、特性和优点。这里，在说明书中，***是多个装置的逻辑集合配置，并且每个配置的装置不一定在同一外壳内。

根据本公开的实施例配置，实现了通过根据深度信息的可靠度的最优信号处理来生成可立体观看的图像信号的配置。具体而言，在基于二维图像生成被应用到三维图像显示的左眼图像或右眼图像的配置中，输入或生成以图像信号的区域为单位的深度信息或深度可靠度信息，并且基于这种信息来执行对图像转换的控制。输入或生成以构成二维图像信号的图像区域为单位的深度信息和深度信息的可靠度，并且例如基于这种信息来改变将2D图像转换成3D图像的转换处理状态。或者，执行对视差强调信号的应用水平的控制等等。通过这种处理，根据二维图像的深度信息和深度可靠度的最优图像转换成为了可能。

附图说明

图1是示出根据本公开的实施例的图像处理装置的配置示例的示图；

图2是示出根据本公开的实施例的图像处理装置的另一配置示例的示图；

图3是描述根据本公开的实施例的图像处理装置执行的处理的示图；

图4是描述根据本公开的实施例的图像处理装置的图像转换单元的一个配置示例的示图；

图5是描述根据本公开的实施例的图像处理装置的图像转换单元的另一配置示例的示图；

图6是描述根据本公开的实施例的图像处理装置的图像转换单元的另一配置示例的示图；

图7是描述根据本公开的实施例的图像处理装置的图像转换单元内设置的成分量控制单元的一个配置示例的示图；

图8是描述根据本公开的实施例的图像处理装置的图像转换单元内设置的深度控制单元的一个配置示例的示图；

图9是示出描述根据本公开的实施例的图像处理装置执行的处理序列的流程图的示图；

图10是示出描述根据本公开的实施例的图像处理装置执行的处理序列的另一流程图的示图；

图11是示出描述根据本公开的实施例的图像处理装置执行的处理序列的另一流程图的示图；

图12是示出描述根据本公开的实施例的图像处理装置执行的处理序列的另一流程图的示图；

图13是示出描述根据本公开的实施例的图像处理装置执行的处理序列的另一流程图的示图；

图14是示出描述根据本公开的实施例的图像处理装置对运动图像执行的处理序列的流程图的示图；

图15是示出描述根据本公开的实施例的图像处理装置对运动图像执行的处理序列的另一流程图的示图；

图16是描述根据本公开的实施例的图像处理装置的配置示例的示图；

图17是描述根据本公开的实施例的图像处理装置的另一配置示例的示图；并且

图18是描述根据本公开的实施例的图像处理装置的另一配置示例的示图。

具体实施方式

下面将参考附图详细描述本公开的实施例的图像处理装置、图像处理方法和程序的细节。将根据以下项目来进行描述。

1.图像处理装置的配置示例

2.深度信息输出单元的处理

3.深度信息可靠度输出单元的处理

4.图像转换单元的配置和处理

5.成分量控制单元的处理

6.深度控制单元的处理

7.视差图像生成单元的处理

8.几何视差图像生成单元的处理

9.与图像显示装置有关的处理

10.图像转换单元的处理序列

11.图像转换单元的处理序列(运动图像)

12.其他实施例

[1.图像处理装置的配置示例]

图1和2分别是示出根据本公开的实施例的图像处理装置的示例的示图。

如图1和2中所示，在本公开的实施例的图像处理装置100的前级示出了诸如数字相机之类的作为输入要作为图像处理装置100的处理对象的图像的输入装置的成像装置51，并且在后级示出了诸如3D电视之类的作为输出图像处理装置100的经处理图像的输出装置的显示装置52。

图像的这种输入装置和输出装置并不限于成像装置和显示装置，而是可以设置多种装置，例如记录装置，比如磁光存储器或固态存储器。也就是说，对于被配置在图像处理装置100的前面和后面的装置没有具体限定，只要这种装置具有使得要使用的信息的输入和输出成为可能的配置即可。

另外，图像处理装置100本身可被配置为与成像装置相集成或者可被配置为与诸如3D电视之类的显示装置相集成。

图1和2中所示的图像处理装置的构成元件是相同的，只是连接配置不同。首先，将参考图1来描述图像处理装置100的配置和处理。

图1中所示的图像处理装置100通过图像输入单元101接收从各类成像装置输出的作为二维图像(2D图像)的静止图像数据或运动图像数据，并且将静止图像数据或运动图像数据转换成能够被图像处理装置100内的数据处理单元处理的内部数据格式。这里，内部数据格式是基带运动图像数据，并且是红(R)、绿(G)和蓝(B)三原色的数据、亮度(Y)或色差(Cb、Cr)的数据，等等。内部数据格式可以是任何格式，只要该数据格式能够被后级的图像转换单元104处理即可。

深度信息输出单元102从外部输入与从图像输入单元101输入的图像信号相对应的深度信息，或者在内部生成深度信息，并将深度信息输出到图像转换单元104。深度信息输出单元102输入或生成的深度信息可以是可以用来判定与输入图像信号的相对位置关系是否对应以及每个像素具有多大的深度的信息。细节将在下文中描述。

深度信息可靠度输出单元103从外部输入与深度信息输出单元102输出的深度信息相对应的深度信息可靠度，或者从内部生成深度信息可靠度，并且将深度信息可靠度输出到图像转换单元104。深度信息可靠度信息103可以是可以用来判定与输入图像信号的相对位置关系是否对应以及每个像素具有多大深度的信息。细节将在下文中描述。

图像转换单元104执行如下处理：即，通过应用从图像输入单元101输入的二维图像(2D图像)、从深度信息输出单元102输入的深度信息以及从深度信息可靠度输出单元103输入的可靠度信息，来将作为输入图像的二维图像(2D图像)转换成被应用于三维图像显示的三维图像(3D图像)。这里，这种处理在本说明书中被称为2D-3D转换。图像转换单元104执行如下处理：即，执行作为输入图像的二维图像(2D图像)的图像转换并且生成左眼图像和右眼图像，即双眼视差图像。细节将在下文中描述。

从图像转换单元104输出的图像数据在被转换成适合于由图像输出单元105输出的格式之后被输出。分辨率转换或者诸如JPEG和MPEG之类的编解码器转换是该处理的示例。

[2.深度信息输出单元的处理]

接下来，将详细描述深度信息输出单元102的处理。如上所述，深度信息输出单元102执行通过从外部输入深度信息而输出或通过从内部生成深度信息而输出的处理。

深度信息输出单元102输入或生成的深度信息可以是可以用来判定与输入图像信号的相对位置关系是否对应以及每个像素具有多大的深度(例如与相机的距离)的信息。深度信息例如是以8比特(0到127)对每个像素表示从成像位置到无限远的值。然而，该数据格式只是一个示例，而并未被具体限定。

希望输入图像的像素数目和深度信息的像素数目是理想的一对一数据设置，其中每个像素具有深度信息。然而，即使没有一对一关系，深度信息也可对应于由多个像素构成的块。另外，也可能是这样一种配置，其中对于输入图像大小被缩小的大小，即给定的区域，设置深度信息。通过基于与缩小图像的每个像素相对应的深度信息应用适当的插值处理，能够计算出作为原始图像的放大图像的以每个像素为单位的深度信息。

另外，在运动图像的情况下，在输入图像信号和帧数之间具有一对一关系的深度信息的计算是不重要的。即，以多个帧(例如2个帧或4个帧)为单位使用一条共同的深度信息的配置也是可能的。

对于在从外部输入深度信息的情况下深度信息的获得方法没有具体限定。例如，可以使用利用测距传感器(例如可购得的测距扫描仪)获得深度信息的方法，通过利用多一个用于对图像信号成像的相机(总共两个相机)对图像成像并使用立体方法来获得深度信息的方法，以及根据具有不同焦距的多个图像进行运算来获得深度信息的方法，等等。

另外，深度信息输出单元102可利用图像输入单元101输入的作为二维图像的输入图像信号在内部生成深度信息，而不是从图像处理装置100的外部输入深度信息。作为从二维图像获得距离信息的方法，能够应用以下文献中描述的技术。也就是说，有A.Saxena等人在“Make 3D：Learning 3-D Scene Structure from a Single Still Image”(IEEE Transactionson Pattern Analysis and Machine Intelligence(PAMI)，2008)中发表的方法，日本专利申请公布No.2005-151534中公开的方法，等等。

通过使用这种文献中描述的方法，深度信息输出单元102能够利用作为二维图像的输入图像信号生成深度信息并将深度信息输出到图像转换单元。

这里，在这种配置的情况下，如图2中所示那样设置图像处理装置100。也就是说，深度信息输出单元102具有这样的配置：即，经由图像输入单元101输入图像，基于输入图像生成深度信息，并且将所生成的深度信息输出到图像转换单元104。

[3.深度信息可靠度输出单元的处理]

接下来，将详细描述深度信息可靠度输出单元103的处理示例。如上所述，深度信息可靠度输出单元103执行通过从外部输入深度信息的可靠度(以下称为可靠度信息)来输出可靠度信息或者通过在内部生成可靠度信息来输出可靠度信息的处理。

可靠度信息可以是能够用来判定与深度信息的相对位置关系是否对应以及每个像素有多可靠的信息。例如，可靠度信息是用为每个像素设置的3比特信息[(111)＝7]到[(000)＝0]来表示完全可靠(7)到完全不可靠(0)的值。然而，该数据格式只是示例，而并未被具体限定。

希望可靠度信息和深度信息之间的数据对应关系对于每条深度信息也是理想的一对一对应数据设置。然而，可能没有一对一关系，并且也可能有深度信息是缩小的大小以指示深度信息被划分成的区域的相应可靠度的情况。另外，可能有对于每一个像素有一条可靠度信息的情况。另外，也可能有分别保持像素和区域的可靠度信息和一个图像整体上的可靠度信息的情况。

另外，在运动图像的情况下，输入图像和深度信息的帧数可能不具有一对一关系。即，以多个帧(例如2帧或4帧)为单位使用一条共同的可靠度信息的配置也是可能的。

对于在从外部输入可靠度信息的情况下可靠度信息的获得(生成)方法可能有各种设置，并且对于获得方法没有具体限定。例如，在从外部输入深度信息的情况下，可靠度信息一般是在生成深度信息的同时生成的。在对图像成像的情况下，可以使用通过考虑到透镜位置(变焦位置)、AF(自动聚焦)、成像装置的场景估计、通过设置进行的场景设置等等的信息来进行运算或估计的方法。这里，“同时”是在广义上使用的，意思是在输入到图像处理装置100之前。在这种配置的情况下，如图1中所示，图像处理装置100具有从图像处理装置100的外部输入可靠度信息的配置。在从外部输入的深度信息的格式与在内部使用的格式不同的情况下，在这里通过转换格式来输出深度信息。

在从内部估计可靠度信息而不是从外部输入的情况下，在估计时使用附加到深度信息、二维图像和图像的元数据等等。可以使用考虑到二维图像的频率成分和构图分析的结果或者考虑到元数据(诸如变焦位置之类的成像条件)并且进行运算和估计的方法。

首先，将描述仅从深度信息估计可靠度的方法的示例。

(3-1.基于对特异点(outlier)的检测的可靠度估计方法)

如果深度信息的每条数据(深度值)被布置在一平面上，则存在一个像素与其周围的深度值不同的情况。虽然有只是这样的像素具有不同深度的情况，但更经常得多的情况是在深度信息的获得或估计中存在差错。因此，将指示与其周围不同的深度值的一条数据视为特异点并降低可靠度，是重要的。将示出这种处理方法的示例。

如图3中所示，使用被考查的特定像素(或区域)的左、右、上、下两个深度值的深度值。如图3中所示，以被考查的像素(目标坐标)为中心有5×5＝25个深度值。除了中心坐标以外的24个深度值的平均值被确定并与目标坐标的深度值相比较。在目标坐标具有与平均值相差5％以上的值的情况下，目标坐标被视为特异点，并且该坐标的深度值的可靠度被降低1(在该示例中，可靠度最大为7，最小为0)。

通过以下方式来指派可靠度：在被考查的像素(目标坐标)的深度值与除了中心坐标以外的24个深度值的平均值之间的差异等于或大于10％的情况下将可靠度(7至0)的值降低2，在该差异等于或大于15％的情况下将可靠度的值降低3，等等。在目标坐标的深度值的距离的极性(当成像者期望成像的中心距离为0时，在更远为+且更近为-的情况下的正和负)与其周围完全相反的情况下，可靠度被立即降低7，到最小等级0。

另外，在特异点与对应于整个画面的深度值的数目的比例等于或大于5％的情况下，一个图像的可靠度被降低1。随着特异点的比例增大到10％和15％，一个图像的可靠度被降低的量也被增大到2和3。

以这种方式，可以通过对特异点的分布状态的分析处理来估计每个深度的可靠度。

(3-2.利用深度值的动态范围等等的可靠度估计方法)

接下来，将描述仅从深度信息估计可靠度的另一种方法。

将描述以像素或块为单位的8比特数据的深度信息被设置为深度值的设置的情况。将描述显示表面(焦点对准位置，成像者期望的中心距离)为0，无穷远为127并且相机位置为-128的情况作为示例。

在整个一个图像上深度值的最大值与最小值之间的差异(动态范围)极小的情况下，经常的情况是在深度信息中存在差错。以这种方式，在整个一个图像上的深度值的最大值与最小值之间的差异(动态范围)等于或低于固定的阈值的情况下，这种图像的深度信息的可靠度被设置得较低。这里，即使在这种图像中设置的深度信息是正确的深度信息，那么即使被摄体处在几乎相同的距离并且利用这种深度值生成三维图像，也会生成与二维图像同样的图像，生成用于三维图像显示的图像几乎没有意义。

将描述通过计算一整个图像上深度值的最大值与最小值之间的差异(动态范围)来设置可靠度的处理方法的示例。首先，确定在处理对象图像中设置的深度值的最大值和最小值。深度值的范围是从127(无穷远)到-128(相机位置)。在最小值与最大值之间的差异只是50的情况下，可靠度[完全可靠(7)到完全不可靠(0)]的值被降低7到最低等级。随着该差异增大到75、100和150，可靠度的值被降低的量被减小并且等级被提高。在要使一个图像的可靠度独立的情况下，像素的可靠度被降低一个等级，等等。

这里，如下设置也是可能的：其中，不是计算最大值与最小值之间的差异(动态范围)，而是仅利用最大值的值来执行类似的处理。例如，在处理对象图像的深度值的最大值等于或小于固定的阈值的情况下，执行降低可靠度的处理。其原因是，此时的图像在背景侧不具有足够的深度，并且不是在生成三维图像时唤起足够的立体效果的图像。

在处理对象图像中设置的深度值的最小值是正值的情况以及最大值是负值的情况下，都有可能深度信息是不自然的。在这种情况下，一个图像的可靠度也被降低7到最小值。

另外，深度值对于距离可能不是线性的，而可能是非线性的，其中目标距离附近的动态范围被加宽，并且背景侧的范围被加宽。

(3-3.使用二维数据和元数据的可靠度估计方法)

接下来，将描述使用二维图像数据和元数据的可靠度估计方法。

首先，执行要作为处理对象的二维图像的构图分析。执行边缘检测等等，并且分离被摄体区域和背景区域。确定被摄体区域的深度值的平均和背景区域的深度值的平均。这里，排除其间的边界附近的部分。在多个被摄体的情况下，可以分别对这些被摄体取平均。在本示例中，将描述深度值对于显示表面(焦点对准位置，成像者期望的中心距离)被设置为0，对于无穷远被设置为127并且对于相机位置被设置为-128的情况作为示例。

在被摄体与背景之间的深度值的差异不等于或大于50的情况下，判定距离差异不足并且一个图像的可靠度[完全可靠(7)到完全不可靠(0)]被降低7到最低等级。

另外，通过仅确定被摄体区域和背景区域各自的范围的深度值的最大值和最小值，可以改变上述的使用特异点和动态范围的技术的阈值并使之对应。例如，关于被摄体部分的深度值，由于最大值和最小值集中于0附近并且动态范围(最大值与最小值之间的差异)可能较小，所以在动态范围大于50的情况下，可靠度被降低7。相反，由于背景部分的深度值有可能不在0附近，而是较大的正值，所以例如在小于+50的深度值的情况下，可靠度被降低7。

另外，由于如果在被摄体与背景之间的边界附近对深度值的判定存在差错，则该差错对像素的影响很突出，所以最安全的是执行将可靠度降低3或4的处理，或者执行将可靠度降低7并设置为完全忽略该深度信息的处理。

关于如上所述的使用特异点的可靠度降低方法，在可以通过对二维图像的分析区分焦距匹配的部分和是被摄体的部分的情况下，通过增大在这种部分的特异点的权重以使在被摄体部分的特异点的可靠度降低得更多的方法也是可能的。

这里，在成像装置中包括脸部检测功能的情况下，存在这样的情况，即，脸部的位置坐标被记录为所成像的图像数据的元数据。在从这种图像估计深度的情况下，从脸部的大小确定被摄体距离变得容易。由于使用这种脸部信息的深度信息是非常精确的，所以可以判定其可靠度较高。

另外，如果变焦放大倍率被记录在处理对象图像的元数据中，则变焦放大倍率被与脸部检测结果相组合并且诸如在对人成像的情况下验证图像的被脸占据的比例是否异常的构图分析的精确度被提高了。另外，如果室内和室外信息或者被包括作为近年来的相机的功能的成像时的场景分析的结果(人像、风景、夜景、逆光、宏等等)被记录在元数据中，则可以使构图分析和可靠度的判定更准确。通过以这种方式使用被附加到图像的元数据，可以估计深度信息的可靠度。

如上所述，深度信息可靠度输出单元103能够利用作为二维图像的输入图像信号、深度信息等等生成可靠度信息，并且将可靠度信息输出到图像转换单元104。这里，在以这种方式基于输入图像执行可靠度计算的情况下，如图2中所示，在图像处理装置100中，深度信息可靠度输出单元103经由图像输入单元101输入图像，经由深度信息输出单元102或从外部输入深度信息，并且基于这种输入数据生成可靠度信息，并将所生成的可靠度信息输出到图像转换单元104。

[4.图像转换单元的配置和处理]

接下来，将描述图1和2中所示的图像处理装置100的图像转换单元104的处理的细节。

(4-1.图像转换单元的第一实施例)

将参考图4描述图像转换单元104的第一实施例。

图4中所示的图像转换单元104包括并行执行三类图像转换方法的第一至第三2D-3D转换单元202至204。

通过根据处理对象图像的深度信息可靠度选择或合成三个第一至第三2D-3D转换单元202至204的经转换图像的任何一个来生成的输出图像。

这里，在以下描述的实施例中，虽然描述了根据作为处理对象图像的一整个图像的可靠度来切换处理的设置，但是根据每个像素或以多个像素构成的块为单位的可靠度以像素为单位或以块为单位来切换处理的设置也是可能的。

输入图像预处理单元201从图像输入单元101输入处理对象图像的图像信号并且将该图像信号输出到2D-3D转换单元202至204中的每一个。

第一2D-3D转换单元202主要利用深度信息输出单元102输出的深度信息，根据深度信息对二维图像进行几何运算，并且生成由被应用到三维图像显示的左眼图像和右眼图像构成的左右视差图像。即，执行基于深度信息的几何2D-3D转换处理。

由于从2D图像和深度信息几何地亦即通过坐标变换或投影来生成左右视差图像的方法是已经公知的，所以将不作具体描述，例如在先前所述的日本未实审专利申请公布No.2009-296272中也描述了原理和转换方法，并且在第一2D-3D转换单元202中，执行例如应用这种方法来主要应用深度信息的几何2D-3D转换处理。

第二2D-3D转换单元203利用深度信息输出单元102输出的深度信息作为辅助，生成由左眼图像和右眼图像构成的左右视差图像，其中作为处理对象图像输入的二维图像被应用到三维图像显示。即，执行使用深度信息作为辅助的非几何转换。

基本上，通过诸如使用构图分析的方法或使用边缘成分、频率成分等等的方法在不使用深度信息的情况下生成其中二维图像被应用到三维图像显示的左眼图像和右眼图像构成的左右视差图像。例如，在先前所述的日本未实审专利申请公布No.2010-63083中描述了使用频率成分的左右视差图像的生成方法，并且在第二2D-3D转换单元203中，例如通过应用这种方法在不使用深度信息的情况下生成左右视差图像。另外，利用由深度信息输出单元102输出的深度信息来细微地调整视差量或效果的水平。

第三2D-3D转换单元204在完全不使用深度信息输出单元102输出的深度信息的情况下，生成由左眼图像和右眼图像构成的左右视差图像，其中只有作为处理对象图像输入的二维图像被应用到三维图像显示。

具体而言，应用上述的使用构图分析的方法、使用边缘成分、频率成分等等的方法等等。可以应用先前所述的日本未实审专利申请公布No.2010-63083中描述的使用频率成分的左右视差图像的生成方法。第三2D-3D转换单元204例如通过应用这种方法来执行不使用深度信息的2D-3D转换处理。

2D-3D转换单元202至204分别生成的左右视差图像被输入到图像选择单元205。另一方面，通过作为处理对象图像的二维图像设置的深度信息的可靠度信息也从深度信息可靠度输出单元103被输入到图像选择单元205。

图像选择单元205根据可靠度信息(例如高可靠度7到低可靠度0)，例如通过以下图像选择处理来执行输出图像的选择。

如果可靠度是6以上，则选择由第一2D-3D转换单元20生成的应用了深度信息的几何转换的左右视差图像。

如果可靠度是2以下，则选择由第三2D-3D转换单元204生成的通过不使用深度信息的转换来确定的左右视差图像。

在可靠度处于6与2之间的范围内的情况下，选择由第二2D-3D转换单元203生成的通过将深度信息用作辅助的非几何2D-3D转换生成的左右视差图像。

这里，虽然在上述处理示例中描述了基于作为处理对象的整个图像的可靠度信息来选择处理的示例，但是例如使用像素单位和块单位的可靠度的以像素和块为单位执行选择处理的配置也是可能的。

在这种情况下，通过执行如下处理来生成输出图像：即，根据每个像素或以块为单位的可靠度，对于每个像素或以块为单位，按预定的比例加权并混合第一至第三2D-3D转换单元的输出。

另外，虽然在图4所示的图像转换单元中描述了存在由2D-3D转换单元执行的三种类型的处理形式的示例，但不限于三种类型，通过将转换方法设置成两种类型或四种类型或更多类型来根据深度信息的可靠度选择输出的配置也是可能的。

从图像选择单元205输出的图像数据被输入到输出图像后期处理单元206并且被转换成适合于后级的图像输出单元的图像数据格式。这里，输出图像后期处理单元206不是重要的配置，如果后级的图像输出单元能够解读图像数据则可以省略这种配置。

(4-2.图像转换单元的第二实施例)

参考图4描述的图像转换单元104执行根据深度信息的可靠度来选择或合成由不同的2D-3D转换处理生成的图像的处理。图像转换单元的配置不限于图4中所示的配置，而例如可以是图5中所示的配置。

图5是示出根据本公开的实施例的图像转换单元的另一实施例的框图。关于先前所述的图4的图像转换单元104的配置，三种不同类型的图像转换方法是完全独立和并行的，并且被设置为例如根据整个图像的深度信息可靠度来切换处理。

与图4中所示的处理配置不同，图5中所示的图像转换单元310不是并行执行不同的2D-3D转换处理。图5中所示的图像转换单元310提取作为处理对象的二维图像的空间特征量(视差强调成分)并且利用视差强调成分来生成被应用到三维图像显示的左眼图像(L图像)和右眼图像(R图像)。

也就是说，图像转换单元310通过执行其中视差强调成分被应用到输入二维图像的不同强调处理的处理来生成L和R图像。这里，在例如日本未实审专利申请公布No.2010-63083中有关于其中应用了这种视差强调成分的L和R图像生成处理的描述。将简要描述日本未实审专利申请公布No.2010-63083中描述的处理。首先，作为处理对象的二维图像的输入图像信号被微分的信号被提取作为视差强调成分。也就是说，输入到图像转换单元的图像数据被分离成亮度信号和色度信号，并且针对亮度和色度信号中每一个的微分信号(H)被生成。具体而言，通过水平地输入色度信号来生成输入信号被一次微分的信号。一次微分处理例如使用在水平方向上具有三个抽头的线性一次微分滤波器等等。随后对微分信号(H)进行非线性转换，并且获得最终的视差强调信号(E)。

利用视差强调信号(E)和原始输入图像信号(S)，按照以下的表达式来生成作为左右视差图像的R图像和L图像的图像信号R和L中的每一个。

R＝S-E

L＝S+E

通过向原始图像信号加上或从原始图像信号减去视差强调信号(E)来生成被应用到三维图像显示的L图像和R图像。

将描述图5中所示的图像转换单元310的处理。

输入图像预处理单元311把来自图像输入单元101的输入图像信号输出到视差强调成分计算单元312。

视差强调成分计算单元312提取用于生成左右视差图像的视差强调成分并将视差强调成分输出到成分量控制单元315。如上所述，在应用例如日本未实审专利申请公布No.2010-63083中描述的配置的情况下，视差强调成分是图像信号的微分信号(H)。使用其他成分信息的配置也是可能的。

成分量控制单元315对处理对象图像以处理像素为单位输入视差强调成分并对输入的视差强调成分量进行微调整。在应用日本未实审专利申请公布No.2010-63083中描述的方法的情况下，成分量控制单元315对微分信号(H)进行非线性转换并且执行计算最终视差强调信号(E)的处理。

视差图像生成单元316随后生成作为左右视差图像的左眼图像(L图像)和右眼图像(R图像)。

图5中所示的图像转换单元310的深度插值单元313输入深度信息输出单元102输出的深度信息。深度插值单元313把深度信息输出单元102输出的深度信息设置为与作为处理对象图像的二维图像的每个像素相对应的信息。在与输入图像的像素没有一对一对应关系的情况下，通过诸如双三次方法之类的插值方法来计算每个像素位置的深度信息，并且将深度信息输出到成分量控制单元315。

成分量控制单元315执行视差成分量的微调整。

例如，在应用日本未实审专利申请公布No.2010-63083中描述的配置的情况下，利用视差强调信号(E)和原始输入图像信号(S)，按照以下的表达式来生成作为左右视差图像的R图像和L图像的图像信号R和L中的每一个。

R＝S-E

R＝S+E

成分量控制单元315基于每个像素的深度信息来执行如下调整：当设置大视差时将E设置得较大，而当设置小视差时将E设置得较小。

通过这种调整处理来执行视差成分量的微调整。

也就是说，如果根据深度值来改变视差强调信号(E)的大小，则视差量的微调整成为了可能。也就是说，通过在非线性转换之前用遵循预先设置的规则的系数(增益系数)乘以微分信号(H)控制微分信号的幅度值并生成作为微分信号的补正信号的补正微分信号(H′)来改变视差强调信号(E)的大小。通过对补正微分信号(H′)进行非线性转换来获得最终的视差强调信号(E)。

这里，虽然以上理处示例是在应用日本未实审专利申请公布No.2010-63083中描述的配置的情况下的处理示例，但即使在其他方法的情况下，通过由成分量控制单元向从2D图像提取的视差强调成分(特征量)应用与深度值相对应的增益的方法也可能进行视差量的微调整。

在本公开的实施例中，进一步执行了考虑到与处理对象图像相对应的获得或计算出的深度信息的可靠度信息的处理。

从深度信息可靠度输出单元103输出的可靠度信息被输入到可靠度插值单元314。可靠度插值单元314执行使可靠度信息变成与对应于每个像素的深度信息一对一的信息的处理。通过诸如双三次方法之类的插值方法来计算每个像素位置的可靠度信息。

与每个像素相对应的可靠度信息被输出到成分量控制单元315。成分量控制单元315基于可靠度信息来设置视差成分量被乘以的增益量。设置在深度值不可靠的情况下的增益量0到在深度值可靠的情况下的增益量1。如果视差成分量被乘以增益量，则成分量控制单元315能够通过在深度不可靠的情况下减小视差成分量来避免生成不必要的视差成分。

也就是说，在应用日本未实审专利申请公布No.2010-63083中描述的配置的情况下，通过根据深度值的可靠度改变视差强调信号(E)的大小来执行视差量的微调整。通过在非线性转换之前用遵循预先设置的规则的系数(增益系数)乘以微分信号(H)控制微分信号的幅度值并生成作为微分信号的补正信号的补正微分信号(H′)来改变视差强调信号(E)的大小。通过对补正微分信号(H′)进行非线性转换来获得最终的视差强调信号(E)。

即使在采用除日本未实审专利申请公布No.2010-63083中描述的配置以外的配置的情况下，通过用与深度值相对应的增益乘以从2D图像中提取的视差成分量的方法，也可能在成分量控制单元315中对视差量进行微调整。这里，稍后将利用图7来描述成分量控制单元315的配置示例。

由成分量控制单元315最终确定的像素的视差强调成分被输出到视差图像生成单元316。在视差图像生成单元316中，利用从输入图像预处理单元311输出的二维图像和从成分量控制单元315输入的视差强调成分来生成左右视差图像，并且将左右视差图像输出到输出图像后期处理单元317。

在应用日本未实审专利申请公布No.2010-63083中描述的配置的情况下，视差图像生成单元316执行的处理是利用从输入图像预处理单元311输入的二维图像信号(S)和从成分量控制单元315输入的视差强调信号(E)按照以下的表达式生成作为左右视差图像的R图像和L图像的图像信号R和L中的每一个的处理。

R＝S-E

L＝S+E

然而，这里，视差强调信号(E)是根据深度信息的可靠度调整了的值。

(4-3.图像转换单元的第三实施例)

图6是示出根据本公开的实施例的图像转换单元的另一实施例的框图。与参考图5描述的图像转换单元类似，不同于图4中所示的处理配置，图6中所示的图像转换单元320不并行执行不同的2D-3D转换处理。

虽然参考图5描述的图像转换单元310具有使用深度信息作为辅助的配置，但图6中所示的图像转换单元320是在主要使用深度信息(不从二维图像估计深度)的情况下的配置示例。

将描述图6中所示的图像转换单元320的处理。

图6中所示的图像转换单元320的深度插值单元322输入深度信息输出单元102输出的深度信息。深度插值单元322把深度信息输出单元102输出的深度信息设置为与作为处理对象图像的二维图像的每个像素相对应的信息。在与输入图像的像素没有一对一对应关系的情况下，通过诸如双三次方法之类的插值方法来计算每个像素位置的深度信息，并且将深度信息输出到深度控制单元324。

从深度信息可靠度输出单元103输入的可靠度信息被输入到可靠度插值单元323。可靠度插值单元323执行使可靠度信息变成与对应于每个像素的深度信息一对一的信息的处理。通过诸如双三次方法之类的插值方法来计算每个像素位置的可靠度信息。与每个像素相对应的可靠度信息被输出到深度控制单元324。

深度控制单元324从输入图像预处理单元321输入处理对象图像的每条像素数据，并且分别从深度插值单元322和可靠度插值单元323输入与被处理的像素相对应的深度信息和可靠度信息。

深度控制单元324利用可靠度信息对于输入的深度信息增大和减小深度(视差量)。作为示例，假定在可靠度信息为不可靠的情况下增益值为0并且在可靠度信息为可靠的情况下增益值为1，则通过将视差量进一步乘以增益值并且在可靠度信息为不可靠的情况下减小视差量来避免不必要地生成视差。

由深度控制单元324最终确定的像素的深度(视差量)被输出到图像生成单元325。在图像生成单元325中，基于从输入图像预处理单元321输出的二维图像和从深度控制单元324输入的视差量来几何地生成左右视差图像，并且将左右视差图像输出到输出图像后期处理单元326。

这里，虽然在图4至6中描述了图像转换单元的三种类型的配置示例，但在生成左右视差图像时，能够从左右视差图像同时生成、仅左眼图像和仅右眼图像这三种类型中选择输出图像。

[5.成分量控制单元的处理]

接下来，将详细描述图5中所示的根据第二实施例的图像转换单元310内设置的成分量控制单元315执行的处理。

图7是示出成分量控制单元315的实施例的配置的框图。在成分量控制单元315中，基于类似输入的深度信息和可靠度信息来控制输入视差强调成分信号的幅度值。这里，在以下所述的实施例中，深度信息及其可靠度信息是在对于与输入图像信号的一像素相对应的每个视差强调成分像素具有一个值的状态中输入的。

输入到成分量控制单元315的像素的深度信息D被输入到增益系数计算单元351，并且为了后级的处理，通过利用在深度信息D中预先设置的函数f(x)被转换成具有0和1之间的值的增益系数β而被输出到成分量调整单元353。

β＝f(D)

类似地，输入到成分量控制单元315的像素的可靠度信息S被输入到增益系数计算单元352，并且为了后级的处理，通过利用在可靠度信息S中预先设置的函数g(x)被转换成具有0和1之间的值的增益系数γ而被输出到成分量调整单元353。

γ＝g(S)

成分量调整单元353从视差强调成分计算单元312输入像素的视差强调成分α，利用深度信息增益系数β和可靠度信息增益系数γ，按照以下的表达式将视差强调成分α转换成最终的视差强调成分α′。

α′＝α×β×γ

这里，虽然为了方便增益系数值是0和1之间的值，但只要增益系数值遵循统一的规则，增益系数值不被具体限定到这种范围。

另外，函数f(x)和g(x)能够使用多种设置。

作为函数f(x)和g(x)的示例，例如使用如以下表达式所示的线性函数。

f(x)＝A×x(其中A是常数)

g(x)＝B×x(其中B是常数)

A和B是预先设置的常数，并且能够设置多种值。

另外，增益系数计算单元中的转换函数不限于线性函数，而也可以执行非线性转换。

另外，作为示例，存在这样的技术：其中，取代使用增益值，在深度信息的可靠度较低的情况下，不使用该深度信息，而是使用该像素周围的深度信息，通过诸如简单地确定平均值，确定垂直、水平和斜方向上的相关性并通过仅选择具有强相关性的那些来确定平均值等等之类的方法来计算值，并且通过用平均值替换原始深度值之类的来调整视差强调成分。

[6.深度控制单元的处理]

接下来，将详细描述先前参考图6描述的根据第三实施例的图像转换单元320内部设置的深度控制单元324执行的处理。

图8是示出深度控制单元324的实施例的配置的框图。在深度控制单元324中，从深度插值单元322输入的深度信息的幅度值被基于从可靠度插值单元323类似输入的可靠度信息来控制。

这里，在以下所述的实施例中，将在深度信息及其可靠度信息在对于深度信息的每条数据具有一个值的状态中被输入的情况下进行描述。

输入到深度控制单元324的像素的可靠度信息S被输入到增益系数计算单元371，并且为了后级的处理，通过利用在可靠度信息S中预先设置的函数g(x)被转换成具有0和1之间的值的增益系数γ而被输出到深度调整单元372。

γ＝g(S)

输入到深度控制单元324的像素的深度信息被利用可靠度信息增益系数γ按照以下的表达式转换成最终的深度信息D′并输出。

D′＝D×γ

这里，虽然为了方便增益系数值在0和1之间，但只要增益系数值遵循统一的规则，增益系数值不被具体限定到这种范围。

另外，函数f(x)和g(x)能够使用多种设置。

作为函数f(x)和g(x)的示例，例如使用如以下表达式所示的线性函数。

g(x)＝B×x(其中B是常数)

B是预先设置的常数，并且能够设置多种值。

另外，增益系数计算单元中的转换函数不限于线性函数，而也可以执行非线性转换。

另外，作为示例，存在这样的技术：其中，取代使用增益值，在深度信息的可靠度较低的情况下，不使用该深度信息，而是使用该像素周围的深度信息，通过诸如简单地确定平均值，确定垂直、水平和斜方向上的相关性并通过仅选择具有强相关性的那些来确定平均值等等之类的方法来计算值，并且通过用平均值替换原始深度值之类的来调整视差强调成分。

[7.视差图像生成单元的处理]

接下来，将描述参考图5描述的根据第二实施例的图像转换单元310内的视差图像生成单元316的处理。

视差图像生成单元316执行如下处理：通过应用作为处理对象的原始二维图像和从该图像生成的空间特征量，即从成分量控制单元315输入的视差强调成分信号，来生成左眼图像(L图像)和右眼图像(R图像)。

利用原始二维图像和视差强调成分，在例如应用先前所述的日本未实审专利申请公布No.2010-63083中描述的配置的情况下，视差图像生成单元316执行如下处理：利用从输入图像预处理单元311输入的二维图像信号(S)和从成分量控制单元315输入的视差强调信号(E)，按照以下的表达式，生成作为左右视差图像的R图像和L图像的图像信号R和L中的每一个。

R＝S-E

L＝S+E

[8.几何视差图像生成单元的处理]

接下来，将描述在图6所示的根据第三实施例的图像转换单元320内部配置的几何视差图像生成单元325的处理。

几何视差图像生成单元325执行通过使用原始二维输入图像和与该图像相对应的深度信息的几何运算来生成左眼图像(L图像)和右眼图像(R图像)的处理。

几何视差图像生成单元325通过应用使用原始二维输入图像和深度信息的方法来生成左眼图像(L图像)和右眼图像(R图像)。然而，所应用的深度信息是根据可靠度来控制的值。

[9.与图像显示装置有关的处理]

图1和2中所示的根据本公开的实施例的图像处理装置的输出被显示在图1和2中所示的显示装置52上。作为执行最终图像显示的显示装置的显示方法，例如有以下类型。

(1)以时间划分方式交替输出左眼图像和右眼图像的方法

这种方法是与通过左右交替地打开和关闭例如液晶快门来在左右眼之间交替地以时间划分方式划分所观察的图像的主动式眼镜方法相对应的图像输出方法。(随着时间切换L和R图像的方法)。

(2)空间分离并同时输出左眼图像和右眼图像的方法

这种方法是与通过例如偏振滤波器或滤色器对于左右眼的每一只分离所观察的图像的被动式眼镜方法相对应的图像输出方法。

例如，在这种空间分离方法的立体显示装置中，被设置成使得偏振方向对于每一水平行不同的偏振滤波器被粘合在显示前表面上，并且在通过用户配备的偏振滤波器方法的眼镜观看图像的情况下，左眼和右眼观察到对于每一水平行分离的图像。(空间切换L和R图像的方法)。

关于在图1和2中描述的图像处理装置100，将描述向根据以上所述的各种方法执行图像显示的显示装置输出的数据生成处理示例。

首先，将描述在最终执行图像显示的显示装置的显示方法是随着时间划分左眼图像和右眼图像并且交替输出图像的情况下的图像转换单元的处理示例。

在这种时间划分图像显示方法的情况下，图像转换单元对于输入图像数据的每个帧(帧n、n+1、n+2、n+3……)切换、生成和输出左眼图像和右眼图像。这里，在稍后阶段将参考流程图(图15)来描述具体处理序列。

图像转换单元104通过将输入的图像数据的奇数帧和偶数帧分别设置成左眼图像和右眼图像(或者右眼图像和左眼图像)，控制对每一帧切换转换设置，来输出左眼图像和右眼图像。通过以时间划分方式交替输出左眼图像和右眼图像，经由图1和2中所示的图像输出单元105将输入图像输出到图像显示装置52。

利用这种方法，图像转换单元104生成和输出与每个帧相对应的右眼图像和左眼图像之中的一个图像。

接下来，将描述在最终执行图像显示的显示装置的显示方法是空间地划分和交替地输出左眼图像和右眼图像的方法的情况下图像转换单元的处理示例。

在这种空间划分的图像显示方法的情况下，图像转换单元104对于输入图像数据的每个帧(帧n、n+1、n+2、n+3……)切换、生成和输出左眼图像和右眼图像。这里，在稍后阶段将参考流程图(图14)来描述具体处理序列。

图像转换单元104在以输入的图像数据的奇数行和偶数行分别作为左眼图像和右眼图像(或者右眼图像和左眼图像)的情况下控制对每一行切换转换设置的同时输出图像。通过以时间划分方式交替输出左眼图像和右眼图像，经由图像输出单元105将输出图像输出到图像显示装置52。

利用这种方法，图像转换单元104生成和输出与每一行相对应的右眼图像和左眼图像之中的一个图像。

[10.图像转换单元的处理序列]

接下来，将参考图9及其他图的流程图来描述本公开的实施例的图像处理装置中执行的图像转换处理的序列。

(10-1.应用了图4中所示的第一实施例的图像转换单元的处理序列)

首先，将参考图9至11中示出的流程图来描述应用了图4中所示的第一实施例的图像转换单元的处理序列。

将参考图9中所示的流程图来描述应用了图4中所示的第一实施例的图像转换单元的处理序列的实施例。

关于可靠度信息，以作为处理对象的一个输入二维图像为单位的设置、以诸如图像的像素单位和块单位之类的区域(area)为单位的设置等等是可能的。

首先，在步骤S101中，像通常那样通过成像装置执行图像的成像。如果在成像期间生成深度信息，则使用该深度信息，而如果在成像期间不生成深度信息，则通过估计来生成深度信息。通过估计为输入图像生成以图像或区域为单位的可靠度信息。这里，在本示例中，存在可靠度信息的三个值，其中深度信息为

(a)完全可靠

(b)有点可靠

(c)既不是(a)也不是(b)＝不可靠。

这里，通过用预先设置的阈值区分可靠度信息，能够在上述之间进行区别。

在深度信息是完全可靠的情况下，步骤S102的判定是“是”，流程前进到步骤S103，并且通过执行以深度信息为主体的(几何的)2D-3D转换处理来生成左右视差图像。这种处理对应于图4的图像转换单元104的第一2D-3D转换单元202的处理。

在深度信息不可靠的情况下，步骤S102和步骤S104的判定是“否”，流程前进到步骤S106，并且通过执行完全不使用深度信息的2D-3D转换处理来生成左右视差图像。这种处理对应于图4的图像转换单元104的第三2D-3D转换单元204的处理。

在深度信息只是有点可靠的情况下，步骤S102的判定是“否”并且步骤S104的判定是“是”，流程前进到步骤S105，并且通过使用其中深度信息被用作辅助的2D-3D转换处理来生成左右视差图像。这种处理对应于图4的图像转换单元104的第2D-3D转换单元203的处理。

取决于深度信息的可靠度，在执行步骤S103、S105和S106之一的2D-3D转换处理之后，在步骤S107中判定未处理数据的存在性。在存在未处理数据的情况下，对未处理数据执行从步骤S101起的处理。在步骤S107中判定对所有数据的处理都已结束的情况下，处理结束。

图10是描述在对于可靠度信息的判定存在两个值的情况下的处理序列的流程图。也就是说，存在可靠度信息的两个值，其中深度信息为

(a)完全可靠

(b)非(a)＝不是完全可靠

遵循这种流程的处理是在例如深度信息的可靠度经常很高时适合的处理。

首先，在步骤S201中，像通常那样通过成像装置执行图像的成像。如果在成像期间生成深度信息，则使用该深度信息，而如果在成像期间不生成深度信息，则通过估计来生成深度信息。通过估计为输入图像生成以图像或区域为单位的可靠度信息。这里，在本示例中，存在可靠度信息的两个值，其中深度信息为

(a)完全可靠

(b)非(a)＝不是完全可靠。

这里，通过用预先设置的阈值区分可靠度信息，能够在上述之间进行区别。

在深度信息是完全可靠的情况下，步骤S202的判定是“是”，流程前进到步骤S203，并且通过执行以深度信息为主体的(几何的)2D-3D转换处理来生成左右视差图像。这种处理对应于图4的图像转换单元104的第一2D-3D转换单元202的处理。

在深度信息不是完全可靠的情况下，步骤S202的判定是“否”，流程前进到步骤S204，并且通过执行完全不使用深度信息的2D-3D转换处理来生成左右视差图像。这种处理对应于图4的图像转换单元104的第三2D-3D转换单元204的处理。

取决于深度信息的可靠度，在执行步骤S203或S204的2D-3D转换处理之后，在步骤S205中判定未处理数据的存在性。在存在未处理数据的情况下，对未处理数据执行从步骤S201起的处理。在步骤S205中判定对所有数据的处理都已结束的情况下，处理结束。

与图10类似，图11是描述在对于可靠度信息的判定存在两个值的情况下的处理序列的流程图。在本示例中，存在可靠度信息的两个值，其中深度信息为

(a)有点可靠

(b)非(a)＝不是有点可靠

遵循这种流程的处理是在例如深度信息的可靠度经常很低时适合的处理。

首先，在步骤S301中，像通常那样通过成像装置执行图像的成像。如果在成像期间生成深度信息，则使用该深度信息，而如果在成像期间不生成深度信息，则通过估计来生成深度信息。通过估计为输入图像生成以图像或区域为单位的可靠度信息。这里，在本示例中，存在可靠度信息的两个值，其中深度信息为

(a)有点可靠

(b)非(a)＝不是有点可靠。

这里，通过用预先设置的阈值区分可靠度信息，能够在上述之间进行区别。

在深度信息是有点可靠的情况下，步骤S302的判定是“是”，流程前进到步骤S303，并且通过执行其中深度信息被用作辅助的非几何2D-3sD转换处理来生成左右视差图像。这种处理对应于图4的图像转换单元104的第二2D-3D转换单元203的处理。

在深度信息不是有点可靠的情况下，步骤S302的判定是“否”，流程前进到步骤S304，并且通过执行完全不使用深度信息的2D-3D转换处理来生成左右视差图像。这种处理对应于图4的图像转换单元104的第三2D-3D转换单元204的处理。

取决于深度信息的可靠度，在执行步骤S303或S304的2D-3D转换处理之后，在步骤S305中判定未处理数据的存在性。在存在未处理数据的情况下，对未处理数据执行从步骤S301起的处理。在步骤S305中判定对所有数据的处理都已结束的情况下，处理结束。

(10-2.应用了图5中所示的第二实施例的图像转换单元的处理序列)

接下来，将参考图12中所示的流程图来描述应用了图5中所示的第二实施例的图像转换单元的处理序列。

遵循图12中所示的流程的图像转换处理对应于应用图5中所示的图像转换单元310的情况下的处理。也就是说，遵循图12中所示的流程的图像转换处理不是切换转换方法本身，而是在仅从二维图像生成三维图像的情况下和在通过应用可靠度信息来调整转换参数的情况下的流程图的示例。

首先，在步骤S401中，像通常那样通过成像装置执行图像的成像。如果在成像期间生成深度信息，则使用该深度信息，而如果在成像期间不生成深度信息，则通过估计来生成深度信息。通过估计为输入图像生成以图像或区域为单位的可靠度信息。

在步骤S402中，从作为成像图像的二维图像的空间和频率特征中提取视差强调成分。例如，在应用先前所述的日本未实审专利申请公布No.2010-63083中描述的配置的情况下，提取作为处理对象的二维图像的输入图像信号的微分信号来作为视差强调成分。

在步骤S403中，执行按深度信息的视差强调成分的插值。这种处理例如对应于参考图7描述的成分量控制单元315的增益系数计算单元351的处理。增益系数计算单元351利用预先设置的函数f(x)将深度信息D转换成具有0和1之间的值的增益系数β，并且将深度信息D输出到成分量调整单元353。

β＝f(D)

在步骤S403中，通过例如这种处理来执行基于深度信息的视差强调成分的插值。

接下来，在步骤S404中，执行按可靠度信息的视差强调成分的插值。这种处理例如对应于参考图7描述的成分量控制单元315的增益系数计算单元352的处理。增益系数计算单元352利用预先设置的函数g(x)将可靠度信息S转换成具有0和1之间的值的增益系数γ，并且将可靠度信息S输出到成分量调整单元353。

γ＝g(S)

在步骤S404中，通过例如这种处理来执行按深度信息的可靠度的视差强调成分的插值。

在步骤S405中，通过应用插值的视差强调成分从二维图像和视差强调成分生成左右视差图像。这里，最终应用的视差强调成分α′是例如按照以下表达式转换来的值。

α′＝α×β×γ

在步骤S406中，判定未处理数据的存在性。在存在未处理数据的情况下，对未处理数据执行从步骤S401起的处理。在步骤S406中判定对所有数据的处理都已结束的情况下，处理结束。

(10-3.应用了图6中所示的第三实施例的图像转换单元的处理序列)

接下来，将参考图13中所示的流程图来描述应用了图6中所示的第三实施例的图像转换单元的处理序列。

遵循图13中所示的流程的图像转换处理对应于应用图6中所示的图像转换单元320的情况下的处理。也就是说，遵循图13中所示的流程的图像转换处理不是切换转换方法本身，而是在仅从二维图像生成三维图像的情况下和在通过应用可靠度信息来调整转换参数的情况下的流程图的示例。

可靠度信息被添加到深度信息，从而具有低可靠度的深度信息执行用周围深度信息的平均值替代的处理以生成用于转换的最终深度信息。然后，从最终深度信息和二维图像执行几何运算，并且生成左右视差图像。

首先，在步骤S501中，像通常那样通过成像装置执行图像的成像。如果在成像期间生成深度信息，则使用该深度信息，而如果在成像期间不生成深度信息，则通过估计来生成深度信息。通过估计为输入图像生成以图像或区域为单位的可靠度信息。

在步骤S502中，从深度信息和可靠度信息生成用于转换的深度信息。这种处理对应于先前参考图6描述的图像转换单元320的深度控制单元324的处理。

深度控制单元324利用可靠度信息对输入的深度信息增大和减小深度(视差量)。作为示例，假定在可靠度信息为不可靠的情况下增益值为0并且在可靠度信息为可靠的情况下增益值为1，则通过将视差量进一步乘以增益值并且在可靠度信息为不可靠的情况下减小视差量来避免不必要地生成视差。

在步骤S503中，通过应用在步骤S502中确定的用于转换的深度信息来生成左右视差图像。这种处理对应于参考图7描述的几何视差图像生成单元325的几何处理。在视差图像生成单元325中，基于从输入图像预处理单元321输出的二维图像和从深度控制单元324输入的视差量来几何地生成左右视差图像，并且将左右视差图像输出到输出图像后期处理单元326。

在步骤S504中，判定未处理数据的存在性。在存在未处理数据的情况下，对未处理数据执行从步骤S501起的处理。在步骤S504中判定对所有数据的处理都已结束的情况下，处理结束。

[11.图像转换单元的处理序列(运动图像)]

在处理对象图像是运动图像的情况下，图像处理装置生成与显示装置的显示方法相对应的左眼图像和右眼图像的运动图像。

如先前在[9.与图像显示装置有关的处理]这一项中所述，大体来说有以下两种类型的运动图像的显示方法。

(a)空间划分方法，其中运动图像的构成帧之一被以例如行为单位划分成左眼图像和右眼图像。

(b)时间划分方法，其中运动图像被以帧为单位划分成左眼图像和右眼图像。

图像处理装置根据这种显示方法生成输出图像。

下面将参考图14和15中所示的流程图来描述对于运动图像的与这种方法相对应的处理。

(11-1.在显示装置使用空间划分方法的情况下的处理示例)

首先，将参考图14中所示的流程图来描述在显示装置使用空间划分方法的情况下的处理示例。

图14中所示的流程图示出了在构成运动图像的一帧的图像处理中以行为单位生成左眼图像和右眼图像的情况下的处理。按行交替生成左眼图像和右眼图像以适应显示装置。这里，每一行的左眼图像和右眼图像的生成处理执行遵循先前在[10.图像转换单元的处理序列]这一项中描述的处理的图像生成。

在图14中所示的流程的步骤S601中，判定一行是否是以处理图像的行为单位生成左眼图像的行。这里，该判定是根据诸如奇数行用于左眼且偶数行用于右眼之类的预先设置的信息来作出的。

具体而言，例如，可以按照图像处理单元用于输出的图像显示装置的显示方法并且根据设于图像转换单元内的行计数器的值来作出判定。行计数器是保持与输入图像的行号相对应的值的计数器。

在图像显示装置的输出方法是例如空间划分输出方法的情况下，图像转换单元根据行计数器的值来判定是否输出左眼图像。也就是说，图像转换单元执行控制以使得仅对奇数行或偶数行输出左眼图像。在根据行计数器的值判定要输出左眼图像的情况下，流程前进到左眼图像生成。另一方面，在根据行计数器的值判定行不是用于左眼图像输出的行的情况下，流程前进到下一条件分支。

在行是左眼图像生成行的情况下，流程前进到步骤S602，并且基于输入的二维图像执行左眼图像的生成处理。这种处理是作为如下处理执行的：对于该处理，在根据先前在[10.图像转换单元的处理序列]中描述的处理的图像生成中应用了左眼图像的生成参数。

当在步骤S601中判定行不是左眼图像生成行时，流程前进到步骤S603，并且判定行是否是右眼图像生成行。在行是右眼图像生成行的情况下，流程前进到步骤S604，并且基于输入的二维图像执行右眼图像的生成处理。这种处理是作为如下处理执行的：对于该处理，在根据先前在[10.图像转换单元的处理序列]中描述的处理的图像生成中应用了右眼图像的生成参数。

在步骤S605中，判定未处理行的存在性。在存在未处理行的情况下，流程返回到步骤S601并且执行未处理行的处理。

如果在步骤S605中判定没有未处理的行，则处理结束。

(11-2.在显示装置使用时间划分方法的情况下的处理示例)

接下来，将参考图15中所示的流程图来描述在显示装置使用时间划分方法的情况下的处理示例。

图15中所示的流程图是在构成运动图像的一帧的图像处理中以帧为单位生成左眼图像和右眼图像的情况下的处理。按帧交替生成左眼图像和右眼图像以适应显示装置。这里，每个帧的左眼图像和右眼图像的生成处理执行遵循先前在[10.图像转换单元的处理序列]这一项中描述的处理的图像生成。

在图15中所示的流程的步骤S701中，判定深度信息和可靠度信息的更新处理是否重要。这种判定是判定深度信息和可靠度信息的更新处理是否由于帧的变化而重要的处理。深度信息和可靠度信息的更新是根据诸如一帧单位、两帧单位或四帧单位之类的预先设置的信息来执行的。在执行更新的情况下，步骤S701的条件分支处的判定是“是”，在步骤S702中执行更新处理，并且流程前进到步骤S703。在更新不重要的情况下，流程前进到步骤S703，而不执行步骤S702的更新处理。

在步骤S703中判定帧是否是以处理图像的帧为单位生成左眼图像的帧。这种判定处理是根据预先设置的信息来判定的。

具体而言，例如，可以按照图像处理单元用于输出的图像显示装置的显示方法并且根据设于图像转换单元内的帧计数器的值来作出判定。帧计数器是保持与输入图像的帧号相对应的值的计数器。

在图像显示装置的输出方法是例如上述的时间划分输出方法的情况下，图像转换单元根据帧计数器的值来判定是否输出左眼图像。也就是说，图像转换单元执行控制以使得仅对奇数帧或偶数帧输出左眼图像。在根据帧计数器的值判定要输出左眼图像的情况下，流程前进到左眼图像生成。另一方面，在根据帧计数器的值判定帧不是用于左眼图像输出的帧的情况下，流程前进到下一条件分支。

在帧是左眼图像生成帧的情况下，流程前进到步骤S704，并且基于输入的二维图像执行左眼图像的生成处理。这种处理是作为如下处理执行的：对于该处理，在根据先前在[10.图像转换单元的处理序列]中描述的处理的图像生成中应用了左眼图像的生成参数。

当在步骤S703中判定帧不是左眼图像生成帧时，流程前进到步骤S705，并且判定帧是否是右眼图像生成帧。在帧是右眼图像生成帧的情况下，流程前进到步骤S706，并且基于输入的二维图像执行右眼图像的生成处理。这种处理是作为如下处理执行的：对于该处理，在根据先前在[10.图像转换单元的处理序列]中描述的处理的图像生成中应用了右眼图像的生成参数。

在步骤S707中，判定未处理帧的存在性。在存在未处理帧的情况下，流程返回到步骤S701并且执行未处理帧的处理。

如果在步骤S707中判定没有未处理的帧，则处理结束。

[12.其他实施例]

以上所述的实施例例如是如图1和2中所示的输入成像装置的成像图像并且将所生成的图像输出到显示装置的配置示例。

然而，本公开的实施例的图像处理装置例如可具有如图16中所示的显示单元501在图像处理装置500的内部的配置。

另外，如图17中所示，本公开的实施例的图像处理装置例如可以是在图像处理装置520的内部包括成像单元521的相机。

另外，如图18中所示，本公开的实施例的图像处理装置可具有包括记录在图像处理装置540内部生成的图像数据的存储单元541的配置。存储单元541能够由例如闪存、硬盘、DVD、蓝光盘(BD)等等构成。

以上已参考具体实施例详述了本公开的实施例。然而，不言自明的是，本领域的技术人员在不脱离本公开的要旨的范围内可以作出校正和替代。也就是说，本公开的实施例是作为示例被公开的，而不应被解释为限制性的。应参考权利要求的范围来确定本公开的要旨。

另外，在说明书中描述的处理的系列能够由硬件、软件或两者的组合来执行。在用软件执行处理的情况下，可以通过将记录有处理序列的程序安装在集成到专用硬件中的计算机内的存储器上来执行该程序，或者通过将程序安装在能够执行各种处理的通用计算机上来执行该程序。例如，程序可被预先记录在记录介质上。除了从记录介质将程序安装在计算机上以外，还能够经由诸如LAN(局域网)或因特网之类的网络将程序安装在诸如硬盘之类的接收和包含程序的记录介质上。

这里，在说明书中描述的各种处理不限于按根据描述的时间系列执行，而是可以根据执行处理的装置的处理能力或者根据需要并行或分别执行。另外，说明书中的***是多个装置的逻辑集合配置，并且每个配置的装置不一定在同一外壳内。

本公开包含与2010年12月27日向日本专利局提交的日本优先权专利申请JP 2010-290194中公开的主题相关的主题，特此通过引用将该申请的全部内容并入。

本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们处于所附权利要求或其等同物的范围之内即可。

Claims (12)

1.一种图像处理装置，包括：

图像输入单元，该图像输入单元输入二维图像信号；

深度信息输出单元，该深度信息输出单元以构成所述二维图像信号的图像区域为单位输入或生成深度信息；

深度信息可靠度输出单元，该深度信息可靠度输出单元输入或生成所述深度信息输出单元输出的深度信息的可靠度；

图像转换单元，该图像转换单元输入从所述图像输入单元输出的图像信号、所述深度信息输出单元输出的深度信息以及所述深度信息可靠度输出单元输出的深度信息可靠度，并且生成和输出用于实现双眼立体视觉的左眼图像和右眼图像；以及

图像输出单元，该图像输出单元输出从所述图像转换单元输出的左眼图像和右眼图像，

其中，所述图像转换单元具有通过对输入图像信号的图像转换处理执行左眼图像和右眼图像中的至少一个的图像生成的配置，并且

在所述图像转换期间执行应用所述深度信息和所述深度信息可靠度作为转换控制数据的转换处理。

2.根据权利要求1所述的图像处理装置，

其中，所述图像转换单元在所述深度信息可靠度等于或大于预先固定的阈值并且判定可靠度高的情况下执行通过主要应用所述深度信息的图像转换处理来从二维图像生成左眼图像或右眼图像的处理。

3.根据权利要求1所述的图像处理装置，

其中，所述图像转换单元在所述深度信息可靠度小于预先固定的阈值并且判定可靠度低的情况下执行通过不使用所述深度信息的图像转换处理来从二维图像生成左眼图像或右眼图像的处理。

4.根据权利要求3所述的图像处理装置，

其中，所述图像转换单元执行如下处理：对输入图像信号设置亮度微分信号作为特征量，生成向输入图像信号添加特征量的信号和从输入图像信号中减去特征量的信号，并且生成这两个信号构成的一对作为一对左眼图像和右眼图像。

5.根据权利要求1所述的图像处理装置，

其中，所述图像转换单元在所述深度信息可靠度小于预先固定的第一阈值且等于或大于预先固定的第二阈值并且判定可靠度为中等的情况下执行通过使用所述深度信息作为辅助的非几何图像转换处理来从输入二维图像生成左眼图像或右眼图像的处理。

6.根据权利要求1所述的图像处理装置，

其中，所述图像转换单元包括：

视差强调成分计算单元，该视差强调成分计算单元提取输入图像信号的空间特征量并且计算被应用了所提取的特征量的视差强调成分；

成分量控制单元，该成分量控制单元基于所述深度信息和所述深度信息可靠度来执行所述视差强调成分的调整；以及

视差图像生成单元，该视差图像生成单元执行如下处理：通过对被应用了作为所述成分量控制单元的输出的、调整了成分量的视差强调成分的输入图像的图像转换处理，来从输入二维图像生成左眼图像或右眼图像。

7.根据权利要求1所述的图像处理装置，

其中，所述图像转换单元包括：

深度控制单元，该深度控制单元基于所述深度信息可靠度执行所述深度信息的加权并且生成加权设置深度信息；以及

视差图像生成单元，该视差图像生成单元执行如下处理：通过对被应用了作为所述深度控制单元的输出的加权设置深度信息的输入图像的图像转换处理，来从输入二维图像生成左眼图像或右眼图像。

8.根据权利要求1所述的图像处理装置，

其中，所述图像处理装置还包括显示由所述图像转换单元生成的经转换图像的显示单元。

9.根据权利要求1所述的图像处理装置，

其中，所述图像处理装置还包括成像单元，并且所述图像转换单元通过输入所述成像单元的成像图像来执行处理。

10.根据权利要求1所述的图像处理装置，

其中，所述图像处理装置还包括记录由所述图像转换单元生成的经转换图像的存储单元。

11.一种在图像处理装置中执行图像转换处理的图像处理方法，该图像处理方法包括：

由图像输入单元进行的图像输入，输入二维图像信号；

由深度信息输出单元进行的深度信息输出，以构成所述二维图像信号的图像区域为单位输入或生成深度信息；

由深度信息可靠度输出单元进行的深度信息可靠度输出，输入或生成所述深度信息输出单元输出的深度信息的可靠度；

由图像转换单元进行的图像转换，输入从所述图像输入单元输出的图像信号、所述深度信息输出单元输出的深度信息以及所述深度信息可靠度输出单元输出的深度信息可靠度，并且生成和输出用于实现双眼立体视觉的左眼图像和右眼图像；以及

由图像输出单元进行的图像输出，输出从所述图像转换单元输出的左眼图像和右眼图像，

其中，所述图像转换通过对输入图像信号的图像转换处理执行左眼图像和右眼图像中的至少一个的图像生成，并且在所述图像转换期间执行应用所述深度信息和所述深度信息可靠度作为转换控制数据的转换处理。

12.一种使图像处理装置执行图像转换处理的程序，该图像转换处理包括：

由图像输入单元进行的图像输入，输入二维图像信号；

由深度信息输出单元进行的深度信息输出，以构成所述二维图像信号的图像区域为单位输入或生成深度信息；

由深度信息可靠度输出单元进行的深度信息可靠度输出，输入或生成所述深度信息输出单元输出的深度信息的可靠度；

由图像转换单元进行的图像转换，输入从所述图像输入单元输出的图像信号、所述深度信息输出单元输出的深度信息以及所述深度信息可靠度输出单元输出的深度信息可靠度，并且生成和输出用于实现双眼立体视觉的左眼图像和右眼图像；以及

由图像输出单元进行的图像输出，输出从所述图像转换单元输出的左眼图像和右眼图像，

其中，在所述图像转换中，使得执行通过对输入图像信号的图像转换处理进行的左眼图像和右眼图像中的至少一个的图像生成，并且在所述图像转换期间使得执行应用所述深度信息和所述深度信息可靠度作为转换控制数据的转换处理。

Images