CN102695065A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

提供了一种用于调整三维图像的显示的方法、装置和计算机可读存储介质。该方法包括：接收与由用户观看的图像相关联的观看条件；处理器基于观看条件确定转换特性；以及处理器基于转换特性调整图像的显示条件。

Description

图像处理装置、图像处理方法和程序

相关申请的交叉引用

本申请要求2011年3月23日提交的日本专利申请No.2011-064511的优先权，其全部内容通过引用包含于此。

技术领域

本公开涉及一种图像处理装置、图像处理方法和程序，尤其涉及一种能够与立体图像的观看条件无关地获得更合适的深度感觉的图像处理装置、图像处理方法和程序。

背景技术

迄今为止，存在通过显示装置显示立体图像的技术。通过立体图像再现的被摄体的深度的感觉根据用户观看立体图像的观看条件或者由诸如用户的瞳孔距离的物理特征确定的观看条件而改变。相应地，在一些情况下，再现的深度的感觉可能不适合用户，由此使用户感到疲劳。

例如，当在特定观看距离或者显示尺寸的假设下生成的立体图像的实际观看距离比假设距离更接近，并且显示立体图像的显示装置的屏幕的尺寸大于假设的显示装置的尺寸时，难以观看立体图像。因此，提出了通过使用向立体图像添加的交叉点信息来控制立体图像的视差的技术(例如参见日本专利No.3978392)。

然而，在上述技术中，在一些情况下可能不一定根据观看条件针对每个用户提供足够合适的深度的感觉。在使用交叉点信息的技术中，当未向立体图像添加交叉点信息时，难以控制立体图像的视差。

希望提供一种技术，用于与立体图像的观看条件无关地获得更合适的深度的感觉。

根据本公开的实施例，能够与立体图像的观看条件无关地获得更合适的深度的感觉。

发明内容

相应地，提供了一种用计算机实现的用于调整三维图像的显示的方法。该方法可以包括：接收与由用户观看的图像相关联的观看条件；处理器基于观看条件确定转换特性；以及处理器基于转换特性调整图像的显示条件。

根据实施例，提供了一种用于调整三维图像的显示的装置。该装置可以包括：显示设备，用于显示由用户观看的图像；存储器，存储指令；以及处理器，执行指令以：接收与图像相关联的观看条件；基于观看条件确定转换特性；以及基于转换特性调整图像的显示条件。

根据实施例，提供了一种包括如下指令的非易失性计算机可读存储介质，当在处理器上执行该指令时，该指令使处理器执行用于调整三维图像的显示的方法。该方法可以包括：接收与由用户观看的图像相关联的观看条件；基于观看条件确定转换特性；以及基于转换特性调整图像的显示条件。

附图说明

图1是示出瞳孔距离和立体图像的深度的图；

图2是示出瞳孔距离的视差和观看距离之间的关系的图；

图3是示出显示尺寸和立体图像的深度的图；

图4是示出观看距离和立体图像的深度的图；

图5是示出容许最近位置和容许最远位置的图；

图6是示出容许最小视差和容许最大视差的图；

图7是示出根据实施例的立体图像显示***的配置的示例的图；

图8是示出视差转换装置的配置的示例的图；

图9是示出图像转换处理的流程图；

图10是示出以累积频率分布对最小视差和最大视差进行检测的图；

图11是示出转换特性的示例的图；

图12是示出转换特性的示例的图；

图13是示出转换特性的示例的图；

图14是示出查找表的示例的图；

图15是示出图像合成的图；

图16是示出立体图像显示***的配置的另一示例的图；

图17是示出视差转换装置的配置的示例的图；

图18是示出图像转换处理的流程图；

图19是示出瞳孔距离的计算的图；

图20是示出立体图像显示***的配置的又一示例的图；

图21是示出视差转换装置的配置的示例的图；

图22是示出图像转换处理的流程图；以及

图23是示出计算机的配置的示例的图。

具体实施方式

下文中，参考附图，描述应用本技术的实施例。

第一实施例

立体图像的观看条件和深度的感觉

首先，参考图1至4，描述观看立体图像的用户的观看条件和立体图像的深度的感觉。

如图1所示，假设在显示屏幕SC11上显示由右眼图像和左眼图像形成的立体图像，并且用户仅在观看距离D处观看远离显示屏幕SC11的立体图像。这里，形成立体图像的右眼图像是所显示的、使得在显示立体图像时用户可以用他或她的右眼观看右眼图像的图像。形成立体图像的左眼图像是所显示的、使得在显示立体图像时用户可以用他或她的左眼观看左眼图像的图像。

这里，假设e(下文中称为瞳孔距离e)是右眼YR和左眼YL之间的距离，d是右眼图像和左眼图像中的预定被摄体H11的视差。也就是说，d是显示屏幕SC11上的左眼图像上的被摄体H11和右眼图像上的被摄体H11之间的距离。

在这种情况下，用户感知到的被摄体H11的位置，即被摄体H11的定位位置远离显示屏幕SC11距离DD(下文中称为深度距离DD)。通过下面的表达式(1)由视差d、瞳孔距离e和观看距离D计算深度距离DD。

深度距离DD＝d×D/(e-d)...(1)

在该表达式中，当显示屏幕SC11上的右眼图像上的被摄体H11存在于图中的左眼图像上的被摄体H11右侧，即存在于观看立体图像的用户的右侧时，视差d具有正值。在这种情况下，深度距离DD具有正值，并且当从用户看时，被摄体H11被定位在显示屏幕SC11的后侧。

相反，当显示屏幕SC11上的右眼图像上的被摄体H11存在于图中的被摄体H11左侧时，视差d具有负值。在这种情况下，由于深度距离DD具有负值，因此当从用户看时，被摄体H11被定位在显示屏幕SC11的前侧。

瞳孔距离e依据观看立体图像的用户而不同。例如，通常成人的双眼距离e大约是6.5cm，而通常儿童的双眼距离e大约是5cm。

因此，如图2所示，相对于立体图像的视差d的深度距离DD根据瞳孔距离e而变化。在图中，垂直轴表示深度距离DD，水平轴表示视差d。曲线C11是指示当瞳孔距离e＝5cm时，相对于视差d的深度距离DD的曲线。曲线C12是指示当瞳孔距离e＝6.5cm时，相对于视差d的深度距离DD的曲线。

从曲线C11和C12可以理解，视差d越大，曲线C11和C12所示的深度距离DD之间的距离越大。相应地，在针对成人调整视差的立体图像中，当视差d越大时，对于儿童来说，负担增加。

因此，由于深度距离DD依据每个用户的瞳孔距离e的值变化，因此需要依据瞳孔距离e针对每个用户控制视差d，使得立体图像中的每个被摄体的深度距离DD变成合适范围内的距离。

如图3所示，当显示立体图像的显示屏幕的尺寸不管立体图像上的右眼图像和左眼图像之间的视差相同的事实而变化时，单个像素的尺寸，即显示屏幕上的被摄体的尺寸变化，因此视差d的幅值变化。

在图3的示例中，分别在图的左部所示的显示屏幕SC21和图的右部所示的显示屏幕SC22上显示具有相同视差的立体图像。然而，由于显示屏幕SC21大于显示屏幕SC22，因此显示屏幕上的视差对于显示屏幕SC21来说较大。也就是说，在显示屏幕SC21上设置视差d＝d11，而显示屏幕SC22上设置视差d＝d12(其中d11＞d12)。

因此，在显示屏幕SC21上显示的被摄体H11的深度距离DD＝DD11也大于在显示屏幕SC22上显示的被摄体H11的深度距离DD＝DD12。例如，当在诸如显示表面SC21的大尺寸屏幕上显示通过控制视差而针对诸如显示屏幕SC22的小尺寸屏幕生成的立体图像时，视差太大，从而增加了用户的眼睛的负担。

因此，由于再现的深度感觉依据显示具有相同视差的立体图像的显示屏幕的尺寸而不同，因此需要根据显示立体图像的显示屏幕的尺寸(显示尺寸)来适当地控制视差d。

此外，甚至当用户的观看距离D不管显示立体图像的显示屏幕SC11的尺寸或者显示屏幕SC11上的视差d相同的事实而变化时，例如，如图4所示，被摄体H11的深度距离DD也变化。

在图4的示例中，图的右部的显示屏幕SC11的尺寸与图的左部的显示屏幕SC11的尺寸相同，并且在显示屏幕SC11上以相同的视差d显示被摄体H11。然而，图的左部的观看距离D＝D11大于图的右部的观看距离D＝D12。

因此，图的左部的被摄体H11的深度距离DD＝DD21也大于图的右部的被摄体H11的深度距离DD＝DD22。相应地，例如，当用户的观看距离太近时，观看被摄体H11的收敛角度较大。由于该原因，在一些情况下，更难以观看到立体图像。

以这种方式，由于再现的深度的感觉也依据用户的观看距离D而变化，因此需要根据用户到显示屏幕之间的观看距离D来适当地控制视差d。

需要根据瞳孔距离e、显示立体图像的显示屏幕的尺寸和观看距离D，对视差d进行适当的转换，使得立体图像上的每个被摄体的深度距离DD变成对于用户负担较低的合适范围内的距离。

下文中，将显示立体图像的显示屏幕的尺寸，特别地，将显示屏幕在视差方向上的长度称为显示宽度W。此外，将至少通过瞳孔距离e、显示宽度W和观看距离D确定的、与用户观看立体图像相关联的条件称为观看条件。

立体图像的合适视差

接下来，描述在上述观看条件下确定的立体图像的合适视差的范围。

假设将在观看条件下确定的立体图像的合适视差的范围内的视差的最小值和最大值分别称为视差d_min′和视差d_max′，由作为观看条件的瞳孔距离e、显示宽度W和观看距离D计算视差d_min′和视差d_max′。

这里，视差d_min′和视差d_max′是使用立体图像上的像素作为单位设置的视差。也就是说，视差d_min′和视差d_max′是形成立体图像的右眼图像和左眼图像之间的像素单位的视差。

如图5的左部所示，假设立体图像上的被摄体中的视差为视差d_min′的被摄体H12的定位位置是容许最近位置，并且用户与容许最近位置之间的距离为容许最近距离D_min。此外，如图的右部所示，假设视差为视差d_max′的被摄体的定位位置是容许最远位置，并且用户与容许最远位置之间的距离为容许最远距离D_max。

也就是说，容许最近距离D_min是允许用户在用户的双眼(左眼YL和右眼YR)与立体图像上的被摄体的定位位置之间以适当的视差观看立体图像的距离的最小值。类似地，容许最远距离D_max是允许用户在用户的双眼与立体图像上的被摄体的定位位置之间以适当的视差观看立体图像的距离的最大值。

例如，如图的左部所示，将用户用左眼YL和右眼YR观看显示屏幕SC11的角度设为角度α，将用户观看被摄体H12的角度设为角度β。通常，将具有满足关系β-α≤60′的最大角度β的被摄体H12视为被定位在容许最近位置的被摄体。

如图的右部所示，将用户的双眼到被定位在无限远位置的被摄体之间的距离视为容许最远距离D_max。在这种情况下，观看被定位在容许最远距离D_max的位置的被摄体的用户的双眼的视线是彼此平行的。

可以通过几何学方法由瞳孔距离e和观看距离D来计算容许最近距离D_min和容许最远距离D_max。

也就是说，由瞳孔距离e和观看距离D满足下面的表达式(2)。

tan(α/2)＝(1/D)×(e/2)...(2)

当对表达式(2)进行变形时，如在表达式(3)中所表示的计算角度α。

α＝2tan^-1(e/2D)...(3)

与在角度α中相同，以如下表达式(4)表示角度β。

β＝2tan^-1(e/2D_min)...(4)

如所描述的，用于观看被定位为与用户仅距离容许最近距离D_min的被摄体H12的角度β满足下面的表达式(5)。因此，容许最近距离D_min根据表达式(4)和表达式(5)满足表达式(6)表示的条件。

β-α≤60...(5)

容许最近距离D_min≥e/2tan((60+α)/2)...(6)

当使用表达式(3)来代替以这种方式获得的表达式(6)中的α时，可以获得容许最近距离D_min。也就是说，当在观看条件中可以知道瞳孔距离e和观看距离D时，可以计算容许最近距离D_min。类似地，当在表达式(6)中角度α为0时，可以获得容许最远距离D_max。

由以这种方式获得的容许最近距离D_min和容许最远距离D_max，计算视差d_min′和视差d_max′。

例如，如图6所示，当在显示屏幕SC11上显示立体图像时，被摄体H31被定位在与用户的距离是容许最近距离D_min的容许最近位置，而被摄体H32被定位在与用户的距离是容许最远距离D_max的容许最远位置。

这时，通过下面的表达式(7)，使用观看距离D、瞳孔距离e和容许最近距离D_min表示显示屏幕SC11上的立体图像上的被摄体H31的视差d_min。

d_min＝e(D_min-D)D_min...(7)

类似地，通过下面的表达式(8)，使用观看距离D、瞳孔距离e和容许最远距离D_max表示显示屏幕SC11上的立体图像上的被摄体H32的视差d_max。

d_max＝e(D_max-D)D_max...(8)

这里，由于如从表达式(7)和表达式(8)所理解的，由瞳孔距离e和观看距离D计算容许最近距离D_min和容许最远距离D_max，因此也由瞳孔距离e和观看距离D计算视差d_min和视差d_max。

这里，视差d_min和视差d_max是显示屏幕SC11上的距离。因此，为了将立体图像转换为具有适当视差的图像，需要将视差d_min和视差d_max转换为使用像素作为单位而设置的视差d_min′和视差d_max′。

当用像素的数量表示视差d_min和视差d_max时，可以将这些视差除以显示屏幕SC11上的立体图像的像素距离，即显示屏幕SC11的显示装置的像素距离。这里，由显示宽度W和显示装置的视差方向(图中的水平方向)上的像素数量N，即立体图像的视差方向上的像素数量N，计算显示装置的像素距离。该值是W/N。

通过下面的表达式(9)和表达式(10)，由视差d_min、视差d_max、显示宽度W和像素数量N，表示视差d_min′和视差d_max′。

视差d_min′＝d_min×N/W...(9)

视差d_max′＝d_max×N/W...(10)

可以由作为观看条件的瞳孔距离e、显示宽度W和观看距离D，计算作为立体图像的适当视差范围的值的视差d_min′和视差d_max′。

相应地，当用户在预定观看条件下观看立体图像，且通过由这些观看条件计算适当视差范围而输入的立体图像被转换为具有所计算的视差范围内的视差的立体图像并被显示时，可以呈现具有适合于观看条件的合适的深度感觉的立体图像。

迄今为止，作为满足预定条件的距离，描述了容许最近距离D_min和容许最远距离D_max。然而，可以根据用户的喜好来设置容许最近距离D_min和容许最远距离D_max。

立体图像显示***的配置的示例

根据本发明实施例，提供一种用于调整三维图像的显示的装置，包括：显示设备，用于显示由用户观看的图像；存储器，存储指令；以及处理器，执行所述指令以：接收与所述图像相关联的观看条件；基于所述观看条件确定转换特性；以及基于所述转换特性调整所述图像的显示条件。

接下来，根据实施例描述应用本技术的立体图像显示***，作为用于调整三维图像的显示的装置的例子。

图7是示出根据实施例的立体图像显示***的配置的示例的图。立体图像显示***包括图像记录装置11、视差转换装置12、显示控制装置13和图像显示装置14。

图像记录装置11存储用来显示立体图像的图像数据。视差转换装置12从图像记录装置11读取立体图像，根据用户的观看条件转换立体图像的视差，并且将具有转换后的视差的立体图像提供给显示控制装置13。也就是说，将立体图像转换为具有适合于用户的观看条件的视差的立体图像。

立体图像可以是彼此具有视差的一对静止图像，或者可以是彼此具有视差的运动图像。

显示控制装置13将从视差转换装置12提供的立体图像提供给图像显示装置14。然后，图像显示装置14在显示控制装置13的控制下，对从显示控制装置13提供的立体图像进行立体化显示。例如，图像显示装置14是作为立体图像显示图像数据的立体化设备。可以使用诸如双凸透镜方法、视差屏障方法或者时分显示方法的***示方法，作为通过图像显示装置14显示立体图像的方法。

视差转换装置的配置的示例

例如，图7所示的视差转换装置12具有图8所示的配置。

视差转换装置12包括输入单元41、视差检测单元42、转换特性设置单元43、校正后视差计算单元44和图像合成单元45。在视差转换装置12中，将由右眼图像R和左眼图像L形成的立体图像从图像记录装置11提供到视差检测单元42和图像合成单元45。

输入单元41获取作为观看条件的瞳孔距离e、显示宽度W和观看距离D，并且将瞳孔距离e、显示宽度W和观看距离D输入到转换特性设置单元43。例如，当用户操作远程命令器51输入观看条件时，输入单元41接收从远程命令器51发送的关于观看条件的信息，以获得观看条件。

视差检测单元42基于从图像记录装置11提供的右眼图像R和左眼图像L针对每个像素计算右眼图像R和左眼图像L之间的视差，并且将指示每个像素的视差的视差图提供给转换特性设置单元43和校正后视差计算单元44。

转换特性设置单元43基于从输入单元41提供的观看条件和从视差检测单元42提供的视差图，确定右眼图像R和左眼图像L之间的视差的转换特性，然后将视差的转换特性提供给校正后视差计算单元44。

转换特性设置单元43包括容许视差计算单元61、最大/最小视差检测单元62和设置单元63。

容许视差计算单元61基于从输入单元41提供的观看条件，计算适合于用户的特性或立体图像的观看条件的视差d_min′和视差d_max′，然后将视差d_min′和视差d_max′提供给设置单元63。下文中，还分别将视差d_min′和视差d_max′适当地称为容许最小视差d_min′和容许最大视差d_max′。

最大/最小视差检测单元62基于从视差检测单元42提供的视差图，检测右眼图像R和左眼图像L之间的视差的最大值和最小值，然后将视差的最大值和最小值提供给设置单元63。设置单元63基于来自容许视差计算单元61的视差d_min′和视差d_max′以及来自最大/最小视差检测单元62的视差的最大值和最小值，确定右眼图像R和左眼图像L之间的视差的转换特性，然后将确定的转换特性提供给校正后视差计算单元44。

校正后视差计算单元44基于来自视差检测单元42的视差图和来自设置单元63的转换特性，将在视差图中指示的每个像素的视差转换为视差d_min′和视差d_max′之间的视差，然后将转换后的视差提供给图像合成单元45。也就是说，校正后视差计算单元44对在视差图中指示的每个像素的视差进行转换(校正)，并且将指示校正后的每个像素的视差的校正后视差图提供给图像合成单元45。

图像合成单元45基于从校正后视差计算单元44提供的校正后视差图，分别将从图像记录装置11提供的右眼图像R和左眼图像L(例如显示状况)转换为右眼图像R′和左眼图像L′，然后将右眼图像R′和左眼图像L′提供给显示控制装置13。

图像转换处理

根据本发明实施例，提供一种用计算机实现的用于调整三维图像的显示的方法，包括：接收与由用户观看的图像相关联的观看条件；处理器基于所述观看条件确定转换特性；以及所述处理器基于所述转换特性调整所述图像的显示条件。

接下来，描述立体图像显示***的处理，作为上述根据本发明实施例的调整三维图像的显示的方法的示例。当立体图像显示***接收到来自用户的再现立体图像的指令时，立体图像显示***进行将指定的立体图像转换为具有适当视差的立体图像的图像转换处理，并且再现立体图像。参考图9的流程图，描述立体图像显示***的图像转换处理。

在步骤S11中，视差转换装置12从图像记录装置11中读取立体图像。也就是说，视差检测单元42和图像合成单元45从图像记录装置11中读取右眼图像R和左眼图像L。

在步骤S12中，输入单元41将从远程命令器51接收到的观看条件输入到容许视差计算单元61。

也就是说，用户操作远程命令器51输入作为观看条件的瞳孔距离e、显示宽度W和观看距离D。例如，瞳孔距离e可以由用户直接输入，或者可以在用户选择类别“成人”或“儿童”时输入。当通过选择类别“儿童”等输入瞳孔距离e时，双眼距离e被视为所选择的类别的平均瞳孔距离的值。

当以这种方式输入观看距离时，远程命令器51将输入的观看条件发送到输入单元41。然后，输入单元41接收来自远程命令器51的观看条件，并且将观看条件输入到容许视差计算单元61。

作为观看条件的显示宽度W可以由输入单元41从图像显示装置14等获取。输入单元41可以从图像显示装置14等获取显示器尺寸，并且可以由获取的显示器尺寸计算观看距离D，因为观看距离D对于显示器尺寸是标准观看距离。

此外，观看条件可以在图像转换处理开始之前事先从输入单元41获取，并且可以按照需要将其提供给容许视差计算单元61。输入单元41可以由诸如按钮的操作单元配置。在这种情况下，当用户操作输入单元41以输入观看条件时，输入单元41获取根据用户操作生成的信号作为观看条件。

在步骤S13中，容许视差计算单元61基于从输入单元41提供的观看条件计算容许最小视差d_min′和容许最大视差d_max′，并且将容许最小视差d_min′和容许最大视差d_max′提供给设置单元63。

例如，容许视差计算单元61基于作为观看条件的瞳孔距离e、显示宽度W和观看距离D，通过计算上述表达式(9)和表达式(10)，计算容许最小视差d_min′和容许最大视差d_max′。

在步骤S14中，视差检测单元42基于从图像记录装置11提供的右眼图像R和左眼图像L，检测右眼图像R和左眼图像L之间的每个像素的视差，然后将指示每个像素的视差的视差图提供给最大/最小视差检测单元62和校正后视差计算单元44。

例如，视差检测单元42使用左眼图像L作为基准，通过DP(动态编程)匹配，针对每个像素检测左眼图像L相对于右眼图像R的视差，并且生成指示检测结果的视差图。

此外，可以获得左眼图像L和右眼图像R两者的视差，以对隐匿部分进行处理。估计视差的方法是根据相关技术的技术。例如，存在估计右图像和左图像之间的视差，并且通过在从右图像和左图像排除了背景图像的前景图像上进行匹配来生成视差图的技术(例如参见日本未审专利申请公布第2006-114023号)。

在步骤S15中，最大/最小视差检测单元62基于从视差检测单元42提供的视差图，检测以视差图示出的各个像素的视差中的最大值和最小值，然后将视差的最大值和最小值提供给设置单元63。

下文中，还将最大/最小视差检测单元62检测的视差的最大值和最小值适当地称为最大视差d(i)_max和最小视差d(i)_min。

当检测到最大值和最小值时，可以使用累积频率分布，以使检测结果稳定化。在这种情况下，最大/最小视差检测单元62例如生成图10所示的累积频率分布。在图中，垂直轴表示累积频率，水平轴表示视差。

在图10的示例中，曲线RC11表示视差图上的像素作为像素值所具有的视差的值中、视差图上的像素中具有直到每个视差的值作为像素值的像素的数量(累积频率)。当最大/最小视差检测单元62例如生成该累积频率分布时，最大/最小视差检测单元62将表示相对于整个累积频率的5％的累积频率和95％的累积频率的视差的值，分别设置为最小视差和最大视差。

以这种方式，通过将与对应于相对于视差的总数的预设比率的累积频率相对应的视差，设置为最小视差或者最大视差，并且排除极大或小的视差，可以使检测结果稳定化。

在步骤S16中，设置单元63基于来自最大/最小视差检测单元62的最小视差和最大视差以及来自容许视差计算单元61的视差d_min′和视差d_max′，设置转换特性，然后将转换特性提供给校正后视差计算单元44。

例如，设置单元63基于最小视差、最大视差、容许最小视差d_min′和容许最大视差d_max′，确定转换特性，使得将立体图像的每个像素的视差转换为落在从容许最小视差d_min′到容许最大视差d_max′的范围(下文中称为容许视差范围)内的视差。

具体地，当最小视差和最大视差落在容许视差范围内时，设置单元63将视差图在不改变的情况下变为校正后视差图的等效转换函数，设置为转换特性。在这种情况下，将等效转换函数设置为转换特性的原因是，由于立体图像的每个像素的视差是具有适合于容许视差范围的幅值的视差，因此需要控制立体图像的视差。

另一方面，当最小视差和最大视差中的至少一个没有落在容许视差范围内时，设置单元63确定对立体图像的每个像素的视差进行校正(转换)的转换特性。也就是说，当将视差图上的像素的像素值(视差的值)设置为输入视差d(i)，并且将校正后视差图上的被定位在与视差图上的像素相同位置处的像素的像素值(视差的值)设置为校正后视差d(o)时，确定将输入视差d(i)转换为校正后视差d(o)的转换函数。

以这种方式，例如，确定图11所示的转换函数。在图11中，水平轴表示输入视差d(i)，垂直轴表示校正后视差d(o)。在图11中，直线F11和F12表示转换函数的图形。

在图11的示例中，直线F12表示当输入视差d(i)等于校正后视差d(o)时的转换函数的图形，即等效转换的图形。如上所述，当最小视差和最大视差落在容许视差范围内时，在转换函数中满足d(o)＝d(i)的关系。

然而，在图11的示例中，最小视差小于容许最小视差d_min′，并且最大视差大于容许最大视差d_max′。因此，当在不改变的情况下将输入视差d(i)等效地转换并设置为校正后视差d(o)时，校正后视差的最小值和最大值可能变为落在容许视差范围外部的视差。

相应地，设置单元63将直线F11所指示的线性函数设置为转换函数，使得每个像素的校正后视差变成落在容许视差范围内的视差。

这里，转换函数被确定为使得将输入视差d(i)＝0转换为校正后视差d(o)＝0，将最小视差d(i)_min转换为等于或大于容许最小视差d_min′的视差，并且将最大视差d(i)_max转换为等于或小于容许最大视差d_max′的视差。

在直线F11所指示的转换函数中，将输入视差d(i)＝0转换为0，将最小视差d(i)_min转换为容许最小视差d_min′，并且将最大视差d(i)_max转换为等于或小于容许最大视差d_max′的视差。

当设置单元63以这种方式确定了转换函数(转换特性)时，设置单元63将确定的转换函数作为转换特性提供给校正后视差计算单元44。

此外，转换特性不限于图11所示的示例，而可以被设置为针对视差的诸如将视差表示为单调增长的折线的函数的任意函数。例如，可以使用图12或13所示的转换特性。在图12和13中，水平轴表示输入视差d(i)，垂直轴表示校正后视差d(o)。在图中，对与图11中的部分相对应的部分给予相同的附图标记，不重复其描述。

在图12中，折线F21指示转换函数的图形。在折线F21所指示的转换函数中，将输入视差d(i)＝0转换为0，将最小视差d(i)_min转换为容许最小视差d_min′，并且将最大视差d(i)_max转换为容许最大视差d_max′。在折线F21所指示的转换函数中，从最小视差d(i)_min到0的区间的斜率与从0到最大视差d(i)_max的区间的斜率不同，在两个区间中都实现了线性函数。

在图13的示例中，折线F31指示转换函数的图形。在折线F31所指示的转换函数中，将输入视差d(i)＝0转换为0，将最小视差d(i)_min转换为等于或大于容许最小视差d_min′的视差，并且将最大视差d(i)_max转换为等于或小于容许最大视差d_max′的视差。

在折线F31所指示的转换函数中，从最小视差d(i)_min到0的区间的斜率与从0到最大视差d(i)_max的区间的斜率不同，在两个区间中都实现了线性函数。

此外，等于或小于最小视差d(i)_min的区间中的转换函数的斜率与从最小视差d(i)_min到0的区间中的转换函数的斜率不同。因此，从0到最大视差d(i)_max的区间中的转换函数的斜率与等于或大于最大视差d(i)_max的区间中的转换函数的斜率不同。

特别地，例如，当最小视差d(i)_min或者最大视差d(i)_max分别是视差图所示的视差的最小值或者最大值时，折线F31所指示的转换函数有效，由累积频率分布确定最大视差和最小视差。在这种情况下，通过减小等于或小于最小视差d(i)_min或者等于或大于最大视差d(i)_max的转换特性的斜率，可以将包含在立体图像中的具有超大绝对值的视差转换为适合于更容易观看立体图像的视差。

返回参考图9的流程图，当设置了转换特性时，处理从步骤S16进行到步骤S17。

在步骤S17中，校正后视差计算单元44基于从设置单元63提供的转换特性和来自视差检测单元42的视差图生成校正后视差图，然后将校正后视差图提供给图像合成单元45。

也就是说，校正后视差计算单元44通过将视差图的像素的视差(输入视差d(i))代入作为特性转换的转换函数中，来计算校正后视差d(o)，并且将计算的校正后视差设置为校正后视差图上的被定位在与该像素的位置相同位置处的像素的像素值。

例如，可以通过图14所示的查找表LT11来实现使用转换函数进行的校正后视差d(o)的计算。

使用查找表LT11，来通过预定转换特性(转换函数)将输入视差d(i)转换为校正后视差d(o)。在查找表LT11中，输入视差d(i)的各个值与将这些值代入转换函数而获得的校正后视差d(o)的值彼此匹配，并且将其彼此相对应地进行记录。

例如，在查找表LT11中，将输入视差d(i)的值“d0”与通过将值“d0”代入转换函数而获得的校正后视差d(o)的值“d0′”彼此相对应地进行记录。当针对各个转换特性记录这种查找表LT11时，校正后视差计算单元44可以在不计算转换函数的情况下容易地获得针对输入视差d(i)的校正后视差d(o)。

返回参考图9的流程图，当校正后视差图由校正后视差计算单元44生成且被提供给图像合成单元45时，处理从步骤S17进行到步骤S18。

在步骤S18中，图像合成单元45使用来自校正后视差计算单元44的校正后视差图，将来自图像记录装置11的右眼图像R和左眼图像L转换为具有适当视差的右眼图像R′和左眼图像L′，然后将右眼图像R′和左眼图像L′提供给显示控制装置13。

例如，如图15所示，在假设图的水平方向和垂直方向分别为i方向和j方向的ij坐标系中，假设左眼图像L上的位于坐标(i，j)处的像素为L(i，j)，右眼图像R上的位于坐标(i，j)处的像素是R(i，j)。此外，假设左眼图像L′上的位于坐标(i，j)处的像素是L′(i，j)，右眼图像R′上的位于坐标(i，j)处的像素是R′(i，j)。

此外，假设像素L(i，j)、像素R(i，j)、像素L′(i，j)和像素R′(i，j)的像素值分别是L(i，j)、R(i，j)、L′(i，j)和R′(i，j)。假设在视差图中示出的像素L(i，j)的输入视差是d(i)，并且经过校正的输入视差d(i)的校正后视差是d(o)。

在这种情况下，图像合成单元45将左眼图像L上的像素L(i，j)的像素值在不改变的情况下设置到左眼图像L′上的像素L′(i，j)的像素，如下面的表达式(11)所示。

L′(i，j)＝L(i，j)...(11)

图像合成单元45通过下面的表达式(12)计算右眼图像R′上的与像素L′(i，j)相对应的像素作为像素R′(i+d(o)，j)，以计算像素R′(i+d(o)，j)的像素值。

$R^{,}(i+d\left(o\right),j)=\frac{|d\left(i\right)-d\left(o\right)|L(i,j)+d\left(o\right)R(i+d\left(i\right),j)}{|d\left(i\right)-d\left(o\right)|+d\left(o\right)}...\left(12\right)$

也就是说，由于校正之前的右眼图像和左眼图像之间的输入视差是d(i)，如图的上部所示，因此右眼图像R上的与像素L(i，j)相对应的像素、即通过其显示与像素L(i，j)的被摄体相同的被摄体的像素是像素R(i+d(i)，j)。

由于对输入视差d(i)进行校正以使其容易地变成校正后视差d(o)，如图的下部所示，因此右眼图像R′上的与左眼图像L′上的像素L′(i，j)相对应的像素是以校正后视差d(o)远离像素L(i，j)的位置的像素R′(i+d(o)，j)。像素R′(i+d(o)，j)被定位在像素L(i，j)和像素R(i+d(i)，j)之间。

因此，图像合成单元45计算上述表达式(12)，并且计算像素L(i，j)和像素R(i+d(o)，j)的像素值之间的间距，以计算像素R′(i+d(o)，j)的像素值。

以这种方式，图像合成单元45设置通过在不改变的情况下对立体图像的一个图像进行校正而获得的一个校正后图像，并且计算一个图像的像素与另一图像的与该像素相对应的像素之间的间距，以计算经过视差校正的另一图像的像素，并获得校正后立体图像。

返回参考图9的流程图，当可以获得由右眼图像R′和左眼图像L′形成的立体图像时，处理从步骤S18进行到步骤S19。

在步骤S19中，显示控制装置13向图像显示装置14提供从图像合成单元45提供的由右眼图像R′和左眼图像L′形成的立体图像，以显示立体图像，然后图像转换处理结束。

例如，图像显示装置14在显示控制装置13的控制下，根据诸如双凸透镜方法的显示方法，通过显示右眼图像R′和左眼图像L′来显示立体图像。

以这种方式，立体图像显示***获取作为观看条件的瞳孔距离e、显示宽度W和观看距离D，将要显示的立体图像转换为具有更合适的视差的立体图像，并且显示转换后的立体图像。因此，通过根据观看条件生成具有适合于观看条件的视差的立体图像，可以与立体图像的观看条件无关地简单地获得更合适的深度感觉。

例如，适合于成人的立体图像可能对具有窄双眼距离的儿童给予大的负担。然而，立体图像显示***可以通过获取双眼距离e作为观看条件并且控制立体图像的视差，来呈现适合于每个用户的瞳孔距离e的视差的立体图像。类似地，立体图像显示***可以通过获取显示宽度W或者观看距离D作为观看条件，根据图像显示装置14的显示屏幕的尺寸、观看距离等，呈现一般合适的视差的立体图像。

第二实施例

立体图像显示***的配置的示例

以用户输入观看条件的情况为例进行了描述，但是视差转换装置12可以计算观看条件。

在这种情况下，立体图像显示***例如具有图16所示的配置。除了图7所示的立体图像显示***中的单元之外，图16中的立体图像显示***还包括图像传感器91。

视差转换装置12从图像显示装置14获取关于图像显示装置14的显示屏幕的尺寸(显示器尺寸)的显示器尺寸信息，并且基于显示器尺寸信息计算显示宽度W和观看距离D作为观看条件。

固定到图像显示装置14的图像传感器91捕获观看在图像显示装置14上显示的立体图像的用户的图像，并且将捕获的图像提供给视差转换装置12。视差转换装置12基于来自图像传感器91的图像和观看距离D计算瞳孔距离e。

视差转换装置的配置的示例

图16所示的立体图像显示***的视差转换装置12具有图17所示的配置。在图17中，对与图8中的单元相对应的单元给予相同的附图标记，并且不重复其描述。

除了图8中的视差转换装置12的单元之外，图17中的视差转换装置12还包括计算单元121和图像处理单元122。

计算单元121从图像显示装置14获取显示器尺寸信息，并且基于显示器尺寸信息计算显示宽度W和观看距离D。此外，计算单元121将计算的显示宽度W和计算的观看距离D提供给输入单元41，并且将观看距离D提供给图像处理单元122。

图像处理单元122基于从图像传感器91提供的图像和从计算单元121提供的观看距离D，计算瞳孔距离e，并且将瞳孔距离e提供给输入单元41。

图像转换处理

接下来，参考图18的流程图，描述图16中的立体图像显示***进行的图像转换处理。由于步骤S41的处理与图9中的步骤S11的处理相同，因此不重复其描述。

在步骤S42中，计算单元121从图像显示装置14获取显示器尺寸信息，并且根据获取的显示器尺寸信息计算显示宽度W。

在步骤S43中，计算单元121根据获取的显示器尺寸信息计算观看距离D。例如，计算单元121将针对显示器尺寸作为观看距离D的标准观看距离获取的所获取的显示器尺寸的显示屏幕的高度的三倍值，设置为观看距离D。计算单元121将计算的显示宽度W和观看距离D提供给输入单元41，并且将观看距离D提供给图像处理单元122。

在步骤S44中，图像处理单元122从图像传感器91获取用户的图像，基于获取的图像和来自计算单元121的观看距离D计算瞳孔距离e，并且将瞳孔距离提供给输入单元41。

例如，图像传感器91捕获图像显示装置14前面的用户的图像PT11，如图19的上部所示，并且将捕获的图像PT11提供给图像处理单元122。图像处理单元122通过面部检测从图像PT11中检测用户的面部区域FC11，并且从区域FC11中检测用户的右眼区域ER和左眼区域EL。

图像处理单元122使用从区域ER到区域EL的像素的数量作为单位计算距离ep，并且根据距离ep计算双眼距离e。

也就是说，如图19的下部所示，图像传感器91包括捕获图像PT11的传感器的传感器表面CM11以及汇聚来自用户的光的透镜LE11。假设来自用户的右眼YR的光经由透镜LE11到达传感器表面CM11的位置ER′，并且来自用户的左眼YL的光经由透镜LE11到达传感器表面CM11的位置EL′。

此外，假设传感器表面CM11到透镜LE11之间的距离是焦距f，并且透镜LE11到用户之间的距离是观看距离D。在这种情况下，图像处理单元122根据图像PT11上的用户的双眼之间的距离ep，计算传感器表面CM11上的位置ER′到位置EL′之间的距离ep′，并且通过根据距离ep′、焦距f和观看距离D计算表达式(13)，来计算瞳孔距离e。

瞳孔距离e＝D×ep′/f...(13)

返回参考图18的流程图，当计算了瞳孔距离e时，处理进行到步骤S45。在步骤S45中，输入单元41将来自计算单元121的显示宽度W和观看距离D以及来自图像处理单元122的瞳孔距离e，作为观看条件输入到容许视差计算单元61。

当输入了观看条件时，随后进行从步骤S46到步骤S52的处理，并且图像转换处理结束。由于这些处理与图9中的步骤S13到步骤S19的处理相同，因此不重复其描述。

以这种方式，该立体图像显示***计算观看条件，并且在观看条件下控制立体图像的视差。相应地，由于用户可不输入观看条件，因此用户可以观看具有更简单和更合适的视差的立体图像。

第三实施例

立体图像显示***的配置的示例

迄今为止，描述了根据显示器尺寸信息计算观看距离D的情况。然而，可以根据图像传感器捕获的图像来计算观看距离。

在这种情况下，立体图像显示***例如具有图20所示的配置，除了图7所示的立体图像显示***中的单元之外，图20中的立体图像显示***还包括图像传感器151-1和151-2。

固定到图像显示装置14的图像传感器151-1和151-2捕获观看由图像显示装置14显示的立体图像的用户的图像，并且将捕获的图像提供给视差转换装置12。视差转换装置12基于从图像传感器151-1和151-2提供的图像，计算观看距离D。

下文中，当不需要区分图像传感器151-1和151-2时，将图像传感器151-1和151-2简称为图像传感器151。

视差转换装置的配置的示例

图20所示的立体图像显示***的视差转换装置12具有图21所示的配置。在图21中，对与图8中的单元相对应的单元给予相同的附图标记，并且不重复其描述。

除了图8中的视差转换装置12的单元之外，图21中的视差转换装置12还包括图像处理单元181。图像处理单元181基于从图像传感器151提供的图像计算作为观看条件的观看距离D，并且将观看距离D提供给输入单元41。

图像转换处理

接下来，参考图22的流程图，描述图20中的立体图像显示***进行的图像转换处理。由于步骤S81的处理与图9中的步骤S11的处理相同，因此不重复其描述。

在步骤S82中，图像处理单元181基于从图像传感器151提供的图像计算作为观看条件的观看距离D，并且将观看距离D提供给输入单元41。

例如，图像传感器151-1和151-2捕获图像显示装置14前面的用户的图像，并且将捕获的图像提供给图像处理单元181。这里，图像传感器151-1和151-2捕获的用户的图像是彼此具有视差的图像。

图像处理单元181基于从图像传感器151-1和151-2提供的图像计算图像之间的视差，并且使用三角测量原理计算图像显示装置14到用户之间的观看距离D。图像处理单元181将以这种方式计算的观看距离D提供给输入单元41。

在步骤S83中，输入单元41接收来自远程命令器51的显示宽度W和瞳孔距离e，并且将显示宽度W和瞳孔距离e与来自图像处理单元181的观看距离D一起，作为观看条件输入到容许视差计算单元61。在这种情况下，与在图9中的步骤S12中相同，用户操作远程命令器51输入显示宽度W和瞳孔距离e。

当输入了观看条件时，进行从步骤S84到步骤S90的处理，并且图像转换处理结束。由于这些处理与图9中的步骤S13到步骤S19的处理相同，因此不重复其描述。

以这种方式，该立体图像显示***根据用户的图像计算作为观看条件的观看距离D，并且在观看条件下控制立体图像的视差。相应地，用户可以通过更少的操作更简单地观看具有适当视差的立体图像。

迄今为止，描述了通过三角测量原理根据由两个图像传感器151捕获的图像计算观看距离D的示例。然而，可以使用任意方法来计算观看距离D。

例如，代替图像传感器151，可以设置投影特定图案的投影仪，基于投影仪投影的图案来计算观看距离D。此外，可以设置测量图像显示装置14到用户之间的距离的距离传感器。距离传感器可以计算观看距离D。

可以由硬件或软件来执行上述一系列处理。当由软件执行该一系列处理时，可以将软件程序安装在嵌入专用硬件中的计算机中，或者从程序记录介质安装到例如通过安装各种程序能够执行各种功能的通用个人计算机中。

图23是示出根据程序执行上述一系列处理的计算机的硬件配置的示例的框图。

在计算机中，CPU(中央处理器)501、ROM(只读存储器)502和RAM(随机存取存储器)503经由总线504彼此连接。

输入/输出接口505也连接到总线504。由键盘、鼠标、麦克风等构成的输入单元506，由显示器、扬声器等构成的输出单元507，由硬盘、非易失性存储器等构成的记录单元508，由网络接口等构成的通信单元509以及驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质511的驱动510连接到输入/输出接口505。

在具有上述配置的计算机中，CPU 501通过经由输入/输出接口505和总线504将存储在记录单元508中的程序加载到RAM 503上并执行，来执行上述一系列处理。

将由计算机(CPU 501)执行的程序存储在可移除介质511中，可移除介质511是例如由磁盘(包括软盘)、光盘(CD-ROM(紧凑盘只读存储器)、DVD(数字通用盘)等)、磁光盘或者半导体存储器构成的封装介质，或者经由诸如局域网、因特网或者数字卫星广播的有线或无线传输介质提供由计算机执行的程序。

可以通过将可移除介质511加载到驱动510，经由输入/输出接口505将程序安装到记录单元508。此外，可以经由有线或无线传输介质由通信单元509接收程序，并且安装在记录单元508中。此外，可以预先将程序安装在ROM 502或者记录单元508中。

由计算机执行的程序可以是按照在说明书中描述的顺序按时间顺序进行处理的程序，或者可以是并行地或在调用程序的需要的定时进行处理的程序。

本技术的形式不限于上述实施例，而可以以各种形式进行变形，而不脱离本技术的要义。

此外，可以如下配置本技术。

[1]图像处理装置包括：输入单元，输入要显示的立体图像的观看条件；转换特性设置单元，确定用来基于观看条件对立体图像的视差进行校正的转换特性；以及校正后视差计算单元，基于转换特征对立体图像的视差进行校正。

[2]在[1]中描述的图像处理装置中，观看条件包括观看立体图像的用户的瞳孔距离、立体图像的观看距离以及显示立体图像的显示屏幕的宽度中的至少一个。

[3]在[1]或[2]中描述的图像处理装置中，图像处理装置还包括：容许视差计算单元，基于观看条件计算立体图像的校正后视差所落入的视差范围。转换特性设置单元基于视差范围和立体图像的视差，确定转换特性。

[4]在[3]中描述的图像处理装置中，转换特性设置单元将转换函数设置为转换特性，该转换函数将立体图像的视差转换为落入视差范围内的视差。

[5]在[1]至[4]中的任意一个中描述的图像处理装置还包括：图像转换单元，将立体图像转换为具有经过校正后视差计算单元校正后的视差的立体图像。

[6]在[2]中描述的图像处理装置还包括：计算单元，获取关于显示屏幕的尺寸的信息，并且基于该信息计算显示屏幕的宽度和观看距离。

[7]在[6]中描述的图像处理装置还包括：图像处理单元，基于观看立体图像的用户的图像和观看距离，计算瞳孔距离。

[8]在[2]中描述的图像处理装置还包括：图像处理单元，基于作为观看立体图像的用户的图像的、彼此具有视差的一对图像，计算观看距离。

本领域技术人员应当理解，依据设计需要和其它因素，可以出现各种变形、组合、子组合和改变，只要它们在所附权利要求或其等同物的范围内。

上述实施例和其它实施例的概述和具体示例是例子。也可以应用本公开，并且可以将本公开应用于各种其它实施例。本领域技术人员应当理解，依据设计需要和其它因素，可以想到各种变形、组合、子组合和改变，只要它们在所附权利要求或其等同物的范围内。

Claims (22)

1.一种用计算机实现的用于调整三维图像的显示的方法，包括：

接收与由用户观看的图像相关联的观看条件；

处理器基于所述观看条件确定转换特性；以及

所述处理器基于所述转换特性调整所述图像的显示条件。

2.根据权利要求1所述的方法，还包括：

基于所调整的显示条件，生成表示调整后的图像的数据；以及

使用所生成的数据，显示所述调整后的图像。

3.根据权利要求1所述的方法，还包括：在显示设备上显示所述图像，其中所述观看条件基于所述显示设备和所述用户之间的距离、观看所述立体图像的用户的瞳孔距离或者显示所述立体图像的显示屏幕的宽度中的至少一个。

4.根据权利要求1所述的方法，还包括：

基于所述观看条件，确定与所述图像相对应的容许最大视差值和容许最小视差值；以及

确定与所述图像相对应的实际最大视差值和实际最小视差值，基于如下内容确定所述转换特性：

所述容许最大视差值和所述实际最大视差值之间的差；以及

所述容许最小视差值和所述实际最小视差值之间的差。

5.根据权利要求1所述的方法，还包括：

基于所述观看条件，确定与所述图像相对应的视差值的容许范围；以及

确定与所述图像相对应的视差值的实际范围，基于所述视差值的容许范围和所述视差值的实际范围来确定所述转换特性。

6.根据权利要求1所述的方法，还包括：基于所述转换特性生成视差图，基于所述视差图调整所述显示条件。

7.根据权利要求1所述的方法，还包括：基于所述转换特性生成视差图，所述视差图标识具有不正确视差的所述图像的像素。

8.根据权利要求7所述的方法，其中，调整所述显示条件包括：

校正所标识的像素的视差。

9.根据权利要求1所述的方法，还包括：

基于右眼图像和左眼图像显示所述图像；以及

基于所述转换特性生成视差图，所述图像的所述显示条件是通过基于所述视差图生成调整后的右眼图像和调整后的左眼图像来调整的。

10.根据权利要求1所述的方法，还包括：基于所述观看条件确定视差值的容许范围，其中，所述的调整所述显示条件包括：对所述图像的像素的视差值进行转换，使其落入所述视差值的容许范围内。

11.根据权利要求1所述的方法，还包括：在显示设备上显示所述图像，其中所述观看条件基于所述用户的右眼和左眼之间的距离。

12.根据权利要求1所述的方法，其中，所述观看条件基于观看距离、瞳孔距离或者与所述图像相关联的深度距离中的至少一个。

13.根据权利要求12所述的方法，其中基于从捕获用户的图像的图像传感器提供的图像计算所述观看距离。

14.根据权利要求12或13所述的方法，其中基于捕获用户的图像的图像传感器获得的图像和所述观看距离来计算所述瞳孔距离。

15.根据权利要求1所述的方法，其中，所述图像是立体图像。

16.一种用于调整三维图像的显示的装置，包括：

显示设备，用于显示由用户观看的图像；

存储器，存储指令；以及

处理器，执行所述指令以：

接收与所述图像相关联的观看条件；

基于所述观看条件确定转换特性；以及

基于所述转换特性调整所述图像的显示条件。

17.根据权利要求16所述的装置，其中，所述观看条件基于观看距离、瞳孔距离或者与所述图像相关联的深度距离中的至少一个。

18.根据权利要求16所述的装置，其中，所述处理器执行所述指令以：

基于所述观看条件，确定与所述图像相对应的视差值的容许范围；以及

确定与所述图像相对应的视差值的实际范围，基于所述视差值的容许范围和所述视差值的实际范围来确定所述转换特性。

19.根据权利要求16所述的装置，其中，所述处理器执行所述指令以基于所述转换特性生成视差图，所述显示条件是基于所述视差图调整的。

20.根据权利要求16所述的装置，其中，所述处理器执行所述指令以基于所述转换特性生成视差图，所述视差图标识具有不正确视差的所述图像的像素，以及其中，调整显示条件包括校正所标识的像素的视差。

21.根据权利要求16所述的装置，其中，所述处理器执行所述指令，以通过基于视差图生成调整后的右眼图像和调整后的左眼图像，来调整所述图像的所述显示条件。

22.一种非易失性计算机可读存储介质，包括指令，在处理器上执行所述指令时，所述指令使所述处理器执行用于调整三维图像的显示的方法，所述方法包括：

接收与由用户观看的图像相关联的观看条件；

基于所述观看条件确定转换特性；以及

基于所述转换特性调整所述图像的显示条件。

Images