CN104185005A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明公开了图像处理装置和图像处理方法。所述图像处理装置包括虚拟视点间隔确定部，所述虚拟视点间隔确定部基于与待处理图像相对应的视差和所述待处理图像中每个像素的图像特征量来确定与所述待处理图像相对应的虚拟视点间隔。根据本发明，能够确定与待处理图像相对应的虚拟视点间隔。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及图像处理装置和图像处理方法。

背景技术

例如，已经广泛使用这样的设备：通过将与用户的左眼相对应的图像(在下文中，被表达为“左眼图像”或“L图像”)和与用户的右眼相对应的图像(在下文中，被表达为“右眼图像”或“R图像”)显示在显示屏上，能够使用户将显示的图像识别为立体图像。诸如上述的设备使用户能够通过利用视差将显示的图像识别为立体图像。

此外，已经开发出了这样的显示设备：该设备能够显示具有多个视点(诸如6个视点或9个视点等)的图像。在诸如上述的设备中，通过布置具有不同视差的多幅视点图像并且相对于显示屏水平地周期性重复显示视点图像，在与每个视点相对应的图像(以下，将会存在这些图像被表达为“视点图像”的情况)中的聚光距离处显示具有多个视点的图像。

因此，例如，因为在诸如上述的显示设备中包含多个正常视觉区域，所以将实现多个用户(观看显示在显示屏上的图像的观众，在下文中同样适用)同时观看立体图像。此外，例如，因为诸如上述的显示设备能够使用户依照其观看显示屏上的图像时所在的位置(在下文中，将会表达为“观看位置”)而观看到不同的视点图像，所以能够将再现运动视差的立体图像提供给用户。

在这里，例如，作为与多个视点中的每个视点相对应的视点图像，能够包括摄像装置在不同位置拍摄的图像。然而，在将与多个视点中的每个视点相对应的视点图像设为摄像装置在不同位置捕获的图像的情况下，这将是昂贵的。因此，例如，已经开发了关于如下内容的技术：基于构成立体图像的左眼图像和右眼图像，生成虚拟视点位置中的图像(虚拟成像位置中的图像)。例如，在专利文献JP2006-115198A中就包含了这样的技术：该技术与基于构成立体图像的左眼图像和右眼图像，生成虚拟视点位置中的图像有关。

发明内容

在由构成立体图像的左眼图像和右眼图像(包括由平面图像(2D图像)虚拟生成的图像)生成两个或以上视点图像的情况下，例如通过使用左眼图像与右眼图像之间的视差量(例如，“1”)作为视点间隔基准，将视点图像之间的间隔(在下文中，被表达为“虚拟视点间隔”)设定为恒定间隔。此外，生成视点图像，其中，虚拟视点间隔是使用左眼图像与右眼图像之间的视差量作为视点间隔基准的恒定间隔。在下文中，将会存在这样的情况：“虚拟视点间隔是使用左眼图像与右眼图像之间的视差量作为视点间隔标准的恒定间隔”被表达为“虚拟视点间隔是恒定的”。

然而，例如，在生成具有恒定的虚拟视点间隔的多个视点图像的情况下，可能出现这样的问题：根据处理目标的图像(在下文中将被表达为“待处理图像”)的左眼图像与右眼图像之间的视差变大并且生成的多个视点图像中的视差变得过大。此外，在多个视点图像的视差变得过大的情况下，例如，当把立体图像显示在显示屏上时，可能发生图像质量的下降，诸如被用户双重地识别的立体图像(在下文中，这将被表达为“双重图像”)、被用户识别为对焦缺失的立体图像(在下文中，这将被表达为“失焦”)或立体图像的运动视差被用户识别为不连续等等。此外，当多个视点图像的视差变得过大时，在用户在从设定的观看距离向后或向前偏移的位置处观看显示在显示屏上的图像的情况下，可能发生图像质量的降低，诸如深度反转的区域以带状的形式被用户所感知(这被称为逆视(reverse view))等。此外，在发生诸如上述的图像质量降低的情况下，用户很有可能会产生不愉快的感受。

这里，例如，通过减小虚拟视点间隔来减小视差可能被认为是防止诸如上述的图像质量降低的方法。然而，例如，在生成具有恒定的虚拟视点间隔的多个视点图像的情况下，可能发生如下问题：根据待处理图像的左眼图像与右眼图像之间的视差变小并且生成的多个视点图像中的视差变得过小。此外，例如，在多个视点图像的视差变得过小的情况下，可能发生如下问题：缺少立体效果的图像显示在显示屏上或立体效果无法被用户充分地识别。

因此，例如，在虚拟视点间隔恒定的情况下，可能发生诸如图像质量降低或立体效果无法被用户充分地识别等不期望的情况。

本发明提出了一种能够确定与待处理图像相对应的虚拟视点间隔的新的改进的图像处理装置和图像处理方法。

根本发明提供了一种图像处理装置，其包括虚拟视点间隔确定部，所述虚拟视点间隔确定部基于与待处理图像相对应的视差和所述待处理图像中每个像素的图像特征量来确定与所述待处理图像相对应的虚拟视点间隔。

本发明提供了一种图像处理方法，其包括：基于与待处理图像相对应的视差和所述待处理图像中每个像素的图像特征量来确定与所述待处理图像相对应的虚拟视点间隔。

根据本发明，能够确定与待处理图像相对应的虚拟视点间隔。

附图说明

图1是用于说明在使虚拟视点间隔恒定的情况下的问题的说明图；

图2是说明根据本实施例的图像处理方法的过程的示例的流程图；

图3是说明根据本实施例的图像处理装置的构造的示例的框图；

图4是用于说明根据本实施例的显示在显示屏上的立体图像的质量评价方法的示例的说明图；

图5是示出了根据本实施例的显示在显示屏上的立体图像的质量评价结果的示例的说明图；

图6是用于说明根据本实施例的与待处理图像相对应的虚拟视点间隔的确定相关的处理的示例的说明图；且

图7是用于说明根据本实施例的虚拟视点位置确定处理的示例的说明图。

具体实施方式

在下文中，将参照附图详细地说明本发明的优选实施例。注意，在本说明书和附图中，使用相同的附图标记表示实质上具有相同功能和结构的结构元件，并且省略对这些结构元件的重复说明。

在下文中，将以下面的顺序进行说明。

1.根据本实施例的图像处理方法

2.根据本实施例的图像处理装置

3.根据本实施例的程序

1.根据本实施例的图像处理方法

首先，在说明根据本实施例的图像处理装置的构造之前，将说明根据本实施例的图像处理方法。在下文中，将通过包括在根据本实施例的图像处理装置进行与根据本实施例的图像处理方法相关的处理的情况下的示例，来说明根据本实施例的图像处理方法。

[I]在虚拟视点间隔恒定的情况下可能发生的问题

如上所述，在根据构成立体图像的左眼图像和右眼图像生成两个以上视点图像的情况下，例如，使用左眼图像与右眼图像之间的视差量作为视点间隔基准，将虚拟视点间隔设定为恒定间隔。此外，可以生成视点图像，其中，虚拟视点间隔是使用左眼图像与右眼图像之间的视差量作为视点间隔基准的恒定间隔。

为了包括特定示例，在根据构成立体图像的左眼图像和右眼图像生成两个以上视点图像的情况下，将左眼图像与右眼图像之间的视差量设定为“1”，并且将虚拟视点间隔固定为x(0<x<1)。此外，为待处理图像生成与虚拟视点间隔x相对应的多个视点图像。

图1是用于说明在虚拟视点间隔恒定的情况下的问题的说明图。图1示出了在基于构成立体图像的左眼图像和右眼图像(图1所示的输入图像)生成具有固定为0.125的虚拟视点间隔x的多个视点图像(图1所示的输出图像)的情况下的示例。此外，图1示出了在由帧数为n(n是1或以上的整数)、n+1和n+2等多个帧构成动态图像的情况下，每帧内生成的视点图像的示例。注意，能够包括图1所示的每帧内的多个视点图像(图1所示的输出图像)作为在处理静态图像的情况下生成的视点图像的示例。

在虚拟视点间隔是恒定的情况下，通过将虚拟视点间隔x设定为固定值来生成多个视点图像，即使动态图像中的帧变化，例如，诸如图1所示的帧数n(n是1或以上的整数)、n+1和n+2中所示。

然而，如上所述，在虚拟视点间隔恒定的情况下，例如，可能发生诸如图像质量下降(在左眼图像与右眼图像之间的视差大的情况下)或立体效果不能够被用户充分地识别(在左眼图像与右眼图像之间的视差小的情况下)等不期望的情况。

[II]根据本实施例的图像处理方法的概要

因此，根据本实施例的图像处理装置在待处理图像的虚拟视点间隔不恒定的情况下，确定与待处理图像相对应的虚拟视点间隔。

更加具体地，例如，根据本实施例的图像处理装置基于与待处理图像相对应的视差和待处理图像中的每个像素的图像特征量，确定与待处理图像相对应的虚拟视点间隔(虚拟视点间隔确定处理)。

在这里，例如，作为根据本实施例的待处理图像，能够包括示出了构成立体图像的左眼图像和右眼图像的图像(在下文中，统称为“立体图像”)、示出了根据平面图像虚拟生成的立体图像的图像以及示出了平面图像的图像。在下文中，将立体图像和虚拟生成的立体图像统称为“立体图像”。

此外，作为根据本实施例的待处理图像，能够包括静态图像或动态图像。在根据本实施例的待处理图像是动态图像的情况下，对于待处理图像的每帧，处理与待处理图像的每帧相对应的图像(帧图像)。

此外，例如，作为与根据本实施例的待处理图像相对应的视差，能够包括从待处理图像获得的视差。在待处理图像是立体图像的情况下，例如，根据本实施例的图像处理装置通过使用诸如比较与构成立体图像的左眼图像和右眼图像相对应的像素等能够计算每个像素的视差或者能够计算与特定像素(例如，与从立体图像等中检测到的对象相对应的像素)相对应的视差的任意方法，来计算每个像素的视差。此外，例如，根据本实施例的图像处理装置将与每个像素的计算出的视差的平均值相对应的视差或与特定像素相对应的计算出的视差设定为与待处理图像相对应的视差。

注意，根据本实施例的与待处理图像相对应的视差不限于上述的视差。

例如，根据本实施例的图像处理装置可以将根据本实施例的待处理图像中的深度设定为与该待处理图像相对应的视差。例如，根据本实施例的图像处理装置进行能够估计根据本实施例的待处理图像的深度的任意处理，并且估计根据本实施例的待处理图像的深度。然后，根据本实施例的图像处理装置将估计的深度设定为与该待处理图像相对应的视差。

此外，例如，根据本实施例的图像处理装置通过使用示出了根据本实施例的待处理图像的每个像素的视差(或深度)的视差信息，可以将由视差信息示出的每个像素的视差设定为与待处理图像相对应的视差。

在这里，例如，根据本实施例的视差信息可以是根据本实施例的待处理图像的元数据，或可以是不同于根据本实施例的待处理图像的元数据的数据。例如，可以通过分析根据本实施例的待处理图像或可以基于用户操作等来设定由根据本实施例的视差信息所示出的每个像素的视差。例如，在根据本实施例的图像处理装置的外部装置中或在根据本实施例的图像处理装置中，在进行与根据本实施例的图像处理方法相关的处理之前，生成根据本实施例的视差信息。

此外，根据本实施例的图像特征量定量地示出了根据本实施例的待处理图像的特征。例如，能够将示出对比度的值、示出特定频率的值和示出色彩饱和度的值中的一个、两个或更多的值作为根据本实施例的图像特征量。注意，根据本实施例的图像特征量不限于上述的图像特征量。例如，在根据本实施例的图像特征量中可以包括与能够定量地示出待处理图像的特征的任意指标相对应的值。在下文中，将通过包括根据本实施例的图像特征量是表示对比度的值的情况下的示例，来说明与根据本实施例的图像处理方法相关的处理的示例。

通过使根据本实施例的图像处理装置进行根据本实施例的虚拟视点间隔确定处理，基于与待处理图像相对应的视差和待处理图像中的各像素的图像特征量来确定与待处理图像相对应的虚拟视点间隔。也即是，例如，根据与待处理图像相关的信息(视差，图像特征量)，由根据本实施例的虚拟视点间隔确定处理确定的与待处理图像相对应的虚拟视点间隔可以针对每个待处理图像自动地变化。

因此，通过使根据本实施例的图像处理装置进行根据本实施例的虚拟视点间隔确定处理，能够确定与待处理图像相对应的虚拟视点间隔。此外，通过使根据本实施例的图像处理装置进行根据本实施例的虚拟视点间隔确定处理，能够防止产生在虚拟视点间隔恒定的情况下可能发生的上述问题。注意，将在后面说明根据本实施例的虚拟视点间隔确定处理的具体示例。

注意，与根据本实施例的图像处理方法相关的处理不限于根据本实施例的虚拟视点间隔确定处理的处理。

例如，根据本实施例的图像处理装置能够基于与待处理图像相对应的虚拟视点间隔来确定与待处理图像相对应的虚拟视点位置(下文中称为“虚拟视点位置”)(虚拟视点位置确定处理)，其中，与待处理图像相对应的虚拟视点间隔是根据本实施例的虚拟视点间隔确定处理确定的。将在后面说明根据本实施例的虚拟视点位置确定处理的具体示例。

此外，例如，根据本实施例的图像处理装置还可以基于待处理图像，选择性地生成与在根据本实施例的虚拟视点位置确定处理中确定的虚拟视点位置相对应的图像(在下文中，称为“虚拟视点图像”)(虚拟视点图像生成处理)。

在这里，例如，由根据本实施例的图像处理装置生成的虚拟视点图像是根据基于在根据本实施例的虚拟视点间隔确定处理中确定的虚拟视点间隔的视点间隔，在待处理图像的基础上再生的图像。根据本实施例的图像处理装置基于根据任意图像生成方法的处理来生成虚拟视点图像。

此外，例如，在虚拟视点位置确定处理中确定的视点位置的数量与构成待处理图像的图像的数量相等的情况下，或者在根据本实施例的虚拟视点间隔确定处理中确定的虚拟视点间隔等于待处理图像中的视点间隔的情况下，根据本实施例的图像处理装置不生成虚拟视点图像。为了包括特定的示例，例如，显示图像的显示器件是通过使用眼镜型显示器件或液晶快门等来显示分别与用户的左眼和右眼相对应的图像的器件，待处理图像是立体图像，并且在确定的虚拟视点间隔等于待处理图像中的视点间隔的情况下不生成虚拟视点图像。

此外，例如，在不生成上述虚拟视点图像的情况之外的情况下，诸如在根据本实施例的虚拟视点位置确定处理中生成的视点位置的数量大于构成待处理图像的图像的数量的情况等，根据本实施例的图像处理装置生成虚拟视点图像。

图2是示出了与根据本实施例的图像处理方法相关的处理的示例的流程图。在这里，图2中所示的步骤S102的处理对应于根据本实施例的虚拟视点间隔确定处理。此外，图2中所示的步骤S104的处理对应于根据本实施例的虚拟视点位置确定处理，图2中所示的步骤S106的处理对应于根据本实施例的虚拟视点图像生成处理。

根据本实施例的图像处理装置判断是否已经获取待处理图像(S100)。例如，在读取表示待处理图像的图像数据的情况下或在经由通信部(后面说明)从外部装置接收表示待处理图像的图像信号(模拟信号/数字信号)的情况下，根据本实施例的图像处理装置判断是否已经从存储部(后面说明)或诸如外部记录媒介等记录媒介中获取了待处理图像。

在步骤S100中，在判定还没有获取待处理图像的情况下，根据本实施例的图像处理装置不继续处理直至判定已经获取了待处理图像。

此外，在步骤S100中，在判定已经获取了待处理图像的情况下，根据本实施例的图像处理装置确定与待处理图像相对应的虚拟视点间隔(S102)。在这里，例如，根据本实施例的图像处理装置基于与待处理图像相对应的视差和待处理图像中每个像素的图像特征量，来确定与待处理图像相对应的虚拟视点间隔。

根据本实施例的图像处理装置基于在步骤S102中确定的与待处理图像相对应的虚拟视点间隔，确定与待处理图像相对应的虚拟视点位置(S104)。

基于待处理图像，根据本实施例的图像处理装置选择性地生成与在步骤S104中确定的虚拟视点位置相对应的虚拟视点图像(S106)。

根据本实施例的图像处理装置将待处理图像和步骤S106中选择性地生成的虚拟视点图像显示在显示屏上(S108)。例如，根据本实施例的图像处理装置通过将包括表示被显示图像的图像数据的信号和控制显示的控制指令发送至显示器件，来进行绘图并将图像显示在显示屏上。

在这里，例如，作为根据本实施例的显示器件，能够包括如下的显示器件：该显示器件能够通过使各视点图像在距离显示屏(诸如使用透镜或光栅的裸眼3D显示器)的恒定设定观看距离处集光来分别形成与用户的左眼和右眼相对应的图像(在下文中，有时会称为“与裸眼3D相对应的显示器件”)。此外，根据本实施例的显示器件可以是这样的显示器件：其中，通过使用眼镜型显示器件或液晶快门等等来显示用户的左眼和右眼中的各者的对应图像(在下文中，有时会称为“对应于眼镜型3D的显示器件”)。在下文中，将主要通过包括在根据本实施例的显示器件是与裸眼3D相对应的显示器件的情况下的示例，来说明根据本实施例的图像处理方法的处理的示例。

根据本实施例的图像处理装置进行例如图2中所示的处理作为与根据本实施例的图像处理方法相关的处理。例如，通过进行图2所示的处理，确定与待处理图像相对应的虚拟视点间隔，并且将基于确定的虚拟视点间隔的图像显示在显示屏上。

注意，与根据本实施例的图像处理方法相关的处理不限于图2所示的处理。

例如，根据本实施例的图像处理装置可以在不进行步骤S108的处理或与步骤S108的处理一起进行的情况下，将待处理图像和步骤S106中选择性地生成的虚拟视点图像记录到诸如存储部(后面说明)等记录媒介。

此外，例如，根据本实施例的显示器件是通过使用眼镜型显示器件等或液晶快门等来显示分别与用户的左眼和右眼相对应的图像的器件，且在待处理图像是立体图像的情况下，根据本实施例的图像处理装置可以不进行步骤S104的处理和/或步骤S106的处理。

即使在根据本实施例的图像处理装置进行根据诸如上述的图2的变型例的处理的情况下，根据本实施例的图像处理装置也能够通过步骤S102的处理确定与待处理图像相对应的虚拟视点间隔。

2.根据本实施例的图像处理装置

在下文中，在说明根据本实施例的图像处理装置的构造的示例的同时，将更加详细地说明根据本实施例的图像处理方法的处理的示例。

图3是示出了根据本实施例的图像处理装置100的构造的示例的框图。例如，图像处理装置100包括虚拟视点间隔确定部102、虚拟视点位置确定部104和虚拟视点图像生成部106。

此外，例如，图像处理装置100可以包括控制部(图中未示出)、ROM(只读存储器-图中未示出)、RAM(随机存取存储器-图中未示出)、存储部(图中未示出)、通信部(图中未示出)、显示部(图中未示出)以及能够由用户操作的操作部(图中未示出)等等。例如，图像处理装置100通过作为数据的传输线的总线连接至上述构成元件中的每个元件。

在这里，控制部(图中未示出)由MPU(微处理单元)和各种处理电路等等构成，并且控制整个图像处理装置100。

此外，控制部(图中未示出)可以实现这样的目的：在外部显示器件或构成显示部(图中未示出)的显示器件中，根据使图像能够被显示的显示控制进行处理。例如，作为根据本实施例的显示控制的处理，能够包括图2所示的步骤S108的处理。注意，图像处理装置100可以包括显示控制部(图中未示出)，该显示控制部独立于控制部(图中未示出)之外并且主导地进行由根据本实施例的显示控制进行的处理(例如，通过在与控制部(图中未示出)分离的独立体中的处理电路实现显示控制部(图中未示出))。

此外，控制部(图中未示出)可以包括虚拟视点间隔确定部102、虚拟视点位置确定部104和虚拟视点图像生成部106，并且可以用于主导地进行根据本实施例的图像处理方法的处理的目的。注意，图像处理装置100可以包括独立于控制部(图中未示出)的虚拟视点间隔确定部102、虚拟视点位置确定部104和虚拟视点图像生成部106中的一者或两者或以上(例如，通过与控制部(图中未示出)分离的独立体中的处理电路来实现虚拟视点间隔确定部102、虚拟视点位置确定部104和虚拟视点图像生成部106中的一者或两者或以上)。

ROM(图中未示出)存储由控制部(图中未示出)等使用的计算参数和程序的控制用数据。RAM(图中未示出)暂时存储由控制部(图中未示出)等执行的程序等。

例如，存储部(图中未示出)是包括在图像处理装置100中的存储机构，并且存储示出诸如待处理图像等图像的图像数据和根据本实施例的图像处理方法的各种类型的数据(例如，将在后面说明的表示评价函数的数据、关联信息和与显示器件相关的信息等)。此外，例如，存储部(图中未示出)可以存储诸如应用程序等各种类型的数据。在这里，作为所述存储部(图中未示出)，例如能够包括诸如硬盘等磁性记录媒介或诸如EEPROM(电可擦除可编程只读存储器)或闪存等非易失性存储器。此外，存储部(图中未示出)可以从图像处理装置100上可拆卸的。

通信部(图中未示出)是包括在图像处理装置100中的通信机构，并且起到服务器、诸如能够将图像显示在显示屏上的根据本实施例的显示器件等外部装置和经由网络(或直接地)进行无线/有线通信的通信部(通信部)的作用。在这里，作为上述通信部(图中未示出)，例如能够包括通信天线和RF(射频)电路(无线通信)、IEEE802.15.1端口和发射/接收电路(无线通信)、IEEE802.11b端口和发射/接收电路(无线通信)或LAN(局域网)端子和发射/接收电路(有线通信)。此外，作为根据本实施例的网络，例如能够包括诸如LAN或WAN(广域网)等有线网络、诸如经由无线LAN(WLAN；无线局域网)或基站的无线WAN(WWAN；无线广域网)等无线网络或者使用诸如TCP/IP(传输控制协议/互联网协议)等通信协议的互联网。

操作部(图中未示出)是包括在图像处理装置100中的用户能够操作的操作机构。例如，操作部(图中未示出)能够包括按钮、方向键、诸如转点通(jog dial)等旋转型选择器或者它们的组合。

显示部(图中未示出)是例如图像处理装置100中包括的显示机构，并且将诸如待处理图像和虚拟视点图像等各种类型的图像显示在显示屏上。例如，上述显示部(图中未示出)能够包括诸如与眼镜型3D相对应的眼镜型显示器件或与裸眼3D相对应的裸眼3D器件等根据本实施例的显示器件。

(1)虚拟视点间隔确定部102

虚拟视点间隔确定部102用于主导地进行根据本实施例的虚拟视点间隔确定处理的目的。基于与待处理图像相对应的视差和待处理图像中每个像素的图像特征量，虚拟视点间隔确定部102确定与待处理图像相对应的虚拟视点间隔。

在这里，图3示出了这样的示例：其中，根据本实施例的视差信息和表示根据本实施例的图像特征量的图像特征量信息被传输至虚拟视点间隔确定部102，且虚拟视点间隔确定部102根据传输来的视差信息和图像特征量信息进行处理。注意，根据本实施例的图像处理装置的构造不限于图3所示的示例的构造。例如，在根据本实施例的图像处理装置中，可以将待处理图像传输至虚拟视点间隔确定部102。在待处理图像被传输至虚拟视点间隔确定部102的情况下，例如，虚拟视点间隔确定部102分析待处理图像，并且通过使用由分析待处理图像而获得的根据本实施例的视差信息和根据本实施例的图像特征量来进行处理。

例如，虚拟视点间隔确定部102包括第一虚拟视点间隔确定部110、第二虚拟视点间隔确定部112和界限视差设定部114。

(1-1)第一虚拟视点间隔确定部110中的处理的示例

第一虚拟视点间隔确定部110根据与待处理图像相对应的视差、每个像素的图像特征量和显示质量值，来确定每个规定的像素单位的虚拟视点间隔。

这里，例如，根据本实施例的显示质量值是定量地表示当图像显示在显示屏上时的显示质量的值。将在后面说明根据本实施例的显示质量值的特定示例。

此外，作为根据本实施例的规定的像素单位，例如能够包括一个像素或多个像素(例如，m×n个像素，诸如3×3个像素或5×5个像素(m和n均是1以上的整数。然而，排除m＝1且n＝1的情况))。在根据本实施例的规定的像素单位是一个像素的情况下，确定每个像素的虚拟视点间隔。此外，在根据本实施例的规定的像素单位是多个像素的情况下，确定多个像素中的每个像素的一个虚拟视点间隔。根据本实施例的规定的像素单位可以是预定的，或可以由根据本实施例的图像处理装置的用户等任意设定。

更加具体地，例如，通过进行根据下面所示的第一示例的处理或根据下面所示的第二示例的处理，第一虚拟视点间隔确定部110确定每个像素单位的虚拟视点间隔。在下文中，将主要包括在根据本实施例的规定的像素单位是一个像素的情况下，即，在第一虚拟视点间隔确定部110确定每个像素的虚拟视点间隔的情况下的示例。注意，在根据本实施例的规定的像素单位是多个像素的情况下，例如，与将在后面说明的确定每个像素的虚拟视点间隔的情况类似地，第一虚拟视点间隔确定部110能够通过使用多个像素的图像特征量的代表值(例如，平均值、最大值或最小值等)来确定多个像素的各者的虚拟视点间隔。

(1-1-1)第一虚拟视点间隔确定部110中的处理的第一示例

例如，第一虚拟视点间隔确定部110通过使用由与待处理图像对应的视差和图像特征量之间的关系来表示显示质量值的评价函数，来确定每个像素的虚拟视点间隔。注意，如上所述，第一虚拟视点间隔确定部110能够确定多个像素的各者的虚拟视点间隔。

例如，第一虚拟视点间隔确定部110从诸如存储部(图中未示出)等记录媒介中读取表示根据本实施例的评价函数的数据。此外，例如，通过将由根据本实施例的视差信息表示的与待处理图像相对应的视差和由根据本实施例的图像特征量信息表示的每个像素的图像特征量应用于由读取的数据示出的评价函数，第一虚拟视点间隔确定部110计算每个像素的虚拟视点间隔。此外，第一虚拟视点间隔确定部110将为每个像素计算出的虚拟视点间隔确定为每个像素的虚拟视点间隔。

首先，将说明根据本实施例的评价函数的生成方法的示例。

例如，通过将改变视差或对比度的评价图像显示在显示屏上并使由评价员主观评价显示在显示屏上的立体图像的质量的评价结果函数化来获得根据本实施例的评价函数。在这里，作为评价根据本实施例的立体图像的质量的指标，例如能够包括立体效果、双重图像/失焦、逆视导致的不适感或运动视差的自然性等。在下文中，将通过包括在评价根据本实施例的立体图像的质量的指标是“双重图像/失焦”的情况下的示例，来说明根据本实施例的图像处理方法的处理的示例。

例如，评价员通过单独地评价用来评价根据上述本实施例的立体图像的质量的指标或综合地评价该指标，来进行显示在显示屏上的立体图像的质量的评价。此外，例如，能够通过使用5段劣化尺度的主观评价来进行根据本实施例的立体图像的质量的评价。

图4是用于说明根据本实施例的显示在显示屏上的立体图像的质量的评价方法的示例的说明图。在这里，图4示出了在使用5段劣化尺度的主观评价中的评价点和尺度之间的关系的示例。此外，图4所示的评价点对应于根据本实施例的显示质量值。

例如，依照图4所示的5段劣化尺度，评价员主观地评价显示在显示屏上的立体图像的质量。注意，根据本实施例的显示在显示屏上的立体图像的质量的评价方法不限于诸如图4所示的5段劣化尺度的评价方法，且评价员可以通过使用能够评价显示在显示屏上的立体图像的质量的任意方法来评价显示在显示屏上的立体图像的质量。

图5是示出了根据本实施例的显示在显示屏上的立体图像的质量的评价结果的示例的说明图。这里，图5示出了评价结果的示例，其中，仅将与双重图像/失焦有关的表现设定为根据本实施例的评价立体图像的质量的指标，且评价员通过图4中所示的5段劣化尺度来评价显示在显示屏上的立体图像的质量。此外，图5示出了对于对比度大的评价图像和对比度小的评价图像的评价结果。图5所示的“Eval”表明根据本实施例的显示质量值。

双重图像/失焦的表现取决于视差和显示在显示屏上的图像的对比度。因此，如图5所示，当以横轴为视差时，具有不同对比度的图像的显示质量值Eval将不同。一般地，与对比度大的情况相比，当对比度低时，即使视差大，由双重图像或失焦造成的图像劣化也将降低并且将成为高图像质量。

例如，通过将诸如多重回归分析等统计技术应用到例如图5所示的评价结果，获得根据本实施例的评价函数，诸如下面的方程1所示的评价函数等。例如，在图5所示的示例中，对比度对应于下面的方程1所示的图像特征量。

Eval＝f(图像特征量，显示视差)

...(方程1)

更加具体地，作为根据本实施例的评价函数，例如能够包括诸如方程2所示的一次线性联合方程。

Eval＝f(C，disparity)

≈a×LR亮度等级差+b×显示视差+c

＝a×LR亮度等级差值+b×LR视差×虚拟视点间隔+c

...(方程2)

在这里，方程2所示的“C”表示对比度，方程2所示的“disparity”表示显示视差。此外，方程2所示的“LR亮度等级差”表示与左眼图像和右眼图像相对应的像素的亮度等级差，并且是替代对比度的值。此外，方程2所示的“LR视差”是由根据本实施例的视差信息示出的视差。

此外，例如，方程2中所示的“a”、“b”和“c”是根据与本实施例的显示器件相关的信息的值。作为与本实施例的显示器件相关的信息，例如能够包括显示器件的尺寸、串扰量、MTF(调制传递函数)特性、视点数量、双眼之间的视点数量、分辨率和亮度中的一者或两者以上。

例如，对于本实施例的评价函数，能够通过使该函数等中包含依据本实施例的显示器件的值，来针对与显示器件相关的各类信息设定本实施例的评价函数。例如，通过参照如下所述的表格等，第一虚拟视点间隔确定部110使用与显示器件相关的信息相对应的评价函数，在上述表格等中，由所述与显示器件相关的信息示出的值与方程2所示的“a”、“b”和“c”的值是相关联的。

注意，方程2中示出的“a”、“b”和“c”不限于依照与本实施例的显示器件相关的信息的值。

例如，方程2中示出的“a”、“b”和“c”可以是依照观看位置的值，所述观看位置是用户观看显示在显示屏上的图像的位置。例如，根据本实施例的观看位置由z坐标、x坐标和x坐标来表示，其中，z坐标代表从显示屏到用户的观看距离，x坐标代表用户相对于显示屏的水平方向的位置(水平位置)，y坐标代表用户相对于显示屏的垂直方向的位置(高度)。

例如，对于本实施例的评价函数，通过使上述函数等中包括依照本实施例的观看位置的值，能够针对根据本实施例的每个观看位置设定根据本实施例的评价函数。例如，通过参照如下表格等，第一虚拟视点间隔确定部110使用与本实施例的观看位置相对应的评价函数，在上述表格中，由本实施例的观看位置所示的值(例如，坐标)与方程2所示的“a”、“b”和“c”的值相关联。

在这里，例如，在根据本实施例的显示器件是对应于裸眼3D的裸眼3D显示器的情况下，存在这样的可能性：当用户位于比设定的观看距离更近或更远的位置观看显示屏时，用户将识别出观看到了逆视区。如上所述，例如通过使第一虚拟视点间隔确定部110针对本实施例的每个观看位置设定本实施例的评价函数，图像处理装置100能够确定能防止逆视生成的与待处理图像相对应的虚拟视点间隔。

此外，例如，方程2所示的“a”、“b”和“c”可以是依照与本实施例的显示器件相关的信息的值，或者是依照作为用户观看显示在显示屏上的图像的位置的观看位置的值。例如，通过参照如下表格等，第一虚拟视点间隔确定部110使用“与本实施例的显示器件相关的信息和作为用户观看显示在显示屏上的图像的位置的观看位置相对应的评价函数”，在上述表格中，与显示器件相关的信息所示的值、本实施例的观看位置所示的值(例如，坐标)与方程2中示出的“a”、“b”、“c”的值相互关联。

注意，根据本实施例的评价函数不限于上述方程2的评价函数。

例如，虽然使用对应于左眼图像相的图像与对应于右眼图像的图像的亮度等级差作为代替对比度的值，但例如为了简化上述方程2中的处理，可以使用对比度的值。在这里，例如，能够从左眼图像和右眼图像的单个像素中获得对比度的值。

此外，例如，根据本实施例的评价函数可以是不具有上述方程2所示的“a”、“b”和“c”的一次线性联合方程。

此外，根据本实施例的评价函数不限于诸如上述方程2所示的一次线性组合方程。

例如，如果要获得精确度，那么根据本实施例的评价函数可以是二次方程或三次方程，或可以是基于评价结果的任意函数。在下文中，通过包括在根据本实施例的评价函数是方程2所示的一次线性联合方程的情况下的示例，来说明第一虚拟视点间隔确定部110中的处理的第一示例。

接着，将说明与根据第一示例的虚拟视点间隔的确定相关的处理，该处理使用根据本实施例的评价函数。

例如，虚拟视点间隔确定部110通过使用诸如上述方程2所示的评价函数来计算每个像素的虚拟视点间隔，并且将为每个像素计算出的虚拟视点间隔确定为每个像素的虚拟视点间隔。

更加具体地，例如，虚拟视点间隔确定部110通过进行在下面的基于上述方程2的方程3中所示的计算来计算每个像素的虚拟视点间隔，并且将为每个像素计算出的虚拟视点间隔确定为每个像素的虚拟视点间隔。

...(方程3)

在这里，方程3中所示的“(i，j)”是示出了待处理图像中的像素位置的坐标。例如，待处理图像中的像素位置是由将待处理图像中的任意位置设为原点的坐标来表示的。此外，方程3中所示的“LR亮度等级差_(i，j)”表示在与位置(i，j)相对应的像素中对应与左眼图像的像素与对应于右眼图像的像素的亮度等级差。此外，方程3中所示的“LR视差_(i，j)”是在与位置(i，j)相对应的像素中由根据本实施例的视差信息所表示的视差。

此外，方程3中所示的“Eval”是根据本实施例的显示质量值，并且是设定值。例如，能够将预定的固定值或能够基于用户操作等任意设定的可变值设定为方程3中所示的“Eval”。例如，在使用诸如图4所示的5段劣化尺度进行主观评价的情况下，作为方程3中所示的“Eval”，可以包括成为可接受界限的“3.5”。此外，例如，在使用诸如图4所示的5段劣化尺度进行主观评价时，在期望几乎看不到双重图像/失焦的立体图像的情况下，作为方程中3所示的“Eval”，可以包括成为检测界限的“4.5”。注意，不用说，方程3所示的“Eval”不限于成为可接受界限的“3.5”或成为检测界限的“4.5”。

此外，例如，如通过参照上述方程2所述，作为方程3所示的“a”、“b”和“c”，能够包括依照与本实施例的显示器件相关的信息的值或依照本实施例的观看位置的值。也即是，例如，通过使根据本实施例的评价函数中包括依照根据本实施例的显示器件的值，例如，虚拟视点间隔确定部110能够通过使用为与根据本实施例的显示器件相关的各类信息而设定的评价函数来确定每个像素的虚拟视点间隔。此外，例如，通过使根据本实施例的评价函数中包括依照根据本实施例的观看位置的值，例如，虚拟视点间隔确定部110能够通过使用为根据本实施例的每个观看位置而设定的评价函数来确定每个像素的虚拟视点间隔置。

在根据本实施例的评价函数是为与根据本实施例的显示器件相关的各类信息而设定的情况下，第一虚拟视点间隔确定部110使用依照与根据本实施例的显示器件相关的信息的评价函数，所述信息对应于用于显示图像的显示器件。例如，第一虚拟视点间隔确定部110从这个显示器件、诸如服务器等外部装置或存储部(图中未示出)等中获取与用于显示图像的显示器件相对应的与该显示器件相关的信息。

此外，在根据本实施例的评价函数是为根据本实施例的每个观看位置而设定的情况下，第一虚拟视点间隔确定部110使用依照用户的估计的观看位置的评价函数。在这里，例如，通过分析拍摄图像(在拍摄图像中，摄像器件拍摄显示屏的显示方向)来估计用户的观看位置。例如，可以由图像处理装置100的任意构成元件或可以由图像处理装置100的外部装置来进行根据用户的观看位置估计的处理。

(1-1-2)第一虚拟视点间隔确定部110中的处理的第二示例

第一虚拟视点间隔确定部110中的处理不限于诸如根据上述第一示例的处理等使用根据本实施例的评价函数的处理。例如，通过使用关联信息，第一虚拟视点间隔确定部110能够确定每个像素的虚拟视点间隔，在所述关联信息中，与待处理图像相对应的视差、图像特征量、显示质量值和虚拟视点间隔彼此联合的关联信息。注意，如上所述，第一虚拟视点间隔确定部110可以确定多个像素的各者的虚拟视点间隔。

在这里，作为根据本实施例的关联信息，例如能够包括这样的表格或数据库：在所述表格或数据库中，视差、图像特征量、显示质量值与虚拟视点间隔彼此关联。例如，在根据本实施例的关联信息中，视差、图像特征量、显示质量值与虚拟视点间隔的关联是基于根据本实施例的立体图像的质量的评价的结果。也即是，例如，可以说，在不将根据本实施例的立体图像的质量的评价的结果函数化的情况下，将根据本实施例的关联信息制成表格或数据库。换言之，例如，通过诸如方程3所示的计算的结果，根据本实施例的关联信息对应于预定的表格或数据库。

此外，例如，与上述的根据本实施例的评价函数类似，可以针对与显示器件相关的各类信息设定根据本实施例的关联信息，或者可以针对根据本实施例的观看位置设定根据本实施例的关联信息。此外，例如，与上述的根据本实施例的评价函数类似，可以针对与显示器件相关的信息和根据本实施例的观看位置的组合设定根据本实施例的关联信息。

在这里，在针对与根据本实施例的显示器件相关的各类信息设定根据本实施例的关联信息的情况下，例如，第一虚拟视点间隔确定部110使用依照与本实施例的显示器件相关的信息的关联信息，所述信息对应于用于显示图像的显示器件。此外，在针对根据本实施例的每个观看位置设定根据本实施例的关联信息的情况下，例如，第一虚拟视点间隔确定部110使用依照用户的估计的观看位置的关联信息。此外，在针对与显示器件相关的信息和根据本实施例的观看位置的组合设定本实施例的关联信息的情况下，例如，第一虚拟视点间隔确定部110使用依照与根据本实施例的显示器件相关的信息和用户的估计的观看位置的关联信息。

因此，通过使用根据本实施例的关联信息，第一虚拟视点间隔确定部110能够唯一地指定每个像素的与根据待处理图像的视差(由根据本实施例的视差信息示出)、每个像素的图像特征量(由根据本实施例的图像特征量信息示出)和根据本实施例的设定的显示质量值相对应的虚拟视点间隔。此外，第一虚拟视点间隔确定部110将为每个像素指定的虚拟视点间隔确定为每个像素的虚拟视点间隔。

例如，通过进行根据上述第一示例的处理或根据上述第二示例的处理，第一虚拟视点间隔确定部110设定每个像素单位(每个像素或多个像素)的虚拟视点间隔。

(1-2)第二虚拟视点间隔确定部112中的处理的示例

基于第一虚拟视点间隔确定部110中为每个像素确定的虚拟视点间隔，第二虚拟视点间隔确定部112确定与待处理图像相对应的虚拟视点间隔。

更加具体地，例如，第二虚拟视点间隔确定部112计算为每个像素确定的虚拟视点间隔的直方图。在这里，通过进行直方图的竖条区域(bin)的简单轮询，第二虚拟视点间隔确定部112计算为每个像素确定的虚拟视点间隔的直方图。

注意，根据本实施例的为每个像素确定的虚拟视点间隔的直方图的计算方法不限于上述的计算方法。

例如，第二虚拟视点间隔确定部112设置像素的确定的虚拟视点间隔的加权，且可以计算加权后的虚拟视点间隔的直方图。在这里，作为在为像素的虚拟视点间隔设定加权的情况下的直方图的计算示例，例如能够包括下面所示的示例。

*通过附加依照图像的醒目性的加权，轮询直方图的竖条区域。

*通过附加诸如图像的中心附近的较大的加权和端部处的较小的加权等加权，轮询直方图的竖条区域。

*依照眼跟踪技术等的组合，通过估计图像中的用户观察区域并且增大估计的观察区域的加权，轮询直方图的竖条区域。

*在待处理图像是动态图像的情况下，通过对动态图像进行运动检测并使运动大的部分的加权变小，轮询直方图的竖条区域。

*通过附加高斯加权等，轮询周边的直方图的竖条区域。

当计算出为每个像素确定的虚拟视点间隔的直方图时，例如，第二虚拟视点间隔确定部112基于计算出的直方图和设定的累计值来确定与待处理图像相对应的虚拟视点间隔。

在这里，作为根据本实施例的累计值，例如能够包括示出待处理图像中的全部像素数量中的规定比率的像素数量的阈值。例如，根据本实施例的累计值由所有像素的x[％](0<x<100)来表示。例如，作为根据本实施例的累计值，例如能够包括预定的固定值或者能够基于用户操作等任意设定的可变值。为了包括特定示例，作为根据本实施例的累计值，例如能够包括10[％]以下的值。注意，不用说，根据本实施例的累计值不限于10[％]以下的值。

图6是用于说明根据本实施例的与待处理图像相对应的虚拟视点间隔的确定的处理的示例的说明图。在这里，图6示出了一些待处理图像中的为每个像素确定的虚拟视点间隔的直方图的示例。

例如，基于累计值和计算出的直方图，通过将所述累计值示出的比率设定为阈值，第二虚拟视点间隔确定部112将经累计而达到该阈值的虚拟视点间隔设定为整个待处理图像的虚拟视点间隔。例如，在图6所示的示例中，第二虚拟视点间隔确定部112将达到由累计值所示的x[％]的虚拟视点间隔0.1设定为整个待处理图像的虚拟视点间隔。

例如，如上所述，基于为每个像素确定的虚拟视点间隔的直方图和设定的累计值，第二虚拟视点间隔确定部112确定与待处理图像相对应的虚拟视点间隔。

注意，第二虚拟视点间隔确定部112中的处理不限于上述的处理。

例如，在界限视差设定部114(将在后面说明)中设定与待处理图像相对应的虚拟视点间隔的上限值的情况下，第二虚拟视点间隔确定部112不将大于设定的上限值的值确定为与待处理图像相对应的虚拟视点间隔。

在这里，当在显示屏上显示立体图像的情况下视差变得过大时，可能发生这样的问题：用户无法将输入至左眼的图像和输入至右眼的图像融合。也即是，不期望具有超过融合极限的视差的立体图像显示在显示屏上。通过使第二虚拟视点间隔确定部112不将大于上限值的值设定为与待处理图像相对应的虚拟视点间隔，能够防止具有超过诸如上述的融合极限的视差的立体图像被显示在显示屏上。

此外，在待处理图像是动态图像的情况下，例如，第二虚拟视点间隔确定部112可以对与待处理图像相对应的虚拟视点间隔进行时域滤波处理。

通过对与待处理图像相对应的虚拟视点间隔进行时域滤波处理，能够减小与待处理图像相对应的虚拟视点间隔的时域变化量。因此，通过对与待处理图像相对应的虚拟视点间隔进行时域滤波处理，第二虚拟视点间隔确定部112能够提高与待处理图像相对应的虚拟视点间隔的时域稳定性。

此外，在对与待处理图像相对应的虚拟视点间隔进行时域滤波处理的情况下，例如，第二虚拟视点间隔确定部112可以在待处理图像中的场景转变点处设定时域滤波器。具体地，例如，第二虚拟视点间隔确定部112通过进行待处理图像的场景检测处理来检测场景变化并且参照诸如待处理图像的元数据等与待处理图像相关的信息，来指定待处理图像中的场景转变点。此外，第二虚拟视点间隔确定部112在待处理图像中的指定的场景转变点中，设定时域滤波器。

在这里，在为待处理图像的所有帧同样地使用时域滤波器的情况下，例如，当视差在场景的转变点显著变化时，时域滤波器将使视差变化变得更缓和，因此，存在成为没有改变的立体图像的可能性。例如，如上所述，通过重置待处理图像中的场景转变点中的时域滤波器，第二虚拟视点间隔确定部112能够减小诸如上述的成为没有改变的立体图像的可能性。

(1-3)界限视差设定部114中的处理的示例

界限视差设定部114设定与待处理图像相对应的虚拟视点间隔的上限值。此外，通过使界限视差设定部114设定上限值，第二虚拟视点间隔确定部112不将大于设定的上限值的值确定为与待处理图像相对应的虚拟视点间隔。

如上所述，不期望具有超过融合极限的视差的立体图像显示在显示屏上。因此，通过在图像处理装置100中包括界限视差设定部114，建立与待处理图像相对应的虚拟视点间隔的上限值，并且在第二虚拟视点间隔确定部112中将与待处理图像相对应的虚拟视点间隔设定为使之不超过这个上限值。通过使在第二虚拟视点间隔确定部112中确定的与待处理图像相对应的虚拟视点间隔不超过设定的上限值，能够防止在显示屏上显示具有超过融合极限的视差的立体图像。

例如，界限视差设定部114将规定值设定为与待处理图像相对应的虚拟视点间隔的上限值。作为被界限视差设定部114设定为上限值的规定值，例如能够包括作为给出融合极限的双目视差(存在用户的个体差异)的大约2度(120分)的值。此外，例如，被界限视差设定部114设定为上限值的规定值可以是1度(60分)或更小的值，这是在3D联盟(3D Consortium)发行的“3DC安全指导”中说明的舒适观看标准的双目视差。此外，例如，当图像被呈现给裸眼时，被界限视差设定部114设定为上限值的规定值可以使得虚拟视点间隔不超过眼镜型3D的间隔1.0的值。

注意，由界限视差设定部114设定的上限值不限于诸如上述的规定值。

例如，界限视差设定部114基于由与根据本实施例的显示器件相关的信息所示的显示器件尺寸和用户的估计的观看位置，来计算融合极限视差，并且可以将小于由显示在显示屏上的立体图像中的视差计算出的融合极限视差的值设定为上限值。注意，例如，在由图像处理装置100的其它构成元件(例如，控制部(图中未示出)或融合极限视差计算部(图中未示出)等)来计算用于计算融合极限视差的处理的情况下，界限视差设定部114基于由这个其它构成元件计算出的融合极限视差来设定上限值。

例如，通过包括第一虚拟视点间隔确定部110、第二虚拟视点间隔确定部112和界限视差设定部114，虚拟视点间隔确定部102基于与待处理图像相对应的视差和待处理图像中每个像素的图像特征量来设定与待处理图像相对应的虚拟视点间隔。

注意，根据本实施例的虚拟视点间隔确定部的构造不限于图3所示的示例的构造。

例如，根据本实施例的虚拟视点间隔确定部可以具有不包括界限视差设定部114的构造。即使根据本实施例的虚拟视点间隔确定部具有不包括界限视差设定部114的构造，根据本实施例的虚拟视点间隔确定部也能够基于与待处理图像相对应的视差和待处理图像中每个像素的图像特征量来确定与待处理图像相对应的虚拟视点间隔。

(2)虚拟视点位置确定部104

虚拟视点位置确定部104用于主导地进行根据本实施例的虚拟视点位置确定处理的目的。虚拟视点位置确定部104基于在虚拟视点间隔确定部102中确定的与待处理图像相对应的虚拟视点间隔，来确定与待处理图像相对应的虚拟视点位置。

图7是用于说明根据本实施例的虚拟视点位置确定处理的示例的说明图。图7所示的A示出了在显示屏上显示具有2视点的多视点立体图像的情况下的虚拟视点位置的示例。此外，图7所示的B示出了在显示屏上显示具有6视点的多视点立体图像的情况下的虚拟视点位置的示例。此外，图7示出了在虚拟视点间隔确定部102中确定的与待处理图像相对应的虚拟视点间隔是“0.100”的情况下的虚拟视点位置的示例。

例如，基于在虚拟视点间隔确定部102中确定的与待处理图像相对应的虚拟视点间隔，虚拟视点位置确定部104确定依照用于将图像显示在显示屏上的显示器件的虚拟视点位置。例如，在显示器件是眼镜型显示器件的情况下，诸如图7的A所示，通过将相邻视点位置的间隔(在下文中，被表示为“相邻视点间隔”)设定为在虚拟视点间隔确定部102中确定的与待处理图像相对应的虚拟视点间隔，虚拟视点位置确定部104确定虚拟视点位置。此外，例如，在显示器件是能够通过在距离显示屏的恒定设定观看距离处对每个视点图像集光来形成与用户的左眼相对应的图像和与用户的右眼相对应的图像的显示器件(诸如使用透镜或光栅的裸眼3D显示器等)的情况下，诸如图7的B所示，通过将相邻观看间隔设定为在虚拟视点间隔确定部102中确定的与待处理图像相对应的虚拟视点间隔，虚拟视点位置确定部104确定虚拟视点位置。

注意，虚拟视点位置确定部104中的虚拟视点位置确定处理不限于例如通过诸如图7中所示的将相邻视点间隔设为相等间隔来确定虚拟视点位置。

例如，虚拟视点位置确定部104可以基于在虚拟视点间隔确定部102中确定的与待处理图像相对应的虚拟视点间隔来调整每个视点之间的间隔，且可以依照调整后的视点的间隔(调整后的虚拟视点间隔)来确定虚拟视点位置。

在这里，作为虚拟视点位置确定部104中的每个视点之间的间隔的调整，例如能够包括这样的调整：将对应于端部视点位置的图像虚拟视点位置设定为与对应于中心视点位置的图像视点位置相同。例如，通过进行诸如上述的调整，能够减小逆视发生的可能性。注意，不用说，在虚拟视点位置确定部104中能够被调整的每个视点之间的间隔的示例不限于上述的示例。

(3)虚拟视点图像生成部106

虚拟视点图像生成部106用于主导地进行根据本实施例的虚拟视点图像生成处理的目的。虚拟视点图像生成部106基于待处理图像选择性地生成与在虚拟视点位置确定部104中确定的虚拟视点位置相对应的虚拟视点图像。

在这里，例如，在虚拟视点位置确定部104中确定的视点位置的数量与构成待处理图像的图像的数量彼此相等，并且虚拟视点间隔确定部102中确定的虚拟视点间隔与待处理图像中的视点间隔彼此相等的情况下，虚拟视点图像生成部106不生成虚拟视点图像。此外，例如，在除了上述不生成虚拟视点图像的情况以外的情况下，诸如在虚拟视点位置确定部104中确定的视点位置的数量大于构成待处理图像的图像的数量的情况下等，虚拟视点图像生成部106生成虚拟视点图像。

此外，例如，虚拟视点图像生成部106将待处理图像和/或选择性地生成的虚拟视点图像显示在显示屏上。在这里，作为显示选择性地生成的虚拟视点图像等的显示屏，能够包括显示部(图中未示出)的显示屏或外部显示器件中包括的显示器件的显示屏。

例如，通过将包括示出被显示图像的图像数据的信号和用于控制显示的控制指令传输至显示器件，虚拟视点图像生成部106进行绘图，并且将图像显示在显示屏上。注意，例如，可以由图像处理装置100中包括的构成元件(例如，控制部(图中未示出)等)进行根据待处理图像和选择性地生成的虚拟视点图像的在显示屏上的显示的处理。

此外，例如，虚拟视点图像生成部106能够将待处理图像和选择性地生成的虚拟视点图像记录在诸如存储部(图中未示出)或外部记录媒介等记录媒介上。注意，例如，可以由图像处理装置100中包括的构成元件(例如，控制部(图中未示出)等)进行根据待处理图像和选择性地生成的虚拟视点图像的在记录媒介上的记录的处理。

例如，通过包括虚拟视点间隔确定部102、虚拟视点位置确定部104和虚拟视点图像生成部106，图像处理装置100通过根据本实施例的图像处理方法来进行处理(例如，根据本实施例的虚拟视点间隔确定处理、根据本实施例的虚拟视点位置确定处理和根据本实施例的虚拟视点图像生成处理)。

在这里，基于与待处理图像相对应的视差和待处理图像中每个像素的图像特征量，图像处理装置100在虚拟视点间隔确定部102中确定与待处理图像相对应的虚拟视点间隔。也即是，例如，在图像处理装置100中确定的与待处理图像相对应的虚拟视点间隔可以按照与待处理图像相关的信息(视差，图像特征量)而针对每个待处理图像自动地变化。

因此，图像处理装置100能够确定与待处理图像相对应的虚拟视点间隔。此外，通过基于与待处理图像相对应的视差和待处理图像中每个像素的图像特征量设定与待处理图像相对应的虚拟视点间隔，图像处理装置100能够防止发生在虚拟视点间隔是恒定的情况下可能发生的上述问题。

此外，基于在虚拟视点间隔确定部102中确定的与待处理图像相对应的虚拟视点间隔，图像处理装置100在虚拟视点位置确定部104中确定虚拟视点位置。此外，在虚拟视点图像生成部106中，图像处理装置100选择性地生成与在虚拟视点位置确定部104中确定的虚拟视点位置相对应的虚拟视点图像。

因此，例如，通过在显示屏上显示图像处理装置100选择性地生成的虚拟视点图像，能够通过防止产生可能在虚拟视点间隔是恒定的情况下发生的上述问题，呈现给用户更高质量的立体图像。

注意，根据本实施例的图像处理装置的构造不限于图3所示的构造。

例如，根据本实施例的图像处理装置可以采用不包括虚拟视点图像生成部106的构造或不包括虚拟视点位置确定部104和虚拟视点图像生成部106的构造。即使在分别采用上述构造的情况下，根据本实施例的图像处理装置也能够进行根据本实施例的虚拟视点间隔确定处理。因此，即使在分别采用上述构造的情况下，根据本实施例的图像处理装置也能够确定与待处理图像相对应的虚拟视点间隔或能够防止产生可能在虚拟视点间隔是恒定的情况下发生的上述问题。

此外，例如，根据本实施例的图像处理装置可以额外包括诸如上述的将图像显示在显示屏上的显示部(图中未示出)。在例如额外包括显示部(图中未示出)的情况下，根据本实施例的图像处理装置能够将待处理图像和/或选择性地生成的虚拟视点图像显示在显示部(图中未示出)的显示屏上。

在这里，例如，在显示器件是对应于裸眼3D的裸眼3D显示器的情况下，可能发生由观看逆视或串扰而造成的双重图像/失焦。此外，例如，在原则上不发生观看到逆视的时候，在显示器件是对应于眼镜型3D的眼镜型显示设备的情况下，可能发生由串扰造成的双重图像/失焦。此外，例如，在显示器件是对应于裸眼3D的裸眼3D显示器的情况下和显示器件是对应于眼镜型3D的眼镜型显示设备的情况下，存在这样的可能性：当待处理图像是由广播波呈现的立体图像或由记录媒介提供的立体图像时，因该立体图像的视差过大，增加了观看立体图像的用户的疲劳感。此外，在上述两种显示器件的情况下，例如，在当显示器件的性能低下且存在很多串扰时，用户可能感知到双重图像或失焦，且可能发生图像质量的降低。

如上所述，根据本实施例的图像处理装置通过根据本实施例的虚拟视点间隔确定处理来确定与待处理图像相对应的虚拟视点间隔。此外，例如，通过根据本实施例的虚拟视点图像生成处理而生成的根据本实施例的虚拟视点图像是这样的图像：该图像是依照基于由根据本实施例的图像处理装置确定的虚拟视点间隔的视点间隔、基于待处理图像而再生的图像。

因此，例如，通过如上所述地将通过根据本实施例的虚拟视点图像生成处理而生成的根据本实施例的虚拟视点图像显示在显示屏上，能够防止发生逆视或者因串扰造成的双重图像和失焦以及图像质量的下降，且能够将能够被用户更加舒适地观看的具有更高质量的立体图像显示在显示屏上。

如上所述，例如，作为根据本实施例的图像处理方法的处理，根据本实施例的图像处理装置基于与待处理图像相对应的视差和待处理图像中每个像素的图像特征量来确定与待处理图像相对应的虚拟视点间隔。也即是，例如，由根据本实施例的图像处理装置确定的与待处理图像相对应的虚拟视点间隔可以依照与待处理图像相关的信息(视差，图像特征量)针对每个待处理图像自动地变化。

因此，根据本实施例的图像处理装置能够按照例如每帧待处理图像确定与待处理图像相对应的虚拟视点间隔。

此外，例如，通过依照待处理图像确定与待处理图像相对应的虚拟视点间隔，能够呈现具有更加适合的立体效果的图像、双重图像或失焦小的图像或运动视差光滑的图像。因此，通过进行根据本实施例的图像处理方法的处理，根据本实施例的图像处理装置能够实现高质量的立体图像。

此外，例如，通过依照待处理图像确定与待处理图像相对应的虚拟视点间隔，能够更加适合地控制立体效果。因此，通过进行根据本实施例的图像处理方法的处理，根据本实施例的图像处理装置能够提供使用户的疲劳感低的图像。

此外，例如，通过使用与显示器件相关的信息，根据本实施例的图像处理装置能够确定与显示器件相对应的虚拟视点间隔。

此外，例如，根据本实施例的图像处理装置能够依照用户的估计的观看位置确定虚拟视点间隔。

此外，因为根据本实施例的图像处理装置能够确定与用户的估计的观看位置相对应的虚拟视点间隔，所以例如在用于在显示屏上显示立体图像的显示器件是裸眼3D显示器的情况下，根据本实施例的图像处理装置能够更加适合地控制当用户从设定距离以外的距离观看图像时的视差。因此，在上述情况下，能够提供因观看逆视而造成的不适低的图像，或能够扩大能获得舒适的立体图像的观看范围。

此外，例如，在将立体图像显示在显示屏上的显示器件是裸眼3D显示器并且多个用户观看立体图像的情况下，根据本实施例的图像处理装置能够通过考虑每个用户的观看位置来确定虚拟视点间隔。因此，在上述情况下，通过进行根据本实施例的图像处理方法的处理，根据本实施例的图像处理装置能够提供更加适合的立体图像。

至此，虽然已经通过包括图像处理装置作为本实施例进行了说明，但是本实施例不限于这样的实施例。例如，本实施例能够应用于能处理图像的各种电子装置，例如平板型装置、诸如移动电话或智能电话等通信装置、视频/音乐回放设备(或视频/音乐记录/回放设备)、游戏机、诸如PC(个人电脑)等计算机、诸如数码相相机或数码摄像机等摄像装置或诸如电视接收装置等显示设备。此外，例如，本实施例能够应用于能够嵌入诸如上述的电子装置中的处理IC(集成电路)。

此外，例如，可以由含有多个装置的***来实施根据本实施例的图像处理方法的处理，在该***中，设置有诸如云计算等连接至网络的连接(或各个装置之间的通信)。

3.根据本实施例的程序

通过在计算机中执行使计算机起到根据本实施例的图像处理装置的作用的程序(例如，能够执行根据本实施例的图像处理方法的处理的程序，诸如“根据本实施例的虚拟视点间隔确定处理”、“根据本实施例的虚拟视点间隔确定处理和根据本实施例的虚拟视点位置确定处理”、或“根据本实施例的虚拟视点间隔确定处理、根据本实施例的虚拟视点位置确定处理和根据本实施例的虚拟视点图像生成处理”)，能够确定与待处理图像相对应的虚拟视点间隔。

此外，通过在计算机中执行使计算机起到根据本实施例的图像处理装置的作用的程序，能够实现通过使用根据上述实施例的图像处理方法所能实现的效果。

本领域技术人员应当理解，依据设计要求和其它因素，可以在本发明随附的权利要求或其等同物的范围内进行各种修改、组合、次组合以及改变。

例如，虽然已经上面说明了提供使计算机起到根据本实施例的图像处理装置的作用的程序(计算机程序)，但是本实施例能够连同能够存储上述程序的记录媒介一起额外地提供程序。

上述的构造示出了本实施例的示例，自然属于本发明的技术范围。

此外，本发明也可以被构成如下。

(1)一种图像处理装置，其包括：

虚拟视点间隔确定部，所述虚拟视点间隔确定部基于与待处理图像相对应的视差和所述待处理图像中每个像素的图像特征量来确定与所述待处理图像相对应的虚拟视点间隔。

(2)根据(1)所述的图像处理装置，

其中，所述虚拟视点间隔确定部包括：

第一虚拟视点间隔确定部，所述第一虚拟视点间隔确定部基于与所述待处理图像相对应的所述视差、每个像素的所述图像特征量和显示质量值来确定每个规定的像素单位的虚拟视点间隔，所述显示质量值定量地表示显示的质量，和

第二虚拟视点间隔确定部，所述第二虚拟视点间隔确定部计算为每个规定的像素单位确定的所述虚拟视点间隔的直方图，并且基于计算出的直方图和设定的累计值来确定与所述待处理图像相对应的所述虚拟视点间隔。

(3)根据(2)所述的图像处理装置，

其中，所述第一虚拟视点间隔确定部通过使用评价函数来确定每个规定的像素单位的所述虚拟视点间隔，在所述评价函数中，所述显示质量值是由与所述待处理图像相对应的所述视差与所述图像特征量之间的关系来表示的。

(4)根据(3)所述的图像处理装置，

其中，所述评价函数是为每个观看位置而设定的，所述观看位置是用户观看显示在显示屏上的图像的位置，并且

其中，所述第一虚拟视点间隔确定部使用依照用户的估计的观看位置的评价函数。

(5)根据(3)或(4)所述的图像处理装置，

其中，所述评价函数是为与用于将图像显示在显示屏上的显示器件相关的各类信息而设定的，且

其中，所述第一虚拟视点间隔确定部使用依照与用于显示图像的显示器件相对应的与所述显示器件相关的信息的评价函数。

(6)根据(2)所述的图像处理装置，

其中，所述第一虚拟视点间隔确定部通过使用关联信息来确定每个规定的像素单位的所述虚拟视点间隔，在所述关联信息中，与所述待处理图像相对应的所述视差、所述图像特征量、所述显示质量值与所述虚拟视点间隔被相互关联。

(7)根据(6)所述的图像处理装置，

其中，所述关联信息是为每个观看位置而设定的，所述观看位置是用户观看显示在显示屏上的图像的位置，且

其中，所述第一虚拟视点间隔确定部使用依照用户的估计的观看位置的关联信息。

(8)根据(6)或(7)所述的图像处理装置，

其中，所述关联信息是为与用于在显示屏上显示图像的显示器件相关的各类信息而设定的，且

其中，所述第一虚拟视点间隔确定部使用依照与用于显示图像的显示器件相对应的与所述显示器件相关的信息的关联信息。

(9)根据(2)至(8)中任一项所述的图像处理装置，

其中，所述第二虚拟视点间隔确定部设定像素的确定的虚拟视点间隔的加权，并且计算加权后的虚拟视点间隔的直方图。

(10)根据(2)至(9)中任一项所述的图像处理装置，

其中，所述虚拟视点间隔确定部还包括界限视差设定部，所述界限视差设定部设定与所述待处理图像相对应的所述虚拟视点间隔的上限值，且

其中，所述第二虚拟视点间隔确定部不将大于设定的所述上限值的值确定为与所述待处理图像相对应的所述虚拟视点间隔。

(11)根据(1)至(10)中任一项所述的图像处理装置，还包括：

虚拟视点位置确定部，所述虚拟视点位置确定部基于与所述待处理图像相对应的确定的虚拟视点间隔来确定与所述待处理图像相对应的虚拟视点位置。

(12)根据(11)所述的图像处理装置，还包括：

虚拟视点图像生成部，所述虚拟视点图像生成部基于所述待处理图像选择性地生成虚拟视点图像，所述虚拟视点图像是与确定的所述虚拟视点位置相对应的图像。

(13)根据(1)至(12)中任一项所述的图像处理装置，还包括：

显示部，所述显示部将图像显示在显示屏上。

(14)一种图像处理方法，其包括：

基于与待处理图像相对应的视差和所述待处理图像中每个像素的图像特征量来确定与所述待处理图像相对应的虚拟视点间隔。

相关申请的交叉参考

本申请主张享有于2013年5月27日提交的日本优先权专利申请JP2013-111031的优先权，并且将该日本优先权申请的全部内容以引用的方式并入本文。

Claims (14)

1.一种图像处理装置，其包括：

虚拟视点间隔确定部，所述虚拟视点间隔确定部基于与待处理图像相对应的视差和所述待处理图像中每个像素的图像特征量来确定与所述待处理图像相对应的虚拟视点间隔。

2.根据权利要求1所述的图像处理装置，

其中，所述虚拟视点间隔确定部包括：

第一虚拟视点间隔确定部，所述第一虚拟视点间隔确定部基于与所述待处理图像相对应的所述视差、每个像素的所述图像特征量和显示质量值来确定每个规定的像素单位的所述虚拟视点间隔，所述显示质量值定量地表示显示的质量，和

第二虚拟视点间隔确定部，所述第二虚拟视点间隔确定部计算为每个规定的像素单位确定的所述虚拟视点间隔的直方图，并且基于计算出的直方图和设定的累计值来确定与所述待处理图像相对应的所述虚拟视点间隔。

3.根据权利要求2所述的图像处理装置，

其中，所述第一虚拟视点间隔确定部通过使用评价函数来确定每个所述像素单位的所述虚拟视点间隔，在所述评价函数中，所述显示质量值是由与所述待处理图像相对应的所述视差与所述图像特征量之间的关系来表示的。

4.根据权利要求3所述的图像处理装置，

其中，所述评价函数是为每个观看位置而设定的，所述观看位置是用户观看显示在显示屏上的图像的位置，并且

其中，所述第一虚拟视点间隔确定部使用依照用户的估计的所述观看位置的评价函数。

5.根据权利要求3所述的图像处理装置，

其中，所述评价函数是为与用于将图像显示在显示屏上的显示器件相关的各类信息而设定的，且

其中，所述第一虚拟视点间隔确定部使用依照与用于显示图像的显示器件相对应的与所述显示器件相关的信息的评价函数。

6.根据权利要求2所述的图像处理装置，

其中，所述第一虚拟视点间隔确定部通过使用关联信息来确定每个所述像素单位的所述虚拟视点间隔，在所述关联信息中，与所述待处理图像相对应的所述视差、所述图像特征量、所述显示质量值与所述虚拟视点间隔被相互关联。

7.根据权利要求6所述的图像处理装置，

其中，所述关联信息是为每个观看位置而设定的，所述观看位置是用户观看显示在显示屏上的图像的位置，且

其中，所述第一虚拟视点间隔确定部使用依照用户的估计的所述观看位置的关联信息。

8.根据权利要求6所述的图像处理装置，

其中，所述关联信息是为与用于在显示屏上显示图像的显示器件相关的各类信息而设定的，且

其中，所述第一虚拟视点间隔确定部使用依照与用于显示图像的显示器件相对应的与所述显示器件相关的信息的关联信息。

9.根据权利要求2至8中任一项所述的图像处理装置，

其中，所述第二虚拟视点间隔确定部设定像素的确定的虚拟视点间隔的加权，并且计算加权后的虚拟视点间隔的直方图。

10.根据权利要求2至8中任一项所述的图像处理装置，

其中，所述虚拟视点间隔确定部还包括界限视差设定部，所述界限视差设定部设定与所述待处理图像相对应的所述虚拟视点间隔的上限值，且

其中，所述第二虚拟视点间隔确定部不将大于设定的所述上限值的值确定为与所述待处理图像相对应的所述虚拟视点间隔。

11.根据权利要求1至8中任一项所述的图像处理装置，还包括：

虚拟视点位置确定部，所述虚拟视点位置确定部基于与所述待处理图像相对应的确定的虚拟视点间隔来确定与所述待处理图像相对应的虚拟视点位置。

12.根据权利要求11所述的图像处理装置，还包括：

虚拟视点图像生成部，所述虚拟视点图像生成部基于所述待处理图像选择性地生成虚拟视点图像，所述虚拟视点图像是与确定的所述虚拟视点位置相对应的图像。

13.根据权利要求1至8中任一项所述的图像处理装置，还包括：

显示部，所述显示部将图像显示在显示屏上。

14.一种图像处理方法，其包括步骤：

基于与待处理图像相对应的视差和所述待处理图像中每个像素的图像特征量来确定与所述待处理图像相对应的虚拟视点间隔。