CN102547327A - 图像处理装置、图像处理方法以及程序 - Google Patents

Abstract

本申请公开了图像处理装置、图像处理方法以及程序。该图像处理装置设置有：视差检测器，被配置为检测用于显示3D图像的左眼图像和右眼图像之间的视差；视差范围计算单元，被配置为计算左眼图像和右眼图像之间的视差范围；确定单元，被配置为基于所计算的视差范围来确定观看该3D图像时的深度感是否超出对观看者而言舒适的预设范围；以及码生成器，被配置为生成与确定单元的确定结果相对应的码。

Description

图像处理装置、图像处理方法以及程序

背景技术

本发明涉及图像处理装置、图像处理方法以及程序，并且更具体地涉及被配置为能够容易地拍摄具有适当设置的深度感的3D图像的图像处理装置、图像处理方法以及程序。

3D内容的图像(下文中称之为3D图像)是由左眼观看的左眼图像和右眼观看的右眼图像构成的，并且由于设置在左眼图像与右眼图像之间的视差，导致观看者将图像感知为三维的(感知到深度感)。这种右眼图像和左眼图像是通过利用以给定间隔分离开的摄像机(成像单元)来单独成像而获得的(例如参见日本未审查专利申请公开2005-229290号)。

发明内容

拍摄时，例如应该检查通过操作两个摄像机而成像的3D图像的深度(视差)，从而检查观看者观看3D图像时的深度感，因而难以进行拍摄并在拍摄的同时检查深度感。

另外，3D图像中的深度感还依赖于观看时的条件，诸如显示3D图像的显示器的显示尺寸。结果，应该例如通过在拍摄位置处提供与观看时所使用的显示器相类似的显示器来检查3D图像，因而难以在拍摄的同时在拍摄位置处重现观看时的条件。

鉴于这种条件而设计的本发明被配置为能够容易地拍摄具有适当设置的深度感的3D图像。

根据本发明实施例的一种图像处理装置被设置有：视差检测器，被配置为检测用于显示3D图像的左眼图像和右眼图像之间的视差；视差范围计算单元，被配置为计算左眼图像和右眼图像之间的视差范围；确定单元，被配置为基于所计算的视差范围来确定观看该3D图像时的深度感是否超出对观看者而言舒适的预设范围；以及码生成器，被配置为生成与确定单元的确定结果相对应的码。

根据本发明实施例的一种图像处理方法包括：检测用于显示3D图像的左眼图像和右眼图像之间的视差；计算左眼图像和右眼图像之间的视差范围；基于所计算的视差范围，确定观看该3D图像时的深度感是否超出对观看者而言舒适的预设范围；以及生成与该确定结果相对应的码。

根据本发明实施例的一种程序使得计算机起到如下部件的作用：视差检测器，被配置为检测用于显示3D图像的左眼图像和右眼图像之间的视差；视差范围计算单元，被配置为计算左眼图像和右眼图像之间的视差范围；确定单元，被配置为基于所计算的视差范围来确定观看该3D图像时的深度感是否超出对观看者而言舒适的预设范围；以及码生成器，被配置为生成与确定单元的确定结果相对应的码。

在本发明的实施例中，检测用于显示3D图像的左眼图像和右眼图像之间的视差；计算左眼图像和右眼图像之间的视差范围；并基于所计算的视差范围，确定观看该3D图像时的深度感是否超出对观看者而言舒适的预设范围；并且生成与该确定结果相对应的码。

图像处理装置可以是独立的装置，或者可以是构成单个装置的内部块。

根据本发明的实施例，能够容易地拍摄具有适当设置的深度感的3D图像。

附图说明

图1是示出应用了本发明的成像装置的实施例的示例性配置的框图；

图2是说明用于计算对观看者而言舒适的视差范围或深度范围的方法的图；

图3是示出示出视差信息分析器的示例性具体配置的框图；

图4是说明由成像装置进行的拍摄图像显示过程的流程图；

图5是说明由成像装置进行的拍摄图像记录过程的流程图；

图6是示出应用了本发明的播放装置的示例性配置的框图；

图7是说明由播放装置进行的3D图像播放过程的流程图；

图8是示出应用了本发明的计算机的实施例的示例性配置的框图。

具体实施方式

[成像装置的示例性配置]

图1示出应用了本发明的成像装置的实施例的示例性配置。

图1中的成像装置1对由左眼图像和右眼图像构成的3D图像进行成像(拍摄)，并使得数据(下文也称为3D图像数据)被记录到诸如BD-ROM(Blu-Ray(注册商标)光盘只读存储器)的记录介质2。

成像装置1包括各部件，诸如：对右眼图像进行成像的R成像单元11R；对左眼图像进行成像的L成像单元11L；显示所成像的3D图像的显示单元18；以及对把3D图像数据记录到记录介质2进行控制的记录控制器20。

R成像单元11R对右眼图像进行成像，并将作为结果获得的右眼图像数据提供至视差估计器12。L成像单元11L对左眼图像进行成像，并将作为结果获得的左眼图像数据提供至视差估计器12。在以与3D图像的水平方向相同的方向上的给定间隔分离开的位置，设置R成像单元11R和L成像单元11L。这里，尽管将R成像单元11R和L成像单元11L集成到图1中的成像装置1中，然而，也可以与处理3D图像数据的后续模块相分离地配置R成像单元11R和L成像单元11L。另外，R成像单元11R和L成像单元11L本身也可以彼此分离地配置。在下文中，适当时，将把R成像单元11R和L成像单元11L称为成像单元11，而不对它们进行区分。

视差估计器12估计通过利用成像单元11进行成像而获得的3D图像(下文中也简单地称之为拍摄图像)中的视差。更具体地，视差估计器12针对将一个像素或多个像素作为单元的给定单元中的每一个，检测左眼图像与右眼图像之间的视差。视差估计器12生成表示像素单元中检测到的视差的视差地图，并将视差地图作为视差信息提供到视差信息分析器13。

视差信息分析器13使用从参数存储单元14提供的拍摄参数和显示参数，对从视差估计器12提供的视差信息进行分析，并对观看者观看由成像单元11成像的3D图像时的深度感进行估计。利用视差信息分析器13，将观看者观看3D图像时的深度感表示为3D图像中的视差的范围，或者深度的范围，该深度为从成像单元11的位置到产生立体图像的位置的距离。

然后，视差信息分析器13确定3D图像中的视差的范围或深度的范围是否超出对观看者而言的舒适范围，并将确定结果提供至警告码生成器15。更具体地，视差信息分析器13与对观看者而言舒适的视差的范围(下文中称之为舒适视差范围)进行比较，并确定适用3D图像中的视差的最大值较大的情况、最小值较小的情况还是最大值较大且最小值较小的情况(范围大的情况)。类似地确定深度的范围。

参数存储单元14存储被视差信息分析器13用来估计深度感的拍摄参数和显示参数。参数存储单元14中存储的拍摄参数和显示参数可以作为固定值被预先存储，或者由摄影师(成像装置1的用户)从稍后讨论的可操作输入单元21输入。例如，可以将成像单元11中的图像传感器的点距(dot pitch)和水平方向的像素数量(水平像素计数)作为成像装置1的特有拍摄参数预先存储在参数存储单元14中。作为另一示例，观看者观看3D图像时使用的显示器的点距和水平像素计数由用户从可操作输入单元21输入，并存储在参数存储单元14中。

警告码生成器15基于由视差信息分析器13给出的视差信息分析结果(比较结果)来生成警告码，并将其提供至警告模式生成器16和图像编码器19。更具体地，警告码生成器15在被提供如下确定结果的情况下生成相应的警告码：该确定结果指示，相对于舒适视差范围和深度范围而言，最大值较大、最小值较小、或者范围较大。

这里，在本实施例中，在所估计的深度感处于舒适范围内的情况下，不会特别地生成码，但是也可以配置为使得将表示所估计的深度感处于舒适范围内的码提供至警告模式生成器16和图像编码器19。

警告模式生成器16生成与从警告码生成器15提供的警告码相对应的、给定的预定警告消息，并将其提供至图像合成单元17。例如，在范围相对于所成像的3D图像中的舒适视差范围而言较大的情况下，警告模式生成器16生成警告消息“视差超出舒适范围”。另外，在最大值相对于舒适视差范围而言较大的情况下，警告模式生成器16生成警告消息“对象突出过多”。可替选地，在最小值相对于舒适视差范围而言较小的情况下，警告模式生成器16生成警告消息“对象沉入过多”。

图像合成单元17进行控制，使显示单元18显示由成像单元11成像和获得的3D图像。另外，在被提供有来自警告模式生成器16的警告消息的情况下，图像合成单元17将警告消息的OSD(屏上显示)图像合成到3D图像上，并使显示单元18显示合成图像，其中警告消息重叠在3D图像上面。

图像编码器19利用诸如MPEG-2(运动画面专家组阶段2)、MPEG-4或AVC(高级视频编码)的编码格式，对成像单元11成像和获得的3D图像数据进行编码。另外，在被提供有来自警告码生成器15的警告码的情况下，图像编码器19将所提供的警告码作为用于对应的3D图像的附加信息进行关联和编码。作为编码结果而获得的3D图像位流被提供至记录控制器20。

记录控制器20使得从图像编码器19提供的3D图像位流被记录到记录介质2。

可操作输入单元21包括拍摄启动按钮、拍摄停止按钮、缩放开关等等，并接收由摄影师进行的操作。表示所接收的由摄影师进行的操作的信号(操作内容)取决于该操作内容而被提供至相应预定单元。

利用如上配置的成像装置1，在所成像的3D超出了对观看者而言舒适的范围的情况下，对应的警告信息与3D图像一起显示在显示单元18上。看见显示单元18上显示的警告信息的摄像师于是能够在后续拍摄中调节拍摄参数使得视差落入舒适范围或者重新拍摄。

[计算舒适的视差范围及深度范围的方法]

接下来，将参考图2说明计算对观看者而言舒适的视差范围或深度范围的方法。

图2是示出显示3D图像的显示器上的视差与对应的观看者所感知到的深度感之间的关系的图。

将d_e作为观察者的瞳孔间距，L_s作为观看距离(从观看者到显示屏幕的距离)，而L_d作为从观看者到形成立体图像的位置的距离。另外，将β作为到形成立体图像的位置的距离L_d与观看距离L_s相同的情况下的会聚角，或换言之，3D图像中没有突出或沉入的状态(3D图像的深度为零的情况)下的会聚角。此外，将α_max作为突出最大化(视差最小化)时的会聚角，而将α_min作为沉入最大化(视差最大化)时的会聚角。到形成立体图像的位置的距离L_d在会聚角为α_max时变为最小值L_{d_min}，而在会聚角为α_min时变为最大值L_{d_max}。

通常，据说如果针对3D图像具有给定深度的情况的会聚角α与针对零深度的情况的会聚角β具有一度(1°)或更小的视差角|α-β|，则观看者可舒适地观看图像。因此，处于对观看者而言舒适的范围中的α与β之间的关系被表示为以下等式1

另外，由于观看距离L_s与针对零深度的会聚角β之间的关系为

$\frac{\frac{d_e}{2}}{L_s}=\tan \frac{\mathrm{\β}}{2}\·\·\·\left(2\right)$

$\mathrm{\β}=2{\tan }^{-1}\frac{d_e}{{2L}_s}\·\·\·\left(3\right)$

通过变换等式(2)，到形成立体图像的位置的距离L_d与会聚角α之间的关系变为

$L_d=\frac{d_e}{2\tan \frac{\mathrm{\α}}{2}}\·\·\·\left(4\right)$

由于会聚角α的潜在范围为α_min≤α≤α_max，因此到形成立体图像的位置的距离L_d的范围变为

L_{d_min}≤L_d≤L_{d_max}

$\frac{d_e}{2\tan \frac{{\mathrm{\α}}_{\max }}{2}}\≤L_d\≤\frac{d_e}{2\tan \frac{{\mathrm{\α}}_{\min }}{2}}\·\·\·\left(5\right)$

其中，可表示为

$\begin{array}{cc}{\mathrm{\α}}_{\max }=\mathrm{\β}+\frac{\mathrm{\π}}{180}& {\mathrm{\α}}_{\min }=\mathrm{\β}-\frac{\mathrm{\π}}{180}\end{array}$

因此，如果给定了瞳孔间距d_e和零深度的会聚角β，则可计算到形成立体图像的位置的距离L_d的范围。由于可以根据等式3利用瞳孔间距d_e和观看距离L_s计算零深度的会聚角β，因此，如果给定了瞳孔间距d_e和观看距离L_s，则最终可以计算到形成立体图像的位置的距离L_d的范围。在拍摄时，到形成立体图像的位置的距离L_d相当于深度，瞳孔间距d_e相当于成像单元11的基线长度，而观看距离L_s相当于成像单元11的焦距。

另外，在突出被最大化的会聚角α_max、沉入被最大化的会聚角α_min、瞳孔间距d_e和深度L_d中，也可以根据图2所示的几何关系来计算观看者可舒适观看图像的视差范围。此外，如果给定了观看者观看3D图像时使用的显示器的点距和水平像素计数，则可以通过像素计数来表示可舒适观看的视差范围。

例如，给定具有46″宽屏显示尺寸的显示器，如果使观看距离L_s为1.7m而使瞳孔间距d_e为6.5cm，那么可舒适地观看的深度L_d的范围为从0.5m(近)到1.5m(远)(0.5m≤L_d≤1.5m)。另外，可舒适地观看的视差范围为从-56像素(近)到55像素(远)。

[视差信息分析器13的示例性具体配置]

图3是示出视差信息分析器13的示例性具体配置的框图。

视差信息分析器13包括视差范围计算单元31、绝对距离范围计算单元32、距离比较单元33、显示时的视差范围计算单元34、舒适视差范围计算单元35以及视差比较单元36。

视差范围计算单元31针对从视差估计器12提供的拍摄的3D图像，基于视差信息(视差地图)计算拍摄的3D图像中的视差的范围(最大值和最小值)。作为计算结果而返回的视差范围被提供至绝对距离范围计算单元32和显示时的视差范围计算单元34。

同时，在摄影师已设置要拍摄的对象的位置的情况下，针对这个被设置的位置的对象位置信息被作为第一拍摄参数从参数存储单元14提供至视差范围计算单元31。在被提供了对象位置信息的情况下，视差范围计算单元31仅针对被该对象位置信息设置的区域来计算所拍摄的3D图像中的视差的范围。

绝对距离范围计算单元32基于从参数存储单元14提供的第二拍摄参数，计算拍摄时的深度的范围。作为第二拍摄参数，提供成像单元11的点距和焦距以及R成像单元11R和L成像单元11L的基线长度和会聚角。

距离比较单元33被提供有来自参数存储单元14的、作为第三拍摄参数的、由相机规格给定的正确拍摄距离的范围，并被提供有来自绝对距离范围计算单元32的拍摄时的深度的范围。距离比较单元33将拍摄时的深度的范围与正确拍摄距离的范围(正确拍摄距离范围)相比较，并将比较结果作为视差信息分析结果提供至警告码生成器15(图1)。

更具体地，作为比较结果，距离比较单元33输出相对于正确拍摄距离范围而言最大值较大、最小值较小或者深度处于其范围内。

这里，也可以进行配置，使得在拍摄时的深度的最大值或最小值超出正确拍摄距离范围的情况下，距离比较单元33连同比较结果一起输出由绝对距离范围计算单元32针对超出正确拍摄距离范围的值而计算的值。

显示时的视差范围计算单元34被提供有来自参数存储单元14的、作为第四拍摄参数的、成像单元11中的图像传感器的点距和水平像素计数，并且也被提供有作为第一显示参数的、观看者用来观看3D图像的显示器的点距和水平像素计数。

显示时的视差范围计算单元34根据图像传感器的点距和显示器的点距，将拍摄图像中的视差的范围转变为显示时的视差范围。

舒适视差范围计算单元35根据参考图2描述的方法，基于从参数存储单元14提供的观看距离L_s和瞳孔间距d_e来计算对观看者而言舒适的视差的范围(舒适视差范围)。所计算的舒适视差范围被提供至视差比较单元36。

视差比较单元36将从显示时的视差范围计算单元34提供的显示时的视差范围与从舒适视差范围计算单元35提供的舒适视差范围相比较，并将比较结果作为视差信息分析结果提供至警告码生成器15(图1)。更具体地，作为比较结果，视差比较单元36输出相对于正确拍摄距离范围而言最大值较大、最小值较小、范围较大、或者视差处于其范围内。

这里，也可以进行配置，使得在显示时的视差的最大值或最小值超出舒适视差范围的情况下，视差比较单元36连同比较结果一起输出由显示时的视差范围计算单元34针对超出舒适视差范围的值而计算的值。

以上讨论的第一至第四拍摄参数以及第一和第二显示参数被存储在参数存储单元14中并被提供至视差信息分析器13的相应单元，但是也可以存储少于全部的第一至第四拍摄参数以及第一和第二显示参数。换言之，可以省略或者以给定值替换第一至第四拍摄参数以及第一和第二显示参数中的一些参数。

如果要拍摄的对象的位置未被特别指定，那么将针对拍摄图像的整体来计算视差的范围，并且因而可以省略被提供至视差范围计算单元31的第一拍摄参数。

如上所述，可以在视差信息分析器13中进行根据深度的范围确定(比较)和根据视差的范围确定(比较)，但是，由于3D图像中的突出量是由视差确定的，因此，也可以省略根据深度的范围确定的过程。在这种情况下，也可以省略第二拍摄参数和第三拍摄参数。然而，对摄影师而言，深度比视差更加直观并更易于理解。因此，根据深度的范围确定(比较)具有使得能够显示直观的且易于被摄影师理解的警告消息的优势。如果这时还显示超出舒适范围的深度的具体数字，则这能更加直观并更易于理解。

第四拍摄参数与第一和第二显示参数用于进行根据视差的范围确定(比较)。然而，在成像单元11被集成到成像装置1的情况下，给出图像传感器的点距和水平像素计数的第四拍摄参数可以作为确定的固定值而预先存储在参数存储单元14中。

另外，通常采用显示器高度的三倍(3H)作为观看距离L_s并且通常采用6.5cm用于第二参数的瞳孔间距d_e。结果，通过根据第一显示参数估计显示器尺寸、计算其高度的三倍、并将6.5cm作为瞳孔间距d_e的默认值，可省略对观看距离L_s和第二参数的瞳孔间距d_e的用户输入。

[拍摄图像的显示过程]

现在，将参考图4的流程图描述拍摄图像的显示过程，其在显示单元18上显示由成像装置1拍摄的拍摄图像。当从成像单元11输出3D图像时，开始该过程。

首先，在步骤S1中，视差估计器12估计由成像单元11成像并获得的3D图像中的视差。更具体地，生成视差地图，在该视差地图中，例如以像素为单位检测由R成像单元11R与L成像单元11L成像并获得的右眼图像与左眼图像之间的视差。视差地图作为视差信息被提供至视差信息分析器13。

在步骤S2中，视差信息分析器13的视差范围计算单元31基于从视差估计器12提供的视差信息，计算3D图像的视差范围。换言之，视差范围计算单元31计算3D图像中的视差的最大值和最小值，并将它们提供至绝对距离范围计算单元32和显示时的视差范围计算单元34。

在步骤S3中，绝对距离范围计算单元32基于从参数存储单元14提供的第二拍摄参数，计算拍摄时的深度的范围。此时，第二拍摄参数是成像单元11中的图像传感器的点距和焦距以及R成像单元11R和L成像单元11L的基线长度和会聚角。

在步骤S4中，距离比较单元33将所计算的拍摄时的深度的范围与作为第三拍摄参数给出的正确拍摄距离的范围(正确拍摄距离范围)相比较，并将比较结果作为视差信息分析结果提供至警告码生成器15。

在步骤S5中，显示时的视差范围计算单元34通过根据传感器和显示器之间的点距比将拍摄图像中的视差的范围转变为显示时的视差范围，来计算显示时的视差范围。

在步骤S6中，舒适视差范围计算单元35根据参考图2描述的方法，基于从参数存储单元14提供的观看距离L_s和瞳孔间距d_e来计算对观看者而言舒适的视差的范围(舒适视差范围)。所计算的舒适视差范围被提供至视差比较单元36。

在步骤S7中，视差比较单元36将从显示时的视差范围计算单元34提供的显示时的视差范围与从舒适视差范围计算单元35提供的舒适视差范围相比较，并将比较结果作为视差信息分析结果提供至警告码生成器15。

可以在拍摄3D图像前预计算舒适视差范围，并且在这种情况下，可以省略步骤S6中的过程。另外，可以并行执行或以相反顺序执行步骤S3和S4中的过程以及步骤S5和S7中的过程。

在步骤S8中，警告码生成器15基于由视差信息分析器13给出的视差信息分析结果(比较结果)，确定是否生成警告码。换言之，警告码生成器15确定是否拍摄时的深度的最大值和最小值中的至少一个超出正确拍摄距离范围，并且也确定是否显示时的视差的最大值和最小值中的至少一个超出舒适视差范围。

在步骤S8中拍摄时的深度的最大值和最小值中的至少一个超出正确拍摄距离范围或者显示时的视差的最大值和最小值中的至少一个超出舒适视差范围的情况下，过程前进至步骤S9。在步骤S9中，警告码生成器15基于视差信息分析结果生成警告码，并将警告码提供至警告模式生成器16和图像编码器19。

在步骤S10中，警告模式生成器16根据从警告码生成器15提供的警告码，生成给定的警告消息，并将其提供至图像合成单元17。

例如，关于指示拍摄时的深度的范围超出正确拍摄距离范围的警告码，可以生成诸如“缩小”或“降低相机间隔”的警告消息。另外，在拍摄时的深度的最大值超出正确拍摄距离范围的情况下，也可以生成诸如“缩小或移动远离对象”、“减小会聚角”或者“降低相机间隔”的警告消息。在拍摄时的深度的最小值超出正确拍摄距离范围的情况下，也可以生成诸如“缩小或移动更靠近对象”、“增加会聚角”或者“降低相机间隔”的警告消息。

针对诸如“缩小”的警告消息，也可以进行配置，使得在考虑到诸如当前缩放水平、相机间隔和会聚角及其可配置范围的设置信息(拍摄信息)的同时，生成最佳警告消息。例如，在当前缩放设置值处于宽松限制的情况下，不再降低缩放水平，因而可以配置警告模式生成器16以生成警告消息“移动远离对象”而非“缩小”。

同时，关于指示显示时的视差超出舒适视差范围的警告码，生成诸如“视差超出舒适范围”的警告消息。另外，关于指示显示时的视差的最大值超出舒适视差范围的警告码，生成诸如“对象突出过多”的警告消息。关于指示显示时的视差的最小值超出舒适视差范围的警告码，生成诸如“对象沉入过多”的警告消息。

警告模式生成器16在被提供与拍摄时的深度有关的警告码或与显示时的视差有关的警告码的情况下，显示对应的警告消息。在被提供与拍摄时的深度有关的警告码和与显示时的视差有关的警告码二者的情况下，警告模式生成器16显示与各警告码中的预定警告码对应的警告消息。也可以进行配置，使得摄影师能够从可操作输入单元21设置优先考虑哪个警告码。

在步骤S11中，图像合成单元17生成合成图像，在该合成图像中，从警告模式生成器16提供的警告消息(的OSD图像)与从成像单元11提供的3D图像被合成。

在步骤S12中，图像合成单元17使显示单元18显示合成图像，并结束该过程。

另一方面，在步骤S8中确定拍摄时的深度处于正确拍摄距离范围内并且显示时的视差也处于舒适视差范围内的情况下，过程前进至步骤S13。在步骤S13中，图像合成单元17使显示单元18照原样显示由成像单元11成像并获得的3D图像，并结束该过程。

如上，在成像装置1中，针对已成像并获得的3D图像分析视差信息，并且可使得显示单元18在拍摄的同时实时显示诸如“视差超出舒适范围”的警告消息。通过这样做，摄影社能够容易地拍摄具有适当设置的深度感的3D图像。

[拍摄图像的记录过程]

图5示出了拍摄图像的记录过程的流程图，该过程将拍摄图像记录到记录介质2。该过程在从成像单元11输出3D图像时开始，并且与以上讨论的图4的拍摄图像的显示过程并行地执行。

在步骤S21中，图像编码器19获取已由成像单元11成像并获得的3D图像。

在步骤S22中，图像编码器19确定是否已从警告码生成器15提供了警告码。

在步骤S22中确定已提供了警告码的情况下，过程前进至步骤S23，并且图像编码器19将警告码作为相应3D图像的附加信息进行关联。然后，图像编码器19利用诸如MPEG-2、MPEG-4或AVC的给定编码格式，对包括该附加信息的3D图像数据进行编码。

在步骤S24中，记录控制器20使得作为编码结果获得的3D图像位流被记录到记录介质2，并结束该过程。

另一方面，在步骤S22中确定未提供警告码的情况下，过程前进至步骤S25，并且图像编码器19利用给定编码格式对获取的3D图像进行编码。

然后，在步骤S26中，记录控制器20使得作为编码结果获得的3D图像位流被记录到记录介质2，并结束该过程。

如上，在成像装置1中，基于通过成像获得的3D图像的视差信息分析结果的警告码可与该3D图像一起被记录到记录介质2。通过这样做，在播放被记录到记录介质2的3D图像的情况下，可基于警告码显示适当的警告消息。

[播放装置的示例性配置]

图6是示出播放装置的示例性配置的框图，该播放装置播放被记录到记录介质2的3D图像。

图6中的播放装置51播放被记录到记录介质2的3D图像，并使该3D图像显示在电视接收机等的显示器52上。

播放装置51至少包括读取控制器61、图像解码器62、警告模式生成器63以及图像合成单元64。

读取控制器61读出被记录到记录介质2的3D图像位流，并将该3D图像位流提供至图像解码器62。

图像解码器62以与图1中的图像编码器19的编码格式对应的格式，对从读取控制器61提供的3D图像位流进行解码。作为解码结果而获得的3D图像数据被提供至图像合成单元64。在3D图像位流中包括作为附加信息的警告码的情况下，图像解码器62将警告码提供至警告模式生成器63。

警告模式生成器63根据警告码生成给定的预定警告消息，并将其提供至图像合成单元64。例如，关于警告码，警告模式生成器63生成诸如“该图像包含大量突出”或“从远离显示器的适当距离观察”的警告消息。

图像合成单元64进行使显示器52基于从图像解码器62提供的3D图像数据而显示3D图像的控制。另外，在被提供有来自警告模式生成器63的警告消息的情况下，图像合成单元64将警告消息的OSD图像合成到3D图像上，并使得显示器52显示合成图像，其中警告消息被重叠在3D图像之上。

[3D图像播放过程]

现在，将参考图7中的流程图，描述由播放装置51进行的3D图像播放过程。例如，当针对加载到播放装置51的记录介质2的播放而发出指令时，开始该过程。

首先，在步骤S41中，读取控制器61读出被记录到记录介质2的3D图像位流，并将该3D图像位流提供至图像解码器62。

在步骤S42中，图像解码器62以与图1中的图像编码器19的编码格式对应的格式，对从读取控制器61提供的3D图像位流进行解码。作为解码结果而获得的3D图像数据被提供至图像合成单元64，并且作为附加信息被包括的警告码被提供至警告模式生成器63。

在步骤S43中，警告模式生成器63确定是否已从图像解码器62提供了警告码。

在步骤S43中确定已提供警告码的情况下，过程进行到步骤S44。警告模式生成器63根据警告码生成给定的预定警告消息，并将其提供至图像合成单元64。

然后，在步骤S45，图像合成单元64将来自警告模式生成器63的警告消息与来自图像解码器62的3D图像进行合成，并在步骤S46使得显示器52显示合成图像，并且结束该过程。

另一方面，在步骤S43中确定未提供警告码的情况下，过程进行到步骤S47。图像合成单元64使得显示器52基于从图像解码器62提供的3D图像数据而显示3D图像，并且结束该过程。

如上，根据播放装置51的3D图像播放过程，基于3D图像的视差信息的警告消息可基于记录到记录介质2的3D图像位流中所包括的警告码而显示为重叠在3D图像之上。

这里，在以上讨论的示例中，警告码作为附加消息被记录到记录介质2，使得警告消息可能显示为重叠在3D图像之上。然而，警告码也可以被记录到记录介质2，使得在超出舒适视差范围的3D图像之前给定量的时间的3D图像上，显示诸如“将显示具有大量突出的图像”的警告消息。在这种情况下，可以在实际显示具有大量突出的3D图像之前显示警告消息，并且观看者可以针对观看进行准备或采取行动。

在以上讨论的示例中，描述了这样的示例：经由记录介质2将3D图像的图像数据和警告码从摄影师的成像装置提供至观看者的播放装置51。然而，也可以通过卫星广播、有限电视或经由诸如因特网的传输，将包括3D图像的图像数据和警告码的3D图像位流提供至观看者的播放装置。

以上讨论一系列过程可以在硬件中执行，也可以在软件中执行。当在软件中执行这一系列过程的情况下，构成该软件的程序可以被安装到计算机。这里，计算机例如包括构建在专用硬件中的计算机，以及能够通过安装在其上的各种软件来执行各种功能的计算机，诸如通用个人计算机。

图8是示出根据程序执行以上讨论的一系列过程的计算机的示例性硬件配置的框图。

在该计算机中，通过总线104将CPU(中央处理单元)101、ROM(只读存储器)102和RAM(随机存取存储器)103彼此连接。

另外，将输入/输出接口105连接至总线104。连接至输入/输出接口105的是输入单元106、输出单元107、存储单元108、通信单元109以及驱动器110。

输入单元106包括键盘、鼠标、麦克风等。输出单元107包括显示器、扬声器等。存储单元108包括硬盘或非易失性存储器等。通信单元109包括网络接口等。驱动器110驱动诸如磁盘、光盘、磁光盘或半导体存储器等的可拆卸记录介质111。

在如上配置的计算机中，例如，作为CPU 101将存储在存储单元108中的程序经由输入/输出接口105和总线104加载到RAM 103、然后执行该程序的结果，进行较早讨论的一系列过程。

可以通过记录到作为封装介质(packaged media)等给出的可拆卸记录介质111，提供由计算机(CPU 101)执行的程序。另外，也可以经由有线或无线传输介质如局域网、因特网或数字卫星广播来提供该程序。

在计算机上，可以通过将可拆卸记录介质111加载到驱动器110而经由输入/输出接口105将程序安装到存储单元108。另外，该程序也可以经由有线或无线传输介质被通信单元109接收，并被安装到存储单元108。另外，可以预先将程序安装到ROM 102或存储单元108。

此外，计算机执行的程序可以是使得以按照本说明书中描述的顺序的时间序列来进行处理的程序，也可以是使得并行地进行处理或以适当定时进行处理的程序。

根据本发明实施例的一种图像处理装置被设置有：视差检测器，被配置为检测用于显示3D图像的左眼图像和右眼图像之间的视差；视差范围计算单元，被配置为计算左眼图像和右眼图像之间的视差范围；确定单元，被配置为基于所计算的视差范围来确定观看该3D图像时的深度感是否超出对观看者而言舒适的预设范围；以及码生成器，被配置为生成与确定单元的确定结果相对应的码。

根据本发明实施例的一种图像处理方法包括：检测用于显示3D图像的左眼图像和右眼图像之间的视差；计算左眼图像和右眼图像之间的视差范围；基于所计算的视差范围，确定观看该3D图像时的深度感是否超出对观看者而言舒适的预设范围；以及生成与该确定结果相对应的码

本发明的实施例不限于以上讨论的各实施例，并且，在不脱离本发明主要内容的范围内，各种修改都是可能的。

本公开包含与2010年10月7日提交到日本专利局的日本优先权专利申请JP 2010-227502中公开的主题有关的主题，该申请全部内容通过引用合并于此。

本领域技术人员应理解，取决于设计要求和其它因素，可能发生各种修改、组合、子组合和变更，只要这些修改、组合、子组合和变更在所附权利要求或其等同的范围内即可。

Claims (7)

1.一种图像处理装置，包括：

视差检测器，被配置为检测用于显示3D图像的左眼图像和右眼图像之间的视差；

视差范围计算单元，被配置为计算所述左眼图像和所述右眼图像之间的视差范围；

确定单元，被配置为基于所计算的视差范围来确定观看所述3D图像时的深度感是否超出对观看者而言舒适的预设范围；以及

码生成器，被配置为生成与所述确定单元的确定结果相对应的码。

2.根据权利要求1所述的图像处理装置，还包括：

模式生成器，被配置为生成与所生成的码相对应的消息；以及

图像合成单元，被配置为合成所述消息和所述3D图像，以及使给定显示单元对该结果进行显示。

3.根据权利要求1所述的图像处理装置，还包括：

流生成器，被配置为根据所述左眼图像和所述右眼图像的3D图像数据生成3D图像位流，所述3D图像位流添加有作为附加信息的、由码生成器所生成的码；以及

记录控制器，被配置为将所述3D图像位流记录到给定记录介质。

4.根据权利要求1所述的图像处理装置，其中所述确定单元包括：

显示时的视差范围计算单元，被配置为根据图像传感器与显示器之间的点距比，将所计算的视差范围转变为显示时的视差范围，

舒适视差范围计算单元，被配置为基于观看者的观看距离和瞳孔间距来计算对观看者而言舒适的视差范围，以及

视差比较单元，被配置为将所述显示时的视差范围与所述对观看者而言舒适的视差范围相比较，并且其中

所述确定单元根据所述视差比较单元的比较结果，确定观看所述3D图像时的深度感是否超出对观看者而言舒适的预设范围。

5.根据权利要求1所述的图像处理装置，其中所述确定单元包括：

绝对距离范围计算单元，被配置为计算拍摄时的深度的范围，以及

距离比较单元，被配置为将所计算的拍摄时的深度的范围与正确拍摄距离的范围相比较，所述正确拍摄距离的范围由对所述左眼图像和所述右眼图像进行成像的成像装置的规格来给定，并且其中

所述确定单元根据所述距离比较单元的比较结果，确定观看所述3D图像时的深度感是否超出对观看者而言舒适的预设范围。

6.一种图像处理方法，包括：

检测用于显示3D图像的左眼图像和右眼图像之间的视差；

计算所述左眼图像和所述右眼图像之间的视差范围；以及

基于所计算的视差范围来确定观看所述3D图像时的深度感是否超出对观看者而言舒适的预设范围，以及生成与该确定结果相对应的码。

7.一种程序，其使得计算机起到如下部件的作用：

视差检测器，被配置为检测用于显示3D图像的左眼图像和右眼图像之间的视差；

视差范围计算单元，被配置为计算所述左眼图像和所述右眼图像之间的视差范围；

确定单元，被配置为基于所计算的视差范围来确定观看所述3D图像时的深度感是否超出对观看者而言舒适的预设范围；以及

码生成器，被配置为生成与所述确定单元的确定结果相对应的码。

Images