CN104041026A - 图像输出装置、方法以及程序及其记录介质 - Google Patents

Abstract

视差调整部(63)判断是否是︱基准帧的代表视差－对象帧的代表视差︱﹤α。在“是”的情况下进入S5，在“否”的情况下进入S6。α作为平移容许阈值而从阈值设定部(205)被输入。例如，α＝0.75。在判断为“否”的情况下，意味着帧之间的视差变动一定程度上较大。在这种情况下进入S6，进行用于将对象帧平移至与基准帧不同的显示视差的处理。

Description

图像输出装置、方法以及程序及其记录介质

技术领域

本发明涉及图像输出，特别是涉及立体动画的各立体图像帧的双眼视差的调整。

背景技术

专利文献1的立体图像处理装置，在所显示的被摄体达到极限视差时，按照所取得的适当视差信息生成视差图像，以在此后的立体显示中实现该适当视差。视差的控制通过返回到三维数据并对照相机参数进行优化设定而实现。在这里，立体图像处理装置的二维图像生成部计算满足适当视差的景深Fxy。在将景深的范围设为K1至K2，将各像素的景深值设为Gxy时，Fxy＝J1+(Gxy―K1)×(J2―J1)/(K2―K1)。在Fxy不是整数的情况下，实施四舍五入或使近似视差减小的处理。

在专利文献2的三维图像处理装置中，通过在使用视点坐标系显示透视三维图像的显示器上，设置对对面观察者的观察视点进行检测的观察视点传感器，由计算机将显示图像的视点坐标系移动至与该观察视点传感器检测出的观察视点一致，从而使在显示器上显示的三维图像的透视视点追随观察者的观察视点而移动，使透视视点始终与观察视点一致而进行图像显示。

专利文献3的三维图像显示装置具有：视点检测装置，其用于检测观察者的视点位置；影像生成装置，其生成具有针对左右眼的视差的两个影像；影像显示装置，其对两个影像分别进行投影而显示；以及影像投影装置，其将所显示的两个影像分别投影至观察者的左右眼，影像生成装置基于视点检测装置的输出信号，生成与观察者的视点移动对应而反映出观察对象的观察方向的变化的影像。另外，影像生成装置基于视点检测装置的输出信号，反映与观察者的视点移动对应的观察对象的观察方向的变化，且生成具有针对观察者左右眼的视差的假想物体影像。

在专利文献4的立体图像显示方法中，使用具有显示部和控制部的结构，以时间划分在显示器上显示与右眼·左眼对应的视差图像，其中，该显示部在显示器的前方设置液晶光闸，在液晶光闸的前方配置有双凸透镜，该控制部用于输入观察者的视点位置，并且，在该立体图像显示方法中，一边与视差图像同步，一边对应于观察者的视点位置而使液晶光闸的处于透光状态的部分的宽度和位置变化，经由双凸透镜而以对应的眼睛观察视差图像。

专利文献1：日本特开2004－221699号公报

专利文献2：日本特开平6－028452号公报

专利文献3：日本特开平9－238369号公报

专利文献4：日本特开平8－327948号公报

发明内容

使用了视差的立体动画如果没有以适当的视差量进行显示，则可能会诱发观赏者的疲劳。由于适当的视差量根据进行显示的显示器的尺寸和观赏者的立体融合极限等而变化，因此，需要进行与之相应的视差调整。

在专利文献1中，由于对满足适当视差的景深Fxy进行计算及四舍五入，因此，在帧之间视差变得相同，感觉不到与帧变迁相伴的立体感的变化，反之，在帧之间产生很大的视差变化而可能使观赏者感到疲劳。例如，在将图14的(a)部分的摄像时的视差变化调整为图14的(b)部分的显示视差的情况下，有时使得视差在相邻的帧之间变为相同而使立体感消失，反之在相邻的帧之间产生很大的视差变动而使观赏者疲劳。

本发明的目的在于，使与立体动画的输出条件对应的视差调整反映立体动画的代表视差的变化。

本发明提供一种图像输出装置，其具有：代表视差取得部，其取得构成立体动画的多个立体图像帧各自的代表视差；输出预定视差决定部，其基于代表视差取得部所取得的每个立体图像帧的代表视差，决定与立体动画的输出条件对应的每个立体图像帧的输出预定视差；输出视差调整部，其基于输出预定视差决定部所决定的每个立体图像帧的输出预定视差，调整每个立体图像帧的输出视差；以及输出部，其将由输出视差调整部对输出视差进行调整后的立体图像帧依次输出，输出预定视差决定部基于从立体图像帧中依次决定的基准帧的代表视差，决定基准帧的输出预定视差，且基于基准帧的下一个立体图像帧即对象帧的代表视差，决定对象帧的输出预定视差，输出视差调整部基于基准帧的代表视差和对象帧的代表视差之间的差，对基准帧的输出视差和对象帧的输出视差之间的差进行调整，每个立体图像帧的代表视差包含基于立体图像帧的视差中的满足规定条件的视差而计算出的统计运算值，基于满足规定条件的视差而计算出的统计运算值，排除立体图像帧的规定区域内的平均视差。

优选统计运算值包含立体图像帧的视差的最大值、最小值、最频值、以及中央值中的至少一个。

优选每个立体图像帧的代表视差包含立体图像帧的视差中的位于远景侧的被摄体的视差的最大值、最小值、最频值或中央值以及位于近景侧的被摄体的视差的最大值、最小值、最频值或中央值中的至少一个，其中，远景侧是与交叉点相比从拍摄装置远离的方向，近景侧是与交叉点相比向拍摄装置接近的方向。

优选满足规定条件的视差包含立体图像帧的注视位置的视差。

优选注视位置包含立体图像帧的观赏者的注视点、立体图像帧的摄像者的注视点、或在立体图像帧内任意指定的注视点。

优选满足规定条件的视差包含脸部区域的视差、合焦评价值计算区域的视差、图像中央区域的视差、所述立体图像帧的视差中的位于远景侧的被摄体的视差、或位于近景侧的被摄体的视差，其中，远景侧是与交叉点相比从拍摄装置远离的方向，近景侧是与交叉点相比向拍摄装置接近的方向。

优选图像输出装置具有输出容许视差宽度取得部，其作为立体动画的输出条件，取得用于规定所容许的输出视差的宽度即输出视差宽度的上限及下限。

优选图像输出装置具有视差宽度调整部，其在由代表视差取得部所取得的各立体图像帧的代表视差的最大值及最小值规定的视差宽度，不符合输出容许视差宽度取得部所取得的输出容许视差宽度的情况下，将视差宽度调整为输出容许视差宽度

优选视差宽度调整部在代表视差取得部所取得的代表视差的最大值超过输出容许视差宽度取得部所取得的输出容许视差宽度的上限的情况下，调整各立体图像帧的代表视差，以使得代表视差的最大值低于输出容许视差宽度的上限。

优选视差宽度调整部在代表视差取得部所取得的代表视差的最小值低于输出容许视差宽度取得部所取得的输出容许视差宽度的下限的情况下，调整各立体图像帧的代表视差，以使得视差的最小值超过输出容许视差宽度的下限。

优选基准帧和对象帧从同一场景中决定

优选图像输出装置具有表格取得部，其取得用于规定与任意值的代表视差对应的阶跃式输出预定视差的表格，输出预定视差决定部依照代表视差取得部所取得的每个立体图像帧的代表视差和表格取得部所取得的表格，决定每个立体图像帧的阶跃式输出预定视差。

优选输出视差调整部将基准帧的代表视差和对象帧的代表视差之间的差与规定的第1阈值进行比较，在差超过规定的第1阈值的情况下，将对象帧的输出视差朝向与输出预定视差决定部所决定的基准帧的输出预定视差相比高1级的输出预定视差调整。

优选输出视差调整部将差与规定的第2阈值进行比较，在差低于规定的第2阈值的情况下，将对象帧的输出视差朝向基准帧的输出预定视差调整。

优选输出视差调整部在差没有超过规定的第1阈值且不低于规定的第2阈值的情况下，将对象帧的输出视差朝向对象帧的输出预定视差调整。

优选规定的第1阈值与规定的第2阈值相等。

本发明提供一种图像输出方法，在具有代表视差取得部、输出预定视差决定部、输出视差调整部、以及输出部的图像输出装置中，执行以下步骤：代表视差取得部取得构成立体动画的多个立体图像帧各自的代表视差；输出预定视差决定部基于代表视差取得部所取得的每个立体图像帧的代表视差，决定与立体动画的输出条件对应的每个立体图像帧的输出预定视差；输出视差调整部基于输出预定视差决定部所决定的每个立体图像帧的输出预定视差，调整每个立体图像帧的输出视差；以及输出部将由输出视差调整部对输出视差进行调整后的立体图像帧依次输出，输出预定视差决定部基于从立体图像帧中依次决定的基准帧的代表视差，决定基准帧的输出预定视差，且基于基准帧的下一个立体图像帧即对象帧的代表视差，决定对象帧的输出预定视差，输出视差调整部基于基准帧的代表视差和对象帧的代表视差之间的差，对基准帧的输出视差和对象帧的输出视差之间的差进行调整，每个立体图像帧的代表视差包含基于立体图像帧的视差中的满足规定条件的视差而计算出的统计运算值，基于满足规定条件的视差而计算出的统计运算值，排除立体图像帧的规定区域内的平均视差。

本发明还包含用于使图像输出装置执行该图像输出方法的图像输出程序以及记录由该程序的计算机可读取的永久记录介质(on-transitory computer-readable medium)。

发明的效果

根据本发明，对应于立体图像帧之间的代表视差的差异、即代表视差的推移而对各立体图像帧之间的输出视差的差进行调整。由于各立体图像帧的输出视差保持与摄像时的代表视差的推移接近的状态不变而被调整为适当的输出视差，因此，能够使立体动画的代表视差的推移与摄像时的状态接近并输出。

附图说明

图1是数字照相机的正面斜视图。

图2是数字照相机的背面斜视图。

图3是数字照相机的框图。

图4是扩散方向的视差的极限的示意图。

图5是视差调整处理的流程图。

图6是表示立体动画视差－输出预定视差变换表的一个例子的图。

图7是视差宽度调整处理的流程图。

图8是视差宽度调整的示意图。

图9是向负方向的视差平移的示意图。

图10是视差宽度调整后的视差平移的示意图。

图11是向正方向的视差平移的示意图。

图12是显示再生装置的框图。

图13是表示反映了摄像时的视差的推移的输出视差的一个例子的图。

图14是表示现有的视差调整的一个例子的图。

具体实施方式

图1是表示作为本发明的一个实施方式的数字照相机10的外观结构的正面斜视图。图2是表示该数字照相机的一个例子的外观结构的背面斜视图。

数字照相机10具有多个拍摄单元(在图1中例示了两个)，可以从多个视点(在图1中例示了左右两个视点)对同一被摄体进行拍摄。此外，在本例中，为了说明方便，以具有两个拍摄单元的的情况为例进行说明，但本发明并不限定于此，即使是具有大于或等于3个拍摄单元的情况也同样地可以应用。

本例的数字照相机10的照相机主体112形成为矩形的箱状，如图1所示，在其正面设有一对摄像光学***11R、11L和闪光灯116。另外，在照相机主体112的上表面设有快门按钮14、电源/模式开关120、模式盘122等。另外，如图2所示，在照相机主体112的背面设有由液晶显示装置(LCD)等构成的显示器13、变焦按钮126、十字按钮128、MENU/OK按钮130、DISP按钮132、BACK按钮134等。显示器13可以内置于数字照相机10中，也可以置换为外部设备(例如，TV、头戴式显示屏、移动电话等可移动性电子设备的显示屏)。

左右一对的摄像光学***11R、11L分别包含可伸缩式变焦透镜(图3的18R、18L)而构成，在数字照相机10的电源接通时从照相机主体112伸出。此外，对于摄像光学***中的变焦机构、伸缩机构，由于是公知的技术，所以在这里省略其具体说明。

显示器13是彩色液晶触摸屏等显示装置，其将具有半圆筒状透镜组的所谓双凸透镜配置在前部表面。该显示器13作为用于显示摄像后图像的图像显示部使用，并且，在各种设定时作为GUI使用。另外，在摄像时显示由拍摄元件捕捉到的实时取景图像而作为电子取景器使用。此外，显示器13的立体图像显示方式并不限定于视差屏障方式。例如，也可以是补色立体方式、偏振滤光方式、液晶光闸方式等使用眼镜的立体图像显示方式。

快门按钮14由所谓“半按”和“全按”组成的2段式开关构成。数字照相机10在静止场景摄像时(例如，使用模式盘122或菜单而选择静止场景摄像模式时)，在半按该快门按钮14时进行摄像准备处理、即，进行AE(Automatic Exposure：自动曝光)、AF(Auto Focus：自动合焦)、AWB(Automatic White Balance：自动白平衡)的各处理，在全按时进行图像摄像·记录处理。另外，在立体动画摄像时(例如，使用模式盘122或菜单而选择立体动画摄像模式时)，在全按该快门按钮14时开始进行立体动画的摄像，在再次全按时结束摄像。此外，根据设定，也可以在全按快门按钮14期间内进行立体动画的摄像，而在解除全按时结束摄像。此外，也可以设置静止场景摄像专用的快门按钮以及立体动画摄像专用的快门按钮。

电源/模式开关120(电源开关及模式开关)作为数字照相机10的电源开关起作用，并且，作为对数字照相机10的再生模式和摄像模式进行切换的切换单元起作用。模式盘122被用于摄像模式的设定。数字照相机10通过将该模式盘122设置在“2D静止场景位置”，从而设定为对2D静止场景进行摄像的2D静止场景摄像模式，通过将该模式盘122设置在“3D静止场景位置”，从而设定为对3D静止场景进行摄像的3D静止场景摄像模式。此外，通过设置在“3D动画位置”，从而设定为对3D动画进行摄像的3D动画摄像模式。

变焦按钮126被用于摄像光学***11R、11L的变焦操作，由指示向长焦侧变焦的变焦长焦按钮和指示向广角侧变焦的变焦广角按钮构成。十字按钮128设置为可向上下左右4个方向进行按压操作，针对各方向的按压操作，分配与照相机设定状态对应的功能。MENU/OK按钮130被用于调出菜单画面(MENU功能)，并且，被用于选择内容的确定、处理的执行指示等(OK功能)。DISP按钮132被用于显示器13的显示内容切换指示等的输入，BACK按钮134用于取消输入操作等指示的输入。

图3是表示数字照相机10的要部的框图。

数字照相机10具有：右视点用拍摄单元，其具有右视点用摄像光学***11R及拍摄元件29R；以及左视点用拍摄单元，其具有左视点用摄像光学***及拍摄元件29L。

两个摄像光学***11(11R、11L)各自具有变焦透镜18(18R、18L)、聚焦透镜19(19R、19L)、以及光圈20(20R、20L)。上述变焦透镜18、聚焦透镜19、以及光圈20分别由变焦透镜控制部22(22R、22L)、聚焦透镜控制部23(23R、23L)、以及光圈控制部24(24R、24L)驱动。各控制部22、23、24由步进电动机构成，由与CPU26连接的未图示的电动机驱动器所施加的驱动脉冲控制。

在两个摄像光学***11(11R、11L)的背后，分别配置有CCD图像传感器(下面简称为“CCD”)29(29R、29L)。此外，也可以取代CCD29而使用MOS型的图像传感器。如公知所示，CCD29具有由多个光电变换元件排列构成的光电变换面，通过经由摄像光学***11而将被摄体光射入至该光电变换面，从而形成被摄体像。CCD29与由CPU26控制的定时发生器：TG31(31R、31L)连接，由从该TG31输入的定时信号(时钟脉冲)决定电子快门的快门速度(各光电变换元件的电荷积蓄时间)。

从CCD29输出的拍摄信号被输入至模拟信号处理电路33(33R、33L)。模拟信号处理电路33具有相关双采样电路(CDS)、放大器(AMP)等。CDS根据拍摄信号而生成与各像素的积蓄电荷时间对应的R、G、B图像数据。AMP对所生成的图像数据进行放大。

AMP作为用于调节CCD29的灵敏度的灵敏度调节单元起作用。CCD29的ISO灵敏度由AMP的增益决定。A/D变换器36(36R、36L)将放大后的图像数据从模拟图像数据变换为数字图像数据。从A/D变换器36(36R、36L)输出的数字图像数据，分别作为右视点图像数据和左视点图像数据，经由图像输入控制器38(38R、38L)而由作业用的存储器SDRAM39暂时存储。

数字信号处理部41从SDRAM39读出图像数据，实施灰度变换、白平衡校正、γ校正处理、YC变换处理等各种图像处理，并将该图像数据再次存储于SDRAM39中。由数字信号处理部41进行了图像处理的图像数据在作为实时取景图像而被取至VRAM65中之后，由显示控制部42变换为影像输出用的模拟信号，显示在显示器13上。另外，对于与全按快门按钮14相伴而取得的已完成图像处理的图像数据，在由压缩/展开处理部43以规定的压缩形式(例如JPEG形式)压缩后，经由媒体控制部15作为记录用图像而被记录于存储卡16中。

操作部25是用于进行数字照相机10的各种操作的单元，由图1以及图2中示出的各种按钮/开关120至134构成。

CPU26被设置为用于对数字照相机10进行集中控制。CPU26基于在闪存ROM60、ROM61等计算机可读取的永久性记录介质中存储的各种控制用程序和设定信息、以及来自姿态检测传感器73和操作部25的输入信号等，对电池70、电源控制部71、时钟部72等各部分进行控制。

另外，在数字照相机10上设有：AE/AWB控制部47，其进行AE(Auto Exposure)/AWB(Auto White Balance)控制；以及视差检测部49，其进行多个立体图像帧(以下有时也简记为“帧”)各自的代表视差的检测。另外，数字照相机10具有对闪光灯5的发光定时和发光量进行控制的闪光灯控制部23。

AE/AWB控制部47在半按快门按钮14时，对使用CCD29而取得的图像(拍摄图像)进行解析，基于被摄体的亮度信息等，计算光圈20的光圈值及CCD29的电子快门的快门速度。并且，基于上述计算结果，由AE/AWB控制部47经由光圈控制部24控制光圈值，经由TG31控制快门速度。

例如，基于通过两个摄像光学***11R、11L中一方的摄像光学***的CCD29R或29L而获得的拍摄图像(右视点图像或左视点图像)，计算两方的摄像光学***11R、11L的光圈值以及快门速度。也可以基于通过两方的摄像光学***11R及11L而获得的拍摄图像(右视点图像以及左视点图像)，计算各摄像光学***11R、11L的光圈值以及快门速度。

AF控制部45在半按快门按钮14时，进行AF搜索控制及合焦控制，其中，AF搜索控制是使聚焦透镜19R、19L沿着光轴方向移动，计算对比度值，合焦控制是使聚焦透镜19R、19L移动至基于对比度值的合焦透镜位置。在这里，“对比度值”基于由CCD29R或29L获得的拍摄图像的规定合焦评价值计算区域内的图像信号而计算。“合焦透镜位置”是聚焦透镜19R、19L至少与主要被摄体合焦的聚焦透镜19R、19L的位置。

例如，一边通过电动机驱动器27R或27L的驱动而使两个摄像光学***11R、11L的聚焦透镜19R、19L中的至少一方移动，一边使用一方的摄像光学***11R或11L的拍摄图像(右视点图像或左视点图像)计算对比度值。基于该对比度值，确定两个摄像光学***11R、11L的聚焦透镜19R、19L各自的合焦透镜位置，并分别对电动机驱动器27R及27L进行驱动，使各聚焦透镜19R、19L移动至各自的合焦透镜位置。也可以使用两方的摄像光学***11R或11L分别进行AF搜索，确定各自的合焦透镜位置。

姿态检测传感器73对摄像光学***11R、11L相对于事先决定的姿态而旋转的方向及角度进行检测。

手抖控制部62通过由电动机对设置在摄像光学***11R、11L中的未图示的校正透镜进行驱动，从而对姿态检测传感器73检测出的光轴偏移进行校正，防止手抖。

CPU26根据与摄像光学***11R、11L的被摄体像对应的左右图像数据而对脸部识别部64进行控制，以进行脸部识别。脸部识别部64按照CPU26的控制而开始进行脸部识别，根据左右图像数据分别进行脸部识别。脸部识别部64将脸部识别的结果、即，包含分别根据左右图像数据识别出的脸部区域的位置信息在内的脸部区域信息存储在SDRAM39中。脸部识别部64能够使用模板匹配等公知的方法，从在SDRAM39中存储的图像中识别脸部区域。此外，所谓被摄体的脸部区域，可举出拍摄图像中的人物或动物的脸部区域。

脸部对应判定部66对根据右图像数据而识别出的脸部区域和根据左图像数据而识别出的脸部区域的对应关系进行判定。即，脸部对应判定部66从根据左右图像数据而分别识别出的脸部区域的位置信息中，确定最接近的脸部区域的组。并且，脸部对应判定部66对构成该组的脸部区域彼此的图像信息进行匹配，在两者相同性的准确度超过规定阈值的情况下，判定为构成该组的脸部区域彼此处于对应关系。

视差检测部49计算左右图像数据的规定区域间的代表视差。规定区域可以包含图像的部分区域或全部区域。另外，规定区域可以包含：通过公知的脸部检测而检测出的脸部区域；与任意登记的特定人物的脸部区域匹配的脸部区域；显示器13的观察者或摄像者的注视点；从操作部25等用户界面接口任意指定的在显示器13的显示面内的立体动画的注视点和被摄体区域；或注视点附近的区域等。如果显示器13的观察者为一个，则能够通过专利文献2至4等公知的注视点检测而检测出其观察者的注视点。如果显示器13的观察者为多个，则对于最接近显示器13的观察者等这种满足特定条件的观察者，能够应用公知的注视点检测而检测其注视点。摄像者的注视点也可以是在摄像时或其它定时指定的被摄体区域的全部或一部分。注视点检测可以由数字照相机进行，也可以由其它设备例如电视机或头戴显示器等外部显示设备进行。

例如，代表视差的计算如下。首先，视差检测部49对于在构成一组的脸部区域之间对应的特定点(对应点)间的位置差(对应点之间的距离)进行计算。然后，视差检测部49计算在该组的脸部区域内包含的点的视差平均值，将该视差平均值设为该组的代表视差。视差检测部49在存在多个判定为处于对应关系的脸部区域的情况下，仅对这些脸部区域中的主要脸部区域进行代表视差计算，并将该主要脸部区域的代表视差存储在SDRAM39中。所谓主要脸部区域，是指最接近画面中央的脸部区域、最接近合焦评价值计算区域的脸部区域、尺寸最大的脸部区域等。

或者，视差检测部49根据左右图像数据的规定区域(例如，脸部区域等部分区域或整个区域)的各对应点的视差，制成视差直方图。等级为任意的。并且，也可以将数值最大的等级的等级值即最频值，设为该规定区域的代表视差。

或者，视差检测部49也可以从左右图像数据的规定区域的各对应点的视差中选择视差的最大值或最小值，将该视差的最大值或最小值设为该规定区域的代表视差。此外，如果规定区域是注视点这样的一个点，则代表视差为该注视点的视差的最大值和最小值。

或者，视差检测部49也可以将左右图像数据的规定区域的各对应点的视差的中央值，设为该规定区域的代表视差。

或者，视差检测部49也可以将左右图像数据的规定区域的各对应点的视差的平均值，设为该规定区域的代表视差。

不限定于上述，代表视差可以通过各种统计运算而计算出。此外，也可以从用于进行代表视差计算的视差样本值中排除不满足规定条件的视差。例如，也可以将图像的清晰度(空间频率)比规定的基准值低的区域(所谓散焦区域)的对应点的视差、超过规定极限值的视差等，从用于进行代表视差计算的视差样本值中排除，根据满足规定条件的区域的对应点的视差而计算代表视差。该条件也可以基于摄像光学***11R、11L的变焦倍率等摄像条件而决定。其理由在于，同一对应点的视差对应于变焦倍率的增大或缩小而增大或缩小。此外，也可以不存在排除的规定条件(无条件)。

或者，视差检测部49也可以使用上述的统计运算，根据与左右图像数据的交叉点相比位于从数字照相机10远离的方向即里侧(远景侧)或向数字照相机10接近的方向即前侧(近景侧)的被摄体的视差，计算代表视差。在这里，所谓交叉点是使摄像光学***11R的光轴和摄像光学***11L的光轴在摄像对称面上相交叉的会聚点。

此外，代表视差可以使用统一的统计运算公式，针对不同的每个帧或不同的场景进行计算，也可以使用多个统计运算公式从同一帧计算出多个种类的代表视差。

例如，也可以将任意1个帧F的视差最大值设为第1代表视差，将该帧F的视差最小值设为第2代表视差等，从1个帧求得多个种类的代表视差。

或者，对于构成远景场景X的各帧的代表视差，使用上述的统计运算而从与交叉点相比位于里侧(远景侧)的被摄体的对应点的视差中计算代表视差，对于构成近景场景Y的各帧的代表视差，使用上述的统计运算而从与交叉点相比位于前侧(近景侧)的被摄体的对应点的视差中计算代表视差。例如，在任意的1个帧中，可以将与交叉点相比位于远景侧的对应点的视差最大值求出作为第1代表视差，将与交叉点相比位于近景侧的对应点的视差最大值求出作为第2代表视差。

或者，也可以将与交叉点相比位于远景侧的对应点的视差最大值求出作为第1代表视差，将与交叉点相比位于近景侧的对应点的视差最大值求出作为第2代表视差，将与交叉点相比位于远景侧的对应点的视差最小值求出作为第3代表视差，将与交叉点相比位于近景侧的对应点的视差最小值求出作为第4代表视差。

或者，可以将在同一场景中包含的任意帧的全部视差的最大值求出作为第1代表视差，将全部视差的最小值求出作为第2代表视差。

即，代表视差可以通过1个统计运算而仅求出一种，也可以通过多个不同的统计运算求出多个种类。

或者，视差检测部49对左右图像中处于对应关系的规定区域，例如图像中央区域、合焦评价值计算区域内的对应点之间的视差平均值进行计算，将其设为该组的代表视差。

存在对应关系的规定区域的位置信息和其代表视差，与左右图像数据相关联而存储在SDRAM39中。例如，存在对应关系的脸部区域的位置信息和其代表视差，被存储作为图像数据的附加信息(标题、标签、元信息等)。在图像数据作为记录用图像而被压缩记录在存储卡16中时，例如作为Exif等标签信息而与其脸部区域的位置信息和代表视差一起，被记录在记录用图像的附加信息中。

显示容许视差宽度取得部204取得显示容许最小视差Dmin以及显示容许最大视差Dmax，输入至视差调整部202。取得的方式是任意的，可以从操作部25输入，可以从ROM61或立体动画数据的附加信息等输入，也可以作为控制信息而从显示器13输入。

显示容许最大视差Dmax规定了扩散方向的视差(显示器13上的立体图像后移方向)的极限。如图4的(a)部分例示，由于人的眼睛不会向外侧张开，所以具有超过瞳距的视差的左右图像不融合，观赏者无法识别为1个图像，因此容易引起眼睛疲劳。如果考虑儿童观赏者，则瞳距约为5cm，因此，与该距离相当的显示器13的像素数成为显示容许最大视差Dmax。例如，如果显示器13是16：9英寸的高画质电视机，分辨率为1920×1080，则显示器13每种尺寸的显示容许最小视差Dmin如图4的(b)部分所示。如果是数字照相机或手机的内置画面这种显示器13的尺寸很小，则扩散方向的视差不易成为问题，但在电视机这种显示面尺寸很大的显示器13的情况下，扩散方向的视差成为问题。

显示容许最小视差Dmin规定了过大视差(显示器13上的立体图像向前凸出方向)的极限。显示容许最小视差Dmin与显示容许最大视差Dmax不同，无法根据瞳距唯一确定。例如，作为用于确定显示容许最小视差Dmin的输出条件，存在(1)显示器13的尺寸、(2)显示器13的分辨率、(3)观看距离(从观赏者到显示器13为止的距离)、(4)观赏者个人的立体融合极限。

作为标准的例子，(2)高品质电视机的显示器13的分辨率是1920×1080，(3)观看距离是显示器13的画面高度的3倍。以此为前提，(4)通常的立体融合极限是57像素(视差角为1度左右)。阈值设定部205也可以基于用户操作或显示器13的设定信息等，从外部输入(1)至(4)的信息。例如，用户可以经由操作部25而输入自己观看的显示器13的分辨率、观看距离、立体融合极限。其中，对于(2)至(4)，在没有特别从外部输入的情况下，由阈值设定部205从ROM61等中读出上述的标准例子并输入至视差调整部202。

视差调整部202进行使左右图像数据的代表视差的宽度落入在显示容许视差宽度内的调整，其中，显示容许视差宽度由从显示容许最小视差Dmin至显示容许最大视差Dmax为止的范围而构成。

阈值设定部205将平移容许阈值α及平移禁止阈值β设定在视差调整部63中。设定的方式是任意的，包括基于用户操作的方式、基于ROM61的记录信息的方式等。视差调整部63按照平移容许阈值α、平移禁止阈值β、后述的立体动画视差－输出预定视差变换表等，对左右图像数据的代表视差的值进行调整。

图5表示视差调整处理的流程图。该处理由CPU26控制。使CPU6执行该处理的程序记录在ROM61等计算机可读取的记录介质中。该处理在将上述区域位置信息和代表视差存储在图像数据的附加信息中之后执行。

在S1中，视差宽度调整部202进行后述的视差宽度调整处理。在视差宽度调整处理中，根据需要而进行代表视差的视差宽度调整和代表视差的平移。

在S2中，视差调整部63将视差宽度调整处理后的各立体图像帧各自的代表视差确保在SDRAM39中。

然后，视差调整部63确定作为视差调整基准的立体图像帧即基准帧。基准帧按照立体图像的时间取得顺序而确定。例如，视差调整部63在执行S至S12的第n次循环时，将取得顺序为第n号的立体图像帧确定为基准帧。视差调整部63将与基准帧对应的代表视差即基准视差确保在SDRAM39中。

在S3中，视差调整部63确定作为视差调整对象的立体图像帧即对象帧。例如，视差调整部63在执行S2至S12的第n次循环时，将取得顺序为第n+1号的立体图像帧确定为对象帧。视差调整部63将与对象帧对应的代表视差确保在SDRAM39中。

在S4中，视差调整部63判断是否是︱基准帧的代表视差－对象帧的代表视差︱﹤α。在“是”的情况下进入S5，在“否”的情况下进入S6。α作为平移容许阈值而从阈值设定部205输入。例如，α＝0.75。在判断为“否”的情况下，意味着立体图像帧之间的代表视差的变动一定程度上较大。在这种情况下进入S6，进行用于将对象帧平移为与基准帧不同的输出视差的处理。

在S5中，视差调整部63判断是否是︱基准帧的代表视差－对象帧的代表视差︱﹤β。在“是”的情况下进入S10，在“否”的情况下进入S8。β作为平移禁止阈值而从阈值设定部205输入。例如，β＝0.25。在判断为“否”的情况下，意味着立体图像帧之间的代表视差的变动很小。在这种情况下进入S8，进行用于将对象帧平移为与基准帧相同的输出视差的处理。

在S6中，视差调整部63将在ROM61等中存储的立体动画视差－输出预定视差变换表读出至SDRAM39中。图6表示立体动画视差－输出预定视差变换表的一个例子。该表规定了各立体图像帧的与任意值的代表视差对应的整数输出预定视差。例如，根据该表，M至M+t的代表视差与N输出预定视差对应，M至M+2t的代表视差与N+1输出预定视差对应。此外，由于图像的最小显示单位是1个像素，因此，在以像素单位表示输出预定视差时为整数。

视差调整部63按照在ROM61等中存储的立体动画视差－输出预定视差变换表，确定与基准帧的代表视差对应的输出预定视差，将所确定的输出预定视差决定为基准帧的输出预定视差。相同地，视差调整部63按照立体动画视差－输出预定视差变换表，确定与对象帧的代表视差对应的输出预定视差，将所确定的输出预定视差决定为对象帧的输出预定视差。

视差调整部63将基准帧的输出预定视差和对象帧的输出预定视差进行比较，判断两者是否相同。在“是”的情况下进入S7，在“否”的情况下进入S8。

在S7中，视差调整部63进行视差调整，将对象帧的输出视差决定为基准帧的输出预定视差+1，将对象帧的代表视差平移为该输出视差(基准帧的输出预定视差+1)。即，即使基准帧和对象帧的输出预定视差相同，在基准帧·对象帧之间的代表视差的变动大的情况下，也使两者的输出视差分离，将原代表视差的推移反映在输出视差中。之后，处理进入S11。

S8进行与S6相同的判断，在“是”的情况下进入S10，在“否”的情况下进入S9。

在S9中，视差调整部63进行视差调整，将对象帧的输出视差决定为基准帧的输出预定视差，将对象帧的代表视差平移为该输出视差(基准帧的输出预定视差)。即，即使基准帧和对象帧的输出预定视差不同，在基准帧·对象帧之间的代表视差的变动小的情况下，也将对象帧的输出视差设为与基准帧的输出预定视差相同，将原代表视差的推移反映在输出视差中。之后，处理进入S11。

在S10中，视差调整部63将对象帧的输出视差决定为对象帧的输出预定视差，并将对象帧的视差调整为该输出视差(对象帧的输出预定视差)。从S4直到S10为止的模式存在3种：(a)在S4中为“是”且在S5中为“是”；(b)在S4中为“是”、在S5中为“否”且在S8中为“是”；(c)在S4中为“否”且在S6中为“否”。在(b)或(c)的情况下，基准帧·对象帧之间的原代表视差的变动的大小直接反映为输出视差的变动的大小。(a)是使用输出预定视差，对与原代表视差的变动不大不小的中间变动对应的对象帧的输出视差进行调整的方法。此外，在α＝β的情况下，(a)的模式在理论上不会出现，本处理变得更加简单。例如，考虑设为α＝β＝0.5。

在S1中，针对用于构成立体动画的全部立体图像帧执行S2至S10，判断是否全部立体图像帧执行了视差调整。在“是”的情况下进入S13，在“否”的情况下进入S12。

在S12中，视差调整部63将基准帧决定为第n+1号立体图像帧。

在S13中，显示控制部42通过以调整后的输出视差将各立体图像帧依次显示在显示器13上，从而再生立体动画。此外，视差调整部63在S7、S9或S10中，进行将初始的基准帧的输出视差平移为基准帧的输出预定视差的视差调整。其理由在于，第2号及其之后的基准帧作为对象帧而进行视差调整，而初始的基准帧没有这种视差调整。

图7是表示视差宽度调整处理的流程图。

在S101中，视差宽度调整部202尝试根据在SDRAM39或存储卡16中存储的立体动画的各立体图像帧的左右图像数据、及该立体动画的附加信息，读出各立体图像帧各自的代表视差。

在S102中，显示容许视差宽度取得部204将显示容许视差宽度取入在SDRAM39中。显示容许视差宽度是指从显示容许最小视差Dmin到显示容许最大视差Dmax为止的范围。显示容许视差宽度的取得来源包括操作部25、内置的ROM61、外部的显示器13、电子设备等。

在S103中，视差宽度调整部202从各立体图像帧的代表视差中，确定代表视差最大值pmax和代表视差最小值pmin，计算立体动画视差宽度＝pmax－pmin。然后，视差调整部202判断是否是立体动画视差宽度<显示容许视差宽度。在“是”的情况下进入S105，在“否”的情况下进入S104。

在S104中，视差宽度调整部202对各立体图像帧的代表视差进行调整，以使得立体动画视差宽度落在显示容许视差宽度中。例如，在如图8的(a)部分所示立体动画视差宽度超过显示容许视差宽度的情况下，如图8的(b)部分所示，以统一的压缩比(X－Y)/Y对各立体图像帧的代表视差进行压缩，以使得立体动画视差宽度落在显示容许视差宽度的范围内。

在S105中，视差调整部202判断是否是代表视差最大值pmax﹥显示容许最大视差Dmax。在“是”的情况下进入S107，在“否”的情况下进入S106。

在S106中，视差调整部202判断是否是代表视差最小值pmin﹤显示容许最小视差Dmin。在“是”的情况下进入S107，在“否”的情况下进入视差调整处理的S2。

在S106中，视差调整部202对各立体图像帧的代表视差进行平移，以使得立体动画视差宽度落在显示容许视差宽度内。

从S103至S107的模式包括以下4种模式：(1)在S103中为“是”且在S105中为“是”；(2)在S103中为“否”且在S5中为“是”；(3)在S103中为“是”、在S105中为“否”且在S106中为“是”；(4)在S103中为“否”、在S105中为“否”且在S106中为“是”。

图9是表示在模式(1)、即无视差宽度调整的情况下向负方向的平移。

例如，如图9的(a)部分所示，在代表视差最大值pmax超过显示容许最大视差Dmax，但立体动画视差宽度低于显示容许视差宽度的情况下，如图9的(b)部分所示，将各立体图像的代表视差以统一的宽度W1朝向负方向平移，进行使全部立体图像帧的代表视差落在显示容许视差宽度的范围内的调整。在这里，W1＝pmin－Dmin。

图10是表示在模式(2)、即无视差宽度调整的情况下向负方向的平移。

如图10的(a)部分至前述的图8的(b)部分所示，在视差宽度调整后的代表视差的最大值pmax超过显示容许最大视差Dmax的情况下，也按照图10的(b)部分的方式，以统一的宽度W2将各立体图像帧的代表视差朝向负方向移动。在这里，W2＝pmin－Dmin。

图11是在模式(3)、即无视差宽度调整的情况下向正方向的平移。

或者，如图11的(a)部分所示，在代表视差最小值pmin低于显示容许最小视差Dmin的情况下，如图11的(b)部分所示，以统一的宽度W3将各立体图像帧的代表视差向正方向平移。其中，W2＝Dmin－pmin。

模式(4)的图示省略，但在视差宽度调整后的代表视差最小值pmin低于显示容许最小视差Dmin的情况下，也同样地以统一的宽度W将各立体图像帧的代表视差向正方向平移。

此外，上述的视差调整处理直到检测出场景变化为止重复进行，在检测处场景变化后，将基准帧及对象帧重置，重新开始S1。这样，在跨越不同场景的基准帧和对象帧之间进行S4、5、6、8的判断，防止不适当的视差调整。场景变化的检测可以公知的方法进行。场景变化会在合焦被摄体变化或全景拍摄等时发生。

例如，视差调整部63在不同的立体图像帧a·b之间的代表视差大于或等于阈值的情况下，在该立体图像帧a·b之间进行场景变化检测。视差调整部63在将场景变化的前一个立体图像帧a设定为最后的对象帧的情况下，在S11中判定为“否”而进入S12。但是，在S12中，视差调整部63不将场景变化的前一个立体图像帧a确定为基准帧，而将场景变化的后一个立体图像帧b确定为基准帧。另外，对于对象帧，视差调整部63设为立体图像帧b之后的立体图像帧c。以下同样地，视差调整部63对于从前一个场景刚刚变化后的立体图像帧到后一个场景变化之前的立体图像帧为止，重复进行S2至S12的循环。

另外，执行该处理所需的程序块，也可以包含在除了数字照相机以外的电子设备上。例如，图12中示出的CPU26、VRAM65、SDRAM39、闪存ROM60、ROM61、压缩/展开处理部43、媒体控制部15、视差检测部49、视差调整部63、图像输入部201(例如图像输入控制器38、媒体控制部15等)、显示容许视差宽度取得部204、阈值设定部205、图像输出部206(例如显示器13、媒体控制部15等)等，具有用于进行平面或立体图像显示的程序块的图像输出装置均能够执行该处理。

图像输入部201输入的立体动画并不限定于从拍摄单元直接输出的内容。例如，也可以是由媒体控制部15存储卡16等介质中读出的内容，或经由网络接收到的内容。

图像输出部208输出已完成视差调整的图像的目的地，并不限定于显示控制部42及显示器13，图像也可以不在视差调整后即时显示。例如，媒体控制部15也可以将各立体图像帧调整后的代表视差即输出视差设为与各立体图像帧相关联的立体动画数据，记录在存储卡16等介质中。或者，也可以将该立体动画数据经由网络而发送。

另外，是否使视差调整处理动作的模式设定和定时也是任意的。例如，在摄像模式开始时不进行视差调整处理，而从快门按钮14全按时开始进行视差调整处理。或者，将存储卡16的立体动画数据显示在电视机等外部显示器13上时，开始进行视差调整处理。

通过以上处理，从而将各立体图像帧的代表视差保持为与摄像时的视差的推移(参照图13的(a)部分)接近的状态不变而调整为适当的输出视差(参照图13的(b)部分)。从而，能够使立体动画的代表视差的推移接近于摄像的状态而进行再生。

此外，上述的视差调整处理以及视差宽度调整处理可以针对不同种类的代表视差而分别执行。在这种情况下，认为对于不同种类的代表视差，视差调整的结果以及视差宽度调整的结果不一致，此时，可以选择对观察者来说适当的结果而执行，或者取消视差调整及视差宽度调整。

例如，在任意1个帧中，将与交叉点相比位于远景侧的视差的最大值设为第1代表视差，将与交叉点相比位于近景侧的视差的最大值设为第2代表视差，对第1代表视差进行视差宽度调整处理，并且对于第2代表视差进行视差宽度调整处理。

在这种情况下，优选将变焦倍率设定为超过1倍的值，即使关于第2代表视差在S103中为“是”，只要关于第1代表视差在S103中为“是”，就进入S104。

或者，即使关于第2代表视差在S105中为“否”且在S106中为“否”，优选在关于第1代表视差在S105中为“是”或在S106中为“是”的情况下也进入S106。这样，能够同时实现远景侧的视差调整和近景侧的视差调整。

标号的说明

49：视差检测部，63：视差调整部，202：视差宽度调整部，204：显示容许视差宽度取得部，205：阈值设定部。

Claims (19)

1.一种图像输出装置，其中，具有：

代表视差取得部，其取得构成立体动画的多个立体图像帧各自的代表视差；

输出预定视差决定部，其基于所述代表视差取得部所取得的每个立体图像帧的代表视差，决定与所述立体动画的输出条件对应的每个立体图像帧的输出预定视差；

输出视差调整部，其基于所述输出预定视差决定部所决定的每个立体图像帧的输出预定视差，调整每个所述立体图像帧的输出视差；以及

输出部，其将由所述输出视差调整部对输出视差进行调整后的立体图像帧依次输出，

所述输出预定视差决定部基于从所述立体图像帧中依次决定的基准帧的代表视差，决定所述基准帧的输出预定视差，且基于所述基准帧的下一个立体图像帧即对象帧的代表视差，决定所述对象帧的输出预定视差，

所述输出视差调整部基于所述基准帧的代表视差和所述对象帧的代表视差之间的差，对所述基准帧的输出视差和所述对象帧的输出视差之间的差进行调整，

每个所述立体图像帧的代表视差，包含基于所述立体图像帧的视差中的满足规定条件的视差而计算出的统计运算值，

基于满足所述规定条件的视差而计算出的统计运算值，排除所述立体图像帧的规定区域内的平均视差。

2.根据权利要求1所述的图像输出装置，其中，

所述的统计运算值包括所述立体图像帧的视差的最大值、最小值、最频值以及中央值中的至少一个。

3.根据权利要求2所述的图像输出装置，其中，

每个所述立体图像帧的代表视差，包含所述立体图像帧的视差中的位于远景侧的被摄体的视差的最大值、最小值、最频值或中央值，以及位于近景侧的被摄体的视差的最大值、最小值、最频值或中央值中的至少一个，其中，远景侧是与交叉点相比从拍摄装置远离的方向，近景侧是与交叉点相比向拍摄装置接近的方向。

4.根据权利要求1或2所述的图像输出装置，其中，

满足所述规定条件的视差包含对所述立体图像帧的注视位置的视差。

5.根据权利要求4所述的图像输出装置，其中，

所述注视位置包含所述立体图像帧的观赏者的注视点、所述立体图像帧的摄像者的注视点、或在所述立体图像帧内任意指定的注视点。

6.根据权利要求1或2所述的图像输出装置，其中，

满足所述规定的条件的视差包含脸部区域的视差、合焦评价值计算区域的视差、图像中央区域的视差、所述立体图像帧的视差中的位于远景侧的被摄体的视差或位于近景侧的被摄体的视差，其中，远景侧是与交叉点相比从拍摄装置远离的方向，近景侧是与交叉点相比向拍摄装置接近的方向。

7.根据权利要求1至6中任一项所述的图像输出装置，其中，

具有输出容许视差宽度取得部，其作为所述立体动画的输出条件，取得用于规定所容许的输出视差的宽度即输出视差宽度的上限及下限。

8.根据权利要求7所述的图像输出装置，其中，

具有视差宽度调整部，其在由所述代表视差取得部所取得的各立体图像帧的代表视差的最大值及最小值规定的视差宽度，不符合所述输出容许视差宽度取得部所取得的输出容许视差宽度的情况下，将所述视差宽度调整为所述输出容许视差宽度。

9.根据权利要求8所述的图像输出装置，其中，

所述视差宽度调整部在所述代表视差取得部所取得的代表视差的最大值超过所述输出容许视差宽度取得部所取得的输出容许视差宽度的上限的情况下，调整各立体图像帧的代表视差，以使得所述代表视差的最大值低于所述输出容许视差宽度的上限。

10.根据权利要求8或9所述的图像输出装置，其中，

所述视差宽度调整部，在所述代表视差取得部所取得的代表视差的最小值低于所述输出容许视差宽度取得部所取得的输出容许视差宽度的下限的情况下，调整各立体图像帧的代表视差，以使得所述视差的最小值超过所述输出容许视差宽度的下限。

11.根据权利要求1至10中任一项所述的图像输出装置，其中，

所述基准帧和所述对象帧从同一场景中决定。

12.根据权利要求1至11中任一项所述的图像输出装置，其中，

具有表格取得部，其取得用于规定与任意值的代表视差对应的阶跃式输出预定视差的表格，

所述输出预定视差决定部，依照所述代表视差取得部所取得的每个立体图像帧的代表视差和所述表格取得部所取得的表格，决定每个所述立体图像帧的阶跃式输出预定视差。

13.根据权利要求12所述的图像输出装置，其中，

所述输出视差调整部将所述基准帧的代表视差和所述对象帧的代表视差之间的差，与规定的第1阈值进行比较，在所述差超过所述规定的第1阈值的情况下，将所述对象帧的输出视差朝向与所述输出预定视差决定部所决定的基准帧的输出预定视差相比高1级的输出预定视差进行调整。

14.根据权利要求13所述的图像输出装置，其中，

所述输出视差调整部，将所述差与规定的第2阈值进行比较，在所述差低于所述规定的第2阈值的情况下，将所述对象帧的输出视差朝向所述基准帧的输出预定视差进行调整。

15.根据权利要求14所述的图像输出装置，其中，

所述输出视差调整部，在所述差没有超过所述规定的第1阈值且不低于所述规定的第2阈值的情况下，将所述对象帧的输出视差朝向所述对象帧的输出预定视差调整。

16.根据权利要求15所述的图像输出装置，其中，

所述规定的第1阈值和所述规定的第2阈值相等。

17.一种图像输出方法，在具有代表视差取得部、输出预定视差决定部、输出视差调整部、以及输出部的图像输出装置中，

该图像输出方法执行以下步骤：

所述代表视差取得部取得构成立体动画的多个立体图像帧各自的代表视差；

所述输出预定视差决定部，基于所述代表视差取得部所取得的每个立体图像帧的代表视差，决定与所述立体动画的输出条件对应的每个立体图像帧的输出预定视差；

所述输出视差调整部，基于所述输出预定视差决定部所决定的每个立体图像帧的输出预定视差，调整每个所述立体图像帧的输出视差；以及

所述输出部将由所述输出视差调整部对输出视差进行调整后的立体图像帧依次输出，

所述输出预定视差决定部基于从所述立体图像帧中依次决定的基准帧的代表视差，决定所述基准帧的输出预定视差，且基于所述基准帧的下一个立体图像帧即对象帧的代表视差，决定所述对象帧的输出预定视差，

所述输出视差调整部基于所述基准帧的代表视差和所述对象帧的代表视差之间的差，对所述基准帧的输出视差和所述对象帧的输出视差之间的差进行调整，

每个所述立体图像帧的代表视差，包含基于所述立体图像帧的视差中的满足规定条件的视差而计算出的统计运算值，

基于满足所述规定条件的视差而计算出的统计运算值，排除所述立体图像帧的规定区域内的平均视差。

18.一种图像输出程序，其用于使所述图像输出装置执行权利要求17中记载的图像输出方法。

19.一种计算机可读取的永久记录介质，其记录有权利要求18中记载的图像输出程序。