CN103202027A - 图像处理装置、图像处理程序、图像处理方法及存储介质 - Google Patents

Abstract

在记录介质中存储的立体视觉用的图像文件中储存在多种显示装置的各显示装置中被用户调整后的各视差量和显示装置的各显示尺寸。通过尺寸获取部取得进行立体显示的输出对象的显示装置的显示尺寸。通过视差量计算部基于所存储的视差量和显示尺寸的关系，算出对由尺寸获取部取得的显示尺寸的视差量。

Description

图像处理装置、图像处理程序、图像处理方法及存储介质

技术领域

本申请主张2010年11月5日提交的日本申请第2010－249011号的优先权，并且通过参照将其全文引用到本说明书中。

本发明涉及一种图像处理装置、图像处理程序、图像处理方法及存储介质，尤其涉及一种向显示装置输出立体显示用的图像数据的图像处理装置、图像处理程序、图像处理方法及存储介质。

背景技术

一直以来，下述立体图像处理方法为人所知：将通过第一显示装置取得的用户的适当视差读入到第二显示装置，通过第二显示装置，根据读入的适当视差来调整视差图像的视差，从第二显示装置输出调整后的视差图像（日本特开2004－7396号公报）。

并且，下述立体图像生成装置为人所知：生成将右眼用图像和左眼用图像根据显示画面的大小和视距变换而得到的右眼用立体图像和左眼用立体图像（日本特开2006－333400号公报）。在该立体图像生成装置中，根据显示右眼用立体图像和左眼用立体图像的显示画面的大小、观察者的位置、表示显示画面的位置的显示画面信息（数据），将观察者的右眼及左眼的位置、显示画面的区域、对应观察者的位置而预先设定的右眼用图像及左眼用图像的显示区域，在虚拟空间上设定为虚拟右眼位置、虚拟左眼位置、虚拟显示画面区域、虚拟标准显示区域。

发明内容

发明要解决的问题

但是，在上述日本特开2004－7396号公报所述的技术中，将一个显示装置中的视差的手动调整结果在其他显示装置中调整并适用，因此当显示装置的尺寸有较大不同时，视差误差容易变大。

并且，在上述日本特开2006－333400号公报所述的技术中，为了应对立体感的个人差别，必须逐一进行视差调整。

本发明考虑到以上问题而作出，其目的在于提供一种对于多种显示装置的各个显示装置可自动计算出适当的视差量的图像处理装置及程序。

用于解决问题的方法

本发明的一个方式是一种图像处理装置，包括：尺寸获取单元，取得进行立体显示的输出对象的显示装置的第一显示尺寸；存储单元，存储将立体显示用的图像数据立体显示于多种显示装置的各显示装置中时被用户调整后的各视差量和上述显示装置的各第二显示尺寸；视差量计算单元，基于上述存储单元存储的上述视差量和上述第二显示尺寸的关系，算出对由上述尺寸获取单元取得的上述第一显示尺寸的视差量；输出单元，将由上述视差量计算单元算出的视差量、和上述立体显示用的图像数据输出到上述输出对象的显示装置。

本发明的第二方式是一种程序，使包括存储将立体显示用的图像数据立体显示于多种显示装置的各显示装置中时被用户调整后的各视差量和上述显示装置的各第二显示尺寸的存储单元的计算机作为以下单元而发挥作用：尺寸获取单元，取得进行立体显示的输出对象的显示装置的第一显示尺寸；视差量计算单元，基于上述存储单元存储的上述视差量和上述第二显示尺寸的关系，算出对由上述尺寸获取单元取得的上述第一显示尺寸的视差量；输出单元，将由上述视差量计算单元算出的视差量、和上述立体显示用的图像数据输出到上述输出对象的显示装置。

本发明的第三方式是一种图像处理方法，包括：预先存储将立体显示用的图像数据立体显示于多种显示装置的各显示装置中时被用户调整后的各视差量和上述显示装置的各第二显示尺寸，取得进行立体显示的输出对象的显示装置的第一显示尺寸，基于上述存储的上述视差量和上述第二显示尺寸的关系来算出对上述取得的上述第一显示尺寸的视差量，将上述算出的视差量、和上述立体显示用的图像数据输出到上述输出对象的显示装置。

本发明的第四方式是一种持续性存储介质，存储有使计算机执行图像处理的程序，上述图像处理包括：预先存储将立体显示用的图像数据立体显示于多种显示装置的各显示装置中时被用户调整后的各视差量和上述显示装置的各第二显示尺寸，取得进行立体显示的输出对象的显示装置的第一显示尺寸，基于上述存储的上述视差量和上述第二显示尺寸的关系来算出对上述取得的上述第一显示尺寸的视差量，将上述算出的视差量、和上述立体显示用的图像数据输出到上述输出对象的显示装置。

根据本发明的一个方式，通过尺寸获取单元取得进行立体显示的输出对象的显示装置的第一显示尺寸。通过视差量计算单元，基于存储单元存储的视差量和第二显示尺寸的关系，算出对由尺寸获取单元取得的第一显示尺寸的视差量。并且，通过输出单元，将由视差量计算单元算出的视差量和立体显示用的图像数据输出到输出对象的显示装置。

因此，基于被用户调整后的视差量和显示尺寸的关系，算出对输出对象的显示装置的显示尺寸的视差量，从而对于多种显示装置的各显示装置，可自动地算出适当的视差量。

可以形成为，本方式的图像处理装置还包括：种类获取单元，取得上述输出对象的显示装置的种类；以及校正单元，根据对由上述种类获取单元取得的上述种类而预先确定的视距，校正由上述视差量计算单元算出的视差量，上述输出单元将由上述校正单元校正后的视差量、和上述立体显示用的图像数据输出到上述输出对象的显示装置。这样一来，可根据对显示装置的种类所确定的视距，校正为较适当的视差量。

可以形成为，本方式的图像处理装置还包括受理单元，受理表示用户的用户信息，上述存储单元按照每个上述用户信息存储上述被用户调整后的各视差量和上述显示装置的各第二显示尺寸，上述视差量计算单元基于与通过上述受理单元受理的用户信息对应的、上述存储单元存储的上述视差量和上述第二显示尺寸的关系，算出对由上述尺寸获取单元取得的上述第一显示尺寸的视差量。这样一来，可按照每个用户算出适当的视差量。

并且，可以形成为，包括受理单元的方式的图像处理装置还包括：种类获取单元，取得上述输出对象的显示装置的种类；校正单元，根据由上述种类获取单元取得的上述种类、及对由上述受理单元受理的用户信息而预先确定的视距，校正由上述视差量计算单元算出的视差量，上述输出单元将由上述校正单元校正后的视差量、和上述立体显示用的图像数据输出到上述输出对象的显示装置。这样一来，可按照每个用户根据对显示装置的种类所确定的视距，校正为较适当的视差量。

可以形成为，本方式的图像处理装置还包括：显示单元，进行立体显示；计测单元，计测从上述显示单元到用户为止的视距；校正单元，比较对应于上述显示单元的第一显示尺寸而预先确定的视距和由上述计测单元计测出的视距，根据比较结果来校正由上述视差量计算单元算出的视差量，上述输出单元将由上述校正单元校正后的视差量、和上述立体显示用的图像数据输出到上述输出对象的显示装置。这样一来，可根据到用户为止的视距，校正为较适当的视差量。

可以形成为，本方式的图像处理装置还包括视差范围获取单元，从上述立体显示用的图像数据取得被摄体的视差范围，在输出与视差量被调整后的第一立体显示用的图像数据不同的、第二立体显示用的图像数据的情况下，上述视差量计算单元基于从上述第一立体显示用的图像数据取得的上述视差范围、从上述第二立体显示用的图像数据取得的上述视差范围和上述第一立体显示用的图像数据的视差量，算出上述第二立体显示用的图像数据的视差量，上述输出单元将由上述计算单元校正后的视差量、和上述第二立体显示用的图像数据输出到上述输出对象的显示装置。这样一来，对于与视差量被调整后的立体显示用的图像数据不同的立体显示用的图像数据，也可算出适当的视差量。

可以形成为，本方式的立体显示用的图像数据包括到被摄体为止的距离，图像处理装置还包括被摄体距离获取单元，从上述立体显示用的图像数据取得到被摄体为止的距离，在输出与视差量被调整后的第一立体显示用的图像数据不同的、第二立体显示用的图像数据的情况下，上述视差量计算单元基于从上述第一立体显示用的图像数据取得的上述到被摄体为止的距离、从上述第二立体显示用的图像数据取得的上述到被摄体为止的距离和上述第一立体显示用的图像数据的视差量，算出上述第二立体显示用的图像数据的视差量，上述输出单元将由上述计算单元校正后的视差量、和上述第二立体显示用的图像数据输出到上述输出对象的显示装置。这样一来，对于与视差量被调整后的立体显示用的图像数据不同的立体显示用的图像数据，也可算出适当的视差量。

可以形成为，本方式的图像处理装置还包括进行立体显示的显示单元。

可以形成为，本方式的图像处理装置还包括摄影单元，从不同的多个视点拍摄多个图像，上述输出单元输出由上述摄影单元从多个视点拍摄到的多个图像作为上述立体显示用的图像数据。

发明效果

如以上所说明那样，根据本发明，基于被用户调整后的视差量和显示尺寸的关系，算出对输出对象的显示装置的显示尺寸的视差量，从而对于多种显示装置的各显示装置，可自动地算出适当的视差量。

附图说明

图1是本实施方式的复眼数字相机的正面侧立体图。

图2是本实施方式的复眼数字相机的背面侧立体图。

图3A是表示在可立体显示的电视机上连接了复眼数字相机的情况的图。

图3B是表示在未知的可立体显示的显示装置上连接了复眼数字相机的情况的图。

图4是表示第一实施方式的复眼数字相机的内部构成的概要框图。

图5是表示液晶监视器的构成的图。

图6是表示柱面透镜片的构成的图。

图7是用于说明对右图像及左图像的三维处理的图。

图8是用于说明根据调整后的视差量和显示设备的宽度的组合，计算出一次函数的斜率和截距的方法的图。

图9是用于说明根据调整后的视差量和显示设备的宽度的组合，通过主成分分析来计算出一次函数的斜率和截距的方法的图。

图10是表示第一实施方式的视差调整处理程序的内容的流程图。

图11是表示第二实施方式的视差调整处理程序的内容的流程图。

图12是表示第三实施方式的视差调整处理程序的内容的流程图。

图13是表示第四实施方式的视差调整处理程序的内容的流程图。

图14A是用于说明被摄体的视差范围的图。

图14B是用于说明被摄体的视差范围的图。

图15是表示第五实施方式的输出处理程序的内容的流程图。

图16是表示在可立体显示的多种显示装置中进行立体显示的情况的图。

图17是表示第六实施方式的显示装置的内部构成的概要框图。

图18是表示第六实施方式的视差调整处理程序的内容的流程图。

具体实施方式

以下参照附图详细说明本发明的实施方式。此外，在本实施方式中，说明将本发明的图像处理装置适用于复眼数字相机的情况。

图1是第一实施方式的复眼数字相机1的正面侧立体图，图2是背面侧立体图。如图1所示，在复眼数字相机1的上部具有：释放按钮2、电源按钮3、及变焦杆4。并且，在复眼数字相机1的正面配置有闪光灯5及两个摄影部21A、21B的透镜。并且，在复眼数字相机1的背面配置有进行各种显示的液晶监视器7、及各种操作键8。

如图3A及3B所示，复眼数字相机1可经由电缆连接到可进行三维显示的电视机等多种显示装置上，图像数据从复眼数字相机1输出到多种显示装置。

图4是表示复眼数字相机1的内部构成的概要框图。如图4所示，复眼数字相机1具有：两个摄影部21A、21B、摄影控制部22、图像处理部23、压缩/解压缩处理部24、帧存储器25、介质控制部26、内部存储器27、显示控制部28、输入部36、CPU37、及数据通信部38。此外，摄影部21A、21B配置为：具有预见被摄体的收敛角，并成为预定的基线长。此外，收敛角及基线长的信息存储在内部存储器27中。

摄影控制部22由未图示的AF处理部及AE处理部构成。AF处理部根据通过释放按钮2的半按压操作而由摄影部21A、21B取得的预图像，决定对焦区域，并且决定透镜的焦点位置，并输出到摄影部21A、21B。AF处理部将被摄体区域作为对焦区域并决定透镜的焦点位置。AE处理部根据预图像来决定光圈值和快门速度，输出到摄影部21A、21B。

并且，摄影控制部22通过释放按钮2的全按压操作，在复眼模式下，进行主摄影的指示，使摄影部21A取得左图像、摄影部21B取得右图像的主图像。此外，在释放按钮2***作前，摄影控制部22对摄影部21A、21B进行下述指示：以规定时间间隔（例如1/30秒间隔）依次取得实时图像，该实时图像和用于确认摄影范围的主图像相比，像素数少。

图像处理部23对从摄影部21A、21B取得的左图像及右图像的数字的图像数据，实施调整白平衡的处理、灰度校正、锐度校正、及颜色校正等图像处理。

压缩/解压缩处理部24对表示由图像处理部23进行了处理的左图像及右图像的图像数据，例如以JPEG等压缩格式进行压缩处理，生成立体视觉用的图像文件。该立体视觉用的图像文件中包括左图像及右图像的图像数据，基于Exif格式等，储存有基线长、收敛角、及摄影时间等相关信息、以及表示视点位置的视点信息。进一步，根据镜头的焦点位置计算出的到被摄体为止的距离信息储存在立体视觉用的图像文件中。

帧存储器25是，对表示摄影部21A、21B所取得的左图像及右图像的图像数据，进行包括上述图像处理部23所进行的处理在内的各种处理时所使用的作业用存储器。

介质控制部26访问记录介质29，进行图像文件等的写入及读入的控制。

内部存储器27存储液晶监视器7的显示尺寸的宽度、复眼数字相机1中设定的各种常数、及CPU37执行的程序等。

显示控制部28使液晶监视器7显示摄影时由帧存储器25中储存的左图像及右图像所生成的立体视觉用图像，或者使液晶监视器7显示记录介质29中记录的左图像及右图像、或立体视觉用图像。并且，显示控制部28使液晶监视器7显示实时图像。

记录介质29例如由存储卡构成。并且，记录介质29是存储单元的一例。

图5是表示液晶监视器7的构成的分解立体图。如图5所示，液晶监视器7如下构成：将通过LED发光的背光单元40及用于进行各种显示的液晶面板41层叠，在液晶面板41表面安装柱面透镜片42。

图6是表示柱面透镜片的构成的图。如图6所示，柱面透镜片42通过在沿着基线的方向上并列地排列多个柱面透镜43而构成。

在复眼数字相机1经由电缆与其他显示装置连接时，数据通信部38与该其他显示装置之间进行数据通信。

并且，复眼数字相机1具有：三维处理部30、用户认证部31、视差调整部32、尺寸获取部33、及视差计算部34。

三维处理部30为使左图像及右图像在液晶监视器7上进行立体显示，对左图像及右图像进行三维处理，并生成立体视觉用图像。

图7是用于说明对左图像G1及右图像G2的三维处理的图。如图7所示，三维处理部30将左图像G1及右图像G2分别在与基线垂直的方向上剪切为短条状，并进行三维处理，使得在柱面透镜片42中的各柱面透镜43上，位置对应的、剪切为短条状的左图像G1及右图像G2交替地配置，并生成立体视觉用图像GR。构成立体视觉用图像GR的左图像G1及右图像G2的图像对，分别和一个柱面透镜对应地配置。

用户认证部31受理用户通过操作输入部36而输入的用户ID，与预先登录的用户ID列表对照，进行用户认证。此外，用户认证部31是受理单元的一例。

视差调整部32根据用户对输入部36的操作，调整左图像G1及右图像G2的视差。其中，视差是指，左图像G1及右图像G2两者中包含的被摄体的、左图像G1及右图像G2的横向即沿着基线的方向上的像素位置的偏移量。用户通过手动调整视差，可使立体视觉用图像GR中包含的被摄体的立体感变得适当。

视差调整部32对记录介质29中预先记录的立体视觉用图像文件，调整左图像及右图像的视差，将调整结果储存到立体视觉用的图像文件。并且，视差调整部32对应调整结果，将液晶监视器7的显示尺寸（例如显示画面的横向宽度）储存到立体视觉用的图像文件中。

并且，视差调整部32经由数据通信部38向其他显示装置输出立体视觉用的图像文件，在其他显示装置中进行立体显示时，根据用户对输入部36的操作，可调整该显示装置的立体显示中的左图像及右图像的视差。此时，视差调整部32将调整结果储存到立体视觉用的图像文件中。并且，视差调整部32对应调整结果，将通过下述尺寸获取部33取得的该显示装置的显示尺寸（例如显示画面的横向宽度）储存到立体视觉用的图像文件中。

尺寸获取部33经由数据通信部38向其他显示装置输出立体视觉用的图像文件，在其他显示装置中进行立体显示时，经由数据通信部38，从该显示装置取得显示尺寸（例如显示画面的横向宽度）。

视差计算部34在通过尺寸获取部33取得了其他显示装置的显示尺寸时，根据立体视觉用的图像文件中储存的视差的调整结果，计算出与该显示装置的显示尺寸对应的、左图像及右图像的视差。

视差计算部34在立体视觉用的图像文件中储存有两个视差调整结果时，根据表示基于两个视差调整结果的显示尺寸与视差之间的关系的一次函数，计算出与通过尺寸获取部33取得的其他显示装置的显示尺寸对应的、左图像及右图像的视差。

例如，液晶监视器7的显示尺寸的宽度是W1cm、用户对视差的手动调整结果是L1cm、其他显示装置的显示尺寸的宽度是W2cm、用户对视差的手动调整结果是L2cm的情况下，如图8所示，通过下式求出表示显示尺寸和视差的关系的一次函数x＝AW+B的斜率A、截距B。

A＝（L2－L1）/（W2－W1）

B＝（L1·W2－L2·W1）/（W2－W1）

并且，根据如上求出的一次函数，计算出与通过尺寸获取部33取得的其他显示装置的显示尺寸W3对应的、左图像及右图像的视差x。即，视差x如下式所示。

x＝（L2－L1）/（W2－W1）·（W3－W1）+L1

并且，视差计算部34在立体视觉用的图像文件中储存有三个以上视差调整结果时，根据表示基于三个以上视差调整结果的显示尺寸和视差的关系的一次函数，计算出与通过尺寸获取部33取得的其他显示装置的显示尺寸对应的、左图像及右图像的视差。

例如，将3组以上显示尺寸和视差的调整结果如图9一样绘图，通过主成分分析，求出表示主成分的直线（表示显示尺寸和视差的关系的一次函数x＝AW+B的斜率A、截距B）。

其中，斜率A、截距B如下式所示。

A＝（NR－PQ）/（NP’－P²）

B＝（P’Q－PR）/（NP－P²）

其中，P＝W1+W2+…+WN，P’＝W1²+W2²+…+WN²，Q＝L1+L2+…+LN，R＝W1·L1+W2·L2+…WN·LN，N是数据数。

并且，根据适用了如上通过主成分分析而求出的斜率及截距的一次函数，计算出与通过尺寸获取部33取得的其他显示装置的显示尺寸W对应的、左图像及右图像的视差x。

接着说明第一实施方式的复眼数字相机1的作用。首先，用户操作输入部36而输入用户ID时，复眼数字相机1进行用户认证。并且，复眼数字相机1对记录介质29中预先记录的特定的立体视觉用的图像文件的左图像及右图像，进行三维处理并生成立体视觉用图像，在液晶监视器7上立体显示左图像及右图像。并且，用户操作输入部36调整左图像及右图像的视差时，在复眼数字相机1中，视差的调整结果和液晶监视器7的显示尺寸的宽度与用户ID对应地储存到特定的立体视觉用的图像文件中。

接着，如上述图3（A）所示，复眼数字相机1经由电缆连接到其他显示装置（例如可三维显示的电视机），记录介质29中预先记录的特定的立体视觉用的图像文件被输出到该显示装置。在该显示装置中，立体显示特定的立体视觉用的图像文件的左图像及右图像。并且，用户操作复眼数字相机1的输入部36，调整左图像及右图像的视差时，在复眼数字相机1中，视差的调整结果和该显示装置的显示尺寸的宽度与用户ID对应地储存到特定的立体视觉用的图像文件中。

接着，如上述图3（B）所示，复眼数字相机1进一步经由电缆连接到另一显示装置时，通过复眼数字相机1的CPU37，执行图10所示的视差调整处理程序。

首先，在步骤100中，从与复眼数字相机1连接的该显示装置取得显示尺寸的宽度。在步骤102中，取得进行了用户认证的用户ID，在步骤104中，从记录介质29中存储的特定的立体视觉用的图像文件中，读入与取得的用户ID对应地储存的、视差的调整结果和显示装置的显示尺寸的宽度的多个组合。

并且，在步骤106中，判定在上述步骤104中取得的数据数（视差的调整结果和显示装置的显示尺寸的宽度的组合的个数）是否为3个以上。当取得的数据数是2个时，在步骤108中，根据在步骤104中取得的视差的调整结果、和显示装置的显示尺寸的宽度的2个组合，求出表示显示尺寸与视差的关系的一次函数的斜率及截距。另一方面，在上述步骤106中，当取得的数据数是3个以上时，在步骤110中，根据在上述步骤104中取得的视差的调整结果、和显示装置的显示尺寸的宽度的3个以上的组合，进行主成分分析，导出表示显示尺寸与视差的关系的一次函数。

在下一步骤112中，根据在上述步骤108或110中导出的一次函数，计算出与在上述步骤100中取得的显示尺寸的宽度对应的视差量。并且，在步骤114中，将在上述步骤112中计算出的视差量和特定的立体视觉用的图像文件一起输出到与复眼数字相机1连接的该显示装置，结束视差调整处理程序。

在该显示装置中，以算出的视差量来立体显示特定的立体视觉用的图像文件的左图像及右图像。

如上所述，根据第一实施方式的复眼数字相机，基于由用户手动调整后的视差量和显示尺寸的宽度的关系，计算出对输出对象的显示装置的显示尺寸的宽度的视差量，从而对多种显示装置的各显示装置，可自动算出适当的视差量。

另外，能够节省每当作为立体视觉用的图像文件的输出目的地的显示装置发生变化时逐一调整用户所希望的视差量的工夫。

并且，用户手动调整视差量的调整结果的个数越多，越可提高计算出的视差量的精度。

并且，通过利用宽度不同的可立体显示的多个显示装置的显示尺寸的宽度、及用户对每一个通过手动调整的视差，对于未进行手动视差调整的未知的可立体显示的显示装置，可计算出适当的视差量。任意的显示装置只要可获知显示尺寸的宽度，就可自动地设定反映了用户个人爱好的视差。

接着说明第二实施方式。第二实施方式的复眼数字相机的构成和第一实施方式的复眼数字相机1相同，因此附加同样的附图标记，省略说明。

在第二实施方式中，和第一实施方式的不同点在于，根据显示装置的种类校正计算出的视差量。

在第二实施方式涉及的复眼数字相机中，通过尺寸获取部33，经由数据通信部38向其他显示装置输出立体视觉用的图像文件，在该其他装置中进行立体显示时，经由数据通信部38从该显示装置取得显示尺寸的宽度，并且取得显示装置的种类（电视机、相框、数字相机的液晶等）。此外，尺寸获取部33是尺寸获取单元及种类获取单元的一例。

视差计算部34通过尺寸获取部33取得了其他显示装置的显示尺寸时，基于立体视觉用的图像文件中储存的视差的调整结果，计算出该显示装置的显示尺寸对应的、左图像及右图像的视差。并且，视差计算部34根据对该显示装置的种类预定的视距的倾向来校正所算出的视差量。例如，如果是相框，即使是相同的显示尺寸的宽度，由于用户也大多较近地察看（为相对显示尺寸的宽度的视距较近的倾向），因此以减小视差量的方式进行校正。并且，如果是电视机，即使是相同显示尺寸的宽度，用户也大多较远地察看（为相对显示尺寸的宽度的视距较远的倾向），因此以增大视差量的方式进行校正。

接着参照图11说明第二实施方式涉及的视差调整处理程序。此外，对和第一实施方式相同的处理，附加同样的附图标记并省略详细说明。

首先，在步骤200中，从与复眼数字相机1连接的该显示装置，取得显示尺寸的宽度及显示装置的种类。在步骤102中，取得进行了用户认证的用户ID，在步骤104中，从记录介质29中存储的特定的立体视觉用的图像文件，读入与取得的用户ID对应地储存的、视差的调整结果和显示装置的显示尺寸的宽度的多个组合。

并且，在步骤106中，判定在上述步骤104中取得的数据数是否为3个以上。当取得的数据数是2个时，在步骤108中，求出表示显示尺寸和视差的关系的一次函数的斜率及截距。另一方面，在上述步骤106中，当取得的数据数是3个以上时，在步骤110中，进行主成分分析，导出表示显示尺寸和视差的关系的一次函数。

在下一步骤112中，按照如上导出的一次函数，计算出与上述步骤100中取得的显示尺寸的宽度对应的视差量。并且，在步骤202中，根据在上述步骤200中取得的显示装置的种类，校正在上述步骤112中计算出的视差量。

在下一步骤114中，将在上述步骤202校正后的视差量和特定的立体视觉用的图像文件一起输出到与复眼数字相机1连接的该显示装置，结束视差调整处理程序。

如上所述，根据第二实施方式的复眼数字相机，可实现用户所希望的视差而不受因显示装置种类不同造成的视距参差不齐（视距的倾向）影响。

接着说明第三实施方式。第三实施方式的复眼数字相机的构成和第一实施方式的复眼数字相机1相同，因此附加同一附图标记，省略说明。

在第三实施方式中，和第一实施方式的不同点是，根据每个用户的视距的倾向，校正计算出的视差量。

在第三实施方式涉及的复眼数字相机中，通过尺寸获取部33，经由数据通信部38向其他显示装置输出立体视觉用的图像文件，在该其他显示装置中进行立体显示时，经由数据通信部38从该显示装置取得显示尺寸的宽度，并且取得显示装置的种类（电视机、相框、相机的液晶）。

视差计算部34通过尺寸获取部33取得了该其他显示装置的显示尺寸时，基于立体视觉用的图像文件中储存的视差的调整结果，计算出与该显示装置的显示尺寸对应的、左图像及右图像的视差。并且，视差计算部34根据与用户ID对应地预先设定的、该显示装置的种类下的视距的倾向，校正计算出的视差量。例如，在对应于A的用户ID，设定了电视机的视距极近的倾向时，以减小视差量的方式进行校正。

此外，每个用户ID的、对显示装置种类的视距的倾向，通过用户操作输入部36而手动设定。并且，设定的每个用户ID的、对显示装置种类的视距的倾向存储到记录介质29中。

参照图12说明第三实施方式的复眼数字相机中的视差调整处理程序。此外，对和第一实施方式的视差调整处理程序相同的处理，附加同样的附图标记并省略详细的说明。

首先，在步骤200中，从与复眼数字相机1连接的该显示装置，取得显示尺寸的宽度及显示装置的种类。在步骤102中，取得进行了用户认证的用户ID，在步骤104中，向记录介质29中存储的特定的立体视觉用的图像文件，读入与取得的用户ID对应地储存的、视差的调整结果和显示装置的显示尺寸的宽度的多个组合。

并且，在步骤106中，判定在上述步骤104中取得的数据数是否为3个以上。当取得的数据数是2个时，在步骤108中，求出表示显示尺寸和视差的关系的一次函数的斜率及截距。另一方面，在上述步骤106中，当取得的数据数是3个以上时，在步骤110中，进行主成分分析，导出表示显示尺寸和视差的关系的一次函数。

在下一步骤112中，根据如上导出的一次函数，计算出与上述步骤100中取得的显示尺寸的宽度对应的视差量。并且，在步骤300中，从记录介质20读入与取得的用户ID及显示装置的种类对应地存储的、视距的倾向。

在步骤302中，根据在上述步骤300中读入的视距的倾向，校正在上述步骤112中计算出的视差量。

在下一步骤114中，将在上述步骤302校正后的视差量和特定的立体视觉用的图像文件一起输出到与复眼数字相机1连接的该显示装置，结束视差调整处理程序。

如上所述，根据第三实施方式的复眼数字相机，可实现用户所希望的视差而不受视距的个人偏差影响。

此外，也可将在上述第三实施方式中说明的校正视差量的技术，适用于上述第二实施方式。

接着说明第四实施方式。第四实施方式的复眼数字相机的构成和第一实施方式的复眼数字相机1相同，因此附加同一附图标记，省略说明。

在第四实施方式中，和第一实施方式的不同点是，输出和进行了视差调整的特定的立体视觉用的图像文件不同的图像文件时，基于对特定的立体视觉用的图像文件调整后的视差量、及到被摄体的距离，计算出视差量。

在第四实施方式涉及的复眼数字相机中，通过视差计算部34，经由数据通信部38，向其他显示装置输出和进行了视差调整的特定的立体视觉用的图像文件不同的图像文件，并在该其他显示装置中进行立体显示时，基于特定的立体视觉用的图像文件中储存的视差的调整结果及到被摄体的距离信息、及输出对象的图像文件中储存的到被摄体的距离信息，计算出对输出对象的图像文件的、左图像及右图像的视差。

例如，将对特定的立体视觉用的图像文件所算出的视差量乘以按照下式计算出的γ，计算出对输出对象的图像文件的、左图像及右图像的视差量。

γ＝（输出对象的图像文件的到被摄体的距离信息）/（特定的立体视觉用的图像文件的到被摄体的距离信息）

接着说明第四实施方式的复眼数字相机1的作用。

首先，对复眼数字相机1的液晶监视器7、及其他显示装置的每一个，用户操作输入部36，调整左图像及右图像的视差，在复眼数字相机1中，视差的调整结果和显示尺寸的宽度的各组合与用户ID对应地储存到特定的立体视觉用的图像文件中。

接着，如上述图3（B）所示，当复眼数字相机1经由电缆连接到其他显示装置时，通过复眼数字相机1的CPU37，执行上述图10所示的视差调整处理程序。

并且，为了从复眼数字相机1向该其他显示装置输出不同的立体视觉用的图像文件，复眼数字相机1的输入部36被用户操作时，通过复眼数字相机1的CPU37，执行图13所示的输出处理程序。

首先，在步骤400中，判定输出对象的立体视觉用的图像文件是否与进行了视差调整的特定的立体视觉用的图像文件相同。当输出对象的立体视觉用的图像文件是和进行了视差调整的特定的立体视觉用的图像文件相同时，在步骤402中，将在上述视差调整处理程序中计算出的视差量、及特定的立体视觉用的图像文件，输出到与复眼数字相机1连接的该显示装置，结束输出处理程序。

另一方面，在上述步骤400中，输出对象的立体视觉用的图像文件与进行了视差调整的特定的立体视觉用的图像文件不同时，在步骤404中，取得输出对象的立体视觉用的图像文件中储存的到被摄体的距离、及特定的立体视觉用的图像文件中储存的到被摄体的距离。

并且，在步骤406中，基于在上述步骤404中取得的到被摄体的距离、及在上述视差调整处理程序中计算出的视差量，计算出视差量。在下一步骤408中，将在上述步骤406计算出的视差量和输出对象的立体视觉用的图像文件一起输出到与复眼数字相机1连接的对显示装置，结束输出处理程序。

在该显示装置中，以计算出的视差量，立体显示输出对象的立体视觉用的图像文件的左图像及右图像。

如上所述，根据第四实施方式的复眼数字相机，可立体视觉实现用户所希望的视差而与立体视觉用的图像文件的到被摄体的距离无关。

此外，也可将在上述第四实施方式中说明的、算出与进行了视差调整的图像文件不同的图像文件的视差量的技术，适用于上述第二实施方式或第三实施方式。

接着说明第五实施方式。第五实施方式的复眼数字相机的构成和第一实施方式的复眼数字相机1相同，因此附加相同的附图标记，省略说明。

在第五实施方式中，和第一实施方式的不同点是，输出与进行了视差调整的特定的立体视觉用的图像文件不同的图像文件时，基于对特定的立体视觉用的图像文件调整后的视差量、及被摄体的视差范围，计算出视差量。

在第五实施方式涉及的复眼数字相机中，通过视差计算部34，经由数据通信部38，向其他显示装置输出与进行了视差调整的特定的立体视觉用的图像文件不同的图像文件，并在该其他显示装置中进行立体显示时，基于特定的立体视觉用的图像文件中储存的视差的调整结果及对特定的立体视觉用的图像文件求出的被摄体的视差范围、及对输出对象的图像文件求出的被摄体的视差范围，计算出对输出对象的图像文件的、左图像及右图像的视差。

例如，如图14（A）所示，对于特定的立体视觉用的图像文件，被摄体的视差范围是a1[m]至a2[m]，如图14（B）所示，对于输出对象的图像文件，被摄体的视差范围是b1[m]至b2[m]时，将对特定的立体视觉用的图像文件计算出的视差量乘以按照下式计算出的к，计算出对输出对象的图像文件的、左图像及右图像的视差量。

к＝（b1+b2）/（a1+a2）

此外，被摄体的视差范围如下求出。首先，在图像中的多个被摄体中，提取例如具有一定以上的边沿成分（高频成分）的被摄体，或者具有一定以上的视差的被摄体，或者满足这两个条件的被摄体。并且，从提取的被摄体中，确定与复眼数字相机的距离最近的被摄体和最远的被摄体，将这两个被摄体在光轴上的距离作为视差范围。此时，在近距离摄影之外的情况下，将距复眼数字相机的距离过近的被摄体（例如0.5m以下）排除在决定视差范围时的被摄体之外。

接着说明第五实施方式的复眼数字相机1的作用。

首先，对复眼数字相机1的液晶监视器7和其他显示装置的每一个，用户操作输入部36，调整左图像及右图像的视差，在复眼数字相机1中，将视差的调整结果和显示尺寸的宽度的各组合与用户ID对应地储存到特定的立体视觉用的图像文件中。

接着，如上述图3（B）所示，复眼数字相机1经由电缆连接到其他显示装置时，通过复眼数字相机1的CPU37，执行上述图10所示的视差调整处理程序。

并且，为了从复眼数字相机1立体视觉向该其他显示装置输出不同的立体视觉用的图像文件，复眼数字相机1的输入部36被用户操作时，通过复眼数字相机1的CPU37，执行图15所示的输出处理程序。

首先，在步骤400中，判定输出对象的立体视觉用的图像文件是否与进行了视差调整的特定的立体视觉用的图像文件相同。当输出对象的立体视觉用的图像文件是与进行了视差调整的特定的立体视觉用的图像文件相同时，在步骤402中，将在上述视差调整处理程序中计算出的视差量、及特定的立体视觉用的图像文件，输出到与复眼数字相机1连接的该显示装置，结束输出处理程序。

另一方面，在上述步骤400中，输出对象的立体视觉用的图像文件与进行了视差调整的特定的立体视觉用的图像文件不同时，在步骤500中，对特定的立体视觉用的图像文件，求出被摄体的视差范围，并且对输出对象的立体视觉用的图像文件，求出被摄体的视差范围。

并且，在步骤502中，基于在上述步骤500中求出的被摄体的视差范围、及在上述视差调整处理程序中计算出的视差量，计算出视差量。在下一步骤408中，将在上述步骤406计算出的视差量和输出对象的立体视觉用的图像文件一起输出到与复眼数字相机1连接的该显示装置，结束输出处理程序。

在该显示装置中，以计算出的视差量，立体显示输出对象的立体视觉用的图像文件的左图像及右图像。

如上所述，根据第五实施方式的复眼数字相机，可立体视觉实现用户所希望的视差而与立体视觉用的图像文件的被摄体的视差范围无关。

此外，也可将在上述第五实施方式中说明的、算出与进行了视差调整的图像文件不同的图像文件的视差量的技术，适用于上述第二实施方式或第三实施方式。

并且，在上述第一实施方式至第五实施方式中，以将本发明适用于复眼数字相机的情况为例进行了说明，但不限于此，也可将本发明适用于可立体显示的其他显示装置。

接着说明第六实施方式。在本实施方式中，说明将本发明的图像处理装置适用于包括复眼数字相机在内的多种显示装置的各个显示装置的情况。此外，第六实施方式的复眼数字相机的构成和第一实施方式的复眼数字相机1相同，因此附加相同的附图标记，省略说明。

在第六实施方式中，和第一实施方式的不同点是，在可立体显示的各显示装置中，进行视差的调整及视差量的计算。

在第六实施方式中，如图16所示那样的、包括复眼数字相机1的、可立体显示的多种显示装置经由移动性的记录介质29，进行立体显示用的图像文件的收发。

复眼数字相机1以外的各显示装置600、602如图17所示，包括：液晶监视器607、介质控制部626、内部存储器627、显示控制部628、输入部636、CPU637、及距离计测部638。

介质控制部626访问记录介质29，进行图像文件等的写入及读入的控制。

内部存储器627存储该显示装置的显示尺寸的宽度、显示装置中设定的各种常数、及CPU637执行的程序等。

显示控制部628使液晶监视器607显示记录介质29中记录的左图像及右图像、或者立体视觉用图像。

液晶监视器607是与该显示装置中采用的立体显示方式（例如使用柱面透镜片的方式、使用快门式眼镜的方式等）对应的构成。

距离计测部638具有距离计测传感器，对到用户为止的视距进行计测。

并且，复眼数字相机1以外的各显示装置包括：三维处理部630、用户认证部631、视差调整部632、尺寸获取部633、及视差计算部634。

三维处理部630为了使左图像及右图像在液晶监视器607中进行立体显示，对左图像及右图像进行三维处理，生成与该显示装置中采用的立体显示的方式对应的、立体视觉用图像。

用户认证部631受理用户通过操作输入部636而输入的用户ID，与预先登录的用户ID的列表对照，进行用户认证。

视差调整部632根据用户对输入部636的操作，调整左图像及右图像的视差。通过用户手动调整视差，可使立体视觉用图像中含有的被摄体的立体感适当。视差调整部632对记录介质29中预先记录的立体视觉用的图像文件，调整左图像及右图像的视差，将调整结果储存到记录介质29中记录的立体视觉用的图像文件中。并且，视差调整部632与调整结果对应地将液晶监视器607的显示尺寸（例如显示画面的横向宽度）储存到立体视觉用的图像文件中。

尺寸获取部632从内部存储器627取得对该显示装置预先求出的显示尺寸（例如显示画面的横向宽度）。

视差计算部634在通过尺寸获取部632取得了该显示装置的显示尺寸的宽度时，基于立体视觉用的图像文件中储存的、对其他显示装置的视差的调整结果及显示尺寸的宽度，计算出与该显示装置的显示尺寸的宽度对应的、左图像及右图像的视差。此外，视差量的计算方法和第一实施方式相同，因此省略说明。

接着说明第六实施方式中的作用。首先，在安装了记录介质29的复眼数字相机1中，用户操作输入部36输入用户ID时，复眼数字相机1进行用户认证。并且，复眼数字相机1对记录介质29中预先记录的特定的立体视觉用的图像文件的左图像及右图像，进行三维处理，生成立体视觉用图像，在液晶监视器7上立体显示左图像及右图像。并且，用户操作输入部36，调整左图像及右图像的视差时，在复眼数字相机1中，视差的调整结果、及液晶监视器7的显示尺寸的宽度与用户ID对应地储存到特定的立体视觉用的图像文件中。

接着，在其他显示装置600（例如可三维显示的电视机）上，安装记录介质29，在该显示装置600中，用户输入操作部536并输入用户ID时，该显示装置600进行用户的认证。并且，在该显示装置600中，立体显示记录介质29中预先记录的特定的立体视觉用的图像文件的左图像及右图像。并且，用户操作该显示装置600的输入部636，调整左图像及右图像的视差时，在该显示装置600中，视差的调整结果和该显示装置600的显示尺寸的宽度与用户ID对应地储存到特定的立体视觉用的图像文件中。

接着，进一步在其他显示装置602中安装记录介质29，在该显示装置602中，用户操作输入部636并输入用户ID时，该显示装置602进行用户认证。并且，通过该显示装置602的CPU638，执行图18所示的视差调整处理程序。此外，对和第一实施方式相同的处理，附加相同的附图标记并省略详细的说明。

首先，在步骤650中，通过距离计测部638计测到用户为止的视距。并且，在步骤652中，取得对该显示装置602预先求出的显示尺寸的宽度。在步骤102中，取得进行了用户认证的用户ID，在步骤104中，从记录介质29中存储的特定的立体视觉用的图像文件，读入与取得的用户ID对应地储存的、视差的调整结果和显示装置的显示尺寸的宽度的多个组合。

并且，在步骤106中，判定在上述步骤104中取得的数字数是否为3个以上。当取得的数据数是2个时，在步骤108中，求出表示显示尺寸和视差的关系的一次函数的斜率及截距。另一方面，在上述步骤106中，取得的数据数是3个以上时，在步骤110中，进行主成分分析，导出表示显示尺寸和视差的关系的一次函数。

在下一步骤112中，按照在上述步骤108或110中导出的一次函数，计算出与上述步骤100中取得的显示尺寸的宽度对应的视差量。

并且，在步骤654中，判定上述步骤650中计测出的视距是否处于与上述步骤652中取得的显示尺寸的宽度对应的预定的视距的标准范围以外。当处于与显示尺寸的宽度对应的预定的视距的标准范围内时，在步骤658中，基于上述步骤112中计算出的视差量，在该显示装置602的液晶监视器607中，立体显示特定的立体视觉用的图像文件的左图像及右图像，结束视差调整处理程序。

另一方面，在上述步骤654中，判定为上述步骤650中计测出的视距处于与显示尺寸的宽度对应地预先确定的视距的标准范围之外时，在步骤656中，根据所计测出的视距比上述标准范围长还是短，来校正在步骤112中计算出的视差量。例如，当计测出的视距比上述标准范围长时，以增大计算出的视差量的方式进行校正，而当计测出的视距比上述标准范围短时，以减小计算出的视差量的方式进行校正。

并且，在步骤658中，基于上述步骤656中校正后的视差量，在在该显示装置602的液晶监视器607上，立体显示特定的立体视觉用的图像文件的左图像及右图像，结束视差调整处理程序。

如上所述，根据第六实施方式，基于对其他显示装置由用户手动调整后的视差量和显示尺寸的关系，计算出对输出对象的显示装置的显示尺寸的视差量，从而在多种显示装置的各显示装置中，可自动计算出适当的视差量。

此外，也可将上述第六实施方式中说明的、在各显示装置中进行视差的调整及视差量的计算的技术，适用于上述第二实施方式至第五实施方式。

并且，也可将上述第六实施方式中说明的、计测视距的技术，适用于上述第一实施方式至第五实施方式。

并且，在上述第一实施方式至第六实施方式中，以计测从由AF处理部决定的对焦位置到被摄体为止的距离的情况为例进行了说明，但不限于此，也可通过由摄影部21A、21B获得的图像的立体匹配，计测到被摄体的距离。

并且，也可将上述第一至第六实施方式的视差调整处理程序程序化，由CPU执行该程序。

Claims (12)

1.一种图像处理装置，包括：

尺寸获取单元，取得进行立体显示的输出对象的显示装置的第一显示尺寸；

存储单元，存储将立体显示用的图像数据立体显示于多种显示装置的各显示装置中时被用户调整后的各视差量和上述显示装置的各第二显示尺寸；

视差量计算单元，基于上述存储单元所存储的上述视差量和上述第二显示尺寸的关系，算出对由上述尺寸获取单元取得的上述第一显示尺寸的视差量；以及

输出单元，将由上述视差量计算单元算出的视差量、和上述立体显示用的图像数据输出到上述输出对象的显示装置。

2.根据权利要求1所述的图像处理装置，还包括：

种类获取单元，取得上述输出对象的显示装置的种类；以及

校正单元，根据对由上述种类获取单元取得的上述种类而预先确定的视距，校正由上述视差量计算单元算出的视差量，

上述输出单元将由上述校正单元校正后的视差量、和上述立体显示用的图像数据输出到上述输出对象的显示装置。

3.根据权利要求1或2所述的图像处理装置，

还包括受理单元，受理表示用户的用户信息，

上述存储单元按照每个上述用户信息存储上述被用户调整后的各视差量和上述显示装置的各第二显示尺寸，

上述视差量计算单元基于与由上述受理单元受理的用户信息对应的、上述存储单元存储的上述视差量和上述第二显示尺寸的关系，算出对由上述尺寸获取单元取得的上述第一显示尺寸的视差量。

4.根据权利要求3所述的图像处理装置，还包括：

种类获取单元，取得上述输出对象的显示装置的种类；以及

校正单元，根据由上述种类获取单元取得的上述种类、及对由上述受理单元受理的用户信息而预先确定的视距，校正由上述视差量计算单元算出的视差量，

上述输出单元将由上述校正单元校正后的视差量、和上述立体显示用的图像数据输出到上述输出对象的显示装置。

5.根据权利要求1至权利要求4中任一项所述的图像处理装置，还包括：

显示单元，进行立体显示；

计测单元，计测从上述显示单元到用户为止的视距；以及

校正单元，比较对应于上述显示单元的第一显示尺寸而预先确定的视距和由上述计测单元计测出的视距，并根据比较结果来校正由上述视差量计算单元算出的视差量，

上述输出单元将由上述校正单元校正后的视差量、和上述立体显示用的图像数据输出到上述输出对象的显示装置。

6.根据权利要求1至权利要求5中任一项所述的图像处理装置，

还包括视差范围获取单元，从上述立体显示用的图像数据取得被摄体的视差范围，

在输出与视差量被调整后的第一立体显示用的图像数据不同的、第二立体显示用的图像数据的情况下，上述视差量计算单元基于从上述第一立体显示用的图像数据取得的上述视差范围、从上述第二立体显示用的图像数据取得的上述视差范围、上述第一立体显示用的图像数据的视差量，算出上述第二立体显示用的图像数据的视差量，

上述输出单元将由上述计算单元校正后的视差量、和上述第二立体显示用的图像数据输出到上述输出对象的显示装置。

7.根据权利要求1至权利要求5中任一项所述的图像处理装置，其中，

上述立体显示用的图像数据包括到被摄体为止的距离，

所述图像处理装置还包括被摄体距离获取单元，从上述立体显示用的图像数据取得到被摄体为止的距离，

在输出与视差量被调整后的第一立体显示用的图像数据不同的、第二立体显示用的图像数据的情况下，上述视差量计算单元基于从上述第一立体显示用的图像数据取得的上述到被摄体为止的距离、从上述第二立体显示用的图像数据取得的上述到被摄体为止的距离、上述第一立体显示用的图像数据的视差量，算出上述第二立体显示用的图像数据的视差量，

上述输出单元将由上述计算单元校正后的视差量、和上述第二立体显示用的图像数据输出到上述输出对象的显示装置。

8.根据权利要求1至权利要求7中任一项所述的图像处理装置，还包括进行立体显示的显示单元。

9.根据权利要求1至权利要求8中任一项所述的图像处理装置，

还包括摄影单元，从不同的多个视点拍摄多个图像，

上述输出单元输出由上述摄影单元从多个视点拍摄到的多个图像作为上述立体显示用的图像数据。

10.一种程序，使包括存储将立体显示用的图像数据立体显示于多种显示装置的各显示装置中时被用户调整后的各视差量和上述显示装置的各第二显示尺寸的存储单元的计算机作为以下单元而发挥作用：

尺寸获取单元，取得进行立体显示的输出对象的显示装置的第一显示尺寸；

视差量计算单元，基于上述存储单元存储的上述视差量和上述第二显示尺寸的关系，算出对由上述尺寸获取单元取得的上述第一显示尺寸的视差量；

输出单元，将由上述视差量计算单元算出的视差量、和上述立体显示用的图像数据输出到上述输出对象的显示装置。

11.一种图像处理方法，包括：

预先存储将立体显示用的图像数据立体显示于多种显示装置的各显示装置中时被用户调整后的各视差量和上述显示装置的各第二显示尺寸，

取得进行立体显示的输出对象的显示装置的第一显示尺寸，

基于上述存储的上述视差量和上述第二显示尺寸的关系，算出对上述取得的上述第一显示尺寸的视差量，

将上述算出的视差量、和上述立体显示用的图像数据输出到上述输出对象的显示装置。

12.一种持续性存储介质，存储有使计算机执行图像处理的程序，上述图像处理包括：

预先存储将立体显示用的图像数据立体显示于多种显示装置的各显示装置中时被用户调整后的各视差量和上述显示装置的各第二显示尺寸，

取得进行立体显示的输出对象的显示装置的第一显示尺寸，

基于上述存储的上述视差量和上述第二显示尺寸的关系，算出对上述取得的上述第一显示尺寸的视差量，

将上述算出的视差量、和上述立体显示用的图像数据输出到上述输出对象的显示装置。

Images