CN104737527B - 图像处理装置、摄像装置及图像处理方法 - Google Patents

Abstract

提供能够提高第一显示用图像与用于对焦确认的第二显示用图像的边界线的视觉确认性的图像处理装置、摄像装置、图像处理方法及图像处理程序。在步骤414B中，由图像处理部取得通常图像的R、G、B的像素值。另外，在步骤414J、414M、414N中，由图像处理部(28)基于通常图像的R、G、B的像素值，将具有与通常图像的颜色特性不同的颜色特性的颜色确定为裂像的显示颜色。

Description

图像处理装置、摄像装置及图像处理方法

技术领域

本发明涉及图像处理装置、摄像装置、图像处理方法及图像处理程序。

背景技术

作为数码相机，除了具备使用了相位差检测方式、对比度检测方式的自动对焦外还具备能够由使用者手动进行调焦的所谓手动对焦模式的相机已经广为人们所知。

作为具有手动对焦模式的数码相机，已知采用了如下方法的结构：以能够对被摄体进行确认并进行调焦的方式设置反射镜，使用了显示目视的相位差的***式微棱镜屏。另外，也已知采用了确认基于目视的对比度的方法。

然而，在近年来普及的省略了反射镜的数码相机中，由于没有反射镜，因此没有显示相位差并对被摄体像进行确认的方法，不得不依赖于对比度检测方式。可是，在该情况下，不能显示LCD(liquid crystal display：液晶显示器)等显示装置的分辨率以上的对比度，不得不采用进行局部放大等而显示的方法。

因此，近年来，为了在手动对焦模式时操作者容易进行使焦点与被摄体对焦的作业，将裂像显示在即时预览图像(也称作实时取景图像)内。在此，裂像例如是指如下的分割图像：是分割成两份的分割图像(例如沿上下方向分割后的各图像)，且根据焦点的偏离而沿视差产生方向(例如左右方向)产生偏离，当处于对焦的状态时视差产生方向的偏离消失。操作者(例如摄影者)操作手动聚焦环而进行对焦，以使裂像(例如沿上下方向分割后的各图像)的偏离消失。

日本特开2009-147665号公报(以下，称作专利文献1)记载的摄像装置中，生成对由来自摄像光学***的光束中的、由瞳分割部分割后的光束形成的第一被摄体像和第二被摄体像分别进行光电转换而成的第一图像和第二图像。并且，使用这些第一图像和第二图像来生成裂像，并且对由没有被瞳分割部分割的光束形成的第三被摄体像进行光电转换而生成第三图像。并且，将第三图像显示于显示部，并且在第三图像内显示所生成的裂像，且将从第三图像提取的颜色信息附加于裂像。通过如此将从第三图像提取的颜色信息附加于裂像，能够使裂像的视觉确认性良好。

日本特开2000-078607号公报(以下，称作专利文献2)记载的图像处理装置具有对从图像输入装置输入的图像信号进行色彩平衡调整的色彩平衡调整处理单元。该色彩平衡调整处理单元根据图像信号来推定图像信号的图像取得时的照明光源的色度，并基于所推定的照明光源的色度对图像信号进行色彩平衡调整。

发明内容

发明要解决的课题

然而，专利文献1记载的摄像装置中，存在第三图像的显示颜色的颜色特性和裂像的显示颜色的颜色特性近似的情况。在该情况下，存在第三图像与裂像的边界线变得难于目视确认这样的问题点。

另外，即使利用专利文献2记载的图像处理装置而对裂像、除裂像以外的图像(例如背景图像)进行色彩平衡调整，也存在除裂像以外的图像与裂像的边界线变得难于目视确认这样的问题点。

本发明鉴于这种实际情况而提出，其目的在于提供能够提高第一显示用图像与用于对焦确认的第二显示用图像的边界线的视觉确认性的图像处理装置、摄像装置、图像处理方法及图像处理程序。

用于解决课题的手段

本发明的第一方式所涉及的图像处理装置包括：第一显示用图像生成部，基于从包含第一像素组和第二像素组的摄像元件输出的图像信号而生成第一显示用图像，上述第一像素组和第二像素组使通过了摄影透镜中的第一区域和第二区域的被摄体像进行光瞳分割而分别成像；第二显示用图像生成部，基于从上述第一像素组和第二像素组输出的第一图像信号和第二图像信号，生成用于对焦确认的第二显示用图像；获取部，取得由上述第一显示用图像生成部生成的上述第一显示用图像的颜色信息；确定部，基于由上述获取部取得的颜色信息，将具有与上述第一显示用图像的颜色特性不同的颜色特性的颜色确定为上述第二显示用图像的显示颜色；显示部，显示图像；及显示控制部，使上述显示部显示由上述第一显示用图像生成部生成的上述第一显示用图像并且在该第一显示用图像的显示区域内显示由上述第二显示用图像生成部生成的上述第二显示用图像。由此，与不具有本结构的情况相比，能够提高第一显示用图像与用于对焦确认的第二显示用图像的边界线的视觉确认性。

本发明的第二方式在本发明的第一方式的基础上，也可以将具有上述不同的颜色特性的颜色设为能够目视确认是与上述第一显示用图像的颜色特性不同的颜色特性这一情况的颜色。由此，与不具有本结构的情况相比，能够视觉性地识别第一显示用图像和第二显示用图像。

本发明的第三方式在本发明的第一方式或第二方式的基础上，也可以是，上述获取部从上述第一显示用图像的一部分或全部取得上述颜色信息。由此，与不具有本结构的情况相比，能够以简单的结构使第二显示用图像的颜色特性和第一显示用图像的颜色特性高精度地不同。

本发明的第四方式在本发明的第一方式或第二方式的基础上，也可以是，上述获取部基于上述第一显示用图像和上述第一图像信号、或者基于上述第一显示用图像和上述第二图像信号、或基于上述第一显示用图像和上述第二显示用图像，取得上述颜色信息。由此，与不具有本结构的情况相比，能够使第二显示用图像的颜色特性和第一显示用图像的颜色特性高精度地不同。另外，根据第四技术方案记载的发明，即使第一显示用图像发白，第一像素组和第二像素组的灵敏度也较低，因此能够取得颜色信息。

本发明的第五方式在本发明的第一方式至第四方式中的任一方式的基础上，也可以是，上述摄像元件具有：用于拍摄上述第一显示用图像的通常摄像区域和用于拍摄上述第二显示用图像并且与上述通常摄像区域相邻的对焦确认摄像区域，上述获取部从上述第一显示用图像中的、从上述通常摄像区域中的与上述对焦确认摄像区域的边界侧的边缘部输出的图像取得上述颜色信息。由此，与不具有本结构的情况相比，能够使第一显示用图像与第二显示用图像的边界鲜明。

本发明的第六方式在本发明的第一方式至第五方式中的任一方式的基础上，也可以将上述颜色信息设为表示上述第一显示用图像的物体颜色的颜色特性的颜色信息。由此，与不具有本结构的情况相比，即使在第一显示用图像中与光源色相比物体颜色处于支配地位的情况下，也能够提高第一显示用图像与第二显示用图像的边界线的视觉确认性。

本发明的第七方式在本发明的第六方式的基础上，也可以将上述颜色特性设为色相。由此，与不具有本结构的情况相比，能够以简单的结构更进一步提高第一显示用图像与第二显示用图像的边界线的视觉确认性。

本发明的第八方式在本发明的第六方式或第七方式的基础上，也可以将具有上述不同的颜色特性的颜色设为在色相环中与上述第一显示用图像的物体颜色隔开预先规定的角度的颜色。由此，与不具有本结构的情况相比，能够容易地确定适当的物体颜色作为具有与第一显示用图像的颜色特性不同的颜色特性的颜色。

本发明的第九方式在本发明的第六方式至第八方式中的任一方式的基础上，也可以将上述第一显示用图像的物体颜色的颜色特性设为上述第一显示用图像中的原色成分的构成比。由此，与不具有本结构的情况相比，能够在提高第一显示用图像与第二显示用图像的边界线的视觉确认性的基础上容易地确定适当的颜色特性作为第一显示用图像的物体颜色的颜色特性。

本发明的第十方式在本发明的第九方式的基础上，也可以将利用包含减函数的输入输出函数对上述构成比进行转换而得到的转换后的上述构成比设为上述不同的颜色特性。由此，与不具有本结构的情况相比，能够以简单的结构提高第一显示用图像与第二显示用图像的边界线的视觉确认性。

本发明的第十一方式在本发明的第九方式的基础上，也可以将利用颜色转换数据对上述构成比进行转换而得到的转换后的上述构成比设为上述不同的颜色特性。由此，与不具有本结构的情况相比，能够以简单的结构提高第一显示用图像与第二显示用图像的边界线的视觉确认性。

本发明的第十二方式在本发明的第十一方式的基础上，也可以将上述颜色转换数据设为基于包含减函数的输入输出函数而生成的颜色转换数据。由此，与不具有本结构的情况相比，能够以简单的结构提高第一显示用图像与第二显示用图像的边界线的视觉确认性。

本发明的第十三方式在本发明的第一方式至第五方式中的任一方式的基础上，也可以将上述颜色信息设为表示上述第一显示用图像的光源色的颜色特性的颜色信息。由此，与不具有本结构的情况相比，即使在第一显示用图像中与物体颜色相比光源色处于支配地位的情况下，也能够提高第一显示用图像与第二显示用图像的边界线的视觉确认性。

本发明的第十四方式在本发明的第一方式至第十三方式中的任一方式的基础上，也可以是，将上述第一像素组和第二像素组分别设为单色的像素组，上述第二显示用图像生成部基于从上述第一像素组和第二像素组输出的上述第一图像信号和第二图像信号，生成无彩色的图像作为上述第二显示用图像。由此，与不具有本结构的情况相比，能够以简单的结构得到无彩色的第二显示用图像。

本发明的第十五方式在本发明的第十四方式的基础上，也可以是，在上述第二显示用图像是无彩色图像的情况下，上述确定部基于由上述获取部取得的颜色信息，将具有与上述第一显示用图像的颜色特性不同的颜色特性的有彩色确定为上述第二显示用图像的显示颜色。由此，与不具有本结构的情况相比，能够以简单的结构确定作为第二显示用图像的显示颜色的有彩色。

本发明的第十六方式在本发明的第一方式至第十五方式中的任一方式的基础上，也可以是，在上述第一显示用图像和第二显示用图像是无彩色图像的情况下，上述确定部基于由上述获取部取得的颜色信息，将具有与上述第一显示用图像的颜色特性不同的颜色特性的有彩色确定为上述第二显示用图像的显示颜色。由此，与不具有本结构的情况相比，能够提高第一显示用图像与第二显示用图像的边界线的视觉确认性。

本发明的第十七方式在本发明的第一方式至第十六方式中的任一方式的基础上，也可以是，上述确定部基于由上述获取部取得的颜色信息，将在上述第二显示用图像中的基于上述第一图像的区域和基于上述第二图像的区域中不同的有彩色确定为所述第二显示用图像的显示颜色，该有彩色具有与上述第一显示用图像的颜色特性不同的颜色特性。由此，与不具有本结构的情况相比，在第二显示用图像中基于第一图像的图像和基于第二图像的图像变得易于视觉性地识别。

本发明的第十八方式在本发明的第一方式至第十七方式中的任一方式的基础上，也可以是，在满足使上述第一显示用图像的颜色特性和上述第二显示用图像的颜色特性接近的预先规定的条件的情况下，上述确定部基于由上述获取部取得的颜色信息，将具有以预先规定的程度与上述第一显示用图像的颜色特性接近的颜色特性的颜色进一步确定为上述第二显示用图像的显示颜色。由此，与不具有本结构的情况相比，能够使第一显示用图像与第二显示用图像的边界难于视觉性地识别。

本发明的第十九方式在本发明的第一方式至第十八方式中的任一方式的基础上，也可以是，上述摄像元件具有第三像素组，该第三像素组使被摄体像不进行光瞳分割而成像并输出第三图像信号，上述第一显示用图像生成部基于从上述第三像素组输出的上述第三图像信号，生成上述第一显示用图像。由此，与不具有本结构的情况相比，能够提高第一显示用图像的画质。

本发明的第二十方式所涉及的摄像装置包括：本发明的第一方式至第十九方式中的任一图像处理装置；及存储从上述摄像元件输出的图像的存储部。由此，与不具有本结构的情况相比，能够提高第一显示用图像与第二显示用图像的边界线的视觉确认性。

本发明的第二十一方式所涉及的图像处理方法包括：第一显示用图像生成工序，基于从包含第一像素组和第二像素组的摄像元件输出的图像信号而生成第一显示用图像，上述第一像素组和第二像素组使通过了摄影透镜中的第一区域和第二区域的被摄体像进行光瞳分割而分别成像；第二显示用图像生成工序，基于从上述第一像素组和第二像素组输出的第一图像信号和第二图像信号，生成第二显示用图像；获取工序，取得由上述第一显示用图像生成工序生成的上述第一显示用图像的颜色信息；确定工序，基于由上述获取工序取得的颜色信息，将具有与上述第一显示用图像的颜色特性不同的颜色特性的颜色确定为上述第二显示用图像的显示颜色；及显示控制工序，使显示图像的显示部显示由上述第一显示用图像生成工序生成的上述第一显示用图像并且在该第一显示用图像的显示区域内显示由上述第二显示用图像生成工序生成的上述第二显示用图像。由此，与不具有本结构的情况相比，能够提高第一显示用图像与第二显示用图像的边界线的视觉确认性。

为了实现上述目的，本发明的第二十二方式所涉及的程序用于使计算机作为本发明的第一方式至第十九方式中的任一图像处理装置中的上述第一显示用图像生成部、上述第二显示用图像生成部、上述获取部、上述确定部和上述显示控制部而发挥功能。由此，与不具有本结构的情况相比，能够提高第一显示用图像与第二显示用图像的边界线的视觉确认性。

发明效果

根据本发明，可得到能够提高第一显示用图像与第二显示用图像的边界线的视觉确认性这样的效果。

附图说明

图1是表示第一实施方式所涉及的作为镜头互换式相机的摄像装置的外观的一例的立体图。

图2是表示图1所示的摄像装置的背面侧的后视图。

图3是表示第一实施方式所涉及的摄像装置的电气***的结构的一例的框图。

图4是表示设于第一实施方式所涉及的摄像装置所包含的摄像元件上的滤色器的配置的一例的概略配置图。

图5是用于说明根据图4所示的滤色器所包含的2×2像素的G像素的像素值来判别相关方向的方法的图。是用于说明基本排列图案的概念的图。

图6是用于说明图4所示的滤色器所包含的基本排列图案的概念的图。

图7是表示设于第一实施方式所涉及的摄像装置所包含的摄像元件上的遮光构件的配置的一例的概略配置图。

图8是表示第一实施方式所涉及的摄像装置的摄像元件所包含的相位差像素(第一像素和第二像素)的结构的一例的概略结构图。

图9是表示第一实施方式所涉及的摄像装置的主要部分功能的一例的框图。

图10是表示第一实施方式所涉及的摄像装置的显示装置中的通常图像和裂像各自的显示区域的一例的示意图。

图11是表示作为相对于第一实施方式的比较例而显示于显示装置的即时预览图像中的通常图像和裂像的一例的画面形态图。

图12是表示第一实施方式所涉及的摄像装置中使用的第一输入输出函数的一例的曲线图。

图13是表示第一实施方式所涉及的摄像装置中使用的第二输入输出函数的一例的曲线图。

图14是表示由第一实施方式所涉及的摄像装置所包含的图像处理部进行的图像输出处理的流程的一例的流程图。

图15是表示由第一实施方式所涉及的摄像装置所包含的图像处理部进行的WB处理的流程的一例的流程图。

图16是表示由第一实施方式所涉及的摄像装置所包含的图像处理部进行的有彩色赋予处理的流程的一例的流程图。

图17是表示由第一实施方式所涉及的摄像装置所包含的图像处理部进行的显示颜色差别化处理的流程的一例的流程图。

图18是表示由第一实施方式所涉及的摄像装置所包含的图像处理部进行的显示颜色同化处理的流程的一例的流程图。

图19是表示是在第一实施方式中显示于摄像装置的显示装置上的即时预览图像且为执行了显示颜色差别化处理后的情况下的通常图像和裂像的一例的画面形态图。

图20是表示是在第一实施方式中显示于摄像装置的显示装置上的即时预览图像且为执行了显示颜色差别化处理后的情况下的通常图像和用颜色进行区分后的裂像的一例的画面形态图。

图21是表示是在第一实施方式中显示于摄像装置的显示装置上的即时预览图像且分别为无彩色的通常图像和裂像的一例的画面形态图。

图22是表示是在第一实施方式中显示于摄像装置的显示装置上的即时预览图像且为无彩色的通常图像和有彩色的裂像的一例的画面形态图。

图23是表示是在第一实施方式中显示于摄像装置的显示装置上的即时预览图像且为颜色特性近似的通常图像和裂像的一例的画面形态图。

图24是表示第二实施方式所涉及的智能手机的外观的一例的立体图。

图25是表示第二实施方式所涉及的智能手机的电气***的主要部分结构的一例的框图。

具体实施方式

以下，根据附图，对本发明所涉及的摄像装置的实施方式的一例进行说明。

[第一实施方式]

图1是表示第一实施方式所涉及的摄像装置100的外观的一例的立体图，图2是图1所示的摄像装置100的后视图。

摄像装置100是镜头互换式相机，是包括相机主体200和可更换地安装于相机主体200的互换镜头300(摄影透镜、聚焦环302(手动操作部))并省略了反射镜的数码相机。另外，在相机主体200设有混合式取景器(注册商标)220。在此所说的混合式取景器220例如是指选择性地使用光学取景器(以下，称作“OVF”)和电子取景器(以下，称作“EVF”)的取景器。

相机主体200和互换镜头300通过将相机主体200所具备的固定架256和与固定架256对应的互换镜头300侧的固定架346(参照图3)结合而可互换地进行安装。

在相机主体200的前表面设有混合式取景器220所包含的OVF的取景窗241。另外，在相机主体200的前表面设有取景器切换杆(取景器切换部)214。当使取景器切换杆214沿箭头SW方向转动时，在能够利用OVF来目视确认的光学像和能够利用EVF来目视确认的电子像(即时预览图像)之间进行切换(后述)。另外，OVF的光轴L2是与互换镜头300的光轴L1不同的光轴。另外，在相机主体200的上表面主要设有释放按钮211和摄影模式、重放模式等的设定用的拨盘212。

在相机主体200的背面设有OVF的取景器目镜部242、显示部213、十字键222、菜单/确定键224、返回/显示按钮225。

十字键222作为输出菜单的选择、变焦、画面进给等各种指令信号的多功能的键而发挥功能。菜单/确定键224是兼具如下功能的操作钮：作为用于进行使菜单显示于显示部213的画面上的指令的菜单按钮的功能；和作为对选择内容的确定及执行等进行指令的确定按钮的功能。返回/显示按钮225用于选择项目等期望的对象的消去、指定内容的取消或返回到前一个操作状态时等。

显示部213例如由LCD实现，用于作为在摄影模式时以连续帧进行摄像而得到的连续帧图像的一例的即时预览图像(实时取景图像)的显示。另外，显示部213也用于作为在赋予了静止画面摄影的指示的情况下以单帧进行摄像而得到的单帧图像的一例的静止图像的显示。此外，显示部213也用于重放模式时的重放图像的显示、菜单画面等的显示。

图3是表示第一实施方式所涉及的摄像装置100的电气***的结构(内部结构)的一例的框图。

摄像装置100是记录所摄影的静止图像、动态图像的数码相机，相机整体的动作由CPU(central processing unit：中央处理装置)12集中控制。摄像装置100除了CPU12外，还包括操作部14、接口部24、存储器26、编码器34、显示控制部36和目镜检测部37。另外，摄像装置100包括作为本发明所涉及的第一显示用图像生成部、第二显示用图像生成部、获取部、确定部和推定部的一例的图像处理部28。CPU12、操作部14、接口部24、作为存储部的一例的存储器26、图像处理部28、编码器34、显示控制部36、目镜检测部37和外部接口(I/F)39经由总线40而相互连接。另外，存储器26具有存储有参数、程序等的非挥发性存储区域(作为一例是EEPROM等)和临时存储图像等各种信息的挥发性存储区域(作为一例是SDRAM等)。

操作部14包括释放按钮211、对摄影模式等进行选择的拨盘(对焦模式切换部)212、显示部213、取景器切换杆214、十字键222、菜单/确定键224和返回/显示按钮225。另外，操作部14也包括接收各种信息的触摸面板。该触摸面板例如与显示部213的显示画面重叠。从操作部14输出的各种操作信号输入到CPU12。

当设定摄影模式时，表示被摄体的图像光经由包括利用手动操作而能够移动的聚焦透镜在内的摄影透镜16和快门18而成像在彩色的摄像元件(作为一例是CMOS传感器)20的受光面上。在摄像元件20中蓄积的信号电荷根据从设备控制部22施加的读出信号而作为与信号电荷(电压)对应的数字信号依次被读出。摄像元件20具有所谓的电子快门功能，通过使电子快门功能发挥作用，根据读出信号的时机来控制各光传感器的电荷蓄积时间(快门速度)。另外，本第一实施方式所涉及的摄像元件20是CMOS型的图像传感器，但不限于此，也可以是CCD图像传感器。

图4示意性地表示设于摄像元件20的滤色器21的排列的一例。另外，在图4所示的例子中，作为像素数的一例采用(4896×3264)像素，作为纵横比采用3：2，但是像素数和纵横比不限于此。作为一例，如图4所示，滤色器21包括与最有助于得到亮度信号的G(绿色)对应的第一滤光片G、与R(红色)对应的第二滤光片R和与B(蓝色)对应的第三滤光片B。第一滤光片G(以下，称作G滤光片)、第二滤光片R(以下，称作R滤光片)和第三滤光片B(以下，称作B滤光片)的排列图案分类为第一排列图案A和第二排列图案B。

在第一排列图案A中，G滤光片配置在3×3像素的正方排列的四角和中央的像素上。在第一排列图案A中，R滤光片配置在正方排列的水平方向上的中央的垂直行上。在第一排列图案A中，B滤光片配置在正方排列的垂直方向上的中央的水平行上。第二排列图案B是滤光片G的配置与第一基本排列图案A相同且将滤光片R的配置和滤光片B的配置进行了调换的图案。滤色器21包括由与6×6像素对应的正方排列图案构成的基本排列图案C。基本排列图案C是将第一排列图案A和第二排列图案B以点对称配置而成的6×6像素的图案，基本排列图案C沿水平方向和垂直方向重复配置。即，在滤色器21中，R、G、B的各色的滤光片(R滤光片、G滤光片和B滤光片)保持预定的周期性而排列。因此，在进行从彩色摄像元件读出的R、G、B信号的去马赛克算法(插值)处理等时，能够根据重复图案而进行处理。

另外，在以基本排列图案C的单位进行间拔处理而缩小图像的情况下，间拔处理后的缩小图像的滤色器排列能够与间拔处理前的滤色器排列相同，并能够使用共通的处理电路。

滤色器21中，将与最有助于得到亮度信号的颜色(在本第一实施方式中，为G色)对应的G滤光片配置在滤色器排列的水平方向、垂直方向和倾斜方向的各行内。因此，无论成为高频的方向如何都能够提高高频区域的去马赛克算法处理的再现精度。

滤色器21中，将与上述G颜色以外的两种颜色以上的其他颜色(在本第一实施方式中，为R、B颜色)对应的R滤光片和B滤光片配置在滤色器排列的水平方向和垂直方向的各行内。因此，能够抑制彩色莫尔条纹(伪色)的产生，由此，能够设为不在从光学***的入射面到摄像面的光路中配置用于抑制伪色的发生的光学低通滤光片。另外，即使在适用光学低通滤光片的情况下，也能够适用用于防止伪色的发生的截止高频成分的功能较弱的结构，能够不有损分辨率。

基本排列图案C也能够理解为由虚线的框围成的3×3像素的第一排列图案A和由单点划线的框围成的3×3像素的第二排列图案B沿水平方向、垂直方向交替地排列而成的排列。

第一排列图案A和第二排列图案B中，作为亮度系像素的G滤光片分别配置于4角和中央、配置于两对角线上。另外，第一排列图案A中，隔着中央的G滤光片而使B滤光片沿水平方向排列、使R滤光片沿垂直方向排列。另一方面，第二排列图案B中，隔着中央的G滤光片而使R滤光片沿水平方向排列、使B滤光片沿垂直方向排列。即，第一排列图案A和第二排列图案B中，R滤光片和B滤光片的位置关系颠倒，但是其他的配置相同。

另外，关于第一排列图案A和第二排列图案B的4角的G滤光片，作为一例，如图5所示，通过将第一排列图案A和第二排列图案B沿水平方向、垂直方向交替地配置而形成与2×2像素对应的正方排列的G滤光片。对于作为一例如图5所示取出的由G滤光片构成的2×2像素，算出水平方向的G像素的像素值的差的绝对值、垂直方向的G像素的像素值的差的绝对值和倾斜方向(右上倾斜、左上倾斜)的G像素的像素值的差的绝对值。由此，能够判断为在水平方向、垂直方向和倾斜方向中差的绝对值的较小的方向上存在相关性。即，能够使用最小像素间隔的G像素的信息来判别水平方向、垂直方向和倾斜方向中的相关性较高的方向。该判别结果能够使用于根据周围的像素来进行插值的处理(去马赛克算法处理)。

滤色器21的基本排列图案C相对于其基本排列图案C的中心(4个G滤光片的中心)以点对称配置。另外，基本排列图案C内的第一排列图案A和第二排列图案B也分别相对于中心的G滤光片以点对称配置，因此能够将后段的处理电路的电路规模减小或简化。

作为一例，如图6所示，在基本排列图案C中，从水平方向的第一到第六行中的第一和第三行的滤色器排列是GRGGBG。第二行的滤色器排列是BGBRGR。第四和第六行的滤色器排列是GBGGRG。第五行的滤色器排列是RGRBGB。在图6所示的例子中，示出了基本排列图案C、C’、C”。基本排列图案C’表示将基本排列图案C沿水平方向和垂直方向分别各移位1像素后的图案，基本排列图案C”表示将基本排列图案C沿水平方向和垂直方向分别各移位2像素后的图案。如此，滤色器21中，即使将基本排列图案C’、C”沿水平方向和垂直方向重复配置，也成为相同的滤色器排列。另外，在本第一实施方式中，为了方便，将基本排列图案C称作基本排列图案。

摄像装置100具有相位差AF功能。摄像元件20包括在使相位差AF功能发挥作用的情况下使用的多个相位差检测用的像素。多个相位差检测用的像素以预先规定的图案配置。在相位差检测用的像素上，作为一例，如图7所示，设有对水平方向的左一半的像素进行遮光的遮光构件20A和对水平方向的右一半的像素进行遮光的遮光构件20B。另外，在本第一实施方式中，为了说明的方便，将设有遮光构件20A的相位差检测用的像素称作“第一像素”，将设有遮光构件20B的相位差像素称作“第二像素”。另外，在不必对第一像素和第二像素进行区分而进行说明的情况下称作“相位差像素”。

图8表示配置于摄像元件20的第一像素和第二像素的一例。图8所示的第一像素具有遮光构件20A，第二像素具有遮光构件20B。遮光构件20A设于光电二极管PD的前表面侧(微透镜L侧)，对受光面的左一半进行遮光。另一方面，遮光构件20B设于光电二极管PD的前表面侧，对受光面的右一半进行遮光。

微透镜L和遮光构件20A、20B作为光瞳分割部而发挥功能，第一像素仅对通过摄影透镜16的出射光瞳的光束的光轴的左侧进行受光，第二像素仅对通过摄影透镜16的出射光瞳的光束的光轴的右侧进行受光。如此，通过出射光瞳的光束由作为瞳分割部的微透镜L和遮光构件20A、20B左右分割，而分别入射到第一像素和第二像素。

另外，与通过摄影透镜16的出射光瞳光束中的左一半的光束对应的被摄体像和与右一半的光束对应的被摄体像中焦点对焦(为对焦状态)的部分成像在摄像元件20上的相同位置。相对于此，前跑焦或后跑焦的部分分别入射到摄像元件20上的不同的位置(相位偏离)。由此，与左一半的光束对应的被摄体像和与右一半的光束对应的被摄体像能够作为视差不同的视差图像(左眼图像、右眼图像)而取得。

摄像装置100通过使相位差AF功能发挥作用，基于第一像素的像素值和第二像素的像素值来检测相位的偏离量。并且，基于所检测出的相位的偏离量来对摄影透镜的焦点位置进行调整。另外，以下，在不必对遮光构件20A、20B进行区分而进行说明的情况下不标注附图标记而称作“遮光构件”。

在本第一实施方式中，遮光构件作为一例，如图7所示，设于基本排列图案C所包含的两组第一排列图案A和第二排列图案B的左上角部的G滤光片的像素。即，在图7所示的例子中，当设0以上的整数为“n”时，在垂直方向上，在第(6n+1)行配置有遮光构件20A，在第(6n+4)行配置有遮光构件20B。另外，在图7所示的例子中，在全部的基本排列图案C设有遮光构件，但是不限于此，也可以仅设于摄像元件20的一部分的预定的区域内的基本排列图案C。

如此，在滤色器21中，对全部的第一排列图案A和第二排列图案B的左上角部的G滤光片的像素设有遮光构件，在垂直方向和水平方向上均规则性地对3像素配置有各1像素的相位差像素。因此，在相位差像素的周围，通常像素配置得比较多，因此能够提高根据通常像素的像素值来对相位差像素的像素值进行插值的情况下的插值精度。另外，上述的“通常像素”例如是指相位差像素以外的像素(例如不具有遮光构件20A、20B的像素)。

摄像元件20被分类为第一像素组、第二像素组和第三像素组。第一像素组例如是指多个第一像素。第二像素组例如是指多个第二像素。第三像素组例如是指多个通常像素。另外，以下，将从第一像素组输出的RAW图像称作“第一图像”，将从第二像素组输出的RAW图像称作“第二图像”，将从第三像素组输出的RAW图像称作“第三图像”。

返回到图3，摄像元件20从第一像素组输出第一图像(表示各第一像素的像素值的数字信号)，从第二像素组输出第二图像(表示各第二像素的像素值的数字信号)。另外，摄像元件20从第三像素组输出第三图像(表示各通常像素的像素值的数字信号)。另外，从第三像素组输出的第三图像是有彩色的图像，例如是与通常像素的排列相同的彩色排列的彩色图像。从摄像元件20输出的第一图像、第二图像和第三图像经由接口部24而临时存储于存储器26中的挥发性的存储区域。

图像处理部28具有通常处理部30。通常处理部30通过对与第三像素组对应的R、G、B信号进行处理而生成有彩色的通常图像(第一显示用图像的一例)。另外，图像处理部28具有裂像处理部32。裂像处理部32通过对与第一像素组和第二像素组对应的G信号进行处理而生成无彩色的裂像。另外，本第一实施方式所涉及的图像处理部28由将图像处理所涉及的多个功能的电路汇总为一个而成的集成电路即ASIC(Application SpecificIntegrated Circuit：专用集成电路)实现。可是，硬件结构不限于此，例如也可以是包含可编程逻辑器件、CPU、ROM和RAM在内的计算机等其他硬件结构。

编码器34将所输入的信号转换为其他形式的信号而输出。混合式取景器220具有显示电子像的LCD247。LCD247中的预定方向的像素数(作为一例是作为视差产生方向的水平方向的像素数)比显示部213中的该方向的像素数少。显示控制部36与显示部213和LCD247连接，通过选择性地控制LCD247和显示部213，使图像显示于LCD247或显示部213。另外，以下，在不必对显示部213和LCD247进行区分而进行说明的情况下称作“显示装置”。

另外，本第一实施方式所涉及的摄像装置100构成为能够由拨盘212(对焦模式切换部)对手动对焦模式和自动对焦模式进行切换。当选择手动对焦模式时，显示控制部36将使裂像合成而成的即时预览图像显示于显示装置。另一方面，当利用拨盘212选择自动对焦模式时，CPU12作为相位差检测部和自动调焦部而动作。相位差检测部检测从第一像素组输出的第一图像与从第二像素组输出的第二图像的相位差。自动调焦部基于所检测出的相位差而以使摄影透镜16的散焦量为零的方式从设备控制部22经由固定架256、346来控制透镜驱动部(图示省略)，使摄影透镜16移动到对焦位置。另外，上述的“散焦量”例如是指第一图像与第二图像的相位偏离量。

目镜检测部37检测人(例如摄影者)对取景器目镜部242进行了观察这一情况，将检测结果输出到CPU12。因此，CPU12能够基于目镜检测部37中的检测结果，掌握是否使用了取景器目镜部242。

外部I/F39与LAN(Local Area Network：局域网)、互联网等通信网连接，经由通信网，对外部装置(例如打印机)和CPU12之间的各种信息的收发进行管理。因此，摄像装置100在作为外部装置连接有打印机的情况下，能够将所摄影的静止图像输出到打印机而进行印刷。另外，摄像装置100在作为外部装置连接有显示器的情况下，能够将所摄影的静止图像、即时预览图像输出到显示器而进行显示。

图9是表示第一实施方式所涉及的摄像装置100的主要部分功能的一例的功能框图。另外，对与图3所示的框图共通的部分标注相同的附图标记。

通常处理部30和裂像处理部32分别具有WB增益部、伽玛校正部和去马赛克算法处理部(省略图示)，由各处理部对临时存储于存储器26的原始的数字信号(RAW图像)依次进行信号处理。即，WB增益部通过对R、G、B信号的增益进行调整而执行白平衡(WB)。伽玛校正部对由WB增益部执行了WB后的各R、G、B信号进行伽玛校正。去马赛克算法处理部进行与摄像元件20的滤色器的排列(在此作为一例是拜耳排列)对应的颜色插值处理，生成进行了去马赛克算法后的R、G、B信号。另外，每当由摄像元件20取得1画面量的RAW图像，通常处理部30和裂像处理部32就对该RAW图像并行地进行图像处理。

通常处理部30从接口部24输入R、G、B的RAW图像，利用第一像素组和第二像素组中的相同颜色的周边像素(例如G像素)来进行插值而生成第三像素组的R、G、B像素。由此，能够基于从第三像素组输出的第三图像来生成记录用的通常图像。

另外，通常处理部30将所生成的记录用的通常图像的图像数据输出到编码器34。由通常处理部30处理后的R、G、B信号由编码器34转换(编码)为记录用的信号，并记录于记录部40(参照图7)。另外，基于由通常处理部30处理后的第三图像的图像即显示用的通常图像输出到显示控制部36。另外，以下，为了说明的方便，在不必对上述的“记录用的通常图像”和“显示用的通常图像”进行区分而进行说明的情况下，将“记录用的”这一词句和“显示用的”这一词句省略而称作“通常图像”。

摄像元件20能够改变第一像素组和第二像素组的各自的曝光条件(作为一例是电子快门的快门速度)，由此能够同时取得曝光条件不同的图像。因此，图像处理部28能够基于曝光条件不同的图像来生成宽动态范围的图像。另外，能够以相同的曝光条件同时取得多个图像，能够通过将这些图像相加而生成噪声较少的高灵敏度的图像或者生成高分辨率的图像。

另一方面，裂像处理部32从暂且存储于存储器26的RAW图像提取第一像素组和第二像素组的G信号，基于第一像素组和第二像素组的G信号来生成无彩色的裂像。从RAW图像提取的第一像素组和第二像素组分别如上述是基于G滤光片的像素的像素组。因此，裂像处理部32能够基于第一像素组和第二像素组的G信号来生成无彩色的左视差图像和无彩色的右视差图像。另外，以下，为了说明的方便，将上述的“无彩色的左视差图像”称作“左眼图像”，将上述的“无彩色的右视差图像”称作“右眼图像”。

裂像处理部32通过对基于从第一像素组输出的第一图像的左眼图像和基于从第二像素组输出的第二图像的右眼图像进行合成而生成裂像。所生成的裂像的图像数据输出到显示控制部36。

显示控制部36基于从通常处理部30输入的与第三像素组对应的记录用的图像数据和从裂像处理部32输入的与第一、第二像素组对应的裂像的图像数据，生成显示用的图像数据。例如，显示控制部36在由从通常处理部30输入的与第三像素组对应的记录用的图像数据所表示的通常图像的显示区域内合成由从裂像处理部32输入的图像数据所表示的裂像。并且，将合成而得到的图像数据输出到显示部213。在此，由裂像处理部32生成的裂像是将左眼图像的一部分和右眼图像的一部分合成而成的多个分割的图像。作为在此所说的“多个分割的图像”，例如能够列举图11所示的裂像。图11所示的裂像是将与显示部213的预定区域的位置对应的位置的左眼图像的一部分和右眼图像的一部分合成而成的图像，是沿上下方向四等分分割而成的图像间根据对焦状态而沿预定方向(例如视差产生方向)偏离而成的图像。另外，裂像的方式不限于图11所示的例子，也可以是将左眼图像中的上一半的图像和右眼图像中的下一半的图像合成而成的图像。在该情况下，分割成两份的上下图像间根据对焦状态而沿预定方向(例如视差产生方向)偏离。

将裂像与通常图像合成的方法不限于替代通常图像的一部分图像而嵌入裂像的合成方法。例如，也可以是在通常图像上重叠裂像的合成方法。另外，也可以是在重叠裂像时将重叠裂像的通常图像的一部分图像和裂像的透过率适当进行调整而重叠的合成方法。由此，表示连续地进行摄影的被摄体像的即时预览图像显示在显示部213的画面上，但是，所显示的即时预览图像成为在通常图像的显示区域内显示了裂像的图像。

混合式取景器220包括OVF240和EVF248。OVF240是具有物镜244和目镜246的逆伽利略取景器，EVF248具有LCD247、棱镜245和目镜246。

另外，在物镜244的前方配置有液晶快门243，液晶快门243在使用EVF248时以避免光学像向物镜244入射的方式进行遮光。

棱镜245使显示于LCD247的电子像或各种信息反射并导向目镜246，并且对光学像和显示于LCD247的信息(电子像、各种信息)进行合成。

在此，当使取景器切换杆214沿图1所示的箭头SW方向转动时，每进行转动，就交替地切换能够利用OVF240对光学像进行目视确认的OVF模式和能够利用EVF248对电子像进行目视确认的EVF模式。

显示控制部36在OVF模式的情况下以液晶快门243成为非遮光状态的方式进行控制，能够从目镜部对光学像进行目视确认。另外，在LCD247仅显示裂像。由此，能够显示在光学像的一部分上重叠裂像而成的取景图像。

另一方面，显示控制部36在EVF模式的情况下以液晶快门243成为遮光状态的方式进行控制，能够从目镜部仅对显示于LCD247的电子像进行目视确认。另外，向LCD247输入与合成有输出到显示部213的裂像的图像数据等同的图像数据，由此，能够与显示部213同样地显示在通常图像的一部分上合成裂像而成的电子像。

图10表示显示装置中的通常图像和裂像的各自的显示区域的一例。作为一例，如图10所示，裂像显示在显示装置的画面中央部的矩形框内，在裂像的外周区域显示通常图像。另外，图10所示的表示矩形框的边缘的线实际上没有显示，但是图10中为了说明的方便而示出。

图11示意性地表示作为相对于本第一实施方式的比较例而显示于显示装置的相同画面中的通常图像和裂像的一例。作为一例，如图11所示，裂像以无彩色显示，通常图像以有彩色显示。可是，通过画面整体的白平衡，相对于通常图像的颜色，裂像的颜色未特别显眼，裂像与通常图像的边界变得难于目视确认。

因此，在本第一实施方式所涉及的摄像装置100中，图像处理部28进行包含对通常图像的显示颜色和裂像的显示颜色视觉性地进行差别化的处理(以下，称作“显示颜色差别化处理”)在内的图像输出处理。显示颜色差别化处理包含如下处理：取得通常图像的颜色信息，并基于所取得的颜色信息，将具有与通常图像的颜色特性不同的颜色特性的颜色确定为裂像的显示颜色。上述的“颜色信息”例如是指表示通常图像的物体颜色的颜色特性的颜色信息。另外，上述的“与通常图像的颜色特性不同的颜色特性”例如是指与通常图像的物体颜色的颜色特性不同的颜色特性。另外，上述的“与通常图像的颜色特性不同的颜色特性”例如是指在色相环中与通常图像的物体颜色隔开预先规定的角度的颜色。在此所说的“预先规定的角度”是指作为能够得到可目视确认是与通常图像的物体颜色的颜色特性不同的颜色特性这一情况的颜色的角度而预先规定的角度。在该情况下，“预先规定的角度”优选为是160度以上且200度以下，更优选为是170度以上且190度以下，最优选为是180度(确定补色的角度)。另外，不限于此，也可以是用户经由操作部14而指定的角度(例如能够得到用户可目视确认的颜色的角度)。另外，不限于此，作为“预先规定的角度”，也可以采用基于通过多个被试验者的感官试验得到的评价结果而确定的角度。在该情况下，能够列举如下例子：采用由多个被试验者中的过半数以上的被试验者评价为是与通常图像(采样图像)的物体颜色的颜色特性不同的颜色特性(例如是与采样图像的物体颜色的色相不同的色相)的角度作为“预先规定的角度”。

在本第一实施方式中，作为上述的“通常图像的物体颜色的颜色特性”的一例，采用实施WB后的通常图像中的原色成分的构成比。在此所说的“原色成分的构成比”例如是指以总和成为“1”的方式对R、G、B的像素值进行标准化后的比。

另外，在显示颜色差别化处理中，作为一例，使用图12所示的第一输入输出函数F(W)。另外，图12所示的横轴是第一输入输出函数F(W)的输入值，表示实施WB后的通常图像中的R、G、B的构成比的一成分。即，横轴表示实施WB后的通常图像中的R、G、B的各自的像素值的平均值。在此，适用以成为(R的平均值Wr)+(G的平均值Wg)+(B的平均值Wb)＝1的方式进行标准化后的值。图12所示的纵轴是第一输入输出函数F(W)的输出值，表示裂像的像素的各自的R：G：B。根据第一输入输出函数F(W)，当假设为例如如输入为Wr：Wg：Wb＝0.4：0.3：0.3那样红色相是支配性的时，作为输出成为R：G：B＝0.8：1：1，裂像成为蓝绿色系的灰色。由此，通常图像与裂像的边界线的视觉确认性提高。

第一输入输出函数F(W)是将实施WB后的通常图像中的原色成分的构成比转换为裂像的原色成分的构成比的函数。第一输入输出函数F(W)包含作为减函数(具有输出值随着输入值的增加而减少的特性的函数)的函数f1。图12所示的第一输入输出函数F(W)包含倾斜度为负的线性函数作为函数f1的一例，但是也可以替代线性函数而采用具有输出值随着输入值的增加而减少的特性的非线性函数。另外，图12所示的第一输入输出函数F(W)包含作为分别与函数f1连续的线性函数且倾斜度为“0”的函数f2、f3，但是也可以变更这些函数f2、f3而使用非线性函数，也可以使用倾斜度为负的线性函数。另外，第一输入输出函数F(W)形成为弯曲的函数(将函数f1～f3组合而成的函数)，但是不限于此，也可以是单调减少的减函数(例如y＝－ax+b)。

另外，在本第一实施方式所涉及的摄像装置100中，图像处理部28进行通过使通常图像的颜色特性和裂像的颜色特性接近而使通常图像的显示颜色和裂像的显示颜色同化的处理(以下，称作“显示颜色同化处理”)。在显示颜色同化处理中，作为一例，使用图13所示的第二输入输出函数G(W)。另外，图13所示的横轴是第二输入输出函数G(W)的输入值，与图12所示的横轴同样地表示实施WB后的通常图像中的R、G、B的构成比的一成分。图13所示的纵轴是第二输入输出函数G(W)的输出值，与图12所示的纵轴同样地表示裂像中的R、G、B的构成比的一成分。

第二输入输出函数G(W)也是与第一输入输出函数F(W)同样地将实施WB后的通常图像中的原色成分的构成比转换为裂像的原色成分的构成比的函数。不过，第二输入输出函数G(W)是与图12所示的第一输入输出函数F(W)对称的函数，包含函数g1、g2、g3。

函数g1是增函数(随着输入值的增加而输出值也增加的函数)。图13所示的第二输入输出函数G(W)包含倾斜度为正的线性函数作为函数g1的一例，但是也可以替代线性函数，采用具有随着输入值的增加而输出值也增加的特性的非线性函数。另外，图13所示的第二输入输出函数G(W)包含作为分别与函数g1连续的线性函数且倾斜度成为“0”的函数g2、g3，但是也可以变更这些函数g2、g3而采用非线性函数，也可以采用倾斜度为正的线性函数。另外，第二输入输出函数G(W)形成为弯曲的函数(将函数g1～g3组合而成的函数)，但是不限于此，也可以是单调增加的单调函数(例如y＝ax+b)。

另外，第一输入输出函数F(W)和第二输入输出函数G(W)存储于预定的存储区域(例如存储器26)。

接下来，对作为本第一实施方式的作用由图像处理部28进行的图像输出处理，参照图14进行说明。另外，在此例示了由图像处理部28进行图像输出处理的情况，但是本发明不限于此，也可以设为例如通过由CPU12执行图像输出处理程序而由摄像装置100进行图像输出处理。

在图14中，首先，在步骤400中，由图像处理部28取得通常图像。在上述步骤400中取得的通常图像由图像处理部28存储于预定的存储区域(例如存储器26)。在下一个步骤402中，由图像处理部28取得左眼图像和右眼图像，基于所取得的左眼图像和右眼图像来生成裂像。

在下一个步骤404中，由图像处理部28执行WB处理。图15表示WB处理的流程的一例。在图15所示的步骤404A中，由图像处理部28从通常图像取得颜色信息，基于所取得的颜色信息来推定进行摄像时的光源色。在下一个步骤404B中，由图像处理部28取得与在上述步骤404A推定的光源色对应的增益，作为用于WB的对R、G、B的各色的增益。在本第一实施方式中，例如，对于晴天的太阳、阴天的太阳、荧光灯、钨光源分别确定了增益(例如存储于存储器26)，取得与在上述步骤404A推定的光源色对应的光源的增益。

在下一个步骤404C中，由图像处理部28以在上述步骤404B取得的增益来执行白平衡，之后，结束本白平衡处理。

返回到图14，在步骤406中，由图像处理部28设定在上述步骤402生成的裂像中的处理对象的像素(关注像素(i，j))。在该情况下，例如，在裂像的尺寸是m×n像素的情况下，从像素(1，1)到像素(m，n)，每执行本步骤406就依次使关注像素移动。

在下一个步骤408中，由图像处理部28判定在上述步骤404执行白平衡处理而得到的通常图像是否不是无彩色图像。在此所说的“无彩色图像”例如是指作为R、G、B的构成比满足|R－0.33|≤0.05且|G－0.33|≤0.05且|B－0.33|≤0.05的图像。在本步骤408中在通常图像并非无彩色图像的情况下，判定为肯定而移向步骤410。在步骤408中在通常图像是无彩色图像的情况下，判定为否定而移向步骤412。

另外，通常图像是否是无彩色图像的判定也可以通过对通常图像的全部区域(总像素数)中的无彩色区域(无彩色像素的像素数)的占有率是否是预先规定的占有率(例如95％)以上进行判定而进行。另外，也可以在通常图像中的预定区域是无彩色区域的情况下判定为通常图像是无彩色图像。另外，也可以在通常图像中的相邻于与裂像的边界的区域中无彩色区域是预先规定的面积(预定像素数)以上的情况下判定为通常图像是无彩色图像。另外，为了尽管通常图像的相邻于与裂像的边界的区域不是无彩色也将其他区域设为无彩色区域，也可以在无彩色区域的占有率为预先规定的占有率以上的情况下判定为通常图像并非无彩色图像。

在步骤412中，由图像处理部28执行有彩色赋予处理。图16表示有彩色赋予处理的流程的一例。在图16所示的步骤412A中，由图像处理部28判定在上述步骤406所设定的关注像素是否是最初的处理对象像素。在本步骤412A中，在关注像素是最初的处理对象像素的情况下，判定为肯定而移向步骤412B。在本步骤412A中，在关注像素并非最初的处理对象像素的情况下，判定为否定而移向步骤412C。

然而，在预定的存储区域(例如存储器26)存储有通过与关注像素的R、G、B的像素值相乘而能够对关注像素赋予有彩色的预先规定的R、G、B的构成比(以下，称作“预定构成比”)。

因此，在步骤412B中，由图像处理部28从预定的存储区域取得预定构成比。在下一个步骤412C中，由图像处理部28通过将在上述步骤412B取得的预定构成比的每个颜色的成分与关注像素的相同颜色的像素值相乘，对关注像素的R、G、B的各色的像素值进行校正。例如，在作为预定构成比在上述步骤412B取得“R：G：B＝0.2：0.2：0.6”的情况下，图像处理部28将“R：G：B＝0.2：0.2：0.6”的每个颜色的成分与关注像素的相同颜色的像素值相乘。由此，关注像素被校正为带有蓝色相的像素。另外，在作为上述的预定构成比例如在上述步骤412B取得“R：G：B＝0.6：0.2：0.2”的情况下，图像处理部28将“R：G：B＝0.6：0.2：0.2”的每个颜色的成分与关注像素的相同颜色的像素值相乘。由此，关注像素被校正为带有红色相的像素。通过如此由图像处理部28执行本步骤412C，将具有与通常图像的颜色特性不同的颜色特性的有彩色确定为关注像素的显示颜色。

在下一个步骤412D中，由图像处理部28通过将在上述步骤412C校正后的关注像素的R、G、B的像素值存储于预定的存储区域(例如存储器26)而存储图像，之后，移向步骤418。

在步骤410中，由图像处理部28判定是否不满足执行显示颜色同化处理的条件即显示颜色同化条件。作为在此所说的“显示颜色同化条件”，例如能够列举开始执行显示颜色同化处理的指示经由操作部14而输入这一条件。在本步骤410中在不满足显示颜色同化条件的情况下，判定为肯定而移向步骤414。在本步骤410中在满足显示颜色同化条件的情况下，判定为否定而移向步骤416。

另外，在此，列举了在步骤410中在肯定判定的情况下移到步骤414的例子，但是也可以在步骤410与步骤414之间***进行判定是否满足执行显示颜色差别化处理的条件的处理的步骤。在该情况下，在满足执行显示颜色差别化处理的条件的情况下，判定为肯定而移向步骤414，在不满足执行显示颜色差别化处理的条件的情况下，判定为否定而移向步骤418。作为执行显示颜色差别化处理的条件，例如，能够列举开始执行显示颜色差别化处理的指示经由操作部14而输入这一条件。除此之外，也能够例示通常图像的R、G、B的像素值的平均值(或构成比)和裂像的R、G、B的像素值的平均值(或构成比)关于R、G、B的各色在预先规定的误差内一致这一条件。

在步骤414中，由图像处理部28执行显示颜色差别化处理。图17表示显示颜色差别化处理的流程的一例。在图17所示的步骤414A中，判定在上述步骤406设定的关注像素是否是最初的处理对象像素。在本步骤414A中，在关注像素是最初的处理对象像素的情况下，判定为肯定而移向步骤414B。在本步骤414A中，在关注像素并非最初的处理对象像素的情况下，判定为否定而移向步骤414C。

在步骤414B中，由图像处理部28从特定的图像取得R、G、B的像素值(例如关于特定的图像中包含的全部的像素的像素值)。在此，作为“特定的图像”，采用了在上述步骤400生成的通常图像的一部分，但是不限于此，也可以是通常图像以及在上述步骤402生成的左眼图像和右眼图像。另外，在本步骤414B中，作为上述的“通常图像的一部分”，采用了在上述步骤400生成的通常图像中的、从通常摄像区域的与裂像摄像区域的边界侧的边缘部输出的图像，但是在此所说的“边缘部”的大小例如是指通常图像区域宽度的1/3的大小。“通常图像区域宽度的1/3的大小”毕竟是一例，只要是为了取得有效的像素值(颜色信息的一例)而充分的区域即可，根据通常图像区域的大小、裂像的大小等，取得有效的像素值所需的“边缘部”的大小不同，这是不言而喻的。另外，不限于边缘部，也可以是通常图像中的其他区域。通常图像中的其他区域是指通常图像中的上述的“边缘部”以外的区域。另外，“特定的图像”不必一定是通常图像的一部分，也可以是通常图像的全部区域的图像。另外，上述的“通常摄像区域”是摄像元件20中的用于通常图像的摄像的区域，例如是指与图10所示的“通常图像的显示区域”对应的摄像元件20的区域。另外，上述的“裂像摄像区域”是指摄像元件20中的用于裂像的摄像并且与通常摄像区域相邻的区域，例如是指与图10所示的“裂像的显示区域”对应的摄像元件20的区域。

在下一个步骤414D中，由图像处理部28算出在上述步骤414B取得的R、G、B的像素值的每个颜色的平均值。在下一个步骤414E中，由图像处理部28基于在上述步骤414D算出的R、G、B的像素值的每个颜色的平均值而算出R、G、B的像素值的构成比。在此，图像处理部28例如以总和成为“1”的方式对在上述步骤414D算出的R、G、B的像素值的每个颜色的平均值进行标准化，从而算出R、G、B的构成比。

在下一个步骤414F中，由图像处理部28从预定的存储区域取得第一输入输出函数F(W)。在下一个步骤414G中，由图像处理部28使用第一输入输出函数F(W)算出裂像中的R、G、B的像素值的构成比。即，利用第一输入输出函数F(W)将在上述步骤414E算出的R、G、B的像素值的构成比转换为裂像中的R、G、B的像素值的构成比。

在下一个步骤414H中，由图像处理部28判定是否满足不同颜色赋予条件。在此所说的“不同颜色赋予条件”是指执行对裂像中的基于左眼图像的图像和基于右眼图像的图像分别赋予不同的有彩色的处理(不同颜色赋予处理)的条件。作为不同颜色赋予条件，例如能够列举经由操作部14而进行开始执行不同颜色赋予处理的指示的条件。另外，在此所说的“不同颜色赋予处理”例如是指后述的步骤414I、414K、414L、414M、414N。在本步骤414H中，在满足不同颜色赋予条件的情况下，判定为肯定而移向步骤414I。在本步骤414H中，在不满足不同颜色赋予条件的情况下，判定为否定而移向步骤414J。

在步骤414I中，由图像处理部28判定在上述步骤406设定的关注像素是否是右眼图像所包含的像素。在本步骤414I中，在关注像素并非是右眼图像所包含的像素的情况下(关注像素是左眼图像所包含的像素的情况下)，判定为否定而移向步骤414L。在本步骤414I中，在关注像素是右眼图像所包含的像素的情况下，判定为肯定而移向步骤414K。

在步骤414K中，由图像处理部28对在上述步骤414G算出的构成比赋予右眼图像用的校正项，从而算出右眼图像构成比。例如，当将在上述步骤414G算出的R、G、B的像素值的构成比设为F(Wr)、F(Wg)、F(Wb)时，通过对F(Wr)附加校正项ΔR，算出右眼图像构成比的R成分即“F(Wr)+ΔR”。另外，通过对F(Wg)附加校正项ΔG，算出右眼图像构成比的G成分即“F(Wg)+ΔG”。此外，通过对F(Wb)附加校正项ΔB，算出右眼图像构成比的B成分即“F(Wb)+ΔB”。

在下一个步骤414M中，由图像处理部28通过将在上述步骤414K算出的右眼图像构成比的每个颜色的成分与关注像素的相同颜色的像素值相乘而对关注像素的R、G、B的各色的像素值进行校正，之后，移向步骤414P。通过如此由图像处理部28执行本步骤414M，将具有与通常图像的颜色特性不同的颜色特性的颜色确定为关注像素的显示颜色。

在步骤414L中，由图像处理部28对在上述步骤414G算出的构成比赋予左眼图像用的校正项，从而算出左眼图像构成比。例如，当将在上述步骤414G算出的R、G、B的像素值的构成比设为F(Wr)、F(Wg)、F(Wb)时，通过从F(Wr)减去校正项ΔR，算出左眼图像构成比的R成分即“F(Wr)－ΔR”。另外，通过从F(Wg)减去校正项ΔG，算出左眼图像构成比的G成分即“F(Wg)－ΔG”。此外，通过从F(Wb)减去校正项ΔB，算出左眼图像构成比的B成分即“F(Wb)－ΔB”。另外，校正项ΔR、ΔG、ΔB只要是能够目视确认差的值即可，例如能够如ΔR＝ρF(Wr)、ΔG＝ρF(Wg)、ΔB＝ρF(Wb)那样采用将F(Wr)、F(Wg)、(Wb)单纯地线性倍增后的值。

在下一个步骤414N中，由图像处理部28将在上述步骤414L算出的左眼图像构成比的每个颜色的成分与关注像素的相同颜色的像素值相乘，从而对关注像素的R、G、B的各色的像素值进行校正，之后，移向步骤414P。通过如此由图像处理部28执行本步骤414N，将具有与通常图像的颜色特性不同的颜色特性的颜色确定为关注像素的显示颜色。另外，通过由图像处理部28执行本步骤414N和上述步骤414M，将在裂像中的左眼图像和右眼图像中不同的有彩色确定为裂像的显示颜色。

在步骤414J中，由图像处理部28将在上述步骤414G算出的构成比的每个颜色的成分与关注像素的相同颜色的像素值相乘，从而对关注像素的R、G、B的各色的像素值进行校正，之后，移向步骤414P。通过如此由图像处理部28执行本步骤414J，将具有与通常图像的颜色特性不同的颜色特性的颜色确定为关注像素的显示颜色。

在步骤414P中，由图像处理部28将在上述步骤414J、414M、414N中的任一步骤校正后的关注像素的R、G、B的像素值存储于预定的存储区域(例如存储器26)而存储图像，之后，移向步骤418。

另一方面，在步骤414C中，判定是否对先前的处理对象像素执行了不同颜色赋予处理。在本步骤414C中，在对先前的处理对象像素执行了不同颜色赋予处理的情况下，判定为肯定而移向步骤414Q。在本步骤414C中，在没有对先前的处理对象像素执行不同颜色赋予处理的情况下，判定为否定而移向步骤414J。

在步骤414Q中，由图像处理部28判定在上述步骤406设定的关注像素是否是右眼图像所包含的像素。在本步骤414Q中在关注像素并非右眼图像所包含的像素的情况下(关注像素是左眼图像所包含的像素的情况下)，判定为否定而移向步骤414N。在本步骤414Q中在关注像素是右眼图像所包含的像素的情况下，判定为肯定而移向步骤414M。

返回到图14，在步骤416中，由图像处理部28执行显示颜色同化处理。图18表示显示颜色同化处理的流程的一例。在图18所示的步骤416A中，判定在上述步骤406设定的关注像素是否是最初的处理对象像素。在本步骤416A中，在关注像素是最初的处理对象像素的情况下，判定为肯定而移向步骤416B。在本步骤416A中，在关注像素并非最初的处理对象像素的情况下，判定为否定而移向步骤416G。

在步骤416B中，由图像处理部28从特定的图像取得R、G、B的像素值(例如关于特定的图像中包含的全部的像素的像素值)。作为在此所说的“特定的图像”，例如是指与在步骤414B所使用的“特定的图像”相当的图像。

在下一个步骤416C中，由图像处理部28算出在上述步骤416B取得的R、G、B的像素值的每个颜色的平均值。在下一个步骤416D中，由图像处理部28基于在上述步骤416C算出的R、G、B的像素值的每个颜色的平均值来算出R、G、B的像素值的构成比。在此，图像处理部28例如以总和成为“1”的方式对在上述步骤416C算出的R、G、B的像素值的每个颜色的平均值进行标准化，从而算出R、G、B的构成比。

在下一个步骤416E中，由图像处理部28从预定的存储区域取得第二输入输出函数G(W)。在下一个步骤416F中，由图像处理部28使用第二输入输出函数G(W)算出裂像中的R、G、B的像素值的构成比。即，利用第二输入输出函数G(W)将在上述步骤416D算出的R、G、B的像素值的构成比转换为裂像中的R、G、B的像素值的构成比。

在下一个步骤416G中，由图像处理部28将在上述步骤416F算出的构成比的每个颜色的成分与关注像素的相同颜色的像素值相乘，从而对关注像素的R、G、B的各色的像素值进行校正，之后，移向步骤416H。通过如此由图像处理部28执行本步骤416G，将具有以预先规定的程度与通常图像的颜色特性接近的颜色特性的颜色确定为关注像素的显示颜色。

在下一个步骤416H中，由图像处理部28将在上述步骤416G校正后的关注像素的R、G、B的像素值存储于预定的存储区域(例如存储器26)，从而存储图像，之后，移向步骤418。

返回到图14，在步骤418中，对在上述步骤406设定的关注像素(i，j)进行除了WB处理、有彩色赋予处理、显示颜色差别化处理和显示颜色同化处理以外的图像处理(例如伽玛校正、去马赛克算法处理等)。

在下一个步骤420中，由图像处理部28将通过在上述步骤418进行的图像处理而得到的像素值对应每个像素存储于预定的存储区域(例如存储器26)，从而存储图像，之后，移向步骤422。

在下一个步骤422中，由图像处理部28判定对全部的像素的有彩色赋予处理、显示颜色差别化处理或显示颜色同化处理是否结束。在本步骤422中，在对全部的像素的有彩色赋予处理、显示颜色差别化处理或显示颜色同化处理已结束的情况下，判定为肯定而移向步骤424。在本步骤422中，在对全部的像素的有彩色赋予处理、显示颜色差别化处理或显示颜色同化处理未结束的情况下，判定为否定而移向步骤406。

在步骤424中，由图像处理部28将在上述步骤400、420中存储于预定的存储区域的图像输出到预定的输出处后，结束本图像处理。另外，作为上述的“预定的输出处”，例如能够列举显示控制部36，除此之外，在由摄影者等经由操作部14指示了向外部装置的输出的情况下，作为上述的“预定的输出处”还适用外部I/F40。

当将在上述步骤400、420中存储于预定的存储区域的图像输出到显示控制部36时，作为一例，如图19、图20、图22或图23所示，在显示装置显示即时预览图像。即时预览图像包括通常图像和裂像。裂像大体分为左眼图像和右眼图像(例如参照图20)。

在此，在摄影透镜16的焦点相对于被摄体没有对焦的情况下，裂像中的左眼图像和右眼图像沿视差产生方向(作为一例是水平方向)偏离。另外，通常图像与裂像的边界的图像也沿视差产生方向偏离。这表示产生了相位差，摄影者能够通过裂像而视觉性地识别产生了相位差这一情况以及视差产生方向。

另一方面，在摄影透镜16的焦点相对于被摄体对焦的情况下，裂像中的左眼图像和右眼图像不偏离。通常图像与裂像的边界的图像也不偏离。这表示没有产生相位差，摄影者能够通过裂像而视觉性地识别没有产生相位差这一情况。

如此，摄影者能够利用显示于显示装置的裂像来确认摄影透镜16的对焦状态。另外，在手动对焦模式时，通过手动操作摄影透镜16的聚焦环302，能够使焦点的偏离量(散焦量)为零。另外，能够分别以没有颜色偏差的彩色图像来显示通常图像和裂像，能够利用彩色的裂像对通过摄影者的手动进行的调焦进行支援。

在图17所示的显示颜色差别化处理中，当由图像处理部28执行步骤414J的处理时，作为一例，如图19所示，在显示装置上显示通常图像，并且以具有与通常图像的颜色特性不同的颜色特性的颜色显示裂像。在图19所示的例子中，通常图像的显示颜色被设为红色系(在此作为一例是橙色系)的颜色，裂像的显示颜色被设为蓝色系的颜色。在该情况下，例如作为通常图像的R、G、B的像素值的构成比能够列举“R：G：B＝0.35：0.35：0.3”，作为裂像的R、G、B的像素值的构成比能够列举“R：G：B＝0.31：0.31：0.38”。如此，在场景整体(作为一例是通常图像)的颜色比例是红色系的物体颜色的影响较强的情况下，作为裂像的显示颜色采用蓝色系的颜色。相反，在场景整体的颜色比例是蓝色系的物体颜色的影响较强的情况下，作为裂像的显示颜色采用红色系的颜色。因此，能够使裂像相对于通常图像特别显眼。

另外，在图17所示的显示颜色差别化处理中，当由图像处理部28执行步骤414K、414L、414M、414N的处理时，作为一例，如图20所示，显示左眼图像和右眼图像的颜色特性不同的裂像。在图20所示的例子中，裂像中的左眼图像设为蓝色系的颜色，裂像中的右眼图像设为绿色系的颜色。另外，通常图像的显示颜色与图19所示的例子同样地设为红色系(在此作为一例是橙色系)的颜色。由此，能够使裂像相对于通常图像特别显眼，且能够在裂像中使左眼图像和右眼图像变得易于识别。

在通常图像是无彩色图像的情况下(步骤408：否)，裂像也是无彩色图像，因此作为一例，如图21所示，通常图像与裂像的边界变得难于目视确认。因此，本第一实施方式所涉及的图像处理部28通过执行图16所示的有彩色赋予处理，作为一例，如图22所示，对裂像赋予有彩色。在图22所示的例子中，作为裂像的显示颜色采用蓝色系的颜色。由此，能够使裂像相对于无彩色的通常图像特别显眼。另外，也可以由图像处理部28推定光源色，若所推定的光源色中红色系的颜色为支配性的，则将裂像的显示颜色设为蓝色系的颜色，若所推定的光源色中蓝色系的颜色为支配性的，则将裂像的显示颜色设为红色系的颜色。

另外，当由图像处理部28执行图18所示的显示颜色同化处理时，作为一例，如图23所示，显示彼此的显示颜色被同化后的通常图像和裂像。在图23所示的例子中，作为通常图像的物体颜色，红色系(作为一例是橙色系)是支配性的，因此作为裂像的显示颜色采用红色系的颜色，由此，以裂像与通常图像融合的方式显示。因此，能够使通常图像与裂像的边界难于视觉性地识别。

如以上说明的那样，本第一实施方式所涉及的摄像装置100包括对通过了摄影透镜16的出射光瞳的光束的光轴的左侧和右侧(通过了第一区域和第二区域后的被摄体像的一例)进行光瞳分割而分别成像的第一像素组和第二像素组。另外，作为通常图像生成部的一例的图像处理部28基于从具有第一像素组和第二像素组的摄像元件20输出的图像，生成作为第一显示用图像的一例的通常图像(步骤400)。另外，作为第二显示用图像生成部的一例的图像处理部28基于从第一像素组和第二像素组输出的第一图像和第二图像，生成作为第二显示用图像的一例的裂像(步骤402)。另外，作为获取部的一例的图像处理部28取得所生成的通常图像的颜色信息(步骤414B)。另外，作为确定部的一例的图像处理部28基于所取得的颜色信息，将具有与通常图像的颜色特性不同的颜色特性的颜色确定为裂像的显示颜色(步骤414J、414M、414N)。由此，与不具有本结构的情况相比，能够提高通常图像与裂像的边界线的视觉确认性。

另外，本第一实施方式所涉及的摄像装置100中，作为具有与通常图像的颜色特性不同的颜色特性的颜色，采用能够目视确认是与通常图像的颜色特性不同的颜色特性这一情况的颜色。由此，与不具有本结构的情况相比，能够视觉性地识别通常图像和裂像。

另外，在本第一实施方式所涉及的摄像装置100中，图像处理部28从通常图像取得颜色信息。由此，与不具有本结构的情况相比，能够以简单的结构使裂像的颜色特性和通常图像的颜色特性高精度地不同。

另外，在本第一实施方式所涉及的摄像装置100中，图像处理部28基于通常图像和裂像而取得颜色信息。由此，与不具有本结构的情况相比，能够使裂像的颜色特性和通常图像的颜色特性高精度地不同。另外，即使通常图像发白，第一像素组和第二像素组的灵敏度也较低，因此能够取得颜色信息。另外，可以基于通常图像和第一图像而取得颜色信息，可以基于通常图像和第二图像而取得颜色信息，也可以基于通常图像、第一图像和第二图像而取得颜色信息。

另外，在本第一实施方式所涉及的摄像装置100中，摄像元件20具有用于通常图像的摄像的通常摄像区域和用于裂像的摄像并且与通常摄像区域相邻的裂像摄像区域。并且，图像处理部28从通常图像中的、从通常摄像区域中的与裂像摄像区域的边界侧的边缘部输出的图像取得颜色信息。由此，与不具有本结构的情况相比，能够使通常图像与裂像的边界鲜明。

另外，本第一实施方式所涉及的摄像装置100中，作为颜色信息，采用表示通常图像的物体颜色的颜色特性的颜色信息。由此，与不具有本结构的情况相比，即使在通常图像中与光源色相比物体颜色是支配性的情况下，也能够提高通常图像与裂像的边界线的视觉确认性。

另外，本第一实施方式所涉及的摄像装置100中，作为与通常图像的颜色特性不同的颜色特性，采用与通常图像的物体颜色的颜色特性不同的颜色特性。由此，与不具有本结构的情况相比，即使在通常图像中与光源色相比物体颜色是支配性的情况下，也能够提高通常图像与裂像的边界线的视觉确认性。

另外，本第一实施方式所涉及的摄像装置100中，作为颜色特性，适用色相。由此，与不具有本结构的情况相比，能够以简单的结构进一步提高通常图像与裂像的边界线的视觉确认性。

另外，本第一实施方式所涉及的摄像装置100中，作为具有与通常图像的颜色特性不同的颜色特性的颜色，采用在色相环中与通常图像的物体颜色隔开预先规定的角度的颜色。由此，与不具有本结构的情况相比，能够容易地确定适当的物体颜色作为具有与通常图像的颜色特性不同的颜色特性的颜色。

另外，本第一实施方式所涉及的摄像装置100中，作为上述的预先规定的角度，采用能够得到可目视确认是与通常图像的物体颜色的颜色特性不同的颜色特性这一情况的颜色的角度。由此，与不具有本结构的情况相比，能够使裂像相对于通常图像鲜明且特别显眼。

另外，本第一实施方式所涉及的摄像装置100中，作为通常图像的物体颜色的颜色特性，采用通常图像中的原色成分的构成比。由此，与不具有本结构的情况相比，能够在提高通常图像与裂像的边界线的视觉确认性的基础上容易地确定适当的颜色特性作为通常图像的物体颜色的颜色特性。

另外，本第一实施方式所涉及的摄像装置100中，作为通常图像中的原色成分的构成比，采用实施白平衡后的上述通常图像中的原色成分的构成比。由此，与不具有本结构的情况相比，能够使实施了白平衡后的通常图像与裂像的边界线鲜明。

另外，在本第一实施方式所涉及的摄像装置100中，作为推定部的一例的图像处理部28基于通常图像而推定光源色。并且，用于白平衡的对于原色成分的增益根据由图像处理部28推定的光源色而确定。由此，与不具有本结构的情况下相比，能够考虑光源色而提高实施了白平衡后的通常图像与裂像的边界线的视觉确认性。

另外，在本第一实施方式所涉及的摄像装置100中，基于对于通常图像中的物体颜色的各原色成分的像素值的平均值而确定通常图像中的原色成分的构成比。由此，与不具有本结构的情况相比，能够在提高通常图像与裂像的边界线的视觉确认性的基础上容易地得到适当的构成比作为通常图像中的原色成分的构成比。

另外，在本第一实施方式所涉及的摄像装置100中，采用利用包含减函数的输入输出函数对通常图像中的原色成分的构成比进行转换而得到的转换后的构成比，作为与通常图像的颜色特性不同的颜色特性。由此，与不具有本结构的情况相比，能够以简单的结构提高通常图像与裂像的边界线的视觉确认性。

另外，在本第一实施方式所涉及的摄像装置100中，将第一像素组和第二像素组分别设为单色的像素组，图像处理部28基于从第一像素组和第二像素组输出的第一图像和第二图像，生成无彩色的图像作为裂像。由此，与不具有本结构的情况相比，能够以简单的结构得到无彩色的裂像。

另外，在本第一实施方式所涉及的摄像装置100中，作为上述的单色的像素组，采用绿色的像素组。由此，与不具有本结构的情况相比，能够得到高精度的无彩色图像作为无彩色的裂像。

另外，在本第一实施方式所涉及的摄像装置100中，在裂像是无彩色图像的情况下，由图像处理部28基于所取得的颜色信息，将具有与通常图像的颜色特性不同的颜色特性的有彩色确定为裂像的显示颜色。由此，与不具有本结构的情况相比，能够以简单的结构来确定作为裂像的显示颜色的有彩色。

另外，在本第一实施方式所涉及的摄像装置100中，在通常图像和裂像是无彩色图像的情况下，图像处理部28基于所取得的颜色信息，将具有与通常图像的颜色特性不同的颜色特性的有彩色确定为裂像的显示颜色。由此，与不具有本结构的情况相比，能够提高通常图像与裂像的边界线的视觉确认性。

另外，在本第一实施方式所涉及的摄像装置100中，图像处理部28将是具有与通常图像的颜色特性不同的颜色特性的有彩色、且在裂像中的左眼图像和右眼图像中不同的有彩色确定为***图像的显示颜色。由此，与不具有本结构的情况相比，在裂像中左眼图像和右眼图像变得易于视觉性地识别。

另外，在本第一实施方式所涉及的摄像装置100中，作为裂像，采用使左眼图像和右眼图像在与视差产生方向交叉的方向(预先规定的方向的一例)上交替地配置而成的图像。由此，在裂像中左眼图像和右眼图像更进一步变得易于视觉性地识别。

另外，在本第一实施方式所涉及的摄像装置100中，在满足显示颜色同化条件的情况下，图像处理部28基于所取得的颜色信息，将具有以预先规定的程度与通常图像的颜色特性接近的颜色特性的颜色进一步确定为裂像的显示颜色。由此，与不具有本结构的情况相比，能够使通常图像与裂像的边界难于视觉性地识别。

另外，本第一实施方式所涉及的摄像装置100还包括显示控制部36，上述显示控制部36进行在相同画面内将通常图像和由图像处理部28对显示颜色进行校正后的裂像排列而显示于显示装置的控制。由此，与不具有本结构的情况相比，能够以简单的结构来目视确认通常图像与裂像的边界线。

另外，在本第一实施方式所涉及的摄像装置100中，摄像元件20具有第三像素组，图像处理部28基于从第三像素组输出的第三图像而生成通常图像。由此，与不具有本结构的情况相比，能够提高通常图像的画质。

另外，在上述第一实施方式中，采用实施WB后的通常图像中的原色成分的构成比，但是，不限于此，可以是实施WB前的通常图像中的原色成分的构成比，也可以是伽玛校正后的通常图像中的原色成分的构成比。

另外，在上述第一实施方式中，作为从通常图像取得的颜色信息的一例的像素值，列举采用了通常图像的物体颜色的R、G、B的像素值的情况下的方式例而进行了说明，但是，不限于此，也可以采用光源色的R、G、B的像素值。由此，即使在通常图像中与物体颜色相比光源色是支配性的情况下，也能够提高通常图像与裂像的边界线的视觉确认性。

另外，在上述第一实施方式中，列举在有彩色赋予处理和显示颜色差别处理中以不依赖于显示装置的种类的构成比对像素值进行校正的例子而进行了说明，但是也可以以根据显示装置的种类而规定的构成比对像素值进行校正。例如，在由目镜检测部37检测出使用了EVF248的情况下，使用对在上述第一实施方式中说明的像素值的校正中所使用的构成比附加进一步的校正项(例如正的校正项)而得到的构成比，进行像素值的校正。由此，即使在使用了显示面积比显示部213小的EVF248的情况下，也能够视觉性地识别通常图像与裂像的边界。

另外，在上述第一实施方式中，将第一输入输出函数F(W)的输出值的最大值设为“1”，但是也可以设为超过“1”的值。在第一输入输出函数F(W)的输出值超过“1”的情况下，之后通过进行标准化处理而校正为“1”以下的值即可。另外，对于第二输入输出函数G(W)的输出值也同样。

另外，在上述第一实施方式中，列举根据从特定的图像取得的R、G、B的像素值的平均值而算出R、G、B的像素值的构成比的例子而进行了说明，但是也可以根据从特定的图像取得的R、G、B的像素值的代表值，算出R、G、B的像素值的构成比。作为在此所说的代表值，能够例示从特定的图像取得的R、G、B的像素值的众数、中间数等。

另外，在上述第一实施方式中，作为相位差像素例示了G像素，但是不限于此，也可以是R、G、B像素中的任一个。另外，在上述第一实施方式中，作为相位差像素例示了单色像素，但是不限于此，也可以使用R、G、B像素中的两个以上的像素作为相位差像素。在该情况下，作为裂像显示彩色图像，但是即使在该情况下，本发明也成立。另外，与采用多个颜色的相位差像素的情况相比，如在上述第一实施方式中说明的那样，使用单色的相位差像素的一方的、像素值的校正处理所消耗的时间较短，因而优选，与背景色(例如通常图像的显示颜色)的识别视觉性地变得容易。

另外，在上述第一实施方式中，例示了省略了反射镜的镜头互换式数码相机，但是不限于此，也能够将本发明适用于具有一体式镜头的摄像装置。

另外，在上述第一实施方式中，例示了具有显示部213和EVF248的摄像装置100，但是不限于此，也可以是具有显示部213和EVF248中的任一方的装置。

另外，在上述第一实施方式中，例示了沿上下方向分割成多个的裂像，但是不限于此，也可以适用沿左右方向或倾斜方向分割成多个的图像作为裂像。

另外，在上述第一实施方式中，列举显示裂像的方式例而进行了说明，但是不限于此，也可以根据左眼图像和右眼图像而生成其他对焦确认图像，并显示对焦确认图像。例如，也可以将左眼图像和右眼图像重叠而合成显示，在焦点偏离的情况下，作为双重像而显示，在对焦的状态下清晰地显示图像。

另外，在上述第一实施方式中，列举根据图12所示的输入输出函数F(W)来确定输出用的显示颜色的例子而进行了说明，但是不限于此，也可以使用预先存储于预定的存储区域(例如存储器26)的颜色转换表而确定输出用的显示颜色。在该情况下，作为颜色转换表的一例，可以列举输出值随着输入值的增加而减少的颜色转换表。另外，颜色转换表的输入和输出所涉及的数据可以是基于图12所示的输入输出函数F(W)而生成的数据，也可以是基于色相环而生成的数据。由此，能够以简单的结构提高通常图像与裂像的边界线的视觉确认性。另外，可以说，在根据图13所示的输入输出函数G(W)来确定输出用的显示颜色的情况下也同样。

另外，在上述第一实施方式中说明的图像输出处理的流程(参照图14)、白平衡处理的流程(参照图15)、有彩色赋予处理的流程(参照图16)、显示颜色差别化处理的流程(参照图17)和显示颜色同化处理的流程(参照图18)是一例。因此，也可以在不脱离主旨的范围内删除不需要的步骤、或增加新的步骤、或更换处理顺序，这是不言而喻的。另外，图像输出处理所包含的各处理可以通过执行程序而利用计算机由软件结构实现，也可以由硬件结构实现。另外，也可以通过硬件结构和软件结构的组合而实现。对于白平衡处理、有彩色赋予处理、显示颜色差别化处理和显示颜色同化处理也同样。

另外，在通过利用计算机执行程序而实现图像输出处理的情况下，将程序预先存储于预定的存储区域(例如存储器26)即可。对于白平衡处理、有彩色赋予处理、显示颜色差别化处理和显示颜色同化处理也同样。另外，不必一定从最初就存储于存储器26。例如，也可以首先将程序存储在与计算机连接而使用的软盘、所谓的FD、CD-ROM、DVD盘、光磁盘、IC卡等任意的“移动型的存储介质”。并且，也可以使计算机从这些移动型的存储介质取得程序而执行。另外，也可以将各程序存储于经由互联网、LAN(Local Area Network：局域网)等而与计算机连接的其他计算机或者服务器装置等，并由计算机从这些取得程序而执行。

[第二实施方式]

在上述第一实施方式中，例示了摄像装置100，但是作为摄像装置100的变形例的移动终端装置，例如能够列举具有相机功能的移动电话、智能手机、PDA(Personal DigitalAssistants：个人数字助理)、便携式游戏机等。以下，列举智能手机为例，并参照附图详细地进行说明。

图24是表示智能手机500的外观的一例的立体图。图24所示的智能手机500具有平板状的壳体502，并在壳体502的一面具备显示输入部520，该显示输入部520是作为显示部的显示面板521和作为输入部的操作面板522成为一体而成的。另外，壳体502具备扬声器531、麦克风532、操作部540和相机部541。另外，壳体502的结构不限于此，例如，也能够采用显示部和输入部独立而成的结构，或者采用具有折叠构造、滑动构造的结构。

图25是表示图24所示的智能手机500的结构的一例的框图。如图25所示，作为智能手机500的主要的结构要素，具备无线通信部510、显示输入部520、通话部530、操作部540、相机部541、存储部550和外部输入输出部560。另外，作为智能手机500的主要的结构要素，具备GPS(Global Positioning System：全球定位***)接收部570、运动传感器部580、电源部590和主控制部501。另外，作为智能手机500的主要的功能，具备经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。

无线通信部510根据主控制部501的指示，对收纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。

显示输入部520是所谓的触摸面板，具备显示面板521和操作面板522。因此，显示输入部520利用主控制部501的控制，显示图像(静止图像和动态图像)、文字信息等并视觉性地向用户传递信息，并且检测对于所显示的信息的用户操作。另外，在欣赏所生成的3D的情况下，显示面板521优选为是3D显示面板。

显示面板521使用LCD、OELD(Organic Electro-Luminescence Display：有机发光显示器)等作为显示装置。操作面板522是载置成能够目视确认显示于显示面板521的显示面上的图像并检测由用户的手指、尖笔所操作的一或多个坐标的设备。当由用户的手指、尖笔对该设备进行操作时，将因操作而产生的检测信号输出到主控制部501。接下来，主控制部501基于所接收到的检测信号，检测显示面板521上的操作位置(坐标)。

如图24所示，智能手机500的显示面板521和操作面板522成为一体而构成显示输入部520，但是成为操作面板522完全覆盖显示面板521那样的配置。在采用该配置的情况下，操作面板522也可以具备对显示面板521以外的区域也检测用户操作的功能。换言之，操作面板522也可以具备对于与显示面板521重叠的重叠部分的检测区域(以下，称作显示区域)和对于除此以外的未与显示面板521重叠的外缘部分的检测区域(以下，称作非显示区域)。

另外，也可以使显示区域的大小和显示面板521的大小完全一致，但是也没有必要必须使两者一致。另外，操作面板522也可以具备外缘部分和除此以外的内侧部分这两个感应区域。此外，外缘部分的宽度根据壳体502的大小等而适当设计。此外，作为在操作面板522所采用的位置检测方式，能够列举矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式和静电电容方式等，也能够采用其中任一种方式。

通话部530具备扬声器531、麦克风532。通话部530将通过麦克风532而输入的用户的声音转换为能够由主控制部501处理的声音数据并输出到主控制部501。另外，通话部530对由无线通信部510或外部输入输出部560接收到的声音数据进行解码而从扬声器531输出。另外，如图24所示，例如，能够将扬声器531搭载于与设有显示输入部520的面相同的面，并将麦克风532搭载于壳体502的侧面。

操作部540是使用键开关等的硬件键，接收来自用户的指示。例如，如图24所示，操作部540是如下的按钮式开关：搭载于智能手机500的壳体502的侧面，当利用手指等按下时接通，当松开手指时通过弹簧等的回复力而成为断开状态。

存储部550存储：主控制部501的控制程序、控制数据；应用软件；与通信对方的名称、电话号码等建立对应而成的地址数据；及所收发的电子邮件的数据。另外，存储部550存储利用Web浏览下载的Web数据、所下载的内容数据。另外，存储部550临时存储流数据等。另外，存储部550具有：智能手机内置的内部存储部551；和拆装自如的具有外部存储器插槽的外部存储部552。另外，构成存储部550的各内部存储部551和外部存储部552使用闪存式(flash memory type)、硬盘式(hard disk type)等存储介质而实现。作为存储介质，除此之外，还能够例示微型多媒体卡式(multimedia card micro type)、卡式的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory：随机存取存储器)、ROM(ReadOnly Memory：只读存储器)。

外部输入输出部560起到与连接于智能手机500的所有的外部设备的接口的作用，用于通过通信等或网络而与其他外部设备直接或间接地连接。作为与其他外部设备的通信等，例如能够列举通用串行总线(USB)、IEEE1394等。作为网络，例如能够列举互联网、无线LAN、蓝牙(Bluetooth(注册商标))、RFID(Radio Frequency Identification：无线射频识别)和红外线通信(Infrared Data Association：IrDA(注册商标))。另外，作为网络的其他例，能够列举UWB(Ultra Wideband：超宽带(注册商标))、紫蜂(ZigBee(注册商标))等。

作为与智能手机500连接的外部设备，例如能够列举有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插座而连接的存储卡(Memory card)。作为外部设备的其他例，能够列举SIM(Subscriber Identity Module Card：客户识别模块卡)/UIM(UserIdentity Module Card：用户识别模块卡)卡、经由音频/视频I/O(Input/Output：输入/输出)端子而连接的外部音频/视频设备。除了外部音频/视频设备外，还能够列举无线连接的外部音频/视频设备。另外，也能够替代外部音频/视频设备，例如适用有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。

外部输入输出部能够将从这种外部设备接收传送的数据传递到智能手机500的内部的各结构要素、将智能手机500的内部的数据传送到外部设备。

GPS接收部570根据主控制部501的指示，接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收到的多个GPS信号的测位运算处理，检测该智能手机500的由纬度、经度、高度构成的位置。GPS接收部570在能够从无线通信部510、外部输入输出部560(例如无线LAN)取得位置信息时，也能够使用该位置信息来检测位置。

运动传感器部580例如具备三轴加速度传感器等，根据主控制部501的指示而检测智能手机500的物理性的移动。通过检测智能手机500的物理性的移动，检测智能手机500移动的方向、加速度。该检测结果被输出到主控制部501。

电源部590根据主控制部501的指示向智能手机500的各部供给存储于蓄电池(未图示)的电力。

主控制部501具备微处理器，根据存储部550所存储的控制程序、控制数据而动作，对智能手机500的各部集中地进行控制。另外，主控制部501为了通过无线通信部510进行声音通信、数据通信而具备控制通信***的各部的移动通信控制功能和应用处理功能。

应用处理功能通过根据存储部550所存储的应用软件使主控制部501动作而实现。作为应用处理功能，例如有：控制外部输入输出部560而与相对设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能和阅览网页的Web浏览功能等。

另外，主控制部501具备基于接收数据、下载的流数据等图像数据(静止图像、动态图像的数据)而将影像显示于显示输入部520等图像处理功能。图像处理功能是指，主控制部501对上述图像数据进行解码，对该解码结果实施图像处理，而将图像显示于显示输入部520的功能。

此外，主控制部501执行对显示面板521的显示控制和检测通过操作部540、操作面板522进行的用户操作的操作检测控制。

通过执行显示控制，主控制部501显示用于启动应用软件的图标、滚动条等软件键，或显示用于生成电子邮件的窗口。另外，滚动条是指，用于对于没有完全收纳于显示面板521的显示区域的较大的图像等接收使图像的显示部分移动的指示的软件键。

另外，通过执行操作检测控制，主控制部501检测通过操作部540进行的用户操作，通过操作面板522接收对上述图标的操作、对上述窗口的输入栏的字符串的输入。另外，通过执行操作检测控制，主控制部501接收通过滚动条进行的显示图像的滚动请求。

此外，通过执行操作检测控制，主控制部501判定对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的未与显示面板521重叠的外缘部分(非显示区域)。并且，具备接收该判定结果而控制操作面板522的感应区域、软件键的显示位置的触摸面板控制功能。

另外，主控制部501也能够检测对操作面板522的手势操作，根据所检测出的手势操作，执行预先设定的功能。手势操作并非以往的单纯的触摸操作，而是指利用手指等描绘轨迹、或同时指定多个位置、或将这些组合而从多个位置对至少一个描绘轨迹的操作。

相机部541是使用CMOS、CCD等摄像元件而进行摄像的数码相机，具备与图1等所示的摄像装置100同样的功能。

另外，相机部541能够切换手动对焦模式和自动对焦模式。当选择手动对焦模式时，通过对操作部540或显示于显示输入部520的对焦用的图标按钮等进行操作，能够进行相机部541的摄影透镜的对焦。并且，在手动对焦模式时，使合成有裂像的即时预览图像显示于显示面板521，由此，能够确认手动对焦时的对焦状态。另外，也可以将图9所示的混合式取景器220设于智能手机500。

另外，相机部541通过主控制部501的控制，将通过拍摄所得到的图像数据转换为例如JPEG(Joint Photographic coding Experts Group：联合图像专家小组)等压缩后的图像数据。并且，能够将转换而得到的数据记录于存储部550，或通过外部输入输出部560、无线通信部510而输出。在图24所示的智能手机500中，相机部541搭载于与显示输入部520相同的面，但是相机部541的搭载位置不限于此，也可以搭载于显示输入部520的背面，或者，也可以搭载多个相机部541。另外，也能够在搭载有多个相机部541的情况下，切换用于摄像的相机部541而单独进行摄像，或者同时使用多个相机部541而进行摄像。

另外，相机部541能够用于智能手机500的各种功能。例如，能够在显示面板521显示由相机部541取得的图像、作为操作面板522的操作输入之一而利用相机部541的图像。另外，在GPS接收部570检测位置时，也能够参照来自相机部541的图像来检测位置。此外，也能够参照来自相机部541的图像而不使用三轴加速度传感器或与三轴加速度传感器并用，而判断智能手机500的相机部541的光轴方向、判断当前的使用环境。当然，也能够在应用软件内利用来自相机部541的图像。

除此之外，也能够对静止画面或动态画面的图像数据附加各种信息而记录于存储部550，或者通过输入输出部560、无线通信部510而输出。作为在此所说的“各种信息”，例如能够列举附加到静止画面或动态图像的图像数据的由GPS接收部570取得的位置信息、由麦克风532取得的声音信息(也可以由主控制部等进行声音文本转换而成为文本信息)。除此之外，也可以是由运动传感器部580取得的姿势信息等等。

另外，在上述各实施方式中，例示了具有第一～第三像素组的摄像元件20，但是本发明不限于此，也可以是仅由第一像素组和第二像素组构成的摄像元件。具有这种摄像元件的数码相机能够基于从第一像素组输出的第一图像和从第二像素组输出的第二图像而生成三维图像(3D图像)，也能够生成二维图像(2D图像)。在该情况下，二维图像的生成例如通过在第一图像和第二图像的相互的相同颜色的像素间进行插值处理而实现。另外，也可以不进行插值处理，而采用第一图像或第二图像作为二维图像。

在上述各实施方式中，列举在通常图像的显示区域内显示裂像的例子而进行了说明，但是本发明不限于此，也可以对显示装置不显示通常图像(第一显示用图像的一例)而显示裂像(第二显示用图像)。另外，也可以使用全部画面而显示裂像。作为在此所说的“裂像”，能够例示在使用仅由相位差像素组(例如第一像素组和第二像素组)构成摄像元件情况下和使用相对于通常像素以预定的比例配置有相位差像素(例如第一像素组和第二像素组)的摄像元件的情况下基于从相位差像素组输出的图像(例如从第一像素组输出的第一图像和从第二像素组输出的第二图像)的裂像。如此，本发明不限于将通常图像和裂像这双方同时显示于显示装置的相同画面的方式，也可以在指示了裂像的显示的状态下解除了通常图像的显示指示的情况下，显示控制部36进行对显示装置不显示通常图像而显示裂像的控制。

附图标记说明

12 CPU

20 摄像元件

26 存储器

28 图像处理部

30 通常处理部

32 裂像处理部

36 显示控制部

100 摄像装置

213 显示部

247 LCD

Claims (21)

1.一种图像处理装置，包括：

第一显示用图像生成部，基于从包含第一像素组和第二像素组的摄像元件输出的图像信号而生成第一显示用图像，所述第一像素组和第二像素组使通过了摄影透镜中的左侧区域和右侧区域的被摄体像进行光瞳分割而分别成像；

第二显示用图像生成部，基于从所述第一像素组和第二像素组输出的第一图像信号和第二图像信号，生成用于对焦确认的第二显示用图像；

获取部，取得由所述第一显示用图像生成部生成的所述第一显示用图像的颜色信息；

确定部，基于由所述获取部取得的颜色信息，将具有与所述第一显示用图像的颜色特性不同的颜色特性的颜色确定为所述第二显示用图像的显示颜色；

显示部，显示图像；及

显示控制部，使所述显示部显示由所述第一显示用图像生成部生成的所述第一显示用图像并且在该第一显示用图像的显示区域内显示由所述第二显示用图像生成部生成的所述第二显示用图像。

2.根据权利要求1所述的图像处理装置，其中，

将具有所述不同的颜色特性的颜色设为能够目视确认是与所述第一显示用图像的颜色特性不同的颜色特性这一情况的颜色。

3.根据权利要求1或2所述的图像处理装置，其中，

所述获取部从所述第一显示用图像的一部分或全部取得所述颜色信息。

4.根据权利要求1或2所述的图像处理装置，其中，

所述获取部基于所述第一显示用图像和所述第一图像信号、或者基于所述第一显示用图像和第二图像信号、或基于所述第一显示用图像和所述第二显示用图像，取得所述颜色信息。

5.根据权利要求1所述的图像处理装置，其中，

所述摄像元件具有：用于拍摄所述第一显示用图像的通常摄像区域和用于拍摄所述第二显示用图像并且与所述通常摄像区域相邻的对焦确认摄像区域，

所述获取部从所述第一显示用图像中的、从所述通常摄像区域中的与所述对焦确认摄像区域的边界侧的边缘部输出的图像取得所述颜色信息。

6.根据权利要求1所述的图像处理装置，其中，

将所述颜色信息设为表示所述第一显示用图像的物体颜色的颜色特性的颜色信息。

7.根据权利要求6所述的图像处理装置，其中，

将所述颜色特性设为色相。

8.根据权利要求6或7所述的图像处理装置，其中，

将具有所述不同的颜色特性的颜色设为在色相环中与所述第一显示用图像的物体颜色隔开预先规定的角度的颜色。

9.根据权利要求6所述的图像处理装置，其中，

将所述第一显示用图像的物体颜色的颜色特性设为所述第一显示用图像中的原色成分的构成比。

10.根据权利要求9所述的图像处理装置，其中，

将利用包含减函数的输入输出函数对所述构成比进行转换而得到的转换后的所述构成比设为所述不同的颜色特性。

11.根据权利要求9所述的图像处理装置，其中，

将利用颜色转换数据对所述构成比进行转换而得到的转换后的所述构成比设为所述不同的颜色特性。

12.根据权利要求11所述的图像处理装置，其中，

将所述颜色转换数据设为基于包含减函数的输入输出函数而生成的颜色转换数据。

13.根据权利要求1所述的图像处理装置，其中，

将所述颜色信息设为表示所述第一显示用图像的光源色的颜色特性的颜色信息。

14.根据权利要求1所述的图像处理装置，其中，

将所述第一像素组和第二像素组分别设为单色的像素组，

所述第二显示用图像生成部基于从所述第一像素组和第二像素组输出的所述第一图像信号和第二图像信号，生成无彩色的图像作为所述第二显示用图像。

15.根据权利要求14所述的图像处理装置，其中，

在所述第二显示用图像是无彩色图像的情况下，所述确定部基于由所述获取部取得的颜色信息，将具有与所述第一显示用图像的颜色特性不同的颜色特性的有彩色确定为所述第二显示用图像的显示颜色。

16.根据权利要求1所述的图像处理装置，其中，

在所述第一显示用图像和第二显示用图像是无彩色图像的情况下，所述确定部基于由所述获取部取得的颜色信息，将具有与所述第一显示用图像的颜色特性不同的颜色特性的有彩色确定为所述第二显示用图像的显示颜色。

17.根据权利要求1所述的图像处理装置，其中，

所述确定部基于由所述获取部取得的颜色信息，将在所述第二显示用图像中的基于所述第一图像的区域和基于所述第二图像的区域中不同的有彩色确定为所述第二显示用图像的显示颜色，且该有彩色具有与所述第一显示用图像的颜色特性不同的颜色特性。

18.根据权利要求1所述的图像处理装置，其中，

在满足使所述第一显示用图像的颜色特性和所述第二显示用图像的颜色特性接近的预先规定的条件的情况下，所述确定部基于由所述获取部取得的颜色信息，将具有以预先规定的程度与所述第一显示用图像的颜色特性接近的颜色特性的颜色进一步确定为所述第二显示用图像的显示颜色。

19.根据权利要求1所述的图像处理装置，其中，

所述摄像元件具有第三像素组，该第三像素组使被摄体像不进行光瞳分割而成像并输出第三图像信号，

所述第一显示用图像生成部基于从所述第三像素组输出的所述第三图像信号，生成所述第一显示用图像。

20.一种摄像装置，包括：

权利要求1～19中任一项所述的图像处理装置；及

存储从所述摄像元件输出的图像的存储部。

21.一种图像处理方法，包括：

第一显示用图像生成工序，基于从包含第一像素组和第二像素组的摄像元件输出的图像信号而生成第一显示用图像，所述第一像素组和第二像素组使通过了摄影透镜中的左侧区域和右侧区域的被摄体像进行光瞳分割而分别成像；

第二显示用图像生成工序，基于从所述第一像素组和第二像素组输出的第一图像信号和第二图像信号，生成用于对焦确认的第二显示用图像；

获取工序，取得由所述第一显示用图像生成工序生成的所述第一显示用图像的颜色信息；

确定工序，基于由所述获取工序取得的颜色信息，将具有与所述第一显示用图像的颜色特性不同的颜色特性的颜色确定为所述第二显示用图像的显示颜色；及

显示控制工序，使显示图像的显示部显示由所述第一显示用图像生成工序生成的所述第一显示用图像并且在该第一显示用图像的显示区域内显示由所述第二显示用图像生成工序生成的所述第二显示用图像。