CN104903769A - 图像处理装置、摄像装置、程序及图像处理方法 - Google Patents

图像处理装置、摄像装置、程序及图像处理方法 Download PDF

Info

Publication number
CN104903769A
CN104903769A CN201380069085.2A CN201380069085A CN104903769A CN 104903769 A CN104903769 A CN 104903769A CN 201380069085 A CN201380069085 A CN 201380069085A CN 104903769 A CN104903769 A CN 104903769A
Authority
CN
China
Prior art keywords
image
focusing
display
area
auto
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380069085.2A
Other languages
English (en)
Other versions
CN104903769B (zh
Inventor
井上和纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104903769A publication Critical patent/CN104903769A/zh
Application granted granted Critical
Publication of CN104903769B publication Critical patent/CN104903769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

提供能够没有不适感地进行手动的调焦的图像处理装置、摄像装置、程序及图像处理方法。基于从具有第一及第二像素组的摄像元件输出的图像信号来生成第一显示用图像(S403)，并且根据基于从第一及第二像素组输出的图像信号的第一及第二图像来生成用于对焦确认的第二显示用图像(S407)，上述第一及第二像素组使通过了摄像透镜的第一及第二区域的被摄体像进行光瞳分割而分别成像，使显示部显示所生成的第一显示用图像(S405)，并且在该第一显示用图像的显示区域内显示所生成的第二显示用图像(S409)，在输入了预先确定的指示的情况下，在至少一部分与第二显示用图像的显示区域的至少一部分重复的对焦区域进行自动对焦(S423)。

Description

图像处理装置、摄像装置、程序及图像处理方法
技术领域
本发明涉及图像处理装置、摄像装置、程序及图像处理方法，尤其是生成并显示用于对被摄体像的对焦状态进行确认的图像的图像处理装置、摄像装置、程序及图像处理方法。
背景技术
以往，在数码相机、带相机的移动电话等摄像装置中，为了使通过手动进行调焦的操作容易，一直以来使用将裂像显示在即时预览图像(所谓实时取景图像)内的技术。另外，裂像是对与被摄体像的预定区域对应的左眼图像的一部分和右眼图像的一部分进行合成而得到的图像。在该裂像中，根据对焦状态而在左眼图像与右眼图像之间产生相对于视差产生方向的偏移。利用该技术，使用者通过对裂像中的左眼图像与右眼图像的偏移进行视觉辨认而确认对焦状态。
作为使用了该技术的摄像装置，日本特开2009-237214号公报(以下称为“专利文献1”)中公开了如下摄像装置：能够将裂像和对与即时预览图像的一部分对应的部分图像进行放大而成的图像组合并显示。该摄像装置具备在手动对焦时使显示单元切换显示裂像和与被摄体像的一部分对应的部分图像的单元。
另一方面，日本特开2005-222036号公报(以下称为“专利文献2”)公开了如下的摄像装置：在进行手动的调焦时，通过进行自动对焦的控制，对上述调焦进行辅助。该摄像装置维持手动对焦用的第一聚焦透镜的位置，并且通过操作单元的操作来使自动对焦用的第二聚焦透镜移动，由此能够调整基于上述第一聚焦透镜的手动对焦下的对焦状态。
发明内容
发明所要解决的课题
一直以来，人们希望开发以下的摄像装置：使用者在确认裂像并手动地进行调焦时能够通过进行自动对焦的控制而进一步辅助调焦。
在此，考虑到通过在专利文献1所公开的技术上组合专利文献2所公开的技术而实现上述摄像装置。在使用者使用裂像来手动地进行调焦的情况下，确认裂像的状态并进行调焦。因此，在使用裂像的手动的调焦时进一步进行自动对焦的控制的情况下，需要对在进行手动的调焦时作为对象的图像区域与在进行自动的对焦控制时作为对象的图像区域进行匹配。
但是，在专利文献2所公开的技术中，不限制在进行自动的对焦控制时作为对象的图像区域的适用范围。因此，存在如下问题：进行手动的调焦时作为对象的图像区域与进行自动的对焦控制时作为对象的图像区域未必一定匹配，未必一定能够没有不适感地进行手动的调焦。
本发明鉴于上述问题而作出，其目的是提供能够没有不适感地进行手动的调焦的图像处理装置、摄像装置、程序及图像处理方法。
用于解决课题的方案
为了实现上述目的，本发明的图像处理装置具备：生成部，基于从具有第一像素组和第二像素组的摄像元件输出的图像信号来生成第一显示用图像，并且根据基于从上述第一像素组和上述第二像素组输出的图像信号的第一图像和第二图像来生成用于对焦确认的第二显示用图像，上述第一像素组和第二像素组使通过了摄像透镜的第一区域和第二区域的被摄体像进行光瞳分割而分别成像；显示部，显示图像；显示控制部，进行如下控制：使上述显示部显示由上述生成部生成的上述第一显示用图像，并且在上述第一显示用图像的显示区域内显示由上述生成部生成的上述第二显示用图像；及自动对焦部，在输入了预先确定的指示的情况下，上述自动对焦部在至少一部分与上述第二显示用图像的显示区域的至少一部分重复的对焦区域进行自动对焦。
根据本发明的图像处理装置，由生成部基于从具有第一及第二像素组的摄像元件输出的图像信号来生成第一显示用图像，上述第一及第二像素组使通过了摄像透镜的第一及第二区域的被摄体像进行光瞳分割而分别成像。
另外，在本发明中，由生成部根据基于从上述第一及第二像素组输出的图像信号的第一及第二图像来生成用于对焦确认的第二显示用图像。
此外，在本发明中，由显示控制部进行如下控制：使显示图像的显示部显示由上述生成部生成的上述第一显示用图像，并且在上述第一显示用图像的显示区域内显示由上述生成部生成的上述第二显示用图像。
在此，在本发明中，在输入了预先确定的指示的情况下，由自动对焦部在至少一部分与上述第二显示用图像的显示区域的至少一部分重复的对焦区域进行自动对焦。
如此，根据本发明的图像处理装置，在进行自动对焦时，使作为对象的图像区域即对焦区域的至少一部分与第二显示用图像(裂像)的图像区域的至少一部分重复，因此能够没有不适感地进行手动的调焦。
另外，为了实现上述目的，本发明的图像处理装置具备：生成部，基于从具有第一像素组和第二像素组的摄像元件输出的图像信号来生成第一显示用图像，并且根据基于从第一像素组和第二像素组输出的图像信号的第一图像和第二图像来生成用于对焦确认的第二显示用图像，上述第一像素组和第二像素组使通过了摄像透镜的第一区域和第二区域的被摄体像进行光瞳分割而分别成像；显示部，显示图像；显示控制部，进行如下控制：抑制显示部对由生成部生成的第一显示用图像的显示，并且使显示部显示由生成部生成的第二显示用图像；及自动对焦部，在输入了预先确定的指示的情况下，上述自动对焦部在至少一部分与第二显示用图像的显示区域的至少一部分重复的对焦区域进行自动对焦。
根据本发明的图像处理装置，由生成部基于从具有第一及第二像素组的摄像元件输出的图像信号来生成第一显示用图像，上述第一及第二像素组使通过了摄像透镜的第一及第二区域的被摄体像进行光瞳分割而分别成像。
另外，在本发明中，由生成部根据基于从上述第一及第二像素组输出的图像信号的第一及第二图像来生成用于对焦确认的第二显示用图像。
此外，在本发明中，由显示控制部进行如下控制：抑制显示部对由生成部生成的第一显示用图像的显示，并且使显示部显示由生成部生成的第二显示用图像。
在此，在本发明中，在输入了预定的指示的情况下，由自动对焦部在至少一部分与上述第二显示用图像的显示区域的至少一部分重复的对焦区域进行自动对焦。
如此，根据本发明的图像处理装置，在进行自动对焦时，使作为对象的图像区域即对焦区域的至少一部分与第二显示用图像的图像区域的至少一部分重复，因此能够没有不适感地进行手动的调焦。
另外，在本发明的图像处理装置中，也可以是，上述自动对焦部在以预先确定的第一阈值以上的面积的比例与上述第二显示用图像的显示区域重复的对焦区域进行自动对焦。由此，能够设定第二显示用图像与对焦图像的重复的程度。
另外，在本发明的图像处理装置中，也可以是，上述显示控制部进行使上述显示部进一步显示表示上述对焦区域的范围的信息的控制。由此，使用者能够视觉辨认对焦区域，因此能够提高便利性。
另外，在本发明的图像处理装置中，也可以是，还具备提取部，提取上述第二显示用图像内的与主要被摄体对应的区域的至少一部分作为被摄体区域，上述自动对焦部将由上述提取部提取的上述被摄体区域作为上述对焦区域而进行自动对焦。由此，能够对焦于第二显示用图像内的主要被摄体。
另外，在本发明的图像处理装置中，也可以是，上述提取部提取与人的脸部对应的区域的至少一部分作为上述被摄体区域。由此，能够对焦于第二显示用图像内的人的脸部。
另外，在本发明的图像处理装置中，也可以是，上述自动对焦部将至少一部分与上述第二显示用图像的显示区域的至少一部分重复且包含上述第一显示用图像的显示区域内的中央部在内的预先确定的区域作为上述对焦区域而进行自动对焦。由此，能够将主要被摄体存在的可能性高的图像区域设为自动对焦的对象。
另外，在本发明的图像处理装置中，也可以是，还具备接收部，接收表示对焦区域的位置的位置信息的输入，自动对焦部基于由接收部接收到的位置信息来移动对焦区域的位置而进行自动对焦。由此，使用者能够将所期望的区域作为对焦区域而进行自动对焦。
另外，在本发明的图像处理装置中，也可以是，仅在基于位置信息移动后的对焦区域的至少一部分与第二显示用图像的显示区域的至少一部分重复的情况下，自动对焦部进行该移动而进行自动对焦。由此，能够更可靠地没有不适感地进行手动的调焦。
另外，在本发明的图像处理装置中，也可以是，在基于位置信息移动后的对焦区域为第二显示用图像的显示区域外的情况下，显示控制部进行停止第二显示用图像的显示的控制。由此，能够避免有不适感的调焦。
另外，在本发明的图像处理装置中，接收部在由显示控制部进行了停止第二显示用图像的显示的控制后再次接收位置信息的输入，在由接收部再次接收到位置信息的情况下，在基于该位置信息移动后的对焦区域的至少一部分与第二显示用图像的显示区域的至少一部分重复的情况下，显示控制部进行恢复第二显示用图像的显示的控制。由此，即使在使用者对对焦区域的移动目的地的指定错误的情况下，也能够进行无不适感的调焦。
另外，在本发明的图像处理装置中，也可以是，还具备第二提取部，提取上述第一显示用图像内的与主要被摄体对应的区域的至少一部分作为第二被摄体区域，在由上述第二提取部提取的上述第二被摄体区域为上述第二显示用图像的显示区域外的情况下，上述自动对焦部将在上述显示区域内距上述第二被摄体区域的距离最短的预先确定的大小的区域作为上述对焦区域而进行自动对焦。由此，即使在主要被摄体存在于第二显示用图像的显示区域外的情况下，也能够更无不适感地进行调焦。
另外，在本发明的图像处理装置中，也可以是，还具备第二接收部，接收对上述第二显示用图像的放大进行指示的放大指示信息的输入，在由上述第二接收部接收到上述放大指示信息的输入的情况下，上述显示控制部进行使上述第二显示用图像放大而显示的控制，在由上述显示控制部进行了使上述第二显示用图像放大而显示的控制的情况下，上述自动对焦部以上述第二显示用图像的放大率以下的放大率来放大上述对焦区域而进行自动对焦。由此，能够防止与对第二显示用图像及对焦区域进行放大相伴的对焦区域相对于第二显示用图像的溢出增加。
另外，在本发明的图像处理装置中，也可以是，在上述放大后的上述对焦区域的大小比预先确定的第二阈值大的情况下，上述自动对焦部将上述对焦区域设为上述第二阈值的大小而进行自动对焦。由此，能够抑制对焦区域中包含主要被摄体以外的图像，能够提高自动对焦的精度。
另一方面，为了实现上述目的，本发明所记载的摄像装置具备：本发明的图像处理装置、上述摄像透镜及上述摄像元件。
因此，根据本发明的摄像装置，与本发明的图像处理装置相同地发挥作用，因此能够与本发明的图像处理装置相同地，没有不适感地进行手动的调焦。
另外，为了实现上述目的，本发明的程序使计算机作为生成部、显示控制部和自动对焦部而发挥作用，生成部基于从具有第一像素组和第二像素组的摄像元件输出的图像信号来生成第一显示用图像，并且根据基于从上述第一像素组和上述第二像素组输出的图像信号的第一图像和第二图像来生成用于对焦确认的第二显示用图像，上述第一像素组和第二像素组使通过了摄像透镜的第一区域和第二区域的被摄体像进行光瞳分割而分别成像；显示控制部进行如下控制：使显示图像的显示部显示由上述生成部生成的上述第一显示用图像，并且在上述第一显示用图像的显示区域内显示由上述生成部生成的上述第二显示用图像；在输入了预先确定的指示的情况下，上述自动对焦部在至少一部分与上述第二显示用图像的显示区域的至少一部分重复的对焦区域进行自动对焦。
因此，根据本发明的程序，使计算机与本发明的图像处理装置相同地发挥作用，因此能够与本发明的图像处理装置相同地，没有不适感地进行手动的调焦。
此外，为了实现上述目的，本发明的图像处理方法具备：生成步骤，基于从具有第一像素组和第二像素组的摄像元件输出的图像信号来生成第一显示用图像，并且根据基于从上述第一像素组和上述第二像素组输出的图像信号的第一图像和第二图像来生成用于对焦确认的第二显示用图像，上述第一像素组和第二像素组使通过了摄像透镜的第一区域和第二区域的被摄体像进行光瞳分割而分别成像；显示控制步骤，进行如下控制：使显示图像的显示部显示由上述生成步骤生成的上述第一显示用图像，并且在上述第一显示用图像的显示区域内显示由上述生成步骤生成的上述第二显示用图像；及自动对焦步骤，在输入了预先确定的指示的情况下，在至少一部分与上述第二显示用图像的显示区域的至少一部分重复的对焦区域进行自动对焦。
因此，根据本发明的图像处理方法，与本发明的图像处理装置相同地发挥作用，因此能够与本发明的图像处理装置相同地，没有不适感地进行手动的调焦。
发明效果
根据本发明，起到能够没有不适感地进行手动的调焦的效果。
附图说明
图1是表示第一至第五实施方式的作为可换镜头相机的摄像装置的外观的一例的立体图。
图2是表示第一至第五实施方式的摄像装置的背面侧的背面图。
图3是表示第一至第五实施方式的摄像装置的电气***的结构的一例的框图。
图4是表示设于实施方式的摄像装置的摄像元件上的滤色器及遮光部件的配置的一例的概略配置图。
图5是表示实施方式的摄像装置的摄像元件的相位差像素(第一像素及第二像素)的结构的一例的概略结构图。
图6是表示实施方式的摄像装置的主要部分功能的一例的框图。
图7A是表示实施方式的通常图像及裂像的显示形态的一例的主视图。
图7B是表示实施方式的通常图像及裂像的显示形态的一例的主视图。
图8是表示第一实施方式的摄影控制处理程序的处理的流程的流程图。
图9A是表示第一实施方式的裂像的区域的一例的主视图。
图9B是表示第一实施方式的裂像及控制自动对焦时的对焦区域的一例的主视图。
图9C是表示第一实施方式的裂像及控制自动对焦时的对焦区域的一例的主视图。
图9D是表示第一实施方式的裂像及控制自动对焦时的对焦区域的一例的主视图。
图9E是表示第一实施方式的裂像及控制自动对焦时的对焦区域的一例的主视图。
图9F是表示第一实施方式的裂像及控制自动对焦时的对焦区域的一例的主视图。
图10是表示第二实施方式的摄影控制处理程序的处理的流程的流程图。
图11A是表示第二实施方式的裂像及控制自动对焦时的对焦区域的一例的主视图。
图11B是表示第二实施方式的裂像及控制自动对焦时的对焦区域的一例的主视图。
图11C是表示第二实施方式的裂像及控制自动对焦时的对焦区域的一例的主视图。
图12是表示第三实施方式的摄影控制处理程序的处理的流程的流程图。
图13A是表示第三实施方式的控制自动对焦时的对焦区域的一例的主视图。
图13B是表示第三实施方式的裂像及控制自动对焦时的对焦区域的一例的主视图。
图14是表示第四实施方式的摄影控制处理程序的处理的流程的流程图。
图15A是表示第四实施方式的裂像及控制自动对焦时的对焦区域的一例的主视图。
图15B是表示第四实施方式的裂像及控制自动对焦时的对焦区域的一例的主视图。
图15C是表示第四实施方式的裂像及控制自动对焦时的对焦区域的一例的主视图。
图16是表示第五实施方式的摄影控制处理程序的处理的流程的流程图。
图17A是表示第五实施方式的裂像及控制自动对焦时的对焦区域的一例的主视图。
图17B是表示第五实施方式的裂像及控制自动对焦时的对焦区域的一例的主视图。
图18是表示设于实施方式的摄像装置的摄像元件上的滤色器的排列及遮光部件的配置的一例的概略配置图。
图19是表示设于实施方式的摄像装置的摄像元件上的滤色器的排列及遮光部件的配置的一例的概略配置图。
图20是表示设于实施方式的摄像装置的摄像元件上的滤色器的排列及遮光部件的配置的一例的概略配置图。
图21是表示设于实施方式的摄像装置的摄像元件上的滤色器的排列及遮光部件的配置的一例的概略配置图。
图22是表示设于实施方式的摄像装置的摄像元件上的滤色器的排列及遮光部件的配置的一例的概略配置图。
图23是表示设于实施方式的摄像装置的摄像元件上的滤色器的排列及遮光部件的配置的一例的概略配置图。
图24是表示实施方式的裂像的显示区域的分割方法的一例的主视图。
图25是表示实施方式的裂像的显示区域的分割方法的一例的主视图。
图26A是表示实施方式的裂像的显示区域的分割方法的一例的主视图。
图26B是表示实施方式的裂像的显示区域的分割方法的一例的主视图。
图27是表示第六实施方式的智能手机的外观的一例的立体图。
图28是表示第六实施方式的智能手机的电气***的主要部分结构的一例的框图。
具体实施方式
以下，根据附图对本发明的摄像装置的实施方式的一例进行说明。
[第一实施方式]
本实施方式的摄像装置100是可换镜头相机。另外，如图1所示，摄像装置100是包含相机主体200和可更换地安装于相机主体200的可换镜头258(摄影透镜、聚焦环260)且省略了反射镜的数码相机。另外，在相机主体200设有混合式取景器(注册商标)220。在此所说的混合式取景器220是指例如可选择性地使用光学取景器(以下称为“OVF”)及电子取景器(以下称为“EVF”)的取景器。
相机主体200与可换镜头258通过使相机主体200所具备的安装件256和与安装件256对应的靠可换镜头258侧的安装件346(参照图3)结合而可更换地安装。另外，在可换镜头258的镜筒上设有聚焦环260，能够伴随着聚焦环260的旋转操作而使聚焦透镜沿着光轴方向移动，在与被摄体距离对应的对焦位置处使被摄体光成像于后述的摄像元件20(参照图3)。
在相机主体200的前表面设有包含于混合式取景器220的OVF的取景窗241。另外，在相机主体200的前表面设有取景器切换杆214。当使取景器切换杆214沿箭头SW方向转动时，在能够通过OVF视觉辨认的光学图像和能够通过EVF视觉辨认的电子图像(即时预览图像)之间进行切换(后述)。另外，OVF的光轴L2是与可换镜头258的光轴L1不同的光轴。另外，在相机主体200的上表面主要设有释放开关211及用于设定摄影模式、重放模式等的拨盘212。
释放开关211构成为能够检测出从待机位置被按下至中间位置(半按位置)的状态和被按下至超过中间位置的最终按下位置(全按位置)的状态这两阶段的按压操作。另外，以下，将“从待机位置被按下至半按位置的状态”称为“半按状态”，将“从待机位置被按下至全按位置的状态”称为“全按状态”。在本第一实施方式的摄像装置100中，通过将释放开关211设为半按状态而执行后述的摄影控制处理，之后当接着将其设为全按状态时，进行曝光(摄影)。
如图2所示，在相机主体200的背面设有：OVF的取景器目镜部242、显示部213、十字键222、菜单/确认键224、返回/显示按钮225。
十字键222作为输出菜单的选择、变焦、画面进给等各种指令信号的多功能的键而发挥作用。菜单/确认键224是兼具如下功能的操作键：作为用于发出在显示部213的画面上显示菜单的指令的菜单按钮的功能；和作为对选择内容的确定及执行等进行指令的确定按钮的功能。返回/显示按钮225在删除选择项目等所期望对象、取消指定内容或返回到前一个操作状态时等使用。
显示部213通过例如LCD来实现，用于显示作为在摄影模式时以连续帧进行摄像而得到的连续帧图像的一例的即时预览图像(实时取景图像)。另外，显示部213也用于显示作为在赋予了拍摄静止画面的指示的情况下以单帧进行摄像而得到的单帧图像的一例的静止图像。此外，显示部213也用于重放模式时的重放图像的显示、菜单画面等的显示。
摄像装置100是对所拍摄的静止图像、动态图像进行记录的数码相机，相机整体的动作由图3所示的CPU(Central Processing Unit：中央处理装置)12统一控制。如该图所示，摄像装置100除了CPU12以外还包含：操作部14、接口部24、存储器26及编码器34。另外，摄像装置100包含：作为本发明的显示控制单元的一例的显示控制部36、目镜检测部37及外部接口(I/F)39。另外，摄像装置100包含作为本发明的生成单元及视差计算单元的一例的图像处理部28。
CPU12、操作部14、接口部24、存储器26、图像处理部28、编码器34、显示控制部36、目镜检测部37及外部接口(I/F)39经由总线40而相互连接。另外，存储器26具有：存储有参数、程序等的非易失性存储区域(作为一例是EEPROM等)；和暂时存储图像等各种信息的易失性存储区域(作为一例是SDRAM等)。
另外，在本第一实施方式的摄像装置100中，CPU12通过以通过摄像得到的图像的对比度值成为最大的方式对调焦马达进行驱动控制而进行对焦控制。另外，CPU12算出AE信息，上述AE信息是表示通过摄像得到的图像的亮度的物理量。在释放开关211为半按状态时，CPU12导出与由AE信息表示的图像的亮度对应的快门速度及F值。并且，以成为所导出的快门速度及F值的方式对相关各部进行控制，由此设定曝光状态。
操作部14是对摄像装置100赋予各种指示时由操作者操作的使用者接口。通过操作部14而接收的各种指示作为操作信号而输出到CPU12，CPU12执行与从操作部14输入的操作信号对应的处理。
操作部14包含：释放开关211、拨盘212、显示部213、取景器切换杆214、十字键222、菜单/确认键224及返回/显示按钮225。
当通过拨盘212设定摄影模式时，表示被摄体的图像光经由包含能够通过手动操作而移动的聚焦透镜在内的摄影透镜16及快门18而成像在彩色的摄像元件(作为一例是CMOS传感器)20的受光面上。蓄积于摄像元件20的信号电荷通过从控制部22施加的读出信号而作为与信号电荷(电压)相应的数字信号被依次读出。摄像元件20具有所谓的电子快门功能，通过使其发挥电子快门功能，利用读出信号的时刻对各光传感器的电荷蓄积时间(快门速度)进行控制。另外，本第一实施方式的摄像元件20是CMOS型的图像传感器，但并不限定于此，也可以是CCD图像传感器。
在摄像元件20上作为一例设有如图4所示的滤色器21。作为一例如图4所示，滤色器21包含：与为了获得亮度信号而贡献最大的G(绿色)对应的第一滤光片G、与R(红色)对应的第二滤光片R及与B(蓝色)对应的第三滤光片B。
另外，本实施方式的摄像装置100具有相位差AF功能。此外，本实施方式的摄像元件20包含在使相位差AF功能发挥作用的情况下使用的多个相位差检测用像素。该多个相位差检测用像素以预定的图案配置。
相位差检测用像素是水平方向的左半部分被遮光的第一像素L及水平方向的右半部分被遮光的第二像素R中的任一个。另外，以下，在不需要对第一像素L及第二像素R进行区别说明的情况下，称为“相位差像素”。
作为一例如图5所示，第一像素L具有遮光部件20A，第二像素R具有遮光部件20B。遮光部件20A设于光电二极管PD的前表面侧(微透镜M侧)，对受光面的左半部分进行遮光。另一方面，遮光部件20B设于光电二极管PD的前表面侧，对受光面的右半部分进行遮光。
微透镜M及遮光部件20A、20B作为光瞳分割部而发挥作用，第一像素L仅接收通过了摄影透镜16的射出光瞳的光束的光轴的左侧的光，第二像素R仅接收通过摄影透镜16的射出光瞳的光束的光轴的右侧的光。如此，通过射出光瞳的光束被作为光瞳分割部的微透镜M及遮光部件20A、20B左右分割，并分别入射到第一像素L及第二像素R。
另外，与通过摄影透镜16的射出光瞳的光束中的左半部分的光束对应的被摄体像和与右半部分的光束对应的被摄体像中的对焦的(为对焦状态)部分成像于摄像元件20上的相同的位置。相对于此，对焦于比被摄体靠前方的焦点前移或对焦于比被摄体靠后方的焦点后移的部分分别入射到摄像元件20上的不同的位置(相位偏移)。由此，与左半部分的光束对应的被摄体像和与右半部分的光束对应的被摄体像能够作为视差不同的视差图像(左眼图像、右眼图像)而取得。
本实施方式的摄像装置100基于第一像素L的像素值与第二像素R的像素值来检测相位的偏移量。并且，通过提示所检测出的相位的偏移量，辅助基于使用者操作进行的摄影透镜16的焦点位置的调整。另外，以下，在不需要对遮光部件20A、20B进行区别说明的情况下，不标注附图标记并称为“遮光部件”。
本实施方式的摄像元件20被分类为第一像素组、第二像素组及第三像素组。第一像素组是指例如多个第一像素L。第二像素组是指例如多个第二像素R。第三像素组是指例如多个通常像素。在此所说的“通常像素”是指例如相位差像素以外的像素(例如不具有遮光部件20A、20B的像素)。另外，以下，将由从第一像素组输出的图像信号表示的RAW图像称为“第一图像”。另外，将由从第二像素组输出的图像信号表示的RAW图像称为“第二图像”。此外，将由从第三像素组输出的图像信号表示的RAW图像称为“第三图像”。
第一像素组及第二像素组所包含的各像素在第一像素组与第二像素组之间配置成水平方向上的位置在1个像素内对齐的位置。另外，第一像素组及第二像素组所包含的各像素在第一像素组与第二像素组之间配置成垂直方向上的位置也在1个像素内对齐的位置。在图4所示的例子中，在水平方向及垂直方向的各个方向上，第一像素L与第二像素R以隔着多个像素量(在本实施方式为2个像素量)的间隔的方式呈直线状交替地配置。
另外，在图4所示的例子中，将第一及第二像素组所包含的各像素的位置设为在水平方向及垂直方向的各个方向上在1个像素内对齐的位置，但也可以设为在水平方向及垂直方向的至少一方向上容纳于预定像素数内(例如2个像素以内)的位置。另外，为了最大限度地抑制由于焦点偏移以外的原因而产生图像偏移，优选的是，作为一例如图4所示，将第一及第二像素组所包含的各像素的位置设为在水平方向及垂直方向的各个方向上在1个像素内对齐的位置。
作为一例如图4所示，相位差像素设于与2×2像素(例如，从图4的主视图左上第3行3列、第3行4列、第4行3列及第4行4列的像素)对应的正方排列的G滤光片的像素。在本实施方式中，2×2像素的G滤光片中的图4的主视图右下角的像素被分配相位差像素。
如此，在滤色器21中对2×2像素的G滤光片的右下角部的像素设有遮光部件，在垂直方向及水平方向上都以隔开多个像素量的间隔的方式规则地配置有相位差像素。因此，由于在相位差像素的周围配置比较多的通常像素，因此能够提高根据通常像素的像素值对相位差像素的像素值进行插值的情况下的插值精度。而且，在相位差像素之间以插值所利用的通常像素不重复的方式配置有第一至第三像素组所包含的各像素，因此能够期待插值精度的更进一步的提高。
返回到图3，摄像元件20从第一像素组输出表示第一图像的图像信号(表示各第一像素的像素值的数字信号)，从第二像素组输出表示第二图像的图像信号(表示各第二像素的像素值的数字信号)。另外，摄像元件20从第三像素组输出表示第三图像的图像信号(表示各通常像素的像素值的数字信号)。另外，上述第三图像是有彩色的图像，例如是与通常像素的排列相同的颜色排列的彩色图像。另外，表示上述第一图像、上述第二图像及上述第三图像的图像数据经由接口部24暂时存储于存储器26中的易失性存储区域。
另外，图像处理部28具有通常处理部30。通常处理部30通过对与第三像素组对应的R、G、B信号进行处理而生成作为第一显示用图像的一例的有彩色的通常图像。另外，图像处理部28具有裂像处理部32。裂像处理部32通过对与第一像素组及第二像素组对应的G信号进行处理而生成作为第二显示用图像的一例的无彩色的裂像。另外，本实施方式的图像处理部28作为一例，通过将实现图像处理的多个功能的电路汇总为一个的集成电路即ASIC(Application Specific IntegratedCircuit：专用集成电路)来实现。在此，CPU12执行后述的摄影控制处理程序，进行使裂像处理部32生成裂像并使显示部213显示所生成的裂像的控制。但是，图像处理部28的硬件结构不限定于ASIC，例如也可以是包含可编程逻辑设备、CPU、ROM以及RAM在内的计算机等其他硬件结构。
另一方面，编码器34将所输入的信号转换为其他形式的信号并输出。另外，混合式取景器220具有显示电子图像的LCD247。LCD247中的预定方向的像素数(作为一例是视差产生方向即水平方向的像素数)比显示部213中的该方向的像素数少。显示控制部36分别连接于显示部213及LCD247，通过选择性地控制LCD247及显示部213而由LCD247或显示部213显示图像。另外，以下，在不需要对显示部213及LCD247进行区别说明的情况下，称作“显示装置”。
另外，本实施方式的摄像装置100构成为能够通过拨盘212对手动对焦模式和自动对焦模式进行切换。当选择任一对焦模式时，显示控制部36使显示装置显示合成有裂像的即时预览图像。另外，当通过拨盘212选择自动对焦模式时，CPU12作为相位差检测部及自动调焦部而动作。相位差检测部检测从第一像素组输出的第一图像和从第二像素组输出的第二图像的相位差。自动调焦部基于检测出的相位差以使摄影透镜16的散焦量为零的方式，从设备控制部22经由安装件256、346控制透镜驱动部(省略图示)，而使摄影透镜16移动到对焦位置。另外，上述的“散焦量”例如是指第一图像及第二图像的相位偏移量。
另外，目镜检测部37检测使用者观察取景器目镜部242这一情况，并将检测结果输出到CPU12。因此，CPU12能够基于目镜检测部37的检测结果来掌握是否在使用取景器目镜部242。
此外，外部I/F39与LAN(Local Area Network：局域网)、互联网等通信网连接，经由通信网而管理外部装置(例如打印机)与CPU12之间的各种信息的收发。因此，在作为外部装置连接有打印机的情况下，摄像装置100能够将拍摄到的静止图像输出到打印机并进行印刷。另外，在作为外部装置连接有显示器的情况下，摄像装置100能够将拍摄到的静止图像、即时预览图像输出到显示器并进行显示。
如图6所示，通常处理部30及裂像处理部32分别具有：WB增益部、伽马校正部及去马赛克算法处理部(省略图示)，由各处理部依次对暂时存储于存储器26的原始的数字信号(RAW图像)进行信号处理。即，WB增益部通过对R、G、B信号的增益进行调整而执行白平衡校正(WB)。伽马校正部对由WB增益部进行了WB的各R、G、B信号进行伽马校正。去马赛克算法处理部进行与摄像元件20的滤色器21的排列对应的颜色插值处理，而生成进行了去马赛克算法的R、G、B信号。另外，摄像元件20每取得1画面量的RAW图像，通常处理部30及裂像处理部32就对该RAW图像并行地进行图像处理。
通常处理部30从接口部24输入R、G、B的RAW图像，并对第三像素组的R、G、B像素中的被相位差图像遮光的像素，利用第一像素组及第二像素组中的相同颜色的周边像素(例如相邻的G像素)进行插值。并且，通常处理部30也可以将通过上述插值得到的图像作为显示用通常图像及记录用通常图像。
另外，通常处理部30将所生成的记录用通常图像的图像数据输出到编码器34。由通常处理部30处理后的R、G、B信号由编码器34转换(编码)为记录用信号，记录于记录部42(参照图6)。另外，通常处理部30将所生成的显示用通常图像的图像数据输出到显示控制部36。另外，以下，为了方便说明，在不需要对上述“记录用通常图像”及“显示用通常图像”进行区别说明的情况下，省略“记录用”这一词句及“显示用”这一词句而称为“通常图像”。
摄像元件20能够改变第一像素组及第二像素组各自的曝光条件(作为一例是电子快门的快门速度)，由此能够同时取得曝光条件不同的图像。因此，图像处理部28能够基于曝光条件不同的图像而生成宽动态范围的图像。另外，能够以相同的曝光条件同时取得多个图像，能够通过对这些图像相加而生成噪声少的高灵敏度的图像，或生成高分辨率的图像。
另一方面，裂像处理部32从暂时存储于存储器26的RAW图像提取第一像素组及第二像素组的G信号，并基于第一像素组及第二像素组的G信号来生成无彩色的裂像。从RAW图像提取的第一像素组及第二像素组分别如上所述，是G滤光片的像素的像素组。因此，裂像处理部32能够基于第一像素组及第二像素组的G信号来生成无彩色的左侧的视差图像及无彩色的右侧的视差图像。另外，以下，为了方便说明，将上述“无彩色的左侧的视差图像”称为“左眼图像”，将上述“无彩色的右侧的视差图像”称为“右眼图像”。
裂像处理部32通过对基于从第一像素组输出的第一图像的左眼图像与基于从第二像素组输出的第二图像的右眼图像进行合成而生成裂像。所生成裂像的图像数据输出到显示控制部36。
显示控制部36基于从通常处理部30输入的与第三像素组对应的记录用图像数据和从裂像处理部32输入的与第一、第二像素组对应的裂像的图像数据，生成显示用图像数据。例如，显示控制部36在由从通常处理部30输入的与第三像素组对应的记录用图像数据表示的通常图像的显示区域内合成由从裂像处理部32输入的图像数据表示的裂像。并且，将合成而得到的图像数据输出到显示装置。
由裂像处理部32生成的裂像是对左眼图像的一部分与右眼图像的一部分进行合成而得到的多个分割的图像。作为在此所说的“多个分割的图像”，例如可以列举图7A及图7B所示的裂像300。裂像300是对将左眼图像300A沿图7A及图7B的主视图上下方向分割成2个而得到的分割图像中的上半部分的分割图像和将右眼图像300B相同地进行分割而得到的分割图像中的下半部分的分割图像进行合成而得到的图像。裂像300是左眼图像300A及右眼图像300B的各分割图像之间沿预定的方向(在本实施方式中是图7A及图7B的主视图左右方向)偏移与对焦状态相应的量的图像。
在本实施方式中，在将裂像300与通常图像301合成时，通过代替通常图像的一部分的图像并嵌入裂像300而进行合成，但合成方法不限定于此。例如，也可以是将裂像300重叠在通常图像301上的合成方法。另外，在重叠裂像300时，可以是对与重叠裂像300的区域对应的通常图像301的一部分的图像与裂像300的透过率进行适当调整而使其重叠的合成方法。或者也可以使通常图像301及裂像300分别以不同的图层显示。由此，能够在即时预览图像中的通常图像的显示区域内显示裂像300。另外，即时预览图像是使连续地拍摄的被摄体像连续地显示在显示装置的画面上时的、表示被摄体像的图像。
另外，如图6所示，混合式取景器220包含：OVF240及EVF248。OVF240是具有物镜244和目镜246的逆伽利略式取景器，EVF248具有：LCD247、棱镜245及目镜246。
另外，在物镜244的前方配置有液晶快门243，液晶快门243以在使用EVF248时光学图像不入射到物镜244的方式进行遮光。
棱镜245使显示于LCD247的电子图像或各种信息反射而引导到目镜246，并且将光学图像与显示于LCD247的信息(电子图像、各种信息)合成。
在此，当使取景器切换杆214沿图1所示的箭头符号SW方向转动时，每次转动就使能够通过OVF240对光学图像进行视觉辨认的OVF模式和能够通过EVF248对电子图像进行视觉辨认的EVF模式交替地切换。
在OVF模式的情况下，显示控制部36以使液晶快门243为非遮光状态的方式进行控制，使得能够从取景器目镜部242对光学图像进行视觉辨认。另外，使LCD247仅显示裂像300。由此，能够显示在光学图像的一部分重叠有裂像300的取景器像。
另一方面，在EVF模式的情况下，显示控制部36以使液晶快门243为遮光状态的方式进行控制，使得能够从取景器目镜部242仅对显示于LCD247的电子图像进行视觉辨认。另外，向LCD247输入与输出到显示部213的合成有裂像的图像数据同等的图像数据。由此，能够与显示部213相同地在通常图像301的一部分上显示合成有裂像的电子图像。
设为向显示装置输入了分别表示通常图像301及裂像300的图像信号。在该情况下，作为一例如图7A及图7B所示，显示装置在画面中央部的设为矩形形状的裂像300的显示区域302显示由所输入的图像信号表示的裂像300。另外，显示装置在裂像300的外周区域显示所输入的图像信号所表示的通常图像301。另外，在未输入表示裂像300的图像信号而仅输入了表示通常图像301的图像信号的情况下，显示装置在显示装置的显示区域的整个区域显示由所输入的图像信号表示的通常图像301。另外，在未输入表示通常图像301的图像信号而输入了表示裂像300的图像信号的情况下，显示装置在显示区域302显示由所输入的图像信号表示的裂像300，并将外周区域设为空白区域。
然而，本实施方式的摄像装置100具备如下功能：在设定为手动对焦模式的状态下进行了预定的操作的情况下，进行自动对焦控制。并且，本实施方式的摄像装置100将裂像300显示于显示装置，并且在进行了上述操作的情况下进行自动对焦控制，另外，在进行了指示摄影的操作的情况下，执行进行摄影的摄影控制处理。
接着，参照图8对本实施方式的摄像装置100的作用进行说明。另外，图8是表示在摄像装置100设定为手动对焦模式并且通过拨盘212设定为摄影模式时由CPU12执行的摄影控制处理程序的处理的流程的流程图。该程序预先存储于存储器26的预定的存储区域。
另外，在此省略关于释放开关211为半按状态的情况下的处理的记载。
首先，在步骤S401中，经由接口部24取得表示基于从第一像素组输出的图像信号的左眼图像300A的图像数据及表示基于从第二像素组输出的图像信号的右眼图像300B的图像数据。另外，所取得的各图像数据由CPU12存储于预定的存储区域(例如存储器26)。
在接下来的步骤S403中，经由接口部24取得表示基于从第三像素组输出的图像信号的通常图像301的图像数据。此时，CPU12取得表示基于从第三像素组输出的图像信号的通常图像301的图像数据，但表示通常图像301的图像数据的取得方法不限定于此。即，也可以基于分别表示所取得的左眼图像300A及右眼图像300B的图像数据而生成表示通常图像301的图像数据。
作为生成表示通常图像301的图像数据的方法，例如例示将左眼图像300A或右眼图像300B直接作为通常图像301的方法。另外，也可以是如下的方法：在左眼图像300A或右眼图像300B中在相邻的各像素之间配置补充像素，将包围该补充像素的像素的像素值的平均值作为该补充像素的像素值而生成表示通常图像301的图像数据。此外，生成通常图像301的方法也可以是通过对左眼图像300A及右眼图像300B进行合成而生成通常图像301的方法。
在接下来的步骤S405中，进行使通常图像301显示于显示部213的控制。另外，在本实施方式中，使通常图像301显示于显示部213，但不限定于此，也可以显示于LCD247。另外，也可以是，在由目镜检测部37检测出使用者观察取景器目镜部242的情况下，使通常图像301显示于LCD247，在其以外的情况下，使通常图像301显示于显示部213。
在接下来的步骤S407中，进行使裂像处理部32生成裂像的控制。首先，裂像处理部32从存储器26读出表示显示部213中的裂像300的显示区域的信息(以下称为“显示区域信息”，在本实施方式中是位于显示区域中的中央部且形状及大小被预定的区域。)。在本实施方式中，在存储器26中作为上述显示区域信息而预先存储有通过各显示装置的显示区域内的预定的坐标系表示的、表示显示区域302的范围的信息。另外，裂像处理部32确定左眼图像300A及右眼图像300B各自的分割方向。在本实施方式中，表示上述分割方向的信息(以下称为“分割方向信息”。)预先存储于存储器26，通过读出该分割方向信息而确定上述分割方向。此外，裂像处理部32从存储器26读出表示左眼图像300A及右眼图像300B各自的分割数的信息(以下称为“分割数信息”。)。在本实施方式中，在存储器26中预先存储有该分割数信息。裂像处理部32基于通过以上的处理得到的分别表示显示区域、分割方向及分割数的信息而生成裂像300。
在接下来的步骤S409中，进行使由裂像处理部32生成的裂像300显示于显示部213的显示区域的控制。作为一例如图9A所示，CPU12进行如下控制：使通常图像301显示于显示部213的显示区域的整体，并且使裂像300重叠显示于通常图像301的中央部。
在接下来的步骤S411中，通过判定是否经由操作部14进行了操作输入，对是否由使用者进行了操作输入进行判定。在步骤S411中为肯定判定的情况下移至步骤S413，在为否定判定的情况下移至后述的步骤S435。
在接下来的步骤S413中，对经由操作部14进行的操作输入是否是自动对焦控制的指示进行判定。此时，在通过操作部14进行了用于输入自动对焦控制的指示的预定的操作的情况下，CPU12判定为经由操作部14进行的操作输入是自动对焦控制的指示。在步骤S413中为肯定判定的情况下移至步骤S415，另一方面，在为否定判定的情况下移至后述的步骤S425。
在接下来的步骤S415中，对存在于裂像300的显示区域内的主要被摄体进行识别。在本实施方式的摄像装置100中，CPU12根据裂像300对主要被摄体进行识别，提取将主要被摄体的重心设为中心且形状及大小被预定的区域，将所提取的区域设为被摄体区域304。本实施方式的被摄体区域304作为一例如图9B所示，设为形状、大小为预定的矩形形状的区域。但是，被摄体区域304的决定方法不限定于此，也可以是，将以预定的分割数(例如7×7)对通常图像301的显示区域呈网格状地进行分割而得到的多个区域中的、包含上述主要被摄体的重心在内的区域设为被摄体区域340。另外，也可以对本实施方式的摄像装置100附加脸部识别功能，作为主要被摄体而对人的脸部进行识别。
另外，在本实施方式的摄像装置100中，在步骤S415的处理中未识别出主要被摄体的情况下，CPU12将在裂像300中处于与摄像装置100最近的位置的物体设为主要被摄体。但是，未识别出主要被摄体的情况下的主要被摄体的识别方法不限定于此，也可以设为以裂像300的中央部为中心且预定的形状及大小的区域。
在接下来的步骤S417中，对用于进行自动对焦控制的区域即对焦区域的位置进行调整。在本实施方式的摄像装置100中，将与主要被摄体对应的区域、即所提取的被摄体区域304设为对焦区域306。此时，如图9B所示，由于被摄体区域304是在裂像300的内部提取的区域，因此对焦区域与裂像300的显示区域重复。但是，也可以将对焦区域306的位置调整为至少一部分与裂像300的显示区域的至少一部分(例如重复的面积的比例为预定的阈值以上)重复。另外，在本实施方式中，将该阈值设为50％。即，也可以调整为对焦区域306整体的面积中的一半以上的面积与裂像300重复。
在接下来的步骤S421中，进行如下控制：使通常图像301及裂像300重叠，并使表示对焦区域的范围的信息显示于显示部213。在本实施方式中，如图9C所示，CPU12使表示对焦区域306的外框的外框图像308显示。另外，在已经进行了步骤S413至S423的处理并显示了对焦区域306的情况下，将对焦区域306重新显示于在上述步骤S417中进行了调整的位置。另外，作为表示对焦区域306的范围的信息，也可以将对焦区域306内的显示颜色设为预定的配色或在对焦区域306内显示网状物、网眼(mesh)等。
在接下来的步骤S423中，在调整后的对焦区域进行自动对焦控制。此时，如上所述，CPU12作为相位差检测部及自动调焦部进行动作，使摄影透镜16的焦点位置移动到对焦位置，从而使用对焦区域306内的被摄体像进行自动对焦控制。
在步骤S425中，对经由操作部14进行的操作输入是否是表示用于使对焦区域306移动的指示的移动指示信息进行判定。该移动指示信息是包含表示对焦区域306的移动目的地的信息在内的信息，例如，是表示移动方向和移动量的信息。在本实施方式的移动指示信息中，移动方向例如通过十字键222输入，移动量例如通过十字键222的操作次数来输入。
在步骤S425中为否定判定的情况下移至步骤S427，在进行了与操作输入相应的处理后移至步骤S435。
在步骤S425中为否定判定的情况下移至后述的步骤S435，另一方面，在为肯定判定的情况下移至步骤S427。另一方面，在步骤S425中为肯定判定的情况下移至步骤S429。
在步骤S429中，对由上述移动指示信息指定的对焦区域306的移动目的地是否在允许设定对焦区域306的允许范围内进行判定。另外，本实施方式的允许范围是裂像300的显示区域。这是因为考虑到使用者使用裂像300进行调焦，通过将进行自动对焦控制的对焦区域306设为裂像300的显示区域内，能够有效地辅助由使用者进行的调焦。
在步骤S429中为否定判定的情况下移至步骤S421，对使用者发出表示移动目的地在允许范围外的警告，并移至上述步骤S413。在本实施方式的摄像装置100中，作为一例如图9D所示，通过使表示该警告的信息310显示于显示部213而对使用者发出警告，但发出警告的方法不限定于此，例如也可以以声音输出该警告。
另一方面，在步骤S429中为肯定判定的情况下移至步骤S433，使对焦区域306移动并重新显示。作为一例如图9E所示，CPU12使对焦区域306移动到由使用者指定的位置，并且如图9F所示，重新显示表示移动后的对焦区域306的外框的外框图像308。
在接下来的步骤S435中，对是否输入了摄影指示进行判定。此时，在检测出对释放开关211的全按操作的情况下，CPU12判定为输入了摄影指示。在步骤S429中为否定判定的情况下返回到上述步骤S401，另一方面，在为肯定判定的情况下移至步骤S437。
在步骤S437中，进行将表示通常图像301的图像数据记录于存储器26的摄影处理，结束本摄影控制处理程序。另外，由于上述摄影处理是一般情况下进行的处理，因此省略在此的说明。
另外，在本实施方式的摄像装置100中，移动指示信息是包含表示移动方向和移动量的信息在内的信息，但移动指示信息所包含的信息不限定于此。例如，移动指示信息也可以代替包含表示移动方向和移动量的信息在内的信息，而包含设为移动目的地的、表示通常图像301上(显示区域上的位置)的位置的信息。在该情况下，在上述步骤S429中，对使对焦区域306移动到由上述移动指示信息指定的位置的情况下的该对焦区域306的位置是否在允许设定对焦区域306的允许范围内进行判定。
另外，在使用裂像300的手动对焦模式中，有时在多个对焦区域306进行自动对焦控制(所谓多点自动对焦控制)。在该情况下，仅将与裂像300的显示区域重复的对焦区域306设为有效的对焦区域306，仅在有效的对焦区域306进行自动对焦控制。在该情况下，也可以将与裂像300重复的区域的面积为整体的面积的一半以下的对焦区域306设为无效的对焦区域306。
[第二实施方式]
以下，使用附图详细地对第二实施方式的摄像装置100进行说明。
在上述第一实施方式中，将被摄体区域304设为对焦区域306，另一方面，在第二实施方式中，将预定的区域设为对焦区域306。
另外，由于第二实施方式的摄像装置100的结构与第一实施方式的摄像装置100相同，因此在此省略说明。但是，在本实施方式的存储器26中预先存储有表示对焦区域306的显示位置的信息。在本实施方式中，表示对焦区域306的显示位置的信息设为显示装置的显示区域的中央部。
接着，参照图10对执行本实施方式的摄影控制处理时的摄影装置100的作用进行说明。另外，图10是表示此时由摄影装置100的CPU12执行的摄影控制处理程序的处理的流程的流程图。该程序预先存储于存储器26的预定区域。
另外，对与第一实施方式的摄影控制处理相同的步骤标注相同的步骤编号，并省略重复的说明。
在本实施方式中，在步骤S413中为否定判定的情况下移至步骤S426，在进行了与操作输入相应的处理后移至步骤S435。
另外，在进行了步骤S413的处理后移至步骤S416。
在步骤S416中，从存储器26读出表示上述对焦区域306的显示位置的位置信息，从而取得表示对焦区域306的显示位置的信息。
在接下来的步骤S417中，基于上述位置信息，对用于进行自动对焦控制的区域即对焦区域的位置进行调整。在本实施方式的摄像装置100中，作为一例如图11A所示，将以上述位置信息表示的位置(显示装置的显示区域的中央部)为中心且形状及大小为预定的矩形形状的区域设为对焦区域306。此时，在裂像300的显示位置从显示装置的显示区域的中央部偏离的情况下，作为一例如图11B所示，在裂像300内与显示装置的显示区域的中央部最近的位置设定对焦区域306即可。另外，由上述位置信息表示的位置不限定于此，作为一例如图11C所示，也可以将裂像300内的中央部设为对焦区域306的中心。
[第三实施方式]
以下，使用附图详细地对第三实施方式的摄像装置100进行说明。
在上述第一实施方式中，在裂像300内对主要被摄体进行识别，另一方面，在第三实施方式中，在通常图像301内对主要被摄体进行识别。
另外，由于第三实施方式的摄像装置100的结构与第一实施方式及第二实施方式的摄像装置100相同，因此在此省略说明。
接着，参照图12，对执行本实施方式的摄影控制处理时的摄影装置100的作用进行说明。另外，图12是表示此时由摄影装置100的CPU12执行的摄影控制处理程序的处理的流程的流程图。该程序预先存储于存储器26的预定区域。
另外，对与第一实施方式及第二实施方式的摄影控制处理相同的步骤标注相同的步骤编号，并省略重复的说明。
在本实施方式中，在步骤S413中为肯定判定的情况下移至步骤S4161。
在步骤S4161中，对存在于通常图像301的显示区域内的主要被摄体进行识别。由于识别主要被摄体的方法与上述第一实施方式的步骤S415相同，因此在此省略说明。
在接下来的步骤S4162中，对与主要被摄体对应的被摄体区域304是否位于裂像300的外部进行判定。另外，在本实施方式中，在被摄体区域304中的与裂像300的显示区域重复的区域的面积的比例比预定的第三阈值小的情况下，CPU12判定为位于裂像300的外部。
在步骤S4161中为肯定判定的情况下移至步骤S 1163，另一方面，在为否定判定的情况下移至步骤S417。
在步骤S4163中，导出在裂像300内距被摄体区域304的距离最短且形状及大小为预定的矩形形状的区域，并移至步骤S417。
在步骤S417中，调整对焦区域306的位置。在本实施方式的摄像装置100中，作为一例如图13A所示，设为被摄体区域304位于裂像300的外部。在该情况下，作为一例如图13B所示，将通过上述步骤S4163的处理导出的、在裂像300内距被摄体区域304的距离最短的区域设为对焦区域306。另一方面，在本实施方式的摄像装置100中，在被摄体区域304位于裂像300的内部的情况下，将所提取的被摄体区域304设为对焦区域406。
[第四实施方式]
以下，使用附图详细地对第四实施方式的摄像装置100进行说明。
在上述第三实施方式中，在被摄体区域304位于裂像300外的情况下，在裂像300内设定对焦区域306。另一方面，在第四实施方式中，在被摄体区域304位于裂像300外的情况下，将被摄体区域304设为对焦区域306，并且停止显示裂像300。
另外，由于第四实施方式的摄像装置100的结构与第一实施方式至第三实施方式的摄像装置100相同，因此在此省略说明。
接着，参照图14对执行本实施方式的摄影控制处理时的摄影装置100的作用进行说明。另外，图14是表示此时由摄影装置100的CPU12执行的摄影控制处理程序的处理的流程的流程图。该程序预先存储于存储器26的预定区域。
另外，对与第一实施方式至第三实施方式的摄影控制处理相同的步骤标注相同的步骤编号，并省略重复的说明。
在本实施方式中，在步骤S4162中为肯定判定的情况下移至步骤S4164，另一方面，在为否定判定的情况下移至步骤S4165。
在步骤S4164中，进行使裂像300重叠于通常图像301而显示于显示部213的控制，并移至步骤S417。另外，在该时刻在显示裂像300的情况下，CPU12使裂像300的显示继续。
在步骤S4165中，进行使显示部213停止裂像300的显示的控制，然后移至步骤S417。另外，在该时刻裂像300的显示已经停止的情况下，CPU12使裂像300的显示继续停止。
在步骤S417中，调整对焦区域306的位置。在本实施方式的摄像装置100中，在被摄体区域304位于裂像300的内部的情况下，CPU12作为一例如图15A所示地显示裂像300。另一方面，在被摄体区域304位于裂像300的外部的情况下，CPU12作为一例如图15B所示地使裂像300的显示停止。
另外，在进行了步骤S433的处理后移至步骤S4331，在步骤S4331至S4333中进行与上述步骤S4162、S4164及S4165相同的处理，并移至步骤S435。另外，作为一例如图15B所示，设为在停止显示裂像300的状态下被摄体区域304移动到裂像300的内部。在该情况下，CPU12作为一例如15C所示地重新显示裂像300。
[第五实施方式]
以下，使用附图详细地对第五实施方式的摄像装置100进行说明。
在上述第一实施方式中，进行基于使用者的操作输入而使对焦区域306移动的控制，另一方面，在第五实施方式中，进行基于使用者的操作输入而使裂像300放大的控制。
另外，由于第五实施方式的摄像装置100的结构与第一实施方式至第四实施方式的摄像装置100相同，因此在此省略说明。但是，本实施方式的存储器26预先存储有表示对焦区域306的大小的上限值的上限信息。
接着，参照图16对执行本实施方式的摄影控制处理时的摄影装置100的作用进行说明。另外，图16是表示此时由摄影装置100的CPU12执行的摄影控制处理程序的处理的流程的流程图。该程序预先存储于存储器26的预定区域。
另外，对与第一实施方式至第四实施方式的摄影控制处理相同的步骤标注相同的步骤编号，并省略重复的说明。
在本实施方式中，在步骤S413中为肯定判定的情况下移至步骤S4161，另一方面，在为否定判定的情况下移至步骤S426。
在步骤S426中，对经由操作部14进行的操作输入是否是放大裂像300的指示进行判定。在本实施方式中，在经由操作部14输入了包含表示放大率的信息的放大信息的情况下，判定为经由操作部14进行的操作输入是放大裂像300的指示。在步骤S426中为否定判定的情况下移至步骤S427，另一方面，在为肯定判定的情况下移至步骤S430。
在步骤S430中，对基于上述指示信息使裂像300放大时随着该放大而放大的对焦区域306的大小是否在预定的范围内进行判定。另外，在本实施方式中，该预定的范围是对焦区域306的大小为由上述上限信息表示的上限值以下的范围。
在步骤S430中为肯定判定的情况下移至步骤S432，另一方面，在为否定判定的情况下移至后述的步骤S434。
在步骤S432中，在对使对焦区域306放大时的放大率进行限制后，移至步骤S434。在本实施方式的摄像装置100中，CPU12将放大对焦区域306时的放大率设为放大后的对焦区域306的大小成为上述上限值的放大率。
在步骤S434中，进行使显示部213放大显示裂像300及对焦区域306的控制。此时，作为一例如图17A所示，在放大后的对焦区域306的大小在预定的范围内的情况下，CPU12以与裂像300的放大率对应的放大率来放大对焦区域306。另一方面，作为一例如图17B所示，在放大后的对焦区域306的大小在预定的范围外的情况下，以所限制的放大率来放大对焦区域306。
另外，在上述第一实施方式至第五实施方式中，列举出并说明了对2×2像素的G滤光片配置单一的相位差像素的形态例，但并不限定于此，例如也可以对2×2像素的G滤光片配置一对第一像素L及第二像素R。例如如图18所示，也可以对2×2像素的G滤光片配置在行方向上相邻的一对第一像素L及第二像素R。另外，例如如图19所示，也可以对2×2像素的G滤光片配置在列方向上相邻的一对第一像素L及第二像素R。优选的是，在任一情况下都如在上述第一实施方式中所说明的那样，使第一像素L及第二像素R的位置在第一像素组与第二像素组之间，在列方向及行方向的至少一方向上在预定像素数内对齐。另外，图18及图19表示将第一像素L与第二像素R在第一像素组与第二像素组之间配置在使列方向及行方向的各个方向上的位置在1个像素内对齐的位置的例子。
另外，在上述第一实施方式至第五实施方式中，例示了具有基本排列图案C的滤色器21，但本发明不限定于此。例如如图20～22所示，也可以将滤色器的原色(R滤光片、G滤光片、B滤光片)的排列设为拜耳排列。在图20～图22所示的例子中，对G滤光片配置有相位差像素。
作为一例，图20所示的滤色器21A在将3×3像素的正方行列的四角及中央设为G滤光片的排列图案G1的中央配置有相位差像素。另外，第一像素L与第二像素R在行方向及列方向的各个方向上跳过1个像素量的G滤光片(在其间隔着1个像素量的G滤光片)而交替配置。另外，第一像素L和第二像素R在第一像素组与第二像素组之间配置在使列方向及行方向的各个方向上的位置在1个像素内对齐的位置。由此，基于排列图案G1的中央的相位差像素的图像能够利用基于排列图案G1的四角的通常像素的图像来进行插值，与不具有本结构的情况相比，能够提高插值精度。
而且，各排列图案G1的位置互不重复。即，第一像素L及第二像素R配置在利用第三图像进行插值的第一及第二图像所包含的像素以像素为单位不重复的位置，上述第三图像基于与第一及第二像素组中包含的各像素相邻的第三像素组所包含像素。因此，能够避免基于相位差像素的图像利用基于在基于其他相位差像素的图像的插值中利用的通常像素的图像进行插值。因此，能够进一步提高插值精度。
作为一例，图21所示的滤色器21B在排列图案G1的中央及图中主视图右下角配置有相位差像素。另外，第一像素L与第二像素R在行方向及列方向的各个方向上跳过2个像素量的G滤光片(在其间隔着2个像素量的G滤光片)而交替配置。由此，能够使第一像素L和第二像素R在第一像素组与第二像素组之间配置在使列方向及行方向的各个方向上的位置在1个像素内对齐的位置，并使第一像素L及第二像素R相邻。因此，能够抑制由于焦点偏移以外的原因产生图像偏移。
而且，由于各相位差像素与设有相同颜色的滤光片(G滤光片)的通常像素相邻，因此能够提高插值精度。并且，各排列图案G1的位置互不重复。即，第一像素L及第二像素R配置在使与利用第三图像进行插值的第一及第二图像所包含的像素以一对像素为单位不重复的位置，上述第三图像基于与第一及第二像素组中包含的各像素相邻的第三像素组所包含的像素。在此所说的“一对像素”是指例如各排列图案G1所包含的第一像素L及第二像素R(一对相位差像素)。因此，能够避免基于一对相位差像素的图像利用基于在基于其他一对相位差像素的图像的插值中利用的通常像素的图像进行插值。因此，能够进一步提高插值精度。
作为一例，图22所示的滤色器21C在排列图案G1的中央配置有第一像素L，在图中主视图右下角配置有第二像素R。另外，第一像素L在行方向及列方向的各个方向上跳过2个像素量的G滤光片而配置，第二像素R也在行方向及列方向的各个方向上跳过2个像素量的G滤光片而配置。由此，能够使第一像素L和第二像素R在第一像素组与第二像素组之间配置在使列方向及行方向的各个方向上的位置在2个像素内对齐的位置，并使第一像素L及第二像素R相邻。因此，能够抑制由于焦点偏移以外的原因产生图像偏移。
而且，在图22所示的例子中，与图21所示的例子相同，各排列图案G1的位置互不重复。因此，能够避免基于相位差像素的图像利用基于在基于其他相位差像素的图像的插值中利用的通常像素的图像进行插值。因此，能够进一步提高插值精度。
另外，作为滤色器的其他结构例，可以列举例如图23所示的滤色器21D。图23示意性地表示设于摄像元件20的滤色器21D的原色(R滤光片、G滤光片、B滤光片)的排列及遮光部件的配置的一例。在图23所示的滤色器21D中，第一～第四行排列在列方向上重复配置。第一行排列是指沿着行方向交替配置B滤光片及G滤光片而成的排列。第二行排列是指将第一行排列在行方向上错开半间距(半像素量)而成的排列。第三行排列是指沿着行方向交替配置G滤光片及R滤光片而成的排列。第四行排列是指将第三行排列在行方向上错开半间距而成的排列。
第一行排列及第二行排列在列方向上偏移半间距而相邻。第二行排列及第三行排列也在列方向上偏移半间距而相邻。第三行排列及第四行排列也在列方向上偏移半间距而相邻。第四行排列及第一行排列也在列方向上偏移半间距而相邻。因此，第一～四行排列的各行排列在列方向上每2个像素反复出现。
作为一例如图23所示，第一像素L及第二像素R被分配到第三及第四行排列。即，第一像素L被分配到第三行排列，第二像素R被分配到第四行排列。另外，第一像素L及第二像素R彼此相邻而(以最小间距)成对配置。另外，在图23所示的例子中，第一像素L在行方向及列方向的各个方向上每6像素分配一个，第二像素R也在行方向及列方向的各个方向上每6像素分配一个。由此，与不具有本结构的情况相比，高精度地算出第一像素组与第二像素组的相位差。
另外，在图23所示的例子中，在第一像素L及第二像素R分配有G滤光片。由于设有G滤光片的像素与设有其他颜色的滤光片的像素相比灵敏度良好，因此能够提高插值精度。而且，由于G滤光片与其他颜色的滤光片相比具有连续性，因此分配有G滤光片的像素与分配有其他颜色的滤光片的像素相比容易进行插值。
另外，在上述第一实施方式中，例示了沿上下方向分割成两份的裂像，但不限定于此，也可以适用为沿左右方向或倾斜方向分割成多个图像的裂像。
例如，图24所示的裂像66a由与行方向平行的多个分割线63a分割为奇数行与偶数行。在该裂像66a中，基于从第一像素组输出的输出信号而生成的行状(作为一例是长条状)的相位差图像66La显示于奇数行(偶数行也可以)。另外，基于从第二像素组输出的输出信号而生成的行状(作为一例是长条状)的相位差图像66Ra显示于偶数行。
另外，图25所示的裂像66b由在行方向上具有倾斜角的分割线63b(例如，裂像66b的对角线)分割成两份。在该裂像66b中，基于从第一像素组输出的输出信号而生成的相位差图像66Lb显示在一方的区域。另外，基于从第二像素组输出的输出信号而生成的相位差图像66Rb显示在另一方的区域。
另外，图26A及图26B所示的裂像66c由分别与行方向及列方向平行的网格状的分割线63c分割。在裂像66c中，基于从第一像素组输出的输出信号而生成的相位差图像66Lc排列为交错相间的棋盘格纹(方格图案)状而显示。另外，基于从第二像素组输出的输出信号而生成的相位差图像66Rc排列为交错相间的棋盘格纹状而显示。
此外，不限定于裂像，也可以是根据两个相位差图像来生成其他对焦确认图像，并显示对焦确认图像。例如，也可以是，将两个相位差图像重叠而合成显示，在焦点偏移的情况下显示为双重图像，在对焦的状态下清晰地显示图像。
另外，在上述第一实施方式至第五实施方式中所说明的摄影控制处理的流程只不过是一例。因此，在不脱离主旨的范围内，也可以删除不需要的步骤、增加新的步骤、互换处理顺序，这是不言而喻的。另外，在上述第一实施方式至第五实施方式中所说明的图像生成输出处理所包含的各处理可以通过执行程序而利用计算机通过软件结构实现，也可以通过其他硬件结构实现。另外，也可以通过硬件结构与软件结构的组合来实现。
在通过由计算机执行程序而实现在上述第一实施方式至第五实施方式中所说明的摄影控制处理的情况下，将程序预先存储于预定的存储区域(例如存储器26)即可。另外，未必一定从最初就存储于存储器26。例如，也可以先将程序存储于与计算机连接而使用的SSD(SolidState Drive：固态硬盘)、CD-ROM、DVD盘、光磁盘、IC卡等任意的“移动式存储介质”。并且，也可以是计算机从这些移动式存储介质取得程序并执行。另外，也可以是，在经由互联网、LAN(Local AreaNetwork)等而与计算机连接的其他计算机或者服务器装置等中存储各程序，计算机从它们中取得程序并执行。
[第六实施方式]
在上述第一实施方式至第五实施方式中，例示了摄像装置100，但是作为摄像装置100的变形例的移动终端装置，可以列举出例如具有相机功能的移动电话、智能手机、PDA(Personal Digital Assistants：个人数字助理)以及便携式游戏机等。以下，列举智能手机为例，参照附图详细地进行说明。
图27是表示智能手机500的外观的一例的立体图。图27所示的智能手机500具有平板状的壳体502，并在壳体502的一面上具备由作为显示部的显示面板521与作为输入部的操作面板522成为一体而成的显示输入部520。另外，壳体502具备：扬声器531、话筒532、操作部540及相机部541。另外，壳体502的结构不限定于此，例如，也能够采用使显示部与输入部独立而成的结构，或采用具有折叠结构、滑动结构的结构。
图28是表示图27所示的智能手机500的结构的一例的框图。如图28所示，作为智能手机500的主要的结构要素，具备：无线通信部510、显示输入部520、通话部530、操作部540、相机部541、存储部550及外部输入输出部560。另外，作为智能手机500的主要的结构要素，具备：GPS(Global Positioning System：全球定位***)接收部570、运动传感器部580、电源部590及主控制部501。另外，作为智能手机500的主要的功能，具备进行经由基地站装置BS和移动通信网NW的移动无线通信的无线通信功能。
无线通信部510按照主控制部501的指示，对收纳于移动通信网NW的基地站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。
显示输入部520是所谓的触摸面板，具备显示面板521与操作面板522。因此，显示输入部520通过主控制部501的控制来显示图像(静止图像及动态图像)、字符信息等而在视觉上向使用者传递信息，并且检测对所显示的信息的使用者操作。在鉴赏所生成的3D的情况下，优选的是显示面板521为3D显示面板。
显示面板521使用LCD、OELD(Organic Electro-LuminescenceDisplay：有机电致发光显示器)等作为显示设备。操作面板522是放置成能够对在显示面板521的显示面上显示的图像进行视觉辨认且检测由使用者的手指、尖笔来操作的一个或多个坐标的设备。当通过使用者的手指、尖笔来操作该设备时，将由于操作而产生的检测信号输出到主控制部501。接着，主控制部501基于接收到的检测信号，检测显示面板521上的操作位置(坐标)。
如图27所示，智能手机500的显示面板521与操作面板522成为一体而构成显示输入部520，但也可以成为操作面板522完全覆盖显示面板521那样的配置。在采用该配置的情况下，操作面板522也可以具备对于显示面板521以外的区域也检测使用者操作的功能。换言之，操作面板522也可以具备：与显示面板521重叠的重叠部分的检测区域(以下称作显示区域)以及其以外的不与显示面板521重叠的外缘部分的检测区域(以下称作非显示区域)。
另外，也可以使显示区域的大小与显示面板521的大小完全一致，但是不需要使两者必须一致。另外，操作面板522也可以具备外缘部分以及除此以外的内侧部分这两个感应区域。此外，外缘部分的宽度根据壳体502的大小等而适当设计。另外，作为操作面板522中采用的位置检测方式，可以列举出：矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式及静电电容方式等，也能够采用任一种方式。
通话部530具备：扬声器531、话筒532。通话部530将通过话筒532输入的使用者的声音转换为能够由主控制部501处理的声音数据并输出到主控制部501。另外，通话部530对由无线通信部510或外部输入输出部560接收到的声音数据进行解码而从扬声器531输出。如图27所示，例如，能够将扬声器531搭载于与设有显示输入部520的面相同的面上，并将话筒532搭载于壳体502的侧面。
操作部540是使用键开关等的硬件键，接受来自使用者的指示。例如，如图27所示，操作部540是如下的按钮式的开关：搭载于智能手机500的壳体502的侧面，当通过手指等按下时接通，当松开手指时通过弹簧等的恢复力而成为断开状态。
存储部550存储：主控制部501的控制程序、控制数据、应用软件、与通信对象的名称、电话编号等建立对应而成的地址数据以及所收发的电子邮件的数据。另外，存储部550存储通过Web浏览而下载的Web数据、所下载的内容数据。另外，存储部550暂时存储流数据等。另外，存储部550具有：智能手机内置的内部存储部551及装拆自如的具有外部存储器插槽的外部存储部552。另外，构成存储部550的各内部存储部551与外部存储部552可以使用闪存型(flash memorytype)、硬盘型(hard disk type)等存储介质而实现。作为存储介质，除此之外，还能够例示：缩微多媒体卡型(multimedia card micro type)、卡型的存储器(例如MicroSD(注册商标)存储器等)、RAM(RandomAccess Memory)、ROM(Read Only Memory)。
外部输入输出部560起到与连接于智能手机500的全部外部设备的接口的作用，用于通过通信等或网络而直接或间接地与其他外部设备连接。作为与其他外部设备通信等，可以列举出例如：通用串行总线(USB)、IEEE1394等。作为网络，可以列举出例如：互联网、无线LAN、蓝牙(Bluetooth(注册商标))、RFID(Radio FrequencyIdentification：无线射频识别)以及红外线通信(Infrared DataAssociation：IrDA(注册商标))。另外，作为网络的其他例子，可以列举出UWB(Ultra Wideband：超宽带(注册商标))、紫蜂(ZigBee(注册商标))等。
作为与智能手机500连接的外部设备，可以列举出例如：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口及经由卡插座而连接的存储卡(Memory card)。作为外部设备的其他例子，可以列举出：SIM(Subscriber Identity Module Card：客户识别模块卡)/UIM(UserIdentity Module Card：用户识别模块卡)卡，经由音频/视频I/O(Input/Output)端子而连接的外部音频/视频设备。除了外部音频/视频设备外，还可以列举出无线连接的外部音频/视频设备。另外，也可以替代外部音频/视频设备，而适用例如：有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。
外部输入输出部能够将从这种外部设备接收传送的数据传递到智能手机500的内部的各结构要素、将智能手机500的内部的数据传送到外部设备。
GPS接收部570按照主控制部501的指示，接收从GPS卫星ST1～STn发送来的GPS信号，并执行基于接收到的多个GPS信号的测位运算处理，检测该智能手机500的由纬度、经度、高度构成的位置。GPS接收部570在能够从无线通信部510、外部输入输出部560(例如无线LAN)取得位置信息时，也能够使用其位置信息来检测位置。
运动传感器部580具备例如三轴加速度传感器等，并按照主控制部501的指示来检测智能手机500的物理移动。通过检测智能手机500的物理移动，能够检测智能手机500移动的方向、加速度。该检测结果被输出到主控制部501。
电源部590按照主控制部501的指示向智能手机500的各部提供存储于蓄电池(未图示)的电力。
主控制部501具备微处理器，按照存储部550所存储的控制程序、控制数据而动作，统一控制智能手机500的各部。另外，主控制部501为了通过无线通信部510进行声音通信、数据通信而具备控制通信***的各部的移动通信控制功能以及应用处理功能。
应用处理功能通过根据存储部550所存储的应用软件使主控制部501动作而实现。作为应用处理功能，具有例如：控制外部输入输出部560而与相向设备进行数据通信的红外线通信功能、收发电子邮件的电子邮件功能、阅览Web网页的Web浏览功能等。
另外，主控制部501具备如下的图像处理功能等：基于接收数据、所下载的流数据等图像数据(静止图像、动态图像的数据)而将影像显示于显示输入部520。图像处理功能是指如下的功能：主控制部501对上述图像数据进行解码，对该解码结果实施图像处理，并将图像显示于显示输入部520。
此外，主控制部501执行对显示面板521的显示控制及检测通过操作部540、操作面板522进行的使用者操作的操作检测控制。
通过执行显示控制，主控制部501显示用于启动应用软件的图标、滚动条等软件键，或显示用于创建电子邮件的窗口。另外，滚动条是指如下的软件键：对于无法完全收纳到显示面板521的显示区域中的较大的图像等，用于接收使图像的显示部分移动的指示。
另外，通过执行操作检测控制，主控制部501检测通过操作部540进行的使用者操作，或通过操作面板522而接收对上述图标的操作、对上述窗口的输入栏的字符串的输入。另外，通过执行操作检测控制，主控制部501接收通过滚动条进行的显示图像的滚动请求。
此外，通过执行操作检测控制，主控制部501判定对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是其以外的不与显示面板521重叠的外缘部分(非显示区域)。并且，具备接收该判定结果而对操作面板522的感应区域、软件键的显示位置进行控制的触摸面板控制功能。
另外，主控制部501能够检测对操作面板522的手势操作，并根据所检测出的手势操作来执行预先设定的功能。所谓手势操作并非以往的单纯的触控操作，而是指利用手指等描绘轨迹、对多个位置同时进行指定或者对它们进行组合而从多个位置对至少一个位置描画轨迹的操作。
相机部541是使用CMOS、CCD等摄像元件而进行摄像的数码相机，具备与图1等所示的摄像装置100相同的功能。
另外，相机部541能够对手动对焦模式和自动对焦模式进行切换。当选择了手动对焦模式时，能够通过对操作部540或显示于显示输入部520的对焦用的图标按钮等进行操作，进行相机部541的摄影透镜的对焦。并且，在手动对焦模式时，使合成有裂像的即时预览图像显示于显示面板521，由此使得能够对手动对焦时的对焦状态进行确认。另外，也可以将图6所示的混合式取景器220设于智能手机500。
另外，相机部541通过主控制部501的控制，将通过摄像而得到的图像数据转换为例如JPEG(Joint Photographic coding Experts Group)等被压缩的图像数据。并且，能够将进行转换而得到的数据记录于存储部550，或通过外部输入输出部560、无线通信部510输出。在图27所示的智能手机500中，相机部541搭载于与显示输入部520相同的面，但是相机部541的搭载位置不限定于此，也可以搭载于显示输入部520的背面，或者，也可以搭载多个相机部541。另外，在搭载有多个相机部541的情况下，能够对用于摄像的相机部541进行切换而单独进行摄像，或者也能够同时使用多个相机部541进行摄像。
另外，相机部541能够用于智能手机500的各种功能。例如，能够在显示面板521上显示由相机部541取得的图像、作为操作面板522的操作输入之一而利用相机部541的图像。另外，在GPS接收部570检测位置时，也能够参照来自相机部541的图像来检测位置。此外，也能够参照来自相机部541的图像而不使用三轴加速度传感器或与三轴加速度传感器并用来判断智能手机500的相机部541的光轴方向、判断当前的使用环境。当然，也能够在应用软件内利用来自相机部541的图像。
除此之外，也能够对静止画面或动画的图像数据附加各种信息而记录于存储部550，或者通过外部输入输出部560、无线通信部510而输出。作为在此所说的“各种信息”，可以列举出例如：在静止画面或动画的图像数据中由GPS接收部570取得的位置信息、由话筒532取得的声音信息(也可以通过主控制部等进行声音文本转换而成为文本信息)。除此之外，也可以是由运动传感器部580取得的姿势信息等。
另外，在上述各实施方式中，例示了具有第一至第五像素组的摄像元件20，但本发明不限定于此，也可以是仅由第一像素组以及第二像素组构成的摄像元件。具有这种摄像元件的数码相机能够基于从第一像素组输出的第一图像以及从第二像素组输出的第二图像来生成三维图像(3D图像)，也能够生成二维图像(2D图像)。在该情况下，二维图像的生成能够通过例如在第一图像以及第二图像的相互相同颜色的像素间进行插值处理而实现。另外，也可以不进行插值处理，而采用第一图像或第二图像作为二维图像。
在上述各实施方式中，列举在通常图像301的显示区域内显示裂像300的例子而进行了说明，但本发明不限定于此，也可以在显示装置上不显示通常图像301而显示裂像300。另外，在上述各实施方式中，在显示装置的显示区域的一部分显示裂像300，但不限定于此，也可以在显示装置的显示区域整体上显示裂像300。如此，本发明不限于将通常图像301与裂像300这双方同时显示于显示装置的同一画面的形态。例如本发明也可以在指示有显示裂像300的状态下解除了通常图像301的显示指示的情况下，显示控制部36进行如下控制：使显示装置不显示通常图像301而显示裂像300。
附图标记说明
12  CPU
20  摄像元件
26  存储器
28  图像处理部
30  通常处理部
32  裂像处理部
36  显示控制部
100 摄像装置
213 显示部
241 LCD

Claims (17)

1.一种图像处理装置，具备：
生成部，基于从具有第一像素组和第二像素组的摄像元件输出的图像信号来生成第一显示用图像，并且根据基于从所述第一像素组和所述第二像素组输出的图像信号的第一图像和第二图像来生成用于对焦确认的第二显示用图像，所述第一像素组和第二像素组使通过了摄像透镜的第一区域和第二区域的被摄体像进行光瞳分割而分别成像；
显示部，显示图像；
显示控制部，进行如下控制：使所述显示部显示由所述生成部生成的所述第一显示用图像，并且在该第一显示用图像的显示区域内显示由所述生成部生成的所述第二显示用图像；及
自动对焦部，在输入了预先确定的指示的情况下，所述自动对焦部在至少一部分与所述第二显示用图像的显示区域的至少一部分重复的对焦区域进行自动对焦。
2.一种图像处理装置，具备：
生成部，基于从具有第一像素组和第二像素组的摄像元件输出的图像信号来生成第一显示用图像，并且根据基于从所述第一像素组和所述第二像素组输出的图像信号的第一图像和第二图像来生成用于对焦确认的第二显示用图像，所述第一像素组和第二像素组使通过了摄像透镜的第一区域和第二区域的被摄体像进行光瞳分割而分别成像；
显示部，显示图像；
显示控制部，进行如下控制：抑制所述显示部对由所述生成部生成的所述第一显示用图像的显示，并且使所述显示部显示由所述生成部生成的所述第二显示用图像；及
自动对焦部，在输入了预先确定的指示的情况下，所述自动对焦部在至少一部分与所述第二显示用图像的显示区域的至少一部分重复的对焦区域进行自动对焦。
3.根据权利要求1或2所述的图像处理装置，其中，
所述自动对焦部在以预先确定的第一阈值以上的面积的比例与所述第二显示用图像的显示区域重复的对焦区域进行自动对焦。
4.根据权利要求1至3中任一项所述的图像处理装置，其中，
所述显示控制部进行使所述显示部进一步显示表示所述对焦区域的范围的信息的控制。
5.根据权利要求1至4中任一项所述的图像处理装置，其中，
还具备提取部，提取所述第二显示用图像内的与主要被摄体对应的区域的至少一部分作为被摄体区域，
所述自动对焦部将由所述提取部提取的所述被摄体区域作为所述对焦区域而进行自动对焦。
6.根据权利要求5所述的图像处理装置，其中，
所述提取部提取与人的脸部对应的区域的至少一部分作为所述被摄体区域。
7.根据权利要求1至4中任一项所述的图像处理装置，其中，
所述自动对焦部将至少一部分与所述第二显示用图像的显示区域的至少一部分重复且包含所述第一显示用图像的显示区域内的中央部在内的预先确定的区域作为所述对焦区域而进行自动对焦。
8.根据权利要求1至7中任一项所述的图像处理装置，其中，
还具备接收部，接收表示所述对焦区域的位置的位置信息的输入，
所述自动对焦部基于由所述接收部接收到的所述位置信息来移动所述对焦区域的位置而进行自动对焦。
9.根据权利要求8所述的图像处理装置，其中，
仅在基于所述位置信息移动后的所述对焦区域的至少一部分与所述第二显示用图像的显示区域的至少一部分重复的情况下，所述自动对焦部进行该移动而进行自动对焦。
10.根据权利要求8所述的图像处理装置，其中，
在基于所述位置信息移动后的所述对焦区域为所述第二显示用图像的显示区域外的情况下，所述显示控制部进行停止所述第二显示用图像的显示的控制。
11.根据权利要求10所述的图像处理装置，其中，
所述接收部在由所述显示控制部进行了停止所述第二显示用图像的显示的控制后再次接收所述位置信息的输入，
在由所述接收部再次接收到所述位置信息的情况下，在基于该位置信息移动后的所述对焦区域的至少一部分与所述第二显示用图像的显示区域的至少一部分重复的情况下，所述显示控制部进行恢复所述第二显示用图像的显示的控制。
12.根据权利要求1至4中任一项所述的图像处理装置，其中，
还具备第二提取部，提取所述第一显示用图像内的与主要被摄体对应的区域的至少一部分作为第二被摄体区域，
在由所述第二提取部提取的所述第二被摄体区域为所述第二显示用图像的显示区域外的情况下，所述自动对焦部将在该显示区域内距所述第二被摄体区域的距离最短的预先确定的大小的区域作为所述对焦区域而进行自动对焦。
13.根据权利要求1至12中任一项所述的图像处理装置，其中，
还具备第二接收部，接收对所述第二显示用图像的放大进行指示的放大指示信息的输入，
在由所述第二接收部接收到所述放大指示信息的输入的情况下，所述显示控制部进行使所述第二显示用图像放大而显示的控制，
在由所述显示控制部进行了使所述第二显示用图像放大而显示的控制的情况下，所述自动对焦部以所述第二显示用图像的放大率以下的放大率来放大所述对焦区域而进行自动对焦。
14.根据权利要求13所述的图像处理装置，其中，
在所述放大后的所述对焦区域的大小比预先确定的第二阈值大的情况下，所述自动对焦部将所述对焦区域设为该第二阈值的大小而进行自动对焦。
15.一种摄像装置，具备权利要求1至14中任一项所述的图像处理装置、所述摄像透镜及所述摄像元件。
16.一种程序，用于使计算机作为生成部、显示控制部和自动对焦部而发挥作用，其中，
所述生成部基于从具有第一像素组和第二像素组的摄像元件输出的图像信号来生成第一显示用图像，并且根据基于从所述第一像素组和所述第二像素组输出的图像信号的第一图像和第二图像来生成用于对焦确认的第二显示用图像，所述第一像素组和第二像素组使通过了摄像透镜的第一区域和第二区域的被摄体像进行光瞳分割而分别成像，
所述显示控制部进行如下控制：使显示图像的显示部显示由所述生成部生成的所述第一显示用图像，并且在该第一显示用图像的显示区域内显示由所述生成部生成的所述第二显示用图像，
在输入了预先确定的指示的情况下，所述自动对焦部在至少一部分与所述第二显示用图像的显示区域的至少一部分重复的对焦区域进行自动对焦。
17.一种图像处理方法，具备：
生成步骤，基于从具有第一像素组和第二像素组的摄像元件输出的图像信号来生成第一显示用图像，并且根据基于从所述第一像素组和所述第二像素组输出的图像信号的第一图像和第二图像来生成用于对焦确认的第二显示用图像，所述第一像素组和第二像素组使通过了摄像透镜的第一区域和第二区域的被摄体像进行光瞳分割而分别成像；
显示控制步骤，进行如下控制：使显示图像的显示部显示由所述生成步骤生成的所述第一显示用图像，并且在该第一显示用图像的显示区域内显示由所述生成步骤生成的所述第二显示用图像；及
自动对焦步骤，在输入了预先确定的指示的情况下，在至少一部分与所述第二显示用图像的显示区域的至少一部分重复的对焦区域进行自动对焦。
CN201380069085.2A 2013-01-04 2013-10-22 图像处理装置、摄像装置及图像处理方法 Active CN104903769B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-000043 2013-01-04
JP2013000043 2013-01-04
PCT/JP2013/078629 WO2014106916A1 (ja) 2013-01-04 2013-10-22 画像処理装置、撮像装置、プログラム及び画像処理方法

Publications (2)

Publication Number Publication Date
CN104903769A true CN104903769A (zh) 2015-09-09
CN104903769B CN104903769B (zh) 2017-03-01

Family

ID=51062238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380069085.2A Active CN104903769B (zh) 2013-01-04 2013-10-22 图像处理装置、摄像装置及图像处理方法

Country Status (4)

Country Link
US (1) US9674422B2 (zh)
JP (1) JP5955417B2 (zh)
CN (1) CN104903769B (zh)
WO (1) WO2014106916A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104769932B (zh) * 2012-11-05 2018-01-23 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及程序
JP6911136B2 (ja) 2017-09-28 2021-07-28 富士フイルム株式会社 撮像装置、情報取得方法及び情報取得プログラム
CN111316161B (zh) * 2017-09-28 2021-11-23 富士胶片株式会社 摄像装置、信息获取方法及信息获取程序
JP2019106634A (ja) * 2017-12-13 2019-06-27 オリンパス株式会社 撮像素子及び撮像装置
US11523060B2 (en) * 2018-11-29 2022-12-06 Ricoh Company, Ltd. Display device, imaging device, object moving method, and recording medium
JP6818814B2 (ja) * 2019-06-26 2021-01-20 キヤノン株式会社 焦点検出装置およびその制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7221805B1 (en) * 2001-12-21 2007-05-22 Cognex Technology And Investment Corporation Method for generating a focused image of an object
JP2005222036A (ja) 2004-01-08 2005-08-18 Canon Inc レンズ装置
JP2008216503A (ja) * 2007-03-01 2008-09-18 Canon Inc 撮像装置
JP5043626B2 (ja) * 2007-12-13 2012-10-10 キヤノン株式会社 撮像装置
JP5294794B2 (ja) * 2007-12-14 2013-09-18 キヤノン株式会社 撮像装置及び画像表示方法
US8279318B2 (en) * 2007-12-14 2012-10-02 Canon Kabushiki Kaisha Image pickup apparatus and display control method for the same
JP5464816B2 (ja) * 2008-03-27 2014-04-09 キヤノン株式会社 撮像装置およびその制御方法
JP5207819B2 (ja) * 2008-05-13 2013-06-12 キヤノン株式会社 撮像装置
JP2011119930A (ja) * 2009-12-02 2011-06-16 Seiko Epson Corp 撮像装置、撮像方法および撮像プログラム
JP5829018B2 (ja) * 2010-11-22 2015-12-09 オリンパス株式会社 撮像装置

Also Published As

Publication number Publication date
US9674422B2 (en) 2017-06-06
JP5955417B2 (ja) 2016-07-20
WO2014106916A1 (ja) 2014-07-10
CN104903769B (zh) 2017-03-01
JPWO2014106916A1 (ja) 2017-01-19
US20150304547A1 (en) 2015-10-22

Similar Documents

Publication Publication Date Title
CN105580349B (zh) 图像处理装置、摄像装置及图像处理方法
CN104221369B (zh) 摄像元件以及使用该摄像元件的摄像装置和摄像方法
JP5931206B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP6158340B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN104365089B (zh) 摄像装置及图像显示方法
CN104871058B (zh) 图像处理装置、摄像装置及图像处理方法
CN104755981B (zh) 图像处理装置、摄像装置及图像处理方法
CN104885440B (zh) 图像处理装置、摄像装置及图像处理方法
JP5901801B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
CN104205809A (zh) 固体摄像元件、摄像装置及固体摄像元件的驱动方法
JP5740045B2 (ja) 画像処理装置及び方法並びに撮像装置
JP6000446B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN104903769A (zh) 图像处理装置、摄像装置、程序及图像处理方法
CN104641624A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN104641626A (zh) 摄像装置及对焦确认显示方法
CN104641625A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
JP5687803B2 (ja) 画像処理装置及び方法並びに撮像装置
CN104247412B (zh) 图像处理装置、摄像装置、图像处理方法、记录介质以及程序
CN104221149A (zh) 摄像元件以及摄像装置
JP5934844B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN104737527A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
WO2014045741A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant