CN104620572B - 摄像装置及其控制方法 - Google Patents

摄像装置及其控制方法 Download PDF

Info

Publication number
CN104620572B
CN104620572B CN201380047516.5A CN201380047516A CN104620572B CN 104620572 B CN104620572 B CN 104620572B CN 201380047516 A CN201380047516 A CN 201380047516A CN 104620572 B CN104620572 B CN 104620572B
Authority
CN
China
Prior art keywords
pixel
interpolating
order pattern
image
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380047516.5A
Other languages
English (en)
Other versions
CN104620572A (zh
Inventor
井泽克俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104620572A publication Critical patent/CN104620572A/zh
Application granted granted Critical
Publication of CN104620572B publication Critical patent/CN104620572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Color Television Image Signal Generators (AREA)
  • Focusing (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Viewfinders (AREA)

Abstract

本发明兼顾锯齿的降低和对焦精度的提高。本发明在彩色摄像元件(23)的摄像面上沿垂直方向设置多个具有第一和第二排列图案(42、43)的一对排列图案(44)。第一排列图案(42)中将第一和第二相位差像素(36a、36b)沿水平方向以3像素间隔交替地排列。第二排列图案(43)设为将第一排列图案(42)沿水平方向错开3像素间隔量而成的排列图案。通过插值处理来求算处于倾斜方向的同一像素行内的各排列图案(42、43)的第一相位差像素(36a)的中间位置处的第一插值像素(58a)的像素值。通过插值处理来求算处于倾斜方向的同一像素行内的各排列图案(42、43)的第二相位差像素(36b)的中间位置处的第二插值像素(58b)的像素值。基于各插值像素(58a、58b)的像素值来生成裂像数据(61)。

Description

摄像装置及其控制方法
技术领域
本发明涉及生成并显示对焦确认用的对焦确认图像的摄像装置及其控制方法。
背景技术
数码相机存在如下结构：除了具备使用例如专利文献1和2记载的相位差检测方式等的自动对焦外还具备使用者能够以手动进行调焦的所谓的手动对焦模式。并且，在该手动对焦模式时，为了使摄影者对被摄体进行对焦的作业容易，将裂像显示于即时预览图像(也称作实时取景图像)内的数码相机已广为人们所知(参照专利文献3和4)。
裂像被沿上下分割，当焦点偏离时，裂像的上下图像沿左右偏离，当为对焦的状态时，上下图像的左右的偏离消失。由此，摄影者能够通过以裂像的上下图像的偏离消失的方式进行聚焦操作而进行对焦。
如图26所示，能够显示裂像的数码相机具备彩色摄像元件100，该彩色摄像元件100是将摄影用的通常像素(省略图示)和对被光瞳分割后的被摄体光进行受光的两种相位差像素G1、G2在摄像面上二维排列而成的。将一对排列图案Q3沿垂直方向以一定间隔排列于该摄像面，该一对排列图案Q3具有将相位差像素G1、G2分别沿水平方向以等间隔排列而成的第一排列图案Q1和第二排列图案Q2。在具有彩色摄像元件100的数码相机中，基于来自通常像素的输出信号来生成摄影图像而显示即时预览图像，并且，基于两种相位差像素的各自的输出信号(像素值)，生成裂像而显示于即时预览图像内。
然而，在彩色摄像元件100中，相位差像素G1、G2分别配置在垂直方向的同一像素行内，但是未在水平方向的同一像素行内配置相位差像素G1、G2这两方。因此，在利用彩色摄像元件100对如图27的(A)部分、图27的(B)部分所示的水平方向高频的被摄体进行摄像的情况下，裂像的上下图像的边界、偏离清楚地显示。相反，在利用彩色摄像元件100对如图28的(A)部分、图28的(B)部分所示的垂直方向高频的被摄体进行摄像的情况下，裂像的上下图像的边界、偏离未清楚地显示，因此对焦精度有可能降低。
因此，如图29和图30所示，在专利文献3和4记载的彩色摄像元件102中，将相位差像素G1、G2的一方呈W字状排列于其摄像面，将另一方呈M字状排列于其摄像面。由此，将相位差像素G1、G2分别配置在垂直方向的同一像素行内，并且也配置在水平方向的同一像素行内。
在基于这种排列图案的相位差像素G1、G2的输出信号来生成裂像时，通常将相位差像素G1、G2的像素排列视为如图26所示的直线排列而生成裂像。在该情况下，将位于相位差像素G1间的像素作为插值像素g1，沿箭头VT、VB进行像素插值而求算该插值像素g1的像素值。另外，沿箭头VT、VB进行像素插值而求算位于相位差像素G2间的插值像素g2的像素值。并且，基于各相位差像素G1、G2的像素值和插值像素g1、g2的像素值来生成裂像。
另外，也存在如下方法：替代如箭头VT、VB所示使用位于插值像素g1、g2的图中上侧和下侧的相位差像素G1、G2的像素值来进行插值处理，而使用位于插值像素g1、g2的图中左侧和右侧的相位差像素G1、G2的像素值来进行插值处理。即，分别沿箭头VR、VL进行像素插值而求算插值像素g1、g2的像素值。在该情况下，也基于各相位差像素G1、G2的像素值和插值像素g1、g2的像素值而生成裂像。
在彩色摄像元件102中，将相位差像素G1、G2分别配置在垂直方向和水平方向的同一像素行内，因此在对垂直方向高频的被摄体进行摄像时，与由上述的彩色摄像元件100进行摄像时相比，裂像的上下图像的边界、偏离清楚地显示。其结果为，与使用彩色摄像元件的情况相比能够提高对焦精度。
专利文献1：日本特开2011-176714号公报
专利文献2：日本特开2010-243772号公报
专利文献3：日本特开2000-156823号公报
专利文献4：日本特开2009-276426号公报
发明内容
发明要解决的课题
然而，在图29和图30所示的彩色摄像元件102中，对通过直接使用相位差像素G1、G2的像素值而不需要插值的状态和需要基于位于隔开3像素量的位置的相位差像素G1、G2的像素值而进行插值的状态进行切换。此时，在基于位于隔开的位置的相位差像素G1、G2的像素值来进行插值处理的情况下，容易产生锯齿(jaggy)。因此，在使用彩色摄像元件102的情况下，由于产生锯齿，裂像的对焦精度有可能会降低。另外，在沿垂直方向进行像素插值处理的情况下，对垂直方向高频的被摄体进行摄像时在垂直方向高频信号中易于产生模糊，在沿水平方向进行像素插值处理的情况下，对水平方向高频的被摄体进行摄像时在水平方向高频信号中易于产生模糊。
本发明的目的在于提供能够兼顾锯齿的降低和对焦精度的提高的摄像装置及其控制方法。
用于解决课题的手段
用于实现本发明的目的的摄像装置具备：摄影镜头、摄像元件、第一插值单元、第二插值单元、对焦确认图像生成单元及显示单元，摄像元件沿第一方向和与第一方向垂直的第二方向二维排列有包含光电转换元件的多个像素，多个像素包含使通过了摄影镜头的第一区域和第二区域的各被摄体光进行光瞳分割而分别入射的第一像素和第二像素，上述摄像元件沿第二方向以第二间隔重复配置有具有第一排列图案和第二排列图案的一对排列图案，上述第一排列图案是将第一像素和第二像素沿第一方向以第一间隔交替地排列而成的，上述第二排列图案是将第一排列图案沿第一方向错开第一间隔量而成的，在将摄像元件的相对于第一方向和第二方向倾斜的第三方向和第四方向的像素行中的同一像素行内所配置的第一排列图案和第二排列图案的各第一像素设为第一像素对时，第一插值单元基于第一像素对的像素值通过插值处理来求算该第一像素对的中间位置处的第一插值像素的像素值，在将同一像素行内所配置的第一排列图案和第二排列图案的各第二像素设为第二像素对时，第二插值单元基于第二像素对的像素值通过插值处理来求算该第二像素对的中间位置处的第二插值像素的像素值，对焦确认图像生成单元至少根据由第一插值单元和第二插值单元求出的第一插值像素和第二插值像素的像素值来分别生成第一图像、第二图像，并基于第一图像和第二图像来生成对焦确认图像，显示单元显示由对焦确认图像生成单元生成的对焦确认图像。
根据本发明，与沿水平方向、垂直方向进行插值处理的情况相比，能够基于始终处于较近位置的第一像素和第二像素的像素值，分别求算第一插值像素和第二插值像素的像素值。
优选为，对焦确认图像生成单元仅基于由第一插值单元和第二插值单元求出的第一像素和第二像素的像素值来生成对焦确认图像。能够得到降低了锯齿、模糊的对焦确认图像。
优选为，多个像素包含第一像素、第二像素和通过了第一区域和第二区域的各被摄体光不进行光瞳分割而分别入射的第三像素，上述摄像装置具备：第三图像生成单元，基于第三像素的像素值来生成第三图像；及显示控制单元，使显示单元显示由第三图像生成单元生成的第三图像且在该第三图像的显示区域内显示对焦确认图像。由此，能够观察第三图像并进行聚焦操作。
优选为，具备：第三插值单元，对于第一排列图案和第二排列图案各自的位于第一像素间的第三插值像素，基于这些第一像素的像素值来确定该第三插值像素的像素值，对于位于第二像素间的第四插值像素，基于这些第二像素的像素值来确定该第四插值像素的像素值；第四插值单元，对于第一排列图案和第二排列图案的一方的位于第一像素间的第五插值像素，基于与第五插值像素相同的第二方向的像素行内所配置的第一像素的像素值来确定该第五插值像素的像素值，对于第一排列图案和第二排列图案的一方的位于第二像素间的第六插值像素，基于与第六插值像素相同的第二方向的像素行内所配置的第二像素的像素值来确定该第六插值像素的像素值；判别单元，基于第三像素的像素值，对第三像素的相关性高的方向和相关性的强度进行判别；及插值控制单元，基于判别单元的判别结果，从第一插值单元和第二插值单元、第三插值单元和第四插值单元中选择与判别结果对应的插值单元而使其执行插值处理。由此，即使在第一方向或者第二方向的信号相关性极强的情况下也能够抑制对焦确认图像的模糊、锯齿的产生。
优选为，第二排列图案相对于第一排列图案沿第二方向隔开第一间隔而配置。由此，第三方向和第四方向被设定为分别相对于第一方向和第二方向倾斜了±45°的方向。
优选为，具备检测多个像素中包含的缺陷像素的缺陷像素检测单元，基于缺陷像素检测单元的检测结果在第一像素对的一方是缺陷像素的情况下，第一插值单元将第一像素对的另一方的像素值确定为第一插值像素的像素值，基于缺陷像素检测单元的检测结果在第二像素对的一方是缺陷像素的情况下，第二插值单元将第二像素对的另一方的像素值确定为第一插值像素的像素值。由此，即使第一像素和第二像素是缺陷像素，也能够防止对焦确认图像的模糊、锯齿的产生。
优选为，基于缺陷像素检测单元的检测结果在沿第一方向配置于第N个的第一像素对的两方是缺陷像素的情况下，第一插值单元求算与第N－1个和第N+1个第一像素对分别对应的第一插值像素的像素值，将这些第一插值像素的像素值的平均值确定为与第N个第一像素对对应的第一插值像素的像素值，其中N是2以上的自然数，基于缺陷像素检测单元的检测结果在配置于第N个的第二像素对的两方是缺陷像素的情况下，第二插值单元求算与第N－1个和第N+1个第二像素对分别对应的第二插值像素的像素值，将这些第二插值像素的像素值的平均值确定为与第N个第二像素对对应的第二插值像素的像素值。由此，即使第一像素和第二像素是缺陷像素，也能够防止对焦确认图像的模糊、锯齿的产生。
优选为，摄影镜头的第一区域和第二区域是相对于与第二方向平行的第一直线对称的区域。
优选为，对焦确认图像是将第一图像和第二图像沿第二方向并排配置而成的图像。
优选为，摄影镜头含有聚焦透镜，上述摄像装置具备接受手动对焦操作而使聚焦透镜沿摄影镜头的光轴方向移动的透镜移动机构。
另外，本发明的摄像装置的控制方法中，摄像装置具备：摄影镜头及摄像元件，所述摄像元件沿第一方向和与第一方向垂直的第二方向二维排列有包含光电转换元件的多个像素，多个像素包含通过了摄影镜头的第一区域和第二区域的各被摄体光进行光瞳分割而分别入射的第一像素和第二像素，上述摄像元件沿第二方向以第二间隔重复配置有具有第一排列图案和第二排列图案的一对排列图案，上述第一排列图案是将第一像素和第二像素沿第一方向以第一间隔交替地排列而成的，上述第二排列图案是将第一排列图案沿第一方向错开第一间隔量而成的，该摄像装置的控制方法具有：第一插值步骤，在将摄像元件的相对于第一方向和第二方向倾斜的第三方向和第四方向的像素行中的同一像素行内所配置的第一排列图案和第二排列图案的各第一像素设为第一像素对时，基于第一像素对的像素值通过插值处理来求算该第一像素对的中间位置处的第一插值像素的像素值；第二插值步骤，在将同一像素行内所配置的第一排列图案和第二排列图案的各第二像素设为第二像素对时，基于第二像素对的像素值通过插值处理来求算该第二像素对的中间位置处的第二插值像素的像素值；对焦确认图像生成步骤，至少根据由第一插值步骤和第二插值步骤求出的第一插值像素和第二插值像素的像素值来分别生成第一图像、第二图像，并基于第一图像和第二图像来生成对焦确认图像；及显示步骤，显示由对焦确认图像生成步骤生成的对焦确认图像。
发明效果
本发明的摄像装置及其控制方法基于在摄像元件的相对于第一和第二方向倾斜的第三方向和第四方向的像素行中的同一像素行内所配置的第一和第二像素对的像素值，分别求算第一和第二插值像素的像素值，因此与沿水平方向、垂直方向进行插值处理的情况相比，能够基于始终处于较近位置的第一和第二像素的像素值来分别求算第一和第二插值像素的像素值。由此，能够在对高频的被摄体进行摄像时降低锯齿的产生。另外，能够降低对高频的被摄体进行摄像时的摄像信号的模糊。其结果为，使对焦确认图像的边界、偏离清楚地显示，因此能够提高对焦精度。
附图说明
图1是数码相机的主视立体图。
图2是数码相机的后视立体图。
图3是表示数码相机的电气结构的框图。
图4是彩色摄像元件的主视图。
图5是用于对第一和第二相位差像素的排列进行说明的说明图。
图6是第一和第二相位差像素的剖视图。
图7是用于对入射到彩色摄像元件的被摄体光进行说明的说明图。
图8是图像处理电路的功能框图。
图9是用于对倾斜方向上的像素插值处理进行说明的说明图。
图10是用于对图9中的第一插值像素的像素值的计算进行说明的说明图。
图11是用于对图9中的第二插值像素的像素值的计算进行说明的说明图。
图12是用于对裂像数据进行说明的说明图。
图13是用于对聚焦透镜未设置于对焦位置的情况下的裂像数据进行说明的说明图。
图14是表示第一实施方式的数码相机的摄影处理的流程的流程图。
图15是用于对本发明效果进行说明的说明图。
图16是表示第二实施方式的数码相机的电气结构的框图。
图17是表示第二实施方式的数码相机的摄影处理的流程的流程图。
图18是用于对第二实施方式的插值处理的流程进行说明的流程图。
图19是表示第三实施方式的数码相机的电气结构的框图。
图20是用于对第一像素对的一方或者第二像素对的一方是缺陷像素的情况下的倾斜插值处理进行说明的说明图。
图21是用于对第一像素对的两方或者第二像素对的两方是缺陷像素的情况下的倾斜插值处理进行说明的说明图。
图22是用于对使用第一和第二相位差像素的像素值和第一及第二插值像素的像素值来生成裂像数据的其他实施方式进行说明的说明图。
图23是用于对彩色摄像元件的全部像素由第一和第二相位差像素构成的其他实施方式进行说明的说明图。
图24是智能手机的立体图。
图25是表示智能手机的电气结构的框图。
图26是第一和第二排列图案分别由一种相位差像素构成的以往的彩色摄像元件的主视图。
图27是用于对沿水平方向为高频的被摄体进行说明的说明图。
图28是用于对沿垂直方向为高频的被摄体进行说明的说明图。
图29是用于对将第一相位差像素呈W字状排列的情况下的、第一插值像素的像素值的计算进行说明的说明图。
图30是用于对将第二相位差像素呈M字状排列的情况下的、第一插值像素的像素值的计算进行说明的说明图。
具体实施方式
[第一实施方式的数码相机]
如图1所示，数码相机2与本发明的摄像装置相当。在该数码相机2的相机主体2a的前表面设有镜头镜筒3、闪光发光部5等。在相机主体2a的上表面设有快门按钮6、电源开关7等。在镜头镜筒3的外周面以旋转自如的方式安装有用于手动对焦(以下，简称作MF)操作的对焦环(透镜移动机构)3a。
如图2所示，在相机主体2a的背面设有显示部(显示单元)8、操作部9。显示部8在摄影待机状态时作为电子取景器而发挥功能，显示即时预览图像(也称作实时取景图像)。另外，重放图像时的显示部8基于记录于存储卡10的图像数据对图像进行重放显示。
操作部9由模式切换开关、十字键、执行键等构成。模式切换开关在对数码相机2的动作模式进行切换时***作。数码相机2具有对被摄体进行摄像而得到摄影图像的摄影模式、对摄影图像进行重放显示的重放模式等。另外，摄影模式存在进行自动对焦(以下简称作AF)的AF模式和进行MF操作的MF模式。
在显示部8上显示菜单画面、设定画面、或者使显示于这些菜单画面、设定画面内显示的光标移动、或者对数码相机2的各种设定进行确定时等，操作十字键、执行键。
虽然省略图示，但是在相机主体2a的底面设有填装存储卡10的卡槽和对该卡槽的开口进行开闭的填装盖。
如图3所示，数码相机2的CPU11基于来自操作部9的控制信号，依次执行从存储器13读出的各种程序、数据，对数码相机2的各部集中地进行控制。另外，存储器13的RAM区域作为CPU11用于执行处理的工作存储器、各种数据的临时保管处而发挥功能。
在镜头镜筒3装入有包括变焦透镜15和聚焦透镜16在内的摄影镜头17、机械快门18等。变焦透镜15和聚焦透镜16分别由变焦机构19、聚焦机构20驱动，并沿摄影镜头17的光轴O前后移动。变焦机构19和聚焦机构20由齿轮、马达等构成。另外，聚焦机构20经由未图示的齿轮而与对焦环3a连接。因此，聚焦机构20与在MF模式时对对焦环3a进行旋转操作(本发明的手动对焦操作)相伴而使聚焦透镜16沿光轴O的方向(以下，称作光轴方向)移动。
机械快门18具有移动部(省略图示)，该移动部在阻止被摄体光向彩色摄像元件23的入射的关闭位置和允许被摄体光的入射的开启位置之间移动。机械快门18通过使移动部移动到各位置而对从摄影镜头17到彩色摄像元件23的光路进行开放/隔断。另外，在机械快门18含有对向彩色摄像元件23入射的被摄体光的光量进行控制的光圈。机械快门18、变焦机构19和聚焦机构20经由镜头驱动器25而由CPU11进行动作控制。
在机械快门18的背后配置有彩色摄像元件23。彩色摄像元件23将通过了摄影镜头17等的被摄体光转换为电方式的输出信号而输出。另外，作为彩色摄像元件23，能够使用CCD(ChargeCoupledDevice：电荷耦合元件)型摄像元件、CMOS(ComplementaryMetalOxideSemiconductor：互补金属氧化物半导体)型摄像元件等各种摄像元件。摄像元件驱动器27在CPU11的控制下对彩色摄像元件23的驱动进行控制。
图像处理电路29对来自彩色摄像元件23的输出信号实施灰度变换、白平衡校正、γ校正处理等各种处理而生成摄影图像数据。另外，图像处理电路29在MF模式时除了生成摄影图像数据外还生成MF操作用的裂像数据。摄影图像数据、裂像数据临时存储于存储器13的VRAM区域(也可以另行设置VRAM)。VRAM区域具有对连续的两场画面量进行存储的即时预览图像用的存储区域，对摄影图像数据、裂像数据依次进行改写存储。
在快门按钮6被进行了按下操作时，压缩扩展处理电路31对存储于VRAM区域的摄影图像数据实施压缩处理。另外，压缩扩展处理电路31对经由介质I/F32从存储卡10得到的压缩图像数据实施扩展处理。介质I/F32对存储卡10进行摄影图像数据的记录和读出等。
显示控制部33在摄影模式时将存储于VRAM区域的摄影图像数据、裂像数据读出并向显示部8输出。另外，显示控制部33在重放模式时将由压缩扩展处理电路31扩展后的摄影图像数据向显示部8输出。
＜彩色摄像元件的结构＞
如图4所示，在彩色摄像元件23的摄像面上，二维排列有红(R)色的R像素35、绿(G)色的G像素36、蓝(B)色的B像素37。RGB像素35～37与本发明的第三像素相当，构成为包含光电转换元件39(参照图6)和配置于光电转换元件39的上方的三原色中的任一色的滤色器40(参照图6)。在R像素35、G像素36、B像素37的各光电转换元件39上分别设置R色、G色、B色的滤色器40。在此，“～上”、“上方”是指图6中的从半导体基板45朝向微透镜49的方向(图中上方向)。
彩色摄像元件23的滤色器排列(像素排列)具有下述的特征(1)、(2)、(3)、(4)、(5)和(6)。
〔特征(1)〕
滤色器排列包含由与6×6像素对应的正方排列图案构成的基本排列图案P，该基本排列图案P沿水平方向和垂直方向重复配置。如此，RGB的滤色器40保持预定的周期性而排列，因此与以往公知的随机排列相比，在进行从彩色摄像元件23读出的R、G、B信号的像素插值处理(也称作去马赛克算法处理或者去马赛克处理)等时，能够按照重复图案而进行处理。另外，在以基本排列图案P的单位进行间拔处理而缩小图像的情况下，通过使间拔处理后的滤色器排列与间拔处理前的排列相同，能够使用共通的处理电路。
〔特征(2)〕
滤色器排列中，与为了得到亮度信号而贡献最大的颜色(在本实施方式中，为G色)对应的G色的滤色器在滤色器排列的水平、垂直、和倾斜方向(倾斜右上和倾斜左下方向、倾斜右下和倾斜左上方向)的各滤光片行内配置一个以上。由此，能够提高高频区域中的像素插值处理的再现精度。
〔特征(3)〕
基本排列图案P中，G像素36的像素数的比率大于其他颜色的R像素35、B像素37的各自的像素数的比率。由此，抑制像素插值处理时的混淆，并且使高频再现性提高。
〔特征(4)〕
滤色器排列中，与G色以外的两种颜色以上的其他颜色(在本实施方式中，为R、B色)对应的R色和B色的滤色器40在基本排列图案P内在滤色器排列的水平方向和垂直方向的各行内分别配置一个以上。由此，能够降低伪色(彩色莫尔条纹)的发生。其结果为，能够不将用于抑制伪色的发生的光学低通滤光片配置于从摄影镜头17的入射面到摄像面的光路，或者即使在适用光学低通滤光片的情况下，也能够适用用于防止伪色的发生的、截止高频成分的作用较弱的结构。因此，能够不损坏分辨率。
〔特征(5)〕
滤色器排列包含与设有G色的滤色器40的2×2的G像素36对应的正方排列41。取出这种2×2的G像素36，并求算水平方向上的G像素36的像素值的差的绝对值、垂直方向上的G像素36的像素值的差的绝对值、倾斜方向上的G像素36的像素值的差的绝对值，从而能够判断为与水平方向、垂直方向和倾斜方向中差的绝对值较小的方向存在相关性。即，根据该滤色器排列，能够使用正方排列41内的最小像素间隔的G像素36的信息，判别水平方向、垂直方向和倾斜方向中的相关性较高的方向。该方向判别结果能够使用于像素插值处理。
〔特征(6)〕
基本排列图案P相对于其中心为点对称。另外，基本排列图案P内的4个3×3的子排列也分别相对于中心的G色的滤色器40为点对称。利用这种对称性，能够减小或简化后段的处理电路的电路规模。
〔相位差像素〕
在彩色摄像元件23的摄像面的一部分区域(例如中央区域)上，替代一部分G像素36，设有第一相位差像素36a(图中由“G1”表示)、第二相位差像素36b(图中由“G2”表示)。第一和第二相位差像素36a、36b与本发明的第一像素、第二像素相当。
如图5所示，在彩色摄像元件23的摄像面，设有具有第一排列图案42和第二排列图案43的一对排列图案44。在第一排列图案42，沿水平方向(第一方向)以3像素间隔(第一间隔)交替地排列有第一相位差像素36a和第二相位差像素36b。第二排列图案43是将第一排列图案42沿水平方向错开3像素间隔量而成的排列。
在这种一对排列图案44中，第一相位差像素36a呈W字状配置，第二相位差像素36b呈M字状配置。由此，在彩色摄像元件23的摄像面的相对于水平方向和垂直方向倾斜的倾斜(NE、NW)方向的像素行LNE、LNW中的同一像素行内分别配置第一和第二排列图案42、43的第一相位差像素36a。另外，在像素行LNE、LNW中的同一像素行内分别配置第一和第二排列图案42、43的第二相位差像素36b。
在此，RGB像素35～37以及第一和第二相位差像素36a、36b是正方形形状，因此NE方向和NW方向相对于水平方向、垂直方向分别成为45°的方向。该角度能够根据各像素的水平方向、垂直方向的各边的长度的增减而增减。例如，在使用正方形形状以外的矩形形状的像素的情况下，其对角线方向成为倾斜(NE、NW)方向。另外，即使各像素是正方形形状以外的矩形形状，在将各像素呈正方网格状配置的情况下，NE方向和NW方向相对于水平方向、垂直方向也分别成为45°的方向。
这种一对排列图案44沿垂直方向(第二方向)以12像素间隔(第二间隔)重复配置。
在表示第一和第二相位差像素36a、36b的截面的图6的(A)部分、图6的(B)部分中，在彩色摄像元件23的半导体基板45的表层呈矩阵状形成有光电转换元件39。另外，虽然省略图示，但是在半导体基板45设有用于各像素的驱动、信号输出的各种电路。
在各光电转换元件39上设有遮光膜47。遮光膜47设置为，覆盖第一相位差像素36a的光电转换元件39的图中右一半的区域(以下，简称作右区域)，且覆盖第二相位差像素36b的图中左一半的区域(以下，简称作左区域)。由此，仅露出第一相位差像素36a的光电转换元件39的左区域，且仅露出第二相位差像素36b的光电转换元件39的右区域。另外，虽然省略图示，但是在RGB像素35～37的光电转换元件39上没有设置遮光膜47。
在遮光膜47上隔着未图示的平坦化层等而设有滤色器40。在与第一和第二相位差像素36a、36b对应的位置上设有G色的滤色器40。另外，虽然省略图示，但是在与R、G、B的各色的像素35～37分别对应的位置设有R、G、B的各色的滤色器40。
在各色的滤色器40上分别设有微透镜49。另外，也可以在滤色器40和微透镜49之间也设有透光性的平坦层等各种层。
从图中右倾斜方向入射到第一相位差像素36a上的微透镜49的被摄体光50R(图中由虚线表示)由微透镜49聚光到光电转换元件39的左区域。相反，沿图中左倾斜方向入射到微透镜49的被摄体光50L(图中由实线表示)由遮光膜47遮光，因此不聚光到光电转换元件39的右区域。
另外，入射到第二相位差像素36b上的微透镜49的被摄体光50由微透镜49聚光到光电转换元件39的右区域。相反，入射到微透镜49的被摄体光50R由遮光膜47遮光，因此不聚光到光电转换元件39的左区域。
如图7所示，被摄体光50L、50R分别通过摄影镜头17(变焦透镜15和聚焦透镜16)的左区域17L、右区域17R。另外，为了防止附图的复杂化，两透镜15、16一体化而图示。
返回到图6，入射到彩色摄像元件23的被摄体光被遮光膜47光瞳分割，由此第一相位差像素36a相对于被摄体光50R，灵敏度变高，相反，第二相位差像素36b相对于被摄体光50L，灵敏度变高。另外，在本实施方式中，遮光膜47作为进行光瞳分割的光瞳分割部而发挥功能，但是例如也可以使微透镜49的位置偏心。
另外，虽然省略图示，但是入射到RGB像素35～37上的微透镜49的被摄体光50R被聚光到光电转换元件39的左区域，被摄体光50L被聚光到光电转换元件39的右区域。因此，RGB像素35～37相对于被摄体光50L和被摄体光50R这两方，灵敏度变高。
＜图像处理电路的结构＞
如图8所示，图像处理电路29具有通常处理部(第三图像生成单元)52、像素插值处理部(第一插值单元、第二插值单元)53和裂像处理部(对焦确认图像生成单元)54。通常处理部52在摄影模式时基于来自RGB像素35～37的输出信号，生成全色的摄影图像数据55。像素插值处理部53和裂像处理部54在MF模式时工作。
如图9和图10的(A)部分、(B)部分所示，在将像素行LNE、LNW中的同一像素行内所配置的第一和第二排列图案42、43的第一相位差像素36a设为第一像素对57a时，像素插值处理部53通过插值处理来求算第一像素对57a的中间位置处的第一插值像素58a(图中由“g1”表示)的像素值。具体来说，如图中的箭头VNW、VSE和箭头VNE、VSW所示，像素插值处理部53基于第一像素对57a的两像素值，进行倾斜(NE、NW)方向的插值处理而求算第一插值像素58a的像素值。在此，例如将第一像素对57a的两像素值的平均值设为第一插值像素58a的像素值。
另外，如图9和图11的(A)部分、(B)部分所示，在将像素行LNE、LNW中的同一像素行内所配置的第一和第二排列图案42、43的第二相位差像素36b设为第二像素对57b时，像素插值处理部53通过插值处理来求算第二像素对57b的中间位置处的第二插值像素58b(图中由“g2”表示)的像素值。具体来说，如图中的箭头VNW、VSE或者箭头VNE、VSW所示，像素插值处理部53基于第二像素对57b的两像素值，进行倾斜(NE、NW)方向的插值处理而求算第二插值像素58b的像素值。在此，例如将第二像素对57b的两像素值的平均值设为第二插值像素58a的像素值。
利用这种基于由像素插值处理部53进行的插值处理，沿着同一水平方向的像素行，分别以3像素间隔求算第一和第二插值像素58a、58b的像素值。像素插值处理部53将第一和第二插值像素58a、58b的像素值分别向裂像处理部54输出。
裂像处理部54基于第一和第二插值像素58a、58b的像素值的亮度成分，生成位于被摄体的中央区域(摄影图像的中央区域)的白黑的裂像数据(对焦确认图像)61。
如图12所示，裂像处理部54基于第一插值像素58a的像素值的亮度成分，生成从R视点侧观察被摄体的中央区域的图中上一半的区域时的白黑的第一图像数据61R。另外，裂像处理部54基于第二插值像素58b的像素值的亮度成分，生成从L视点侧观察被摄体的中央区域的图中下一半的区域时的白黑的第二图像数据61L。由此，得到包含第一图像数据61R和第二图像数据61L的白黑的裂像数据61。另外，在图中，以能够容易地把握裂像数据61的图像的方式将裂像数据61与摄影图像数据55合成，但是该合成由显示控制部33进行。
摄影图像数据55和裂像数据61临时存储在存储器13的VRAM区域。显示控制部(显示控制单元)33从存储器13读出摄影图像数据55和裂像数据61，将裂像数据61与摄影图像数据55合成后向显示部8输出。由此，得到在基于摄影图像数据55的全色的摄像图像内显示有基于裂像数据61的白黑的裂像的即时预览图像。
第一图像数据61R和第二图像数据61L根据聚焦透镜16的对焦状态而沿图中左右方向移位。此时的第一和第二图像数据61R、61L之间的偏离量与聚焦透镜16的焦点的偏离量对应。另外，第一和第二图像数据61R、61L在聚焦透镜16对焦时，偏离量成为零(包括大致为零)。
如图13所示，聚焦透镜16的焦点越偏离，第一图像数据61R与第二图像数据61L偏离量也越变大。由此，用户能够确认即时预览图像并进行调焦。另外，在图中，由双点划线表示没有对焦的被摄体。
＜其他结构＞
另外，虽然省略图示，但是在数码相机2设有自动对焦用的AF检测电路。AF检测电路对由第一相位差像素36a的输出信号构成的图像和由第二相位差像素36b的输出信号构成的图像进行分析，而检测两图像的偏离方向和两图像间的偏离量，从而求算调焦量(也称作散焦量)。基于该调焦量，CPU11利用镜头驱动器25和聚焦机构20对聚焦透镜16进行驱动而进行调焦。对于这种相位差方式的AF处理是公知的，因此在此省略具体的说明。
＜第一实施方式的数码相机的作用＞
接下来，使用图14对上述结构的数码相机2的作用进行说明。当利用操作部9将数码相机2设定为摄影模式的MF模式(步骤S1)时，CPU11经由镜头驱动器25对机械快门18的动作进行控制，并经由摄像元件驱动器27对彩色摄像元件23进行驱动(步骤S2)。另外，设定了AF模式的情况下的数码相机2的动作是公知的，因此在此省略具体的说明。
彩色摄像元件23的RGB像素35～37的像素值(输出信号)向图像处理电路29的通常处理部52输出(步骤S2－1中为是，步骤S3)。通常处理部52基于RGB像素35～37的像素值来生成全色的摄影图像数据55，并存储于存储器13的VRAM区域(步骤S4)。
另一方面，第一和第二相位差像素36a、36b的像素值(输出信号)被输入到像素插值处理部53(步骤S2－1中为否)。如图9和图10所示，像素插值处理部53基于一对排列图案44内的各第一像素对57a的像素值，进行倾斜方向的插值处理，求算第一插值像素58a的像素值(步骤S5)。另外，如图9和图11所示，像素插值处理部53基于一对排列图案44内的各第二像素对57b的像素值，进行倾斜方向的插值处理，求算第二插值像素58b的像素值(步骤S5)。
以下同样地，像素插值处理部53对摄像面内的全部的一对排列图案44进行同样的处理，求算第一和第二插值像素58a、58b的像素值。并且，像素插值处理部53将各插值像素58a、58b的像素值向裂像处理部54输出(步骤S6)。
裂像处理部54基于各个第一插值像素58a的像素值的亮度成分来生成第一图像数据61R，并且基于各个第二插值像素58b的像素值的亮度成分来生成第二图像数据61L。由此，生成包含第一图像数据61R和第二图像数据61L在内的白黑的裂像数据61(步骤S7)。裂像数据61存储于存储器13的VRAM区域。
显示控制部33从存储器13读出摄影图像数据55和裂像数据61并进行合成后向显示部8输出。由此，将如图12所示的在全色的摄影图像内包含白黑的裂像的即时预览图像显示于显示部8(步骤S8)。
裂像数据61的基于第一图像数据61R的图像和基于第二图像数据61L的图像、即裂像的上下图像如图13所示地根据聚焦透镜16的对焦状态而沿图中左右方向移位。因此，用户对对焦环3a进行旋转操作而使聚焦透镜16沿光轴方向移动。伴随着聚焦透镜16接近于与被摄体对焦的对焦位置，裂像的上下图像的偏离量逐渐变小。由此，用户能够确认即时预览图像并进行调焦。
当聚焦透镜16被设置于对焦位置时，裂像的上下图像的偏离量成为零。由此，聚焦透镜16与被摄体对焦，调焦完成(步骤S9)。以下，反复执行上述的处理，直至对快门按钮6进行按下操作(步骤S9－1中为否)。
当按下快门按钮6时(步骤S9－1中为是)，由通常处理部52生成1帧量的摄影图像数据55并临时存储于存储器13的VRAM区域。该摄影图像数据55在被压缩扩展处理电路31压缩后，经由介质I/F32记录于存储卡10(步骤S10)。以下，反复执行上述的处理直至MF模式结束(步骤S10－1中为是)。
＜第一实施方式的数码相机的作用效果＞
如图15的(A)部分所示，在本发明中，在彩色摄像元件23的摄像面配置一对排列图案44，基于第一和第二像素对57a、57b的像素值来进行倾斜方向的插值处理，从而求算第一和第二插值像素58a、58b的像素值。由此，基于始终处于隔开1.5像素量的位置的各相位差像素36a、36b的像素值，求算各插值像素58a、58b的像素值。
另一方面，在表示比较例的图15的(B)部分中，在进行以往的水平方向(垂直方向也同样)的插值处理的情况下，如上所述对无需插值的状态和使用处于隔开3像素量的位置的各相位差像素36a、36b来进行插值的状态进行切换(参照图29和图30)。因此，在后者的状态时，基于处于隔开3像素量的位置的各相位差像素36a、36b的像素值来进行插值处理，因此在对高频的被摄体进行摄像时，由于锯齿的增加，裂像的对焦精度有可能降低。
相对于此，在本发明中，基于始终处于比比较例近的位置(在本实施方式中隔开1.5像素的位置)的各相位差像素36a、36b的像素值来进行插值处理，从而能够与比较例的后者的状态相比降低锯齿的产生。因此，在本发明中，与比较例不同，不产生锯齿增加那样的状态，因此在沿水平方向和垂直方向对高频的被摄体进行摄像时，能够与比较例相比降低锯齿的产生。另外，由于沿倾斜方向进行插值处理，因此能够降低沿垂直方向或者水平方向对高频的被摄体进行摄像时的摄像信号的模糊。由此，在本发明中，与比较例相比，使裂像的上下图像的边界、偏离清楚地显示，因此与比较例相比，能够提高MF操作时的对焦精度。
[第二实施方式的数码相机]
接下来，使用图16，对本发明的第二实施方式的数码相机65进行说明。在上述第一实施方式的数码相机2中，基于第一和第二像素对57a、57b的像素值，始终进行倾斜方向的插值处理，但是在数码相机65中，从多种插值处理中选择最佳的插值处理而执行。
数码相机65除了在图像处理电路29设有判别部66、插值控制部67和插值处理部68这一点外，是与上述第一实施方式基本相同的结构，因此对与上述第一实施方式在功能/结构方面相同的结构，标注同一附图标记而省略其说明。
判别部66对RGB像素35的相关性较高的方向和相关性的强度进行判别。该判别部66将滤光片Fh、滤光片Fv分别与RGB像素35～37例如构成上述的正方排列41(参照图4)的G像素36的像素值(输出信号)进行卷积，将滤光片Fh的卷积结果Rh和滤光片Fv的卷积结果Rv代入到下述的式(1)、式(2)。
100×Rh＜Rv…(1)
Rh＞100×Rv…(2)
在满足上述式(1)的情况下，判别为RGB像素35在垂直方向上相关性较高、即通过摄像得到的摄像信号是对垂直方向高频的被摄体进行摄像而得到的垂直方向高频信号。另外，在满足上述式(2)的情况下，判别为RGB像素35在水平方向上相关性较高、即通过摄像得到的摄像信号是对水平方向高频的被摄体进行摄像而得到的水平方向高频信号。并且，在均不满足上述式(1)和式(2)的情况下，判别为通过摄像得到的摄像信号不是垂直方向高频信号和水平方向高频信号中的任一种。判别部66的判别结果(是否满足上述式(1)和式(2))向插值控制部67输出。
插值控制部67与本发明的插值控制单元相当，此外与上述的判别部66一起作为本发明的判别单元而发挥功能。插值控制部67基于判别部66的判别结果，从多种插值处理中选择与判别结果对应的插值处理，使插值处理部68执行该插值处理。插值控制部67在满足上述式(1)的情况下使插值处理部68执行水平方向插值处理，在满足上述式(2)的情况下使插值处理部68执行垂直方向插值处理，在均不满足上述式(1)和式(2)的情况下使插值处理部68执行倾斜方向插值处理。
在插值处理部68设有水平方向插值处理部(第三插值单元)70、垂直方向插值处理部(第四插值单元)71和倾斜方向插值处理部(第一和第二插值单元)72。
如上述的图29、图30和图15的(B)部分所示，水平方向插值处理部70基于第一和第二排列图案42、43内的各第一和第二相位差像素36a、36b的像素值来进行水平方向插值处理。具体来说，如图中箭头VL、VR所示，对于第一和第二排列图案42、43内分别位于第一相位差像素36a间的第一插值像素58a的像素值，使用位于该第一插值像素58a的图中左侧和右侧的第一相位差像素36a的像素值来进行求算。另外，同样地，求算位于各第二相位差像素36b间的第二插值像素58b的像素值。在该情况下，第一插值像素58a与本发明的第三插值像素相当，第二插值像素58b与本发明的第四插值像素相当。
如上述的图29、图30所示，垂直方向插值处理部71基于第一和第二排列图案42、43内的各第一和第二相位差像素36a、36b的像素值，进行垂直方向插值处理。具体来说，如图中的箭头VT、VB所示，对于第一和第二排列图案42、43的一方的位于第一相位差像素36a间的第一插值像素58a的像素值，使用各排列图案42、43的另一方内的且位于与第一插值像素58a相同的垂直方向的像素行内的第一相位差像素36a的像素值来进行求算。另外，同样地求算位于各第二相位差像素36b间的第二插值像素58b的像素值。在该情况下，第一插值像素58a与本发明的第五插值像素相当，第二插值像素58b与本发明的第六插值像素相当。
倾斜方向插值处理部72与第一实施方式的像素插值处理部53相同，进行上述的图9所示的倾斜方向的插值处理。
＜第二实施方式的数码相机的作用＞
接下来，使用图17和图18，对上述结构的数码相机65的作用进行说明。另外，从步骤S1到步骤S4的处理与上述第一实施方式相同，因此在此省略具体的说明。
在图18中，判别部66在执行步骤S3时，将滤光片Fh、滤光片Fv分别与构成正方排列41的G像素36的像素值对进行卷积，算出滤光片Fh的卷积结果Rh和滤光片Fv的卷积结果Rv(步骤S13、S14)。
接下来，判别部66分别将卷积结果Rh、Rv代入到上述式(1)、式(2)，对是否分别满足上述式(1)、式(2)进行判别(步骤S15、S16)。由此，能够对RGB像素35的相关性较高的方向和相关性的强度进行判别。判别部66的判别结果向插值控制部67输出。
插值控制部67在满足式(1)的情况下(步骤S15中为是)，判别为摄像信号是垂直方向高频信号，使水平方向插值处理部70动作而使其执行上述的水平方向插值处理(步骤S17)。由此，求算第一和第二插值像素58a、58b的像素值(参照图29和图30)。
另外，插值控制部67在满足式(2)的情况下(步骤S15中为否，步骤S16中为是)判别为摄像信号是水平方向高频信号，使垂直方向插值处理部71动作而使其执行上述的垂直方向插值处理(步骤S18)。由此，求算第一和第二插值像素58a、58b的像素值(参照图29和图30)。
此外，插值控制部67在不满足式(1)和式(2)的情况下(步骤S15、S16中为否)判别为摄像信号并非水平方向高频信号和垂直方向高频信号，使倾斜方向插值处理部72动作而使其执行倾斜方向插值处理(步骤S19)。由此，求算第一和第二插值像素58a、58b的像素值(参照图9)。
返回到图17，在执行水平方向插值处理或者垂直方向插值处理的情况下，将第一和第二相位差像素36a、36b的像素值以及第一和第二插值像素58a、58b的像素值输出到裂像处理部54(步骤S21)。裂像处理部54基于第一相位差像素36a的像素值和第一插值像素58a的像素值来生成第一图像数据61R，并基于第二相位差像素36b的像素值和第二插值像素58b的像素值来生成第二图像数据61L。由此，生成裂像数据61(步骤S7)。
另外，在执行倾斜插值处理的情况下，与第一实施方式同样，将各插值像素58a、58b的像素值输出到裂像处理部54，由该裂像处理部54生成裂像数据61(步骤S21、S7)。对于以下的处理，由于与第一实施方式基本相同，因此省略说明。
如此，在第二实施方式中，基于对RGB像素35的相关性高的方向和相关性的强度进行判别后的结果，选择最佳的插值处理，因此即使在水平方向或者垂直方向的信号相关性极强的情况下，也能够抑制裂像的模糊、锯齿的产生。其结果为，能够提高MF操作时的对焦精度。另外，对RGB像素35的相关性高的方向和相关性的强度进行判别的方法不限于上述的方法，能够使用公知的各种方法。
[第三实施方式的数码相机]
接下来，使用图19，对本发明的第三实施方式的数码相机75进行说明。在上述第一实施方式中，对全部的第一和第二相位差像素36a、36b是正常像素的情况进行了说明，但是在数码相机75中进行与第一和第二相位差像素36a、36b是缺陷像素的情况对应的倾斜插值处理。
数码相机75如果除去具备缺陷像素检测电路(缺陷像素检测单元)76和像素插值处理部(第一和第二插值单元)77这一点，则是与上述第一实施方式基本相同的结构，因此对与上述第一实施方式在功能/结构方面相同的结构，标注同一附图标记而省略其说明。
缺陷像素检测电路76从各第一和第二相位差像素36a、36b中检测缺陷像素。另外，在检测该缺陷像素之前，例如在由机械快门18对彩色摄像元件23的摄像面进行遮光的遮光状态下，由彩色摄像元件23进行摄像。即，求算遮光状态下的彩色摄像元件23的各相位差像素36a、36b的像素值。如此得到的各相位差像素36a、36b的像素值是表示各相位差像素36a、36b的暗输出的电平的值。在此，求算各相位差像素36a、36b的暗输出的电平的方法不限于上述的方法，能够使用公知的各种方法。
缺陷像素检测电路76对在遮光状态下得到的各相位差像素36a、36b的像素值是否处于预先设定的范围内进行判定，在成为该范围外的值的情况下判定为是缺陷像素。由此，能够从各相位差像素36a、36b中检测缺陷像素。另外，缺陷像素的检测方法不限于上述的方法，能够使用公知的各种方法。基于缺陷像素检测电路76的缺陷像素的检测结果输出到像素插值处理部77。
像素插值处理部77与第一实施方式的像素插值处理部53基本相同，第一和第二像素对57a、57b(参照图10和图11)的各自的两方的像素是正常像素的情况下，进行与第一实施方式同样的倾斜插值处理(参照图9)。
相对于此，如图20所示，插值处理部77基于缺陷像素检测电路76的检测结果，在第一像素对57a的一方是缺陷像素(图中由“×”表示)的情况下，将第一像素对57a的另一方的第一相位差像素36a的像素值确定为第一插值像素58a的像素值。另外，插值处理部77在第二像素对57b的一方是缺陷像素的情况下，将第二像素对57b的另一方的第二相位差像素36b的像素值确定为第二插值像素58b的像素值。
此外，如图21所示，插值处理部77在沿水平方向(从图中左侧到右侧)配置于第N个(N是2以上的自然数：在本实施方式中N＝2)的第一像素对57a的两方是缺陷像素的情况下，首先求算与第(N－1)个和第(N+1)个第一像素对57a分别对应的第一插值像素58a的像素值。并且，插值处理部77将首先求算的两像素值的平均值确定为第N个第一插值像素58a(图中由“g1’”表示)的像素值。
另外，插值处理部77在配置于第N个的第二像素对57b的两方是缺陷像素的情况下，首先求算与第(N－1)个和第(N+1)个的第二像素对57b分别对应的第二插值像素58b的像素值。并且，插值处理部77将首先求算的两像素值的平均值确定为第N个第二插值像素58b(图中由“g2’”表示)的像素值。
另外，以下的处理与第一实施方式基本相同，因此省略具体的说明。
如此，在第三实施方式的数码相机75中，在第一和第二相位差像素36a、36b是缺陷像素的情况下，能够不使用缺陷像素而求算第一和第二插值像素58a、58b的像素值。其结果为，即使各相位差像素36a、36b是缺陷像素也能够防止裂像的模糊、锯齿的产生，因此能够提高MF操作时的对焦精度。
[其他]
在上述第一实施方式中，基于利用倾斜插值处理求算的第一和第二插值像素58a、58b的像素值来生成裂像数据61，但是也可以例如如图22所示，基于各插值像素58a、58b的像素值以及各相位差像素36a、36b的像素值来生成裂像数据61。另外，在该情况下，将各相位差像素36a、36b分别以6像素间隔配置，因此优选为与此对应地将各插值像素58a、58b的像素值也以6像素间隔进行求算。
在上述各实施方式中，在彩色摄像元件23的摄像面上二维排列有RGB像素35～37、第一和第二相位差像素36a、36b，但是，例如，也可以如图23所示，在彩色摄像元件79的摄像面上仅二维排列有第一和第二相位差像素36a、36b的情况下，也能够适用本发明。在该情况下，在彩色摄像元件79的摄像面上设有具有第一排列图案80和第二排列图案81的一对排列图案82，且将该一对排列图案82沿垂直方向排列多个。
在第一排列图案80中，将第一相位差像素36a和第二相位差像素36b沿水平方向交替地排列。第二排列图案81是将第一排列图案80沿水平方向错开1像素间隔量而成的排列。
即使在使用这种彩色摄像元件79的情况下，也能够利用与上述第一实施方式同样的倾斜插值处理，分别求算第一和第二插值像素58a、58b的像素值。另外，摄像面的全部的像素由第一和第二相位差像素36a、36b构成，因此能够基于各相位差像素36a、36b的像素值来生成可立体视的视差图像数据。另外，在该情况下，上述的图12等所示的摄影图像数据55基于第一和第二相位差像素36a、36b中的任一个像素值或将两方的像素值相加或者进行平均后的结果而生成。
在上述各实施方式中，在第一和第二排列图案42、43中将第一和第二相位差像素36a、36b分别沿水平方向以3像素间隔交替地配置，且将各排列图案42、43沿垂直方向错开3像素间隔而配置，但是这些间隔也可以适当变更。另外，也可以在各排列图案42、43中将各相位差像素36a、36b以α(α是1以上的自然数)像素间隔交替地配置，且将各排列图案42、43沿垂直方向错开β(β≠α)像素间隔而配置。该情况下的倾斜插值的方向(第三方向、第四方向)成为±45°以外的方向。
在上述各实施方式中，一对排列图案44沿垂直方向以12像素间隔配置，但是也可以以γ(γ是1以上的自然数)像素间隔配置。另外，在例如成为γ＝β的情况下，也可以在沿垂直方向排列的两组一对排列图案44的一方的第二排列图案43与另一方的第一排列图案42之间进行倾斜插值处理。
在上述各实施方式中，作为裂像数据61，列举沿垂直方向(上下)被分割为二等分的结构为例而进行了说明，但是包含如下的结构：在本发明的裂像数据上重叠两个相位差图像(第一图像、第二图像)而进行合成显示时，在焦点偏离的情况下显示为二重像且在对焦的状态下清晰地显示。
例如，裂像数据61也可以沿水平方向被分割为二等分、沿倾斜方向(NE、NW)被分割为二等分。另外，也可以将裂像数据61沿垂直方向或者水平方向分割成长条状，将基于第一插值像素58a的像素值而生成的第一图像数据和基于第二插值像素58b的像素值而生成的第二图像数据交替地显示。此外，也可以将裂像数据61分割为网格状，将第一图像数据和第二图像数据分别呈棋盘式格纹图案(方格图案)状排列而显示。
在上述各实施方式中，作为通常像素，对3色的RGB像素进行了说明，但是例如也可以是RGB这三原色+其他颜色(例如翠绿色(E))的4色的像素，像素的种类不特别限定。另外，本发明也能够适用于作为原色RGB的补色的C(蓝色)、M(品红)、Y(黄色)的像素。另外，也可以将上述各实施方式中的至少两个适当组合。
在上述各实施方式中，作为本发明的摄像装置，列举数码相机为例进行了说明，但是，例如也能够将本发明适用于具有摄影功能的移动电话、智能手机、PDA(PersonalDigitalAssistants：个人数字助理)、平板型计算机、便携式游戏机。以下，列举智能手机为例，并参照附图详细地进行说明。
＜智能手机的结构＞
图24表示智能手机500的外观。智能手机500具有平板状的壳体501。在壳体501的一面具备显示输入部502、扬声器503、麦克风504、操作部505和相机部506。另外，壳体501的结构不限于此，例如，也能够采用使显示部和输入部独立而成的结构、具有折叠结构、滑动机构的结构。
显示输入部502利用接收来自CPU507的指令的显示处理部508的控制，显示图像(静止图像和动态图像)、文字信息等。另外，显示输入部502具有检测对所显示的信息的用户操作的所谓的触摸面板结构。该显示输入部502由显示面板510和操作面板512构成。
显示面板510使用LCD(LiquidCrystalDisplay：液晶显示器)、OELD(OrganicElectro-LuminescenceDisplay：有机电激发光显示器)等作为显示设备。操作面板512具有透光性，载置在显示面板510的显示面上。该操作面板512是检测利用用户的手指、尖笔所操作的一个或多个坐标的设备。当利用用户的手指、尖笔对该设备进行操作时，将因操作而产生的检测信号输出到智能手机500的CPU。CPU基于所接收的检测信号，检测显示面板510上的操作位置(坐标)。作为由操作面板512所采用的位置检测方式，能够列举矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式和静电电容方式等。
如图25所示，智能手机500除了具备显示输入部502、扬声器503、麦克风504、操作部505、相机部506、CPU507、显示处理部508外，还具备无线通信部515、通话部516、存储部517、外部输入输出部518、GPS(GlobalPositioningSystem：全球定位***)接收部519、运动传感器部520和电源部521。
无线通信部515按照CPU507的指示，对收纳于移动通信网的基站装置进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。
通话部516具备扬声器503、麦克风504，将经由麦克风504而输入的用户的声音转换为声音数据而输出到CPU507，对由无线通信部515等所接收的声音数据进行解码而从扬声器503输出。
操作部505例如是适用按钮式的开关、十字键等的硬件键，接收来自用户的指示。该操作部505搭载于例如壳体501的显示部的下部、壳体501的侧面。
存储部517存储CPU507的控制程序、控制数据、应用软件、与通信对方的名称、电话号码等建立对应而成的地址数据、所收发的电子邮件的数据等，另外临时存储流数据等。另外，存储部517由智能手机内置的内部存储部517a和具有装拆自如的外部存储器插槽的外部存储部517b构成。另外，作为内部存储部517a和外部存储部517b，使用闪存型、硬盘型等公知的各种存储介质。
外部输入输出部518起到与连接于智能手机500的全部的外部设备的接口的作用，通过通信等而与其他外部设备直接地或者间接地连接。
GPS接收部519接收从GPS卫星ST1～STn发送的GPS信号，并执行基于所接收的多个GPS信号的测位运算处理，检测智能手机500的由纬度、经度、高度构成的位置。将该检测结果输出到CPU507。
移动传感器部520例如具备三轴加速度传感器等，检测智能手机500的物理性移动。由此，检测智能手机500移动的方向、加速度。将该检测结果输出到CPU507。另外，电源部521将蓄积于未图示的电池的电力供给到智能手机500的各部。
CPU507根据从存储部517读出的控制程序、控制数据而动作，并对智能手机500的各部进行集中控制。另外，CPU507执行对显示面板510的显示控制、检测通过操作部505、操作面板512进行的用户操作的操作检测控制等。
通过执行显示控制，CPU507显示用于启动应用软件的图标、滚动条等软件键，或显示用于创建电子邮件的窗口。另外，滚动条是指，用于对于没有完全收纳于显示面板510的显示区域的较大的图像等接收使图像的显示部分移动的指示的软件键。
另外，通过执行操作检测控制，CPU507检测通过操作部505进行的用户操作，或者通过操作面板512接收对上述图标的操作、对上述窗口的输入栏的字符串的输入，或接收通过滚动条进行的显示图像的滚动要求。
此外，通过执行操作检测控制，CPU507具备如下的触摸面板控制功能：判定对操作面板512的操作位置是与显示面板510重叠的重叠部分(显示区域)还是除此以外的未与显示面板510重叠的外缘部分(非显示区域)，并对操作面板512的感应区域、软件键的显示位置进行控制。
另外，CPU507能够检测对操作面板512的手势操作进行检测，并根据所检测出的手势操作，执行预先设定的功能。手势操作并非以往的单纯的触摸操作，而是指利用手指等来描绘轨迹，或对多个位置同时进行指定，或将这些组合而从多个位置对至少一个描绘轨迹的操作。
相机部506是与上述各实施方式的数码相机基本相同的结构，因此能够得到与上述各实施方式同样的效果。另外，MF操作例如由显示输入部502、操作部505进行即可。
附图标记说明
2、65、75…数码相机，23、79…彩色摄像元件，29…图像处理电路，35…R像素，36…G像素，37…B像素，36a…第一相位差像素，36b…第二相位差像素，53、68、77…像素插值处理部，54…裂像处理部，57a…第一像素对，57b…第二像素对，58a…第一相位差像素，58b…第二相位差像素，61…裂像数据，66…判别部，67…插值控制部。

Claims (11)

1.一种摄像装置，具备：
摄影镜头；
摄像元件，沿第一方向和与所述第一方向垂直的第二方向二维排列有包含光电转换元件的多个像素，所述多个像素包含通过了所述摄影镜头的第一区域和第二区域的各被摄体光进行光瞳分割而分别入射的第一像素和第二像素，所述摄像元件沿所述第二方向以第二间隔重复配置有具有第一排列图案和第二排列图案的一对排列图案，所述第一排列图案是将所述第一像素和第二像素沿所述第一方向以第一间隔交替地排列而成的，所述第二排列图案是将所述第一排列图案沿所述第一方向错开所述第一间隔量而成的；
第一插值单元，在将所述摄像元件的相对于所述第一方向和第二方向倾斜的第三方向和第四方向的像素行中的同一像素行内所配置的所述第一排列图案和第二排列图案的各所述第一像素设为第一像素对时，所述第一插值单元基于所述第一像素对的像素值通过插值处理来求算该第一像素对的中间位置处的第一插值像素的像素值；
第二插值单元，在将所述同一像素行内所配置的所述第一排列图案和第二排列图案的各所述第二像素设为第二像素对时，所述第二插值单元基于所述第二像素对的像素值通过插值处理来求算该第二像素对的中间位置处的第二插值像素的像素值；
对焦确认图像生成单元，仅基于由所述第一插值单元和第二插值单元求出的所述第一插值像素和第二插值像素的像素值的亮度成分来分别生成第一图像、第二图像，并基于所述第一图像和第二图像来生成对焦确认图像；及
显示单元，显示由所述对焦确认图像生成单元生成的所述对焦确认图像。
2.一种摄像装置，具备：
摄影镜头；
摄像元件，沿第一方向和与所述第一方向垂直的第二方向二维排列有包含光电转换元件的多个像素，所述多个像素包含通过了所述摄影镜头的第一区域和第二区域的各被摄体光进行光瞳分割而分别入射的第一像素和第二像素，所述摄像元件沿所述第二方向以第二间隔重复配置有具有第一排列图案和第二排列图案的一对排列图案，所述第一排列图案是将所述第一像素和第二像素沿所述第一方向以第一间隔交替地排列而成的，所述第二排列图案是将所述第一排列图案沿所述第一方向错开所述第一间隔量而成的；
第一插值单元，在将所述摄像元件的相对于所述第一方向和第二方向倾斜的第三方向和第四方向的像素行中的同一像素行内所配置的所述第一排列图案和第二排列图案的各所述第一像素设为第一像素对时，所述第一插值单元基于所述第一像素对的像素值通过插值处理来求算该第一像素对的中间位置处的第一插值像素的像素值；
第二插值单元，在将所述同一像素行内所配置的所述第一排列图案和第二排列图案的各所述第二像素设为第二像素对时，所述第二插值单元基于所述第二像素对的像素值通过插值处理来求算该第二像素对的中间位置处的第二插值像素的像素值；
对焦确认图像生成单元，至少根据由所述第一插值单元和第二插值单元求出的所述第一插值像素和第二插值像素的像素值来分别生成第一图像、第二图像，并基于所述第一图像和第二图像来生成对焦确认图像；及
显示单元，显示由所述对焦确认图像生成单元生成的所述对焦确认图像，
所述多个像素包含所述第一像素、所述第二像素和通过了所述第一区域和第二区域的各被摄体光不进行光瞳分割而分别入射的第三像素，
所述摄像装置具备：
第三图像生成单元，基于所述第三像素的像素值来生成第三图像；
显示控制单元，使所述显示单元显示由所述第三图像生成单元生成的所述第三图像且在该第三图像的显示区域内显示所述对焦确认图像；
第三插值单元，对于所述第一排列图案和第二排列图案各自的位于所述第一像素间的第三插值像素，基于这些第一像素的像素值来确定该第三插值像素的像素值，对于位于所述第二像素间的第四插值像素，基于这些第二像素的像素值来确定该第四插值像素的像素值；
第四插值单元，对于所述第一排列图案和第二排列图案的一方的位于所述第一像素间的第五插值像素，基于与所述第五插值像素相同的所述第二方向的像素行内所配置的所述第一像素的像素值来确定该第五插值像素的像素值，对于所述第一排列图案和第二排列图案的一方的位于所述第二像素间的第六插值像素，基于与所述第六插值像素相同的所述第二方向的像素行内所配置的所述第二像素的像素值来确定该第六插值像素的像素值；
判别单元，基于所述第三像素的像素值，对所述第三像素的相关性高的方向和相关性的强度进行判别；及
插值控制单元，基于所述判别单元的判别结果，选择所述第一插值单元和第二插值单元、或所述第三插值单元、或所述第四插值单元而使其执行插值处理。
3.一种摄像装置，具备：
摄影镜头；
摄像元件，沿第一方向和与所述第一方向垂直的第二方向二维排列有包含光电转换元件的多个像素，所述多个像素包含通过了所述摄影镜头的第一区域和第二区域的各被摄体光进行光瞳分割而分别入射的第一像素和第二像素，所述摄像元件沿所述第二方向以第二间隔重复配置有具有第一排列图案和第二排列图案的一对排列图案，所述第一排列图案是将所述第一像素和第二像素沿所述第一方向以第一间隔交替地排列而成的，所述第二排列图案是将所述第一排列图案沿所述第一方向错开所述第一间隔量而成的；
第一插值单元，在将所述摄像元件的相对于所述第一方向和第二方向倾斜的第三方向和第四方向的像素行中的同一像素行内所配置的所述第一排列图案和第二排列图案的各所述第一像素设为第一像素对时，所述第一插值单元基于所述第一像素对的像素值通过插值处理来求算该第一像素对的中间位置处的第一插值像素的像素值；
第二插值单元，在将所述同一像素行内所配置的所述第一排列图案和第二排列图案的各所述第二像素设为第二像素对时，所述第二插值单元基于所述第二像素对的像素值通过插值处理来求算该第二像素对的中间位置处的第二插值像素的像素值；
对焦确认图像生成单元，至少根据由所述第一插值单元和第二插值单元求出的所述第一插值像素和第二插值像素的像素值来分别生成第一图像、第二图像，并基于所述第一图像和第二图像来生成对焦确认图像；
显示单元，显示由所述对焦确认图像生成单元生成的所述对焦确认图像；及
缺陷像素检测单元，检测所述多个像素中包含的缺陷像素，
基于所述缺陷像素检测单元的检测结果在所述第一像素对的一方是所述缺陷像素的情况下，所述第一插值单元将所述第一像素对的另一方的像素值确定为所述第一插值像素的像素值，
基于所述缺陷像素检测单元的检测结果在所述第二像素对的一方是所述缺陷像素的情况下，所述第二插值单元将所述第二像素对的另一方的像素值确定为所述第一插值像素的像素值。
4.根据权利要求3所述的摄像装置，其中，
基于所述缺陷像素检测单元的检测结果在沿所述第一方向配置于第N个的所述第一像素对的两方是所述缺陷像素的情况下，所述第一插值单元求算与第N－1个和第N+1个所述第一像素对分别对应的所述第一插值像素的像素值，将这些第一插值像素的像素值的平均值确定为与所述第N个所述第一像素对对应的所述第一插值像素的像素值，
基于所述缺陷像素检测单元的检测结果在配置于所述第N个的所述第二像素对的两方是所述缺陷像素的情况下，所述第二插值单元求算与第N－1个和第N+1个所述第二像素对分别对应的所述第二插值像素的像素值，将这些第二插值像素的像素值的平均值确定为与所述第N个所述第二像素对对应的所述第二插值像素的像素值，
其中N是2以上的自然数。
5.根据权利要求1～3中任一项所述的摄像装置，其中，
所述第二排列图案相对于所述第一排列图案沿所述第二方向隔开所述第一间隔而配置。
6.根据权利要求1～3中任一项所述的摄像装置，其中，
所述摄影镜头的第一区域和第二区域是相对于与所述第二方向平行的第一直线对称的区域。
7.根据权利要求6所述的摄像装置，其中，
所述对焦确认图像是将所述第一图像和所述第二图像沿所述第二方向并排配置而成的图像。
8.根据权利要求1～3中任一项所述的摄像装置，其中，
所述摄影镜头含有聚焦透镜，
所述摄像装置具备接受手动对焦操作而使所述聚焦透镜沿所述摄影镜头的光轴方向移动的透镜移动机构。
9.一种摄像装置的控制方法，
所述摄像装置具备：摄影镜头及摄像元件，所述摄像元件沿第一方向和与所述第一方向垂直的第二方向二维排列有包含光电转换元件的多个像素，所述多个像素包含通过了所述摄影镜头的第一区域和第二区域的各被摄体光进行光瞳分割而分别入射的第一像素和第二像素，所述摄像元件沿所述第二方向以第二间隔重复配置有具有第一排列图案和第二排列图案的一对排列图案，所述第一排列图案是将所述第一像素和第二像素沿所述第一方向以第一间隔交替地排列而成的，所述第二排列图案是将所述第一排列图案沿所述第一方向错开所述第一间隔量而成的，
所述摄像装置的控制方法具有：
第一插值步骤，在将所述摄像元件的相对于所述第一方向和第二方向倾斜的第三方向和第四方向的像素行中的同一像素行内所配置的所述第一排列图案和第二排列图案的各所述第一像素设为第一像素对时，基于所述第一像素对的像素值通过插值处理来求算该第一像素对的中间位置处的第一插值像素的像素值；
第二插值步骤，在将所述同一像素行内所配置的所述第一排列图案和第二排列图案的各所述第二像素设为第二像素对时，基于所述第二像素对的像素值通过插值处理来求算该第二像素对的中间位置处的第二插值像素的像素值；
对焦确认图像生成步骤，仅基于由所述第一插值步骤和第二插值步骤求出的所述第一插值像素和第二插值像素的像素值的亮度成分来分别生成第一图像、第二图像，并基于所述第一图像和第二图像来生成对焦确认图像；及
显示步骤，显示由所述对焦确认图像生成步骤生成的所述对焦确认图像。
10.一种摄像装置的控制方法，
所述摄像装置具备：摄影镜头及摄像元件，所述摄像元件沿第一方向和与所述第一方向垂直的第二方向二维排列有包含光电转换元件的多个像素，所述多个像素包含通过了所述摄影镜头的第一区域和第二区域的各被摄体光进行光瞳分割而分别入射的第一像素和第二像素，所述摄像元件沿所述第二方向以第二间隔重复配置有具有第一排列图案和第二排列图案的一对排列图案，所述第一排列图案是将所述第一像素和第二像素沿所述第一方向以第一间隔交替地排列而成的，所述第二排列图案是将所述第一排列图案沿所述第一方向错开所述第一间隔量而成的，
所述摄像装置的控制方法具有：
第一插值步骤，在将所述摄像元件的相对于所述第一方向和第二方向倾斜的第三方向和第四方向的像素行中的同一像素行内所配置的所述第一排列图案和第二排列图案的各所述第一像素设为第一像素对时，基于所述第一像素对的像素值通过插值处理来求算该第一像素对的中间位置处的第一插值像素的像素值；
第二插值步骤，在将所述同一像素行内所配置的所述第一排列图案和第二排列图案的各所述第二像素设为第二像素对时，基于所述第二像素对的像素值通过插值处理来求算该第二像素对的中间位置处的第二插值像素的像素值；
对焦确认图像生成步骤，至少根据由所述第一插值步骤和第二插值步骤求出的所述第一插值像素和第二插值像素的像素值来分别生成第一图像、第二图像，并基于所述第一图像和第二图像来生成对焦确认图像；及
显示步骤，显示由所述对焦确认图像生成步骤生成的所述对焦确认图像，
所述多个像素包含所述第一像素、所述第二像素和通过了所述第一区域和第二区域的各被摄体光不进行光瞳分割而分别入射的第三像素，
所述摄像装置的控制方法具有：
第三图像生成步骤，基于所述第三像素的像素值来生成第三图像；
显示控制步骤，使由所述第三图像生成步骤生成的所述第三图像被显示且在该第三图像的显示区域内显示所述对焦确认图像；
第三插值步骤，对于所述第一排列图案和第二排列图案各自的位于所述第一像素间的第三插值像素，基于这些第一像素的像素值来确定该第三插值像素的像素值，对于位于所述第二像素间的第四插值像素，基于这些第二像素的像素值来确定该第四插值像素的像素值；
第四插值步骤，对于所述第一排列图案和第二排列图案的一方的位于所述第一像素间的第五插值像素，基于与所述第五插值像素相同的所述第二方向的像素行内所配置的所述第一像素的像素值来确定该第五插值像素的像素值，对于所述第一排列图案和第二排列图案的一方的位于所述第二像素间的第六插值像素，基于与所述第六插值像素相同的所述第二方向的像素行内所配置的所述第二像素的像素值来确定该第六插值像素的像素值；
判别步骤，基于所述第三像素的像素值，对所述第三像素的相关性高的方向和相关性的强度进行判别；及
插值控制步骤，基于所述判别步骤的判别结果，选择所述第一插值步骤和第二插值步骤、或所述第三插值步骤、或所述第四插值步骤而执行插值处理。
11.一种摄像装置的控制方法，
所述摄像装置具备：摄影镜头及摄像元件，所述摄像元件沿第一方向和与所述第一方向垂直的第二方向二维排列有包含光电转换元件的多个像素，所述多个像素包含通过了所述摄影镜头的第一区域和第二区域的各被摄体光进行光瞳分割而分别入射的第一像素和第二像素，所述摄像元件沿所述第二方向以第二间隔重复配置有具有第一排列图案和第二排列图案的一对排列图案，所述第一排列图案是将所述第一像素和第二像素沿所述第一方向以第一间隔交替地排列而成的，所述第二排列图案是将所述第一排列图案沿所述第一方向错开所述第一间隔量而成的，
所述摄像装置的控制方法具有：
第一插值步骤，在将所述摄像元件的相对于所述第一方向和第二方向倾斜的第三方向和第四方向的像素行中的同一像素行内所配置的所述第一排列图案和第二排列图案的各所述第一像素设为第一像素对时，基于所述第一像素对的像素值通过插值处理来求算该第一像素对的中间位置处的第一插值像素的像素值；
第二插值步骤，在将所述同一像素行内所配置的所述第一排列图案和第二排列图案的各所述第二像素设为第二像素对时，基于所述第二像素对的像素值通过插值处理来求算该第二像素对的中间位置处的第二插值像素的像素值；
对焦确认图像生成步骤，至少根据由所述第一插值步骤和第二插值步骤求出的所述第一插值像素和第二插值像素的像素值来分别生成第一图像、第二图像，并基于所述第一图像和第二图像来生成对焦确认图像；
显示步骤，显示由所述对焦确认图像生成步骤生成的所述对焦确认图像；及
缺陷像素检测步骤，检测所述多个像素中包含的缺陷像素，
所述第一插值步骤中，基于所述缺陷像素检测步骤的检测结果在所述第一像素对的一方是所述缺陷像素的情况下，将所述第一像素对的另一方的像素值确定为所述第一插值像素的像素值，
所述第二插值步骤中，基于所述缺陷像素检测步骤的检测结果在所述第二像素对的一方是所述缺陷像素的情况下，将所述第二像素对的另一方的像素值确定为所述第一插值像素的像素值。
CN201380047516.5A 2012-09-19 2013-09-13 摄像装置及其控制方法 Active CN104620572B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012205743 2012-09-19
JP2012-205743 2012-09-19
PCT/JP2013/074830 WO2014046037A1 (ja) 2012-09-19 2013-09-13 撮像装置及びその制御方法

Publications (2)

Publication Number Publication Date
CN104620572A CN104620572A (zh) 2015-05-13
CN104620572B true CN104620572B (zh) 2016-06-29

Family

ID=50341350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380047516.5A Active CN104620572B (zh) 2012-09-19 2013-09-13 摄像装置及其控制方法

Country Status (4)

Country Link
US (1) US9344620B2 (zh)
JP (1) JP5937690B2 (zh)
CN (1) CN104620572B (zh)
WO (1) WO2014046037A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5753321B2 (ja) * 2012-09-19 2015-07-22 富士フイルム株式会社 撮像装置及び合焦確認表示方法
JP5777825B2 (ja) * 2012-12-05 2015-09-09 富士フイルム株式会社 撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体
JP5749409B2 (ja) * 2012-12-07 2015-07-15 富士フイルム株式会社 撮像装置、画像処理方法及びプログラム
JP5802858B2 (ja) * 2013-03-05 2015-11-04 富士フイルム株式会社 撮像装置、画像処理装置、画像処理方法及びプログラム
CN105026976B (zh) * 2013-03-29 2017-05-03 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
US9692992B2 (en) * 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9667933B2 (en) * 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
JP6364259B2 (ja) * 2014-07-02 2018-07-25 オリンパス株式会社 撮像装置、画像処理方法、及び画像処理プログラム
JP2017055309A (ja) * 2015-09-10 2017-03-16 キヤノン株式会社 撮像装置及びその制御方法
JP2017055308A (ja) 2015-09-10 2017-03-16 キヤノン株式会社 撮像装置及びその制御方法
US10044959B2 (en) * 2015-09-24 2018-08-07 Qualcomm Incorporated Mask-less phase detection autofocus
JP6917803B2 (ja) * 2017-06-27 2021-08-11 キヤノン株式会社 撮像装置、制御方法、及びプログラム
TWI785193B (zh) * 2018-02-09 2022-12-01 日商索尼半導體解決方案公司 圖像處理裝置、圖像處理方法、及攝像裝置
CN109636880A (zh) * 2018-12-14 2019-04-16 北京向上心科技有限公司 一种图片绘制方法和装置、控制器及介质
CN112929563B (zh) * 2021-01-21 2022-08-26 维沃移动通信有限公司 对焦方法、装置及电子设备
JP2023077673A (ja) * 2021-11-25 2023-06-06 ソニーセミコンダクタソリューションズ株式会社 光検出装置及び電子機器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6829008B1 (en) * 1998-08-20 2004-12-07 Canon Kabushiki Kaisha Solid-state image sensing apparatus, control method therefor, image sensing apparatus, basic layout of photoelectric conversion cell, and storage medium
CN101018299A (zh) * 2006-02-07 2007-08-15 日本胜利株式会社 摄像方法以及摄像装置
JP2009276426A (ja) * 2008-05-13 2009-11-26 Canon Inc 撮像装置
JP2011250325A (ja) * 2010-05-28 2011-12-08 Fujifilm Corp 撮像装置及び位相差検出画素を持つ固体撮像素子並びに撮像装置の駆動制御方法
CN102348051A (zh) * 2010-07-27 2012-02-08 奥林巴斯株式会社 摄像装置
CN102572272A (zh) * 2010-12-20 2012-07-11 索尼公司 图像处理设备、图像处理方法和程序

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4333997B2 (ja) * 2004-08-24 2009-09-16 シャープ株式会社 画像処理装置、撮影装置、画像処理方法、画像処理プログラムおよび記録媒体
JP5043626B2 (ja) * 2007-12-13 2012-10-10 キヤノン株式会社 撮像装置
CN101952759B (zh) * 2008-02-22 2012-12-19 松下电器产业株式会社 摄像装置
JP4973542B2 (ja) * 2008-02-26 2012-07-11 富士通株式会社 画素補間装置及び画素補間方法
JP5278123B2 (ja) 2009-04-06 2013-09-04 株式会社ニコン 撮像装置
JP5454223B2 (ja) 2010-02-25 2014-03-26 株式会社ニコン カメラ
JP5956782B2 (ja) * 2011-05-26 2016-07-27 キヤノン株式会社 撮像素子及び撮像装置
JP5747124B2 (ja) * 2012-06-01 2015-07-08 富士フイルム株式会社 撮像装置
JP5529928B2 (ja) * 2012-06-14 2014-06-25 オリンパスイメージング株式会社 撮像装置及び撮像装置の制御方法
WO2014045689A1 (ja) * 2012-09-19 2014-03-27 富士フイルム株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6829008B1 (en) * 1998-08-20 2004-12-07 Canon Kabushiki Kaisha Solid-state image sensing apparatus, control method therefor, image sensing apparatus, basic layout of photoelectric conversion cell, and storage medium
CN101018299A (zh) * 2006-02-07 2007-08-15 日本胜利株式会社 摄像方法以及摄像装置
JP2009276426A (ja) * 2008-05-13 2009-11-26 Canon Inc 撮像装置
JP2011250325A (ja) * 2010-05-28 2011-12-08 Fujifilm Corp 撮像装置及び位相差検出画素を持つ固体撮像素子並びに撮像装置の駆動制御方法
CN102348051A (zh) * 2010-07-27 2012-02-08 奥林巴斯株式会社 摄像装置
CN102572272A (zh) * 2010-12-20 2012-07-11 索尼公司 图像处理设备、图像处理方法和程序

Also Published As

Publication number Publication date
US9344620B2 (en) 2016-05-17
JP5937690B2 (ja) 2016-06-22
WO2014046037A1 (ja) 2014-03-27
US20150156405A1 (en) 2015-06-04
CN104620572A (zh) 2015-05-13
JPWO2014046037A1 (ja) 2016-08-18

Similar Documents

Publication Publication Date Title
CN104620572B (zh) 摄像装置及其控制方法
CN104380168B (zh) 摄像装置及自动调焦方法
CN104838313B (zh) 摄像装置及其控制方法
JP5753321B2 (ja) 撮像装置及び合焦確認表示方法
EP2833624B1 (en) Solid-state image capture element, image capture device, and solid-state image capture element drive method
CN104885440B (zh) 图像处理装置、摄像装置及图像处理方法
CN104823094B (zh) 摄像装置及对焦控制方法
CN104365089A (zh) 摄像装置及图像显示方法
JP6651672B2 (ja) 撮像装置
US9167153B2 (en) Imaging device displaying split image generated from interpolation pixel data based on phase difference pixel
CN104662886B (zh) 摄像装置及对焦确认显示方法
CN104755981B (zh) 图像处理装置、摄像装置及图像处理方法
JPWO2018181164A1 (ja) 撮像装置及び画像処理方法
JP2013211790A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant