CN104641276A - 摄像装置及信号处理方法 - Google Patents

摄像装置及信号处理方法 Download PDF

Info

Publication number
CN104641276A
CN104641276A CN201380047550.2A CN201380047550A CN104641276A CN 104641276 A CN104641276 A CN 104641276A CN 201380047550 A CN201380047550 A CN 201380047550A CN 104641276 A CN104641276 A CN 104641276A
Authority
CN
China
Prior art keywords
pixel cell
difference detection
output signal
detection pixel
correction data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380047550.2A
Other languages
English (en)
Other versions
CN104641276B (zh
Inventor
井上和纪
岩崎洋一
青木贵嗣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104641276A publication Critical patent/CN104641276A/zh
Application granted granted Critical
Publication of CN104641276B publication Critical patent/CN104641276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

摄像元件(5)具备：摄像用像素单元(51)与相位差检测用像素单元(51R、51L)。散焦量计算部(19)使用来自摄像元件(5)的摄像图像信号所包含的摄像用像素单元(51)的输出信号、相位差检测用像素单元(51R)的输出信号及相位差检测用像素单元(51L)的输出信号，生成用于校正接近的相位差检测用像素单元(51R、51L)的灵敏度差的校正数据，当存在AF指示时，使用上述校正数据来校正相位差检测用像素单元(51R、51L)的输出信号，并按照校正后的输出信号来计算散焦量。

Description

摄像装置及信号处理方法
技术领域
本发明涉及摄像装置及信号处理方法。
背景技术
近年来，伴随着CCD(Charge Coupled Device，电荷耦合元件)图像传感器、CMOS(Complementary Metal Oxide Semiconductor，互补性金属氧化物半导体)图像传感器等固体摄像元件的高分辨率化，数码静态相机、数码摄像机、智能手机等移动电话机、PDA(PersonalDigital Assistant，个人数码助理)等具有摄影功能的信息设备的需求急剧增加。另外，将具有以上那样的摄像功能的信息设备称为摄像装置。
在这些摄像装置中，作为主要的使焦点对准于被摄体的对焦控制方法，采用了对比度AF(Auto Focus，自动对焦)方式、相位差AF方式。相位差AF方式与对比度AF方式相比，能够更加高速、高精度地进行对焦位置的检测，所以在各种摄像装置中被广泛采用。
例如，在专利文献1中，公开了将摄像元件的像素单元的一部分设成相位差检测用的像素单元，并使用从相位差检测用的像素单元读出的信号而进行相位差AF的摄像装置。
专利文献1的摄像装置根据镜头信息、测距点信息及最新的散焦信息，预测由一对相位差检测用的像素单元中的一个进行摄像而得到的被摄体像A像与由一对相位差检测用的像素单元中的另一个进行摄像而得到的被摄体像B像的阴影，通过进行调节A像B像的光量比的阴影校正，从而提高相位差AF的精度。
另外，虽然不是与相位差AF相关的技术，但作为与阴影校正相关的技术，在专利文献2中公开了使用即时预览图像来计算出阴影校正系数的可更换镜头式的摄像装置。
专利文献
专利文献1：日本国特开2010-286826号公报
专利文献2：日本国特开2009-159093号公报
发明内容
发明所要解决的课题
在如专利文献1那样使用镜头信息来对存在相位差的一对图像进行阴影校正的方法中，无法应对未内置有镜头信息的镜头。
根据专利文献2，使用即时预览图像来计算出阴影校正系数，所以，无论对什么样的镜头都能够准确地进行阴影校正。但是，在专利文献2所记载的技术中，前提是使用不具有相位差检测用的像素单元的摄像元件。因此，无法适用于对存在相位差的一对图像进行阴影校正的技术。
本发明鉴于上述情况而做，其目的在于提供一种能够高精度地对存在相位差的一对图像进行阴影校正的摄像装置及信号处理方法。
用于解决课题的技术方案
本发明的摄像装置是能够装卸摄像光学***的摄像装置，具备：摄像元件，包括：对由通过了上述摄像光学***的光瞳区域的光束形成的像进行摄像的多个摄像用像素单元、对由通过了上述摄像光学***的光瞳区域的不同部分的一对光束形成的一对像中的一方进行摄像的多个第一相位差检测用像素单元及对上述一对像中的另一方进行摄像的多个第二相位差检测用像素单元；校正数据生成部，使用由上述摄像元件对被摄体进行摄像而得到的摄像图像信号所含的上述摄像用像素单元的输出信号、上述第一相位差检测用像素单元的输出信号及上述第二相位差检测用像素单元的输出信号，生成用于对上述第一相位差检测用像素单元与上述第二相位差检测用像素单元的灵敏度差进行校正的校正数据；及信号校正部，按照上述校正数据对上述第一相位差检测用像素单元的输出信号与上述第二相位差检测用像素单元的输出信号中的至少一方进行校正，上述校正数据生成部算出上述第一相位差检测用像素单元的输出信号与接近该第一相位差检测用像素单元的上述摄像用像素单元的输出信号之比及接近该第一相位差检测用像素单元的上述第二相位差检测用像素单元的输出信号与接近该第二相位差检测用像素单元的上述摄像用像素单元的输出信号之比，并基于两个上述比来生成上述校正数据。
本发明的信号处理方法是能够装卸摄像光学***的摄像装置中的信号处理方法，具备：校正数据生成步骤，由摄像元件对被摄体进行摄像，使用通过该摄像得到的摄像图像信号包括的摄像用像素单元的输出信号、第一相位差检测用像素单元的输出信号及第二相位差检测用像素单元的输出信号，生成用于对上述第一相位差检测用像素单元与上述第二相位差检测用像素单元的灵敏度差进行校对的校正数据，上述摄像元件包括：对由通过了上述摄像光学***的光瞳区域的光束形成的像进行摄像的多个摄像用像素单元、对由通过了上述摄像光学***的光瞳区域的不同部分的一对光束形成的一对像中的一方进行摄像的多个第一相位差检测用像素单元及对上述一对像中的另一方进行摄像的多个第二相位差检测用像素单元；及信号校正步骤，按照上述校正数据对上述第一相位差检测用像素单元的输出信号与上述第二相位差检测用像素单元的输出信号中的至少一方进行校正，在上述校正数据生成步骤中，算出上述第一相位差检测用像素单元的输出信号与接近该第一相位差检测用像素单元的上述摄像用像素单元的输出信号之比及接近该第一相位差检测用像素单元的上述第二相位差检测用像素单元的输出信号与接近该第二相位差检测用像素单元的上述摄像用像素单元的输出信号之比，并基于两个上述比而生成上述校正数据。
发明效果
根据本发明，能够提供一种能够高精度地对存在相位差的一对图像进行阴影校正的摄像装置及信号处理方法。
附图说明
图1是表示用于说明本发明的一实施方式的作为摄像装置的一例的数码相机的概略结构的图。
图2是表示搭载于图1所示的数码相机的固体摄像元件5的结构的俯视示意图。
图3是表示在固体摄像元件5中的行方向X的位置上的相位差检测用像素单元51R、51L的灵敏度比的图。
图4是表示使图3所示的相位差检测用像素单元51R、51L的灵敏度比一致的状态的图。
图5是表示用于对图1所示的数码相机的动作进行说明的流程图。
图6是表示用于对图1所示的数码相机的动作的变形例进行说明的流程图。
图7是表示图5的步骤S4～S6的处理的变形例的流程图。
图8是用于对图7的步骤S44进行说明的图。
图9是表示图7所示的流程图的变形例的图。
图10是表示在被摄体的边缘涉及有固体摄像元件时的状态的图。
图11是表示作为图2所示的固体摄像元件5的变形例的固体摄像元件5a的图。
图12是表示作为图2所示的固体摄像元件5的变形例的固体摄像元件5b的图。
具体实施方式
下面，参照附图对本发明的实施方式进行说明。
图1是表示用于说明本发明的一实施方式的作为摄像装置的一例的数码相机的概略结构的图。
图1所示的数码相机的摄像***具备：作为摄像光学***的镜头装置(包括摄影透镜1与光圈2)、CMOS型的固体摄像元件5。在图1的例子中，将固体摄像元件5设成CMOS型，但也可以使用CCD型的固体摄像元件。
包括摄影透镜1及光圈2的镜头装置能够相对于相机主体装卸，能够更换成其他镜头装置。
对数码相机的电控制***整体进行统一控制的***控制部11对闪光灯发光部12及受光部13进行控制。另外，***控制部11控制透镜驱动部8而调整摄影透镜1所包含的聚焦透镜的位置，或者，对摄影透镜1所包含的变焦透镜的位置进行调整。此外，***控制部11通过经由光圈驱动部9而控制光圈2的开口量，对曝光量进行调整。
另外，***控制部11经由摄像元件驱动部10而驱动固体摄像元件5，使通过摄影透镜1拍摄的被摄体像作为摄像图像信号输出。***控制部11中通过操作部14而输入来自用户的指示信号。
数码相机的电控制***还具备：模拟信号处理部6，与固体摄像元件5的输出连接，并进行相关双采样处理等的模拟信号处理；及A/D转换电路7，将从该模拟信号处理部6输出的模拟信号转换成数字信号。模拟信号处理部6及A/D转换电路7由***控制部11控制。模拟信号处理部6及A/D转换电路7有时也内置于固体摄像元件5。
该数码相机的电控制***还具备：主存储器16；连接于主存储器16的存储器控制部15；数字信号处理部17，对从A/D转换电路7输出的摄像图像信号进行插值运算、伽马校正运算及RGB/YC转换处理等而生成摄影图像数据；压缩解压处理部18，将由数字信号处理部17生成的摄影图像数据压缩成JPEG格式或者对压缩图像数据进行解压；计算出散焦量的散焦量计算部19；连接有装卸自如的记录介质21的外部存储器控制部20；及连接有搭载于相机背面等的显示部23的显示控制部22。存储器控制部15、数字信号处理部17、压缩解压处理部18、散焦量计算部19、外部存储器控制部20及显示控制部22通过控制总线24及数据总线25而相互连接，通过来自***控制部11的指令而被控制。
图2是表示搭载于图1所示的数码相机的固体摄像元件5的结构的俯视示意图。
固体摄像元件5具备二维状地排列在行方向X及与其正交的列方向Y上的大量的像素单元51(图中的各正方形的方块)。在图2中，未图示出所有的像素单元51，但实际上有几百万～一千几万个左右的像素单元51二维状地排列。当通过固体摄像元件5进行摄像时，分别从该大量的像素单元51得到输出信号。在本说明书中，将该大量的输出信号的集合称为摄像图像信号。
各像素单元51包括：光电二极管等光电转换部、形成于该光电转换部上方的滤色器及输出与蓄积于光电转换部的信号电荷对应的信号的信号输出电路。
信号输出电路是众所周知的MOS电路，构成为例如包括：对蓄积于光电转换部的电荷进行转送的电荷蓄积部、用于将光电转换部的电荷转送到电荷蓄积部的转送晶体管、对电荷蓄积部的电位进行复位的复位晶体管、输出与电荷蓄积部的电位对应的信号的输出晶体管及用于使信号选择性地从输出晶体管输出至输出信号线的行选择晶体管。
在图2中，对包括使红色光透过的滤色器的像素单元51标注“R”的符号，对包括使绿色光透过的滤色器的像素单元51标注“G”的符号，对包括使蓝色光透过的滤色器的像素单元51标注“B”的符号。
大量的像素单元51构成为将由在行方向X上排列的多个像素单元51构成的像素单元行在列方向Y上排列多个而得到的排列。而且，奇数行的像素单元行与偶数行的像素单元行在行方向X上偏移了各像素单元行的像素单元51的排列间距的约1/2。
奇数行的像素单元行的各像素单元51所包括的滤色器的排列作为整体形成拜耳排列。另外，偶数行的像素单元行的各像素单元51所包括的滤色器的排列也作为整体形成拜耳排列。处于奇数行的像素单元51和在右下方与该像素单元51相邻并检测与该像素单元51相同颜色的光的像素单元51构成对像素。
根据这样的像素单元排列的固体摄像元件5，通过对构成对像素的两个像素单元51的输出信号相加从而实现相机的高灵敏度化，或者，通过改变构成对像素的两个像素单元51的曝光时间并且对该两个像素单元51的输出信号相加，从而能够实现相机的宽动态范围化。
在固体摄像元件5中，大量的像素单元51中的一部分成为相位差检测用像素单元。
相位差检测用像素单元包括多个相位差检测用像素单元51R和多个相位差检测用像素单元51L。
多个相位差检测用像素单元51R对通过了摄影透镜1的光瞳区域的不同部分的一对光束中的一方(例如通过了光瞳区域的右半部的光束)进行受光，并输出与受光量对应的信号。即，设置于固体摄像元件5的多个相位差检测用像素单元51R对由通过了摄影透镜1的光瞳区域的不同部分的一对光束中的一方形成的像进行摄像。
多个相位差检测用像素单元51L对上述一对光束中的另一方(例如通过了光瞳区域的左半部的光束)进行受光，输出与受光量对应的信号。即，设置于固体摄像元件5的多个相位差检测用像素单元51L对由通过了摄影透镜1的光瞳区域的不同部分的一对光束中的另一方形成的像进行摄像。
此外，相位差检测用像素单元51R、51L以外的多个像素单元51(下面，称为摄像用像素单元)对由通过了摄影透镜1的光瞳区域的大致全部部分的光束形成的像进行摄像。
在像素单元51的光电转换部上方设有遮光膜，在该遮光膜上形成有规定光电转换部的受光面积的开口。
摄像用像素单元51的开口(在图2中由符号a表示)的中心与摄像用像素单元51的光电转换部的中心(正方形的方块的中心)一致。此外，在图2中，为了对图进行简化，而仅对摄像用像素单元51的一部分图示了开口a。
与此相对，相位差检测用像素单元51R的开口(在图2中由符号c表示)的中心相对于相位差检测用像素单元51R的光电转换部的中心向右侧偏心。
相位差检测用像素单元51L的开口(图2中由符号b表示)的中心相对于相位差检测用像素单元51L的光电转换部的中心向左侧偏心。
在固体摄像元件5中，搭载有绿色的滤色器的像素单元51的一部分成为相位差检测用像素单元51R或者相位差检测用像素单元51L。当然，也可以将搭载有其他颜色的滤色器的像素单元设成相位差检测用像素单元。
相位差检测用像素单元51R与相位差检测用像素单元51L分别在配置有像素单元51的区域中离散地及周期性地配置。
在图2的例子中，相位差检测用像素单元51R在偶数行的像素单元行的一部分(在图2的例子中，是每隔三个像素单元行地排列的四个像素单元行)中，在行方向X上每隔三个像素单元地配置。
在图2的例子中，相位差检测用像素单元51L在奇数行的像素单元行的一部分(处于包括相位差检测用像素单元51R的像素单元行的旁边的像素单元行)中，在行方向X上以与相位差检测用像素单元51R相同的周期配置。
通过这样的结构，通过遮光膜的开口b而被像素单元51L接收的光中，来自设置于图2的纸面上方的摄影透镜1的从被摄体观察为左侧的光即来自用右眼观察被摄体的方向的光是主要的光，通过遮光膜的开口c而被像素单元51R接收的光中，来自摄影透镜1的从被摄体观察为右侧的光即来自用左眼观察被摄体的方向的光是主要的光。
即，通过所有的相位差检测用像素单元51R，能够得到用左眼看被摄体的摄像图像信号，通过所有的相位差检测用像素单元51L，能够得到用右眼看被摄体的摄像图像信号。因此，能够通过组合两者而生成被摄体的立体图像数据，或者通过对两者进行相关运算而生成相位差信息。
此外，相位差检测用像素单元51R与相位差检测用像素单元51L通过使遮光膜的开口向反方向偏心，从而能够分别接收通过了摄影透镜1的光瞳区域的不同部分的光束，而得到相位差信息。但是，用于得到相位差信息的结构不限于此，能够采用众所周知的结构。
固体摄像元件5还具备：垂直扫描电路52与水平扫描电路53。
垂直扫描电路52进行各像素单元51所包括的信号输出电路的转送晶体管、复位晶体管及行选择晶体管的通断控制。
水平扫描电路53与设置于每个像素单元列的输出信号线连接，上述像素单元列由在列方向Y上排列的像素单元51构成，将从处于像素单元行的各像素单元51输出到输出信号线的输出信号依次输出到固体摄像元件5外部。
垂直扫描电路52及水平扫描电路53按照图1所示的摄像元件驱动部10的指示来进行动作。摄像元件驱动部10以使每个像素单元行的曝光期间错开一定时间的所谓卷帘快门方式来驱动固体摄像元件5。
图1所示的散焦量计算部19使用从相位差检测用像素单元51L及相位差检测用像素单元51R读出的输出信号群，来计算出由上述一对光束而形成的两个像的相对的位置偏移量、即相位差量，并根据该相位差量来计算出摄影透镜1的焦点调节状态，在此是偏离对焦状态的量及其方向、即散焦量。
图1所示的***控制部11根据由散焦量计算部19计算出的散焦量，使摄像透镜1所包括的聚焦透镜移动到对焦位置而控制像透镜1的对焦状态。如此，***控制部11起到作为对焦控制部的功能。
相位差检测用像素单元51R与相位差检测用像素单元51L的开口向反方向偏心。因此，即使该开口的偏心方向(图2的行方向X)上的位置大致相同，相位差检测用像素单元51R与相位差检测用像素单元51L也会产生灵敏度差。
图3是表示在固体摄像元件5中的行方向X的位置上的相位差检测用像素单元51R、51L的灵敏度比的图。由符号51R表示的直线表示相位差检测用像素单元51R的灵敏度比，由符号51L表示的直线表示相位差检测用像素单元51L的灵敏度比。
灵敏度比表示接近的相位差检测用像素单元与摄像用像素单元(其中，检测与相位差检测用像素单元相同颜色的光)各自的输出信号之比的意思。在本说明书中，接近的两个像素单元是指，接近到能够视为接收到来自实质上相同的被摄体部分的光的程度的两个像素单元。
另外，在将相位差检测用像素单元的输出信号电平设成A，并将摄像用像素单元的输出信号电平设成B时，灵敏度比是由A/B或者B/A表示的数值。
相位差检测用像素单元51R、51L在列方向Y上也周期性地配置。因此，图3所示的数据是对关于在行方向X上的位置相同的相位差检测用像素单元51R(51L)的灵敏度比的数据取平均而得到的数据。
多个相位差检测用像素单元51R的输出信号与多个相位差检测用像素单元51L的输出信号分别单独存在的话，行方向X上的每个位置电平由于被摄体而不同，所以不知道阴影形状变成什么样。但是，如图3所示，如果求出相位差检测用像素单元与接近它的摄像用像素单元的输出信号之比、即灵敏度比，则能够知道相位差检测用像素单元的灵敏度分布(阴影形状)。
另外，在固体摄像元件5中，相位差检测用像素单元51R与相位差检测用像素单元51L在行方向X上的位置不严格地相同，但在图3中，将接近的相位差检测用像素单元51R与相位差检测用像素单元51L作为在行方向X上的位置相同的像素单元来处理。
相位差检测用像素单元51L的开口b在图2中向左侧偏心。因此，在图2中，与固体摄像元件5的中心部相比，光更容易进入处于固体摄像元件5的左侧端部的相位差检测用像素单元51L的开口b中。另一方面，与固体摄像元件5的中心部相比，光更难以进入处于固体摄像元件5的右侧端部的相位差检测用像素单元51L的开口b中。
另外，相位差检测用像素单元51R的开口c与相位差检测用像素单元51L在行方向X上向反方向偏心，因此其灵敏度比的特性与相位差检测用像素单元51L相反。
因此，如图3所示，从固体摄像元件5的左端部越向右端部，相位差检测用像素单元51L的灵敏度比越低。另外，从固体摄像元件5的左端部越向右端部，相位差检测用像素单元51R的灵敏度比越高。
另外，相位差检测用像素单元51L的灵敏度比与相位差检测用像素单元51R的灵敏度比在固体摄像元件5的中央部分大致相同。
如此，当在相位差检测用像素单元51R与相位差检测用像素单元51L之间存在灵敏度差时，从多个相位差检测用像素单元51R得到的输出信号群与从多个相位差检测用像素单元51L得到的输出信号群的相关运算的结果包含误差。因此，无法准确地算出由相位差检测用像素单元51R拍摄的像与由相位差检测用像素单元51L拍摄的像之间的相位差量。
因此，在本实施方式的数码相机中，散焦量计算部19起到作为为了消除相位差检测用像素单元51R与相位差检测用像素单元51L的灵敏度差而按照校正数据来校正相位差检测用像素单元51R的输出信号与相位差检测用像素单元51L的输出信号的信号校正部的功能，并起到作为使用校正后的输出信号来计算出相位差量的相位差量计算部的功能。
散焦量计算部19起到作为使用由固体摄像元件5进行摄像而得到的摄像图像信号中的、各相位差检测用像素单元51R(51L)的输出信号与接近该各相位差检测用像素单元51R(51L)的摄像用像素单元51的输出信号来生成上述校正数据的校正数据生成部及将所生成的校正数据记录于记录介质的记录控制部的功能。
例如，散焦量计算部19使用摄像图像信号，而对于行方向X上的每个位置计算出相位差检测用像素单元51R的灵敏度比与相位差检测用像素单元51L的灵敏度比，并生成图3所示的数据。而且，作为上述校正数据，散焦量计算部19生成与相位差检测用像素单元51R、51L的输出信号相乘的系数，该系数如图4所示使相位差检测用像素单元51R的灵敏度比与相位差检测用像素单元51L的灵敏度比分别在任何位置都成为相同的值。
或者，作为上述校正数据，散焦量计算部19生成为了使相位差检测用像素单元51L的灵敏度比的坐标图(graph)与图3所示的相位差检测用像素单元51R的灵敏度比的坐标图一致而需要的、应该与相位差检测用像素单元51L的输出信号相乘的系数。
或者，作为上述校正数据，散焦量计算部19生成为了使相位差检测用像素单元51R的灵敏度比的坐标图与图3所示的相位差检测用像素单元51L的灵敏度比的坐标图一致而需要的、应该与相位差检测用像素单元51R的输出信号相乘的系数。
对这样构成的数码相机的动作进行说明。
图5是用于对图1所示的数码相机的动作进行说明的流程图。
当被设定成摄影模式时，***控制部11通过固体摄像元件5开始用于将即时预览图像显示于显示部23的摄像(动态图像摄像)。当该摄像开始时，从固体摄像元件5输出的摄像图像信号由数字信号处理部17进行处理，基于处理后的摄像图像数据的图像被显示于显示部23。由此，通过显示于显示部23的图像，能够实时地确认摄像中的被摄体。
另一方面，当设定成摄影模式时，散焦量计算部19从***控制部11取得用于识别安装于相机主体的镜头装置的识别信息、即镜头ID(步骤S1)。
接下来，散焦量计算部19从***控制部11取得镜头装置的光学条件的信息(步骤S2)。该光学条件是与确定入射到固体摄像元件5的光线的角度的参数相关的信息，包括摄像时的光圈F值及焦距等信息。
接着，如果在主存储器16中存储有与在步骤S1中取得的镜头ID及在步骤S2中取得的光学条件的组合对应的校正数据(步骤S3：“是”)，则散焦量计算部19将处理移向步骤S7，如果在主存储器16中未存储有校正数据(步骤S3：“否”)，则散焦量计算部19将处理移向步骤S4。
在步骤S4中，散焦量计算部19取得从固体摄像元件5输出的摄像图像信号。而且，散焦量计算部19使用所取得的摄像图像信号而生成图3所示的数据，并根据该数据生成校正数据(步骤S5)。
接着，散焦量计算部19将所生成的校正数据、在步骤S1中取得的镜头ID及在步骤S2中取得的光学条件的信息建立关联地存储到主存储器16(步骤S6)。
步骤S6之后，散焦量计算部19在镜头装置的光学条件有变更的情况下(步骤S7：“是”)，使处理返回到步骤S2，在镜头装置的光学条件没有变更的情况下(步骤S7：“否”)，使处理移向步骤S8。
散焦量计算部19在步骤S8中，判定是否对***控制部11做出了进行相位差AF的指示，在做出了AF指示的情况下(步骤S8：“是”)，使处理移向步骤S9，在未做出AF指示的情况下(步骤S8：“否”)，使处理返回到步骤S7。
在步骤S9中，散焦量计算部19根据AF指示，从***控制部11取得通过固体摄像元件5进行摄像而得到的摄像图像信号、该摄像时的光学条件的信息及当前安装的镜头装置的镜头ID。
接下来，散焦量计算部19从主存储器16读出与在步骤S9中取得的镜头ID与光学条件的组合对应的校正数据，使用该校正数据对在步骤S9中取得的摄像图像信号所包括的相位差检测用像素单元的输出信号进行校正(步骤S10)。
接着，散焦量计算部19使用校正后的相位差检测用像素单元的输出信号来进行相关运算，计算出由相位差检测用像素单元51R拍摄的像与由相位差检测用像素单元51L拍摄的像之间的相位差量，并基于该相位差量来计算散焦量(步骤S11)。
在步骤S11之后，***控制部11进行根据散焦量来使聚焦透镜移动到对焦位置的对焦控制(步骤S12)，然后，成为摄像待机状态。
另外，当在摄影模式中的任意的时刻更换了镜头装置的情况下，在该时刻进行步骤S1以后的处理。另外，当在摄像待机状态中光学条件存在变更的情况下，在该时刻进行步骤S2以后的处理。
如上所述，根据图1所示的数码相机，能够使用通过固体摄像元件5进行摄像而得到的摄像图像信号，生成用于校正相位差检测用像素单元51R与相位差检测用像素单元51L的灵敏度差的校正数据。因此，不需要与能够安装于数码相机的所有镜头装置对应地预先生成校正数据并存储于相机主体，能够削减相机的调整工作时间。
另外，即使是无法取得镜头ID以外的详细的信息的镜头装置，也能够仅通过安装该镜头装置并设定成摄影模式，来生成并存储校正数据。因此，无论在安装了哪种镜头装置的情况下，都能够高精度地进行相位差AF。
另外，在图5的说明中，将所生成的校正数据与镜头ID和光学条件建立关联地存储，之后采用该所存储的校正数据来校正相位差检测用像素单元的灵敏度比，但不限定于此。
例如，也可以是每当进行AF指示时，散焦量计算部19根据摄像图像信号生成校正数据，并使用该校正数据来校正相位差检测用像素单元的输出信号，使用校正后的信号来计算出相位差量。通过这样，能够削减存储器容量。
另外，优选即使将与某个镜头ID及光学条件对应的校正数据存储于主存储器16之后，也定期地重新生成与该镜头ID及光学条件对应的校正数据。通过这样，即使在由于镜头装置的长时间的使用而镜头装置的性能、固体摄像元件5的性能稍微产生了偏差的情况下，也能够生成符合该状况的正确的校正数据。
另外，根据图1所示的数码相机，由于使用了具有摄像用像素单元51、相位差检测用像素单元51R、相位差检测用像素单元51L这3种像素单元的固体摄像元件5，所以能够通过一次摄像而生成与图3所示的阴影对应的数据。因此，能够缩短生成校正数据所需的时间，尤其有利于如上所述那样每当进行AF指示时就生成一次校正数据的方式。
另外，在以上的说明中，设为使散焦量计算部19所生成的校正数据与镜头装置的识别信息相对应地记录于数码相机的主存储器16的结构。但是，也可以设为使散焦量计算部19所生成的校正数据与数码相机的识别信息相对应地记录于镜头装置内的记录介质的结构。
图6是用于对在将散焦量计算部19所生成的校正数据记录到镜头装置内的记录介质的情况下的数码相机的动作进行说明的流程图。在图6中，与图5所示的处理相同的处理标注相同的附图标记并省略说明。
当被设定成摄影模式时，散焦量计算部19在步骤S2中从***控制部11取得镜头装置的光学条件的信息。
接着，如果在镜头装置内的存储器中存储有与主存储器16所存储的数码相机的相机ID及在步骤S2中取得的光学条件的组合对应的校正数据(步骤S3A：“是”)，则散焦量计算部19将处理移向步骤S7，如果在镜头装置内的存储器中未存储有校正数据(步骤S3A：“否”)，则散焦量计算部19将处理移向步骤S4。
在步骤S4及步骤S5之后，散焦量计算部19对在步骤S5中生成的校正数据、相机ID与在步骤S2取得的光学条件的信息建立关联，并将它们经由***控制部11而存储于镜头装置内的存储器(步骤S6A)。
在步骤S8中为“是”时，散焦量计算部19根据AF指示，从***控制部11取得由固体摄像元件5进行摄像而得到的摄像图像信号、在该摄像时的光学条件的信息，并从镜头装置内的存储器经由***控制部11而取得与该光学条件的信息对应的校正数据(步骤S9A)。
然后，散焦量计算部19按照所取得的校正数据进行校正(步骤S10)，并进行步骤S11、12的处理。
在该情况下，也是在摄影模式中的任意的时刻更换了镜头装置的情况下，在该时刻进行步骤S2以后的处理。
接着，对图1所示的数码相机中的校正数据的生成方法的变形例进行说明。在该变形例中，散焦量计算部19不是使用由一次摄像得到的摄像图像信号来生成校正数据，而是使用由多次摄像而得到的多个摄像图像信号来生成校正数据。
图7是表示图5的步骤S4～S5的处理的变形例的流程图。该变形例在图6中也能够适用。
当设定为摄影模式时，为了进行即时预览图像显示，由固体摄像元件5开始连续的摄像(动态图像摄像)，并将由各摄像而得到的摄像图像信号存储在主存储器16中。
在图5的步骤S3或者图6的步骤S3A之后，在步骤S41中，散焦量计算部19从主存储器16取得在图5、6的步骤S2的以后的任意时刻T(n)得到的即时预览图像显示用的摄像图像信号G(n)，并存储于内部存储器。
接着，如果存储于内部存储器的摄像图像信号的数量为两个以上(步骤S42：“是”)，则散焦量计算部19进行步骤S43的处理，如果存储于内部存储器的摄像图像信号的数量小于两个(步骤S42：“否”)，则散焦量计算部19将上述T(n)的“n”变更成“n+1”而进行步骤S41的处理。此外，时刻T(n)的“n”的数字越大，则时刻越晚。
当在内部存储器中存储有两个以上的摄像图像信号时，散焦量计算部19在步骤S43中对摄像图像信号G(n)与摄像图像信号G(n+1)进行比较，判定基于双方的被摄体像彼此之间是否存在较大的偏差。
具体来说，散焦量计算部19计算出摄像图像信号G(n)与摄像图像信号G(n+1)各自的处于同一坐标的信号彼此之间的差分，如果该差分超过预先确定的阈值，则摄像图像信号G(n+1)被判定为相对于摄像图像信号G(n)，被摄体有较大的变化。
另一方面，如果上述差分在预先确定的阈值以下，则散焦量计算部19判定为在摄像图像信号G(n)与摄像图像信号G(n+1)之间，被摄体没有较大的变化。
在步骤S43的判定为“是”时，散焦量计算部19消去存储于内部存储的摄像图像信号G(n+1)(步骤S44)，然后，进行步骤S45的处理。
例如，如图8所示，在存在摄像图像信号G(1)～G(4)，在在摄像图像信号(3)中仅拍入了太阳光H的情况下，散焦量计算部19从内部存储器中消去摄像图像信号G(3)。
在步骤S43的判定为“否”时，散焦量计算部19不进行步骤S44的处理而进行步骤S45的处理。
在步骤S45中，散焦量计算部19对存储于内部存储器的摄像图像信号的数量是否达到了预先确定的数量(将该数量设为M)进行判定。散焦量计算部19在步骤S45的判定为“是”的情况下进行步骤S47的处理，在步骤S45的判定为“否”的情况下，将“n”变更成“n+1”并进行步骤S41的处理。
在步骤S47中，散焦量计算部19对所有坐标进行计算出存储于内部存储器的M个摄像图像信号的处于同一坐标的输出信号的平均值的处理(步骤S47)。即，对M个摄像图像信号进行平均化而生成一个摄像图像信号。
然后，散焦量计算部19使用步骤S47的结果得到的平均化后的一个摄像图像信号，与上述相同地生成校正数据(步骤S48)。
如上所述，在该变形例中，散焦量计算部19使用对多个摄像图像信号进行平均化而得到的摄像图像信号来生成校正数据。通过对多个摄像图像信号进行平均化，能够减少各输出信号所包含的随机噪声。因此，能够提高平均化后的摄像图像信号的S/N比，并且能够提高所生成的校正数据的可靠性。
另外，当将对多个摄像图像信号进行平均而产生的噪声降低效果换算成Ev值时，可由下面的数学式表示。
Ev＝(1/2)*log2M
M为进行平均化的摄像图像信号的数量
这意味着，例如如果M＝2，则能够得到与使平均化前的各摄像图像信号的摄像时的Ev值升高了0.5时等同的噪声性能。
上述的平均化所需的摄像图像信号的数量M能够根据准确地求出图3所示的灵敏度比的数据所需的噪声性能、取得平均化前的摄像图像信号时的摄像时的ISO灵敏度来确定。
例如，考虑将所需的噪声性能设成与ISO100相当，摄像时的ISO灵敏度为ISO800的情况。在这种情况下，在ISO800与ISO100之间，在Ev值换算中存在“3”的差分。当将Ev＝3代入到上述数学式时，M＝64。因此，如果在步骤S45中判定的摄像图像信号的所需数量达到64的时刻结束取得摄像图像信号，则能够得到可靠性较高的校正数据。
另外，为了得到可靠性高的校正数据而需要的噪声性能根据固体摄像元件5的噪声性能而改变。因此，所需的噪声性能确定为与搭载于数码相机的固体摄像元件5的性能对应的值即可。
此外，图7是以进行摄像图像信号的平均化为前提的流程图。但是，根据摄影条件(被摄体明亮度)、噪声性能，有时也不需要平均化。因此，优选的是，在图5的步骤S3中为“否”(或者图6的步骤S3A中为“否”)之后，散焦量计算部19判定是否需要平均化，在判定为需要平均化时(例如，在将所需的噪声性能与ISO100相当而摄像时的ISO灵敏度大于ISO200的情况下)，在设定了上述M之后，进行图7的步骤S41以后的处理，在判定为不需要平均化时(例如，在将所需的噪声性能与ISO100相当并且摄像时的ISO灵敏度为ISO100的情况下)，进行图5的步骤S4以后的处理。
如上所述，在图7所示变形例中，为了生成校正数据而需要M个摄像图像信号。一般来说，用于即时预览图像显示的动态图像摄像中的帧率(每单位时间输出的摄像图像信号(帧)的数量)是固定的。
例如，在帧率为每秒30帧的情况下，如果上述M为60，则直到生成校正数据为止至少需要2秒。与此相对地，如果提高帧率，则能够缩短直到生成校正数据为止的时间。
因此，在图7的变形例中，优选的是，散焦量计算部19对***控制部11指示提高帧率，在由***控制部11进行了提高帧率的控制之后，进行步骤S41以后的处理。
图9是表示图7所示的流程图的变形例的图。在图9中，对与图7相同的处理标注相同的附图标记，并省略说明。
首先，散焦量计算部19从***控制部11取得即时预览图像显示用的各摄像中的曝光时间(快门速度)的信息，并对快门速度是否小于阈值TH进行判定(步骤S50)。
在快门速度小于阈值TH的情况下(步骤S50：“是”)，散焦量计算部19对***控制部11指示提高帧率(例如，设成用于即时预览图像显示的动态图像摄像的帧率的默认值的2倍)(步骤S51)，然后，进行步骤S41以后的处理。
另一方面，在快门速度为阈值TH以上的情况下(步骤S50：“否”)，散焦量计算部19不进行步骤S51的处理，而进行步骤S41以后的处理。
在步骤S51中收到提高帧率的指示的***控制部11将帧率设成默认值的2倍。通过这样，与帧率保持为默认值而固定的情况下相比，能够使直到摄像图像信号的数量达到M为止的时间变为一半。
如此，在该变形例中，***控制部11作为帧率控制部发挥作用，该帧率控制部根据动态图像摄像时所设定的各帧的曝光时间来进行如下的控制：将进行用于得到M个摄像图像信号的摄像期间的帧率提高得高于动态图像摄像中的默认的帧率。
另外，提高帧率意味着，取得一个摄像图像信号所需的时间(下面，称为帧取得时间)变短。例如，如果帧率为30帧/秒，则帧取得时间为1/30秒。
另一方面，快门速度无法增大到大于帧取得时间。因此，在本变形例中，在步骤S50中，根据快门速度来确定是否进行步骤S51的处理。
具体来说，将在步骤S51中提高了帧率的情况下的帧取得时间设定为阈值TH。
例如，假设默认的帧率为30帧/秒，在步骤S51中设定的帧率为60帧/秒。在该情况下，阈值TH为1/60秒。
即，在即时预览图像显示用的各摄像中的快门速度例如为1/40秒的情况下，不进行步骤S51的处理。另一方面，在即时预览图像显示用的各摄像中的快门速度为1/100秒的情况下，进行步骤S51的处理。
开始步骤S41以后的处理，在步骤S45中，当摄像图像信号的数量达到M时(步骤S45：“是”)，散焦量计算部19在帧率大于默认值的情况下(步骤S52：“是”)，对***控制部11进行使帧率返回到默认值的指示，然后，进行步骤S47以后的处理。按照该指示，***控制部11进行使帧率返回到默认值的控制。
另一方面，在帧率保持为默认值的情况下(步骤S52：“否”)，散焦量计算部19不进行步骤S53的处理，而进行步骤S47以后的处理。
如上所述，根据图8的变形例，能够缩短使用多个摄像图像信号来生成校正数据的情况下的直到生成校正数据为止的时间。
在到此为止的说明中，散焦量计算部19在图5的步骤S5、图7的步骤S48及图9的步骤S48中，使用摄像图像信号而生成图3所示的灵敏度比的数据，并基于该数据生成校正数据。
该灵敏度比的数据在对高亮度被摄体进行摄像而相位差检测用像素单元与接近它的摄像用像素单元各自的输出信号饱和了的情况下，无法得到准确的值。
另外，如图10所示，当在固体摄像元件5中在由虚线包围的部分成像有被摄体的边缘部(与周边相比，亮度高于或低于阈值以上被摄体部分)的情况下，相位差检测用像素单元51L与接近它的(例如处于左上方的)摄像用像素单元51各自的输出信号之比、相位差检测用像素单元51R与接近它的(例如处于右下方的)摄像用像素单元51各自的输出信号之比无法得到准确的值。
因此，散焦量计算部19在生成图3所示的灵敏度比的数据时，将输出信号达到饱和电平的像素单元，从灵敏度比的运算对象中排除。另外，散焦量计算部19使用摄像图像信号从该摄像图像信号中检测出被摄体的边缘部，在存在边缘部的情况下，将对该边缘部进行成像的像素单元从灵敏度比的运算对象中排除。散焦量计算部19起到作为检测边缘部的边缘检测部的功能。
边缘部的检测通过在摄像图像信号中对接近的相同颜色成分的输出信号之间进行比较而进行。例如，在图10中由粗线包围的两个摄像用像素单元51的各自的输出信号之间的差分较大，因此能够检测出边缘部与该两个摄像用像素单元51中的哪一个重叠。分别在行方向X、列方向Y、图10的从左下向右上的斜45°方向、图10的从左上向右下方的斜45°方向上，对接近的相同颜色的两个像素单元的输出信号进行比较，由此能够检测出在摄像图像信号中哪个输出信号与边缘部对应。
这样，将输出信号达到饱和电平的像素单元、边缘部所涉及的像素单元从灵敏度比的运算对象中排除，由此能够提高校正数据的可靠性。
另外，在图5的步骤S5、图7的步骤S48及图9的步骤S48中，作为校正数据的生成所使用的灵敏度比，也可以使用分别根据连续地得到的多个摄像图像信号的摄像图像信号而求出的灵敏度比的平均值。
如此，对于灵敏度比的数据也通过作为多次摄像量的平均值而算出，由此也能够更准确地检测出亮度阴影形状，能够提高校正数据的可靠性。
到此为止，以将像素单元51设成所谓的蜂窝排列的固体摄像元件作为例子，但本发明也能够应用于方形网格状地排列像素单元51的固体摄像元件。
图11是表示作为图2所示的固体摄像元件5的变形例的固体摄像元件5a的图。
固体摄像元件5a具备：方形网格状地排列在行方向X与列方向Y上的大量的像素单元51A、垂直扫描电路52及水平扫描电路53。像素单元51A的结构与像素单元51相同，滤色器的排列为拜耳排列。
大量的像素单元51A包括：遮光膜的开口a没有偏心的正常的像素单元51A及具有偏心的开口d、e的相位差检测用像素单元。具有开口d的像素单元51A与相位差检测用像素单元51L对应，具有开口e的像素单元51A与相位差检测用像素单元51R对应。
这种结构的固体摄像元件5a，也能够通过上述的方法生成校正数据，由此计算出准确的散焦量。
另外，在图2及图11中，接近的相位差检测用像素单元51R与相位差检测用像素单元51L，行方向X的位置偏移了一个像素单元量，但也可以如图12所示的固体摄像元件5b那样，采用使接近的相位差检测用像素单元51R与相位差检测用像素单元51L的行方向X的位置相同的结构。
在本说明书中，作为摄像装置以数码相机作为例子，但只要是能够安装镜头装置的摄像装置就能够适用本发明。例如，当在带相机的智能手机上安装镜头装置的情况下，也能够适用本实施方式的技术。
另外，在本说明书中，以能够更换镜头装置的摄像装置作为例子，但即使是将镜头装置固定于相机主体的镜头一体式的摄像装置，也能够通过上述的方法来生成校正数据，提高相位差AF的精度。
在镜头装置固定的情况下，根据摄像时的环境，也有可能存在图3所示的灵敏度比的数据变化的情况。
例如，在作为摄像光学***中包含的透镜而使用树脂的情况下，在高气温下的摄像中，有可能透镜发生变形，对于固体摄像元件的入射光线角度偏离设计。在这种情况下，如上所述使用由固体摄像元件进行摄像而得到的摄像图像信号来生成校正数据，由此也能够得到符合摄像环境的校正数据，能够提高相位差AF的精度。
在图1的数码相机中，设置能够通过单个拍摄分辨率足够高的图像的程度的数量的相位差检测用像素单元51R、51L，能够使其具有通过由相位差检测用像素单元51R拍摄的图像、由相位差检测用像素单元51L拍摄的图像而生成立体图像的立体摄像功能。
在这种情况下，也进行如下处理：通过上述的方法生成校正数据，在按照校正数据来校正相位差检测用像素单元51R的输出信号与相位差检测用像素单元51L的输出信号之后，生成立体图像。通过这样，能够通过阴影特性一致的两个图像生成立体图像，能够提高立体图像的品质。
到此为止，固体摄像元件5、5a、5b设为搭载多个颜色的滤色器而进行彩色摄像的固体摄像元件，但固体摄像元件5、5a、5b也可以将滤色器设成绿色这样的单色或者省略，做成黑白摄像用的摄像元件。
另外，将图3所示的灵敏度比的数据设成对列方向Y上的位置不同的多个相位差检测用像素单元各自的灵敏度比取平均而得到的数据，但也可以对包括相位差检测用像素单元51R、51L的像素单元的每行生成灵敏度比的数据，对应每行生成校正数据，并校正灵敏度比。
如以上所说明的那样，在本说明书中公开了以下的事项。
所公开的摄像装置是能够装卸摄像光学***的摄像装置，具备：摄像元件，包括：对由通过了上述摄像光学***的光瞳区域的光束形成的像进行摄像的多个摄像用像素单元、对由通过了上述摄像光学***的光瞳区域的不同部分的一对光束形成的一对像中的一方进行摄像的多个第一相位差检测用像素单元及对上述一对像中的另一方进行摄像的多个第二相位差检测用像素单元；校正数据生成部，使用由上述摄像元件对被摄体进行摄像而得到的摄像图像信号所含的上述摄像用像素单元的输出信号、上述第一相位差检测用像素单元的输出信号及上述第二相位差检测用像素单元的输出信号，生成用于对上述第一相位差检测用像素单元与上述第二相位差检测用像素单元的灵敏度差进行校正的校正数据；及信号校正部，按照上述校正数据对上述第一相位差检测用像素单元的输出信号与上述第二相位差检测用像素单元的输出信号中的至少一方进行校正，上述校正数据生成部算出上述第一相位差检测用像素单元的输出信号与接近该第一相位差检测用像素单元的上述摄像用像素单元的输出信号之比及接近该第一相位差检测用像素单元的上述第二相位差检测用像素单元的输出信号与接近该第二相位差检测用像素单元的上述摄像用像素单元的输出信号之比，并基于两个上述比而生成上述校正数据。
在所公开的摄像装置中，上述校正数据生成部算出为了使两个上述比相同而需要的、与上述第一相位差检测用像素单元和上述第二相位差检测用像素单元中的至少一方的输出信号相乘的系数而作为上述校正数据。
在所公开的摄像装置中，作为用于生成上述校正数据的上述摄像用像素单元的输出信号、上述第一相位差检测用像素单元的输出信号及上述第二相位差检测用像素单元的输出信号的各个输出信号，上述校正数据生成部使用由上述摄像元件对被摄体进行多次摄像而得到的输出信号的平均值。
在所公开的摄像装置中，上述校正数据生成部在由上述摄像元件连续地进行摄像的动态图像摄像中进行上述校正数据的生成，上述摄像装置具备帧率控制部，该帧率控制部根据上述动态图像摄像时设定的各帧的曝光时间来进行如下控制：将进行上述多次摄像时的第一帧率提高得高于上述动态图像摄像中的第二帧率。
在所公开的摄像装置中，在上述曝光时间小于阈值的情况下，上述帧率控制部进行将上述第一帧率提高得高于上述第二帧率的控制，在上述曝光时间为阈值以上的情况下，上述帧率控制部进行使上述第一帧率保持为上述第二帧率的控制。
在所公开的摄像装置中，作为上述平均值的运算对象的输出信号的数量，上述校正数据生成部基于得到该输出信号时的、摄像时设定的ISO灵敏度来确定。
在所公开的摄像装置中，上述校正数据生成部排除以下的摄像图像信号而算出上述平均值，该摄像图像信号包含由上述摄像元件对被摄体进行多次摄像而得到的同一像素单元的输出信号中的、与其他输出信号的差分超过阈值的输出信号。
在所公开的摄像装置中，上述校正数据生成部使用根据由上述摄像元件对被摄体进行多次摄像而得到的各输出信号而求出的比的平均值作为用于生成上述校正数据的上述比。
在所公开的摄像装置中，具备边缘检测部，该边缘检测部基于上述摄像图像信号而检测上述摄像图像信号中的被摄体的边缘部，作为用于生成上述校正数据的输出信号，上述校正数据生成部将上述边缘部涉及的像素单元的输出信号排除。
在所公开的摄像装置中，作为用于生成上述校正数据的输出信号，上述校正数据生成部将达到饱和电平的输出信号排除。
在所公开的摄像装置中，上述校正数据生成部在上述摄像光学***的光学条件或者上述摄像光学***变更了的情况下，生成上述校正数据。
在所公开的摄像装置中，具备记录控制部，该记录控制部将由上述校正数据生成部生成的校正数据与求出该校正数据时所安装的上述摄像光学***的识别信息建立关联地记录于记录介质，在安装了在上述记录介质中记录有上述校正数据的摄像光学***的情况下，上述信号校正部按照记录于上述记录介质的校正数据对上述第一相位差检测用像素单元的输出信号和上述第二相位差检测用像素单元中的至少一方的输出信号进行校正。
在所公开的摄像装置中，具备记录控制部，该记录控制部将由上述校正数据生成部生成的校正数据与上述摄像装置的识别信息建立对应地记录于设于求出该校正数据时所安装的上述摄像光学***的记录介质，在安装了将与上述摄像装置的识别信息对应的上述校正数据记录于记录介质的摄像光学***的情况下，上述信号校正部按照记录于上述记录介质的校正数据对上述第一相位差检测用像素单元的输出信号和上述第二相位差检测用像素单元中的至少一方的输出信号进行校正。
所公开的摄像装置具备：相位差量计算部，使用由上述信号校正部校正后的输出信号来算出相位差量，上述相位差量是上述一对像的相对的位置偏移量；及对焦控制部，基于上述相位差量控制上述摄像光学***的对焦状态。
所公开的信号处理方法是能够装卸摄像光学***的摄像装置中的信号处理方法，具备：校正数据生成步骤，由摄像元件对被摄体进行摄像，使用通过该摄像得到的摄像图像信号包括的摄像用像素单元的输出信号、第一相位差检测用像素单元的输出信号及第二相位差检测用像素单元的输出信号，生成用于对上述第一相位差检测用像素单元与上述第二相位差检测用像素单元的灵敏度差进行校正的校正数据，上述摄像元件包括：对由通过了上述摄像光学***的光瞳区域的光束形成的像进行摄像的多个摄像用像素单元、对由通过了上述摄像光学***的光瞳区域的不同部分的一对光束形成的一对像中的一方进行摄像的多个第一相位差检测用像素单元及对上述一对像中的另一方进行摄像的多个第二相位差检测用像素单元；及信号校正步骤，按照上述校正数据对上述第一相位差检测用像素单元的输出信号和上述第二相位差检测用像素单元的输出信号中的至少一方进行校正，在上述校正数据生成步骤中，算出上述第一相位差检测用像素单元的输出信号与接近该第一相位差检测用像素单元的上述摄像用像素单元的输出信号之比及接近该第一相位差检测用像素单元的上述第二相位差检测用像素单元的输出信号与接近该第二相位差检测用像素单元的上述摄像用像素单元的输出信号之比，并基于两个上述比而生成上述校正数据。
工业上的可利用性
根据本发明，能够提供一种能够高精度地对存在相位差的一对图像进行阴影校正的摄像装置及信号处理方法。
以上，通过特定的实施方式对本发明进行了说明，但本发明不限定于该实施方式，在不脱离所公开的发明的技术思想的范围内能够进行各种变更。
本申请基于2012年9月12日申请的日本专利申请(特愿2012-200475)、2013年4月30日申请的日本专利申请(特愿2013-095388)，并将其内容并入到本文中。
附图标号说明
5 固体摄像元件
19 散焦量计算部
51 像素单元
51R、51L 相位差检测用像素单元

Claims (15)

1.一种摄像装置，能够装卸摄像光学***，
所述摄像装置具备：
摄像元件，包括：对由通过了所述摄像光学***的光瞳区域的光束形成的像进行摄像的多个摄像用像素单元、对由通过了所述摄像光学***的光瞳区域的不同部分的一对光束形成的一对像中的一方进行摄像的多个第一相位差检测用像素单元及对所述一对像中的另一方进行摄像的多个第二相位差检测用像素单元；
校正数据生成部，使用由所述摄像元件对被摄体进行摄像而得到的摄像图像信号所含的所述摄像用像素单元的输出信号、所述第一相位差检测用像素单元的输出信号及所述第二相位差检测用像素单元的输出信号，生成用于对所述第一相位差检测用像素单元与所述第二相位差检测用像素单元的灵敏度差进行校正的校正数据；及
信号校正部，按照所述校正数据对所述第一相位差检测用像素单元的输出信号与所述第二相位差检测用像素单元的输出信号中的至少一方进行校正，
所述校正数据生成部算出所述第一相位差检测用像素单元的输出信号与接近该第一相位差检测用像素单元的所述摄像用像素单元的输出信号之比及接近该第一相位差检测用像素单元的所述第二相位差检测用像素单元的输出信号与接近该第二相位差检测用像素单元的所述摄像用像素单元的输出信号之比，并基于两个所述比而生成所述校正数据。
2.根据权利要求1所述的摄像装置，其中，
所述校正数据生成部算出为了使两个所述比相同而需要的、与所述第一相位差检测用像素单元和所述第二相位差检测用像素单元中的至少一方的输出信号相乘的系数而作为所述校正数据。
3.根据权利要求1或者2所述的摄像装置，其中，
作为用于生成所述校正数据的所述摄像用像素单元的输出信号、所述第一相位差检测用像素单元的输出信号及所述第二相位差检测用像素单元的输出信号的各个输出信号，所述校正数据生成部使用由所述摄像元件对被摄体进行多次摄像而得到的输出信号的平均值。
4.根据权利要求3所述的摄像装置，其中，
所述校正数据生成部在由所述摄像元件连续地进行摄像的动态图像摄像中进行所述校正数据的生成，
所述摄像装置具备帧率控制部，该帧率控制部根据所述动态图像摄像时设定的各帧的曝光时间来进行如下控制：将进行所述多次摄像时的第一帧率提高得高于所述动态图像摄像中的第二帧率。
5.根据权利要求4所述的摄像装置，其中，
在所述曝光时间小于阈值的情况下，所述帧率控制部进行将所述第一帧率提高得高于所述第二帧率的控制，在所述曝光时间为阈值以上的情况下，所述帧率控制部进行使所述第一帧率保持为所述第二帧率的控制。
6.根据权利要求3～5中的任一项所述的摄像装置，其中，
作为所述平均值的运算对象的输出信号的数量，所述校正数据生成部基于得到该输出信号时的、摄像时设定的ISO灵敏度来确定。
7.根据权利要求3～6中的任一项所述的摄像装置，其中，
所述校正数据生成部排除以下的所述摄像图像信号而算出所述平均值，该摄像图像信号包含由所述摄像元件对被摄体进行多次摄像而得到的同一像素单元的输出信号中的、与其他输出信号的差分超过阈值的输出信号。
8.根据权利要求1～7中的任一项所述的摄像装置，其中，
所述校正数据生成部使用根据由所述摄像元件对被摄体进行多次摄像而得到的各输出信号而求出的比的平均值作为用于生成所述校正数据的所述比。
9.根据权利要求1～8中的任一项所述的摄像装置，其中，
具备边缘检测部，该边缘检测部基于所述摄像图像信号而检测所述摄像图像信号中的被摄体的边缘部，
作为用于生成所述校正数据的输出信号，所述校正数据生成部将所述边缘部涉及的像素单元的输出信号排除。
10.根据权利要求1～9中的任一项所述的摄像装置，其中，
作为用于生成所述校正数据的输出信号，所述校正数据生成部将达到饱和电平的输出信号排除。
11.根据权利要求1～10中的任一项所述的摄像装置，其中，
所述校正数据生成部在所述摄像光学***的光学条件或者所述摄像光学***变更了的情况下，生成所述校正数据。
12.根据权利要求1～11中的任一项所述的摄像装置，其中，
具备记录控制部，该记录控制部将由所述校正数据生成部生成的校正数据与求出该校正数据时所安装的所述摄像光学***的识别信息建立关联地记录于记录介质，
在安装了在所述记录介质中记录有所述校正数据的摄像光学***的情况下，所述信号校正部按照记录于所述记录介质的校正数据对所述第一相位差检测用像素单元的输出信号和所述第二相位差检测用像素单元中的至少一方的输出信号进行校正。
13.根据权利要求1～11中的任一项所述的摄像装置，其中，
具备记录控制部，该记录控制部将由所述校正数据生成部生成的校正数据与所述摄像装置的识别信息建立对应地记录于设于求出该校正数据时所安装的所述摄像光学***的记录介质，
在安装了将与所述摄像装置的识别信息对应的所述校正数据记录于记录介质的摄像光学***的情况下，所述信号校正部按照记录于所述记录介质的校正数据对所述第一相位差检测用像素单元的输出信号和所述第二相位差检测用像素单元中的至少一方的输出信号进行校正。
14.根据权利要求1～13中的任一项所述的摄像装置，其中，
具备：
相位差量计算部，使用由所述信号校正部校正后的输出信号来算出相位差量，所述相位差量是所述一对像的相对的位置偏移量；及
对焦控制部，基于所述相位差量控制所述摄像光学***的对焦状态。
15.一种信号处理方法，是能够装卸摄像光学***的摄像装置中的信号处理方法，所述信号处理方法具备：
校正数据生成步骤，由摄像元件对被摄体进行摄像，使用通过该摄像所得到的摄像图像信号包含的摄像用像素单元的输出信号、第一相位差检测用像素单元的输出信号及第二相位差检测用像素单元的输出信号，生成用于对所述第一相位差检测用像素单元与所述第二相位差检测用像素单元的灵敏度差进行校正的校正数据，所述摄像元件包括：对由通过了所述摄像光学***的光瞳区域的光束形成的像进行摄像的多个所述摄像用像素单元、对由通过了所述摄像光学***的光瞳区域的不同部分的一对光束形成的一对像中的一方进行摄像的多个所述第一相位差检测用像素单元及对所述一对像中的另一方进行摄像的多个所述第二相位差检测用像素单元；及
信号校正步骤，按照所述校正数据对所述第一相位差检测用像素单元的输出信号和所述第二相位差检测用像素单元的输出信号中的至少一方进行校正，
在所述校正数据生成步骤中，算出所述第一相位差检测用像素单元的输出信号与接近该第一相位差检测用像素单元的所述摄像用像素单元的输出信号之比及接近该第一相位差检测用像素单元的所述第二相位差检测用像素单元的输出信号与接近该第二相位差检测用像素单元的所述摄像用像素单元的输出信号之比，并基于两个所述比而生成所述校正数据。
CN201380047550.2A 2012-09-12 2013-05-08 摄像装置及信号处理方法 Active CN104641276B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2012-200475 2012-09-12
JP2012200475 2012-09-12
JP2013095388 2013-04-30
JP2013-095388 2013-04-30
PCT/JP2013/062948 WO2014041845A1 (ja) 2012-09-12 2013-05-08 撮像装置及び信号処理方法

Publications (2)

Publication Number Publication Date
CN104641276A true CN104641276A (zh) 2015-05-20
CN104641276B CN104641276B (zh) 2016-08-24

Family

ID=50277982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380047550.2A Active CN104641276B (zh) 2012-09-12 2013-05-08 摄像装置及信号处理方法

Country Status (4)

Country Link
US (1) US9762838B2 (zh)
JP (1) JP5657184B2 (zh)
CN (1) CN104641276B (zh)
WO (1) WO2014041845A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108141535A (zh) * 2015-10-05 2018-06-08 三星电子株式会社 用于生成图像数据的电子设备和方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6808340B2 (ja) * 2016-03-31 2021-01-06 キヤノン株式会社 レンズ制御装置、制御方法
JP2018006881A (ja) * 2016-06-29 2018-01-11 株式会社シグマ 画像処理装置及び画像処理方法
WO2021090663A1 (ja) * 2019-11-05 2021-05-14 ソニーセミコンダクタソリューションズ株式会社 撮像デバイス及び撮像デバイスにおける画素信号の補正処理方法
CN115336251B (zh) * 2020-03-25 2024-05-03 富士胶片株式会社 摄像装置、摄像方法及记录介质
JP2022107563A (ja) * 2021-01-11 2022-07-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像装置の画素信号処理方法、及び、撮像システム
US20230020061A1 (en) * 2021-07-15 2023-01-19 Robert Bosch Gmbh Vehicle mounted virtual visor system having predictive pre-shading of visor segments

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010026178A (ja) * 2008-07-17 2010-02-04 Canon Inc 位相差検出装置、撮像装置、位相差検出装置の信号レベル補正方法、信号レベル補正プログラム
JP2011114553A (ja) * 2009-11-26 2011-06-09 Nikon Corp 撮像装置
CN102547116A (zh) * 2010-12-13 2012-07-04 佳能株式会社 摄像设备及其控制方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005181356A (ja) * 2003-12-15 2005-07-07 Canon Inc カメラシステム、カメラ、アクセサリ及び撮影レンズ
JP2006115470A (ja) * 2004-09-16 2006-04-27 Ntt Docomo Inc 映像評価装置、フレームレート決定装置、映像処理装置、映像評価方法、および映像評価プログラム
US7349033B2 (en) * 2005-05-23 2008-03-25 Texas Instruments Incorporated Systems and methods for correcting color phase error in video systems
JP4908382B2 (ja) * 2007-11-14 2012-04-04 株式会社リコー 画像処理装置及び画像処理方法
JP5374862B2 (ja) * 2007-11-16 2013-12-25 株式会社ニコン 焦点検出装置および撮像装置
JP5163068B2 (ja) * 2007-11-16 2013-03-13 株式会社ニコン 撮像装置
JP5020800B2 (ja) 2007-12-25 2012-09-05 キヤノン株式会社 撮像装置及びその制御方法
JP5371331B2 (ja) * 2008-09-01 2013-12-18 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
JP5675157B2 (ja) 2009-05-12 2015-02-25 キヤノン株式会社 焦点検出装置
JP2011257565A (ja) * 2010-06-08 2011-12-22 Canon Inc 撮像装置
JP2012150289A (ja) * 2011-01-19 2012-08-09 Olympus Corp 画像処理装置、撮像装置、および画像処理方法
JP6061532B2 (ja) * 2011-08-22 2017-01-18 キヤノン株式会社 制御装置、撮影装置および制御方法
US9148637B2 (en) * 2011-11-04 2015-09-29 Microsoft Technology Licensing, Llc Face detection and tracking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010026178A (ja) * 2008-07-17 2010-02-04 Canon Inc 位相差検出装置、撮像装置、位相差検出装置の信号レベル補正方法、信号レベル補正プログラム
JP2011114553A (ja) * 2009-11-26 2011-06-09 Nikon Corp 撮像装置
CN102547116A (zh) * 2010-12-13 2012-07-04 佳能株式会社 摄像设备及其控制方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108141535A (zh) * 2015-10-05 2018-06-08 三星电子株式会社 用于生成图像数据的电子设备和方法
CN108141535B (zh) * 2015-10-05 2020-09-22 三星电子株式会社 用于生成图像数据的电子设备和方法
US10951847B2 (en) 2015-10-05 2021-03-16 Samsung Electronics Co., Ltd. Electronic device and method for generating image data
US11418751B2 (en) 2015-10-05 2022-08-16 Samsung Electronics Co., Ltd. Electronic device and method for generating image data

Also Published As

Publication number Publication date
US9762838B2 (en) 2017-09-12
JP5657184B2 (ja) 2015-01-21
JPWO2014041845A1 (ja) 2016-08-18
WO2014041845A1 (ja) 2014-03-20
CN104641276B (zh) 2016-08-24
US20150195473A1 (en) 2015-07-09

Similar Documents

Publication Publication Date Title
CN103874952B (zh) 固体摄像元件、摄像装置及对焦控制方法
US8890972B2 (en) Image capturing apparatus and image processing method
JP5012495B2 (ja) 撮像素子、焦点検出装置、焦点調節装置および撮像装置
CN103403599B (zh) 摄像装置及其对焦控制方法
US8976289B2 (en) Imaging device
CN104641276A (zh) 摄像装置及信号处理方法
JP5361535B2 (ja) 撮像装置
US8902349B2 (en) Image pickup apparatus
US9615017B2 (en) Focus detection apparatus and method, method of controlling focus detection apparatus, and image capturing apparatus
US10136079B2 (en) Method and apparatus for imaging an object
US20120092545A1 (en) Focus detection apparatus
US9621782B2 (en) Image capturing apparatus and method for calculating sensitivity ratio of phase difference pixel
CN103380392A (zh) 摄像装置及其对焦控制方法
CN103502866A (zh) 摄影装置及程序
WO2012073727A1 (ja) 撮像装置及びその合焦位置検出方法
CN107111105A (zh) 对焦控制装置、对焦控制方法、对焦控制程序、镜头装置、摄像装置
JPWO2011136026A1 (ja) 撮像装置及び撮像方法
US9602716B2 (en) Focus-detection device, method for controlling the same, and image capture apparatus
CN107111106A (zh) 对焦控制装置、对焦控制方法、对焦控制程序、镜头装置、摄像装置
US20200092489A1 (en) Optical apparatus, control method, and non-transitory computer-readable storage medium
JP5228777B2 (ja) 焦点検出装置および撮像装置
CN103460702A (zh) 彩色摄像元件、摄像装置及摄像程序
JP5407314B2 (ja) 焦点検出装置および撮像装置
CN112866554B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
JP5476702B2 (ja) 撮像素子および撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant