CN101088285A - 摄像装置及其制造方法 - Google Patents

摄像装置及其制造方法 Download PDF

Info

Publication number
CN101088285A
CN101088285A CNA2005800444590A CN200580044459A CN101088285A CN 101088285 A CN101088285 A CN 101088285A CN A2005800444590 A CNA2005800444590 A CN A2005800444590A CN 200580044459 A CN200580044459 A CN 200580044459A CN 101088285 A CN101088285 A CN 101088285A
Authority
CN
China
Prior art keywords
correction coefficient
mentioned
image pickup
pickup signal
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005800444590A
Other languages
English (en)
Inventor
饭岛友邦
石川隆
沼井郁夫
早川正人
高井亚季
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101088285A publication Critical patent/CN101088285A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/15Image signal generation with circuitry for avoiding or correcting image misregistration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/42Wire connectors; Manufacturing methods related thereto
    • H01L2224/44Structure, shape, material or disposition of the wire connectors prior to the connecting process
    • H01L2224/45Structure, shape, material or disposition of the wire connectors prior to the connecting process of an individual wire connector
    • H01L2224/45001Core members of the connector
    • H01L2224/45099Material
    • H01L2224/451Material with a principal constituent of the material being a metal or a metalloid, e.g. boron (B), silicon (Si), germanium (Ge), arsenic (As), antimony (Sb), tellurium (Te) and polonium (Po), and alloys thereof
    • H01L2224/45138Material with a principal constituent of the material being a metal or a metalloid, e.g. boron (B), silicon (Si), germanium (Ge), arsenic (As), antimony (Sb), tellurium (Te) and polonium (Po), and alloys thereof the principal constituent melting at a temperature of greater than or equal to 950°C and less than 1550°C
    • H01L2224/45144Gold (Au) as principal constituent
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/42Wire connectors; Manufacturing methods related thereto
    • H01L2224/47Structure, shape, material or disposition of the wire connectors after the connecting process
    • H01L2224/48Structure, shape, material or disposition of the wire connectors after the connecting process of an individual wire connector
    • H01L2224/4805Shape
    • H01L2224/4809Loop shape
    • H01L2224/48091Arched
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/15Details of package parts other than the semiconductor or other solid state devices to be connected
    • H01L2924/161Cap
    • H01L2924/1615Shape
    • H01L2924/16195Flat cap [not enclosing an internal cavity]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明提供一种小型、薄型的摄像装置,即使出现零件精度的偏差或装配的偏差等也能够获得各色光具有同样光量分布的摄像信号。该摄像装置具有:多个透镜部(113),分别包含至少一个透镜;多个摄像区域,与上述多个透镜部一一对应,并分别具有与所对应的上述透镜部的光轴方向大致垂直的受光面;摄像信号输入部(133),输入分别从上述多个摄像区域输出的多个摄像信号;以及强度校正部,校正各个上述摄像信号的强度,以使得校正程度根据摄像区域的位置而变化。

Description

摄像装置及其制造方法
技术领域
本发明涉及小型、薄型的摄像装置及其制造方法。
背景技术
现有的摄像装置,例如有日本特开2001-78213号公报所公开的摄像装置。图50是表示现有的摄像装置的结构的断面图。
在图50中,摄像***9010是通过光圈9110和摄像透镜9100而使来自物体的光在摄像元件9120的摄像面上成像的光学处理***。光圈9110具有三个圆形开口9110a、9110b、9110c。从各个开口9110a、9110b、9110c射入到摄像透镜9100的光入射面9100e上的物体光,从摄像透镜9100的三个透镜部9100a、9100b、9100c射出,在摄像元件9120的摄像面上形成三个物体像。在摄像透镜9100的平面部9100d上形成遮光性膜。在摄像透镜9100的光入射面9100e上形成了使互不相同的波段的光透过的三个滤光器9052a、9052b、9052c。并且,在摄像元件9120上的三个摄像区域9120a、9120b、9120c上,也形成了使互不相同的波段的光透过的三个滤光器9053a、9053b、9053c。滤光器9052a和滤光器9053a具有主要使绿色(用G表示)透过的分光透过率特性;滤光器9052b和滤光器9053b具有主要使红色(用R表示)透过的分光透过率特性;再者,滤光器9052c和滤光器9053c具有主要使蓝色(用B表示)透过的分光透过率特性。因此,摄像区域9120a对绿色光(G)具有灵敏度;摄像区9120b对红色光(R)具有灵敏度;摄像9120c对蓝色光(b)具有灵敏度。
在具有这样的多个摄像透镜的摄像装置中,若从相机模块到物体的距离变化,则在摄像元件9120的摄像面上多个摄像透镜分别形成的多个物体像的相互间隔发生变化。
上述现有的相机模块,对多个成像***的光轴间隔这样进行设定,使得在把虚拟被摄体距离D[m]作为多个成像***的摄像视场角θ[°]的函数,定义为D=1.4/(tan(θ/2))时,物***于虚拟被摄体距离D[m]时的多个物体像的相互间隔、和位于无限远时的多个物体像的相互间隔之间的变化,小于基准图像信号的像素间距的2倍。也就是说,这样来设定光轴间隔,使得即使对位于无限远的物体的摄像也进行与对位于虚拟被摄体距离D[m]的物体的摄像进行优化的图像处理相同的图像处理,也能够使摄像面上的两个物体像的相互间隔的差小于基准信号的像素间距的2倍,所以,能够把位于无限远的物体像的颜色偏差控制在可允许的水平上。
在现有的摄像装置中,摄像透镜9100的三个透镜部9100a、9100b、9100c的光轴,配置成分别通过光圈9110的三个圆形开口9110a、9110b、9110c的中心和摄像区域9120a、9120b、9120c的中心。然而,由于存在零件精度的偏差、装配的偏差等,摄像透镜9100的三个透镜部9100a、9100b、9100c的光轴,会分别偏离光圈9110的三个圆形开口9110a、9110b、9110c的中心。作为透镜的固有特性,在摄像元件9120的摄像面上,与中心部相比,周边部的光量(周边光量)减少,但摄像透镜9100的三个透镜部9100a、9100b、9100c的光轴和光圈9110的三个圆形开口9110a、9110b、9110c的中心分别向不同方向上偏移时,周边光量的减少程度各不相同。
图51是说明光圈和透镜部以及周边光量的关系的图。在图51中,为了简化,仅表示出透镜9100、光圈9110和摄像元件9120。并且,用G、R、B表示的曲线,分别表示绿色、红色、蓝色的光量大小。在此,如图51所示,把纸面的向上作为Y方向的正向。如图51所示,当圆形开口9110b的中心与透镜部9100b的光轴相一致时,在摄像元件9120的摄像面内,周边光量与Y方向的正负朝向相对称地减少(形成用R表示的曲线分布)。因此,红色的光量分布关于Y方向正负对称。但是,由于存在透镜9100及光圈9110的加工精度的偏差等,当圆形开口9110a的中心从透镜部9100a的光轴向Y方向上负的朝向上偏移时,在摄像元件9120的摄像面上,周边光量在Y方向上负朝向的减少程度较大(形成用G表示的曲线分布)。因此,绿色的光量分布在Y方向的正向上较大。另一方面,由于存在透镜9100及光圈9100的加工精度的偏差等,当圆形开口9110c的中心从透镜部9100c的光轴向y方向上正向偏移时,在摄像元件9120的摄像面上,周边光量在Y方向上正向的减少程度较大(形成用B表示的曲线分布)。因此,蓝色的光量分布在Y方向的负方向上较大。而且,像图51这样的误差,有可能产生的原因是,光圈9110和透镜9100由树脂构成,当利用热成形法来生成时,由于成份不同而使热膨胀率不同。
图52是表示绿色成分、红色成分和蓝色成分的光量分布的图。横轴表示Y轴,纵轴表示光量的大小。当具有上述误差时,例如拍摄灰色的被摄体进行图像合成的情况下,如图52所示,红色的光量分布(用R表示的曲线)关于Y方向正负对称。绿色的光量分布(用G表示的曲线),在Y方向的正向上较大,蓝色的光量分布(用B表示的曲线)在Y方向的负向上较大,所以,产生出Y方向的中央部变成红色、正的位置变成绿色、负的位置变成蓝色这样的实际的被摄体色(在该例中为灰色)以外的色(假色)。也就是说,具有多个透镜部,在与各透镜部相对应的摄像区域内,独立地接收被摄体的红色光、绿色光、蓝色光的现有的摄像装置,在光量分布有偏差时,红色光、绿色光、蓝色光形成不同的光量,所以产生假色。
这样,由于出现零件精度的偏差、装配的偏差等,若摄像透镜9100的三个透镜部9100a、9100b、9100c的光轴分别偏离光圈9110的三个圆形开口9110a、9110b、9110c的中心,则产生假色。
在具有由一个透镜部和一个摄像区域构成、在摄像区域内布置了拜尔(ベイヤ一)排列的滤色器的摄像元件(例如摄像元件是CCD,在摄像元件的表面上红色、绿色、蓝色三种不同的滤色器布置成点阵状,该滤色器分别对应于一个光电二极管)的摄像装置中,不会发生上述问题。也就是说,即使由于出现上述零件精度的偏差、装配的偏差等,透镜部偏离光圈中心,光量产生偏差,由于红色、绿色、蓝色滤色器互相接近地配置成点阵状,在分别接近的摄像区内接收被摄体的红色光、绿色光、蓝色光,所以,红色光、绿色光、蓝色光形成同样的光量分布,因此,不会产生假光。但是,这种由一个透镜部和一个摄像元件构成的摄像装置,由于光学长度较长,所以不能够实现小型化、薄型化。
发明内容
本发明是鉴于上述问题而提出的,其目的在于提供一种小型、薄型的摄像装置,即使出现零件精度的偏差及装配的偏差等,也能够获得各色光具有同样的光量分布的摄像信号。
本发明的摄像装置具有:多个透镜部,分别包含至少一个透镜;多个摄像区域,与上述多个透镜部一一对应,并分别具有与所对应的上述透镜部的光轴方向大致垂直的受光面;摄像信号输入部,输入分别从上述多个摄像区域输出的多个摄像信号;强度校正系数保存部,保存强度校正系数,该强度校正系数为上述摄像区域的强度不均匀的信息;以及强度校正部,使用上述强度校正系数,校正上述多个摄像信号的每个的强度,以减小上述摄像区域的强度不均匀的影响。
本发明能够提供一种小型、薄型的摄像装置,即使出现零件精度的偏差或装配的偏差等,也能够获得各色光具有同样的光量分布的摄像信号。
附图说明
图1是表示涉及本发明第1实施方式的摄像装置的结构的断面图。
图2是表示涉及本发明第1实施方式的摄像装置的透镜的俯视图。
图3是表示涉及本发明第1实施方式的摄像装置的电路部的俯视图。
图4是表示涉及本发明第1实施方式的摄像装置的滤色器的特性图。
图5是表示涉及本发明第1实施方式的摄像装置的IR滤光器的特性图。
图6是在涉及本发明第1实施方式的摄像装置中,对位于无限远的位置上的物体像的位置进行说明用的图。
图7是在涉及本发明第1实施方式的摄像装置中,对位于有限距离的位置上的物体像的位置进行说明用的图。
图8(A)是在涉及本发明第1实施方式的摄像装置中,对对焦时的图像和对比度评价值的关系进行说明的图。
图8(B)是在涉及本发明第1实施方式的摄像装置中,对非对焦时的图像和对比度评价值的关系进行说明的图。
图9是说明涉及本发明第1实施方式的摄像装置的透镜位置和对比度评价值的关系的图。
图10是表示涉及本发明第1实施方式的摄像装置的框图。
图11是表示涉及本发明第1实施方式的摄像装置的动作的流程图。
图12是表示涉及本发明第1实施方式的摄像装置的自动焦点控制的动作的流程图。
图13是说明涉及本发明第1实施方式的摄像装置的摄像信号的坐标的图。
图14是表示涉及本发明第1实施方式的强度校正的动作的流程图。
图15是说明涉及本发明第1实施方式的失真校正系数的图。
图16是表示涉及本发明第1实施方式的失真校正动作的流程图。
图17是表示涉及本发明第1实施方式的视差校正动作的流程图。
图18是在涉及本发明第1实施方式的摄像装置中,说明块分割的图。
图19是在涉及本发明第1实施方式的摄像装置中,说明视差评价值的计算区域的图。
图20是说明涉及本发明第1实施方式的摄像装置的视差和视差评价值之间的关系的图。
图21是表示涉及本发明第2实施方式的摄像装置的结构的断面图。
图22是表示涉及本发明第2实施方式的摄像装置的框图。
图23是表示涉及本发明第2实施方式的校正系数生成时的摄像装置等的外观图。
图24是表示涉及本发明第2实施方式的强度校正系数生成所使用的强度校正用图的外观图。
图25是表示涉及本发明第2实施方式的摄像装置的摄像信号和强度校正系数以及校正后的摄像信号的波形图。
图26是表示涉及本发明第2实施方式的原点校正系数生成所使用的原点校正用图的外观图。
图27是表示涉及本发明第2实施方式的原点校正用图摄像时的摄像信号的图。
图28是表示涉及本发明第2实施方式的失真校正系数生成中使用的失真校正用图的外观图。
图29是表示涉及本发明第2实施方式的失真校正用图摄像时的摄像信号的图。
图30是表示涉及本发明第2实施方式的强度校正系数、原点校正系数和失真校正系数的生成方法的流程图。
图31是表示用线性插补来生成失真校正系数时参照的坐标的图。
图32是在本发明第2实施方式的变形例中,失真校正系数生成时所使用的失真校正用图的外观图。
图33是表示涉及本发明第3实施方式的摄像装置的结构的断面图。
图34是表示涉及本发明第3实施方式的摄像装置的框图。
图35是表示涉及本发明第3实施方式的校正系数生成时的摄像装置等的外观图。
图36是表示涉及本发明第3实施方式的强度校正系数生成和原点校正系数生成时所使用的强度原点校正用图的外观图。
图37是表示涉及本发明第3实施方式的强度校正系数、原点校正系数和失真校正系数的生成方法的流程图。
图38是表示涉及本发明第4实施方式的摄像装置的结构的断面图。
图39是表示涉及本发明第4实施方式的摄像装置的框图。
图40是表示涉及本发明第4实施方式的校正系数生成时的摄像装置等的外观图。
图41是表示涉及本发明第4实施方式的强度校正系数生成、原点校正系数生成和失真校正系数生成所使用的强度原点失真校正用图的外观图。
图42是表示涉及本发明第4实施方式的强度校正系数、原点校正系数和失真校正系数的生成方法的流程图。
图43是表示涉及本发明第5实施方式的摄像装置的结构的断面图。
图44是表示本发明第5实施方式的摄像装置的透镜的俯视图。
图45是表示本发明第5实施方式的摄像装置的电路部的俯视图。
图46是表示本发明第5实施方式的摄像装置的框图。
图47是表示本发明第5实施方式的摄像装置的动作的流程图。
图48是表示本发明第5实施方式的距离计算的动作的流程图。
图49是在涉及本发明第5实施方式的摄像装置中,说明视差评价值的计算区域的图。
图50是表示现有的摄像装置的结构的断面图。
图51是说明光圈、透镜部和周边光量的关系的图。
图52是表示绿色成分、红色成分和蓝色成分的光量分布的图。
具体实施方式
本发明的摄像装置具有:多个透镜部,分别包含至少一个透镜;多个摄像区域,与上述多个透镜部一一对应,并分别具有与所对应的上述透镜部的光轴方向大致垂直的受光面;摄像信号输入部,输入分别从上述多个摄像区域输出的多个摄像信号;强度校正系数保存部,保存强度校正系数,该强度校正系数为上述摄像区域的强度不均匀的信息;以及强度校正部,使用上述强度校正系数,校正上述多个摄像信号的每个的强度,以减小上述摄像区域的强度不均匀的影响。
若出现零件精度的偏差或装配的偏差等,则因各色不同,光量分布相对于光轴中心产生偏移,产生假色。若采用本发明的摄像装置,则通过保存强度校正系数,根据强度校正系数来对摄像信号的强度进行校正,以减小摄像区域的强度不均匀的影响,由此能够对光量分布的偏移进行补偿,由此,在根据校正后的摄像信号来例如合成图像的情况下,能够抑制假色的发生,合成清晰的图像。
在上述摄像装置中,优选的是,在入射光相对上述多个摄像区域中的至少二个上述摄像区域的光路上,还具有具备以第一波长为大致中心的透过特性的光学元件;在入射光相对其他摄像区域的光路上,还具有具备以与上述第一波长不同的波长为大致中心的透过特性的光学元件。再者,优选的是,上述强度校正部,校正与上述多个摄像区域中、至少接收下述光线的摄像区域相对应的上述摄像信号的强度,其中上述光线为透过了具备以上述第一波长为大致中心的透过特性的光学元件的光线。而且,优选的是,上述第一波长是被人的视觉识别为大致绿色的波长。
在上述摄像装置中,优选的是,还具有:视差计算部,根据由上述强度校正部校正了强度的摄像信号,求出上述多个透镜部分别形成的像之间的视差;以及视差校正部,根据上述视差校正上述多个摄像信号,并合成图像。
若出现零件精度的偏差或装配的偏差等,则因各色不同,光量分布相对于光轴中心产生偏移,不能够正确地求出视差。若采用该优选结构,则由于能够校正摄像信号的强度来补偿光量分布的偏移,根据已校正的摄像信号来求出视差,所以,能够求出正确的视差。并且,由于根据正确的视差来进行图像合成,以便减小视差的影响,所以,能够合成清晰的图像。
或者,在上述摄像装置中,优选的是,还具有:视差计算部,根据由上述强度校正部校正了强度的摄像信号,求出上述多个透镜部分别形成的像之间的视差;以及距离计算部,根据上述视差求出相对被摄体的距离。
若出现零件精度的偏差或装配的偏差等,则因各色不同光量分布相对于光轴中心产生偏移,不能够正确地求出视差。若采用该优选结构,则由于能够校正摄像信号的强度来补偿光量分布的偏移,根据已校正的摄像信号来求出视差,所以,能够求出正确的视差。并且,能够根据正确的视差来正确地求出相对被摄体的距离。
在上述摄像装置中,优选的是,还具有块分割部,该块分割部将上述多个摄像信号中的至少一个摄像信号分割为多个块,上述视差计算部按每个上述块计算上述多个透镜部分别形成的像之间的视差。
若采用该结构,则能够把上述多个摄像信号中的至少一个摄像信号分割成多个块,对于接收透过了同一波长特性的透过特性元件的光线的至少2个摄像区域所对应的摄像信号的强度进行校正,对光量分布的偏移进行补偿,根据上述校正过的摄像信号来对每个块求出正确的视差。并且,由于根据该正确的视差来按每个块进行图像合成,以便分别减小视差的影响,所以,能够合成清晰的图像。或者能够根据该正确的视差来正确地求出相对被摄体的距离。
在上述摄像装置中,优选的是,还具有:
原点校正系数保存部,保存原点校正系数,该原点校正系数为与上述多个透镜部的光轴的原点和摄像信号的原点之间的对应有关的信息;以及
原点校正部,根据上述原点校正系数校正上述多个摄像信号的每个的原点。
在上述摄像装置中,优选的是,还具有:
失真校正系数保存部,保存失真校正系数,该失真校正系数为上述透镜部的失真的信息;以及失真校正部,根据上述失真校正系数校正上述多个摄像信号的每个,以减小上述多个透镜部的失真的影响。
在上述摄像装置中,优选的是,上述强度校正部对上述多个摄像信号进行校正,以使得强度水平互相相等。
并且,涉及本发明的摄像装置的制造方法,该摄像装置具有:多个透镜部,分别包含至少一个透镜;多个摄像区域,与上述多个透镜部一一对应,并分别具有与所对应的上述透镜部的光轴方向大致垂直的受光面;摄像信号输入部,输入分别从上述多个摄像区域输出的多个摄像信号;强度校正系数保存部,保存强度校正系数,该强度校正系数为上述摄像区域的强度不均匀的信息;以及强度校正部,使用上述强度校正系数,校正上述摄像信号的强度,以减小上述摄像区域的强度不均匀的影响,其特征在于,该方法具有以下工序:第一摄像工序,利用上述摄像装置拍摄大致为白色的物体;强度校正系数计算工序,根据由上述第一摄像工序所得到的摄像信号,计算上述强度校正系数;以及保存工序,将由上述强度校正系数计算工序所计算出的强度校正系数保存到上述强度校正系数保存部。
在上述制造方法中,通过根据对例如显示出白色均匀光的显示器或者测试图等的大致白色的物体进行摄像而取得的摄像信号,生成强度校正系数,写入到强度校正系数保存部内,由此,即使零件精度的偏差或装配的偏差等按每个个体发生变化,也能够对光量分布的偏移进行补偿,对假色的发生进行抑制,合成清晰的图像。
在上述制造方法中,优选的是,上述摄像装置还具有:原点校正系数保存部,保存原点校正系数,该原点校正系数为与上述多个透镜部的光轴的原点和摄像信号的原点之间的对应有关的信息;以及原点校正部,根据上述原点校正系数校正上述摄像信号的原点,该制造方法还具有以下工序:第二摄像工序,利用上述摄像装置对具有在中央部包含十字的图案的物体进行摄像;原点校正系数计算工序,根据由上述第二摄像工序所得到的摄像信号,计算上述原点校正系数;以及保存工序,将由上述原点校正系数计算工序所计算出的原点校正系数保存到上述原点校正系数保存部。
这样,能够计算出一种原点校正系数,用于补偿透镜部彼此制造时的偏差或摄像元件的布置位置偏差等造成的制造偏差引起的原点偏差,将该系数保存到原点校正系数保存部内。
在上述制造方法中,优选的是,上述摄像装置还具有:失真校正系数保存部,保存失真校正系数,该失真校正系数为上述透镜部的失真的信息;以及失真校正部,根据上述失真校正系数校正摄像信号,以减小上述多个透镜部的失真的影响,该制造方法还具有以下工序:第三摄像工序,利用上述摄像装置对具有网格状图案的物体进行摄像;失真校正系数计算工序,根据由上述第三摄像工序所得到的摄像信号,计算上述失真校正系数;以及保存工序,将由上述失真校正系数计算工序所计算出的失真校正系数保存到上述失真校正系数保存部。
若采用该制造方法,则能够计算出补偿透镜失真的失真校正系数,并将其保存在失真校正系数保存部内。
在上述制造方法中,优选的是,上述摄像装置还具有:原点校正系数保存部,保存原点校正系数,该原点校正系数为与上述多个透镜部的光轴的原点和摄像信号的原点之间的对应有关的信息;以及原点校正部,根据上述原点校正系数校正上述摄像信号的原点,在上述第一摄像工序中,使用背景为大致白色且具有在中央部包含十字的图案的物体作为上述物体,该制造方法还具有以下工序:原点校正系数计算工序,根据由上述第一摄像工序所得到的摄像信号,计算上述原点校正系数;以及保存工序,将由上述原点校正系数计算工序所计算出的原点校正系数保存到上述原点校正系数保存部。
若采用该制造方法,则利用由一次摄像而取得的同一摄像信号来生成强度校正系数和原点校正系数,所以能够抑制制造工序中的摄像次数,缩短制造工序的节拍时间。
在上述制造方法中,优选的是,上述摄像装置还具有:失真校正系数保存部,保存失真校正系数,该失真校正系数为上述透镜部的失真的信息;以及失真校正部,根据上述失真校正系数校正摄像信号,以减小上述多个透镜部的失真的影响,在上述第一摄像工序中,使用背景为大致白色且具有网格状的图案的物体作为上述物体,该制造方法还具有以下工序:失真校正系数计算工序,根据由上述第一摄像工序所得到的摄像信号,计算上述失真校正系数;以及保存工序,将由上述失真校正系数计算工序所计算出的失真校正系数保存到上述失真校正系数保存部。
若采用该制造方法,则利用由一次摄像而取得的同一摄像信号来生成强度校正系数和失真校正系数,所以能够抑制制造工序中的摄像次数,缩短制造工序的节拍时间。
在上述制造方法中,优选的是,上述摄像装置还具有:原点校正系数保存部,保存原点校正系数,该原点校正系数为与上述多个透镜部的光轴的原点和摄像信号的原点之间的对应有关的信息;原点校正部,根据上述原点校正系数校正上述摄像信号的原点;失真校正系数保存部,保存失真校正系数,该失真校正系数为上述透镜部的失真的信息;以及失真校正部,根据上述失真校正系数校正摄像信号,以减小上述多个透镜部的失真的影响,在上述第一摄像工序中,使用背景为大致白色且具有网格状的图案的物体作为上述物体,该制造方法还具有以下工序:原点校正系数计算工序,根据由上述第一摄像工序所得到的摄像信号,计算上述原点校正系数;失真校正系数计算工序,根据由上述第一摄像工序所得到的摄像信号,计算上述失真校正系数;以及保存工序,将由上述原点校正系数计算工序和失真校正系数计算工序所计算出的原点校正系数和失真校正系数,分别保存到上述原点校正系数保存部和失真校正系数保存部。
若采用该制造方法,则利用由一次摄像而取得的同一摄像信号来生成强度校正系数、原点校正系数和失真校正系数,所以能够抑制制造工序中的摄像次数,缩短制造工序的节拍。
以下利用附图,说明本发明的更具体的实施方式。
<第1实施方式>
涉及本发明第1实施方式的摄像装置,保存强度校正系数,根据强度校正系数来校正摄像信号的强度,使校正的程度随摄像区域的位置而变化。这样来补偿光量分布的偏差,抑制假色的发生,合成清晰的图像。
并且,涉及本发明第1实施方式的摄像装置,将多个摄像信号中的至少一个摄像信号分割成多个块,对与接收透过了同一波长特性的透过特性元件的光线的至少2个摄像区域相对应的摄像信号的强度进行校正,对光量分布的偏差进行补偿,根据校正后的摄像信号来对每个块求出视差,根据该视差来对每个块进行图像合成以减小视差的影响。通过这样,对光量分布的偏差进行补偿,求出正确的视差,根据该正确的视差来进行图像合成,所以能够合成清晰的图像。
并且,涉及本发明第1实施方式的摄像装置,保存原点校正系数,根据原点校正系数来校正摄像信号的原点;根据校正后的摄像信号来对每个块求出视差,根据该视差来对每个块进行图像合成,以减小视差的影响。通过这样来补偿原点的偏差,求出正确的视差,根据该正确视差来进行图像合成,所以能够合成清晰的图像。
并且,涉及本发明第1实施方式的摄像装置,保存失真校正系数,根据失真校正系数来校正摄像信号,以减小多个透镜部的失真的影响;根据校正后的摄像信号来对每个块求出视差,根据该视差来对每个块进行图像合成,以减小视差的影响。通过这样来减小失真的影响,求出正确的视差,根据该正确视差来进行图像合成,所以能够合成清晰的图像。
对于涉及本发明第1实施方式的摄像装置,一边参照附图,一边进行说明。
图1是表示涉及本发明第1实施方式的摄像装置的结构的断面图。在图1中,摄像装置101具有透镜模块部110和电路部120。
透镜模块部110具有:镜筒111、上部盖玻璃112、透镜113、致动器(actuator)固定部114和致动器活动部115。电路部120具有:基板121、组件(package)122、摄像元件123、组件盖玻璃124和***LSI(以下记做SLSI)。
镜筒111是圆筒状,其内壁面为了防止光的漫反射而为消光的黑色,用树脂来注塑成形而制成。上部盖玻璃112是圆盘状,由透明树脂形成,用粘合剂等固定在镜筒111的上面上,其表面上设置了防止磨擦等造成损坏的保护膜、和防止入射光反射的防止反射膜。
图2是表示涉及本发明第1实施方式的摄像装置的透镜113的俯视图。透镜113大致上是圆盘状,由玻璃或透明树脂而形成,第1透镜部113a、第2透镜部113b、第3透镜部113c和第4透镜部113d被布置成围棋盘网眼状。沿着第1~第4透镜部113a~113d的布置方向,如图2所示设定X轴和Y轴。在第1透镜部113a、第2透镜部113b、第3透镜部113c和第4透镜部113d中,从被摄体侧入射的光向摄像元件123侧射出,在摄像元件123上形成4个像。
致动器固定部114用粘合剂等固定在镜筒111的内壁面上。致动器活动部115用粘合剂等固定在透镜113的外周缘上。致动器固定部114和致动器活动部115构成音圈马达。致动器固定部114具有永久磁铁(无图示)和强磁性体磁轭(无图示),致动器活动部115具有线圈(无图示)。致动器活动部115利用弹性体(无图示)被弹性支承在致动器固定部114上。通过向致动器活动部115的线圈内通电,来使致动器活动部115相对于致动器固定部114进行相对移动,使沿着透镜113和摄像元件123的光轴的相对距离发生变化。
电路基板121由树脂基板构成,在上面上连接镜筒111的底面并通过粘合剂等粘接固定。这样来固定透镜模块部110和电路部120,构成摄像装置101。
组件122由具有金属端子的树脂构成,在镜筒111的内侧,在电路基板121的上面上,金属端子部进行焊接等而粘接固定。摄像元件123由第1摄像元件123a、第2摄像元件123b、第3摄像元件123c、第4摄像元件124d构成。第1摄像元件123a、第2摄像元件123b、第3摄像元件123c和第4摄像元件124d分别是CCD传感器或CMOS传感器这样的固体摄像元件,并且配置为,其受光面的中心分别大致与第1透镜部113a、第2透镜部113b、第3透镜部113c和第4透镜部113d的光轴中心相一致,并且,各摄像元件的受光面大致上垂直于对应的透镜部的光轴。第1摄像元件123a、第2摄像元件123b、第3摄像元件123c和第4摄像元件123d的各个端子,利用金线127通过引线接合而与组件122的内侧的底部的金属端子相连接,通过基板121与SLSI125电连接。在第1摄像元件123a、第2摄像元件123b、第3摄像元件123c和第4摄像元件123d的各个受光面上,从第1透镜部113a、第2透镜部113b、第3透镜部113c和第4透镜部113d射出的光分别成像,通过光电二极管从光信息变换成的电信息被输出到SLSI125内。
图3是表示涉及本发明第1实施方式的摄像装置的电路部120的俯视图。组件盖玻璃124是平板状,由透明树脂形成,利用粘接等方法固定在组件122的上面上。在组件盖玻璃124的上面上,通过蒸镀等配置有第1滤色器124a、第2滤色器124b、第3滤色器124c、第4滤色器124d和遮光部124e。并且,在组件盖玻璃124的下面上,利用蒸镀等方法配置有红外截止滤光器(无图示,以下称为IR滤光器)。
图4是表示涉及本发明第1实施方式的摄像装置的滤色器的特性图。图5是表示涉及本发明第1实施方式的摄像装置的IR滤光器的特性图。第1滤色器124a具有由图4G表示的主要透过绿色的分光透过特性;第2滤色器124b具有图4B所示的主要透过蓝色的分光透过特性;第3滤色器124c具有由图4R表示的主要透过红色的分光透过特性;第4滤色器具有图4G所示的主要透过绿色的分光透过特性。并且,IR滤光器具有由图5的IR所表示的切断红外光的分光透过特性。
所以,从第1透镜部113a的上部入射的物体光,从第1透镜部113a的下部射出,利用第1滤色器124a和IR滤光器,主要使绿色透过,在第1摄像元件123a的受光部上进行成像,所以,第1摄像元件123a接收物体光中的绿色成分。并且,从第2透镜部113b的上部入射的物体光,从第2透镜部113b的下部射出,利用第2滤色器124b和IR滤光器,主要使蓝色透过,在第2摄像元件123b的受光部上进行成像,所以,第2摄像元件123b接收物体光中的蓝色成分。并且,从第3透镜部113c的上部入射的物体光,从第3透镜部113c的下部射出,利用第3滤色器124c和IR滤光器,主要使红色透过,在第3摄像元件123c的受光部上进行成像,所以,第3摄像元件123c接收物体光中的红色成分。再者,从第4透镜部113d的上部入射的物体光,从第4透镜部113d的下部射出,利用第4滤色器124d和IR滤光器,主要使绿色透过,在第4摄像元件123d的受光部上进行成像,所以,第4摄像元件123d接收物体光中的绿色成分。
SLSI125利用下述方法来控制致动器活动部115的线圈的通电,驱动摄像元件123,输入从摄像元件123来的电信息,进行各种图像处理,与高位的CPU进行通信,向外部输出图像。
以下说明被摄体距离和视差之间的关系。涉及本发明第1实施方式的相机模块具有四个透镜部(第1透镜部113a、第2透镜部113b、第3透镜部113c和第4透镜部113d),所以,四个透镜部分别形成的四个物体像的相对位置,随被摄体距离而变化。
图6是在涉及本发明第1实施方式的摄像装置中,对位于无限远的位置上的物体像的位置进行说明用的图。在图6中,为了简化,仅表示出第1透镜部113a、第1摄像元件123a、第2透镜部113b、第2摄像元件123b。从无限远的物体10来的光向第1透镜部113a的入射光L1和向第2透镜部113b的入射光L2是平行的,所以,第1透镜部113a和第2透镜部113b之间的距离、与第1摄像元件123a上的物体像11a和第2摄像元件123b上的物体像11b之间的距离相等。在此,第1透镜部113a的光轴、第2透镜部113b的光轴、第3透镜部113c的光轴和第4透镜部113d的光轴,布置成分别大致与第1摄像元件123a的受光面的中心、第2摄像元件123b的受光面的中心、第3摄像元件123c的受光面的中心和第4摄像元件123d的受光面的中心一致。所以,第1摄像元件123a、第2摄像元件123b、第3摄像元件123c和第4摄像元件123d的各受光面的中心、与分别在各受光面上成像的无限远的物体像之间的相对位置关系,对所有的摄像元件都是相同的。也就是说,无视差。
图7是在涉及本发明第1实施方式的摄像装置中,对位于有限距离的位置上的物体像的位置进行说明用的图。在图7中,为了简化,仅表示出第1透镜部113a、第1摄像元件123a、第2透镜部113b、第2摄像元件123b。从有限距离的物体12来的光向第1透镜部113a的入射光L1和向第2透镜部113b的入射光L2不是平行的,所以,与第1透镜部113a和第2透镜部113b之间的距离相比,第1摄像元件123a上的物体像13a和第2摄像元件123b上的物体像13b之间的距离较长。所以,第1摄像元件123a、第2摄像元件123b、第3摄像元件123c和第4摄像元件123d的各受光面的中心,与分别在各受光面上成像的有限距离的物体像之间的相对位置关系,对每个摄像元件来说是不相同的。也就是说,有视差。若把到物体像12的距离(被摄体距离)设定为A、把第1透镜部113a和第2透镜部113b之间的距离设定为D、把透镜部113a、113b的焦距设定为f,则图7的夹持直角的2边的长度为A、D的直角三角形,和夹持直角的2边的长度为f、Δ的直角三角形是相似的,所以,视差Δ用下式(1)来表示。而且,在下式(1)和下述其他式中,*是乘法计算符。对于其他透镜部之间,同样的关系也成立。这样,根据被摄体距离,四个透镜部113a、113b、113c、113d分别形成的四个物体像的相对位置发生变化。例如若被摄体距离A减小,则视差Δ增大。
Δ=f*D/A……(1)
以下说明对比度和焦距的关系。
图8(A)是在涉及本发明第1实施方式的摄像装置中,说明对焦时(焦点调整对准时)的图像和对比度评价值之间的关系的图。图8(B)是在涉及本发明第1实施方式的摄像装置中,对非对焦时(焦点调整未对准时)的图像和对比度评价值之间的关系进行说明的图。图8(A)和图8(B)的各个左图是对左半部为白色、右半部为黑色的矩形进行摄像时的图像。如图8(A)的左图所示,对焦时摄像图像的轮廓清晰,对比度高。另一方面,如图8(B)的左图所示,非对焦时,摄像图像的轮廓模糊,对比度低。图8(A)和图8(B)的各右图表示使带通滤波器(BPF)作用于左图的信息信号上时的结果。横轴是X轴方向位置,纵轴是BPF后的输出值。如图8(A)的右图那样,对焦时BPF后的信号振幅大;如图8(B)的右图那样,非对焦时,BPF后的信号振幅小。在此,把该BPF后的信号振幅定义为表示对比度是否高的对比度评价值。于是,如图8(A)的右图那样,对焦时对比度评价值大,如图8(B)的右图那样,非对焦时对比度评价值小。
图9是说明涉及本发明第1实施方式的摄像装置的透镜位置和对比度评价值之间的关系的图。当对某物体进行摄像时,当透镜113和摄像元件123的距离小时(z1时),由于是非对焦,所以,对比度评价值小。若慢慢增大透镜113和摄像元件123的距离,则对比度评价值慢慢增大,当对焦时(z2时),对比度评价值极大。再者,若慢慢增大透镜部113和摄像元件123的距离(z3时),则变成非对焦,对比度评价值减小。这样在对焦时,对比度评价值为极大。
以下说明涉及本发明第1实施方式的摄像装置的动作。图10是表示涉及本发明第1实施方式的摄像装置的框图。SLSI125具有:***控制部131、摄像元件驱动部132、摄像信号输入部133、致动器操作量输出部134、图像处理部135、输入输出部136、强度校正系数用存储器137、原点校正系数用存储器138和失真校正用存储器139。并且,电路部120除上述构成外还具有放大器126。
放大器126把与从致动器操作量输出部134来的输出相对应的电压加到致动器活动部115的线圈。
***控制部131由CPU(中央计算处理装置,Central ProcessingUnit)、存储器等构成,对SLSI125整体进行控制。
摄像元件驱动部132由逻辑电路等构成,产生对摄像元件123进行驱动的信号,把与该信号相对应的电压加到摄像元件123。
摄像信号输入部133由第1摄像信号输入部133a、第2摄像信号输入部133b、第3摄像信号输入部133c和第4摄像信号输入部133d构成,第1摄像信号输入部133a、第2摄像信号输入部133b、第3摄像信号输入部133c和第4摄像信号输入部133d,分别串联连接CDS电路(Correlated Double Sampling Circuit:相关双重取样电路)、AGC(Automatic Gain Controller:自动增益控制器)、ADC(Analog Digitalconverter:模/数变换器)而构成,分别连接到第1摄像元件123a、第2摄像元件123b、第3摄像元件123c和第4摄像元件123d上,输入来自它们的电信号,利用CDS电路来除去固定噪音,利用AGC来调整增益,利用ADC从模拟信号变换成数字值,写入到***控制部131的存储器内。
致动器操作量输出部134由DAC(Digital Analog converter:数/模变换器)构成,输出与应加在致动器活动部115的线圈内的电压相对应的电压信号。
图像处理部135由逻辑电路或DSP(Digital Signal Processor:数字信号处理器)、或者包含两者而构成,利用***控制部131的存储器信息,按照规定的程序控制来进行各种图像处理。图像处理部135具有:自动焦点控制部141、强度校正部142、原点校正部143、失真校正部144和视差校正部145。
输入输出部136与高位的CPU(无图示)进行通信,或向高位CPU、外部存储器(无图示)和液晶等外部显示装置(无图示)输出图像信号。
强度校正系数用存储器137由快闪存储器或FeRAM(铁电随机存取存储器)等非易失性存储器构成,对强度校正部142中使用的强度校正系数进行保存。原点校正系数用存储器138由快闪存储器和FeRAM等非易失性存储器构成,对在原点校正部143中使用的原点校正系数进行保存。失真校正系数用存储器139由快闪存储器和FeRAM等非易失性存储器构成,对在失真校正部144中使用的失真校正系数进行保存。
图11是表示涉及本发明第1实施方式的摄像装置的动作的流程图。利用SLSI125的***控制部131来使摄像装置101按照该流程图进行动作。
在S1000步骤中开始动作。例如由高位CPU(无图示)来检测快门按钮(无图示)等被按下,通过输入输出部136来向摄像装置101发出开始动作的命令,于是摄像装置101开始动作。然后执行S1100步骤。
在S1100步骤中,由自动焦点控制部141来进行自动焦点控制。图12是表示涉及本发明第1实施方式的自动焦点控制的动作的流程图。图12的流程图表示S1100步骤的详细动作。
在S1110步骤中,开始焦点控制的动作,然后进行S1121步骤。
在S1121步骤中,使计数器i初始化为0,然后进行S1122步骤。
在S1122步骤中,对致动器的位置指令进行计算。像下式(2)那样,用计数器i来计算致动器的位置指令Xact。而且,位置指令Xact以无限远图像的对焦位置为基准,表示面向被摄体的朝向是正的位置的指令。在此,kx是已设定的值,然后执行S1123步骤。
Xact=kx*i……(2)
在S1123步骤中,利用由下式(3)表示的操作量函数来计算致动器操作量(向致动器活动部115线圈上施加的电压)Vact。这里,ka和kb分别为已设定的值。然后进行S1124步骤。
Vact=ka*Xact+kb……(3)
在S1124步骤中,使致动器动作。由致动器操作量输出部134来更改输出的电压信号,使通过放大器126之后致动器活动部115的线圈(无图示)上所加的电压为Vact。以下进行S1125步骤。
在S1125步骤中,对射入到第1透镜部113a在第1摄像元件123a上成像的被摄体像进行拍摄。利用***控制部131的指令,由摄像元件驱动部132来随时输出电子快门及进行传输用的信号。第1摄像信号输入部133a与摄像元件驱动部132所产生的信号同步地,输入作为由第1摄像元件123a所输出的图像的模拟信号的摄像信号,用CDS来除去固定噪音,用AGC来自动调整输入增益,用ADC来把模拟信号变换成数字值,作为第1摄像信号I1(x,y),把数字值写入到***控制部131的规定地址的存储器内。图13是说明涉及本发明第1实施方式的摄像装置的摄像信号的坐标的图。I1(x,y)表示在水平方向上是第x个,在垂直方向上是第y个像素的第1摄像信号。如果被输入的图像的纵向的像素数为H,横向的像素数为L,那么,总像素数为H×L,x从0变化到L-1,y从0变化到H-1。以下进行S1126步骤。
在S1126步骤中,设定自动焦点控制用块。把图像区的中心附近的矩形的区域作为自动焦点控制用块。而且,该块不一定要是中央附近,也可以反映对相机进行操作的用户意思等。(例如用传感器来检测观察点方向),设定块。而且,也可以选择出不是单一的块,而是多个块,在多个块中,利用后述自动焦点控制用对比度评价值的平均数。并且,也可以在多个块中,对后述自动焦点控制用对比度评价值进行计算,然后选择出至少一个块作为自动焦点控制用块。以下进行S1127步骤。
在S1127步骤中,利用***控制部131的存储器上的数据,来生成自动焦点控制用对比度评价值。该计算对第1摄像信号I1的自动焦点控制用块的像素来进行。如下式(11)那样,对作为x方向和y方向的2阶微分之和的拉普拉斯算子(ラプラシアン)的绝对值进行计算,像下述式(12)那样,在空间上使LPF(Low Pass Filter:低通滤波器)发挥作用,对其像下式(13)那样在自动焦点控制用块内进行平均,取得自动焦点用对比度评价值C3。这里,Naf是自动焦点控制用块的像素数。以下进行S1128步骤。
C1(x,y)=|I1(x-1,y)+I1(x+1,y)+I1(x,y-1)+I1(x,y+1)-411(x,y)|…(11)
C2(x,y)=C1(x-1,y-1)+C1(x,y-1)+C1(x+1,y-1)
       +C1(x-1,y)+C1(x,y)+C1(x+1,y)
       +C1(x-1,y+1)+C1(x,y+1)+C1(x+1,y+1)…(12)
C3=∑C2(x,y)/Naf…(13)
在S1128步骤中,像下式(14)那样,把对比度评价值C3作为C3(i)写入到***控制部131的存储器内。以下进行S1129步骤。
C3(i)=C3……(14)
在S1129步骤中,如下式(15)那样,对计数器i加1。以下进行S1130步骤。
i=i+1……(15)
在S1130步骤中,使计数器i和阈值Saf进行比较,根据其结果来进行分支。当计数器i小于阈值Saf时(S1130步骤的比较结果为是),以下进行S1122步骤。另一方面,当计数器i为阈值Saf以上时(S1130步骤的比较结果为否),以下进行S1140步骤。这样,在S1121步骤中,使计数器i初始化为0,在S1129步骤中,对计数器i加上1,在S1130步骤中,根据计数器i来进行分支,这样对从S1122步骤到S1128步骤的处理重复进行Saf次。
在S1140步骤中,对对比度评价值C3进行评价。如图9那样,在对焦位置上对比度评价值C3变成最大。如下式(16)那样,把给予该最大值的计数器值i作为给予对比度最大值的计数器值iaf。以下进行S1151步骤。
iaf=给C3最大值的i……(16)
在S1151步骤中,计算致动器的位置指令。如下式(17)那样,利用给予对比度最大值的计数器值iaf来计算致动器的位置指令Xact。而且,位置指令Xact以无限远像的对焦位置为基准,表示出面向被摄体的朝向为正的位置的指令。以下进行S1152步骤。
Xact=kx*iaf……(17)
在S1152步骤中,利用操作量函数来计算致动器操作量(对致动器活动部115的线圈的施加电压)Vact。该动作和S1123步骤相同,其说明从略。以下进行S1153步骤。
在S1153步骤中,使致动器动作。该动作和S1124步骤相同,其说明从略。以下进行S1160步骤。
在S1160步骤中,结束自动焦点控制,返回到主程序。所以,以下进行图11的S1200步骤。
在S1120步骤中,输入图像,利用***控制部131的指令来随时输出用于使摄像元件驱动部132进行电子快门或传输所需的信号。第1摄像信号输入部133a、第2摄像信号输入部133b、第3摄像信号输入部133c和第4摄像信号输入部133d,与摄像元件驱动部132所产生的信号同步地,输入作为由第1摄像元件123a、第2摄像元件123b、第3摄像元件123c和第4摄像元件123d所输出的各图像的模拟信号的摄像信号,用CDS来除去固定噪声,用AGC来自动调整输入增益,用ADC来把模拟信号变换成数字值,作为第1摄像信号I1(x,y)、第2摄像信号I2(x,y)、第3摄像信号I3(x,y)、和第4摄像信号I4(x,y),将数字值写入到***控制部131的规定地址的存储器内。图13是说明涉及本发明第1实施方式的相机模块的摄像信号的坐标的图。I1(x,y)表示在水平方向上是第x个、在垂直方向上是第y个的第1摄像信号。输入的图像的纵向的像素数为H,横向的像素数为L,总像素数为H×L,x从0变化到L-1,y从0变化到H-1。第2摄像信号I2(x,y)、第3摄像信号I3(x,y)、第4摄像信号I4(x,y)也是一样。也就是说,I2(x,y)、I3(x,y)和I4(x,y),分别表示在水平方向上是第x个,在垂直方向上是第y个的第2摄像信号、第3摄像信号和第4摄像信号。输入的图像的纵向的像素数为H,横向像素数为L,各个总像素数为H×L,x从0变化到L-1,y从0变化到H-1。以下进行S1300步骤。
在S1300步骤中,强度校正部142利用在强度校正系数用存储器137中保存的强度校正系数,来校正第1摄像信号I1、第2摄像信号I2、第3摄像信号I3、第4摄像信号I4。并且将其结果写入到***控制部131的存储器内。
在强度校正系数用存储器137中保存了:校正第1摄像信号I1(x,y)所使用的第1强度校正系数a1(x,y)、校正第2摄像信号I2(x,y)所使用的第2强度校正系数a2(x,y)、校正第3摄像信号I3(x,y)所使用的第3强度校正系数a3(x,y)、和校正第4摄像信号I4(x,y)所使用的第4强度校正系数a4(x,y)。a1(x,y)、a2(x,y)、a3(x,y)和a4(x,y),分别表示在水平方向上是第x个,在垂直方向上第y个像素的第1强度校正系数、第2强度校正系数、第3强度校正系数和第4强度校正系数。如果输入的图像的纵向的像素数为H,横向的像素数为L,那么总像素数为H×L,x从0变化到L-1,y从0变化到H-1。
图14是表示涉及本发明第1实施方式的强度校正的动作的流程图。图14的流程图表示进行强度校正的S1300步骤的详细内容。
首先,在S1320步骤中,对各像素(x,y)中的校正值进行计算。如下式(18)、(19)、(20)和(21)那样,对第1强度校正系数a1(x,y)、第2强度校正系数a2(x,y)、第3强度校正系数a3(x,y)和第4强度校正系数a4(x,y),分别乘上设定值kab1、kab2、kab3、kab4的结果作为第1强度校正值b1(x,y)、第2强度校正值b2(x,y)、第3强度校正值b3(x,y)和第4强度校正系数值b4(x,y)。以下进行S1330步骤。
b1(x,y)=kab1*a1(x,y)…(18)
b2(x,y)=kab2*a2(x,y)…(19)
b3(x,y)=kab3*a3(x,y)…(20)
b4(x,y)=kab4*a4(x,y)…(21)
在S1330步骤中,进行强度校正。如下式(22)、(23)、(24)和(25)那样,对第1摄像信号I1(x,y)、第2摄像信号I2(x,y)、第3摄像信号I3(x,y)和第4摄像信号I4(x,y),乘上第1强度校正值b1(x,y)、第2强度校正值b2(x,y)、第3强度校正值b3(x,y)和第4强度校正值b4(x,y)进行校正。以下进行S1340步骤。
I1(x,y)=I1(x,y)*b1(x,y)…(22)
I2(x,y)=I2(x,y)*b2(x,y)…(23)
I3(x,y)=I3(x,y)*b3(x,y)…(24)
I4(x,y)=I4(x,y)*b4(x,y)…(25)
在S1340步骤中,结束强度校正,返回到主程序。所以,以下进行S1400步骤。
在S1400步骤中,由原点校正部143利用原点校正系数用存储器138内所保存的原点校正系数,来校正第1摄像信号I1、第2摄像信号I2、第3摄像信号I3和第4摄像信号I4。然后,将其结果写入到***控制部131的存储器内。
在原点校正系数用存储器138中,保存了:校正第1摄像信号I1(x,y)所使用的第1原点校正系数g1x、g1y,校正第2摄像信号I2(x,y)所使用的第2原点校正系数g2x、g2y,校正第3摄像信号I3(x,y)所使用的第3原点校正系数3x、g3y,以及校正第4摄像信号I4(x,y)所使用的第4原点校正系数g4x、g4y。g1x、g2x、g3x、g4x表示原点校正系数的x成分,g1y、g2y、g3y、g4y表示原点校正系数的y成分。
然后,如下式(26)那样,对第1摄像信号I1进行校正,以便使其移动第1原点校正系数(g1x,g1y)。并且,如下式(27)所示,对第2摄像信号I2进行校正,以便使其移动第2原点校正系数(g2x,g2y)。并且,如下式(28)所示,对第3摄像信号I3进行校正,以便使其移动第3原点校正系数(g3x,g3y)。如下式(29)所示,对第4摄像信号I4进行校正,以便使其移动第4原点校正系数(g4x,g14y)。而且,在不存在式(26)、(27)、(28)、(29)的右边的值的情况下(例如,x=0、y=0、g1x为正数,g1y为正数的情况下),可以代入与邻近的存在值相同的值,或从邻近用外插等推定的值,或代入0等。而且,g1x、g2x、g3x、g4x、g1y、g2y、g3y和g4y不仅限定为整数,也可是小数。在此情况下,式(26)、(27)、(28)、(29)的右边的值,利用最邻近的值或从周围的像素的插补值。以下进行图11的S1500步骤。
I1(x,y)=I1(x-g1x,y-g1y)…(26)
12(x,y)=I2(x-g1x,y-g1y)…(27)
I3(x,y)=I3(x-g1x,y-g1y)…(28)
I4(x,y)=I4(x-g1x,y-g1y)…(29)
在S1500步骤中,由失真校正部144,利用失真校正系数用存储器139内保存的失真校正系数,来校正第1摄像信号I1、第2摄像信号I2、第3摄像信号I3和第4摄像信号I4。然后,将其结果写入到***控制部131的存储器内。
在失真校正系数用存储器139中保存了:用于校正第1摄像信号I1(x,y)的第1失真校正系数p1x(x,y)、p1y(x,y),用于校正第2摄像信号I2(x,y)的第2失真校正系数p2x(x,y)、p2y(x,y),用于校正第3摄像信号I3(x,y)的第3失真校正系数p3x(x,y)p3y(x,y),和用于校正第4摄像信号I4(x,y)的第4失真校正系数p4x(x,y)、p4y(x,y)。p1x(x,y)、p2x(x,y)、p3x(x,y)和p4x(x,y),分别表示在水平方向上是第x个、在垂直方向上是第y个的第1失真校正系数、第2失真校正系数、第3失真校正系数和第4失真校正系数的x成分。并且,p1y(x,y)、p2y(x,y)、p3y(x,y)和P4y(x,y)分别表示在水平方向上是第x个、在垂直方向上是第y个像素的第1失真校正系数、第2失真校正系数、第3失真校正系数和第4失真校正系数的y成分。如果输入的图像的纵向的像素数为H,横向的像素数为L,那么总像素数为H×L,x从0变化到L-1,y从0变化到H-1。
图15是说明涉及本发明第1实施方式的失真校正系数的图。虚线的网格的交点表示理想的坐标;实线的网格的交点表示有失真的坐标。如图15所示,例如,以理想状态在(0,0)上应被拍摄的图像,实际上由于失真而被拍摄在离开(0,0)偏移(p1x(0,0),p1y(0,0))的位置上。把该偏差量(p1x(0,0),p1y(0,0))作为失真校正系数,存储在失真校正用存储器139内。也就是说,以理想状态应被拍摄在(x,y)上的图像,由于失真而被拍摄在离开(x,y)偏移(p1x(x,y),p1y(x,y))的位置上。把该偏差量(p1x(x,y),p1y(x,y))作为失真校正系数,存储在失真校正用存储器139内。
图16是表示涉及本发明第1实施方式的失真校正动作的流程图。图16的流程图表示进行失真校正的S1500步骤的详细内容。
首先,在S1520步骤中,计算各像素(x,y)中的失真校正用坐标。如下式(30)、(31)、(32)和(33)所示,在第1失真校正系数的x成分P1x(x,y)、第2失真校正系数的x成分P2x(x,y)、第3失真校正系数的x成分P3x(x,y)和第4失真校正系数的x成分P4x(x,y)上,分别加上x坐标的值x,将结果作为第1失真校正用坐标的x成分q1x(x,y)、第2失真校正用坐标的x成分q2x(x,y)、第3失真校正用坐标的x成分q3x(x,y)和第4失真校正用坐标的x成分q4x(x,y)。并且,如下式(34)、(35)、(36)和(37)所示,在第1失真校正系数的y成分p1y(x,y)、第2失真校正系数的y成分p2y(x,y)、第3失真校正系数的y成分p3y(x,y)和第4失真校正系数的y成分p4y(x,y)上,分别加上y坐标的值y,将结果作为第1失真校正用坐标的y成分q1y(x,y)、第2失真校正用坐标的y成分q2y(x,y)、第3失真校正用坐标的y成分q3y(x,y)和第4失真校正用坐标的y成分q4y(x,y)。以下进行S1530步骤。
q1x(x,y)=x+p1x(x,y)…(30)
q2x(x,y)=x+p2x(x,y)…(31)
q3x(x,y)=x+p3x(x,y)…(32)
q4x(x,y)=x+p4x(x,y)…(33)
q1y(x,y)=y+p1y(x,y)…(34)
q2y(x,y)=y+p2y(x,y)…(35)
q3y(x,y)=y+p3y(x,y)…(36)
q4y(x,y)=y+p4y(x,y)…(37)
在S1330步骤中,进行失真校正。如下式(38)、(39)、(40)和(41)所示,作为坐标(x,y)上的第1摄像信号I1(x,y)、第2摄像信号I2(x,y)、第3摄像信号I3(x,y)和第4摄像信号I4(x,y),分别采用第1失真校正用坐标(q1x(x,y)、q1y(x,y))上的第1摄像信号I1(q1x(x,y)、q1y(x,y))、第2失真校正用坐标(q2x(x,y)、q2y(x,y))上的第2摄像信号I2(q2x(x,y)、q2y(x,y))、第3失真校正用坐标(q3x(x,y)、q3y(x,y))上的第3摄像信号I3(q3x(x,y)、q3y(x,y))和第4失真校正用坐标(q4x(x,y)、q4y(x,y))上的第4摄像信号I4(q4x(x,y)、q4y(x,y))。而且,在不存在式(38)、(39)、(40)、(41)的右边的值的情况下,可以代入与相邻的存在的值相同的值、或从相邻中用外插等推定的值,或者代入0等。而且,q1x(x,y)、q2x(x,y)、q3x(x,y)、q4x(x,y)、q1y(x,y)、q2y(x,y)、q3y(x,y)和q4y(x,y),不仅限于整数,也可以是小数。在此情况下,式(38)、(39)、(40)、(41)的右边的值,采用最邻近的值或者从周围像素得到的插补值。以下进行S1540步骤。
I1(x,y)=I1(q1x(x,y),q1y(x,y))…(38)
I2(x,y)=I2(q2x(x,y),q2y(x,y))…(39)
I3(x,y)=I3(q3x(x,y),q3y(x,y))…(40)
I4(x,y)=I4(q4x(x,y),q4y(x,y))…(41)
在S1540步骤中,结束失真校正,返回到主程序。所以,以下进行图11的S1600步骤。
在S1600步骤中,进行视差校正。图17是表示涉及本发明第1实施方式的视差校正动作的流程图。图17的流程图表示S1600步骤的动作的详细内容。
首先,在S1620步骤中,进行块分割。图18是在涉及本发明第1实施方式的摄像装置中,说明块分割的图。如图18所示,把第1摄像信号I1在横向上分割为M个块,在纵向上分割为N个块,总数为M×N个。用Bi来表示各个块。这里,i从0变化到M×N-1。以下进行S1630步骤。
在S1630步骤中,计算出每个块的视差值。首先,对每个块(B0、B1、Bi……BMN-1),计算出视差评价值(R0(k)、R1(k)……Ri(k)……RMN-1(k)。k=0、1……kmax)。图19是在涉及本发明第1实施方式的摄像装置中,说明视差评价值的计算区域的图。用Bi表示的(也可表示为I1)区域,是在S1620步骤中由第1摄像信号I1求出的第i个块。用I4表示的区域是让Bi在x方向上移动k,在y方向上移动k之后的区域。并且,对于各个区域的全图像信号I1(x,y)、I4(x-k,y-k),把下式(42)所示的绝对值差分总和作为视差评价值Ri(k)进行计算。其中,∑∑表示块Bi内的所有像素的总和。
Ri(k)=∑∑|I1(x,y)-I4(x-k,y-k)|…(42)
该视差评价值Ri(k)表示,第i个块Bi的第1图像信号I1、和在x、y方向上分别离开(k,k)的区域内的第4图像信号I4有多大程度的相关性,它表示数值越小,相关性越大(很相似)。图20是在涉及本发明第1实施方式的摄像装置中,说明视差和视差评价值之间的关系的图。如图20所示,视差评价值Ri(k)随k值而变化,当k=Δi时具有极小值。这表示使第1图像信号I1的第i个块Bi在x、y方向上分别移动(-Δi,-Δi)而取得的块的图像信号,与第4图像信号I4最相关(最相似)。所以,可以看出,关于第i个块Bi的第1摄像信号I1和第4摄像信号I4的x、y方向的视差是(Δi,Δi)。以下,将该Δi称为第i个块Bi的视差值Δi。这样,从i=0到i=M×N-1求出Bi的视差值Δi。以下进行S1640步骤。
在S1640步骤中,进行视差校正,进行图像合成。将其结果写入到***控制部131的存储器内,第1摄像元件123a和第4摄像元件123d主要接收物体光的绿色成分,所以,第1摄像信号I1和第4摄像信号I4是物体光的绿色成分的信息信号。并且,第2摄像元件123b主要接收物体光的蓝色部分,所以,第2摄像信号I2是物体光的蓝色成分的信息信号。再者,第3摄像元件123c主要接收物体光的红色成分,所以,第3摄像信号I3是物体光的红色成分的信息信号。在第i个块Bi中,预测为第1摄像元件123a和第4摄像元件123a的视差为(Δi,Δi),所以,如下式(43)所示,把表示像素坐标(x,y)中的绿色强度的G(x,y),作为第1摄像信号I1(x,y)和第4摄像信号I4(x-Δi,y-Δi)的平均值。这样取平均,能够减小随机噪音的影响。并且,预测为第1摄像元件123a和第2摄像元件123b的视差为(Δi,0),所以,如下式(44)所示,把表示像素坐标(x,y)中的蓝色的强度的B(x,y),作为第2摄像信号I2(x-Δi,y)。再者,预测为第1摄像元件123a和第3摄像元件123c的视差为(0,Δi),所以,如下式(45)所示,把表示(x,y)中的红色的强度的R(x,y),作为第3摄像信号I3(x,y-Δi)。以下进行S1650步骤。
G(x,y)=[I1(x,y)+I4(x-Δi,y-Δi)]/2…(43)
B(x,y)=I2(x-Δi,y) …(44)
R(x,y)=I3(x,y-Δi)…(45)
在S1650步骤中,结束视差校正,返回到主程序。所以,以下进行图11的S1700步骤。
在S1700步骤中,输出图像。输入输出部136,把作为***控制部131的存储器上的数据的G(x,y)、B(x,y)、R(x,y),输出到高位CPU(无图示)或外部显示装置(无图示)内。而且,例如也可以输出亮度、色差信号等的输出,来代替G(x,y)、B(x,y)、R(x,y)。并且,也可以输出白色平衡或γ校正等图像处理后的值。再者,也可以输出已进行了可逆压缩或JPEG等非可逆压缩的数据。并且,也可以输出多个这些值。以下进行S1800步骤。
在S1800步骤中,结束动作。
通过采用以上结构,并进行动作,具有以下效果。
若有零件精度的偏差或装配的偏差等,则根据各个颜色,光量分布相对于光轴中心产生偏移,发生假色。在第1实施方式的摄像装置中,把强度校正系数a1、a2、a3、a4保存在非易失性存储器的强度校正系数用存储器137内,在S1300步骤中,根据强度校正系数a1、a2、a3、a4,来生成随摄像区域的位置(x,y)不同而校正的程度发生变化的强度校正值b1(x,y)、b2(x,y)、b3(x,y)、b4(x,y),对摄像信号I1(x,y)、I2(x,y)、I3(x,y)、I4(x,y)进行校正。这样,能够补偿光量分布的偏移,抑制假色的发生,合成清晰的图像。
并且,涉及第1实施方式的摄像装置,在S1300步骤中,根据强度校正系数a1、a2、a3、a4,来生成随摄像区域的位置(x,y)不同而变化的强度校正值b1(x,y)、b2(x,y)、b3(x,y)、b4(x,y),校正摄像信号I1(x,y)、I2(x,y)、I3(x,y)、I4(x,y),补偿光量分布的偏差,在S1620步骤中,把第1摄像信号I1分割成多个块,在S1630步骤中,根据校正后的摄像信号I1(x,y)、I4(x,y)来对每个块求出视差,在S1640步骤中,根据该视差来对每个块进行图像合成,以便减小视差的影响。这样一来,由于补偿光量分布的偏差,求出正确的视差,根据该正确的视差来进行图像合成,所以,能够合成清晰的图像。
并且,涉及第1实施方式的摄像装置,在原点校正系数用存储器138内保存原点校正系数g1x、g2x、g3x、g4x、g1y、g2y、g3y、g4y,在S1400步骤中,根据原点校正系数g1x、g2x、g3x、g4x、g1y、g2y、g3y、g4y,来校正摄像信号I1(x,y)、I2(x,y)、I3(x,y)、I4(x,y)的原点,在S1630步骤中,根据已校正的摄像信号I1(x,y)、I4(x,y)来对每个块求出视差,在S1640步骤中,根据该视差来对每个块进行图像合成,以减小的视差的影响。这样一来,由于求出正确的视差,根据该正确的视差来进行图像合成,所以能够合成清晰的图像。
并且,涉及第1实施方式的摄像装置,保存失真校正系数p1x(x,y)、p2x(x,y)、p3x(x,y)、p4x(x,y)、p1y(x,y)、p2y(x,y)、p3y(x,y)、p4y(x,y),在S1520步骤中,根据失真校正系数p1x(x,y)、p2x(x,y)、p3x(x,y)、p4x(x,y)、p1y(x,y)、p2y(x,y)、p3y(x,y)、p4y(x,y),来计算失真校正用坐标q1x(x,y)、q2x(x,y)、q3x(x,y)、q4x(x,y)、q1y(x,y)、q2y(x,y)、q3y(x,y)、q4y(x,y),在S1530步骤中,对摄像信号I1(x,y)、I2(x,y)、I3(x,y)、I4(x,y)进行校正,以便在失真校正用坐标q1x(x,y)、q2x(x,y)、q3x(x,y)、q4x(x,y)、q1y(x,y)、q2y(x,y)、q3y(x,y)、q4y(x,y)中,减小多个透镜部的失真的影响,而在S1630步骤中,根据已校正的摄像信号I1(x,y)、I4(x,y)来对每个块求出视差,在S1640步骤中,根据该视差来对每个块进行图像合成,以减小视差的影响。这样一来,由于求出正确的视差,根据该正确的视差来进行图像合成,所以,能够合成清晰的图像。
而且,第1实施方式的摄像装置,在第1摄像元件123a、第2摄像元件123b、第3摄像元件123c、第4摄像元件123d的灵敏度的偏差各不相同的情况下,也兼有抑制假色发生的效果。
而且,在第1实施方式的摄像装置中,原样采用了所计算出的视差,但也可以适当加以限定。当由于透镜特性不同而使被摄体距离A小于某一值时,图像不鲜明。因此,如果把该值定为被摄体距离A的最小值,那么,可以规定视差Δ的最大值。大于该值的视差,也可以看作是误差而忽略不计。并且,在此情况下,视差评价值也可以采用第2小的值作为视差。
并且,在第1实施方式的摄像装置中,由第1摄像信号I1(主要表示绿色)和第4摄像信号I4(主要表示绿色)计算出视差,但本发明不限于此。例如,有时由于紫色的被摄体,包含的绿色成分少,蓝色成分、红色成分多,所以,不能够从第1摄像信号I1(主要表示绿色)和第4摄像信号I4(主要表示绿色)中计算出视差。在此情况下,也可以从第2摄像信号I2(主要表示蓝色)和第3摄像信号I3(主要表示红色)中计算出视差。另外,如果不能够从第1视差信号I1(主要表示绿色)和第4视差信号I4(主要表示绿色)计算出视差、并且不能够从第2摄像信号I2(主要表示蓝色)和第3摄像信号I3(主要表示红色)计算出视差,那么,可以看作是视差没有影响,可以认为没有视差。
并且,在第1实施方式中,IR滤光器对透过了所有的透镜部的光线起作用,但也可以删除一部分IR滤光器,使其对透过了一部分透镜部的光线不起作用。并且,也可以全部删除IR滤光器。
并且,在第1实施方式中,第1滤色器124a、第2滤色器124b、第3滤色器124c和第4滤色器124d,分别主要透过绿色、蓝色、红色和绿色,但也可以是波长不同。例如,也可利用补色,使第1滤色器124a、第2滤色器124b、第3滤色器124c和第4滤色器124d,分别主要透过黄色、青色、品红色和黄色。再者,也可以替换顺序。例如,第1滤色器124a、第2滤色器124b、第3滤色器124c和第4滤色器124d,也可以分别主要透过绿色、绿色、蓝色和红色。并且第1滤色器124a、第2滤色器124b、第3滤色器124c和第4滤色器124d,也可以分别主要透过红色、蓝色、绿色和红色。
并且,当把第1实施方式的摄像装置安装在相机内时,当摄像时,在形成上侧的一边布置第2摄像元件123a,形成下侧的一边布置第3摄像元件123c,这样来布置第1~第4摄像元件123a~123d,由此使得上侧对蓝色敏感,下侧对红色敏感,所以,能够使风景照片的颜色再现更加自然。
并且,当视差评价值有2个明显的极值时,也可以采用更大一方的视差。这样的块内包含被摄体和背景,被摄体距离和背景距离互不相同,所以,出现2个极值。与背景距离相比,被摄体距离小,所以,与背景视差相比,被摄体的视差大。这里,如果采用大的一方的视差,那么不能够减小背景的视差的影响,但能够减小直接影响图像质量的被摄体的视差的影响。
并且,图像输出的定时不限于上述内容,也可以适当进行预览输出。例如,在S1100步骤中,也可以在进行自动焦点控制的过程中,输出无视差校正的图像。
并且,在第1实施方式中,摄像元件123由第1摄像元件123a、第2摄像元件123b、第3摄像元件123c和第4摄像元件123d构成;摄像信号输入部133由第1摄像信号输入部133a、第2摄像信号输入部133b、第3摄像信号输入部133c和第4摄像信号输入部133d构成。但是,也可以由一个摄像元件来构成摄像元件123,在该受光面上的不同位置上形成由第1~第4透镜部113a~113d产生的四个图像。并且,摄像信号输入部133也可以由输入从一个摄像元件123来的信号的一个摄像信号输入部构成。在此情况下,从位于***控制部131的存储器上的数据中,选择适当的区域,作为第1摄像信号I1、第2摄像信号I2、第3摄像信号I3和第4摄像信号I4即可。
并且,在第1实施方式中,配置为将第1透镜部113a、第2透镜部113b、第3透镜113c和第4透镜部113d的光轴的中心互相连结起来而获得的矩形为正方形,但并不限于此。该矩形的x方向的长度和y方向的长度也可以不同。在此情况下,在S1630步骤中,当求视差时,在S1640步骤中进行视差校正等时,需要适当更改。也就是说,不是采用在x方向和y方向相同的k,而是更改k,使上述矩形的x方向的长度和y方向的长度的比保持不变。
而且,在上述说明中,举例表示了对通过摄像而取得的摄像信号进行各种校正,对视差进行校正后,从摄像信号合成图像的装置的结构和动作。但是,本发明的摄像装置也能够作为对到达被摄体的距离进行检测的测距装置使用。也就是说,本发明的摄像装置,也可以实施为如上所述根据取得的视差来计算距离,输出已取得的距离的装置,可以作为测量装置或车间距离测量装置等而实际使用。也就是说,若对距离A来求解式(1),则如下式(46)所示。所以,块Bi中的被摄体的距离按下式(47)进行计算,该块Bi中包含的像素(x,y)的被摄体的距离,按下述式(48)来表示,保存在***控制部131的存储器上。而且,在计算时适当更改单位。然后,如果通过输入输出部136来把该距离信息A(x,y)输出到外部,那么能够实现作为测距装置使用的摄像装置。
A=f*D/Δ……(46)
Ai=f*D/Δi……(47)
A(x,y)=Ai((x,y)包含在Bi内)……(48)
<第2实施方式>
涉及本发明第2实施方式的摄像装置,在制造工序中生成强度校正系数,写入到强度校正系数用存储器内。这样一来,即使零件精度的偏差或装配的偏差等按每个个体发生变化,仍能够补偿光量分布的偏差,抑制假色的发生,能够合成清晰的图像。
并且,涉及本发明第2实施方式的摄像装置,把多个摄像信号中的至少一个摄像信号中分割成多个块,在制造工序中生成强度校正系数,写入到强度校正系数用存储器内。这样一来,即使零件精度的偏差或装配的偏差等按每个个体有变化,仍能够补偿光量分布的偏差,根据已校正的摄像信号来对每个块求出视差,根据该视差来对每个块进行图像合成,以减小视差的影响。这样一来,能够补偿光量分布的偏差,求出正确的视差,根据该正确的视差来进行图像合成,所以,能够合成清晰的图像。
并且,涉及本发明第2实施方式的摄像装置,在制造工序中生成原点校正系数,写入到原点校正系数用存储器内。这样一来,即使零件精度的偏差或装配的偏差等按每个个体有变化,仍能够补偿原点误差,根据已校正的摄像信号来对每个块求出视差,根据该视差来对每个块进行图像合成,以减小视差的影响。这样一来,能够补偿原点的偏差,求出正确的视差,根据该正确的视差来进行图像合成,所以,能够合成清晰的图像。
并且,涉及本发明第2实施方式的摄像装置,在制造工序中生成失真校正系数,写入到失真校正系数用存储器内。这样一来,即使零件精度的偏差或装配的偏差等按每个个体变化,仍能够校正摄像信号,以减小多个透镜部的失真的影响,根据已校正的摄像信号来对每个块求出视差,根据该视差来对每个块进行图像合成,以减小视差的影响。这样一来,能够减小失真的影响,求出正确的视差,根据该正确的视差来进行图像合成,所以,能够合成清晰的图像。
对于涉及本发明第2实施方式的摄像装置,一边参照附图,一边进行说明。图21是表示涉及本发明第2实施方式的摄像装置的结构的断面图。在图21中,摄像装置201具有透镜模块部110和电路部220。
透镜模块部110具有:镜筒111、上部盖玻璃112、透镜113、致动器固定部114和致动器活动部115。电路部220具有:基板121、组件122、摄像元件123、组件盖玻璃124和***LSI(以下称为SLSI)225。SLSI225以外的结构和动作,与第1实施方式相同,对其标注同一符号,其说明从略。
图22是表示涉及本发明第2实施方式的摄像装置的框图。SLSI225具有:***控制部231、摄像元件驱动部132、摄像信号输入部133、致动器操作量输出部134、图像处理部135、输入输出部136、强度校正系数用存储器137、原点校正系数用存储器138、失真校正系数用存储器139、强度校正系数生成部251、原点校正系数生成部252、和失真校正系数生成部253。并且,电路部220除上述结构外,还具有放大器126。
摄像装置201装配后,在制造工序中的成品检查工序中,如以下说明那样,由强度校正系数生成部251来生成强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y),把强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)写入到强度校正系数用存储器137内。并且,由原点校正系数生成部252来生成原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y,把原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y写入到原点校正系数用存储器138内。再者,由失真校正系数生成部253,来生成失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y),把失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)写入到失真校正系数用存储器139内。
图23是表示涉及本发明第2实施方式的校正系数生成时的摄像装置等的外观图。201是本发明第2实施方式的摄像装置,202是校正系数生成用控制器,203是显示器,204是摄像装置用电缆。校正系数生成用控制器202由产业用计算机来构成,对摄像装置201和显示器204进行协调控制,在摄像装置201内生成强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)、原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y、以及失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)。显示器203由CRT(阴极射线管)显示器等构成,由校正系数生成用控制器202来进行控制,与摄像装置201进行协调动作,描绘出在强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)、原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4和失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)的生成中所使用的图像(图)。摄像装置用电缆204由USB(通用串联总线)电缆等构成,对摄像装置201和校正系数生成用控制器202进行连接,向摄像装置201内供电,作为摄像装置201和校正系数生成用控制器202的通信媒介。
以下说明涉及本发明第2实施方式的摄像装置的动作。图24是表示涉及本发明第2实施方式的强度校正系数生成所使用的强度校正用图的外观图。第2实施方式的摄像装置在制造工序中,对作为图24那样的白色均匀的被摄体的强度校正用图205进行摄像。图25(A)~图25(C)是表示涉及本发明第2实施方式的摄像装置的摄像信号和强度校正系数以及校正后的摄像信号的波形图。在图25(A)~(C)中,为了简化,仅表示出第1摄像信号I1、第1强度校正系数a1、和校正后的第1摄像信号I1。如图25(A)所示,该摄像信号I1是包含周边光量的下降的强度信息在内的光量分布的偏差的强度信息。强度校正系数生成部251求出摄像信号I1的倒数作为图25(B)所示的强度校正系数a1,保存在强度校正系数用存储器137内。也就是说,强度校正系数生成部251按照I1(x,y)*a1(x,y)=1来求出a1(x,y)的值。这样,若按S1300步骤那样进行强度校正,则校正后的摄像信号如图25(C)所示变成平坦的,再现出均匀的被摄体像。同样,由强度校正系数生成部251来生成:对第2摄像信号I2的第2强度校正系数a2、对第3摄像信号I3的第3强度校正系数a3、以及对第4摄像信号I4的第4强度校正系数a4,写入到强度校正系数用存储器137内。在此,当出现零件精度的偏差或装配的偏差等,根据各色不同,光量分布相对于光轴中心产生偏差,周边光量的下降各不相同时,第2强度校正系数a2、第3强度校正系数a3和第4强度校正系数a4各不相同。这样,通过对白色均匀的被摄体进行摄像,把这时的摄像信号的倒数作为强度校正系数,即可适当地进行强度校正。第2实施方式的摄像装置,根据该原理,利用强度校正系数生成部251来生成强度校正系数,把已生成的强度校正系数写入到强度校正系数用存储器137内。然后,由图像处理部135的强度校正部142,根据强度校正系数用存储器137内所保存的强度校正系数来进行强度校正。
图26是表示涉及本发明第2实施方式的原点校正系数生成所使用的原点校正用图的外观图。第2实施方式的摄像装置在制造工序中,对在图26这样的白色均匀的被摄体上描绘了“十”字的原点校正用图206进行摄像。摄像装置201布置成正对原点校正用图206的状态,布置成摄像装置201的多个透镜的光轴中心与原点校正用图206的“十”字中心相一致。图27(A)~图27(D)是表示对涉及本发明第2实施方式的原点校正用图206摄像时的摄像信号的图。通过对原点校正用图206的摄像,使第1摄像信号I1、第2摄像信号I2、第3摄像信号I3和第4摄像信号I4,分别变成图27(A)~图27(D)所示的信号。图27(A)~图27(D)中的十字状的实线是对原点校正用图206上描绘的十字进行摄像的结果。而且,图27(A)~图27(D)中的十字状的虚线,是为了便于和摄像信号进行比较而对通过图像中心的线虚拟地进行表示,它不包含在实际的信号中。如图27所示,第1摄像信号I1、第2摄像信号I2、第3摄像信号I3、第4摄像信号I4的十字的中心(实线的中心),与图像的中心(虚线的中心)相比较,分别偏移(s1x,s1y)、(s2x,s2y)、(s3x,s3y)、(s4x,s4y)。该偏差是由基于原点校正用图206布置在离开摄像装置201的有限距离处的视差方面的原因,以及,基于各透镜部彼此制造时的偏差或摄像元件布置位置偏差等的制造偏差方面的原因复合而产生的。所以,从各个十字中心的偏差(s1x,s1y)、(s2x,s2y)、(s3x,s3y)、(s4x,s4y)中减去视差的原因后的结果,是制造误差所造成的偏差。由原点校正系数生成部252来生成原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y,以消除该偏差的影响,把已生成的原点校正系数写入到原点校正系数用存储器138内。由图像处理部135的原点校正部143,利用原点校正系数用存储器138的原点校正系数,在S1400步骤中进行原点校正。
图28是表示涉及本发明第2实施方式的失真校正系数生成中使用的失真校正用图的外观图。第2实施方式的摄像装置,在制造工序中,对在图28所示的白色均匀的被摄体上描绘了网格的失真校正用图207进行摄像。优选地,该网格的间隔在被拍摄的图像中是从10个像素到15个像素。摄像装置201布置成正对着失真校正用图207,布置成摄像装置201的多个透镜的光轴中心与失真校正用图207的网格中心相一致。图29是表示对涉及本发明第2实施方式的失真校正用图207摄像时的摄像信号的图。在图29中,为了简化,仅表示第1摄像信号I1。通过对失真校正用图207进行摄像,可以获得图29所示的信号作为第1摄像信号I1。在图29中,网格状失真的实线,是对在失真校正用图207上描绘的网格进行摄像的结果。而且,在图29中,网格状无失真的虚线,是为便于和摄像信号进行比较,以虚拟方式来表示当透镜没有失真时所拍摄的结果,在实际的摄像信号中不包含它。而且,在图29中去除了原点偏差、视差所造成的偏差。把摄像信号I1上的失真的网格的交点(实线的交点)表示为(ux1(i,j),uy1(i,j),当透镜没有失真时,把被拍摄的网格的交点(虚线的交点)表示为(vx1(i,j),vy1(i,j))。在此,(i,j)表示在x方向上是第i个交点,在y方向上是第j个交点,如图29所示,网格的交点,端部也包含在内,在x方向上有WX+1个;在y方向上有WY+1个,左上端的交点表示为(vx1(0,0),vy1(0,0)),右下端的交点表示为(vx1(WX,WY),vy1(WX,WY))。
失真校正系数生成部253,利用(ux1(i,j),uy1(i,j))坐标的摄像信号I1,作为失真校正后的(vx1(i,j),vy1(i,j))的摄像信号I1,这样来生成失真校正系数p1x(x,y)、p1y(x,y)。并且,失真校正系数生成部253,对于交点以外的像素的坐标,采用从邻近的交点通过插补而求出的坐标的摄像信号I1,这样来生成失真校正系数p1x(x,y)、p1y(x,y)。而且,失真校正系数生成部253,对其他摄像信号I2、I3、I4,也同样生成失真校正系数p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)。已生成的失真校正系数存储在失真校正系数用存储器139内。而且,原点偏差、视差所引起的偏差,适当进行校正。
图30是表示涉及本发明第2实施方式的强度校正系数、原点校正系数和失真校正系数的生成方法的流程图。
在S2000步骤中,布置摄像装置201,使摄像装置201的多个透镜部的光轴中心,与显示器203的描绘区的中心相一致,开始生成强度校正系数、原点校正系数和失真校正系数。以下进行S2110步骤。
在S2110步骤,连接摄像装置201和摄像装置用电缆204。这通过产业用机器人等来进行。这样一来,从校正系数生成用控制器202向摄像装置201供电,能够使校正系数生成用控制器202和摄像装置201进行通信。以下进行S2120步骤。
在S2120步骤中,把校正系数生成用程序下载到摄像装置201内。校正系数生成用控制器202,在检测出在摄像装置201上已连接了摄像装置用电缆204之后,向摄像装置201内发送校正系数生成用程序。然后,摄像装置201接收校正系数生成用程序,写入到***控制部131的存储器中。以下按照该校正系数生成程序,进行强度校正系数的生成。也就是说,强度校正系数生成部251、原点校正系数生成部252、和失真校正系数生成部253,在图22中图示为与***控制部231独立的块,但是***控制部131是通过执行校正系数生成用程序来实现其功能的虚拟的块。而且,在校正系数生成后,该校正系数生成程序不再需要,加以删除,所以,既可以保存在易失性存储器内,也可以保存在非易失性存储器内。因此,在上市后的摄像装置201中,不一定要有强度校正系数生成部251、原点校正系数生成部252和失真校正系数生成部253。以下进行S2210步骤。
在S2210步骤中,由校正系数生成控制器202来在显示器203上描绘作为白色均匀光的强度校正用图205。以下进行S2220步骤。
在S2220步骤中,校正系数生成用控制器202通过摄像装置用电缆204来向摄像装置201内发送摄像开始的指令。以下进行S2230步骤。
在S2230步骤中,由摄像装置201来进行强度校正用图205的摄像。摄像装置201响应于S2220步骤的指令,执行该S2230步骤。该动作与S1200步骤相同,其说明从略。并且,摄像装置201把摄像信号作为强度校正系数生成用的第1摄像信号I1(0,x,y)、第2摄像信号I2(0,x,y)、第3摄像信号I3(0,x,y)和第4摄像信号I4(0,x,y),保存在***控制部231的存储器内。而且,该存储器采用在通常使用时保存动态图像的区域等。以下进行S2310步骤。
在S2310步骤中,校正系数生成用控制器202在显示器203上描绘以白色均匀光为背景布置了十字的原点校正用图206。在此,校正系数生成用控制器202描绘原点校正用图206,使显示器203的描绘区中心,即摄像装置201的多个透镜部的光轴中心与十字的交点相一致。以下进行S2320步骤。
在S2320步骤中,校正系数生成用控制器202通过摄像装置用电缆204来向摄像装置201内发送摄像开始的指令。以下进行S2330步骤。
在S2330步骤中,摄像装置201对原点校正用图206进行摄像。摄像装置201响应于S2320步骤的指令,进行该S2330步骤。该动作与S1200步骤相同,其说明从略。并且,摄像装置201把摄像信号作为原点校正系数生成用的第1摄像信号I1(1,x,y)、第2摄像信号I2(1,x,y)、第3摄像信号I3(1,x,y)和第4摄像信号I4(1,x,y),保存在***控制部231的存储器内。而且,该存储器采用通常使用时保存动态图像的区域等。以下进行S2410步骤。
在S2410步骤中,校正系数生成用控制器202在显示器203上描绘以白色均匀光为背景布置了网格的失真校正用图207。在此,校正系数生成用控制器202描绘失真校正用图207,使显示器203的描绘区中心,即摄像装置201的多个透镜部的光轴中心与网格的中心相一致。以下进行S2420步骤。
在S2420步骤中,校正系数生成用控制器202通过摄像装置用电缆204来向摄像装置201内发送摄像开始的指令。以下进行S2430步骤。
在S2430步骤中,摄像装置201对失真校正用图206进行摄像。摄像装置207响应于S2320步骤的指令,进行该S2430步骤。该动作与S1200步骤相同,其说明从略。并且,摄像装置201把摄像信号作为失真校正系数生成用的第1摄像信号I1(2,x,y)、第2摄像信号I2(2,x,y)、第3摄像信号I3(2,x,y)和第4摄像信号I4(2,x,y),保存在***控制部231的存储器内。而且,该存储器采用通常使用时保存动态图像的区域等。以下进行S2510步骤。
在S2510步骤中,利用由强度校正系数生成部251在S2230步骤中进行摄像并保存在存储器内的、强度校正系数生成用的第1摄像信号I1(0,x,y)、第2摄像信号I2(0,x,y)、第3摄像信号I3(0,x,y)和第4摄像信号I4(0,x,y),生成强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)。强度校正系数生成部251,如下式(49)所示,把图像中心位置上的强度校正系数生成用的第1摄像信号I1(0,L/2,H/2)和强度校正系数生成用的第1摄像信号I1(0,x,y)之比,作为第1强度校正系数a1(x,y)。在此,I1(0,L/2,H/2)表示强度校正系数生成用的第1摄像信号中图像中央部的像素(即x坐标为L/2、y坐标为H/2的像素)的信号。而且,H是图像纵向的像素数,L是横向的像素数。并且,强度校正系数生成部251,如下式(50)所示,把图像中央位置上的强度校正系数生成用的第2摄像信号I2(0,L/2,H/2)和强度校正系数生成用的第2摄像信号I2(0,x,y)之比,作为第2强度校正系数a2(x,y);如下式(51)所示,把图像中央位置上的强度校正系数生成用的第3摄像信号I3(0,L/2,H/2)和强度校正系数生成用的第3摄像信号I3(i,x,y)之比,作为第3强度校正系数a3(x,y);如下式(52)所示,把图像中央位置上的强度校正系数生成用的第4摄像信号I4(0,L/2,H/2)和强度校正系数生成用的第4摄像信号I4(i,x,y)之比,作为第4强度校正系数a4(x,y)。而且,也可以在S2230步骤中,多次进行强度校正用图205的摄像,把对这些图像进行相加平均后的图像,作为强度校正系数生成用的摄像信号使用。在此情况下,通过平均化,能够减小随机噪音等的影响。以下进行S2520步骤。
a1(x,y)=I1(0,L/2,H/2)/I1(0,x,y)…(49)
a2(x,y)=I2(0,L/2,H/2)/I2(0,x,y)…(50)
a3(x,y)=I3(0,L/2,H/2)/I3(0,x,y)…(51)
a4(x,y)=I4(0,L/2,H/2)/I4(0,x,y)…(52)
在S2520步骤中,强度校正系数生成部251把强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)写入到强度校正系数用存储器137内。该强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)用于S1300步骤的强度校正。以下进行S2610步骤。
在S2610步骤中,原点校正系数生成部252生成原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y。如图27所示,检测出:原点校正系数生成用的第1摄像信号I1(1,x,y)、原点校正系数生成用的第2摄像信号I2(1,x,y)、原点校正系数生成用的第3摄像信号I3(1,x,y)、原点校正系数生成用的第4摄像信号I4(1,x,y)的十字的中心(图27(A)~图27(D)所示的实线的中心)的、相对图像的中心(图27(A)~图27(D)所示的虚线的中心)的各个偏差(s1x,s1y)、(s2x,s2y)、(s3x,s3y)、(s4x,s4y)。在此,求出各个原点校正系数生成用的摄像信号I1(1,x,y)、I2(1,x,y)、I3(1,x,y)、I4 (1,x,y)中的十字的中心坐标的方法,可以采用:进行摄像信号I1(1,x,y)、I2(1,x,y)、I3(1,x,y)、I4(1,x,y)和十字的小图像的图案匹配的方法、或者对摄像信号I1(1,x,y)、I2(1,x,y)、I3(1,x,y)、I4(1,x,y)进行二值化,求出十字的图案的方法等。利用这样的方法从由摄像信号I1(1,x,y)、I2(1,x,y)、I3(1,x,y)、I4(1,x,y)得到的十字的中心的坐标中,减去图像中心坐标,由此可取得上述偏差(s1x,s1y)、(s2x,s2y)、(s3x,s3y)、(s4x,s4y)。
以下,由原点校正系数生成部252,为了消除视差的影响,首先计算视差的大小。如下式(53)、(54)所示,由原点校正系数生成部252来求出视差的x成分Δx和视差的y成分Δy。在此,f是透镜的焦距,Dx是透镜部的光轴间的距离的x成分。Dx是第1透镜113a的光轴和第2透镜113b的光轴之间的距离,或者第3透镜113c的光轴和第4透镜113d的光轴之间的距离,这些距离大致是一致的。Dy是透镜部的光轴间的距离的y成分。Dy是第1透镜113a的光轴和第3透镜113c的光轴之间的距离,或者第2透镜113b的光轴和第4透镜113d的光轴之间的距离,这些距离大致是一致的。A是从摄像装置透镜的主点(第1透镜113a的主点、第2透镜113b的主点、第3透镜113c的主点、或者第4透镜113d的主点)起到显示器203(原点校正用图206)止的距离。而且,从各透镜的主点起到显示器203止的距离大致上是一致的。并且,原点校正系数生成部252,如下式(55)、(56)、(57)、(58)、(59)、(60)、(61)和(62)所示,从第1摄像信号I1、第2摄像信号I2、第3摄像信号I3、第4摄像信号I4的十字的中心(图27(A)~图27(D)所示的实线的中心)的、相对图像的中心(图27(A)~图27(D)所示的虚线的中心)的各个偏差(s1x,s1y)、(s2x,s2y)、(s3x,s3y)、(s4x,s4y)中,除去视差(Δx或者Δy),生成原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y。而且,也可以在S2330步骤中,多次进行原点校正图206的摄像,把对这些图像进行了相加平均后的图像作为原点校正系数生成用的摄像信号使用。在此情况下,通过平均化,可以减小随机噪音等的影响。并且,用小数点的精度来求出视差(Δx或Δy)及偏差(s1x,s1y)、(s2x,s2y)、(s3x,s3y)、(s4x,s4y),这样也可以用小数点的精度来求出原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y。以下进行S2620步骤。
Δx=f*Dx/A…(53)
Δy=f*Dy/A…(54)
g1x=s1x-Δx/2…(55)
g1y=s1y-Δv/2…(56)
g2x=s2x+Δx/2…(57)
g2y=s2y-Δy/2…(58)
g3x=s3x-Δx/2…(59)
g3y=s3y+Δy/2…(60)
g4x=s4x+Δx/2…(61)
g4y=s4y+Δv/2…(62)
在S2620步骤中,原点校正系数生成部252把原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y写入到原点校正系数用存储器138内。该原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y用于S1400步骤的原点校正。以下进行S2710步骤。
在S2710步骤中,失真校正系数生成部253,生成失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)。以下说明第1失真校正系数p1x(x,y)、p1y(x,y)的生成方法。对失真校正用图207进行摄像时的失真校正系数生成用的第1摄像信号I1(2,x,y),如果在透镜部内没有失真,那么应当作为图29的没有失真的网格(虚线)而被摄像,由于透镜的失真而被摄像成失真的网格(实线)。首先,对失真校正系数生成用的第1摄像信号I1(2,x,y)进行二值化,检测出十字状的图案,由此来求出失真的网格(图29所示的实线)的交点的坐标(ux1(i,j),uy1(i,j))。该失真的网格(图29所示的实线)的交点(ux1(i,j),uy1(i,j)),如果没有透镜的失真,那么是应当位于无失真的网格(图29所示的虚线)的交点(vx1(i,j),vy1(i,j))上的点。
在没有失真的网格(图29所示的虚线)中,若把左上端的交点(vx1(0,0),vy1(0,0))的坐标定为(vx10,vy10),把网格的x方向间隔定为px,把网格的y方向的间隔定为py,则该网格的各交点(vx1(i,j),vy1(i,j))的坐标用下式(63)和(64)来表示。vx10、vy10、px、py由透镜的焦距、摄像装置201和显示器203之间的距离、失真校正用图207的网格尺寸等来决定。并且,失真的网格(图29所示的实线)的交点(ux1(i,j),uy1(i,j)),如果没有失真,那么就是应当位于没有失真的网格(图29所示的虚线)的交点(vx1(i,j)、vy1(i,j))上的点,所以,在交点(vx1(i,j),vy1(i,j))上的第1失真校正系数p1x(vx1(i,j),vy1(i,j))、p1y(vx1(i,j),vy1(i,j)),由下式(65)和(66)来表示。在交点(vx1(i,j),vy1(i,j))以外的坐标上的第1失真校正系数p1x(x,y)、p1y(x,y),如下式(67)和(68)所示,线性插补生成出坐标(x,y)的周边的没有失真的网格(图29所示的虚线)上的交点上的失真校正系数(式(65)和(66)所示的)。图31是表示用线性插补来生成失真校正系数时参照的坐标的图。这里,(vx1(i,j),vy1(i,j))是位于要求的坐标(x,y)的左上的无失真的网格(图29所示的虚线)的交点。并且,失真校正系数生成部253,如下式(69)和(70)所示,利用原点校正系数g1x、g1y和视差Δx(参见式(53))、Δy(参见式(54)),除去原点偏差和视差的影响。
vx1(i,j)=vx10+px*i…(63)
vy1(i,j)=vy10+py*i…(64)
p1x(vx1(i,j),vy1(i,j))=ux1(i,j)-vx1(i,j)…(65)
p1y(vx1(i,j),vy1(i,j))=uy1(i,j)-vy1(i,j)…(66)
p1x(x,y)=
[(vx1(i+1,j+1)-x)*(vy1(i+1,j+1)-y)*p1x(vx1(i,j),vy1(i,j))+(vx1(i+1,j)-x)*(y-vy1(i+1,j))*p1x(vx1(i,j+1),vy1(i,j+1))+(x-vx1(i,j+1))*(vy1(i,j+1)-y)*p1x(vx1(i+1,j),vy1(i+1,j))+(x-vx1(i,j))*(y-vy1(i,j))*p1x(vx1(i+1,j+1),vy1(i+1,j+1))]
/(px*py)                                   …(67)
p1y(x,y)=
[(vx1(i+1,j+1)-x)*(vy1(i+1,j+1)-y)*p1y(vx1(i,j),vy1(i,j))+(vx1(i+1,j)-x)*(y-vy1(i+1,j))*p1y(vx1(i,j+1),vy1(i,j+1))+(x-vx1(i,j+1))*(vy1(i,j+1)-y)*p1y(vx1(i+1,j),vy1(i+1,j))+(x-vx1(i,j))*(y-vy1(i,j))*p1y(vx1(i+1,j+1),vy1(i+1,j+1))]
/(px*py)                                   …(68)
p1x(x,y)=p1x(x,y)-g1x-Δx/2             …(69)
p1y(x,y)=p1y(x,y)-g1y-Δy/2             …(70)
失真校正系数生成部253,对第2失真校正系数p2x(x,y)、p2y(x,y)、第3失真校正系数p3x(x,y)、p3y(x,y)和第4失真校正系数p4x(x,y)、P4y(x,y),也按同样方法来求出。也就是说,根据失真校正系数生成用的第2摄像信号I2(2,x,y)、失真校正系数生成用的第3摄像信号I3(2,x,y)和失真校正系数生成用的第4摄像信号I4(2,x,y),来求出失真的网格的交点坐标(ux2(i,j),uy2(i,j))、(ux3(i,j),uy3(i,j))和(ux4(i,j),uy4(i,j))。没有失真的网格的交点(vx2(i,j),vy2(i,j))、(vx3(i,j),vy3(i,j))、(vx4(i,j),vy4(i,j)),由下式(71)、(72)、(73)、(74)、(75)和(76)来表示。
并且,(vx2(i,j),vy2(i,j))上的第2失真校正系数p2x(vx2(i,j),vy2(i,j))、p2y(vx2(i,j),vy2(i,j)),由下式(77)和(78)来表示;(vx3(i,j),vy3(i,j))上的第3失真校正系数p3x(vx3(i,j),vy3(i,j))、p3y(vx3(i,j),vy3(i,j)),由下式(79)和(80)来表示(vx4(i,j),vy4(i,j))上的第4失真校正系数p4x(vx4(i,j),vy4(i,j))、p4y(vx4(i,j),vy4(i,j)),由下式(81)和(82)来表示。再者,失真校正系数生成部253,对(vx2(i,j),vy2(i,j))以外的坐标上的第2失真校正系数p2x(x,y)、p2y(x,y),如下式(83)和(84)所示,对坐标(x,y)的周边的没有失真的网格上的交点上的失真校正系数(式(77)和(78)所示的),进行线性插补生成。并且,失真校正系数生成部253,对(vx3(i,j),vy3(i,j))以外的坐标上的第3失真校正系数p3x(x,y)、p3y(x,y),如下式(85)和(86)所示,对坐标(x,y)的周边的没有失真的网格上的交点上的失真校正系数(式(79)和(80)所示的),进行线性插补生成。并且,失真校正系数生成部253,对(vx4(i,j),vy4(i,j))以外的坐标上的第4失真校正系数p4x(x,y)、p4y(x,y),如下式(87)和(88)所示,对坐标(x,y)的周边的没有失真的网格上的交点上的失真校正系数(式(81)和(82)所示的),进行线性插补生成。并且,失真校正系数生成部253,如下式(89)、(90)、(91)、(92)、(93)和(94)所示,利用原点校正系数g2x、g2y、g3x、g3y、g4x、g4y、视差Δx(参见式(53))、Δy(参见式(54)),除去原点偏差和视差的影响。以下进行S2720步骤。
vx2(i,i)=vx20+px*i…(71)
vy2(i,j)=vy20+py*i…(72)
vx3(i,j)=vx30+px*i…(73)
vy3(i,j)=vy30+py*i…(74)
vx4(i,j)=vx40+px*i…(75)
vy4(i,j)=vy40+py*i…(76)
p2x(vx2(i,j),vy2(i,j))=ux2(i,j)-vx2(i,j)…(77)
p2y(vx2(i,j),vy2(i,j))=uy2(i,j)-vy2(i,j)…(78)
p3x(vx3(i,j),vy3(i,j))=ux3(i,j)-vx3(i,j)…(79)
p3y(vx3(i,j),vy3(i,j))=uy3(i,j)-vy3(i,j)…(80)
p4x(vx4(i,j),vy4(i,j))=ux4(i,j)-vx4(i,j)…(81)
p4y(vx4(i,j),vy4(i,j))=uy4(i,j)-vy4(j,j)…(82)
p2x(x,y)=
[(vx2(i+1,j+1)-x)*(vy2(i+1,j+1)-y)*p2x(vx2(i,j),vy2(i,j))+(vx2(i+1,j)-x)*(y-vy2(i+1,j))*p2x(vx2(i,j+1),vy2(i,j+1))+(x-vx2(i,j+1))*(vy2(i,j+1)-y)*p2x(vx2(i+1,j),vy2(i+1,j))+(x-vx2(i,j))*(y-vy2(i,j))*p2x(vx2(i+1,j+1),vy2(i+1,j+1))]/(px*py)                                       …(83)
p2y(x,y)=
[(vx2(i+1,j+1)-x)*(vy2(i+1,j+1)-y)*p2y(vx2(i,j),vy2(i,j))+(vx2(i+1,j)-x)*(y-vy2(i+1,j))*p2y(vx2(i,j+1),vy2(i,j+1))+(x-vx2(i,j+1))*(vy2(i,j+1)-y)*p2y(vx2(i+1,j),vy2(i+1,j))+(x-vx2(i,j))*(y-vy2(i,j))*p2y(vx2(i+1,j+1),vy2(i+1,j+1))]/(px*py)                                       …(84)
p3x(x,y)=
[(vx3(i+1,j+1)-x)*(vy3(i+1,j+1)-y)*p3x(vx3(i,j),vy3(i,j))+(vx3(i+1,j)-x)*(y-vy3(i+1,j))*p3x(vx3(i,j+1),vy3(i,j+1))+(x-vx3(i,j+1))*(vy3(i,j+1)-y)*p3x(vx3(i+1,j),vy3(i+1,j))+(x-vx3(i,j))*(y-vy3(i,j))*p3x(vx3(i+1,j+1),vy3(i+1,j+1))]
/(px*py)                                         …(85)
p3y(x,y)=
[(vx3(i+1,j+1)-x)*(vy3(i+1,j+1)-y)*p3y(vx3(i,j),vy3(i,j))+(vx3(i+1,j)-x)*(y-vy3(i+1,j))*p3y(vx3(i,j+1),vy3(i,j+1))+(x-vx3(i,j+1))*(vy3(i,j+1)-y)*p3y(vx3(i+1,j),vy3(i+1,j))+(x-vx3(i,j))*(y-vy3(i,j))*p3y(vx3(i+1,j+1),vy3(i+1,j+1))]/(px*py)                                        …(86)
p4x(x,y)=
[(vx4(i+1,j+1)-x)*(vy4(i+1,j+1)-y)*p4x(vx4(i,j),4vy(i,j))+(vx4(i+1,j)-x)*(y-vy4(i+1,j))*p4x(vx4(i,j+1),vy4(i,j+1))+(x-vx4(i,j+1))*(vy4(i,j+1)-y)*p4x(vx4(i+1,j),vy4(i+1,j))+(x-vx4(i,j))*(y-vy4(i,j))*p4x(vx4(i+1,j+1),vy4(i+1,j+1))]/(px*py)                                        …(87)
p4y(x,y)=
[(vx4(i+1,j+1)-x)*(vy4(i+1,j+1)-y)*p4y(vx4(i,j),vy4(i,j))+(vx4(i+1,j)-x)*(y-vy4(i+1,j))*p4y(vx4(i,j+1),vy4(i,j+1))+(x-vx4(i,j+1))*(vy4(i,j+1)-y)*p4y(vx4(i+1,j),vy4(i+1,j))+(x-vx4(i,j))*(y-vy4(i,j))*p4y(vx4(i+1,j+1),vy4(i+1,j+1))]
/(px*py)                                    …(88)
p2x(x,y)=p2x(x,y)-g2x-Δx/2              …(89)
p2y(x,y)=p2y(x,y)-g2y-Δy/2              …(90)
p3x(x,y)=p3x(x,y)-g3x-Δx/2              …(91)
p3y(x,y)=p3y(x,y)-g3y-Δy/2              …(92)
p4x(x,y)=p4x(x,y)-g4x-Δx/2              …(93)
p4y(x,y)=p4y(x,y)-g4y-Δy/2              …(94)
在S2720步骤中,由失真校正系数生成部253,把失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y),写入到失真校正系数用存储器139内。该失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y),用于S1500步骤的失真校正。以下进行S2810步骤。
在S2810步骤中,***控制部231删除校正系数生成程序。校正系数生成程序,仅在生成强度校正系数、原点校正系数和失真校正系数时需要,在通常的对被摄体进行摄像时不需要。所以,在S2120步骤下载校正系数生成程序,在该步骤删除校正系数生成程序,这样能够增加通常使用时可以利用的存储器。以下进行S2820步骤。
在S2820步骤中,从摄像装置201上拆下摄像装置用电缆204。这由产业用机器人来进行。该摄像装置用电缆204,接下来连接在其他摄像装置上,用于其他摄像装置的强度校正系数、原点校正系数和失真校正系数的生成。以下进行S2900步骤。
在S2900步骤中,结束强度校正系数、原点校正系数和失真校正系数的生成。
并且,摄像装置201,通常使用时和第1实施方式一样进行动作。
按以上方法来构成和动作,可使第2实施方式的摄像装置具有以下所示的效果。
第2实施方式的摄像装置201,在制造工序中,在S2230步骤中,对强度校正用图205进行摄像;在S2510步骤中生成强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y);在S2520步骤中把强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)写入到强度校正系数用存储器137内。并且,通常使用时,在S1300步骤中,根据该强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)来进行强度校正。这样一来,即使零件精度的偏差或装配的偏差等按摄像装置201的每个个体发生变化,也能够补偿光量分布偏差,抑制假色的发生,能够合成清晰的图像。
而且,第2实施方式的摄像装置201,在第1摄像元件123a、第2摄像元件123b、第3摄像元件123c、第4摄像元件123d的灵敏度的偏差各不相同的情况下,也兼有对假色的发生进行抑制的效果。
并且,第2实施方式的摄像装置201,在制造工序中,在S2330步骤中,对原点校正用图206进行摄像;在S2610步骤中生成原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y;在S2620步骤中,把原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y写入到原点校正系数用存储器138内。并且,通常使用时,在S1400步骤中,根据该原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y来进行原点校正。这样一来,即使零件精度的偏差或装配的偏差等按每个摄像装置201发生变化,也能补偿原点的偏差,求出正确的视差,根据该正确的视差来进行图像合成,所以,能够合成清晰的图像。
并且,第2实施方式的摄像装置201,在制造工序中,在S2430步骤中,对失真校正用图207进行摄像;在S2710步骤中生成失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y);在S2720步骤中,把失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)写入到失真校正系数保存用存储器139内。并且,通常使用时,在S1500步骤中,根据该失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)来进行失真校正。这样一来,即使零件精度的偏差或装配的偏差等按每个摄像装置201发生变化,也能减小失真的影响,求出正确的视差,根据该正确的视差来进行图像合成,所以,能够合成清晰的图像。
而且,在第2实施方式的摄像装置201中,对由显示器203描绘的强度校正用图205、原点校正用图206和失真校正用图207进行摄像,但也可以对纸制的图进行适当的照明,进行摄像。并且,也可以对把玻璃或透明树脂这样的透过型图布置在扩散白色照明之前的状态进行摄像。
并且,在第2实施方式中,由摄像装置201在S2510步骤中生成了强度校正系数a1、a2、a3、a4;在S2610步骤中生成了原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y;在S2710步骤中生成了失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)。但是,也可以取而代之,由摄像装置201来向校正系数生成用控制器202传输数字化的强度校正系数用的摄像信号I1(0,x,y)、I2(0,x,y)、I3(0,x,y)、I4(0,x,y),原点校正系数生成用的摄像信号I1(1,x,y)、I2(1,x,y)、I3(1,x,y)、I4(1,x,y)、以及失真校正系数生成用的摄像信号I1(2,x,y)、I2(2,x,y)、I3(2,x,y)、I4(2,x,y),由校正系数生成用控制器202,来计算强度校正系数a1、a2、a3、a4、原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y和失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y),传送到摄像装置201。在此情况下,摄像装置201也可以把利用校正系数生成用控制器202来计算的强度校正系数a1、a2、a3、a4,保存在强度校正系数用存储器137内;把原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y,保存在原点校正系数用存储器138内;把失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)保存在失真校正系数用存储器139内。
并且,在第2实施方式的摄像装置201中,校正系数生成程序放置在***控制部231的存储器内。但是,也可以取而代之,在SD卡等快闪存储器那样的外部存储器内存储校正系数生成程序,由***控制部231通过输入输出部136来访问外部存储器,执行该校正系数生成程序。同样,也可以把在S2510步骤、S2610步骤和S2710步骤中所拍摄的摄像信号保存在外部存储器内。
并且,第2实施方式的摄像装置201,在S2510步骤中,把强度校正用的摄像信号I1(0,x,y)、I2(0,x,y)、I3(0,x,y)、I4(0,x,y)的倒数,作为强度校正系数a1、a2、a3、a4。但是,也可以作用空间性的LPF或时间性的LPF。例如也可以作用式(12)所示的空间性的LPF。
并且,第2实施方式的摄像装置201,在S2230步骤、S2330步骤和S2430步骤中,利用通过一次摄像而取得的摄像信号,在S2510步骤、S2610步骤和S2710步骤中,分别求出强度校正系数a1、a2、a3、a4、原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y、和失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y),但也可以利用将多次摄像所取得的摄像信号进行平均后的结果,这种采用多次摄像的摄像信号的平均,在效果上等于使用时间性LPF。通过使用这种LPF,能够减小随机噪音等的影响,能够生成精度好的强度校正系数a1、a2、a3、a4、原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y和失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)。所以,能够合成清晰的图像。
并且,第2实施方式的摄像装置201,对每个像素(x,y)生成强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)。但也可以采用近似式。例如,作为第1强度校正系数,规定出如下式(95)所示,乘上了在x方向和y方向上指数展开的值的近似式、或者下式(96)所示的指数展开的近似式,在S2510步骤中,也可以利用最小二乘法等来生成系数(a1x0、a1x1、a1x2、a1x3、a1xz、a1y0、a1y1、a1y2、a1y3、a1yz或者a100、a110、a101、a120、a111、a102、a130、a121、a112、a103、a1xz、a1yz),在S2520步骤中,把这些系数写入到强度校正系数用存储器137内,在S1320步骤中,利用式(95)和(96),来生成各个像素(x,y)的第1强度校正值b1(x,y)。而且,在式(95)和(96)中,符号“^”表示乘幂。并且,对第2强度校正系数、第3强度校正系数、第4强度校正系数,和第1校正系数一样加以规定,在S1320步骤中,也可以和式(95)、(96)一样,来求出第2强度校正值b2(x,y)、第3强度校正值b3(x,y)、和第4强度校正值b4(x,y)。
[a1x0+a1x1*(x-a1xz)+a1x2*(x-a1xz)^2+a1x3*(x-a1xz)^3]
*[a1y0+a1y1*(y-a1yz)+a1y2*(y-a1yz)^2+a1y3*(y-a1yz)^3]
                                  …(95)
a100+a110*(x-a1xz)+a101*(y-a1yz)
+a120*(x-a1xz)^2+a111*(x-a1xz)*(y-a1yz)+a102*(y-a1yz)^2
+a130*(x-a1xz)^3+a121*(x-a1xz)^2*(y-a1yz)
+a112*(x-a1xz)*(y-a1yz)^2+a103*(y-a1yz)^3 …(96)
并且,第2实施方式的摄像装置201,在S2230步骤中,对照度一定的白色均匀光进行摄像,生成了一组强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)。但也可以对照度不同的白色均匀光多次进行摄像,生成出多组强度校正系数。在此情况下,在S1300步骤中,也可以从上述多组强度校正系数中,根据强度来选择并利用某一强度校正系数。并且,也可以对上述近似式附加随强度而变化的项。在此情况下,也能够补偿随强度而产生非线性变化的现象。
并且,第2实施方式的摄像装置201,在S2230步骤中对照度一定的白色均匀光进行摄像,生成了摄像信号11、12、13、14均匀一致的、强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y),但也可以减小在图像周边部分的强度。也就是说,如下式(97)所示,将在图像中心位置上的强度校正系数生成用的第1摄像信号I1(0,L/2,H/2)和强度校正系数生成用的第1摄像信号I1(0,x,y)之比,乘上越靠近图像周边越小的系数(1-ksh*[(x-L/2)^2+(y-H/2)^2))之后的结果,作为第1强度校正系数a1(x,y)。并且,如下式(98)所示,将在图像中心位置上的强度校正系数生成用的第2摄像I2(0,L/2,H/2)和强度校正系数生成用的第2摄像信号I2(0p,x,y)之比,乘上越靠近图像周边越小的系数(1-ksh*[(x-L/2)^2+(y-H/2)^2])之后的结果,作为第2强度校正系数a2(x,y)。并且,如下式(99)所示,在图像中心位置上的强度校正系数生成用的第3摄像I3(0,L/2,H/2)和强度校正系数生成用的第3摄像信号I3(i,x,y)之比,乘上越靠近图像周边越小的系数(1-ksh*[(x-L/2)^2+(y-H/2)^2])之后的结果,作为第3强度校正系数a3(x,y)。再者,如下式(100)所示,将在图像中心位置上的强度校正系数生成用的第4摄像I4(0,L/2,H/2)和强度校正系数生成用的第4摄像信号I4(i,x,y)之比,乘上越靠近图像周边越小的系数(1-ksh*[(x-L/2)^2+(y-H/2)^2])之后的结果,作为第4强度校正系数a4(x,y)。而且,ksh表示某设定值;(x-L/2)^2表示(x-L/2)的平方;(y-H/2)^2表示(y-H/2)的平方。这样,能够生成图像周边部分减少光的更自然的图像。
a1(x,y)=I1(0,L/2,H/2)/I1(0,x,y)*(1-ksh*[(x-L/2)^2+(y-H/2)^2])
                                              …(97)
a2(x,y)=I2(0,L/2,H/2)/I2(0,x,y)*(1-ksh*[(x-L/2)^2+(y-H/2)^2])
                                              …(98)
a3(x,y)=I3(0,L/2,H/2)/I3(0,x,y)*(1-ksh*[(x-L/2)^2+(y-H/2)^2])
                                              …(99)
a4(x,y)=I4(0,L/2,H/2)/I4(0,x,y)*(1-ksh*[(x-L/2)^2+(y-H/2)^2])
                                              …(100)
并且,第2实施方式的摄像装置201,如上所述,在S2510步骤中,如式(49)所示,将在图像中心位置上的强度校正系数生成用的第1摄像信号I1(0,L/2,H/2)和强度校正系数生成用的第1摄像信号I1(0,x,y)之比,作为第1强度校正系数a1(x,y)。如式(52)所示,将在图像中心位置上的强度校正系数生成用的第4摄像信号I4(0,L/2,H/2)和强度校正系数生成用的第4摄像信号I4(i,x,y)之比,作为第4强度校正系数a4(x,y)。并且,摄像装置201,利用这些强度校正系数,在S1320步骤中,计算各像素(x,y)中的校正值。并且,摄像装置201,如式(18)和(21)所示,将对第1强度校正系数a1(x,y)和第4强度校正系数a4(x,y)分别乘上设定值kab1和kab4之后的结果,作为第1强度校正值b1(x,y)和第4强度校正值b4(x,y)。再者,摄像装置201在S1330步骤中,如式(22)和(25)所示,通过乘上第1强度校正值b1(x,y)和第4强度校正值b4(x,y),来校正第1摄像信号I1(x,y)和第4摄像信号I4(x,y)。
在此,作为第2实施方式的变形例,也可以使第1摄像信号I1和第4摄像信号I4的强度水平达到同等。也就是说,取代式(52),如下式(101)所示,把在图像中心位置上的强度校正系数生成用的第1摄像信号I1(0,L/2,H/2)和强度校正系数生成用的第4摄像信号I4(i,x,y)之比,作为第4强度校正系数a4(x,y)。并且,取代式(21),如下式(102)所示,把对第4强度校正系数a4(x,y)乘上设定值kab1的结果,作为第4强度校正值b4(x,y)。并且,如式(25)所示,也可以对第4摄像信号I4(x,y)乘上第4强度校正值b4(x,y)进行校正。这样一来,即使由于摄像零件精度的偏差或装配的偏差等而使第1摄像信号I1和第4摄像信号I4的强度水平不一致,也能够使第1摄像信号I1和第4摄像信号I4的强度水平相同,求出更正确的视差,根据该正确的视差来进行图像合成,所以,能够合成清晰的图像。
a4(x,y)=I1(0,L/2,H/2)/I4(0,x,y)…(101)
b4(x,y)=kab1*a4(x,y)…(102)
而且,即使仅仅使第1摄像元件和第4摄像元件的电平互相一致,也具有使强度水平相等的效果。也就是说,在强度分布相同,仅平均强度水平不同的情况下,仅校正强度水平也能够提高视差精度。具体来说,把第1强度校正系数a1和第4强度校正系数a4作为常数(不随(x,y)而变化的常数),使设定值kab1和设定值kab4相等,如下式(103)所示,也可以把第1强度校正系数a1和第4强度校正系数a4之比,作为第4摄像信号I4的平均值(avg(I4))和第4摄像信号I1的平均值(avg(I1))之比。这样一来,能够把强度校正系数作为常数,减小强度校正系数用存储器137的容量,所以,能够降低成本。
a1/a4=avg(I4)/avg(I1)……(103)
并且,第2实施方式的摄像装置201,对每个像素(x,y)生成了失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)。但也可以采用近似式。例如,也可以是,作为第1失真校正系数,如下式(104)所示,规定出乘上了在x方向和y方向上指数展开的值的近似式,或者下式(105)所示的指数展开的近似式,在S2710步骤中,利用最小二乘法等来生成系数(p1x0、p1x1、p1x2、p1x3、p1xz、p1y0、p1y1、p1y2、p1y3、p1yz或者p100、p110、p101、p120、p111、p102、p130、p121、p112、p103、p1xz、p1yz),在S2720步骤中,把这些系数写入到失真校正系数用存储器139内。并且,在S1520步骤中,也可以利用式(104)或(105)和各像素的坐标(x,y),来生成第1失真校正系数用坐标(q1x(x,y),q1y(x,y))。而且,在式(104)和(105)中,符号“^”表示乘幂。并且,和第1失真校正系数一样来规定第2失真校正系数、第3失真校正系数、第4失真校正系数,在S1520步骤中,也可以利用式(104)或(105)和各像素的坐标(x,y),和第1失真校正用坐标(q1x(x,y),q1y(x,y))一样,来求出第2失真校正用坐标(q2x(x,y),q2y(x,y))、第3失真校正用坐标(q3x(x,y),q3y(x,y))和第4失真校正用坐标(q4x(x,y),q4y(x,y))。
[p1x0+p1x1*(x-p1xz)+p1x2*(x-p1xz)^2+p1x3*(x-p1xz)^3]
*[p1y0+p1y1*(y-p1yz)+p1y2*(y-p1yz)^2+p1y3*(y-p1yz)^3]
                                   …(104)
p100+p110*(x-p1xz)+p101*(y-p1yz)
+p120*(x-p1xz)^2+p111*(x-p1xz)*(y-p1yz)+p102*(y-p1yz)^2
+p130*(x-p1xz)^3+p121*(x-p1xz)^2*(y-p1yz)
+p112*(x-p1xz)*(y-p1yz)^2+p103*(y-p1yz)^3…(105)
并且,在第2实施方式中,摄像装置201拍摄了已描绘十字的原点校正用图206,但原点校正用图并不限于此。例如也可以拍摄在中心描绘了点的图,求出点坐标,这样来求出原点校正系数。并且,也可以拍摄描绘了圆的图,通过求出圆的中心来求出原点校正系数。
并且,在第2实施方式中,由摄像装置201拍摄了已描绘了网格的失真校正用图207,但失真校正用图并不限于此。图32(A)和(B)是涉及本发明第2实施方式的变形的失真校正系数生成时所使用的失真校正用图的外观图。例如,也可以拍摄图32(A)所示的描绘了圆的图,通过求圆的失真来求出失真校正系数。并且,也可以拍摄图32(B)所示的交错状图,抽出边缘,求出边缘的交点,以此来求出失真校正系数。
并且,在第2实施方式的摄像装置201中,仅生成了强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y),原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y和失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y),但也可以描绘其他被摄体,生成其他校正系数。例如,也可以和第2实施方式一样,拍摄强度校正用图205,生成黑点(摄像信号通常约为0的地点)和白点(摄像信号通常很大的地点)用的校正系数。再者,也可以生成用于γ校正的校正系数。再者,也可以拍摄失真校正用图207,生成用于校正各摄像信号(第1摄像信号I1、第2摄像信号I2、第3摄像信号I3、第4摄像信号)之间的倍率的差异、旋转角度的差异的校正系数。并且,也可以描绘能够同时测量多个这些数据的图像,生成多个校正系数。并且,也可以拍摄这些多个不同的被摄体,保存摄像信号,然后依次生成校正系数。
并且,在第2实施方式中,摄像元件123由第1摄像元件123a、第2摄像元件123b、第3摄像元件123c和第4摄像元件123d构成,摄像信号输入部133由第1摄像信号输入部133a、第2摄像信号输入部133b、第3摄像信号输入部133c和第4摄像信号输入部133d构成。但是,也可以用一个摄像元件来构成摄像元件123,在该受光面上的不同位置上形成第1~第4透镜部113a~113d所产生的四个像。并且,摄像信号输入部133也可以由输入从一个摄像元件123来的信号的一个摄像信号输入部构成。在此情况下,在位于***控制部231的存储器上的数据中,设定四个区域,抽出与各区域相对应的数据,作为第1摄像信号I1、第2摄像信号I2、第3摄像信号I3和第4摄像信号I4即可。并且,当在制造工序中生成校正系数时,也可以利用上述区域的设定,生成第1摄像信号I1、第2摄像信号I2、第3摄像信号I3和第4摄像信号I4,在摄像装置201的实际动作时,作为上述区域的设定,也可以利用由原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y进行了校正的区域,来生成第1摄像信号I1、第2摄像信号I2、第3摄像信号I3和第4摄像信号I4。
而且,在上述说明中,举例表示了对通过摄像而取得的摄像信号进行各种校正,对视差进行校正后,由摄像信号来合成图像的装置的结构和动作,但本发明的摄像装置也能够作为对到达被摄体的距离进行检测的测距装置使用。也就是说,本发明的摄像装置也可以作为根据用上述方法取得的视差来计算距离,输出已取得的距离的装置来实施,也可以作为测量装置或车间距离检测装置等而实际使用。也就是说,若对距离A来求解式(1),则如式(46)所示。所以,块Bi中的被摄体的距离,按式(17)进行计算,该块中包含的像素(x,y)的被摄体的距离,由式(48)来表示,保存在***控制部231的存储器上。而且,单位在计算时适当更改。并且,如果通过输入输出部136来把该距离信息A(x,y)输出到外部,那么,能够实现起到作为测距装置的功能的摄像装置。
<第三实施方式>
上述第2实施方式的摄像装置201拍摄3种图,生成3种校正系数。也就是说拍摄强度校正用图205,生成强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y);拍摄原点校正用图206,生成原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y;拍摄失真校正用图207,生成失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)。涉及本发明第3实施方式的摄像装置,拍摄2种图,生成3种校正系数。也就是说,拍摄强度原点校正用图,生成强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)和原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y;拍摄失真校正用图207,生成失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)。因此,第3实施方式的摄像装置,能够缩短制造工序中的校正系数生成的时间。
关于涉及本发明第3实施方式的摄像装置,参照附图,进行说明,图33是表示涉及本发明第3实施方式的摄像装置的结构的断面图。在图33中摄像装置301具有透镜模块部110和电路部320。
透镜模块部110具有:镜筒111、上部盖玻璃112、透镜113、致动器固定部114和致动器活动部115。电路部320具有:基板121、组件122、摄像元件123、组件盖玻璃124、和***LS1(以称为SLSI)325。SLSI325以外的结构和动作和第1实施方式相同,对其标注相同的符号,其说明从略。
图34是表示涉及本发明第3实施方式的摄像装置的框图。SLSI325具有:***控制部331、摄像元件驱动部132、摄像信号输入部133、致动器操作量输出部134、图像处理部135、输入输出部136、强度校正系数用存储器137、原点校正系数用存储器138、失真校正系数用存储器139、强度校正系数生成部251、原点校正系数生成部352、和失真校正系数生成部253。并且,电路部除上述结构外还具有放大器126。
对摄像装置301进行装配后,在制造工序中的成品检查工序中,由强度校正系数生成部351来生成强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y),把强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)写入到强度校正系数用存储器137内。并且,由原点校正系数生成部352来生成原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y,把原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y写入到原点校正系数用存储器138内。再者,由失真校正系数生成部253来生成失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y),把失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)写入到失真校正系数用存储器139内。
图35是表示涉及本发明第3实施方式的校正系数生成时的摄像装置等的外观图。301是本发明的第3实施方式的摄像装置,302是校正系数生成用控制器、203是显示器,204是摄像装置用电缆。校正系数生成用控制器302由产业用计算机构成,对摄像装置301和显示器204进行协调控制,在摄像装置301中生成强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)、原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y和失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)。显示器203由CRT显示器等构成,由校正系数生成用控制器202来进行控制,与摄像装置301协调动作,描绘出强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y),原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y和失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)的生成中所使用的图像(图)。摄像装置用电缆204由USB电缆等构成,对摄像装置301和校正系数生成用控制器302进行连接,向摄像装置301内供电,作为摄像装置301和校正系数生成用控制器302的通信媒介。
以下说明涉及本发明第3实施方式的摄像装置的动作。图36是表示涉及本发明第3实施方式的强度校正系数生成和原点校正系数生成时所使用的强度原点校正用图的外观图。如图36所示,强度原点校正用图305是在白色均匀的被摄体上描绘了十字的图。摄像装置301布置成正对强度原点校正用图305,布置成摄像装置301的多个透镜的光轴中心,与强度原点校正用图的十字的中心相一致。原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y,利用摄像信号的十字部的部分,利用和第2实施方式相同的方法进行生成。并且,强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y),对摄像信号的十字部以外的部分利用和第2实施方式相同的方法来进行生成,对图像信号的十字部分从十字部分以外的部分进行插补求出。
并且,失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y),和第2实施方式一样对失真校正用图207进行拍摄,利用和第2实施方式相同的方法来进行生成。
图37是表示涉及本发明第3实施方式的强度校正系数、原点校正系数和失真校正系数的生成方法的流程图。
在S3000步骤中,布置成摄像装置301的多个透镜部的光轴中心,与显示器203的描绘区的中心相一致,开始生成强度校正系数、原点校正系数和失真校正系数。以下进行S2110步骤。
在S2110步骤中,对摄像装置301和摄像装置用电缆204进行连接。该步骤与第2实施方式相同,其说明从略。以下进行S2120步骤。
在S2120步骤中,把校正系数生成程序下载到摄像装置301内。该步骤和第2实施方式相同,其说明从略,以下进行S3210步骤。
在S3210步骤中,由校正系数生成用控制器302在显示器203上描绘以白色均匀光为背景布置了十字的强度原点校正用图305(参见图36)。在此,对强度原点校正用图305进行描绘,以使显示器203的描绘区域中心,即摄像装置301的多个透镜部的光轴中心与十字的交点相一致。以下进行S3220步骤。
在S3220步骤中,校正系数生成用控制器302通过摄像装置用电缆204来向摄像装置301内发送摄像开始的指令。以下进行S3230步骤。
在S3230步骤中,摄像装置301进行摄像。响应于S3220步骤的指令,由摄像装置301进行该步骤。该动作与S1200步骤相同,其说明从略。摄像信号作为强度原点校正系数生成用的第1摄像信号I1(0,x,y)、第2摄像信号I2(0,x,y)、第3摄像信号I3(0,x,y)和第4摄像信号I4(0,x,y),保存在***控制部331的存储器内。而且,作为该存储器,利用在摄像装置301的通常使用时保存动态图像的区域等。以下进行S2410步骤。
在S2410步骤中,校正系数生成用控制器202描绘失真校正用图207。该步骤与第2实施方式相同,其说明从略。以下进行S2420步骤。
在S2420步骤中,校正系数生成用控制器202通过摄像装置用电缆204来向摄像装置201内发送摄像开始的指令。该步骤与第2实施方式相同。以下进行S2430步骤。
在S2430步骤中,摄像装置301进行摄像。该步骤与第2实施方式相同,其说明从略。以下进行S3510步骤。
在S3510步骤中,强度校正系数生成部351生成强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)。强度校正系数生成部351,对强度原点校正用图305的描绘了十字的以外部分的像素,如下式(106)所示,把强度原点校正系数生成用的第1摄像信号I1(0,x,y)的倒数,作为第1校正系数a1(x,y)。同样,强度校正系数生成部351如下式(107)所示,把强度原点校正系数生成用的第2摄像信号I2(0,x,y)的倒数作为第2校正系数a2(x,y),如下式(108)所示,把强度原点校正系数生成用的第3摄像信号I3(0,x,y)的倒数作为第3校正系数a3(x,y),如下式(109)所示,把强度原点校正系数生成用的第4摄像信号I4(0,x,y)的倒数作为第4校正系数a4(x,y)。接着,强度校正系数生成部351,对强度原点校正用图305的描绘了十字的部分的像素,利用未描绘十字的最邻近的像素的强度校正系数,来求出校正系数。也就是说,强度校正系数生成部351,对描绘了十字的部分,如下式(110)所示,把像素(x,y)中的第1强度校正系数a1(x,y),作为未描绘十字的最邻近的像素(xn1(x,y),yn1(x,y))的第1强度系数a1(xn1(x,y),yn1(x,y))。同样,强度校正系数生成部351如下式(111)所示,把像素(x,y)中的第2强度校正系数a2(x,y),作为未描绘十字的最邻近的像素(xn2(x,y),yn2(x,y))的第2强度系数a2(xn2(x,y),yn2(x,y))。并且,强度校正系数生成部351,如下式(112)所示,把像素(x,y)中的第3强度校正系数a3(x,y),作为未描绘十字的最邻近的像素(xn3(x,y),yn3(x,y))的第3强度系数a3(xn3(x,y),yn3(x,y))。并且,强度校正系数生成部351,如下式(113)所示,把像素(x,y)中的第4强度校正系数a4(x,y),作为未描绘十字的最邻近的像素(xn4(x,y),yn4(x,y))的第4强度系数a4(xn1(x,y),yn4(x,y))。而且,在S3230步骤中,也可以进行多次摄像,利用对这些图像进行相加计算平均后的图像。在此情况下,通过平均化,能够减小随机噪音等影响。并且,除了最邻近外,也可以利用对上下的最邻近的2个像素的系数进行了平均后的值,或者利用对左右的最邻近的2个像素的系数进行了平均后的值,或者利用上下左右的最邻近的4个像素的系数进行了平均后的值,或者利用外插来预测系数,或者利用近似式。以下进行S2520步骤。
a1(x,y)=1/I1(0,x,y)…(106)
a2(x,y)=1/I2(0,x,y)…(107)
a3(x,y)=1/I3(0,x,y)…(108)
a4(x,y)=1/I4(0,x,y)…(109)
a1(x,y)=a1(xn1(x,y),yn1(x,y))…(110)
a2(x,y)=a2(xn2(x,y),yn2(x,y))…(111)
a3(x,y)=a3(xn3(x,y),yn3(x,y))…(112)
a4(x,y)=a4(xn4(x,y),yn4(x,y))…(113)
在S2520步骤中,强度校正系数生成部351把强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y),写入到强度校正系数用存储器137内。该强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)用于S1300步骤的强度校正。该步骤与第2实施方式相同。以下进行S3610步骤。
在S3610步骤中,原点校正系数生成部352生成原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y。该步骤利用和第2实施方式相同的方法来进行,所以,其说明从略。但是,作为摄像信号,利用强度原点校正系数生成用的第1摄像信号I1(0,x,y)、强度原点校正系数生成用的第2摄像信号I2(0,x,y)、强度原点校正系数生成用的第3摄像信号I3(0,x,y)、强度原点校正系数生成用的第4摄像信号I4(0,x,y)。以下进行S2620步骤。
在S2620步骤中,原点校正系数生成部352把原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y写入到原点校正系数用存储器138内。该原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y,用于S1400步骤的原点校正。该步骤与第2实施方式相同。以下进行S2710步骤。
在S2710步骤中,失真校正系数生成部253生成失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)。该步骤和第2实施方式相同,所以,其说明从略。以下生成S2720步骤。
在S2720步骤中,失真校正系数生成部253把失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)写入到失真校正系数用存储器139内。该失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y),用于S1500步骤的失真校正。该步骤与第2实施方式相同。以下进行S2810步骤。
在S2810步骤中,***控制部331删除校正系数生成程序。该步骤与第2实施方式相同,其说明从略。以下进行S2820步骤。
在S2820步骤中,从摄像装置201上拆下摄像装置用电缆204。该步骤与第2实施方式相同,其说明从略。以下进行S3900步骤。
在S3900步骤中,结束强度校正系数、原点校正系数和失真校正系数的生成。
由于按上述构成并动作,所以具有与第2实施方式相同的效果。再者,第3实施方式的摄像装置,利用通过一种强度原点校正用图305的摄像而取得的同一摄像信号,来生成强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)和原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y,所以,能够抑制制造工序中的摄像次数,缩短制造工序的节拍时间。
而且,在上述说明中,举例表示了对通过摄像而取得的摄像信号进行各种校正,对视差进行校正后,从摄像信号来合成图像的装置的结构和动作,但本发明的摄像装置也能够作为对到达被摄体的距离进行检测的测距装置来使用。也就是说,本发明的摄像装置也可实施成为根据用上述方法取得的视差来计算距离,输出取得的距离的装置,可以作为测量装置或车间距离检测装置等实际使用。也就是说,若对距离A而求解式(1),则用式(46)来表示。所以,块Bi中的被摄体的距离,按式(47)来计算,该块Bi内包含的像素(x,y)中的被摄体的距离,用式(48)来表示,保存在***控制部331的存储器上。而且,单位在计算时适当更改。并且,如果通过输入输出部136来把该距离信息A(x,y)输出到外部,那么能够实现作为测距装置使用的摄像装置。
<第4实施方式>
上述第2实施方式的摄像装置拍摄3种图,生成3种校正系数。也就是说拍摄强度校正用图205,生成强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y);拍摄原点校正用图206,生成原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y;拍摄失真校正用图207,生成失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)。涉及本发明第4实施方式的摄像装置,拍摄1种图,生成3种校正系数。也就是说,拍摄强度原点失真校正用图,生成:强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)、原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y和失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)。因此,第4实施方式的摄像装置,能够缩短制造工序中的校正系数生成的时间。
对于涉及本发明第4实施方式的摄像装置,参照附图,进行说明,图38是表示涉及本发明第4实施方式的摄像装置的结构的断面图。在图38中摄像装置401具有透镜模块部110和电路部420。
透镜模块部110具有:镜筒111、上部盖玻璃112、透镜113、致动器固定部114和致动器活动部115。电路部420具有:基板121、组件122、摄像元件123、组件盖玻璃124、和***LS1(以称为SLSI)425。SLSI425以外的结构和动作,与第1实施方式相同,对其标注相同的符号,其说明从略。
图39是表示涉及本发明第4实施方式的摄像装置的框图。SLSI425具有:***控制部431、摄像元件驱动部132、摄像信号输入部133、致动器操作量输出部134、图像处理部135、输入输出部136、强度校正系数用存储器137、原点校正系数用存储器138、失真校正系数用存储器139、强度校正系数生成部451、原点校正系数生成部452、和失真校正系数生成部453。并且,电路部420除上述结构外还具有放大器126。
对摄像装置401进行装配后,在制造工序中的成品检查工序中,按以下来构成并进行动作,由强度校正系数生成部451来生成强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y),把强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)写入到强度校正系数用存储器137内。并且,由原点校正系数生成部452来生成原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y,把原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y写入到原点校正系数用存储器138内。再者,由失真校正系数生成部453来生成失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y),把失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)写入到失真校正系数用存储器139内。
图40是表示涉及本发明第4实施方式的校正系数生成时的摄像装置等的外观图。401是本发明的第4实施方式的摄像装置,402是校正系数生成用控制器、203是显示器,204是摄像装置用电缆。校正系数生成用控制器302由产业用计算机构成,对摄像装置401和显示器204进行协调控制,在摄像装置401中生成强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)、原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y和失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)。显示器203由CRT显示器等构成,由校正系数生成用控制器402来进行控制,与摄像装置401协调动作,描绘出强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y),原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y和失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)的生成中所使用的图像(图)。摄像装置用电缆204由USB电缆等构成,对摄像装置401和校正系数生成用控制器402进行连接,向摄像装置401内供电,作为摄像装置401和校正系数生成用控制器402的通信媒介。
以下说明涉及本发明第4实施方式的摄像装置的动作。图41是表示涉及本发明第4实施方式的强度校正系数生成、原点校正系数生成和失真校正系数生成所使用的强度原点失真校正用图的外观图。如图41所示,强度原点失真校正用图405是在白色均匀的被摄体上描绘了网格的图。摄像装置401布置成正对强度原点失真校正用图405,布置成摄像装置401的多个透镜的光轴中心,与强度原点失真校正用图的网格的中心相一致。失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y),利用摄像信号的网格的部分,利用和第2实施方式相同的方法生成。并且,原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y,利用摄像信号的网格中心的十字部的部分(在图41中,由405x和405y构成的十字),利用和第2实施方式相同的方法来生成。并且,强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)为,对图像信号的网格以外的部分,利用和第2实施方式相同的方法来生成,对于摄像信号的网格部分,从网格以外的部分进行插补求出。
图42是表示涉及本发明第4实施方式的强度校正系数、原点校正系数和失真校正系数的生成方法的流程图。
在S4000步骤中,布置成摄像装置401的多个透镜部的光轴中心,与显示器的描绘区域的中心相一致,开始生成强度校正系数、原点校正系数和失真校正系数。以下进行S2110步骤。
在S2110步骤中,对摄像装置401和摄像装置用电缆204进行连接。该步骤与第2实施方式相同,其说明从略。以下进行S2120步骤。
在S2120步骤中,把校正系数生成程序下载到摄像装置401内。该步骤和第2实施方式相同,其说明从略,以下进行S4210步骤。
在S4210步骤中,由校正系数生成用控制器402在显示器203上描绘出以白色均匀光为背景布置了网格的强度原点失真校正用图405。在此,对强度原点失真校正用图405进行描绘以使显示器203的描绘区域中心,即摄像装置401的多个透镜部的光轴中心与网格中心(图41中的405x和405y的交点)相一致。以下进行S4220步骤。
在S4220步骤中,校正系数生成用控制器402通过摄像装置用电缆204来向摄像装置401内发送摄像开始的指令。以下进行S4230步骤。
在S4230步骤中,摄像装置401对强度原点失真用图405进行摄像。响应于S4220步骤的指令,由摄像装置401进行该步骤。该动作与S1200步骤相同,其说明从略。摄像信号作为强度原点失真校正系数生成用的第1摄像信号I1(0,x,y)、第2摄像信号I2(0,x,y)、第3摄像信号I3(0,x,y)和第4摄像信号I4(0,x,y),保存在***控制部431的存储器内。而且,作为该存储器,利用在摄像装置401的通常使用时保存动态图像的区域等。以下进行S4510步骤。
在S4510步骤中,强度校正系数生成部451生成强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)。强度校正系数生成部451,对描绘了十字的以外部分的像素,如下式(114)所示,把强度原点校正用的第1摄像信号I1(0,x,y)的倒数作为第1校正系数a1(x,y)。同样,强度校正系数生成部451,如下式(115)所示,把强度原点校正用的第2摄像信号I2(0,x,y)的倒数作为第2校正系数a2(x,y)。如下式(116)所示,把强度原点校正用的第3摄像信号I3(i,x,y)的倒数作为第3校正系数a3(x,y)。如下式(117)所示,把强度原点校正用的第4摄像信号I4(i,x,y)的倒数作为第4校正系数a4(x,y)。以下,强度校正系数生成部451,对描绘了网格的部分的像素,利用未描绘网格的最邻近的像素的强度校正系数。也就是说,强度校正系数生成部451,对描绘了
网格的部分的像素,如下式(118)所示,把像素(x,y)的第1强度校正系数a1(x,y),作为未描绘网格的最邻近的像素(xn1(x,y),yn1(x,y))的第1强度系数a1(xn1(x,y),yn1(x,y))。同样,强度校正系数生成部451,如下式(119)所示,把像素(x,y)中的第2强度校正系数a2(x,y),作为未描绘网格的最邻近的像素(xn2(x,y),yn2(x,y))的第2强度系数a2(xn2(x,y),yn2(x,y))。并且,强度校正系数生成部451,如下式(120)所示,把像素(x,y)中的第3强度校正系数a3(x,y),作为未描绘网格的最邻近的像素(xn3(x,y),yn3(x,y))的第3强度系数a3(xn3(x,y),yn3(x,y))。再者,如下式(121)所示,把像素(x,y)中的第4强度校正系数a4(x,y),作为未描绘网格的最邻近的像素(xn4(x,y),yn4(x,y))的第4强度系数a4(xn4(x,y),yn4(x,y))。而且,在S4230步骤中,也可以进行多次摄像,利用对这些图像进行相加计算平均后的图像。在此情况下,通过平均化,能够减小随机噪音等影响。并且,除了最邻近外,也可以利用对上下的最邻近的2个像素的系数进行了平均后的值,或者利用对左右的最邻近的2个像素的系数进行了平均后的值,或者利对用上下左右的最邻近的4个像素的系数进行了平均后的值,或者利用外插来预测系数,或者利用近似式。以下进行S2520步骤。
a1(x,y)=1/I1(0,x,y)…(114)
a2(x,y)=1/I2(0,x,y)…(115)
a3(x,y)=1/I3(0,x,y)…(116)
a4(x,y)=1/I4(0,x,y)…(117)
a1(x,y)=a1(xn1(x,y),yn1(x,y))…(118)
a2(x,y)=a2(xn2(x,y),yn2(x,y))…(119)
a3(x,y)=a3(xn3(x,y),yn3(x,y))…(120)
a4(x,y)=a4(xn4(x,y),yn4(x,y))…(121)
在S2520步骤中,强度校正系数生成部25 1把强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y),写入到强度校正系数用存储器137内。该强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)用于S1300步骤的强度校正。该步骤与第2实施方式相同。以下进行S4610步骤。
在S4610步骤中,原点校正系数生成部452生成原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y。该步骤使用和第2实施方式相同的方法来进行,所以,其说明从略。但是,原点校正系数生成部452,作为摄像信号,利用强度原点失直校正系数生成用的第1摄像信号I1(0,x,y)、强度原点失真校正系数生成用的第2摄像信号I2(0,x,y)、强度原点失真校正系数生成用的第3摄像信号I3(0,x,y)、强度原点失真校正系数生成用的第4摄像信号I4(0,x,y)。并且,原点校正系数生成部452利用图41的405x和405y作为十字部。以下进行S2620步骤。
在S2620步骤中,原点校正系数生成部452把原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y写入到原点校正系数用存储器138内。该原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y,用于S1400步骤的原点校正。该步骤与第2实施方式相同。以下进行S2410步骤。
在S4710步骤中,失真校正系数生成部453生成失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)。该步骤和第2实施方式相同,其说明从略。但是,失真校正系数生成部453,作为摄像信号,采用强度原点失真校正系数生成用的第1摄像信号I1(0,x,y)、强度原点失真校正系数生成用的第2摄像信号I2(0,x,y)、强度原点失真校正系数生成用的第3摄像信号I3(0,x,y)、强度原点失真校正系数生成用的第4摄像信号I4(0,x,y)。以下进行S2720步骤。
在S2720步骤中,失真校正系数生成部453把失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)写入到失真校正系数用存储器139内。该失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y)用于S1500步骤的失真校正。该步骤与第2实施方式相同。以下进行S2810步骤。
在S2810步骤中,***控制部431删除校正系数生成程序。该步骤与第2实施方式相同,其说明从略。以下进行S2820步骤。
在2820步骤中,从摄像装置401上拆下摄像装置用电缆204。该步骤与第2实施方式相同,其说明从略。以下进行S4900步骤。
在S4900步骤中,结束强度校正系数、原点校正系数和失真校正系数的生成。
由于按上述方法进行构成和动作,所以具有与第2实施方式相同的效果。
再者,第4实施方式的摄像装置401,利用通过一种强度原点失真校正用图405的摄像而取得的同一摄像信号,来生成强度校正系数a1(x,y)、a2(x,y)、a3(x,y)、a4(x,y)和原点校正系数g1x、g1y、g2x、g2y、g3x、g3y、g4x、g4y以及失真校正系数p1x(x,y)、p1y(x,y)、p2x(x,y)、p2y(x,y)、p3x(x,y)、p3y(x,y)、p4x(x,y)、p4y(x,y),所以,能够抑制制造工序中的摄像次数,缩短制造工序的节拍时间。
而且,在上述说明中,举例表示了对通过摄像取得的摄像信号进行各种校正,对视差进行校正后,从摄像信号来合成图像的装置的结构和动作。但本发明的摄像装置也能够作为对到达被摄体的距离进行检测的测距装置来使用。也就是说,本发明的摄像装置也可实施为根据用上述方法取得的视差来计算距离,输出取得的距离的装置,可以作为测量装置或车间距离检测装置等实际使用。也就是说,若对距离A而求解式(1),则如式(46)所示。所以,块Bi中的被摄体的距离,按式(47)来计算,该块Bi内包含的像素(x,y)中的被摄体的距离,用式(48)来表示,保存在***控制部431的存储器上。而且,单位在计算时适当更改。并且,如果通过输入输出部136来把该距离信息A(x,y)输出到外部,那么能够实现作为测距装置使用的摄像装置。
<第5实施方式>
第1实施方式的摄像装置具有4个透镜部,分别检测单色的色。第5实施方式的摄像装置具有2个透镜部,分别检测全色。并且,第5实施方式的摄像装置,不仅输出图像信息,而且输出由视差计算出的距离信息。
对涉及本发明第5实施方式的摄像装置,参照附图进行说明。
图43是表示本发明第5实施方式的摄像装置501的结构的断面图。在图43中,摄像装置501具有透镜模块部510和电路部520。
透镜模块部510具有:镜筒511、上部盖玻璃512、透镜513、致动器固定部514和致动器活动部515。电路部520具有:基板521、组件522、摄像元件523、组件盖玻璃524和***LSI(以下称为SLSI)525。
镜筒511是圆筒状,其内壁面是为了防止光的漫反射而消光的黑色,用树脂来注塑成形而制成。上部盖玻璃512是圆盘状,由透明树脂形成,用粘合剂等固定安装在镜筒511的上面上,其表面上设置了防止磨擦等造成损伤的保护膜和防止入射光的反射的防止反射膜。
图44是表示本发明第5实施方式的摄像装置的透镜513的俯视图。透镜513大致上是圆盘状,由玻璃或透明树脂形成,布置了第1透镜部513a和第2透镜部513b。沿着第1~第2透镜部513a~513b的布置方向,如图44所示设定X轴和Y轴。在第1透镜部513a和第2透镜部513b中,从各自的上部弯曲部射入的光,从各自的下部弯曲部射出,在摄像元件523上形成2个图像。
致动器固定部514利用粘合剂等固定在镜筒511的内壁面上。致动器活动部515利用粘合剂等固定在透镜513的外周缘上。致动器固定部514和致动器活动部515的详细结构,分别与第1实施方式的致动器固定部114和致动器活动部115相同,其说明从略。
基板521由树脂板构成,在上面上与镜筒511的底面相连接,用粘合剂等进行固定。这样,透镜模块部510和电路部520被固定,构成摄像装置501。
组件522由具有金属端子的树脂构成,在镜筒511的内侧,在基板521的上面上,用焊接等方法来固定其金属端子部。摄像元件523由第1摄像元件523a和第2摄像元件523b构成。第1摄像元件523a和第2摄像元件523b分别是CCD传感器或CMOS传感器这样的固体摄像元件,布置成它们的受光面中心分别与第1透镜部513a和第2透镜部513b的光轴中心大致上一致,并且布置成各摄像元件的受光面大致上垂直于对应的透镜部的光轴。第1摄像元件523a和第2摄像元件523b的各个端子,通过引线接合而用金线527连接在组件522内侧的底部的金属端子上,通过基板521来与SLSI525进行电连接。在第1摄像元件523a和第2摄像元件523b的各个受光面上,从第1透镜部513a和第2透镜部513b射出的光分别成像,用光电二极管从光信息变换成的电信息,输出到SLSI525。
图45是表示本发明第5实施方式的摄像装置的电路部520的俯视图。组件盖玻璃524是平板状,由透明树脂形成,用粘接等方法固定在组件522的上面上。在组件盖玻璃524的上面上用蒸镀等方法来布置遮光部524e。
所以,从第1透镜部513a的上部射入的物体光,从第1透镜部513a的下部射出,透过盖玻璃的524a部,在第1摄像元件523a的受光部上成像。并且,从第2透镜部513b的上部射入的物体光,从第2透镜部513b的下部射出,透过盖玻璃的524b部,在第2摄像元件523b的受光部上成像。
SLSI525用后述的方法,来控制致动器活动部515的线圈的通电,驱动摄像元件523,输入从摄像元件523来的电信息,进行各种图像处理,与高位CPU进行通信,向外部输出图像。
以下说明被摄体距离和视差之间的关系。涉及本发明第5实施方式的相机模块具有2个透镜部(第1透镜部513a和第2透镜部513b),所以,如第1实施方式中说明的那样,2个透镜部分别形成的2个物体像的相对位置,随被摄体距离而变化(参见式(1))。
以下说明涉及本发明第5实施方式的摄像装置的动作。图46是表示本发明第5实施方式的摄像装置的框图。SLSI525具有:***控制部531、摄像元件驱动部532、摄像信号输入部533、致动器操作量输出部534、图像处理部535、输入输出部536、强度校正系数用存储器537、原点校正系数用存储器538和失真校正用存储器539。并且,电路部520,除上述结构外,还具有放大器526。放大器526将与来自致动器操作量输出部534的输出相对应的电压,加到致动器活动部515的线圈上。
***控制部531由CPU、存储器等构成,对SLSI525整体进行控制。
摄像元件驱动部532由逻辑电路等构成,产生对摄像元件523进行驱动的信号,把与该信号相对应的电压加到摄像元件523上。
摄像信号输入部533由第1摄像信号输入部533a和第2摄像信号输入部533b而构成。第1摄像信号输入部533a和第2摄像信号输入部533b,分别串联连接CDS电路、AGC、ADC而构成。第1摄像信号输入部533a和第2摄像信号输入部533b,分别连接第1摄像元件523a和第2摄像元件523b,输入从它们来的电信号,用CDS电路来除去固定噪音,用AGC来调整增益,用ADC从模拟信号变换成数字值,写入到***控制部531的存储器内。
致动器操作量输出部534由DAC构成,输出应对致动器活动部515的线圈施加的电压所对应的电压信号。
图像处理部535,由逻辑电路或DSP、或包含两者而构成,利用***控制部531的存储器信息,来进行各种图像处理。图像处理部535具有:自动焦点控制部541、强度校正部542、原点校正部543、失真校正部544和距离计算部545。
输入输出部536,与高位CPU(无图示)进行通信,向高位CPU、外部存储器(无图示)和液晶等外部显示装置(无图示)输出图像信号。
强度校正系数用存储器537由快闪存储器或FeRAM等非易失性存储器构成,用于保存强度校正部542使用的强度校正系数。原点校正系数用存储器538由快闪存储器或FeRAM等非易失性存储器构成,用于保存原点校正部543使用的原点校正系数。失真校正系数用存储器539由快闪存储器或FeRAM等非易失性存储器构成,用于保存失真校正部544使用的失真校正系数。
图47是表示本发明第5实施方式的摄像装置的动作的流程图。利用SLSI525的***控制部531来使摄像装置501按照该流程图进行动作。
在S5000步骤内,开始动作。例如,由高位CPU(无图示)检测出快门钮(无图示)等已被按下,通过输入输出部536,来命令摄像装置501开始动作,由此使摄像装置501开始动作。以下进行S5100步骤。
在S5100步骤中,自动焦点控制部541进行自动焦点控制。该步骤与第1实施方式相同,其说明从略。以下进行S5200步骤。
在S5200步骤中,输入图像。利用***控制部531的命令,随时输出摄像元件驱动部532进行电子快门或传输用的信号。第1摄像信号输入部533a和第2摄像信号输入部533b,与摄像元件驱动部532所产生的信号同步地,输入作为由第1摄像元件523a和第2摄像元件523b所输出的各图像的模拟信号的摄像信号,用CDS来除去固定噪音,用AGC来自动调整输入增益,用ADC来把模拟信号变换成数字值,把数字值写入到***控制部531的规定地址的存储器内,作为第1摄像信号I1(x,y)和第2摄像信号I2(x,y)。如图13所示,I1(x,y)表示在水平方向上是第x个像素、在垂直方向上是第y个像素的第1摄像信号。输入的图像的纵向像素数为H,横向像素数为L,总像素数为H×L,x从0变化到L-1;y从0变化到H-1。第2摄像信号I2(x,y)也同样地分别表示在水平方向上是第x个、在垂直方向上是第y个的第2摄像信号。输入的图像的纵向像素数为H,横向像素数为L,各自的总像素数为H×L,x从0变化到L-1;y从0变化到H-1。以下进行S5300步骤。
在S5300步骤中,强度校正部542利用在强度校正系数用存储器537内保存的强度校正系数,来校正第1摄像信号I1和第2摄像信号I2。并且,将其结果写入到***控制部531的存储器内。该步骤与第1实施方式的S1300步骤相同,其说明从略。但是,在不使用第1实施方式中所使用过的第3摄像信号I3、第4摄像信号I4、第3强度校正系数a3(x,y)、第4强度校正系数a4(x,y)等方面需要作若干更改。以下进行S5400步骤。
在S5400步骤中,原点校正部543利用在原点校正系数用存储器538内保存的原点校正系数,来校正第1摄像信号I1和第2摄像信号I2。并且,将其结果写入到***控制部531的存储器内。该步骤与第1实施方式的S1400步骤相同,其说明从略。但是,在不使用第1实施方式中所使用过的第3摄像信号I3、第4摄像信号I4、第3原点校正系数g3x、g3y、第4强度校正系数g4x、g4y等方面需要作若干更改。以下进行S5500步骤。
在S5500步骤中,失真校正部545利用在失真校正系数用存储器539内保存的失真校正系数,来校正第1摄像信号I1和第2摄像信号I2。并且,将其结果写入到***控制部531的存储器内。该步骤与第1实施方式的S1500步骤相同,其说明从略。但是,在不使用在第1实施方式中所使用过的第3摄像信号I3、第4摄像信号I4、第3失真校正系数p3x(x,y)、p3y(x,y)、第4失真校正系数p4x(x,y)、p4y(x,y)等方面需要作若干更改。以下进行S5600步骤。
在S5600步骤中,由距离计算部545来进行距离计算。图48是表示本发明第5实施方式的距离计算的动作的流程图。图48的流程图表示S5600步骤的动作的详细内容。
首先,在S5620步骤中,由距离计算器545来进行块分割。该步骤与第1实施方式的S1620步骤相同,其说明从略。以下进行S5630步骤。
在S5630步骤中,由距离计算部545来计算每个块的视差值。首先,对每个块(B0、B1、……、Bi、……、BMN-1),计算出视差评价值(Ro(k)、R1(k)、……、Ri(k)、……、RMN-1(k)、k=0、1、……、kmax)。图49是在涉及本发明第5实施方式的摄像装置中,说明视差评价值的计算区域的图。Bi所示的(也作为I1来表示)区域,是由第1摄像信号I1在S5620步骤内求出的第i个块。I2所示的区域是对Bi在x方向上移动K的区域。并且,对各个区域的全图像信号I1(x,y)、I2(x+k,y),把下式(122)所示的绝对值差分总和作为视差评价值Ri(k)进行计算。其中,∑∑表示块Bi内的所有的像素的总和。
Ri(k)=∑∑|I1(x,y)-I2(x+k,y)| …(122)
该视差评价值Ri(k)表示第i个块Bi的第1图像信号I1、和在x方向上移动了k的区域内的第2图像信号I2有多大程度的相关,它表示该值越小,相关越大(很相似)。如图20所示,视差评价值Ri(k)随k值而变化,当k=Δi时具有极小值。这表示,使第1图像信号I1的第i个块Bi在x、y方向上分别移动(Δi、0)而取得的图像信号,与第2图像信号I2有最大的相关(最相似)。所以,可知对第i个块Bi的第1摄像信号I1和第2摄像信号I2的x、y方向的视差为(Δi、0)。以下把该Δi称为第i个块Bi的视差值Δi。这样,求出从i=0到i=M×N-1的视差值Δi。以下进行S5640步骤。
在S5640步骤中,距离计算部545进行距离计算。若对距离A求解式(1),则如下式(123)所示。所以,块Bi中的被摄体的距离按下式(124)所示进行计算,该块Bi中所包含的像素(x,y)的被摄体的距离,按下式(125)求出。已求出的距离保存在***控制部53 1的存储器上。而且,单位在计算时适当更改。以下进行S5650步骤。
A=f*D/Δ……(123)
Ai=f*D/Δi……(124)
A(x,y)=Ai((x,y)包含在Bi内)……(125)
在S5650步骤中,结束距离计算,返回到主程序中,所以,以下进行图47的S5700步骤。
在S5700步骤中,由输入输出部536输出结果。输入输出部536向高位CPU(无图示)或外部显示装置(无图示)输出***控制部531的存储器上的数据I1(x,y)、A(x,y)。以下进行S5800步骤。
在S5800步骤中,结束动作。
通过如上所述构成摄像装置501并使其动作,能够产生以下效果。
涉及第5实施方式的摄像装置501,在S5300步骤中,根据强度校正系数a1、a2来生成校正程度随摄像区域的位置(x,y)而变化的强度校正值b1(x,y)、b2(x,y),校正摄像信号I1(x,y)、I2(x,y),补偿光量分布的偏差。并且,摄像装置501在S5620步骤中,把第1摄像信号I1分割成多个块,在S5630步骤中根据已校正的摄像信号I1(x,y)、I2(x,y),来求出每个块的视差。并且,摄像装置501在S5640步骤中根据该视差来对每个块计算距离。这样,摄像装置501补偿光量分布的偏差,求出正确的视差,根据该正确的视差来计算距离,所以,能够生成出正确的距离。
并且,涉及第5实施方式的摄像装置501,在原点校正系数用存储器538中保存原点校正系数g1x、g2x、g1y、g2y,在S5400步骤中,根据原点校正系数g1x、g2x、g1y、g2y来校正摄像信号I1(x,y)、I2(x,y)的原点。并且,摄像装置501在S5630步骤中根据已校正的摄像信号I1(x,y)、I2(x,y),对每个块求出视差。再者,摄像装置501在S5640步骤中,根据该视差来对每个块计算距离。这样,摄像装置501求出正确的视差,根据该正确的视差来计算距离,所以能够生成正准的距离。
并且,涉及第5实施方式的摄像装置501,保存失真校正系数p1x(x,y)、p2x(x,y)、p1y(x,y)、p2y(x,y),在S5520步骤中,根据失真校正系数p1x(x,y)、p2x(x,y)、p1y(x,y)、p2y(x,y),来计算失真校正用坐标q1x(x,y)、q2x(x,y)、q1y(x,y)、q2y(x,y)。再者,摄像装置501在S5530步骤中,在失真校正用坐标q1x(x,y)、q2x(x,y)、q1y(x,y)、q2y(x,y)中,校正摄像信号I1(x,y)、I2(x,y),使多个透镜部的失真的影响减小,在S5630步骤中,根据已校正的摄像信号I1(x,y)、I2(x,y),来对每个块求出视差。并且,摄像装置501在S5640步骤中,根据该视差来计算距离。这样,摄像装置501由于求出正确的视差,根据该正确的视差来计算距离,所以能够生成正确的距离。
而且,第5实施方式的摄像装置,利用了黑白的摄像元件,但也可以利用拜尔排列的摄像元件。在此情况下,例如,从彩色图像计算出亮度,对该亮度进行强度校正、原点校正、失真校正,计算视差,计算距离等,需要进行若干更改。
而且,在从第1实施方式至第5实施方式中,把块分割成矩形,但并不限于此,例如也可以检测边缘,根据边缘来分割成非矩形的块。并且,也可以不求出每个块的区域的视差,而把边缘分割成多个线段,求出该线段的视差。并且,也可以在某一块中,对已求出的视差进行评价,对块进行分割或结合。
并且,在第1至第5实施方式中,也可以省略焦点控制,在结构中不包括致动器。在利用焦点深度非常深的透镜的情况下,允许透镜和摄像元件的距离误差很大,所以,不需要使致动器动作。
产业上可利用性
本发明的摄像装置是能够小型化、薄型化的摄像装置,所以,适用于带相机功能的手机、数码相机、监视用摄像机和车载用摄像机或者测距装置等。

Claims (16)

1、一种摄像装置,其特征在于,具有:
多个透镜部,分别包含至少一个透镜;
多个摄像区域,与上述多个透镜部一一对应,并分别具有与所对应的上述透镜部的光轴方向大致垂直的受光面;
摄像信号输入部,输入分别从上述多个摄像区域输出的多个摄像信号;
强度校正系数保存部,保存强度校正系数,该强度校正系数为上述摄像区域的强度不均匀的信息;以及
强度校正部,使用上述强度校正系数,校正上述多个摄像信号的每个的强度,以减小上述摄像区域的强度不均匀的影响。
2、如权利要求2所述的摄像装置,其特征在于:
在入射光相对上述多个摄像区域中的至少二个上述摄像区域的光路上,还具有具备以第一波长为大致中心的透过特性的光学元件;
在入射光相对其他摄像区域的光路上,还具有具备以与上述第一波长不同的波长为大致中心的透过特性的光学元件。
3、如权利要求2所述的摄像装置,其特征在于:
上述强度校正部,校正与上述多个摄像区域中、至少接收下述光线的摄像区域相对应的上述摄像信号的强度,其中上述光线为透过了具备以上述第一波长为大致中心的透过特性的光学元件的光线。
4、如权利要求2或3所述的摄像装置,其特征在于:
上述第一波长是被人的视觉识别为大致绿色的波长。
5、如权利要求1~4中的任一项所述的摄像装置,其特征在于,还具有:
视差计算部,根据由上述强度校正部校正了强度的摄像信号,求出上述多个透镜部分别形成的像之间的视差;以及
视差校正部,根据上述视差校正上述多个摄像信号,并合成图像。
6、如权利要求1~4中的任一项所述的摄像装置,其特征在于,还具有:
视差计算部,根据由上述强度校正部校正了强度的摄像信号,求出上述多个透镜部分别形成的像之间的视差;以及
距离计算部,根据上述视差求出相对被摄体的距离。
7、如权利要求5或6所述的摄像装置,其特征在于:
还具有块分割部,该块分割部将上述多个摄像信号中的至少一个摄像信号分割为多个块,
上述视差计算部按每个上述块计算上述多个透镜部分别形成的像之间的视差。
8、如权利要求1~7中的任一项所述的摄像装置,其特征在于,还具有:
原点校正系数保存部,保存原点校正系数,该原点校正系数为与上述多个透镜部的光轴的原点和摄像信号的原点之间的对应有关的信息;以及
原点校正部,根据上述原点校正系数校正上述多个摄像信号的每个的原点。
9、如权利要求1~8中的任一项所述的摄像装置,其特征在于,还具有:
失真校正系数保存部,保存失真校正系数,该失真校正系数为上述透镜部的失真的信息;以及
失真校正部,根据上述失真校正系数校正上述多个摄像信号的每个,以减小上述多个透镜部的失真的影响。
10、如权利要求1~9中的任一项所述的摄像装置,其特征在于:
上述强度校正部对上述多个摄像信号进行校正,以使得强度水平互相相等。
11、一种摄像装置的制造方法,该摄像装置具有:
多个透镜部,分别包含至少一个透镜;
多个摄像区域,与上述多个透镜部一一对应,并分别具有与所对应的上述透镜部的光轴方向大致垂直的受光面;
摄像信号输入部,输入分别从上述多个摄像区域输出的多个摄像信号;
强度校正系数保存部,保存强度校正系数,该强度校正系数为上述摄像区域的强度不均匀的信息;以及
强度校正部,使用上述强度校正系数,校正上述摄像信号的强度,以减小上述摄像区域的强度不均匀的影响,
其特征在于,该方法具有以下工序:
第一摄像工序,利用上述摄像装置拍摄大致为白色的物体;
强度校正系数计算工序,根据由上述第一摄像工序所得到的摄像信号,计算上述强度校正系数;以及
保存工序,将由上述强度校正系数计算工序所计算出的强度校正系数保存到上述强度校正系数保存部。
12、如权利要求11所述的摄像装置的制造方法,其特征在于:
上述摄像装置还具有:
原点校正系数保存部,保存原点校正系数,该原点校正系数为与上述多个透镜部的光轴的原点和摄像信号的原点之间的对应有关的信息;以及
原点校正部,根据上述原点校正系数校正上述摄像信号的原点,
该制造方法还具有以下工序:
第二摄像工序,利用上述摄像装置对具有在中央部包含十字的图案的物体进行摄像;
原点校正系数计算工序,根据由上述第二摄像工序所得到的摄像信号,计算上述原点校正系数;以及
保存工序,将由上述原点校正系数计算工序所计算出的原点校正系数保存到上述原点校正系数保存部。
13、如权利要求11或12所述的摄像装置的制造方法,其特征在于:
上述摄像装置还具有:
失真校正系数保存部,保存失真校正系数,该失真校正系数为上述透镜部的失真的信息;以及
失真校正部,根据上述失真校正系数校正摄像信号,以减小上述多个透镜部的失真的影响,
该制造方法还具有以下工序:
第三摄像工序,利用上述摄像装置对具有网格状图案的物体进行摄像;
失真校正系数计算工序,根据由上述第三摄像工序所得到的摄像信号,计算上述失真校正系数;以及
保存工序,将由上述失真校正系数计算工序所计算出的失真校正系数保存到上述失真校正系数保存部。
14、如权利要求11所述的摄像装置的制造方法,其特征在于:
上述摄像装置还具有:
原点校正系数保存部,保存原点校正系数,该原点校正系数为与上述多个透镜部的光轴的原点和摄像信号的原点之间的对应有关的信息;以及
原点校正部,根据上述原点校正系数校正上述摄像信号的原点,
在上述第一摄像工序中,使用背景为大致白色且具有在中央部包含十字的图案的物体作为上述物体,
该制造方法还具有以下工序:
原点校正系数计算工序,根据由上述第一摄像工序所得到的摄像信号,计算上述原点校正系数;以及
保存工序,将由上述原点校正系数计算工序所计算出的原点校正系数保存到上述原点校正系数保存部。
15、如权利要求11所述的摄像装置的制造方法,其特征在于:
上述摄像装置还具有:
失真校正系数保存部,保存失真校正系数,该失真校正系数为上述透镜部的失真的信息;以及
失真校正部,根据上述失真校正系数校正摄像信号,以减小上述多个透镜部的失真的影响,
在上述第一摄像工序中,使用背景为大致白色且具有网格状的图案的物体作为上述物体,
该制造方法还具有以下工序:
失真校正系数计算工序,根据由上述第一摄像工序所得到的摄像信号,计算上述失真校正系数;以及
保存工序,将由上述失真校正系数计算工序所计算出的失真校正系数保存到上述失真校正系数保存部。
16、如权利要求11所述的摄像装置的制造方法,其特征在于:
上述摄像装置还具有:
原点校正系数保存部,保存原点校正系数,该原点校正系数为与上述多个透镜部的光轴的原点和摄像信号的原点之间的对应有关的信息;
原点校正部,根据上述原点校正系数校正上述摄像信号的原点;
失真校正系数保存部,保存失真校正系数,该失真校正系数为上述透镜部的失真的信息;以及
失真校正部,根据上述失真校正系数校正摄像信号,以减小上述多个透镜部的失真的影响,
在上述第一摄像工序中,使用背景为大致白色且具有网格状的图案的物体作为上述物体,
该制造方法还具有以下工序:
原点校正系数计算工序,根据由上述第一摄像工序所得到的摄像信号,计算上述原点校正系数;
失真校正系数计算工序,根据由上述第一摄像工序所得到的摄像信号,计算上述失真校正系数;以及
保存工序,将由上述原点校正系数计算工序和失真校正系数计算工序所计算出的原点校正系数和失真校正系数,分别保存到上述原点校正系数保存部和失真校正系数保存部。
CNA2005800444590A 2004-12-22 2005-12-20 摄像装置及其制造方法 Pending CN101088285A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP371850/2004 2004-12-22
JP2004371850 2004-12-22

Publications (1)

Publication Number Publication Date
CN101088285A true CN101088285A (zh) 2007-12-12

Family

ID=36601729

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005800444590A Pending CN101088285A (zh) 2004-12-22 2005-12-20 摄像装置及其制造方法

Country Status (4)

Country Link
US (1) US8023016B2 (zh)
JP (1) JPWO2006068129A1 (zh)
CN (1) CN101088285A (zh)
WO (1) WO2006068129A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102812714A (zh) * 2010-03-24 2012-12-05 富士胶片株式会社 立体图像获取装置
CN105379245A (zh) * 2013-07-05 2016-03-02 柯尼卡美能达株式会社 复眼摄像装置
CN106289158A (zh) * 2015-06-24 2017-01-04 三星电机株式会社 距离检测装置以及包括该距离检测装置的相机模块

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7760231B2 (en) * 2005-03-09 2010-07-20 Pixar Animated display calibration method and apparatus
KR100762098B1 (ko) * 2006-03-09 2007-10-01 (주)실리콘화일 3차원 영상 획득용 씨모스 스테레오 카메라
EP2001220B1 (en) * 2006-03-24 2015-01-14 Nikon Corporation Signal processing method, signal processing system, coefficient generating device, and digital camera
DE102006050235B4 (de) * 2006-10-17 2014-02-13 Pilz Gmbh & Co. Kg Kamerasystem zum Überwachen eines Raumbereichs
US20100259655A1 (en) * 2007-11-01 2010-10-14 Konica Minolta Holdings, Inc. Imaging device
JP2011172172A (ja) 2010-02-22 2011-09-01 Sony Corp 立体映像処理装置および方法、並びにプログラム
US20140192238A1 (en) * 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
JP5816015B2 (ja) * 2011-07-15 2015-11-17 株式会社東芝 固体撮像装置及びカメラモジュール
EP2732618B1 (en) * 2011-08-12 2016-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Camera arrangement for image detection, x-ray system and method for balancing and operating
US9599787B2 (en) * 2011-12-27 2017-03-21 Tera Xtal Technology Corporation Using sapphire lens to protect the lens module
US9386203B2 (en) * 2013-10-28 2016-07-05 Omnivision Technologies, Inc. Compact spacer in multi-lens array module
US9876992B2 (en) * 2014-04-30 2018-01-23 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and distance measuring apparatus using the same
US9959610B2 (en) * 2014-10-30 2018-05-01 Applied Materials, Inc. System and method to detect substrate and/or substrate support misalignment using imaging
CN107991994A (zh) * 2017-11-24 2018-05-04 中国航发沈阳黎明航空发动机有限责任公司 一种不定心装夹的加工方法
WO2019111575A1 (ja) * 2017-12-08 2019-06-13 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像装置の製造方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4166280A (en) * 1977-11-04 1979-08-28 Ampex Corporation High performance television color camera employing a camera tube and solid state sensors
JP3791696B2 (ja) * 1992-04-09 2006-06-28 オリンパス株式会社 画像表示装置
US6205259B1 (en) 1992-04-09 2001-03-20 Olympus Optical Co., Ltd. Image processing apparatus
JPH0787385A (ja) * 1993-09-10 1995-03-31 Canon Inc 撮像装置
JP3639620B2 (ja) 1994-09-06 2005-04-20 キヤノン株式会社 画像合成装置及び画像処理方法
JP3864491B2 (ja) 1997-04-16 2006-12-27 ソニー株式会社 視差算出装置、距離算出装置およびこれらの方法
JP3284190B2 (ja) 1998-05-14 2002-05-20 富士重工業株式会社 ステレオカメラの画像補正装置
US6611289B1 (en) * 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
JP3397755B2 (ja) 1999-06-30 2003-04-21 キヤノン株式会社 撮像装置
US6859229B1 (en) 1999-06-30 2005-02-22 Canon Kabushiki Kaisha Image pickup apparatus
US6816625B2 (en) * 2000-08-16 2004-11-09 Lewis Jr Clarence A Distortion free image capture system and method
JP2002107145A (ja) 2000-10-03 2002-04-10 Olympus Optical Co Ltd 測距装置及びそのための調整装置
JP3703424B2 (ja) * 2000-10-25 2005-10-05 キヤノン株式会社 撮像装置及びその制御方法及び制御プログラム及び記憶媒体
US7262799B2 (en) * 2000-10-25 2007-08-28 Canon Kabushiki Kaisha Image sensing apparatus and its control method, control program, and storage medium
JP3943848B2 (ja) 2001-02-28 2007-07-11 株式会社リコー 撮像装置
JP2002330332A (ja) * 2001-04-27 2002-11-15 Canon Inc 画像処理装置、撮像装置、その制御方法、及び記録媒体
TW524011B (en) * 2001-08-10 2003-03-11 Veutron Corp Circuit using RGB signals of scanner for color space conversion
JP2003143459A (ja) * 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
US20030174235A1 (en) * 2002-03-14 2003-09-18 Creo Il. Ltd. Method and apparatus for composing flat lighting and correcting for lighting non-uniformity

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102812714A (zh) * 2010-03-24 2012-12-05 富士胶片株式会社 立体图像获取装置
CN102812714B (zh) * 2010-03-24 2014-04-30 富士胶片株式会社 立体图像获取装置
CN105379245A (zh) * 2013-07-05 2016-03-02 柯尼卡美能达株式会社 复眼摄像装置
CN106289158A (zh) * 2015-06-24 2017-01-04 三星电机株式会社 距离检测装置以及包括该距离检测装置的相机模块

Also Published As

Publication number Publication date
WO2006068129A1 (ja) 2006-06-29
US20080151079A1 (en) 2008-06-26
JPWO2006068129A1 (ja) 2008-06-12
US8023016B2 (en) 2011-09-20

Similar Documents

Publication Publication Date Title
CN101088285A (zh) 摄像装置及其制造方法
US8520059B2 (en) Stereoscopic image taking apparatus
KR102237315B1 (ko) 고체 촬상 장치, 전자기기, 렌즈 제어 방법, 및 촬상 모듈
EP2380345B1 (en) Improving the depth of field in an imaging system
US8363091B2 (en) Stereoscopic image pick-up apparatus
US8310571B2 (en) Color shading correction device, color shading correction method, and color shading correction program
CN102870422B (zh) 成像设备、成像设备主体以及阴影校正方法
KR20090096746A (ko) 카메라 모듈 및 전자기기 및 이들의 제조 방법
JP2008035282A (ja) 撮像装置と該撮像装置を備えた携帯機器
CN103782586A (zh) 成像设备
JP2014042272A (ja) デジタルカメラデバイスのホワイトバランス較正
CN103327223A (zh) 摄像装置
WO2012169318A1 (ja) 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置
CN105474068A (zh) 内窥镜用摄像装置
CN103733606A (zh) 成像设备
US11010030B2 (en) Electronic apparatus capable of performing display control based on display mode, control method thereof, and non-transitory computer readable medium
JP2008113236A (ja) 撮像装置におけるシェーディング補正方法と装置
CN105474623A (zh) 摄像装置、摄像***以及图像处理方法
US8712231B2 (en) Camera body, and camera system
JP2023145486A (ja) 撮像素子
CN107786791A (zh) 图像传感器及包括该图像传感器的相机模块
US6885404B1 (en) Image pickup apparatus
US9106900B2 (en) Stereoscopic imaging device and stereoscopic imaging method
JP5530785B2 (ja) 撮像装置
JP2016063391A (ja) 撮像装置、表示装置、及び、電子機器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication