JP6329557B2 - 撮像装置及び電子機器 - Google Patents

撮像装置及び電子機器 Download PDF

Info

Publication number
JP6329557B2
JP6329557B2 JP2015541522A JP2015541522A JP6329557B2 JP 6329557 B2 JP6329557 B2 JP 6329557B2 JP 2015541522 A JP2015541522 A JP 2015541522A JP 2015541522 A JP2015541522 A JP 2015541522A JP 6329557 B2 JP6329557 B2 JP 6329557B2
Authority
JP
Japan
Prior art keywords
image
image sensor
imaging
pixels
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015541522A
Other languages
English (en)
Other versions
JPWO2015053113A1 (ja
Inventor
章一 谷内
章一 谷内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2015053113A1 publication Critical patent/JPWO2015053113A1/ja
Application granted granted Critical
Publication of JP6329557B2 publication Critical patent/JP6329557B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Focusing (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本発明は、撮像装置及び電子機器等に関する。
カメラを用いて同一シーンかつ焦点位置（或いは合焦状態における被写体の位置を表す合焦物***置）の異なる複数枚の画像を取得し、それらの画像間における焦点ぼけ量の相関を示すスプレッドパラメータと被写体距離が一対一対応することを利用して測距を行うＤＦＤ（Depth-From-Defocus）が知られている。
特許文献１では、撮像レンズを光軸方向に駆動させることにより焦点位置の異なる複数枚の画像を取得する手法が開示されている。また特許文献２では、入射光をハーフミラーやプリズムで分割し、光路長の異なる位置に配置した複数枚の撮像素子で同時に焦点の異なる画像を撮影する手法が開示されている。
特開平４−３４３３１２号公報 特開平５−３０４０９号公報
Subbarao and G. Surya,"Depth from Defocus: A Spatial DomainApproach," International Journal of Computer Vision, Vol. 13, No. 3, pp. 271-294, 1994.
ＤＦＤで測距する際には理想的には画像間に焦点ぼけ以外の差異がないことが要求される。画像間に焦点ぼけ以外の差異があるとスプレッドパラメータに誤差が生じるため正しい被写体距離情報を参照することが出来ず測距精度が低下してしまう。
これに対し、特許文献１の手法では１枚の画像を撮影する毎に撮像レンズの駆動を伴っている。そのためレンズ駆動中に手振れや被写体の移動が生じ、結果として画像間での被写***置の差異やモーションブラーが生じてしまう。従って測距精度に誤差が生じるという問題があった。
一方、特許文献２の手法では光路長の異なる位置に配置した２枚の撮像素子を用いて同時に画像を取得するため時間差による手振れやモーションブラーの影響を抑止することが出来る。しかし、入射光の光路を分割するためのハーフミラーやプリズムビームスプリッターと、光路長を変えるためのミラーが必要になる上、分割した光を各撮像素子に導くための空間や撮像素子を２枚配置するための空間が必要になる。そのため撮像装置のサイズが大きくなってしまうという問題があった。
本発明の幾つかの態様によれば、精度の高いＤＦＤ処理を、シンプルな構成により実現する撮像装置及び電子機器等を提供することができる。
本発明の一態様は、撮像レンズの光軸上に配置した第１の撮像素子と、前記撮像レンズの光軸上に、前記第１の撮像素子から所定の距離だけ離して配置し、前記第１の撮像素子を透過した光を受光する第２の撮像素子と、前記第１の撮像素子で撮像した第１の画像の画素値と、前記第２の撮像素子で撮像した第２の画像の画素値とに基づいて、ＤＦＤ（Depth-From-Defocus）処理を行って被写体距離を算出する被写体距離算出部と、を含む撮像装置に関係する。
本発明の一態様では、第１の撮像素子と第２の撮像素子を撮像レンズの光軸上で所定の距離だけ離して配置し、第１の撮像素子を透過した光を第２の撮像素子で受光する。よって、撮像素子間で時間差が生じないためモーションブラー等の発生を抑止すること等が可能になる。また、透過光を利用するため、光を分割するためのハーフミラー等を設ける必要がなく、省スペース化等が可能になる。
また、本発明の一態様では、前記第１の撮像素子は、前記撮像レンズの前記光軸の方向で、ＲＧＢの各色を順次分離する垂直色分離型の撮像素子であってもよい。
これにより、第１の撮像素子として垂直色分離型の撮像素子を用いること等が可能になる。
また、本発明の一態様では、前記第１の撮像素子は、各画素に対してモザイク状に配置された所定のカラーフィルタを備える撮像素子であってもよい。
これにより、第１の撮像素子としてベイヤー配列の撮像素子等、広く用いられている撮像素子を利用すること等が可能になる。
また、本発明の一態様では、前記第１の撮像素子は、半導体基体の光照射側と反対側の面に転送電極が設けられた裏面照射型の撮像素子であってもよい。
これにより、第１の撮像素子として裏面照射型の撮像素子を用いること等が可能になる。
また、本発明の一態様では、前記第１の撮像素子の受光部における光の透過率に基づき設定されたゲインを用いて、前記第２の撮像素子で撮像した前記第２の画像の画素値を増幅する明るさ補正処理を行う明るさ補正処理部をさらに含んでもよい。
これにより、明るさ補正処理を行うことで、ＤＦＤ処理の精度を高くすること等が可能になる。
また、本発明の一態様では、前記第２の撮像素子で撮像した前記第２の画像に対して、前記第１の撮像素子による回折によって生じるぼけを補正する処理を行う回折補正処理部をさらに含んでもよい。
これにより、回折補正処理を行うことで、ＤＦＤ処理の精度を高くすること等が可能になる。
また、本発明の一態様では、前記撮像レンズを含むレンズ系によって決定されるＦ値をＦとし、許容錯乱円のサイズをｒとした場合に、前記第２の撮像素子は、前記撮像レンズの前記光軸の方向において、前記第１の撮像素子から、Ｌ＞Ｆ×ｒを満たす前記所定の距離Ｌだけ離して配置されてもよい。
これにより、焦点深度を考慮して第１の撮像素子と第２の撮像素子の配置を決定すること等が可能になる。
また、本発明の一態様では、前記第１の撮像素子の各画素に対して設けられ、集光に用いられるマイクロレンズをさらに含んでもよい。
これにより、集光用のマイクロレンズを用いることで、回折補正処理の処理負荷を軽減すること等が可能になる。
また、本発明の一態様では、前記第１の画像と前記第２の画像の少なくとも一方に対して画素混合処理を行うことで、前記第１の画像の画素数と前記第２の画像の画素数を対応させる処理を行う画素混合処理部をさらに含んでもよい。
これにより、画素混合処理を行うことで、ＤＦＤ処理の精度を高くすること等が可能になる。
また、本発明の一態様では、前記第１の画像と前記第２の画像の少なくとも一方に対して画素サンプリング処理を行うことで、前記第１の画像の画素数と前記第２の画像の画素数を対応させる処理を行う画素サンプリング処理部をさらに含んでもよい。
これにより、画素サンプリング処理を行うことで、ＤＦＤ処理の精度を高くすること等が可能になる。
また、本発明の一態様では、前記第２の撮像素子は、前記第１の撮像素子のうち、ＲＧＢ信号のうちのＲ信号の生成に用いられる画素の数に対応した画素数を有する撮像素子であってもよい。
これにより、第１の画像と第２の画像の画素数の対応がとれる撮像素子を用いること等が可能になる。
また、本発明の他の態様は、上記のいずれかの撮像装置を含む電子機器に関係する。
図１は、本実施形態に係る撮像装置の基本的な構成例。 図２は、本実施形態に係る撮像装置の詳細な構成例。 図３（Ａ）、図３（Ｂ）は、第１の実施形態の撮像素子の構造例。 図４は、第１の実施形態の処理を説明するフローチャート。 図５は、垂直色分離型の撮像素子の詳細な構成例。 図６は、第１の撮像素子の入射光の透過率の説明図。 図７は、第１の撮像素子が回折格子としてはたらくことを説明する図。 図８は、波面の伝播を説明する図。 図９（Ａ）〜図９（Ｄ）は、回折像の具体例。 図１０は、ＤＦＤ処理を説明するフローチャート。 図１１（Ａ）、図１１（Ｂ）は、スプレッドパラメータと被写体距離の関係例。 図１２は、本実施形態に係る撮像装置の他の構成例。 図１３は、ベイヤー配列の撮像素子の構成例。 図１４は、第２の実施形態の撮像素子の構造例。 図１５は、第１の撮像素子が回折格子としてはたらくことを説明する他の図。 図１６（Ａ）、図１６（Ｂ）は、第１の撮像素子の画素と第２の撮像素子の画素の位置関係の例。 図１７は、第１の撮像素子にマイクロレンズを設ける場合の構成例。 図１８は、裏面照射型の撮像素子の構成例。 図１９（Ａ）〜図１９（Ｃ）は、本実施形態の手法の適用対象となる具体的な機器の例。 図２０は、本実施形態に係る撮像装置の他の構成例。 図２１は、本実施形態に係る撮像装置の他の構成例。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
１．本実施形態の手法
上述したように、ＤＦＤで測距する際には理想的には画像間に焦点ぼけ以外の差異がないことが要求される。特許文献１のように画像間に時間差（例えば撮像タイミングの差）が生じる手法では、その間に被写体が変化したり、手ぶれ等により撮像装置側が移動したりすることで、焦点ぼけ以外の差異が生じてしまい好ましくない。
それに対し、特許文献２のように複数の撮像素子を設け、共通の入射光をそれぞれの撮像素子で受光すれば、画像間に時間差は生じない。しかし、特許文献２の手法では、特許文献２の図３に示されたビームスプリッタ等を用いることで共通の入射光を分離し、さらにミラー等を用いて光路長を異ならせて、各撮像素子で受光する。そのため、ビームスプリッタやハーフミラー、ミラー等を設ける必要があり、撮像装置の構造が複雑化してしまい、コストやサイズの観点から問題が残る。
そこで本出願人は、波長が比較的長い光（狭義にはＲＧＢ信号のＲ信号に対応する波長の光）は、撮像素子でその全てが吸収されるものではなく、一部が撮像素子を透過するという性質に着目し、撮像レンズの光軸方向に２つの撮像素子を並べて配置する手法を提案する。
具体的には、本実施形態の撮像装置は図１に示したように、撮像レンズ１００の光軸上に配置した第１の撮像素子１０１と、撮像レンズ１００の光軸上に、第１の撮像素子１０１から所定の距離だけ離して配置し、第１の撮像素子１０１を透過した光を受光する第２の撮像素子１０２と、第１の撮像素子１０１で撮像した第１の画像の画素値と、第２の撮像素子１０２で撮像した第２の画像の画素値とに基づいて、ＤＦＤ（Depth-From-Defocus）処理を行って被写体距離を算出する被写体距離算出部１１５を含む。
ここで、ＤＦＤとは、上述したように複数の画像間のぼけ量（デフォーカス量）の関係に基づいて、被写体までの距離を求める手法のことであり、ＤＦＤ処理とはＤＦＤを用いて被写体距離を求める処理のことである。
撮像素子の分光透過率は素子の設計上決定されるものであるが、図６を用いて後述するように、所定の撮像素子では比較的波長の長い光は、入射光の１００パーセントが撮像素子で吸収されるのではなく、その一部は吸収されず撮像素子を透過することになる。図６の例であれば、ＲＧＢ信号のうち、波長の短いＢ信号、Ｇ信号に対応する光（Ａ３及びＡ４）はその大部分（狭義には全て）の光が吸収されるため、撮像素子を透過しないが、Ｂ信号やＧ信号に比べて波長の長いＲ信号に対応する光（Ａ５）は、一部が透過する。図６のＲ信号に対応する光のうち、Ａ１の部分が撮像素子で吸収され、Ａ２の部分が撮像素子を透過する。
つまり、図１に示したように、撮像レンズ１００の光軸上に並ぶように第１の撮像素子１０１と第２の撮像素子１０２を並べた場合にも、全ての光が第１の撮像素子１０１で吸収されて第２の撮像素子１０２には光が到達しないということにはならず、第１の撮像素子１０１を透過した光が第２の撮像素子１０２により受光されることになる。そのため、光を分離させるためのハーフミラー等を設けなくても、共通の被写体に対応する光を第１の撮像素子１０１と第２の撮像素子１０２で受光することができるため、撮像装置の構成をシンプルにすることができる。さらに、第１の撮像素子１０１と第２の撮像素子１０２は、撮像レンズ１００の光軸方向で所定の距離だけ離して配置されるため、図１の配置を用いれば自ずと光路長に差ができ、光路長を異ならせるためのレンズ等を設ける必要もない。
この場合、第１の撮像素子１０１ではＲ信号、Ｇ信号、Ｂ信号のそれぞれを取得でき、第２の撮像素子１０２ではＲ信号を取得できる。よって、第１の撮像素子１０１で取得されたＲ信号に対応する画像（Ｒ画像とも表記する）と、第２の撮像素子１０２で取得されたＲ信号に対応する画像とは、共通の被写体を共通のタイミングで撮像した画像であり、ＤＦＤ処理に適したものと言える。そのため、図１に示した本実施形態の手法を用いれば、モーションブラー等の発生を抑止して、高精度でＤＦＤ処理を行うことが可能となる。つまり、第１の撮像素子１０１ではＢ信号、Ｇ信号、Ｒ信号が取得されるが、ＤＦＤ処理においてはその全てを用いるのではなく、第２の撮像素子１０２で取得される信号と対応する信号、すなわちＲ信号だけを用いればよい。そのため、上述の「第１の画像の画素値」とは、第１の撮像素子１０１から取得されるＲ画像の画素値に対応するものである。
本実施形態の手法では、第１の撮像素子１０１は、第２の撮像素子１０２で受光可能な波長帯域の光をある程度の強度を保ったまま透過することが必要となる。本出願人の調査によれば、デジタルスチルカメラ等で広く用いられている撮像素子の多くが、Ｒ信号に対応する波長の光の一部を透過する性質を有するため、第１の撮像素子１０１としては、種々の撮像素子を広く適用可能である。
しかし、第１の撮像素子１０１を透過する光の強度が強いほど、第２の撮像素子１０２で受光する光量を多くでき、第２の画像の構成に用いられる信号の強度を強くできる。そのため、第１の画像と第２の画像の比較処理（具体的にはぼけ量の比較処理）の精度を向上させることができ、結果としてＤＦＤ処理の精度も向上することが期待される。以上の点に鑑み、第１の撮像素子１０１として、特定の構造の撮像素子を用いるものとしてもよい。
例えば、第１の撮像素子１０１は、半導体基体の光照射側と反対側の面に転送電極が設けられた裏面照射型の撮像素子であってもよい。
従来の撮像素子（表面照射型）では、光が入射される側に電圧の入出力に用いるトランジスタや配線層が形成されている。そのため配線が障害となり、フォトダイオード等の受光素子への光の入射が妨げられ、画像の劣化等につながっていた。それに対して裏面照射型の撮像素子では、図１８に示したようにシリコン基板の裏面側から光を照射する。これにより、配線等が障害にならず、入射した光を効率的にフォトダイオードで受光することができ、感度特性を高くすること等が可能である。
本実施形態では、裏面照射型の撮像素子が質のよい画像を生成できるという点だけでなく、その薄さにも着目している。裏面照射型の撮像素子では、シリコンウェハの表面に支持基板を張り付け、そこからシリコンウェハを削るという作業を行う。製造される裏面照射型の撮像素子は、表面照射型の撮像素子等に比べて薄く構成することが可能である。素子を薄くすることができれば、当該素子内での光の散乱等を抑止することができ、透過する光の強度を強くすることが可能である。すなわち、第１の撮像素子１０１として裏面照射型の撮像素子を用いることで、透過光の強度を高くし、結果として第２の撮像素子１０２で受光する光量を多くすること、及びその結果としてＤＦＤ処理の精度を向上させること等が可能になる。
以下、第１〜第３の実施形態について説明する。第１の実施形態では、第１の撮像素子１０１として垂直色分離型の撮像素子を用いる例について説明する。その際、第１の撮像素子１０１で吸収される光の強度と、第２の撮像素子１０２で吸収される光の強度が異なることから、２つの画像の明るさをそろえるための明るさ補正処理についても説明する。また、第１の撮像素子１０１が回折格子としてはたらくことで、第２の画像では合焦状態の差に起因する焦点ぼけとは異なるぼけも発生してしまうため、回折による影響を補償する処理も合わせて行うものとし、その詳細についても説明する。
第２の実施形態では、第１の撮像素子１０１として広く用いられているベイヤー型の撮像素子を用いる例について説明する。また、第２の実施形態では、撮像素子の各画素に対してマイクロレンズを設ける変形例についても説明する。なお、マイクロレンズはベイヤー型の撮像素子に用いられるものに限定されず、第１の実施形態においてマイクロレンズを用いてもよい。第３の実施形態では、さらにノイズ低減処理を行う例について説明する。
２．第１の実施形態
以下、第１の実施形態を説明する。本実施形態に係る撮像装置は、図２に示すように撮像レンズ１００、第１の撮像素子１０１、第２の撮像素子１０２、Ａ／Ｄ変換部１０３、第１のバッファ１０４、第２のバッファ１０５、フルカラー処理部１０６、画像出力部１０７、明るさ補正処理部１０８（ゲイン処理部）、回折補正処理部１０９、スプレッドパラメータ算出部１１０、ＬＵＴ参照部１１１、距離出力部１１２、撮像部制御部１１３、撮影パラメータ制御部１１４で構成される。ただし、撮像装置は図２の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また、種々の変形実施が可能な点は、図１２等においても同様である。
以下、図４の処理の流れに沿って図２の各ブロックで行われる処理を説明する。まず、ＤＦＤのため、第１の撮像素子１０１と第２の撮像素子１０２の間には識別可能な焦点ぼけ量の差が生じるようにする。そのため、下式（１）を満たすように撮像素子間の距離Ｌ１を決定する。（Ｓ３０１）。
Ｌ１＞２Ｆｒ ・・・・・（１）
上式（１）のＦは撮像レンズ１００のＦ値を表し、ｒは許容錯乱円径を表す。本実施形態では許容錯乱円は１画素の大きさに対応するため、図７に示すように画素ピッチをｄ１とすれば、ｒ＝ｄ１となる。上式（１）の右辺は図３（Ｂ）に示す焦点深度φを表しており、上式（１）を満たすＬ１を設定することで、第１の撮像素子１０１と第２の撮像素子１０２の両方が、焦点深度内に位置することのないように制約を加えている。焦点深度φの範囲内では、光学的には入射光が１点に収束していなかったとしても、画像上ではぼけがないとみなすことができる。つまり、２つの撮像素子がともに焦点深度φ内であると、撮像素子の間で画像のぼけ量に差がなくなってしまいＤＦＤが適切に行えない。上式（１）はそのような観点から設定される条件であり、撮像素子をＬ１だけ離すことで、少なくとも撮像素子間にぼけの差が生じるようにしている。
上式（１）からわかるように、Ｆ値が大きい程Ｌ１が大きくなる。本実施形態では図２の撮影パラメータ制御部１１４でＦ値を設定する度に撮像部制御部１１３で撮像素子を駆動してＬ１を調整する（Ｓ３０２）。また、予め設定可能なＦ値の最大値で式（１）を満たすＬ１で撮像素子の位置を固定しておいても良い。
次に撮像レンズ１００を通った光を被写体からの光路長の異なる第１の撮像素子１０１、第２の撮像素子１０２でそれぞれ撮像する（Ｓ３０３）。
第１の撮像素子１０１と第２の撮像素子１０２は光軸方向に層状に配置し、第１の撮像素子１０１を透過した光を第２の撮像素子１０２で捉える。本実施形態では図３（Ａ）に示す様に第１の撮像素子１０１には画素毎にＲＧＢ３ｃｈの情報を記録可能な素子を用いる。２０１，２０２，２０３はそれぞれシリコン層で形成され、波長の長い光がシリコン層のより深くまで到達する特性を利用して入射光を深度方向に色分離する。
２０１層では入射光の内、Ｂｃｈ、Ｇｃｈ、Ｒｃｈに相当する波長帯域の光（それぞれ２０７，２０８，２０９）が吸収される。２０２層ではＢｃｈに相当する波長帯域の光は届かず、Ｇｃｈ、Ｒｃｈに相当する波長帯域の光（それぞれ２０８，２０９）が吸収される。最も深い２０３層ではＲｃｈに相当する波長帯域の光２０９が吸収される。各層で取得した電荷は２０４の基盤・配線層に伝送される。
なお、各層で取得した電荷をそれぞれＩ２０１，Ｉ２０２，Ｉ２０３とすると、Ｂｃｈの信号は、Ｉ２０１からＩ２０２を用いてＧとＲの成分を除去することで求めることができる。同様に、Ｇｃｈの信号は、Ｉ２０２からＩ２０３を用いてＲの成分を除去することで求めることができる。Ｒｃｈの信号はＩ２０３で取得できる。本実施形態では、Ｉ２０１〜Ｉ２０３を用いて、ＲＧＢの各信号を求める処理（フルカラー処理）を、フルカラー処理部１０６で行う（Ｓ３０４）。
２０３層で吸収し切れなかった光２１０は距離Ｌ１だけ離れた第２の撮像素子１０２のフォトダイオード２０５に到達し、電荷に変換される。
なお、第１の撮像素子１０１の具体的な断面構造は、図５に示したものであってもよい。図５の例ではｐ型のシリコン基板上にｎｐｎ接合層が形成されている。そして、基盤表面のｎｐ接合層で青色光、緑色光、赤色光に対応する信号電荷が発生し、当該信号電荷に基づいてＢ信号、Ｇ信号、Ｒ信号を含んだ信号（上述のＩ２０１）が出力される。同様に、中間のｐｎ接合層で緑色光、赤色光に対応する信号電荷が発生し、当該信号電荷に基づいてＧ信号、Ｒ信号を含んだ信号（上述のＩ２０２）が出力される。そして最も深いｎｐ接合層で赤色光に対応する信号電荷が発生し、当該信号電荷に基づいてＲ信号を含んだ信号（上述のＩ２０３）が出力される。図３（Ａ）等では電極や配線構造を簡略化して記載したが、実際には図５に示したようにｎ型とｐ型の接合面で電荷が発生することになる。
このように、第１の撮像素子１０１と第２の撮像素子１０２で取得した、互いに焦点ぼけ量の異なる２つの画像をＡ／Ｄ変換し、第１のバッファ１０４，第２のバッファ１０５に保持する。第１のバッファ１０４には第１の撮像素子１０１で撮像された第１の画像を保持し、第２のバッファ１０５には第２の撮像素子１０２で撮像された第２の画像を保持する。
後に第１のバッファ１０４のＲｃｈの情報と第２のバッファ１０５の画像情報を用いて互いの焦点ぼけ量の相関関係を表すスプレッドパラメータを算出するため、まずは第２のバッファ１０５の画像情報に所定の補正処理を加える。第２のバッファ１０５の画像情報は、第１の撮像素子１０１を透過してきた光である。そのため、第１の撮像素子１０１の分光透過率（狭義には、図３（Ａ）の２０１〜２０３層を合わせた分光透過率）に基づいて、上記画像間に輝度差が生じている。これを補正するために、明るさ補正処理部１０８で各画素値を所定のゲインを用いて増幅する（Ｓ３０５）。
図６に第１の撮像素子１０１の分光透過率を示す。図６は第１の撮像素子１０１に入射した入射光に対する、透過光の強度を波長軸で表現したものである。図６のＡ３に示したＢ信号に対応する波長は主として２０１層で吸収されるため透過率は０に近い値となり、同様にＡ４に示したＧ信号に対応する波長は主として２０２層で吸収されるため透過率は０に近い値となる。Ａ５に示したＲ信号に対応する波長は、主として２０３層で吸収されるため、透過率は１００パーセントとならないが、上述してきたように入射光の全てが吸収されるわけではないため、透過率は０パーセントにもならない。結果として、Ｒ信号のうち、Ａ１に示した部分は第１の撮像素子１０１で吸収された光に対応し、Ａ２に示した部分は第１の撮像素子１０１を透過した光に対応する（散乱等による影響はここでは考慮していない）。
仮に、第１の撮像素子１０１を透過した光が全て第２の撮像素子１０２で吸収されたとしても、その強度はＡ２の面積相当であるのに対して、第１の撮像素子１０１ではＡ１の面積相当の強度の光が吸収されており、一般的に第１の画像の明るさに対して、第２の画像の明るさは暗い（輝度値が小さい）ものとなる。
一般的に、全体的に輝度値が小さい画像はコントラストも低くなってしまうため、光学的なぼけの度合いが同等であったとしても、より輝度値が高い画像と比較した場合に画像としてはぼけ量が大きいと判定されてしまう。上述したように、ＤＦＤでは合焦状態以外に起因するぼけ量の差は判定精度の低下につながるため好ましくない。よって本実施形態では第１の画像と第２の画像の明るさを同程度にそろえる明るさ補正処理を行う。具体的には、図６に示した分光透過率をＲｃｈに相当する帯域内で平均化した値をＴとすると、下式（２）のゲインを用いてゲイン処理を行えばよい。
gain=(100-T)/T ・・・・・（２）
上式（２）のＴとしては図６を積分して求められるＡ２の面積等を用いればよい。その場合、右辺分子の１００−Ｔとは、Ａ１の面積に相当する値となる。
続いてゲインをかけた画像に対して回折補正処理を施す（Ｓ３０６）。図７〜図９（Ｄ）を用いて回折の影響について説明する。第１の撮像素子１０１を光が透過する際、基盤の配線等が存在する領域は図７に示す様にマスクとして機能する。光が透過する開口と前記マスクは画素毎に周期的に現れるため、第１の撮像素子１０１は開口２ａ、スリット間隔ｄ１の回折格子とみなす事ができる。
図８は被写界のある点Ｏを点光源とみなし、そこから発せられた光が撮像レンズ１００を介して回折格子状の第１の撮像素子１０１に到達する様子を表したものである。点光源Ｏから放射された所定の波長の光は球面波（球面波１）となって撮像レンズ１００に到達する。球面波１は、撮像レンズ１００で位相が変調され、収束球面波（球面波２）となって第１の撮像素子１０１に到達する。
次にこの収束球面波が第２の撮像素子１０２上でどの様に撮像されるかを図９（Ａ）〜図９（Ｄ）に示す。球面波は入射角の異なる平面波の重ね合わせとみなすことができるため、球面波を構成する平面波毎の像に分解すると、撮像素子に垂直に入射する平面波は図９（Ａ）のような干渉縞が現れる。点光源Ｏとレンズ中心を結ぶ直線上に形成される強度Ｉ（０）の点像を中心として、像面上に距離ｍｘ離れる毎に強度Ｉ（ｍ）の点像が形成される。強度Ｉ（ｍ）とｘを下式（３）に示す。ただしｍは正の整数、Ｎは第１の撮像素子上の開口の数、λは光の波長である。
一方、図９（Ｂ）の様に入射する平面波の干渉縞は、点線で示す図９（Ａ）の干渉縞より右側にずれる。入射角が大きくなるとずれる量も大きくなる。同様に、図９（Ｃ）の様に入射する平面波の干渉縞は、点線で示す図９（Ａ）の干渉縞より左側にずれる。これらの影響を全ての入射角で積分すると、図９（Ｄ）の実線で示す様に滑らかな傾斜を有した点像分布となる。この点像分布が本来の焦点ぼけ像に畳み込まれることとなるため、ゲインをかけた画像に対し図９（Ｄ）の点像分布の広がりを補正する処理を施す。回折補正処理部１０９では前記ゲイン処理後の画像に対し、上記点像分布関数から予め算出した逆フィルタを畳み込み演算する。
なお、上記点像分布関数は上式（３）を全ての波長、入射角で積分して算出してもよいし、点光源を実際に撮像して実験的に取得してもよい。点像分布関数から逆フィルタを算出する方法はウィーナーフィルタ等の様々な手法が提案されているが、そのどれを用いてもよい。なお、設計した逆フィルタのタップ数が大きすぎると演算コストが高くなるためｍ＝３程度までをフィルタカーネル内に収めるために６ｘ程度のタップ数とするのが好ましい。
次にＤＦＤにより被写体距離を算出する（Ｓ３０７）。被写体距離の算出手順を図１０のフローチャートと、図１１（Ａ）、図１１（Ｂ）を用いて説明する。本実施形態では例えば非特許文献１で提案されている手法を用いればよい。具体的には、まず第１の画像として第１のバッファ１０４のＲｃｈの画像情報を取得し（Ｓ４０１）、第２の画像として上記補正後の画像情報を取得する（Ｓ４０２）。次に、画像間の対応画素の差分を算出する（Ｓ４０３）。続いて各画像の２次微分値を算出し（Ｓ４０４）、その平均値を求める（Ｓ４０５）。次にここまでで算出した差分値を分子に、２次微分値の平均を分母に下式（４）を解き、焦点ぼけ量の相関を示すスプレッドパラメータＧを算出する（Ｓ４０６）。
なお、ｇ１は第１の画像情報、ｇ２は第２の画像情報、（ｘ，ｙ）は各画像上の座標を表す。また、∇ｇ１は第１の画像情報の２次微分値、∇ｇ２は第２の画像情報の２次微分値を表す。σ１は第１の画像のぼけ量を表し、σ２は第２の画像のぼけ量を表すものであり、スプレッドパラメータＧは、第１の画像と第２の画像のぼけ量の差を求める式である。上式（４）からわかるように、非特許文献１の手法では、それぞれのぼけ量を直接求めずとも、ｇ１，ｇ２及びそれらの２次微分値からスプレッドパラメータを算出可能である。
上記パラメータはスプレッドパラメータ算出部１１０で算出する。最後にＬＵＴ参照部１１１でスプレッドパラメータと一対一対応する被写体距離ｕを記録したルックアップテーブル（ＬＵＴ）を参照し、被写体距離ｕを算出する（Ｓ４０７）。
スプレッドパラメータと被写体距離の関係を図１１（Ａ）、図１１（Ｂ）に示す。図１１（Ａ）は被写体距離の逆数とスプレッドパラメータが線形な関係となることを示している。Ｆ値が変わると図１１（Ｂ）の様に関数の傾きが変化する（Ｆ１＜Ｆ２）ためＦ値に合わせてテーブルが必要となる。また、テーブルを用いず、下式（５）の数式で算出してもよい。下式（５）において、αはＦ値に依存する傾きを表し、βは切片を表す。
Ｇ＝αｕ−１＋β ・・・・・（５）
本実施形態の手法を用いることで、第２の撮像素子１０２の画像情報から明るさの差異や回折の影響が除去され、高精度かつコンパクトなスペースでワンショットのＤＦＤが実現できる。
以上の本実施形態では、第１の撮像素子１０１は、撮像レンズ１００の光軸の方向で、ＲＧＢの各色を順次分離する垂直色分離型の撮像素子である。
ここで垂直色分離型の撮像素子とは、光の進行方向で色（具体的には３原色であるＲＧＢ）を順次分離するセンサであり、例えば図５を用いて上述したように、シリコンを光電変換部に用いてもよい。なお、垂直色分離型の撮像素子としては、ＲＧＢのそれぞれに感度を有し他の色を透過する有機光導電膜を３層積層した光電変換部を有する撮像素子を用いてもよく、種々の変形実施が可能である。
これにより、第１の撮像素子１０１として垂直色分離型の撮像素子を用いることが可能になる。垂直色分離型の撮像素子では、上述したように各層ごとに吸収される光の波長帯域が異なる。これは、各層についての光の吸収特性、透過特性を設計時に決定することにより実現される。つまり、第１の撮像素子１０１として垂直色分離型の撮像素子を用いることで、第１の撮像素子１０１を透過する光、すなわち第２の撮像素子１０２により受光される光の波長帯域やその強度を、ある程度設計事項として制御することが可能になる。そのため、第２の撮像素子１０２で吸収される光の強度の調整が容易であり、結果として第２の画像の明瞭さも調整容易となるため、図１の構成によりＤＦＤを実現する本実施形態の手法と、垂直色分離型の撮像素子との親和性は高いものと言える。
また、撮像装置は図２に示したように、第１の撮像素子１０１の受光部における光の透過率に基づき設定されたゲインを用いて、第２の撮像素子１０２で撮像した第２の画像の画素値を増幅する明るさ補正処理を行う明るさ補正処理部１０８をさらに含んでもよい。
これにより、第１の画像の明るさ（輝度値の大きさ）と、第２の画像の明るさをそろえることが可能になる。上述したように、２つの画像の光学的なぼけ量が同等であったとしても、画像全体の輝度値が異なる場合には、輝度値が大きい画像の方が輝度値が小さい画像に比べてコントラストが大きくなり、結果として輝度値が大きい画像はぼけ量が少なく、輝度値が小さい画像はぼけ量が多いという判定がされてしまう。その点、明るさ補正処理を行って明るさをそろえておけば、画像全体の明るさに起因する画像上でのぼけ量の差が解消されるため、第１の画像と第２の画像の光学的なぼけ量の差を適切に求めることができ、ＤＦＤ処理の精度を向上させることが可能になる。
なお、第１の画像と第２の画像の明るさの差異が事前にわかるのであれば、当該差異を考慮してＬＵＴを作成してもよい。つまり、図１１（Ａ）、図１１（Ｂ）に示した傾きαや切片βの値を、明るさの差異を考慮して求めておく。そのようにすれば、明るさ補正処理を行わずにスプレッドパラメータを求めたとしても、当該スプレッドパラメータを被写体距離に変換する際に、明るさによる影響を補償できる。例えば、第１の撮像素子１０１の設計時に、図６のような透過率の特性が既知となっているのであれば、当該特性に基づいてＬＵＴを決定する処理を行ってもよい。
また、撮像装置は図２に示したように、第２の撮像素子１０２で撮像した第２の画像に対して、第１の撮像素子１０１による回折によって生じるぼけを補正する処理を行う回折補正処理部１０９をさらに含んでもよい。
これにより、図７に示したように、第１の撮像素子１０１が回折格子として作用することで、光路長の差によるぼけとは異なるぼけが第２の画像に生じてしまったとしても、当該ぼけを補正し、光路長の差による（焦点状態の差による）ぼけを適切に求めることが可能になる。なお、明るさ補正処理と同様に、回折によるぼけを事前に求めておくことができるのであれば、回折によるぼけの影響まで考慮してＬＵＴを作成することで、撮像装置から回折補正処理部１０９を除外して、回折補正処理をスキップすることも可能である。
また、撮像レンズ１００を含むレンズ系によって決定されるＦ値をＦとし、許容錯乱円のサイズをｒとした場合に、第２の撮像素子１０２は、撮像レンズ１００の光軸の方向において、第１の撮像素子１０１から、Ｌ＞Ｆ×ｒを満たす所定の距離Ｌだけ離して配置される。
これにより、上述したように第１の撮像素子１０１と第２の撮像素子１０２の両方が焦点深度内に位置することを回避できるため、第１の画像と第２の画像のぼけ量に差を生じさせることが可能になる。結果として、スプレッドパラメータを精度よく求めることができ、ＤＦＤ処理により求められる被写体距離の精度も向上する。
また、以上の本実施形態は上述の撮像装置を含む電子機器に適用できる。本実施形態の適用対象としては、図１９（Ａ）に示したデジタルカメラや、図１９（Ｂ）に示した内視鏡装置の他、被写体までの距離情報を用いる種々の機器に適用できる。図１９（Ｂ）の内視鏡装置であれば、撮像部の撮像により得られた画像（図２のフルカラー処理部１０６で生成されるカラー画像に対応）を単純に表示するのではなく、当該画像に対して距離情報を用いた画像処理を施してから表示すること等が考えられる。ここでの画像処理とは、例えば特定の距離の被写体を強調して、当該被写体の視認性を高める強調処理等である。その他、図１９（Ｃ）に示したように、本実施形態に係る電子機器は、ＰＣ等の制御装置１０と、撮像部２０を含む機器であってもよく、撮像部２０は図１等の構成により第１の画像と第２の画像を取得し、制御装置１０においてＤＦＤ処理を行って、被写体ＯＢまでの距離情報を算出する。制御装置１０では、距離情報を用いた種々の処理を行うことができ、例えばカラー画像を用いて光軸に直交する方向での被写体ＯＢの形状やサイズを識別し、距離情報を用いて光軸方向での被写体ＯＢの情報を識別することで、被写体ＯＢの３Ｄモデルを生成する等の処理を行ってもよい。つまり、本実施形態の手法は、距離情報を利用する種々の電子機器に適用可能と言える。
また、本実施形態の撮像装置等は、プロセッサとメモリを含んでもよい。ここでのプロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただしプロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路でもよい。また、メモリはコンピュータにより読み取り可能な命令を格納するものであり、当該命令がプロセッサにより実行されることで、本実施形態に係る撮像装置等の各部が実現されることになる。ここでのメモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
３．第２の実施形態
以下、第２の実施形態を説明する。本実施形態は図１２に示すような撮像装置の構成において、第１の実施形態と同様である部分については説明を省略し、主として構造の異なる点についてのみ説明する。本実施形態に係る撮像装置は、第１の実施形態の構成に加えて、図１２に示したように画素混合処理部１１６を備えている。
本実施形態の構成は、第１の撮像素子１０１が図１３に示したようにベイヤー配列のカラーフィルタを備える場合について説明する。
第１の撮像素子１０１と第２の撮像素子１０２の構造と配置を図１４に示す。図１４は、例えば図１３の矢印に示したように、第１の撮像素子１０１のうちのＲｃｈの画素を含む１列について、撮像素子の横方向から観察した場合の図である。図１４の１００１はカラーフィルタ、１００２はフォトダイオード、１００３は基盤と配線の層である。図１４に示したように、カラーフィルタはＲとＧが交互に並ぶことになる。
ベイヤー配列の撮像素子を第１の撮像素子１０１に使用する場合、Ｒｃｈの画素以外に入射する光１００６は、Ｇ又はＢ信号に対応する波長を透過させるカラーフィルタに入射するため、Ｒｃｈの波長の光はカラーフィルタにより遮光される。また、Ｂｃｈ、Ｇｃｈの光は、第１の実施形態でも上述したように、第１の撮像素子１０１において吸収される。結果として、Ｒｃｈ以外の画素では、第１の撮像素子１０１を透過して第２の撮像素子１０２で吸収される光はないものと考えてよい。
一方、Ｒｃｈに入射する光１００４は、Ｇ，Ｂの波長の光はカラーフィルタで遮光され、Ｒの波長の光が第１の撮像素子１０１で吸収される。この際、第１の実施形態と同様に、Ｒの波長の光の一部は第１の撮像素子１０１を透過して第２の撮像素子１０２に到達する。つまり本実施形態では、第１の撮像素子１０１のＲｃｈの画素から構成される画像（Ｒ画像）と、第１の撮像素子１０１のＲｃｈの画素を透過した光が第２の撮像素子１０２が受光されることによる画像とを用いて、ＤＦＤ処理を行うことになる。
この場合、図１３に示したように第１の撮像素子１０１では、ＤＦＤに用いるＲｃｈのサンプリング間隔が水平・垂直方向に１画素おきとなるため、撮像素子間の距離Ｌ２の条件算出に必要な許容錯乱円径は図１５に示す様に２画素分のｄ２となる。つまり本実施形態での第１の撮像素子１０１と第２の撮像素子１０２との間の距離Ｌ２は、上式（１）のｒにｄ２を代入した下式（６）となる。
Ｌ２＞２Ｆｄ２ ・・・・・（６）
また、第１の撮像素子１０１が回折格子として働くことにより第２の撮像素子上で発生する回折は下式（７）となる。
ここで、上式（７）のｘの値は、回折によるぼけの広がりを表すパラメータとなるため、ｘが大きいほどぼけの広がりが大きい。ぼけの広がりが大きいほど、回折補正処理を行うための逆フィルタのタップ数が大きくなり処理負荷が増大するし、タップ数を増やさずに回折補正処理を実行すれば、回折補正処理の精度が低下することになり好ましくない。ここで上式（６）を見ると、ｄ２が第１の実施形態のｄ１に比べて倍の値となるため、Ｌ２の下限値が倍増する。そのため、Ｌ２を分子に含むｘも第１の実施形態に比べて大きくなるかのようにも思えるが、上式（７）を見ると、ｘの分子にはｄ２が含まれる。つまり、（Ｌ２／ｄ２）としてみれば、その値は第１の実施形態の（Ｌ１／ｄ１）と同程度となるはずであり、Ｌ２が大きくなるからと言って、ｘの値、すなわち回折によるぼけの広がりも大きくなるわけではないということがわかる。以上のことより、回折補正処理については、第１の実施形態のように第１の撮像素子１０１として垂直色分離式の撮像素子を用いても、本実施形態のように第１の撮像素子１０１としてベイヤー配列の撮像素子を用いても、大きな差は出ないと言える。この関係はＲｃｈの画素の水平・垂直方向のサンプリング間隔が２以上（その値を含む）の幾つになろうと同様である。
また、ＤＦＤのため第１の撮像素子１０１でのＲｃｈのサンプリング数と、第２の撮像素子１０２で取得する画像の画素数を一致させる必要がある。図１３に示したように、Ｒｃｈの画素が４画素に１画素の割合であるとすれば、第１の撮像素子１０１の画素のうち、ＤＦＤに用いられるＲ画像に寄与する画素は、全体の１／４となる。それに対して、第２の撮像素子１０２は、通常全画素がＲ画像の生成に用いられる。その場合、第１の撮像素子１０１と第２の撮像素子１０２の画素ピッチが同等であるとすれば、第１の撮像素子１０１による第１の画像は、第２の撮像素子１０２による第２の画像に比べて、画素数が低くなってしまい、ＤＦＤの際に適切な判定ができない。
そのため図１２の画素混合処理部１１６は、第２の撮像素子１０２で撮像した画像の画素値を、水平・垂直２画素ずつ計４画素分平均する。画素混合に関して図１５で説明する。ｒ１の画素に対応する画素として水平方向ではａ１とａ２を、ｒ２に対応する画素としてａ３とａ４を、ｒ３に対応する画素としてａ５とａ６の平均をとる。垂直方向も同様に平均値を算出する。その際、撮像素子を上から見た場合に、図１６（Ａ）に示したようにｒ１とａ１が一致するように配置してしまうと、ｒ１の中心がＣ１であるのに対して、第２の撮像素子１０２の４画素（ａ１，ａ２，ａ’１，ａ’２）を混合した画素の中心はＣ２となりその位置がずれてしまう。よって、画素混合後に第１の撮像素子１０１と第２の撮像素子１０２の画素位置を揃えるため、図１４や図１５に示したように第２の撮像素子１０２を水平・垂直方向に半画素ずつずらして配置することが望ましい。このようにすれば、図１６（Ｂ）に示したように、第１の撮像素子１０１と第２の撮像素子１０２の画素中心が、Ｃ３で一致することになる。
最後に画素混合した第２の撮像素子１０２のＲ画像（第２の画像）と、第１の撮像素子１０１のＲｃｈサンプリング画像（第１の画像）を用いて、第１の実施形態と同様にＤＦＤによる被写体距離算出を行う。
なお、ＤＦＤの際に適切な判定をおこなうには、第１の撮像素子１０１による第１の画像の画素数と、第２の撮像素子１０２による第２の画像の画素数の対応がとれていれば（狭義には画素数が同一であれば）よい。そのため、画素数をそろえる処理は上記の画素混合処理に限定されるものではない。例えば本実施形態の撮像装置は図２０に示した構成であってもよく、図２０では図１２と比較した場合に、画素混合処理部１１６が除かれ、画素サンプリング処理部１１７が追加された構成となっている。
画素サンプリング処理とは、例えば画素を水平方向、又は垂直方向、又はその両方の方向において、数画素分飛ばしながらサンプリングすることで画素数を調整する処理である。上述したように、第１の画像の画素数が、第２の画像の画素数に対して１／４になってしまう例であれば、画素サンプリング処理部１１７は、第２の画像に対して、水平方向で１画素飛ばしでサンプリング（２画素のうち１画素をサンプリング）し、同様に垂直方向でも１画素飛ばしでサンプリングすればよい。このようにすれば、画素サンプリング処理後の画像は画素数が１／４となるため、第１の画像の画素数と、画素サンプリング処理後の第２の画像の画素数の対応がとれることになる。
また、本実施形態では図１７に示したように、第１の撮像素子１０１に集光用のマイクロレンズ１０００を設置してもよい。集光用のマイクロレンズは、ＤＦＤ処理を行わない一般的な撮像装置においても広く用いられるものである。第１の撮像素子１０１にマイクロレンズ１０００を設けた場合、上式（６）のＦは、撮像レンズ１００のＦ値であるＦそのものではなく、ＦとマイクロレンズのＦ値であるＦｍの合成Ｆ値Ｆｃを用いることになる。
一般的に、合成Ｆ値Ｆｃの値は、撮像レンズ１００単体でのＦ値Ｆよりも小さい値となるため、マイクロレンズを用いない場合に比べて、上式（６）の右辺の値を小さくでき、結果としてマイクロレンズのＦ値の影響でＬ２を短くできる。そのため、上式（７）のｘが小さくなり（回折によるぼけの広がりを小さくでき）、回折補正用の逆フィルタに必要なタップ数もマイクロレンズ１０００を用いない場合に比べて小さくできる。
本実施形態の手法を用いることで、第２の撮像素子１０２の画像情報から明るさの差異や回折の影響が除去され、更に画素混合されることで第１の撮像素子１０１のサンプリング画像と画素数が一致し、高精度かつコンパクトなスペースでワンショットのＤＦＤが実現できる。
以上の本実施形態では、第１の撮像素子１０１は図１３に示したように、各画素に対してモザイク状に配置された所定のカラーフィルタを備える撮像素子である。
ここで、各画素に対してモザイク状に配置された所定のカラーフィルタを備える撮像素子とは、狭義にはベイヤー配列の撮像素子であるがこれに限定されない。
これにより、従来の撮像装置においても広く用いられている撮像素子を、本実施形態における第１の撮像素子１０１として利用することが可能になる。よって、第１の撮像素子１０１を容易に、且つ安価で実現すること等が可能である。
また、撮像装置は図１７に示したように、第１の撮像素子１０１の各画素に対して設けられ、集光に用いられるマイクロレンズ１０００をさらに含んでもよい。
これにより、上述したように合成Ｆ値Ｆｃを、撮像レンズ１００単体でのＦ値Ｆに比べて小さくすることができ、Ｌ２を短くすること、及び回折補正用の逆フィルタのタップ数（フィルタに組み込まれる乗算器の数であり、フィルタの係数の数に対応）を少なくしてフィルタ処理の負荷を軽減すること等が可能になる。
また、撮像装置は図１２に示したように、第１の画像と第２の画像の少なくとも一方に対して画素混合処理を行うことで、第１の画像の画素数と第２の画像の画素数を対応させる（狭義には一致させる）処理を行う画素混合処理部１１６をさらに含んでもよい。
これにより、第１の画像の画素数と第２の画像の画素数が異なることで、光路長の差によるぼけとは異なるぼけが第２の画像に生じてしまったとしても、当該ぼけを補正し、光路長の差による（焦点状態の差による）ぼけを適切に求めることが可能になる。
また、撮像装置は図２０に示したように、第１の画像と第２の画像の少なくとも一方に対して画素サンプリング処理を行うことで、第１の画像の画素数と第２の画像の画素数を対応させる（狭義には一致させる）処理を行う画素サンプリング処理部１１７をさらに含んでもよい。
これにより、第１の画像の画素数と第２の画像の画素数が異なることで、光路長の差によるぼけとは異なるぼけが第２の画像に生じてしまったとしても、当該ぼけを補正し、光路長の差による（焦点状態の差による）ぼけを適切に求めることが可能になる。
なお、第２の撮像素子１０２は、第１の撮像素子１０１のうち、ＲＧＢ信号のうちのＲ信号の生成に用いられる画素の数に対応した（狭義には一致した）画素数を有する撮像素子であってもよい。
上述した第１の画像の画素数と第２の画像の画素数は、第１の撮像素子１０１と第２の撮像素子１０２の画素ピッチが共通であることを前提としていたために発生していた。しかし、第２の撮像素子１０２の画素ピッチを大きく（単位面積当たりの画素数を少なく）しておけば、特に画素混合処理等を行わなくとも、第１の撮像素子１０１のＲｃｈの画素から生成される第１の画像の画素数と、第２の撮像素子１０２から生成される第２の画像の画素数を一致させることが可能である。本実施形態で上述したように、第１の撮像素子１０１のＲｃｈの画素数が全体の１／４となるのであれば、第２の撮像素子１０２の画素ピッチを１／２（単位面積当たりの画素数を１／４）としておけばよい。
４．第３の実施形態
以下、第３の実施形態を説明する。本実施形態は図２１に示すような撮像装置の構成において、第１の実施形態と同様である部分については説明を省略し、主として構造の異なる点についてのみ説明する。本実施形態に係る撮像装置は、第１の実施形態の構成に加えて、図２１に示したようにノイズ低減処理部１１８を備えている。
上述したように、本発明の構成では第１の撮像素子による第１の画像の輝度より第２の撮像素子による第２の画像の輝度の方が低い。そのため、第１，第２の実施形態では、明るさ補正処理部（ゲイン処理部）１０８により、第１の画像と第２の画像の明るさを同程度にそろえる明るさ補正処理を行っている。具体的には、第２の画像に対するゲインアップ処理を行えばよい。
上述したように、ＤＦＤでは合焦状態以外に起因するぼけ量の差は判定精度の低下につながるため好ましくないところ、輝度の差異だけでなく、ノイズ（狭義にはＳＮ比）の差異でもぼけ量は変化してしまう。具体的には、画像上のノイズは微小なコントラストを形成するため、ノイズが多ければ多いほどコントラストが大きくなりぼけ量が実際の値より小さく判定されてしまう。一般に輝度が低い程画像のＳＮ比は低下するため、第１の画像と第２の画像間にはＳＮ比のギャップが存在することになり、第２の画像の方がぼけ量が小さく判定される度合いが大きくなる。
そして、ＳＮ比の関係性は上述した明るさ補正処理部１０８による補正処理で画像間の明るさを平準化した後も変わらないため、結果的にＤＦＤ処理の精度が低下してしまう。
そこで本実施形態では、第１の画像と第２の画像のＳＮ比を平準化するために第２の画像に所定のノイズ低減処理を施す。具体的には、本実施形態に係る撮像装置は図２１に示すように、明るさ補正処理部（ゲイン処理部）１０８の出力にノイズ低減処理を施すノイズ低減処理部１１８を備える。
ノイズ低減処理部１１８では、ゲイン処理実施後の第２の画像のＳＮ比と第１の画像のＳＮ比の差分を打ち消す強度でノイズ低減処理を施す。画像間のＳＮ比の差分は、第１と第２の各撮像素子の材質や構造に起因したノイズ特性や、第１の撮像素子の透過率、入射光量等で決定される。そのため実験的に最適な値を算出し、画素値を鍵としたルックアップテーブルとして保持することが望ましい。
なお、ノイズ低減処理はバイラテラルフィルタ等の一般的手法を含め、どの様な手法を用いてもよい。ノイズ低減フィルタ等では、処理強度（ノイズの低減度合い）を種々のパラメータを調整することで設定可能であるため、当該処理強度が、第１の画像と第２の画像のＳＮ比を同程度とする強度となるように設定を行えばよい。
また、図２１の例では、明るさ補正処理部１０８での処理後に、ノイズ低減処理部１１８での処理を行う例を示したが処理手順はこれに限定されず、第２のバッファの出力をノイズ低減処理部１１８においてノイズ低減した後、明るさ補正処理部１０８へ渡してもよい。
以上、本発明を適用した３つの実施の形態１〜３およびその変形例について説明したが、本発明は、各実施の形態１〜３やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜３や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜３や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
１０ 制御装置、２０ 撮像部、１００ 撮像レンズ、
１０１ 第１の撮像素子、１０２ 第２の撮像素子、
１０３ Ａ／Ｄ変換部、１０４ 第１のバッファ、１０５ 第２のバッファ、
１０６ フルカラー処理部、１０７ 画像出力部、１０８ 明るさ補正処理部、
１０９ 回折補正処理部、１１０ スプレッドパラメータ算出部、
１１１ ＬＵＴ参照部、１１２ 距離出力部、１１３ 撮像部制御部、
１１４ 撮影パラメータ制御部、１１５ 被写体距離算出部、
１１６ 画素混合処理部、１１７ 画素サンプリング処理部、
１１８ ノイズ低減処理部、１０００ マイクロレンズ

Claims (12)

  1. 撮像レンズの光軸上に配置され、第１の画像を撮像する第１の撮像素子と、
    前記撮像レンズの前記光軸上に、前記第１の撮像素子から所定の距離だけ離して配置され、前記第１の撮像素子を透過した光を受光し、第２の画像を撮像する第２の撮像素子と、
    前記第１の撮像素子の受光部における光の透過率に基づき設定されたゲインを用いて、前記第２の撮像素子で撮像した前記第２の画像の画素値を増幅する明るさ補正処理を行う明るさ補正処理部と、
    前記第１の画像の画素値と、前記明るさ補正処理後の前記第２の画像の画素値とに基づいて、ＤＦＤ（Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓ）処理を行って被写体距離を算出する被写体距離算出部と、
    を含み、
    前記明るさ補正処理部は、
    前記第１の画像の明るさと、前記第２の画像の明るさをそろえるような前記明るさ補正処理を行うことを特徴とする撮像装置。
  2. 請求項１において、
    前記第１の画像のＳＮ比と、前記明るさ補正処理後の前記第２の画像のＳＮ比をそろえるようなノイズ低減処理を行うノイズ低減処理部をさらに含むことを特徴とする撮像装置。
  3. 請求項１又は２において、
    前記第１の撮像素子は、
    前記撮像レンズの前記光軸の方向で、ＲＧＢの各色を順次分離する垂直色分離型の撮像素子であることを特徴とする撮像装置。
  4. 請求項１又は２において、
    前記第１の撮像素子は、
    各画素に対してモザイク状に配置された所定のカラーフィルタを備える撮像素子であることを特徴とする撮像装置。
  5. 請求項１乃至４のいずれかにおいて、
    前記第１の撮像素子は、
    半導体基体の光照射側と反対側の面に転送電極が設けられた裏面照射型の撮像素子であることを特徴とする撮像装置。
  6. 請求項１乃至６のいずれかにおいて、
    前記第２の撮像素子で撮像した前記第２の画像に対して、前記第１の撮像素子による回折によって生じるぼけを補正する処理を行う回折補正処理部をさらに含むことを特徴とする撮像装置。
  7. 請求項１乃至７のいずれかにおいて、
    前記撮像レンズを含むレンズ系によって決定されるＦ値をＦとし、許容錯乱円のサイズをｒとした場合に、
    前記第２の撮像素子は、
    前記撮像レンズの前記光軸の方向において、前記第１の撮像素子から、Ｌ＞Ｆ×ｒを満たす前記所定の距離Ｌだけ離して配置されることを特徴とする撮像装置。
  8. 請求項１乃至８のいずれかにおいて、
    前記第１の撮像素子の各画素に対して設けられ、集光に用いられるマイクロレンズをさらに含むことを特徴とする撮像装置。
  9. 請求項１乃至９のいずれかにおいて、
    前記第１の画像と前記第２の画像の少なくとも一方に対して画素混合処理を行うことで、前記第１の画像の画素数と前記第２の画像の画素数を対応させる処理を行う画素混合処理部をさらに含むことを特徴とする撮像装置。
  10. 請求項１乃至９のいずれかにおいて、
    前記第１の画像と前記第２の画像の少なくとも一方に対して画素サンプリング処理を行うことで、前記第１の画像の画素数と前記第２の画像の画素数を対応させる処理を行う画素サンプリング処理部をさらに含むことを特徴とする撮像装置。
  11. 請求項１乃至９のいずれかにおいて、
    前記第２の撮像素子は、
    前記第１の撮像素子のうち、ＲＧＢ信号のうちのＲ信号の生成に用いられる画素の数に対応した画素数を有する撮像素子であることを特徴とする撮像装置。
  12. 請求項１乃至１２のいずれかに記載の撮像装置を含むことを特徴とする電子機器。
JP2015541522A 2013-10-08 2014-09-29 撮像装置及び電子機器 Active JP6329557B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013210714 2013-10-08
JP2013210714 2013-10-08
PCT/JP2014/075801 WO2015053113A1 (ja) 2013-10-08 2014-09-29 撮像装置及び電子機器

Publications (2)

Publication Number Publication Date
JPWO2015053113A1 JPWO2015053113A1 (ja) 2017-03-09
JP6329557B2 true JP6329557B2 (ja) 2018-05-23

Family

ID=52812932

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015541522A Active JP6329557B2 (ja) 2013-10-08 2014-09-29 撮像装置及び電子機器

Country Status (3)

Country Link
US (1) US9888177B2 (ja)
JP (1) JP6329557B2 (ja)
WO (1) WO2015053113A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6594101B2 (ja) * 2015-08-19 2019-10-23 キヤノン株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10198647B2 (en) * 2015-09-25 2019-02-05 Datalogic IP Tech, S.r.l. Compact imaging module with range finder
US9870603B1 (en) * 2016-08-03 2018-01-16 Rockwell Collins, Inc. Image integrity monitor system and method
CN110678116B (zh) * 2017-06-05 2022-11-04 索尼公司 医疗***和控制单元
US11837617B2 (en) * 2022-04-27 2023-12-05 Visera Technologies Company Ltd. Under-display camera system and operating method thereof

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3228523B2 (ja) 1991-05-20 2001-11-12 オリンパス光学工業株式会社 合焦点検出装置
JP3236033B2 (ja) 1991-07-25 2001-12-04 オリンパス光学工業株式会社 合焦点検出装置
EP1256831A1 (en) * 2001-05-11 2002-11-13 MVTec Software GmbH Method and system for calibrating an image range device
DE10134647A1 (de) * 2001-07-17 2003-02-06 Ballard Power Systems Vorrichtung zur selektiven Oxidation eines Stoffstroms
JP4004316B2 (ja) * 2002-03-20 2007-11-07 株式会社トプコン 測量装置及び測量装置を用いて画像データを取得する方法
JP2007049566A (ja) * 2005-08-11 2007-02-22 Sony Corp 撮像装置と映像信号生成方法
US7705970B2 (en) * 2006-06-05 2010-04-27 The Regents Of The University Of Colorado Method and system for optical imaging and ranging
CN101779154B (zh) * 2007-08-13 2012-03-07 松下电器产业株式会社 摄像装置和照相机
JP2009092909A (ja) * 2007-10-09 2009-04-30 Panasonic Corp 撮像装置、フォーカス制御方法、プログラムおよび集積回路
US8077233B2 (en) * 2008-02-22 2011-12-13 Panasonic Corporation Imaging apparatus
US8218061B2 (en) * 2008-09-04 2012-07-10 Csr Technology Inc. Apparatus, method, and manufacture for iterative auto-focus using depth-from-defocus
US8502756B2 (en) 2009-11-02 2013-08-06 Sony Corporation Image display device with imaging unit
JP5533039B2 (ja) * 2009-11-02 2014-06-25 ソニー株式会社 撮像装置付き画像表示装置
EP2584310A4 (en) * 2010-06-17 2014-07-09 Panasonic Corp IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
JP5869883B2 (ja) * 2010-06-17 2016-02-24 パナソニック株式会社 画像処理装置
JP2012049289A (ja) * 2010-08-26 2012-03-08 Sony Corp 固体撮像装置とその製造方法、並びに電子機器
JP5832424B2 (ja) * 2010-11-17 2015-12-16 パナソニック株式会社 撮像装置及び距離計測方法
JP5333493B2 (ja) * 2011-03-22 2013-11-06 株式会社ニコン 裏面照射型撮像素子および撮像装置
JP5934929B2 (ja) * 2011-05-27 2016-06-15 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
JP5341286B1 (ja) * 2011-12-16 2013-11-13 オリンパスメディカルシステムズ株式会社 深度拡大装置
JP5990008B2 (ja) * 2012-02-22 2016-09-07 キヤノン株式会社 撮像装置およびその制御方法
JP5848177B2 (ja) * 2012-03-27 2016-01-27 日本放送協会 多重フォーカスカメラ
US9258470B1 (en) * 2014-07-30 2016-02-09 Google Inc. Multi-aperture imaging systems

Also Published As

Publication number Publication date
WO2015053113A1 (ja) 2015-04-16
US9888177B2 (en) 2018-02-06
US20160219221A1 (en) 2016-07-28
JPWO2015053113A1 (ja) 2017-03-09

Similar Documents

Publication Publication Date Title
US11856291B2 (en) Thin multi-aperture imaging system with auto-focus and methods for using same
JP4483951B2 (ja) 撮像装置
US10574916B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and computer-readable storage medium
JP5728673B2 (ja) 多開口画像データの処理
JP4941332B2 (ja) 撮像装置
JP5670481B2 (ja) 多開口画像データの処理
JP6329557B2 (ja) 撮像装置及び電子機器
JP5398346B2 (ja) 撮像装置及び信号処理装置
JP2011176715A (ja) 裏面照射型撮像素子および撮像装置
JP5406383B2 (ja) 撮像装置
JP5591851B2 (ja) 固体撮像装置および携帯情報端末
JP2008299184A (ja) 撮像装置および焦点検出装置
JP2014164174A (ja) 固体撮像装置、携帯情報端末、および固体撮像システム
US11388383B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium
JP5217880B2 (ja) 撮像装置
US20160044230A1 (en) Focus detection apparatus, control method for the same, and image capture apparatus
US9300862B2 (en) Control apparatus and control method
US8319167B2 (en) Solid state imaging device and electronic apparatus
US10362214B2 (en) Control apparatus, image capturing apparatus, control method, and non-transitory computer-readable storage medium
WO2018150925A1 (ja) 焦点検出装置、焦点検出方法、および焦点検出プログラム
WO2016111175A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
US20160156867A1 (en) Image sensor, image capturing apparatus, focus detection apparatus, image processing apparatus, and control method of image capturing apparatus
US11889186B2 (en) Focus detection device, focus detection method, and image capture apparatus
JP2019070610A (ja) 測距装置および測距方法
JP2017005509A (ja) 固体撮像素子、撮像装置、および測距装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180420

R151 Written notification of patent or utility model registration

Ref document number: 6329557

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250