JP2015015704A - 測距装置、撮像装置及び測距装置の制御方法 - Google Patents
測距装置、撮像装置及び測距装置の制御方法 Download PDFInfo
- Publication number
- JP2015015704A JP2015015704A JP2014116670A JP2014116670A JP2015015704A JP 2015015704 A JP2015015704 A JP 2015015704A JP 2014116670 A JP2014116670 A JP 2014116670A JP 2014116670 A JP2014116670 A JP 2014116670A JP 2015015704 A JP2015015704 A JP 2015015704A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- photoelectric conversion
- conversion unit
- distance measuring
- transfer mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims description 59
- 238000000034 method Methods 0.000 title claims description 32
- 238000006243 chemical reaction Methods 0.000 claims abstract description 235
- 210000001747 pupil Anatomy 0.000 claims abstract description 180
- 238000012546 transfer Methods 0.000 claims abstract description 83
- 238000012545 processing Methods 0.000 claims abstract description 33
- 230000009467 reduction Effects 0.000 claims abstract description 25
- 230000005540 biological transmission Effects 0.000 claims description 45
- 230000003287 optical effect Effects 0.000 claims description 33
- 238000005259 measurement Methods 0.000 claims description 26
- 230000000875 corresponding effect Effects 0.000 description 38
- 238000002834 transmittance Methods 0.000 description 36
- 238000009826 distribution Methods 0.000 description 27
- 230000003321 amplification Effects 0.000 description 11
- 238000003199 nucleic acid amplification method Methods 0.000 description 11
- 230000007423 decrease Effects 0.000 description 10
- 230000004907 flux Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 230000005484 gravity Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/705—Pixels for depth measurement, e.g. RGBZ
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【課題】撮影条件によって測距用画像信号が劣化し測距精度が低下することを抑制する。
【解決手段】第一および第二の瞳領域を通過した光束を受光する複数の光電変換部を備えた測距画素と、前記測距画素中の複数の光電変換部によって共有される読出し部と、を備え、一方の光電変換部に蓄積された信号電荷を第一の信号として出力し、第一の信号に加えて他方の光電変換部に蓄積された信号電荷を上乗せした第二の信号を出力する測距装置において、信号強度の強い方を第一の光電変換部として、ノイズ低減処理後の第一および第二の信号の差分により他方の光電変換部に蓄積された信号電荷を取得する第一の転送モードと、信号強度の弱い方を第一の光電変換部として、第一および第二の信号の差分により他方の光電変換部に蓄積された信号電荷を取得する第二の転送モードとが選択可能である。
【選択図】図4
【解決手段】第一および第二の瞳領域を通過した光束を受光する複数の光電変換部を備えた測距画素と、前記測距画素中の複数の光電変換部によって共有される読出し部と、を備え、一方の光電変換部に蓄積された信号電荷を第一の信号として出力し、第一の信号に加えて他方の光電変換部に蓄積された信号電荷を上乗せした第二の信号を出力する測距装置において、信号強度の強い方を第一の光電変換部として、ノイズ低減処理後の第一および第二の信号の差分により他方の光電変換部に蓄積された信号電荷を取得する第一の転送モードと、信号強度の弱い方を第一の光電変換部として、第一および第二の信号の差分により他方の光電変換部に蓄積された信号電荷を取得する第二の転送モードとが選択可能である。
【選択図】図4
Description
本発明は、被写体の距離を測定する測距装置に関し、特に撮像装置などに用いられる測距装置に関するものである。
デジタルスチルカメラやビデオカメラにおいて、撮像素子の一部あるいは全部の画素に測距機能を有する測距画素を配置し、位相差方式で距離を検出するようにした固体撮像素子が提案されている(特許文献1)。測距画素は、複数の光電変換部を有している。複数の光電変換部は、画素内のマイクロレンズを介してカメラレンズの射出瞳と光学的に略共役な位置に配置されている。これにより、カメラレンズの瞳上の異なる領域を通過した光束がそれぞれの光電変換部に導かれるように構成される。各測距画素に配置された複数の光電変換部で得た信号により、異なる瞳領域を通過した光束で生成される光像(以後、測距用画像と呼ぶ)を取得する。2つの測距用画像のズレ量を基に、三角測量の原理を用いてデフォーカス量を算出し、距離を測定することができる。また、ひとつの画素内の複数の光電変換部の出力を合算することにより、撮像信号を得ることができる。
さらに、信号取得を高速化するために、複数の光電変換部で読出し部を共有し、複数の光電変換部の出力を加算して読み出す方法が知られている。例えば、2つの光電変換部で読出し部を共有し、第一の光電変換部の出力を増幅素子に転送し読み出した後、第二の光電変換部の出力を増幅素子に転送し、両方の光電変換部の出力和を読み出す方法が知られている(特許文献2)。第二の光電変換部の出力は、両方の光電変換部の出力和から、第一の光電変換部の出力を減算することにより求める。これにより、各々の光電変換部の出力を別々に増幅素子に転送し読み出す方法に比べ、増幅素子のリセット動作の回数を減らせるため、高速に読出し動作が行える。
しかしながら、特許文献2の手法では、撮影条件によっては撮像素子面内で測距精度が
低下する領域があるという問題が有った。
低下する領域があるという問題が有った。
一般に、ズームやフォーカス状態により、カメラレンズの射出瞳位置は変化する。一方、画素内のマイクロレンズと光電変換部の位置関係は固定である。よって、撮影条件によっては、光電変換部と射出瞳は共役関係から外れる場合がある。共役関係から外れると、撮像素子内の各測距画素の位置に応じて、測距画素の各光電変換部で受光する光束が通過する瞳上の領域は異なる。各測距画素で受光する光束の瞳上での面積が小さくなると、検出される測距用画像の明るさが低下する。よって、撮像素子内の各測距画素の位置に応じて、測距画素内の各光電変換部で検出する画像の光量は異なる。
一方、単独で光電変換部出力を読み出す場合に比べ、減算により光電変換部出力を求める場合は、ランダムノイズの乗り方が異なるため、出力信号(測距用画像信号)のSN比が低い。
撮像素子内の測距画素の位置に応じて検出光量が異なるにも関わらず、従来は、常に測距画素内で同じ位置関係の光電変換部の出力信号を単独で読み出していた。このため、検出光量が小さい側の光電変換部と、読出し方法によりSN比が低くなる側の光電変換部(減算により出力を求める光電変換部)とが一致する場合が有り、この光電変換部の出力による測距用画像信号はSN比の低下幅が増大する。測距用画像信号のSN比が低下すると、像ずれ量の読取誤差が大きくなり、測距精度が低下する。検出光量は撮像素子内の各測距画素の位置によるため、撮像素子面内で測距精度が低い領域が存在する。
なお、光電変換部とカメラレンズの射出瞳の共役関係が保持されている場合においても、レンズ枠での光束けられ、いわゆる口径食が有る場合は、撮像素子内の測距画素の位置によって検出光量は異なる。カメラレンズの絞り径や上述の撮影条件によって、光量変化は増大し、さらに測距精度が低下する。
上記の課題を考慮して、本発明は、撮影条件によらず、撮像素子全域で高精度な測距が可能な測距装置を提供することを目的とする。
本発明の第一の態様は、
撮像光学系と、
前記撮像光学系の第一の瞳領域を通過した光束を受光する光電変換部と、前記撮像光学系の第一の瞳領域とは異なる第二の瞳領域を通過した光束を受光する光電変換部と、を備えた測距画素を含む撮像素子と、
前記測距画素中の複数の光電変換部によって共有される読出し部と、
を備えた測距装置であって、
前記複数の光電変換部のうち、第一の光電変換部に蓄積された信号電荷を該読出し部に転送し第一の光電変換部に蓄積された信号電荷に対応した第一の信号を出力し、
前記第一の信号に加え、第二の光電変換部に蓄積された信号電荷を前記読出し部に転送し上乗せした第二の信号を出力し、
前記第一の瞳領域を通過した光束を受光する光電変換部と前記第二の瞳領域を通過した光束を受光する光電変換部のうち、被写体からの光束が前記撮像光学系に入射してから前記光電変換部に達するまでの透過効率が高い側の光電変換部を前記第一の光電変換部とする第一の転送モードと、該透過効率が低い側の光電変換部を前記第一の光電変換部とする第二の転送モードとを選択可能であり、いずれかの転送モードで前記第一および第二の信号を出力し、
前記第一の転送モードが選択された場合には、前記第一の信号から生成した画像信号に対してノイズ低減処理をした第一の画像信号と、前記第二の信号から生成した画像信号に対してノイズ低減処理をした第二の画像信号を生成し、前記第二の画像信号から前記第一の画像信号を減ずることにより、前記第二の光電変換部に蓄積された信号電荷に対応する第三の画像信号を生成し、
前記第二の転送モードが選択された場合には、前記第二の信号と前記第一の信号の差分により、前記第二の光電変換部に蓄積された信号電荷に対応する第三の信号を生成し、第一の信号から第一の画像信号を生成し、第三の信号から第三の画像信号を生成し、
前記第一の画像信号および前記第三の画像信号の像ずれ量から被写体の距離を測定することを特徴とする測距装置である。
撮像光学系と、
前記撮像光学系の第一の瞳領域を通過した光束を受光する光電変換部と、前記撮像光学系の第一の瞳領域とは異なる第二の瞳領域を通過した光束を受光する光電変換部と、を備えた測距画素を含む撮像素子と、
前記測距画素中の複数の光電変換部によって共有される読出し部と、
を備えた測距装置であって、
前記複数の光電変換部のうち、第一の光電変換部に蓄積された信号電荷を該読出し部に転送し第一の光電変換部に蓄積された信号電荷に対応した第一の信号を出力し、
前記第一の信号に加え、第二の光電変換部に蓄積された信号電荷を前記読出し部に転送し上乗せした第二の信号を出力し、
前記第一の瞳領域を通過した光束を受光する光電変換部と前記第二の瞳領域を通過した光束を受光する光電変換部のうち、被写体からの光束が前記撮像光学系に入射してから前記光電変換部に達するまでの透過効率が高い側の光電変換部を前記第一の光電変換部とする第一の転送モードと、該透過効率が低い側の光電変換部を前記第一の光電変換部とする第二の転送モードとを選択可能であり、いずれかの転送モードで前記第一および第二の信号を出力し、
前記第一の転送モードが選択された場合には、前記第一の信号から生成した画像信号に対してノイズ低減処理をした第一の画像信号と、前記第二の信号から生成した画像信号に対してノイズ低減処理をした第二の画像信号を生成し、前記第二の画像信号から前記第一の画像信号を減ずることにより、前記第二の光電変換部に蓄積された信号電荷に対応する第三の画像信号を生成し、
前記第二の転送モードが選択された場合には、前記第二の信号と前記第一の信号の差分により、前記第二の光電変換部に蓄積された信号電荷に対応する第三の信号を生成し、第一の信号から第一の画像信号を生成し、第三の信号から第三の画像信号を生成し、
前記第一の画像信号および前記第三の画像信号の像ずれ量から被写体の距離を測定することを特徴とする測距装置である。
本発明の第二の態様は、上述の測距装置を備え、前記第二の信号をもとに被写体像を取得することを特徴とする撮像装置である。
本発明の第三の態様は、
撮像光学系と、
前記撮像光学系の第一の瞳領域を通過した光束を受光する光電変換部と、前記撮像光学系の第一の瞳領域とは異なる第二の瞳領域を通過した光束を受光する光電変換部と、を備えた測距画素を含む撮像素子と、
前記測距画素中の複数の光電変換部によって共有される読出し部と、
を備える測距装置の制御方法であって、
前記複数の光電変換部のうち、第一の光電変換部に蓄積された信号電荷を該読出し部に転送し第一の光電変換部に蓄積された信号電荷に対応した第一の信号を出力するステップと、
前記第一の信号に加え、第二の光電変換部に蓄積された信号電荷を前記読出し部に転送し上乗せした第二の信号を出力するステップと、
を含み、
前記第一の瞳領域を通過した光束を受光する光電変換部と前記第二の瞳領域を通過した光束を受光する光電変換部のうち、被写体からの光束が前記撮像光学系に入射してから前記光電変換部に達するまでの透過効率が高い側の光電変換部を前記第一の光電変換部とする第一の転送モードと、該透過効率が低い側の光電変換部を前記第一の光電変換部とする第二の転送モードとを選択可能であり、
前記第一および第二の信号を出力する際の転送モードを決定するステップと、
前記第一の転送モードが選択された場合に、前記第一の信号から生成した画像信号に対してノイズ低減処理をした第一の画像信号と、前記第二の信号から生成した画像信号に対してノイズ低減処理をした第二の画像信号を生成し、前記第二の画像信号から前記第一の画像信号を減ずることにより、前記第二の光電変換部に蓄積された信号電荷に対応する第三の画像信号を生成するステップと、
前記第二の転送モードが選択された場合に、前記第二の信号と前記第一の信号の差分により、前記第二の光電変換部に蓄積された信号電荷に対応する第三の信号を生成し、第一の信号から第一の画像信号を生成し、第三の信号から第三の画像信号を生成するステップと、
前記第一の画像信号および前記第三の画像信号の像ずれ量から被写体の距離を測定するステップと、
をさらに含むことを特徴とする測距装置の制御方法である。
撮像光学系と、
前記撮像光学系の第一の瞳領域を通過した光束を受光する光電変換部と、前記撮像光学系の第一の瞳領域とは異なる第二の瞳領域を通過した光束を受光する光電変換部と、を備えた測距画素を含む撮像素子と、
前記測距画素中の複数の光電変換部によって共有される読出し部と、
を備える測距装置の制御方法であって、
前記複数の光電変換部のうち、第一の光電変換部に蓄積された信号電荷を該読出し部に転送し第一の光電変換部に蓄積された信号電荷に対応した第一の信号を出力するステップと、
前記第一の信号に加え、第二の光電変換部に蓄積された信号電荷を前記読出し部に転送し上乗せした第二の信号を出力するステップと、
を含み、
前記第一の瞳領域を通過した光束を受光する光電変換部と前記第二の瞳領域を通過した光束を受光する光電変換部のうち、被写体からの光束が前記撮像光学系に入射してから前記光電変換部に達するまでの透過効率が高い側の光電変換部を前記第一の光電変換部とする第一の転送モードと、該透過効率が低い側の光電変換部を前記第一の光電変換部とする第二の転送モードとを選択可能であり、
前記第一および第二の信号を出力する際の転送モードを決定するステップと、
前記第一の転送モードが選択された場合に、前記第一の信号から生成した画像信号に対してノイズ低減処理をした第一の画像信号と、前記第二の信号から生成した画像信号に対してノイズ低減処理をした第二の画像信号を生成し、前記第二の画像信号から前記第一の画像信号を減ずることにより、前記第二の光電変換部に蓄積された信号電荷に対応する第三の画像信号を生成するステップと、
前記第二の転送モードが選択された場合に、前記第二の信号と前記第一の信号の差分により、前記第二の光電変換部に蓄積された信号電荷に対応する第三の信号を生成し、第一の信号から第一の画像信号を生成し、第三の信号から第三の画像信号を生成するステップと、
前記第一の画像信号および前記第三の画像信号の像ずれ量から被写体の距離を測定するステップと、
をさらに含むことを特徴とする測距装置の制御方法である。
本発明によれば、撮影条件によらず、撮像素子全域で高精度な測距ができる。特に暗い被写体の距離を高精度に測定できる。
以下、図を用いて、本発明の実施形態における測距装置について説明する。その際、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略
する。
する。
(実施例1)
本実施例における測距装置を有するデジタルカメラ100(撮像装置)の構成例を図1に示す。図1において、デジタルカメラ100は、撮影レンズ101、撮像素子103、制御部104から構成される。撮像素子103は撮影レンズ101の光軸102上に配置され、撮影レンズ101は撮像素子103上に被写体の像を結像する。105は、撮影レンズ101の射出瞳である。
本実施例における測距装置を有するデジタルカメラ100(撮像装置)の構成例を図1に示す。図1において、デジタルカメラ100は、撮影レンズ101、撮像素子103、制御部104から構成される。撮像素子103は撮影レンズ101の光軸102上に配置され、撮影レンズ101は撮像素子103上に被写体の像を結像する。105は、撮影レンズ101の射出瞳である。
図2は撮像素子103に含まれる測距画素110の要部断面図である。図2(a)に示すように、測距画素110は、マイクロレンズ113、カラーフィルタ114、配線部115、シリコン基板116内に形成された光電変換部111および112から構成される。マイクロレンズ113から入射した光はカラーフィルタ114を通り、画素間に配置された配線部115の間を通り、光電変換部111および112に入射する。光電変換部111および112に入射した光は、光電変換され入射光強度に応じて信号電荷を発生させる。発生された信号電荷は、光電変換部111および112に蓄積される。
図2(b)に示すように、光電変換部111に蓄積された信号電荷は、ゲート117を介して増幅読出し部119に転送し出力される。また、光電変換部112に蓄積された信号電荷は、ゲート118を介して増幅読出し部119に転送し出力される。増幅読出し部119は、光電変換部11および112のいずれの信号電荷も読み出せる。すなわち、1つの測距画素中において、1つの増幅読出し部119が、2つの光電変換部111および112によって共有されている。
制御部104は、ASIC、マイクロプロセッサやメモリなどから構成され、例えばマイクロプロセッサがメモリに格納されたプログラムを実行することで、光電変換部からの信号電荷読出しを含む測距動作を制御する。以下、制御部104が行う信号読出し方法について、光電変換部111に蓄積された信号電荷に対応した信号を先に出力させる場合を例に信号読出し方法を説明する。制御部104は、読出し部119をリセット後、ゲート117をオープンにし、光電変換部111に蓄積された信号電荷を増幅読出し部119(読出し部)に転送する。転送完了後、光電変換部111に蓄積された信号電荷に対応する信号(第一の信号)を出力してメモリに記憶する。
次に、制御部104は、ゲート118をオープンにし、光電変換部112に蓄積された信号電荷を増幅読出し部119(読出し部)に転送する。転送完了後、第一の信号に加えて、光電変換部112から転送した信号電荷を上乗せした信号(第二の信号)を出力しメモリに記憶する。なお、増幅読出し部のリセット時に発生するkTCノイズを除去するために、相関二重サンプリングなどの公知のノイズ除去動作を行っても良い。より詳細には、ゲート117をオープンする前に、増幅読出し部からリセットレベル信号を出力して記憶し、その後の動作で読み出した信号からリセットレベルを減じて、それぞれの信号としても良い。
以降の処理は転送モードに応じて変わる。本実施例では、2つの転送モードを選択可能である。第一の転送モードの場合は、制御部104は、複数の測距画素110の第一の信号から画像信号を生成し、この画像信号に対してノイズ低減処理を行い第一の画像信号を生成する。複数の測距画素110の第二の信号から画像信号を生成し、この画像信号に対してノイズ低減処理を行い第二の画像信号を生成する。第二の画像信号から第一の画像信号を減じ、複数の測距画素110の光電変換部112に蓄積された信号電荷に対応する第三の画像信号を生成する。
一方、第二の転送モードの場合は、制御部104は、第二の信号と第一の信号の差分により、第二の光電変換部に蓄積された信号電荷に対応する第三の信号を生成し、第一の信号から第一の画像信号を生成し、第三の信号から第三の画像信号を生成する。
以下では、信号電荷を先に読み出す方の光電変換部(上記の例では光電変換部111)を第一の光電変換部と称する。また、信号電荷を後から読み出す方の光電変換部(上記の例では光電変換部112)を第二の光電変換部と称する。
撮像素子103に含まれる全ての測距画素110の光電変換部111および112は、各測距画素110のマイクロレンズ113によって、撮影レンズ101の射出瞳105と光学的に共役な関係になっている。この時、図3に示すように、光電変換部111と光電変換部112の各中心点を結ぶ線分の中点が、撮影レンズ101の射出瞳105の中心点と光学的に一致するようにしている。図3において、光軸120は、撮像素子103中の各測距画素110における光電変換部111と光電変換部112の各中心点を結ぶ線分の中点と、各測距画素110のマイクロレンズ113の中心点を通る線分である。各測距画素110の光軸120は、全て射出瞳105の中心点を通る。
以上の配置により、光電変換部111は、射出瞳105の中心点から片側に偏心した領域(第一の瞳領域)を通過した光束を受光する。また、光電変換部112は、射出瞳105の中心点から第一の瞳領域とは反対側に偏心した領域(第二の瞳領域)を通過した光束を受光する。制御部104は、撮像素子103内の複数の測距画素110の光電変換部111の出力信号(第一の信号)をもとに、第一の瞳領域を通過した光束による被写体像(第一の画像信号)を取得する。また、制御部104は、複数の測距画素110の光電変換部111および112の出力信号(第二の信号)と第一の信号に基づいて、第二の瞳領域を通過した光束による被写体像(第三の画像信号)を取得する。第一の瞳領域と第二の瞳領域は位置が異なるため、取得した2つの被写体像は視差を持つ。よって、2つの被写体像の位置ずれ量(像ずれ量)を求めることにより、三角測量の原理を用いて、被写体までの距離を求めることができる。
また、第二の信号は、光電変換部111および光電変換部112に蓄積された信号電荷の和である。制御部104は、第二の信号をもとに、第一の瞳領域と第二の瞳領域の和である瞳領域、つまり射出瞳105の全領域を通過した光束による被写体像(第二の画像信号)を取得する。
図4は撮像素子103の要部上面図である。図に示すように、撮像素子103は複数の測距画素110が2次元的に配列されて構成される。測距画素110のそれぞれは光電変換部111および光電変換部112から構成される。光電変換部111および112は全ての測距画素110において同じ方向に並置される。光電変換部111は1つの測距画素110内でx軸負方向側に配置され、光電変換部112はx軸正方向側に配置される。なお、光電変換部111および112の中心点を結ぶ直線(x軸)は、光電変換部111が受光する光束が通過する瞳領域(第一の瞳領域)と光電変換部112が受光する光束が通過する瞳領域(第二の瞳領域)の重心点を結ぶ直線が延びる方向と平行となる。
以下では説明の便宜上、図4におけるx軸正方向を右方向、x軸負方向を左方向とも称する。したがって、光電変換部111は測距画素110内の左側に配置され、光電変換部112は測距画素内の右側に配置される、と表現できる。また、光電変換部111は、射出瞳105の中心点から右側に偏心した領域(第一の瞳領域)を通過した光束を受光し、光電変換部112は、射出瞳105の中心点から左側に偏心した領域(第二の瞳領域)を通過した光束を受光する、と表現できる。
図4において、網掛けを施した光電変換部は、第一の転送モード時に信号が先に読み出される光電変換部(第一の光電変換部)である。逆に、網掛けを施していない光電変換部は、第二の転送モード時に信号が先に読み出される光電変換部(第一の光電変換部)である。それぞれの転送モードにおいて光電変換部111および112のうちどちらの信号を先に読み出すかは、撮像素子領域1032(第二の撮像素子領域)と撮像素子領域1033(第一の撮像素子領域)とで異なる。
撮像素子領域1032と撮像素子領域1033は、線分1031を境界線として挟んで並置される。線分1031は、撮像素子103の中心を通り、1画素内の光電変換部111の中心点と光電変換部112の中心点を結ぶ方向に垂直な線分である。換言すると、線分1031は、第一の瞳領域の重心点と第二の瞳領域の重心点を通る直線が延びる方向を第一の方向として、前記撮像素子の中心を通り第一の方向に対応する該撮像素子上の方向に垂直な線分である。
図5(a)は、撮像素子103の中心付近に配置された測距画素110における光電変換部112に対応する射出瞳105上での瞳透過率分布を表わし、左偏心瞳領域(第二の瞳領域)に対応する。図において、黒いほど透過率が高く、白いほど透過率が低いことを表す。同様に図5(b)は撮像素子103の中心付近に配置された測距画素110における光電変換部111に対応する射出瞳105上での瞳透過率分布を表わし、右偏心瞳領域(第一の瞳領域)に対応する。図5(c)はx軸断面における透過率分布を表わしたもので、横軸がx軸座標、縦軸が透過率である。実線が光電変換部112に対応する透過率分布(左偏心瞳領域に対応)、点線が光電変換部111に対応する透過率分布(右偏心瞳領域に対応)である。瞳透過率分布は、光電変換部、マイクロレンズと射出瞳の位置関係およびマイクロレンズの収差、回折、撮像素子の入射面から光電変換部に至る光路中の光散乱、吸収などの光伝播状態により決まる。よって、被写体からの光束が撮像光学系に入射してから測距画素110における光電変換部111,112に達するまでの透過効率は、異なる。
被写体からの光束が撮像光学系に入射してから光電変換部に達するまでのそれぞれの瞳領域における透過効率は、図5(a)および(b)に示した射出瞳105内の透過率分布を積分した値である。撮像素子103の中心付近に配置された測距画素110においては、右偏心瞳領域の透過効率および左偏心瞳領域の透過効率は略同じである。よって、各瞳領域を通過した光束による被写体像信号の大きさは略同じである。
図5(d)は撮像素子領域1032の測距画素110における光電変換部112に対応する射出瞳105上での瞳透過率分布を表わし、左偏心瞳領域(第二の瞳領域)に対応する。図5(e)は撮像素子領域1032の測距画素110における光電変換部111に対応する射出瞳105上での瞳透過率分布を表わし、右偏心瞳領域(第一の瞳領域)に対応する。図5(f)はx軸断面における透過率分布を表わしたものである。一般に、周辺像高では、撮像レンズの小型化の要請からレンズ枠で光束がけられるいわゆる口径食が発生し、絞り内を通過した光束が全て撮像素子に導かれることはない。瞳上で片側から口径食が発生するため、元の透過率分布の形状に応じて、透過効率の変化量が異なる。図5(d)に示すように、口径食が発生する領域105aが、元の透過率が高い領域と一致する場合は透過効率の低下量が大きい。一方、図5(e)に示すように、口径食が発生する領域105aが、元の透過率が低い領域と一致する場合は透過効率の低下量は小さい。よって、撮像素子領域1032の測距画素110においては、右偏心瞳領域の透過効率は左偏心瞳領域の透過効率より高い値になる。つまり、右偏心瞳領域を通過した光束による像信号は、左偏心瞳領域を通過した光束による像信号よりも大きくなる。
図5(g)は撮像素子領域1033の測距画素110における光電変換部112に対応
する射出瞳105上での瞳透過率分布を表わし、左偏心瞳領域(第二の瞳領域)に対応する。図5(h)は撮像素子領域1033の測距画素110における光電変換部111に対応する射出瞳105上での瞳透過率分布を表わし、右偏心瞳領域(第一の瞳領域)に対応する。図5(i)はx軸断面における透過率分布を表わしたものである。同様に、撮像素子領域1033の測距画素110においては、左偏心瞳領域の透過効率は右偏心瞳領域の透過効率より高い値になる。よって、左偏心瞳領域を通過した光束による像信号は、右偏心瞳領域を通過した光束による像信号よりも大きくなる。
する射出瞳105上での瞳透過率分布を表わし、左偏心瞳領域(第二の瞳領域)に対応する。図5(h)は撮像素子領域1033の測距画素110における光電変換部111に対応する射出瞳105上での瞳透過率分布を表わし、右偏心瞳領域(第一の瞳領域)に対応する。図5(i)はx軸断面における透過率分布を表わしたものである。同様に、撮像素子領域1033の測距画素110においては、左偏心瞳領域の透過効率は右偏心瞳領域の透過効率より高い値になる。よって、左偏心瞳領域を通過した光束による像信号は、右偏心瞳領域を通過した光束による像信号よりも大きくなる。
ここで、撮像素子の像信号に載るノイズ、特にランダムノイズについて説明する。支配的なランダムノイズは光ショットノイズNsと読出し回路ノイズNrである。光ショットノイズは光電変換時に発生し、その大きさは、信号の大きさに依存し、信号量の平方根である(Ns=S1/2)。一方、読出し回路ノイズは、読出し部から出力する際に発生し、信号の大きさに依存せず、撮像素子の作製状態により決まり、一定の値を取る(Nr=const)。光ショットノイズと読出し回路ノイズは独立事象であるため、ノイズの合算値は二乗和の平方根となる。像信号中の信号成分をS、読出し回路ノイズ成分をNrとすると、第一の信号のSN比は式1で表わされる。
同様に、第二の信号のSN比は式2で表わされる。
同様に、第二の信号のSN比は式2で表わされる。
第二光電変換部に蓄積された信号電荷に対応する信号を第三の信号とする。第三の信号は、第二の信号から第一の信号を減ずることにより求められる。第三の信号中の信号成分は、第二の信号中の信号成分と第一の信号中の信号成分の差分になる。読出し回路ノイズは、第一の信号を出力する時と第二の信号を出力する時に、それぞれ独立して発生するため、二乗和の平方根となる。一方、第二の信号中の光ショットノイズ成分は、第一の信号中の光ショットノイズ成分に、後から読出し部に転送した信号電荷の光ショットノイズ成分が付加されたものである。よって、第三の信号中の光ショットノイズ成分は、第二の信号中の信号成分と第一の信号中の信号成分の差分の平方根となる。以上から、第三の信号のSN比は式3で表わされる。
式1と式3を比較すると、先に信号電荷を読出し部に転送した光電変換部の方が、後から転送した光電変換部より、SN比良く信号出力が可能なことがわかる。信号成分の大きさが大きい場合は、読出し回路ノイズに対して、光ショットノイズの方が支配的である(S≫Nr2)ため、第一の信号と第三の信号のSN比の差は小さい。しかし、被写体が暗く、信号成分の大きさが小さい場合は、読出し回路ノイズの影響が相対的に大きくなり(S〜Nr2)、信号品質の劣化が激しい。測距に用いる画像信号のSN比が低下すると、像ずれ量の読取誤差が大きくなり、測距精度が低下する。
式1と式3を比較すると、先に信号電荷を読出し部に転送した光電変換部の方が、後から転送した光電変換部より、SN比良く信号出力が可能なことがわかる。信号成分の大きさが大きい場合は、読出し回路ノイズに対して、光ショットノイズの方が支配的である(S≫Nr2)ため、第一の信号と第三の信号のSN比の差は小さい。しかし、被写体が暗く、信号成分の大きさが小さい場合は、読出し回路ノイズの影響が相対的に大きくなり(S〜Nr2)、信号品質の劣化が激しい。測距に用いる画像信号のSN比が低下すると、像ずれ量の読取誤差が大きくなり、測距精度が低下する。
信号成分の大きさが固定の場合に、ノイズ成分を小さくし、信号のSN比を上げる方法
は2つ有る。1つは、信号を取得する際のノイズ成分を極力小さくする方法である。もう1つは、時間方向あるいは空間方向に平均化などの統計的処理を行いノイズ成分を小さくする方法である。
は2つ有る。1つは、信号を取得する際のノイズ成分を極力小さくする方法である。もう1つは、時間方向あるいは空間方向に平均化などの統計的処理を行いノイズ成分を小さくする方法である。
元のノイズ成分量が多い場合は、相対的に統計的処理によるノイズ低減効果は小さい。なぜならば、統計的処理に使用する信号数に応じて、ノイズ成分の低減量が異なり、信号数が少ないとノイズ低減量が小さいからである。この場合、信号を取得する際のノイズ成分を小さくする方法が有効となる。すなわち、信号成分が小さく、光ショットノイズのSN比低下への影響が大きい光電変換部の信号電荷を先に読出し部に転送し、読出し回路ノイズによるSN比低下を避けることが好ましい。これにより、SN比の高い視差画像を取得できる。
一方、元のノイズ成分量が少ない場合は、統計的処理によるノイズ低減効果は相対的に大きくなる。この場合、統計的処理によりノイズ成分を小さくする方法が有効となる。すなわち、信号成分が大きい光電変換部の信号電荷を先に読出し部に転送することにより、統計的処理に用いる信号のSN比を高くできる。処理の信頼性を上げることができ、ノイズ低減処理の効果が高いため、SN比の高い視差画像を取得できる。
以上より、元の信号の大きさによって、適切に信号のSN比を向上する手法を選択することにより、常にSN比の高い視差画像を取得できる。
本実施例における処理フローを図6を用いて説明する。まず、ステップS101で、暫定的に光電変換部111および112の信号電荷に対応する信号(暫定画像信号)を取得する。このときの転送モードは任意であって構わないが、本実施例では、第二の転送モードで測距画素の光電変換部から第一の画像信号と第三の画像信号を取得する。ステップS102で、制御部104は、暫定画像信号に基づいて、被写体像の中から主被写体を含む注目画素領域を決定する。ステップS103で、制御部104は、注目画素領域に対応する第一の画像信号と第三の画像信号のうち、信号強度が大きい方の信号強度の値を信頼度として抽出する。ステップS104で、制御部104は、信頼度が設定した所定の閾値以上かを判定する(S104)。信頼度が閾値以上の場合(S104−YES)は、信号強度が強く、統計的処理によるノイズ低減効果が大きいため、距離測定時の転送モードを第一の転送モードに決定する。すなわち、制御部104は、第一の転送モードで撮像素子全域における測距画素の光電変換部から第一の画像信号と第三の画像信号を取得する(S105)。一方、信頼度が閾値未満の場合(S104−NO)は、信号強度が弱く、統計的処理によるノイズ低減効果が小さいため、距離測定時の転送モードを第二の転送モードに決定する。すなわち、制御部104は、第二の転送モードで撮像素子全域における測距画素の光電変換部から第一の画像信号と第三の画像信号を取得する(S106)。次に、ステップS107で、制御部104は、第一の画像信号と第三の画像信号から像ずれ量を算出し、被写体の距離を測定する。
ステップS104の判定で用いられる所定の閾値について、より詳しく説明する。必要な測距精度から、最終的に必要なSN比(目標値)が求まる。また、統計的処理に使える信号数からSN比の向上分が求まる。そして、SN比の目標値から統計的処理による向上分を減算した値が許容されるSN比であり、これに基づいて必要な信号強度が決まる。この信号強度が信頼度判定に用いる閾値になる。なお、統計的処理に使える信号数は、測距にかかる計算時間や計算規模の制約から決まる。ステップS103では、注目画素領域内の全測距画素の第一の画像信号および第三の画像信号の各信号強度平均値のうち、大きい方の信号強度平均値を抽出し信頼度とする。
第一の転送モードでは、図4の撮像素子領域1032については、光電変換部111に
蓄積された信号電荷を先に読出し部に転送し出力する。つまり、第一の瞳領域の透過効率が第二の瞳領域の透過効率よりも高い撮像素子領域1032では、第一の瞳領域を通過した光束を受光する光電変換部111の信号電荷を、読出し部119に先に転送し出力する。一方、撮像素子領域1033では、光電変換部112に蓄積された信号電荷を先に読出し部に転送し出力する。つまり、第二の瞳領域の透過効率が第一の瞳領域の透過効率よりも高い撮像素子領域1033では、第二の瞳領域を通過した光束を受光する光電変換部112の信号電荷を、読出し部119に先に転送し出力する。
蓄積された信号電荷を先に読出し部に転送し出力する。つまり、第一の瞳領域の透過効率が第二の瞳領域の透過効率よりも高い撮像素子領域1032では、第一の瞳領域を通過した光束を受光する光電変換部111の信号電荷を、読出し部119に先に転送し出力する。一方、撮像素子領域1033では、光電変換部112に蓄積された信号電荷を先に読出し部に転送し出力する。つまり、第二の瞳領域の透過効率が第一の瞳領域の透過効率よりも高い撮像素子領域1033では、第二の瞳領域を通過した光束を受光する光電変換部112の信号電荷を、読出し部119に先に転送し出力する。
第二の転送モードでは、図4の撮像素子領域1032については、光電変換部112に蓄積された信号電荷を先に読出し部に転送し出力する。つまり、第二の瞳領域の透過効率が第一の瞳領域の透過効率よりも低い撮像素子領域1032では、第二の瞳領域を通過した光束を受光する光電変換部112の信号電荷を、読出し部119に先に転送し出力する。一方、撮像素子領域1033では、光電変換部111に蓄積された信号電荷を先に読出し部に転送し出力する。つまり、第一の瞳領域の透過効率が第二の瞳領域の透過効率よりも低い撮像素子領域1033では、第一の瞳領域を通過した光束を受光する光電変換部111の信号電荷を、読出し部119に先に転送し出力する。
以上の構成により、常にSN比の高い像信号が取得可能になり、高精度に距離を測定できる。特に暗い被写体の距離を高精度に測定できる。
第二の信号は、2つの光電変換部111、112に蓄積された信号電荷の和に対応するため、撮影レンズ101の射出瞳105の全領域を通過した光束による像信号になる。よって、第二の信号をもとに被写体像(第二画像信号)を取得できる。2つの光電変換部111、112に蓄積された信号電荷を個別に読出し部に転送し出力してから2つの信号を加算して像信号を生成する場合に比べ、第二の信号を用いた方が、読出し回路ノイズの量が減るため高画質な被写体像を取得できる。
本実施例においては、暫定的に画像信号を取得する際に、第二の転送モードを用いたが、これに限定されるものではない。第一の転送モードを用いても良い。しかし、第二の転送モードを用いた方が、ノイズ低減処理の必要が無いため、高速に画像信号を取得することができる。透過効率が高い側の光電変換部の信号電荷を先に読出し部に転送し、ノイズ低減処理をせずに画像信号を生成しても良い。
また、ステップS103で、注目画素領域内の各測距画素毎に信号強度の大きい方の画像信号の平均値を信頼度としても良い。
なお、本実施例においては、測距画素としてx方向に光電変換部を並置した構成を示したが、本発明はこれに限定されるものではない。y方向に光電変換部を並置し、y方向の視差画像を取得するように構成した場合においても、統計的処理の信頼度に応じて、先に信号電荷を読み出す光電変換部を決定する構成にすれば良い。また、xy方向に光電変換部を配置し、xy方向の視差画像を取得するように構成した場合においても、統計的処理の信頼度に応じて、先に信号電荷を読み出す光電変換部を決定する構成にすれば良い。
また、撮影レンズの射出瞳上の一部領域を通過した光束を光電変換部に導く導光手段として、マイクロレンズを用いたが、これに限定されるものではない。導波路やプリズムなど、光の伝播を制御できるものであれば良い。特に導波路を用いると、撮像素子の画素サイズが小さい場合にも、効率良く導光することができる。
(実施例2)
本実施例におけるデジタルカメラ100では、撮像素子内の画素領域毎に転送モードを
変える。本実施例にかかるデジタルカメラ100の構成は実施例1と同様であるので説明を省略する。以下では、主に信号読み出し制御について詳細に説明する。
本実施例におけるデジタルカメラ100では、撮像素子内の画素領域毎に転送モードを
変える。本実施例にかかるデジタルカメラ100の構成は実施例1と同様であるので説明を省略する。以下では、主に信号読み出し制御について詳細に説明する。
撮影レンズの口径食が無い場合でも、撮影レンズがズームレンズの場合は、射出瞳の光軸方向の位置が変わるため、透過効率は変化する。初期条件においては、図3に示すように、撮像素子103中の各測距画素110の光軸120は、全て射出瞳105の中心点を通る。しかし、ズーム位置が変わると射出瞳の光軸方向の位置が変わる。射出瞳105’の位置が初期条件の射出瞳105と異なる場合は、図7に示すように、撮像素子103の周辺に配置された測距画素110の光軸120は、射出瞳105’の中心点を通らない。よって、測距画素110中の光電変換部111、112に対応する瞳領域は、射出瞳105’の中心点に対して偏心し、透過効率が変わる。
射出瞳105’の位置が初期条件の射出瞳105と異なり、撮像素子103から遠く被写体に近い側にある場合について、図8、図9を用いて詳細に説明する。図は撮像素子103の要部上面図であり、網掛けを施した光電変換部が上記条件において第一の転送モード時に信号が先に読み出される光電変換部(第一の光電変換部)である。また、網掛けを施していない光電変換部が上記条件において第二の転送モード時に信号が先に読み出される光電変換部(第一の光電変換部)である。図9(a)は、撮像素子103の中心付近に配置された測距画素110における光電変換部112に対応する射出瞳105’上での瞳透過率分布を表わし、左偏心瞳領域(第二の瞳領域)に対応する。黒いほど透過率が高く、白いほど透過率が低い。同様に図9(b)は撮像素子103の中心付近に配置された測距画素110における光電変換部111に対応する射出瞳105’上での瞳透過率分布を表わし、右偏心瞳領域(第一の瞳領域)に対応する。図9(c)はx軸断面における透過率分布を表わしたもので、横軸がx軸座標、縦軸が透過率である。実線が光電変換部112に対応する透過率分布(右偏心瞳領域に対応)、点線が光電変換部111に対応する透過率分布(左偏心瞳領域に対応)である。
被写体からの光束が前記撮像光学系に入射してから前記光電変換部に達するまでのそれぞれの瞳領域における透過効率は、図9(a)および(b)に示した射出瞳105’内の透過率分布を積分した値である。撮像素子103の中心付近に配置された測距画素110においては、右偏心瞳領域の透過効率および左偏心瞳領域の透過効率は略同じである。よって、各瞳領域を通過した光束による被写体像信号の大きさは略同じである。
図9(d)は図8に示す撮像素子領域1032の測距画素110における光電変換部112に対応する射出瞳105’上での瞳透過率分布を表わし、左偏心瞳領域(第二の瞳領域)に対応する。図9(e)は図8に示す撮像素子領域1032の測距画素110における光電変換部111に対応する射出瞳105’上での瞳透過率分布を表わし、右偏心瞳領域(第一の瞳領域)に対応する。図9(f)はx軸断面における透過率分布を表わしたものである。元の透過率分布が射出瞳に対して偏心しているため、透過効率が異なる。図9(d)に示すように、瞳の中心点に対する透過率が高い領域の偏心量が小さい場合は透過効率の低下量が小さい。一方、図9(e)に示すように、瞳の中心点に対する透過率が高い領域の偏心量が大きい場合は透過効率の低下量が大きい。よって、撮像素子領域1032の測距画素110においては、左偏心瞳領域の透過効率は右偏心瞳領域の透過効率より高い値になる。つまり、左偏心瞳領域を通過した光束による像信号は、右偏心瞳領域を通過した光束による像信号よりも大きくなる。
図9(g)は図8に示す撮像素子領域1033の測距画素110における光電変換部112に対応する射出瞳105’上での瞳透過率分布を表わし、左偏心瞳領域(第二の瞳領域)に対応する。図9(h)は撮像素子領域1033の測距画素110における光電変換部111に対応する射出瞳105’上での瞳透過率分布を表わし、右偏心瞳領域(第一の
瞳領域)に対応する。図9(i)はx軸断面における透過率分布を表わしたものである。同様に、撮像素子領域1033の測距画素110においては、右偏心瞳領域の透過効率は左偏心瞳領域の透過効率より高い値になる。よって、右偏心瞳領域を通過した光束による像信号は、左偏心瞳領域を通過した光束による像信号よりも大きくなる。
瞳領域)に対応する。図9(i)はx軸断面における透過率分布を表わしたものである。同様に、撮像素子領域1033の測距画素110においては、右偏心瞳領域の透過効率は左偏心瞳領域の透過効率より高い値になる。よって、右偏心瞳領域を通過した光束による像信号は、左偏心瞳領域を通過した光束による像信号よりも大きくなる。
一方、射出瞳105”の位置が初期条件の射出瞳105と異なり撮像素子103に近い側にある場合は、測距画素110中の光電変換部111、112に対応する瞳領域は、射出瞳105”の中心点に対して、反対側に偏心する(図7)。この場合は、逆に撮像素子領域1032の測距画素110においては、右偏心瞳領域の透過効率は左偏心瞳領域の透過効率より高い値になる。つまり、右偏心瞳領域を通過した光束による像信号は、左偏心瞳領域を通過した光束による像信号よりも大きくなる。また、撮像素子領域1033の測距画素110においては、左偏心瞳領域の透過効率は右偏心瞳領域の透過効率より高い値になる。よって、左偏心瞳領域を通過した光束による像信号は、右偏心瞳領域を通過した光束による像信号よりも大きくなる。
このように、ズーム位置に応じて撮影レンズの射出瞳の位置が変化した場合、その位置関係に応じて、各瞳領域を通過した光束による像信号の大きさは、撮影条件に応じて異なる。射出瞳位置が初期条件より撮像素子側に有る場合(図7の105”)の、各転送モードで信号電荷を先に読出し部に転送する光電変換部は、次のようになる。
第一の転送モードでは、図8の撮像素子領域1032では、光電変換部111に蓄積された信号電荷を先に読出し部に転送し出力し、撮像素子領域1033では、光電変換部112に蓄積された信号電荷を先に読出し部に転送し出力する。
第二の転送モードでは、図8の撮像素子領域1032では、光電変換部112に蓄積された信号電荷を先に読出し部に転送し出力し、撮像素子領域1033では、光電変換部111に蓄積された信号電荷を先に読出し部に転送し出力する。
一方、射出瞳位置が初期条件より被写体側に有る場合(図7の105’)の、各転送モードで信号電荷を先に読出し部に転送する光電変換部は、次のようになる。
第一の転送モードでは、図8の撮像素子領域1032中の測距画素110では光電変換部112の信号電荷を先に読出し部に転送し出力し、撮像素子領域1033中の測距画素110では光電変換部111の信号電荷を先に読出し部に転送し出力する。
第二の転送モードでは、図8の撮像素子領域1032中の測距画素110では光電変換部111の信号電荷を先に読出し部に転送し出力し、撮像素子領域1033中の測距画素110では光電変換部112の信号電荷を先に読出し部に転送し出力する。
図10に示すように撮像素子103上に被写体像が形成されている場合の、本実施例による処理フローを図11に示す。まず、ステップS201で、暫定的に光電変換部111および112の信号電荷に対応する信号(暫定画像信号)を取得する。このときの転送モードは任意であって構わないが、本実施例では、第二の転送モードで測距画素の光電変換部から第一の画像信号と第三の画像信号を取得する。ステップS202で、制御部104は、暫定画像信号に基づいて、撮像素子103内を複数の画素領域(1034、1035、1036)に分割する。画素領域の分割は、輝度レベルや色相による被写体分離や顔認識などの被写体認識など、公知の技術を用いて行う。ステップS203で、制御部104は、分割した複数の画素領域から注目画素領域を決定する。
ステップS204で、制御部104は、注目画素領域に対応する第一の画像信号と第三
の画像信号を用いて信頼度を算出する。画像信号は、一般的な信号に対して、空間方向の相関が非常に高いため、隣接画素領域の画像信号を用い、輝度や色相の連続性を考慮した処理を施すことにより、ノイズ低減ができる。この時、注目画素の画素信号と隣接画素の画素信号の類似度が高いほど、ノイズ低減の効果は高い。よって、注目画素の画素信号と隣接画素の画素信号の輝度レベルの類似度を算出し、信頼度とする。類似度の指標として輝度レベルを用いると、RGB画素のG画素の画像信号のみで算出できるため、計算規模を小さくでき、高速に信頼度を算出できる。類似度の指標として、色相情報を用いても良い。色相情報を用いると、G画素だけでなく、R画素およびB画素の画像信号を用いるため、計算時間は必要となるが、より高精度に類似度を判定できる。
の画像信号を用いて信頼度を算出する。画像信号は、一般的な信号に対して、空間方向の相関が非常に高いため、隣接画素領域の画像信号を用い、輝度や色相の連続性を考慮した処理を施すことにより、ノイズ低減ができる。この時、注目画素の画素信号と隣接画素の画素信号の類似度が高いほど、ノイズ低減の効果は高い。よって、注目画素の画素信号と隣接画素の画素信号の輝度レベルの類似度を算出し、信頼度とする。類似度の指標として輝度レベルを用いると、RGB画素のG画素の画像信号のみで算出できるため、計算規模を小さくでき、高速に信頼度を算出できる。類似度の指標として、色相情報を用いても良い。色相情報を用いると、G画素だけでなく、R画素およびB画素の画像信号を用いるため、計算時間は必要となるが、より高精度に類似度を判定できる。
次に、ステップS205で、制御部104は、信頼度が設定した所定の閾値以上かを判定する。信頼度が閾値以上の場合(S205−YES)は、注目画素の画像信号と隣接画
素の画像信号との類似度が高く、統計的処理によるノイズ低減効果が大きい。したがって、第一の転送モードで撮像素子中の全測距画素の光電変換部から第一の画像信号と第三の画像信号を取得する(S206)。信頼度が閾値未満の場合(S205−NO)は、注目画素の画像信号と隣接画素の画像信号との類似度が低く、統計的処理によるノイズ低減効果が小さい。したがって、第二の転送モードで撮像素子中の全測距画素の光電変換部から第一の画像信号と第三の画像信号を取得する(S207)。次に、ステップS208で、制御部104は、第一の画像信号と第三の画像信号から像ずれ量を算出し、被写体の距離を測定する。ステップS208で、全ての画素領域を処理したかを判別し、終了していなければステップS203に戻り、別の画素領域を選択して同様の処理を行う。
素の画像信号との類似度が高く、統計的処理によるノイズ低減効果が大きい。したがって、第一の転送モードで撮像素子中の全測距画素の光電変換部から第一の画像信号と第三の画像信号を取得する(S206)。信頼度が閾値未満の場合(S205−NO)は、注目画素の画像信号と隣接画素の画像信号との類似度が低く、統計的処理によるノイズ低減効果が小さい。したがって、第二の転送モードで撮像素子中の全測距画素の光電変換部から第一の画像信号と第三の画像信号を取得する(S207)。次に、ステップS208で、制御部104は、第一の画像信号と第三の画像信号から像ずれ量を算出し、被写体の距離を測定する。ステップS208で、全ての画素領域を処理したかを判別し、終了していなければステップS203に戻り、別の画素領域を選択して同様の処理を行う。
以上の構成により、常にSN比の高い像信号が取得可能になり、高精度に距離を測定できる。特に暗い被写体の距離を高精度に測定できる。
なお、測距画素は撮像素子全面に配置しても良いし、一部の領域に配置しても良い。また、本発明による測距装置により取得した距離情報をもとに、フォーカス用レンズの位置を制御しオートフォーカス動作を行っても良いし、ピント面からの距離に応じてボケを付加するなど画像の加工を行っても良い。
101 撮影レンズ
103 撮像素子
110 測距画素
111 光電変換部
112 光電変換部
119 増幅読出し部
103 撮像素子
110 測距画素
111 光電変換部
112 光電変換部
119 増幅読出し部
Claims (19)
- 撮像光学系と、
前記撮像光学系の第一の瞳領域を通過した光束を受光する光電変換部と、前記撮像光学系の第一の瞳領域とは異なる第二の瞳領域を通過した光束を受光する光電変換部と、を備えた測距画素を含む撮像素子と、
前記測距画素中の複数の光電変換部によって共有される読出し部と、
を備えた測距装置であって、
前記複数の光電変換部のうち、第一の光電変換部に蓄積された信号電荷を該読出し部に転送し第一の光電変換部に蓄積された信号電荷に対応した第一の信号を出力し、
前記第一の信号に加え、第二の光電変換部に蓄積された信号電荷を前記読出し部に転送し上乗せした第二の信号を出力し、
前記第一の瞳領域を通過した光束を受光する光電変換部と前記第二の瞳領域を通過した光束を受光する光電変換部のうち、被写体からの光束が前記撮像光学系に入射してから前記光電変換部に達するまでの透過効率が高い側の光電変換部を前記第一の光電変換部とする第一の転送モードと、該透過効率が低い側の光電変換部を前記第一の光電変換部とする第二の転送モードとを選択可能であり、いずれかの転送モードで前記第一および第二の信号を出力し、
前記第一の転送モードが選択された場合には、前記第一の信号から生成した画像信号に対してノイズ低減処理をした第一の画像信号と、前記第二の信号から生成した画像信号に対してノイズ低減処理をした第二の画像信号を生成し、前記第二の画像信号から前記第一の画像信号を減ずることにより、前記第二の光電変換部に蓄積された信号電荷に対応する第三の画像信号を生成し、
前記第二の転送モードが選択された場合には、前記第二の信号と前記第一の信号の差分により、前記第二の光電変換部に蓄積された信号電荷に対応する第三の信号を生成し、第一の信号から第一の画像信号を生成し、第三の信号から第三の画像信号を生成し、
前記第一の画像信号および前記第三の画像信号の像ずれ量から被写体の距離を測定することを特徴とする測距装置。 - 暫定的に、前記測距画素のそれぞれの光電変換部に蓄積された信号電荷に対応する信号を取得し、前記第一の画像信号と前記第三の画像信号をもとに画像信号の信頼度を判定し、距離測定時の転送モードを選択する、
ことを特徴とする請求項1に記載の測距装置。 - 前記測距画素のそれぞれの光電変換部に蓄積された信号電荷に対応する信号を暫定的に取得する際は、第二の転送モードで行う、
ことを特徴する請求項2に記載の測距装置。 - 前記撮像素子中の注目画素領域における信頼度をもとに、前記撮像素子全域における転送モードを選択する、
ことを特徴とする請求項2または3に記載の測距装置。 - 前記撮像素子を複数の画素領域に分割し、該分割した画素領域毎に前記信頼度を判定し、前記分割した画素領域毎に転送モードを選択する、
ことを特徴とする請求項2または3に記載の測距装置。 - 前記信頼度は、前記第一の画像信号と前記第三の画像信号のうち、信号強度が大きい方の信号強度の値であり、
該信頼度が所定の閾値以上の場合は第一の転送モードを選択し、前記閾値未満の場合は第二の転送モードを選択する、
ことを特徴とする請求項2乃至5のいずれか1項に記載の測距装置。 - 前記信頼度は、前記第一の画像信号または前記第三の画像信号における注目画素領域と該注目画素領域に隣接する隣接画素領域の類似度であり、
該信頼度が所定の閾値以上の場合は第一の転送モードを選択し、前記閾値未満の場合は第二の転送モードを選択する、
ことを特徴とする請求項2乃至5のいずれか1項に記載の測距装置。 - 前記類似度は、注目画素領域と該注目画素領域に隣接する隣接画素領域の画像信号の輝度レベルの類似度である、
ことを特徴とする請求項7に記載の測距装置。 - 前記類似度は、注目画素領域と該注目画素領域に隣接する隣接画素領域の画像信号の色相の類似度である、
ことを特徴とする請求項7または8に記載の測距装置。 - 請求項1乃至9のいずれか1項に記載の測距装置を備え、前記第二の信号をもとに被写体像を取得することを特徴とする撮像装置。
- 撮像光学系と、
前記撮像光学系の第一の瞳領域を通過した光束を受光する光電変換部と、前記撮像光学系の第一の瞳領域とは異なる第二の瞳領域を通過した光束を受光する光電変換部と、を備えた測距画素を含む撮像素子と、
前記測距画素中の複数の光電変換部によって共有される読出し部と、
を備える測距装置の制御方法であって、
前記複数の光電変換部のうち、第一の光電変換部に蓄積された信号電荷を該読出し部に転送し第一の光電変換部に蓄積された信号電荷に対応した第一の信号を出力するステップと、
前記第一の信号に加え、第二の光電変換部に蓄積された信号電荷を前記読出し部に転送し上乗せした第二の信号を出力するステップと、
を含み、
前記第一の瞳領域を通過した光束を受光する光電変換部と前記第二の瞳領域を通過した光束を受光する光電変換部のうち、被写体からの光束が前記撮像光学系に入射してから前記光電変換部に達するまでの透過効率が高い側の光電変換部を前記第一の光電変換部とする第一の転送モードと、該透過効率が低い側の光電変換部を前記第一の光電変換部とする第二の転送モードとを選択可能であり、
前記第一および第二の信号を出力する際の転送モードを決定するステップと、
前記第一の転送モードが選択された場合に、前記第一の信号から生成した画像信号に対してノイズ低減処理をした第一の画像信号と、前記第二の信号から生成した画像信号に対してノイズ低減処理をした第二の画像信号を生成し、前記第二の画像信号から前記第一の画像信号を減ずることにより、前記第二の光電変換部に蓄積された信号電荷に対応する第三の画像信号を生成するステップと、
前記第二の転送モードが選択された場合に、前記第二の信号と前記第一の信号の差分により、前記第二の光電変換部に蓄積された信号電荷に対応する第三の信号を生成し、第一の信号から第一の画像信号を生成し、第三の信号から第三の画像信号を生成するステップと、
前記第一の画像信号および前記第三の画像信号の像ずれ量から被写体の距離を測定するステップと、
をさらに含むことを特徴とする測距装置の制御方法。 - 前記転送モードを決定するステップでは、暫定的に、前記測距画素のそれぞれの光電変換部に蓄積された信号電荷に対応する信号を取得し、前記第一の画像信号と前記第三の画像信号をもとに画像信号の信頼度を判定し、距離測定時の転送モードを選択する、
ことを特徴とする請求項11に記載の測距装置の制御方法。 - 前記測距画素のそれぞれの光電変換部に蓄積された信号電荷に対応する信号を暫定的に取得する際は、第二の転送モードで行う、
ことを特徴とする請求項12に記載の測距装置の制御方法。 - 前記転送モードを決定するステップでは、前記撮像素子中の注目画素領域における信頼度をもとに、前記撮像素子全域における転送モードを選択する、
ことを特徴とする請求項12または13に記載の測距装置の制御方法。 - 前記転送モードを決定するステップでは、前記撮像素子を複数の画素領域に分割し、該分割した画素領域毎に前記信頼度を判定し、前記分割した画素領域毎に転送モードを選択する、
ことを特徴とする請求項12または13に記載の測距装置の制御方法。 - 前記信頼度は、前記第一の画像信号と前記第三の画像信号のうち、信号強度が大きい方の信号強度の値であり、
前記転送モードを決定するステップでは、該信頼度が所定の閾値以上の場合は第一の転送モードを選択し、前記閾値未満の場合は第二の転送モードを選択する、
ことを特徴とする請求項12乃至15のいずれか1項に記載の測距装置の制御方法。 - 前記信頼度は、前記第一の画像信号または前記第三の画像信号における注目画素と該注目画素に隣接する隣接画素の類似度であり、
前記転送モードを決定するステップでは、該信頼度が所定の閾値以上の場合は第一の転送モードを選択し、前記閾値未満の場合は第二の転送モードを選択する、
ことを特徴とする請求項12乃至15のいずれか1項に記載の測距装置の制御方法。 - 前記類似度は、注目画素領域と該注目画素領域に隣接する隣接画素領域の画像信号の輝度レベルの類似度である、
ことを特徴とする請求項17に記載の測距装置の制御方法。 - 前記類似度は、注目画素領域と該注目画素領域に隣接する隣接画素領域の画像信号の色相の類似度である、
ことを特徴とする請求項17または18に記載の測距装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014116670A JP2015015704A (ja) | 2013-06-07 | 2014-06-05 | 測距装置、撮像装置及び測距装置の制御方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013121179 | 2013-06-07 | ||
JP2013121179 | 2013-06-07 | ||
JP2014116670A JP2015015704A (ja) | 2013-06-07 | 2014-06-05 | 測距装置、撮像装置及び測距装置の制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015015704A true JP2015015704A (ja) | 2015-01-22 |
Family
ID=52005144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014116670A Pending JP2015015704A (ja) | 2013-06-07 | 2014-06-05 | 測距装置、撮像装置及び測距装置の制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20140362190A1 (ja) |
JP (1) | JP2015015704A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016149765A (ja) * | 2015-02-13 | 2016-08-18 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 位相検出ピクセルを利用して深さマップを生成するための映像生成装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6727814B2 (ja) * | 2016-01-14 | 2020-07-22 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5856376B2 (ja) * | 2011-01-27 | 2016-02-09 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2013179564A (ja) * | 2012-02-01 | 2013-09-09 | Canon Inc | 画像処理方法、画像処理装置および撮像装置 |
JP5914055B2 (ja) * | 2012-03-06 | 2016-05-11 | キヤノン株式会社 | 撮像装置 |
-
2014
- 2014-05-30 US US14/291,611 patent/US20140362190A1/en not_active Abandoned
- 2014-06-05 JP JP2014116670A patent/JP2015015704A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016149765A (ja) * | 2015-02-13 | 2016-08-18 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 位相検出ピクセルを利用して深さマップを生成するための映像生成装置 |
Also Published As
Publication number | Publication date |
---|---|
US20140362190A1 (en) | 2014-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9742984B2 (en) | Image capturing apparatus and method of controlling the same | |
US10393996B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and storage medium | |
CN109255810B (zh) | 图像处理装置及图像处理方法 | |
JP2011171858A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 | |
JP6645682B2 (ja) | 距離取得装置、距離画像信号補正装置、撮像装置、距離画像量子化装置、および方法 | |
JP6214271B2 (ja) | 距離検出装置、撮像装置、距離検出方法、プログラム及び記録媒体 | |
JP5219787B2 (ja) | 撮像装置 | |
US10362214B2 (en) | Control apparatus, image capturing apparatus, control method, and non-transitory computer-readable storage medium | |
JP2017158018A (ja) | 画像処理装置およびその制御方法、撮像装置 | |
JP6353233B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
US9841580B2 (en) | Distance measuring apparatus | |
JP2015014788A (ja) | 測距装置、撮像装置及び測距装置の制御方法 | |
JP2017032646A (ja) | 撮像装置及びその制御方法 | |
JP2015015704A (ja) | 測距装置、撮像装置及び測距装置の制御方法 | |
JP7057090B2 (ja) | 測距装置および測距方法 | |
JP2019045725A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP6746738B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP6207243B2 (ja) | 測距装置、撮像装置及び測距装置の制御方法 | |
JP2017085337A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6641187B2 (ja) | 合焦位置検出器及び撮像装置 | |
JP7005313B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP6765829B2 (ja) | 画像処理装置、画像処理装置の制御方法、撮像装置 | |
JP2016206556A (ja) | 測距像の取得方法、およびそれを用いる撮像装置 | |
JP6727856B2 (ja) | 撮像装置およびその制御方法 | |
JP6415139B2 (ja) | 焦点検出装置、撮像装置、焦点検出方法および焦点検出プログラム |