JP5742152B2 - 撮像装置 - Google Patents

Description

本発明は、被測定対象物までの距離を測距する測距装置を備えた撮像装置に関する。

オートフォーカス（ＡＦ）機能を有する撮像装置は、被写体までの距離を測距する距離測定装置（以下、「測距装置」という。）を備えている。測距装置に用いられる測距方式は複数知られている。例えば、外測式の三角測距方式が従来から知られている（例えば、特許文献１を参照）。特許文献１に記載されている測距装置（特許文献１においては「外部ＡＦセンサ」と記載されている）は、所定の間隔を隔てて配置した一対の測距用レンズと、各測距用レンズに対応して配置される測距用撮像素子を有してなる。測距用撮像素子は、受光面を有しており、この受光面に測距用レンズを通して得られる被写体像が結像する。受光面に結像した被写体像に応じて、各測距用撮像素子から画素信号が出力される。この２つ画素信号を用いて視差を算出し、この視差によって、被写体までの距離を算出する。

このような三角測距方式を用いる測距装置において、２つの測距用撮像素子の受光面が同一平面上に、かつ、所定の基線長離れた位置に精度よく配置される必要がある。このとき、各測距用撮像素子の受光面に角度ずれ（傾き）があってはならない。このため、従来の三角測距方式を採用した測距装置は、別体で形成されている各測距用撮像素子を、精度良く組み立てて基板上に配置し、位置ずれや角度ずれの調整作業が煩雑になる。そのため、製造効率が悪い。

そこで、特許文献１に記載されている測距装置のように製造時の調整作業が煩雑にならず、かつ、精度よく同一平面上であり、かつ、基線長離れた位置に精度よく２つの測距用撮像素子を配置し、さらに、測距用撮像素子と同一半導体上に視差演算回路を備えてなる測距センサが知られている（例えば、特許文献２を参照）。

しかしながら、特許文献２記載の測距装置は基線長が一定であり、かつ、センサ出力が視差演算回路に固定的に入力される構成である。すなわち、測距精度は一定であり、かつ、測距専用の半導体センサである。このような用途に特化した専用の半導体センサは、製造コストがかさみ、また製造期間が長期化しやすい。

本発明は上記課題に鑑みてなされたものであって、汎用の半導体ウェハに所定間隔をもって形成された撮像素子を連ねて切り出した撮像素子と、測距用撮像素子の出力データに基づいて視差を算出する視差演算部を備えた測距装置の少なくとも１つの測距用撮像素子を、視差演算に使用せず、別の用途でも使用可能に構成された測距装置を備える撮像装置を提供することを目的とする。

本発明は、撮像光学系を介して結像された被写体の像を電気信号に変換する撮像素子と、上記被写体に対する距離を測定する測距センサと、上記距離に応じて上記撮像光学系を移動させるオートフォーカス手段と、を有する撮像装置であって、上記測距センサへの電力の供給を制御する電力供給制御手段を備え、上記測距センサは、同一の半導体ウェハ上に形成された一連かつ複数の素子を一体に切り出して形成された素子群からなり、上記素子群の端部に配置される２つの素子と、その他の位置に配置される素子は、それぞれに異なる動作条件が設定されていて、上記電力供給制御手段は、上記動作条件に応じてそれぞれの素子に対する電力の供給を制御する、ことを最も主な特徴とする。

本発明によれば、汎用の半導体ウェハに所定間隔をもって形成された撮像素子を連ねて切り出した複数の撮像素子の少なくとも１つの測距用撮像素子を、視差演算に使用せず、別の用途でも使用することできる。

また、本発明によれば、無駄な消費電力を削減することができる。また本発明によれば、視差演算ではない他の用途に用いる撮像素子に対して、視差演算に用いる撮像素子とは異なる制御をすることができる。

本発明に係る撮像装置の例を示す機能ブロック図である。 本発明に係る撮像装置の一部を拡大した機能ブロック図である。 本発明に係る撮像装置の一部を拡大した機能ブロック図である。 本発明に係る撮像装置におけるスルー画表示の例を示すである。 本発明に係る撮像装置が備える測距用の撮像素子の例を示す機能ブロック図である。 本発明に係る撮像装置が備える測距用の撮像素子の半導体ウェハ上での位置関係の例を示す図である。 本発明に係る撮像装置が備える測距用の撮像素子の例を示す機能ブロック図である。 本発明に係る撮像装置における画像処理の例を示す図である。 本発明に係る撮像装置に用いる測距用の撮像素子の構造の例を示す平面図と断面図である。 本発明に係る撮像装置が備える測距装置が用いる測距方法の例を示す模式図である。 上記測距方法に係るマッチング処理における相関値の変化の例を示すグラフである。 本発明に係る撮像装置が備える測距装置の別の例を示す模式図である。 本発明に係る撮像装置が行う画像処理の例を示す図である。 本発明に係る撮像装置が画像処理に用いるデジタルフィルタの例を示す図である。

以下、本発明に係る撮像装置の実施形態について図面を参照しながら説明する。図１は、本発明に係る撮像装置の例を示す機能ブロック図である。図１において、撮像装置１０は、素子１、電力制御部２、ＣＰＵ３、データ転送制御部４、メモリ５、視差演算部６、表示制御部７、表示部８を有してなる。

素子１は、半導体ウェハ上に形成された複数の撮像素子の中から並んだ３つ以上の撮像素子を一体に切り出したものであって、測距センサである。素子１は例えばＣＭＯＳセンサによる受光面を含む画像信号出力部と、画像信号出力部から出力される画像信号に対する画像処理を行う画像データ出力部と、画像処理部の動作パラメータを設定する動作制御部を有してなるセンサからなる。図１には、並んだ３つの撮像素子を一体に切り出して素子１として構成された例を示している。なお、素子１の詳細な説明は、後述する。

素子１は、図示しない測距用レンズを介して受光面に結像した被写体像に基づく画像データを出力する。測距用レンズは、測距センサの受光面に被写体像を結像させるレンズであって、素子１を構成する各撮像素子に対応して配置される。素子１から出力された画像データは、後述する視差演算部６における視差の算出に用いられる。視差を算出するには２つの画像があればよい。よって、素子１を構成する並んで配置された複数の撮像素子のうち、両端に位置する素子から出力される画像データを視差演算に用いればよい。なお、素子１は、両端の２つの撮像素子が基線長相等を隔てた配置となっている。

電力制御部２は、ＣＰＵ３からの指示によって、各素子１に動作電力を供給するスイッチング回路からなり、スイッチ回路の動作によって、測距センサである素子１への電力の供給を制御する電力供給制御手段である。電力制御部２は、例えば、視差演算に用いられる画像データを出力する撮像素子（両端の撮像素子）に対して電力を供給し、それ以外の撮像素子（中央の撮像素子）には電力を供給しない、といった電力の供給制御をする。また、撮像装置１０が備える図示しない操作部が、利用者によって操作されて、撮像装置１０の動作モード（条件）が変更されたとき、変更後の動作モードに応じて素子１の中央の撮像素子に電力を供給する。このように、電力制御部２は、撮像装置１０の動作条件に応じて、測距センサを構成する素子１の動作に必要な電力供給を制御するため、無駄な消費電力を削減することができる。

ＣＰＵ３は、撮像装置１０の動作制御を行う処理装置である。ＣＰＵ３によって、電力制御部２と、データ転送制御部４と、視差演算部６と、表示制御部７の動作が制御される。

データ転送制御部４は、素子１から出力される画像データをメモリ５にいったん蓄積した後、視差演算部６に対して蓄積された画像データを出力する。また、素子１から出力される画像データのうち、視差演算に用いない画像データについては表示制御部７に出力する。つまり、データ転送制御部４は、素子１から出力された画像データがそれぞれ必要な処理部に転送されるように、画像データの転送制御を行う。

メモリ５は、素子１から出力された画像データを用いて視差演算部６が視差を算出する処理を行うときに、ワークエリアとして動作する。また、メモリ５は、素子１から出力された画像データのうち、表示部８において表示される画像データを、表示制御部７が表示可能な形式に変換する処理を行うときに、ワークエリアとしても動作する。さらに、メモリ５は、表示制御部７が形式変換した画像データを蓄積し、表示部８に順次表示されるように、表示制御部７が画像データを読み出すバッファメモリとしも動作する。メモリ５は、例えばＤＲＡＭからなる。

視差演算部６は、素子１から出力された画像データを用いて被写体までの距離を算出する演算手段である。視差演算部６が算出した被写体までの距離に応じて、撮像装置１０は、図示しないレンズ撮像光学系に含まれるレンズを、図示しない駆動手段によって焦点距離に応じた位置に移動させることができる。

表示制御部７は、素子１から出力された画像データを表示部８にて表示可能なデータに変換する画像処理を行う。また、表示制御部７は、変換された画像データを、利用者が被写体を確認する画像（いわゆるスルー画）として表示部８に表示させる制御を行う。表示制御部７で変換するデータの形式は、例えば、ＹＵＶデータである。すなわち、表示制御部７は、素子１からの画像データをＹＵＶデータに変換してメモリ５に蓄積し、所定の時間間隔をもってメモリ５からＹＵＶデータを読み出して表示部８へ出力するといった制御を行う。

表示部８は、例えば撮像装置１０が、モニタリング動作を行うように設定されているとき、撮像光学系がとらえた被写体像を、表示する。モニタリング動作とは、撮像装置１０が動作しているときに、撮像光学系がとらえた被写体像を順次表示する動作である。表示部８は例えば、筐体の背面側に搭載される液晶モニタである。表示部８の表示に用いられる画像データは、素子１の中央部の撮像素子から出力される画像データである。モニタリング動作時に表示部８に表示される画像をスルー画という。

表示部８にスルー画を表示するとき、主撮像素子を用いて画像データを得ることもできる。ここで、主撮像素子とは、測距センサを構成する撮像素子とは別の撮像素子であって、撮像装置１０が被写体像を撮像して記録するために用いる主となる撮像素子をいう。主撮像素子は画質よく撮影処理をするために画素数が多いものが用いられる。画素が多い分、測距センサに比べて消費電力が大きい。そこで、撮像装置１０は、主撮像素子よりも画素が小さく消費電力が小さい測距センサを構成する素子１を用いてスルー画を表示する。スルー画を表示している間、主画像素子の動作を休止させることができる。これによって、無駄な電力消費を削減することができ、撮像装置１０の動作電源の寿命を伸ばすことができる。

次に撮像装置１０のより詳細な構成について、図２及び図３を用いて説明する。図２は、撮像装置１０における素子１、電力制御部２、ＣＰＵ３、およびデータ転送制御部４からなる領域１００（図１参照）を拡大した機能ブロック図である。図３は、撮像装置１０におけるＣＰＵ３、データ転送制御部４、メモリ５、視差演算部６、および表示制御部７からなる領域２００（図１参照）を拡大した機能ブロック図である。

図２に示すように、素子１は３つの撮像素子１１，１２，および１３を有してなる。撮像素子１１，１２，および１３は、同一の半導体ウェハ上に形成された複数の撮像素子の中から並んだ３つの撮像素子を一体に切り出したものである。

電力制御部２は、ＣＰＵ３によって制御され、素子１を構成する撮像素子に対して動作電力の供給を制御するトランジスタＴｒ２１，Ｔｒ２２およびＴｒ２３を有してなる。例えば、Ｔｒ２１は、素子１の端部の撮像素子１１に対する動作電力の供給を制御する。Ｔｒ２２は、素子１の中央部の撮像素子１２に対する動作電力の供給を制御する。Ｔｒ２３は、素子１を構成する他方の端部の撮像素子１３に対する動作電力の供給を制御する。

撮像装置１０の図示しない操作部を利用者が操作し、撮像装置１０の動作条件を変更したとき、ＣＰＵ３は、例えばＴｒ２１とＴｒ２３を動作させて、撮像素子１１と撮像素子１３に電力が供給されるようにすると共に、撮像素子１２に電力が供給されないようにＴＲ２２の動作を停止させる制御をする。また、例えば、利用者の操作によって、スルー画を表示するように動作条件が変更されれば、ＣＰＵ３は、撮像素子１２にも電力が供給されるように、Ｔｒ２２に対して動作するように制御をする。撮像素子１１，１２および１３のそれぞれから出力される画像データは、データ転送制御部４に出力される。

次に、図３について説明をする。図３において、データ転送制御部４は、素子１から入力された画像データを視差演算部６または表示制御部７に転送する処理を行う。より詳しくは、撮像素子１１から入力された画像データを、メモリ５の所定の記憶領域（Ａｃｈ５１）に転送する。また、撮像素子１３から入力された画像データを、メモリ５の所定の記憶領域（Ｂｃｈ５２）に転送する。データ転送制御部４は、ＣＰＵ３の指示に応じて、Ａｃｈ５１に蓄積された画像データと、Ｂｃｈ５２に蓄積された画像データを、所定のタイミングで読み出して、視差演算部６に転送する。

また、データ転送制御部４は、撮像素子１２から入力された画像データを、表示制御部７に転送する。表示制御部７に転送され画像データは、所定のデータ形式に変換されてメモリ５の所定の記憶領域（ＹＵＶ領域５３）に蓄積される。表示制御部７は、ＣＰＵ３の指示に応じて、メモリ５のＹＵＶ領域５３に記憶された画像データを、所定の時間間隔をもって読み出して表示部８に出力する。表示部８に出力された画像データはスルー画として表示されるため、撮像処理のときに撮像装置１０の利用者は被写体像を確認することができる。

次に撮像装置１０におけるスルー画表示の例について図４を用いて説明する。図４（ａ）はスルー画として表示される画像の例を示している。図４（ｂ）は測距用に取り込まれた画像データの例を示している。図４（ａ）のように、スルー画として表示される画像データは、画角中央付近の人物像に露出を合わせる方が、視認しやすい。しかし、背景部分は露出オーバーになってしまう。一方、測距用の画像データは、画角中央付近の人物像の露出を低くし、背景部分の露出オーバーを抑えることで、２つの画像データの対比をより精度よく行うことができるようにしている。

このように、素子１は、出力する画像データの用途によって、それぞれ異なる画像処理をする。これによって、素子１から出力される画像データのうち、測距のための視差演算に用いる画像データを出力する撮像素子１１及び１３は、γ係数と平均のＡＥ収束範囲を低く設定して画像処理をする。このように設定された撮像素子１１及び１３から出力される画像データは、画角中央部の露出が低く、背景部分の露出オーバーが抑えられている。これによって、画角全体の画素信号に基づく画像データを用いて視差演算をすることができる。また、スルー画のための画像データを出力する撮像素子１２は、γ係数と平均のＡＥ収束範囲を撮像素子１１及び１２よりも高く設定されるので、画角中央部に位置する主被写体像の階調が広がって背景との差も明確になる。これによって、スルー画に適した画像データを得ることができる。

次に、素子１を構成する各撮像素子のより詳細な構成について図を用いて説明する。図５は、撮像素子１１の構成の例を示す機能ブロック図である。撮像素子１１、１２、１３は構成が同一であるので、撮像素子１１を用いて説明する。図５において、撮像素子１１は、画像信号出力部１１１と、ＡＤＣ１１２と、画像データ出力部１１３と、動作制御部１１４と、を有してなる。

画像信号出力部１１１は、受光面であるフォトセンサからなるセンサ画素と、水平走査回路、垂直走査回路およびＣＤＳ／Ｇａｉｎを有してなり、受光面に結像した被写体像に応じた画像信号を出力する回路である。ＡＤＣ１１２は、画像信号出力部１１１から出力された画像信号をデジタル変換し、画像データを出力する回路である。

画像データ出力部１１３は、ＡＤＣ１１２でデジタルデータに変換された画像データに対して、所定の画像処理を行って、データ転送制御部４（図１参照）に出力する。画像データ出力部１１３における所定の画像処理とは、例えば、視差演算に用いる画像データであれば、γ係数と平均のＡＥ収束範囲を低く設定して行う画像処理をいう。また、スルー画に用いる画像データであれば、γ係数と平均のＡＥ収束範囲を高く設定して行う画像処理をいう。画像データ出力部１１３が行う画像処理に用いる設定は、動作制御部１１４を介してＣＰＵ３（図１参照）から指示される。

動作制御部１１４は、画像データ出力部１１３に対して所定の画像処理を行うように動作を制御する。また、例えば撮像素子１２（図２参照）に対してであれば、スルー画の出力指示がされるまでは、動作を停止し、または、動作クロックを遅くするように、撮像素子１２の動作状態を制御する。これらの制御は、ＣＰＵ３からの動作指示を受けて行われる。すなわち、ＣＰＵ３の動作指示によって、動作クロックを低くする場合、動作制御部１１４を構成するＰＬＬ回路が、動作制御部１１４のＣＰＵと画像信号出力部１１１の動作クロックを低くする。

次に、素子１の製造方法について図６を用いて説明をする。素子１は、図６に示すように、半導体ウェハ５０上に周知の半導体プロセスによって形成された複数の撮像素子のうち、一列に並んだ３つの撮像素子（例えば図６において斜線で示した３つの撮像素子）を、半導体ウェハ５０と一体に切り分けしたものである。

半導体ウェハ５０上の撮像素子は、マスクを用いてパターニングが行われているので、切り分けされた素子１は、これに含まれる３つの撮像素子１１、１２，及び１３（図２参照）が、高精度に位置合わせがされた状態になる。また、各撮像素子の画素マトリックスも平行になる。さらに、半導体ウェハ５０の表面は精度良い平面であるので、３つの撮像素子の法線も平行になり、位置ずれや角度の補正をすることなく、精度よく配置された素子１を得ることができる。

次に、撮像素子が備える画像データ出力部１１３（図５参照）の例について、図７を用いて説明する。図７において、画像データ出力部１１３は、色分離部１１３１と，信号補完部１１３２と，ペデスタル調整部１１３３と，ホワイトバランスゲイン１１３４と，デジタルゲイン１１３５と，γ変換部１１３６と，マトリクス部１１３７と，ビデオ出力部１１３８と，を有してなる。

色分離部１１３１は、ＡＤＣ１１２（図５参照）から入力されたデジタルの画像データをＲ（赤）・Ｇ（緑）・Ｂ（青）の各色成分に分離する処理を行う。信号補完部１１３２は、色分離部１１３１において分離されたＲ・Ｇ・Ｂの各画像データを補間する処理を行う。ペデスタル調整部１１３３は、信号補完部１１３にて補完処理がなされたＲ・Ｇ・Ｂの各画像データの、黒レベルを調整する処理を行う。ホワイトバランスゲイン１１３４は、Ｒ・Ｂの各画像データの白レベルを調整する処理を行う。デジタルゲイン１１３５は、Ｒ・Ｇ・Ｂの各画像データを、ＣＰＵ３の指示によって設定されたゲインに基づき、調整処理を行う。γ変換部１１３６は、Ｒ・Ｇ・Ｂの各画像データのγ変換処理を行う。マトリクス部１１３７は、γ変換されたＲ・Ｇ・Ｂの画像データを色差信号（Ｃｂ、Ｃｒ）と輝度信号（Ｙ）とに分離する処理を行う。ビデオ出力部１１３８は、マトリクス部１１３７にて分離された色差信号（Ｃｂ、Ｃｒ）と輝度信号（Ｙ）を、データ転送制御部４を介してメモリ５に順次出力する。

上記構成を備える画像データ出力部１１３に対する動作制御によって、画像データ出力部１１３から、用途に応じた画像データが出力される。画像データ出力部１１３に対する動作制御は、ＣＰＵ３（図１参照）が撮像装置１０の動作条件に応じて、動作制御部１１４を介して行う。

ここで、画像データ出力部１１３に対する動作制御の例を説明する。すでに説明をしたとおり、ＣＰＵ３からの動作制御の指示は、図示しない操作部等が操作され、動作モードが設定されたことによって行われる。この動作制御の指示によって、画像データ出力部１１３が行う画像処理に係るパラメータが設定される。例えば、設定に応じてγ係数が変更される。このγ係数は、γ変換部１１３６が行うγ変換処理に用いるパラメータである。

γ係数が異なる画像処理の例を、図８を用いて説明する。図８は、横軸を入力データの値、縦軸を出力データの値とするグラフである。入力データとは、γ変換部１１３６に入力される画像データである。出力データとはγ変換部１１３６にてγ変換がされた画像データである。例えば、スルー画に用いる画像データを出力するときには、図８（ａ）に示すようなγ係数を用いるように設定が変更される。

図８（ａ）に示すγ係数は、入力データの値が大きくなるにつれて、出力データの値を低く抑えている。このようなγ係数を用いてγ変換を行うと、入力データの小さい値を占める部分（たとえは人物が写っている部分）の階調は広がって信号レベルが高くなるので、この部分（人物）は鮮明になって、見やすい画像となる。よって、スルー画には適した画像データとなる。

しかし、入力データの大きな値を占める部分（例えば背景部分）の階調は極端に狭くなる。これによって、入力データの値に比べて出力データの値は小さくなる。このように不利になる画像上の領域の画像全体に占める割合が広くなる。また、入力に対して出力がリニアではないので、入力レベルの差に対して出力レベルの差が一定にはならず、２つの画像データを用いて視差演算を行って測距する三角測距方式では、誤差の原因となる。つまり、図８（ａ）に示すようなγ係数を用いた画像処理は、スルー画に用いる画像データには適しているが、２つの画像データを用いて行う視差演算には向かない。

図８（ｂ）に示すγ係数によれば、入力データに対して、出力データがリニアに出力される。このようなγ係数を用いてγ変換を行うと、画像データ全体の階調を一定に保つことができるので、入力レベルの差に対して出力レベルの差が一定になる。よって、２つの画像データを用いて視差演算を行って測距する三角測距方式に適した画像データとなる。

以上説明した、素子１が備える画像データ出力部１１３の動作パラメータを、撮像装置１０の動作条件に応じて変更する以外にも、例えば、ＣＰＵ３が、撮像素子１２から出力される画像データの輝度信号Ｙから露出量を検出し、この露出量が所定の値の範囲となるように、データ転送制御部４を介して、図示しない電子シャッタに対して、電子シャッタ速度の設定を行ってもよい。このとき、撮像素子１１および１３に対しては、設定された電子シャッタ速度よりも高速な電子シャッタ速度を設定すればよい。

次に、測距センサである素子１の構造の例について、図９を用いて説明する。素子１は、すでに説明したとおり、半導体ウェハ５０（図６参照）上に形成された複数の撮像素子の中から並んだ３つ以上の素子を一体に切り分けしたものである。半導体ウェハ５０上では、半導体で形成された画像信号出力部１１１（図５参照）や画像データ出力部１１３（図５参照）等が成形された回路９０にスペーサー９１と保護ガラス９２がつけられている。回路部分は、配線層９３によってパッド９４に接続されている。裏面から導通穴９５を通してソルダーボール９６がついている。ソルダーボール９６を図示しない回路基板にリフローして使用することができる。以上の構造を有した、素子１が、半導体ウェハ５０上に形成されている。

ここで、本発明に係る撮像装置が備える測距装置が採用する三角測距方式について、説明する。図１０は、基線長離れて配置されている２つの測距センサである素子１１、素子１３と、各素子に対応する測距レンズＬ、Ｒと、素子１１と素子１３の受光面に結像された被写体Ｘの像の例を示す模式図である。

図１０において、レンズＬとレンズＲの間隔を基線長Ｂとし、レンズＬ及びレンズＲの焦点距離をｆとして、レンズＬによって素子１１に結像した被写体像に係る画像データ上の位置と基線長基準からの距離をｄＬとし、レンズＲによって素子１３に結像した被写体像に係る画像データ上の位置と基線長基準からの距離をｄＲとした場合、被写体までの距離Ｌは、以下の式で算出される。

Ｌ＝（Ｂ×ｆ）／（ｄＬ＋ｄＲ）・・・（式１）

このように基線長基準のｄＬとｄＲを測定することで被写体までの距離Ｌを算出することができる。

以下の説明において、レンズＬによる画像を基準像といい、レンズＲによる画像を比較像という。ｄＬおよびｄＲの特定方法について説明する。まず、基準像内の測距したい像ブロックを８画素×８画素の基準ブロックとして抜きだす。次に、比較像内で、基準ブロックと同じ位置から比較ブロックを抽出する。次に、比較ブロックの左端から、基準ブロックと同じサイズ（８画素×８画素）のブロックに対して、マッチング演算をおこなう。マッチング演算値Ｍは以下の式で算出される。

Ｍ＝ΣΣ（｜Ａ［ｘ］［ｙ］―Ｂ［ｘ］［ｙ］｜）・・・（式２）。

式２において、ｙ＝０から７、ｘ＝０から７である。また、基準ブロックの８×８の画像配列をＡ、比較ブロックから抽出した８×８の画像ブロックの配列をＢとする。比較ブロック内で水平に右方向へ１画素分をずらした位置で、式２を用いたマッチング演算を行う。式２に示すように、マッチング演算は各画素の差の総和であり、相関が高い場合はそのマッチング値が小さくなる。１画素分をずらしながら式２を用いたマッチング演算を繰り返して行った結果、マッチング値Ｍが最小になった位置を、図１０において灰色で示した部分ｍとする。

上記のように式２を用いたマッチング演算において、基準ブロックを開始位置からシフトさせた量とマッチング値Ｍの関係の例を、図１１のグラフに示す。図１１において、横軸はシフト量であって、縦軸がマッチング値Ｍである。マッチング値Ｍが最小になるシフト量は、ｄＬ＋ｄＲに等しい。シフト量は、画素ブロック間を補完して算出する。補完演算の方法は、マッチング値Ｍが最小となるｘ方向の位置とその前後（ｘ−１およびｘ＋１）の傾きを用いる。

図１１において、ｘ−１からｘへの傾きを太い実線Ａ１で示し、ｘからｘ＋１への傾きは、破線Ａ２で示している。実線Ａ１の傾きと破線Ａ２の傾きを比較し、より急峻な傾き（傾きが大きい）に対して、マイナス１を乗じた値を傾きとする直線を、緩慢な傾きを示したシフト量のｘ方向の位置（図１１においてはｘ＋１）に当てはめる（実線Ａ３）。実線Ａ１と実線Ａ３の交点位置を、補完されたマッチング値Ｍの最小値とする。以上のような補間処理によれば、画素間隔は例えば2μm程度である。このように、補間処理を行って画素間隔以上の精度確保を行うことができるので、測距センサ相互の物理的な位置の誤差も１μｍオーダーで保たれる必要がある。このような高精度な物理的位置を実現するために、本発明に係る撮像装置が備える測距装置では、測距センサに用いる撮像素子が、半導体ウェハ上に半導体プロセスによって形成された複数の撮像素子のうち、一列に並んだ撮像素子を、半導体ウェハから一体に切り分けしたものを用いる。

次に、本発明に係る撮像装置の別の実施形態について説明する。すでに説明をした実施形態では、測距センサとして、半導体ウェハに形成された複数の撮像素子のうち、一列に並んだ３つの撮像素子を、半導体ウェハから一体に切り分けしたものを例に用いて説明をした。本発明に係る撮像装置は、これに限らず、並んだ４つの撮像素子を半導体ウェハから一体に切り分けしたものを用いてもよい。

図１２は、本実施形態の例を示す模式図である。図１２において、素子１ａは、半導体ウェハから一体に切り分けした４つの撮像素子１１ａ，１２ａ，１３ａ，１４ａと、各撮像素子に被写体像を結像させる測距レンズ６１，６２，６３，６４を有してなる。素子１ａへの動作電力の供給は、ＣＰＵ３の指示によって動作する電力制御部２を構成するトランジスタＴｒ２１ａ，Ｔｒ２２ａ，Ｔｒ２３ａ，ＴｒＲ２４ａが制御するように構成されている。

図１２において、例えば、両端の撮像素子１１ａおよび１４ａに対向する測距レンズ６１および６４が、望遠の光学系であって、中央部の撮像素子１２ａと１３ａに対向する測距レンズ６２と６３は、広角系の光学系であるとする。

撮像装置が備える図示しない主光学系のレンズが広角の場合、ＣＰＵ３の制御によって、Ｔｒ２２ａとＴｒ２３ａを動作させて、撮像素子１２ａと撮像素子１３ａに電力を供給する。これによって、撮像素子１２ａと撮像素子１３ａが動作するので、これらの受光面に結像した被写体像から画像信号が出力される。この画像信号を用いて測距を行うことで、主光学系に合った測距を行うことができる。

また、撮像装置が備える図示しない主光学系のレンズが望遠の場合、ＣＰＵ３の制御によって、Ｔｒ２１ａとＴｒ２４ａを動作させて、撮像素子１１ａと撮像素子１４ａに電力を供給する。これによって、撮像素子１１ａと撮像素子１４ａが動作するので、これらの受光面に結像した被写体像から画像信号が出力される。この画像信号を用いて測距を行うことで、主光学系が望遠の場合、測距レンズも望遠のものを用いて、精度のよい測距を行うことができる。

出力された画像信号を用いて、すでに説明した方法を用いて視差演算を行うことで、主光学系の動作状態に応じた測距をすることができる。すなわち、撮像素子への電力を供給する電力供給手段であるＴｒ２１ａ，Ｔｒ２２ａ，Ｔｒ２３ａ，ＴＲ２４ａは、撮像装置の動作条件の一つである、レンズが広角であるか望遠であるか、に応じて、測距センサである素子への電力を供給することができる。これによって、撮像装置は動作条件に応じて、適宜、測距センサへの電力供給を切り替えることができ、無駄な消費電力を削減することができる。

なお、４個連結の場合は、端に位置する撮像素子１１ａと１４ａを用いると、基線長Ｂが長くなるので、被写体まで距離Ｌに対するｄＬとｄＲの変化量を増やすことができる。これによって、測距精度を高めることができる。

次に、基準画像と比較画像におけるサンプリング誤差について、説明をする。図１３は、サンプリング誤差の例を示す模式図である。図１３において、等間隔で並ぶ点線１３０は、画素の境界線を示している。山なりの線は被写体像の輪郭１３１の例を示している。水平方向の線１３２は、各画素における値の例を示している。なお、図１３（ａ）が基準画像、図１３（ｂ）が比較画像とする。

図１３に示すように、被写体の輪郭１３１が微細であって画素の大きさに近いとき、各撮像素子１１および１３（図１参照）の画素の位置は視差の関係でズレが生じる。よって、図１３（ａ）に示すように、基準画像では、各画素間の値に違いが生じても（図１３（ａ）の線１３２を参照）、図１３（ｂ）に示すように、比較画像では、各画素間の値がほぼ同じになる箇所が生じることがある（図１３（ｂ）の線１３２の頂部付近を参照）。
視差演算は、線１３２に示す値を用いて行うので、図１３（ａ）を例とする基準画像と、図１３（ｂ）を例とする基準画像では、マッチング値Ｍが最小になる位置が異なる可能性が高い。すなわち、視差演算において誤差が生じることになる。

このような誤差を抑制するには、各画像データに対してエッジエンハンス処理を行えばよい。エッジエンハンス処理は、マトリクス部１１３７（図７参照）において行う。例えば、スルー画の表示に用いる画像データに対しては、エッジエンハンス処理を強く行うように、ＣＰＵ３が動作制御部１１４を介して、マトリクス部に図１４に示すようなデジタルフィルタを設定する。

図１４に示すデジタルフィルタの例は、ハイパスフィルタとして機能するものである。このデジタルフィルタの係数αをマトリクス部における入力データに掛けることで、高周波成分が抑えられる。αの値を大きくすれば、エッジエンハンスの効果は強くなり、逆に、αの値を小さくすれば、エッジエンハンスの効果を弱くすることができる。

したがって、例えば、図１に示した撮像装置１においては、ＣＰＵ３が、素子１の中央の撮像素子１２に対して、エッジエンハンスを強めにするように、αの値を大きくして設定し、測距に用いる画像データを出力する両端の撮像素子１１および１３に対しては、エッジエンハンスを弱めにするように、αの値を小さく設定すればよい。

以上、本発明に係る撮像装置によれば、撮像装置の動作条件に応じて、測距センサを構成する素子への電力供給の制御を行うことができ、無駄な消費電力を削減することができる。また、本発明に係る撮像装置によれば、撮像装置の動作条件に応じて、測距センサを構成する素子毎に個別の動作パラメータを設定することができるので、撮影条件に沿った最適な測距を行うことができる。

１ 素子
２ 電力制御部
３ ＣＰＵ
４ データ転送制御部
５ メモリ
６ 視差演算部
７ 表示制御部
８ 表示部
１０ 撮像装置

特許第３７６１３８３号公報 特開２００７−３２２１２８号公報

Claims (6)

1. 撮像光学系を介して結像された被写体の像を電気信号に変換する撮像素子と、
   上記被写体に対する距離を測定する測距センサと、
   上記距離に応じて上記撮像光学系を移動させるオートフォーカス手段と、
   を有する撮像装置であって、
   上記測距センサへの電力の供給を制御する電力供給制御手段を備え、
   上記測距センサは、同一の半導体ウェハ上に形成された一連かつ複数の素子が一体に切り出された素子群を有してなり、
   上記素子群の端部に配置される２つの素子と、その他の位置に配置される素子は、それぞれに異なる動作条件が設定されていて、
   上記電力供給制御手段は、上記動作条件に応じてそれぞれの素子に対する電力の供給を制御する、
   ことを特徴とする撮像装置。
2. 上記電力供給制御手段は、上記素子群に含まれる素子のうち、一部の素子にのみ電力を供給する、
   請求項１記載の撮像装置。
3. 上記測距センサは、上記各素子の動作パラメータを変更する動作制御手段を備えており、
   上記動作制御手段は、上記動作条件に応じて、上記素子ごとの上記動作パラメータを変更する、
   請求項１記載の撮像装置。
4. 上記端部に配置される２つの素子は上記距離の測定に用いられる動作条件が設定され、上記その他の位置に配置される素子は上記被写体のモニタリング画像の取得に用いられる動作条件が設定されていて、
   上記動作設定が、上記被写体のモニタリングをしない設定であるとき、
   上記電力供給制御手段は、上記測距センサを構成する素子のうち、上記２つの素子にのみ電力を供給する、
   請求項１記載の撮像装置。
5. 上記端部に配置される２つの素子は上記距離の測定に用いられる動作条件が設定され、上記その他の位置に配置される素子は上記被写体のモニタリング画像の取得に用いられる動作条件が設定されていて、
   上記動作設定が、上記被写体のモニタリングを行う設定であるとき、
   上記電力供給制御手段は、上記測距センサを構成する素子のうち、上記２つの素子及びその他の素子のそれぞれに電力を供給する、
   請求項１記載の撮像装置。
6. 上記素子群は、端部に配置される２つの素子と、端部の内側に配置される２つの素子と、を有してなり、
   上記端部に配置される２つの素子に対する測距レンズと、上記内側に配置される２つの素子に対する測距レンズは、焦点距離が異なるレンズであり、
   上記電力供給制御手段は、上記撮像光学系の設定に応じて、上記端部の素子と上記内側の素子のいずれかの組のみが動作するように電力を供給する、
   請求項１記載の撮像装置。

Images