JP2012085093A - 撮像装置および取得方法 - Google Patents

Abstract

【課題】ストロボによる補助光の発光あり／なしの画像から距離に関する情報を算出する際、被写体の反射率の影響で精度が悪かった。
【解決手段】同じ被写体像に対して補助光を照射した第１の画像と、補助光を照射しない第２の画像と、を取得する。さらに、取得した第１の画像を構成する画像データと、第２の画像を構成する画像データとから、被写体の反射率の影響が除去された外光に関する値を算出する。そして、算出した値と光が距離に応じて減衰する特性を基に、撮像装置から被写体までの距離に関する情報を取得する。
【選択図】図１

Description

本発明は、撮像装置を用いて距離に関する情報を取得する撮像装置および取得方法に関する。

通常カメラは、照明を当てた被写体の明暗に関する情報をモノクロやカラーの濃淡画像として撮影する機能がある。この撮影機能に加えて被写体までの距離に関する情報が二次元で距離画像として得られると様々な処理において有用である。距離に関する情報が取得できると、小径レンズを用いたコンパクトカメラで被写界深度の浅いボケ味を生かした画像処理などが可能になる。

従来の距離画像を得る方法として、２眼のステレオカメラにより視差のある２枚の画像を撮影し、２枚の画像に写っている対応点同士の視差を検出して奥行きを得る方法がある。

また、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）と呼ばれる技術で、特殊なイメージセンサと高周波で変調された光源を用い画素毎に被写体からの反射光の到達時間を計測することで距離を得る方法がある（特に、特許文献１および、特許文献２を参照）。

さらに、単一のカメラに対して照明を変化させて複数枚の画像を撮影し、それらの画像の違いを用いて距離を推定する技術もある。そのひとつが、ステレオレンジファインダ技術であり変調された照明やレーザー光を用いて距離の計測を行う（特に、特許文献３を参照）。

また、非常に精度は悪いが単なるフラッシュオンとオフの２枚の画像を用いて光量変化から距離を得る技術もある。フラッシュオンとオフの画像を用いて被写体領域画像データと背景領域画像データとに分離し、背景領域画像データに対してぼかし効果のあるフィルタ処理を施して合成することにより背景をぼかす技術が開示されている（特に、特許文献４を参照）

特開２０００−１２１３３９号公報 特開２００６−８４４２９号公報 特開２００１−１２９０９号公報 特開２００５−２２９１９８号公報

しかしながら、従来技術には、以下のような課題がある。

２眼や多眼方式、およびＴＯＦ方式などの技術は何れも特殊な光学系やイメージセンサを有するカメラが必要であり、一般的な民生のデジタルカメラ等に容易に利用することは困難である。また、ステレオレンジファインダ方式は特殊な照明手段が必要になりやはり民生機器で容易に利用できないという課題がある。

また、民生機器への応用が容易なフラッシュオンとオフの画像を用いる方式は、極めて精度が悪いという課題がある。

この技術は、フラッシュオン画像とオフ画像の差分がフラッシュ光による光量増加成分であるため、光量増加が大きい画素は近景であり、光量増加が小さいまたは光量増加が無い画素は遠景であると判断し、二つの領域に分離している。しかし、光量増加が小さいからと言って遠いとは限らず、被写体の反射率が小さい（暗い色）場合にも光量増加は小さくなる、即ち黒い被写体は遠いと判断され、白い被写体は近いと判断されることになり、必ずしも正しく遠近を表すことにならない。

さらに撮影環境により、外光とフラッシュ光の照度のバランスは大きく異なるため、その差分値の大きさだけで正しく前景と背景を分離することは困難である。

本発明は、上記課題を鑑みて、一般的なデジタルカメラに搭載されるストロボ機能を用いて得られるストロボによる補助光の発光あり／なしの画像から被写体の反射率の影響を除去した値を算出し、算出した値を基に被写体までの距離に関する情報を精度よく取得する撮像装置および取得方法を提供することを目的とする。

上記の課題を解決するため、本発明は被写体を撮影し当該被写体までの距離に関する情報を生成する撮像装置であって、前記被写体の被写体像を形成する光学部と、前記被写体像を基に画像信号を得る撮影部と、前記被写体を照射する補助光発光部と、前記補助光発光部により前記被写体に補助光を照射させ第１の画像を撮影するよう前記光学部および前記撮影部を制御するとともに、補助光を照射しないで第２の画像を撮影するよう前記光学部および前記撮影部を制御する撮影モードを少なくとも備える撮影制御部と、前記撮影モードで撮影して得られる前記第１の画像を構成する画像データおよび第２の画像を構成する画像データを用いて被写体の反射率の影響を除去した値を算出し、当該算出した値と前記補助光が被写体までの距離に応じて減衰する特性である減衰特性とを用いて前記被写体までの距離に関する情報を取得する距離取得部を備える。

上記の構成により、本発明の撮影装置は同じ被写体像に対して補助光を照射した第１の画像と、補助光を照射しない第２の画像と、を取得することができる。さらに、取得した第１の画像を構成する画像データと、第２の画像を構成する画像データとから、被写体の反射率の影響が除去された外光に関する値を算出することが出来る。そして、算出した値と光が距離に応じて減衰する特性を基に、撮像装置から被写体までの距離に関する情報を取得することが出来る。これにより、補助光を照射した画像と補助光を照射しない画像の画像データから、被写体までの距離に関する情報を算出する場合であっても、被写体の反射率に依存することなくより好適に当該距離に関する情報を取得することが可能となる効果を奏する。

また好ましくは、前記撮像装置はさらに、前記光学部において形成した被写体像内の合焦領域に位置する主被写体像までの距離に関する情報を測距する測距部と、を備え、前記距離取得部は、前記主被写体像までの距離に関する情報、前記被写体の反射率の影響を除去した値のうち前記主被写体に対応する値、前記被写体の反射率の影響を除去した値に基づいて算出される外光の影響を除去した値および、前記減衰特性を用いて前記被写体までの距離に関する情報を取得する。

上記の構成により、少なくとも他よりも精確に距離に関する情報を取得することが出来る主被写体の距離に関する情報を基準にすることにより、外光の影響を除去した値を算出することができる。さらに、外光の影響を除去した値に基づいて被写体までの距離を取得することが出来る。これにより、例えば建物等の遮蔽物の影響で外光が変化する場合であっても、この外光を除去した値を基に距離に関する情報を取得することができるため、より精確な距離に関する情報を取得することができる。

また好ましくは、前記撮像装置はさらに、前記第２の画像を構成する画像データに対して、局所階調特性に基づく変換処理を行う変換処理部を有し、前記距離取得部は、前記第１の画像を構成する画像データと前記第２の画像を構成する画像データとの差分値と、前記変換処理された第２の画像を構成する画像データと、の比率を外光の影響を除去した値とする。

上記のように構成することにより、第２の画像に対して輝度ムラを軽減することができるため、より精度よく距離に関する情報を取得することが可能となる。

本発明によれば、ストロボによる補助光の発光あり／なしの２枚の画像から、被写体の色（反射率）の影響なしに精度よい距離に関する情報を取得することが出来る。

本実施形態１における撮影環境を含めた撮像装置の概略図 ストロボ発光有無における撮影条件の説明図 撮影画像を説明するための図 被写体距離とストロボ光の強度の関係のグラフを示す図 距離の評価関数のフローチャート 本実施形態２における撮像装置の概略図 外光推定部のフローチャート 距離推定部のフローチャート 本実施形態３における撮影装置の概略図 局所階調処理部の構成図 動的階調補正部の変換特性のグラフを示す図

以下、本実施形態に係るデジタルカメラについて、図面を参照しながら説明する。

［第１実施形態］
本実施形態では、補助光としてストロボ（フラッシュと同意味）を使うデジタルカメラを例に、以下、説明する。

＜構成＞
図１は、本実施形態において、撮影環境を含めた撮像装置の概略構成図である。

撮像装置１００は、光学系１０１、イメージセンサ１０２、ピント制御部１０３、補助光発光部１０４、撮影制御部１０５、メモリ１０６、距離取得部１０７を備える。

光学系１０１は、被写体の光学像を集光する複数のレンズから構成される光学系である。また、光学系１０１は、ピント調節機能を有した光学系である。撮像光学系１０１は、外光による照射光２０１で照明が照射する主被写体２０２、その他の被写体２０３および、その他の被写体２０４からの光学像をイメージセンサ１０２に導く。

＠１０２は、光学系１０１が集光した光学像を電気信号に変換するイメージセンサである。例えば、イメージセンサ１０２は、撮影シーン２００に示す被写体の光学像を電気信号に変換する。ここで、撮影シーン２００はある撮影シーンを示すものである。この撮影シーン２００には、外光である外光による照射光２０１、撮影シーン２００における主被写体２０２、背景における被写体である主被写体２０２およびその他の被写体２０４を含む。

ピント制御部１０３は、被写体にピントを合わせるために光学系１０１が有するレンズを調整する制御部である。ピント制御部１０３は撮影制御部１０５の指示により光学系１０１を前後に動かし外光による照射光２０１をイメージセンサ１０２上に結像させる。

＠１０４は、被写体に対して撮影を補助する光を発光するストロボである。

撮影制御部１０５は、補助光発光部１０４の発光や、ピント制御部１０３におけるピント調節の指令を出す。さらに、撮影制御部１０５は、撮像部１０２が撮像した電気信号を読み出す。撮影制御部１０５は、補助光発光部１０４を発光させ撮影シーン２００を撮影しメモリ部１０６に格納する。以下、補助光発光部１０４を発光させて撮影シーン２００を撮影した画像を第１の画像とする。また、撮影制御部１０５は、補助光発光部１０４を発光させずに撮影シーン２００を撮影しメモリ部１０６に格納する。以下、補助光発光部１０４を発光させずに撮影シーン２００を撮影した画像を第２の画像とする。なお、第１の画像および第２の画像は時間的に連続して撮影される。つまり、撮影制御部１０５は、少なくとも第１の画像と第２の画像を時間的に連続して撮影する撮影モードを有する。２枚の画像の撮影間隔は被写体の動きの影響を受けない程度に十分に短時間で行われる。なお、ストロボ発光および非発光での撮影順は任意でよい。また、２枚の撮影での絞りやシャッタ時間などによる露光量は必ずしも一致させる必要が無く、ストロボ発光および非発光で各々最適な露光量で撮影し、各々の露光量の違いは電気的なゲインで補正すればよい。

メモリ部１０６は、撮影制御部１０５が取得した電気信号を一時蓄える。

＠１０７は、メモリ部１０６に蓄積される電気信号に基づいて、撮像装置１００から被写体までの距離に関する情報を取得する。メモリ部１０６は、光が距離に応じて減衰する特性である減衰特性を有し、この減衰特性に基づメモリ部１０６に蓄積される電気信号から距離に関する情報を算出する。

距離取得部１０７は、メモリ部１０６に格納されている第１および第２の画像を用いて距離推定を行い距離画像として出力する。

＜動作＞
以下、図面を参照しながら撮像装置１００の動作について説明する。

図２は、ストロボ発光有無における撮影条件を示す説明図である。

図３は、撮像装置１００が撮影する画像を示す図である。

図２（Ａ）は、ストロボ発光ありでの撮影条件を示す。

図２（Ｂ）は、ストロボ発光無しでの撮影条件を示す。

ここでは、外光２０１の強度レベルをＣ、ストロボ光の強度レベルをＷ、任意の被写体までの距離をＬ、その被写体の反射率をＲとする。

この条件では、外光２０１の強度Ｃ、任意の被写体２０４の距離Ｌと反射率Ｒ、および任意の被写体２０４にとどくストロボ光の強度Ｗ、は全て不明である。

図２（ａ）と図２（ｂ）を用いて、距離取得部１０７の動作を、数式を用いて説明する。

以下、メモリ部１０６にはストロボ発光で撮影した第１の画像Ｉｍｇ１および、ストロボ非発光で撮影した第２の画像Ｉｍｇ２が蓄えられているとする。このＩｍｇ１は、ストロボによる光と、その他の被写体２０３による光の影響が含まれる。また、Ｉｍｇ２は、その他の被写体２０３の光の影響が含まれる。

ここで、任意の被写体２０４が画像中の座標（ｘ，ｙ）に位置する場合、Ｉｍｇ１の明るさを表す画素値は、照明の光量と被写体の反射率との積に比例するため、ｋを比例定数として次式で表せる。

（数式１） Ｉｍｇ１（ｘ，ｙ）＝ｋ＊（Ｃ＋Ｗ）＊Ｒ
同様に、ストロボを発光しないで撮影した場合の、同じ画素は次式で表現される。

（数式２） Ｉｍｇ２（ｘ，ｙ）＝ｋ＊Ｃ＊Ｒ
距離取得部１０７は、被写体の反射率に影響されない値をＩｍｇ１およびＩｍｇ２から算出する。以下、算出する値をＨと表現する。このＨは、外光Ｃがどの被写体に対しても一様であると見なせるという仮定を設定することにより、Ｉｍｇ１およびＩｍｇ２の画素値から反射率の影響をキャンセルしたものである。距離取得部１０７は、Ｈをストロボ光による画素値（Ｉｍｇ１−Ｉｍｇ２）と外光のみによる画素値（Ｉｍｇ２）との比として算出する。上記のように比を取ることにより反射率Ｒが除去されるため、被写体の色にかかわらない距離の評価が可能になる。要するに、メモリ部１０６は次式によってＨを算出する。

（数式５） Ｈ（ｘ，ｙ）＝（Ｉｍｇ１（ｘ，ｙ）−Ｉｍｇ２（ｘ，ｙ））／Ｉｍｇ２（ｘ，ｙ）＝ｗ（ｘ、ｙ）／Ｃ
以下、距離取得部１０７の動作について図面を参照しながら説明する。

図４は、距離取得部１０７がＨを求める際のフローチャートである。

まず、距離取得部１０７は、補助光発光部１０４を発光して撮影した第１の画像の画素値Ｉｍｇ１を取得する（Ｓ１０）。

次に、距離取得部１０７は、補助光発光部１０４を発光せずに撮影した第２の画像の座標（ｘ，ｙ）の画素値Ｉｍｇ２を取得する（Ｓ１１）。なお、Ｓ１０およびＳ１１の撮影取得順序は逆であっても構わない。

そして、距離取得部１０７は（数５）を用いてストロボ光のみによる画素レベル（Ｉｍｇ１−Ｉｍｇ２）の外光のみによる画素レベル（Ｉｍｇ２）に対する比をＨとして算出する。

以下、距離取得部１０７がＨに基づき距離に関する情報を算出する動作を説明する。

図５は、被写体距離Ｌとストロボ光の強度Ｗの関係を表す図である。ストロボからの光は点光源と見なせるため、原理的には距離が遠くなると被写体距離間の２乗に概ね反比例して減衰する。この減衰特性に基づきＨから距離を算出する。なお、この減衰特性は実測値を基に設定される特性であっても構わない。その場合、現実に起こりうる要因に対応することが可能となる。

具体的にメモリ部１０６は、算出されるＨおよび図５に示す減衰特性から、撮影した画像内の被写体における相対距離を算出することができる。

上記のように、本実施形態の距離取得部１０７は、ストロボ発光／非発光の２枚の画像から反射率の影響を除去または軽減することができる。そのため、外光の強度Ｃそのものは未知ではあるが、撮影シーン毎に固有の定数とみなすと、そのシーン内の多くの被写体の相対距離（相対的な前後関係）を算出することが出来る。これにより、前景と背景の切り分けなども、被写体の色にかかわらず行うことができる。

また、外光２０１の居度が一定という仮定が常に成り立つわけではないが、現実に撮影されることが多い典型的な種々の撮影シーン（風景、人物ポートレート、花のアップなど）における評価実験をした結果、これらのシーンの撮影において上記仮定はおおむね成立すると見なして問題ないとの知見を得ている。

なお、このように画像の比を用いることにより反射率の影響をキャンセルする評価式は、別の一例を下記するように無数に造ることが出来る。例えば、次式から算出される値をＨとしても構わない。

（数６） Ｈ‘（ｘ，ｙ）＝Ｉｍｇ１（ｘ，ｙ）／Ｉｍｇ２（ｘ，ｙ）＝（Ｃ＋ｗ）／Ｃ
上記の構成により、反射率Ｒを含めずに撮像装置１００から被写体までの距離に関する情報算出することが出来るようになる。そのため、様々な反射率の被写体があるシーンにおいても好適に距離に関する情報を取得することが可能となる。

要するに、本実施形態における撮像装置１００は、被写体を撮影し当該被写体までの距離に関する情報を生成する撮像装置１００であって、前記被写体の被写体像を形成する光学系１０１と、前記被写体像を基に画像信号を得るイメージセンサ１０２と、前記被写体を照射する補助光発光部１０４と、前記補助光発光部１０４により前記被写体に補助光を照射させ第１の画像を撮影するよう前記光学系１０１および前記イメージセンサ１０２を制御するとともに、補助光を照射しないで第２の画像を撮影するよう前記光学系１０１および前記イメージセンサ１０２を制御する撮影モードを少なくとも備える撮影制御部１０５と、前記撮影モードで撮影して得られる前記第１の画像を構成する画像データおよび第２の画像を構成する画像データを用いて被写体の反射率の影響を除去した値を算出し、当該算出した値と前記補助光が被写体までの距離に応じて減衰する特性である減衰特性とを用いて前記被写体までの距離に関する情報を取得する距離取得部１０７を備える。

上記の構成により、撮像装置１００は同じ被写体像に対して補助光を照射した第１の画像と、補助光を照射しない第２の画像と、を取得することができる。さらに、取得した第１の画像を構成する画像データと、第２の画像を構成する画像データとから、被写体の反射率の影響が除去された外光に関する値を算出することが出来る。そして、算出した値と光が距離に応じて減衰する特性を基に、撮像装置から被写体までの距離に関する情報を取得することが出来る。これにより、補助光を照射した画像と補助光を照射しない画像の画像データから、被写体までの距離に関する情報を算出する場合であっても、被写体の反射率に依存することなくより好適に当該距離に関する情報を取得することが可能となる効果を奏する。

［第２実施形態］
次に、本実施形態２を図面を参照しながら説明する。

＜構成＞
図６は、本実施形態２における撮像装置の概略構成図である。図１に示す第１の実施形態と共通のものは同じ要素番号を振っており説明を省略する。

撮像装置３００は、本実施形態における撮像装置である。撮像装置３００は、新たに距離取得部３０７、外光推定部３０８および距離推定部３０９を備える。

＠３０７は、メモリ部１０６に蓄積される画像データから撮像装置３００から被写体までの距離に関す情報を算出する。距離取得部３０７は、外光推定部３０８と距離推定部３０９を備える。

外光推定部３０８は、＠１０３から得られる情報を用いて外光の強度Ｃを推定する。推定の詳細な動作については、後述する。

距離推定部３０９は、外光推定部３０８で算出された外光の強度Ｃおよび、メモリ部１０６に蓄積される画像データに基づいて、撮像装置３００から被写体までの距離に関す情報を算出する。距離推定部３０９は、距離取得部１０７と同じ動作となる。違いは、減衰特性に基づき算出したＨから距離に関する情報を算出する際、外光推定部３０８が推定する外光の強度Ｃを用いることにある。これにより、撮影した画像内の被写体における相対距離ではなく、絶対距離を算出することが可能となる。

実施形態１における距離取得部１０７は（数式５）のＨを用いて距離に関する情報を算出していたが、撮影シーン毎に異なる未知の外光の強度Ｃがあるため、同じ外光の強度とみなせるひとつの撮影シーン内での距離の相対比較への利用に留まった。

本実施形態２では、外光の強度Ｃを推定することにより、被写体毎に異なる反射率Ｒの影響無し、かつ、外光の強度の影響もなしに距離推定ができる距離取得部３０７を有する撮像装置３００を提案する。

＜動作＞
以下、外光推定部３０８の動作について図面を参照しながら説明する。

実際に外光の強度Ｃは未知であり、しかも撮影条件により大きく異なる。例えば、日中屋外での順光での撮影ではＣは非常に大きく、室内や逆光条件ではＣは小さくなる。したがって、外光の強度Ｃが不明では、（数式５）のＨにより相対的な前後関係は分かるが実際の絶対距離は不明である。

外光推定部３０８は、メモリ部１０６から、ストロボ発光で撮影したＩｍｇ１とストロボ非発光のＩｍｇ２を入力し、さらにピント制御部１０３から得られる主被写体２０２のピント距離情報Ｌ０を入力し、推定した外光の強度Ｃを距離推定部３０９に送る。主被写体の反射率はＲ０とする。

以下、外光推定部３０８の動作を図面を参照しながら説明する。

図７は、外光推定部３０８の動作を示すフローチャートであ。

まず、外光推定部３０８は、ピント制御部１０３から、フォーカスを制御しピント調節を行う課程で得られた主被写体２０２の距離Ｌ０を入力する（Ｓ２０）。

次に、外光推定部３０８は、予め測定されている図５に示す減衰特性を用いて、主被写体２０４を照らすストロボ光の強度Ｗ０を得る（Ｓ２１）。

さらに、外光推定部３０８は、図３に示すような主被写体２０２の画像中の位置（ｘ０，ｙ０）における、画像１および画像２の画素レベルを用いて、次式により基準Ｈ０を得る（Ｓ２２）。

（数式７） Ｈ０＝（Ｉｍｇ１（ｘ０，ｙ０）−Ｉｍｇ２（ｘ０，ｙ０））／Ｉｍｇ２（ｘ０，ｙ０）
そして、＠２０８は、基準Ｈ０ と基準ストロボ光の強度Ｗ０ から外光の強度Ｃを推定する（Ｓ２３）。

以上のように、ピント調節により距離Ｌ０を知ることが出来る画素位置（ｘ０，ｙ０）での、ストロボ光と外光の比率を元にすることにより、外光の強度Ｃを推定できる。

次に、距離推定部３０９の動作を、図８のフローチャートを用いて説明する。

距離の推定は、画素毎に行うものであるため、画素単位の処理のループを構成している。

まず、距離推定部３０９は、外光推定部３０８で推定した外光の強度Ｃを取得する（Ｓ３０）
次に、距離推定部３０９は、処理を行う画素位置の初期化 ｘ＝０，ｙ＝０を行う（Ｓ３１）。なお、Ｓ３０およびＳ３１は、距離推定部３０９における初期設定動作となる。つまり、距離推定部３０９は、画素単位での処理を行う前に、Ｓ３０およびＳ３１を実行する。

次に、距離推定部３０９は画像１と画像２における画素（ｘ，ｙ）の画素レベルからＨを取得する（Ｓ３２）。

そして、＠距離推定部３０９は、Ｈと外光の強度Ｃから、画素（ｘ，ｙ）のストロボ光の強度Ｗを得る（Ｓ３３）。

さらに、距離推定部３０９は、画素（ｘ，ｙ）のストロボ光の強度Ｗから距離Ｌを推定する。

そして、距離推定部３０９は、未処理の画素があるか否かを確認する（Ｓ３５）。未処理の画素がある場合は、Ｓ３６に移行する。未処理の画素がない場合は、そのまま動作を終了する。

距離推定部３０９は、特定の画素でＳ３２からＳ３４の処理を終えると、未処理の画素に処理対象を変更する（Ｓ３５）。そして、未処理の画素に対して、Ｓ３２からＳ３４の処理を行う。

Ｓ３２からＳ３４の処理を画素数分繰り返すことにより、全画素数分の距離が求まり、距離画像として出力することが出来る。

なお、本実施形態では、ピント情報から実際の距離が分かっている主被写体における、ストロボ発光／非発光の２枚の撮影画像の画素レベルを用いて外光の強度を推定し、距離推定を行う構成を例にとって説明した。

しかし、本実施形態のポイントは、外光の強度を推定することそのものにあるわけではなく、唯一実際の距離が分かる主被写体を基準として、ストロボ発光／非発光の２枚の撮影画像による距離推定結果を校正（キャリブレーション）するというアイデアにある。実際、明示的に外光の強度を推定するという段階を経なくても、２枚の撮影画像における２つの画素レベルを用いてＨを用いて推定した距離が、距離が分かっている主被写体において実際の距離に合うようにレンジ調整・校正することを意味している。外光の強度の推定はこの具現化手段のひとつではあるが、この考えに基づく限り、いかなる手法で行おうと同じ結果を得ることが出来る。

本実施形態では、被写体毎に異なる反射率（色）の影響もキャンセルし、さらに撮影シーン毎に異なる外光の強度の違いもキャンセルすることができるため、距離の絶対値を知ることが出来るため、別の撮影シーン間との距離の比較も可能である。

被写体までの距離を連続値として扱うことが可能であり、応用範囲は極めて広い。

例えば、背景をぼかして被写界深度の浅い画像を生成する応用においても、単に前景と背景に切り分けるのではなく、距離毎に連続的にボケ量をコントロールできるため、光学的なボケ味に極めて近い高品位なボケ生成が可能である。また、どんな撮影シーンでも、距離によって安定したボケ味を得ることが出来る。

本実施形態２における撮像装置３００は、前記撮像装置１００に加えて前記光学系１０１において形成した被写体像内の合焦領域に位置する主被写体像までの距離に関する情報を測距するピント制御部１０３と、を備え、前記距離取得部３０７は、前記主被写体像までの距離に関する情報、前記被写体の反射率の影響を除去した値のうち前記主被写体に対応する値、前記被写体の反射率の影響を除去した値に基づいて算出される外光の影響を除去した値および、前記減衰特性を用いて前記被写体までの距離に関する情報を取得する。

上記の構成により、少なくとも他よりも精確に距離に関する情報を取得することが出来る主被写体の距離に関する情報を基準にすることにより、外光の影響を除去した値を算出することができる。さらに、外光の影響を除去した値に基づいて被写体までの距離を取得することが出来る。これにより、例えば建物等の遮蔽物の影響で外光が変化する場合であっても、この外光を除去した値を基に距離に関する情報を取得することができるため、より精確な距離に関する情報を取得することができる。

［第３実施形態］
次に、本実施形態３を説明する。

＜構成＞
図９は、本実施形態３における撮像装置の概略構成図である。図６に示す第２の実施形態と共通のものは同じ要素番号を振っており説明を省略する。

撮像装置４００は本実施形態３における撮像装置であり、外光補正部４０１は撮像された画像から外光の影響を補正する外光補正部である。

本実施形態は３、第１および第２の実施形態が、当該撮影シーンにおいて外光の強度Ｃがどの被写体に対しても一様であると見なせるという仮定を設定することにより、反射率をキャンセルしていた。また、この仮定は多くのシーンで有効であるとしてきた。

しかし、現実のシーンの中にはこの仮定が成り立たないシーンも存在する。

例えば、木陰のように日陰の領域では外光の強度が期待よりも小さい。そのため暗いのにかかわらず、ストロボ光により明るくなるため、この領域を前述の実施形態の手法で距離を推定すると、実際より距離が近いと推定される。また逆に、太陽に向いている屋根などの斜面は、外光が期待より強くなるため、実際より距離が遠く推定される。

本実施形態３は、このような外光の不均一を軽減することにより、外光の当たり方による距離の誤差を減少させるものである。

図１０は外光補正部を構成する主要な機能ブロックである局所階調変換部５００の構成を示している。

周囲明度検出部５０１は、比較的広い範囲の周囲の平均的な明るさを検出する周囲明度検出部である。

＠５０２は、周囲の平均的な明るさに応じて階調変換特性が変化する動的階調変換部である。

＜動作＞
外光補正部４０１の動作を説明する。

外光補正部４０１は、ストロボを発光う撮影にて得られるＩｍｇ１からストロボを発光せずに撮影して得られるＩｍｇ２を減算した、ストロボ光のみの画像（Ｉｍｇ１−Ｉｍｇ２）に対しては補正を行わず、外光のみで照明されているＩｍｇ２に対してのみ、図１０に示す局所階調処理部５００を用いて外光の補正を行う。

局所階調処理部５００を構成する周囲明度検出部５０１は画像中の処理すべき画素ＩＳの周りの比較的広い範囲の明るさの平均ＵＳを出力する。

また、動的階調変換部５０２は図１１に示すように、周囲明度検出部５０１が出力する周囲の明度の平均値ＵＳごとに異なる階調変換特性（入力ＩＳ、出力ＯＳ）を持つ。

また、この変換特性は、ＩＳ＝ＵＳの交点（図中の黒丸）を結んだ曲線（図中の太線）は逆Ｓ字特性を持っている。これは、比較的広い面積の階調特性を意味するＩＳ＝ＵＳの条件下では、広い範囲で暗部は明るく変換し、広い範囲で明部は暗くする特性をもつ。さらに、処理すべき画素周辺の局所領域（ＵＳ＝一定と見なせる範囲）では、変換特性が原点を通る直線になっているため、局所的なコントラストが維持される特性を持つ。

したがって、この特性の局所階調処理部５００は、被写体の反射率の変化に繋がる局所コントラストは変化させずに、照明の当たり方の変化に繋がる大局的な明暗変化を軽減させる動作をするため、外光による照明ムラを除去・軽減する働きをする。

なお、局所階調変換部５００は被写体の反射率の変化に繋がる局所コントラストは変化させずに、照明の当たり方の変化に繋がる大局的な明暗変化を軽減させる動作を実行できる方法であればどのような方法を用いても構わない。

また、公知なＲｅｔｉｎｅｘ技術や局所ヒストグラム処理も照明ムラを低減させる傾向の動作をするため使用することが出来る。

本実施形態により、前述の実施形態が仮定していた外光の当たり方が均一という仮定が崩れる撮影シーンにおいても、より正確な距離推定が行え、良好な距離画像を得ることが出来る。

上記の構成により、撮像装置４００は、撮像装置１００および撮像装置３００に加えて、前記第２の画像を構成する画像データに対して、局所階調特性に基づく変換処理を行う外光補正部４０１を有し、距離取得部３０７は、前記第１の画像を構成する画像データと前記第２の画像を構成する画像データとの差分値と、前記変換処理された第２の画像を構成する画像データと、の比率を外光の影響を除去した値とする。

上記のように構成することにより、第２の画像に対して輝度ムラを軽減することができるため、より精度よく距離に関する情報を取得することが可能となる。

［他の実施形態］
なお、上記実施形態で説明した撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る立体撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

また、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。例えば、補助光としてストロボを用いて説明したが、フラッシュやＬＥＤ光源などいかなる照明を用いても良い。

本発明に係る撮像装置、取得方法は、デジタルカメラ等の撮影装置に対して適用することが出来る。

１００、３００、４００ 撮像装置
１０１ 光学系
１０２ イメージセンサ
１０３ ピント制御部
１０４ 補助光発光部
１０５ 撮影制御部
１０６ メモリ部
１０７、３０７ 距離取得部
１０９、３０９ 距離推定部
２００ 撮影シーン
２０１ 外光による照射光
２０２ 主被写体
２０３、２０４ その他の被写体
３０８ 外光推定部
４０１ 外光補正部
５００ 局所階調変換部
５０１ 周囲明度検出部
５０２ 動的階調補正部

Claims (4)

1. 被写体を撮影し当該被写体までの距離に関する情報を生成する撮像装置であって、
   前記被写体の被写体像を形成する光学部と、
   前記被写体像を基に画像信号を得る撮影部と、
   前記被写体を照射する補助光発光部と、
   前記補助光発光部により前記被写体に補助光を照射させ第１の画像を撮影するよう前記光学部および前記撮影部を制御するとともに、補助光を照射しないで第２の画像を撮影するよう前記光学部および前記撮影部を制御する撮影モードを少なくとも備える撮影制御部と、
   前記撮影モードで撮影して得られる前記第１の画像を構成する画像データおよび第２の画像を構成する画像データを用いて被写体の反射率の影響を除去した値を算出し、当該算出した値と光が距離に応じて減衰する特性である減衰特性とを用いて前記被写体までの距離に関する情報を取得する距離取得部を備える、
   撮像装置
2. 前記撮像装置はさらに、前記光学部において形成した被写体像内の合焦領域に位置する主被写体像までの距離に関する情報を測距する測距部と、を備え、
   前記距離取得部は、前記主被写体像までの距離に関する情報、前記被写体の反射率の影響を除去した値のうち前記主被写体に対応する値、前記被写体の反射率の影響を除去した値に基づいて算出される外光の影響を除去した値および、前記減衰特性を用いて前記被写体までの距離に関する情報を取得する
   請求項１に記載の撮像装置。
3. 前記撮像装置はさらに、前記第２の画像を構成する画像データに対して、局所階調特性に基づく変換処理を行う変換処理部を有し、
   前記距離取得部は、前記第１の画像を構成する画像データと前記第２の画像を構成する画像データとの差分値と、前記変換処理された第２の画像を構成する画像データと、の比率を外光の影響を除去した値とする請求項１に記載の撮像装置。
4. 被写体を撮影する撮像装置における当該被写体までの距離に関する情報を取得する取得方法であって、
   前記被写体の被写体像を形成する光学部と、
   前記被写体像を基に画像信号を得る撮影部と、
   前記被写体を照射する補助光発光部と、
   自装置の制御を行う制御部と、を備え、
   前記制御部は、
   前記補助光発光部により前記被写体に補助光を照射させ第１の画像を撮影するよう前記光学部および前記撮影部を制御するとともに、補助光を照射しないで第２の画像を撮影するよう前記光学部および前記撮影部を制御し、
   前記撮影モードで撮影して得られる前記第１の画像を構成する画像データおよび第２の画像を構成する画像データを用いて被写体の反射率の影響を除去した値を算出し、
   前記算出した値と光が距離に応じて減衰する特性である減衰特性とを用いて前記被写体までの距離に関する情報を取得する、
   取得方法。