JP6645682B2 - 距離取得装置、距離画像信号補正装置、撮像装置、距離画像量子化装置、および方法 - Google Patents

Description

本発明は、距離取得装置、距離画像信号補正装置、距離画像信号量子化装置、撮像装置、および方法に関する。

デジタルスチルカメラやデジタルビデオカメラ等の撮像装置において、観賞用画像信号と同時に複数の画素位置にて撮像装置から被写体までの距離（以降、被写体距離と呼ぶ。さらに、複数の画素位置にて取得した被写体距離から構成される画像信号を距離画像信号と呼ぶ）を取得できる測距機能を備えた撮像装置が提案されている。

例えば、撮像素子の一部あるいは全部の画素に測距機能を有する画素を配置し、位相差方式で被写体距離を検出するようにした固体撮像素子が特許文献１に提案されている。特許文献１に記載の測距方式は、撮像面にて位相差方式の測距を行うため、撮像面位相差測距方式と呼ばれる。特許文献1に記載の固体撮像素子を用いると、撮像装置が備える結像
光学系の異なる瞳領域を通過した光束により生成される像に基づく少なくとも２つの画像信号を取得することができる。２つの画像信号間の相対的な位置ズレ量を、ステレオ画像を用いた視差量検出方法と類似の手法で検出し、所定の変換係数を介してデフォーカス量に変換することで被写体距離を取得することができる。さらに、撮像面位相差測距方式では、２つの画像信号を合成することで、観賞用画像信号を生成することができる。その他の測距方式として、ＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ）方式と呼ばれる手法が特許文献２にて提案されている。ＤＦＤ方式は、撮影条件（絞り値、焦点距離など）を変えて２つの画像信号を時間的に連続して取得し、２つの画像間のボケ量の差異から被写体距離を取得する測距方式である。ＤＦＤ方式では、２つの画像信号のうち、一方の画像信号を観賞用画像信号として利用することができる。

測距機能を備えた撮像装置では、観賞用画像信号に対して、距離画像信号に基づく画像処理を施すことで、画像取得後に被写界深度制御やフォーカス位置制御を行うことができる。また、観賞用画像信号と距離画像信号から算出した被写体の距離範囲に基づき空間内の人物を抽出することで、人数計測をより高精度に行うことができる。

いずれの被写体距離算出方式も、２つの画像信号間の相関関係に基づき被写体距離を算出している。一般に、相関関係を評価する際には、領域ベースのマッチング手法が用いられる。領域ベースのマッチング手法では、各画像信号から所定の照合領域に含まれる画像信号を切り出し、相関関係を評価している。２つの画像間の相関関係を精度よく評価できた場合には、高精度に被写体距離を取得することができるが、そうでない場合には、被写体距離を誤って算出するおそれがある。

相関関係を誤評価した領域と正しく評価できた領域とを切り分ける手法が特許文献３にて提案されている。特許文献３では、上層マッチング手段が所定の照合領域を用いて画像信号間の相関関係を評価し、下層マッチング手段が照合領域を分割した分割照合領域ごとに相関関係を評価している。特許文献３の手法では、上層の相関関係を評価した結果と下層の相関関係を評価した結果の間で不整合がある場合には、相関関係を正しく評価できていないと判定される。

特許第４９１５１２６号公報 特許第２７５６８０３号公報 特許第４５３７５９７号公報

相関関係の誤評価は、要因に応じて大きく２つに分けることができる。第１は、被写体や撮影条件に起因した相関関係の誤評価である。被写体のコントラスト変化が少なかったり、画像信号に含まれるノイズ量が多かったりする場合には、被写体距離の値を誤って算出するおそれがある。第２は、相関関係を評価する際に用いる照合領域が比較的大きな領域サイズを有していることに起因した相関関係の誤評価である。照合領域内に距離の異なる複数の被写体が含まれる場合には、照合領域に含まれるいずれかの被写体の距離が算出されるが、どの被写体の距離を算出したのかが不確かになる。すなわち、ある画素の被写体距離を算出する際に、違う画素の被写体距離を誤って算出してしまうおそれがある。このように、異なる画素（位置）の被写体距離を誤って算出してしまう誤検出を、以下では、被写体距離の位置の誤算出と称する。

特許文献３にて開示されている手法では、上層マッチング手段と下層マッチング手段間に不整合が生じているか否かを、規定値を用いて判定している。不整合の有無に基づき相関関係を誤評価したか否かを判定しているため、誤評価の要因が、被写体距離の値自体を誤って算出したためであるか、被写体距離の位置を誤って算出したためであるかを区別できないおそれがある。

被写体距離の位置の誤算出は、主に、遠くに位置する被写体と近くに位置する被写体の境界で発生する。したがって、被写体距離自体の誤算出であるか、被写体距離位置の誤算出であるかを判別するためには、被写体距離の画素位置に応じた変化（微分）が閾値以上であるか否かを判定すればよい。ここで、被写体が存在する奥行き方向の距離範囲が広い場合に、閾値を大きく設定する必要がある。従って、閾値を固定値とした場合には、被写体の距離範囲によっては、相関関係を誤評価した領域を適切に抽出することができないおそれがある。また、相関関係を誤評価した領域を適切に抽出できない場合には、被写体の距離を誤って算出するおそれがある。

以上の問題を鑑み、本発明では、異なる画素の被写体距離を誤って算出してしまう誤検出の発生を精度良く判断することを目的とする。

本発明の第１の態様は、被写体までの距離に応じて相対的な位置ズレ量を有する第１の画像信号と第２の画像信号間の相対的な位置ズレ量に基づいて、画像信号の各領域に対応する、被写体までの奥行き方向の距離に関する距離情報をそれぞれ示した距離画像信号を取得する取得手段と、前記距離画像信号の前記距離情報の値の確からしさを表す距離信頼度と、前記距離情報の奥行き方向と垂直な面内における位置の確からしさを表す位置信頼度とを決定する決定手段と、を有し、前記決定手段は、前記距離画像信号と前記距離信頼度に基づいて、被写体距離の範囲である距離範囲を決定し、前記距離範囲および前記距離情報の前記奥行き方向と垂直な面内における変化に基づいて、前記距離画像信号における各領域の位置信頼度を決定する、ことを特徴とする距離取得装置である。

本発明の第２の態様は、上記の距離取得装置と、前記距離画像信号を、前記距離信頼度と前記位置信頼度に基づき補正することにより補正距離画像信号を生成する補正手段と、を備える、距離画像信号補正装置である。

本発明の第３の態様は、撮像手段と、上記の距離取得装置および距離画像信号補正装置のいずれかと、を備える、撮像装置である。

本発明の第４の態様は、上記の距離取得装置と、発光手段と、撮像手段と、前記距離取得装置が算出する距離範囲に基づき、前記発光手段における発光量を制御するための発光制御情報を算出し、前記撮像手段による撮影と同期して前記発光制御情報にしたがって光を放射するように前記発光手段を制御する、発光制御手段と、を備える、撮像装置である。

本発明の第５の態様は、上記の距離取得装置と、発光手段と、撮像手段と、前記距離取得装置が算出する距離範囲に基づき、前記発光手段における発光量分布を制御するための発光制御情報を算出し、前記撮像手段による撮影と同期して前記発光制御情報にしたがって光を放射するように前記発光手段を制御する発光制御手段と、を備える、撮像装置である。

本発明の第６の態様は、上記の距離取得装置と、格納手段と、前記距離取得装置によって算出される距離範囲に基づいて量子化距離範囲の最大値と最小値を設定し、量子化距離範囲の最大値と最小値の間を所定の量子化数で分割し量子化距離値を設定し、前記距離画像信号を構成する前記被写体距離を最も近い値を有する量子化距離値と対応付けることで
量子化距離画像信号を算出し、前記量子化距離画像信号を前記格納手段に格納する量子化手段と、を備える、距離画像量子化装置である。

本発明によれば、異なる画素の被写体距離を誤って算出してしまう誤検出の発生を精度良く判断することが可能となる。

第１の実施形態の撮像装置を説明する図。 距離計測の原理を説明する図。 第１の実施形態の距離範囲算出装置の処理を説明する図。 第１の実施形態の距離範囲算出装置の処理を説明する図。 第１の実施形態の距離範囲算出装置の処理を説明する図。 第１の実施形態の撮像装置の変形例を説明する図。 第２の実施形態の距離信頼度算出装置の処理を説明する図。 距離位置信頼度と被写体距離の変化の関係を説明する図。 第３の実施形態の距離画像信号補正装置の処理を説明する図。 第４の実施形態の撮像装置を説明する図。 第４の実施形態の発光制御処理を説明する図。 第５の実施形態の撮像装置を説明する図。

＜第１の実施形態＞
以下、図を参照しながら本発明の第１の実施形態について詳細に説明する。以下の説明では、本実施形態の距離範囲算出装置を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。尚、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。

本発明における距離範囲算出装置は、画像に含まれる被写体の奥行き方向の距離の範囲（距離範囲）を算出する装置である。本明細書では、被写体とは、画像に写されている全ての物体を指す。したがって、距離範囲算出装置は画像中に含まれる物体の最小距離と最大距離を算出するともいえる。

＜デジタルカメラの構成＞
図１（Ａ）は、デジタルカメラ１００の構成を示す図である。デジタルカメラ１００は、結像光学系１２０、撮像素子１０１、距離範囲算出装置１１０、画像生成部（不図示）、レンズ駆動制御部（不図示）、画像信号格納部（不図示）が、カメラ筐体１９０の内部に配置され、構成される。距離範囲算出装置１１０は、論理回路を用いて構成することができる。距離範囲算出装置１１０の別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

結像光学系１２０は、デジタルカメラ１００の撮影レンズであり、被写体の像を撮像素子１０１上に形成する機能を有する。結像光学系１２０は複数のレンズ群（不図示）から構成され、撮像素子１０１から所定距離離れた位置に射出瞳１３０を有する。なお、本明細書中では、ｚ軸を、結像光学系１２０の光軸１４０と平行とする。さらに、ｘ軸とｙ軸は互いに垂直であり、且つ光軸と垂直な軸とする。

＜撮像素子の構成＞
撮像素子１０１はＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成され、撮像面位相差測距方式による測距機能を有する撮像素子である。結像光学系１２０を介して撮像素子１０１上に結像した被写体像は、撮像素子１０１により光電変換され、被写体像に基づく画像信号を生成する。取得した画像信号に対して、画像生成部により現像処理を施すことで、観賞用画像信号を生成することができる。また生成した観賞用画像を画像信号格納部に格納することができる。以下、本実施形態における撮像素子１０１について、図１（Ｂ）を用いてより詳細に説明する。

図１（Ｂ）は、撮像素子１０１のｘｙ断面図である。撮像素子１０１は、２行×２列の画素群１５０を複数配列することで構成される。画素群１５０は、対角方向に緑画素１５０Ｇ１及び１５０Ｇ２、他の２画素に赤画素１５０Ｒ及び青画素１５０Ｂが配置され、構成されている。

図１（Ｃ）は、画素群１５０のＩ−Ｉ’断面を模式的に示した図である。各画素は受光層１８２と導光層１８１から構成される。受光層１８２には、受光した光を光電変換するための２つの光電変換部（第１の光電変換部１６１、第２の光電変換部１６２）が配置される。導光層１８１には、画素へ入射した光束を光電変換部へ効率良く導くためのマイクロレンズ１７０、所定の波長帯域の光を通過させるカラーフィルタ（不図示）、画像読み出し用及び画素駆動用の配線（不図示）などが配置される。

＜撮像面位相差測距方式の距離計測原理説明＞
本実施形態における撮像素子１０１が備える第１の光電変換部１６１及び第２の光電変換部１６２が受光する光束について、図２（Ａ）を用いて説明する。図２（Ａ）は、結像光学系１２０の射出瞳１３０と、撮像素子１０１中に配置される画素の代表例として緑画素１５０Ｇ１についてのみ示した概略図である。図２（Ａ）に示した画素１５０Ｇ１内のマイクロレンズ１７０は、射出瞳１３０と受光層１８２が光学的に共役関係になるように配置されている。その結果、図２（Ａ）に示すように、射出瞳１３０に内包される部分瞳領域である第１の瞳領域（２１０）を通過した光束は第１の光電変換部１６１に入射する。同様に部分瞳領域である第２の瞳領域（２２０）を通過した光束は第２の光電変換部１６２に入射する。

第１の光電変換部１６１は、受光した光束を光電変換して電気信号を生成する。また同様に、第２の光電変換部１６２は、受光した光束を光電変換して電気信号を生成する。撮像素子１０１の各画素の第１の光電変換部１６１が生成した電気信号の集合を第１の画像信号と称する。同様に、撮像素子１０１の各画素の第２の光電変換部１６２が生成した電気信号の集合を第２の画像信号と称する。第１の画像信号から第１の瞳領域２１０を主に通過した光束が撮像素子１０１上に形成する像の強度分布を得ることができ、第２の画像信号から第２の瞳領域２２０を主に通過した光束が撮像素子１０１上に形成する像の強度分布を得ることができる。

第１の画像信号と第２の画像信号間の相対的な位置ズレ量は、デフォーカス量に応じた量となる。位置ズレ量とデフォーカス量の関係について、図２（Ｂ）、（Ｃ）、（Ｄ）を用いて説明する。図２（Ｂ）、（Ｃ）、（Ｄ）は本実施形態における撮像素子１０１、結像光学系１２０について示した概略図である。光束２１１は第１の瞳領域２１０を通過する第１の光束を示す。光束２２１は第２の瞳領域２２０を通過する光束を示す。

図２（Ｂ）は合焦時の状態を示しており、第１の光束２１１と第２の光束２２１が撮像素子１０１上で収束している。この時、第１の光束２１１により形成される第１の画像信号と第２の光束２２１により形成される第２の画像信号間の相対的な位置ズレ量は０となる。図２（Ｃ）は像側でｚ軸の負方向にデフォーカスした状態を示している。この時、第１の光束２１１により形成される第１の画像信号と第２の光束２２１により形成される第２の画像信号間の相対的な位置ズレ量は０とはならず、負の値を有する。図２（Ｄ）は像側でｚ軸の正方向にデフォーカスした状態を示している。この時、第１の光束２２１により形成される第１の画像信号と第２の光束２２１により形成される第２の画像信号間の相対的な位置ズレ量は０とはならず、正の値を有する。

図２（Ｃ）と（Ｄ）の比較から、デフォーカス量の正負に応じて、位置ズレの方向が入れ替わることが分かる。また、幾何関係から、デフォーカス量に応じた位置ズレが生じることが分かる。従って、第１の画像信号と第２の画像信号間の位置ズレ量を、後述する領域ベースのマッチング手法により検出し、検出した位置ズレ量を所定の変換係数を介してデフォーカス量に変換することができる。なお、像側のデフォーカス量から、物体側の被写体距離への変換については、結像光学系１２０の結像関係を用いることで容易に変換することができる。

＜距離範囲算出装置の説明＞
本実施形態の距離範囲算出装置１１０について、図３を用いて説明する。図３（Ａ）は、本実施形態の距離範囲算出装置１１０の処理の概要を示すブロック図であり、図３（Ｂ）は距離範囲算出装置１１０の動作を示すフローチャートである。

距離範囲算出装置１１０の距離算出部３１１は、撮像素子１０１より第１の画像信号Ｓ１と第２の画像信号Ｓ２を読み出し、被写体距離算出処理Ｓ３２１により被写体距離の算出を複数の画素位置にて行う。

被写体距離算出処理Ｓ３２１内の具体的な処理内容について図４（Ａ）を用いて説明する。ステップＳ４０１では、距離算出部３１１は、第１の画像信号Ｓ１と第２の画像信号間Ｓ２の相対的な位置ズレ量を算出する。距離算出部３１１は、第１の画像信号Ｓ１内に、注目点を設定し、注目点を中心とする照合領域を設定する。距離算出部３１１は、次に、第２の画像信号Ｓ２内に参照点を設定し、参照点を中心とする参照領域を設定する。距離算出部３１１は、参照点を順次移動させながら照合領域内に含まれる第１の画像信号Ｓ１と、参照領域内に含まれる第２の画像信号Ｓ２間の相関度を算出し、最も相関が高い参
照点を対応点として決定する。距離算出部３１１は、注目点と対応点間の相対的な位置のズレ量を、注目点における位置ズレ量として算出する。注目点を順次移動させながら位置ズレ量を算出することで、複数の画素位置における位置ズレ量を算出することができる。

相関度の算出方法としては公知の手法を用いることができ、例えば、画像信号間の正規化相互相関を評価するＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）と呼ばれる手法を用いることができる。ステップＳ４０２では、距離算出部３１１は、位置ズレ量を、所定の変換係数を用いて撮像素子１０１から結像光学系１２０の焦点までの距離であるデフォーカス量への変換を行う。所定の変換係数をＧａｉｎ、デフォーカス量をΔＬ、位置ズレ量をｄとしたとき、下記数式１により、像ズレ量ｄをデフォーカス量ΔＬに変換することができる。
ΔＬ＝Ｇａｉｎ ×ｄ （数式１）

ステップＳ４０３において、距離算出部３１１は、デフォーカス量を被写体距離に変換する。デフォーカス量から被写体距離への変換は、前述のように結像光学系１２０の結像関係を用いて行える。図４（Ａ）の被写体距離算出処理を複数の画素位置にて行うことで、各画素位置の被写体距離から構成される距離画像信号Ｓｄを生成することができる。

距離値信頼度算出部３１２は、距離算出部３１１から取得した距離算出情報Ｉｃｏｒを用いて、距離値信頼度算出処理Ｓ３２２により被写体距離の値の確からしさを表す信頼度Ｒ１を算出する。

距離値信頼度算出処理Ｓ３２２の具体的な処理内容について図４（Ｂ）を用いて説明する。ステップＳ４１１では、距離値信頼度算出部３１２は、ステップＳ４０１にて位置ズレ量を算出した際の注目点と対応点間の相関度を距離算出情報Ｉｃｏｒとして取得する。この時、相関度が低い場合には、画像信号に含まれるノイズなどの影響により、相関関係を誤評価している可能性が高くなる。ステップＳ４１２では、距離値信頼度算出部３１２は、ステップＳ４０１にて位置ズレ量を算出した際の対応点近傍の相関度を距離算出情報Ｉｃｏｒとして取得し、対応点近傍の相関度と対応点の相関度との変化量を算出する。対応点近傍の相関度は、対応点に隣接する画素での相関度でもよいし、対応点から所定画素離れた画素での相関度でもよいし、対応点周辺の複数の画素の相関度の平均であってもよい。被写体のコントラスト変化が少ない場合には、相関度の変化量は小さくなり、この場合にも相関関係を誤算出している可能性が高くなる。ステップＳ４１３において、距離値信頼度算出部３１２は、コントラスト変化とノイズ量の比（画像のＳＮ比）を、距離値信頼度Ｒ１（第１信頼度に相当）として算出する。コントラスト変化が多いほど相関度の変化量が大きい。また、ノイズ量が多いほど対応点での相関度が小さい。したがって、距離値信頼度Ｒ１は、相関度の変化量が大きいほど大きく、対応点での相関度が大きいほど大きくなるように算出すればよい。例えば、距離値信頼度Ｒ１は、（相関度の変化量）／（１−対応点での相関度）として算出できる。

距離範囲算出部３１３は、距離算出部３１１から取得した距離画像信号Ｓｄと、距離値信頼度算出部３１２から取得した距離値信頼度Ｒ１を用いて、距離範囲算出処理Ｓ３２３により被写体の距離範囲ＤＲを算出する。

距離範囲算出処理Ｓ３２３の具体的な処理内容について図４（Ｃ）を用いて説明する。ステップＳ４２１では、距離範囲算出部３１３は、距離画像信号Ｓｄから距離値信頼度Ｒ１が高いと判定した画素位置の被写体距離を抽出する。この時、距離値信頼度Ｒ１が高いか否かの判定は、距離値信頼度Ｒ１が予め設定された閾値以上であるか否かを判定することによって行える。ステップＳ４２２では、距離範囲算出部３１３は、ステップＳ４２１にて抽出した被写体距離の最大値と最小値を算出する。ステップＳ４２３では、距離範囲
算出部３１３は、ステップＳ４２１にて算出した最大値および最小値をそれぞれ上限値および下限値として、被写体の距離範囲ＤＲを決定する。

なお、ステップＳ４２２において、抽出した被写体距離の最大値と最小値から距離範囲を算出する代わりに、被写体距離の統計量である平均値と標準偏差を用いて距離範囲を算出してもよい。具体的には、距離範囲算出部３１３は、抽出した被写体距離の平均値と標準偏差を算出し、平均値と標準偏差を３倍した値とを加算した値を上限値、平均値から標準偏差を３倍した値を減算した値を下限値として、被写体の距離範囲ＤＲを決定してもよい。なお、標準偏差の３倍を用いる必要はなく、標準偏差の所定数倍だけ平均値から離れた値を、上限値および下限値として決定すればよい。統計量である標準偏差を用いることで、距離値信頼度算出部３１２にて算出した距離値信頼度に誤った値が含まれていた場合でも、被写体の距離範囲の算出に与える影響を低減することができる。

また、平均値と標準偏差を算出する際に、距離画像信号Ｓｄを構成する被写体距離を距離値信頼度Ｒ１に基づいて重み付けして算出してもよい。具体的には、距離範囲算出部３１３は、距離値信頼度Ｒ１を重みとして被写体距離の重み付け平均値および重み付き標準偏差を算出し、上記と同様に被写体の距離範囲ＤＲを算出してもよい。なお、距離値信頼度Ｒ１自体を重みとする必要はなく、距離値信頼度Ｒ１が高いほど大きな重みを与えればよい。また、距離値信頼度Ｒ１が閾値未満の被写体距離も含めて平均や標準偏差を求めてもよいし、距離値信頼度Ｒ１が閾値以上の被写体距離のみから平均や標準偏差を求めてもよい。後者は、距離値信頼度Ｒ１が閾値未満の場合に重みをゼロとする例である。距離値信頼度Ｒ１を重みに用いて平均値と標準偏差を算出することで、より精度良く距離範囲を算出することができる。

本実施形態の距離範囲算出装置１１０を構成する距離算出部３１１にて算出した距離画像信号Ｓｄには、被写体距離の値を誤って算出した領域と、被写体距離の位置を誤って算出した領域が含まれている場合がある。被写体距離の値の誤算出とは、被写体の距離値自体を誤って算出することを指す。被写体距離の値の誤算出は、被写体のコントラスト変化が少なかったり、画像信号にノイズが含まれたりすることによって生じる。また、被写体距離の位置の誤算出とは、距離算出対象の画素（位置）とは異なる画素（位置）の距離を、距離算出対象の画素（位置）の距離値として算出することを指す。被写体距離の位置の誤算出は、主に、距離の異なる物体の境界において生じる。

図３（Ｃ）は横軸に被写体距離をとった説明図である。距離画像信号Ｓｄを構成する被写体距離の値を誤って算出した領域が含まれるとき、距離画像信号に含まれる被写体距離の最大値と最小値によって決まる距離範囲は、正解の距離範囲（実際の被写体の距離範囲）と比べて広い範囲となる場合がある。一方、被写体距離の位置を誤って算出した領域は、距離範囲の算出精度に与える影響は少ない。被写体距離の位置を誤っていても、算出した距離値はいずれかの被写体の距離値だからである。本実施形態の距離範囲算出装置１１０においては、距離値信頼度Ｒ１を用いて被写体距離の値を誤算出した領域を抽出し、被写体距離の値を正しく算出できた領域の距離のみを用いて距離範囲を決定するので、距離範囲を精度良く算出することができる。また、被写体距離の値を誤算出した領域の抽出を簡単な処理で行っているので、余分な演算処理が不要となり、効率よく被写体の距離範囲を抽出することができる。

本実施形態においては、第１の画像信号並びに第２の画像信号のコントラスト変化の高低とノイズ量の大小の比を評価して距離値信頼度Ｒ１を算出している。すなわち、画像信号のＳＮ比（画像ＳＮ比）を評価している。画像ＳＮ比の評価は、位置ズレ量を算出した際の相関度ではなく、照合領域を設定した第１の画像信号から算出しても構わない。図５（Ａ）は、第１の画像信号Ｓ１から距離値信頼度Ｒ１を算出するフローチャートである。
ステップＳ５１１では、距離値信頼度算出部３１２は、照合領域内に含まれる第１の画像信号の分散値を算出する。分散値が大きいほど、照合領域内に含まれる第１の画像信号のコントラスト変化が大きくなる。ステップＳ５１２では、距離値信頼度算出部３１２は、照合領域内に含まれる第１の画像信号の画素値から、画像信号に含まれるノイズ量を推定する。画像信号に含まれるノイズ量は、ノイズ量＝ノイズ推定係数×画素値×ＩＳＯ感度として推定できる。光電変換時に生じる光ショットノイズ量がフォトン数の平方根に比例するためである。ノイズ量推定係数は、予め撮像素子１０１のノイズ特性を計測して用いればよい。なお、ＩＳＯ感度は、デジタルカメラ１００の撮影時に用いたＩＳＯ感度を用いる。距離値信頼度算出部３１２は、ステップＳ５１３で、分散値とノイズ量の比を距離値信頼度Ｒ１として算出する。

被写体距離の値を誤って算出する他の要因として、撮影時に画素値が飽和する輝度飽和や被写体のコントラストが周期的に変化する周期被写体がある。従って、距離値信頼度をより精度よく評価するために、画像ＳＮ比に加えて、輝度飽和度を用いてもよい。輝度飽和度は、照合領域内における第１の画像信号が輝度飽和している領域の割合である。さらに、周期被写体に起因する相関関係の誤評価が生じているか否かを判定し、距離値信頼度の評価時に考慮してもよい。図５（Ｂ）は、周期被写体を撮影した場合の、相関度と参照点の移動量の関係を示す図である。周期被写体を撮影した場合は、コントラスト変化が周期的に変化することを反映して、相関度は周期的に極大値を有する。従って、相関度が極大値を有する参照点の移動量が周期的に並んでいるかを評価することで、周期被写体か否かを判定することができる。本実施形態の距離値信頼度算出部３１２は、画像ＳＮ比に加えて、輝度飽和度と被写体周期性について判定し、距離値信頼度を算出する。これにより、より高精度に距離値の確からしさを評価することができ、距離範囲算出部３１３における被写体の距離範囲を高精度に算出することができる。なお、被写体や撮影条件によっては、画像ＳＮ比、輝度飽和度、被写体周期性の全てを用いる必要はなく、少なくとも１つを用いて距離値信頼度を算出しても構わない。

＜被写体距離算出方式の他の形態＞
本実施形態のデジタルカメラ１００においては、１つの画素中に２つの光電変換部を配置した撮像素子１０１を用いることで、撮像面位相差測距方式による被写体距離算出を行っているが、他の測距原理に基づき被写体距離を算出しても構わない。本実施形態のデジタルカメラ１００において、撮像素子１０１ではなく図６（Ａ）にｘｙ断面図を示す撮像素子６０１を用い、撮影条件を変えて撮影した第１の画像信号と第２の画像信号を用いて被写体距離を算出するＤＦＤ方式を用いても構わない。すなわち、図３（Ａ）の距離算出部３１１にて、図６（Ｄ）を用いて後述する処理内容にて距離画像信号を生成している。

図６（Ａ）の撮像素子６０１は２行×２列の画素群６５０が複数配置され、構成される。画素群６５０は、対角方向に緑画素６５０Ｇ１及び緑画素６５０Ｇ２が配置され、他の２画素に赤画素６５０Ｇと青画素６５０Ｂが配置されている。各画素には、光電変換部６６１が１つのみ配置されている。

図６（Ｂ）は、撮影条件として合焦位置を変えたときの第１の撮像条件のＭＴＦを実線で示し、第２の撮像条件のＭＴＦを破線で示している。横軸はデフォーカス量、縦軸はＭＴＦ（変調伝達関数：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）である。合焦位置を変えて、時間的に連続して撮影することで、第１の撮像条件と第２の撮像条件とで、ＭＴＦのデフォーカス量依存を変えて撮像することができる。第１の撮像条件のＭＴＦと第２の撮像条件のＭＴＦの比をとったものが図６（Ｃ）である。デフォーカス量に依存して、ＭＴＦ比が変化していることが分かる。ＤＦＤ方式では、第１の撮像条件にて撮影した第１の画像信号と、第２の撮影条件にて撮影した第２の画像信号間の相関関係を評価することで、ＭＴＦの差異（すなわち、ボケ量の差異）を算出し、デフォーカ
ス量を検出することができる。検出したデフォーカス量は、前述の撮像面位相差測距方式と同様に、結像光学系１２０の結像関係に基づき物体距離へ変換することで、被写体距離を算出することができる。

図６（Ｄ）は、距離算出部３１１における被写体距離算出処理Ｓ３２１の処理内容を説明するフローチャートである。ステップＳ６１０では、第１の画像信号と第２の画像信号間の相関度を算出する。すなわち、第１の画像信号に注目点を設定し、注目点を中心とする照合領域を設定する。次に、第２の画像信号内の注目点と対応する位置に参照点を設定し、参照点を中心とする参照領域を設定する。照合領域内に含まれる第１の画像信号と参照領域内に含まれる第２の画像信号間の相関度を算出する。ステップＳ６１１では、相関度をデフォーカス量へ変換する処理を行う。相関度からデフォーカス量への変換は、予めデジタルカメラ１００が備えるメモリ（不図示）に対応関係を示すルックアップテーブルを格納し、参照することで変換することができる。例えば、相関度が高い時（相関度としてＮＣＣを用いる場合は１）は、第１の画像信号と第２の画像信号のボケ量が略等しいと考えることができるので、図６（Ｂ）の実線と破線が交わるデフォーカス量となる。ステップＳ４０３では、図４（Ａ）と同様に、デフォーカス量を被写体距離に変換する処理を行う。

測距方式としてＤＦＤ方式を用いた距離範囲算出装置１１０における距離値信頼度算出部３１２においては、図５（Ａ）を用いることで説明した手法で距離値信頼度を算出することができる。また、被写体距離の値を誤って算出する他の要因として、輝度飽和が挙げられる。従って、画像ＳＮ比に加えて、照合領域内に含まれる第１の画像信号に輝度飽和している領域が含まれているか否かを用いてもよい。

測距方式としてＤＦＤ方式を用いた場合であっても、距離算出部３１１にて算出した距離画像信号には、被写体距離の値を誤って算出した領域と、被写体距離の位置を誤って算出した領域とが含まれている場合がある。そのような場合であっても、被写体距離の値を誤って算出した領域を抽出して、それ以外の距離値を用いて被写体の距離範囲を求めることで、被写体の距離範囲を精度良く求めることができる。

＜第２の実施形態＞
本発明の第２の実施形態は、被写体距離の信頼度を算出する距離信頼度算出装置を備えた撮像装置である。以下、図を参照しながら、本発明の第２の実施形態について詳細に説明する。以下の説明では、本発明の距離信頼度算出装置を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。

本実施形態のデジタルカメラ１００は、結像光学系１２０、撮像素子１０１、距離信頼度算出装置７０１、画像生成部（不図示）、レンズ駆動制御部（不図示）、画像信号格納部（不図示）が、カメラ筐体１９０の内部に配置され、構成される。すなわち、本実施形態のデジタルカメラ１００は、第１の実施形態（図１）と比較して、距離範囲算出装置１１０の代わりに距離信頼度算出装置７０１を配置した構成となっている。距離信頼度算出装置７０１は、論理回路を用いて構成することができる。距離信頼度算出装置７０１の別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

図７（Ａ）は、本実施形態の距離信頼度算出装置７０１の処理の概要を説明するブロック図である。距離信頼度算出装置７０１は、撮像素子１０１から第１の画像信号Ｓ１と第２の画像信号Ｓ２を読み出し、距離範囲算出装置１１０にて、距離画像信号Ｓｄと距離値信頼度Ｒ１と距離範囲ＤＲの算出を行う。距離位置信頼度算出部７１０では、距離範囲算出装置１１０から距離画像信号Ｓｄと距離範囲ＤＲを受け取り、距離画像信号を構成する
被写体距離の撮像面内における位置の確からしさである距離位置信頼度Ｒ２の算出を行う。すなわち、距離信頼度算出装置７０１では、距離値信頼度Ｒ１と距離位置信頼度Ｒ２を算出し出力する。

距離範囲算出装置１１０が行う処理内容は、第１の実施形態と同様であるため、説明は省略する。距離値信頼度Ｒ１は、距離範囲算出装置１１０が行う処理によって算出できる。以下、図７（Ｂ）に示すフローチャートを用いて距離位置信頼度算出部７１０にて行う処理内容について説明する。

ステップＳ７１１では、距離位置信頼度算出部７１０は、距離画像信号Ｓｄ内に注目点を設定し、注目点を中心とする分散値算出領域を設定する。次に、距離位置信頼度算出部７１０は、分散値算出領域内に含まれる距離画像信号Ｓｄの分散値を算出する。注目点を順次移動させながら分散値の算出を行うことで、距離画像信号Ｓｄの各画素位置の分散値を算出する。分散値算出領域のサイズは、距離範囲算出装置１１０内の距離算出部３１１にて用いた照合領域と同じ領域サイズを用いればよい。算出した分散値が大きい領域には、距離変化が大きい領域が含まれる。したがって、分散値は、撮像面内方向についての被写体距離変化の大きさを表す指標といえる。

被写体距離変化が大きい領域は被写体距離の位置が不確かである可能性が高いが、同じ分散値であっても距離範囲ＤＲの幅によって不確かさは異なる。ステップＳ７１２において、距離位置信頼度算出部７１０は、距離範囲算出装置１１０にて算出した距離範囲ＤＲに基づき、ステップＳ７１１にて算出した分散値を規格化するための定数（規格化定数）を算出する。規格化定数は、距離範囲ＤＲの幅（上限値と下限値の差）が大きいほど大きく算出する。ステップＳ７１３では、距離位置信頼度算出部７１０は、ステップＳ７１１にて算出した分散値をステップＳ７１２にて算出した規格化定数で規格化した値を、距離位置信頼度Ｒ２（第２信頼度に相当）とする。

本実施形態では、距離範囲算出装置１１０にて算出した距離範囲ＤＲに基づき算出した規格化定数に基づき、距離変化の大きさが規格化される。これは、距離変化の大きさが同じ値であっても、被写体の距離範囲が広い場合では信頼度をより高く評価する必要があり、また逆に狭い場合では信頼度をより低く評価する必要があるためである。その理由について、図８（Ａ）、８（Ｂ）を用いて説明する。図８（Ａ）および図８（Ｂ）の上図は被写体が配置されている様子をｘｚ平面で示した図である。被写体が異なる奥行き位置に３つ配置されている。中図は、横軸に水平方向の位置を、縦軸に被写体距離を示している。下図は、縦軸に距離変化の大きさを示している。図８（Ａ）は被写体の距離範囲が狭い場合の例であり、図８（Ｂ）は被写体の距離範囲が広い場合の例である。図８（Ａ）に示すように被写体の距離範囲が狭い場合には、下図に示すように距離変化の大きさは小さくなる可能性が高い。一方、図８（Ｂ）に示すように被写体の距離範囲が広い場合には、下図に示すように距離変化の大きさは大きくなる可能性が高い。従って、距離範囲が広いほど大きな値となる規格化定数を設定し、距離変化の大きさを規格化することで、距離範囲によらず、距離位置の信頼度を一様に評価することが可能となる。その結果、撮影する被写体の位置関係に対してロバストに、被写体距離の位置の確からしさを示す距離位置信頼度Ｒ２を算出することができる。

本実施形態の距離位置信頼度算出部７１０では、ステップＳ７１１における距離変化の大きさを算出するために、距離画像信号の分散値を算出しているが、分散値の平方根である標準偏差を算出しても構わない。また、距離画像信号に対して微分フィルタ（１次微分フィルタや２次微分フィルタ）を施し、撮像面内方向についての距離変化の大きさを評価しても構わない。いずれの手法であっても、距離変化の大きさを距離範囲に基づく規格化定数を用いて規格化することで距離位置信頼度Ｒ２を、被写体の位置関係に対してロバス
トに算出することができる。

なお、本実施形態においてはステップＳ７１１にて算出した距離変化の大きさを、ステップＳ７１２にて算出した規格化定数にて規格化することで距離位置信頼度Ｒ２を算出しているが、被写体の距離範囲ＤＲに応じて距離変化の大きさを規格化できればよい。例えば、距離画像信号Ｓｄを、距離範囲ＤＲに基づく規格化定数で規格化した規格化距離画像信号を生成し、規格化距離画像信号について距離変化の大きさを算出してもよい。

また、距離位置信頼度に対して閾値処理で、信頼できる領域と信頼できない領域の２つに区分する際には、距離変化の大きさを距離範囲に基づく規格化定数で規格化するのではなく、判定するための閾値を距離範囲に応じて変えても構わない。この場合、距離変化の大きさが規格化された閾値以上の値を有する領域が、距離位置が信頼できる領域と判定され、距離変化の大きさが規格化された閾値より小さな値を有する領域が距離位置が信頼できない領域と判定される。

＜第３の実施形態＞
本発明の第３の実施形態は、距離位置信頼度に基づいて被写体距離の補正を行う距離画像信号補正装置を備えた撮像装置である。以下、図を参照しながら、本発明の第３の実施形態について詳細に説明する。以下の説明では、本発明の距離画像信号補正装置を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。

本実施形態のデジタルカメラ１００は、結像光学系１２０、撮像素子１０１、距離画像信号補正装置９０１、画像生成部（不図示）、レンズ駆動制御部（不図示）、画像信号格納部（不図示）が、カメラ筐体１９０の内部に配置され、構成される。すなわち、本実施形態のデジタルカメラは、第１の実施形態（図１）と比較して、距離範囲算出装置１１０の代わりに距離画像信号補正装置９０１（以下、補正装置９０１と称する）を配置した構成となっている。距離画像信号補正装置９０１は、論理回路を用いて構成することができる。補正装置９０１の別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

図９（Ａ）は、本実施形態の補正装置９０１の処理の概要を説明するブロック図である。補正装置９０１は、撮像素子１０１から第１の画像信号Ｓ１と第２の画像信号Ｓ２を読み出し、距離信頼度算出装置７０１にて、距離画像信号Ｓｄと距離値信頼度Ｒ１と距離位置信頼度Ｒ２の算出を行う。距離画像信号補正部９１０（以下、補正部９１０と称する）は、距離信頼度算出装置７０１から、距離画像信号Ｓｄ、距離値信頼度Ｒ１、距離位置信頼度Ｒ２を受け取り、距離画像信号Ｓｄを補正した補正距離画像信号ＣＳｄを算出し出力する。

距離信頼度算出装置７０１が行う処理内容は、第２の実施形態と同様であるため、説明は省略する。距離信頼度算出装置７０１にて算出した距離画像信号Ｓｄは、画像信号に含まれるノイズの影響によるバラつきを含んだ被写体距離や、被写体距離の値を誤って算出した領域や、被写体距離の位置を誤って算出した領域を含んでいる。

補正部９１０は、距離値信頼度Ｒ１と距離位置信頼度Ｒ２によって重み付けした平滑化フィルタによる距離画像信号Ｓｄの平滑化を行う。距離値信頼度Ｒ１と距離位置信頼度Ｒ２が高い領域ほど重みを大きくすることで、より信頼度の高い被写体距離を含んだ補正距離画像信号ＣＳｄを生成することができる。具体的な処理内容について、図９（Ｂ）のフローチャートを用いて説明する。

ステップＳ９１１では、補正部９１０は、距離値信頼度Ｒ１と距離位置信頼度Ｒ２を合成した距離信頼度Ｒ０を算出する。具体的には、距離値信頼度Ｒ１と距離位置信頼度Ｒ２の加算により、距離信頼度Ｒ０を算出することができる。ステップＳ９１２では、補正部９１０は、距離画像信号Ｓｄに注目点を設定し、注目点を中心とする平滑化領域を設定する。補正部９１０は、平滑化領域内にて、距離画像信号Ｓｄを距離信頼度Ｒ０で重み付けした平均をとることで、注目点の補正被写体距離を算出する。すなわち、補正部９１０は、距離画像信号Ｓｄに、距離信頼度Ｒ０が高い領域ほど重みが大きい重み付け平滑化フィルタを施すことで、補正被写体距離を算出する。重み付け平滑化フィルタにおける重みは、さらに、注目点との画素間距離が近いほど大きく設定することも好ましい。注目点を順次移動させながら、補正被写体距離を算出することで、補正被写体距離により構成される補正距離画像信号ＣＳｄを生成することができる。

本実施形態においては、距離値信頼度Ｒ１と距離位置信頼度Ｒ２を合成した距離信頼度Ｒ０に基づき、距離画像信号の重み付け平滑化を行うため、より信頼度の高い被写体距離で構成される補正距離画像信号ＣＳｄを算出することができる。

本実施形態においては、ステップＳ９１１にて距離値信頼度Ｒ１と距離位置信頼度Ｒ２を加算した距離信頼度Ｒ０を算出しているが、必ずしも合成する必要はない。距離位置信頼度Ｒ２は被写体距離の位置を誤って算出した領域であるため、距離位置信頼度Ｒ２が低い領域では、被写体距離が異なり且つ近傍領域ほど重みを大きくして平滑化処理を施しても構わない。また、第１の画像信号と第２の画像信号の少なくとも一方から観賞用画像信号を生成し、観賞用画像信号の色差または輝度差が小さい画素ほど重みを大きくするような平滑化処理を加えても構わない。さらに、重み付け平滑化フィルタにおける重みは、注目点との画素間距離が近いほど大きくしてもよい。いずれの場合においても、距離値信頼度Ｒ１と距離位置信頼度Ｒ２に応じた重み付け平均を距離画像信号に施すことで、より信頼度の高い被写体距離から構成される補正被写体距離画像ＣＳｄを算出することができる。

＜第４の実施形態＞
本発明の第４の実施形態は、被写体の距離範囲に応じた発光量で発光を行いつつ撮影を行う撮像装置である。以下、図を参照しながら、本発明の第４の実施形態について詳細に説明する。以下の説明では、本発明の距離範囲算出装置、発光部、発光制御部を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。

図１０（Ａ）は本実施形態に係るデジタルカメラ１０００の構成を示す図である。デジタルカメラ１０００は、結像光学系１２０、撮像素子１０１、距離範囲算出装置１１０、発光制御部１００１、発光部１０１０、画像生成部（不図示）、レンズ駆動制御部（不図示）、画像信号格納部（不図示）を、カメラ筐体１９０の内部に有する。

図１０（Ｂ）は、距離範囲算出装置１１０ならびに発光制御部１００１の動作を説明するブロック図である。距離範囲算出装置１１０は、撮像素子１０１から第１の画像信号Ｓ１と第２の画像信号Ｓ２を読み出し、第１の実施形態において説明した処理と同様の処理内容で距離範囲ＤＲの算出を行う。発光制御部１００１は、距離範囲ＤＲを距離範囲算出装置１１０から取得し、距離範囲ＤＲに基づく発光制御情報Ｉｆｃを算出する。発光部１０１０では、発光制御情報に基づく発光量にて光を放射する。

デジタルカメラ１００は仮撮影を行って、距離画像信号および距離範囲を算出する。その後、デジタルカメラ１０００は、距離範囲に応じて発光部１０１０から光を放射するのと同期して撮影を行う。これにより、暗いシーンにおける光量不足を補うことができる。
暗いシーンでの撮影の例として、例えば、夜間のポートレート撮影が挙げられる。

図１０（Ｃ）、（Ｄ）は、発光制御部１００１における発光制御情報の算出方法について説明する説明図である。図１０（Ｃ）は、被写体の距離範囲が近いシーンを示し、図１０（Ｄ）は、被写体の距離範囲が遠いシーンを示す。図１０（Ｃ）では、被写体の距離範囲が近いため、被写体は発光部１０１０から放射された光を多く受ける。このような場合において、発光部１０１０から放射される発光量を多くすると、輝度飽和（いわゆる白飛び）してしまい、観賞用画像の質が低下してしまう。従って、被写体の距離範囲が近い場合には、発光部１０１０から放射される発光量を少なくする必要がある。一方、図１０（Ｄ）では、被写体の距離範囲が遠いため、被写体は発光部１０１０から放射された光を少なく受ける。このような場合において、発光部１０１０から放射される発光量を少なくすると、被写体が暗く映ってしまい、観賞用画像の質が低下してしまう。従って、被写体の距離範囲が遠い場合には、発光部１０１０から放射される発光量を多くする必要がある。発光部１０１０の大きさが、被写体距離と比べて十分小さいと考えると、被写体が受ける照度は被写体距離の二乗に反比例する。従って、発光部１０１０から放射される発光量は、被写体距離の二乗に比例して多くすることが望ましい。

発光制御部１００１は、被写体の距離範囲が遠いか近いかの評価を行ったり、発光量を決定したりするためには、被写体の距離範囲を代表する被写体距離を求める。代表被写体距離として、最も近い被写体距離（距離範囲の下限値）を採用できる。また、代表被写体距離として、最も近い被写体距離（距離範囲の下限値）と最も遠い被写体距離（距離範囲の上限値）の間の距離、特に、これらの被写体距離の平均値を採用することができる。また、代表被写体距離として、被写体の距離範囲内の値を有する被写体距離を、距離画像中の画素数に応じて重み付け平均して得られる値を採用することもできる。

撮影者が発光部１０１０と同期した撮影を行うのは、一般に夜間のポートレート撮影であることが多い。夜間のポートレート撮影では、背景領域が黒一色となるいわゆる黒つぶれになってしまうために、コントラスト変化が小さくなる。従って、背景領域の被写体距離の値は誤って算出している可能性が高い。このような撮影シーンにおいても、本実施例のデジタルカメラ１０００においては、算出する距離範囲への寄与が大きい被写体距離の値の確からしさを距離値信頼度Ｒ１により評価することで、被写体の距離範囲ＤＲを高精度に算出することができる。その結果、本実施形態のデジタルカメラ１０００においては、被写体の距離範囲によらず、適切に光量不足を補い、高品質の観賞用画像を取得することができる。また、発光部１０１０を発光させた時の露出量を計測するために、予め発光部１０１０を発光させる必要がなくなるため、デジタルカメラ１０００における省電力化が可能となる。

本実施形態の発光制御部１００１は、発光部１０１０における発光量を制御する発光制御情報を算出しているが、発光部１０１０における発光量だけではなく、発光量分布の制御を行っても構わない。すなわち、発光制御部１００１は、距離範囲算出装置１１０から、距離範囲と距離画像信号と距離値信頼度を取得して、発光部１０１０の発光量分布を制御する発光制御情報を算出しても構わない。

図１１は、距離範囲ＤＲと距離画像信号Ｓｄを用いて発光量分布を制御する際の、発光制御部１００１における処理を説明するフローチャートである。ステップＳ１１０１では、所定の閾値よりも距離範囲が広いか判定を行う。すなわち、発光制御部１００１は、距離範囲の上限値と下限値の差が閾値よりも広いか否か判定する。広いと判定した場合には処理はステップＳ１１０２に進み、狭いと判定した場合には処理はステップＳ１１０３に進む。距離範囲が広い場合には、撮影画角内に複数の被写体が位置していることが多い、このような場合には、ステップＳ１１０２にて発光量分布を発光制御情報として設定し、
発光部１０１０における発光量に分布を持たせることが望ましい。一方、距離範囲が狭い場合には、撮影画角内に１つの被写体のみが位置しているか、被写体が近接配置されていることが多い。このような場合には、発光部１０１０における発光量の分布を制御する必要はなく、発光量のみを制御すればよい。すなわち、ステップＳ１１０３にて、発光量を発光制御情報として設定する。ステップＳ１１０２では、発光量分布を発光制御情報として算出するための処理を行う。距離画像信号から、被写体距離が近い領域ほど発光量が少なく、被写体距離が遠い領域ほど発光量が多くなるように発光量分布を設定する。さらに、距離画像信号内の被写体距離が距離範囲の外側にある領域は、距離値信頼度が低い領域や、被写体が至近、または遠い領域と考えることができる。従って、強い光を照射した場合には、観賞用画像信号の質が低下するおそれがあるため、発光量が少なくなるように発光量分布を設定することが望ましい。ステップＳ１１０３では、図１０（Ｂ）を用いた説明と同様に、距離範囲に基づく発光量を設定する。ステップＳ１１０３では、距離範囲が狭いため、距離画像信号に基づく発光量分布の制御は必要なく、発光量の制御のみを行う。距離範囲に基づき、必要に応じて発光量分布の制御を行うか、発光量のみの制御を行うかを判定することで、発光制御情報の算出に係る不要な演算を省き、撮影までのタイムラグをより短くすることができる。

＜第５の実施形態＞
本発明の第５の実施形態は、距離画像を量子化して保存する際に、被写体の距離範囲に応じて量子化方法を変化させる撮像装置である。以下、図を参照しながら、本発明の第５の実施形態について詳細に説明する。以下の説明では、本発明の距離範囲算出装置、距離画像量子化部、画像信号格納部を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。

図１２（Ａ）は本実施形態に係るデジタルカメラ１２００の構成を示す図である。本実施形態のデジタルカメラ１２００は、結像光学系１２０、撮像素子１０１、距離範囲算出装置１１０、量子化部１２０１、画像生成部（不図示）、レンズ駆動制御部（不図示）、画像信号格納部１２１０が、カメラ筐体１９０の内部に配置され、構成される。

図１２（Ｂ）は、距離算出装置１１０ならびに量子化部１２０１の動作を説明するブロック図である。距離範囲算出装置１１０は、撮像素子１０１から第１の画像信号Ｓ１と第２の画像信号Ｓ２を読み出し、第１の実施形態において説明した処理と同様の処理内容で距離範囲ＤＲの算出を行う。量子化部１２０１は、距離範囲ＤＲを距離範囲算出装置１１０から取得し、距離範囲ＤＲに基づき距離画像信号を量子化して量子化距離画像信号ＱＳｄを算出する。画像信号格納部１２１０はメモリから構成され、量子化距離画像信号ＱＳｄを格納する。

図１２（Ｃ）は、量子化部１２０１における距離画像信号の量子化方法について説明する図である。図１２（Ｃ）には、横方向の矢印で、被写体距離と量子化した被写体距離（量子化距離）を示している。量子化部１２０１は、量子化距離範囲の最小値と最大値を、距離範囲算出装置１１０から取得した距離範囲に基づいて設定する。量子化部１２０１は、量子化距離範囲の最小値と最大値の間を所定の分割数（量子化数）で分割し（例えば量子化距離画像信号を８ｂｉｔで表す場合は、２５６分割）、各分割位置における量子化距離値を設定する。量子化部１２０１は、被写体距離と量子化距離値を比較し、被写体距離と最も近い値を有する量子化距離値に対応付けることで、被写体距離の量子化を行う。具体的には、被写体距離１２２０から最も近い量子化距離値は、量子化距離範囲の最小値である量子化距離１２２１となる。従って、被写体距離１２２０の値と対応する量子化距離値は、量子化距離１２２１である。また、被写体距離１２３０から最も近い量子化距離は、量子化距離１２３１である。従って、被写体距離１２３０の値と対応する量子化距離は、量子化距離１２３１である。距離画像信号を構成する各被写体距離に対して、対応する
量子化距離を算出することで、量子化距離から構成される量子化距離画像信号ＱＳｄを生成することができる。

本実施形態の撮像装置においては、量子化距離範囲の最小値と最大値を、距離範囲に基づき設定することで、距離画像信号の中から、特に距離値信頼度が高い領域を高い分解能で量子化することができる。すなわち、量子化距離画像信号が必要とする画像信号格納部の容量を増やすことなく、被写体距離の量子化誤差を低減することができる。従って、観賞用画像を取得後に、量子化距離画像信号に基づく画像処理（例えば、被写界深度制御やフォーカス位置制御）を、より高精度に行うことができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０：距離範囲算出装置
３１１：距離算出部 ３１２：距離値信頼度算出部 ３１３：距離範囲算出部
Ｓ１：第１の画像信号 Ｓ２：第２の画像信号 Ｓｄ：距離画像信号

Claims (25)

1. 被写体までの距離に応じて相対的な位置ズレ量を有する第１の画像信号と第２の画像信号間の相対的な位置ズレ量に基づいて、画像信号の各領域に対応する、被写体までの奥行き方向の距離に関する距離情報をそれぞれ示した距離画像信号を生成する取得手段と、
   前記距離画像信号の前記距離情報の値の確からしさを表す距離信頼度と、前記距離情報の奥行き方向と垂直な面内における位置の確からしさを表す位置信頼度とを決定する決定手段と、
   を有し、
   前記決定手段は、
   前記距離画像信号と前記距離信頼度に基づいて、被写体距離の範囲である距離範囲を決定し、
   前記距離範囲および前記距離情報の前記奥行き方向と垂直な面内における変化に基づいて、前記距離画像信号における各領域の位置信頼度を決定する、
   ことを特徴とする距離取得装置。
2. 前記決定手段は、前記距離画像信号内の前記距離情報の分散値に基づいて前記変化を評価し、前記位置信頼度を決定する、
   請求項１に記載の距離取得装置。
3. 前記決定手段は、前記第１の画像信号と前記第２の画像信号の少なくとも一方に基づき算出した画像ＳＮ比、前記第１の画像信号と前記第２の画像信号の少なくとも一方に基づき算出した被写体周期性、前記第１の画像信号と前記第２の画像信号の少なくとも一方に基づき算出した輝度飽和度のうち、少なくとも１つに基づいて前記距離信頼度を算出する、
   請求項１または２に記載の距離取得装置。
4. 前記取得手段は、被写体までの距離に応じて異なる変調伝達関数の特性を有するように撮像条件を変えて、時間的に連続して撮影された第１の画像信号と第２の画像信号間の変調伝達関数の差異に基づいて前記距離画像信号を生成する、
   請求項１または２に記載の距離取得装置。
5. 前記決定手段は、前記距離信頼度が閾値以上である被写体距離の最大値と最小値に基づいて前記距離範囲を決定する、
   請求項１から４のいずれか１項に記載の距離取得装置。
6. 前記決定手段は、前記距離信頼度が閾値以上である被写体距離の平均値と標準偏差に基づいて前記距離範囲を決定する、
   請求項１から４のいずれか１項に記載の距離取得装置。
7. 前記決定手段は、前記距離信頼度に基づいて重み付された被写体距離の重み付け平均値と重み付け標準偏差に基づいて前記距離範囲を決定する、
   請求項１から４のいずれか１項に記載の距離取得装置。
8. 前記決定手段は、前記面内方向についての前記距離情報の変化の大きさの、前記距離範囲の幅に基づく規格化定数に基づいて規格化した値を前記位置信頼度として決定する、
   請求項１から７のいずれか１項に記載の距離取得装置。
9. 前記決定手段は、前記距離範囲の幅に基づく規格化定数に基づいて規格化した距離画像信号の、前記面内方向についての被写体距離の変化の大きさを前記位置信頼度として算出する、
   請求項１から７のいずれか１項に記載の距離取得装置。
10. 前記決定手段は、前記距離画像信号の前記面内方向について被写体距離の変化の大きさが前記距離範囲の幅に基づいて設定した閾値以上の値を有する領域を前記位置信頼度が低い領域と設定し、前記被写体距離の変化の大きさが前記閾値よりも小さい値を有する領域を前記位置信頼度が高い領域と設定する、
    請求項１から７のいずれか１項に記載の距離取得装置。
11. 請求項１から１０のいずれか１項に記載の距離取得装置と、
    前記距離画像信号を、前記距離信頼度と前記位置信頼度に基づき補正することにより補正距離画像信号を生成する補正手段と、
    を備える、距離画像信号補正装置。
12. 前記補正手段は、前記距離画像信号に、前記距離信頼度と前記位置信頼度を合成した距離信頼度が高い領域ほど重みが大きい重み付け平滑化フィルタを施すことで、前記補正距離画像信号を生成する、
    請求項１１に記載の距離画像信号補正装置。
13. 前記距離画像信号は、第１の画像信号と第２の画像信号に基づいて生成され、
    前記補正手段は、前記距離画像信号を、前記距離信頼度と前記位置信頼度を合成した距離信頼度が高い領域ほど重みが大きく、且つ第１の画像信号と第２の画像信号を合成した画像信号内の色差または輝度差が小さいほど重みが大きい重み付け平滑化フィルタを施すことで、前記補正距離画像信号を生成する、
    請求項１１に記載の距離画像信号補正装置。
14. 前記重み付け平滑化フィルタの重みは、画素間距離が近いほど大きい、
    請求項１２または１３に記載の距離画像信号補正装置。
15. 撮像手段と、
    請求項１から１０のいずれか１項に記載の距離取得装置、または請求項１１から１４のいずれか１項に記載の距離画像信号補正装置のいずれかと、
    を備える、撮像装置。
16. 請求項１から１０のいずれか１項に記載の距離取得装置と、
    発光手段と、
    撮像手段と、
    前記距離取得装置が算出する距離範囲に基づき、前記発光手段における発光量を制御するための発光制御情報を算出し、前記撮像手段による撮影と同期して前記発光制御情報にしたがって光を放射するように前記発光手段を制御する、発光制御手段と、
    を備える、撮像装置。
17. 前記発光制御手段は、前記距離範囲に基づいて得られる被写体距離が遠いほど、前記発光手段における発光量が多くなるように前記発光制御情報を算出する、
    請求項１６に記載の撮像装置。
18. 前記発光制御手段は、前記距離範囲に基づいて得られる被写体距離の二乗に比例して、前記発光手段における発光量が多くなるように前記発光制御情報を算出する、
    請求項１７に記載の撮像装置。
19. 請求項１から１０のいずれか１項に記載の距離取得装置と、
    発光手段と、
    撮像手段と、
    前記距離取得装置が算出する距離範囲に基づき、前記発光手段における発光量分布を制御するための発光制御情報を算出し、前記撮像手段による撮影と同期して前記発光制御情報にしたがって光を放射するように前記発光手段を制御する、発光制御手段と、
    を備える、撮像装置。
20. 前記発光制御手段は、前記距離範囲の上限値と下限値の差が閾値よりも広い場合に、前記発光手段における発光量分布を制御するための発光制御情報を算出する、
    請求項１９に記載の撮像装置。
21. 前記発光制御手段は、被写体距離に応じた発光量とし、被写体距離が前記距離範囲の外側にある領域については発光量を低減することによって前記発光制御情報を算出する、
    請求項１９または２０に記載の撮像装置。
22. 請求項１から１０のいずれか１項に記載の距離取得装置と、
    格納手段と、
    前記距離取得装置によって算出される距離範囲に基づいて量子化距離範囲の最大値と最小値を設定し、量子化距離範囲の最大値と最小値の間を所定の量子化数で分割し量子化距離値を設定し、前記距離画像信号を構成する前記被写体距離を最も近い値を有する量子化距離値と対応付けることで量子化距離画像信号を算出し、前記量子化距離画像信号を前記格納手段に格納する量子化手段と、
    を備える、距離画像量子化装置。
23. 距離取得装置が行う距離取得方法であって、
    被写体までの距離に応じて相対的な位置ズレ量を有する第１の画像信号と第２の画像信号間の相対的な位置ズレ量に基づいて、画像信号の各領域に対応する、被写体までの奥行き方向の距離に関する距離情報をそれぞれ示した距離画像信号を生成する取得ステップと、
    前記距離画像信号の前記距離情報の値の確からしさを表す距離信頼度と、前記距離情報の奥行き方向と垂直な面内における位置の確からしさを表す位置信頼度とを決定する決定
    ステップと、
    を含み、
    前記決定ステップでは、
    前記距離画像信号と前記距離信頼度に基づいて、被写体距離の範囲である距離範囲を決定し
    前記距離範囲および前記距離画像信号内の前記距離情報の前記奥行き方向と垂直な面内における変化に基づいて位置信頼度を決定する、
    距離取得方法。
24. 前記決定ステップでは、前記距離画像信号内の前記距離情報の分散値に基づいて前記変化を評価し、前記位置信頼度を決定する、
    請求項２３に記載の距離取得方法。
25. 請求項２３または２４に記載の方法の各ステップと、
    前記距離画像信号を、前記距離信頼度と前記位置信頼度に基づき補正することにより補正距離画像信号を生成する補正ステップと、
    を含む、距離画像信号補正方法。

Images