JP2015036632A - 距離計測装置、撮像装置、距離計測方法 - Google Patents

Abstract

【課題】ＤＦＤ法によって距離を計測する距離計測装置において、位置ずれに対する耐性が高く、かつ少ない演算量で距離計測を行える技術を提供する。【解決手段】異なる撮影パラメータで撮影された、ぼけ方の異なる複数の画像から、被写体距離を算出する距離計測装置であって、前記複数の画像の対応する座標位置に、測距対象領域をそれぞれ設定する領域設定手段と、前記複数の画像に設定された測距対象領域における特徴量を、当該測距対象領域ごとに算出する特徴量算出手段と、前記測距対象領域ごとに算出された複数の特徴量に基づいて、前記測距対象領域における被写体距離を算出する距離算出手段と、を有することを特徴とする。【選択図】図１

Description

本発明は、画像を用いて被写体までの距離を計測する距離計測装置に関する。

撮像装置によって取得された画像をもとに、被写体までの距離（被写体距離）を取得する手法が種々提案されており、その中の一つに、ＤＦＤ（Depth from Defocus）法がある。ＤＦＤ法は、撮像光学系のパラメータを変更して、ぼけの異なる複数の画像を取得し、当該複数の画像に含まれるぼけの量から被写体距離を推定する手法である。ＤＦＤ法は、一つの撮像系のみを用いて距離を算出することができるため、装置への組み込みが容易であるという利点を有している。

特許第２７５６８０３号公報 特開２０００−１９９８４５号公報

実空間画像を用いたＤＦＤ法では、撮影した複数の画像の位置を正確に合わせる必要がある。もし、複数の画像間で位置ずれがあった場合、例えそれがサブピクセル単位のずれであっても、測定の精度が劣化してしまい、正確な距離を取得することができなくなる。
この問題に対応するため、特許文献１および２に記載の装置では、実空間画像ではなく、周波数空間画像にＤＦＤ法を適用することで、距離計測や焦点合わせを行っている。これらの方法は、従来の実空間画像を用いたＤＦＤ法に対して、位置ずれに対する耐性が高いという利点を有するが、一方で、演算量が多くなるという点において課題が残る。

本発明は上記のような課題を考慮してなされたものであり、ＤＦＤ法によって距離を計測する距離計測装置において、位置ずれに対する耐性が高く、かつ少ない演算量で距離計測を行える技術を提供することを目的とする。

上記課題を解決するために、本発明に係る距離計測装置は、
異なる撮影パラメータで撮影された、ぼけ方の異なる複数の画像から、被写体距離を算出する距離計測装置であって、前記複数の画像の対応する座標位置に、測距対象領域をそれぞれ設定する領域設定手段と、前記複数の画像に設定された測距対象領域における特徴量を、当該測距対象領域ごとに算出する特徴量算出手段と、前記測距対象領域ごとに算出された複数の特徴量に基づいて、前記測距対象領域における被写体距離を算出する距離算出手段と、を有することを特徴とする。

また、本発明に係る距離計測方法は、
異なる撮影パラメータで撮影された、ぼけ方の異なる複数の画像から、被写体距離を算出する距離計測方法であって、前記複数の画像の対応する座標位置に、測距対象領域をそれぞれ設定する領域設定ステップと、前記複数の画像に設定された測距対象領域における特徴量を、当該測距対象領域ごとに算出する特徴量算出ステップと、前記測距対象領域ごとに算出された複数の特徴量に基づいて、前記測距対象領域における被写体距離を算出する距離算出ステップと、を含むことを特徴とする。

本発明によれば、ＤＦＤ法によって距離を計測する距離計測装置において、位置ずれに対する耐性が高く、かつ少ない演算量で距離計測を行える技術を提供することができる。

第一の実施形態に係る撮像装置の構成を示す図。 第一の実施形態における距離計測処理の流れを示すフローチャート図。 第一の実施形態における距離マップ生成処理の流れを示す図。 分散によるデフォーカス特性の一例を示す図。 第一の実施形態において算出する距離依存値を説明する図。 第二の実施形態における距離マップ生成処理の流れを示す図。 第二の実施形態において算出する距離依存値を説明する図。 第三の実施形態における距離マップ生成処理の流れを示す図。 第三の実施形態において算出する距離依存値を説明する図。 第四の実施形態における距離マップ生成処理の流れを示す図。 第四の実施形態において算出する距離依存値を説明する図。

（第一の実施形態）
以下、図面を参照しながら、第一の実施形態に係る撮像装置について説明する。第一の実施形態に係る撮像装置は、複数枚の画像を撮影し、当該複数枚の画像を用いて、画像に含まれる被写体までの距離を計測する機能を有する撮像装置である。なお、同一の構成要素には原則として同一の参照符号を付して、説明を省略する。

<システム構成>
図１は、第一の実施形態に係る撮像装置のシステム構成図である。
撮像装置１は、撮像光学系１０、撮像素子１１、制御部１２、信号処理部１３、距離計測部１４、メモリ１５、入力部１６、表示部１７、記憶部１８を有する。

撮像光学系１０は、複数のレンズから構成され、入射する光を撮像素子１１の像面上に結像させる光学系である。また、撮像光学系１０は、可変焦点の光学系であり、オートフォーカス機能によって自動で焦点合わせをすることができる。オートフォーカスの方式はパッシブ方式であってもよいし、アクティブ方式であってもよい。
撮像素子１１は、ＣＣＤやＣＭＯＳなどのイメージセンサを有する撮像素子である。撮像素子１１は、カラーフィルタを有する撮像素子であってもよいし、モノクロの撮像素子であってもよい。また、三板式の撮像素子であってもよい。

信号処理部１３は、撮像素子１１から出力された信号に対して処理を行う手段である。具体的には、アナログ信号のＡ／Ｄ変換やノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などを行う。信号処理部１３から出力されたデジタル画像データは、一時的にメモリ１５に蓄積されたのち、表示部１７、記憶部１８、距離計測部１４などに出力され、所望の処理が行われる。

距離計測部１４は、画像に含まれる物体までの奥行き方向の距離（被写体距離）を算出する手段である。距離計測処理の詳しい内容については後述する。距離計測部１４が、本発明における領域設定手段、特徴量算出手段、距離算出手段である。
入力部１６は、入力操作をユーザから取得するためのインターフェイスであり、典型的には、ダイヤル、ボタン、スイッチ、タッチパネルなどである。
表示部１７は、液晶ディスプレイや有機ＥＬディスプレイなどで構成される表示手段である。表示部１７は、撮影時の構図確認、撮影および記録した画像の閲覧、各種設定画面
やメッセージ情報の表示などに利用される。
記憶部１８は、撮影された画像データや、撮像装置１で利用されるパラメータなどが格納される不揮発性の記憶媒体である。記憶部１８には、高速に読み書きでき、かつ、大容量な記憶媒体を用いることが好ましい。例えば、フラッシュメモリなどを好適に用いることができる。

制御部１２は、撮像装置１が有する各手段を制御する手段である。より具体的には、オートフォーカス（ＡＦ）による自動焦点合わせ、フォーカス位置の変更、Ｆ値（絞り）の変更、画像の取り込みおよび保存、シャッターやフラッシュ（いずれも不図示）の制御などを行う。また、取得した画像を用いて被写体距離の計測を行う。

<被写体距離の計測方法>
次に、撮像装置１が行う距離計測処理について、処理の流れを示したフローチャート図である図２を参照しながら詳細に説明する。

まず、ユーザが、入力部１６を操作して撮影を開始すると、制御部１２が、オートフォーカス（ＡＦ）や自動露光制御（ＡＥ）を実行し、フォーカス位置と絞り（Ｆナンバー）を決定する（ステップＳ１１）。その後、ステップＳ１２にて撮影が実行され、撮像素子１１から画像が取り込まれる。
一枚目の撮影が完了すると、制御部１２が、撮影パラメータを変更する（ステップＳ１３）。変更される撮影パラメータとは、Ｆナンバー、フォーカス位置、焦点距離のうちの少なくともいずれか一つである。パラメータの値は、予め保存された値を読み出して使用してもよいし、ユーザが入力した情報をもとに決定してもよい。
撮影パラメータの変更が完了すると、処理はステップＳ１４に遷移し、二枚目の撮影が行われる。
本実施形態では、フォーカス位置を変更して二枚目の画像を撮影する。例えば、一枚目は主被写体に合焦するように撮影を行い、二枚目は主被写体がぼけるようにフォーカス位置を変更して撮影を行う。

なお、複数の画像を撮影する際は、シャッター速度が高速であるほど、また、撮影間隔が短いほど、手ぶれや被写体ぶれの影響が軽減されるため、より高精度な距離計測を行うためには、シャッター速度を高速にし、かつ、撮影間隔を短くすることが望ましい。ただし、シャッター速度を上げるために感度を上げると、場合によっては手ぶれ以上にノイズの影響が増加するため、感度を考慮して適切なシャッター速度を設定する必要がある。

二枚の画像が撮影されると、撮影された画像は、距離計測に適した画像となるように信号処理部１３でそれぞれ処理され、一時的にメモリ１５に蓄積される。このとき、撮影した画像のうち少なくとも一枚を、観賞用の画像として信号処理し、メモリ１５に蓄積してもよい。
ステップＳ１５では、距離計測部１４が、メモリ１５に蓄積された距離計測用の二枚の画像から距離マップを算出する。距離マップとは、画像中の被写体距離の分布を表すデータである。算出された被写体距離の分布は表示部１７を通して表示され、また、記録部１８に保存される。

次に、ステップＳ１５で距離計測部１４が行う処理（以下、距離マップ生成処理）について説明する。図３は、第一の実施形態における距離マップ生成処理の流れを示したフローチャート図である。
フォーカス位置が異なる二枚の画像が入力されると、距離計測部１４は、当該二枚の画像に対して、座標位置が同じである局所領域をそれぞれ選択する（ステップＳ２１）。二枚の画像は、フォーカス位置を変えて高速で連写撮影されているが、手ぶれや被写体の動
きにより、微小な位置ずれが生じている。よって同じ座標位置の局所領域を選択した場合、略同一のシーンを選択していることとなる。ステップＳ２１で選択される局所領域が、本発明における測距対象領域である。

次に、ステップＳ２２で、画像ごとに選択された局所領域における特徴量をそれぞれ算出する。具体的には、画像ごとに選択された局所領域に対して、画素値の分散もしくは標準偏差をそれぞれ算出する。二枚の画像が同じ撮影シーンである場合、フォーカスが合っているほど、得られる分散や標準偏差は高くなり、デフォーカスしてぼけているほど、分散や標準偏差は低くなる。よって、ぼけの違いを算出するための特徴量として、分散または標準偏差を用いることができる。
図４に、撮像光学系１０における、ＰＳＦ（Point Spread Function：点拡がり関数）
の分散のデフォーカスによる変化（デフォーカス特性）を示す。このデフォーカス特性を画像中から抽出できれば、被写体距離を計測することができる。なお、分散はぼけだけではなく被写体にも依存するため、一枚の画像のみでは距離計測を行うことができない。そこで、本実施形態に係る撮像装置は、二枚の画像からそれぞれ取得した特徴量（分散）を比較することで距離計測を行う。

ステップＳ２３では、ステップＳ２２で取得した二つの分散の比をとり、得られた値から、距離を推定するための値（以下、距離依存値）を演算する。これにより、被写体に依存しない分散の変化を抽出することができる。数式１は、距離依存値ｄを求める式である。
ここでｐ_1,x,yは、座標（ｘ，ｙ）におけるフォーカス画像の局所領域画像を表し、同
様にｐ_2,x,yはデフォーカス画像の局所領域画像を表す。なお、ｉ，ｊは局所領域の座標
値である。
なお、数式１の分子と分母は入れ替えてもよい。

図５に、フォーカスが合っている場合のＰＳＦの分散のデフォーカス特性と、フォーカスがずれている場合のＰＳＦの分散のデフォーカス特性、および両デフォーカス特性の比（すなわち距離依存値）を示す。図５中の実線が、数式１によって算出した距離依存値である。
図５によると、フォーカス位置（像面距離＝０の位置）を挟んだ特定区間において、距離依存値が単調に変化している。すなわち、この値をもとに、像面におけるフォーカス位置からの相対位置を求めることができる。なお、距離計測部１４は、取得した距離依存値をそのまま出力してもよいし、距離依存値を、像面におけるフォーカス位置からの相対位置に変換して出力してもよい。
なお、距離依存値と像面におけるフォーカス位置からの相対位置との関係は、Ｆナンバーにより異なるため、Ｆナンバーごとに変換テーブルを用意し、距離依存値を、像面におけるフォーカス位置からの相対位置に変換する際に用いてもよい。また、得られた相対距離を、焦点距離および物体側におけるフォーカス距離を用いて、物体距離（撮像装置から被写体までの絶対距離）に変換して出力してもよい。
このように、本発明における被写体距離は、必ずしも被写体までの絶対距離でなくてもよい。

以上に説明した処理によって、局所領域における被写体距離が算出できる。
本実施形態では、局所領域を、一画素ずつずらして画像全体にわたって複数回設定し、前述した処理を繰り返すことで、画像全体の距離マップを算出する。なお、距離マップは、必ずしも入力画像と同じ画素数である必要はなく、数画素ごとに間引いて算出してもよい。また、局所領域を設定する場所は、一つ以上の所定の場所であってもよいし、入力部１６を介してユーザが指定した場所であってもよい。

第一の実施形態では、局所領域の特徴量を画像ごとに別々に算出するため、画像間にある程度の位置ずれがある場合であっても、特徴量が大きく変化しないという特徴がある。従来の実空間におけるＤＦＤ法のように、相互相関によって距離を求める場合、位置ずれによって相関が大きく低下してしまうことが考えられるが、本実施形態では、位置ずれの影響を小さく抑え、高精度に距離を計測することができる。
特に、局所領域のサイズを１０×１０ピクセル程度に設定すれば、サブピクセル単位の位置ずれについてはその影響をほぼ無くすことができる。また、一画素前後の位置ずれが残存している場合であっても、極端な外れ値を算出することなく、安定した距離計測を行うことができる。また、選択する局所領域のサイズをより大きくすることにより、より大きな位置ずれにも対応することができる。

（第二の実施形態）
第二の実施形態に係る撮像装置は、撮影パラメータを変更する際に、フォーカス位置ではなくＦナンバーを変更するという点と、特徴量を比較する際に、デフォーカス特性の比ではなく差を利用するという点において、第一の実施形態と相違する。また、二枚の画像の位置合わせを行う処理を追加で実行する。
第二の実施形態における撮像装置１の構成は、第一の実施形態と同様である。

以下、第一の実施形態との処理の相違点について説明する。図６は、第二の実施形態における、距離マップ生成処理の流れを示したフローチャート図である。
第二の実施形態では、ステップＳ１３で撮影パラメータを変更する際に、Ｆナンバーを変更する。すなわち、ステップＳ１４を実行することによって、Ｆナンバーが異なる二枚の画像が取得される。

次に、距離マップ生成処理について説明する。
ステップＳ３１は、二枚の画像の位置を合わせる処理（以下、位置合わせ処理）を行うステップである。位置合わせは、既知の方法（例えば、電子防振やＨＤＲ撮影用の位置合わせ処理）によって行えばよく、距離計測に特化した処理を行う必要はない。
ステップＳ３２〜Ｓ３３で行う処理は、第一の実施形態におけるステップＳ２１〜Ｓ２２と同様であるため、説明は省略する。

ぼけの度合は、Ｆナンバーによって変化するという特性がある。具体的には、Ｆナンバーが小さいほど被写界深度が浅くなり、デフォーカス時のぼけの変化が急峻になる。一方、Ｆナンバーが大きい場合は被写界深度が深くなり、デフォーカス時のぼけの変化が緩やかになる。第二の実施形態では、フォーカス位置を変更するかわりに、Ｆナンバーに起因したぼけの変化を発生させる。

ステップＳ３４では、ステップＳ３３で算出された分散の差をとり、得られた値を距離依存値として出力する。距離依存値ｄは、数式２で表される。ここでｐ₁は、Ｆナンバー
が小さい画像の局所領域画像を表し、同様にｐ₂は、Ｆナンバーが大きい画像の局所領域
画像を表す。なお、ｉ，ｊは局所領域の座標値であり、ｎは局所領域の要素数である。

図７中の点線で示した二つのグラフが、異なる二つのＦナンバーによって撮影を行った場合の、ＰＳＦの分散のデフォーカス特性をそれぞれ表す。また、実線が、両デフォーカス特性の差（すなわち距離依存値）を表す。
図７によると、フォーカス位置（像面距離＝０の位置）を挟んだ特定区間において、距離依存値が単調に変化している。すなわち、この値をもとに、像面におけるフォーカス位置からの相対位置を得ることができる。なお、距離依存値は、値をそのまま出力して利用してもよいし、像面におけるフォーカス位置からの相対位置として出力してもよい。

第二の実施形態によれば、二枚の画像の位置合わせを行うことで、連写撮影時に生じた手ぶれや被写体の動きによる位置ずれを補正し、より高精度な距離計測が行えるようになる。また、特徴量の比較に比ではなく差を用いるため、除算回路が必要なくなり、装置回路を小型化することができる。
なお、本実施形態では、位置合わせを距離計測部１４にて実行したが、予め信号処理部１３で位置合わせを行い、位置合わせされた二枚の画像を距離計測部１４に入力してもよい。

（第三の実施形態）
第三の実施形態は、入力画像に対してフィルタリングを行うことで所定の空間周波数帯を抽出する処理を行い、処理後の画像を用いて特徴量を取得する実施形態である。また、特徴量として、局所領域の画素値の絶対値和を用いる。
第三の実施形態における撮像装置１の構成は、第一の実施形態と同様である。

以下、第一の実施形態との処理の相違点について説明する。図８は、第三の実施形態における、距離マップ生成処理の流れを示したフローチャート図である。
距離計測部１４に画像が入力されると、まずステップＳ４１で、バンドパスフィルタによって当該画像から所定の空間周波数帯のみを抽出し、抽出された画像で入力画像を上書きする。この処理を、空間周波数選択処理と称する。
ステップＳ４２の処理は、ステップＳ２１と同様であるため説明は省略する。
ステップＳ４３では、空間周波数選択処理が施された二画像の、局所領域における画素値の絶対値和をそれぞれ独立に算出する。
次に、ステップＳ４４で、ステップＳ４３で算出した絶対値和の差（数式３）、もしくは比（数式４）をとり、得られた値を距離依存値として出力する。ここで、ｐ’₁および
ｐ’₂は、所定の周波数帯を抽出した後の二画像の局所領域をそれぞれ表す。ｉ，ｊは局
所領域の座標値である。

図９中の点線で示したグラフが、所定の周波数帯を抽出した後の画像における、ＰＳＦの絶対値和のデフォーカス特性を表す。また、図９（ａ）中の実線が、絶対値和の差によって得られた距離依存値であり、図９（ｂ）中の実線が、絶対値和の比によって得られた距離依存値である。他の実施形態と同様に、フォーカス位置（像面距離＝０の位置）を挟んだ特定区間において、距離依存値が単調に変化しており、この値をもとに、像面におけるフォーカス位置からの相対位置を知ることができる。

距離の計測に実空間画像を用いる場合、画像の空間周波数によって、ぼけの変化度合いが異なってしまう。これに対して、第三の実施形態では、所定の空間周波数を抽出したうえで特徴量を比較するため、より高精度な距離計測を行うことができる。
また、距離計測に用いる特徴量として画素値の絶対値和を用いることで、分散を利用する場合よりも演算量を少なくすることができる。同様に、特徴量の比較方法として差を用いれば、除算を無くすことができる。これにより、回路規模の縮小が可能となり、撮像装置を小型化することができる。

（第四の実施形態）
第四の実施形態は、第一の実施形態に、位置合わせ処理および空間周波数選択処理を追加した実施形態である。また、距離依存値の値域を０以上１以下の範囲に収めるようにした実施形態である。
撮像装置１の構成は、第一の実施形態と同様である。

以下、第一の実施形態との処理の相違点について説明する。図１０は、第四の実施形態における、距離マップ生成処理の流れを示したフローチャート図である。
撮影された二枚の画像が入力されると、距離計測部１４は、第二の実施形態におけるステップＳ３１と同様の位置合わせ処理を実行する（ステップＳ５１）。
次に、ステップＳ５２で、第三の実施形態におけるステップＳ４１と同様の空間周波数選択処理を行う。
なお、本実施形態では位置合わせ処理を行った後に空間周波数選択処理を行っているが、必ずしもこの順序でなくともよく、空間周波数選択処理を行った後で位置合わせ処理を行ってもよい。

ステップＳ５３〜Ｓ５４は、第一の実施形態におけるステップＳ２１〜Ｓ２２と同様の処理である。すなわち、入力された二画像において同じ座標位置の局所領域を選択し、各局所領域における画素値の分散もしくは標準偏差をそれぞれ独立に算出する。
次に、ステップＳ５５で、取得した分散もしくは標準偏差の比を算出する。この際、値の大きい方を分母、値の小さい方を分子として比をとる。このようにすることで、距離依存値の値域を０〜１の範囲に収めることができる。
数式５が分散を利用した場合の例であり、数式６が標準偏差を利用した場合の例である。ただし、数式６のように標準偏差を利用する場合は、必ずしも値の小さい方を分子とする必要はない。

図１１中、点線で示したグラフが、所定の周波数帯を抽出した後の画像における、ＰＳＦの分散のデフォーカス特性である。
本実施形態によれば、図１１中の実線で示したように、算出された距離依存値ｄの値域が、０≦ｄ≦１の範囲に収まるようになる。この値域は、撮影パラメータが変わっても変化しないため、距離依存値から被写体距離を導く際に用いる変換テーブルを単純化することができるといった効果がある。

（第五の実施形態）
第四の実施形態では、局所領域の特徴量として画素値の分散や標準偏差を利用した。これに対し、第五の実施形態は、画素値の二乗和や二乗和の平方根を利用することで、より演算量を削減する実施形態である。

以下、第四の実施形態との処理の相違点について説明する。
第五の実施形態では、空間周波数選択処理（ステップＳ５２）において、平均が０となるような周波数選択フィルターを使用して周波数選択を行う。これにより、局所領域の輝度分布に大きな変化がない場合には、平均値を０に近い値に近づけることが可能となり、分散および標準偏差を算出する過程において、平均値を減算する項を無視することができるようになる。

また、ステップＳ５４では、それぞれの局所領域において、画素値の二乗和、二乗和の平方根、絶対値和のいずれか一つを算出し、ステップＳ５５にて比または差をとることによって距離依存値を算出する。比または差をとる際には、分母または被減算項を固定してもよいし、第四の実施形態と同様に、二つの特徴量のうち、値の大きいほうを分母または被減算項としてもよい。

第五の実施形態によれば、輝度変化が大きい領域で距離計測精度の劣化が多少生じるものの、より演算量が少なくなり、距離計測処理の高速化を図ることができるようになる。

（変形例）
なお、各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。例えば、本発明は、上記処理の少なくとも一部を含む撮像装置として実施することもできるし、撮像手段を有さない距離計測装置として実施することもできる。また、距離計測方法として実施することもできるし、当該距離計測方法を距離計測装置に実行させる画像処理プログラムとして実施することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

また、実施形態で説明した各要素技術は、任意に組み合わせてもよい。
例えば、ブラケットの方法、特徴量の算出方法、距離依存値の算出方法、空間周波数選択処理の有無、位置合わせ処理の有無などを、自由に組み合わせて実施してもよい。

また、実施形態の説明では、撮像装置が二枚の画像を取得する例を述べたが、取得する画像は三枚以上であってもよい。この場合、撮影した画像から二画像を選択して距離計測を行う。三枚以上の画像を取得することで、距離計測可能な範囲が広くなるといった効果や、距離精度が向上するといった効果を得ることができる。

上述した本発明の距離計測技術は、例えば、デジタルカメラやデジタルカムコーダなどの撮像装置、あるいは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む）にも本発明を適用することができる。
また、実施形態の説明では、撮像装置本体に距離計測の機能を組み込んだ構成を示したが、距離計測は撮像装置以外で行ってもよい。たとえば、撮像装置を有するコンピュータに距離計測の機能を組み込み、撮像装置で撮影した画像をコンピュータが取得して、距離の算出を行うようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに距離計測の機能を組み込み、当該コンピュータがネットワークを介して複数枚の画像を取得し、距離計測を行うようにしてもよい。
得られた距離情報は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ボケ効果のエミュレーションなどの各種画像処理に利用することができる。

なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能である。例えば、撮像装置や画像処理装置に内蔵されたコンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明の目的を達成するための各種処理を実現してもよい。また、本発明の全部又は一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。
この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。

１・・・撮像装置、１２・・・制御部、１４・・・距離計測部

Claims (18)

1. 異なる撮影パラメータで撮影された、ぼけ方の異なる複数の画像から、被写体距離を算出する距離計測装置であって、
   前記複数の画像の対応する座標位置に、測距対象領域をそれぞれ設定する領域設定手段と、
   前記複数の画像に設定された測距対象領域における特徴量を、当該測距対象領域ごとに算出する特徴量算出手段と、
   前記測距対象領域ごとに算出された複数の特徴量に基づいて、前記測距対象領域における被写体距離を算出する距離算出手段と、
   を有することを特徴とする距離計測装置。
2. 前記特徴量は、前記測距対象領域に含まれる画素値の、分散、標準偏差、絶対値和、二乗和、二乗和の平方根のうちの少なくとも一つである
   ことを特徴とする、請求項１に記載の距離計測装置。
3. 前記距離算出手段は、画像ごとに算出された、前記測距対象領域における特徴量の差または比に基づいて、前記測距対象領域における被写体距離を算出する
   ことを特徴とする、請求項１または２に記載の距離計測装置。
4. 前記距離算出手段は、画像ごとに算出された、前記測距対象領域における特徴量の比に基づいて、前記測距対象領域における被写体距離を算出し、比をとる際には、特徴量のより大きい方を分母とする
   ことを特徴とする、請求項１または２に記載の距離計測装置。
5. 前記領域設定手段は、画像中の複数の位置に測距対象領域を設定し、
   前記特徴量算出手段および距離算出手段が、前記複数の測距対象領域に対して処理を行うことで、画像中の被写体距離の分布を取得する
   ことを特徴とする、請求項１から４のいずれか１項に記載の距離計測装置。
6. 前記複数の画像のうち少なくとも一枚は、主被写体に合焦した画像である
   ことを特徴とする、請求項１から５のいずれか１項に記載の距離計測装置。
7. 前記複数の画像を、所定の空間周波数帯のみを含む画像にそれぞれ変換する周波数選択手段をさらに有し、
   前記特徴量算出手段は、前記変換された画像を用いて特徴量の算出を行う
   ことを特徴とする、請求項１から６のいずれか１項に記載の距離計測装置。
8. 前記複数の画像の位置を合わせる位置合わせ手段をさらに有し、
   前記特徴量算出手段は、前記位置合わせ手段によって位置が合わせられた画像を用いて特徴量の算出を行う
   ことを特徴とする、請求項１から７のいずれか１項に記載の距離計測装置。
9. 撮像光学系と、
   撮像素子と、
   請求項１から８のいずれか１項に記載の距離計測装置と、を有し、
   前記距離計測装置は、前記撮像光学系および撮像素子によって得られた複数の画像を用いて被写体距離を算出する
   ことを特徴とする撮像装置。
10. 異なる撮影パラメータで撮影された、ぼけ方の異なる複数の画像から、被写体距離を算出する距離計測方法であって、
    前記複数の画像の対応する座標位置に、測距対象領域をそれぞれ設定する領域設定ステップと、
    前記複数の画像に設定された測距対象領域における特徴量を、当該測距対象領域ごとに算出する特徴量算出ステップと、
    前記測距対象領域ごとに算出された複数の特徴量に基づいて、前記測距対象領域における被写体距離を算出する距離算出ステップと、
    を含むことを特徴とする距離計測方法。
11. 前記特徴量は、前記測距対象領域に含まれる画素値の、分散、標準偏差、絶対値和、二乗和、二乗和の平方根のうちの少なくとも一つである
    ことを特徴とする、請求項１０に記載の距離計測方法。
12. 前記距離算出ステップでは、画像ごとに算出された、前記測距対象領域における前記特徴量の差または比に基づいて、前記測距対象領域における被写体距離を算出する
    ことを特徴とする、請求項１０または１１に記載の距離計測方法。
13. 前記距離算出ステップでは、画像ごとに算出された、前記測距対象領域における前記特徴量の比に基づいて、前記測距対象領域における被写体距離を算出し、比をとる際には、特徴量のより大きい方を分母とする
    ことを特徴とする、請求項１０または１１に記載の距離計測方法。
14. 前記領域設定ステップでは、画像中の複数の位置に測距対象領域を設定し、
    前記特徴量算出ステップおよび距離算出ステップで、前記複数の測距対象領域に対して処理を行うことで、画像中の被写体距離の分布を取得する
    ことを特徴とする、請求項１０から１３のいずれか１項に記載の距離計測方法。
15. 前記複数の画像のうち少なくとも一枚は、主被写体に合焦した画像である
    ことを特徴とする、請求項１０から１４のいずれか１項に記載の距離計測方法。
16. 前記複数の画像を、所定の空間周波数帯のみを含む画像にそれぞれ変換する周波数選択ステップをさらに含み、
    前記特徴量算出ステップでは、前記変換された画像を用いて特徴量の算出を行う
    ことを特徴とする、請求項１０から１５のいずれか１項に記載の距離計測方法。
17. 前記複数の画像の位置を合わせる位置合わせステップをさらに含み、
    前記特徴量算出ステップでは、前記位置合わせステップによって位置が合わせられた画像を用いて特徴量の算出を行う
    ことを特徴とする、請求項１０から１６のいずれか１項に記載の距離計測方法。
18. 請求項１０から１７のいずれか１項に記載の距離計測方法の各ステップをコンピュータに実行させるためのプログラム。

Images