JP6639155B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

撮像された複数の画像を用いて、被写体までの距離情報を取得することが提案されている。具体的には、複数の画像間における視差やぼけの相関量を算出し、算出した相関量に基づいて被写体までの距離情報を取得する。

特許文献１には、Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（ＤＦＤ）法を用いた距離算出が開示されている。引用文献１では、撮影パラメータを異ならせて撮影されたぼけが異なる複数の画像を用い、当該複数の画像間におけるぼけの相関量を算出し、算出したぼけの相関量に基づいて被写体まで距離情報を取得する。特許文献２では、色情報に基づいて画像を各セグメントに分割し、同一のセグメント内では同じ視差になると仮定し、セグメントの範囲内において相関量を算出することによって距離情報を取得することが開示されている。

特開２０１３−２５３９６４号 特開２００６−０１２１６６号

しかしながら、従来の技術では、距離情報を必ずしも良好に取得し得なかった。

本発明の目的は、距離情報を良好に取得し得る画像処理装置及び画像処理方法を提供することにある。

本発明の一観点によれば、撮像手段によって撮像された複数の画像を入力するための画像入力手段と、前記画像を撮像した際における撮像情報を取得する撮像情報取得手段と、前記撮像情報に含まれる合焦距離に基づいて評価枠のサイズを決定し、前記評価枠における前記複数の画像間の相関量を算出し、前記複数の画像間の前記相関量に基づいて距離情報を算出する距離情報算出手段とを有することを特徴とする画像処理装置が提供される。

本発明によれば、画像を撮像した際における撮像条件等を示す情報である撮像情報に基づいて評価枠のサイズを決定するため、評価枠のサイズを適切に設定することができる。適切なサイズの評価枠を用いるため、相関量を良好に取得することができ、ひいては距離情報を良好に取得することができる。

第１実施形態による画像処理装置の構成を示すブロック図である。 第１実施形態による画像処理装置の動作を示すフローチャートである。 各撮像情報と評価枠のサイズとの関係を示すグラフである。 レンズの焦点距離に応じた評価枠のサイズの設定の例を示す図である。 ＤＦＤ方式を用いる場合における相関量の算出処理を説明するための図である。 ステレオ方式を用いる場合における相関量の算出処理を説明するための図である。 ステレオ方式を用いる場合における相関量の算出処理を説明するための図である。 第２実施形態による画像処理装置の構成を示すブロック図である。 第２実施形態による画像処理装置における動作を示すフローチャートである。 評価枠のサイズを示す図である。 第２実施形態による画像処理装置において用いられる評価枠のサイズを説明するための図である。

［第１実施形態］
第１実施形態による画像処理装置及び画像処理方法について図１から図６を用いて説明する。

複数の画像間における相関量に基づいて被写体までの奥行き方向の距離（被写体距離）あるいはそれに対応する情報を算出する際、相関演算処理の対象となる画像上（画面上）の範囲の相違によって、距離情報の算出結果が異なる。相関演算処理の対象となる範囲が広い場合には、多くのテクスチャを含むことができるため、算出される距離情報は安定する傾向がある。しかし、相関演算処理の対象となる範囲が広い場合には、撮像装置からの距離が互いに異なっている複数の被写体が当該範囲内に含まれやすくなるため、遠い被写体と近い被写体とが混在する遠近競合領域が増加する傾向がある。一方、相関演算処理の対象となる範囲が狭い場合には、遠近競合領域は少なくなるが、当該範囲内に含まれるテクスチャも少なくなるため、算出される距離情報が不安定になる傾向がある。このように、相関演算処理の対象となる範囲を単に設定した場合には、距離情報を必ずしも良好に取得し得ない。

本実施形態による画像処理装置は、複数の画像間における相関量を算出するための評価枠のサイズを、撮像時の撮像情報に基づいて決定し、これにより、距離情報を良好に得ることを可能とするものである。

まず、本実施形態による画像処理装置の構成について図１を用いて説明する。図１は、本実施形態による画像処理装置の構成を示すブロック図である。

画像入力部１０１は、複数の撮像画像を本実施形態による画像処理装置に入力するためのものである。画像入力部１０１を介して入力される画像は、後述する距離情報算出部１０３の評価枠選択部１０４に入力される。画像入力部１０１は、撮像素子であってもよいし、画像信号の入力端子であってもよい。

撮像情報取得部１０２は、撮像画像を取得した際における撮像条件等を示す情報である撮像情報（カメラ情報）、即ち、撮像時における撮像情報を取得する。撮像情報取得部１０２によって取得される撮像情報は、距離情報算出部１０３の評価枠選択部１０４に入力される。

距離情報算出部１０３は、距離情報を算出するためのものであり、評価枠選択部１０４と相関量算出部１０５と距離情報生成部１０６とを備えている。

評価枠選択部１０４は、撮像情報取得部１０２によって取得された撮像情報に基づいて、相関演算の対象となる範囲、即ち、評価枠のサイズを決定する。

相関量算出部１０５は、評価枠選択部１０４によって決定されたサイズの評価枠において、複数の画像間の相関量を算出する。

距離情報生成部１０６は、相関量算出部１０５によって算出された相関量に基づいて、撮像装置から各被写体までの奥行き方向の距離あるいは奥行き方向の距離に対応する情報である距離情報（被写体距離情報）を算出する。奥行き方向の距離に対応する情報とは、例えば相関量算出部１０５によって算出される相関量に基づく像ずれ量、あるいは相関量に基づくデフォーカス量などである。距離情報生成部１０６は、算出した距離情報を、距離情報出力部１０７を介して出力する。

次に、本実施形態による画像処理装置の動作について図２を用いて説明する。図２は、本実施形態による画像処理装置の動作を示すフローチャートである。なお、本実施形態による画像処理装置の全体の動作は、例えば制御手段であるＣＰＵ（図示せず）によって司られる。

ステップＳ２０１では、距離情報を取得するために必要となる複数の画像が、画像入力部１０１を介して、距離情報算出部１０３に入力される。より具体的には、画像入力部１０１を介して入力された複数の画像が、距離情報算出部１０３の評価枠選択部１０４に入力される。上述したように、画像入力部１０１は、撮像素子であってもよいし、画像信号の入力端子であってもよい。画像入力部１０１が撮像素子である場合には、撮像素子を用いて取得された複数の画像が距離情報算出部１０３に入力される。画像入力部１０１が画像入力端子である場合には、画像入力端子を介して入力された複数の画像が距離情報算出部１０３に入力される。

ステップＳ２０２では、複数の画像の各々が撮像された際における撮像情報が撮像情報取得部１０２によって取得され、撮像情報取得部１０２によって取得された撮像情報が距離情報算出部１０３に入力される。より具体的には、撮像情報取得部１０２によって取得された撮像情報が、距離情報算出部１０３の評価枠選択部１０４に入力される。撮像情報取得部１０４によって取得される撮像情報としては、レンズの焦点距離、合焦距離、レンズの絞り、被写体の大きさ、手ぶれ量、歪み情報、ＩＳＯ感度等が挙げられる。

ステップＳ２０３では、画像入力部１０１を介して入力された複数の画像と、撮像情報取得部１０２によって取得された撮像情報とに基づいて、複数の画像間の相関量を算出する際に用いられる評価枠のサイズが評価枠選択部１０４によって決定される。複数の画像間における相関量は、例えば、焦点位置の異なる複数の画像間におけるぼけの変化量である。

複数の画像間の相関量を算出する際に用いられる評価枠のサイズは、後述するように、撮像情報毎に算出された評価枠のサイズを総合的に判断することによって決定される。撮像情報毎に算出される評価枠のサイズについて以下に説明する。

図３は、各撮像情報と評価枠のサイズとの関係を示すグラフである。図３（ａ）は、レンズの焦点距離と評価枠のサイズとの関係を示しており、図３（ｂ）は、合焦距離と評価枠のサイズとの関係を示している。図３（ｃ）は、レンズの絞りと評価枠のサイズとの関係を示しており、図３（ｄ）は、被写体の大きさと評価枠のサイズとの関係を示している。図３（ｅ）は、手ぶれ量と評価枠のサイズとの関係を示しており、図３（ｆ）は、歪み情報と評価枠のサイズとの関係、より具体的には、像高位置と評価枠のサイズとの関係を示している。図３（ｇ）は、ＩＳＯ感度と評価枠のサイズの下限との関係を示している。図３（ａ）から図３（ｆ）の各々における縦軸は評価枠のサイズを示しており、図３（ｇ）における縦軸は評価枠のサイズの下限を示している。

まず、レンズの焦点距離に基づいた評価枠のサイズの決定について説明する。図４は、レンズの焦点距離に基づいた評価枠のサイズの決定の例を示す図である。図４（ａ）及び図４（ｂ）は、レンズの焦点距離が短い場合の撮像画像を示しており、図４（ｃ）及び図４（ｄ）は、レンズの焦点距離が長い場合の撮像画像を示している。評価枠は図４の各図において太線を用いて示されている。

図４（ａ）に示すように、レンズの焦点距離が短い場合には、撮像画像中に多くの被写体が写り込むため、撮像装置からの距離が互いに異なっている多くの被写体が評価枠内に含まれる傾向がある。このため、レンズの焦点距離が短い場合には、図４（ｂ）に示すように、評価枠のサイズを小さ目に設定し、評価枠内に位置し得る被写体の数を少なくすることによって、遠近競合を生じにくくさせ、正確な距離情報が得られるようにする。

一方、図４（ｃ）に示すように、レンズの焦点距離が長い場合には、撮像画像中に写り込む被写体の数が少なくなり、評価枠内に含まれる被写体の数も少なくなる傾向がある。このため、レンズの焦点距離が長い場合には、図４（ｄ）に示すように、評価枠のサイズを大き目に設定することによって、安定した距離情報、即ち、ばらつきの小さい距離情報が得られるようにする。

例えば、図３（ａ）に示すような関係を満たすように、評価枠のサイズがレンズの焦点距離に応じて決定される。即ち、レンズの焦点距離が長くなるに伴って評価枠のサイズが大きくなるように、評価枠のサイズが決定される。評価枠のサイズには、下限と上限とが設定される。評価枠のサイズが小さすぎる場合には、評価枠内に含まれるテクスチャが少なくなりすぎ、安定した距離情報を得ることが困難となるためである。また、評価枠のサイズが大きすぎる場合には、評価枠内に含まれるテクスチャが多くなりすぎ、相関量を算出する際における計算量の増大を招くためである。このような理由により、評価枠のサイズには、下限と上限とが設定される。そして、下限と上限との間の範囲内において、レンズの焦点距離に応じて、評価枠のサイズが決定される。

次に、合焦距離に基づいた評価枠のサイズの決定について図３（ｂ）を用いて説明する。合焦距離が近い場合、即ち、被写体までの距離が近い場合には、撮影される被写体の大きさが大きくなり、撮像画像中に写りこむ被写体の数は少なくなる傾向がある。このため、合焦距離が近い場合には、評価枠のサイズを大き目に設定することによって、距離情報のばらつきを低減する。一方、合焦距離が遠い場合には、撮影される被写体の大きさが小さくなり、撮像画像中に含まれる被写体の数が多くなる傾向がある。このため、合焦距離が遠い場合には、評価枠のサイズを小さ目に設定し、評価枠内に位置する被写体の数を少なくすることによって、距離情報の精度を向上させる。例えば、図３（ｂ）に示すような関係を満たすように、評価枠のサイズが合焦距離に応じて決定される。即ち、合焦距離が長くなるに伴って評価枠のサイズが小さくなるように、評価枠のサイズが決定される。

次に、Ｆ値に基づいた評価枠のサイズの決定について図３（ｃ）を用いて説明する。レンズの絞りが開放側である場合、即ち、レンズのＦ値が小さい場合には、背景がぼけるため、被写体として認識可能なものが背景において少なくなる傾向がある。このため、レンズのＦ値が小さい場合には、評価枠のサイズを大き目に設定することによって、距離情報のばらつきを低減する。一方、レンズの絞りが絞り側である場合、即ち、Ｆ値が大きい場合には、背景のぼけが小さくなるため、異なる距離にある被写体として認識可能なものが背景において多く含まれやすくなる。このため、Ｆ値が大きい場合には、評価枠のサイズを小さ目に設定することによって、評価枠内に位置する被写体を少なくし、距離情報の精度を向上させる。例えば、図３（ｃ）に示すような関係を満たすように、評価枠のサイズがＦ値に応じて決定される。即ち、Ｆ値が大きくなるに伴って評価枠のサイズが小さくなるように、評価枠のサイズが決定される。

次に、被写体の大きさに基づいた評価枠の設定について図３（ｄ）を用いて説明する。被写体の大きさに関する情報を得る際には、例えば、認識情報を用いることができる。具体的には、認識情報として人が認識された場合には、人が認識された範囲に基づいて被写体の大きさが決定される。被写体の大きさが大きい場合には、撮像画像中に写りこむ被写体は少なくなる傾向がある。このため、被写体の大きさが大きい場合には、評価枠のサイズを大き目に設定することによって、距離情報のばらつきを低減する。一方、被写体の大きさが小さい場合には、多くの被写体が撮像画像中に含まれやすい。このため、被写体の大きさが小さい場合には、評価枠のサイズを小さ目に設定することによって、評価枠内に位置する被写体を少なくし、距離情報の精度を向上させる。例えば、図３（ｄ）に示すような関係を満たすように、評価枠のサイズが被写体の大きさに応じて決定される。即ち、被写体が大きくなるに伴って評価枠のサイズが大きくなるように、評価枠のサイズが決定される。

次に、手ぶれ量に基づいた評価枠の設定について図３（ｅ）を用いて説明する。手ぶれ量に関する情報を得る際には、例えば、ジャイロセンサの値を用いることができる。手ぶれ量が大きいにもかかわらず、評価枠のサイズが小さい場合には、位置ずれの影響のため、正しい対応関係が見つけられなくなり、精度の高い相関量を算出し得ない。このため、手ぶれ量が大きい場合には、評価枠のサイズを大き目に設定することによって、手ぶれの影響を緩和させる。一方、手ぶれ量が小さい場合には、評価枠のサイズが小さくても、正しい対応関係を検出することができる。このため、手ぶれ量が小さい場合には、評価枠のサイズを小さ目に設定することによって、評価枠内に位置する被写体を少なくし、距離情報の精度を向上させる。例えば、図３（ｅ）に示すような関係を満たすように、評価枠のサイズが手ぶれ量に応じて決定される。即ち、手ぶれ量が大きくなるに伴って評価枠のサイズが大きくなるように、評価枠のサイズが決定される。

次に、歪み情報に基づいた評価枠の設定について図３（ｆ）を用いて説明する。撮像画像は収差の影響を受けているため、像高位置によって歪みの大きさが異なっている。このため、像高位置に応じて評価枠のサイズを変更することが好ましい。例えば、樽型歪みが発生した場合には、像高位置が高い箇所においては、像高位置が低い箇所よりも大きく被写体が写りこむ。このため、像高位置が高い場合には、評価枠のサイズを大き目に設定することによって、評価枠内にテクスチャが多く含まれるようにし、精度の高い相関量が得られるようにする。一方、像高位置が低い箇所においては、評価枠のサイズを小さ目に設定することによって、距離情報の精度を向上させる。例えば、図３（ｆ）に示すような関係を満たすように、評価枠のサイズが像高位置に応じて決定される。即ち、像高位置が高くなるに伴って評価枠のサイズが大きくなるように、評価枠のサイズが決定される。

次に、ＩＳＯ感度に基づいた評価枠の設定について図３（ｇ）を用いて説明する。高感度で撮影した場合には、撮像画像にノイズが多く含まれるため、評価枠のサイズが小さいと、ノイズの影響により正しい相関量を算出し得ない。このため、高感度で撮影した場合には、評価枠のサイズを大き目に設定することによって、相関量の精度を向上させる。一方、低感度で撮影した場合には、撮像画像にノイズがあまり含まれていないため、評価枠のサイズを小さ目に設定しても、精度の高い相関量を取得し得る。例えば、図３（ｇ）に示すような関係を満たすように、評価枠のサイズがＩＳＯ感度に応じて決定される。即ち、ＩＳＯ感度が高くなるに伴って評価枠のサイズの下限が大きくなるようにする。高感度で撮影した場合における評価枠のサイズの下限ｍは、低感度で撮影した場合における評価枠のサイズの下限ｎよりも大きい。

こうして、撮像情報毎に評価枠のサイズが算出される。そして、撮像情報毎に算出された評価枠のサイズを用い、これらを総合的に判断することによって、相関量を算出する際に用いられる評価枠のサイズが算出される。具体的には、例えば、下記のような式（１）を用いて加重加算を行うことによって、相関量を算出する際に用いられる評価枠のサイズＳ_ｏｕｔが決定される。なお、式（１）において、α_ｎは、撮像情報毎の重みを示しており、Ｓ_ｎは、撮像情報毎に算出された評価枠のサイズを示している。

具体例として、例えば、レンズの焦点距離が長く、レンズの絞りが開放側である場合について説明する。レンズの焦点距離が長い場合には、撮像画像中に写り込む被写体の数が少なくなる傾向にある。また、レンズの絞りが開放側である場合には、背景がぼけるため、被写体として認識可能なものが背景において少なくなる傾向がある。このため、レンズの焦点距離が長く、絞りが開放側である場合には、評価枠のサイズは大き目に設定される。評価枠のサイズを大き目に設定した場合であっても、異なる距離に位置している認識可能な被写体が評価枠内に含まれにくいため、精度の高い距離情報を得ることができる。

また、具体例として、レンズの焦点距離が長く、レンズの絞りが絞り側である場合について説明する。レンズの焦点距離が長い場合には、撮像画像中に写り込む被写体の数が少なくなる傾向がある。また、レンズの絞りが絞り側である場合には、被写体として認識可能なものが背景において多くなる傾向がある。このため、レンズの焦点距離が長い場合であっても、レンズの絞りが絞り側である場合には、レンズの絞りが開放側である場合と比較して、評価枠のサイズを小さ目に設定される。これにより、良好な相関量を得ることが可能となり、精度の高い距離情報を得ることができる。

ステップＳ２０４では、複数の画像間における相関量が相関量算出部１０５によって算出される。複数の画像間における相関量を算出する際には、ステップＳ２０３において決定されたサイズＳ_ｏｕｔの評価枠が用いられる。特許文献１に記載されているようなＤＦＤ方式を用いて相関量の算出を行う場合には、焦点位置の異なる複数の画像が用いられ、これら複数の画像間におけるぼけの変化量を相関量として算出する。

ＤＦＤ方式を用いた相関量の算出処理について図５を用いて説明する。図５は、ＤＦＤ方式を用いる場合における相関量の算出処理を説明するための図である。図５（ａ）は、被写体にフォーカスした状態で取得されたフォーカス画像（基準画像）におけるエッジ強度の特性５０１と、フォーカス状態に対して焦点位置を変更した状態で取得された撮像画像におけるエッジ強度の特性５０２とを示している。横軸はデフォーカス量を示しており、縦軸はエッジ強度を示している。これらの２つのエッジ強度の特性５０１，５０２を用いて、複数の画像間におけるぼけの相関量を算出することができる。図５（ｂ）は、複数の画像間におけるぼけの相関量の特性を示すグラフである。図５（ｂ）においては、複数の画像間におけるぼけの相関量の特性５０３が太い実線を用いて示されている。

ステップＳ２０５では、ステップＳ２０４において算出された相関量に基づいて、距離情報が距離情報生成部１０６によって生成される。具体的には、ステップＳ２０４において算出された相関量の特性５０３に基づいて、像面でのデフォーカス量を算出することによって、距離情報を生成する。このような手法によって算出されたデフォーカス量は、像面上における距離である。像面上における距離をレンズの公式を用いて物面距離に変換することによって、被写体までの距離情報を取得することも可能である。

なお、本実施形態では、ＤＦＤ方式を用いる場合を例に説明したが、例えば、これに限定されるものではなく、例えば、ステレオ方式を用いるようにしてもよい。

ステレオ方式を用いる場合について、以下に説明する。
ステレオ方式を用いる場合には、ステップＳ２０１において、視差のある複数の画像が画像入力部１０１を介して入力される。図６は、ステレオ方式を用いる場合における相関量の算出処理を説明するための図である。図６（ａ）は基準画像を示しており、図６（ｂ）は撮像位置が基準画像とは異なっている画像を示している。撮影位置が互いに異なっているため、これら複数の画像には視差が生じている。

ステップＳ２０２とステップＳ２０３については、ＤＦＤ方式を用いる場合と同様であるため、説明を省略する。

ステップＳ２０４では、ステップ２０３において決定されたサイズＳ_ｏｕｔの評価枠を用いて、複数の画像間における相関量が相関量算出部１０５によって算出される。複数の画像間における相関量は、視差量を求めるために算出される画像間における差分値である。ステレオ方式を用いる場合には、複数の画像間における相関量は、例えば、以下のようにして算出される。基準画像においては、評価枠６０２が図６（ａ）のように設定される。一方、撮影位置が基準画像とは異なっている画像においては、評価枠６１２を矢印方向に徐々にずらす。評価枠６１２を徐々にずらしながら、撮像位置が基準画像とは異なっている画像と基準画像との相関量を算出する。

図７は、ステレオ方式を用いる場合における相関量の算出処理を説明するための図である。図７（ａ）は１枚目の画像を示しており、図７（ｂ）は、１枚目の画像における評価枠内のデータを示している。図７（ｃ）は２枚目の画像を示しており、図７（ｄ）は２枚目の画像における評価枠内のデータを示している。なお、評価枠は、図７において、太い実線を用いて示されている。図７（ｂ）に示すような評価枠内のデータ値と図７（ｄ）に示すような評価枠内のデータ値との差分絶対値の積算値、即ち、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が算出される。具体的には、以下のような式（２）を用いて、差分絶対値の積算値Ｒ_ＳＡＤが相関量として算出される。なお、ｆ（ｉ，ｊ）は、図７（ａ）に示す１枚目の画像の評価枠内の各座標（ｉ，ｊ）における画素値であり、ｇ（ｉ，ｊ）は、図７（ｃ）に示す２枚目の評価枠内の各座標（ｉ，ｊ）における画素値である。

なお、ここでは、差分絶対値の積算値であるＳＡＤを用いて相関量を算出する場合を例に説明したが、これに限定されるものではない。得られる相関量によって最も相関の高い点（ずらし量、像ずれ量）が判定できるものであれば、他の方法によって相関量を算出するようにしてもよい。

ステップＳ２０５では、ステップＳ２０４において算出された相関量に基づいて、距離情報生成部１０６によって距離情報が算出される。ステップＳ２０４において算出される相関量は、例えば、図６（ｃ）に示すような特性を示す。図６（ｃ）の横軸は評価枠のずらし量であり、縦軸は相関量である。算出される相関量が最も高くなる点を相関が最も高い点として、そのときのずらし量を、複数の画像間における視差量（像ずれ量）とする。当該視差量に対し、撮像素子の画素ピッチとレンズに応じて決定される変換係数とを用いて、像面でのデフォーカス量を算出することによって、距離情報を生成する。なお本実施形態では、距離情報としてデフォーカス量を生成しているが、前述したように、像ずれ量や、撮影光学系の状態に基づいてデフォーカス量から１対１に換算される被写体距離を距離情報としてもよい。

このように、本実施形態によれば、撮像時の撮像情報に基づいて評価枠のサイズを決定するため、評価枠のサイズを適切に設定することができる。適切なサイズの評価枠を用いるため、相関量を良好に取得することができ、ひいては距離情報を良好に取得することができる。

［第２実施形態］
第２実施形態による画像処理装置及び画像処理方法を図８乃至図１１を用いて説明する。図１乃至図７に示す第１実施形態による画像処理装置と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
本実施形態による画像処理装置は、サイズが異なる複数の評価枠を相関量の算出の際に用いるものである。

本実施形態による画像処理装置の構成について図８を用いて説明する。図８は、本実施形態による画像処理装置の構成を示すブロック図である。
本実施形態による画像処理装置の各構成要素８０１〜８０７は、図１を用いて上述した第１実施形態による画像処理装置の各構成要素１０１〜１０７と同様である。本実施形態による画像処理装置は、相関量算出部８０５による処理と距離情報生成部８０６による処理とが、サイズが異なる複数の評価枠を用いて繰り返し行われる点が、第１実施形態による画像処理装置と相違している。

本実施形態による画像処理装置の動作について図９を用いて説明する。図９は、本実施形態による画像処理装置の動作を示すフローチャートである。

まず、ステップＳ９０１からステップＳ９０２は、図２を用いて上述したステップＳ２０１からステップＳ２０２と同様であるため、説明を省略する。

ステップＳ９０３では、サイズの異なる複数種の評価枠、即ち、サイズの異なるＰ種類の評価枠が、以下のようにして決定される。即ち、まず、評価枠のサイズは、第１実施形態と同様に、撮像情報毎にそれぞれ算出される。そして、撮像情報毎にそれぞれ算出された評価枠のサイズが、所定の基準に基づいて分類される。図１０は、撮像情報毎に算出された評価枠のサイズを示す図である。図１０には、分類後の代表値が示されている。図１０においては、Ｌ×Ｌ、Ｍ×Ｍ、Ｎ×Ｎ（Ｌ＜Ｍ＜Ｎ）の３種類に分類された場合が例として示されている。なお、Ａ＜Ｌ＜Ｍ＜Ｎである。

ステップＳ９０３において決定されたＰ種類のサイズの評価枠を順次用いて、相関量算出処理（ステップＳ９０４）と距離情報生成処理（ステップＳ９０５）とが繰り返し行われる。即ち、本実施形態では、異なるサイズの評価枠を順次用いて、階層的な処理が行われる。図１１は、本実施形態において用いられる評価枠のサイズを説明するための図である。図１１（ａ）は、１回目の相関演算処理の際に用いられる評価枠１１０２のサイズを示している。１回目の相関演算処理（ステップＳ９０４）においては、例えばＬ×Ｌのサイズの評価枠１１０２が用いられる。そして、１回目の相関演算処理において算出された相関量に基づいて、距離情報が生成される（ステップＳ９０５）。そして、生成された距離情報に対して距離情報のばらつきを算出し、距離情報がばらついている領域に対して２回目の相関演算処理が行われる。図１１（ｂ）は、２回目の相関演算処理の際に用いられる評価枠１１１２のサイズを示している。２回目の相関演算処理（ステップＳ９０４）においては、例えばＭ×Ｍのサイズの評価枠１１１２が用いられる。そして、２回目の相関演算処理において算出された相関量に基づいて、距離情報が生成される（ステップＳ９０５）。そして、生成された距離情報に対して距離情報のばらつきを算出し、距離情報がばらついている領域に対して３回目の相関演算処理が行われる。図１１（ｃ）は、３回目の相関演算処理の際に用いられる評価枠１１２２のサイズを示している。３回目の相関演算処理（ステップＳ９０４）においては、例えばＮ×Ｎのサイズの評価枠１１２２が用いられる。そして、３回目の相関演算処理において算出された相関量に基づいて、距離情報が生成される（ステップＳ９０５）。

ところで、ステップ９０６では、相関量演算処理及び距離情報生成処理がＰ回行われたか否かが判定される。相関量演算処理及び距離情報生成処理がＰ回行われていない場合には（ステップＳ９０６においてＮＯ）、ステップＳ９０４及びステップＳ９０５が繰り返される。一方、相関量演算処理及び距離情報生成処理がＰ回行われた場合には（ステップＳ９０６においてＹＥＳ）、距離情報の算出処理が完了する。

このように、本実施形態では、サイズの異なる複数種の評価枠を順次用いて相関量が算出され、算出された相関量に基づいて距離情報が生成される。従って、本実施形態によれば、距離情報をより良好に取得することが可能となる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…画像入力部
１０２…撮像情報取得部
１０３…距離情報算出部
１０４…評価枠選択部
１０５…相関量算出部
１０６…距離情報生成部
１０７…距離情報出力部

Claims (14)

1. 撮像手段によって撮像された複数の画像を入力するための画像入力手段と、
   前記画像を撮像した際における撮像情報を取得する撮像情報取得手段と、
   前記撮像情報に含まれる合焦距離に基づいて評価枠のサイズを決定し、前記評価枠における前記複数の画像間の相関量を算出し、前記複数の画像間の前記相関量に基づいて被写体までの奥行き方向の距離に対応する距離情報を算出する距離情報算出手段と
   を有することを特徴とする画像処理装置。
2. 前記評価枠のサイズは、複数の前記撮像情報の各々に応じて決定された複数の前記評価枠のサイズを加重加算することによって決定される
   ことを特徴とする請求項１に記載する画像処理装置。
3. 前記撮像情報は、レンズの焦点距離をさらに含み、
   前記距離情報算出手段は、前記レンズの焦点距離が第１の距離である場合、前記第１の距離より短い第２の距離である場合よりも前記評価枠のサイズが大きくなるように、前記評価枠のサイズを決定する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記距離情報算出手段は、前記合焦距離が第１の距離である場合、前記第１の距離より遠い第２の距離である場合よりも前記評価枠のサイズが大きくなるように、前記評価枠のサイズを決定する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記撮像情報は、前記被写体の大きさをさらに含み、
   前記距離情報算出手段は、前記被写体の大きさが第１の大きさである場合、前記第１の大きさより小さい第２の大きさである場合よりも前記評価枠のサイズが大きくなるように、前記評価枠のサイズを決定する
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記撮像情報は、レンズのＦ値をさらに含み、
   前記距離情報算出手段は、前記レンズのＦ値が第１の値である場合、前記第１の値より小さい第２の値である場合よりも前記評価枠のサイズが小さくなるように、前記評価枠のサイズを決定する
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記撮像情報は、ＩＳＯ感度をさらに含み、
   前記距離情報算出手段は、前記ＩＳＯ感度が第１の感度である場合、前記第１の感度より低い第２の感度である場合よりも前記評価枠のサイズの下限が大きくなるように、前記評価枠のサイズを決定する
   ことを特徴とする請求項１に記載の画像処理装置。
8. 前記撮像情報は、手ぶれ量をさらに含み、
   前記距離情報算出手段は、前記手ぶれ量が第１の値である場合、前記第１の値より小さい第２の値である場合よりも前記評価枠のサイズが大きくなるように、前記評価枠のサイズを決定する
   ことを特徴とする請求項１に記載の画像処理装置。
9. 前記撮像情報は、像高位置をさらに含み、
   前記距離情報算出手段は、前記像高位置が第１の位置である場合、前記第１の位置より低い第２の位置である場合よりも前記評価枠のサイズが大きくなるように、前記評価枠のサイズを決定する
   ことを特徴とする請求項１に記載の画像処理装置。
10. 前記複数の画像間における前記相関量は、焦点位置が異なる前記複数の画像間におけるぼけの相関量である
    ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記複数の画像間における前記相関量は、撮像位置が異なる前記複数の画像間における視差の相関量である
    ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
12. 前記距離情報算出手段は、前記サイズが異なる複数の前記評価枠を複数の前記撮像情報の各々に応じて決定し、前記サイズが異なる前記複数の評価枠における前記複数の画像間の前記相関量を算出し、前記複数の画像間の前記相関量に基づいて前記距離情報を算出する
    ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 撮像手段によって撮像された複数の画像が入力されるステップと、
    前記画像を撮像した際における撮像情報を取得するステップと、
    前記撮像情報に含まれる合焦距離に基づいて評価枠のサイズを決定するステップと、
    前記評価枠における前記複数の画像間の相関量を算出するステップと、
    前記複数の画像間の前記相関量に基づいて被写体までの奥行き方向の距離に対応する距離情報を算出するステップと
    を有する
    ことを特徴とする画像処理方法。
14. コンピュータに、
    撮像手段によって撮像された複数の画像が入力されるステップと、
    前記画像を撮像した際における撮像情報を取得するステップと、
    前記撮像情報に含まれる合焦距離に基づいて評価枠のサイズを決定するステップと、
    前記評価枠における前記複数の画像間の相関量を算出するステップと、
    前記複数の画像間の前記相関量に基づいて被写体までの奥行き方向の距離に対応する距離情報を算出するステップと
    を実行させるためのプログラム。

Images