JP5919563B2 - 動き推定装置、奥行き推定装置、及び動き推定方法 - Google Patents

Description

本発明は、動き推定装置、奥行き推定装置、及び動き推定方法に関し、より具体的には、焦点の異なる多焦点画像群から１シーンの動きを推定する動き推定装置に関する。

奥行きマップ（ｄｅｐｔｈ ｍａｐ）とは、視点からシーンオブジェクト面までの距離に関する情報を含んだ画像又は画像チャネルのことである。この奥行きマップは、自動車用センサ、医用画像処理、及び３次元（３Ｄ）アプリケーションなど、様々な用途で用いられている。通常、シーンの奥行きマップは２つの手法、つまり、アクティブ手法及びパッシブ手法を用いて取得可能である。

アクティブ手法では、符号化信号（つまり、構造化された光、赤外線（ＩＲ）信号、レーザ、又は、音声信号）をシーンに投影又は照射し、受信器又は検出器がその投影信号を受信又は撮像する。そして、投影信号と受信信号との差分から奥行きマップが算出又は推定される。アクティブ手法の例として、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ：光検出と測距）、構造化光パターン、及び、超音波距離センサがある。

パッシブ手法では、信号をシーンに投影する必要はなく、ただ撮像画像のみから奥行きマップを推定することができる。したがって、パッシブ手法は低コストで実現可能であり、例えば、既存のデジタルカメラ１台を用いて実現できる。

数種類のパッシブな奥行き推定技術が開示されている（例えば、非特許文献１、非特許文献２、非特許文献３及び非特許文献４を参照）。これらは、２つの主流、つまり、ＤＦＦ（ｄｅｐｔｈ ｆｒｏｍ ｆｏｃｕｓ）法とＤＦＤ（ｄｅｐｔｈ ｆｒｏｍ ｄｅｆｏｃｕｓ）法とに分類することができる。ＤＦＦ法及びＤＦＤ法とも、奥行き推定のためには、焦点がそれぞれ異なった複数の入力画像が必要である。ＤＦＦ法では、異なる焦点位置で１シーンの画像が数枚撮像される。そして、各撮像画像の焦点又は鮮鋭度（コントラスト）が測定される。シーンの奥行きマップは、画像の最大鮮鋭度とそれに対応する焦点設定とを検出することによって最終的に得られる。ＤＦＤ法では、用いられる多焦点画像がより少ない（少なくとも２画像）。奥行きマップは、多焦点画像の画素間におけるぼけ量を求めることによって推定することができる。

特許文献１は、３次元シーンの奥行き情報を記録する単レンズカメラシステムを開示している。図１は、特許文献１に係る多焦点画像撮像システムを示す図である。当該システムでは、レンズをレンズの中心軸方向に動かして、レンズシステム正面の様々な距離で被写体（オブジェクト）が撮像される。ここで、被写体はイメージセンサに焦点が合ったり外れたりする。レンズシステムの焦点距離が分かると、奥行きマップ（レンズシステムと被写体との距離）が、被写体に焦点が合っている場合のレンズシステムとイメージセンサとの距離から算出される。

特許文献２では、全焦点画像及び２次元スケール空間マッチングを用いた奥行きマップの作成方法が開示されている。この方法では、シーンの多焦点画像が複数枚撮像される。そして、撮像した多焦点画像から全焦点画像が作成され、その全焦点画像からスケール空間ぼけ画像が複数枚生成される。最後に、撮像された画像のぼけ量と生成されたスケール空間ぼけ画像のぼけ量とのマッチングにより奥行きマップが作成される。

米国特許第６１２８０７１号明細書 米国特許出願公開第２００７／００１９８８３号明細書

Ｊｏｈｎ Ｅｎｓ及びＰｅｔｅｒ Ｌａｗｅｒｅｎｃｅ 「Ａｎ Ｉｎｖｅｓｔｉｇａｔｉｏｎ ｏｆ Ｍｅｔｈｏｄｓ ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ Ｄｅｐｔｈ ｆｒｏｍ Ｆｏｃｕｓ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｉｇｅｎｃｅ、第１５巻第２号、１９９３年２月 Ｍｕｒａｌｉ Ｓｕｂｂａｒａｏ及びＴａｅ Ｃｈｏｉ 「Ａｃｃｕｒａｔｅ Ｒｅｃｏｖｅｒｙ ｏｆ Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｓｈａｐｅ ｆｒｏｍ Ｉｍａｇｅ Ｆｏｃｕｓ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｉｇｅｎｃｅ、第１７巻第３号、１９９５年３月 Ｍｕｒａｌｉ Ｓｕｂｂａｒａｏ及びＧｏｐａｌ Ｓｕｒｙａ 「Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ： Ａ Ｓｐａｔｉａｌ Ｄｏｍａｉｎ Ａｐｐｒｏａｃｈ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、第１３巻第３号、１９９４年１２月 Ｓｕｂｈａｓｉｓ Ｃｈａｕｄｈｕｒｉ及びＡ．Ｎ．Ｒａｊａｇｏｐａｌａｎ 「Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ：Ａ Ｒｅａｌ Ａｐｅｒｔｕｒｅ Ｉｍａｇｉｎｇ Ａｐｐｒｏａｃｈ」、Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ Ｎｅｗ Ｙｏｒｋ，Ｉｎｃ．、１９９９年 Ｂ．Ｄ．Ｌｕｃａｓ及びＴ．Ｋａｎａｄｅ 「Ａｎ ｉｔｅｒａｔｉｖｅ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ ｗｉｔｈ ａｎ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｓｔｅｒｅｏ ｖｉｓｉｏｎ」、第７回人工知能国際合同会議議事録、１９８１年 Ｃ．Ｔｏｍａｓｉ及びＴ．Ｋａｄａｎｅ 「Ｓｈａｐｅ ａｎｄ ｍｏｔｉｏｎ ｆｒｏｍ ｉｍａｇｅ ｓｔｒｅａｍｓ：ａ ｆａｃｔｏｒｉｚａｔｉｏｎ ｍｅｔｈｏｄ−３：Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｏｆ Ｐｏｉｎｔ Ｆｅａｔｕｒｅｓ」、技術報告書ＣＭＵ−ＣＳ−９１−１３２、カーネギーメロン大学、ペンシルベニア州ピッツバーグ、１９９１年４月

また、このようなＤＦＦ法及びＤＦＤ法において、被写体の動きを推定し、推定した被写体の動きを用いてさまざまな処理が可能となると考えられる。また、このようなＤＦＦ法及びＤＦＤ法における被写体の動きの推定方法として、より容易な動き推定方法が望まれている。

そこで、本発明は、容易に被写体の動きを推定できる動き推定装置及び動き推定方法を提供することを目的とする。

上記目的を達成するために、本発明の一形態に係る動き推定装置は、１シーンに対応する互いに焦点が異なる多焦点画像群を用いて、当該シーンに含まれる複数の第１領域の各々の動きを推定する動き推定装置であって、前記多焦点画像群を用いて、前記複数の第１領域ごとに、当該第１領域に対応するぼけ量と、奥行き方向の距離ごとに定められた基準のぼけ量との差を示すコスト値を算出するコスト値算出部と、前記コスト値を用いて、当該コスト値に対応する第１領域の動きを推定する動き推定部とを備える。

本発明は、容易に被写体の動きを推定できる動き推定装置及び動き推定方法を提供できる。

図１は、従来の多焦点画像撮像システムを示す図である。 図２は、本発明の実施の形態１に係る奥行き推定装置を有する撮像装置のブロック図である。 図３は、本発明の実施の形態１に係る奥行き推定装置のブロック図である。 図４は、本発明の実施の形態１に係る多焦点画像群の一例を示す図である。 図５は、本発明の実施の形態１に係る奥行き推定処理のフローチャートである。 図６は、本発明の実施の形態１に係る動き推定処理のフローチャートである。 図７Ａは、本発明の実施の形態１に係る最小コスト値の分布の例を示す図である。 図７Ｂは、本発明の実施の形態１に係る最小コスト値の分布の例を示す図である。 図７Ｃは、本発明の実施の形態１に係る最小コスト値の分布の例を示す図である。 図８は、本発明の実施の形態１に係る特徴追跡処理のフローチャートである。 図９は、本発明の実施の形態１に係る奥行きマップ補完処理のフローチャートである。 図１０Ａは、本発明の実施の形態１に係る、静止被写体の画像の一例を示す図である。 図１０Ｂは、本発明の実施の形態１に係る、静止被写体の画像の一例を示す図である。 図１０Ｃは、本発明の実施の形態１に係る、静止被写体の画像の一例を示す図である。 図１０Ｄは、本発明の実施の形態１に係る、静止被写体の奥行きマップの一例を示す図である。 図１１Ａは、本発明の実施の形態１に係る、移動被写体を含む画像の一例を示す図である。 図１１Ｂは、本発明の実施の形態１に係る、移動被写体を含む画像の一例を示す図である。 図１１Ｃは、本発明の実施の形態１に係る、移動被写体を含む画像の一例を示す図である。 図１１Ｄは、本発明の実施の形態１に係る、移動被写体の奥行きマップの一例を示す図である。 図１２は、本発明の実施の形態１に係る、動き推定及び特徴追跡を利用した奥行き補完処理を示す図である。 図１３は、本発明の実施の形態１に係る奥行きマップの奥行き精度の向上を示す図である。 図１４は、本発明の実施の形態１の別の変形例に係る動き推定処理のフローチャートである。 図１５は、本発明の実施の形態２に係る奥行き推定装置のブロック図である。 図１６は、本発明の実施の形態２の変形例に係る奥行き推定装置のブロック図である。 図１７は、本発明の実施の形態３に係る撮像装置のブロック図である。

（本発明の基礎となった知見）
本発明者は、以下の課題を見出した。

上記特許文献１、特許文献２、及び、その他周知の方法にかかるシステム及び方法は、静止した被写体しか含まない静止画撮像用に利用されるものである。これらは、被写体が動いているシーンの撮像及び動画撮像には適していない。なぜなら、画像撮像中に被写体が動く場合、撮像した多焦点画像のそれぞれ異なる画素位置に同一被写体があると考えられるため、焦点を正確に測定したり、被写体のぼけを正しくマッチングさせたりすることができないからである。したがって、移動被写体から推定された奥行きマップの精度は劣化したものとなる。

そこで、本実施の形態は、静止画撮像及び動画撮像の両方に適用可能な、静止被写体用の正確な奥行き情報を生成しながら移動被写体の奥行き精度を向上させる、多焦点画像からの奥行き推定方法及び装置を提供する。

また、本実施の形態は、容易に被写体の動きを推定できる動き推定装置及び動き推定方法を提供する。

本発明の一形態に係る動き推定装置は、１シーンに対応する互いに焦点が異なる多焦点画像群を用いて、当該シーンに含まれる複数の第１領域の各々の動きを推定する動き推定装置であって、前記多焦点画像群を用いて、前記複数の第１領域ごとに、当該第１領域に対応するぼけ量と、奥行き方向の距離ごとに定められた基準のぼけ量との差を示すコスト値を算出するコスト値算出部と、前記コスト値を用いて、当該コスト値に対応する第１領域の動きを推定する動き推定部とを備える。

この構成によれば、本発明の一形態に係る動き推定装置は、ＤＦＦ法及びＤＦＤ法において算出されるコスト値を用いて、被写体の動きを推定できる。このように、当該動き推定装置は、ＤＦＦ法及びＤＦＤ法において、もともと用いられているコスト値を、被写体の動きの推定処理にも流用する。よって、当該動き推定装置は、動き推定処理の演算量を低減できるので、容易に被写体の動きを推定できる。

また、前記コスト値算出部は、前記複数の第１領域ごとに、複数の前記奥行き方向の距離ごとに求められる複数の前記コスト値のうちで最も小さい最小コスト値を算出し、前記動き推定部は、前記最小コスト値を用いて、当該最小コスト値に対応する第１領域の動きを推定してもよい。

この構成によれば、本発明の一形態に係る動き推定装置は、ＤＦＦ法及びＤＦＤ法において算出される最小コスト値を用いて、被写体の動きを推定できる。

また、前記動き推定部は、前記最小コスト値が閾値より大きい場合、当該最小コスト値に対応する第１領域を動きがある移動被写体領域と判定し、前記最小コスト値が前記閾値より小さい場合、当該最小コスト値に対応する第１領域を動きがない静止被写体領域と判定してもよい。

この構成によれば、本発明の一形態に係る動き推定装置は、容易な処理により、複数の第１領域の各々が、動きのある領域か、動きのない領域かを判定できる。

また、前記閾値は、予め定められた固定値であってもよい。

また、本発明の一形態に係る奥行きマップ推定装置は、シーンごとに、１シーンに対応する互いに焦点が異なる多焦点画像群を用いて、当該シーンに含まれる複数の第２領域の各々の奥行きを示す奥行きマップを生成する奥行き推定装置であって、前記シーンごとに、当該シーンに対応する前記多焦点画像群を用いて当該シーンの奥行きマップである初期奥行きマップを生成する奥行きマップ生成部と、前記シーンごとに、当該シーンに含まれる複数の第１領域の各々の動きを推定する前記動き推定装置と、処理対象のシーンの前記初期奥行きマップに含まれる前記移動被写体領域の奥行きの情報を、他のシーンに含まれ、かつ、当該移動被写体領域に対応する前記静止被写体領域の奥行き情報を用いて補完する奥行き補完部とを備える。

この構成によれば、本発明の一形態に係る奥行きマップ推定装置は、精度が低い移動被写体領域の奥行き情報を、精度が高い静止被写体領域の奥行き情報を用いて補完する。これにより、当外奥行きマップ推定装置は、精度の高い奥行きマップを生成できる。

また、前記奥行き補完部は、前記静止被写体領域の奥行き情報を、前記移動被写体領域の奥行き情報にコピーしてもよい。

また、前記動き補完部は、前記処理対象のシーンの前記初期奥行きマップに含まれる前記移動被写体領域の奥行きの情報を、当該移動被写体領域に対応する前記静止被写体領域を含む他のシーンのうち、当該処理対象のシーンに時間的に最も近いシーンに含まれる当該静止被写体領域の奥行き情報を用いて補完してもよい。

この構成によれば、本発明の一形態に係る奥行きマップ推定装置は、時間的に近いシーンの奥行き情報を補完処理に用いることで、精度の高い奥行きマップを生成できる。

また、前記奥行き補完部は、１画素ごとに、前記処理対象のシーンの前記初期奥行きマップに含まれる前記移動被写体領域の奥行きの情報を、前記他のシーンに含まれ、かつ、当該移動被写体領域に対応する前記静止被写体領域の奥行き情報を用いて補完してもよい。

この構成によれば、本発明の一形態に係る奥行きマップ推定装置は、奥行きマップの精度を向上できる。

また、前記奥行き補完部は、複数の画素を含む領域ごとに、前記処理対象のシーンの前記初期奥行きマップに含まれる前記移動被写体領域の奥行きの情報を、前記他のシーンに含まれ、かつ、当該移動被写体領域に対応する前記静止被写体領域の奥行き情報を用いて補完してもよい。

この構成によれば、本発明の一形態に係る奥行きマップ推定装置は、奥行きマップ推定処理の演算量を低減できる。

また、前記奥行き推定装置は、さらに、シーン間において被写体を追跡することで、複数のシーンにおける同一の被写体を示す追跡被写体情報を生成する特徴追跡部を備え、前記奥行き補完部は、前記追跡被写体情報を用いて、前記他のシーンに含まれ、かつ、前記移動被写体領域に対応する前記静止被写体領域を特定してもよい。

この構成によれば、本発明の一形態に係る奥行きマップ推定装置は、画像間で同一の被写体を容易に特定することができる。

また、前記特徴追跡部は、第１多焦点画像群に含まれる少なくとも１つの第１画像における第１被写体特徴群を算出し、第２多焦点画像群に含まれ、前記第１画像と焦点が同じである、少なくとも１つの第２画像における第２被写体特徴群を算出し、前記第１被写体特徴群と前記第２被写体特徴群とをマッチングさせることで前記追跡被写体情報を生成してもよい。

また、前記奥行き推定装置は、さらに、前記移動被写体領域の動きベクトルを、前記多焦点画像群を用いて算出する動き補償部を備え、前記奥行きマップ生成部は、前記動きベクトルを用いて前記多焦点画像群に対して動き補償処理を行い、動き補償処理後の多焦点画像群を用いて前記初期奥行きマップを生成してもよい。

この構成によれば、本発明の一形態に係る奥行きマップ推定装置は、動き補償を行うことで、奥行きマップの精度を向上できる。また、当該奥行きマップ推定装置は、動き推定装置により推定された移動被写体領域に対して動き補償処理を行うことで、動き補償処理の演算量を低減できる。

また、本発明の一形態に係る奥行きマップ推定装置は、シーンごとに、１シーンに対応する互いに焦点が異なる多焦点画像群を用いて、当該シーンに含まれる複数の第２領域の各々の奥行きを示す奥行きマップを生成する奥行き推定装置であって、前記シーンごとに、当該シーンに含まれる複数の第１領域の各々の動きを推定する前記動き推定装置と、前記移動被写体領域の動きベクトルを、前記多焦点画像群を用いて算出する動き補償部と、前記動きベクトルを用いて前記多焦点画像群に対して動き補償処理を行い、動き補償処理後の多焦点画像群を用いて、対応するシーンの奥行きマップを生成する奥行きマップ生成部とを備える。

この構成によれば、本発明の一形態に係る奥行きマップ推定装置は、動き補償を行うことで、奥行きマップの精度を向上できる。また、当該奥行きマップ推定装置は、動き推定装置により推定された移動被写体領域に対して動き補償処理を行うことで、動き補償処理の演算量を低減できる。

なお、本発明は、このような動き推定装置及び奥行き推定装置として実現できるだけでなく、動き推定装置又は奥行き推定装置に含まれる特徴的な手段をステップとする動き推定方法又は奥行き推定方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の非一時的なコンピュータ読み取り可能な記録媒体、及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

さらに、本発明は、このような動き推定装置又は奥行き推定装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような動き推定装置又は奥行き推定装置を備える撮像装置として実現したりできる。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

以下、本発明の一態様に係る動き推定装置及び奥行き推定装置について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
本実施の形態に係る奥行き推定装置は、奥行き精度が潜在的に高い静止被写体領域、及び奥行き精度が潜在的に低い移動被写体領域を特定するために、多焦点画像群における移動被写体を検出する。そして、当該奥行き推定装置は、複数フレームから、静止被写体領域における高精度の奥行き情報を目的の奥行きマップに転写（融合）することによって、被写体の動きのために奥行き精度が当初は低い転写先の奥行きマップの精度を改善する。このように、当該奥行き推定装置は、移動被写体領域と静止被写体領域との両方において精度が高い奥行きマップを実現することができる。

まず、本実施の形態に係る奥行き推定装置を有する撮像装置の構成を説明する。

図２は、本実施の形態に係る奥行き推定装置２１０を有する撮像装置２００のブロック図である。この撮像装置２００は、光学系２０２と、画像撮像部２０４と、前処理部２０６と、内部メモリ２０８と、奥行き推定装置２１０と、コントローラ２１２と、外部メモリ２１４とを備える。

画像撮像部２０４は、互いに焦点の異なる多焦点画像群２２４を撮像する。

前処理部２０６は、撮像された未加工の多焦点画像群２２４を前処理することにより前処理済みの多焦点画像群２２６を生成する。また、前処理部２０６から出力された前処理済み多焦点画像群２２６は、内部メモリ２０８に格納される。なお、未加工の多焦点画像群２２４が、内部メモリ２０８に格納されてもよい。

奥行き推定装置２１０は、内部メモリ２０８からに格納されている前処理済み多焦点画像群２２６を取得する。なお、奥行き推定装置２１０は、画像撮像部２０４で生成された未加工の多焦点画像群２２４をそのまま取得してもよいし、内部メモリ２０８に格納されている多焦点画像群２２４を取得してもよい。なお、以下では奥行き推定装置２１０に多焦点画像群２２６が入力される場合を例に説明する。

奥行き推定装置２１０は、多焦点画像群２２６を用いて、奥行きマップ２３０を推定する。なお、奥行き推定装置２１０は、奥行きマップ２３０の推定処理において生成された中間情報を、内部メモリ２０８に格納してもかまわない。そして、推定された奥行きマップ２３０は、次の処理のため、画像処理プロセッサ又は３Ｄ画像処理プロセッサに出力される。また、撮像装置２００は、奥行きマップ２３０を、後で用いるために外部メモリ２１４に格納してもよい。

図３は、奥行き推定装置２１０のブロック図である。この奥行き推定装置２１０には、複数の多焦点画像群２２６が入力される。ここで、１つの多焦点画像群２２６は、１つのシーンに対応する。そして、奥行き推定装置２１０は、このシーンごとに奥行きマップ２３０を生成する。また、奥行きマップ２３０は、１シーンに含まれる複数の画素位置の各々の奥行きを示す。

図４は、奥行き推定装置２１０に入力される、複数の多焦点画像群２２６を含む画像列の一例を示す図である。図４に示すように、画像列は、例えば、ａ、ｂ、ｃというように焦点の位置が異なる３種類の画像を含む。画像ａ、画像ｂ、画像ｃは、異なる時間、異なる焦点位置で撮像されている。また、この画像列は、複数の多焦点画像群２２６（ＳＥＴ１、ＳＥＴ２、ＳＥＴ３及びＳＥＴ４）を含む。各多焦点画像群２２６は、連続する｛画像ａ、画像ｂ、画像ｃ｝又は｛画像ｃ、画像ｂ、画像ａ｝を含む。なお、ここでは、ある多焦点画像群２２６に含まれる画像の一部が、隣接する他の多焦点画像群２２６とで共用されている（例えばＳＥＴ１とＳＥＴ２とで画像ｃが共用されている）が、共用されなくてもよい。また、ここでは、各多焦点画像群２２６に焦点の異なる３枚の画像が含まれているが、各多焦点画像群２２６には、焦点の異なる２枚以上の画像が含まれていればよい。

また、典型的には、この画像列は、動画像記録、又は静止画の連続撮影により得られた画像である。また、多焦点画像群２２６とは、略同一の被写体（場面）を撮像した、焦点の異なる複数の画像である。典型的には、多焦点画像群２２６は、同一の被写体を連続して撮影した複数の画像である。

この奥行き推定装置２１０は、動き推定装置３００と、特徴追跡部３０２と、奥行きマップ生成部３０４と、奥行き補完部３０８とを備える。

特徴追跡部３０２は、複数の多焦点画像群２２６の間で被写体を追跡し、複数のシーンにおける同一の被写体を示す追跡被写体情報３２２を生成する。

動き推定装置３００は、１つの多焦点画像群２２６を用いて１シーンに含まれる複数の画素位置の各々の動きを推定する。この動き推定装置３００は、コスト値算出部３０５と、動き推定部３０６とを備える。

コスト値算出部３０５は、一つの多焦点画像群２２６を用いて１シーンに含まれる各画素位置のコスト値セットを算出する。そして、コスト値算出部３０５は、各画素位置のコスト値セットから、最も値の小さい最小コスト値３２５を選択する。ここで、コスト値とは、各画素位置のぼけ量と、奥行き方向の距離ごとに定められた基準のぼけ量との差を示す値である。つまり、コスト値が小さいとはぼけ量が小さいことを意味する。なお、このコスト値算出処理の詳細は後述する。

奥行きマップ生成部３０４は、シーンごとに、当該シーンに対応する多焦点画像群２２６を用いて当該シーンの奥行きマップである初期奥行きマップ３２４を生成する。具体的には、奥行きマップ生成部３０４は、コスト値算出部３０５で算出された各画素位置の最小コスト値３２５を用いて１シーンの奥行きマップを推定することで初期奥行きマップ３２４を生成する。

動き推定部３０６は、コスト値算出部３０５で算出されたコスト値を用いて、当該コスト値に対応する画素位置の動きを推定する。具体的には、動き推定部３０６は、画素位置の最小コスト値３２５を用いて、現在の画素位置が、動きがある（動きの大きい）移動被写体領域に属しているのか、動きのない（動きの小さい）静止被写体領域に属しているのかを特定する。そして、動き推定部３０６は、１シーンの各画素位置が移動被写体領域に属しているか静止被写体領域に属しているかを示す移動マスク３２６を生成する。なお、動画像記録の場合は、奥行き推定装置２１０は、初期奥行きマップ３２４と移動マスク３２６とを、全ての多焦点画像群２２６に対して生成する。

奥行き補完部３０８は、追跡被写体情報３２２と、現在（処理対象）の多焦点画像群の初期奥行きマップ３２４及び移動マスク３２６と、前の多焦点画像群の初期奥行きマップ３２４及び移動マスク３２６とを取得とする。奥行き補完部３０８は、処理対象のシーンの初期奥行きマップ３２４に含まれる移動被写体領域の奥行きの情報を、他のシーンに含まれ、かつ、当該移動被写体領域に対応する静止被写体領域の奥行き情報を用いて補完する。具体的には、奥行き補完部３０８は、追跡被写体情報３２２と移動マスク３２６とに基づき、前の初期奥行きマップ３２４に含まれる、静止していると特定された被写体の正確な奥行き情報を、現在の初期奥行きマップ３２４において移動していると特定された同一被写体の奥行き情報に転写することで奥行きマップ２３０を生成する。また、奥行き補完部３０８は、追跡被写体情報３２２を用いて、処理対象のシーンの移動被写体領域に対応する、他のシーンに含まれる静止被写体領域を特定する。

したがって、この奥行きマップ２３０における移動被写体の奥行き精度はかなり向上する。なぜなら、前の初期奥行きマップにおける高精度の奥行き情報を用いて、現在の初期奥行きマップにおける精度が低い奥行き情報を改善するからである。

コスト値算出部３０５及び奥行きマップ生成部３０４は、例えば、以下の例で実現される。まず、コスト値算出部３０５は、多焦点画像群２２６のうち少なくとも１つの画像を用いて、ＡＩＦ（ａｌｌ−ｉｎ−ｆｏｃｕｓ：全焦点）画像を生成する。次に、コスト値算出部３０５は、ＡＩＦ画像及びＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：点広がり関数）データ群を用いて、ぼけ画像群を生成する。ここで、ＰＳＦデータとは、固有な撮像パラメータを有する特定の距離で観測した場合に点光源がどのように広がるのかを表すものである。ＰＳＦとは、シーン内の被写体の距離（奥行き）に関するものである。そして、コスト値算出部３０５は、多焦点画像群２２６及びぼけ画像群を用いて、各画素位置に対するコスト値セットを算出する。ここでコスト値セットとは、各々が複数の距離（奥行き）の各々に対応する複数のコスト値の集まりである。最後に、コスト値算出部３０５は、コスト値セットに含まれる複数のコスト値のうち最も小さい値を有する最小コスト値３２５を決定する。そして、奥行きマップ生成部３０４は、最小コスト値となるぼけ画像を生成するのに用いたＰＳＦに対応する距離を画素位置の奥行き情報とする初期奥行きマップ３２４を生成する。

上述したプロセスは、Ａ−ＤＦＤ（Ａｄｖａｎｃｅｄ−Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ）と呼ばれる。このプロセスでは、生成されたぼけ画像と撮像された入力画像とで画素ごとに焦点ぼけをマッチングさせる。ここで、被写体が移動している場合、多焦点画像群２２６に含まれる画像間での被写体の位置がずれる。これにより、画素のぼけマッチングが不正確になる。そのため、推定された奥行きには奥行き誤差が生じる可能性がある。これに対して本実施の形態に係る奥行き推定装置２１０は、多焦点画像群２２６における移動被写体を検出することにより、奥行き精度の高い領域（静止被写体領域）と奥行き精度の低い領域（移動被写体領域）とを特定する。そして、奥行き推定装置２１０は、この情報に基づき、前の奥行きマップにおける奥行き精度の高い領域を用いて、現在の奥行きマップにおける奥行き精度の低い領域を改善することができる。

上述した奥行き推定処理は、例示目的でのみ用いられ、本発明の範囲又は精神を限定するものではない。従来のＤＦＤ又はＤＦＦなど、その他の周知の奥行き推定方法を用いてもかまわない。

奥行き推定装置２１０及びその他の処理部は、通常、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）の形状で実現されたり、ＡＲＭなどのＣＰＵベースのプロセッサ又はＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）を備えた機器により実現されたりする。これらの処理部はそれぞれ、多数の単機能ＬＳＩ内にも、単一の集積ＬＳＩ内にも存在することができる。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、又は、ウルトラＬＳＩと呼称されることもある。さらに、集積回路化の方法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。これには、プログラム命令により指示可能な、ＤＳＰなどの専用マイクロプロセッサが含まれる。ＬＳＩの製造後にプログラム可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は、ＬＳＩの接続又は設定を再構成可能なリコンフィギュアラブル・プロセッサも同じ目的で使用できる。今後、製造及びプロセス技術が進歩すれば、最新技術でＬＳＩを置き換えてもかまわない。その技術を用いて集積回路化を行ってもよい。

実装においては、デジタルスチルカメラ及びムービーカメラなどの画像撮像装置に奥行き推定装置２１０を組み込んでもかまわない。また、奥行き推定装置２１０は、プロフェッショナル撮像システムなど、画像撮像システムと連動するスタンドアロン型の装置に実装されてもかまわない。奥行き推定装置２１０をその他のタイプの装置へ実装することも可能であり、本発明の範囲を限定するものではない。

以下、上記奥行き推定装置２１０の動作の流れを説明する。図５は、１シーンに対する奥行き推定装置２１０による奥行き推定処理のフローチャートである。

まず、コスト値算出部３０５は、多焦点画像群２２６を用いて、上述した方法により最小コスト値３２５を算出する（Ｓ１０１）。次に、動き推定部３０６は、最小コスト値３２５を用いて動きマスクを生成する（Ｓ１０２）。また、奥行きマップ生成部３０４は、最小コスト値３２５を用いて、上述した方法により初期奥行きマップ３２４を生成する（Ｓ１０３）。また、特徴追跡部３０２は、シーン間において被写体を追跡することで追跡被写体情報３２２を生成する（Ｓ１０４）。最後に、奥行き補完部３０８は、移動マスク３２６及び追跡被写体情報３２２を用いて初期奥行きマップ３２４を補完することで奥行きマップ２３０を生成する。

図６は、動き推定部３０６による動きマスク生成処理（Ｓ１０２）の処理ステップを示したフローチャートである。まず、動き推定部３０６、コスト値算出部３０５で算出された、画素位置（ｉ，ｊ）に対する最小コスト値ＣＭ（ｉ，ｊ）を取得する（Ｓ２０１）。次に、動き推定部３０６は、ＣＭ（ｉ，ｊ）が閾値ＴＨより大きいかどうかを判断する（Ｓ２０２）。例えば、この閾値ＴＨは予め定められた固定値である。

ＣＭ（ｉ，ｊ）が閾値ＴＨより大きければ（Ｓ２０２でＹＥＳ）、動き推定部３０６は、画素位置（ｉ，ｊ）を移動被写体領域の画素として特定する（Ｓ２０３）。一方、ＣＭ（ｉ，ｊ）が閾値ＴＨより大きくなければ（Ｓ２０２でＮＯ）、動き推定装置３００は、画素位置（ｉ，ｊ）を静止被写体領域の画素として特定する（Ｓ２０４）。

全ての画素位置に対してステップＳ２０１〜Ｓ２０４の処理が終了していない場合（Ｓ２０５でＮＯ）、動き推定部３０６は、次の画素位置を選択し（Ｓ２０６）、選択された画素位置に対してステップＳ２０１以降の処理を実行する。また、全ての画素位置に対する処理が終了した場合（Ｓ２０５でＹＥＳ）、動き推定部３０６は、各画素位置が移動被写体領域であるか静止被写体領域であるかを示す移動マスク３２６を生成する（Ｓ２０７）。最後に、動き推定部３０６は、生成された移動マスク３２６をメモリ（図示せず）に格納する（Ｓ２０８）。

ここで、被写体が移動していることにより、画素のぼけマッチングが不正確な場合に、最小コスト値が大きくなる。よって、上記のように最小コスト値が閾値ＴＨ以上であるか否かに応じて、各画素位置が移動しているか否かを判定できる。

なお、閾値ＴＨは、予め定義され、かつ、レジスタ又はメモリに格納されていてもよい。また、閾値ＴＨは、最小コスト値の分布を解析することにより、シーンオブジェクトに従って動的に計算されてもよい。

図７Ａ〜図７Ｃは、閾値（ＴＨ）計算用のコスト関数の最小コスト値分布の例を示す図である。図７Ａ〜図７Ｃは、１シーンの最小コスト値の分布を示し、縦軸は画素数に対応する。図７Ａには、静止被写体のシーンの最小コスト値分布の例が示されている。この例によると、この分布は、約２．５の最小コスト値にピークが現れ、約１０で収束する。図７Ｂには、わずかに移動する被写体を含んだシーンの最小コスト値分布の例が示されている。分布の終端部では、高コスト領域Ｍ７０が広がり始める。この領域は、最小コストの値が高いことを示しており、奥行き推定の精度が低くて信頼性がないことを意味する。図７Ｃには、かなり移動する被写体を含んだシーンの最小コスト値分布の例が示されている。分布の終端部がより長くなり、高コスト領域Ｍ７２が生じる。高コスト領域Ｍ７２は、高コスト領域Ｍ７０よりも長く、これは、被写体の移動量と合致する。したがって、分布を解析することにより、閾値ＴＨを決定することができる。これは、オフラインの計算でもオンザフライの計算でもかまわない。重要なことは、奥行き推定の精度が低くて信頼性がないことを移動被写体領域が示すことである。この指標は、移動被写体領域の奥行き精度を向上させるために、フレーム間奥行き転写と動き推定／補償とにおいて用いられる。

また、この移動マスク３２６は、この多焦点画像群２２６ごとに生成される。

移動マスク３２６は、例えば、図４に示すように特定された移動被写体領域を白で示し、特定された静止被写体領域を黒で示す。この指標により、奥行き推定装置２１０は、どの領域で初期奥行きマップ３２４の精度が低いのかを把握することができる。

また、図４の例では、多焦点画像群ＳＥＴ１、ＳＥＴ２及びＳＥＴ３の移動マスク３２６Ａ、３２６Ｂ及び３２６Ｄには移動被写体領域が含まれており、多焦点画像群ＳＥＴ３の移動マスク３２６Ｃには、移動被写体領域があまり含まれていない。これは、この多焦点画像群ＳＥＴ３から生成された初期奥行きマップ３２４の奥行き精度が高いことを意味している。したがって、多焦点画像群ＳＥＴ３の奥行きマップを用いて、多焦点画像群ＳＥＴ１、ＳＥＴ２、及び、ＳＥＴ４の奥行きマップを改善することができる。

以下、特徴追跡処理（Ｓ１０４）の具体例を説明する。この特徴追跡処理（被写体追跡処理）は、異なる多焦点画像群２２６のなかに同一被写体があるかどうかを把握するために行われる。また、特徴追跡部３０２は、多焦点画像群２２６ごとに、少なくとも１つの画像を特徴追跡用に用いる。ただし、各多焦点画像群２２６から用いる画像は焦点位置が同じ画像であることが好ましい。例えば、特徴追跡部３０２は、図４に示す例では、｛ａ、ｂ、ｃ｝群、又は、｛ｃ、ｂ、ａ｝群における画像ｂを特徴追跡処理に用いる。なお、特徴追跡を行う前に、特定の処理を画像ｂに適用してもかまわない。また、多焦点画像群から全焦点画像を作成する場合には、当該全焦点画像を用いて特徴追跡処理を行うことが好ましい。

図８は、特徴追跡方法のフローチャートである。

まず、特徴追跡部３０２は、第１多焦点画像群に含まれる第１画像の第１被写体特徴群を算出し、第２多焦点画像群に含まれる第２画像の第２被写体特徴群を算出する（Ｓ２２１）。次に、特徴追跡部３０２は、算出した第１被写体特徴群と算出した第２被写体特徴群とをマッチングさせることで追跡被写体情報３２２を生成する（Ｓ２２２）。この追跡被写体情報３２２には、異なる画像に現れた同一被写体特徴に関する情報が含まれている。そして、特徴追跡部３０２は、追跡被写体情報３２２をメモリ（図示せず）に格納する（Ｓ２２３）。この追跡被写体情報３２２により、ある画像内の被写体と同一被写体が別の画像のどこに現れるのかを把握することができる。よって、奥行き補完部３０８は、この追跡被写体情報３２２を用いて、奥行きマップ間で奥行き情報を正確に転写できる。

なお、特徴追跡方法として、当該技術分野で周知の方法を用いてもかまわない。例えば、既知の特徴追跡方法の例が、非特許文献５及び非特許文献６に開示されている。

次に、奥行き補完部３０８による奥行きマップの補完処理（Ｓ１０５）について説明する。図９は、奥行きマップの補完処理のフローチャートである。

まず、奥行き補完部３０８は、第１及び第２多焦点画像群に対応する第１及び第２初期奥行きマップと、第１及び第２移動マスクと、追跡被写体情報３２２とを取得する（Ｓ２４１）。次に、奥行き補完部３０８は、第２初期奥行きマップにおける移動被写体領域の位置を、第２移動マスクを用いて特定する。また、奥行き補完部３０８は、静止被写体領域として特定された第１初期奥行きマップにおける同一被写体の位置を追跡被写体情報３２２と第１移動マスクとを用いて特定する（Ｓ２４２）。

そして、奥行き補完部３０８は、静止被写体領域として特定された第１初期奥行きマップにおける同一被写体の特定位置から、第２初期奥行きマップにおける移動被写体領域の特定位置に対する奥行き値を取得する。つまり、奥行き補完部３０８は、静止被写体領域の奥行き値を移動被写体領域にコピーする。最後に、奥行き補完部３０８は、補完した後の奥行きマップ２３０を出力する。

前述のとおり、静止被写体領域の奥行き精度は高く、移動被写体領域の奥行き精度は低い。第１奥行きマップの静止被写体領域からの高精度な奥行き情報を第２奥行きマップの同一被写体だが移動している被写体の奥行き情報に転写することにより、第２奥行きマップにおける移動被写体領域の奥行き精度が向上する。移動被写体領域の奥行き精度を向上させた奥行きマップ２３０を３Ｄ画像生成などの次の処理で用いる場合に、これらの処理部で生成される画像の品質が向上する。

なお、奥行き補完部３０８が補完処理に用いる初期奥行きマップ３２４は、前のフレームの初期奥行きマップ３２４に限定されない。例えば、奥行き補完部３０８は、後のフレームの初期奥行きマップ３２４を用いてもよい。また、奥行き補完部３０８が補完処理に用いる初期奥行きマップ３２４は、現在のフレームの直前又は直後のフレームの初期奥行きマップ３２４に限定されず、２フレーム以上前又は後のフレームの初期奥行きマップ３２４であってもよい。さらに、奥行き補完部３０８は、複数のフレームの初期奥行きマップ３２４を用いてもよい。なお、奥行き補完部３０８は、処理対象のシーンの初期奥行きマップ３２４に含まれる移動被写体領域の奥行きの情報を、当該移動被写体領域に対応する静止被写体領域を含む他のシーンのうち、当該処理対象のシーンに時間的に最も近いシーンに含まれる当該静止被写体領域の奥行き情報を用いて補完することが好ましい。

以下、本実施の形態に係る奥行き推定処理の具体例を説明する。

図１０Ａ〜図１０Ｃは、撮像された多焦点画像の一例を示す図である。この例では、３つの画像が撮像され、それらは、遠焦点画像５０２、スイープ焦点画像５０４、近焦点画像５０６である。遠焦点画像５０２では、遠くの被写体（被写体Ａ）にはっきりと焦点が合っており、近くの被写体（被写体Ｃ）は、焦点がずれているためぼやけている。スイープ焦点画像５０４では、被写体Ａ、Ｂ及びＣは、ぼけ不変効果がある。これは、被写体Ａ、Ｂ、Ｃのぼけ量が類似していることを意味する。このような画像は、ＡＩＦ画像を生成するのに適している。近焦点画像５０６では、近くの被写体（被写体Ｃ）に焦点が合っており、遠くの被写体（被写体Ａ）は、焦点がずれているためぼやけている。これら３つの画像（５０２、５０４、５０６）が奥行き推定に用いられる。この例では、被写体Ａ、Ｂ、Ｃは静止している。したがって、推定された奥行きマップの奥行き精度は高いものとなる。これらの撮像画像により推定された奥行きマップ５０８の例を図１０Ｄに示す。図１０Ｄに示すように被写体の奥行き順序は正確に推定される。

図１１Ａ〜図１１Ｃは、シーン内の被写体が移動する多焦点画像群の一例を示す図ある。この例では、図１０Ａ〜図１０Ｃと同様に、３つの画像が撮像され、それらは、遠焦点画像５２２、スイープ焦点画像５２４、近焦点画像５２６である。また、この例では、被写体Ｂが左から右へ移動している。３つの画像を異なる時点で撮像すると、被写体Ｂは、各撮像画像で異なる画素位置に位置している。したがって、推定後に得られる奥行きマップ５２８は動きの影響を受ける。図１１Ｄに示すように、奥行き誤差が移動被写体領域に生じ、被写体Ｂの奥行き順序は、特に被写体境界周辺で不正確である。この奥行きマップ５２８を３Ｄ画像生成などの次の処理に用いる場合は、移動被写体の画質が悪くなる。したがって、改善が必要である。

図１２は、フレーム間奥行き転写による奥行きマップ改善のフローを示したものである。上述のとおり、多焦点画像群２２６ごとに移動マスク３２６が生成される。図１２において、移動マスク５４０は、静止被写体画像群の移動マスク（つまり、図１０Ａ〜図１０Ｃに示す多焦点画像群を用いて生成された移動マスク）を表している。移動マスク５５０は、移動被写体を含んだ画像群の移動マスク（つまり、図１１Ａ〜図１１Ｃの、被写体Ｂが動く多焦点画像群を用いて生成された移動マスク）を表している。

奥行き補完部３０８は、移動マスク５４０で示される移動被写体領域Ｆ５０２を特定する。ここで、この移動被写体領域Ｆ５０２の奥行き上の精度は低い。そして、特徴追跡部３０２は、異なる時点で撮像された画像内における同一被写体の位置を把握するために、画像間で被写体を追跡する。具体的には、特徴追跡部３０２は、図１２に示すように、画像５４２及び画像５５２における被写体特徴をマッチングさせる。ここで特徴追跡部３０２は、移動マスク５５０からの情報を用いて、どの特徴又はどの領域が、移動被写体領域に属しているのか、静止被写体領域に属しているのかを把握することができる。例えば、マッチングした特徴Ｆ５０４は、対応する移動マスク５５０において特定された移動被写体領域を含まないため、静止被写体の特徴として把握される。また、マッチングした特徴Ｆ５０６は、移動マスク５５０において特定された移動被写体領域を含むため、移動被写体の特徴として把握される。これらの情報を用いることにより、前フレームからの高精度奥行き情報を現在のフレームに転写することができる。例えば、奥行きマップ５４４の領域Ｆ５００（静止被写体領域）の奥行き情報を奥行きマップ５５４の領域Ｆ５０１（移動被写体領域）の奥行き情報に転写する。このように、奥行きマップ５５４の移動被写体領域のみに対してフレーム間奥行き転写を行うことができる。

なお、奥行き補完部３０８は、奥行き転写処理を、領域ベースの奥行き転写方法を用いて行ってもかまわない。例えば、奥行き補完部３０８は、被写体形状に応じて、又は、ブロック単位で、奥行き情報を転写する。あるいは、奥行き補完部３０８は、特定された移動被写体領域周辺の画素を転写する画素ベースの奥行き転写を用いてもかまわない。また、奥行き補完部３０８は、主な特徴の奥行き情報のみを転写する特徴ベースの奥行き転写を用い、その後に奥行き補間を利用してもかまわない。

また、奥行き転写処理は、前フレームから現在のフレームへ奥行き情報を置き換えることによって行われてもかまわない。あるいは、重み付き平均法を用いて行うことも可能である。

また、奥行き補完部３０８は、静止被写体領域の奥行き値を移動被写体領域の奥行き値としてそのままコピーするのではなく、静止被写体の奥行き値を用いて移動被写体領域の奥行き値を算出してもよい。例えば、奥行き補完部３０８は、静止被写体領域の奥行き値に所定の係数を乗算又は加算した値を、移動被写体領域の奥行き値としてもよい。

図１３は、推定された奥行きマップのヒストグラム比較結果の一例を示す図である。この例では、被写体は、撮像装置から約２．９メートルに位置している。この結果から分かるように、現在のフレームの初期奥行きマップ（ヒストグラムＬ１）は正確なものでなく、多くの誤差が含まれている。これは、多焦点画像群において被写体が移動するからである。ヒストグラムＬ２は、移動被写体が含まれない前のフレームの奥行きマップを示している。図から分かるように、このヒストグラムＬ２の奥行き精度は高い。ヒストグラムＬ３は、前のフレームの奥行きマップから奥行き情報を転写することにより補完された奥行きマップを示している。図から分かるように、補完された奥行きマップの奥行き精度はかなり向上している。この結果から、本実施の形態の有効性が証明された。

以下、上記実施の形態の変形例について説明する。

図１４は、本発明の別の実施の形態に係る動き推定処理のフローチャートである。

まず、奥行き推定装置２１０は、多焦点画像群２２６を取得する（Ｓ３０１）。次に、コスト値算出部３０５は、多焦点画像群２２６を用いて、画素位置（ｉ，ｊ）に対するコスト値セットＥ（ｉ，ｊ）を算出する（Ｓ３０２）。次に、コスト値算出部３０５は、画素位置（ｉ，ｊ）に対する最小コスト値ＣＭ（ｉ，ｊ）をＥ（ｉ，ｊ）から選択する（Ｓ３０３）。次に、動き推定部３０６は、例えば、１フレームに含まれる複数の画素位置の最小コスト値である最小コスト値セットを作成する（Ｓ３０４）。

次に、動き推定部３０６は、最小コスト値セットを用いて、閾値ＴＨを算出する（Ｓ３０５）。次に、動き推定部３０６は、ＣＭ（ｉ，ｊ）が閾値ＴＨより大きいかどうかを判断する（Ｓ３０６）。ＣＭ（ｉ，ｊ）が閾値ＴＨより大きければ（Ｓ３０６でＹＥＳ）、動き推定部３０６は、画素位置（ｉ，ｊ）を移動被写体領域の画素位置として特定する（Ｓ３０７）。ＣＭ（ｉ，ｊ）が閾値ＴＨより大きくなければ（Ｓ３０６でＮＯ）、動き推定部３０６は、画素位置（ｉ，ｊ）を静止被写体領域の画素位置として特定する（Ｓ３０８）。全ての画素位置に対してステップＳ３０６〜Ｓ３０８の処理が終了していない場合（Ｓ３０９でＮＯ）、動き推定部３０６は、次の画素位置を選択し（Ｓ３１０）、選択された画素位置に対してステップＳ３０６以降の処理を実行する。また、全ての画素位置に対する処理が終了した場合（Ｓ３０９でＹＥＳ）、動き推定部３０６は、移動マスク３２６が生成する（Ｓ３１１）。最後に、動き推定部３０６は、生成された移動マスク３２６をメモリ（図示せず）に格納する（Ｓ３１２）。

なお、生成された移動マスク３２６を用いて、多焦点画像から得られた奥行きマップの精度を示してもよい。また、生成された移動マスク３２６を、アプリケーションに応じて、他の次の処理に用いてもかまわない。

また、上記説明では、動き推定装置３００が、１画素ごとに当該画素の動きを推定する例を説明したが、動き推定装置３００は、複数の画素を含む領域ごとに当該領域の動きを推定してもよい。同様に、奥行きマップ生成部３０４は、複数の画素を含む領域ごとに当該領域の奥行きを示す奥行きマップを生成してもよい。同様に、奥行き補完部３０８は、複数の画素を含む領域ごとに当該領域の奥行き情報を補完してもよい。また、こられの処理部で用いる領域の大きさは同一であってもよいし異なってもよい。

（実施の形態２）
本実施の形態では、上述した実施の形態１に係る奥行き推定装置２１０の変形例について説明する。なお、以下では、実施の形態１との相違点を主に説明し、重複する説明は省略する。

図１５は、本発明の実施の形態２に係る奥行き推定装置２１０Ａのブロック図である。奥行き推定装置２１０Ａは、多焦点画像群２２６を入力とする。この奥行き推定装置２１０Ａは、動き推定装置３００と、奥行きマップ生成部３０４と、動き補償部３３０とを備える。

動き補償部３３０は、動き推定部３０６によって特定された移動被写体領域から多焦点画像群２２６の動きベクトルを算出し、算出した動きベクトルを用いて、画素シフトを減らすよう移動被写体に対する画素位置を補償する。そして、動き補償された出力情報である動き補償情報３４０は、奥行きマップ生成部３０４に送られ、移動被写体の奥行き精度を向上させるために利用される。例えば、奥行きマップ生成部３０４は、動き補償部３３０で算出された動きベクトル又は動き補償情報３４０を用いて多焦点画像群２２６に対して動き補償処理を行い、動き補償処理後の多焦点画像群を用いて奥行きマップ２３０を生成する。

こうすることにより、移動被写体の奥行き精度は、静止被写体の奥行き精度を保ったまま、向上する。さらに、動き推定及び動き補償の複雑性は、移動被写体領域でのみ実行されるため、低減される。

なお、図１６に示す奥行き推定装置２１０Ｂのように、図３に示す奥行き推定装置２１０と図１５に示す奥行き推定装置２１０Ａとを組み合わせてもよい。つまり、奥行きマップ生成部３０４は、動き補償部３３０で算出された動きベクトル又は動き補償情報３４０を用いて多焦点画像群２２６に対して動き補償処理を行い、動き補償処理後の多焦点画像群を用いて初期奥行きマップ３２４を生成してもよい。

（実施の形態３）
本実施の形態では、上記奥行き推定装置２１０を備える撮像装置について説明する。

図１７は、本実施の形態に係る撮像装置７００の略ブロック図である。この撮像装置７００は、光学系７０２と、イメージセンサ７０４と、ＡＤＣ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）７０６と、画像処理プロセッサ７０８と、マイクロコンピュータ７１０と、外部メモリ７１２と、ドライバコントローラ７２０と、ＯＩＳ（Ｏｐｔｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚｅｒ）センサ７１８と、オペレーション部７２２と、格納／転送デバイス７１６と、表示デバイス７１４とを備えている。

画像処理プロセッサ７０８は、内部メモリ７４０と、奥行き推定装置７４６と、未加工画像処理プロセッサ７４２と、カラー画像処理プロセッサ７４３と、オプションとして３Ｄ画像処理プロセッサ７４４とを備える。なお、撮像装置７００は、さらに、マイク、スピーカなど、その他の部品を備えてもよい。

光学系７０２は、イメージセンサ７０４に届く光信号を制御する部品から構成されている。例えば、光学系７０２は、レンズ又はレンズセットと、ズーム及びフォーカス機構と、アクチュエータと、シャッターと、絞りとを含む。

イメージセンサ７０４は、入射光信号を蓄積し、その光信号を電気信号に変換する。また、イメージセンサ７０４は、マイクロコンピュータ７１０からの命令を受ける。変換後の電気信号は、ＡＤＣ７０６によってデジタルデータ（未加工画像データ）に変換され、このデジタルデータが内部メモリ７４０又は外部メモリ７１２に格納される。また、この未加工画像データには、異なる焦点位置で撮像された多焦点画像群が含まれている。さらに、未加工画像データには、画像撮像中に焦点位置を変えながら撮像した、複雑な未加工画像データである高解像度画像データが含まれていてもかまわない。

未加工画像処理プロセッサ７４２は、内部メモリ７４０（又は外部メモリ７１２）からの未加工画像データを取得し、取得した未加工画像データに対して、サイズ変更、直線性補正、ホワイトバランス及びガンマ補正など、様々な前処理を行う。前処理された未加工画像データは、格納／転送デバイス７１６により、格納又は転送される。また、ＲＧＢ又はＹＣｂＣｒなどのカラー画像を生成するために、前処理された未加工画像をカラー画像処理プロセッサ７４３によって処理することもできる。カラー画像処理プロセッサ７４３は、適したカラー画像を生成するために、カラー補間、カラー補正、色調調整及びカラーノイズリダクションなどを行ってもよい。

奥行き推定装置７４６は、上述した奥行き推定装置２１０、２１０Ａ又は２１０Ｂであり、焦点が異なる予め撮像された画像を入力とし、奥行きマップを生成する。なお、この奥行きマップは、３Ｄ画像生成用の３Ｄ画像処理プロセッサ７４４など、今後の処理部で用いられてもかまわない。また、奥行きマップは、表示デバイス７１４上で見る可視化用に利用してもよい。また、奥行きマップは、今後利用するために格納／転送デバイス７１６により格納又は転送されてもかまわない。格納デバイスの例として、フラッシュベースのメモリカード、ハードディスクドライブ、及び光学式ドライブがあるが、これらに限定されるものではない。転送デバイスの例として、ＨＤＭＩインターフェース、ＵＳＢインターフェース、無線インターフェース、及びプリンタ直結型インターフェースがあるが、これらに限定されるものではない。格納又は転送デバイスは、オプションとして可逆圧縮部又は不可逆圧縮部を備えてもかまわない。

光学系７０２は、マイクロコンピュータ７１０からの命令を受けるドライバコントローラ７２０によって制御される。オペレーション部７２２は、ユーザ操作の入力を受信し、マイクロコンピュータ７１０に電気信号を送ることで、ドライバコントローラ７２０、イメージセンサ７０４、及び画像処理プロセッサ７０８などのユーザ入力に関連する処理部に命令する。

ＯＩＳセンサ７１８は、手振れ又はカメラモーションによる動きを検出し、マイクロコンピュータ７１０に電気信号を送る。マイクロコンピュータ７１０は、レンズを動かして動きを補正するために光学系７０２のアクチュエータなどを制御するようドライバコントローラ７２０に命令する。これによって、手振れ又はカメラモーションによるぶれの影響が低減される。

画像処理プロセッサ７０８、奥行き推定装置７４６、及び、内部モジュールは、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、又は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）回路の形状で実現されるのが一般的である。これらの処理部はそれぞれ、多数の単機能ＬＳＩ内にも、単一の集積ＬＳＩ内にも存在することができる。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、又は、ウルトラＬＳＩと呼称されることもある。さらに、集積回路化の方法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。これには、プログラム命令により指示可能な、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などの専用マイクロプロセッサが含まれる。ＬＳＩの製造後にプログラム可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は、ＬＳＩの接続又は設定を再構成可能なリコンフィギュアラブル・プロセッサも同じ目的で使用できる。今後、製造及びプロセス技術が進歩すれば、最新技術でＬＳＩを置き換えてもかまわない。その技術を用いて集積回路化を行ってもよい。

以上、本発明の実施の形態に係る動き推定装置、奥行き推定装置及び撮像装置について説明したが、本発明は、この実施の形態に限定されるものではない。

また、本発明の実施の形態に係る、動き推定装置、奥行き推定装置又は撮像装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。

さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

つまり、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の動き推定装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、１シーンに対応する互いに焦点が異なる多焦点画像群を用いて、当該シーンに含まれる複数の第１領域の各々の動きを推定する動き推定方法のプログラムであって、コンピュータに、前記多焦点画像群を用いて、前記複数の第１領域ごとに、当該第１領域のぼけ量と、奥行き方向の距離ごとに定められた基準のぼけ量との差を示すコスト値を算出するコスト値算出ステップと、前記コスト値を用いて、当該コスト値に対応する第１領域の動きを推定する動き推定ステップとを実行させる。

また、上記実施の形態に係る、動き推定装置、奥行き推定装置及び撮像装置、並びにそれらの変形例の機能のうち少なくとも一部を組み合わせてもよい。

また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、上記方法（処理）に含まれる各ステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。

本発明は、動き推定装置、及び、それを用いた奥行きマップ推定装置に適用できる。また、本発明は、奥行きマップ推定装置を備える撮像装置等に適用できる。

２００ 撮像装置
２０２ 光学系
２０４ 画像撮像部
２０６ 前処理部
２０８ 内部メモリ
２１０、２１０Ａ、２１０Ｂ 奥行き推定装置
２１２ コントローラ
２１４ 外部メモリ
２２４、２２６ 多焦点画像群
２３０ 奥行きマップ
３００ 動き推定装置
３０２ 特徴追跡部
３０４ 奥行きマップ生成部
３０５ コスト値算出部
３０６ 動き推定部
３０８ 奥行き補完部
３２２ 追跡被写体情報
３２４ 初期奥行きマップ
３２５ 最小コスト値
３２６、３２６Ａ、３２６Ｂ、３２６Ｃ、３２６Ｄ 移動マスク
３３０ 動き補償部
３４０ 動き補償情報
５０２、５２２ 遠焦点画像
５０４、５２４ スイープ焦点画像
５０６、５２６ 近焦点画像
５０８、５２８ 奥行きマップ
５４０、５５０ 移動マスク
５４２、５５２ 画像
５４４、５５４ 奥行きマップ
７００ 撮像装置
７０２ 光学系
７０４ イメージセンサ
７０６ ＡＤＣ
７０８ 画像処理プロセッサ
７１０ マイクロコンピュータ
７１２ 外部メモリ
７１４ 表示デバイス
７１６ 格納／転送デバイス
７１８ ＯＩＳセンサ
７２０ ドライバコントローラ
７２２ オペレーション部
７４０ 内部メモリ
７４２ 未加工画像処理プロセッサ
７４３ カラー画像処理プロセッサ
７４４ ３Ｄ画像処理プロセッサ
７４６ 奥行き推定装置

Claims (15)

1. １シーンに対応する互いに焦点が異なる多焦点画像群を用いて、当該シーンに含まれる複数の第１領域の各々の動きを推定する動き推定装置であって、
   前記多焦点画像群を用いて、前記複数の第１領域ごとに、当該第１領域に対応するぼけ量と、奥行き方向の距離ごとに定められた基準のぼけ量との差を示すコスト値を算出するコスト値算出部と、
   前記コスト値を用いて、当該コスト値に対応する第１領域の動きを推定する動き推定部とを備える
   動き推定装置。
2. 前記コスト値算出部は、前記複数の第１領域ごとに、複数の前記奥行き方向の距離ごとに求められる複数の前記コスト値のうちで最も小さい最小コスト値を算出し、
   前記動き推定部は、前記最小コスト値を用いて、当該最小コスト値に対応する第１領域の動きを推定する
   請求項１記載の動き推定装置。
3. 前記動き推定部は、
   前記最小コスト値が閾値より大きい場合、当該最小コスト値に対応する第１領域を動きがある移動被写体領域と判定し、
   前記最小コスト値が前記閾値より小さい場合、当該最小コスト値に対応する第１領域を動きがない静止被写体領域と判定する
   請求項２記載の動き推定装置。
4. 前記閾値は、予め定められた固定値である
   請求項３記載の動き推定装置。
5. シーンごとに、１シーンに対応する互いに焦点が異なる多焦点画像群を用いて、当該シーンに含まれる複数の第２領域の各々の奥行きを示す奥行きマップを生成する奥行き推定装置であって、
   前記シーンごとに、当該シーンに対応する前記多焦点画像群を用いて当該シーンの奥行きマップである初期奥行きマップを生成する奥行きマップ生成部と、
   前記シーンごとに、当該シーンに含まれる複数の第１領域の各々の動きを推定する請求項３又は４記載の動き推定装置と、
   処理対象のシーンの前記初期奥行きマップに含まれる前記移動被写体領域の奥行きの情報を、他のシーンに含まれ、かつ、当該移動被写体領域に対応する前記静止被写体領域の奥行き情報を用いて補完する奥行き補完部とを備える
   奥行き推定装置。
6. 前記奥行き補完部は、前記静止被写体領域の奥行き情報を、前記移動被写体領域の奥行き情報にコピーする
   請求項５記載の奥行き推定装置。
7. 前記動き補完部は、前記処理対象のシーンの前記初期奥行きマップに含まれる前記移動被写体領域の奥行きの情報を、当該移動被写体領域に対応する前記静止被写体領域を含む他のシーンのうち、当該処理対象のシーンに時間的に最も近いシーンに含まれる当該静止被写体領域の奥行き情報を用いて補完する
   請求項５又は６記載の奥行き推定装置。
8. 前記奥行き補完部は、１画素ごとに、前記処理対象のシーンの前記初期奥行きマップに含まれる前記移動被写体領域の奥行きの情報を、前記他のシーンに含まれ、かつ、当該移動被写体領域に対応する前記静止被写体領域の奥行き情報を用いて補完する
   請求項５〜７のいずれか１項に記載の奥行き推定装置。
9. 前記奥行き補完部は、複数の画素を含む領域ごとに、前記処理対象のシーンの前記初期奥行きマップに含まれる前記移動被写体領域の奥行きの情報を、前記他のシーンに含まれ、かつ、当該移動被写体領域に対応する前記静止被写体領域の奥行き情報を用いて補完する
   請求項５〜７のいずれか１項に記載の奥行き推定装置。
10. 前記奥行き推定装置は、さらに、
    シーン間において被写体を追跡することで、複数のシーンにおける同一の被写体を示す追跡被写体情報を生成する特徴追跡部を備え、
    前記奥行き補完部は、前記追跡被写体情報を用いて、前記他のシーンに含まれ、かつ、前記移動被写体領域に対応する前記静止被写体領域を特定する
    請求項５〜９のいずれか１項に記載の奥行き推定装置。
11. 前記特徴追跡部は、
    第１多焦点画像群に含まれる少なくとも１つの第１画像における第１被写体特徴群を算出し、
    第２多焦点画像群に含まれ、前記第１画像と焦点が同じである、少なくとも１つの第２画像における第２被写体特徴群を算出し、
    前記第１被写体特徴群と前記第２被写体特徴群とをマッチングさせることで前記追跡被写体情報を生成する
    請求項１０記載の奥行き推定装置。
12. 前記奥行き推定装置は、さらに、
    前記移動被写体領域の動きベクトルを、前記多焦点画像群を用いて算出する動き補償部を備え、
    前記奥行きマップ生成部は、前記動きベクトルを用いて前記多焦点画像群に対して動き補償処理を行い、動き補償処理後の多焦点画像群を用いて前記初期奥行きマップを生成する
    請求項５〜１１のいずれか１項に記載の奥行き推定装置。
13. シーンごとに、１シーンに対応する互いに焦点が異なる多焦点画像群を用いて、当該シーンに含まれる複数の第２領域の各々の奥行きを示す奥行きマップを生成する奥行き推定装置であって、
    前記シーンごとに、当該シーンに含まれる複数の第１領域の各々の動きを推定する請求項３又は４記載の動き推定装置と、
    前記移動被写体領域の動きベクトルを、前記多焦点画像群を用いて算出する動き補償部と、
    前記動きベクトルを用いて前記多焦点画像群に対して動き補償処理を行い、動き補償処理後の多焦点画像群を用いて、対応するシーンの奥行きマップを生成する奥行きマップ生成部とを備える
    奥行き推定装置。
14. １シーンに対応する互いに焦点が異なる多焦点画像群を用いて、当該シーンに含まれる複数の第１領域の各々の動きを推定する動き推定方法であって、
    前記多焦点画像群を用いて、前記複数の第１領域ごとに、当該第１領域のぼけ量と、奥行き方向の距離ごとに定められた基準のぼけ量との差を示すコスト値を算出するコスト値算出ステップと、
    前記コスト値を用いて、当該コスト値に対応する第１領域の動きを推定する動き推定ステップとを含む
    動き推定方法。
15. 請求項１４記載の動き推定方法をコンピュータに実行させるための
    プログラム。

Images