WO2016129430A1 - 奥行推定装置、奥行推定方法及び奥行推定プログラム - Google Patents

Abstract

　奥行推定装置（１）は、複数のカメラ映像（Ｆ_Ｌ，Ｆ_Ｒ）を入力する映像入力手段（１０）と、対応画素差分値Ｅを演算する対応画素差分演算手段（２０）と、対応画素差分値（Ｅ）を記憶する差分値記憶手段（３０）と、簡易な演算式で最小評価値及び推定評価値を演算し、推定評価値が最小評価値より小さい場合、推定奥行値を奥行値として決定する奥行値推定手段（１００）とを備える。

Description

奥行推定装置、奥行推定方法及び奥行推定プログラム

　本願発明は、複数のカメラで被写体を撮影したカメラ映像から、多視点映像用の被写体の奥行値を推定する奥行推定装置、奥行推定方法及び奥行推定プログラムに関する。

　近年、複数のカメラで同一の被写体を撮影した複数のカメラ映像（多視点映像）を用いて、立体映像や自由視点映像を生成、符号化、伝送する研究が進められている。これらの立体映像や自由視点映像を生成、符号化、伝送する技術では、複数のカメラで被写体を撮影したカメラ映像の視差量を推定することで、被写体の奥行値を求めている（特許文献１参照）。そして、この奥行値を用いることで、伝送すべき視点映像の数を減らしたり、任意の視点映像を合成することができる。

　例えば、特許文献１に記載の発明は、図２４のように、複数のカメラで撮影された視差方向に異なるカメラ映像（Ｆ_ＬＬ～Ｆ_ＲＲ）から、対応する画素の差分値を複数求めるものである。そして、特許文献１に記載の発明は、この中から最適な差分値を選択し、選択した差分値に平滑化処理を施し、その結果から最終的な奥行値を決定する。

特開２０１２－７３８１３号公報

　しかし、特許文献１に記載の発明は、Ｇｒａｐｈ－Ｃｕｔｓアルゴリズムを映像全体に施しているため、処理速度が遅く、リアルタイム処理（実時間処理）に適用することが困難であった。

　そこで、本願発明は、処理速度が速い奥行推定装置、奥行推定方法及び奥行推定プログラムを提供することを課題とする。

　本願第１発明に係る奥行推定装置は、予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、前記被写体の奥行きを示す奥行値を推定する奥行推定装置であって、映像入力手段と、対応画素差分演算手段と、奥行値初期化手段と、最小評価値演算手段と、推定評価値演算手段と、奥行値決定手段と、を備える構成とした。

　かかる構成によれば、奥行推定装置は、映像入力手段によって、前記複数配列した前記カメラの何れかにおいて、予め定めた基準カメラで前記被写体を撮影した基準映像と、前記基準カメラ以外の隣接カメラで前記被写体を撮影した隣接映像とを入力する。この隣接映像は、基準映像からの視差を計測するための映像である。

　奥行推定装置は、対応画素差分演算手段によって、予め定めた最小値から最大値までの推定奥行値及び前記基準映像の注目画素ごとに、前記注目画素の画素値と、当該注目画素の前記推定奥行値の視差に対応する画素位置にある前記隣接映像の対応画素の画素値との差分絶対値である対応画素差分値を演算する。この推定奥行値は、基準映像の画素に対応する被写体の奥行値を推定した値であって、例えば、最小視差（‘０’）から最大視差までの値とする。この対応画素差分演算手段によって、基準映像の注目画素の画素値と、隣接映像の推定奥行値に対応した対応画素値との差分絶対値が演算される。なお、この差分絶対値（隣接映像の対応画素差分値）は、その値が小さい程、推定奥行値が実際の被写体において同一の対応点を指し示している可能性が高いと言える。

　奥行推定装置は、奥行値初期化手段によって、前記最小値を、前記基準映像の全画素における奥行値の初期値として決定する。そして、奥行推定装置は、最小評価値演算手段によって、前記推定奥行値及び前記注目画素ごとに、前記注目画素と前記注目画素に隣接する隣接画素との奥行値の差分の和に予め設定した平滑係数が乗算された値を、決定された前記奥行値における前記注目画素の対応画素差分値に加えた最小評価値を演算する。さらに、奥行推定装置は、推定評価値演算手段によって、前記推定奥行値及び前記注目画素ごとに、前記推定奥行値と前記隣接画素の奥行値との差分の和に前記平滑係数が乗算された値を、前記推定奥行値における前記注目画素の対応画素差分値に加えた推定評価値を演算する。

　奥行推定装置は、奥行値決定手段によって、前記推定奥行値及び前記注目画素ごとに、前記最小評価値と前記推定評価値とを比較し、前記推定評価値が前記最小評価値より小さい場合、前記推定奥行値を前記注目画素の奥行値として決定し、前記注目画素ごとの奥行値からなる奥行マップを生成する。

　このように、奥行推定装置は、Ｇｒａｐｈ－Ｃｕｔｓアルゴリズムを映像全体に施すのではなく、注目画素及び隣接画素の局所領域を対象として、簡易な演算式により評価値を求めるので、演算量が減少する。

　本願第２発明に係る奥行推定装置は、前記注目画素と前記注目画素の近傍画素との画素値の差分によりエッジを検出するエッジ検出手段、をさらに備え、前記最小評価値演算手段は、前記エッジが検出された場合、前記平滑係数よりも小さな値で予め定めた第２平滑係数を、前記注目画素と前記隣接画素の奥行値との差分の和に乗算し、前記推定評価値演算手段は、前記エッジが検出された場合、前記推定奥行値と前記隣接画素の奥行値との差分の和に前記第２平滑係数が乗算された値と、前記平滑係数及び前記第２平滑係数の間で予め定めた第３平滑係数が前記決定された奥行値と前記推定奥行値との差分に乗算された値とを、前記推定奥行値における前記注目画素の対応画素差分値に加えた前記推定評価値を演算することを特徴とする。

　かかる構成によれば、第２平滑係数を用いて、エッジ部分で奥行値の連続性重みを下げると共に、第３平滑係数を用いて、奥行値の大きな変動を押さえるので、エッジがある場合でもより正確な奥行マップを生成することができる。

　本願第３発明に係る奥行推定装置は、前記映像入力手段に入力された基準映像及び隣接映像を縮小する映像縮小手段、をさらに備え、前記対応画素差分演算手段は、前記推定奥行値及び縮小された前記基準映像の注目画素ごとに、前記対応画素差分値を演算し、前記奥行値初期化手段は、前記最小値を前記縮小された基準映像の全画素の奥行値として初期設定し、前記最小評価値演算手段は、前記推定奥行値及び前記縮小された基準映像の注目画素ごとに、前記最小評価値を演算し、前記推定評価値演算手段は、前記推定奥行値及び前記縮小された基準映像の注目画素ごとに、前記推定評価値を演算し、前記奥行値決定手段は、前記縮小された基準映像と同一サイズの前記奥行マップである縮小奥行マップを生成することを特徴とする。

　かかる構成によれば、奥行推定装置は、カメラ映像を縮小するので、処理対象の注目画素数が少なくなり、さらに高速に奥行マップを生成することができる。

　本願第４発明に係る奥行推定装置は、前記映像入力手段に入力された基準映像と同一サイズまで前記縮小奥行マップが拡大された参照奥行マップを生成する奥行マップ拡大手段と、前記推定奥行値及び前記映像入力手段に入力された基準映像の注目画素ごとに、当該注目画素の画素値と、前記映像入力手段に入力された隣接映像の対応画素の画素値との差分絶対値である第２対応画素差分値を演算する第２対応画素差分演算手段と、前記参照奥行マップの全画素の奥行値を、第２奥行マップの全画素における奥行値の初期値として決定する第２奥行値初期化手段と、前記第２奥行マップの第２注目画素ごとに、前記第２注目画素の奥行値が前記第２注目画素に隣接する第２隣接画素の奥行値よりも小さい場合、前記第２注目画素と前記第２隣接画素との奥行値の差分の和に前記平滑係数が乗算された値を、決定された前記奥行値における前記第２注目画素の第２対応画素差分値に加えた第２最小評価値を演算する第２最小評価値演算手段と、前記第２注目画素ごとに、前記第２注目画素の奥行値が前記第２注目画素に隣接する第２隣接画素の奥行値よりも小さい場合、前記第２隣接画素同士の奥行値の差分に前記平滑係数が乗算された値を、前記第２隣接画素の奥行値における前記第２注目画素の第２対応画素差分値に加えた推定評価値を演算する第２推定評価値演算手段と、前記第２注目画素ごとに、前記第２最小評価値と前記第２推定評価値とを比較し、前記第２推定評価値が前記第２最小評価値より小さい場合、前記第２隣接画素の奥行値を前記第２注目画素の奥行値として決定し、前記第２注目画素ごとの奥行値からなる前記第２奥行マップを生成する第２奥行値決定手段と、を備えることを特徴とする。

　かかる構成によれば、奥行推定装置は、エッジ部分に含まれる画素の奥行値を簡易な演算式で推定し直すので、より正確な奥行マップを生成することができる。

　本願第５発明に係る奥行推定装置は、前記奥行マップが縮小された縮小奥行マップを生成する奥行マップ縮小手段、をさらに備え、前記奥行値決定手段は、前記推定奥行値及び前記縮小奥行マップの第３注目画素ごとに、前記第３注目画素に隣接する全ての第３隣接画素について、前記第３隣接画素の奥行値から所定値を減算した減算値を演算し、前記第３注目画素の奥行値が全ての前記第３隣接画素から演算した減算値以上となる場合、前記第３注目画素に対応する前記基準映像の画像領域の再評価を指令し、前記最小評価値演算手段は、前記再評価の指令に応じて、前記推定奥行値及び前記画像領域の注目画素ごとに、当該注目画素と前記隣接画素との奥行値の差分の和に前記平滑係数よりも大きな値で予め定めた第４平滑係数が乗算された値を、決定された前記奥行値における当該注目画素の対応画素差分値に加えた最小評価値を再び演算し、前記推定評価値演算手段は、前記再評価の指令に応じて、前記推定奥行値及び前記画像領域の注目画素ごとに、前記推定奥行値と前記隣接画素の奥行値との差分の和に前記第４平滑係数が乗算された値を、前記推定奥行値における当該注目画素の対応画素差分値に加えた推定評価値を再び演算し、前記奥行値決定手段は、前記推定奥行値及び前記画像領域の注目画素ごとに、再び演算された前記最小評価値と前記推定評価値とを比較し、当該推定評価値が当該最小評価値より小さい場合、当該推定奥行値を当該注目画素の奥行値として決定することを特徴とする。

　かかる構成によれば、奥行推定装置は、エッジ部分に含まれない画素の奥行値をより強く平滑化すると共に、エッジ部分に含まれる画素の奥行値を平滑化しないので、エッジ部分が潰れずに、より正確な奥行マップを生成することができる。

　本願第６発明に係る奥行推定装置は、前記最小評価値演算手段が、前記基準映像の４隅何れかの起点側から前記起点側に対向する終点側まで前記注目画素を移動させながら前記最小評価値を演算した後、前記終点側から前記起点側まで前記注目画素を移動させながら前記最小評価値を再び演算し、前記推定評価値演算手段は、前記起点側から前記終点側まで前記注目画素を移動させながら前記推定評価値を演算した後、前記終点側から前記起点側まで前記注目画素を移動させながら前記推定評価値を再び演算し、前記奥行値決定手段は、前記注目画素の奥行値を決定した後、再び演算した前記最小評価値と前記推定評価値とを比較し、当該推定評価値が当該最小評価値より小さい場合、当該推定奥行値を当該注目画素の奥行値として再び決定することを特徴とする。

　かかる構成によれば、奥行推定装置は、終点側から起点側に向けて奥行値を再び演算するので、より連続性が高い奥行マップを生成することができる。

　本願第７発明に係る奥行推定装置は、前記映像入力手段が、前記基準映像と、前記基準カメラの左右に配置された前記隣接カメラで撮影された前記隣接映像である左隣接映像及び右隣接映像とを入力し、前記対応画素差分演算手段は、前記基準映像及び前記左隣接映像の間での前記対応画素差分値である左対応画素差分値と、前記基準映像及び前記右隣接映像の間での前記対応画素差分値である右対応画素差分値とを演算し、前記左対応画素差分値又は前記右対応画素差分値のうち小さい方を最小対応画素差分値として選択する最小値選択手段、をさらに備え、前記最小評価値演算手段は、前記対応画素差分値として、前記最小対応画素差分値を用いて前記最小評価値を演算し、前記推定評価値演算手段は、前記対応画素差分値として、前記最小対応画素差分値を用いて前記推定評価値を演算することを特徴とする。

　かかる構成によれば、奥行推定装置は、左右の隣接映像の何れか一方において、オクルージョンにより対応画素が被写体に隠れてしまう場合でも、残りの隣接映像で対応画素が見えるので、正確な対応画素差分値を求めることができる。

　本願第８発明に係る奥行推定装置は、前記映像入力手段に入力されたカメラ映像のうち、最小サイズのカメラ映像に合わせて他のカメラ映像を縮小する映像縮小手段、をさらに備えることを特徴とする。

　かかる構成によれば、奥行推定装置は、カメラ映像のサイズが異なる場合でも、より正確な奥行マップを生成することができる。

　ここで、本願発明に係る奥行推定装置は、コンピュータが備えるＣＰＵ、メモリ等のハードウェア資源を、前記した各手段として協調動作させる奥行推定プログラムで実現することもできる（本願第９発明）。

　本願第１０発明に係る奥行推定方法は、予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、前記被写体の奥行きを示す奥行値を推定する奥行推定方法であって、映像入力ステップと、対応画素差分演算ステップと、奥行値初期化ステップと、評価値演算ステップと、評価値判定ステップと、奥行値決定ステップと、を順に実行する手順とした。

　かかる手順によれば、奥行推定方法は、映像入力ステップにおいて、前記複数配列した前記カメラの何れかにおいて、予め定めた基準カメラで前記被写体を撮影した基準映像と、前記基準カメラ以外の隣接カメラで前記被写体を撮影した隣接映像とを入力する。

　奥行推定方法は、対応画素差分演算ステップにおいて、予め定めた最小値から最大値までの推定奥行値及び前記基準映像の注目画素ごとに、前記注目画素の画素値と、当該注目画素の前記推定奥行値の視差に対応する画素位置にある前記隣接映像の対応画素の画素値との差分絶対値である対応画素差分値を演算する。
　奥行推定方法は、奥行値初期化ステップにおいて、前記最小値を、前記基準映像の全画素における奥行値の初期値として決定する。

　奥行推定方法は、評価値演算ステップにおいて、前記推定奥行値及び前記注目画素ごとに、前記注目画素と前記注目画素に隣接する隣接画素との奥行値の差分の和に予め設定した平滑係数が乗算された値を、決定された前記奥行値における前記注目画素の対応画素差分値に加えた最小評価値を演算すると共に、前記推定奥行値と前記隣接画素の奥行値との差分の和に前記平滑係数が乗算された値を、前記推定奥行値における前記注目画素の対応画素差分値に加えた推定評価値を演算する。

　奥行推定方法は、評価値判定ステップにおいて、前記推定奥行値及び前記注目画素ごとに、前記最小評価値と前記推定評価値とを比較し、前記推定評価値が前記最小評価値より小さいか否かを判定する。
　奥行推定方法は、奥行値決定ステップにおいて、前記推定評価値が前記最小評価値より小さい場合、前記推定奥行値を前記注目画素の奥行値として決定し、前記注目画素ごとの奥行値からなる奥行マップを生成する。

　このように、奥行推定方法は、Ｇｒａｐｈ－Ｃｕｔｓアルゴリズムを映像全体に施すのではなく、注目画素及び隣接画素の局所領域を対象として、簡易な演算式により評価値を求めるので、演算量が減少する。

　本願発明は、以下に示す優れた効果を奏するものである。
　本願第１，９，１０発明によれば、注目画素及び隣接画素の局所領域を対象として、簡易な演算式により評価値を求めるため、演算量が減少する。これにより、本願第１，９，１０発明よれば、処理速度が速くなり、リアルタイム処理に容易に適用することができる。

　本願第２発明によれば、エッジ部分で奥行値の連続性重みを下げると共に、奥行値の大きな変動を押さえるので、より正確な奥行マップを生成することができる。
　本願第３発明によれば、カメラ映像を縮小するので、処理対象の注目画素数が少なくなり、さらに高速に奥行マップを生成することができる。

　本願第４発明によれば、エッジ部分に含まれる画素の奥行値を簡易な演算式で推定し直すので、より正確な奥行マップを生成することができる。
　本願第５発明によれば、エッジ部分に含まれない画素の奥行値をより強く平滑化すると共に、エッジ部分に含まれる画素の奥行値を平滑化しないので、より正確な奥行マップを生成することができる。

　本願第６発明によれば、終点側から起点側に向けて奥行値を再び演算するので、より連続性が高い奥行マップを生成することができる。
　本願第７発明によれば、オクルージョンが発生しても対応画素差分値を求められるので、より正確な奥行マップを生成することができる。
　本願第８発明によれば、カメラ映像のサイズが異なる場合でも、より正確な奥行マップを生成することができる。

本願発明の第１実施形態に係る奥行推定装置の構成を示すブロック図である。 視差量及び奥行値を説明する説明図である。 図１の奥行値推定手段の構成を示すブロック図である。 注目画素と左隣接画素又は上隣接画素とのマッチング誤差を説明する説明図である。 図１の奥行推定装置の動作を示すフローチャートである。 本願発明の変形系１に係る奥行推定装置の動作を示すフローチャートである。 注目画素と右隣接画素又は下隣接画素とのマッチング誤差を説明する説明図である。 本願発明の第２実施形態において、奥行値推定手段の構成を示すブロック図である。 縮小奥行マップの１画素と、基準映像の画像領域との対応関係を説明する説明図である。 図８の奥行推定装置の動作を示すフローチャートである。 本願発明の第３実施形態に係る奥行推定装置の構成を示すブロック図である。 図１１の奥行推定装置の動作を示すフローチャートである。 本願発明の第４実施形態に係る奥行推定装置の構成を示すブロック図である。 図１３の奥行推定装置の動作を示すフローチャートである。 本願発明の第５実施形態に係る奥行推定装置の構成を示すブロック図である。 図１５の奥行値推定手段の構成を示すブロック図である。 図１５の奥行推定装置の動作を示すフローチャートである。 図１７の奥行値推定処理を示すフローチャートである。 図１７の奥行値推定処理を示すフローチャートである。 本願発明の第６実施形態に係る奥行推定装置の構成を示すブロック図である。 図２０の奥行推定装置の動作を示すフローチャートである。 比較例を説明する画像である。 本願発明の実施例を説明する画像である。 従来の奥行推定手法を説明するための説明図である。

　以下、本願発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一手段及び同一処理には同一の符号を付し、説明を省略した。

（第１実施形態）
［奥行推定システムの概略］
　図１を参照して、本願発明の第１実施形態に係る奥行推定装置１が含まれる奥行推定システムＳの概略について説明する。

　奥行推定システムＳは、予め定めた位置に複数配列したカメラＣＭで被写体Ｔを撮影したカメラ映像（Ｆ_Ｌ，Ｆ_Ｒ）から、被写体Ｔの奥行値を推定した奥行マップＤを生成するものである。図１に示した奥行推定システムＳは、カメラＣＭ（Ｃ_Ｌ，Ｃ_Ｒ）と、奥行推定装置１とを備えている。

　カメラＣＭは、被写体Ｔを撮影する一般的な撮影装置である。また、被写体Ｔは、例えば、背景Ａ及び前景Ｂを含んでいる。
　ここでは、水平方向の視差に応じて奥行値を生成することとし、視差の基準となるカメラ（基準カメラ）Ｃ_Ｒに対し、水平方向に予め定めた距離Ｌだけ互いに離間して、カメラ（隣接カメラ）Ｃ_Ｌを平行に配置している。このカメラＣＭ（Ｃ_Ｌ，Ｃ_Ｒ）で撮影された映像（Ｆ_Ｌ，Ｆ_Ｒ）は、奥行推定装置１に入力される。

　この距離Ｌは、奥行値と視差量とが対応可能な範囲であれば、その距離は任意である。
　また、垂直方向の視差に応じて奥行値を生成する場合、カメラＣＭは、垂直方向に離間させて配置すればよい。

　カメラＣ_Ｒは、視差の基準となる基準映像Ｆ_Ｒを撮影するものである。また、カメラＣ_Ｌは、カメラＣ_Ｒの左に配置されたカメラであって、基準映像Ｆ_Ｒとの視差を求めるための隣接映像Ｆ_Ｌを撮影するものである。本実施形態では、隣接映像Ｆ_Ｌは、基準映像Ｆ_Ｒと同一サイズであることとする。
　なお、本実施形態では、カメラＣ_Ｒを基準カメラとし、カメラＣ_Ｌを隣接カメラとしたが、カメラＣ_Ｌを基準カメラとし、カメラＣ_Ｒを隣接カメラとしてもよい。

　カメラＣＭが撮影するカメラ映像（Ｆ_Ｌ，Ｆ_Ｒ）は、静止画であっても動画であっても構わない。カメラ映像が動画である場合、フレーム同期を行うことで、順次、静止画のフレーム画像として奥行推定装置１に入力されることとする。あるいは、フレーム画像ごとにタイムコードを付加し、奥行推定装置１で同期をとることとしてもよい。

［奥行推定装置の構成］
　以下、本願発明の第１実施形態に係る奥行推定装置１の構成について説明する
　奥行推定装置１は、予め定めた位置に複数配列したカメラＣ_Ｌ，Ｃ_Ｒで同一の被写体Ｔを撮影した複数のカメラ映像（Ｆ_Ｌ，Ｆ_Ｒ）から、被写体Ｔの奥行きを示す奥行値を推定するものである。図１のように、奥行推定装置１は、映像入力手段１０と、対応画素差分演算手段２０と、差分値記憶手段３０と、奥行値推定手段１００とを備える。

　映像入力手段１０は、カメラＣＭで撮影された複数のカメラ映像（Ｆ_Ｌ，Ｆ_Ｒ）を入力するものである。ここでは、映像入力手段１０は、基準カメラＣ_Ｒで撮影した基準映像Ｆ_Ｒと、隣接カメラＣ_Ｌで撮影した隣接映像Ｆ_Ｌとを入力する。
　この映像入力手段１０に入力されたカメラ映像（Ｆ_Ｌ，Ｆ_Ｒ）は、図示を省略したメモリに記憶され、後記する対応画素差分演算手段２０及び奥行値推定手段１００（エッジ検出手段１１０）によって参照されるものとする。

　ここで、視差量及び奥行値について説明する。図２のように、カメラ映像（Ｆ_Ｌ，Ｆ_Ｒ）に写る被写体Ｔ（背景Ａ，前景Ｂ）の位置は、互いに内側にずれる。被写体Ｔのズレ量は、カメラＣＭから被写体Ｔまでの距離の逆数に比例する。このズレ量を、被写体Ｔの視差量と呼び、この視差量を、被写体Ｔの最大距離と最小距離で所定の範囲に正規化したものを奥行値と呼ぶ。この奥行値の最大値は、カメラＣＭの焦点が合う被写体Ｔの最近距離となり、最小値は無限遠で予め分かる。また、被写体Ｔの存在する距離の範囲が予め分かる場合、その最近距離及び最遠距離から奥行値の最大値と最小値を決める。しかし、個々の被写体Ｔの各部の奥行値は未知のため、以下に述べる手法で推定する。

　対応画素差分演算手段２０は、推定奥行値Ｄｅ及び基準映像Ｆ_Ｒの注目画素Ｐ_Ｒごとに、注目画素Ｐ_Ｒの画素値と、注目画素Ｐ_Ｒの推定奥行値Ｄｅの視差に対応する画素位置にある隣接映像Ｆ_Ｌの対応画素Ｐ_Ｌの画素値との差分絶対値である対応画素差分値Ｅを演算するものである。

　なお、注目画素Ｐ_Ｒとは、基準映像Ｆ_Ｒにおいて奥行値を推定する対象となっている画素である。
　また、図１では、対応画素差分値Ｅを‘差分値Ｅ’と図示した。

　画素値の差分絶対値は、カメラ映像（Ｆ_Ｌ，Ｆ_Ｒ）が、輝度（輝度値）と色差信号（色差値）との各要素で構成される場合、当該画素の輝度値の差分絶対値と、色差値の差分絶対値とを加算平均した値とする。このとき、色差値の差分絶対値に任意の係数を掛けて、色成分の重みを調整することとしてもよい。
　また、画素値の差分絶対値は、カメラ映像（Ｆ_Ｌ，Ｆ_Ｒ）が、ＲＧＢのカラー信号で構成される場合、カラー信号の要素であるＲ値の差分絶対値と、Ｇ値の差分絶対値と、Ｂ値の差分絶対値とを加算平均した値とする。

　また、推定奥行値Ｄｅは、被写体Ｔの奥行値を仮に設定する値であって、最小視差量から最大視差量までに対応する奥行値までの値をとる。例えば、奥行値を８ビットのデータで表す場合、推定奥行値Ｄｅは、‘０’（最小視差量）～‘２５５’（最大視差量）の範囲の値をとる。ここでは、奥行値の単位と画素間の視差の単位とを同一とし、奥行値が‘１’増加することで、１画素ずつ視差が増加することとする。

　カメラＣＭが平行に配置されている場合、図２のように、左側のカメラＣ_Ｌで撮影された隣接映像Ｆ_Ｌでは、右側のカメラＣ_Ｒで撮影された基準映像Ｆ_Ｒと比べて、前景Ｂの対応する画素（対応画素）Ｐ_Ｌが右側に寄っている。そこで、隣接映像Ｆ_Ｌにおいて、基準映像Ｆ_Ｒの画素Ｐ_Ｒと同じ画素位置（Ｘ，Ｙ）を、前景Ｂのズレ方向と同じ側（つまり、右側）に推定奥行値Ｄｅだけ移動させれば、対応画素Ｐ_Ｌに近づく。このとき、推定奥行値Ｄｅが適切であれば、基準映像Ｆ_Ｒの画素Ｐ_Ｒが対応画素Ｐ_Ｌに重なる。

　以上より、対応画素差分演算手段２０は、推定奥行値Ｄｅを最小値から最大値まで順に変えながら、基準映像Ｆ_Ｒの全ての注目画素Ｐ_Ｒについて、隣接映像Ｆ_Ｌ内で注目画素Ｐ_Ｒの座標位置（Ｘ，Ｙ）を、推定奥行値Ｄｅに相当する視差量だけ右側に移動させて、隣接映像Ｆ_Ｌの対応画素Ｐ_Ｌを求める。そして、対応画素差分演算手段２０は、注目画素Ｐ_Ｒの画素値Ｐｒと、対応画素Ｐ_Ｌの画素値Ｐｌの差分｜Ｐｌ－Ｐｒ｜を求める。その後、対応画素差分演算手段２０は、求めた差分｜Ｐｌ－Ｐｒ｜を、推定奥行値Ｄｅに対する注目画素Ｐ_Ｒの対応画素差分値Ｅとして、差分値記憶手段３０に記憶する。
　なお、‘｜’は、絶対値を表す。

　ここで、対応画素差分演算手段２０は、１画素ごとに差分を求めてもよく、注目画素Ｐ_Ｒを中心とする複数画素の差分を総和してもよい。また、対応画素差分演算手段２０は、カラー信号の場合、輝度成分と色差成分とのそれぞれの差分の平均値を求めてもよい。これにより、対応画素差分演算手段２０は、奥行値Ｄｆのノイズを低減させることができる。

　差分値記憶手段３０は、推定奥行値Ｄｅ及び注目画素Ｐ_Ｒごとに、対応画素差分演算手段２０が演算した対応画素差分値Ｅを記憶するものである。例えば、差分値記憶手段３０は、磁気メモリや半導体メモリ等の一般的な記憶媒体である。
　この差分値記憶手段３０に記憶された対応画素差分値Ｅは、後記する奥行値推定手段１００によって参照される。

　図３を参照し、奥行値推定手段１００の構成について説明する。
　図３のように、奥行値推定手段１００は、注目画素Ｐ_Ｒの奥行値を推定するものであり、エッジ検出手段１１０と、奥行差加算手段１２０と、奥行値決定手段１３０と、奥行値記憶手段１４０とを備える。

　エッジ検出手段１１０は、基準映像Ｆ_Ｒの注目画素Ｐ_Ｒの画素値Ｐｆと注目画素Ｐ_Ｒの近傍画素の画素値との差分が予め定めた閾値Ｔｈより小さいか否かを判定するものである。
　具体的には、エッジ検出手段１１０は、注目画素Ｐ_Ｒの画素値Ｐｆと左近傍画素の画素値Ｐｌとの差分｜Ｐｆ－Ｐｌ｜、及び、注目画素Ｐ_Ｒの画素値Ｐｆと上近傍画素の画素値Ｐｕとの差分｜Ｐｆ－Ｐｕ｜が閾値Ｔｈ（例えば、‘６０’）より小さいか否かを判定する。
　なお、左近傍画素は、注目画素の左側近傍に位置する隣接画素である。また、上近傍画素は、注目画素の上側近傍に位置する隣接画素である。

　そして、エッジ検出手段１１０は、差分｜Ｐｆ－Ｐｌ｜及び差分｜Ｐｆ－Ｐｕ｜の両方が閾値Ｔｈより小さい場合、注目画素Ｐ_Ｒの位置にエッジが無いことを示すフラグＧを奥行差加算手段１２０に出力する。
　一方、エッジ検出手段１１０は、差分｜Ｐｆ－Ｐｌ｜又は差分｜Ｐｆ－Ｐｕ｜が閾値Ｔｈ以上の場合、フラグＧを奥行差加算手段１２０に出力しない。

　奥行差加算手段１２０は、対応画素差分値Ｅに注目画素Ｐ_Ｒと隣接画素との奥行差を加算するものであり、最小評価値演算手段１２２と、推定評価値演算手段１２４とを備える。

　最小評価値演算手段１２２は、推定奥行値Ｄｅ及び注目画素Ｐ_Ｒごとに、決定された奥行値Ｄｆにおける注目画素Ｐ_Ｒの対応画素差分値Ｅ（Ｄｆ）に、注目画素Ｐ_Ｒと注目画素に隣接する隣接画素との奥行値の差分の和に平滑係数λを乗算した値を加えた最小評価値Ｆｆを演算するものである。

　具体的には、最小評価値演算手段１２２は、奥行値決定手段１３０を介して、奥行値記憶手段１４０から注目画素Ｐ_Ｒの奥行値Ｄｆを読み出し、この奥行値Ｄｆに対応した対応画素差分値Ｅ（Ｄｆ）を差分値記憶手段３０から読み出す。

　そして、最小評価値演算手段１２２は、エッジ検出手段１１０からフラグＧが入力された場合（エッジが無い場合）、下記の式（１）により最小評価値Ｆｆを演算し、演算した最小評価値Ｆｆを奥行値決定手段１３０に出力する。
Ｆｆ＝Ｅ（Ｄｆ）＋λ（｜Ｄｆ－Ｄｌ｜＋｜Ｄｆ－Ｄｕ｜）　…式（１）

　この式（１）では、Ｄｌが左隣接画素の奥行値を表し、Ｄｕが上隣接画素の奥行値を表す。つまり、式（１）では、奥行値Ｄｆをとる場合において、対応画素差分値Ｅ（Ｄｆ）と、注目画素Ｐ_Ｒ及び左隣接画素の奥行差Ｄｆ－Ｄｌと、注目画素Ｐ_Ｒ及び上隣接画素の奥行差Ｄｆ－Ｄｕとを加味し、マッチング誤差を評価している（図４参照）。
　なお、左隣接画素は、注目画素Ｐ_Ｒの左側に位置する隣接画素である。また、上隣接画素は、注目画素Ｐ_Ｒの上側に位置する隣接画素である。

　ここで、式（１）の第２項は、画素間の奥行値の連続性重みを表しており、この値が大きい程奥行マップＤが滑らかになる（後記する式（２）、式（３）及び式（４）も同様）。
　また、平滑係数λは、その値を大きくすると、奥行マップＤが滑らかになる一方、その細部が潰れてしまう。そこで、平滑係数λは、適切な値（例えば、‘１．０’）に予め定めておく。

　一方、最小評価値演算手段１２２は、エッジ検出手段１１０からフラグＧが入力されない場合（エッジが有る場合）、下記の式（２）により最小評価値Ｆｆを演算し、演算した最小評価値Ｆｆを奥行値決定手段１３０に出力する。この平滑係数（第２平滑係数）λ´は、平滑係数λよりも小さな値（例えば、‘０．００４’）に予め定めておく。
Ｆｆ＝Ｅ（Ｄｆ）＋λ´（｜Ｄｆ－Ｄｌ｜＋｜Ｄｆ－Ｄｕ｜）　…式（２）

　なお、最小評価値演算手段１２２は、注目画素Ｐ_Ｒの左側又は上側に隣接画素が無い場合、奥行差Ｄｆ－Ｄｌ又はＤｆ－Ｄｕを演算せずともよい。この場合、最小評価値演算手段１２２は、演算できなかった項を除いて最小評価値Ｆｆを演算する。
　また、最小評価値演算手段１２２は、左隣接画素が無い場合、右隣接画素の奥行値をＤｌとして代用してもよく、上隣接画素が無い場合、下隣接画素の奥行値をＤｕとして代用してもよい。
　また、右隣接画素は、注目画素の右側に位置する隣接画素である。また、下隣接画素は、注目画素の下側に位置する隣接画素である。

　推定評価値演算手段１２４は、推定奥行値Ｄｅ及び注目画素Ｐ_Ｒごとに、推定奥行値Ｄｅにおける注目画素Ｐ_Ｒの対応画素差分値Ｅ（Ｄｅ）に、推定奥行値Ｄｅと隣接画素の奥行値との差分の和に平滑係数を乗算した値を加えた推定評価値Ｆｅを演算するものである。

　具体的には、推定評価値演算手段１２４は、推定奥行値Ｄｅに対応した対応画素差分値Ｅ（Ｄｅ）を差分値記憶手段３０から読み出す。そして、推定評価値演算手段１２４は、エッジ検出手段１１０からフラグＧが入力された場合、下記の式（３）により推定評価値Ｆｅを演算し、演算した推定評価値Ｆｅを奥行値決定手段１３０に出力する。
Ｆｅ＝Ｅ（Ｄｅ）＋λ（｜Ｄｅ－Ｄｌ｜＋｜Ｄｅ－Ｄｕ｜）　…式（３）

　つまり、式（３）では、推定奥行値Ｄｅをとる場合において、対応画素差分値Ｅ（Ｄｅ）と、注目画素Ｐ_Ｒ及び左隣接画素の奥行差Ｄｅ－Ｄｌと、注目画素Ｐ_Ｒ及び上隣接画素の奥行差Ｄｅ－Ｄｕとを加味して、マッチング誤差を評価している（図４参照）。
　なお、図３では、最小評価値Ｆｆ及び推定評価値Ｆｅを‘評価値Ｆｆ，Ｆｅ’と略記した。

　また、推定評価値演算手段１２４は、エッジ検出手段１１０からフラグＧが入力されない場合、下記の式（４）により推定評価値Ｆｅを演算し、演算した推定評価値Ｆｅを奥行値決定手段１３０に出力する。
Ｆｅ＝Ｅ（Ｄｅ）＋λ´（｜Ｄｅ－Ｄｌ｜＋｜Ｄｅ－Ｄｕ｜）＋λ´´｜Ｄｅ－Ｄｆ｜　…式（４）

　ここで、式（４）の第３項は、奥行値の連続性重みが小さいときに生じる奥行値の変動を抑える重みである。この平滑係数（第３平滑係数）λ´´は、平滑係数λと平滑係数λ´との間の値（例えば、‘０．０４’）に予め定めておく。

　なお、推定評価値演算手段１２４は、注目画素Ｐ_Ｒの左側又は上側に隣接画素が無い場合、奥行差Ｄｅ－Ｄｌ又はＤｅ－Ｄｕを演算せずともよい。この場合、推定評価値演算手段１２４は、演算できなかった項を除いて推定評価値Ｆｅを演算する。
　また、推定評価値演算手段１２４は、左隣接画素が無い場合、右隣接画素の奥行値をＤｌとして代用してもよく、上隣接画素が無い場合、下隣接画素の奥行値をＤｕとして代用してもよい。

　奥行値決定手段１３０は、推定奥行値Ｄｅ及び注目画素Ｐ_Ｒごとに、最小評価値演算手段１２２から入力された最小評価値Ｆｆと、推定評価値演算手段１２４から入力された推定評価値Ｆｅとを比較するものである。

　そして、奥行値決定手段１３０は、推定評価値Ｆｅが最小評価値Ｆｆより小さい場合、推定奥行値Ｄｅを注目画素Ｐ_Ｒの奥行値Ｄｆとして決定し、決定した奥行値Ｄｆで奥行値記憶手段１４０を更新する。このようにして、奥行値決定手段１３０は、注目画素Ｐ_Ｒごとの奥行値Ｄｆからなる奥行マップＤを生成する。つまり、奥行マップＤは、各画素が奥行値Ｄｆを表した奥行映像のことである。

　また、奥行値決定手段１３０は、奥行値初期化手段１３２を備える。
　奥行値初期化手段１３２は、推定奥行値Ｄｅの最小値を、基準映像Ｆ_Ｒの全画素における奥行値Ｄｆの初期値として決定し、決定した奥行値Ｄｆの初期値を奥行値記憶手段１４０に書き込むものである。例えば、奥行値初期化手段１３２は、最小評価値演算手段１２２が最小評価値Ｆｆを演算する前に、奥行値Ｄｆの初期値を決定する。

　奥行値記憶手段１４０は、推定奥行値Ｄｅ及び注目画素Ｐ_Ｒごとの奥行値Ｄｆを記憶するものである。例えば、奥行値記憶手段１４０は、磁気メモリや半導体メモリ等の一般的な記憶媒体である。
　この奥行値記憶手段１４０に記憶された奥行値Ｄｆは、奥行マップＤとして外部に出力される。

［奥行推定装置の動作］
　図５を参照して、図１の奥行推定装置１の動作について説明する。
　奥行推定装置１は、映像入力手段１０によって、カメラ映像（Ｆ_Ｌ，Ｆ_Ｒ）を入力する（映像入力ステップＳ１０）。

　奥行推定装置１は、推定奥行値Ｄｅが最小値から最大値になり、Ｙが‘０’から映像高さになり、Ｘが‘０’から映像幅になるまで、下記のステップＳ２０の処理を繰り返す。ここで、注目画素Ｐ_Ｒの座標を（Ｘ，Ｙ）とする。また、基準映像Ｆ_Ｒの幅及び高さを、映像幅及び映像高さとして予め定めておく。

　奥行推定装置１は、対応画素差分演算手段２０によって、注目画素Ｐ_Ｒ（Ｘ，Ｙ）の対応画素差分値Ｅを演算し、演算した対応画素差分値Ｅを差分値記憶手段３０に記憶する（対応画素差分演算ステップＳ２０）。

　奥行推定装置１は、奥行値初期化手段１３２によって、推定奥行値Ｄｅの最小値を、基準映像Ｆ_Ｒの全画素における奥行値Ｄｆの初期値として決定し、決定した奥行値Ｄｆの初期値を奥行値記憶手段１４０に書き込む（奥行値初期化ステップＳ３０）。

　奥行推定装置１は、推定奥行値Ｄｅが最小値＋１から最大値になり、Ｙが‘０’から映像高さになり、Ｘが‘０’から映像幅になるまで、下記のステップＳ４０～Ｓ６０の処理を繰り返す。つまり、奥行推定装置１は、基準映像Ｆ_Ｒの左上側（起点側）から右下側（終点側）まで、ジグザグスキャンのように注目画素Ｐ_Ｒ（Ｘ，Ｙ）を移動させながら、ステップＳ４０～Ｓ６０の処理を行う。

　奥行推定装置１は、エッジ検出手段１１０によって、注目画素Ｐ_Ｒの画素値Ｐｆと近傍画素の画素値との差分が閾値Ｔｈより小さい場合、フラグＧを出力する。
　奥行推定装置１は、最小評価値演算手段１２２によって、フラグＧに応じて式（１）又は式（２）を用いて、注目画素Ｐ_Ｒ（Ｘ，Ｙ）における最小評価値Ｆｆを演算する。
　奥行推定装置１は、推定評価値演算手段１２４によって、フラグＧに応じて式（３）又は式（４）を用いて、注目画素Ｐ_Ｒ（Ｘ，Ｙ）における推定評価値Ｆｅを演算する（評価値演算ステップＳ４０）。
　奥行推定装置１は、奥行値決定手段１３０によって、ステップＳ４０で演算された最小評価値Ｆｆと推定評価値Ｆｅとを比較する（評価値判定ステップＳ５０）。

　推定評価値Ｆｅが最小評価値Ｆｆより小さい場合（ステップＳ５０でＹｅｓ）、奥行推定装置１は、奥行値決定手段１３０によって、推定奥行値Ｄｅを注目画素Ｐ_Ｒ（Ｘ，Ｙ）の奥行値Ｄｆとして決定し、決定した奥行値Ｄｆで奥行値記憶手段１４０を更新する（奥行値決定ステップＳ６０）。
　推定評価値Ｆｅが最小評価値Ｆｆ以上の場合（ステップＳ５０でＮｏ）、奥行推定装置１は、ステップＳ６０の処理を行わない。

　ステップＳ６０の終了後、奥行推定装置１は、奥行値記憶手段１４０に記憶された奥行マップＤを出力する（ステップＳ７０）。
　なお、ステップＳ４０～Ｓ６０において、奥行推定装置１は、注目画素Ｐ_Ｒ（Ｘ，Ｙ）を、右下側（始点側）から左上側（終点側）まで移動させてもよい。

[作用・効果]
　以上のように、本願発明の第１実施形態に係る奥行推定装置１は、推定奥行値Ｄｅを最小値から最大値まで増加させながら、その推定奥行値Ｄｅに対して、注目画素Ｐ_Ｒで既に決定された奥行値Ｄｆを推定奥行値Ｄｅに変更するか否かを一意的に判定するので、奥行マップＤを高速に生成することができる。

　さらに、奥行推定装置１は、注目画素Ｐ_Ｒ及び隣接画素の局所領域を対象として、式（１）から式（４）のような簡易な演算式により評価値Ｆｆ，Ｆｅを求めるため、処理速度が速くなり、リアルタイム処理への適用が容易となる。
　さらに、奥行推定装置１は、エッジ部分で奥行値の連続性重みを下げると共に、奥行値の大きな変動を押さえるので、エッジがある場合でもより正確な奥行マップＤを生成することができる。

　その結果、奥行推定装置１は、高速に正確な奥行マップＤが得られるので、ロボット等のコンピュータによる立体空間の認識手段として利用できる。
　さらに、奥行推定装置１は、奥行マップＤから他の視点映像内での対応画素位置が得られるので、これを使って少数の視点映像から、他の視点映像を合成することができる。これにより、奥行推定装置１は、立体映像の生成に必要な多数の視点映像からなる立体映像データを、少数の視点映像とその奥行マップＤに削減して蓄積や伝送をすることが可能になる。

（変形例１）
　図６，図７を参照し、本願発明の変形例１に係る奥行推定装置１の動作について、第１実施形態と異なる点を説明する。

　奥行推定装置１は、基準映像Ｆ_Ｒの左上側から右下側まで注目画素Ｐ_Ｒを移動させながら奥行値Ｄｆを決定した後、基準映像Ｆ_Ｒの右下側から左上側までジグザグスキャンのように注目画素Ｐ_Ｒを移動させながら奥行値Ｄｆを再び決定する点が、第１実施形態と異なる。

　奥行推定装置１は、図５のステップＳ１０～Ｓ３０の処理を実行する（図６不図示）。
　図６のように、奥行推定装置１は、図５のステップＳ３０の処理後、以下の処理を行う。

　奥行推定装置１は、推定奥行値Ｄｅが最小値＋１から最大値になるまで、ステップＳ４０～Ｓ６０及びステップＳ８０～Ｓ１００の処理を繰り返す。
　奥行推定装置１は、Ｙが‘０’から映像高さになり、Ｘが‘０’から映像幅になるまで、ステップＳ４０～Ｓ６０の処理を繰り返す。

　奥行推定装置１は、Ｙが映像高さから‘０’になり、Ｘが映像幅から‘０’になるまで、ステップＳ８０～Ｓ１００の処理を繰り返す。つまり、奥行推定装置１は、基準映像Ｆ_Ｒの右下側から左上側まで、ジグザグスキャンのように注目画素Ｐ_Ｒ（Ｘ，Ｙ）を移動させながら、ステップＳ８０～Ｓ１００の処理を行う。

　奥行推定装置１は、エッジ検出手段１１０によって、注目画素Ｐ_Ｒ（Ｘ，Ｙ）の画素値Ｐｆと近傍画素の画素値との差分が閾値Ｔｈより小さい場合、フラグＧを出力する。

　奥行推定装置１は、最小評価値演算手段１２２によって、エッジ検出手段１１０からフラグＧが入力された場合、下記の式（５）で注目画素Ｐ_Ｒ（Ｘ，Ｙ）における最小評価値Ｆｆを演算する。
Ｆｆ＝Ｅ（Ｄｆ）＋λ（｜Ｄｆ－Ｄｒ｜＋｜Ｄｆ－Ｄｄ｜）　…式（５）

　つまり、式（５）では、奥行値Ｄｆをとる場合において、対応画素差分値Ｅ（Ｄｆ）と、注目画素Ｐ_Ｒ及び右隣接画素との奥行差Ｄｆ－Ｄｒと、注目画素Ｐ_Ｒ及び下隣接画素との奥行差Ｄｆ－Ｄｄとを加味し、マッチング誤差を評価している（図７参照）。

　また、奥行推定装置１は、最小評価値演算手段１２２によって、エッジ検出手段１１０からフラグＧが入力されない場合、下記の式（６）で注目画素Ｐ_Ｒ（Ｘ，Ｙ）における最小評価値Ｆｆを演算する。
Ｆｆ＝Ｅ（Ｄｆ）＋λ´（｜Ｄｆ－Ｄｒ｜＋｜Ｄｆ－Ｄｄ｜）　…式（６）

　奥行推定装置１は、推定評価値演算手段１２４によって、エッジ検出手段１１０からフラグＧが入力された場合、下記の式（７）で注目画素Ｐ_Ｒ（Ｘ，Ｙ）における推定評価値Ｆｅを演算する。
Ｆｆ＝Ｅ（Ｄｅ）＋λ（｜Ｄｅ－Ｄｒ｜＋｜Ｄｅ－Ｄｄ｜）　…式（７）

　つまり、式（７）では、推定奥行値Ｄｅをとる場合において、対応画素差分値Ｅ（Ｄｅ）と、注目画素Ｐ_Ｒ及び右隣接画素との奥行差Ｄｅ－Ｄｒと、注目画素Ｐ_Ｒ及び下隣接画素との奥行差Ｄｅ－Ｄｄとを加味し、マッチング誤差を評価している（図７参照）。

　また、奥行推定装置１は、推定評価値演算手段１２４によって、エッジ検出手段１１０からフラグＧが入力されない場合、下記の式（８）で注目画素Ｐ_Ｒ（Ｘ，Ｙ）における推定評価値Ｆｅを演算する（ステップＳ８０）。
Ｆｆ＝Ｅ（Ｄｅ）＋λ´（｜Ｄｅ－Ｄｒ｜＋｜Ｄｅ－Ｄｄ｜）＋λ´´｜Ｄｅ－Ｄｆ｜　…式（８）

　奥行推定装置１は、奥行値決定手段１３０によって、ステップＳ８０で演算された最小評価値Ｆｆと推定評価値Ｆｅとを比較する（ステップＳ９０）。
　推定評価値Ｆｅが最小評価値Ｆｆより小さい場合（ステップＳ９０でＹｅｓ）、奥行推定装置１は、奥行値決定手段１３０によって、推定奥行値Ｄｅを注目画素Ｐ_Ｒ（Ｘ，Ｙ）の奥行値Ｄｆとして決定し、決定した奥行値Ｄｆで奥行値記憶手段１４０を更新する（ステップＳ１００）。
　推定評価値Ｆｅが最小評価値Ｆｆ以上の場合（ステップＳ９０でＮｏ）、奥行推定装置１は、ステップＳ１００の処理を行わない。

　以上のように、本願発明の変形例１に係る奥行推定装置１は、ステップＳ８０～Ｓ１００で奥行値Ｄｆを再び決定するため、さらに連続性が高い奥行マップＤを生成することができる。

　なお、ステップＳ４０～Ｓ６０の処理において、奥行推定装置１は、注目画素Ｐ_Ｒ（Ｘ，Ｙ）を右下側から左上側まで移動させてもよい。この場合、奥行推定装置１は、ステップＳ８０～Ｓ１００の処理において、注目画素Ｐ_Ｒ（Ｘ，Ｙ）を左上側から右下側まで移動させてもよい。

（第２実施形態）
［奥行推定装置の構成］
　図８を参照し、本願発明の第２実施形態に係る奥行推定装置１Ａの構成について、第１実施形態と異なる点を説明する（適宜図３参照）。
　奥行推定装置１Ａは、奥行マップＤを縮小する点が第１実施形態と異なる。図８のように、奥行推定装置１Ａは、図３の奥行値推定手段１００の代わりに、奥行値推定手段１００Ａを備える。

　奥行値推定手段１００Ａは、エッジ検出手段１１０と、奥行差加算手段１２０Ａと、奥行値決定手段１３０Ａと、奥行値記憶手段１４０と、奥行マップ縮小手段１５０とを備える。
　奥行差加算手段１２０Ａは、最小評価値演算手段１２２Ａと、推定評価値演算手段１２４Ａとを備える。

　奥行マップ縮小手段１５０は、奥行値記憶手段１４０の奥行マップＤが縮小された縮小奥行マップＤｍを生成するものである。
　具体的には、奥行マップ縮小手段１５０は、奥行マップＤで水平方向に連続する２画素の奥行値Ｄ（２ｎ），Ｄ（２ｎ＋１）に対して、下記の式（９）の演算を行う。
Ｄ´（ｎ）＝｛Ｄ（２ｎ）＋Ｄ（２ｎ＋１）｝／２　…式（９）

　ｎは、‘０’から、奥行マップＤで水平方向の最大画素数の半分までの値を取る自然数である。また、Ｄ´（ｎ）は、水平方向に縮小された奥行マップＤ´の画素ｎの奥行値を表す。

　また、奥行マップ縮小手段１５０は、式（９）で水平方向に縮小された奥行マップＤにおいて、垂直方向に連続する２画素の奥行値Ｄ´（２ｍ），Ｄ´（２ｍ＋１）に対して、下記の式（１０）の演算を行う。つまり、奥行マップＤは、式（９）及び式（１０）の演算により、水平方向画素数及び垂直方向画素数が半分になり、総画素数が１／４に縮小される。
Ｄ´´（ｍ）＝｛Ｄ´（２ｍ）＋Ｄ´（２ｍ＋１）｝／２　…式（１０）

　ｍは、‘０’から、奥行マップＤで垂直方向の最大画素数の半分までの値を取る自然数である。また、Ｄ´´（ｍ）は、水平方向及び垂直方向に縮小された奥行マップＤ´´の画素ｍの奥行値を表す。

　ここで、奥行マップ縮小手段１５０は、式（９）及び式（１０）の演算を所定回数（例えば、４回）繰り返し、縮小奥行マップＤｍを生成してもよい。この場合、縮小奥行マップＤｍは、奥行マップＤｍを１／１６に縮小したものとなる。その後、奥行マップ縮小手段１５０は、生成した縮小奥行マップＤｍを奥行値決定手段１３０Ａに出力する。
　なお、奥行マップ縮小手段１５０は、式（１０）を演算した後、式（９）を演算してもよい。

　最小評価値演算手段１２２Ａは、第１実施形態の最小評価値演算手段１２２と同様の機能を備える。
　さらに、最小評価値演算手段１２２Ａは、奥行値決定手段１３０Ａからの再評価の指令に応じて、推定奥行値Ｄｅ及び後記する画像領域Ａ_Ｒの注目画素Ｐ_Ｒ（図９）ごとに、奥行値Ｄｆにおける注目画素Ｐ_Ｒの対応画素差分値Ｅ（Ｄｆ）と、注目画素Ｐ_Ｒと隣接画素との奥行値の差分の和に平滑係数（第４平滑係数）λ´´´が乗算された値を加えた最小評価値Ｆｆを再び演算する。この平滑係数λ´´´は、平滑係数λよりも大きな値（例えば、‘８’）と予め定めておく。

　具体的には、最小評価値演算手段１２２Ａは、下記の式（１１）により最小評価値Ｆｆを再び演算し、演算した最小評価値Ｆｆを奥行値決定手段１３０Ａに出力する。つまり、最小評価値演算手段１２２Ａは、式（１）の平滑係数λを平滑係数λ´´´に代えて、画像領域に含まれる全注目画素Ｐ_Ｒの最小評価値Ｆｆを再び演算する。
Ｆｆ＝Ｅ（Ｄｆ）＋λ´´´（｜Ｄｆ－Ｄｌ｜＋｜Ｄｆ－Ｄｕ｜）　…式（１１）

　推定評価値演算手段１２４Ａは、第１実施形態の推定評価値演算手段１２４と同様の機能を備える。
　さらに、推定評価値演算手段１２４Ａは、奥行値決定手段１３０Ａからの再評価の指令に応じて、推定奥行値Ｄｅ及び画像領域Ａ_Ｒの注目画素Ｐ_Ｒごとに、推定奥行値Ｄｅにおける注目画素Ｐ_Ｒの対応画素差分値Ｅ（Ｄｅ）と、推定奥行値Ｄｅと隣接画素の奥行値との差分の和に平滑係数λ´´´が乗算された値を加えた推定評価値Ｆｅを再び演算する。

　具体的には、推定評価値演算手段１２４Ａは、下記の式（１２）により推定評価値Ｆｅを再び演算し、演算した推定評価値Ｆｅを奥行値決定手段１３０Ａに出力する。つまり、推定評価値演算手段１２４Ａは、式（２）の平滑係数λを平滑係数λ´´´に代えて、画像領域に含まれる全注目画素Ｐ_Ｒの推定評価値Ｆｅを再び演算する。
Ｆｆ＝Ｅ（Ｄｅ）＋λ´´´（｜Ｄｅ－Ｄｌ｜＋｜Ｄｅ－Ｄｕ｜）　…式（１２）

　奥行値決定手段１３０Ａは、第１実施形態の奥行値決定手段１３０と同様の機能を備える。
　さらに、奥行値決定手段１３０Ａは、推定奥行値Ｄｅ及び奥行マップ縮小手段１５０から入力された縮小奥行マップＤｍの注目画素（第３注目画素）ごとに、注目画素に隣接する全ての隣接画素（第３隣接画素）について、隣接画素の奥行値から所定値を減算した減算値を演算する。

　具体的には、奥行値決定手段１３０Ａは、推定奥行値Ｄｅを最小値から最大値まで順に変えて、縮小奥行マップＤｍの注目画素を左上側から右下側までジグザグスキャンするように移動させる。このとき、奥行値決定手段１３０Ａは、左隣接画素Ｄｍ（ｌ）から所定値Δを減算した減算値と、上隣接画素Ｄｍ（ｕ）から所定値Δを減算した減算値と、右隣接画素Ｄｍ（ｒ）から所定値Δを減算した減算値と、下隣接画素Ｄｍ（ｄ）から所定値Δを減算した減算値とを求める。例えば、所定値Δは、推定奥行値Ｄｅの最大値の１／１０で予め定めておく。

　そして、奥行値決定手段１３０Ａは、下記の式（１３）のように、縮小奥行マップＤｍの注目画素の奥行値Ｄｍが、上下左右の隣接画素から演算した減算値以上となるか否かを判定する。
Ｄｍ（ｌ）－Δ≦Ｄｍ、かつ、Ｄｍ（ｕ）－Δ≦Ｄｍ、かつ、Ｄｍ（ｒ）－Δ≦Ｄｍ、かつ、Ｄｍ（ｄ）－Δ≦Ｄｍ　…式（１３）

　ここで、縮小奥行マップＤｍは、基準映像Ｆ_Ｒと比べて、１／１６のサイズになっている。つまり、図９のように、縮小奥行マップＤｍの１画素Ｐ_Ｄｍが、基準映像Ｆ_Ｒで横１６画素×縦１６画素（２５６画素）の画素領域Ａ_Ｒに対応する。そこで、注目画素の奥行値Ｄｍが式（１３）を満たす場合、奥行値決定手段１３０Ａは、注目画素Ｐ_Ｄｍに対応する画像領域Ａ_Ｒの再評価を、最小評価値演算手段１２２Ａ及び推定評価値演算手段１２４Ａに指令する。

　再評価の指令に応じて、奥行値決定手段１３０Ａは、最小評価値演算手段１２２Ａで再び演算された最小評価値Ｆｆと、推定評価値演算手段１２４Ａで再び演算された推定評価値Ｆｅとが入力される。

　続いて、奥行値決定手段１３０Ａは、推定奥行値Ｄｅ及び画像領域Ａ_Ｒの注目画素Ｐ_Ｒごとに、再び演算された最小評価値Ｆｆと推定評価値Ｆｅとを比較する。そして、奥行値決定手段１３０Ａは、推定評価値Ｆｅが最小評価値Ｆｆより小さい場合、推定奥行値Ｆｅを注目画素Ｐ_Ｒの奥行値Ｄｆとして決定し、決定した奥行値Ｄｆで奥行値記憶手段１４０を更新する。

［奥行推定装置の動作］
　図１０を参照して、図８の奥行推定装置１Ａの動作について説明する。
　奥行推定装置１Ａは、奥行マップ縮小手段１５０によって、奥行マップＤの水平方向画素数を半分に縮小する（ステップＳ２００）。
　奥行推定装置１Ａは、奥行マップ縮小手段１５０によって、ステップＳ２００で水平方向に縮小された奥行マップＤの垂直方向画素数を半分に縮小する（ステップＳ２１０）。
　なお、奥行推定装置１は、所定の回数（例えば、４回）、ステップＳ２００，Ｓ２１０の処理を繰り返してもよい。

　奥行推定装置１Ａは、奥行マップ縮小手段１５０によって、ステップＳ２００，Ｓ２１０で生成した縮小奥行マップＤｍを奥行値決定手段１３０Ａに出力する（ステップＳ２２０）。

　奥行推定装置１Ａは、推定奥行値Ｄｅが最小値から最大値になり、Ｙが‘０’から縮小マップ高さになり、Ｘが‘０’から縮小マップ幅になるまで、下記のステップＳ２３０～Ｓ２６０の処理を繰り返す。ここで、縮小マップＤｍの注目画素の座標を（Ｘ，Ｙ）とする。また、縮小マップＤｍの幅及び高さを、縮小マップ幅及び縮小マップ高さとして予め定めておく。

　奥行推定装置１Ａは、奥行値決定手段１３０Ａによって、縮小奥行マップＤｍの注目画素に隣接する全ての隣接画素について減算値を演算し、式（１３）を満たすか否かを判定する（ステップＳ２３０）。

　式（１３）を満たす場合（ステップＳ２３０でＹｅｓ）、奥行推定装置１Ａは、最小評価値演算手段１２２Ａによって、式（１１）で画素領域Ａ_Ｒの注目画素Ｐ_Ｒごとに最小評価値Ｆｆを演算する。
　奥行推定装置１Ａは、推定評価値演算手段１２４Ａによって、式（１２）で画素領域Ａ_Ｒの注目画素Ｐ_Ｒごとに推定評価値Ｆｅを演算する（ステップＳ２４０）。
　奥行推定装置１Ａは、奥行値決定手段１３０Ａによって、ステップＳ２４０で演算された最小評価値Ｆｆと推定評価値Ｆｅとを比較する（ステップＳ２５０）。
　式（１３）を満たさない場合（ステップＳ２３０でＮｏ）、奥行推定装置１Ａは、ステップＳ２４０，Ｓ２５０，Ｓ２６０の処理を行わない。

　推定評価値Ｆｅが最小評価値Ｆｆより小さい場合（ステップＳ２５０でＹｅｓ）、奥行推定装置１Ａは、奥行値決定手段１３０Ａによって、推定奥行値Ｄｅを画素領域Ａ_Ｒの注目画素Ｐ_Ｒの奥行値Ｄｆとして決定し、決定した奥行値Ｄｆで奥行値記憶手段１４０を更新する（ステップＳ２６０）。
　推定評価値Ｆｅが最小評価値Ｆｆ以上の場合（ステップＳ２５０でＮｏ）、奥行推定装置１Ａは、ステップＳ２６０の処理を行わない。

　ステップ２６０の終了後、奥行推定装置１Ａは、奥行値記憶手段１４０に記憶された奥行マップＤを出力する（ステップＳ２７０）。

[作用・効果]
　以上のように、本願発明の第２実施形態に係る奥行推定装置１Ａは、式（１３）により奥行マップＤでエッジ以外の部分を検出する。これにより、奥行推定装置１Ａは、式（１）及び式（２）で平滑しきれなかった奥行マップＤでエッジを含まない部分の奥行値を、式（１１）及び式（１２）でより強く平滑化できると共に、エッジ部分の奥行値を潰すことがない。その結果、奥行推定装置１Ａは、より正確な奥行マップＤを生成することができる。

（第３実施形態）
［奥行推定装置の構成］
　図１１を参照し、本願発明の第３実施形態に係る奥行推定装置１Ｂの構成について、第１実施形態と異なる点を説明する。
　奥行推定装置１Ｂは、カメラ映像を縮小してから奥行マップを生成した後、この奥行マップを拡大する点が第１実施形態と異なる。

　図１１のように、奥行推定装置１Ｂは、映像入力手段１０と、対応画素差分演算手段２０と、差分値記憶手段３０と、映像縮小手段４０と、奥行マップ拡大手段５０と、奥行値推定手段１００とを備える。

　映像縮小手段４０は、映像入力手段１０から入力されたカメラ映像（基準映像Ｆ_Ｒ及び隣接映像Ｆ_Ｌ）を縮小するものである。
　具体的には、映像縮小手段４０は、基準映像Ｆ_Ｒで水平方向に連続する２画素の画素値Ｐ（２ｎ´），Ｐ（２ｎ´＋１）に対して、下記の式（１４）の演算を行う。
Ｐ´（ｎ´）＝｛Ｐ（２ｎ´）＋Ｐ（２ｎ´＋１）｝／２　…式（１４）

　ｎ´は、‘０’から、基準映像Ｆ_Ｒで水平方向の最大画素数の半分までの値を取る自然数である。また、Ｐ´（ｎ´）は、水平方向に縮小された基準映像Ｐ´の画素ｎ´の画素値を表す。

　また、映像縮小手段４０は、式（１４）で水平方向に縮小された基準映像Ｆ_Ｒにおいて、垂直方向に連続する２画素の画素値Ｐ´（２ｍ´），Ｐ´（２ｍ´＋１）に対して、下記の式（１５）の演算を行う。
Ｐ´´（ｍ´）＝｛Ｐ´（２ｍ´）＋Ｐ´（２ｍ´＋１）｝／２　…式（１５）

　ｍ´は、‘０’から、基準映像Ｆ_Ｒで垂直方向の最大画素数の半分までの値を取る自然数である。また、Ｐ´´（ｍ´）は、水平方向及び垂直方向に縮小された基準映像Ｐ´´の画素ｍ´の画素値を表す。

　また、映像縮小手段４０は、基準映像Ｆ_Ｒと同様、隣接映像Ｆ_Ｌについても式（１４）及び式（１５）の演算を行う。その後、映像縮小手段４０は、縮小された基準映像Ｐ´´（図１１の基準映像Ｆ_Ｒ´）及び隣接映像Ｆ_Ｌ´を対応画素差分演算手段２０に出力する。

　ここで、基準映像Ｆ_Ｒ´は、基準映像Ｆ_Ｒと比べて、総画素数が１／４に縮小される。このため、奥行マップＤも第１実施形態の各画像と比べて、総画素数が１／４に縮小されてしまう。

　そこで、奥行マップ拡大手段５０は、奥行推定装置１００から入力された奥行マップＤを映像入力手段１０に入力された基準映像Ｆ_Ｒと同一サイズまで拡大するものである。
　具体的には、奥行マップ拡大手段５０は、奥行マップＤで水平方向に連続する３画素の奥行値Ｄ（ｎ－１），Ｄ（ｎ），Ｄ（ｎ＋１）に対して、下記の式（１６）及び式（１７）の演算を行う。

Ｄ´（２ｎ）＝Ｄ（ｎ）＋[－｛－Ｄ（ｎ－１）＋Ｄ（ｎ＋１）｝／４＋１］／２　…式（１６）
Ｄ´（２ｎ＋１）＝Ｄ（ｎ）＋｛－Ｄ（ｎ－１）＋Ｄ（ｎ＋１）｝／４］／２　…式（１７）

　なお、奥行値Ｄ（ｎ－１），Ｄ（ｎ＋１）が無い場合、その値を‘０’としてもよく、反対側に位置する画素の奥行値Ｄ（ｎ－１），Ｄ（ｎ＋１）を用いてもよい。また、Ｄ´（２ｎ），Ｄ´（２ｎ＋１）は、水平方向に拡大された奥行マップＤの画素２ｎ，２ｎ＋１の奥行値を表す。

　また、奥行マップ拡大手段５０は、式（１６）及び式（１７）で水平方向に拡大された奥行マップＤにおいて、垂直方向に連続する３画素の奥行値Ｄ´（ｍ－１），Ｄ´（ｍ），Ｄ´（ｍ＋１）に対して、下記の式（１８）及び式（１９）の演算を行う。その後、奥行マップ拡大手段５０は、拡大奥行マップＤ´を出力する。

Ｄ´´（２ｍ）＝Ｄ´（ｍ）＋[－｛－Ｄ´（ｍ－１）＋Ｄ´（ｍ＋１）｝／４＋１］／２　…式（１８）
Ｄ´´（２ｍ＋１）＝Ｄ´（ｍ）＋｛－Ｄ´（ｍ－１）＋Ｄ´（ｍ＋１）｝／４］／２　…式（１９）

　なお、奥行値Ｄ´（ｍ－１），Ｄ´（ｍ＋１）が無い場合、その値を‘０’としてもよく、反対側に位置する画素の奥行値Ｄ´（ｍ－１），Ｄ´（ｍ＋１）を用いてもよい。また、Ｄ´´（２ｍ），Ｄ´´（２ｍ＋１）は、水平方向及び垂直方向に拡大された奥行マップＤ´´の画素２ｍ，２ｍ＋１の奥行値を表す。

［奥行推定装置の動作］
　図１２を参照して、図１１の奥行推定装置１Ｂの動作について説明する。
　なお、図１２では、図面を見やすくするため、繰り返し条件の図示を省略した（図１４，図１７，図２１も同様）。
　また、奥行値推定処理は、図５のステップＳ４０～Ｓ６０の処理に対応している。

　奥行推定装置１Ｂは、映像縮小手段４０によって、ステップＳ１０で入力されたカメラ映像（基準映像Ｆ_Ｒ及び隣接映像Ｆ_Ｌ）を縮小する（ステップＳ３００）。
　奥行推定装置１Ｂは、奥行マップ拡大手段５０によって、奥行マップＤを映像入力手段１０に入力された基準映像Ｆ_Ｒと同一サイズまで拡大する（ステップＳ３１０）。
　奥行推定装置１Ｂは、奥行マップ拡大手段５０によって、ステップＳ３１０で拡大した拡大奥行マップＤ´を出力する（ステップＳ３２０）。

［作用・効果］
　本願発明の第３実施形態に係る奥行推定装置１Ｂは、処理対象の注目画素数が少なくなり、さらに高速に奥行マップを生成することができる。
　さらに、奥行推定装置１Ｂは、映像縮小手段４０がカメラ映像を縮小する処理と、奥行マップ拡大手段５０が奥行マップＤを拡大する処理とを同一回数繰り返すことで、さらなる高速化を図ることもできる。

（第４実施形態）
［奥行推定装置の構成］
　図１３を参照し、本願発明の第４実施形態に係る奥行推定装置１Ｃの構成について、第３実施形態と異なる点を説明する。
　奥行推定装置１Ｃは、隣接映像Ｆ_Ｌが基準映像Ｆ_Ｒよりも大きいため、基準映像Ｆ_Ｒに合わせて隣接映像Ｆ_Ｌを縮小する点が第３実施形態と異なる。

　図１３のように、奥行推定装置１Ｃは、映像入力手段１０Ｃと、対応画素差分演算手段２０と、差分値記憶手段３０と、映像縮小手段４０Ｃと、奥行マップ拡大手段５０Ｃと、奥行値推定手段１００とを備える。

　映像入力手段１０Ｃは、第３実施形態の映像入力手段１０と同様の機能を備える。
　さらに、映像入力手段１０Ｃは、入力されたカメラ映像のうち、最小のカメラ映像のサイズを縮小目標サイズとして、映像縮小手段４０Ｃに出力する。さらに、映像入力手段１０Ｃは、入力されたカメラ映像のうち、最大のカメラ映像のサイズを拡大目標サイズとして、奥行マップ拡大手段５０Ｃに出力する。

　映像縮小手段４０Ｃは、映像入力手段１０Ｃに入力されたカメラ映像のうち、最小サイズのカメラ映像（基準映像Ｆ_Ｒ）に合わせて他のカメラ映像（隣接映像Ｆ_Ｌ）を縮小するものである。例えば、映像縮小手段４０Ｃは、第３実施形態の映像縮小手段４０と同様の手法で、映像入力手段１０Ｃから入力された縮小目標サイズ（基準映像Ｆ_Ｒのサイズ）まで隣接映像Ｆ_Ｌを縮小する。そして、映像縮小手段４０Ｃは、縮小した隣接映像Ｆ_Ｌ´を対応画素差分演算手段２０に出力する。

　奥行マップ拡大手段５０Ｃは、奥行推定装置１００から入力された奥行マップＤを、映像入力手段１０Ｃに入力されたカメラ映像のうち、最大のカメラ映像（隣接映像Ｆ_Ｌ）に合わせて拡大するものである。例えば、奥行マップ拡大手段５０Ｃは、第３実施形態の奥行マップ拡大手段５０と同様の手法で、映像入力手段１０Ｃから入力された拡大目標サイズ（隣接映像Ｆ_Ｌのサイズ）まで奥行マップＤを拡大する。そして、奥行マップ拡大手段５０Ｃは、拡大された奥行マップＤ´を出力する。
　なお、奥行マップ拡大手段５０Ｃは、奥行マップＤを拡大せずにそのまま出力してもよい。

［奥行推定装置の動作］
　図１４を参照して、図１３の奥行推定装置１Ｃの動作について説明する。
　奥行推定装置１Ｃは、映像入力手段１０Ｃによって、カメラ映像（Ｆ_Ｌ，Ｆ_Ｒ）を入力する。
　奥行推定装置１Ｃは、映像入力手段１０Ｃによって、縮小目標サイズを映像縮小手段４０Ｃに出力し、拡大目標サイズを奥行マップ拡大手段５０Ｃに出力する（ステップＳ４００）。

　奥行推定装置１Ｃは、映像縮小手段４０Ｃによって、ステップＳ４００で入力されたカメラ映像（隣接映像Ｆ_Ｌ）を縮小目標サイズまで縮小する（ステップＳ４１０）。
　奥行推定装置１Ｃは、奥行マップ拡大手段５０Ｃによって、奥行マップＤを拡大目標サイズまで拡大する（ステップＳ４２０）。

［作用・効果］
　本願発明の第４実施形態に係る奥行推定装置１Ｃは、基準映像Ｆ_Ｒ及び隣接映像Ｆ_Ｌが異なるサイズの場合でも、高速に奥行マップを生成することができる。

（第５実施形態）
［奥行推定装置の構成］
　図１５を参照し、本願発明の第５実施形態に係る奥行推定装置１Ｄの構成について、第３実施形態と異なる点を説明する。
　奥行推定装置１Ｄは、生成した奥行マップ（参照奥行マップＤｒｅｆ）を利用して奥行値を推定し直す点が、第３実施形態と異なる。

　図１５のように、奥行推定装置１Ｄは、映像入力手段１０と、対応画素差分演算手段２０と、対応画素差分演算手段（第２対応画素差分演算手段）２０Ｄと、差分値記憶手段３０，３０Ｄと、映像縮小手段４０と、奥行マップ拡大手段５０と、奥行値推定手段１００，１００Ｄとを備える。

　対応画素差分演算手段２０Ｄは、第１実施形態と同様、推定奥行値Ｄｅ及び基準映像Ｆ_Ｒの注目画素Ｐ_Ｒごとに、対応画素差分値（第２対応画素差分値）Ｅを演算するものである。そして、対応画素差分演算手段２０Ｄは、演算した対応画素差分値Ｅを差分値記憶手段３０Ｄに記憶する。

　差分値記憶手段３０Ｄは、推定奥行値Ｄｅ及び注目画素Ｐ_Ｒごとに、対応画素差分演算手段２０Ｄが演算した対応画素差分値Ｅを記憶するものである。例えば、差分値記憶手段３０Ｄは、磁気メモリや半導体メモリ等の一般的な記憶媒体である。

　図１６を参照し、奥行値推定手段１００Ｄの構成について説明する。
　奥行値推定手段１００Ｄは、奥行差加算手段１２０Ｄと、奥行値決定手段（第２奥行値決定手段）１３０Ｄと、奥行値記憶手段１４０Ｄとを備える。
　また、奥行差加算手段１２０Ｄは、最小評価値演算手段（第２最小評価値演算手段）１１２２Ｄと、推定評価値演算手段（第２推定評価値演算手段）１２４Ｄとを備える。

　最小評価値演算手段１２２Ｄは、奥行マップ（第２奥行マップ）Ｄ″の注目画素（第２注目画素）ごとに、注目画素の奥行値が注目画素に隣接する隣接画素（第２隣接画素）の奥行値よりも小さい場合、最小評価値（第２最小評価値）Ｆｆを演算するものである。
　なお、最小評価値演算手段１２２Ｄの詳細は、奥行推定装置１Ｄの動作で説明する。

　推定評価値演算手段１２４Ｄは、奥行マップＤ″の注目画素ごとに、注目画素の奥行値が隣接画素の奥行値よりも小さい場合、推定奥行値Ｄｅにおける注目画素の対応画素差分値を推定評価値Ｆｅとして演算するものである。
　なお、推定評価値演算手段１２４Ｄの詳細は、奥行推定装置１Ｄの動作で説明する。

　奥行値決定手段１３０Ｄは、奥行マップＤ″の注目画素ごとに、最小評価値演算手段１２２Ｄから入力された最小評価値Ｆｆと、推定評価値演算手段１２４Ｄから入力された推定評価値Ｆｅとを比較するものである。本実施形態では、奥行値決定手段１３０Ｄは、同一方向の隣接画素についての最小評価値Ｆｆと推定評価値Ｆｅとを比較する。そして、奥行値決定手段１３０Ｄは、推定評価値Ｆｅが最小評価値Ｆｆより小さい場合、隣接画素の奥行値Ｄｕを注目画素の奥行値Ｄｆとして決定する。
　なお、奥行値決定手段１３０Ｄの詳細は、奥行推定装置１Ｄの動作で説明する。

　また、奥行値決定手段１３０Ｄは、奥行値初期化手段１３２Ｄを備える。
　奥行値初期化手段１３２Ｄは、参照奥行マップＤｒｅｆの奥行値を、奥行マップＤ″の全画素における奥行値Ｄｆの初期値として決定し、決定した奥行値Ｄｆの初期値を奥行値記憶手段１４０Ｄに書き込むものである。例えば、奥行値初期化手段１３２Ｄは、最小評価値演算手段１２２Ｄが最小評価値Ｆｆを演算する前に、奥行値Ｄｆの初期値を決定する。
　なお、参照奥行マップＤｒｅｆとは、奥行マップ拡大手段５０で拡大された奥行マップＤ´のことである。

　奥行値記憶手段１４０Ｄは、奥行マップＤ″の注目画素ごとの奥行値Ｄｆを記憶するものである。例えば、奥行値記憶手段１４０Ｄは、磁気メモリや半導体メモリ等の一般的な記憶媒体である。

［奥行推定装置の動作］
　図１７を参照して、図１６の奥行推定装置１Ｄの動作について説明する。
　奥行推定装置１Ｄは、対応画素差分演算手段２０Ｄによって、注目画素Ｐ_Ｒの対応画素差分値Ｅを演算し、演算した対応画素差分値Ｅを差分値記憶手段３０Ｄに記憶する（ステップＳ５００）。

　奥行推定装置１Ｄは、奥行値初期化手段１３２Ｄによって、参照奥行マップＤｒｅｆの奥行値を、奥行マップＤ″の全画素における奥行値Ｄｆの初期値として決定し、決定した奥行値Ｄｆの初期値を奥行値記憶手段１４０に書き込む（ステップＳ５１０）。
　奥行推定装置１Ｄは、奥行値推定手段１００Ｄによって、後記する奥行値推定処理を行う（ステップＳ５２０）。

［奥行値推定処理］
　図１８，図１９を参照し、奥行値推定処理について説明する。
　図１８のように、奥行推定装置１Ｄは、Ｙが‘０’からマップ高さになり、Ｘが‘０’からマップ幅になるまで、下記のステップＳ６００～Ｓ６７０の処理を繰り返す。つまり、奥行推定装置１Ｄは、奥行マップＤ″の左上側（起点側）から右下側（終点側）まで、ジグザグスキャンのように注目画素を移動させながら、ステップＳ６００～Ｓ６７０の処理を行う。ここで、奥行マップＤ″の注目画素の座標を（Ｘ，Ｙ）とする。また、奥行マップＤ″の幅及び高さを、マップ幅及びマップ高さとして予め定めておく。

　奥行推定装置１Ｄは、最小評価値演算手段１２２Ｄによって、奥行マップＤ″の注目画素の奥行値Ｄｆが、上隣接画素の奥行値Ｄｕよりも小さいか否かを判定する（ステップＳ６００）。
　奥行値Ｄｆが奥行値Ｄｕ以上の場合（ステップＳ６００でＮｏ）、奥行推定装置１Ｄは、ステップＳ６１０～Ｓ６３０の処理を行わない。

　奥行値Ｄｆが奥行値Ｄｕよりも小さい場合（ステップＳ６００でＹｅｓ）、奥行推定装置１Ｄは、最小評価値演算手段１２２Ｄによって、下記の式（２０）を用いて、上隣接画素に対する最小評価値Ｆｆを演算する。
Ｆｆ＝Ｅ（Ｄｆ）＋λ（｜Ｄｆ－Ｄｌ｜＋｜Ｄｆ－Ｄｕ｜）　…式（２０）

　この式（２０）は、決定された奥行値Ｄｆにおける注目画素の対応画素差分値Ｅ（Ｄｆ）と、注目画素と左隣接画素との奥行値の差分と、注目画素と上隣接画素との奥行値の差分との和に平滑係数λが乗算された値を加算し、最小評価値Ｆｆを求めることを表す。

　奥行推定装置１Ｄは、推定評価値演算手段１２４Ｄによって、下記の式（２１）を用いて、上隣接画素に対する推定評価値Ｆｅを演算する（ステップＳ６１０）。
Ｆｅ＝Ｅ（Ｄｕ）＋λ｜Ｄｕ－Ｄｌ｜　…式（２１）

　この式（２１）は、上隣接画素の奥行値Ｄｕにおける注目画素の対応画素差分値Ｅ（Ｄｕ）と、上隣接画素の奥行値Ｄｕを推定奥行値Ｄｅとみなして、左隣接画素との奥行値の差分との和に平滑係数λが乗算された値を加算し、推定評価値Ｆｅとして求めることを表す。

　奥行推定装置１Ｄは、奥行値決定手段１３０Ｄによって、ステップＳ６１０で演算された上隣接画素に対する最小評価値Ｆｆと推定評価値Ｆｅとを比較する（ステップＳ６２０）。

　推定評価値Ｆｅが最小評価値Ｆｆより小さい場合（ステップＳ６２０でＹｅｓ）、奥行推定装置１Ｄは、奥行値決定手段１３０Ｄによって、上隣接画素の奥行値Ｄｕを注目画素の奥行値Ｄｆとして決定し、決定した奥行値Ｄｆで奥行値記憶手段１４０Ｄを更新する（ステップＳ６３０）。
　推定評価値Ｆｅが最小評価値Ｆｆ以上の場合（ステップＳ６２０でＮｏ）、奥行推定装置１Ｄは、ステップＳ６３０の処理を行わない。

　奥行推定装置１Ｄは、最小評価値演算手段１２２Ｄによって、奥行マップＤ″の注目画素の奥行値Ｄｆが、左隣接画素の奥行値Ｄｌよりも小さいか否かを判定する（ステップＳ６４０）。
　奥行値Ｄｆが奥行値Ｄｌ以上の場合（ステップＳ６４０でＮｏ）、奥行推定装置１Ｄは、ステップＳ６５０～Ｓ６７０の処理を行わない。

　奥行値Ｄｆが奥行値Ｄｌよりも小さい場合（ステップＳ６４０でＹｅｓ）、奥行推定装置１Ｄは、最小評価値演算手段１２２Ｄによって、下記の式（２２）を用いて、左隣接画素に対する最小評価値Ｆｆを演算する。
Ｆｆ＝Ｅ（Ｄｆ）＋λ（｜Ｄｆ－Ｄｌ｜＋｜Ｄｆ－Ｄｕ｜）　…式（２２）

　奥行推定装置１Ｄは、推定評価値演算手段１２４Ｄによって、下記の式（２３）を用いて、左隣接画素の奥行値Ｄｌを推定奥行値Ｄｅとみなして推定評価値Ｆｅを演算する（ステップＳ６５０）。
Ｆｅ＝Ｅ（Ｄｌ）＋λ｜Ｄｌ－Ｄｕ｜　…式（２３）

　奥行推定装置１Ｄは、奥行値決定手段１３０Ｄによって、ステップＳ６５０で演算された左隣接画素に対する最小評価値Ｆｆと推定評価値Ｆｅとを比較する（ステップＳ６６０）。

　推定評価値Ｆｅが最小評価値Ｆｆより小さい場合（ステップＳ６６０でＹｅｓ）、奥行推定装置１Ｄは、奥行値決定手段１３０Ｄによって、左隣接画素の奥行値Ｄｌを注目画素の奥行値Ｄｆとして決定し、決定した奥行値Ｄｆで奥行値記憶手段１４０Ｄを更新する（ステップＳ６７０）。
　推定評価値Ｆｅが最小評価値Ｆｆ以上の場合（ステップＳ６６０でＮｏ）、奥行推定装置１Ｄは、ステップＳ６７０の処理を行わない。

　図１９のように、奥行推定装置１Ｄは、Ｙがマップ高さから‘０’になり、Ｘがマップ幅から‘０’になるまで、下記のステップＳ６８０～Ｓ７５０の処理を繰り返す。つまり、奥行推定装置１Ｄは、奥行マップの右下側（終点側）から左上側（起点側）まで、ジグザグスキャンのように注目画素を移動させながら、ステップＳ６８０～Ｓ７５０の処理を行う。

　奥行推定装置１Ｄは、最小評価値演算手段１２２Ｄによって、奥行マップＤ″の注目画素の奥行値Ｄｆが、下隣接画素の奥行値Ｄｄよりも小さいか否かを判定する（ステップＳ６８０）。
　奥行値Ｄｆが奥行値Ｄｄ以上の場合（ステップＳ６８０でＮｏ）、奥行推定装置１Ｄは、ステップＳ６９０～Ｓ７１０の処理を行わない。

　奥行値Ｄｆが奥行値Ｄｄよりも小さい場合（ステップＳ６８０でＹｅｓ）、奥行推定装置１Ｄは、最小評価値演算手段１２２Ｄによって、下記の式（２４）を用いて、下隣接画素に対する最小評価値Ｆｆを演算する。
Ｆｆ＝Ｅ（Ｄｆ）＋λ（｜Ｄｆ－Ｄｒ｜＋｜Ｄｆ－Ｄｄ｜）　…式（２４）

　奥行推定装置１Ｄは、推定評価値演算手段１２４Ｄによって、下記の式（２５）を用いて、下隣接画素に対する推定評価値Ｆｅを演算する（ステップＳ６９０）。
Ｆｅ＝Ｅ（Ｄｄ）＋λ｜Ｄｄ－Ｄｒ｜　…式（２５）

　奥行推定装置１Ｄは、奥行値決定手段１３０Ｄによって、ステップＳ６９０で演算された下隣接画素に対する最小評価値Ｆｆと推定評価値Ｆｅとを比較する（ステップＳ７００）。

　推定評価値Ｆｅが最小評価値Ｆｆより小さい場合（ステップＳ７００でＹｅｓ）、奥行推定装置１Ｄは、奥行値決定手段１３０Ｄによって、下側の隣接画素の奥行値Ｄｄを注目画素の奥行値Ｄｆとして決定し、決定した奥行値Ｄｆで奥行値記憶手段１４０Ｄを更新する（ステップＳ７１０）。
　推定評価値Ｆｅが最小評価値Ｆｆ以上の場合（ステップＳ７００でＮｏ）、奥行推定装置１Ｄは、ステップＳ７１０の処理を行わない。

　奥行推定装置１Ｄは、最小評価値演算手段１２２Ｄによって、奥行マップＤ″の注目画素の奥行値Ｄｆが、右隣接画素の奥行値Ｄｒよりも小さいか否かを判定する（ステップＳ７２０）。
　奥行値Ｄｆが奥行値Ｄｒ以上の場合（ステップＳ７２０でＮｏ）、奥行推定装置１Ｄは、ステップＳ７３０～Ｓ７５０の処理を行わない。

　奥行値Ｄｆが奥行値Ｄｒよりも小さい場合（ステップＳ７２０でＹｅｓ）、奥行推定装置１Ｄは、最小評価値演算手段１２２Ｄによって、下記の式（２６）を用いて、右隣接画素に対する最小評価値Ｆｆを演算する。
Ｆｆ＝Ｅ（Ｄｆ）＋λ（｜Ｄｆ－Ｄｒ｜＋｜Ｄｆ－Ｄｄ｜）｜　…式（２６）

　奥行推定装置１Ｄは、推定評価値演算手段１２４Ｄによって、下記の式（２７）を用いて、右隣接画素に対する推定評価値Ｆｅを演算する（ステップＳ７３０）。
Ｆｅ＝Ｅ（Ｄｒ）＋λ｜Ｄｄ－Ｄｒ｜　…式（２７）

　奥行推定装置１Ｄは、奥行値決定手段１３０Ｄによって、ステップＳ７３０で演算された右隣接画素に対する最小評価値Ｆｆと推定評価値Ｆｅとを比較する（ステップＳ７４０）。

　推定評価値Ｆｅが最小評価値Ｆｆより小さい場合（ステップＳ７４０でＹｅｓ）、奥行推定装置１Ｄは、奥行値決定手段１３０Ｄによって、右隣接画素の奥行値Ｄｒを注目画素の奥行値Ｄｆとして決定し、決定した奥行値Ｄｆで奥行値記憶手段１４０Ｄを更新する（ステップＳ７５０）。
　推定評価値Ｆｅが最小評価値Ｆｆ以上の場合（ステップＳ７４０でＮｏ）、奥行推定装置１Ｄは、ステップＳ７５０の処理を行わない。

［作用・効果］
　以上のように、本願発明の第５実施形態に係る奥行推定装置１Ｄは、縮小されたカメラ映像から参照奥行マップＤｒｅｆを生成する。そして、奥行推定装置１Ｄは、生成した参照奥行マップＤｒｅｆを用いて、エッジ部分で正しくない可能性がある奥行値のみを、簡単な演算式で推定し直すので、より高速に正確な奥行マップＤ″を生成することができる。

（第６実施形態）
［奥行推定装置の構成］
　図２０を参照し、本願発明の第６実施形態に係る奥行推定装置１Ｅの構成について、第１実施形態と異なる点を説明する。
　奥行推定装置１Ｅは、３台のカメラＣＭで被写体Ｔを撮影したカメラ映像から、奥行マップＤを生成する点が第１実施形態と異なる。

　図２０のように、基準カメラＣ_Ｃは、中央に位置するカメラＣＭである。
　また、隣接カメラＣ_Ｌ，Ｃ_Ｒは、基準カメラＣ_Ｃに対し、距離Ｌだけ互いに等間隔で離間して、基準カメラＣ_Ｃの左右に配置されている。そして、各カメラＣＭ（Ｃ_Ｃ，Ｃ_Ｌ，Ｃ_Ｒ）で撮影されたカメラ映像（Ｆ_Ｃ，Ｆ_Ｌ，Ｆ_Ｒ）は、奥行推定装置１Ｅに入力される。

　ここで、基準映像Ｆ_Ｃは、基準カメラＣ_Ｃで撮影されたカメラ映像である。また、左隣接映像Ｆ_Ｌは、隣接カメラＣ_Ｌで撮影されたカメラ映像である。また、右隣接映像Ｆ_Ｒは、隣接カメラＣ_Ｒで撮影されたカメラ映像である。

　奥行推定装置１Ｅは、映像入力手段１０Ｅと、対応画素差分演算手段２０Ｅと、差分値記憶手段３０と、最小値選択手段６０と、奥行値推定手段１００とを備える。

　映像入力手段１０Ｅは、基準カメラＣ_Ｃで撮影した基準映像Ｆ_Ｃと、隣接カメラＣ_Ｌで撮影された左隣接映像Ｆ_Ｌと、隣接カメラＣ_Ｒで撮影された右隣接映像Ｆ_Ｒとを入力する。
　この映像入力手段１０Ｅで入力されたカメラ映像（Ｆ_Ｃ，Ｆ_Ｌ，Ｆ_Ｒ）は、図示を省略したメモリに記憶され、後記する対応画素差分演算手段２０Ｅによって参照されるものとする。

　対応画素差分演算手段２０Ｅは、推定奥行値Ｄｅ及び基準映像Ｆ_Ｃの注目画素ごとに、左対応画素差分値Ｅｌ及び右対応画素差分値Ｅｒを演算するものである。そして、対応画素差分演算手段２０Ｅは、演算した左対応画素差分値Ｅｌ及び右対応画素差分値Ｅｒを最小値選択手段６０に出力する。

　ここで、左対応画素差分値Ｅｌとは、基準映像Ｆ_Ｃ及び左隣接映像Ｆ_Ｌの間での対応画素差分値のことである。また、右対応画素差分値Ｅｒとは、基準映像Ｆ_Ｃ及び右隣接映像Ｆ_Ｌの間での対応画素差分値のことである。

　なお、左対応画素差分値Ｅｌ及び右対応画素差分値Ｅｒの演算手法は、第１実施形態の演算手法と同様のため、説明を省略する。
　また、図２０では、左対応画素差分値Ｅｌを‘左差分値Ｅｌ’と略記し、右対応画素差分値Ｅｒを‘右差分値Ｅｒ’と略記した。

　最小値選択手段６０は、推定奥行値Ｄｅ及び注目画素ごとに、対応画素差分演算手段２０Ｅから入力された左対応画素差分値Ｅｌ又は右対応画素差分値Ｅｒのうち小さい方を、最小対応画素差分値Ｅｍｉｎとして選択するものである。そして、最小値選択手段６０は、推定奥行値Ｄｅ及び注目画素ごとに、最小対応画素差分値Ｅｍｉｎを差分値記憶手段３０に記憶する。つまり、差分値記憶手段３０に記憶された最小対応画素差分値Ｅｍｉｎが、対応画素差分値Ｅとして利用される。
　なお、図２０では、最小対応画素差分値Ｅｍｉｎを‘最小差分値Ｅｍｉｎ’ と略記した。

［奥行推定装置の動作］
　図２１を参照して、図２０の奥行推定装置１Ｅの動作について説明する。
　奥行推定装置１Ｅは、映像入力手段１０Ｅによって、カメラ映像（Ｆ_Ｃ，Ｆ_Ｌ，Ｆ_Ｒ）を入力する（ステップＳ８００）。

　奥行推定装置１Ｅは、対応画素差分演算手段２０Ｅによって、推定奥行値Ｄｅ及び注目画素ごとに、左対応画素差分値Ｅｌ及び右対応画素差分値Ｅｒを演算する（ステップＳ８１０）。

　奥行推定装置１Ｅは、最小値選択手段６０によって、推定奥行値Ｄｅ及び注目画素ごとに、ステップＳ８１０で演算された左対応画素差分値Ｅｌ又は右対応画素差分値Ｅｒのうち小さい方を、最小対応画素差分値Ｅｍｉｎとして選択する（ステップＳ８２０）。

[作用・効果]
　以上のように、本願発明の第６実施形態に係る奥行推定装置１Ｅは、オクルージョンが発生しても対応画素差分値を求められるので、より正確な奥行マップＤを生成することができる。

　なお、各実施形態では、本願発明に係る奥行推定装置を独立した装置として説明したが、これに限定されない。例えば、本願発明では、一般的なコンピュータのハードウェア資源を、奥行推定装置の各手段として協調動作させる奥行推定プログラムによって実現することができる。また、この奥行推定プログラムは、通信回線を介して配布したり、ＣＤ－ＲＯＭ等の記録媒体に記録して配布したりすることも可能である。

（実施例）
　図２２，図２３を参照し、本願発明の実施例として、本願発明の第１実施形態に係る奥行推定装置で生成した奥行マップについて説明する。
　図２２の奥行マップは、注目画素と隣接画素との奥行値の差分（奥行差）を考慮しない従来手法で生成したものである（比較例）。この比較例では、被写体の場所ごとのテクスチャに大きく影響を受けて、擬似マッチングが多数発生し、ノイズが多い奥行マップとなる。
　一方、本願発明の実施例では、図２３のように、式（１）で注目画素と隣接画素との奥行差が考慮されるため、擬似マッチングが減少し、滑らかな奥行マップとなる。

　本願発明は、立体映像による、東京オリンピック等のイベントの実況中継や、立体テレビ放送、立体テレビ電話等のネットワークを通じたサービスや機器に利用できる。また、本願発明は、光ディスクやハードディスクを用いた立体映像の記録再生機器や配信サービス、立体映画にも利用できる。さらに、本願発明は、多視点映像と奥行マップから、立体映像であるホログラムを生成出来るので、電子ホログラフィ機器やそれを用いた配信サービスにも利用できる。さらに、本願発明は、ロボットにおける立体空間の認識に用いたり、コンピュータによる映像解析に用いることもできる。

１，１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ　奥行推定装置
１０，１０Ｅ　映像入力手段
２０，２０Ｅ　対応画素差分演算手段
２０Ｄ　対応画素差分演算手段（第２対応画素差分演算手段）
３０,３０Ｄ　差分値記憶手段
４０，４０Ｃ　映像縮小手段
５０，５０Ｃ　奥行マップ拡大手段
６０　最小値選択手段
１００，１００Ａ，１００Ｄ　奥行値推定手段
１１０　エッジ検出手段
１２０，１２０Ａ、１２０Ｄ　奥行差加算手段
１２２，１２２Ａ　最小評価値演算手段
１２２Ｄ　最小評価値演算手段（第２最小評価値演算手段）
１２４，１２４Ａ　推定評価値演算手段
１２４Ｄ　推定評価値演算手段（第２推定評価値演算手段）
１３０，１３０Ａ　奥行値決定手段
１３０Ｄ　奥行値決定手段（第２奥行値決定手段）
１３２，１３２Ａ，１３２Ｄ　奥行値初期化手段
１４０，１４０Ｄ　奥行値記憶手段

Claims (10)

1. 　予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、前記被写体の奥行きを示す奥行値を推定する奥行推定装置であって、
   　前記複数配列した前記カメラの何れかにおいて、予め定めた基準カメラで前記被写体を撮影した基準映像と、前記基準カメラ以外の隣接カメラで前記被写体を撮影した隣接映像とを入力する映像入力手段と、
   　予め定めた最小値から最大値までの推定奥行値及び前記基準映像の注目画素ごとに、前記注目画素の画素値と、当該注目画素の前記推定奥行値の視差に対応する画素位置にある前記隣接映像の対応画素の画素値との差分絶対値である対応画素差分値を演算する対応画素差分演算手段と、
   　前記最小値を、前記基準映像の全画素における奥行値の初期値として決定する奥行値初期化手段と、
   　前記推定奥行値及び前記注目画素ごとに、前記注目画素と前記注目画素に隣接する隣接画素との奥行値の差分の和に予め設定した平滑係数が乗算された値を、決定された前記奥行値における前記注目画素の対応画素差分値に加えた最小評価値を演算する最小評価値演算手段と、
   　前記推定奥行値及び前記注目画素ごとに、前記推定奥行値と前記隣接画素の奥行値との差分の和に前記平滑係数が乗算された値を、前記推定奥行値における前記注目画素の対応画素差分値に加えた推定評価値を演算する推定評価値演算手段と、
   　前記推定奥行値及び前記注目画素ごとに、前記最小評価値と前記推定評価値とを比較し、前記推定評価値が前記最小評価値より小さい場合、前記推定奥行値を前記注目画素の奥行値として決定し、前記注目画素ごとの奥行値からなる奥行マップを生成する奥行値決定手段と、
   を備えることを特徴とする奥行推定装置。
2. 　前記注目画素と前記注目画素の近傍画素との画素値の差分によりエッジを検出するエッジ検出手段、をさらに備え、
   　前記最小評価値演算手段は、前記エッジが検出された場合、前記平滑係数よりも小さな値で予め定めた第２平滑係数を、前記注目画素と前記隣接画素の奥行値との差分の和に乗算し、
   　前記推定評価値演算手段は、前記エッジが検出された場合、前記推定奥行値と前記隣接画素の奥行値との差分の和に前記第２平滑係数が乗算された値と、前記平滑係数及び前記第２平滑係数の間で予め定めた第３平滑係数が前記決定された奥行値と前記推定奥行値との差分に乗算された値とを、前記推定奥行値における前記注目画素の対応画素差分値に加えた前記推定評価値を演算することを特徴とする請求項１に記載の奥行推定装置。
3. 　前記映像入力手段に入力された基準映像及び隣接映像を縮小する映像縮小手段、をさらに備え、
   　前記対応画素差分演算手段は、前記推定奥行値及び縮小された前記基準映像の注目画素ごとに、前記対応画素差分値を演算し、
   　前記奥行値初期化手段は、前記最小値を前記縮小された基準映像の全画素の奥行値として初期設定し、
   　前記最小評価値演算手段は、前記推定奥行値及び前記縮小された基準映像の注目画素ごとに、前記最小評価値を演算し、
   　前記推定評価値演算手段は、前記推定奥行値及び前記縮小された基準映像の注目画素ごとに、前記推定評価値を演算し、
   　前記奥行値決定手段は、前記縮小された基準映像と同一サイズの前記奥行マップである縮小奥行マップを生成することを特徴とする請求項１又は請求項２に記載の奥行推定装置。
4. 　前記映像入力手段に入力された基準映像と同一サイズまで前記縮小奥行マップが拡大された参照奥行マップを生成する奥行マップ拡大手段と、
   　前記推定奥行値及び前記映像入力手段に入力された基準映像の注目画素ごとに、当該注目画素の画素値と、前記映像入力手段に入力された隣接映像の対応画素の画素値との差分絶対値である第２対応画素差分値を演算する第２対応画素差分演算手段と、
   　前記参照奥行マップの全画素の奥行値を、第２奥行マップの全画素における奥行値の初期値として決定する第２奥行値初期化手段と、
   　前記第２奥行マップの第２注目画素ごとに、前記第２注目画素の奥行値が前記第２注目画素に隣接する第２隣接画素の奥行値よりも小さい場合、前記第２注目画素と前記第２隣接画素との奥行値の差分の和に前記平滑係数が乗算された値を、決定された前記奥行値における前記第２注目画素の第２対応画素差分値に加えた第２最小評価値を演算する第２最小評価値演算手段と、
   　前記第２注目画素ごとに、前記第２注目画素の奥行値が前記第２注目画素に隣接する第２隣接画素の奥行値よりも小さい場合、前記第２隣接画素同士の奥行値の差分に前記平滑係数が乗算された値を、前記第２隣接画素の奥行値における前記第２注目画素の第２対応画素差分値に加えた推定評価値を演算する第２推定評価値演算手段と、
   　前記第２注目画素ごとに、前記第２最小評価値と前記第２推定評価値とを比較し、前記第２推定評価値が前記第２最小評価値より小さい場合、前記第２隣接画素の奥行値を前記第２注目画素の奥行値として決定し、前記第２注目画素ごとの奥行値からなる前記第２奥行マップを生成する第２奥行値決定手段と、
   を備えることを特徴とする請求項３に記載の奥行推定装置。
5. 　前記奥行マップが縮小された縮小奥行マップを生成する奥行マップ縮小手段、をさらに備え、
   　前記奥行値決定手段は、前記推定奥行値及び前記縮小奥行マップの第３注目画素ごとに、前記第３注目画素に隣接する全ての第３隣接画素について、前記第３隣接画素の奥行値から所定値を減算した減算値を演算し、前記第３注目画素の奥行値が全ての前記第３隣接画素から演算した減算値以上となる場合、前記第３注目画素に対応する前記基準映像の画像領域の再評価を指令し、
   　前記最小評価値演算手段は、前記再評価の指令に応じて、前記推定奥行値及び前記画像領域の注目画素ごとに、当該注目画素と前記隣接画素との奥行値の差分の和に前記平滑係数よりも大きな値で予め定めた第４平滑係数が乗算された値を、決定された前記奥行値における当該注目画素の対応画素差分値に加えた最小評価値を再び演算し、
   　前記推定評価値演算手段は、前記再評価の指令に応じて、前記推定奥行値及び前記画像領域の注目画素ごとに、前記推定奥行値と前記隣接画素の奥行値との差分の和に前記第４平滑係数が乗算された値を、前記推定奥行値における当該注目画素の対応画素差分値に加えた推定評価値を再び演算し、
   　前記奥行値決定手段は、前記推定奥行値及び前記画像領域の注目画素ごとに、再び演算された前記最小評価値と前記推定評価値とを比較し、当該推定評価値が当該最小評価値より小さい場合、当該推定奥行値を当該注目画素の奥行値として決定することを特徴とする請求項１又は請求項２に記載の奥行推定装置。
6. 　前記最小評価値演算手段は、前記基準映像の４隅何れかの起点側から前記起点側に対向する終点側まで前記注目画素を移動させながら前記最小評価値を演算した後、前記終点側から前記起点側まで前記注目画素を移動させながら前記最小評価値を再び演算し、
   　前記推定評価値演算手段は、前記起点側から前記終点側まで前記注目画素を移動させながら前記推定評価値を演算した後、前記終点側から前記起点側まで前記注目画素を移動させながら前記推定評価値を再び演算し、
   　前記奥行値決定手段は、前記注目画素の奥行値を決定した後、再び演算した前記最小評価値と前記推定評価値とを比較し、当該推定評価値が当該最小評価値より小さい場合、当該推定奥行値を当該注目画素の奥行値として再び決定することを特徴とする請求項１又は請求項２に記載の奥行推定装置。
7. 　前記映像入力手段は、前記基準映像と、前記基準カメラの左右に配置された前記隣接カメラで撮影された前記隣接映像である左隣接映像及び右隣接映像とを入力し、
   　前記対応画素差分演算手段は、前記基準映像及び前記左隣接映像の間での前記対応画素差分値である左対応画素差分値と、前記基準映像及び前記右隣接映像の間での前記対応画素差分値である右対応画素差分値とを演算し、
   　前記左対応画素差分値又は前記右対応画素差分値のうち小さい方を最小対応画素差分値として選択する最小値選択手段、をさらに備え、
   　前記最小評価値演算手段は、前記対応画素差分値として、前記最小対応画素差分値を用いて前記最小評価値を演算し、
   　前記推定評価値演算手段は、前記対応画素差分値として、前記最小対応画素差分値を用いて前記推定評価値を演算することを特徴とする請求項１又は請求項２に記載の奥行推定装置。
8. 　前記映像入力手段に入力されたカメラ映像のうち、最小サイズのカメラ映像に合わせて他のカメラ映像を縮小する映像縮小手段、
   をさらに備えることを特徴とする請求項１又は請求項２に記載の奥行推定装置。
9. 　コンピュータを、請求項１に記載の奥行推定装置として機能させるための奥行推定プログラム。
10. 　予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、前記被写体の奥行きを示す奥行値を推定する奥行推定方法であって、
    　前記複数配列した前記カメラの何れかにおいて、予め定めた基準カメラで前記被写体を撮影した基準映像と、前記基準カメラ以外の隣接カメラで前記被写体を撮影した隣接映像とを入力する映像入力ステップと、
    　予め定めた最小値から最大値までの推定奥行値及び前記基準映像の注目画素ごとに、前記注目画素の画素値と、当該注目画素の前記推定奥行値の視差に対応する画素位置にある前記隣接映像の対応画素の画素値との差分絶対値である対応画素差分値を演算する対応画素差分演算ステップと、
    　前記最小値を、前記基準映像の全画素における奥行値の初期値として決定する奥行値初期化ステップと、
    　前記推定奥行値及び前記注目画素ごとに、前記注目画素と前記注目画素に隣接する隣接画素との奥行値の差分の和に予め設定した平滑係数が乗算された値を、決定された前記奥行値における前記注目画素の対応画素差分値に加えた最小評価値を演算すると共に、前記推定奥行値と前記隣接画素の奥行値との差分の和に前記平滑係数が乗算された値を、前記推定奥行値における前記注目画素の対応画素差分値に加えた推定評価値を演算する評価値演算ステップと、
    　前記推定奥行値及び前記注目画素ごとに、前記最小評価値と前記推定評価値とを比較し、前記推定評価値が前記最小評価値より小さいか否かを判定する評価値判定ステップと、
    　前記推定評価値が前記最小評価値より小さい場合、前記推定奥行値を前記注目画素の奥行値として決定し、前記注目画素ごとの奥行値からなる奥行マップを生成する奥行値決定ステップと、
    を順に実行することを特徴とする奥行推定方法。

Images