JP5658119B2 - 映像評価装置、映像評価方法、およびプログラム - Google Patents

Description

本発明は、映像評価装置、映像評価方法、およびプログラムに関する。

従来、臨場感の高い映像を撮影、配信、および閲覧する手法が提案されている。この臨場感の高い映像を用いるに際しては、臨場感の評価手法が必須となる。

臨場感は、複数の要素によって成り立つと考えられるが、これら複数の要素のうちの１つとして、映像の奥行感を挙げることができる。そこで、映像がどの程度の奥行感を有しているのかを評価または推定する手法が必要である。また、コンテンツの作成や配信においては、客観評価方式により主観品質を推定することが求められる。

ここで、上述の奥行感とは、奥行知覚、すなわち奥行方向の距離感を視聴者がどの程度得ることができるかということである。例えば、奥行感が無いとは、奥行方向の距離感を視聴者が得ることができないということである。なお、奥行感には、映像における奥行マップ（Ｄｅｐｔｈ Ｍａｐ）が存在するか否かは関係なく、奥行マップがあっても奥行知覚ができなければ、奥行感は無いと表現する。

視聴者が奥行、立体、オブジェクト同士の距離関係などを感じる仕組みとしては、両眼視差、輻輳、フォーカス調整、運動視差などがある（例えば、非特許文献１参照）。

特許文献１には、両眼視差を利用した立体映像の安全性や快適性について評価および管理する手法が示されている。この特許文献１に示されている手法では、まず、オプティカルフローを求める画像処理を用いて、左眼用画像と右眼用画像との対応点間の視差量を算出する。次に、視差量の絶対値の最大値または最小値を時系列で抽出し、評価用データとする。

非特許文献２には、運動視差によって奥行を感じることに対応する、運動からの構造復元技術が示されている。この運動からの構造復元技術とは、特徴点位置の追跡を全画像で行い、反復計算により特徴点の位置およびカメラ位置を算出する。なお、推定の精度を向上させるため、例えばバンドル調整アルゴリズムを適用することができる。バンドル調整とは、画像からその背後にある幾何学的なモデルのパラメータを推定する方法であり、非線形最適化を数値的に実行するという特徴を有するものである。

特開２００５−１４２８１９号公報

金子、空間認識のための視覚情報処理、光学、３１巻１０号、７７１ページ、２００２年 C. Tomsai and T. Kanade, "Shape and Motion from Image Streams: a Factorization Method Full Report on the Orthographic Case," International Journal of Computer Vision, Volume 9, Number 2, pp.137-154, 1992. 金谷健一、菅谷保之、因数分解法の完全レシピ、電子情報通信学会技術報告、ＰＲＭＵ２００３−１１８（２００３−１０）、ｐｐ．１９−２４

特許文献１に示されている手法は、立体映像のうち、両眼視差を利用したものを対象としている。このため、運動視差を利用した立体映像については、特許文献１に示されている手法を適用することができなかった。

また、非特許部文献１には、視聴者が奥行等を感じる仕組みは示されている。しかしながら、これらの仕組みを用いた立体映像について奥行感を評価することは、示されていなかった。

また、非特許文献２には、運動視差を利用した立体映像について奥行感を評価することは、示されていなかった。

そこで、本発明は、上述の課題を鑑みてなされたものであり、運動視差を利用した立体映像の奥行感を評価できる映像評価装置、映像評価方法、およびプログラムを提供することを目的とする。

本発明者らは、上述の目的を達成すべく鋭意検討を行った。その結果、運動視差を利用した立体映像に、この立体映像に含まれる物体の角（コーナー）といった特徴点の空間における３次元座標が含まれている場合、すなわち立体構造が含まれている場合において、特徴点の数が多くなるに従って、この立体映像に対して視聴者が得る奥行感の程度が大きくなる傾向を見出し、本発明を完成させるに至った。

（１） 本発明は、映像を評価する映像評価装置（例えば、図１の映像評価装置１に相当）であって、前記映像を構成する画像ごとに、特徴点（例えば、後述の２つ以上のエッジが交差するコーナーに相当）を抽出する特徴点抽出手段（例えば、図１の特徴点抽出部１０に相当）と、前記特徴点抽出手段により抽出された特徴点のうち、互いに異なる画像に含まれる特徴点であって同一の特徴点同士を、対応付ける特徴点対応手段（例えば、図１の特徴点対応部２０に相当）と、前記特徴点対応手段により対応付けられた特徴点の対応関係と、各画像における特徴点の座標と、に基づいて、当該特徴点対応手段により対応付けられた各特徴点について、世界座標系で表される３次元座標を推定する座標推定手段（例えば、図１の座標推定部３０に相当）と、前記特徴点対応手段により対応付けられた特徴点を計数する特徴点計数手段（例えば、図１の特徴点計数部４０に相当）と、前記座標推定手段による推定結果と、前記特徴点計数手段による計数結果と、に基づいて、前記映像を評価する評価手段（例えば、図１の評価部５０に相当）と、を備え、前記評価手段は、前記座標推定手段により３次元座標を推定できた場合に、前記特徴点計数手段による計数値が大きくなるに従って前記映像の奥行感を高く評価することを特徴とする映像評価装置を提案している。

この発明によれば、映像を評価する映像評価装置に、特徴点抽出手段、特徴点対応手段、座標推定手段、特徴点計数手段、および評価手段を設けた。そして、特徴点抽出手段により、映像を構成する画像ごとに特徴点を抽出し、特徴点対応手段により、特徴点抽出手段により抽出された特徴点のうち、互いに異なる画像に含まれる特徴点であって同一の特徴点同士を、対応付けることとした。また、座標推定手段により、特徴点対応手段により対応付けられた特徴点の対応関係と、各画像における特徴点の座標と、に基づいて、特徴点対応手段により対応付けられた各特徴点について、世界座標系で表される３次元座標を推定することとした。また、特徴点計数手段により、特徴点対応手段により対応付けられた特徴点を計数し、評価手段により、座標推定手段による推定結果と、特徴点計数手段による計数結果と、に基づいて、映像を評価することとした。評価手段による映像の評価については、座標推定手段により３次元座標を推定できた場合に、特徴点計数手段による計数値が大きくなるに従って映像の奥行感を高く評価することとした。

このため、（１）の映像評価装置は、座標推定手段により３次元座標を推定できたか否かにより、映像に立体構造が含まれているか否かを判定できる。そして、映像に立体構造が含まれている場合には、特徴点の数が多くなるに従ってこの映像に対して視聴者が得る奥行感の程度が大きくなる傾向を利用して、特徴点の数が多くなるに従って映像の奥行感を高く評価することができる。一方、映像に立体構造が含まれていない場合には、映像に立体構造が含まれている場合と比べて、映像の奥行感を低く評価することができる。以上によれば、映像の奥行感を評価できる。

また、（１）の映像評価装置では、映像を構成する画像が２つ以上存在すれば、特徴点対応手段により特徴点の対応関係を求めて、この特徴点の対応関係を用いて映像の奥行感を評価することができる。このため、両眼視差を利用した立体映像に限らず、運動視差を利用した立体映像についても、奥行感を評価できる。

（２） 本発明は、（１）の映像評価装置について、前記映像について奥行の有無を判定する奥行有無判定手段（例えば、図５の奥行有無判定部６０に相当）を備え、前記奥行有無判定手段は、前記座標推定手段により推定できた各特徴点の３次元座標を世界座標系からカメラ座標系に変換し、前記座標推定手段により３次元座標を推定できた特徴点ごとに、前記カメラ座標系における奥行方向の座標値を求め、前記座標推定手段により３次元座標を推定できた特徴点の中から、前記奥行方向の座標値の差分の絶対値が最も大きくなる２つを求め、前記２つの特徴点の前記奥行方向の座標値の差分の絶対値が予め定められた閾値以上であれば、奥行が存在すると判定し、前記評価手段は、前記座標推定手段により３次元座標を推定でき、かつ、前記奥行有無判定手段により奥行が存在すると判定された場合には、前記特徴点計数手段による計数値が大きくなるに従って前記映像の奥行感を高く評価することを特徴とする映像評価装置を提案している。

ここで、（１）の映像評価装置において、座標推定手段により３次元座標を推定できたとしても、３次元座標を推定できた複数の特徴点のカメラ座標系における奥行方向の座標値が略等しければ、視聴者が得る奥行感の程度は小さくなってしまう。

そこで、この発明によれば、（１）の映像評価装置に、映像について奥行の有無を判定する奥行有無判定手段を設けた。そして、奥行有無判定手段により、座標推定手段により推定できた各特徴点の３次元座標を世界座標系からカメラ座標系に変換し、座標推定手段により３次元座標を推定できた特徴点ごとに、カメラ座標系における奥行方向の座標値を求め、座標推定手段により３次元座標を推定できた特徴点の中から、奥行方向の座標値の差分の絶対値が最も大きくなる２つを求め、２つの特徴点の奥行方向の座標値の差分の絶対値が予め定められた閾値以上であれば、奥行が存在すると判定することとした。また、評価手段により、座標推定手段により３次元座標を推定でき、かつ、奥行有無判定手段により奥行が存在すると判定された場合に、特徴点計数手段による計数値が大きくなるに従って映像の奥行感を高く評価することとした。

このため、（２）の映像評価装置は、３次元座標を推定できた複数の特徴点のカメラ座標系における奥行方向の座標値が予め定められた閾値以上であれば、奥行が存在すると判定し、映像の奥行感の評価に、この奥行の存在の有無を反映させることができる。したがって、映像の奥行感の評価に、視聴者が得る奥行感の程度をより忠実に反映させることができる。

（３） 本発明は、（１）または（２）の映像評価装置について、前記特徴点は、２つ以上のエッジが交差するコーナーであることを特徴とする映像評価装置を提案している。

この発明によれば、（１）または（２）の映像評価装置において、特徴点とは、２つ以上のエッジが交差するコーナーのこととした。このため、（３）の映像評価装置は、特徴点としてコーナーを用いて、上述した効果と同様の効果を奏することができる。

（４） 本発明は、（１）〜（３）のいずれかの映像評価装置について、前記座標推定手段は、前記特徴点対応手段により対応付けられた特徴点の対応関係と、各画像における特徴点の座標と、に基づいて反復計算アルゴリズムによる反復計算を行い、前記反復計算が収束すれば、前記世界座標系で表される３次元座標を推定できたものとし、前記反復計算が収束しなければ、前記世界座標系で表される３次元座標を推定できなかったものとすることを特徴とする映像評価装置を提案している。

この発明によれば、（１）〜（３）のいずれかの映像評価装置において、座標推定手段により、特徴点対応手段により対応付けられた特徴点の対応関係と、各画像における特徴点の座標と、に基づいて反復計算アルゴリズムによる反復計算を行い、反復計算が収束すれば、世界座標系で表される３次元座標を推定できたものとし、反復計算が収束しなければ、世界座標系で表される３次元座標を推定できなかったものとすることとした。

このため、（４）の映像評価装置は、反復計算アルゴリズムを用いて、３次元座標を推定できたか否かを判定することができる。

（５） 本発明は、（４）の映像評価装置について、前記座標推定手段は、前記反復計算を予め定められた回数繰り返すまでに、前回の反復計算からの反復計算結果の変化が第１閾値以下になれば、前記反復計算が収束したものとし、前記反復計算を予め定められた回数繰り返すまでに、前回の反復計算からの反復計算結果の変化が前記第１閾値以下にならなければ、前記反復計算が収束しなかったものとすることを特徴とする映像評価装置を提案している。

この発明によれば、（４）の映像評価装置において、座標推定手段により、反復計算を予め定められた回数繰り返すまでに、前回の反復計算からの反復計算結果の変化が第１閾値以下になれば、反復計算が収束したものとし、反復計算を予め定められた回数繰り返すまでに、前回の反復計算からの反復計算結果の変化が第１閾値以下にならなければ、反復計算が収束しなかったものとすることとした。

このため、（５）の映像評価装置は、反復計算が収束したか否かを、前回の反復計算からの反復計算結果の変化が第１閾値以下であるか否かにより、判定できる。

（６） 本発明は、（１）〜（５）のいずれかの映像評価装置について、前記特徴点計数手段は、前記特徴点対応手段により対応付けられた特徴点のうち、前記座標推定手段により３次元座標を推定できたものを計数することを特徴とする映像評価装置を提案している。

この発明によれば、特徴点計数手段により、特徴点対応手段により対応付けられた特徴点のうち、座標推定手段により３次元座標を推定できたものを計数することとした。

このため、座標推定手段により３次元座標を推定できなかった特徴点を、評価手段による映像の奥行感の評価に反映させないようにすることができる。これによれば、映像の奥行感をより的確に評価できる場合がある。

（７） 本発明は、（１）〜（６）のいずれかの映像評価装置について、前記映像は、多視点映像であり、前記特徴点抽出手段は、前記多視点映像について、各視点の画像ごとに、特徴点を抽出し、前記特徴点対応手段は、前記特徴点抽出手段により抽出された特徴点のうち、同一の視点における互いに異なる画像に含まれる特徴点であって同一の特徴点同士を対応付けるとともに、前記特徴点抽出手段により抽出された特徴点のうち、互いに異なる視点における画像に含まれる特徴点であって同一の特徴点同士を対応付けることを特徴とする映像評価装置を提案している。

この発明によれば、（１）〜（６）のいずれかの映像評価装置において、特徴点抽出手段により、多視点映像である映像について、各視点の画像ごとに、特徴点を抽出することとした。また、特徴点対応手段により、特徴点抽出手段により抽出された特徴点のうち、同一の視点における互いに異なる画像に含まれる特徴点であって同一の特徴点同士を対応付けるとともに、特徴点抽出手段により抽出された特徴点のうち、互いに異なる視点における画像に含まれる特徴点であって同一の特徴点同士を対応付けることとした。

このため、（７）の映像評価装置は、多視点映像について、奥行感を評価できる。

（８） 本発明は、映像を評価する映像評価方法であって、前記映像を構成する画像ごとに、特徴点（例えば、後述の２つ以上のエッジが交差するコーナーに相当）を抽出する第１のステップ（例えば、図２のステップＳ１の特徴点抽出処理に相当）と、前記第１のステップにおいて抽出した特徴点のうち、互いに異なる画像に含まれる特徴点であって同一の特徴点同士を、対応付ける第２のステップ（例えば、図２のステップＳ２の特徴点対応処理に相当）と、前記第２のステップにおいて対応付けた特徴点の対応関係と、各画像における特徴点の座標と、に基づいて、当該第２のステップにおいて対応付けた各特徴点について、世界座標系で表される３次元座標を推定する第３のステップ（例えば、図２のステップＳ３の座標推定処理に相当）と、前記第２のステップにおいて対応付けた特徴点を計数する第４のステップ（例えば、図２のステップＳ４の特徴点計数処理に相当）と、前記第３のステップにおける推定結果と、前記第４のステップにおける計数結果と、に基づいて、前記映像を評価する第５のステップ（例えば、図２のステップＳ５の奥行感評価処理に相当）と、を備え、前記第５のステップでは、前記第３のステップにおいて３次元座標を推定できた場合に、前記第４のステップにおける計数値が大きくなるに従って前記映像の奥行感を高く評価することを特徴とする映像評価方法を提案している。

この発明によれば、まず、映像を構成する画像ごとに特徴点を抽出し、抽出した特徴点のうち、互いに異なる画像に含まれる特徴点であって同一の特徴点同士を対応付けることとした。次に、対応付けた特徴点の対応関係と、各画像における特徴点の座標と、に基づいて、対応付けた各特徴点について、世界座標系で表される３次元座標を推定し、対応付けた特徴点を計数することとした。次に、上述の３次元座標の推定結果と、上述の特徴点の計数結果と、に基づいて、映像を評価することとした。映像の評価では、上述の３次元座標を推定できた場合に、上述の特徴点の計数値が大きくなるに従って映像の奥行感を高く評価することとした。以上によれば、上述した効果と同様の効果を奏することができる。

（９） 本発明は、映像を評価する映像評価方法を、コンピュータに実行させるためのプログラムであって、前記映像を構成する画像ごとに、特徴点（例えば、後述の２つ以上のエッジが交差するコーナーに相当）を抽出する第１のステップ（例えば、図２のステップＳ１の特徴点抽出処理に相当）と、前記第１のステップにおいて抽出した特徴点のうち、互いに異なる画像に含まれる特徴点であって同一の特徴点同士を、対応付ける第２のステップ（例えば、図２のステップＳ２の特徴点対応処理に相当）と、前記第２のステップにおいて対応付けた特徴点の対応関係と、各画像における特徴点の座標と、に基づいて、当該第２のステップにおいて対応付けた各特徴点について、世界座標系で表される３次元座標を推定する第３のステップ（例えば、図２のステップＳ３の座標推定処理に相当）と、前記第２のステップにおいて対応付けた特徴点を計数する第４のステップ（例えば、図２のステップＳ４の特徴点計数処理に相当）と、前記第３のステップにおける推定結果と、前記第４のステップにおける計数結果と、に基づいて、前記映像を評価する第５のステップ（例えば、図２のステップＳ５の奥行感評価処理に相当）と、をコンピュータに実行させ、前記第５のステップでは、前記第３のステップにおいて３次元座標を推定できた場合に、前記第４のステップにおける計数値が大きくなるに従って前記映像の奥行感を高く評価させるためのプログラムを提案している。

この発明によれば、プログラムをコンピュータに実行させることで、まず、映像を構成する画像ごとに特徴点を抽出し、抽出した特徴点のうち、互いに異なる画像に含まれる特徴点であって同一の特徴点同士を対応付けることとした。次に、対応付けた特徴点の対応関係と、各画像における特徴点の座標と、に基づいて、対応付けた各特徴点について、世界座標系で表される３次元座標を推定し、対応付けた特徴点を計数することとした。次に、上述の３次元座標の推定結果と、上述の特徴点の計数結果と、に基づいて、映像を評価することとした。映像の評価では、上述の３次元座標を推定できた場合に、上述の特徴点の計数値が大きくなるに従って映像の奥行感を高く評価することとした。以上によれば、上述した効果と同様の効果を奏することができる。

本発明によれば、運動視差を利用した映像の奥行感を評価できる。

本発明の第１実施形態に係る映像評価装置の構成を示すブロック図である。 前記映像評価装置のフローチャートである。 本発明の第２実施形態に係る映像評価装置の構成を示すブロック図である。 前記映像評価装置のフローチャートである。 本発明の第３実施形態に係る映像評価装置の構成を示すブロック図である。 前記映像評価装置のフローチャートである。 本発明の第４実施形態に係る映像評価装置の構成を示すブロック図である。 前記映像評価装置のフローチャートである。 本発明の第５実施形態に係る映像評価装置の構成を示すブロック図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第１実施形態＞
［映像評価装置１の構成］
図１は、本発明の第１実施形態に係る映像評価装置１の構成を示すブロック図である。映像評価装置１は、１種類の視点で生成された映像の奥行感を評価する。この映像評価装置１は、特徴点抽出部１０、特徴点対応部２０、座標推定部３０、特徴点計数部４０、および評価部５０を備える。

特徴点抽出部１０は、１種類の視点で生成された映像を構成する画像ごとに、特徴点を抽出する。この特徴点の抽出には、例えばＳＩＦＴやＨａｒｒｉｓオペレータなどを用いることができる。なお、特徴点とは、２つ以上のエッジが交差するコーナーのことである。

特徴点対応部２０は、特徴点抽出部１０により抽出された特徴点について、画像間での対応関係を求める。具体的には、特徴点抽出部１０により抽出された特徴点のうち、互いに異なる画像に含まれる特徴点であって同一の特徴点同士を、対応付ける。これによれば、画像に含まれる特徴点が、画像が切り替わることによってどのように移動したのかを、認識できる。

座標推定部３０は、特徴点対応部２０により対応付けられた特徴点の対応関係と、各画像における特徴点の座標と、に基づいて、特徴点対応部２０により対応付けられた各特徴点について、世界座標系で表される３次元座標を推定する。この世界座標系で表される３次元座標の推定には、例えば、上述のバンドル調整アルゴリズムや、上述の非特許文献３に示されている因子分解法といった、反復計算アルゴリズムを用いることができる。

なお、上述の反復計算アルゴリズムでは、反復計算が行われることになる。反復計算が収束すれば、世界座標系で表される３次元座標を推定できたことになり、反復計算が収束しなければ、世界座標系で表される３次元座標を推定できなかったことになる。ここで、反復計算が収束するとは、上述の反復計算を予め定められた回数繰り返すまでに、前回の反復計算からの反復計算結果の変化が第１閾値以下になるということ、すなわち、今回の反復計算結果と、前回の反復計算結果と、の差分の絶対値が予め定められた第１閾値以下になるということである。一方、反復計算が収束しないとは、上述の反復計算を予め定められた回数繰り返すまでに、前回の反復計算からの反復計算結果の変化が第１閾値以下にならないということ、すなわち、今回の反復計算結果と、前回の反復計算結果と、の差分の絶対値が予め定められた第１閾値以下にならないということである。

特徴点計数部４０は、特徴点対応部２０により対応付けられた特徴点を計数する。計数については、例えば、特徴点対応部２０により対応付けられた特徴点の数をそのまま計数する手法（以降、「第１の手法」と呼ぶこととする）を適用してもよいし、特徴点対応部２０により対応付けられた特徴点の組数を計数する手法（以降、「第２の手法」と呼ぶこととする）を適用してもよい。

ここで、仮に、特徴点抽出部１０において、２つの画像からそれぞれ特徴点が５個ずつ抽出され、特徴点対応部２０において、各画像にそれぞれ含まれる５個の特徴点のうち、４個ずつが対応付けられ、残りの１個ずつが対応付けられなかったものとする。この場合、第１の手法を適用すると、特徴点計数部４０による計数結果は「８」となり、第２の手法を適用すると、特徴点計数部４０の計数結果は「４」となる。

評価部５０は、座標推定部３０による推定結果と、特徴点計数部４０による計数結果と、に基づいて、映像を評価する。具体的には、座標推定部３０により３次元座標を推定できた場合、すなわち座標推定部３０による上述の反復計算が収束した場合、言い換えると映像に立体構造が含まれていると判定した場合には、特徴点計数部４０による計数値が大きくなるに従って、映像の奥行感を高く評価する。また、座標推定部３０により３次元座標を推定できなかった場合、すなわち座標推定部３０による上述の反復計算が収束しなかった場合、言い換えると映像に立体構造が含まれていないと判定した場合には、特徴点計数部４０による計数値によらず、映像に立体構造が含まれている場合と比べて、映像の奥行感を低く評価する。

なお、映像の奥行感の評価には、例えば、数値を用いることができる。具体的には、例えば、評価値の最大値を「１００」とし、評価値の最小値を「０」とする。そして、映像に立体構造が含まれていると判定した場合には、特徴点計数部４０による計数値が大きくなるに従って、上限を「１００」として評価値を大きく設定する。一方、映像に立体構造が含まれていないと判定した場合には、評価値を「０」に設定する。

［映像評価装置１による映像評価処理］
以上の映像評価装置１の動作手順について、図２を用いて以下に説明する。図２は、映像評価装置１が実行する映像評価処理のフローチャートである。

ステップＳ１において、特徴点抽出部１０により、特徴点抽出処理を行って、ステップＳ２に処理を移す。特徴点抽出処理では、映像を構成する画像ごとに特徴点を抽出する。

ステップＳ２において、特徴点対応部２０により、特徴点対応処理を行って、ステップＳ３およびステップＳ４に処理を移す。特徴点対応処理では、ステップＳ１で抽出した特徴点について、画像間での対応付けを行う。

ステップＳ３では、座標推定部３０により、座標推定処理を行う。座標推定処理では、ステップＳ２で対応付けた特徴点の対応関係と、ステップＳ１で抽出した各画像における特徴点の座標と、に基づいて、ステップＳ２で対応付けた各特徴点について、世界座標系で表される３次元座標を推定する。

ステップＳ４では、特徴点計数部４０により、特徴点計数処理を行う。特徴点計数処理では、ステップＳ２で対応付けた特徴点を計数する。

ステップＳ３における座標推定処理と、ステップＳ４における特徴点計数処理と、を終えると、ステップＳ５に処理を移す。

ステップＳ５において、評価部５０により、奥行感評価処理を行って、映像評価処理を終了する。奥行感評価処理では、ステップＳ３での推定結果と、ステップＳ４での計数結果と、に基づいて、映像を評価する。

以上の映像評価装置１は、以下の効果を奏することができる。

映像評価装置１は、座標推定部３０により３次元座標を推定できたか否かにより、映像に立体構造が含まれているか否かを判定する。そして、映像に立体構造が含まれている場合には、特徴点の数が多くなるに従ってこの映像に対して視聴者が得る奥行感の程度が大きくなる傾向を利用して、特徴点計数部４０による特徴点の計数値が大きくなるに従って映像の奥行感を高く評価する。一方、映像に立体構造が含まれていない場合には、映像に立体構造が含まれている場合と比べて、映像の奥行感を低く評価する。以上によれば、映像の奥行感を評価できる。

また、映像評価装置１では、映像を構成する画像が２つ以上存在すれば、特徴点対応部２０により特徴点の対応関係を求めて、この特徴点の対応関係を用いて映像の奥行感を評価することができる。このため、両眼視差を利用した立体映像に限らず、運動視差を利用した立体映像についても、奥行感を評価できる。

＜第２実施形態＞
［映像評価装置１Ａの構成］
図３は、本発明の第２実施形態に係る映像評価装置１Ａの構成を示すブロック図である。映像評価装置１Ａは、本発明の第１実施形態に係る映像評価装置１とは、特徴点計数部４０の代わりに特徴点計数部４０Ａを備える点が異なる。なお、映像評価装置１Ａにおいて、映像評価装置１と同一構成要件については、同一符号を付し、その説明を省略する。

特徴点計数部４０Ａは、特徴点対応部２０により対応付けられた特徴点のうち、座標推定部３０により３次元座標を推定できたものを計数する。

［映像評価装置１Ａによる映像評価処理］
以上の映像評価装置１Ａの動作手順について、図４を用いて以下に説明する。図４は、映像評価装置１Ａが実行する映像評価処理のフローチャートである。

ステップＳ１１〜Ｓ１３のそれぞれでは、図２に示したステップＳ１〜Ｓ３のそれぞれと同様の処理を行う。

ステップＳ１４において、特徴点計数部４０Ａにより、特徴点計数処理を行う。特徴点計数処理では、ステップＳ１２で対応付けた特徴点のうち、ステップＳ１３で３次元座標を推定できたものを計数する。

ステップＳ１３における座標推定処理と、ステップＳ１４における特徴点計数処理と、を終えると、ステップＳ１５に処理を移す。

ステップＳ１５において、評価部５０により、奥行感評価処理を行って、映像評価処理を終了する。奥行感評価処理では、ステップＳ１３での推定結果と、ステップＳ１４での計数結果と、に基づいて、映像を評価する。

以上の映像評価装置１Ａは、映像評価装置１が奏することのできる上述の効果に加えて、以下の効果を奏することができる。

映像評価装置１Ａは、特徴点計数部４０Ａにより、特徴点対応部２０により対応付けられた特徴点のうち、座標推定部３０により３次元座標を推定できたものを計数する。このため、座標推定部３０により３次元座標を推定できなかった特徴点を、評価部５０による映像の奥行感の評価に反映させないようにすることができる。これによれば、映像の奥行感をより的確に評価できる場合がある。

＜第３実施形態＞
［映像評価装置１Ｂの構成］
図５は、本発明の第３実施形態に係る映像評価装置１Ｂの構成を示すブロック図である。映像評価装置１Ｂは、本発明の第１実施形態に係る映像評価装置１とは、評価部５０の代わりに評価部５０Ａを備える点と、奥行有無判定部６０を備える点と、が異なる。なお、映像評価装置１Ｂにおいて、映像評価装置１と同一構成要件については、同一符号を付し、その説明を省略する。

奥行有無判定部６０は、映像について奥行の存在の有無を判定する。具体的には、まず、座標推定部３０により推定できた各特徴点の３次元座標を世界座標系からカメラ座標系に変換する。次に、座標推定部３０により３次元座標を推定できた特徴点ごとに、カメラ座標における奥行方向の座標値を求める。次に、座標推定部３０により３次元座標を推定できた特徴点の中から、カメラ座標系における奥行方向の座標値の差分の絶対値が最も大きくなる２つを求め、求めた２つの特徴点を第１特徴点および第２特徴点とする。次に、第１特徴点と第２特徴点とのカメラ座標系における奥行方向の座標値の差分の絶対値について、予め定められた閾値以上である場合には、奥行が存在すると判定し、予め定められた閾値未満である場合には、奥行が存在しないと判定する。

評価部５０Ａは、座標推定部３０による推定結果と、特徴点計数部４０による計数結果と、奥行有無判定部６０による判定結果と、に基づいて、映像を評価する。具体的には、座標推定部３０により３次元座標を推定でき、かつ、奥行有無判定部６０により奥行が存在すると判定された場合には、特徴点計数部４０による計数値が大きくなるに従って映像の奥行感を高く評価する。また、座標推定部３０により３次元座標を推定できなかった場合と、奥行有無判定部６０により奥行が存在しないと判定された場合とには、特徴点計数部４０による計数値によらず、座標推定部３０により３次元座標を推定でき、かつ、奥行有無判定部６０により奥行が存在すると判定された場合と比べて、映像の奥行感を低く評価する。

［映像評価装置１Ｂによる映像評価処理］
以上の映像評価装置１Ｂの動作手順について、図６を用いて以下に説明する。図６は、映像評価装置１Ｂが実行する映像評価処理のフローチャートである。

ステップＳ２１〜Ｓ２４のそれぞれでは、図２に示したステップＳ１〜Ｓ４のそれぞれと同様の処理を行う。ステップＳ２３の処理を終えると、ステップＳ２５に処理を移す。

ステップＳ２５において、奥行有無判定部６０により、奥行有無判定処理を行う。奥行有無判定処理では、映像について奥行の存在の有無を判定する。

ステップＳ２４における特徴点計数処理と、ステップＳ２５における奥行有無判定処理と、を終えると、ステップＳ２６に処理を移す。

ステップＳ２６において、評価部５０Ａにより、奥行感評価処理を行って、映像評価処理を終了する。奥行感評価処理では、ステップＳ２３での推定結果と、ステップＳ２４での計数結果と、ステップＳ２５での判定結果と、に基づいて、映像を評価する。

以上の映像評価装置１Ｂは、映像評価装置１が奏することのできる上述の効果に加えて、以下の効果を奏することができる。

映像に立体構造が含まれていても、この映像に奥行が存在していなければ、映像の奥行感の程度が小さくなる傾向を、本発明者らは見出している。ここで、映像に奥行が存在していないとは、映像に含まれる全ての特徴点のカメラ座標系における奥行方向の座標値が、予め定められた範囲内に存在するということ、すなわちカメラ座標系における奥行方向で近い位置に、映像に含まれる全ての特徴点が存在するということである。

映像評価装置１Ｂは、カメラ座標系における奥行方向で最も手前にあるものと、カメラ座標系における奥行方向で最も奥にあるものと、の奥行方向の座標値の差分の絶対値が閾値以上であれば、映像に奥行が存在すると判定する。そして、映像に立体構造が含まれており、かつ、この映像に奥行が存在している場合に、特徴点計数部４０による特徴点の計数値が大きくなるに従って映像の奥行感を高く評価する。このため、映像の奥行感の評価に、映像の奥行の有無を反映させることができる。したがって、映像評価装置１と比べてより忠実に、映像の奥行感の評価に、視聴者が得る奥行感の程度を反映させることができる。

＜第４実施形態＞
［映像評価装置１Ｃの構成］
図７は、本発明の第４実施形態に係る映像評価装置１Ｃの構成を示すブロック図である。映像評価装置１Ｃは、本発明の第２実施形態に係る映像評価装置１Ａとは、評価部５０の代わりに本発明の第３実施形態に係る映像評価装置１Ｂが備える評価部５０Ａを備える点と、映像評価装置１Ｂが備える奥行有無判定部６０を備える点と、が異なる。なお、映像評価装置１Ｃにおいて、映像評価装置１Ａ、１Ｂと同一構成要件については、同一符号を付し、その説明を省略する。

［映像評価装置１Ｃによる映像評価処理］
以上の映像評価装置１Ｃの動作手順について、図８を用いて以下に説明する。図８は、映像評価装置１Ｃが実行する映像評価処理のフローチャートである。

ステップＳ３１〜Ｓ３４のそれぞれでは、図４に示したステップＳ１１〜Ｓ１４のそれぞれと同様の処理を行う。ステップＳ３３の処理を終えると、ステップＳ３４およびステップＳ３５に処理を移す。

ステップＳ３５において、奥行有無判定部６０により、奥行有無判定処理を行う。奥行有無判定処理では、映像について奥行の存在の有無を判定する。

ステップＳ３４における特徴点計数処理と、ステップＳ３５における奥行有無判定処理と、を終えると、ステップＳ３６に処理を移す。

ステップＳ３６において、評価部５０Ａにより、奥行感評価処理を行って、映像評価処理を終了する。奥行感評価処理では、ステップＳ３３での推定結果と、ステップＳ３４での計数結果と、ステップＳ３５での判定結果と、に基づいて、映像を評価する。

以上の映像評価装置１Ｃは、映像評価装置１Ａ、１Ｂが奏することのできる上述の効果と同様の効果を奏することができる。

＜第５実施形態＞
［映像評価装置１Ｄの構成］
図９は、本発明の第５実施形態に係る映像評価装置１Ｄの構成を示すブロック図である。映像評価装置１Ｄは、本発明の第１実施形態に係る映像評価装置１とは、評価対象となる映像が異なる。具体的には、映像評価装置１において評価対象となる映像は、１種類の視点で生成された映像であったが、映像評価装置１Ｄにおいて評価対象となる映像は、２種類以上の視点で生成された多視点映像である。

映像評価装置１Ｄは、映像評価装置１とは、特徴点抽出部１０の代わりに特徴点抽出部１０Ａを備える点と、特徴点対応部２０の代わりに特徴点対応部２０Ａを備える点と、が異なる。なお、映像評価装置１Ｄにおいて、映像評価装置１と同一構成要件については、同一符号を付し、その説明を省略する。

特徴点抽出部１０Ａは、多視点映像について、各視点の画像ごとに、特徴点を抽出する。この特徴点の抽出には、上述の特許文献１に示されているオプティカルフローや、テンプレートマッチングなどを用いることができる。

特徴点対応部２０Ａは、特徴点抽出部１０Ａにより抽出された特徴点について、視点間および画像間での対応関係を求める。

画像間での対応関係を求めるとは、同一の視点における互いに異なる画像について、これら画像に含まれる特徴点であって同一の特徴点同士を対応付けるということであり、特徴点対応部２０と同様の処理により実現できる。これによれば、同一の視点における画像に含まれる特徴点が、同一の視点における画像が切り替わることによってどのように移動したのかを、認識できる。

一方、視点間での対応関係を求めるとは、互いに異なる視点における画像について、これら画像に含まれる特徴点であって同一の特徴点同士を対応付けることであり、上述のオプティカルフローやテンプレートマッチングなどにより実現できる。これによれば、各特徴点について、視点が異なることによって３次元座標がどのように異なるのかを、認識できる。

以上の映像評価装置１Ｄによれば、映像評価装置１が奏することのできる上述の効果に加えて、以下の効果を奏することができる。

映像評価装置１Ｄは、１種類の視点で生成された映像だけでなく、多視点映像についても、評価することができる。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

例えば、上述の第５実施形態に係る映像評価装置１Ｄは、映像評価装置１における特徴点抽出部１０および特徴点対応部２０を、それぞれ、特徴点抽出部１０Ａおよび特徴点対応部２０Ａに置き換えたものとしたが、これに限らない。例えば、映像評価装置１Ａ、１Ｂ、１Ｃにおける特徴点抽出部１０および特徴点対応部２０を、それぞれ、特徴点抽出部１０Ａおよび特徴点対応部２０Ａに置き換えたものとしてもよい。

１、１Ａ、１Ｂ、１Ｃ、１Ｄ・・・映像評価装置
１０、１０Ａ・・・特徴点抽出部
２０、２０Ａ・・・特徴点対応部
３０・・・座標推定部
４０、４０Ａ・・・特徴点計数部
５０、５０Ａ・・・評価部
６０・・・奥行有無判定部

Claims (9)

1. 映像を評価する映像評価装置であって、
   前記映像を構成する画像ごとに、特徴点を抽出する特徴点抽出手段と、
   前記特徴点抽出手段により抽出された特徴点のうち、互いに異なる画像に含まれる特徴点であって同一の特徴点同士を、対応付ける特徴点対応手段と、
   前記特徴点対応手段により対応付けられた特徴点の対応関係と、各画像における特徴点の座標と、に基づいて、当該特徴点対応手段により対応付けられた各特徴点について、世界座標系で表される３次元座標を推定する座標推定手段と、
   前記特徴点対応手段により対応付けられた特徴点を計数する特徴点計数手段と、
   前記座標推定手段による推定結果と、前記特徴点計数手段による計数結果と、に基づいて、前記映像を評価する評価手段と、を備え、
   前記評価手段は、前記座標推定手段により３次元座標を推定できた場合に、前記特徴点計数手段による計数値が大きくなるに従って前記映像の奥行感を高く評価することを特徴とする映像評価装置。
2. 前記映像について奥行の有無を判定する奥行有無判定手段を備え、
   前記奥行有無判定手段は、
   前記座標推定手段により推定できた各特徴点の３次元座標を世界座標系からカメラ座標系に変換し、
   前記座標推定手段により３次元座標を推定できた特徴点ごとに、前記カメラ座標系における奥行方向の座標値を求め、
   前記座標推定手段により３次元座標を推定できた特徴点の中から、前記奥行方向の座標値の差分の絶対値が最も大きくなる２つを求め、
   前記２つの特徴点の前記奥行方向の座標値の差分の絶対値が予め定められた閾値以上であれば、奥行が存在すると判定し、
   前記評価手段は、前記座標推定手段により３次元座標を推定でき、かつ、前記奥行有無判定手段により奥行が存在すると判定された場合に、前記特徴点計数手段による計数値が大きくなるに従って前記映像の奥行感を高く評価することを特徴とする請求項１に記載の映像評価装置。
3. 前記特徴点は、２つ以上のエッジが交差するコーナーであることを特徴とする請求項１または２に記載の映像評価装置。
4. 前記座標推定手段は、
   前記特徴点対応手段により対応付けられた特徴点の対応関係と、各画像における特徴点の座標と、に基づいて反復計算アルゴリズムによる反復計算を行い、
   前記反復計算が収束すれば、前記世界座標系で表される３次元座標を推定できたものとし、
   前記反復計算が収束しなければ、前記世界座標系で表される３次元座標を推定できなかったものとすることを特徴とする請求項１から３のいずれかに記載の映像評価装置。
5. 前記座標推定手段は、
   前記反復計算を予め定められた回数繰り返すまでに、前回の反復計算からの反復計算結果の変化が第１閾値以下になれば、前記反復計算が収束したものとし、
   前記反復計算を予め定められた回数繰り返すまでに、前回の反復計算からの反復計算結果の変化が前記第１閾値以下にならなければ、前記反復計算が収束しなかったものとすることを特徴とする請求項４に記載の映像評価装置。
6. 前記特徴点計数手段は、前記特徴点対応手段により対応付けられた特徴点のうち、前記座標推定手段により３次元座標を推定できたものを計数することを特徴とする請求項１から５のいずれかに記載の映像評価装置。
7. 前記映像は、多視点映像であり、
   前記特徴点抽出手段は、前記多視点映像について、各視点の画像ごとに、特徴点を抽出し、
   前記特徴点対応手段は、
   前記特徴点抽出手段により抽出された特徴点のうち、同一の視点における互いに異なる画像に含まれる特徴点であって同一の特徴点同士を対応付けるとともに、
   前記特徴点抽出手段により抽出された特徴点のうち、互いに異なる視点における画像に含まれる特徴点であって同一の特徴点同士を対応付けることを特徴とする請求項１から６のいずれかに記載の映像評価装置。
8. 映像を評価する映像評価方法であって、
   前記映像を構成する画像ごとに、特徴点を抽出する第１のステップと、
   前記第１のステップにおいて抽出した特徴点のうち、互いに異なる画像に含まれる特徴点であって同一の特徴点同士を、対応付ける第２のステップと、
   前記第２のステップにおいて対応付けた特徴点の対応関係と、各画像における特徴点の座標と、に基づいて、当該第２のステップにおいて対応付けた各特徴点について、世界座標系で表される３次元座標を推定する第３のステップと、
   前記第２のステップにおいて対応付けた特徴点を計数する第４のステップと、
   前記第３のステップにおける推定結果と、前記第４のステップにおける計数結果と、に基づいて、前記映像を評価する第５のステップと、を備え、
   前記第５のステップでは、前記第３のステップにおいて３次元座標を推定できた場合に、前記第４のステップにおける計数値が大きくなるに従って前記映像の奥行感を高く評価することを特徴とする映像評価方法。
9. 映像を評価する映像評価方法を、コンピュータに実行させるためのプログラムであって、
   前記映像を構成する画像ごとに、特徴点を抽出する第１のステップと、
   前記第１のステップにおいて抽出した特徴点のうち、互いに異なる画像に含まれる特徴点であって同一の特徴点同士を、対応付ける第２のステップと、
   前記第２のステップにおいて対応付けた特徴点の対応関係と、各画像における特徴点の座標と、に基づいて、当該第２のステップにおいて対応付けた各特徴点について、世界座標系で表される３次元座標を推定する第３のステップと、
   前記第２のステップにおいて対応付けた特徴点を計数する第４のステップと、
   前記第３のステップにおける推定結果と、前記第４のステップにおける計数結果と、に基づいて、前記映像を評価する第５のステップと、をコンピュータに実行させ、
   前記第５のステップでは、前記第３のステップにおいて３次元座標を推定できた場合に、前記第４のステップにおける計数値が大きくなるに従って前記映像の奥行感を高く評価させるためのプログラム。

Images