JP6154759B2 - カメラパラメータ推定装置、カメラパラメータ推定方法及びカメラパラメータ推定プログラム - Google Patents

Description

本発明は、カメラパラメータを推定するカメラパラメータ推定装置、カメラパラメータ推定方法及びカメラパラメータ推定プログラムに関する。

画像や映像から撮影シーンの三次元形状推定、あるいは仮想視点からの画像を合成するといった幾何学的な処理を加えるには、撮影したカメラ（群）の内部パラメータ（焦点距離や画像中心など）や外部パラメータ（カメラ間の位置姿勢）といったカメラパラメータを推定するカメラキャリブレーションの処理が必要である。通常、画像ベースのカメラキャリブレーションは撮影前に専用の機材（チェスパターンなど）を用いて行われるが、この手法は撮影が開始されればカメラは固定であることを想定しており、カメラの焦点距離や位置情報が変化するような動的なカメラを利用する場合にはこの手法は適用が困難である。

これに対し、専用の機材を用いずに、画像に存在する情報からカメラキャリブレーションを行う手法が提案されている（例えば、非特許文献１参照）。これらの手法は複数台のカメラで撮影された画像（ただし、それぞれの画像は重複領域を持つ）に対して特徴点を検出し、特徴点間の対応をとり、それらを基にカメラキャリブレーションを行う。後者の手法は前者の手法とは異なり、専用の機材を必要としないため様々な撮影映像に適用可能である。ここでは後者のアプローチを自然特徴点ベースキャリブレーションと呼ぶこととする。この自然特徴点ベースキャリブレーションでは、ある画像のペアにおいて少なくとも８組以上の特徴点の対応を必要とし、対応の精度がカメラパラメータの推定精度に大きく影響をおよぼすことが知られている。

自然特徴点ベースキャリブレーションでは、撮影に用いているカメラ間の位置や姿勢の差が大きくなると、撮影された画像群において特徴点の見えが変わってしまい、本来対応付けられるべきでない特徴点同士が対応付けられる、あるいは対応付けられるべきである特徴点が対応付けられない場合があり、カメラパラメータの推定精度が低下するという問題がある。

この問題に対しては、処理対象が映像である場合には特徴点に対して時系列制約を課すことが有効であることが知られている。これはある時刻において求められた特徴点、およびそれらの正しい対応を他の時刻にも引き継ぐことで、特徴点の見えの連続的な変化による精度低下に対応したものである。ここではこのアプローチを画像ベース時系列制約と呼ぶこととする。

Noah Snavely, Steven M Seitz, Richard Szeliski,"Photo Tourism: Exploring image collections in 3D",ACM Transaction on Graphics (Proceedings of SIGGRAPH 2006), 2006

しかしながら、この画像ベース時系列制約を用いるためには、ある特徴点と、それに対応する特徴点が他の画像（他のカメラによって撮影された画像）上においても検出され、かつそれらが連続する複数時間に渡り検出され続けなければならない。そのため、カメラの移動や被写体の変化に伴う見えの急激な変化が発生する映像（例えば舞台のように照明変化を伴うコンテンツを手持ちカメラのような映像にブレの入りやすい環境で撮影されたもの）にはこの時系列制約は適用できない場合がある。

本発明は、このような事情に鑑みてなされたもので、推定するカメラパラメータの推定精度を向上させることができるカメラパラメータ推定装置及びカメラパラメータ推定プログラムを提供することを目的とする。

本発明は、複数のカメラで撮影された映像から前記複数のカメラのカメラパラメータを推定するカメラパラメータ推定装置であって、前記映像から特徴点を検出する特徴点検出部と、検出された前記特徴点の対応付けを行う特徴点対応付け部と、対応付けられた前記特徴点から前記カメラパラメータの推定値を算出するカメラパラメータ推定部と、既に推定された前記カメラパラメータの推定値に基づいてカメラパラメータの予測値を算出するカメラパラメータ予測部とを備え、前記特徴点対応付け部は、前記カメラパラメータの予測値から導出される特徴点の対応付けに関する制約を用いて対応付けを行うことを特徴とする。

本発明は、前記カメラパラメータ予測部は、既に推定された前記カメラパラメータの推定値のうち直前のものを前記カメラパラメータの予測値とし、前記特徴点対応付け部において用いる制約は、エピポーラ制約であることを特徴とする。

本発明は、前記カメラパラメータ予測部は、既に推定された前記カメラパラメータの推定値に基づいてカメラパラメータの予測値の確率分布を算出し、前記特徴点対応付け部は、前記確率分布に出現するカメラパラメータの予測値ごとに定まるエピポーラ制約と前記カメラパラメータの予測値に付与されている確率に基づいて特徴点間の対応付けを行うことを特徴とする。

本発明は、前記カメラパラメータ予測部が算出する前記確率分布は、既に推定された前記カメラパラメータの推定値に対して直前のものほど大きくなる重みを付与したことを特徴とする。

本発明は、前記カメラの位置及び姿勢の変化を計測するセンサを更に備え、前記カメラパラメータ推定部は、前記カメラパラメータの推定値を前記対応付けられた特徴点から算出できない場合に、過去に算出したカメラパラメータの推定値と前記センサにより計測されるカメラの位置及び姿勢の変化の度合いに基づいて前記カメラパラメータの推定値を算出することを特徴とする。

本発明は、コンピュータを、前記カメラパラメータ推定装置として機能させるためのカメラパラメータ推定プログラムである。

本発明によれば、推定するカメラパラメータの推定精度を向上させることができるという効果が得られる。

本発明の第１実施形態の構成を示すブロック図である。 図１に示すカメラパラメータ推定装置の処理動作を示すフローチャートである。 本発明の第２実施形態おけるカメラパラメータ推定装置の処理動作を示すフローチャートである。 本発明の第３実施形態おけるカメラパラメータ推定装置の処理動作を示すフローチャートである。 本発明の第５実施形態によるカメラパラメータ推定装置の構成を示すブロック図である。 本発明の第５実施形態おけるカメラパラメータ推定装置の処理動作を示すフローチャートである。 本発明によるカメラパラメータ推定装置を適用することによって得られるカメラパラメータのみを用いて多視点映像アプリケーションの例を示す説明図である。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態によるカメラパラメータ推定装置を説明する。以下で説明する実施形態では、自然特徴点ベースキャリブレーションにおいて、時系列制約を設けることによる精度向上を目指す上で、画像ベース時系列制約のように特徴点検出及び対応付けの連続性に着目した制約を設けるのではなく、推定されたカメラパラメータの連続性に着目した制約を特徴点の対応付けに設ける。まず、ある時刻ｔに推定されたカメラパラメータと、時刻ｔまでに推定されていたカメラパラメータから次時刻（ｔ＋１）におけるカメラパラメータの値（の範囲）を予測する。時刻（ｔ＋１）ではその予測された値を用いて特徴点対応に対して制約を課し、その制約の元で改めて時刻（ｔ＋１）のカメラパラメータを推定する。この手順を繰り返すことが本実施形態の概要である。本実施形態ではこのアプローチをカメラパラメータベース時系列制約と呼ぶ。

ここで、以下に示す表記について定義する。
Ｉ_ｉ（ｔ）：時刻ｔにカメラｉによって撮影された画像。なお、本実施形態において各カメラは同期がとれているものとする。
Ｒ_ｉ（ｔ）：時刻ｔにおいて、カメラｉの世界座標系における姿勢を表す回転行列。
Ｒ_ｉｉ’（ｔ）：時刻ｔにおいて、カメラｉとカメラｉ’の姿勢の差分を表す回転行列。これはＲ_ｉ（ｔ），Ｒ_ｉ’（ｔ），Ｔ_ｉ（ｔ），Ｔ_ｉ’（ｔ）から求められる。
Ｔ_ｉ（ｔ）：時刻ｔにおいて、カメラｉの世界座標系における位置を表す並進ベクトル。
Ｔ_ｉｉ’（ｔ）：時刻ｔにおいて、カメラｉとカメラｉ’の位置の差分を表す並進ベクトル。これはＲ_ｉ（ｔ），Ｒ_ｉ’（ｔ），Ｔ_ｉ（ｔ），Ｔ_ｉ’（ｔ）から求められる。
Ｋ_ｉ（ｔ）：時刻ｔにおいて、カメラｉの焦点距離および画像中心を表す行列。
Ｐ_ｉ（ｔ）：時刻ｔにカメラパラメータ推定部が出力するカメラｉのカメラパラメータ（Ｒ_ｉ（ｔ），Ｔ_ｉ（ｔ），Ｋ_ｉ（ｔ）をまとめたもの）。
Ｐ’_ｉ（ｔ＋１）：時刻ｔにカメラパラメータ予測部が出力する時刻（ｔ＋１）のカメラｉのカメラパラメータの予測値。
ｆ_ｉ ^ｊ（ｔ）：Ｉ_ｉ（ｔ）上のｊ番目の特徴点の特徴量ベクトル。
ｘ_ｉ ^ｊ（ｔ）：ｆ_ｉ ^ｊ（ｔ）の画像平面上における座標値ベクトル。
ｆ_ｉ（ｔ）：Ｉ_ｉ（ｔ）上の特徴点の特徴量ベクトルの集合。
ｘ_ｉ（ｔ）：Ｉ_ｉ（ｔ）上の特徴点の座標値ベクトルの集合。
Ｍ_ｉｉ’（ｔ）：ｆ_ｉ（ｔ），ｆ_ｉ’（ｔ）の対応付け結果。
Ｅ_ｉ（ｔ）：カメラｉに付属した外部センサ（ジャイロセンサ、ＧＰＳなど）の出力する値。

図１は同実施形態によるカメラパラメータ推定装置の構成を示すブロック図である。この図において、符号１は、多視点映像を外部から入力する多視点映像入力部である。符号２は、入力した多視点映像から特徴点を検出する特徴点検出部である。符号３は、検出した特徴点の対応付けを行う特徴点対応付け部である。符号４は、対応付けされた特徴点からカメラパラメータを推定するカメラパラメータ推定部である。符号５は、所定時刻のカメラパラメータを予測するカメラパラメータ予測部である。符号６は、推定したカメラパラメータを出力するカメラパラメータ出力部である。自然特徴点ベースキャリブレーションは通常、特徴点検出部、特徴点対応付け部、カメラパラメータ推定部で構成されているが、それにカメラパラメータ予測部を加え、予測されたカメラパラメータを特徴点対応付け部に制約として用いるところが従来の自然特徴点ベースキャリブレーションとは異なる点である。

次に、図１を参照して、図１に示すカメラパラメータ推定装置の動作を説明する。まず、多視点映像入力部１は、画像列Ｉ_ｉ（ｔ）（ｉ＝０…ｎ；ｎはカメラの台数）を入力する。次に、特徴点検出部２は、画像Ｉ_ｉ（ｔ）に対して特徴点検出を行い、ｆ_ｉ（ｔ）を求める。

次に、特徴点対応付け部３は、ｉｆ ｔ＝０であれば、各カメラのペア（ｉ，ｉ’）に対して、特徴点群ｆ_ｉ（ｔ），ｆ_ｉ’（ｔ）に対して特徴点対応を行い、Ｍ_ｉｉ’（ｔ）を求める。一方、ｉｆ ｔ＞０であれば、特徴点群ｆ_ｉ（ｔ），ｆ_ｉ’（ｔ）に対してカメラパラメータ予測値Ｐ’_ｉ（ｔ），Ｐ’_ｉ’（ｔ）を用いて制約を課して対応を求める。これにより、Ｍ_ｉｉ’（ｔ）が求められたことになる。

次に、カメラパラメータ推定部４は、全てのＭ_ｉｉ’（ｔ）を用いてカメラパラメータＰ_ｉ（ｔ）を推定する。カメラパラメータ出力部６は、ここで推定した値を各時刻におけるカメラパラメータＰ_ｉ（ｔ）として出力する。推定できない場合は、カメラパラメータＰ_ｉ（ｔ）を出力しない。さらに、次時刻の処理を行う場合にはｔ＝０に戻す。

次に、カメラパラメータ予測部５は、Ｐ_ｉ（ｔ’）（ｔ’≦ｔ）の値からＰ’_ｉ（ｔ＋１）を予測する。そして、特徴点対応付け部３の処理に移行する。

次に、図１に示す特徴点検出部２、特徴点対応付け部３、カメラパラメータ推定部４、カメラパラメータ予測部５の詳細な処理動作を説明する。始めに、特徴点検出部２について説明する。特徴点検出部２は、入力した映像から特徴点を検出する。特徴点検出部２の入力は、画像Ｉ_ｉ（ｔ），（ｉ＝０，１，ｔ≧０）である。また、出力は、特徴点の特徴量ベクトルの集合ｆ_ｉ（ｔ）である。特徴点検出部２は、入力された画像Ｉ_ｉ（ｔ）から、特徴点検出器（Ｈａｒｒｉｓ，ＳＩＦＴなど）を用いて特徴点を検出し、各特徴点の特徴量ベクトルｆ_ｉｊ（ｔ）の集合としてｆ_ｉ（ｔ）を出力する。

次に、特徴点対応付け部３について説明する。特徴点対応付け部３は、各画像における特徴量ベクトルの集合に関し、対応付けを行う。特徴点対応付け部３の入力は、特徴量ベクトルの集合ｆ_ｉ（ｔ）（ｉ＝０，１，ｔ≧０），カメラパラメータ予測値Ｐ’_ｉ（ｔ）である。また、出力は、対応付けベクトルＭ_ｉｉ’（ｔ）（ｉ’＝０，１，ｉ≠ｉ’）である。特徴点対応付け部３は、ｔ＝０の時、与えられた特徴量ベクトルの集合ｆ_ｉ（ｔ），ｆ_ｉ’（ｔ）において、画像ｉの各特徴点ｆ_ｉｊ（ｔ）が、画像ｉ’のどの特徴点に対応しているかを計算し、その対応の結果をＭ_ｉｉ’（ｔ）として出力する。ｔ＞０の時は、入力として与えられるカメラパラメータ予測値Ｐ’_ｉ（ｔ）を用いて対応付けに制約を設けた上で上記の処理を行い、対応の結果をＭ_ｉｉ’（ｔ）として出力する。

次に、カメラパラメータ推定部４について説明する。カメラパラメータ推定部４は、撮影に用いられたカメラのカメラパラメータを推定する。カメラパラメータ推定部４の入力は、特徴点座標ｘ_ｉ（ｔ），対応付けベクトルＭ_ｉｉ’（ｔ）（ｉ，ｉ’＝０，１，ｉ≠ｉ’，ｔ≧０）である。また、出力は、カメラパラメータＰ_ｉ（ｔ）である。カメラパラメータ推定部４は、入力として与えられた特徴点の座標ベクトルｘ_ｉ（ｔ）と、対応付けベクトルＭ_ｉｉ’（ｔ）からそれぞれの画像の撮影に用いられたカメラのカメラパラメータＰ_ｉ（ｔ）を推定する。ただし、特徴点の対応の数が少なくとも８組必要である。

次に、カメラパラメータ予測部５について説明する。カメラパラメータ予測部５は、時刻（ｔ＋１）におけるカメラパラメータを予測する。カメラパラメータ予測部５の入力は、カメラパラメータＰ_ｉ（ｔ’）（ｉ＝０，１，０≦ｔ’≦ｔ）である、また、出力は、カメラパラメータ予測値Ｐ’_ｉ（ｔ＋１）である。カメラパラメータ予測部５は、時刻ｔまでに推定されたカメラパラメータＰ_ｉ（ｔ’）を用いて時刻（ｔ＋１）におけるカメラパラメータの値（及び範囲）の予測値Ｐ’_ｉ（ｔ＋１）を出力する。

前述した処理動作は、以下の様な手法を適用することで実施が可能である。なお、本実施形態は、従来の自然特徴点ベースキャリブレーションの手順に対してカメラパラメータ予測部５の処理を加え、それを用いて特徴点対応付け部３に制約を課すものである。そのため、ここでは最初に自然特徴点ベースキャリブレーションの各手順において一般的な手法について説明し、その後のカメラパラメータ予測部５及び特徴点対応付け部３の制約の与え方に関して説明する。

まず、自然特徴点ベースキャリブレーションの各部位においてどのような手法を用いるかについて説明する。特徴点検出部２としては、ＳＩＦＴ特徴量（例えば、文献１「David G. Lowe,"Distinctive image features from scale- invariant keypoints",International Journal of Computer Vision,60, 2, 2004, pp.91-110」参照）を適用可能である。画像上の各特徴点はＳＩＦＴを用いて検出し、その画像上での位置、向き、および特徴量を出力する。特徴量の算出方法の詳細は上記文献１に記載されている公知の方法であるため、ここでは詳細な説明を省略する。

次に、特徴点対応付け部３としては、ＳＩＦＴ Ｍａｔｃｈｉｎｇ（例えば、文献１「David G. Lowe,"Distinctive image features from scale- invariant keypoints",International Journal of Computer Vision,60, 2, 2004, pp.91-110」参照）を適用可能である。画像Ｉ_ｉ（ｔ）における各特徴点のＳＩＦＴ特徴量ベクトルｆ_ｉｊ（ｔ）に対し、画像Ｉ_ｉ’（ｔ）上の対応する特徴点を求める。なお、ある特徴点のペアが対応しているか否かは、それぞれの特徴量の各次元の差分のノルムを計算して定める。詳細な求め方は上記文献１に記載されている公知の方法であるため、ここでは詳細な説明を省略する。

次に、カメラパラメータ推定部４としては、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（例えば、文献２「Richard Hartley and Andrew Zisserman,"Multiple View Geometry in Computer Vision",Cambridge University Press, March 2004, pp. 262-278」参照）やＢｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔ（例えば、文献３「Bill Triggs, Phillip F. McKauchian, Richard Hartley, Andrew W. Fitzgibbon,"Bundle Adjustment - A Modern Synthesis",Vision Algorithm: Theory and Practice, 2000, pp.298-372」参照）を適用可能である。特徴点の座標ベクトルｘ_ｉ（ｔ）と対応付けベクトルＭ_ｉｉ’（ｔ）から各カメラ間に成り立つ基礎行列を求め、それを分解することで内部パラメータ及び外部パラメータを求める（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）。さらに、求められたカメラパラメータの精度を高めるために、パラメータに対し、特徴点の再投影誤差を最小化する非線形最適化を行う（Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔ）。なお、この処理は省略することも可能である。

次に、本実施形態の特徴であるカメラパラメータ予測部５と特徴点対応付け部３について説明する。カメラパラメータ予測部５は、時刻ｔにおけるカメラパラメータの推定値を時刻（ｔ＋１）におけるカメラパラメータの予測値として利用し、特徴点対応付け部３における制約として、エピポーラ制約を用いる場合について説明する。なお、ここでは簡単のため２視点の映像を処理するものとする。

カメラパラメータ予測部５は、以下の式で時刻（ｔ＋１）の値を定める。
Ｐ’_ｉ（ｔ＋１）＝Ｐ_ｉ（ｔ）（ｉ＝０，１，ｔ≧０）

次に、特徴点対応付け部３は、ｔ＝０の時、前述した自然特徴点ベースキャリブレーションと同様の処理を行う。一方、ｔ＞０の時、カメラパラメータ予測部５が予測したカメラパラメータＰ’_０（ｔ），Ｐ’_１（ｔ）を用いて基礎行列を計算する。基礎行列Ｆ_ｉｉ’（ｉ，ｉ’＝０，１，ｉ≠ｉ’）は以下のように計算する。
Ｆ_ｉｉ’＝Ｋ_ｉ’ ^−Ｔ［Ｔ_ｉｉ’× Ｒ_ｉｉ’］Ｋ_ｉ ^−１

ある三次元空間中の点を画像Ｉ_０（ｔ），Ｉ_１（ｔ）上に投影した時、それらの座標値をそれぞれｘ_ｉ（ｔ），ｘ_ｉ’（ｔ）とすると、基礎行列Ｆ_ｉｉ’を用いて以下のエピポーラ制約が成り立つことが知られている。
ｘ_ｉ（ｔ）Ｆ_ｉｉ’（ｔ）ｘ_ｉ’（ｔ）＝０ ・・・（１）

このとき、画像Ｉ_ｉ（ｔ）の各特徴点の特徴量ベクトルｆ_ｉｊ（ｔ）に対し、それらの画像平面上における座標値をｘ_ｉ（ｔ）として（１）式に代入することで、ｘ_ｉ’（ｔ）の存在する範囲、すなわちｆ_ｉｊ（ｔ）に対応する画像Ｉ_ｉ’（ｔ）上の特徴点の座標が存在する範囲を画像Ｉ_ｉ’（ｔ）の直線（エピ線）上に限定することができる。適切な対応が存在する領域を画像全体から直線にまで限定することで、本来対応付けられるべき特徴点よりも、たまたま特徴量の距離が近いために対応付けられるようなケースを減少させることが期待できる。なお、同一の特徴点を観測できる視点の数が増えれば、適用できる制約も増加する（例えば３視点ならばｔｒｉｆｏｃａｌ ｔｅｎｓｏｒ）。これら視点の数に応じた制約に関しては文献４「佐藤淳，“テンソルと多視点幾何”，情報処理学会研究報告ＣＶＩＭ，２００７，ｐｐ：３３−４２」が詳しい。

以上から、具体的な対応を求める手順としては次のようになる。まず、画像Ｉ_ｉ（ｔ）の各特徴点の座標ｘ_ｉｊ（ｔ）に対し、（１）式を満たす画像Ｉ_ｉ’（ｔ）の特徴点を候補として挙げる。なお、実際にはピクセルノイズなどの影響で必ずしも（１）式の値が０になるとは限らないので、ｘ_ｉｊ（ｔ）Ｆ_ｉｉ’（ｔ）とｘ_ｉ’ｊ（ｔ）の画像上の距離が閾値以下のものを挙げる。ここで候補として挙げられた特徴点群に対してｔ＝０の場合と同様の方法で対応をつける。これにより、カメラパラメータ予測値を制約として加えた特徴点対応が実現できる。

次に、図２を参照して、第１実施形態おけるカメラパラメータ推定装置（図１）の全体の処理動作を説明する。図２は、図１に示すカメラパラメータ推定装置の処理動作を示すフローチャートである。まず、多視点映像入力部１は、撮影された多視点映像を入力として与える（ステップＳ１）。これを受けて、特徴点検出部２は、多視点映像に対してＳＩＦＴ特徴量を検出する（ステップＳ２）。

次に、特徴点対応付け部３は、時刻＝０であるかを判定し（ステップＳ３）、時刻＝０であれば、画像上の全ての特徴点を対応の候補とする（ステップＳ４）。そして、特徴点対応付け部３は、各特徴点をそれぞれの候補の中から対応づける（ステップＳ５）。

一方、時刻＝０でなければ、特徴点対応付け部３は、予測されたカメラパラメータから基礎行列を計算する（ステップＳ６）。そして、特徴点対応付け部３は、各特徴点に対してエピ線を計算し、エピ線上に存在する特徴点を対応の候補とし（ステップＳ７）、各特徴点をそれぞれの候補の中から対応づける（ステップＳ５）。ステップＳ３〜Ｓ７の処理は、全てのカメラペアに対して適用する。

次に、カメラパラメータ推定部４は、特徴点の対応からカメラパラメータを推定する（ステップＳ８）。続いて、カメラパラメータ予測部５は、推定されたカメラパラメータを次の時刻のカメラパラメータ予測値とする（ステップＳ９）。

このように、第１実施形態はカメラのフレームレートが高く、カメラがほぼ動いていない場合に最も有効に働くことが期待される。

＜第２実施形態＞
次に、本発明の第２実施形態によるカメラパラメータ推定装置を説明する。第２実施形態によるカメラパラメータ推定装置の構成は、図１に示す構成と同様であるので、ここでは詳細な説明を省略する。本実施形態はカメラパラメータ予測部５においてランダムに次時刻の範囲を予測する場合について説明する。また、本実施形態では簡単のため２視点からの映像を処理するものとする。

本実施形態では第１実施形態のようにカメラパラメータ予測部５によるカメラパラメータ予測値を一意に定めるのではなく、カメラパラメータ推定部４によるカメラパラメータ推定値から次時刻に変動すると推定される範囲を定め、その範囲において求められたカメラパラメータをカメラパラメータ予測値として用いて、特徴点対応付け部３において利用する。例えば、回転行列Ｒ_ｉｉ’（ｔ）は３変数（ｘ軸、ｙ軸、ｚ軸ごとの回転角度）で表現され、それぞれをθ_ｋ（ｔ）（ｋ＝ｘ，ｙ，ｚ）とし、それぞれが±ｒ_ｋの範囲で動くとすると、予測値θ’_ｋ（ｔ＋１）は以下のように表される。
θ’_ｋ（ｔ＋１）＝θ_ｋ（ｔ）＋Δθ_ｋ（ｔ），（ｋ＝ｘ，ｙ，ｚ） ・・・（２）
｜Δθ_ｋ（ｔ）｜＜ｒ_ｋ

今回考慮するパラメータは各カメラ間の回転行列に関する３変数、並進ベクトルに関する２変数、焦点距離に関する１変数の計６変数が考えられる。ただし、並進ベクトルのスケールを新たに変数として考慮してもよい。なお、並進ベクトルのノルムは１になるため、並進ベクトルでは、３変数でなく、２変数となる。

本実施形態を実装する際には、定めた範囲に対していくつかの段階に分けて全ての組み合わせについて計算してもよいが、範囲と分ける段階によっては計算量が膨大になる可能性がある。そのため、候補の数を予め指定しておき、定めた範囲内の値を適当な分布に従いランダムに値を出力させるようにしてもよい。

以下、具体的に説明する。まず、カメラパラメータＰ（ｔ）は回転行列の３変数、並進ベクトルの２変数、及び焦点距離の１変数からなるとし、それらをｐ_ｉ（ｔ）（ｉ＝０，…，５）とする。各変数がそれぞれ±ｒ_ｉの範囲で動くとすると、予測値ｐ’_ｉ（ｔ＋１）は以下のように表される。
ｐ’_ｉ（ｔ＋１）＝ｐ_ｉ（ｔ）＋Δｐ_ｉ（ｔ），（ｉ＝０，…，５）
｜Δｐ_ｉ（ｔ）｜＜ｒ_ｉ

この時、定めた範囲±ｒ_ｉをｓ_ｉ段階に分けるとすると、ｊ番目の候補ｐ’_ｊｉ（ｔ＋１）に対する更新値Δｐ_ｊｉ（ｔ）は以下のように表される。
Δｐ_ｊｉ（ｔ）＝ｊ×（２×ｒ_ｉ／ｓ_ｉ），（ｊ＝０…（ｓ_ｉ−１））

この時、各変数についてそれぞれ更新値がｓ_ｉ個得られるため、Ｐ’（ｔ＋１）の候補の数はｓ_０×ｓ_１×ｓ_２×ｓ_３×ｓ_４×ｓ_５個存在する。つまり、先に述べたように計算量が膨大になる可能性がある。そこで、以下のようにランダムに与える方法もある。
Ｐ’（ｔ＋１）の候補の数を予めｃ_ｐとする。ｌ番目の候補Ｐ’^ｌ（ｔ＋１）に対する各変数ｐ’^ｌ _ｉ（ｔ＋１）の更新値Δｐ^ｌ _ｉ（ｔ）は｜Δｐ_ｉ（ｔ）｜＜ｒ_ｉを満たすランダムな値が与えられる。

次に、図３を参照して、第２実施形態おけるカメラパラメータ推定装置の全体の処理動作を説明する。図３は、第２実施形態おけるカメラパラメータ推定装置の処理動作を示すフローチャートである。図３において、図２に示す処理動作を同じ処理動作には、同じ符号を付与してある。まず、多視点映像入力部１は、撮影された多視点映像を入力として与える（ステップＳ１）。これを受けて、特徴点検出部２は、多視点映像に対してＳＩＦＴ特徴量を検出する（ステップＳ２）。

次に、特徴点対応付け部３は、時刻＝０であるかを判定し（ステップＳ３）、時刻＝０であれば、画像上の全ての特徴点を対応の候補とする（ステップＳ４）。そして、特徴点対応付け部３は、各特徴点をそれぞれの候補の中から対応づける（ステップＳ５）。

一方、時刻＝０でなければ、特徴点対応付け部３は、予測されたカメラパラメータから基礎行列を計算する（ステップＳ６）。そして、特徴点対応付け部３は、各特徴点に対してエピ線を計算し、エピ線上に存在する特徴点を対応の候補とし（ステップＳ７）、各特徴点をそれぞれの候補の中から対応づける（ステップＳ５）。ステップＳ３〜Ｓ７の処理は、全てのカメラペアに対して適用する。

次に、カメラパラメータ推定部４は、特徴点の対応からカメラパラメータを推定する（ステップＳ８）。カメラパラメータ推定部４は、推定されたカメラパラメータのそれぞれにランダム値を与えて更新する（ステップＳ１０）。そして、カメラパラメータ予測部５は、更新された値を次時刻のカメラパラメータ予測値とする（ステップＳ１１）。

このように、第２実施形態はカメラの１時刻間に動く大きさがある程度わかっている場合に有効に働くことが期待される。

＜第３実施形態＞
次に、本発明の第３実施形態によるカメラパラメータ推定装置を説明する。第３実施形態によるカメラパラメータ推定装置の構成は、図１に示す構成と同様であるので、ここでは詳細な説明を省略する。本実施形態は、カメラパラメータ予測部５において、時刻ｔ’（＜ｔ）までのカメラパラメータ推定値を基に次時刻のカメラパラメータの値（カメラパラメータ予測値）の確率分布を算出し、特徴点対応付け部３において、その確率分布を特徴点の対応付けに反映させる場合について説明する。なお、本実施形態ではベイジアンフィルタの考え方（特にパーティクルフィルタ）を例に用いてカメラパラメータ予測値の確率分布を算出する。また、本実施形態では簡単のため２視点からの映像を処理するものとする。

次に、図４を参照して、第３実施形態おけるカメラパラメータ推定装置の全体の処理動作を説明する。図４は、第３実施形態おけるカメラパラメータ推定装置の処理動作を示すフローチャートである。図４において、図２に示す処理動作を同じ処理動作には、同じ符号を付与してある。まず、多視点映像入力部１は、撮影された多視点映像を入力として与える（ステップＳ１）。これを受けて、特徴点検出部２は、多視点映像に対してＳＩＦＴ特徴量を検出する（ステップＳ２）。

次に、特徴点対応付け部３は、時刻＝０であるかを判定し（ステップＳ３）、時刻＝０であれば、画像上の全ての特徴点を対応の候補とする（ステップＳ４）。そして、特徴点対応付け部３は、各特徴点をそれぞれの候補の中から対応づける（ステップＳ５）。

一方、時刻＝０でなければ、特徴点対応付け部３は、予測されたカメラパラメータの尤度を計算する（ステップＳ１２）。続いて、特徴点対応付け部３は、尤度付きカメラパラメータから基礎行列を計算する（ステップＳ１３）。そして、特徴点対応付け部３は、各特徴点に対して尤度付きエピ線を計算し、エピ線上に存在する特徴点を対応の候補とし（ステップＳ１４）、各特徴点をそれぞれの候補の中から尤度を考慮して対応づける（ステップＳ１５）。ステップＳ３〜Ｓ５、Ｓ１２〜Ｓ１５の処理は、全てのカメラペアに対して適用する。

次に、カメラパラメータ推定部４は、特徴点の対応からカメラパラメータを推定する（ステップＳ８）。そして、カメラパラメータ予測部５は、次時刻のカメラパラメータを予測する（ステップＳ１６）。

図４に示す処理動作では、時刻ｔのカメラパラメータの候補に対して尤度を計算するためには、時刻ｔの入力画像に対するＳＩＦＴ特徴量が必要であるため、ステップＳ２において尤度計算を行っているが、ステップＳ１６の予測の時点（時刻（ｔ−１））で尤度計算をしてもかまわない。ただし、この場合は予測した時に、次時刻（時刻ｔ）の入力画像に対してＳＩＦＴ特徴量を計算する必要がある。また、このように処理の順番を変更しても算出結果に影響はない。

次に、第３実施形態おけるカメラパラメータ予測部５の処理について説明する。パーティクルフィルタは、公知の技術であるため、ここでは詳細な説明を省略するが、実際の問題に適用するには処理対象のモデル、状態推移関数及び尤度関数を定める必要がある。以下ではその具体例について説明し、さらに本発明が扱う問題特有の処理について説明する。

まず、今回予測したいのはカメラパラメータであることから、処理対象のモデルは各カメラパラメータ及びそれらの微分値などが考えられる。この時のモデルは後述する状態推移関数の定義によって変化するが、本実施形態では簡単のためカメラパラメータのみを処理対象のモデルとする。以下では時刻ｔにおけるこのモデルを状態ベクトルｓ（ｔ）とする。今回カメラパラメータは回転行列では３次元、並進ベクトルでは２次元、焦点距離で１次元の計６次元であるとする。

次に状態推移関数はランダムウォークを想定する。システムノイズｗ（ｔ）が平均０で共分散がΣの６次元正規分布に従うとすると、状態推移関数Ｄ（ｔ）は以下のように定義できる。
ｓ（ｔ＋１）＝Ｄ（ｔ）［ｓ（ｔ），ｗ（ｔ）］＝ｓ（ｔ）＋ｗ（ｔ）

ランダムウォークの状態推移関数は対象の動きが比較的小さい場合や複雑な動きの場合に用いられる。対象の動きが等速直線運動を仮定できるなら、それに合う状態ベクトルの定義と状態推移関数が必要である。

続いて、尤度関数の実施に関しては、本実施形態では、予測された状態ベクトルのもっともらしさとして「そのカメラパラメータを用いてエピポーラ制約をかけた時に求まる対応の組が妥当かどうか」を用いる。具体的には、各カメラパラメータを用いてエピポーラ制約をかけて求まる対応の組に対し、ＲＡＮＳＡＣ処理を施す。この時ＲＡＮＳＡＣ処理に用いるモデルとしてはエピポーラ制約を用いる。ここで、ＲＡＮＳＡＣ処理を施した後の対応の組の数を施す前の対応の組の数で割った時の値を尤度として与える。

次に、第３実施形態おける特徴点対応付け部３の処理について説明する。上記で求められた確率分布を用いて特徴点対応付けを行う。具体的な手順としては、まず各特徴点ｘ_０ ^ｊ（ｔ）に対し、各尤度付きのカメラパラメータの候補を用いることで尤度付きのエピ線を描く。そして、特徴点対応を求めるためにｘ_０ ^ｊ（ｔ）がそのエピ線上に乗っている特徴点ｘ_１ ^ｊ’（ｔ）に対して特徴量の距離を計算する際、エピ線が持つ尤度を距離に反映させる。すなわち、尤度の高いエピ線上に存在する特徴点とは対応が付けられやすく、尤度が低いエピ線上に存在する特徴点とは対応がつきにくくするというものである。

以上が予測されたカメラパラメータに対して確率（尤度）を与えた時の本発明の振る舞いである（例としてパーティクルフィルタを用いている）。カメラパラメータの確率を対応付けに付与することで、カメラパラメータのダイナミクスを対応付けに反映させることも可能になる。そのため、ダイナミクスを伴うカメラで撮影された映像を処理する時、第２実施形態などと比較して頑健かつ高精度にカメラパラメータを推定できることが期待される。

＜第４実施形態＞
次に、本発明の第４実施形態によるカメラパラメータ推定装置を説明する。第４実施形態によるカメラパラメータ推定装置の構成は、図１に示す構成と同様であるので、ここでは詳細な説明を省略する。本実施形態では、カメラパラメータ予測部５において前時刻の値だけでなく、前々時刻、さらにその前の時刻の値を利用する拡張方法について説明する。また、特徴点対応付け部３に関しては、第３実施形態で説明したカメラパラメータに付与された確率（尤度）を基に対応付けを行う手法を用いるものとする。

具体的な実現方法としては、まず用いる時刻分ｋを定め（例えば過去３時刻分用いるならｋ＝３）、各時刻における推定値を用意する。第１実施形態では、それぞれの時刻における推定値をそのまま次時刻の予測値として用いていたが、カメラが動いている場合に時刻（ｔ−ｌ）（ｌ＜ｋ）かつｌが大きい場合には、その時刻の推定値を用いると、予測値としては妥当でないものとなる。そこで、本実施形態では各時刻の推定値には重みｗ（ｔ−ｌ）（ただし、Σｌｗ（ｔ−ｌ）＝１、これを第３実施形態で説明したようなカメラパラメータの確率（尤度）に相当するものとみなす）を付与することで対応する。この時の重みの設計の詳細については省略するが、基本的にはｌが大きいほど、重みは小さくするのが妥当である。

本発明では推定されるカメラパラメータの信頼性が毎時刻同じとは限らず、突発的に推定精度が悪化する場合も存在する。本実施形態は前時刻だけでなくより過去のものを利用していることから、そのような場合でも頑健に働くことが期待される。また、同様の目的で、予測をする場合に次時刻ではなくてｌ時刻先の値を予測することも考えられる。具体的には、第２実施形態の（２）式の更新式をｌ回用いるなどで求めることができる。もちろん、これは前述したようにｌが大きいほど重みを小さくすることが妥当である。以上のように、本実施形態では前時刻の値を制約として使う、あるいは次時刻の値を予測して用いるだけでなく、より過去の値を使う、より未来の値を予測して用いることも可能である。

＜第５実施形態＞
次に、本発明の第５実施形態によるカメラパラメータ推定装置を説明する。図５は同実施形態によるカメラパラメータ推定装置の構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図１に示す装置と異なる点は、外部センサデータ入力部７、カメラパラメータ推定部８が新たに設けられている点である。外部センサデータ入力部７は、ジャイロセンサやＧＰＳなどの外部センサの値を入力する。カメラパラメータ推定部８は、時刻ｔにおけるカメラパラメータを推定する。カメラパラメータ推定部８の入力は、時刻（ｔ−１）におけるカメラパラメータＰ_ｉ（ｔ−１），外部センサの出力値Ｅｉ（ｔ）である。また、出力は、カメラパラメータＰ_ｉ（ｔ）である。カメラパラメータ推定部８は、Ｐ_ｉ（ｔ−１）に対して時刻ｔにジャイロセンサなどの外部センサが出力した値Ｅｉ（ｔ）を用いてカメラパラメータを更新し、時刻ｔにおけるカメラパラメータＰ_ｉ（ｔ）を出力する。

次に、図５を参照して、図５に示すカメラパラメータ推定装置の動作を説明する。まず、特徴点検出部２は、多視点映像入力部１を介して、画像列Ｉ_ｉ（ｔ）を入力する。そして、特徴点検出部２は、画像Ｉ_ｉ（ｔ）に対して特徴点検出を行い、ｆｉ（ｔ）を求める。

次に、特徴点対応付け部３は、ｉｆ ｔ＝０であれば、各カメラのペア（ｉ，ｉ’）に対して、特徴点群ｆ_ｉ（ｔ），ｆ_ｉ’（ｔ）に対して特徴点対応を行い、Ｍ_ｉｉ’（ｔ）を求める。一方、ｉｆ ｔ＞０であれば、特徴点群ｆ_ｉ（ｔ），ｆ_ｉ’（ｔ）に対してカメラパラメータ予測値Ｐ’_ｉ（ｔ），Ｐ’_ｉ’（ｔ）を用いて制約を課して対応を求める。これにより、Ｍ_ｉｉ’（ｔ）が求められたことになる。

次に、カメラパラメータ推定部４は、全てのＭ_ｉｉ’（ｔ）を用いてカメラパラメータＰ_ｉ（ｔ）を推定する。カメラパラメータ出力部６は、ここで推定した値を各時刻におけるカメラパラメータとして出力する。

次に、カメラパラメータ推定部８は、外部センサデータ入力部７を介してＥ_ｉ（ｔ）を入力し、カメラパラメータ推定部４において推定できない場合、Ｐ_ｉ（ｔ−１）に対してＥ_ｉ（ｔ）を用いてＰ_ｉ（ｔ）を推定してカメラパラメータとして出力する。

次に、カメラパラメータ予測部５は、Ｐ_ｉ（ｔ’）（ｔ’≦ｔ）の値からＰ’_ｉ（ｔ＋１）を予測する。そして、特徴点対応付け部３の処理に移行する。

カメラパラメータ推定部８では、時刻ｔにおいて映像からカメラパラメータが求まらなくても、時刻（ｔ−１）のカメラパラメータＰ_ｉ（ｔ−１）が求められていればＰ_ｉ（ｔ）が求められる。具体的には、ジャイロセンサ等を用いて時刻（ｔ−１）から時刻ｔにおけるカメラの各軸に対する変化が角度として得られるので、それらを前時刻に推定された回転行列Ｒｉ（ｔ−１）に加えることでＲ_ｉ（ｔ）が求められる。さらに、ＧＰＳでは時刻ｔにおけるカメラの位置が得られるので、それらを用いて並進ベクトルＴ_ｉ（ｔ）が求められる。なお、各時刻の内部パラメータＫ_ｉ（ｔ）（主に焦点距離）に関しては画像にＥＸＩＦタグとして保存されているものとする。これらを合わせて時刻ｔのカメラパラメータＰｉ（ｔ）として出力する。

このように外部センサを用いるのは基本的に映像からカメラパラメータが推定できない時（各カメラが重複領域を持っていない、重複領域を持っているが十分な特徴点対応が取れずに計算ができない）であり、映像から計算できる場合にはそちらの結果を優先することとする。

次に、図６を参照して、第５実施形態おけるカメラパラメータ推定装置の全体の処理動作を説明する。図６は、第５実施形態おけるカメラパラメータ推定装置の処理動作を示すフローチャートである。ここでは外部センサとしてジャイロセンサ及びＧＰＳを利用する場合について説明する。まず、多視点映像入力部１は、特徴点検出部２に対して、撮影された多視点映像を入力として与える（ステップＳ２１）。これを受けて、特徴点検出部２は、特徴点を検出する（ステップＳ２２）。そして、特徴点対応付け部３は、特徴点を対応付ける（ステップＳ２３）。続いて、カメラパラメータ推定部４は、カメラパラメータを推定する（ステップＳ２４）。

一方、この動作と並行して、外部センサデータ入力部７は、外部センサの値を取得する（ステップＳ２５）。カメラパラメータ推定部４は、カメラパラメータを推定可能であるか否かを判定し（ステップＳ２６）。この判定の結果、推定可能でなければカメラパラメータ推定部８は、前時刻のカメラパラメータ推定値と外部センサの値から、現時刻のカメラパラメータを推定する（ステップＳ２７）。そして、カメラパラメータ予測部５は、カメラパラメータを予測する（ステップＳ２８）。

このように、本実施形態ではカメラと外部センサを組み合わせることで、映像からカメラパラメータが求まらない場合でも外部センサを用いてカメラパラメータを求め続けることができる。カメラパラメータ予測部に関しては、前述した手法を始め様々利用可能であるが、外部センサを用いた場合には精度のバラ付き、あるいはそもそも精度があまり良くないことが予想されるので、特徴点対応付けを行うときに第１実施形態のように前時刻の値をそのまま制約として使うのではなく、ある程度予測の範囲を広く持たせるものが望ましい。

＜第６実施形態＞
次に、本発明の第６実施形態によるカメラパラメータ推定装置を説明する。第６実施形態では、本発明によるカメラパラメータ推定装置の具体的なアプリケーションの例を説明する。本実施形態では本発明によるカメラパラメータ推定装置を用いることによって最も効果が得られると期待できるシーンと、その具体的な適用例について説明する。本発明によるカメラパラメータ推定装置は複数視点の映像を入力とし、各カメラのカメラパラメータを出力とすることから、様々な視点からの映像視聴を可能にする自由視点映像の生成に用いることができる。

さらに、本発明によるカメラパラメータ推定装置は、何も制約を用いない手法及び画像ベース時系列制約を用いた従来手法と比較して、カメラ間の距離が大きい時、そして撮影対象が動的な物体かつ撮影カメラが動的なカメラの時に効果が大きいことが期待できる。そのため、動的なカメラで動的な被写体を撮影して自由視点映像を作る場合、例えばライブイベントなどにおいてクレーンに乗ったカメラを複数用意し、それらの映像からライブの自由視点映像を合成する場合や、学芸会や運動会といったイベントを市販の手持ちカメラやスマートフォンを用いて撮影した映像を集めて自由視点映像を合成する場合などが考えられる。

本発明によるカメラパラメータ推定装置を適用するためには基本的に各カメラが少なくとも自身以外の１台のカメラと重複領域を持っていることが望ましい。そこで、学芸会などでは全体を映すカメラを１台用意することで、その学芸会を映しているカメラは少なくともその１台と重複領域を持つ状況を想定できる。これらのカメラによって撮影された映像を集めて同期を取り、各映像に対して本発明を適用することでカメラパラメータを推定する。さらに、たとえ重複領域を持たない時、つまり全体を映すカメラが用意されていない場合でも第５実施形態で説明したようにそれらのカメラがジャイロセンサやＧＰＳといった外部センサを備えていればカメラパラメータを推定することも可能である。

＜第７実施形態＞
次に、本発明の第７実施形態によるカメラパラメータ推定装置を説明する。ここでは、本発明によるカメラパラメータ推定装置を適用することによって得られるカメラパラメータのみを用いて多視点映像アプリケーションの例について説明する。図７は、本発明によるカメラパラメータ推定装置を適用することによって得られるカメラパラメータのみを用いて多視点映像アプリケーションの例を示す説明図である。

まず、本アプリケーションでは複数台のカメラから撮影された多視点映像を視聴することを想定する。通常多視点映像が得られたとしてもそれぞれの映像がどこから撮影されているかは明らかにされておらず、その時々に応じて視聴者自身が判断するという手間が必要であった。これに対し、本発明を適用することで推定できる各カメラのカメラパラメータには各カメラの位置姿勢も含まれることから、本発明によってそれらの位置関係が把握できていることになる。本アプリケーションはこの位置関係を図７のカメラ選択用ディスプレイの用に鳥瞰図などの方法を用いてタッチパネルなどに提示し、視聴者が所望の視点を選択すると、その視点からの映像が映像提示用のディスプレイに映されるというものである。カメラ選択用ディスプレイによって視聴者は各映像がどの場所から撮影されたものなのか、この時刻に他のカメラはどの場所からどの場所を撮影しているのかが一目で分かるようになり、毎回各映像がどこから撮影されているかを判断する手間も省け、かつ視点を変更する際の補助となることが期待される。

以上説明したように、映像に対する自然特徴点ベースキャリブレーションにおいて、カメラ間の位置や角度の差が大きくなるに従い発生する特徴点の誤対応（及びそれに伴うカメラパラメータの推定精度低下）問題に関し、本実施形態を利用することで得られる以下の効果が得られる。

カメラパラメータベース時系列制約を用い、各特徴点の探索範囲を制限することで誤対応を減少させ、カメラパラメータの推定精度を向上させることができる。画像ベース時系列制約とは異なり、撮影画像に対して制約（特徴点が時間方向に連続して検出されなければならない、など）を設ける必要がないため、特徴点が検出できる全てのシーンに対して適用が可能である。

また、このカメラパラメータベース時系列制約は獲得した画像に対して時系列制約を課していないので、時刻ｔと時刻（ｔ＋１）の各画像において、検出される特徴点の位置が大きく異なる時、すなわち、舞台やライブのように照明の面滅が激しく発生する映像、ズームで人物などの動物体を撮影した映像などの状況において画像ベース時系列制約と比べて効果的である。

前述した実施形態におけるカメラパラメータ推定装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

推定するカメラパラメータの推定精度を向上させることが不可欠な用途に適用できる。

１・・・多視点映像入力部、２・・・特徴点検出部、３・・・特徴点対応付け部、４・・・カメラパラメータ推定部、５・・・カメラパラメータ予測部、６・・・カメラパラメータ出力部、７・・・外部センサデータ入力部、８・・・カメラパラメータ推定部

Claims (10)

1. 複数のカメラで撮影された映像から前記複数のカメラのカメラパラメータを推定するカメラパラメータ推定装置であって、
   前記映像から特徴点を検出する特徴点検出部と、
   検出された前記特徴点の対応付けを行う特徴点対応付け部と、
   対応付けられた前記特徴点から現時刻における前記カメラパラメータの推定値を算出するカメラパラメータ推定部と、
   前記カメラパラメータの推定値に基づいて、次時刻におけるカメラパラメータの予測値を算出するカメラパラメータ予測部とを備え、
   前記特徴点対応付け部は、
   前記カメラパラメータの予測値から導出される特徴点の対応付けに関する制約を用いて対応付けを行うことを特徴とするカメラパラメータ推定装置。
2. 前記カメラパラメータ予測部は、既に推定された前記カメラパラメータの推定値に基づいてカメラパラメータの予測値の確率分布を算出し、
   前記特徴点対応付け部は、前記確率分布に出現するカメラパラメータの予測値ごとに定まるエピポーラ制約と前記カメラパラメータの予測値に付与されている確率に基づいて特徴点間の対応付けを行うことを特徴とする請求項１に記載のカメラパラメータ推定装置。
3. 前記カメラパラメータ予測部が算出する前記確率分布は、既に推定された前記カメラパラメータの推定値に対して直前のものほど大きくなる重みを付与したことを特徴とする請求項２に記載のカメラパラメータ推定装置。
4. 前記カメラの位置及び姿勢の変化を計測するセンサを更に備え、
   前記カメラパラメータ推定部は、前記カメラパラメータの推定値を前記対応付けられた特徴点から算出できない場合に、過去に算出したカメラパラメータの推定値と前記センサにより計測されるカメラの位置及び姿勢の変化の度合いに基づいて現時刻におけるカメラパラメータの推定値を算出することを特徴とする請求項１から３のいずれか１項に記載のカメラパラメータ推定装置。
5. 複数のカメラで撮影された映像から前記複数のカメラのカメラパラメータを推定するカメラパラメータ推定装置であって、
   前記映像から特徴点を検出する特徴点検出部と、
   検出された前記特徴点の対応付けを行う特徴点対応付け部と、
   対応付けられた前記特徴点から前記カメラパラメータの推定値を算出するカメラパラメータ推定部と、
   既に推定された前記カメラパラメータの推定値に基づいてカメラパラメータの予測値を算出するカメラパラメータ予測部とを備え、
   前記特徴点対応付け部は、
   前記カメラパラメータの予測値から導出される特徴点の対応付けに関する制約を用いて対応付けを行い、
   前記カメラパラメータ予測部は、既に推定された前記カメラパラメータの推定値に基づいてカメラパラメータの予測値の確率分布を算出し、
   前記特徴点対応付け部は、前記確率分布に出現するカメラパラメータの予測値ごとに定まるエピポーラ制約と前記カメラパラメータの予測値に付与されている確率に基づいて特徴点間の対応付けを行うことを特徴とするカメラパラメータ推定装置。
6. 前記カメラパラメータ予測部が算出する前記確率分布は、既に推定された前記カメラパラメータの推定値に対して直前のものほど大きくなる重みを付与したことを特徴とする請求項５に記載のカメラパラメータ推定装置。
7. 前記カメラの位置及び姿勢の変化を計測するセンサを更に備え、
   前記カメラパラメータ推定部は、前記カメラパラメータの推定値を前記対応付けられた特徴点から算出できない場合に、過去に算出したカメラパラメータの推定値と前記センサにより計測されるカメラの位置及び姿勢の変化の度合いに基づいて前記カメラパラメータの推定値を算出することを特徴とする請求項５又は６に記載のカメラパラメータ推定装置。
8. 複数のカメラで撮影された映像から前記複数のカメラのカメラパラメータを推定するカメラパラメータ推定装置が行うカメラパラメータ推定方法であって、
   前記映像から特徴点を検出する特徴点検出ステップと、
   検出された前記特徴点の対応付けを行う特徴点対応付けステップと、
   対応付けられた前記特徴点から現時刻における前記カメラパラメータの推定値を算出するカメラパラメータ推定ステップと、
   前記カメラパラメータの推定値に基づいて、次時刻におけるカメラパラメータの予測値を算出するカメラパラメータ予測ステップとを有し、
   前記特徴点対応付けステップにおいて、
   前記カメラパラメータの予測値から導出される特徴点の対応付けに関する制約を用いて対応付けを行うことを特徴とするカメラパラメータ推定方法。
9. 複数のカメラで撮影された映像から前記複数のカメラのカメラパラメータを推定するカメラパラメータ推定装置が行うカメラパラメータ推定方法であって、
   前記映像から特徴点を検出する特徴点検出ステップと、
   検出された前記特徴点の対応付けを行う特徴点対応付けステップと、
   対応付けられた前記特徴点から前記カメラパラメータの推定値を算出するカメラパラメータ推定ステップと、
   既に推定された前記カメラパラメータの推定値に基づいてカメラパラメータの予測値を算出するカメラパラメータ予測ステップとを有し、
   前記特徴点対応付けステップにおいて、
   前記カメラパラメータの予測値から導出される特徴点の対応付けに関する制約を用いて対応付けを行い、
   前記カメラパラメータ予測ステップにおいて、既に推定された前記カメラパラメータの推定値に基づいてカメラパラメータの予測値の確率分布を算出し、
   前記特徴点対応付けステップにおいて、前記確率分布に出現するカメラパラメータの予測値ごとに定まるエピポーラ制約と前記カメラパラメータの予測値に付与されている確率に基づいて特徴点間の対応付けを行うことを特徴とするカメラパラメータ推定方法。
10. コンピュータを、請求項１から７のいずれか１項に記載のカメラパラメータ推定装置として機能させるためのカメラパラメータ推定プログラム。

Images