JP2005063012A - 全方位カメラ運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体 - Google Patents

Abstract

【課題】全方位カメラから取得した時系列画像から対象物に関する物体形状を高精度に獲得、復元する。
【解決手段】全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する装置であって、各画像における特徴点の座標値を測定する特徴点計測部１１と、特徴点計測部１１で得た画像座標値をｕｖ画像に変換する計測行列変換部１２と、各画像での投影中心付近での交点座標値を求める交点座標計測部１３と、ｕｖ座標値を行列要素とする行列を初期値として与える計測行列入力部１４と、交点座標計測部１３と計測行列入力部１４とから供給されたデータから因子分解法によりカメラの運動と外界の３次元情報を復元する因子分解法処理部１５とを備える。
【選択図】 図１ａ

Description

本発明は、魚眼レンズを装着したカメラ（以下、全方位カメラ）を使って取得した車載画像または室内画像、船上からの海上画像、空撮などお時系列画像全般に対して利用するもので、特に、全方位カメラで取得した時系列画像から全方位カメラ視点に関するロール、ピッチ、ヨー回転から構成される回転運動、配信運動、並びに時系列映像に移っている外界の３次元形状、すなわち被写体（物体）の外観形状を構成する３次元情報を復元するものに関するものである。

コンピュータビジョン分野では、時系列画像データから対象物の形状を計測または獲得する手法にはステレオ計測やエピポーラ面解析を用いた３次元解析手法がある。この手法によれば、物体が撮影されている複数の時系列画像から空間形状または空間構造に関する３次元位置情報並びにカメラ視点に関する運動を復元することができる。

しかしながら、移動手段等を利用して撮影カメラを動かしながら撮影した時系列映像においては、撮影時の環境、撮影カメラの微妙な動きによりシームレスに映像取得が困難であり、時系列映像中にランダム性の雑音が混入し、カメラ運動や物体形状を正確に復元することが困難な場合がある。

さらに、画像面が平面とした直交座標系で表現できる画像座標値から因子分解法（例えば非特許文献１や非特許文献２）等を利用してユークリッド空間でのカメラ運動と物体形状の復元が可能であるが、有限画角のカメラを使用する場合、微妙なカメラの回転運動を復元することが困難であり、しかも並進と回転運動の判別も正確ではない場合もある。

一方、有限画角を回避するために、一度に３６０度の景観を取得する手段として、全方位カメラによる撮像が考えられる。全方位カメラは、そのカメラ光軸を鉛直上向きに設置して利用することが多く、全方位カメラ視点の姿勢推定や外界に関する空間計測には適する（例えば非特許文献３）。また、全方位カメラの利用により、微小な回転運動の復元も可能であり、並進運動と回転運動を双方とも正確に復元する点で優れている。
Ｃ．ｔｏｍａｓｉ ａｎｄ Ｔ．Ｋａｎａｄｅ；"Ｓｈａｐｅ ａｎｄ Ｍｏｔｉｏｎ ｆｒｏｍ Ｉｍａｇｅ Ｓｔｒｅａｍ Ｕｎｄｅｒ Ｏｒｔｈｏｇｒａｐｈｙ：Ａ Ｆａｃｔｏｒｉｚａｔｉｏｎ Ｍｅｔｈｏｄ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊａｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｖｏｌ．９，Ｎｏ．２，１９９２． Ｃ．Ｊ．Ｐｏｅｌｍａｎ ａｎｄ Ｔ．Ｋａｎａｄｅ；"Ａ Ｐａｒａｐｅｒｓｐｅｃｔｉｖｅ Ｆａｃｔｏｒｉｚａｔｉｏｎ Ｍｅｔｈｏｄ ｆｏｒＳｈａｐｅ ａｎｄ Ｍｏｔｉｏｎ Ｒｅｃｏｖｅｒｙ"，ＩＥＥＥ ｔｒａｎｓ．Ｐａｔｔｅｒｎ Ａｎａｌ．ａｎｄ Ｍａｃｈ．Ｉｎｔｅｌｌ，Ｖｏｌ．１９，Ｎｏ．３，ｐｐ．２０６−２１８，１９９７． 宮川，若林，有川；"全方位投影型因子分解法による全方位画像からの運動と形状復元"，パターン認識・メディア理解（ＰＲＭＵ）研究会，Ｊｕｎｅ，２００２

移動手段を用いて全方位カメラのような一度に３６０度の景観を映像化する撮影環境で取得した時系列画像において、ステレオ視の原理を応用した計測方法により、外界の物体の空間情報を獲得、復元できるが、様々な撮影環境の中での移動撮影においては、カメラが微小に動くため、容易にシームレスな時系列画像を取得できない。そのため、ランダム性雑音の影響も大きく、常に安定的に、カメラの動きと物体の形状を同時にかつ高精度に復元することは困難である。

例えば、非特許文献３の手法を適用した場合、図１３に示したように、全方位カメラの光軸回転（ヨー回転）以外にロール回転、ピッチ回転、さらにはＺ軸方向の並進運動が加わることで、正確な運動と３次元形状の復元は困難であった。つまり、図１３に示すように、全方位カメラは光軸を鉛直上向きに設置した姿勢で用いることが多く、このため、ヨー回転とＸＹ並進運動からなる自由度３の平面運動が復元することに主眼が置かれていた。

しかしながら、実環境においては、このような平面運動以外に、ロール回転、ピッチ回転、Ｚ軸並進運動を含む場合、全方位カメラによる簡便な計算が使えず、カメラ運動と３次元形状を復元するための計算が複雑になり、上記のような全方位カメラに関する微小なカメラ姿勢変化を雑音と混在してしまい、正確かつロバストに復元できないという問題がある。

本発明は、かかる事情に鑑みなされたもので、その目的は、全方位カメラから取得した時系列画像から対象物に関する物体形状を高精度に獲得、復元することができる全方位カメラ運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体の提供にある。

前記課題を解決するために、本発明の全方位カメラ運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体は、全方位カメラで取得した全方位画像における特徴点の座標の時間的変化から因子分解法によって、全方位カメラの（視点の）光軸周りの回転運動とＸＹ平面上の並進運動の３自由度の運動（平面運動）を求め、光軸周りの回転運動と各画像における投影中心付近での線分がなす交点の画像座標値（交点座標値）とから、全方位カメラの（視点の）光軸以外の他軸周りの回転運動を求めた後に、演算によって全方位カメラの（視点の）Ｚ軸方向の並進運動を求め、さらに演算によって対象物体の３次元形状を求め、これらの誤差が所定の値以下になるまで反復計算し、その結果として、対象物体の３次元情報及び全方位カメラの（視点の）６自由度の運動を復元している。

すなわち、請求項１記載の発明は、全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する方法であって、
取得した時系列の全方位画像（または広視野画像）に設定した特徴点座標系において、各画像における特徴点の時間的変化量を示す画像座標値と、各画像における投影中心付近での線分がなす交点の画像座標値（交点座標値）を測定するステップ（計測行列測定ステップ）と、
この計測行列測定ステップにおいて得た各特徴点の画像座標値から算出される位相角と仰角により別の座標値（ｕｖ座標値）を求め、これらの各特徴点のｕｖ座標値と、交点座標値を用いて復元処理するための行列データ（行列分解データ）を生成し、この行列分解データを特異値分解し、雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報の成分から、運動を規定するために設定した条件を満足する変換行列を求め、運動情報となる行列データにこの変換行列を作用させて全方位カメラ視点の光軸周りの回転運動とそれに垂直な平面（ＸＹ平面）上の並進運動（この自由度３の運動を平面運動と称する）を復元し、光軸周りの回転角と交点座標値を使って、光軸以外の他軸周りの回転運動を復元し、さらに、３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元するステップ（平面運動と３次元情報の復元ステップ）と、
この平面運動と３次元情報の復元ステップで得た平面連動と３次元情報から各特徴点に関するｕｖ座標系での再投影座標値を求め、その再投影座標値と行列分解データを構成する行列要素との間の誤差を算出し、この誤差と、平面運動と３次元情報の復元ステップで得た特徴点のＺ座標値（３次元情報の成分）を使って、カメラ視点のＺ軸方向の並進運動を復元するステップ（Ｚ軸並進運動復元ステップ）と、
このＺ軸並進運動復元スナッブで得た誤差が、ある一定値以下に収束しているかどらかを判断し、収束していないならば平面運動と３次元情報の復元ステップで得た平面運動と３次元情報、並びに、光軸以外の軸周りの回転運動から変形運動を求め、この変形係数を各特徴点のｕｖ座標値に結合させて新たなｕｖ座標値を求め、これを行列要素とする行列分解データを生成し、平面運動と３次元情報の復元ステップに戻り、誤差が一定値以下に収束するまで反復して、全方位カメラ運動と３次元情報を復元するステップとを有する。

請求項２記載の発明は、全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する方法であって
取得した時系列の全方位画像（または広視野画像）に対して、各画像座標値から得られる位相角と仰角により各画像座標値をｕｖ座標値に変換して各画素をそのｕｖ座標値に対応付けるように時系列画像（ｕｖ画像）を生成し、このｕｖ画像に設定した特徴点座標系において、各画像における特徴点の時間的変化量を示すｕｖ座標値と、各ｕｖ画像における投影中心付近での線分がなす交点のｕｖ座標値（交点座標値）を測定するステップ（ｕｖ計測行列測定ステップ）と、
このｕｖ計測行列測定ステップにおいて得た各特徴点のｕｖ座標値と、交点座標値を用いて復元処理するための行列データ（行列分解データ）を生成し、この行列分解データを特異値分解し、雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報の成分から、運動を規定するために設定した条件を満足する変換行列を求め、運動情報となる行列データにこの変換行列を作用させて全方位カメラ視点の光軸周りの回転運動とそれに垂直な平面（ＸＹ平面）上の並進運動（この自由度３の運動を平面運動と称する）を復元し、光軸周りの回転角と交点座標値を使って、光軸以外の他軸周りの回転運動を復元し、さらに、３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元するステップ（平面運動と３次元情報の復元ステップ）と、
平面運動と３次元情報の復元ステップで得た平面運動と３次元情報から各特徴点に関するｕｖ座標系での再投影座標値を求め、その再投影座標値と行列分解データを構成する行列要素との間の誤差を算出し、この誤差と、平面運動と３次元情報の復元ステップで得た特徴点のＺ座標値（３次元情報の成分）を使って、カメラ視点のＺ軸方向の並進運動を復元するステップ（Ｚ軸並進運動復元ステップ）と、
このＺ軸並進運動復元ステップで得た誤差が、ある一定値以下に収束しているかどうかを判断し、収束していないならば、平面運動と３次元情報の復元ステップで得た平面運動と３次元情報、並びに、光軸以外の軸周りの回転運動から変形係数求め、この変形係数を各特徴点のｕｖ座標値に結合させて新たなｕｖ座標値を求め、これを行列要素とする行列分解データを生成し、平面運動と３次元情報の復元ステップに戻り、誤差が一定値以下に収束するまで反復して，全方位カメラ運動と３次元情報を復元するステップとを有する。

請求項３記載の発明は、請求項１記載の全方位カメラ運動と３次元情報の復元方法において、前記計測行列測定ステップにおいて、計測行列を特異値分解して得る特異値成分から運動の自由度を表す判定値を算出し、
判定値がある一定値未満の場合は、カメラ運動が平面運動をしたとみなして、前記全方位カメラ運動と３次元情報を復元するステップにおいて、光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
判定値がある一定値以上の場合は、カメラ運動が平面運動以外の一般運動をしたとみなして、前記全方位カメラ運動と３次元情報を復元するステップによって、カメラに関する回転と並進運動からなる自由度６の運動と外界の３次元情報を復元する処理を行なうステップを有する。

請求項４記載の発明は、請求項２記載の全方位カメラ運動と３次元情報の復元方法において、前記ｕｖ計測行列測定ステップにおいて、計測行列を特異値分解して得る特異値成分から運動を表す判定値を算出し、
判定値がある一定値末満の場合は、カメラ運動が平面運動をしたとみなして、前記全方位カメラ運動と３次元情報を復元するステップにおいて、光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
判定値がある一定値以上の場合は、カメラ運動が平面運動以外の一般運動をしたとみなして、前記全方位カメラ運動と３次元情報を復元するステップによって、カメラに関する回転と並進運動からなる自由度６の運動と外界の３次元情報を復元する処理を行なうステップを有する。

請求項５記載の発明は、全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する装置であって、
各画像における特徴点の座標値を測定する特徴点計測部と、
前記特徴点計測部で得た画像座標値をｕｖ画像に変換する計測行列変換部と、
各画像での投影中心付近での交点座標値を求める交点座標計測部と、
ｕｖ座標値を行列要素とする行列を初期値として与える計測行列入力部と、
交点座標計測部と計測行列入力部とから供給されたデータから因子分解法によりカメラの運動と外界の３次元情報を復元する因子分解法処理部とを備える。

請求項６記載の発明は、全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する装置であって、
各画像をｕｖ画像に変換する画像変換処理部と、
各画像における特徴点の座標値を測定する特徴点計測部と、
各ｕｖ画像での投影中心付近での交点座標値を求める交点座標計測部と、
ｕｖ座標値を行列要素とする行列を初期値として与える計測行列入力部と、
交点座標計測部と計測行列入力部とから供給されたデータから因子分解法によりカメラの運動と外界の３次元情報を復元する因子分解法処理部とを備える。

請求項７記載の発明は、請求項５記載の全方位カメラ運動と３次元情報の復元装置において、前記計測行列変換部から供給されたｕｖ画像を特異値分解して得た特異値成分から運動の自由度を表す判定値を算出する復元処理判定部を備え、
判定値がある一定値未満の場合は、カメラ運動が平面運動をしたとみなして、前記因子分解法処理部は光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
判定値がある一定値以上の場合は、カメラ運動が平面運動以外の一般運動をしたとみなして、前記因子分解法処理部はカメラに関する回転と並進運動からなる自由度６の運動と外界の３次元情報を復元する処理を行なう。

請求項８記載の発明は、請求項６記載の全方位カメラ運動と３次元情報の復元装置において、前記特徴点計測部から供給されたｕｖ画像を特異値分解して得た特異値成分から運動を表す判定値を算出する復元処理判定部を備え、
判定値がある一定値末満の場合は、カメラ運動が平面運動をしたとみなして、前記因子分解法処理部は光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
判定値がある一定値以上の場合は、カメラ運動が平面運動以外の一般運動をしたとみなして、前記因子分解法処理部はカメラに関する回転と並進運動からなる自由度６の運動と外界の３次元情報を復元する処理を行なう。

以上の発明において、広視野画像は全方位画像と同義の技術用語である（以下、後述の発明の実施形態においても同じ）。

ｕｖ座標値は、外界の３次元座標値を、視点を中心とした球面に投影した座標値において、カメラの進行方向の直交方向成分を高さ方向成分で割った値、およびカメラの進行方向成分を高さ方向成分で割った値を求め、それぞれをｕ座標およびｖ座標として得たものである。

変形係数は、全方位カメラの（視点の）Ｚ軸方向並進運動、および光軸以外の他軸周りの回転運動を、それらに等価なｕｖ座標値の変形で表した場合の変形の度合いを表わす係数である。

尚、本発明の全方位カメラ運動と３次元情報の復元方法及びその装置はコンピュータとプログラムによっても実現でき、プログラムをコンピュータ読み取り可能な記録媒体に記録すること、ネットワークを通して提供することも可能である。前記記録媒体としては、例えばＦＤ（フロッピーデイスク（登録商標））や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバルディスク等が挙げられる。

本発明の全方位カメラ運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体によれば、全方位カメラを用いて取得した時系列画像全般（移動手段を利用して撮影した車載画像、海上画像、空撮画像、屋内画像等）から対象物に関する物体形状を高精度に獲得、復元することが可能となる。また、これまでの測量技術並の高精度な３次元立体視が可能となる。

特に、車載カメラに適用した場合、そのカメラは車の走行によって振動するが、本発明はこのような事態においても、雑音にロバストに、微小なカメラ姿勢の変動（三軸周り回転運動）、並びにＧＰＳなどのリモートセンサを補間する精度の並進運動を正確に計測することが可能となる。また、本発明で用いられる演算は、その大半が線形演算で構成されているので、コンピュータ言語での実装が容易である。

以下、図面を参照しながら本発明の実施の形態について説明する。

（実施形態１）
図１ａ及び図１ｂは請求項１記載の発明を実施する装置の形態例を示した概略構成図である。本実施形態では等距離投影（光軸から入射角に比例した投影）で光学的に設計された魚眼レンズを使用した魚眼カメラ（以下、カメラと略称する場合もある。尚、以降の実施形態では全方位カメラと称す。）について説明する。尚、本発明は、他の投影（立体角投影、等立体角投影）で設計された魚眼レンズを使用した魚眼カメラレンズ撮像装置で取得した時系列画像に対しても適用可能である。

図１３を参照しながら、本実施形態で復元する対象の空間中の点Ｐ（Ｘ_j，Ｙ_j，Ｚ_j）と、全方位カメラの運動、すなわちロール回転（ω_i）、ピッチ回転（φ_i）、ヨー回転（θ_i）並びに並進運動Ｔ_i（Ｔｘ_i，Ｔｙ_i，Ｔｚ_i）について説明する。

該図はカメラと対象物（被写体）との位置関係を表しており、説明の都合上、カメラが進行する軸をＹ軸とする。カメラは並進運動（Ｔｘ_i，Ｔｙ_i，Ｔｚ_i）で移動しながら、ロール回転（ω_i）、ピッチ回転（φ_i）、ヨー回転（θ_i）の回転をする。このとき、カメラ光軸をＺ軸方向とする。また、投影中心Ｃの位置（視点位置Ｔ_i）は運動の中心であり、第ｉフレームでの並進運動をＴｉ（Ｔｘ_i，Ｔｙ_i，Ｔｚ_i）の位置とする。さらに、進行軸周りの回転をロール回転（Ｙ軸周りの回転）、カメラ光軸周りの回転をヨー回転（Ｚ軸周りの回転）、カメラ光軸と進行軸で張られる面の法線周りの回転をピッチ回転（Ｘ軸周りの回転）とする。一方、空間中の点点Ｐ（Ｘ_j，Ｙ_j，Ｚ_j）は、イメージサークル内の画像面において画像座標値（ｘ_ij，ｙ_ij）へ投影されるとする。式（１）は等距離投影と呼ばれる光学的投影であり、図１３に示された位相角ρ_ijは、画像座標値（ｘ_ij，ｙ_ij）から式（２）に演算によって得ることができる。式（１）において、ｆは魚眼レンズの焦点距離であり、ＤはＤ＝πｆ／（２Ｒ）で決まる定数である。但し、Ｒは図１３に示すイメージサークルの半径である。また、図１３では画像面での投影中心Ｃの画像座標値を（Ｃ_x，Ｃ_y）としている。

図１ａに示された復元装置は、全方位画像を蓄積した時系列データベース１０と、各画像における特徴点の座標値を測定する特徴点計測部１１と、この計測部１１で得た画像座標値をｕｖ画像に変換する計測行列変換部１２と、各画像での投影中心付近での交点座標値を求める交点座標計測部１３と、ｕｖ座標値を行列要素とする行列を初期値として与える計測行列入力部１４と、これらの入力データから因子分解法によりカメラの運動と外界の３次元情報を復元する因子分解法処理部１５とを備える。尚、時系列画像データベース１０には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭ等の記録媒体を利用するか、またはネットワークを介したリモートなデータ資源を利用する形態でもどちらでもよい。

また、図１ｂはリアルタイムで処理する場合の復元装置の形態例を示した概略構成図である。当該復元装置は時系列画像データベース１０に代えてデータ画像入力部１６を備えている。したがって、本実施形態の復元装置は必ずしも各データベース部等の記憶手段を必要としない。

以下、本実施形態の各構成部について説明する。

特徴点計測部１１は、景観を撮影した全方位画像を時系列画像データベース１０から取り出し、全方位画面上に特徴点を設定する。この特徴点設定には、濃淡の１次元的または２次元的変化による勾配値が大きくなる画素を検出（エッジ検出等）、Ｃａｎｎｙオペレータ、ハフ変換等の画像処理手法により特徴点を自動的に発生させている。また、作業者が介在して適当に特徴点をマークするなどして初期画像上に特徴点を配置してもかまわない。このとき、配置する特徴点の数をＰ個（ｊ＝１，２，…，Ｐ）とし、配置したときの特徴点の２次元座標値として、図１３での画像座標系での原点からの座標値（ｘ_1j，ｙ_1j），ｊ＝１，２，…，Ｐを記録しておく。次に、初期画像に続く時系列画像をデータベース１０から１枚ずつ読み込み、初期画像に配置した特徴点を、時系列画像間の濃淡の変化に着目した手法、特徴点を中心とした画素パターンを各フレーム間で追跡する方法（例えばＫＬＴ（Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ）法）または全方位画像特有の投影歪みを考慮した手法を駆使して追跡し、各時系列画像（初期画像から第ｉ番目の画像）の特徴点を画像座標値として図１３での画像座標系での原点からの２次元座標値（ｘ_ij，ｙ_ij）記録する。また、時系列画像を読み続けた場合、特徴点が画像間で消失やオクルージョンにより消失してしまったときは追跡を停止し、特徴点追跡を終了する。特徴点追跡が終了した時点で、読み出した時系列画像の数は初期画像を含めてＦ枚とする（ｉ＝１，２，…，Ｆ）。特徴点計測部１１では各時系列画像における特徴点の時間的な画像座標的配置の変化量は式（３）のデータ形式に配置して計測行列［Ａ］を保持しておく。

計測行列変換部１２は、特徴点計測部１１で取得した画像座標値を要素とする計測行列［Ａ］から第ｉフレームおける第ｊ番目の特徴点の画像座標値（ｘ_ij，ｙ_ij）を取り出す。さらに、投影中心（Ｃ_x，Ｃ_y）を原点とした相対的な画像座標値に一時変換し、式（１）及び（２）の演算によって位相角ρ_ijと仰角φ_ijを求める。この位相角と仰角を式（４）による演算に供して座標変換し、ｕｖ座標値（ｕ_ij，ｖ_ij）を得ている。この変換はこの全フレーム、全特徴点に対して行なわれる。尚、変換後のデータ形式として、式（５ａ）に示す要素形式の行列［Ｂ］は計測行列入力部１４において初期値として保持される。

前記得られたｕ座標値及びｖ座標値は、外界の３次元座標値（Ｘ，Ｙ，Ｚ）を、視点Ｔｉを中心とした球面に投影した座標値において、それぞれ、カメラの進行方向の直行方向成分を高さ方向成分で割った値、及びカメラの進行方向成分を高さ方向成分で割った値に相当する。すなわち、外界の３次元座標値（Ｘ，Ｙ，Ｚ）を、視点Ｔｉを中心とした半径ｌの球面に投影すると、（Ｘ’，Ｙ’，Ｚ’）＝（ｃｏｓ（φ）ｃｏｓ（ρ），ｃｏｓ（φ）ｓｉｎ（ρ），ｓｉｎ（φ））と表される（図１３参照）。ｕｖ座標値はこの単位球面座標値（Ｘ’，Ｙ’，Ｚ’）から（ｕ，ｖ）＝（Ｘ’／Ｚ’，Ｙ’／Ｚ’）＝（ｃｏｔ（φ）ｃｏｓ（ρ），ｃｏｔ（φ）ｓｉｎ（ρ））で算出される。尚、一般的な球面座標系では、図１３においてＺ軸から測った角φ’を用いて座標を定義するため、（Ｘ’，Ｙ’，Ｚ’）＝（ｓｉｎ（φ’）ｃｏｓ（ρ），ｓｉｎ（φ’）ｓｉｎ（ρ），ｃｏｓ（φ’））と表せる。

これに対して本実施形態では、図１３での視点から３次元座標値（Ｘ，Ｙ，Ｚ）を見上げたときの仰角φを用いて座標を定義しているため、φ’＝π／２−φであり、（ｓｉｎ（π／２−φ）ｃｏｓ（ρ），ｓｉｎ（π／２−φ）ｓｉｎ（ρ），ｃｏｓ（π／２−φ））＝（ｃｏｓ（φ）ｃｏｓ（ρ），ｃｏｓ（φ）ｓｉｎ（ρ），ｓｉｎ（φ））と表される。

図１２ａ（１）（２）（３）に全方位カメラが撮像した画像の例を示す。該図においてａ（１）は全方位カメラが撮像した画像の例で対象物に輪郭線を付したものを、ａ（２）は全方位カメラが撮像した画像の例で対象物の輪郭線のみを示したものを、ａ（３）は全方位カメラが撮像した画像の例で対象物の輪郭線を付してないものである。

また、図１２ｂ（１）（２）（３）は図１２ａ（１）の画像を図５に開示した処理フローに従ってｕｖ座標値に変換し、図６に示したｕｖ画像を生成した例を示したものである。図１２においてｂ（１）は全方位カメラが撮像した画像をｕｖ座標変換して得た画像の例で対象物に輪郭線を付したものを、ｂ（２）は全方位カメラが撮像した画像をｕｖ座標変換して得た画像の例で対象物の輪郭線のみを示したものを、ｂ（３）は全方位カメラが撮像した画像をｕｖ座標変換して得た画像の例で対象物の輪郭線を付してないものである。

図１２ｂ（１）（２）（３）から明らかなように、本座標変換では、仰角φが小さい特徴点（建物の底辺に近い点）ほどｖ軸から遠ざかる点に測定誤差が強調されて変換される。すなわち、同じ操作により特徴点を測定した場合、ｘｙ平面上ではわかりずらい誤差などがｕｖ平面ではより正確に把握できるようになる。したがって、この強調された誤差が最小となるようにカメラ視点の運動及び３次元座標値を求めれば、高精度な計測が可能となる。

また、ｕｖ平面において、ロール回転運動はｖ方向の座標移動、ピッチ回転運動はｕ方向の座標移動、Ｚ軸並進運動はｕｖ座標軸系におけるスケール変換に簡略的に換算できるため、ｘｙ平面よりもロール回転、ピッチ回転、Ｚ軸並進運動の判別が容易となる。この判別の容易性を利用して、本実施形態では反復的に変形係数を使ってｕｖ座標値を変形させて、繰り返しカメラ運動と３次元座標値の復元を続けることで、より高精度なカメラ運動と３次元座標値を復元することが可能となっている。

交点座標計測部１３は、特徴点計測部１１で使った画像において、線分を検出しその線分上の直線が投影中心付近で交差する座標（交点座標）を計測する。

交点座標について図３を参照しながら説明する。図１３のように、全方位カメラを天空方向または天井方向に向けて撮影した場合、垂直線分、例えば屋内では壁など高さ方向の線分、屋外では建物の高さ方向の線分を伸ばすと、図１３に示すような交点で交わるという性質がある。つまり、無限大の高さを有する点は１点であり、この点を交点座標として画像から求めている。ここでは、交点座標を画像中において建物の高さ方向の線分（垂直線分）を検出して求める。線分検出には、ハフ変換やＣａｎｎｙオペレータなどの画像処理手法により求める。このような処理により各線分に関する直線パレメータを得ている。直線パラメータは直線の傾きａ_iと切片ｂ_iであり、式（６ａ）に示した演算によって交点座標値（Ｄ_x，Ｄ_y）を得ている。あるいは、作業者が直線上の点を指定して求めてもよい。

図３には直線ｌ₁₂上のペア：ｐ₁（ｘ₁，ｙ₁）とｐ₂（ｘ₂，ｙ₂）、直線ｌ₃₄上のペア：ｐ₃（ｘ₃，ｙ₃）とｐ₄（ｘ₄，ｙ₄）、直線ｌ₅₆上のペア：ｐ₅（ｘ₅，ｙ₅）とｐ₆（ｘ₆，ｙ₆）、直線ｌ₇₈上のペア：ｐ₇（ｘ₇，ｙ₇）とｐ₈（ｘ₈，ｙ₈）としている。各点の座標値から式（６ｂ）の演算によって交点座標値（Ｄ_x，Ｄ_y）を算出する。さらに、式（６ｃ）の演算によって、交点座標値（Ｄ_x，Ｄ_y）にＤ／ｆを乗じた値を交点座標値としている。尚、交点座標を算出するには最低２本の直線で十分であるが、多くの垂直直線を検出することで、より正確な交点座標を算出できることができる。この交点座標を全フレームにわたり求めて、各フレームでの交点座標値（ζ_i，η_i），ｉ＝１，２，…，Ｆを保持する。

次に、因子分解法処理部１５の処理概要について説明する。図２は当該処理工程を説明したフローチャートである。計測行列入力部１４から計測行列データが、また交点座標計測部１３から交点座標値が供されると、先ず、係数ε_ij，δ_ijを式（５ｂ）のように初期化し、初期値の行列［Ｂ］と交点座標値から式（５ｃ）に示すデータを求めておき、これを改めて行列［Ｂ］として保持しておく（ステップ１０１）。このとき、計測行列入力部１４に保持してある処理値の行列［Ｂ］は上書きせず、本処理工程（図２）が終了するまでに保持しておく。この行列［Ｂ］が分解行列データとなる。

前記行列［Ｂ］は特異値分解（ステップ１０２）に供されて式（７）に示す３つの行列［Ｕ］、［Ｗ］、［Ｖ］に行列分解される。ここで、［Ｕ］は２Ｆ×Ｐサイズの行列、［Ｗ］はＰ×Ｐサイズの対角行列、［Ｖ］はＰ×Ｐサイズの行列である。

さらに、雑音除去（ステップ１０３）において、式（８）の第二項に示すように、ランク４以上の各行列の成分を削除する。この削除のときは、行列［Ｕ］を取り出し、この行列の要素において第４から第Ｐ列目までを削除し、残りの成分からなる行列を保持し、行列［Ｗ］を取り出し、この行列の要素において第４から第Ｐ行目並びに第４から第Ｐ列目までを削除し、残りの成分からなる行列を保持し、行列［Ｖ］を取り出し、この行列の要素において第４から第Ｐ行目までを削除し、残りの成分からなる行列をそれぞれ保持する（式（９））。次に、第４から第Ｐ行目並びに第４から第Ｐ列目までを削除した行列［Ｗ］の対角要素の平方をとった行列から、式（１０）及び式（ｌｌ）に示す行列［Ｕ’］と行列［Ｖ’］を得る。

次いで、変換行列算出（ステップ１０４）では、保持してある行列［Ｕ’］を取り出し、式（１３）〜式（１５）に示す連立する条件式における対称行列［Ｃ］（式（１２）で表されている）の各要素にかかる係数を計算する。これらの係数計算は、行列演算により容易に得られるものであり、この条件式を全フレームに対して計算する。次に、全フレームの式（１３）〜（１５）に示す連立する条件式に対して、最小二乗法などの数値計算を利用して３×３サイズの行列［Ｃ］の各要素を決定する。さらに、求めた行列［Ｃ］を式（１６）に示すように固有値分解する。ここで、固有値行列の平方と固有値行列から、式（１７）の行列［Ｃ’］を生成し、この行列要素を成分にもつ行列［Ｑ］を式（１８）に従って算出する。

続いて、求めた行列［Ｑ］と、保持しておいた行列［Ｕ’］から、式（１９）の行列演算により行列［Ｍ’］を計算する。

そして、行列［Ｍ’］から各フレーム（第ｉフレーム）の行列要素（ｍ_ix，ｎ_ix）または（ｍ_iy，ｎ_iy）を取り出し、式（２０）を使って、ヨー回転θ_iを復元する。行列［Ｍ’］から各フレーム（第ｉフレーム）の交点座標（ζ_i，η_i）から式（２１）を使ってピッチ回転ψｉとロール回転ωｉを復元する。以上がステップ１０６である。また、行列［Ｍ’］から各フレーム（第ｉフレーム）の行列要素（Ｔ_iu，Ｔ_iv）を取り出す。この（Ｔ_iu、Ｔ_iv）から、式（２２）を使って第ｉフレームにおけるユークリッド空間でのＸＹ並進運動（Ｔｘ_i，Ｔｙ_i）を計算する（ステップ１０５）。さらに、式（２５）（２６）に示す誤差を計算する。

次に、式（２７）の計算を行い、各フレーム（第ｉフレーム）でのＺ軸の並進運動Ｔｚ_iを復元する（ステップ１０８）。

一方、先に保持しておいた行列［Ｖ’］と、変換行列算出で得られた行列［Ｑ］から、式（２３）に示す行列演算を行い、行列［Ｓ’］を求める、次に、行列［Ｓ’］の要素に対して、式（２４）に示す変換を行い、これを要素とする行列を［Ｐ］とする（ステップ１０７）。行列［Ｐ］の列ベクトルは、それぞれ第ｊ番目の特徴点のユークリッド空間での３次元座標値（Ｘ_j，Ｙ_j，Ｚ_j）になっている。

ここで、式（２５）（２８）（２８ａ）で得られる誤差ΔＷを算出する（ステップ１０９）。この誤差が、ある一定値以下に収束している（ｙｅｓ）場合は処理を終了する。一方、収束していない（ｎｏ）場合は、式（２９）に従って変形係数ε_ij，δ_ijを更新する（ステップ１１１，１１２）。さらに、この変形係数ε_ij，δ_ijの更新に伴い式（５ｃ）により行列分解データとなる行列［Ｂ］を更新する。これを誤差ΔＷが一定定値以下に収束するまで反復を繰り返す（図２に示された記号Ａ）。

尚、変形係数ε_ij、δ_ijは、全方位カメラの（視点の）。Ｚ軸方向の並進運動、および光軸以外の他軸周りの回転運動ωｉ、ψｉを、それらに等価なｕｖ座標値の変形で表した場合の変形の度合いを表わす係数である。本実施形態では、平面運動と３次元情報の復元ステップで得たカメラ視点のＸＹ並進成分（Ｔｘｉ，Ｔｙｉ）と３次元情報（Ｘｊ，Ｙｊ，Ｚｊ）、並びに、光軸以外のＸＹ軸周りの回転角（ωｉ、ψｉ）を使って、ｕＶ座標値を変形させる係数（ε係数；式（２９）のε_ij）を求めると共に、平面運動と３次元情報の復元ステップで得た各特徴点の高さ情報（Ｚｊ）と前記Ｚ軸並進運動を復元するステップで得た各視点のＺ軸上の位置（Ｔｚｉ）を使って、ｕｖ座標値をスケール変換する係数（δ係数；式（２９）のδ_ij）を求めている。そして、ε係数を前記計測行列の測定ステップで得た計測行列（式（５ａ）の［Ｂ］）の各行列要素にそれぞれ掛け合わせて得た値と、計測行列測定ステップで得た計測行列の各行列要素から交点座標値（ζ、η）を差し引いた各座標値にδ係数をそれぞれ掛け合わせて得た値を合わせた新たな行列要素とする行列分解データ（式（５ｃ）の［Ｂ］）を生成している。

以上のように、本実施形態の復元装置によれば、全方位映像の特徴点の時間的動きから、全方位カメラ視点の運動、すなわち、三軸周りの回転と三軸方向の並進運動、並びに、物体形状を構成する３次元情報を復元することができる。

（実施形態２）
図４ａは請求項２の発明を実施する装置の形態例を示した概略構成図である。本実施形態の復元装置は、実施形態１の復元装置において画像変換処理部２１を備えている。ここでは、時系列画像データベース１０から取り出した画像を画像変換処理部２１に供して変形画像（ｕｖ画像）を生成する点、並びに、このｕｖ画像において交点座標を測定する点が実施形態１の復元装置と異なるため、この点だけについて説明する。

図示された復元装置は、全方位画像を蓄積した時系列画像データベース１０と、各画像をｕｖ画像に変換する画像変換処理部２１と、各画像における特徴点の座標値を測定する特徴点計測部１１と、各ｕｖ画像での投影中心付近での交点座標値を求める交点座標計測部１３と、ｕｖ座標値を行列要素とする行列を初期値として与える計測行列入力部１４と、これら入カデータから因子分解法によりカメラの運動と外界の３次元情報を復元する因子分解法処理部１５とを備える。尚、実施形態１と同様に時系列画像データベース１０には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介したリモートなデータ資源を利用する形態でもどちらでも構わない。

また、図４ｂはリアルタイムで処理する場合の処理構成を示したもので、時系列画像データベース１０に代えて画像入力部１６を備えている。したがって、本実施形態の復元装置は必ずしも各データベース部等の記憶手段を必要としない。

本実施形態では、画像変換処理部２１が時系列画像データベース１０から取り出した画像からｕｖ画像を生成する。画像変換処理部２１は、ｕｖ画像を生成するのに、ｕｖ座標値を指定して、これに該当するｘｙ座標値を算出し、その座標値の画素値を抽出してｕｖ画素としている（図６）。

図５はこの処理工程をフローチャートで示したものである。先ず、ｕｖ画像におけるｕ方向、ｖ方向の単位画素あたりの重み付けを行う。ｕｖ画像の画像サイズをＵ×Ｖ画素とし、並びに、仰角φについてφ_min≦φ≦９０度の範囲と決めたとする（ステップ２０１，２０２）。これにより、ｕ方向、ｖ方向の単位画素あたりの重み付けが式（３０）に従い決定する。

また、ｕｖ画像のｕｖ座標値範囲は画像の中心を原点（０，０）として、ｕ方向に−Ｕ／２から＋Ｕ／２，ｖ方向に−Ｖ／２から＋Ｖ／２とする。そして、ｕ方向、ｖ方向の各座標値を表す整数ｍ，ｎ（−Ｍ’≦ｍ≦Ｍ、−Ｎ≦ｎ≦Ｎ，Ｍ：整数、Ｎ：整数、ＭとＮは同じ、すなわちｕｖ画像が正方形でもよい）を使って、ｕｖ座標値を式（３１）の演算によって得る（ステップ２０３）。

次いで、整数ｍ，ｎを−Ｍ≦ｍ≦Ｍ、−Ｎ≦ｎ≦Ｎの範囲で変化させながら、式（３２）の演算によってその（ｕ，ｖ）座標値に対応する位相角ρと仰角φを求める（ステップ２０４，２０５）。

次に、式（３３）により画像座標値を算出する。この画像座標値を四捨五入で整数化したものを（ｘ，ｙ）とする（ステップ２０６）。

そして、画像座標値（ｘ，ｙ）に対応する画素値を取り出し（ステップ２０７）、ｕｖ画像上でのｕｖ座標値に該当する座標値にその画素値を埋め込む（ステップ２０８）。

以上の工程を全ｕｖ座標値に対して行うことで、ｕｖ画像を生成する（ステップ２０９）。さらに、対象とする全時系列画像を逐次この変換処理を行なって時系列のｕｖ画像を生成する。

交点座標計測部１３は、前記ｕｖ画像において線分を検出しその線分上の直線が投影中心付近で交差するｕｖ座標（交点座標）を計測する。図７はｕｖ画像上での交点座標（ζ、η）の計測を説明したものである。ｕｖ画像においても図３と同様に、全方位カメラを天空方向、または天井方向に向けて撮影した場合、垂直線分、例えば屋内では壁などの高さ方向の線分、屋外では建物の高さ方向の線分を伸ばすと、１点（交点座標）で交わるという性質を利用する。つまり、無限大の高さを有する点は１点であり、この点を交点座標（ζ、η）としてｕｖ画像から求める。交点座標はｕｖ画像中において建物の高さ方向の線分（垂直線分）を検出して求める。線分検出には、ハフ変換やＣａｎｎｙオペレータなどの画像処理手法により求める。このような処理により各線分に関する直線パラメータを得る。直線パラメータは直線の傾きａ_iと切片ｂ_iであり、式（６ａ）に示す計算により交点座標値（ξ、η）を得る。あるいは作業者が直線上の点を指定して求めてもよい。

図７には、直線ｌ₁₂上のペア：ｐ₁（ｘ₁，ｙ₁）とｐ₂（ｘ₂，ｙ₂）、直線ｌ₃₄上のペア：ｐ₃（ｘ₃，ｙ₃）とｐ₄（ｘ₄，ｙ₄）、直線ｌ₅₆上のペア：ｐ₅（ｘ₅，ｙ₅）とｐ₆（ｘ₆，ｙ₆）、直線ｌ₇₈上のペア：ｐ₇（ｘ₇，ｙ₇）とｐ₈（ｘ₈，ｙ₈）としている。各点の座標値から、式（６ｂ）に従い交点座標値（ξ、η）を得る。尚、交点座標を求めるには最低２本の直線で十分であるが、多くの垂直直線を検出することで、より正確な交点座標を来めることができる。この交点座標を全フレームにわたり求めて、各フレームでの交点座標値（ζ_i、η_i）、ｉ＝１，２、…、Ｆを保持しておく。その後は、実施形態１と同様の処理工程により、全方位映像の特徴点の時間的動きから、全方位カメラ視点の運動、すなわち三軸周りの回転と三軸方向の並進運動、並びに物体形状を構成する３次元情報を復元することができる。

（実施形態３）
図８ａは請求項３の発明に関する基本構成図である。本実施形態の復元装置は、実施形態１の復元装置において復元処理判定部３１を備えている。ここでは、特徴点計測部１１により得た特徴点の画像座標値を計測行列変換部１２によってｕｖ座標値に変換したとき復元処理判定部３１がカメラ運動と３次元情報を復元するための処理を判定する点が実施形態１の復元装置と異なるので、この点だけについて説明する。尚、時系列画像データベース１０には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介したリモートなデータ資源を利用する形態でもどちらでも構わない。

また、図８ｂはリアルタイムで処理する場合の復元装置の概略構成を示し、当該復元装置は時系列画像データベース１０に代えてデータ画像入力部１６を備えている。したがって、本実施形態の復元装置は必ずしも各データベース部等の記憶手段を必要としない。

計測行列変換部１２は特徴点計測部１１で得た特徴点の画像座標値から座標値に変換して計測行列［Ｂ］を保持する。この計測行列［Ｂ］は式（５ａ）の形式で保持されている。計測行列［Ｂ］は復元処理判定部１２での復元処理に供される。

図９は復元処理をフローチャートで示したものである。計測行列変換部１２かから計測行列［Ｂ］が入力されると（ステップ３０１）、この行列は式（８）の演算による特異値分解によって特異値行列［Ｗ］に変換される（ステップ３０２）。特異値行列［Ｗ］は対角行列であり、その各要素である特異値は昇降順の並びで、かつ全て正の実数となっている。この特異値の中から３×３の行列要素Ｗ₃₃と４×４の行列要素Ｗ₄₄の特異値が取り出される。ランク検出（ステップ３０３）では、式（３４ａ）または式（３４ｂ）に示した演算によって判定量Ｅ_Wを得ている。

特異値Ｗ₃₃は、カメラが自由度３以上の運動を行う場合に正の有限値となり、また、特異値Ｗ４４は、カメラが自由度４以上の運動を行う場合に正の有限値となり、かつ自由度３未満の運動を行う場合にはほぼ０となる、という性質を有しているため、判定量Ｅ_Wはカメラの運動の自由度を判定する目安とすることができる。

次いで、判定量Ｅ_Wがある許容値δＷ未満であるか、または判定量Ｅ_Wが許容値δＷ以上かを判定する（ステップ３０４）。この許容値δＷは特定の一定値であり、作業者が逐次、その値を設定することもできる。

ここで、判定量Ｅ_Wがある許容値δｗ未満の場合は、カメラ運動が平面進動をしたと判断（ステップ３０５）して、処理Ａに進む（ステップ３０６）。一方、判定量Ｅ_Wがある許容値δＷ以上の場合は、カメラ運動が一般運動（平面運動以外）をしたと判断（ステップ３０７）して、処理Ｂに進む（ステップ３０８）。

処理Ｂとは実施形態１の処理を行って、全方位映像の特徴点の時間的動きから、全方位カメラ視点の運動、すなわち三軸周りの回転と並進運動、並びに物体形状を構成する３次元情報を復元する処理である。そのため、以降では、処理Ａについて説明する。

図１０は因子分解法処理部１５において行なわれる処理Ａ（ステップ３０６）のフローチャートを示したものである。

復元処理判定部１５において行った特異値分解により式（７）の３つの行列［Ｕ］、［Ｗ］、［Ｖ］に行列分解した各行列データを入力する（ステップ３０９）。ここで、［Ｕ］は２Ｆ×Ｐサイズの行列、［Ｗ］はＰ×Ｐサイズの対角行列、［Ｖ］はＰ×Ｐサイズの行列である。

先ず、雑音除去（ステップ３１０）において、式（８）の第二項に示すようにランク４以上の各行列の成分を削除する。この削除のときは、行列［Ｕ］を取り出し、この行列の要素において第４から第Ｐ列目までを削除し、残りの成分からなる行列を保持し、行列［Ｗ］を取り出し、この行列の要素において第４から第Ｐ行目並びに第４から第Ｐ列目までを削除し、残りの成分からなる行列を保持し、行列［Ｖ］を取り出し、この行列の要素において第４から第Ｐ行目までを削除し、残りの成分からなる行列をそれぞれ保持する（式（９））。次に、第４から第Ｐ行目並びに第４から第Ｐ列目までを削除した行列［Ｗ］の対角要素の平方をとった行列から、式（１０）（１１）に示す行列［Ｕ’］と行列［Ｖ’］を得る。

続いて、変換行列算出（ステップ３１１）では、保持してある行列［Ｕ’］を取り出し、式（１３）〜（１５）に示す連立する条件式における対称行列［Ｃ］（式（１２）で表されている）の各要素にかかる係数を計算する。これらの係数計算は、行列演算により容易に得られるものであり、この条件式を全フレームに対して計算する。次に、全フレームの式（１３）〜（１５）に示す連立する条件式に対して、最小二乗法などの数値計算を利用するなどして３×３サイズの行列［Ｃ］の各要素を決定する。

さらに、求めた行列［Ｃ］を式（１６）に示すように固有値分解する。ここで、固有値行列の平方と固有値行列から、式（１７）の行列［Ｃ’］を生成し、この行列要素を成分にもつ行列［Ｑ］を式（１８）に従って算出する。

続いて、平面運動復元（ステップ３１２）において、前記行列［Ｑ］と、保持しておいた行列［Ｕ’］から、式（１９）の行列演算により行列［Ｍ’］を計算する。行列［Ｍ’］から各フレーム（第ｉフレーム）の行列要素（ｍ_ix，ｎ_ix）または（ｍ_iy，ｎ_iy）を取り出し、式（２０）の演算によってヨー回転θ_iを復元する。行列［Ｍ’］から各フレーム（第ｉフレーム）の行列要素（Ｔ_iu，Ｔ_iv）を取り出す。この（Ｔ_iu，Ｔ_iv）から、式（２２）の演算によって第ｉフレームにおけるユークリッド空間でのＸＹ並進運動（Ｔｘ_i，Ｔｙ_i）を算出する。

さらに、先に保持しておいた行列［Ｖ’］と、変換行列算出で得られた行列［Ｑ］から、式（２３）に示す行列演算を行い、行列［Ｓ’］を求める。次に、行列［Ｓ’］の要素に対して、式（２４）に示す変換を行い、これを要素とする行列を［Ｐ］とする（ステップ３１３）。行列が［Ｐ］の列ベクトルは、それぞれ第ｊ番目の特徴点のユークリッド空間での３次元座標値（Ｘ_j，Ｙ_j，Ｚ_j）になっている。

このようにして本実施形態の復元装置によれば、復元処理判定部３１においてカメラ運動が平面運動をしていると判定された場合、処理Ａの実行によって、全方位映像の特徴点の時間的動きから、全方位カメラ視点の運動、すなわち光軸周りの回転とＸＹ並進運動、並びに物体形状を構成する３次元情報を復元する。

また、復元処理判定部３１においてカメラ運動が平面運動以外の一般運動をしていると判定された場合、実施形態１と同様に、図２に示した処理工程に基づく処理Ｂの実行により、全方位映像の特徴点の時間的動きから、全方位カメラ視点の運動、すなわち、三軸周りの回転と三軸方向の並進運動、並びに、物体形状を構成する３次元情報を復元することができる。

（実施形態４）
図１１ａは請求項４の発明を実施する形態例の概略構成図である。本実施形態の復元装置は、実施形態２の復元装置において復元処理判定部３１を備えている。ここでは、特徴点計測部１１にて時系列のｕｖ画像における各特徴点のｕｖ座標値を測定した後、この座標値を復元処理判定部３１に供してカメラ運動と３次元情報を復元する処理を判定する点が実施形態２の復元処理装置と異なるため、この点だけについて説明する。本実施例において、時系列画像データベースは、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介したリモートなデータ資源を利用する形態でもどちらでも構わない。

また、図１１ｂはリアルタイムで処理する場合の処理構成図であり、本実施形態の復元装置も実施形態１、２及び３の復元装置と同様に時系列画像データベース１０の代わりに画像入力部１６を備えている。したがって、本実施形態の復元装置も必ずしも各データベース部１０等の記憶手段を必要としない。

特徴点計測部１１は、各特徴点のｕｖ座標値を得て、これらを行列要素とする計測行列［Ｂ］を保持する。この計測行列［Ｂ］は式（５ａ）の形式で保持されている。次に、計測行列［Ｂ］は復元処理判定部３１での処理に供される。復元処理判定部３１での処理フローは図９に示したフローチャートに基づく。すなわち、計測行列［Ｂ］を式（８）の演算に供して特異値分解を行い、特異値行列［Ｗ］を得る。特異値行列［Ｗ］は対角要素であり、その各要素である特異値は昇降順の並びで、かつ全て正の実数となっている。そして、この特異値の中から３×３の行列要素Ｗ₃₃と４×４の行列要素Ｗ₄₄の特異値を取り出している。ランク検出では、式（３４ａ）または式（３４ｂ）に示す演算によって判定量Ｅ_Wを得ている。

次いで、判定量Ｅ_Wがある許容値δＷ未満であるか、または判定量Ｅ_Wが許容値δＷ以上かを判定する。この許容値δＷは特定の一定値であり、作業者が逐次、その値を設定することもできる。そして、判定量Ｅ_Wがある許容値δＷ未満の場合は、カメラ運動が平面運動をしたと判断して処理Ａに進む。一方、判定量Ｅ_Wがある許容値δＷ以上の場合は、カメラ運動が一般運動（平面運動以外）をしたと判断して処理Ｂに進む。処理Ｂは、実施形態２と同様の処理を行なって、全方位映像の特徴点の時間的動きから、全方位カメラ視点の運動、すなわち三軸周りの回転と三軸方向の並進運動、並びに物体形状を構成する３次元情報を復元する処理である。尚、処理Ａについては、実施形態３における処理Ａと同じであるので、その説明は省略する。

以上の実施形態で述べた復元方法は、図１ａ〜図１１ｂで示した処理工程をコンピュータのプログラムで構成し、このプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の工程の実行させるためのプログラムを、そのコンピュータが読み取りできる記録媒体、例えば、ＦＤ（フロッピーデイスク（登録商標））や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを介して提供することも可能である。

そして、これら記録媒体からコンピュータに前記のプログラムをインストールすることにより、あるいはネットワークからダウンロードしてコンピュータに前記のプログラムをインストールすることにより、本発明を実施することが可能となる。但し、コンピュータへのインストールはコンピュータ単位であり、装置やシステムが複数あることなどでインストールの対象となるコンピュータが複数ある場合には、当該プログラムは必要な処理部分毎にインストールされることは当然である。この場合、当該プログラムはコンピュータ対応に記録媒体に記録するか、またはネットワークを介してダウンロードしてもよい。

請求項１記載の発明を実施する装置の形態例を示した概略構成図。 請求項１記載の発明を実施する装置の形態例を示した概略構成図。 因子分解法処理部１５における処理工程を説明したフローチャート。 交点座標の計測を説明した説明図。 請求項２記載の発明を実施する装置の形態例を示した概略構成図。 請求項２記載の発明を実施する装置の形態例を示した概略構成図。 画像変換処理部２１におけるｕｖ画像変換の処理工程を説明したフローチャート。 ｕｖ画像生成を説明した説明図。 ｕｖ画像での交点座標の計測を説明した説明図。 請求項３記載の発明を実施する装置の形態例を示した概略構成図。 請求項３記載の発明を実施する装置の形態例を示した概略構成図。 復元処理判定部３１での処理工程を説明したフローチャート。 因子分解法処理部１５において行なわれる処理Ａを説明したフローチャート。 請求項４記載の発明を実施する装置の形態例を示した概略構成図。 請求項４記載の発明を実施する装置の形態例を示した概略構成図。 全方位カメラが撮像した画像の例で、対象物に輪郭線を付したもの。 全方位カメラが撮像した画像の例で、対象物の輪郭線のみを示したもの。 全方位カメラが撮像した画像の例で、対象物に輪郭線を付していないもの。 全方位カメラが撮像した画像をｕｖ座標変換して得た画像の例で、対象物に輪郭線を付したもの。 全方位カメラが撮像した画像をｕｖ座標変換して得た画像の例で、対象物の輪郭線のみを示したもの。 全方位カメラが撮像した画像をｕｖ座標変換して得た画像の例で、対象物に輪郭線を付していないもの。 全方位カメラと復元する空間情報とカメラ座標を示す図。

符号の説明

１０…時系列画像データベース、１１…特徴点計測部、１２…計測行列変換部、１３…交点座標計測部、１４…計測行列入力部、１５…因子分解法処理部、１６画像入力部
２１…画像変換処理部
３１…復元処理判定部

Claims (16)

1. 全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する方法であって、
   取得した時系列の全方位画像（または広視野画像）に設定した特徴点座標系において、各画像における特徴点の時間的変化量を示す画像座標値と、各画像における投影中心付近での線分がなす交点の画像座標値（交点座標値）を測定するステップ（計測行列測定ステップ）と、
   この計測行列測定ステップにおいて得た各特徴点の画像座標値から算出される位相角と仰角により別の座標値（ｕｖ座標値）を求め、これらの各特徴点のｕｖ座標値と、交点座標値を用いて復元処理するための行列データ（行列分解データ）を生成し、この行列分解データを特異値分解し、雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報の成分から、運動を規定するために設定した条件を満足する変換行列を求め、運動情報となる行列データにこの変換行列を作用させて全方位カメラ視点の光軸周りの回転運動とそれに垂直な平面（ＸＹ平面）上の並進運動（この自由度３の運動を平面運動と称する）を復元し、光軸周りの回転角と交点座標値を使って、光軸以外の他軸周りの回転運動を復元し、さらに、３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元するステップ（平面運動と３次元情報の復元ステップ）と、
   この平面運動と３次元情報の復元ステップで得た平面連動と３次元情報から各特徴点に関するｕｖ座標系での再投影座標値を求め、その再投影座標値と行列分解データを構成する行列要素との間の誤差を算出し、この誤差と、平面運動と３次元情報の復元ステップで得た特徴点のＺ座標値（３次元情報の成分）を使って、カメラ視点のＺ軸方向の並進運動を復元するステップ（Ｚ軸並進運動復元ステップ）と、
   このＺ軸並進運動復元スナッブで得た誤差が、ある一定値以下に収束しているかどらかを判断し、収束していないならば平面運動と３次元情報の復元ステップで得た平面運動と３次元情報、並びに、光軸以外の軸周りの回転運動から変形運動を求め、この変形係数を各特徴点のｕｖ座標値に結合させて新たなｕｖ座標値を求め、これを行列要素とする行列分解データを生成し、平面運動と３次元情報の復元ステップに戻り、誤差が一定値以下に収束するまで反復して、全方位カメラ運動と３次元情報を復元するステップとを有すること
   を特徴とする全方位カメラ運動と３次元情報の復元方法。
2. 全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する方法であって
   取得した時系列の全方位画像（または広視野画像）に対して、各画像座標値から得られる位相角と仰角により各画像座標値をｕｖ座標値に変換して各画素をそのｕｖ座標値に対応付けるように時系列画像（ｕｖ画像）を生成し、このｕｖ画像に設定した特徴点座標系において、各画像における特徴点の時間的変化量を示すｕｖ座標値と、各ｕｖ画像における投影中心付近での線分がなす交点のｕｖ座標値（交点座標値）を測定するステップ（ｕｖ計測行列測定ステップ）と、
   このｕｖ計測行列測定ステップにおいて得た各特徴点のｕｖ座標値と、交点座標値を用いて復元処理するための行列データ（行列分解データ）を生成し、この行列分解データを特異値分解し、雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報の成分から、運動を規定するために設定した条件を満足する変換行列を求め、運動情報となる行列データにこの変換行列を作用させて全方位カメラ視点の光軸周りの回転運動とそれに垂直な平面（ＸＹ平面）上の並進運動（この自由度３の運動を平面運動と称する）を復元し、光軸周りの回転角と交点座標値を使って、光軸以外の他軸周りの回転運動を復元し、さらに、３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元するステップ（平面運動と３次元情報の復元ステップ）と、
   平面運動と３次元情報の復元ステップで得た平面運動と３次元情報から各特徴点に関するｕｖ座標系での再投影座標値を求め、その再投影座標値と行列分解データを構成する行列要素との間の誤差を算出し、この誤差と、平面運動と３次元情報の復元ステップで得た特徴点のＺ座標値（３次元情報の成分）を使って、カメラ視点のＺ軸方向の並進運動を復元するステップ（Ｚ軸並進運動復元ステップ）と、
   このＺ軸並進運動復元ステップで得た誤差が、ある一定値以下に収束しているかどうかを判断し、収束していないならば、平面運動と３次元情報の復元ステップで得た平面運動と３次元情報、並びに、光軸以外の軸周りの回転運動から変形係数求め、この変形係数を各特徴点のｕｖ座標値に結合させて新たなｕｖ座標値を求め、これを行列要素とする行列分解データを生成し、平面運動と３次元情報の復元ステップに戻り、誤差が一定値以下に収束するまで反復して，全方位カメラ運動と３次元情報を復元するステップとを有すること
   を特徴とする全方位カメラ運動と３次元情報の復元方法。
3. 前記計測行列測定ステップにおいて、計測行列を特異値分解して得る特異値成分から運動の自由度を表す判定値を算出し、
   判定値がある一定値未満の場合は、カメラ運動が平面運動をしたとみなして、前記全方位カメラ運動と３次元情報を復元するステップにおいて、光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
   判定値がある一定値以上の場合は、カメラ運動が平面運動以外の一般運動をしたとみなして、前記全方位カメラ運動と３次元情報を復元するステップによって、カメラに関する回転と並進運動からなる自由度６の運動と外界の３次元情報を復元する処理を行なうステップを有すること
   を特徴とする請求項１記載の全方位カメラ運動と３次元情報の復元方法。
4. 前記ｕｖ計測行列測定ステップにおいて、計測行列を特異値分解して得る特異値成分から運動を表す判定値を算出し、
   判定値がある一定値末満の場合は、カメラ運動が平面運動をしたとみなして、前記全方位カメラ運動と３次元情報を復元するステップにおいて、光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
   判定値がある一定値以上の場合は、カメラ運動が平面運動以外の一般運動をしたとみなして、前記全方位カメラ運動と３次元情報を復元するステップによって、カメラに関する回転と並進運動からなる自由度６の運動と外界の３次元情報を復元する処理を行なうステップを有すること
   を特徴とする請求項２記載の全方位カメラ運動と３次元情報の復元方法。
5. 全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する装置であって、
   各画像における特徴点の座標値を測定する特徴点計測部と、
   前記特徴点計測部で得た画像座標値をｕｖ画像に変換する計測行列変換部と、
   各画像での投影中心付近での交点座標値を求める交点座標計測部と、
   ｕｖ座標値を行列要素とする行列を初期値として与える計測行列入力部と、
   交点座標計測部と計測行列入力部とから供給されたデータから因子分解法によりカメラの運動と外界の３次元情報を復元する因子分解法処理部とを備えたことを特徴とする全方位カメラ運動と３次元情報の復元装置。
6. 全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する装置であって、
   各画像をｕｖ画像に変換する画像変換処理部と、
   各画像における特徴点の座標値を測定する特徴点計測部と、
   各ｕｖ画像での投影中心付近での交点座標値を求める交点座標計測部と、
   ｕｖ座標値を行列要素とする行列を初期値として与える計測行列入力部と、
   交点座標計測部と計測行列入力部とから供給されたデータから因子分解法によりカメラの運動と外界の３次元情報を復元する因子分解法処理部とを備えたこと
   を特徴とする全方位カメラ運動と３次元情報の復元装置。
7. 前記計測行列変換部から供給されたｕｖ画像を特異値分解して得た特異値成分から運動の自由度を表す判定値を算出する復元処理判定部を備え、
   判定値がある一定値未満の場合は、カメラ運動が平面運動をしたとみなして、前記因子分解法処理部は光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
   判定値がある一定値以上の場合は、カメラ運動が平面運動以外の一般運動をしたとみなして、前記因子分解法処理部はカメラに関する回転と並進運動からなる自由度６の運動と外界の３次元情報を復元する処理を行なうこと
   を特徴とする請求項５記載の全方位カメラ運動と３次元情報の復元装置。
8. 前記特徴点計測部から供給されたｕｖ画像を特異値分解して得た特異値成分から運動を表す判定値を算出する復元処理判定部を備え、
   判定値がある一定値末満の場合は、カメラ運動が平面運動をしたとみなして、前記因子分解法処理部は光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
   判定値がある一定値以上の場合は、カメラ運動が平面運動以外の一般運動をしたとみなして、前記因子分解法処理部はカメラに関する回転と並進運動からなる自由度６の運動と外界の３次元情報を復元する処理を行なうこと
   を特徴とする請求項６記載の全方位カメラ運動と３次元情報の復元装置。
9. 全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する方法をコンピュータによって実行するプログラムであって、
   時系列の全方位画像（または広視野画像）に設定した特徴点座標系において、各画像における特徴点の時間的変化量を示す画像座標値と、各画像における投影中心付近での線分がなす交点の画像座標値（交点座標値）を測定するステップ（計測行列測定ステップ）と、
   この計測行列測定ステップにおいて得た各特徴点の画像座標値から算出される位相角と仰角により別の座標値（ｕｖ座標値）を求め、これらの各特徴点のｕｖ座標値と、交点座標値を用いて復元処理するための行列データ（行列分解データ）を生成し、この行列分解データを特異値分解し、雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報の成分から、運動を規定するために設定した条件を満足する変換行列を求め、運動情報となる行列データにこの変換行列を作用させて全方位カメラ視点の光軸周りの回転運動とそれに垂直な平面（ＸＹ平面）上の並進運動（この自由度３の運動を平面運動と称する）を復元し、光軸周りの回転角と交点座標値を使って、光軸以外の他軸周りの回転運動を復元し、さらに、３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元するステップ（平面運動と３次元情報の復元ステップ）と、
   この平面運動と３次元情報の復元ステップで得た平面連動と３次元情報から各特徴点に関するｕｖ座標系での再投影座標値を求め、その再投影座標値と行列分解データを構成する行列要素との間の誤差を算出し、この誤差と、平面運動と３次元情報の復元ステップで得た特徴点のＺ座標値（３次元情報の成分）を使って、カメラ視点のＺ軸方向の並進運動を復元するステップ（Ｚ軸並進運動復元ステップ）と、
   このＺ軸並進運動復元スナッブで得た誤差が、ある一定値以下に収束しているかどらかを判断し、収束していないならば、平面運動と３次元情報の復元ステップで得た平面運動と３次元情報、並びに、光軸以外の軸周りの回転運動から変形運動を求め、この変形係数を各特徴点のｕｖ座標値に結合させて新たなｕｖ座標値を求め、これを行列要素とする行列分解データを生成し、平面運動と３次元情報の復元ステップに戻り、誤差が一定値以下に収束するまで反復して、全方位カメラ運動と３次元情報を復元する処理を行なうステップとを有すること
   を特徴とする全方位カメラ運動と３次元情報の復元方法を実行するプログラム。
10. 全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する方法をコンピュータによって実行するプログラムであって、
    取得した時系列の全方位画像（または広視野画像）に対して、各画像座標値から得られる位相角と仰角により各画像座標値をｕｖ座標値に変換して各画素をそのｕｖ座標値に対応付けるように時系列画像（ｕｖ画像）を生成し、このｕｖ画像に設定した特徴点座標系において、各画像における特徴点の時間的変化量を示すｕｖ座標値と、各ｕｖ画像における投影中心付近での線分がなす交点のｕｖ座標値（交点座標値）を測定するステップ（ｕｖ計測行列測定ステップ）と、
    このｕｖ計測行列測定ステップにおいて得た各特徴点のｕｖ座標値と、交点座標値を用いて復元処理するための行列データ（行列分解データ）を生成し、この行列分解データを特異値分解し、雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報の成分から、運動を規定するために設定した条件を満足する変換行列を求め、運動情報となる行列データにこの変換行列を作用させて全方位カメラ視点の光軸周りの回転運動とそれに垂直な平面（ＸＹ平面）上の並進運動（この自由度３の運動を平面運動と称する）を復元し、光軸周りの回転角と交点座標値を使って、光軸以外の他軸周りの回転運動を復元し、さらに、３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元するステップ（平面運動と３次元情報の復元ステップ）と、
    平面運動と３次元情報の復元ステップで得た平面運動と３次元情報から各特徴点に関するｕｖ座標系での再投影座標値を求め、その再投影座標値と行列分解データを構成する行列要素との間の誤差を算出し、この誤差と、平面運動と３次元情報の復元ステップで得た特徴点のＺ座標値（３次元情報の成分）を使って、カメラ視点のＺ軸方向の並進運動を復元するステップ（Ｚ軸並進運動復元ステップ）と、
    このＺ軸並進運動復元ステップで得た誤差が、ある一定値以下に収束しているかどうかを判断し、収束していないならば、平面運動と３次元情報の復元ステップで得た平面運動と３次元情報、並びに、光軸以外の軸周りの回転運動から変形係数求め、この変形係数を各特徴点のｕｖ座標値に結合させて新たなｕｖ座標値を求め、これを行列要素とする行列分解データを生成し、平面運動と３次元情報の復元ステップに戻り、誤差が一定値以下に収束するまで反復して，全方位カメラ運動と３次元情報を復元するステップとを有すること
    を特徴とする全方位カメラ運動と３次元情報の復元方法を実行するプログラム。
11. 前記計測行列測定ステップにおいて、計測行列を特異値分解して得る特異値成分から運動の自由度を表す判定値を算出し、
    判定値がある一定値未満の場合は、カメラ運動が平面運動をしたとみなして、前記全方位カメラ運動と３次元情報を復元するステップにおいて、光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
    判定値がある一定値以上の場合は、カメラ運動が平面運動以外の一般運動をしたとみなして、前記全方位カメラ運動と３次元情報を復元するステップによって、カメラに関する回転と並進運動からなる自由度６の運動と外界の３次元情報を復元する処理を行なうステップを有すること
    を特徴とする請求項９記載の全方位カメラ運動と３次元情報の復元方法実行するプログラム。
12. 前記ｕｖ計測行列測定ステップにおいて、計測行列を特異値分解して得る特異値成分から運動を表す判定値を算出し、
    判定値がある一定値末満の場合は、カメラ運動が平面運動をしたとみなして、前記全方位カメラ運動と３次元情報を復元するステップにおいて、光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
    判定値がある一定値以上の場合は、カメラ運動が平面運動以外の一般運動をしたとみなして、前記全方位カメラ運動と３次元情報を復元するステップによって、カメラに関する回転と並進運動からなる自由度６の運動と外界の３次元情報を復元する処理を行なうステップを有すること
    を特徴とする請求項１０記載の全方位カメラ運動と３次元情報の復元方法実行するプログラム。
13. 全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する方法をコンピュータによって実行するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    時系列の全方位画像（または広視野画像）に設定した特徴点座標系において、各画像における特徴点の時間的変化量を示す画像座標値と、各画像における投影中心付近での線分がなす交点の画像座標値（交点座標値）を測定するステップ（計測行列測定ステップ）と、
    この計測行列測定ステップにおいて得た各特徴点の画像座標値から算出される位相角と仰角により別の座標値（ｕｖ座標値）を求め、これらの各特徴点のｕｖ座標値と、交点座標値を用いて復元処理するための行列データ（行列分解データ）を生成し、この行列分解データを特異値分解し、雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報の成分から、運動を規定するために設定した条件を満足する変換行列を求め、運動情報となる行列データにこの変換行列を作用させて全方位カメラ視点の光軸周りの回転運動とそれに垂直な平面（ＸＹ平面）上の並進運動（この自由度３の運動を平面運動と称する）を復元し、光軸周りの回転角と交点座標値を使って、光軸以外の他軸周りの回転運動を復元し、さらに、３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元するステップ（平面運動と３次元情報の復元ステップ）と、
    この平面運動と３次元情報の復元ステップで得た平面連動と３次元情報から各特徴点に関するｕｖ座標系での再投影座標値を求め、その再投影座標値と行列分解データを構成する行列要素との間の誤差を算出し、この誤差と、平面運動と３次元情報の復元ステップで得た特徴点のＺ座標値（３次元情報の成分）を使って、カメラ視点のＺ軸方向の並進運動を復元するステップ（Ｚ軸並進運動復元ステップ）と、
    このＺ軸並進運動復元スナッブで得た誤差が、ある一定値以下に収束しているかどらかを判断し、収束していないならば平面運動と３次元情報の復元ステップで得た平面運動と３次元情報、並びに、光軸以外の軸周りの回転運動から変形運動を求め、この変形係数を各特徴点のｕｖ座標値に結合させて新たなｕｖ座標値を求め、これを行列要素とする行列分解データを生成し、平面運動と３次元情報の復元ステップに戻り、誤差が一定値以下に収束するまで反復して、全方位カメラ運動と３次元情報を復元するステップとを有すること
    を特徴とする全方位カメラ運動と３次元情報の復元方法をコンピュータによって実行するプログラムを記録したコンピュータ読み取り可能な記録媒体。
14. 全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する方法をコンピュータによって実行するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    取得した時系列の全方位画像（または広視野画像）に対して、各画像座標値から得られる位相角と仰角により各画像座標値をｕｖ座標値に変換して各画素をそのｕｖ座標値に対応付けるように時系列画像（ｕｖ画像）を生成し、このｕｖ画像に設定した特徴点座標系において、各画像における特徴点の時間的変化量を示すｕｖ座標値と、各ｕｖ画像における投影中心付近での線分がなす交点のｕｖ座標値（交点座標値）を測定するステップ（ｕｖ計測行列測定ステップ）と、
    このｕｖ計測行列測定ステップにおいて得た各特徴点のｕｖ座標値と、交点座標値を用いて復元処理するための行列データ（行列分解データ）を生成し、この行列分解データを特異値分解し、雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報の成分から、運動を規定するために設定した条件を満足する変換行列を求め、運動情報となる行列データにこの変換行列を作用させて全方位カメラ視点の光軸周りの回転運動とそれに垂直な平面（ＸＹ平面）上の並進運動（この自由度３の運動を平面運動と称する）を復元し、光軸周りの回転角と交点座標値を使って、光軸以外の他軸周りの回転運動を復元し、さらに、３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元するステップ（平面運動と３次元情報の復元ステップ）と、
    平面運動と３次元情報の復元ステップで得た平面運動と３次元情報から各特徴点に関するｕｖ座標系での再投影座標値を求め、その再投影座標値と行列分解データを構成する行列要素との間の誤差を算出し、この誤差と、平面運動と３次元情報の復元ステップで得た特徴点のＺ座標値（３次元情報の成分）を使って、カメラ視点のＺ軸方向の並進運動を復元するステップ（Ｚ軸並進運動復元ステップ）と、
    このＺ軸並進運動復元ステップで得た誤差が、ある一定値以下に収束しているかどうかを判断し、収束していないならば、平面運動と３次元情報の復元ステップで得た平面運動と３次元情報、並びに、光軸以外の軸周りの回転運動から変形係数求め、この変形係数を各特徴点のｕｖ座標値に結合させて新たなｕｖ座標値を求め、これを行列要素とする行列分解データを生成し、平面運動と３次元情報の復元ステップに戻り、誤差が一定値以下に収束するまで反復して，全方位カメラ運動と３次元情報を復元するステップとを有すること
    を特徴とする全方位カメラ運動と３次元情報の復元方法をコンピュータによって実行するプログラムを記録したコンピュータ読み取り可能な記録媒体。
15. 前記計測行列測定ステップにおいて、計測行列を特異値分解して得る特異値成分から運動の自由度を表す判定値を算出し、
    判定値がある一定値未満の場合は、カメラ運動が平面運動をしたとみなして、前記全方位カメラ運動と３次元情報を復元するステップにおいて、光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
    判定値がある一定値以上の場合は、カメラ運動が平面運動以外の一般運動をしたとみなして、前記全方位カメラ運動と３次元情報を復元するステップによって、カメラに関する回転と並進運動からなる自由度６の運動と外界の３次元情報を復元する処理を行なうステップを有すること
    を特徴とする請求項１３記載の全方位カメラ運動と３次元情報の復元方法をコンピュータによって実行するプログラムを記録したコンピュータ読み取り可能な記録媒体。
16. 前記ｕｖ計測行列測定ステップにおいて、計測行列を特異値分解して得る特異値成分から運動を表す判定値を算出し、
    判定値がある一定値末満の場合は、カメラ運動が平面運動をしたとみなして、前記全方位カメラ運動と３次元情報を復元するステップにおいて、光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
    判定値がある一定値以上の場合は、カメラ運動が平面運動以外の一般運動をしたとみなして、前記全方位カメラ運動と３次元情報を復元するステップによって、カメラに関する回転と並進運動からなる自由度６の運動と外界の３次元情報を復元する処理を行なうステップを有すること
    を特徴とする請求項１４記載の全方位カメラ運動と３次元情報の復元方法をコンピュータによって実行するプログラムを記録したコンピュータ読み取り可能な記録媒体。
    

Images