JP3901552B2 - 全方位カメラ視点運動並びに物体形状復元方法、装置、全方位カメラ視点運動並びに物体形状復元プログラム、及び該プログラムを記録した記録媒体 - Google Patents
全方位カメラ視点運動並びに物体形状復元方法、装置、全方位カメラ視点運動並びに物体形状復元プログラム、及び該プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3901552B2 JP3901552B2 JP2002071623A JP2002071623A JP3901552B2 JP 3901552 B2 JP3901552 B2 JP 3901552B2 JP 2002071623 A JP2002071623 A JP 2002071623A JP 2002071623 A JP2002071623 A JP 2002071623A JP 3901552 B2 JP3901552 B2 JP 3901552B2
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- motion
- camera viewpoint
- omnidirectional camera
- omnidirectional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像入力装置等により取得した時系列画像データから、対象物の空間形状、または空間構造の計測、または、獲得、並びに復元や、画像入力装置（カメラ）の光学的視点に関する運動、並びに、被写体（物体）の時間的運動を復元することに関係する。特に、コンピュータビジョンにおけるカメラ運動、並びに物体形状復元に関係する。
【０００２】
また、本発明は、全方位カメラを使って取得した車載映像、船上からの海上映像、空撮などの時系列画像全般に対して利用可能であり、特に、全方位カメラ視点に関する姿勢や平面運動、並びに、時系列映像に写っている外界の形状、すなわち、被写体（物体）の外観の形状等の空間情報を復元することに関係する。
【０００３】
【従来の技術】
コンピュータビジョン分野では、時系列画像データから、対象物の形状を計測、または、獲得する手法には、ステレオ計測やエピポーラ面解析を用いた３次元解析手法がある。また、最近では、カメラの運動と被写体（物体）の形状に関する３次元情報を、同時に、計測、または獲得する手法の代表的な手法として、因子分解法（下記文献［１］）がある。これらの手法によれば、物体が撮影されている複数の時系列画像から、空間形状または空間構造に関する情報、並びに、カメラ視点に関する運動を獲得、復元することができる。
【０００４】
文献［１］C.Tomasi and T.Kanade;“Shape and Motion from Image Streams Under Orthography:A Factorization Method",International Journal of Computer Vision,Vol.9,No.2,1992。
【０００５】
しかし、移動手段などを利用して撮影カメラを動かしながら撮影した時系列映像においては、撮影時の環境、撮影カメラの微小な動きによりシームレスに映像を取得することが困難であり、時系列映像中にランダム性の雑音が混入し、カメラ運動を正確に復元することが困難な場合がある。
【０００６】
さらに、画像面が平面とした直交座標系で表現できる画像座標値から、因子分解法により、ユークリッド空間でのカメラ運動と物体形状の復元が可能であるが、有限画角のカメラは映像シーンにおいて、フレームイン、または、フレームアウトするため、画像入力装置の回転運動を大域的に、または、長期的に復元する、さらに、外界の物体の形状を大規模に、大域的に、または、長期的に復元することは困難である。一方、このような有限画角の問題を回避するために、一度に３６０度のパノラマ画像を取得する手段として、全方位カメラを使って取得した時系列画像からカメラ運動と物体形状を復元することが考えられる。しかし、時系列の全方位画像に対して、エピポーラ解析やステレオ視による従来のアプローチが応用されているが、雑音が付加された時系列画像から、容易にユークリッド空間でのカメラ運動と物体形状が復元できないなどの問題がある。
【０００７】
ところで、屋外においては、近年、高精度になりつつあるＧＰＳ、ディファレンシャルＧＰＳ、ジャイロなどのセンシング装置を使うことで、画像入力の位置情報、姿勢情報に関する状態をセンシングすることができる。
【０００８】
【発明が解決しようとする課題】
一般に、画像入力装置（カメラ）から取得した時系列画像から、カメラの動き、並びに、対象物の形状を同時に復元する場合、時系列画像に混入するランダム雑音の影響や、撮影時のカメラの微小な動きを正確に復元することは困難である。このような問題を扱うべく、コンピュータビジョンでは、上記した因子分解法（文献［１］）が存在する。
【０００９】
一方、ＧＰＳ装置などを利用した位置情報計測においては、ＧＰＳ衛星の幾何学的配置、または、センシング条件の良好な時間帯に限定される。また、位置計測の周囲の環境に、樹木が立ち並んだり、高層な建物が立ち並ぶ場所は、センシングに不利な条件であるという問題がある。
【００１０】
また、移動手段を使って、全方位カメラのような一度に３６０度の景観を映像化する撮影環境で取得した時系列画像においては、ステレオ視の原理を応用した計測方法により、外界の物体の空間情報を獲得、復元することができるが、移動手段と撮像機器の配置、撮影環境との関係でカメラが微小に動くため、容易にシームレスな時系列画像を取得できない。そのため、ランダム性雑音の影響も大きく、常に、安定的に、カメラの動きと物体の形状を、同時に、かつ、高精度に復元することは不可能である。
【００１１】
本発明は、リモートセンシングなどを利用した測量でも計測できない位置情報、並びに、ステレオ視などの手法を利用した外界物体の空間情報の獲得、復元において、時系列映像特有のランダム性雑音に対しても、正確にカメラ視点の姿勢と位置に関する時間的変動、すなわち、運動を復元、並びに、外界物体の空間情報を獲得、復元する方法および装置を提供することを課題とする。
【００１２】
【課題を解決するための手段】
上記の課題を解決するため、本発明は、画像入力手段で取得した時系列の全方位画像中において、時系列に関する全方位カメラ視点の運動、並びに、被写体である外界の物体の形状、または構造、または外観を含む空間情報を復元する方法であって、時系列画像上に設定した画像座標系において、各時系列画像中の特徴点の時間的変動量を測定し、その特徴点座標値を別の座標系に変換する第１ステップと、該変換された特徴点座標値を集計したデータである計測行列を行列分解し、カメラ視点に関する運動行列と、外界の物体の外観を表現する形状行列に分解する第２ステップと、該分解された運動行列において、運動を規定するために設定した条件を満足するように変換行列を求めるとともに、該変換行列を使って、全方位カメラ視点の回転運動に対応する情報と、並進運動に対応する情報を計算し復元する第３ステップと、該変換行列を使って、該物体の外観を表現する形状行列を復元する第４ステップと、該復元された形状行列を使って、外界の物体の空間情報を復元する第５ステップと、を有することを特徴とする全方位カメラ視点運動並びに物体形状復元方法を手段とする。
【００１３】
あるいは、上記の全方位カメラ視点運動復元並びに物体形状復元方法であって、第２ステップは、変換された特徴点座標値を集計したデータである計測行列を因子分解により行列分解するステップと、該分解された行列から雑音除去するステップと、該雑音除去された行列から運動行列と形状行列を獲得するステップと、を有することを特徴とする全方位カメラ視点運動並びに物体形状復元方法を手段とする。
【００１４】
あるいは、上記の全方位カメラ視点運動復元並びに物体形状復元方法であって、第１ステップでは、各時系列画像中の特徴点座標値を別の座標系に変換するのに際し、全方位光学系において、光軸からの入射角に比例した全方位射影に基づいて、画像座標値から別の座標系の座標値に変換し、第２ステップにおける、因子分解により行列分解するステップでは、該変換した座標値からなる計測行列に対して、因子分解を行うことを特徴とする全方位カメラ視点運動並びに物体形状復元方法を手段とする。
【００１５】
あるいは、上記の全方位カメラ視点運動復元並びに物体形状復元方法であって、第１ステップでは、各時系列画像中の特徴点座標値を別の座標系に変換するのに際し、全方位光学系において、光軸からの入射角の半角の正弦に比例した射影に基づいて、画像座標値から別の座標系の座標値に変換し、第２ステップにおける、因子分解により行列分解するステップでは、該変換した座標値からなる計測行列に対して、因子分解を行うことを特徴とする全方位カメラ視点運動並びに物体形状復元方法を手段とする。
【００１６】
あるいは、上記の全方位カメラ視点運動復元並びに物体形状復元方法であって、第１ステップでは、各時系列画像中の特徴点座標値を別の座標系に変換するのに際し、全方位光学系において、光軸からの入射角の半角の正接に比例した射影に基づいて、画像座標値から別の座標系の座標値に変換し、第２ステップにおける、因子分解により行列分解するステップでは、該変換した座標値からなる計測行列に対して、因子分解を行うことを特徴とする全方位カメラ視点運動並びに物体形状復元方法を手段とする。
【００１７】
あるいは、上記の全方位カメラ視点運動復元並びに物体形状復元方法であって、第１ステップでは、各時系列画像中の特徴点座標値を別の座標系に変換するのに際し、時系列の全方位画像上の特徴点の座標値について、原点と設定した位置からの位相で表現する座標系へ幾何変換し、第２ステップでは、該位相平面上での特徴点座標値の計測行列から行列分解することを特徴とする全方位カメラ視点運動並びに物体形状復元方法を手段とする。
【００１８】
あるいは、上記の全方位カメラ視点運動復元並びに物体形状復元方法であって、第４ステップでは、回転運動に対応する情報を計算し復元するのに際し、第３ステップで得られた変換行列を使って得た運動行列において、光軸周りの回転運動を復元することを特徴とする全方位カメラ視点運動並びに物体形状復元方法を手段とする。
【００１９】
あるいは、上記の全方位カメラ視点運動復元並びに物体形状復元方法であって、第４ステップでは、並進運動に対応する情報を計算し復元するのに際し、第３ステップで得られた変換行列を使って、全方位カメラ視点の並進運動に対応する情報を取り出し、時系列画像上の特徴点の座標値を測定したときに設定した画像座標系における平面運動に変換することを特徴とする全方位カメラ視点運動並びに物体形状復元方法を手段とする。
【００２０】
あるいは、上記の全方位カメラ視点運動復元並びに物体形状復元方法であって、第５ステップでは、第３ステップで得られた、物体の外観を表現する形状行列を変換した形状行列の中の１成分を抽出し、特徴点の空間情報を復元することを特徴とする全方位カメラ視点運動並びに物体形状復元方法を手段とする。
【００２１】
あるいは、上記の全方位カメラ視点運動復元並びに物体形状復元方法であって、第３ステップでは、変換行列を求める際に、条件式を満たす行列要素に対して、その主成分と、その主成分に係る符号ベクトルから変換行列を求めることを特徴とする全方位カメラ視点運動並びに物体形状復元方法を手段とする。
【００２２】
あるいは、画像入力装置で取得した時系列の全方位画像中において、時系列に関する全方位カメラ視点の運動、並びに、外界の物体の形状、または構造、または外観を含む空間情報を復元する装置であって、時系列画像上に設定した画像座標系において、各時系列画像中の特徴点の時間的変動量を測定する特徴点計測部と、該特徴点座標値を別の座標系に変換して集計する計測行列変換部と、該変換された特徴点座標値を集計したデータである計測行列を行列分解し、雑音除去して、カメラ視点に関する運動行列と、外界の物体の外観を表現する形状行列に分解する行列分解処理部と、該分解された運動行列において、運動を規定するために設定した条件を満足するように変換行列を求める変換行列算出部と、該変換行列を使って、全方位カメラ視点の回転運動に対応する情報と、並進運動に対応する情報を計算し復元する視点運動復元部と、該変換行列を使って、該物体の外観を表現する形状行列を復元し、該復元された形状行列を使って、外界の物体の空間情報として復元する空間情報復元部と、を有することを特徴とする全方位カメラ視点運動並びに物体形状復元装置を手段とする。
【００２３】
あるいは、上記の全方位カメラ視点運動並びに物体形状復元方法におけるステップを、コンピュータに実行させるためのプログラムとしたことを特徴とする全方位カメラ視点運動並びに物体形状復元プログラムを手段とする。
【００２４】
あるいは、上記の全方位カメラ視点運動並びに物体形状復元方法におけるステップを、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする全方位カメラ視点運動並びに物体形状復元プログラムを記録した記録媒体を手段とする。
【００２５】
本発明では、全方位カメラの光学的性質を利用した全方位射影式において、因子分解法（文献［１］）を応用して、時系列画像から測定した特徴点の時間的動きから、すなわち、全方位空間における時間的変動値から、ランダム性雑音の除去を行って、全方位カメラ視点の運動、並びに、外界物体の空間情報を表現する要素に行列分解し、カメラ運動を復元するための条件式を設定し、この条件式を満足する変換行列を使って、全方位カメラ視点に関する姿勢、位置からなる運動と、外界物体の空間情報、すなわち、物体形状や構造、外観等を獲得、復元することにより、全方位カメラを使って取得した時系列画像全般（移動手段を利用して撮影した車載映像、海上映像、空撮映像、屋内映像など）から、対象物に関する物体形状を高精度に獲得、復元することを可能とする。また、これまでの測量技術並の高精度な３次元立体視を可能とする。さらに、全方位カメラ視点のカメラ光軸周りの回転、並びに、ＸＹ平面運動からなるカメラ運動を正確に復元することを可能とする。
【００２６】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００２７】
図１は、本発明の一実施形態例を示す構成図である。本実施形態例においては、魚眼レンズなどを利用して、等距離射影（光軸からの入射角に比例した全方位射影）の光学系を組み込んだ全方位カメラ撮像装置を利用した場合を説明する。本発明は、他の全方位射影（等立体角射影、立体射影等）の光学系を組み込んだ全方位カメラ撮像装置で取得した時系列画像に対しても、適用可能である。
【００２８】
図１において、１は時系列画像データベース、２は特徴点計測部、３は計測行列変換部、４は計測行列入力部、５は行列分解処理部、６は変換行列算出部、７は物体形状抽出部、８は空間情報復元部、９は視点運動抽出部、１０は平面並進運動復元部、１１は回転運動復元部である。
【００２９】
本実施形態例では、特徴点計測部２において、時系列画像データベース１に格納した時系列の全方位画像において特徴点の時間的変動量を計測し、計測行列変換部３において全方位画像面で変換し、この変換した特徴点座標値の集計データである計測行列を計測行列入力部４により入力し、行列分解処理部５において、因子分解法を応用した方法により、カメラ視点に関する運動行列と、外界の物体の外観を表現する形状行列に分解し、変換行列算出部６において、行列分解処理部５で分解した行列のうち、運動行列の成分からカメラ運動拘束条件を設定し、この条件を満足する変換行列を求め、さらに変換行列を使って運動行列と形状行列を変換し、視点運動抽出部９において該変換した運動行列から運動情報を抽出し、平面並進運動復元部１０においてはカメラ視点に関する平面並進運動を、回転運動復元部１１においては回転運動を復元し、また物体形状抽出部７において該変換した形状行列を抽出し、空間情報復元部８において外界の物体の形状、または構造、または外観等の空間情報を復元する。
【００３０】
図２は、請求項１〜１０の発明に関する処理フローである。これら図を元に本発明を、詳細に説明する。
【００３１】
ここで、全方位カメラと外界の物体との幾何的位置関係、並びに、本発明で用いているカメラパラメータについて説明しておく。
【００３２】
図６に示すように、空間中に設定したＸＹＺ座標系を基準座標系として、この座標系における外界の物体の空間情報（Ｘj，Ｙj，Ｚj）を本発明により復元する。また、このＸＹＺ座標系において、時間的に全方位カメラ視点が移動する。このとき、全方位カメラ、すなわち、光学中心に設定した座標系Ｘ0Ｙ0が、ＸＹ平面において、図６に示すように、全方位カメラ視点のＺ軸と平行な光軸周りの回転、すなわち、Ｘ軸との為す角をθiとし、平面上の位置を（Ｔｘi，Ｔｙi）として移動するものとする。このＸＹ平面の並進運動（Ｔｘi，Ｔｙi）、並びに、方位θiの時間的変化を本発明により復元する。
【００３３】
なお、説明の便宜上、初期状態において、全方位カメラ視点に設定したＸ0Ｙ0座標系の方向と基準座標系のＸＹ座標系の方向とは一致しているものとする。また、全方位カメラ視点、すなわち、光学中心のＺ軸の並進運動は無いものとし、方位以外の角、すなわち、進行軸Ｘ0周りの回転、並びに、Ｙ0周りの回転の時間的変化は無いのとする。また、全方位カメラの視点、すなわち、光学中心と外界の物体上の点とを直線で結んだとき、ＸＹ平面から見たときのＸ0軸との為す角をρijとする。
【００３４】
さらに、図７に、ＹＺ平面での外界の物体と全方位カメラ視点との幾何的関係、並びに、カメラパラメータについて示す。全方位カメラ視点、すなわち、光学中心の位置を（Ｔｘi，Ｔｙi）としたとき、外界の物体の点（Ｘj，Ｙj，Ｚj）を直線で結んだとき、ＸＹ平面との為す角をΦijとする。
【００３５】
加えて、本発明での魚眼レンズの光学的性質として、図８に示すように、図７での外界に物体の点（Ｘj，Ｙj，Ｚj）と全方位カメラ視点位置、すなわち、光学中心の位置（Ｔｘi，Ｔｙi）を結んだ場合、入射角がΦijであるとき、光軸に入射した光（Φij＝９０度）を画像上の画像中心（Ｃx，Ｃy）に射影、入射した光がＸＹ平面で入射した光（Φij＝０度）がイメージサークル（全方位画像として映る画像での限界）上に射影される。
【００３６】
また、光学的に、等距離射影が成立しており。入射角をΦijとした場合、その角度に比例して画像中心（Ｃx，Ｃy）からの距離Ｒijに射影されるものとする。ここで、焦点距離をｆとし、Ｑは光学的距離と画素との間の比例定数、すなわち、１画素あたりのエリアセンサとの対応付けを表現している。このとき、等距離射影では、式（１）が成り立つ。また、射影点の画像座標値を（ｘij，ｙij）とした場合、式（２）に表現できる。
【００３７】
【数１】
【００３８】
一方、外界の物体の点は、この全方位カメラの光学的性質により、全方位画像上において、図５に示すようにＷ×Ｈの画像サイズで、Ｈ／２の半径のイメージサークルより内側の点（ｘij，ｙij）に射影される。ここで、Ｘ0軸との為す角ρijとすると、光学的性質から、式（３）が成り立つ。
【００３９】
【数２】
【００４０】
これで、外界の物体と全方位カメラ視点の位置の幾何学的配置、全方位カメラの光学的性質、並びに、カメラ内部パラメータを定義しておく。
【００４１】
図１，図２にもどり、本発明の説明を続ける。
【００４２】
始めに、特徴点計測部２は、時系列画像が時間管理で格納されている時系列画像データベース１から時系列画像を取り出して入力し、図２での時系列画像処理のステップを行う。
【００４３】
これらのステップでは、まず、時系列画像データベース１から時系列画像を１枚取り出し、これを初期画像として、その画像上に特徴点を配置する。このとき、エッジ検出、ハフ変換、並びに、濃淡の２次元勾配などの画像処理により自動的に特徴点を配置するなどして、初期画像上に特徴点を配置する。このとき配置する特徴点の数をＰ個（ｊ＝１，２，…，Ｐ）とし、配置したときの特徴点の２次元座標値として、図５での画像座標系での原点からの座標値（ｘij，ｙij）：ｊ＝１，２，…，Ｐを記録しておく。
【００４４】
次に、特徴点計測部２は、初期画像に続く時系列画像をデータベース１から１枚ずつ読み込み、時系列画像処理のステップにて、初期画像に配置した特徴点を、時系列画像間の濃淡の変化などに着目した手法などを利用することで画像追跡し、各時系列画像（初期画像から第ｉ番目の画像）の特徴点の画像座標値として、図５での画像座標系での原点からの２次元座標値（ｘij，ｙij）を記録する。時系列画像を読み出し続けた場合、初期画像に配置した特徴点の中で、画像中から消失したり、オクルージョンなどにより隠れてしまったときは、画像追跡を停止し、特徴点追跡を終了する。特徴点追跡が終了した時点で、読み出した時系列画像の数ｉ＝１，２，…，Ｆは、初期画像を含めてＦ枚とする。
【００４５】
次に、特徴点計測部２は、計測行列記憶を行う。計測行列記憶のステップでは、各時系列画像における特徴点の時間的な画像座標的配置の変化量が記録される。特徴点の時間的な画像座標的配置の変化を行列としてデータ化したものを計測行列［Ｘ］と称し、式（４）のデータ形式とする。
【００４６】
【数３】
【００４７】
次に、計測行列変換部３は、計測行列変換のステップにて、全方位画像座標値での計測行列に変換する。ここでの全方位画像座標値とは、図５に示すように、画像中心、すなわち、光軸の位置を示し、光学中心の座標値（Ｃx，Ｃy）とした場合、この座標値からの相対的な座標値に一時変換しておく。さらに、これを全時系列にわたり、式（２）（３）のρijとΦijを全特徴点から測定し、式（５）で定義するような全方位画像平面上の座標値へ幾何変換する。これを式（６）のようなデータ配列にする。
【００４８】
ｕij＝cot（φij）cos（ρij） …式（５（その１））
ｕij＝cot（φij）sin（ρij） …式（５（その２））
【００４９】
【数４】
【００５０】
次に、変換された計測行列は計測行列入力部４により行列分解処理部５に入力され、行列分解処理部２において因子分解法処理される。この因子分解法処理のステップでは、全方位カメラ視点の運動と外界の物体の形状、または構造情報を復元する。図３に、因子分解法処理での処理フローを示す。
【００５１】
まず、それまでのステップで全方位画像平面上へ変換した計測行列［Ａ］を、計測行列入力部４による計測行列データ入力において読み込む。次に、特異値分解なる数学的手法により、式（７）のように、一意に、３つの行列に行列分解する。
【００５２】
【数５】
【００５３】
さらに、行列分解した後、ランク３により、さらに行列を式（８）のように分離する。式（８）の第二項を雑音成分と見なして、式（９）のように雑音除去する。
【００５４】
【数６】
【００５５】
次に、雑音成分が除去された運動行列と形状行列とを獲得し、運動行列についてカメラ運動に関する拘束条件を設定し、これを満足するように、［Ｑ］を決定する。すなわち、式（１２）に示すように、行列［Ｑ］を作用させた後の行列を［Ｍ］とし、各行についてｍi，ｎiとし、要素が式（１３）であるとする。この行列の要素ｍi，ｎiが、式（１４），（１５），（１６）の拘束条件を満足するようにする。ただし、行列［Ｑ］の要素を、式（１７）に示す要素とする。このとき、式（１２）の要素から、式（１４）から式（１８）を経て（１９）の計算式を設定する。また、式（１２）の要素から、式（１５）から式（２０）を経て（２１）の計算式を設定する。また、式（１２）の要素から、式（１６）から式（２２）を経て（２３）の計算式を設定する。式（１９），（２１），（２３）から、式（２４）の行列［Ｑ］［Ｑ］Tを求める計算式を設定する。行列［Ｑ］［Ｑ］Tを求めるときは、式（２５）の演算を行い、この計算で得た要素から、式（２６）のように固有値分解し、式（２７）であるとする。次に、式（２８）を使って、式（２５）で得た元の行列［Ｑ］の要素Ｑ11，Ｑ12，Ｑ21，Ｑ22を求める。
【００５６】
【数７】
【００５７】
ｍ2 ix＋ｍ2 iy＝１ …式（１４）
ｎ2 ix＋ｎ2 iy＝１ …式（１５）
ｍixｎix＋ｍiyｎiy＝０ …式（１６）
【００５８】
【数８】
【００５９】
【数９】
【００６０】
【数１０】
【００６１】
または、式（２６）の固有値分解を行い、式（２６）の右辺の２番目の行列の固有値の平方根を対角要素とした行列、すなわち、式（２８）の右辺の１番目の行列を求める。次に、式（２８−１）に示すように固有ベクトルの符号判定を行い、（ｑix，ｑiy）ｉ＝１，２を決定し、式（２８）により［Ｑ］を求める。
【００６２】
次に、変換行列算出部６は、求めた行列［Ｑ］によって、式（２９）により運動行列の変換処理を行い、並びに、式（３０）により形状行列変換の処理を行う。これで得られた運動成分［Ｍ'］、並びに、物体形状成分［Ｓ'］を出力し、因子分解法処理を終える。
【００６３】
【数１１】
【００６４】
図１、図２に戻り、回転運動復元部１１は回転成分計算を、平面並進運動復元部１０は平面並進成分計算を、並びに空間情報復元分解８は空間情報復元計算を、それぞれ行う。
【００６５】
まず、視点運動抽出部９により、全フレームでの回転成分を抽出し、回転運動復元部１１により、初期画像での運動成分が式（３１）となるように、全フレームにおいて、方位正規化計算をする。
【００６６】
【数１２】
【００６７】
すなわち、まず、式（２９）で求めた行列［Ｍ］について、式（３２）の運動成分とし、初期フレームでの行ベクトルを、式（３３）のように取り出す。次に、このベクトルに直交するベクトルｋ1を式（３４）のように生成し、これらベクトルを要素とする行列［Ｎ］を生成する。この行列を使って、式（３６）のように変換をすることで、方位正規化計算を行い、行列［Ｍ］を得る。
【００６８】
ｉT 1＝［Ｕ'11 Ｕ'12 ０］ …式（３３（その１））
ｊT 1＝［Ｕ'1+F,1 Ｕ'1+F,2 ０］ …式（３３（その２））
ｋT 1＝［０ ０ １］］ …式（３４）
【００６９】
【数１３】
【００７０】
次に、回転運動復元部１１は、各フレームに対して、式（３７）、または、式（３８）を使って方位回転θiを計算する。
【００７１】
【数１４】
【００７２】
一方、図４では、物体形状抽出部７により並進成分を抽出して、平面並進運動復元部１０により、各フレームでの成分から、平面運動としての並進成分を計算する。ここでは、式（１３）の第３列目の要素を抽出し、各フレームに対して、式（３９）に従って、平面運動での並進成分（Ｔ(i)ｘ，Ｔ(i)ｙ）を復元する。
【００７３】
【数１５】
【００７４】
これで、図４の回転成分計算、および並進運動計算を終了する。
【００７５】
続いて、図１、図２に戻り、空間情報復元部８による空間情報復元処理を行う。ここでの空間情報復元処理では、式（３０）の行列要素が、式（４０）であるとすると、式（４１）に従って、外界の物体形状、または、構造に関する空間情報を表現する３次元座標値が復元できる。
【００７６】
以上、本発明の実施形態例により、全方位映像の特徴点の時間的動きから、全方位カメラ視点の運動、すなわち、方位運動とＸＹ平面での並進運動、並びに、外界の物体の形状、または構造の空間情報、すなわち、３次元座標値を復元することができる。
【００７７】
【数１６】
【００７８】
なお、本発明では、全方位光学系において、式（２）に示す光軸からの入射角に比例した光学射影の場合、時系列の全方位画像上の特徴点座標値について、原点と設定した位置から、式（２）の全方位射影式を使って仰角のφijと位相ρijを求め、式（５（その１））と式（５（その２））で表現する座標系へ幾何変換し、この座標平面上での特徴点座標値の計測行列［Ａ］から行列分解を行うようにしても良いし、式（４２）に示す光軸からの入射角の半角の正弦に比例した光学射影の場合、時系列の全方位画像上の特徴点座標値について、原点と設定した位置から、式（４２）の全方位射影式を使って仰角のφijと位相ρijを求め、式（５（その１））と式（５（その２））で表現する座標系へ幾何変換し、この座標平面上での特徴点座標値の計測行列［Ａ］から行列分解を行うようにしても良いし、式（４３）に示す光軸からの入射角の半角の正接に比例した光学射影の場合、時系列の全方位画像上の特徴点座標値について、原点と設定した位置から、式（４３）の全方位射影式を使って仰角のφijと位相ρijを求め、式（５（その１））と式（５（その２））で表現する座標系へ幾何変換し、この座標平面上での特徴点座標値の計測行列［Ａ］から行列分解を行うようにしても良い。
【００７９】
【数１７】
【００８０】
なお、図１で示した装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図２〜図４で示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク（登録商標））や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【００８１】
【発明の効果】
本発明によれば、全方位カメラを使って取得した時系列画像全般（移動手段を利用して撮影した車載映像、海上映像、空撮映像、屋内映像など）から、対象物に関する物体形状等の空間情報を高精度に獲得、復元することが可能となる。また、これまでの測量技術並の高精度な３次元立体視が可能となる。さらに、全方位カメラ視点のカメラ光軸周りの回転、並びに、ＸＹ平面運動からなる方位運動を正確に復元することが可能となる。
【図面の簡単な説明】
【図１】本発明の基本的な実施形態例を示す構成図である。
【図２】本実施形態例での処理フローを説明する図である。
【図３】本実施形態例での因子分解法処理フローを説明する図である。
【図４】本実施形態例でのカメラ視点の回転運動、及び並進運動の復元を説明する図である。
【図５】全方位画像面の座標値を説明する図である。
【図６】ＸＹ平面でのカメラパラメータを説明する図である。
【図７】垂直平面とＹＺ平面、光学系の関係を説明する図である。
【図８】等距離射影を説明する図である。
【符号の説明】
１…時系列画像データベース
２…特徴点計測部
３…計測行列変換部
４…計測行列入力部
５…行列分解処理部
６…変換行列算出部
７…物体形状抽出部
８…空間情報復元部
９…視点運動抽出部
１０…平面並進運動復元部
１１…回転運動復元部
【発明の属する技術分野】
本発明は、画像入力装置等により取得した時系列画像データから、対象物の空間形状、または空間構造の計測、または、獲得、並びに復元や、画像入力装置（カメラ）の光学的視点に関する運動、並びに、被写体（物体）の時間的運動を復元することに関係する。特に、コンピュータビジョンにおけるカメラ運動、並びに物体形状復元に関係する。
【０００２】
また、本発明は、全方位カメラを使って取得した車載映像、船上からの海上映像、空撮などの時系列画像全般に対して利用可能であり、特に、全方位カメラ視点に関する姿勢や平面運動、並びに、時系列映像に写っている外界の形状、すなわち、被写体（物体）の外観の形状等の空間情報を復元することに関係する。
【０００３】
【従来の技術】
コンピュータビジョン分野では、時系列画像データから、対象物の形状を計測、または、獲得する手法には、ステレオ計測やエピポーラ面解析を用いた３次元解析手法がある。また、最近では、カメラの運動と被写体（物体）の形状に関する３次元情報を、同時に、計測、または獲得する手法の代表的な手法として、因子分解法（下記文献［１］）がある。これらの手法によれば、物体が撮影されている複数の時系列画像から、空間形状または空間構造に関する情報、並びに、カメラ視点に関する運動を獲得、復元することができる。
【０００４】
文献［１］C.Tomasi and T.Kanade;“Shape and Motion from Image Streams Under Orthography:A Factorization Method",International Journal of Computer Vision,Vol.9,No.2,1992。
【０００５】
しかし、移動手段などを利用して撮影カメラを動かしながら撮影した時系列映像においては、撮影時の環境、撮影カメラの微小な動きによりシームレスに映像を取得することが困難であり、時系列映像中にランダム性の雑音が混入し、カメラ運動を正確に復元することが困難な場合がある。
【０００６】
さらに、画像面が平面とした直交座標系で表現できる画像座標値から、因子分解法により、ユークリッド空間でのカメラ運動と物体形状の復元が可能であるが、有限画角のカメラは映像シーンにおいて、フレームイン、または、フレームアウトするため、画像入力装置の回転運動を大域的に、または、長期的に復元する、さらに、外界の物体の形状を大規模に、大域的に、または、長期的に復元することは困難である。一方、このような有限画角の問題を回避するために、一度に３６０度のパノラマ画像を取得する手段として、全方位カメラを使って取得した時系列画像からカメラ運動と物体形状を復元することが考えられる。しかし、時系列の全方位画像に対して、エピポーラ解析やステレオ視による従来のアプローチが応用されているが、雑音が付加された時系列画像から、容易にユークリッド空間でのカメラ運動と物体形状が復元できないなどの問題がある。
【０００７】
ところで、屋外においては、近年、高精度になりつつあるＧＰＳ、ディファレンシャルＧＰＳ、ジャイロなどのセンシング装置を使うことで、画像入力の位置情報、姿勢情報に関する状態をセンシングすることができる。
【０００８】
【発明が解決しようとする課題】
一般に、画像入力装置（カメラ）から取得した時系列画像から、カメラの動き、並びに、対象物の形状を同時に復元する場合、時系列画像に混入するランダム雑音の影響や、撮影時のカメラの微小な動きを正確に復元することは困難である。このような問題を扱うべく、コンピュータビジョンでは、上記した因子分解法（文献［１］）が存在する。
【０００９】
一方、ＧＰＳ装置などを利用した位置情報計測においては、ＧＰＳ衛星の幾何学的配置、または、センシング条件の良好な時間帯に限定される。また、位置計測の周囲の環境に、樹木が立ち並んだり、高層な建物が立ち並ぶ場所は、センシングに不利な条件であるという問題がある。
【００１０】
また、移動手段を使って、全方位カメラのような一度に３６０度の景観を映像化する撮影環境で取得した時系列画像においては、ステレオ視の原理を応用した計測方法により、外界の物体の空間情報を獲得、復元することができるが、移動手段と撮像機器の配置、撮影環境との関係でカメラが微小に動くため、容易にシームレスな時系列画像を取得できない。そのため、ランダム性雑音の影響も大きく、常に、安定的に、カメラの動きと物体の形状を、同時に、かつ、高精度に復元することは不可能である。
【００１１】
本発明は、リモートセンシングなどを利用した測量でも計測できない位置情報、並びに、ステレオ視などの手法を利用した外界物体の空間情報の獲得、復元において、時系列映像特有のランダム性雑音に対しても、正確にカメラ視点の姿勢と位置に関する時間的変動、すなわち、運動を復元、並びに、外界物体の空間情報を獲得、復元する方法および装置を提供することを課題とする。
【００１２】
【課題を解決するための手段】
上記の課題を解決するため、本発明は、画像入力手段で取得した時系列の全方位画像中において、時系列に関する全方位カメラ視点の運動、並びに、被写体である外界の物体の形状、または構造、または外観を含む空間情報を復元する方法であって、時系列画像上に設定した画像座標系において、各時系列画像中の特徴点の時間的変動量を測定し、その特徴点座標値を別の座標系に変換する第１ステップと、該変換された特徴点座標値を集計したデータである計測行列を行列分解し、カメラ視点に関する運動行列と、外界の物体の外観を表現する形状行列に分解する第２ステップと、該分解された運動行列において、運動を規定するために設定した条件を満足するように変換行列を求めるとともに、該変換行列を使って、全方位カメラ視点の回転運動に対応する情報と、並進運動に対応する情報を計算し復元する第３ステップと、該変換行列を使って、該物体の外観を表現する形状行列を復元する第４ステップと、該復元された形状行列を使って、外界の物体の空間情報を復元する第５ステップと、を有することを特徴とする全方位カメラ視点運動並びに物体形状復元方法を手段とする。
【００１３】
あるいは、上記の全方位カメラ視点運動復元並びに物体形状復元方法であって、第２ステップは、変換された特徴点座標値を集計したデータである計測行列を因子分解により行列分解するステップと、該分解された行列から雑音除去するステップと、該雑音除去された行列から運動行列と形状行列を獲得するステップと、を有することを特徴とする全方位カメラ視点運動並びに物体形状復元方法を手段とする。
【００１４】
あるいは、上記の全方位カメラ視点運動復元並びに物体形状復元方法であって、第１ステップでは、各時系列画像中の特徴点座標値を別の座標系に変換するのに際し、全方位光学系において、光軸からの入射角に比例した全方位射影に基づいて、画像座標値から別の座標系の座標値に変換し、第２ステップにおける、因子分解により行列分解するステップでは、該変換した座標値からなる計測行列に対して、因子分解を行うことを特徴とする全方位カメラ視点運動並びに物体形状復元方法を手段とする。
【００１５】
あるいは、上記の全方位カメラ視点運動復元並びに物体形状復元方法であって、第１ステップでは、各時系列画像中の特徴点座標値を別の座標系に変換するのに際し、全方位光学系において、光軸からの入射角の半角の正弦に比例した射影に基づいて、画像座標値から別の座標系の座標値に変換し、第２ステップにおける、因子分解により行列分解するステップでは、該変換した座標値からなる計測行列に対して、因子分解を行うことを特徴とする全方位カメラ視点運動並びに物体形状復元方法を手段とする。
【００１６】
あるいは、上記の全方位カメラ視点運動復元並びに物体形状復元方法であって、第１ステップでは、各時系列画像中の特徴点座標値を別の座標系に変換するのに際し、全方位光学系において、光軸からの入射角の半角の正接に比例した射影に基づいて、画像座標値から別の座標系の座標値に変換し、第２ステップにおける、因子分解により行列分解するステップでは、該変換した座標値からなる計測行列に対して、因子分解を行うことを特徴とする全方位カメラ視点運動並びに物体形状復元方法を手段とする。
【００１７】
あるいは、上記の全方位カメラ視点運動復元並びに物体形状復元方法であって、第１ステップでは、各時系列画像中の特徴点座標値を別の座標系に変換するのに際し、時系列の全方位画像上の特徴点の座標値について、原点と設定した位置からの位相で表現する座標系へ幾何変換し、第２ステップでは、該位相平面上での特徴点座標値の計測行列から行列分解することを特徴とする全方位カメラ視点運動並びに物体形状復元方法を手段とする。
【００１８】
あるいは、上記の全方位カメラ視点運動復元並びに物体形状復元方法であって、第４ステップでは、回転運動に対応する情報を計算し復元するのに際し、第３ステップで得られた変換行列を使って得た運動行列において、光軸周りの回転運動を復元することを特徴とする全方位カメラ視点運動並びに物体形状復元方法を手段とする。
【００１９】
あるいは、上記の全方位カメラ視点運動復元並びに物体形状復元方法であって、第４ステップでは、並進運動に対応する情報を計算し復元するのに際し、第３ステップで得られた変換行列を使って、全方位カメラ視点の並進運動に対応する情報を取り出し、時系列画像上の特徴点の座標値を測定したときに設定した画像座標系における平面運動に変換することを特徴とする全方位カメラ視点運動並びに物体形状復元方法を手段とする。
【００２０】
あるいは、上記の全方位カメラ視点運動復元並びに物体形状復元方法であって、第５ステップでは、第３ステップで得られた、物体の外観を表現する形状行列を変換した形状行列の中の１成分を抽出し、特徴点の空間情報を復元することを特徴とする全方位カメラ視点運動並びに物体形状復元方法を手段とする。
【００２１】
あるいは、上記の全方位カメラ視点運動復元並びに物体形状復元方法であって、第３ステップでは、変換行列を求める際に、条件式を満たす行列要素に対して、その主成分と、その主成分に係る符号ベクトルから変換行列を求めることを特徴とする全方位カメラ視点運動並びに物体形状復元方法を手段とする。
【００２２】
あるいは、画像入力装置で取得した時系列の全方位画像中において、時系列に関する全方位カメラ視点の運動、並びに、外界の物体の形状、または構造、または外観を含む空間情報を復元する装置であって、時系列画像上に設定した画像座標系において、各時系列画像中の特徴点の時間的変動量を測定する特徴点計測部と、該特徴点座標値を別の座標系に変換して集計する計測行列変換部と、該変換された特徴点座標値を集計したデータである計測行列を行列分解し、雑音除去して、カメラ視点に関する運動行列と、外界の物体の外観を表現する形状行列に分解する行列分解処理部と、該分解された運動行列において、運動を規定するために設定した条件を満足するように変換行列を求める変換行列算出部と、該変換行列を使って、全方位カメラ視点の回転運動に対応する情報と、並進運動に対応する情報を計算し復元する視点運動復元部と、該変換行列を使って、該物体の外観を表現する形状行列を復元し、該復元された形状行列を使って、外界の物体の空間情報として復元する空間情報復元部と、を有することを特徴とする全方位カメラ視点運動並びに物体形状復元装置を手段とする。
【００２３】
あるいは、上記の全方位カメラ視点運動並びに物体形状復元方法におけるステップを、コンピュータに実行させるためのプログラムとしたことを特徴とする全方位カメラ視点運動並びに物体形状復元プログラムを手段とする。
【００２４】
あるいは、上記の全方位カメラ視点運動並びに物体形状復元方法におけるステップを、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする全方位カメラ視点運動並びに物体形状復元プログラムを記録した記録媒体を手段とする。
【００２５】
本発明では、全方位カメラの光学的性質を利用した全方位射影式において、因子分解法（文献［１］）を応用して、時系列画像から測定した特徴点の時間的動きから、すなわち、全方位空間における時間的変動値から、ランダム性雑音の除去を行って、全方位カメラ視点の運動、並びに、外界物体の空間情報を表現する要素に行列分解し、カメラ運動を復元するための条件式を設定し、この条件式を満足する変換行列を使って、全方位カメラ視点に関する姿勢、位置からなる運動と、外界物体の空間情報、すなわち、物体形状や構造、外観等を獲得、復元することにより、全方位カメラを使って取得した時系列画像全般（移動手段を利用して撮影した車載映像、海上映像、空撮映像、屋内映像など）から、対象物に関する物体形状を高精度に獲得、復元することを可能とする。また、これまでの測量技術並の高精度な３次元立体視を可能とする。さらに、全方位カメラ視点のカメラ光軸周りの回転、並びに、ＸＹ平面運動からなるカメラ運動を正確に復元することを可能とする。
【００２６】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００２７】
図１は、本発明の一実施形態例を示す構成図である。本実施形態例においては、魚眼レンズなどを利用して、等距離射影（光軸からの入射角に比例した全方位射影）の光学系を組み込んだ全方位カメラ撮像装置を利用した場合を説明する。本発明は、他の全方位射影（等立体角射影、立体射影等）の光学系を組み込んだ全方位カメラ撮像装置で取得した時系列画像に対しても、適用可能である。
【００２８】
図１において、１は時系列画像データベース、２は特徴点計測部、３は計測行列変換部、４は計測行列入力部、５は行列分解処理部、６は変換行列算出部、７は物体形状抽出部、８は空間情報復元部、９は視点運動抽出部、１０は平面並進運動復元部、１１は回転運動復元部である。
【００２９】
本実施形態例では、特徴点計測部２において、時系列画像データベース１に格納した時系列の全方位画像において特徴点の時間的変動量を計測し、計測行列変換部３において全方位画像面で変換し、この変換した特徴点座標値の集計データである計測行列を計測行列入力部４により入力し、行列分解処理部５において、因子分解法を応用した方法により、カメラ視点に関する運動行列と、外界の物体の外観を表現する形状行列に分解し、変換行列算出部６において、行列分解処理部５で分解した行列のうち、運動行列の成分からカメラ運動拘束条件を設定し、この条件を満足する変換行列を求め、さらに変換行列を使って運動行列と形状行列を変換し、視点運動抽出部９において該変換した運動行列から運動情報を抽出し、平面並進運動復元部１０においてはカメラ視点に関する平面並進運動を、回転運動復元部１１においては回転運動を復元し、また物体形状抽出部７において該変換した形状行列を抽出し、空間情報復元部８において外界の物体の形状、または構造、または外観等の空間情報を復元する。
【００３０】
図２は、請求項１〜１０の発明に関する処理フローである。これら図を元に本発明を、詳細に説明する。
【００３１】
ここで、全方位カメラと外界の物体との幾何的位置関係、並びに、本発明で用いているカメラパラメータについて説明しておく。
【００３２】
図６に示すように、空間中に設定したＸＹＺ座標系を基準座標系として、この座標系における外界の物体の空間情報（Ｘj，Ｙj，Ｚj）を本発明により復元する。また、このＸＹＺ座標系において、時間的に全方位カメラ視点が移動する。このとき、全方位カメラ、すなわち、光学中心に設定した座標系Ｘ0Ｙ0が、ＸＹ平面において、図６に示すように、全方位カメラ視点のＺ軸と平行な光軸周りの回転、すなわち、Ｘ軸との為す角をθiとし、平面上の位置を（Ｔｘi，Ｔｙi）として移動するものとする。このＸＹ平面の並進運動（Ｔｘi，Ｔｙi）、並びに、方位θiの時間的変化を本発明により復元する。
【００３３】
なお、説明の便宜上、初期状態において、全方位カメラ視点に設定したＸ0Ｙ0座標系の方向と基準座標系のＸＹ座標系の方向とは一致しているものとする。また、全方位カメラ視点、すなわち、光学中心のＺ軸の並進運動は無いものとし、方位以外の角、すなわち、進行軸Ｘ0周りの回転、並びに、Ｙ0周りの回転の時間的変化は無いのとする。また、全方位カメラの視点、すなわち、光学中心と外界の物体上の点とを直線で結んだとき、ＸＹ平面から見たときのＸ0軸との為す角をρijとする。
【００３４】
さらに、図７に、ＹＺ平面での外界の物体と全方位カメラ視点との幾何的関係、並びに、カメラパラメータについて示す。全方位カメラ視点、すなわち、光学中心の位置を（Ｔｘi，Ｔｙi）としたとき、外界の物体の点（Ｘj，Ｙj，Ｚj）を直線で結んだとき、ＸＹ平面との為す角をΦijとする。
【００３５】
加えて、本発明での魚眼レンズの光学的性質として、図８に示すように、図７での外界に物体の点（Ｘj，Ｙj，Ｚj）と全方位カメラ視点位置、すなわち、光学中心の位置（Ｔｘi，Ｔｙi）を結んだ場合、入射角がΦijであるとき、光軸に入射した光（Φij＝９０度）を画像上の画像中心（Ｃx，Ｃy）に射影、入射した光がＸＹ平面で入射した光（Φij＝０度）がイメージサークル（全方位画像として映る画像での限界）上に射影される。
【００３６】
また、光学的に、等距離射影が成立しており。入射角をΦijとした場合、その角度に比例して画像中心（Ｃx，Ｃy）からの距離Ｒijに射影されるものとする。ここで、焦点距離をｆとし、Ｑは光学的距離と画素との間の比例定数、すなわち、１画素あたりのエリアセンサとの対応付けを表現している。このとき、等距離射影では、式（１）が成り立つ。また、射影点の画像座標値を（ｘij，ｙij）とした場合、式（２）に表現できる。
【００３７】
【数１】
一方、外界の物体の点は、この全方位カメラの光学的性質により、全方位画像上において、図５に示すようにＷ×Ｈの画像サイズで、Ｈ／２の半径のイメージサークルより内側の点（ｘij，ｙij）に射影される。ここで、Ｘ0軸との為す角ρijとすると、光学的性質から、式（３）が成り立つ。
【００３９】
【数２】
これで、外界の物体と全方位カメラ視点の位置の幾何学的配置、全方位カメラの光学的性質、並びに、カメラ内部パラメータを定義しておく。
【００４１】
図１，図２にもどり、本発明の説明を続ける。
【００４２】
始めに、特徴点計測部２は、時系列画像が時間管理で格納されている時系列画像データベース１から時系列画像を取り出して入力し、図２での時系列画像処理のステップを行う。
【００４３】
これらのステップでは、まず、時系列画像データベース１から時系列画像を１枚取り出し、これを初期画像として、その画像上に特徴点を配置する。このとき、エッジ検出、ハフ変換、並びに、濃淡の２次元勾配などの画像処理により自動的に特徴点を配置するなどして、初期画像上に特徴点を配置する。このとき配置する特徴点の数をＰ個（ｊ＝１，２，…，Ｐ）とし、配置したときの特徴点の２次元座標値として、図５での画像座標系での原点からの座標値（ｘij，ｙij）：ｊ＝１，２，…，Ｐを記録しておく。
【００４４】
次に、特徴点計測部２は、初期画像に続く時系列画像をデータベース１から１枚ずつ読み込み、時系列画像処理のステップにて、初期画像に配置した特徴点を、時系列画像間の濃淡の変化などに着目した手法などを利用することで画像追跡し、各時系列画像（初期画像から第ｉ番目の画像）の特徴点の画像座標値として、図５での画像座標系での原点からの２次元座標値（ｘij，ｙij）を記録する。時系列画像を読み出し続けた場合、初期画像に配置した特徴点の中で、画像中から消失したり、オクルージョンなどにより隠れてしまったときは、画像追跡を停止し、特徴点追跡を終了する。特徴点追跡が終了した時点で、読み出した時系列画像の数ｉ＝１，２，…，Ｆは、初期画像を含めてＦ枚とする。
【００４５】
次に、特徴点計測部２は、計測行列記憶を行う。計測行列記憶のステップでは、各時系列画像における特徴点の時間的な画像座標的配置の変化量が記録される。特徴点の時間的な画像座標的配置の変化を行列としてデータ化したものを計測行列［Ｘ］と称し、式（４）のデータ形式とする。
【００４６】
【数３】
次に、計測行列変換部３は、計測行列変換のステップにて、全方位画像座標値での計測行列に変換する。ここでの全方位画像座標値とは、図５に示すように、画像中心、すなわち、光軸の位置を示し、光学中心の座標値（Ｃx，Ｃy）とした場合、この座標値からの相対的な座標値に一時変換しておく。さらに、これを全時系列にわたり、式（２）（３）のρijとΦijを全特徴点から測定し、式（５）で定義するような全方位画像平面上の座標値へ幾何変換する。これを式（６）のようなデータ配列にする。
【００４８】
ｕij＝cot（φij）cos（ρij） …式（５（その１））
ｕij＝cot（φij）sin（ρij） …式（５（その２））
【００４９】
【数４】
次に、変換された計測行列は計測行列入力部４により行列分解処理部５に入力され、行列分解処理部２において因子分解法処理される。この因子分解法処理のステップでは、全方位カメラ視点の運動と外界の物体の形状、または構造情報を復元する。図３に、因子分解法処理での処理フローを示す。
【００５１】
まず、それまでのステップで全方位画像平面上へ変換した計測行列［Ａ］を、計測行列入力部４による計測行列データ入力において読み込む。次に、特異値分解なる数学的手法により、式（７）のように、一意に、３つの行列に行列分解する。
【００５２】
【数５】
さらに、行列分解した後、ランク３により、さらに行列を式（８）のように分離する。式（８）の第二項を雑音成分と見なして、式（９）のように雑音除去する。
【００５４】
【数６】
次に、雑音成分が除去された運動行列と形状行列とを獲得し、運動行列についてカメラ運動に関する拘束条件を設定し、これを満足するように、［Ｑ］を決定する。すなわち、式（１２）に示すように、行列［Ｑ］を作用させた後の行列を［Ｍ］とし、各行についてｍi，ｎiとし、要素が式（１３）であるとする。この行列の要素ｍi，ｎiが、式（１４），（１５），（１６）の拘束条件を満足するようにする。ただし、行列［Ｑ］の要素を、式（１７）に示す要素とする。このとき、式（１２）の要素から、式（１４）から式（１８）を経て（１９）の計算式を設定する。また、式（１２）の要素から、式（１５）から式（２０）を経て（２１）の計算式を設定する。また、式（１２）の要素から、式（１６）から式（２２）を経て（２３）の計算式を設定する。式（１９），（２１），（２３）から、式（２４）の行列［Ｑ］［Ｑ］Tを求める計算式を設定する。行列［Ｑ］［Ｑ］Tを求めるときは、式（２５）の演算を行い、この計算で得た要素から、式（２６）のように固有値分解し、式（２７）であるとする。次に、式（２８）を使って、式（２５）で得た元の行列［Ｑ］の要素Ｑ11，Ｑ12，Ｑ21，Ｑ22を求める。
【００５６】
【数７】
ｍ2 ix＋ｍ2 iy＝１ …式（１４）
ｎ2 ix＋ｎ2 iy＝１ …式（１５）
ｍixｎix＋ｍiyｎiy＝０ …式（１６）
【００５８】
【数８】
【数９】
【数１０】
または、式（２６）の固有値分解を行い、式（２６）の右辺の２番目の行列の固有値の平方根を対角要素とした行列、すなわち、式（２８）の右辺の１番目の行列を求める。次に、式（２８−１）に示すように固有ベクトルの符号判定を行い、（ｑix，ｑiy）ｉ＝１，２を決定し、式（２８）により［Ｑ］を求める。
【００６２】
次に、変換行列算出部６は、求めた行列［Ｑ］によって、式（２９）により運動行列の変換処理を行い、並びに、式（３０）により形状行列変換の処理を行う。これで得られた運動成分［Ｍ'］、並びに、物体形状成分［Ｓ'］を出力し、因子分解法処理を終える。
【００６３】
【数１１】
図１、図２に戻り、回転運動復元部１１は回転成分計算を、平面並進運動復元部１０は平面並進成分計算を、並びに空間情報復元分解８は空間情報復元計算を、それぞれ行う。
【００６５】
まず、視点運動抽出部９により、全フレームでの回転成分を抽出し、回転運動復元部１１により、初期画像での運動成分が式（３１）となるように、全フレームにおいて、方位正規化計算をする。
【００６６】
【数１２】
すなわち、まず、式（２９）で求めた行列［Ｍ］について、式（３２）の運動成分とし、初期フレームでの行ベクトルを、式（３３）のように取り出す。次に、このベクトルに直交するベクトルｋ1を式（３４）のように生成し、これらベクトルを要素とする行列［Ｎ］を生成する。この行列を使って、式（３６）のように変換をすることで、方位正規化計算を行い、行列［Ｍ］を得る。
【００６８】
ｉT 1＝［Ｕ'11 Ｕ'12 ０］ …式（３３（その１））
ｊT 1＝［Ｕ'1+F,1 Ｕ'1+F,2 ０］ …式（３３（その２））
ｋT 1＝［０ ０ １］］ …式（３４）
【００６９】
【数１３】
次に、回転運動復元部１１は、各フレームに対して、式（３７）、または、式（３８）を使って方位回転θiを計算する。
【００７１】
【数１４】
一方、図４では、物体形状抽出部７により並進成分を抽出して、平面並進運動復元部１０により、各フレームでの成分から、平面運動としての並進成分を計算する。ここでは、式（１３）の第３列目の要素を抽出し、各フレームに対して、式（３９）に従って、平面運動での並進成分（Ｔ(i)ｘ，Ｔ(i)ｙ）を復元する。
【００７３】
【数１５】
これで、図４の回転成分計算、および並進運動計算を終了する。
【００７５】
続いて、図１、図２に戻り、空間情報復元部８による空間情報復元処理を行う。ここでの空間情報復元処理では、式（３０）の行列要素が、式（４０）であるとすると、式（４１）に従って、外界の物体形状、または、構造に関する空間情報を表現する３次元座標値が復元できる。
【００７６】
以上、本発明の実施形態例により、全方位映像の特徴点の時間的動きから、全方位カメラ視点の運動、すなわち、方位運動とＸＹ平面での並進運動、並びに、外界の物体の形状、または構造の空間情報、すなわち、３次元座標値を復元することができる。
【００７７】
【数１６】
なお、本発明では、全方位光学系において、式（２）に示す光軸からの入射角に比例した光学射影の場合、時系列の全方位画像上の特徴点座標値について、原点と設定した位置から、式（２）の全方位射影式を使って仰角のφijと位相ρijを求め、式（５（その１））と式（５（その２））で表現する座標系へ幾何変換し、この座標平面上での特徴点座標値の計測行列［Ａ］から行列分解を行うようにしても良いし、式（４２）に示す光軸からの入射角の半角の正弦に比例した光学射影の場合、時系列の全方位画像上の特徴点座標値について、原点と設定した位置から、式（４２）の全方位射影式を使って仰角のφijと位相ρijを求め、式（５（その１））と式（５（その２））で表現する座標系へ幾何変換し、この座標平面上での特徴点座標値の計測行列［Ａ］から行列分解を行うようにしても良いし、式（４３）に示す光軸からの入射角の半角の正接に比例した光学射影の場合、時系列の全方位画像上の特徴点座標値について、原点と設定した位置から、式（４３）の全方位射影式を使って仰角のφijと位相ρijを求め、式（５（その１））と式（５（その２））で表現する座標系へ幾何変換し、この座標平面上での特徴点座標値の計測行列［Ａ］から行列分解を行うようにしても良い。
【００７９】
【数１７】
なお、図１で示した装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図２〜図４で示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク（登録商標））や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【００８１】
【発明の効果】
本発明によれば、全方位カメラを使って取得した時系列画像全般（移動手段を利用して撮影した車載映像、海上映像、空撮映像、屋内映像など）から、対象物に関する物体形状等の空間情報を高精度に獲得、復元することが可能となる。また、これまでの測量技術並の高精度な３次元立体視が可能となる。さらに、全方位カメラ視点のカメラ光軸周りの回転、並びに、ＸＹ平面運動からなる方位運動を正確に復元することが可能となる。
【図面の簡単な説明】
【図１】本発明の基本的な実施形態例を示す構成図である。
【図２】本実施形態例での処理フローを説明する図である。
【図３】本実施形態例での因子分解法処理フローを説明する図である。
【図４】本実施形態例でのカメラ視点の回転運動、及び並進運動の復元を説明する図である。
【図５】全方位画像面の座標値を説明する図である。
【図６】ＸＹ平面でのカメラパラメータを説明する図である。
【図７】垂直平面とＹＺ平面、光学系の関係を説明する図である。
【図８】等距離射影を説明する図である。
【符号の説明】
１…時系列画像データベース
２…特徴点計測部
３…計測行列変換部
４…計測行列入力部
５…行列分解処理部
６…変換行列算出部
７…物体形状抽出部
８…空間情報復元部
９…視点運動抽出部
１０…平面並進運動復元部
１１…回転運動復元部
Claims (13)
- 画像入力手段で取得した時系列の全方位画像中において、時系列に関する全方位カメラ視点の運動、並びに、被写体である外界の物体の形状、または構造、または外観を含む空間情報を復元する方法であって、
時系列画像上に設定した画像座標系において、各時系列画像中の特徴点の時間的変動量を測定し、その特徴点座標値を別の座標系に変換する第１ステップと、
該変換された特徴点座標値を集計したデータである計測行列を行列分解し、カメラ視点に関する運動行列と、外界の物体の外観を表現する形状行列に分解する第２ステップと、
該分解された運動行列において、運動を規定するために設定した条件を満足するように変換行列を求めるとともに、該変換行列を使って、全方位カメラ視点の回転運動に対応する情報と、並進運動に対応する情報を計算し復元する第３ステップと、
該変換行列を使って、該物体の外観を表現する形状行列を復元する第４ステップと、
該復元された形状行列を使って、外界の物体の空間情報を復元する第５ステップと、を有する
ことを特徴とする全方位カメラ視点運動並びに物体形状復元方法。 - 請求項１記載の全方位カメラ視点運動復元並びに物体形状復元方法であって、
第２ステップは、
変換された特徴点座標値を集計したデータである計測行列を因子分解により行列分解するステップと、
該分解された行列から雑音除去するステップと、
該雑音除去された行列から運動行列と形状行列を獲得するステップと、を有する
ことを特徴とする全方位カメラ視点運動並びに物体形状復元方法。 - 請求項２記載の全方位カメラ視点運動復元並びに物体形状復元方法であって、
第１ステップでは、各時系列画像中の特徴点座標値を別の座標系に変換するのに際し、全方位光学系において、光軸からの入射角に比例した全方位射影に基づいて、画像座標値から別の座標系の座標値に変換し、
第２ステップにおける、因子分解により行列分解するステップでは、該変換した座標値からなる計測行列に対して、因子分解を行う
ことを特徴とする全方位カメラ視点運動並びに物体形状復元方法。 - 請求項２記載の全方位カメラ視点運動復元並びに物体形状復元方法であって、
第１ステップでは、各時系列画像中の特徴点座標値を別の座標系に変換するのに際し、全方位光学系において、光軸からの入射角の半角の正弦に比例した射影に基づいて、画像座標値から別の座標系の座標値に変換し、
第２ステップにおける、因子分解により行列分解するステップでは、該変換した座標値からなる計測行列に対して、因子分解を行う
ことを特徴とする全方位カメラ視点運動並びに物体形状復元方法。 - 請求項２記載の全方位カメラ視点運動復元並びに物体形状復元方法であって、
第１ステップでは、各時系列画像中の特徴点座標値を別の座標系に変換するのに際し、全方位光学系において、光軸からの入射角の半角の正接に比例した射影に基づいて、画像座標値から別の座標系の座標値に変換し、
第２ステップにおける、因子分解により行列分解するステップでは、該変換した座標値からなる計測行列に対して、因子分解を行う
ことを特徴とする全方位カメラ視点運動並びに物体形状復元方法。 - 請求項１から５までのいずれか１項記載の全方位カメラ視点運動復元並びに物体形状復元方法であって、
第１ステップでは、各時系列画像中の特徴点座標値を別の座標系に変換するのに際し、時系列の全方位画像上の特徴点の座標値について、原点と設定した位置からの位相で表現する座標系へ幾何変換し、
第２ステップでは、該位相平面上での特徴点座標値の計測行列から行列分解する
ことを特徴とする全方位カメラ視点運動並びに物体形状復元方法。 - 請求項１から６までのいずれか１項記載の全方位カメラ視点運動復元並びに物体形状復元方法であって、
第４ステップでは、回転運動に対応する情報を計算し復元するのに際し、第３ステップで得られた変換行列を使って得た運動行列において、光軸周りの回転運動を復元する
ことを特徴とする全方位カメラ視点運動並びに物体形状復元方法。 - 請求項１から７までのいずれか１項記載の全方位カメラ視点運動復元並びに物体形状復元方法であって、
第４ステップでは、並進運動に対応する情報を計算し復元するのに際し、第３ステップで得られた変換行列を使って、全方位カメラ視点の並進運動に対応する情報を取り出し、時系列画像上の特徴点の座標値を測定したときに設定した画像座標系における平面運動に変換する
ことを特徴とする全方位カメラ視点運動並びに物体形状復元方法。 - 請求項１から８までのいずれか１項記載の全方位カメラ視点運動復元並びに物体形状復元方法であって、
第５ステップでは、第３ステップで得られた、物体の外観を表現する形状行列を変換した形状行列の中の１成分を抽出し、特徴点の空間情報を復元する
ことを特徴とする全方位カメラ視点運動並びに物体形状復元方法。 - 請求項１から９までのいずれか１項記載の全方位カメラ視点運動復元並びに物体形状復元方法であって、
第３ステップでは、変換行列を求める際に、条件式を満たす行列要素に対して、その主成分と、その主成分に係る符号ベクトルから変換行列を求める
ことを特徴とする全方位カメラ視点運動並びに物体形状復元方法。 - 画像入力装置で取得した時系列の全方位画像中において、時系列に関する全方位カメラ視点の運動、並びに、外界の物体の形状、または構造、または外観を含む空間情報を復元する装置であって、
時系列画像上に設定した画像座標系において、各時系列画像中の特徴点の時間的変動量を測定する特徴点計測部と、
該特徴点座標値を別の座標系に変換して集計する計測行列変換部と、
該変換された特徴点座標値を集計したデータである計測行列を行列分解し、雑音除去して、カメラ視点に関する運動行列と、外界の物体の外観を表現する形状行列に分解する行列分解処理部と、
該分解された運動行列において、運動を規定するために設定した条件を満足するように変換行列を求める変換行列算出部と、
該変換行列を使って、全方位カメラ視点の回転運動に対応する情報と、並進運動に対応する情報を計算し復元する視点運動復元部と、
該変換行列を使って、該物体の外観を表現する形状行列を復元し、該復元された形状行列を使って、外界の物体の空間情報として復元する空間情報復元部と、を有する
ことを特徴とする全方位カメラ視点運動並びに物体形状復元装置。 - 請求項１から１０までのいずれか１項記載の全方位カメラ視点運動並びに物体形状復元方法におけるステップを、コンピュータに実行させるためのプログラムとした
ことを特徴とする全方位カメラ視点運動並びに物体形状復元プログラム。 - 請求項１から１０までのいずれか１項記載の全方位カメラ視点運動並びに物体形状復元方法におけるステップを、コンピュータに実行させるためのプログラムとし、
該プログラムを、該コンピュータが読み取りできる記録媒体に記録した
ことを特徴とする全方位カメラ視点運動並びに物体形状復元プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002071623A JP3901552B2 (ja) | 2002-03-15 | 2002-03-15 | 全方位カメラ視点運動並びに物体形状復元方法、装置、全方位カメラ視点運動並びに物体形状復元プログラム、及び該プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002071623A JP3901552B2 (ja) | 2002-03-15 | 2002-03-15 | 全方位カメラ視点運動並びに物体形状復元方法、装置、全方位カメラ視点運動並びに物体形状復元プログラム、及び該プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003271925A JP2003271925A (ja) | 2003-09-26 |
| JP3901552B2 true JP3901552B2 (ja) | 2007-04-04 |
Family
ID=29201852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002071623A Expired - Fee Related JP3901552B2 (ja) | 2002-03-15 | 2002-03-15 | 全方位カメラ視点運動並びに物体形状復元方法、装置、全方位カメラ視点運動並びに物体形状復元プログラム、及び該プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3901552B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5843033B1 (ja) * | 2014-05-15 | 2016-01-13 | 株式会社リコー | 撮像システム、撮像装置、プログラムおよびシステム |
-
2002
- 2002-03-15 JP JP2002071623A patent/JP3901552B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003271925A (ja) | 2003-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190259202A1 (en) | Method to reconstruct a surface from partially oriented 3-d points | |
| US9183631B2 (en) | Method for registering points and planes of 3D data in multiple coordinate systems | |
| Teller et al. | Calibrated, registered images of an extended urban area | |
| AU2011312140B2 (en) | Rapid 3D modeling | |
| US20160321811A1 (en) | Method for determining a parameter set designed for determining the pose of a camera and/or for determining a three-dimensional structure of the at least one real object | |
| WO2020031950A1 (ja) | 計測校正装置、計測校正方法、及びプログラム | |
| Li et al. | Spherical stereo for the construction of immersive VR environment | |
| Angladon et al. | The toulouse vanishing points dataset | |
| Guan et al. | Minimal cases for computing the generalized relative pose using affine correspondences | |
| Xinmei et al. | Passive measurement method of tree height and crown diameter using a smartphone | |
| CN114926316A (zh) | 距离测量方法、装置、电子设备及存储介质 | |
| Tong et al. | 3D information retrieval in mobile robot vision based on spherical compound eye | |
| Navab et al. | Canonical representation and multi-view geometry of cylinders | |
| JP3901552B2 (ja) | 全方位カメラ視点運動並びに物体形状復元方法、装置、全方位カメラ視点運動並びに物体形状復元プログラム、及び該プログラムを記録した記録媒体 | |
| US11790606B2 (en) | Determining camera rotations based on known translations | |
| JP2005063012A (ja) | 全方位カメラ運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体 | |
| WO2018150086A2 (en) | Methods and apparatuses for determining positions of multi-directional image capture apparatuses | |
| CN108921908B (zh) | 表面光场的采集方法、装置及电子设备 | |
| Dunn et al. | A geometric solver for calibrated stereo egomotion | |
| CN113610952A (zh) | 一种三维场景重建方法、装置、电子设备和存储介质 | |
| KR20200122967A (ko) | 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법 | |
| JP2005063013A (ja) | 全方位カメラの視点運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体 | |
| JP2004348198A (ja) | 座標変換処理処置、処理方法、この方法のプログラム、このプログラムを記録した記録媒体 | |
| JP2005078554A (ja) | 魚眼カメラ運動と３次元情報の復元方法、装置、および、その方法を実行するプログラムを記録した記録媒体 | |
| JP3759712B2 (ja) | カメラパラメータ推定方法、装置、プログラム、および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040121 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061226 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120112 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130112 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |