JP6330068B2 - 画像分析システムおよび方法 - Google Patents

Description

関連出願
本発明は、内容の全体が参照により本明細書に組み込まれる、２０１６年３月１１日出願の米国仮特許出願第６２／３０６，９５９号と、２０１６年８月１６日出願の米国特許出願第１５／２３７８３９号との優先権の利益に基づき、これを請求する。

本明細書に説明されるものとしての本発明の実施形態は、概して、画像分析システムと方法との分野に関連する。

多くの画像分析タスクにおいて、場面から画像をキャプチャしている、その場面に対して動いているカメラを有する必要がある。１つのそのようなタスクは、カメラが動いている物体に取り付けられ、カメラが場面を視覚化してそのポーズを決定する情報を記録する必要がある、いわゆるＳＬＡＭ（同時位置決めマッピング）である。そのようなＳＬＡＭタスクには、ロボット工学、自律運転車両などにおいて直面する。

カメラのポーズを推定する際、１つの手法はカメラのポーズの、その以前のポーズからの変化を推定し、相対的な変化を推定することである。相対的な変化のみを組み合わせることによってカメラのポーズを推定することは、ノイズによって大きな影響を受けるため、ドリフトを引き起こす。

３Ｄ回転を処理する際には「複数回転平均化」、カメラポーズに適用される際には「ポーズグラフ（ｐｏｓｅ−ｇｒａｐｈ）干渉」とも呼ばれる、この動作平均化問題は多くの研究の主題となってきた。ＳＬＡＭに関して上で述べたにもかかわらず、カメラの状態を推定する一般的問題もまた、映像モザイク化および３Ｄ場面の再構築などの他の用途において生じる。

非限定的な実施形態によるシステムと方法とが、添付の図面を参照して説明される。

本発明の実施形態による方法の流れ図。 走行距離測定のみから導き出された、動くカメラの、あり得る予測された経路と変動とを示す概略図。 ループ閉鎖測定によって訂正された、図１（ｂ）に示された推定された経路と変動との概略図。 単一の完全なループを通って変化するカメラの状態の概略図。 絶対的なパラメータ化に関するヤコビアン行列を表す図。 絶対的なパラメータ化に関する疑似ヘッセ行列を表す図。 絶対的なパラメータ化に関する疑似ヘッセ逆行列を表す図。 相対的なパラメータ化に関するヤコビアン行列を表す図。 相対的なパラメータ化に関する疑似ヘッセ行列を表す図。 相対的なパラメータ化に関する疑似ヘッセ逆行列を表す図。 走行距離測定とループ閉鎖測定とを処理する実施形態によるステップを示す流れ図。 ループ閉鎖測定の基本的処理を示す本発明の実施形態による方法を示す流れ図。 本発明の実施形態による方法を実装するプロセッサによって実行された処理ステップの順序を示す流れ図。 図６（ａ）のガウスニュートン処理をより詳細に示す流れ図。 ２つのループ閉鎖測定が異なる回数で発生する、経路の概略描画図。 ２つのループ閉鎖測定が同時に発生する、経路の概略描画図。 ＫＩＴＴＩ００データセットでの平面視覚ＳＬＡＭ（ＳＥ（２））タスクに適用された方法の精度に関する結果を示す図。 ＫＩＴＴＩ００データセットでの平面視覚ＳＬＡＭ（ＳＥ（２））タスクに適用された方法の再現率に関する結果を示す図。 ＫＩＴＴＩ０７データセットでの平面視覚ＳＬＡＭ（ＳＥ（２））タスクに適用された方法の精度に関する結果を示す図。 ＫＩＴＴＩ０７データセットでの平面視覚ＳＬＡＭ（ＳＥ（２））タスクに適用された方法の再現率に関する結果を示す図。すべての場合において、ｘ軸は本発明の実施形態による方法によって処理される不正確なループ閉鎖測定の数の測定。 ＬＩＤＡＲによって測定されたカメラポーズを表す描画図。 本発明の実施形態による方法によって決定されるカメラポーズを表す描画図。 ＬＩＤＡＲによって測定されたカメラポーズを表す描画図。 本発明の実施形態による方法によって決定されるカメラポーズを表す描画図。 ビデオモザイク化タスクに関するいくつかの入力画像を示す図。 グラウンドトゥルースの結果を示す図。 本発明の実施形態による方法を用いて得られた結果を示す図。 本発明の実施形態によるシステムを示す図。 本発明の実施形態によるシステムを用いた車両を示す図。

一実施形態において、本発明はカメラの移動を決定する方法を提供し、ここにおいて、前記移動は参照状態からのカメラ状態の絶対的な変化に関して表現され、方法は、
前記カメラからキャプチャされたビデオ画像のストリームを受信することと、
前記ビデオ画像から、連続的な画像または連続的な画像の組の間のカメラ状態の相対的な変化を決定する走行距離測定のストリームを生成することと、
前記ビデオ画像から、非連続的な画像または非連続的な画像の組の間のカメラ状態の相対的な変化を決定することによってループ閉鎖測定のストリームを生成することと、
前記走行距離測定と前記ループ閉鎖測定とにおける相対的な変化の事後分布から、カメラ状態の絶対的な変化を推定することと、を備え、ここにおいて、前記事後分布は、前記相対的な変化が互いに独立であることを前提とする分解された分布によって近似される。

上記実施形態において、入力データはビデオストリームであり、絶対的な変化のオンライン推定が行われる。

上記方法は、新しい測定が受信されるごとに以前のすべての測定に関する基準またはコスト関数を最小化するとは限らない。少ない計算回数を達成するように、上記方法はフィルタリングを実行する。すなわち、各測定を１つずつ処理する。上記方法において、推定された変化の事後分布のパラメータの数が推定された変化の数に対して高々線形的に増加するように、その分布は連続的に近似される。

上記方法の実施形態において、ループに含まれる相対的な変化における分解された分布は、同一のループに関する新しいループ閉鎖測定が受信されるごとに再推定される。さらに、分解された分布のパラメータは各推定の後で保持される。一実施形態において、パラメータは相対的な変化の推定された平均と共分散とである。

一実施形態において、ループ閉鎖測定に関連するループ内に含まれる相対的な変化のみが更新されることに留意すべきである。

上記方法は、対角線上のブロックの数がループ閉鎖測定により再推定されているループ内の相対的な変化の数であるブロック対角行列として、合計の共分散をモデル化する。処理されているループ閉鎖内にあるものを除いて、他のいかなる相対的な変化も更新されない。

ブロックのサイズは、オリジナルの走行距離測定からの共分散のサイズによって設定される。オリジナルの測定の共分散のサイズは測定の型によって設定される。典型的には、ブロックのサイズは自由度の数に対応する。例えば、カメラポーズは６の自由度を有し、共分散は６×６行列によって表されることができるが、行列のサイズをさらに圧縮することが可能であり、ホモグラフィ（ｈｏｍｏｇｒａｐｈｙ）測定は８の自由度を有し、さらに行列のサイズは縮小されることが可能である。

したがって、任意の点において再推定される必要があるパラメータの数は、ループ閉鎖測定内の相対的な変化の数によって上下し、このことは、オフラインバッチ処理のみとは対照的に、システムがリアルタイムで動作して測定を処理することを可能とする。

上記で説明したように、実施形態は大きな範囲の問題に関するオンライン推定を可能にする。新しい測定が受信された場合、すべての過去のデータに基づいて絶対的な変化を再計算する必要はない。上記で説明したように、分解された分布のパラメータのみが保持される。したがって、更新された分解された分布のパラメータがひとたび決定されれば、生の走行距離測定とループ閉鎖測定とは破棄されてもよい。

大きな範囲の問題を処理することは、知覚的なエイリアシング（ａｌｉａｓｉｎｇ）のリスクと、それによる誤ったループ閉鎖の数とを増加させる。したがって、一実施形態において、誤ったループ閉鎖が検出されて削除される。一実施形態において、ループ閉鎖測定は、前記ループとゲーティング（ｇａｔｉｎｇ）閾値とに関する分解された分布のパラメータに関する以前の値と比較することによって、有効であると決定される。

上記方法は２Ｄまたは３Ｄ画像に適合されることができる。３Ｄ画像は単眼技法を用いて単一のカメラから決定されることができる。ここで、３Ｄポイントクラウドを生成するように、多数の２Ｄフレームが組み合わせられることができる。さらなる実施形態において、知られている地理的関係にある２つ以上のカメラが用いられ、知られているステレオ方法を用いて３Ｄポイントクラウドが決定される。

例えば、前記カメラと知られている固定された関係にある、少なくとも１つのさらなるカメラが提供され、ステレオ方法を用いて、カメラと前記少なくとも１つのさらなるカメラとから、走行距離測定とループ閉鎖測定とが提供される。

上記において、カメラによって得られたビデオフレームは、決定された３Ｄポイントクラウドと組み合わせられ、前記走行距離測定とループ閉鎖測定とが前記３Ｄポイントクラウドから決定される。

一実施形態において、上記方法はいわゆるＳＬＡＭ（同時位置決めマッピング）タスクに適用され、カメラを領域内に移動することと、前記カメラからの画像データを得ることと、上記で説明された前記カメラの絶対的な変化を推定することとを備え、ここにおいて、前記領域内の前記カメラの位置を決定するようにカメラ位置の絶対的な変化が用いられ、方法はさらに、カメラと、決定された絶対的な変化からのカメラの位置とから画像データを用いて前記領域をマッピングすることを備える。

カメラは、例えば車、ロボット、自律運転車両などの、移動する物体に位置してもよい。

上記方法はまた、２Ｄ画像フレーム間で決定された２Ｄホモグラフィから、走行距離測定とループ閉鎖測定とが決定される、２Ｄ画像に適用されてもよい。

一実施形態において、これはビデオモザイク化に適用され、方法は、領域にカメラを移動することと、前記カメラから画像データを得ることと、上記方法を用いて前記カメラの絶対的な変化を推定することとを備え、ここにおいて、前記領域に関する前記カメラの位置を決定するようにカメラ位置の絶対的な変化が用いられ、決定された絶対的な変化からのカメラの位置を用いてビデオのフレームを並べる。

一実施形態において、分解された分布は変分ベイズ近似を用いることによって決定される。さらなる実施形態において、変分ベイズ近似はカルバック・ライブラー（Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ）発散を用いて決定される。

一実施形態において、カメラの状態は、カメラの回転（のみ）、カメラの位置（のみ）、カメラのポーズ（カメラの位置と回転）、または、カメラの状態が同一平面内の２つの画像の間の関係を表すホモグラフィ行列に符号化されるホモグラフィを意味するように解釈される。

変化は、例えば、３Ｄユークリッド動作に関するＳＥ（３）、ホモグラフィに関するＳＬ（３）、３Ｄ類似に関するＳｉｍ（３）など、任意のリー（Ｌｉｅ）群に含まれてもよい。

実施形態によるいくつかの方法がソフトウェアによって実装可能であるため、いくつかの実施形態は、汎用コンピュータに提供された、任意の適切な保持媒体上のコンピュータコードを包含する。保持媒体は、フロッピー（登録商標）ディスク、ＣＤ ＲＯＭ、磁気デバイスもしくはプログラム可能なメモリデバイスなどの任意の記憶媒体、または、例えば電気的、光学的もしくはマイクロ波信号などの任意の信号などの一時的な媒体を備えることができる。

図１（ａ）は本発明の一実施形態による方法を示すフロー図である。

図１（ａ）の実施形態において、処理するための入力ビデオ信号がステップＳ１０１において受信される。この実施形態において、カメラポーズはビデオ画像の配列から推定される。しかしながら、これは例示的実施形態にすぎず、根本的な方法に依存する他の応用例が以下に述べられる。

ステップＳ１０１に集められたビデオフレームはステップＳ１０３において組にグループ化される。一実施形態において、これらの組はｎ個の連続するフレームのグループであり、ｎは少なくとも２である整数である。一実施形態において、ｎは５と１０の間である。別の実施形態において、ｎは組によって変化する。

各組において、３Ｄ再構築がステップＳ１０５において生成される。一連の２Ｄ画像から３Ｄポイントクラウドを生成するための知られている方法を用いて再構築を生成する多くの可能性がある。ポイントクラウドが生成される際、クラウド内の各ポイントは平均（シーン内のオブジェクトの表面の予測される位置）とこの位置の共分散とを含む確率分布を表す。

ステップＳ１０７において、異なる組からの２つの３Ｄ再構築が並べられ、２つの再構築の間の３Ｄ類似の測定が決定される。この３Ｄ類似測定は、２つの３Ｄ再構築の間の変化の平均と共分散との形式で表される。

連続する組からとられた３Ｄ再構築の間の類似が測定されると、測定された変化は走行距離測定変化Ｓ１０９である。非連続の再構築の間で類似が測定される際には、測定された変化はループ閉鎖変化Ｓ１１１である。

カメラが移動するにつれて、走行距離測定変化のシーケンスが生成される。そしてこれらは、ステップＳ１１３においてカメラ状態を更新するように用いられる。カメラ状態は、カメラの回転（のみ）と、カメラの位置（のみ）と、カメラのポーズ（カメラの位置と回転）と、カメラの状態が同一平面内の２つの画像の間の関係を表すホモグラフィ行列に符号化されるホモグラフィとに関して表現されることができる。

走行距離測定に加えて、ステップＳ１１３において更新されたカメラ位置の推定を行うように、ループ閉鎖変化Ｓ１１１が走行距離測定変化に組み合わせられる。これを行う方法は図４から図６ｂを参照してより詳細に説明される。方法はカメラ状態のリアルタイムな正確な推定を可能にする。

図１（ｂ）はカメラの現実の経路５０１を示す概略図である。測定された経路５０３が真の循環経路から逸脱するものとしてみられる。測定の分散は点線５０７、５０９の間の幅として示される。

図１ｃに示されるように、測定された経路５０３を訂正するように点５１１におけるループ閉鎖測定が用いられることができ、訂正された経路５１３は実際の経路５０１に近いものにみえ、点線５１５と５１７とによって示される分散の実質的な減少がある。

ループ閉鎖変化によってどのように走行距離測定変化が訂正されるか理解するように、単一のループの簡略化された状態がまず検討される。そのような例は、長さ１０の完全なループが例示される図２で示される。各錐体はカメラポーズを表す。走行距離測定は実線で示され、ループ閉鎖測定は点線で示される。

状況を考える前に、本明細書で用いられる数学的モデルと表記法とを説明する。本明細書で説明される理論は、任意の行列リー群（典型的にはＳＥ（３）、ＳＬ（３）、Ｓｉｍ（３）など）に適用されることができ、それらはフレームワークが様々な用途に適用されることを可能とするため、実用的に非常に便利であることが判明している。Ｃｈｉｒｉｋｊｉａｎ，Ｇ．Ｓ．：Ｓｔｏｃｈａｓｔｉｃ Ｍｏｄｅｌｓ，Ｉｎｆｏｒｍａｔｉｏｎ Ｔｈｅｏｒｙ，ａｎｄ Ｌｉｅ Ｇｒｏｕｐｓ、第２巻、Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ、２０１２年は、本明細書で説明される原理の背景として有用なリー群の概説を与える。

本出願において、以下の表記法が用いられる。Ｇ⊂Ｒ^n×nは固有次元ｐの行列リー群であり（すなわち、Ｇ＝ＳＥ（３）⊂Ｒ^4×4の場合ｐ＝６、Ｇ＝ＳＬ（３）⊂Ｒ^3×3の場合ｐ＝８など）、ｅｘｐ^∧ _G（・）：Ｒ^p→Ｇとｌｏｇ^∨ _G（・）：Ｇ→Ｒ^pとは、それぞれＧの指数マップと対数マップとに対応し、Ｔ_ij∈Ｇは座標系ｊから座標系ｉへの変化を表す行列であり、したがって表記法Ｔ_ijＴ_jk＝Ｔ_ikとＴ_ij ^-1＝Ｔ_jiとなる。

以下の考察もまたＧの随伴表現、Ａｄ_G（・）：Ｇ→Ｒ^p×pを用い、それは、はじめはＴ_ijに左から掛けられていた要素δ_ij∈Ｒ^pを、Ｔ_ijの右側へ運ぶことを可能にし、それによってｅｘｐ^∧ _Gδ_ijＴ_ij＝Ｔ_ijｅｘｐ^∧ _G（Ａｄ_G（Ｔ_ji）δ_ij）となる。最後に、Ｇ上のガウス分布の表記法は

として導入され、ここで｜｜・｜｜²は平方マハラノビス距離を表し、Ｔ_ijとＰ_ijとはそれぞれ、ランダム変数Ｔ_ijの平均と共分散とである。

動作平均化問題に対処することが可能であり、絶対的な変化の２つの異なるパラメータ化が共通して用いられる。相対的なパラメータ化と絶対的なパラメータ化である。異なるパラメータ化は異なる測定モデルにつながり、その結果として異なる計算的複雑性を有するアルゴリズムと異なる形状を有する事後分布とにつながる。

まず、相対的なパラメータ化のフレームワークが考察される。

Ｚ_n(n+1)∈Ｇで表される走行距離測定は、２つの連続するローカルな座標系の間のノイズが多い変化である。ｎ≠ｍ＋１であるＺ_mn∈Ｇで表されるループ閉鎖測定は、２つの時間的に非連続なローカルな座標系の間のノイズが多い変化である。さらに、この実施形態において、測定のノイズは相互に独立していると前提される。

相対的なパラメータ化はＴ_(k-1)kの形式の変化を推定することにあり、ｋは時間の瞬間ｋにおけるカメラのローカルな座標系である。したがって、時間の瞬間ｋにおいて、推定される変化の組は｛Ｔ_i(i+1)｝_{i=1,......,k-1}である。絶対的な変化Ｔ_1kは、推定された相対的な変化を単純に掛けることによって得られることができる。すなわち、

である。走行距離測定とループ閉鎖とに関する尤度はガウシアン（Ｇａｕｓｓｉａｎ）であると前提され、それぞれ表１の式（２）と式（３）とにおいて与えられる。

単一ループの単純化された問題に戻ると、相対的なパラメータ化を用いて、図２（ａ）の状態が考慮される。ここで、長さＮ_Lのループが考慮され、Ｎ_L-1個の走行距離測定｛Ｚ_i(i+1)｝_{i=1,......,NL-1}が利用可能であり、ローカルな座標系１とＮ_Lとの間の単一のループ閉鎖Ｚ_1NLがある。

式（２）と式（３）とで定義された尤度を用いて、相対的な変化

に関して以下の基準が最小化される。

一実施形態によれば、この基準を最小化する１つの方法は、相対的な変化が以下のように反復的に一緒に改良されるガウス−ニュートンアルゴリズムを適用することである（上付き文字は反復を表す）。

サイズｐ×Ｎ_Lの以下の（密行列）線形系を解くことによって、インクリメント

が各反復において得られる。

ここで

は系のヤコビアン行列であり（図３ｂを参照）、Λは測定の共分散行列の逆行列を連結するブロック対角行列であり、

である。

上記の相対的なパラメータ化は密行列の線形系を解くことを要求する。しかしながら、ウッドベリー式を用いて問題の構造を利用することによって、

を示すことが可能である。

ここで、

がループ閉鎖エラーのヤコビアンであり

である。この場合、サイズｐ（すなわち、ループの長さと独立）の線形系のみが解かれる必要があり、アルゴリズムは、単一ループを閉じるために高効率なものとされる（実際には、Ｇ＝ＳＥ（３）に関してｐ＝６、Ｇ＝ＳＬ（３）に関してｐ＝８など）。

さらに、（アルゴリズムがひとたび収束に達して）線形近似における事後分布の共分散行列を表す疑似ヘッセ逆行列

が、変化の間の非常に小さい相関を示す。それゆえ、その共分散行列のブロック対角近似は、大きなスケールの問題を効率的に処理可能なフィルタを導き出すことを可能にする、妥当な近似である。

上記を絶対的なパラメータ化と比較すると、絶対的なパラメータ化は形式Ｔ_kWの変化を推定することからなり、Ｗは「世界」座標系であり、ｋは時間の瞬間ｋにおけるカメラのローカルな座標系である。したがって、時間の瞬間ｋにおいて、推定される変化の組は

である。実際には、「世界」座標系も知られていないため、Ｔ_1Wは通常は単位行列に固定される。走行距離測定とループ閉鎖との尤度はガウシアンと前提され、表Ａ１でそれぞれ式（Ａ１）と式（Ａ２）とで与えられる。

相対的なパラメータ化の場合と類似して、尤度は式（Ａ１）と式（Ａ２）とで定義され、以下の基準を用いて最小化されるが、この場合は絶対的な変化

に関する。

再び相対的なパラメータ化に関して、絶対的な変化が以下のように反復的に一緒に改良されるガウス−ニュートンアルゴリズムを適用することによって基準は最小化される（上付き文字は反復を表す）。

サイズｐ×Ｎ_Lの以下の（疎行列）線形系を解くことによって、インクリメント

が各反復において得られる。

ここで

は系のヤコビアン行列であり、Λは測定の共分散行列の逆行列を連結するブロック対角行列であり、†は行列の疑似逆行列を表す（

がｐ個のヌル（ｎｕｌｌ）な固有値を有するため）。

さらに、

であり

である。

相対的なパラメータ化の手法と、絶対的なパラメータ化の間の比較は図３（ａ）から図３（ｆ）にみられる。

図３（ａ）から図３（ｆ）は、単一ループに関するＳＥ（３）群の動作平均化問題からの表示を示す。図３（ａ）は絶対的なパラメータ化に関するヤコビアン行列を表し、図３（ｂ）は絶対的なパラメータ化に関する疑似ヘッセ行列を表し、図３（ｃ）は絶対的なパラメータ化に関する疑似ヘッセ逆行列を表し、図３（ｄ）は相対的なパラメータ化に関するヤコビアン行列を表し、図３（ｅ）は相対的なパラメータ化に関する疑似ヘッセ行列を表し、図３（ｆ）は相対的なパラメータ化に関する疑似ヘッセ逆行列を表す。

絶対的なパラメータ化を用いて、疑似ヘッセ逆行列（図３（ｂ））は絶対的な変化の間に非常に強い相関を示す。これに反して、図３（ｅ）に示された相対的なパラメータ化を用いて、疑似ヘッセ逆行列は相対的な変化の間に非常に小さい相関（ヌルではないがゼロに近い）を示し、これは独立した相対的な変化を前提とする事後分布の変分ベイズ近似の使用の選択を正当化する。

上記から、相対的なパラメータ化は、少なくともオンライン推定に関して、絶対的なパラメータ化よりも魅力的なプラットフォームを提供する。したがって、本発明の実施形態による方法に関して、相対的なパラメータ化がフィルタの設計に関して用いられる。

図４から図６（ｂ）を参照して説明されるように、ループ閉鎖測定は、各反復においてサイズｐの線形系を解くことのみを要求するこの高度に効率的なＧＮを用いて、連続的に処理される。ループ閉鎖を処理した後で、事後分布の共分散行列は、変分ベイズ近似を用いてブロック直交共分散行列によって近似される。

一実施形態において、この手法はＧＮアルゴリズムを用い、それは互いに作用しないループを含む任意の問題（すなわち、測定に異方性ノイズを有する任意の行列リー群Ｇ）に関して最適である。

図４はオンライン変分ベイズ動作平均に関して用いられる方法のステップの流れ図である。

時間の瞬間ｋ−１（ここでｋ＞２である）において、推定された状態はすべての相対的な変化

にある。より具体的には、時間の瞬間ｋ−１において、状態の事後分散は以下の分解された形式を有すると前提される。

時間の瞬間ｋにおいて、新しい走行距離測定Ｚ_(k-1)k（知られている共分散Σ_(k-1)kを有する）がステップＳ１５１で利用可能であり、推定された状態は単純に増加する、すなわちχ_k＝｛Ｔ_i(i+1)｝_{i=1,......,k-1}である。したがって、状態の事後分散は分解されたままであり、以下の形式を有する。

時間の瞬間ｋにおいて、走行距離測定Ｚ_(k-1)kを受信した後で、処理はステップＳ１５３に移動し、新しいループ閉鎖測定が利用可能である場合にそれが決定される。いかなるループ閉鎖測定も利用可能ではない場合、処理はステップＳ１５１にループして戻る。しかしながら、ループ閉鎖測定が利用可能な場合、処理はステップＳ１５５に移動する。ループ閉鎖測定が利用可能であるかそうでないかをどのように決定するかが、図５のステップＳ２０１を参照して説明される。

ステップＳ１５５において、新しいループ閉鎖測定Ｚ_lk（知られている共分散Σ_lkを有する）（ここでｌ＜ｋ）が処理される。事実、複数のループ閉鎖が利用可能である。しかしながら、この説明に関して、表記法を整理された状態に保つように、１つのみのループ閉鎖が説明される。

実際に、処理は図５を参照して説明される各ループ閉鎖に順番に適用される。

新しいループ閉鎖測定Ｚ_lkが利用可能な際、その観察から来る情報は状態の現在の推定を向上させるように用いられる。しかしながら、観察モデル式（３）はループに含まれるすべての相対的な変化の間の依存を生成し、それゆえ、事後分布はこれ以上分解されない。したがって、パラメータの数は、特に大きなスケールの問題に関して、分解されない事後分布が巨大になる（典型的にはＯ（ｋ²）またはそれ以上）ことを正確に説明することが必要になる。

一実施形態において、上記事後分布は分解された分布によって近似され、大きなスケールの問題に関してシステムがオンラインで動作することを可能にする。一実施形態において、分布のパラメータの数はＯ（ｋ）である。そのような近似は、図２と図３とを参照して考察された単一ループ分析によって正当化される。

一実施形態において、真の事後分布と「同様の」分解された分布を発見する１つの方法は、カルバック−ライブラー発散

を最小化することである。

「変分ベイズ近似」または「構成された平均場」と呼ばれる上記手法において、完全に分解された分布は前提とされず、代わりに相対的な変化が互いに独立であると前提される。

上記から続いて、χ_kに関する（１０）におけるＫＬ発散を最小化することは、下界を最大にすることに対応する。

ここで、すべてのランダムな変数の（対数）接続分布は形式

を有する。

しかしながら、リー群の曲率のために、（１２）のノルム内の項は変化において線形ではない。この場合に変分ベイズ近似を当てはめる１つの方法は、ノルムの内側の項を線形にすることである。

この点において、線形化ステップに含まれる変数を定義することが便利である。

ここで

は相対的な変化Ｔ_i(i+1)に関する（固定された）線形化点であり、ε_i(i+1)はランダムな変数である。この線形化点はかなり重要であり、その値はセクションの終わりにおいて考察される。線形化の後に、対数接続分布は

となる。

ここで

のヤコビアンは単位行列によって近似され

であり

である。

対数接続分布（１４）が与えられると、目的は今や、χ_kが線形化ステップのために

に置き換えられるときに、下限（１１）を最小化することである。ここで

である。

実際には、各変数ε_i(i+1)に関して、最良の近似分布が以下の式

によって与えられることを証明することが可能である。

ここで、

はε_i(i+1)を除くすべての変数に関する条件的な期待値を表す。したがって、以下が得られる。

ここで

であり、

である。

のである。それゆえ、各ランダム変数ε_i(i+1)（ｉ＝１．．．．．．．．ｋ−１）に関して、最良の近似分散はガウシアンの形式である。

ｉ＜ｌの場合、すなわち、相対的な変化Ｔ_i(i+1)がループ閉鎖Ｚ_lkに含まれない場合、
ループ閉鎖がそのループに含まれる相対的な変化を修正するのみであるため、

がアルゴリズムを非常に効率的にする。理論的には、｛μ_i(i+1)｝ｉ＝１．．．．．ｋ−１の値を得るように、式（１９）は収束するまでループ内に含まれる各相対的な変化に関して繰り返されることができる。しかしながら、線形化ステップ（式（１３）を参照）が（１２）を最小にするものの周囲で行われる場合、ｉ＝ｌ，．．．．．，ｋ−１に関してμ_i(i+1)＝０であることが証明可能である。

したがって、実際には、各新しいループ閉鎖測定において、ステップＳ２０３における（１２）を最小にするものを非常に効率的に見つけるように、ガウス−ニュートンアルゴリズムが適用される。そして、共分散

（式１８を参照）のみが、ステップＳ２０５においてｉ＝ｌ，．．．．．，ｋ−１に関して計算される必要がある。

最後に、各相対的な変化に関して、

がゼロ平均のガウシアンである。したがって、式（１３）から、（線形近似である限り）

は形式

のリー群（式（１）を参照）上のガウス分布であることがわかる。その結果として、新しいループ閉鎖を処理した後で、事後の分解された近似は以下の形式となる。

そして、これはステップＳ２０７により絶対的な変化の更新を可能にする。

図５においてＳ２０１はループ閉鎖測定がインライアーであるかどうか決定する決定に言及する。実際には、同一であると理解されている２つの場所が、誤ったループ閉鎖をしばしば生成する。その結果として、一実施形態において、動作の平均化を行うように、特に、誤ったループ閉鎖が非常に起こりやすい大きなスケールの問題に関して、これらの誤ったループ閉鎖測定を検出して削除するステップがある。

上記方法は事後分布の近似を継続的に維持するため、有効ゲーティングを介して誤ったループ閉鎖測定を検出することが可能である。この手法は、以下の分散

のパラメータである平均

と、共分散

とをまず計算し、そして、閾値ｔに関して受信された測定がインライアー

でありそうか否かを確認することにある。

理論的には、ｔはカイ二乗分布のｐ値に基づくべきである。

しかしながら、例を参照して説明されるように、そのような理論値は時には、特に、走行距離測定とループ閉鎖測定の共分散があまり正確ではない場合の現実のデータを処理する場合には、あまりに限定的となり、測定がすべて同一のデータセットから定義されるため、相互に独立したノイズであるとの前提に違反する可能性がある。実際には、ｔは試行錯誤によって、例えばグラウンドトゥルースのデータセットにおいてアルゴリズムを実行することによって選択されることができる。ある非限定的な例では、ｔ＝９００である。

図６は上記方法を実装するための疑似コードの例である。これは、一実施形態において、上記ステップがどのように実装可能なのかを示すように、ここで詳細に説明される。

システムは走行距離測定

のストリームを提供され、ここでＺは類似の測定であり、Σは共分散であり、ｋは測定であり、ｋは時間の瞬間ｋにおけるカメラのローカルな座標系である。システムはまた、ループ閉鎖測定

のストリームと、インライアーの存在を決定するゲーティング閾値ｔとを提供される。

ステップＳ３０１において、ｋと絶対的な変化の平均

との値が、それぞれ１と単位行列とに初期化される。そして、ステップＳ３０２において、新しい走行距離測定が処理され、ｋは１だけインクリメントする。ここで、まず、時間瞬間ｋにおける相対的な変化の平均

と共分散Ｐ_(k-1)kが、ステップＳ３０３において処理されている走行距離測定の値に初期化される。

そして、絶対的な変化の平均

が、ステップＳ３０５で処理される走行距離測定によって増加させられた絶対的な変化の最近の推定値に設定される。

ステップ３０６は処理すべき新しいループ閉鎖測定があるかどうか決定する。処理すべき新しいループ閉鎖測定がある場合、ステップＳ３０７において、上記の式２４に関連して考察された方法によってこの測定がインライアーであるかどうか決定される。閾値ｔは入力として受信される。ループ閉鎖測定がアウトライアーである（すなわち、条件が満たされない）場合、次の走行距離測定がステップＳ３０３において処理される。

次のループ閉鎖測定がインライアーであると決定された場合、上記式（１２）を最大にするものを決定するようにガウスニュートン法が用いられ、線形化ステップが実行される。これを行うように、ガウスニュートン（ＧＮ）法はステップＳ３０９からＳ３１９にかけて実装される。図６ａにおいて、ＧＮ法はステップＳ３０８として示される。完全なＧＮ法は図６ｂに示される。

ステップＳ３０９において、ループｌの開始からｋ−１までのループにおける各測定ｉに関して、各相対的な変化Ｔ_i（ｉ＋１）に関する（固定された）線形化ポイント

が、各相対的な変化、すなわち

に関する現在の推定において設定され、各相対的なエラーｒ_i（ｉ＋１）とインクリメントδ_i（ｉ＋１）とはステップＳ３０９において共にゼロに設定される。

ガウスニュートン法が収束するまで、ループエラーはステップＳ３１１において計算される。次に、ステップＳ３１３において、ｌに関する相対的なエラーがインクリメントに設定され、ヤコビアンＪ_llが単位行列に設定される。そして、ループ（ｌ＋１からｋ−１）の残りの測定のすべてに関して、相対的なエラーとヤコビアン（Ｊ_ll）とはステップＳ３１５で更新される。収束は多くの方法、例えば、固定された数の反復によって、または、反復の間で安定しているかどうか確かめるようにインクリメント、エラー、もしくはパラメータの少なくとも１つを監視することによって、決定されることができる。一実施形態では、安定性は、インクリメント、エラーの変化またはパラメータを、最小の固定値、例えば＜１０^-6と比較することによって決定される。

そして、積算されたエラーｒｌｋ，ｃｕｍと積算共分散Ｃｌｋ，ｃｕｍとは、ステップＳ３１７において、ループエラーｒｌｋの値とループ閉鎖測定の共分散の値とに初期化される。そして、ステップＳ３１９において、積算エラーと共分散とは、ループにおける各計測に関して決定されたヤコビアンから計算される。

ステップＳ３２１において、ｘはＣｌｋ，ｃｕｍ ｘ＝ｒｌｋ，ｃｕｍを解くことによって得られ、ｘはステップＳ３２３で用いられる。

ステップＳ３２３において、ループの各測定に関して、インクリメントが更新され、相対的な変化（線形化ポイント）

が更新される。

ＧＮがステップＳ３２５で収束しなかった場合、ガウスニュートン処理はステップＳ３１１から繰り返す。ＧＮが収束する場合、事後分布の変分ベイズ近似が生成され、ループにおける各相対的な変化の共分散がＳ３２７において計算される。ここで、各測定に関する相対的な変化もまた、線形化ポイントに設定される。最後に、絶対的な変化がステップＳ３２９において決定される。

ステップＳ３３１において、別の利用可能なループ閉鎖測定があるかどうか決定される。上記のように、新しい各走行距離測定に関して、１つ以上のループ閉鎖測定が利用可能である。１つ以上のループ閉鎖測定がある場合、ガウスニュートン処理Ｓ３０８が繰り返される。

ステップＳ３３３において、新しい走行距離測定が利用可能であるかどうか決定され、そうであるなら、処理はステップＳ３０３から再度繰り返す。上記方法は更新された絶対的な変化を継続的に出力する。

上記方法からみられるように、新しい各走行距離測定が受信されるにつれて絶対的な変化が更新されるため、システムはオンラインで動作することができる。ＧＮ法に注目すると、新しい各ループ閉鎖測定は相対的な変化の既存の推定を改良するように用いられる。

変分ベイズ（ＶＢ）手法は、パラメータの数がＯ（ｋ）である分解された分布を有する事後分布を近似する。この実施形態において、ＶＢは、式１１と１２とにおいて上記されたようなＫＬ分散を最小化することによって実装される。式１２を最小にするものの周囲で実行される際、線形化ステップによって導き出された場合の相対的な変化の平均はゼロになり、したがって、上記式１２を最小にするようにＧＮ法を実行することによって相対的な変化の平均を導き出す非常に効率的な方法がある。上記フレームワークと知られているリー群の特性とにおけるゼロ平均のため、分散は式２２で示されるように表現されることができる。詳細な流れ図は、この方法を実装する１つの方法を示す図６（ａ）と図６（ｂ）とを参照して説明される。

上記で説明された方法において、推定された分布のパラメータは相対的な変化の平均と共分散である。上記方法は、対角線上のブロックの数がループ閉鎖測定のために再推定されているループ内の相対的な変化の数であるブロック対角行列として、合計の共分散をモデル化する。処理されているループ閉鎖内にあるものを除いて、他のいかなる相対的な変化も更新されない。

ブロックのサイズは、ステップＳ３０１で受信されたオリジナルの走行距離測定からの共分散のサイズによって設定される。オリジナルの測定の共分散のサイズは測定の型によって設定される。典型的には、ブロックのサイズは自由度の数に対応する。例えば、カメラポーズは６の自由度を有し、共分散は６×６行列によって表されることができるが、行列のサイズをさらに圧縮することが可能であり、ホモグラフィ（ｈｏｍｏｇｒａｐｈｙ）測定は８の自由度を有し、さらに行列のサイズは縮小されることが可能である。

したがって、任意の点において再推定される必要があるパラメータの数は、ループ閉鎖測定内の相対的な変化の数によって上下し、このことは、オフラインバッチ処理のみとは対照的に、システムがリアルタイムで動作して測定を処理することを可能とする。

完全性のために、複数のループ閉鎖を有する状態を示すように、図６（ｃ）と図６（ｄ）とが用いられる。図６（ｃ）において、経路５５１は点５５３で第１のループ閉鎖を形成する。第２のループ閉鎖は点５５５で供給される。第１のループ閉鎖測定は５５３からの相対的な変化を点５５３に戻して訂正するように用いられる。第２のループ閉鎖５５５は、そして、点５５５からの相対的な変化を点５５５に戻して訂正するように用いられる。第２のループ閉鎖測定が計算される際、これらの測定は同一のループの一部を形成するものではないため、点５５３から点５５５への測定は、用いられることも更新されることもないことに留意すべきである。

図６（ｄ）において、経路５６１は２回ループして戻る。それゆえ、推定された経路上の点５６３と５６５との間の第１のループ閉鎖測定があり、点５６７と５６３との間の第２のループ閉鎖測定がある。アルゴリズムは、ループ閉鎖測定のそれぞれを順番に処理することによって、そのような状況を取り扱う。

一例において、方法は両眼の６Ｄ ＳＬＡＭ用途（リー群ＳＥ（３））に応用される。このため、方法は１つの合成的なデータシーケンス（球形）と、２つの現実のシーケンス（もともとはＫａｒｌｓｒｕｈｅ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙから得られるＫＩＴＴＩデータセットが起源（ｈｔｔｐ：／／ｗｗｗ．ｃｖｌｉｂｓ．ｎｅｔ／ｄａｔａｓｅｔｓ／ｋｉｔｔｉ／ｅｖａｌ＿ｏｄｏｍｅｔｒｙ．ｐｈｐを参照））とに適用される。ＫＩＴＴＩデータセットは生のデータを提供し、走行距離測定とループ閉鎖測定とがこれから得られる。この実験の結果は表２に与えられる。表２は、絶対的な位置に関する二乗平均平方根エラー（ＲＭＳＥ）と、Ｃ＋＋とＭａｔｌａｂとの両方においてかかる計算時間との両方を示す。

本発明の実施形態による方法は、すべての過去の測定を記憶することとは対照的に、最小の数のパラメータによって以前のデータを要約することに留意すべきである。このことは方法を高速で正確にする。

図７（ａ）から図７（ｄ）は、ＫＩＴＴＩ００データセットとＫＩＴＴＩ０７データセットとから得られた（ＳＥ（２））群上の平面視覚ＳＬＡＭ測定からの結果を示す。視覚的走行距離測定モジュールとループ閉鎖モジュールとの両方が、処理を行う走行距離測定とループ閉鎖測定を生成するように用いられた。アルゴリズムの堅牢性を検査するように、用いられたループ閉鎖モジュールは、パラメータαを用いて出力の調整を可能にする閾値を有する。α＝１の場合、信頼度が高いループ閉鎖のみが出力され、α＝０の場合、すべてのループ閉鎖がループ閉鎖モジュールから出力される。合成的に誤ったループ閉鎖もまた生成され、ループ閉鎖測定の組に加えられる。アルゴリズムの堅牢性を評価するように、実験は、異なる値αに関して、アルゴリズムを適用してループ閉鎖検出精度と再現率とを計算することに存する。ここで、精度は、真のポジティブと偽のポジティブとの合計の数分の、真のポジティブの数として定義され、再現率は、真のポジティブと偽のネガティブとの数分の、真のポジティブの数として定義される。この実験の結果は図７（ａ）から図７（ｄ）に与えられる。図７（ａ）と図７（ｂ）とにおいて、それぞれ精度と再現率とに関するデータが与えられる。データはＫＩＴＴＩ００データセットからとられる。精度と再現率の両方が完全なスコア１を有することがみられる。図７（ｃ）と図７（ｄ）とはそれぞれ精度と再現率とに関するデータを示す。データはＫＩＴＴＩ０７データセットからとられる。ここで、α＝０．１５と０．２とにおいて方法が失敗していることがみられる。ここで、不明瞭な誤ったループ閉鎖がインライアーとして認識されたために、精度と再現率との両方がゼロに下がっている。このことは、推定された軌跡の歪みにつながり、その結果として、後に続くすべてのループ閉鎖の排除につながる。

図８（ａ）と図８（ｂ）は、単眼視覚ＳＬＡＭ問題を考えることによってリー群Ｓｉｍ（３）を処理する上記手法の可能性を示すように用いられる。測定を得るように、ローカルなＳＬＡＭ手法が、小さく重なるサブマップを再構築するように、スライディングウインドウバンドル調整を実行する。ここで「サブマップ」はカメラの軌跡と小さい３Ｄポイントクラウドのフラグメントに対応する。走行距離測定は一時的な連続するサブマップの間の３Ｄ同一性を計算することによって得られる。現在のサブマップと以前のサブマップとの間のループ閉鎖を検出するように、まず位置認識アルゴリズムが用いられる。そして、過去のサブマップの各候補に関して、その３Ｄポイントの記述子と現在のサブマップの３Ｄポイントの記述子を合致させる。最後に、３Ｄ同一性が、ＲＡＮＳＡＣアルゴリズムを用いて計算される。

この用途における動作平均化アルゴリズムの目的は、すべてのサブマップを並べて、環境のグローバルなマップ、すなわち、完全なカメラの軌跡と同様にグローバルな３Ｄポイントクラウドをもたらすことである。

図８（ｂ）において、ＫＩＴＴＩデータセットの１５の連続における単眼視覚ＳＬＡＭ（リー群Ｓｉｍ（３））から得られた結果が示される。上記手法によって推定された軌跡が、Ｌｉｄａｒからの結果を示す図８（ａ）の結果に視覚的に近いことがわかる。図８（ａ）のＬｉｄａｒ測定は、ＣＯＰ−ＳＬＡＭによって推定された軌跡よりもグラウンドトゥルースであるとみなされる。

図９（ａ）と図９（ｂ）とにおいて、ＫＩＴＴＩ１３データセットからの画像が示され、図９（ａ）はＬｉｄａｒ測定を示し図９（ｂ）は上記処理を用いた結果を示す。

上記例は、ＳＬＡＭの型の問題に関するカメラの位置のトラッキングに関連する。しかしながら、次に、ビデオモザイク化において用いるための上記方法が、リー群ＳＬ（３）を用いて考察される。走行距離測定は、ビデオの一時的に連続するフレームの間のホモグラフィを計算することによって得られる。ループ閉鎖（すなわち、現在のビデオフレームが過去のビデオフレームに重なる場合）を検出するように、画像認識アルゴリズムがまず用いられ、現在のビデオフレームと回収された過去のビデオフレームとの間のホモグラフィを計算するように、ＲＡＮＳＡＣアルゴリズムが適用される。

この用途における動作平均化アルゴリズムの目的は、すべてのビデオフレームを並べて、平面のシーンを前提として、シーン全体のグローバルな（平面の）モザイクをもたらすことである。

図１０（ａ）から図１０（ｃ）までにおいて、図１０（ａ）に示されたデータセット上のビデオモザイク化（リー群ＳＬ（３））に関する結果が示される。図１０（ｂ）はグラウンドトゥルースな結果を示し、図１０（ｃ）は、ラージスケール問題を効率的に処理するように数個のパラメータを用いて事後分布が近似される、本発明の実施形態による方法を用いて得られた結果を示す。

しかしながら、図１０（ｃ）からは、手法がグラウンドトゥルースに視覚的に非常に近いモザイクを生成し、また、誤ったループ閉鎖を完全に検出することがわかる。図１０（ｂ）と図１０（ｃ）とにおいて、最上部の横列はモザイクを示す。最下部の横列は白いピクセルがインライアーであるラベリング行列を示し、黒いピクセルは利用可能でない測定に対応し、灰色のピクセルはアウトライアーに対応する。

図１１は画像分析システムの概略図である。

システム１は、入力画像を受信するプログラム５を備えるプロセッサ３を備える。記憶装置７はプログラム５によって用いられるデータを記憶する。何のデータが記憶されるかの詳細は後に説明する。

システム１はさらに、入力モジュール１１と出力モジュール１３とを備える。入力モジュール１１はカメラ出力または他の画像データストリームに接続される。入力されるデータの型は多くの形式をとってもよい。一実施形態において、データは生の画像データ、例えば２Ｄ画像データである。別の実施形態において、３Ｄポイントクラウドがシステムによって受信され、さらなる実施形態においてシステムは走行距離測定とループ閉鎖測定とを提供される。システムが走行距離測定とループ閉鎖測定とを提供されない場合、プログラムは２Ｄ画像データまたは３Ｄポイントクラウドからこれらの測定を導き出さなくてはならない。代替として、入力部は外部記憶媒体またはネットワークからデータを受信する受信機であってもよい。しかしながら、これは可能であっても、システムは第一にオンライン使用のために設計されるため、システムは画像データのリアルタイムでライブのストリームを受信することが期待される。

出力モジュール１３に接続された出力部は出力部１７である。この出力部は多くの異なった形式をとってもよい。一実施形態では、出力部はカメラの動作時の情報を出力する。例えば、図１２に示すように、システム２１は、カメラ２５から画像データを受信する移動する車両２３に提供される。カメラ２５が車両の頂部に示されるが、それは車のどこに提供されてもよい。また、例えば駐車などの補助を提供するように、複数のカメラが提供されてもよい。

上記の方法は車両の軌跡の高速な推定と、車両の３Ｄ位置と３Ｄ方向との推定とを可能にする。

画像データは単一のカメラと、単眼技法を用いて構築されたポイントクラウドとからのものであってもよい。他の実施形態において、知られている固定の関係を互いに有する２つ以上のカメラが用いられ、３Ｄポイントクラウドがステレオ技法を用いて決定される。

出力はシーンに関するカメラの移動を示す画像の形式であってもよい。他の実施形態では、出力は、上記方法で決定されたように、カメラの移動を用いて集められたカメラ出力から構成されたシーンであってもよい。さらなる実施形態において、カメラの位置は、カメラの位置に応じてどのように車両を動かすかに関する決定が行われる自律運転アルゴリズム、または、カメラの位置から決定されたシーンの再生成などの、アルゴリズムへの入力として用いられてもよい。

車が示されているが、任意の型の車両、例えば、自律式電気掃除機がこのアルゴリズムから恩恵を受けてもよい。また、ロボット工学においては、方法はロボットのアームの位置を正確に制御するように用いられてもよい。

上記方法に関するメモリ要求は相対的に少ない。方法は携帯デバイス、埋め込みデバイスなどの制限されたメモリデバイスに適用可能である。

いくつかの実施形態が説明されるが、これらの実施形態は例示としてのみ示されており、発明の範囲を限定する意図はない。実際に、本明細書に説明された新しい方法とシステムとは様々な他の形態で実施可能である。さらに、本明細書に説明された方法とシステムとの形式への様々な省略と、置換と、変更とが、発明の精神から逸脱することなく行われてもよい。添付の特許請求の範囲とそれらの同等物とは、発明の範囲と精神との中にあるものとして、そのような変形の形式を対象に入れることを意図される。

Claims (20)

1. カメラの移動を決定する方法であって、ここにおいて、前記移動は参照状態からのカメラ状態の絶対的な変化に関して表現され、前記方法は、
   前記カメラからキャプチャされたビデオ画像のストリームを受信することと、
   前記ビデオ画像から、連続的な画像または連続的な画像の組の間のカメラ状態の相対的な変化を決定する走行距離測定のストリームを生成することと、
   前記ビデオ画像から、非連続的な画像または非連続的な画像の組の間のカメラ状態の相対的な変化を決定することによってループ閉鎖測定のストリームを生成することと、
   前記走行距離測定と前記ループ閉鎖測定とにおける相対的な変化の事後分布から、カメラ状態の絶対的な変化を推定することと、を備え、ここにおいて、前記事後分布は、前記相対的な変化が互いに独立であることを前提とする分解された分布によって近似される、
   カメラの移動を決定する方法。
2. 前記ループ閉鎖測定を１つずつ処理することによって前記走行距離測定をフィルタリングするように動作する、請求項１に記載の方法。
3. 前記分解された分布が、新しいループ閉鎖測定が受信されるごとに再推定される、請求項１に記載の方法。
4. 前記分解された分布のパラメータが、各推定の後で保持される、請求項３に記載の方法。
5. 前記ループ閉鎖測定に関連するループ内に含まれる相対的な変化のみが更新される、請求項４に記載の方法。
6. 前記パラメータが、前記相対的な変化の推定された平均と共分散とである、請求項４に記載の方法。
7. 更新された分解された分布のパラメータがひとたび決定されると、生の走行距離測定とループ閉鎖測定とが保持されない、請求項４に記載の方法。
8. 実行されたループ閉鎖測定を、前記ループとゲーティング閾値とに関する分解された分布のパラメータに関する以前の値と比較することによって、前記実行されたループ閉鎖測定が有効であるかどうかを決定することをさらに備える、請求項１に記載の方法。
9. 前記カメラと固定された関係にある、少なくとも１つのさらなるカメラが提供され、ステレオ方法を用いて、前記カメラと前記少なくとも１つのさらなるカメラとから、前記走行距離測定と前記ループ閉鎖測定とが提供される、請求項１に記載の方法。
10. 前記カメラによって得られる前記ビデオ画像が、決定された３Ｄポイントクラウドと組み合わせられ、前記走行距離測定とループ閉鎖測定とが前記３Ｄポイントクラウドから決定される、請求項１に記載の方法。
11. ２Ｄ画像フレーム間で決定された２Ｄホモグラフィから、前記走行距離測定とループ閉鎖測定とが決定される、請求項１に記載の方法。
12. 同時位置決めマッピングの方法であって、前記方法は、領域内にカメラを移動することと、前記カメラから画像データを得ることと、請求項１に記載の方法を用いて前記カメラの移動を決定することとを備え、ここにおいて、前記カメラ状態はカメラポーズであり、前記方法はさらに、前記カメラからの前記画像データと前記カメラポーズとを用いて前記領域をマッピングすることをさらに備える、方法。
13. 前記カメラが、移動する物体に位置する、請求項１２に記載の方法。
14. ビデオモザイク化の方法であって、前記方法は、領域にカメラを移動することと、前記カメラから画像データを得ることと、請求項１１に記載の方法を用いて前記カメラの絶対的な変化を推定することとを備え、ここにおいて、前記領域に関する前記カメラの位置を決定するようにカメラ位置の絶対的な変化が用いられ、決定された絶対的な変化からの前記カメラの位置を用いてビデオのフレームを並べる、方法。
15. 前記分解された分布が変分ベイズ近似を用いることによって決定される、請求項１に記載の方法。
16. 前記変分ベイズ近似がカルバック・ライブラー発散を用いて決定される、請求項１５に記載の方法。
17. 前記変分ベイズ近似によって誘発されるコスト関数を最小化するようにガウスニュートンアルゴリズムが用いられる、請求項１５に記載の方法。
18. 相対的な変化推定におけるノイズが相互に独立であることが前提とされる、請求項１に記載の方法。
19. カメラの移動を決定するシステムであって、ここにおいて、前記移動は参照状態からのカメラ状態の絶対的な変化に関して表現され、前記システムは、
    カメラからキャプチャされたビデオ画像のストリームを受信し、
    前記ビデオ画像から、連続的な画像または連続的な画像の組の間のカメラ状態の相対的な変化を決定する走行距離測定のストリームを生成し、
    前記ビデオ画像から、非連続的な画像または非連続的な画像の組の間のカメラ状態の相対的な変化を決定することによってループ閉鎖測定のストリームを生成し、
    前記走行距離測定と前記ループ閉鎖測定とにおける相対的な変化の事後分布から、カメラ状態の絶対的な変化を推定し、ここにおいて、前記事後分布は、前記相対的な変化が互いに独立であることを前提とする分解された分布によって近似されるように、
    適応されたプロセッサを備える、システム。
20. プロセッサ上で実行されると前記プロセッサに請求項１に記載の方法を行わせる、実行可能な命令を保持する、非一時的なコンピュータ読み取り可能媒体。