JP2019536012A

JP2019536012A - 可変コントラスト追跡残余を用いる視覚慣性ナビゲーション

Info

Publication number: JP2019536012A
Application number: JP2019520942A
Authority: JP
Inventors: リチャードダブリュー．マディソン，
Original assignee: ザ・チャールズ・スターク・ドレイパ・ラボラトリー・インコーポレイテッド
Priority date: 2016-10-26
Filing date: 2017-10-26
Publication date: 2019-12-12
Also published as: WO2018081348A1; US20180112985A1; EP3532869A4; EP3532869A1

Abstract

視覚支援慣性ナビゲーションシステムは、走行車両のためのナビゲーション解を判定する。特徴追跡モジュールは、独特の視覚的特徴に対応する複数の隣接する画像ピクセルを備える所与のナビゲーション画像内の少なくとも１つの画像特徴パッチを検出することと、追跡残余を計算することに基づいて、複数の後続ナビゲーション画像を横断して少なくとも１つの画像特徴パッチに関する特徴軌跡を計算することと、少なくとも１つの特徴パッチの定量化可能特性の変化に伴って経時的に変動する、特徴追跡閾値基準を上回る追跡残余を有する任意の特徴軌跡を除外することとに基づいて、ナビゲーション画像のオプティカルフロー分析を実施する。多状態制約カルマンフィルタは、ナビゲーション画像および除外されない特徴軌跡を分析し、ナビゲーション画像毎に画像センサの推定される位置および配向を特徴付ける、推定される画像センサ姿勢の時系列を生産する。

Description

本出願は、２０１６年１０月２６日に出願された米国仮特許出願第６２／４１３，３８８号に対して優先権を主張する。上記文献は、その全体として参照することによって本明細書において援用される。

（連邦支援の研究または開発に関する陳述）
本発明は、米国陸軍（ＲＤＥＣＯＭ，ＡＣＣ−ＡＰＧＣＥＲＤＥＣ）によって助成された契約番号Ｗ５６ＫＧＵ−１４−Ｃ−０００３５での政府支援のもとでなされた。米国政府は、本発明に一定の権利を有する。

（技術分野）
本発明は、視覚支援慣性ナビゲーションに関する。

（背景技術）
オドメトリは、運動センサからのデータを使用して、位置の変化を経時的に推定する。例えば、車輪付きの自律的ロボットは、その車輪に結合される、回転式エンコーダを使用し、車輪の回転を測定し、初期場所から工場の床に沿って走行される距離および方向を推定してもよい。したがって、オドメトリは、開始場所に対して位置および／または配向を推定する。オドメトリシステムの出力は、ナビゲーション解と呼ばれる。

ビジュアルオドメトリは、１つ以上のカメラを使用して、一連の画像（フレーム）を捕捉し、一連の画像内の特徴の見掛け移動を追跡することによって、現在の位置および／または配向を前の位置および／または配向から推定する。追跡され得る、画像特徴は、特徴がナビゲーション基準フレームに対して固定されたままであると仮定され得、または、基準フレーム内の特徴の運動がモデル化され得る限り、かつ特徴の視覚的属性が画像が捕捉される時間にわたって一定のままであると仮定され得、または、視覚的属性の時間的変化がモデル化され得る限り、明度または色等のいくつかの視覚的属性によって、その個別のローカル背景から区別可能な画像内の点、線、または他の形状を含む。ビジュアルオドメトリは、使用される移動様式のタイプにかかわらず、使用可能である。例えば、ビジュアルオドメトリは、走行される距離を直接に記録することができる、車輪または他のセンサがない航空機によっても使用可能である。ビジュアルオドメトリに関するさらなる背景情報は、ＧｉｏｒｇｉｏＧｒｉｓｅｔｔｉ，ｅｔａｌ．，“ＡＴｕｔｏｒｉａｌｏｎＧｒａｐｈ−ＢａｓｅｄＳＬＡＭ，”ＩＥＥＥＩｎｔｅｌｌｉｇｅｎｔＴｒａｎｓｐｏｒｔａｔｉｏｎＳｙｓｔｅｍｓＭａｇａｚｉｎｅ，Ｖｏｌ．２，Ｉｓｓｕｅ４，ｐｐ．３１−４３，１／３１／２０１１において利用可能であり、その文献の全内容は、ここで参照することによって本明細書において援用される。

視覚支援慣性ナビゲーションシステムは、ビジュアルオドメトリの使用を慣性測定と組み合わせ、推定されるナビゲーション解を取得する。例えば、１つのアプローチは、多状態制約カルマンフィルタとして知られるものを使用する。Ｍｏｕｒｉｋｉｓ，ＡｎａｓｔａｓｉｏｓＩ．，ａｎｄＳｔｅｒｇｉｏｓＩ．Ｒｏｕｍｅｌｉｏｔｉｓ．“Ａｍｕｌｔｉ−ｓｔａｔｅｃｏｎｓｔｒａｉｎｔＫａｌｍａｎｆｉｌｔｅｒｆｏｒｖｉｓｉｏｎ−ａｉｄｅｄｉｎｅｒｔｉａｌｎａｖｉｇａｔｉｏｎ．”ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＲｏｂｏｔｉｃｓａｎｄＡｕｔｏｍａｔｉｏｎ．ＩＥＥＥ，２００７を参照されたい。上記文献は、参照することによってその全体として本明細書において援用される。

（要約）
本発明の実施形態は、走行車両のためのナビゲーション解を判定するためのコンピュータ実装視覚支援慣性ナビゲーションシステムを対象とする。画像センサは、ナビゲーション画像の時系列を生産するために構成される。慣性測定ユニット（ＩＭＵ）は、慣性ナビゲーション情報の時系列を生成するように構成される。データ記憶メモリは、画像センサおよび慣性測定センサに結合され、ナビゲーションソフトウェア、ナビゲーション画像、慣性ナビゲーション情報、および他のシステム情報を記憶するために構成される。少なくとも１つのハードウェアプロセッサを含むナビゲーションプロセッサは、データ記憶メモリに結合され、ナビゲーションソフトウェアを実行するように構成される。ナビゲーションソフトウェアは、ａ．独特の視覚的特徴に対応する複数の隣接する画像ピクセルを備える所与のナビゲーション画像内の少なくとも１つの画像特徴パッチを検出することと、ｂ．追跡残余を計算することに基づいて複数の後続ナビゲーション画像を横断して少なくとも１つの画像特徴パッチに関する特徴軌跡を計算することと、ｃ．少なくとも１つの特徴パッチの定量化可能特性の変化に伴って経時的に変動する、特徴追跡閾値基準を上回る追跡残余を有する任意の特徴軌跡を除外することとに基づいて、ナビゲーション画像のオプティカルフロー分析を実施するように構成される、特徴追跡モジュールを含む、種々のソフトウェアモジュールを実装するためのプロセッサ可読命令を含む。多状態制約カルマンフィルタ（ＭＳＣＫＦ）は、特徴追跡モジュールに結合され、除外されない特徴軌跡およびＩＭＵからの慣性ナビゲーション情報の両方を分析するように構成される。ストラップダウン慣性積分器は、慣性ナビゲーション情報を分析し、走行車両の変化する場所を表す、推定される慣性ナビゲーション解の時系列を生産するように構成される。ナビゲーション解モジュールは、画像センサ姿勢および推定される慣性ナビゲーション解を分析し、走行車両の変化する場所を表す、システムナビゲーション解出力の時系列を生産するように構成される。

さらに具体的実施形態では、少なくとも１つの特徴パッチの定量化可能特性は、少なくとも１つの特徴パッチ内の画像ピクセルに関するピクセルコントラストを含む。特徴追跡閾値基準は、スカラー量×定量化可能特性の時間ベースの導関数の積を含んでもよい。例えば、時間ベースの導関数は、一次平均導関数であってもよい。または、特徴追跡閾値基準は、スカラー量×定量化可能特性の時間ベースの分散の積を含んでもよい。または、特徴追跡閾値基準は、画像雑音および特徴コントラストオフセットのうちの少なくとも１つを考慮した第２のスカラー量との線形結合での、第１のスカラー量×定量化可能特性の時間ベースの分散の積を含んでもよい。

図１は、本発明のある実施形態による、視覚支援慣性ナビゲーションシステム内の種々の機能ブロックを示す。図２は、ナビゲーション画像の時系列の姿勢グラフ表現の実施例を示す。

（詳細な説明）
視覚支援慣性ナビゲーションシステムにおけるようなビジュアルオドメトリは、例えば、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムを使用したオプティカルフローの分析を伴う。オプティカルフローは、観察者（カメラ等）と場面との間の相対的運動によって生じる視覚的場面内のオブジェクト、表面、および縁の見掛け運動のパターンである。これは、２次元ベクトルフィールドを伴い、各ベクトルは、第１のフレームから第２のフレームへの点の移動を示す、変位ベクトルである。オプティカルフロー分析は、典型的には、オブジェクトのピクセル強度が連続フレーム間で変化せず、かつ近隣ピクセルが類似運動を有すると仮定する。本発明の実施形態は、多状態制約カルマンフィルタ（ＭＳＣＫＦ）配列に実装されるようにＬｕｃａｓ−Ｋａｎａｄｅオプティカルフロー方法を修正する。

図１は、本発明のある実施形態による、視覚支援慣性ナビゲーションシステム内の種々の機能ブロックを示す。単眼カメラ等の画像センサ１０１が、ナビゲーション画像の時系列を生産するために構成される。画像センサ１０１の他の非限定的具体的実施例は、高分解能前方視赤外線（ＦＬＩＲ）画像センサ、デュアルモードレーザ、電荷結合素子（ＣＣＤ−ＴＶ）可視スペクトルテレビカメラ、レーザスポットトラッカ、およびレーザマーカを含む。典型的用途におけるビデオカメラ等の画像センサ１０１は、走行車両に対して動的に照準化可能であり、目的地（または標的）に関して空または地上を走査し、次いで、車両が操縦される間、目的地を視野内に維持し得る。カメラ等の画像センサ１０１は、光学軸を有し得、それに沿って、ナビゲーション画像が視野内の場面を表す。光学軸が画像センサ１０１から延在する方向は、画像センサの体勢に依存し、これは、例えば、３つの相互に直交する軸（ｘ、ｙ、およびｚ）を中心とした画像センサ１０１の回転として測定され得る。用語「センサ姿勢」または「カメラ姿勢」は、グローバルフレーム内の画像センサ１０１の位置および体勢を意味する。したがって、車両が空間内で走行するにつれて、画像センサ姿勢は、変化し、その結果、画像センサの体勢が一定のままである場合でも、画像センサ１０１によって捕捉された画像も変化する。

データ記憶メモリ１０３は、ナビゲーションソフトウェア、ナビゲーション画像、慣性ナビゲーション情報、および他のシステム情報を記憶するために構成される。ナビゲーションプロセッサ１００は、データ記憶メモリ１０３に結合された少なくとも１つのハードウェアプロセッサを含み、ナビゲーションソフトウェアを実行して種々のシステムコンポーネントを実装するように構成される。これは、可変コントラスト特徴追跡を伴う、多状態制約カルマンフィルタ（ＭＳＣＫＦ）を使用して、ナビゲーション画像のオプティカルフロー分析を実施することと、慣性ナビゲーション情報を分析することと、走行車両の変化する場所を表す、システムナビゲーション解出力の時系列を生産することとを含み、その全ては、下記により詳細に議論される。

画像センサ１０１からのナビゲーション画像から開始して、第１のナビゲーション画像内のピクセルは、座標Ｉ（ｘ，ｙ，ｔ）によって定義され、これは、ある時間ｄｔ後に撮影された次のナビゲーション画像内では、距離（ｄｘ，ｄｙ）分を移動している。したがって、それらのピクセルは、同一であるため、その強度が変化しないと仮定すると、Ｉ（ｘ，ｙ，ｔ）＝Ｉ（ｘ＋ｄｘ，ｙ＋ｄｙ，ｔ＋ｄｔ）となる。右側のテイラー級数近似を求め、共通項を除去し、ｄｔ：ｆ_ｘｕ＋ｆ_ｙｖ＋ｆ_ｔ＝０で除算すると、以下となる。
これは、オプティカルフロー方程式として知られる。画像勾配ｆ_ｘおよびｆ_ｙが、見出され得、ｆ_ｔは、時間に沿った勾配である。しかし、（ｕ，ｖ）は、未知であり、２つの未知の変数を伴う、本１つの方程式は、可解ではない。

Ｌｕｃａｓ−Ｋａｎａｄｅ法は、画像特徴内の全ての近隣ピクセルが類似運動を有するであろうという仮定に基づく。したがって、３×３画像特徴パッチが、画像内の所与の点の周囲で得られると、パッチ内の９つの点は全て、同一運動を有するであろう。これらの９つの点（ｆｘ，ｆｙ，ｆｔ）に関する座標は、２つの未知の変数を伴う９つの方程式を解法することによって見出され得る。これは、優決定系であり、より便宜的解が、例えば、以下の最小２乗適合法を介して、求められ得る。
Ｌｕｃａｓ−Ｋａｎａｄｅオプティカルフローの１つの具体的実装は、ＯｐｅｎＣＶにおいて記載される。
（ｄｏｃｓ．ｏｐｅｎｃｖ．ｏｒｇ／３．２．０／ｄ７／ｄ８ｂ／ｔｕｔｏｒｉａｌ＿ｐｙ＿ｌｕｃａｓ＿ｋａｎａｄｅ．ｈｔｍｌ（参照することによってその全体として本明細書に組み込まれる）参照）。

ＯｐｅｎＣＶバージョンのＬｕｃａｓＫａｎａｄｅ特徴トラッカは、ユーザ規定閾値を超えるその追跡残余によって失敗と見なされる任意の軌跡を排除することができる。これは、可視光画像上では良好に機能すると考えられる。しかしながら、長波長赤外線（ＬＷＩＲ）画像では、最も有用な特徴は、連続画像間のわずかかつ不可避な不整合さえ高残余を生産するほど非常に高コントラストを有する一方、あまり有用ではない低コントラスト特徴間の合致失敗は、低残余を生産する。したがって、ＬＷＩＲ画像では、高残余は、不良軌跡を確実に示すものではなく、不良軌跡を検出するように閾値を超え得ない。

本発明の実施形態は、修正されたＬｕｃａｓＫａｎａｄｅ特徴トラッカを実装し、ナビゲーション画像のオプティカルフロー分析を実施するように構成される、特徴追跡検出器１０６を含む。より具体的には、画像特徴パッチは、強度、色、およびテクスチャに起因して、その中間囲繞物に一意の画像パターンである。特徴追跡検出器１０６は、各ナビゲーション画像内の全ての点特徴を検索する。ブロブおよび角（２つ以上の縁の交差点）等の点特徴は、特に、それらがナビゲーション画像内に正確に位置し得るため、有用である。点特徴検出器は、Ｈａｒｒｉｓ、Ｓｈｉ−Ｔｏｍａｓｉ、Ｍｏｒａｖｅｃ、およびＦＡＳＴ検出器等の角検出器と、ＳＩＦＴ、ＳＵＲＦ、およびＣＥＮＳＵＲＥ検出器等のブロブ検出器とを含む。特徴追跡検出器１０６は、特徴応答関数をナビゲーション画像全体に適用する。使用される関数の具体的タイプは、特徴検出器を区別する、１つの要素である（すなわち、Ｈａｒｒｉｓ検出器は、角応答関数を使用する一方、ＳＩＦＴ検出器は、ガウシアンの差分検出器を使用する）。特徴追跡検出器１０６は、次いで、特徴応答関数の全ての極小値または最大値を識別する。これらの点は、検出された特徴である。特徴追跡検出器１０６は、他のナビゲーション画像からも記述子に合致され得るように、記述子を各特徴を囲繞する領域、例えば、ピクセル強度に割り当てる。

特徴追跡検出器１０６は、独特の視覚的特徴に対応する、複数の隣接する画像ピクセルを含む、所与のナビゲーション画像内の少なくとも１つの画像特徴パッチを検出する。ナビゲーション画像間の特徴を合致させるために、特徴追跡検出器１０６は、具体的には、いくつかの種類の類似性測定値（すなわち、差分２乗和または正規化された相互相関）を使用して、１つの画像からの全ての特徴記述子と第２の画像からの全ての特徴記述子を比較してもよい。画像記述子のタイプは、類似性測定値の選択に影響を及ぼす。特徴合致のための別のオプションは、１つの画像内の全ての特徴を検索し、次いで、他の画像内のそれらの特徴を検索することである。本「検出後追跡」方法は、フレーム間の運動および外観の変化が小さいとき、好ましくあり得る。単一特徴に対応する全ての合致のセットは、画像特徴パッチ（特徴軌跡とも称される）と呼ばれるものである。特徴追跡検出器１０６は、追跡残余を計算することに基づいて、後続ナビゲーション画像を横断して画像特徴パッチに関する特徴軌跡を計算し、少なくとも１つの特徴パッチの定量化可能特性の変化に伴って経時的に変動する、特徴追跡閾値基準を上回る追跡残余を有する任意の特徴軌跡を除外する。

多状態制約カルマンフィルタ（ＭＳＣＫＦ）１０４は、ナビゲーション画像および除外されない特徴軌跡を分析し、ナビゲーション画像毎に画像センサの推定される位置および配向を特徴付ける、推定される画像センサ姿勢の時系列を生産するように構成される。ＭＳＣＫＦ１０４は、同時に、少なくとも３つの直近のナビゲーション画像のスライディングウィンドウに関して画像センサ姿勢を推定するように構成される。各新しい画像は、ウィンドウに進入し、ある時間にわたってそこに留まり、最終的に、より新しい画像のための空間を空けるために押し出される。

慣性測定ユニット（ＩＭＵ）１０２（例えば、１つ以上の加速度計、ジャイロスコープ等）は、慣性ナビゲーション情報の時系列を生成するように構成される、センサである。ストラップダウン積分器１０７は、慣性センサ１０２からの慣性ナビゲーション情報を分析し、走行車両の変化する場所を表す、推定される慣性ナビゲーション解の時系列を生産するように構成される。より具体的には、ＩＭＵ１０２は、具体的力、角度率、ある場合には、走行車両を囲繞する磁場を測定および報告する。ＩＭＵ１０２は、加速度計信号に基づいて、車両の本加速と、１つ以上のジャイロスコープ信号に基づいて、ピッチ、ロール、およびヨー等の回転属性の変化とを検出する。ストラップダウン積分器１０７からの推定される慣性ナビゲーション解は、前のまたは初期位置および体勢に対して車両の位置および体勢の定期的推定値を表し、これは、デッドレコニングとして知られるプロセスである。

ナビゲーション解モジュール１０５は、画像センサ姿勢および推定される慣性ナビゲーション解を分析し、走行車両の変化する場所を表す、システムナビゲーション解出力の時系列を生産するように構成される。より具体的には、ナビゲーション解モジュール１０５は、姿勢グラフソルバとして、図２に示されるような姿勢グラフ形態におけるシステムナビゲーション解出力を生産するように構成されてもよい。各ノードは、ナビゲーション画像を捕捉した画像センサ姿勢（位置および配向）を表す。対のノードは、接続される対のノード間の空間制約、例えば、ノード間の画像センサ１０１の変位および回転を表す、縁によって接続される。本空間制約は、６自由度（６ＤｏＦ）変換と称される。

ナビゲーション解モジュール１０５内に実装される姿勢グラフソルバは、ＧｅｏｒｇｉａＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｙにおいて開発されたＢＳＤライセンス付与Ｃ＋＋ライブラリである、ＧＴＳＡＭツールボックス（ＧｅｏｒｇｉａＴｅｃｈＳｍｏｏｔｈｉｎｇａｎｄＭａｐｐｉｎｇ）を含んでもよい。ＭＳＣＫＦ１０４が、各ナビゲーション画像を終了して、その最良かつ最終画像センサ姿勢を報告するにつれて、ナビゲーション解モジュール１０５は、最良かつ最終姿勢を含有する姿勢グラフノードを作成し、２つのノードにおける姿勢間の変換を含有するリンクによって、新しいかつ前のノードに接続する。

本発明のいくつかの実施形態は、カメラに加え、付加的または異なるセンサを含む。これらのセンサは、ＭＳＣＫＦ推定を強化するために使用されてもよい。随意に、または代替として、これらのセンサは、第６の自由度に関するスケールの欠如を補償するために使用されてもよい。例えば、いくつかの実施形態は、センサモダリティをＣＥＲＤＥＣのＧＰＳ非対応ナビゲーションセンサ種および／または歩数計に追加するために、速度計を含み、独立した視覚的慣性および歩数計測フィルタの出力を組み合わせるのではなく、歩数計測、視覚、およびストラップダウンナビゲーションを緊密に結合することから、ナビゲーション正確度改良の評価を可能にする。

実施形態の側面は、各ブロックの全部または一部もしくはブロックの組み合わせのフローチャートおよび／またはブロック図、機能、動作、決定等を参照して説明され得るが、組み合わせられる、別個の動作に分離される、または他の順序で実施されてもよい。各ブロックの全部または一部もしくはブロックの組み合わせは、コンピュータプログラム命令（ソフトウェア等）、ハードウェア（組み合わせ論理、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他のハードウェア等）、ファームウェア、またはそれらの組み合わせとして実装されてもよい。実施形態は、メモリ内に記憶される命令を実行する、またはそれによって制御される、プロセッサによって実装されてもよい。メモリは、制御ソフトウェアまたは他の命令およびデータを記憶するために好適なランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、フラッシュメモリ、または任意の他のメモリ、もしくはそれらの組み合わせであってもよい。本発明の機能を定義する命令は限定ではないが、有形非書込可能記憶媒体（例えば、ＲＯＭ等のコンピュータ内の読取専用メモリデバイス、またはＣＤ−ＲＯＭまたはＤＶＤディスク等のコンピュータＩ／Ｏアタッチメントによって読取可能なデバイス）上に恒久的に記憶される情報、有形書込可能記憶媒体（例えば、フロッピーディスク、リムーバブルフラッシュメモリ、およびハードドライブ）上に改変可能に記憶される情報、または有線または無線コンピュータネットワークを含む通信媒体を通してコンピュータに伝達される情報を含む、多くの形態において、プロセッサに送達されてもよい。

具体的パラメータ値が、本発明の範囲内において開示される実施形態に関連して列挙され得るが、パラメータの全ての値は、異なる用途に好適な広範囲にわたって変動し得る。文脈において別様に示されない限り、または当業者によって理解されるであろうように、「約」等の用語は、±２０％以内を意味する。

請求項を含む、本明細書で使用されるように、アイテムのリストと併用される、用語「および／または」は、リスト内のアイテムのうちの１つ以上、すなわち、リスト内のアイテムのうちの少なくとも１つであり、必ずしも、リスト内の全てのアイテムを意味しない。請求項を含む、本明細書で使用されるように、アイテムのリストと併用される、用語「または」は、リスト内のアイテムのうちの１つ以上、すなわち、リスト内のアイテムのうちの少なくとも１つであり、必ずしも、リスト内の全てのアイテムを意味しない。「または」は、「排他的または」を意味しない。

本発明は、上記に説明される例示的実施形態を通して説明されるが、図示される実施形態の修正および変形例が、本明細書に開示される本発明の概念から逸脱することなく行われてもよい。さらに、開示される側面またはその一部は、上記に列挙されていない、および／または明示的に請求されていない、方法において組み合わせられてもよい。本明細書に開示される実施形態は、本明細書に具体的に開示されない任意の要素が不在の状態で好適に実践されてもよい。故に、本発明は、開示される実施形態に限定されると見なされるべきではない。

Claims

走行車両のためのナビゲーション解を判定するためのコンピュータ実装視覚支援慣性ナビゲーションシステムであって、前記システムは、
ナビゲーション画像の時系列を生産するために構成された画像センサと、
慣性ナビゲーション情報の時系列を生成するように構成された慣性測定ユニット（ＩＭＵ）センサと、
前記画像センサおよび前記慣性測定センサに結合され、ナビゲーションソフトウェア、前記ナビゲーション画像、前記慣性ナビゲーション情報、および他のシステム情報を記憶するために構成されている、データ記憶メモリと、
前記データ記憶メモリに結合された少なくとも１つのハードウェアプロセッサを含み、前記ナビゲーションソフトウェアを実行するように構成されている、ナビゲーションプロセッサであって、前記ナビゲーションソフトウェアは、
特徴追跡モジュールであって、前記特徴追跡モジュールは、
ａ．独特の視覚的特徴に対応する複数の隣接する画像ピクセルを備える所与のナビゲーション画像内の少なくとも１つの画像特徴パッチを検出することと、
ｂ．追跡残余を計算することに基づいて、複数の後続ナビゲーション画像を横断して前記少なくとも１つの画像特徴パッチに関する特徴軌跡を計算することと、
ｃ．前記少なくとも１つの特徴パッチの定量化可能特性の変化に伴って経時的に変動する、特徴追跡閾値基準を上回る追跡残余を有する任意の特徴軌跡を除外することと
に基づいて、前記ナビゲーション画像のオプティカルフロー分析を実施するように構成されている、特徴追跡モジュールと、
前記特徴追跡モジュールに結合され、前記ナビゲーション画像および前記除外されない特徴軌跡を分析し、ナビゲーション画像毎に前記画像センサの推定される位置および配向を特徴付ける、推定される画像センサ姿勢の時系列を生産するように構成されている、多状態制約カルマンフィルタ（ＭＳＣＫＦ）と、
前記ＩＭＵからの前記慣性ナビゲーション情報を統合し、前記走行車両の変化する場所を表す、推定される慣性ナビゲーション解の時系列を生産するように構成されている、ストラップダウン積分器と、
前記画像センサ姿勢および前記推定される慣性ナビゲーション解を分析し、前記走行車両の変化する場所を表す、システムナビゲーション解出力の時系列を生産するように構成されている、ナビゲーション解モジュールと
を実装するためのプロセッサ可読命令を含む、ナビゲーションプロセッサと
を備える、システム。
前記少なくとも１つの特徴パッチの前記定量化可能特性は、前記少なくとも１つの特徴パッチ内の画像ピクセルに関するピクセルコントラストを含む、請求項１に記載のシステム。
前記特徴追跡閾値基準は、スカラー量×前記定量化可能特性の時間ベースの導関数の積を含む、請求項１に記載のシステム。
前記時間ベースの導関数は、一次平均導関数である、請求項３に記載のシステム。
前記特徴追跡閾値基準は、スカラー量×前記定量化可能特性の時間ベースの分散の積を含む、請求項１に記載のシステム。
前記特徴追跡閾値基準は、画像雑音および特徴コントラストオフセットのうちの少なくとも１つを考慮した第２のスカラー量との線形結合での、第１のスカラー量×前記定量化可能特性の時間ベースの分散の積を含む、請求項１に記載のシステム。
走行車両のためのナビゲーション解を判定するために視覚支援ナビゲーションを実施するための、少なくとも１つのハードウェア実装コンピュータプロセッサを採用するコンピュータ実装方法であって、前記方法は、
ナビゲーション画像の時系列を画像センサから生産することと、
慣性ナビゲーション情報の時系列を慣性測定センサから生成することと、
前記少なくとも１つのハードウェアプロセッサを動作させ、
ａ）独特の視覚的特徴に対応する複数の隣接する画像ピクセルを備える所与のナビゲーション画像内の少なくとも１つの画像特徴パッチを検出することと、
ｂ）追跡残余を計算することに基づいて、複数の後続ナビゲーション画像を横断して前記少なくとも１つの画像特徴パッチに関する特徴軌跡を計算することと、
ｃ）前記少なくとも１つの特徴パッチの定量化可能特性の変化に伴って経時的に変動する、特徴追跡閾値基準を上回る追跡残余を有する任意の特徴軌跡を除外することと
に基づいて、前記ナビゲーション画像のオプティカルフロー分析を実施することと、
多状態制約カルマンフィルタ（ＭＳＣＫＦ）を用いて前記ナビゲーション画像および前記除外されない特徴軌跡を分析し、ナビゲーション画像毎に前記画像センサの推定される位置および配向を特徴付ける、推定される画像センサ姿勢の時系列を生産することと、
前記慣性ナビゲーション情報を分析し、前記走行車両の変化する場所を表す、推定される慣性ナビゲーション解の時系列を生産することと、
前記画像センサ姿勢および前記推定される慣性ナビゲーション解を分析し、前記走行車両の変化する場所を表す、システムナビゲーション解出力の時系列を生産することと
を行うためのナビゲーションソフトウェアプログラム命令を実行することと
を含む、方法。
前記少なくとも１つの特徴パッチ内の前記定量化可能特性は、前記少なくとも１つの特徴パッチ内の画像ピクセルに関するピクセルコントラストを含む、請求項７に記載の方法。
前記特徴追跡閾値基準は、スカラー量×前記定量化可能特性の時間ベースの導関数の積を含む、請求項７に記載の方法。
前記時間ベースの導関数は、一次平均導関数である、請求項９に記載の方法。
前記特徴追跡閾値基準は、スカラー量×前記定量化可能特性の時間ベースの分散の積を含む、請求項７に記載の方法。
前記特徴追跡閾値基準は、画像雑音および特徴コントラストオフセットのうちの少なくとも１つを考慮した第２のスカラー量との線形結合での、第１のスカラー量×前記定量化可能特性の時間ベースの分散の積を含む、請求項７に記載の方法。