JPWO2018235219A1 - 自己位置推定方法、自己位置推定装置および自己位置推定プログラム - Google Patents

Abstract

自己位置推定装置２０は、撮像装置２１が搭載された自己位置推定装置であって、撮像装置２１から取得された動画像から自己位置推定装置２０の自己位置の推定に利用される動画像中の領域である特徴点が撮影された画像である特徴点画像の候補を所定の方法で抽出する抽出部２２と、抽出された特徴点画像の候補を用いて自己位置を推定する推定部２３とを備える。

Description

本発明は、自己位置推定方法、自己位置推定装置および自己位置推定プログラムに関し、特にカメラで撮影された映像が用いられる自己位置推定方法、自己位置推定装置および自己位置推定プログラムに関する。

画像情報に基づいた撮像装置の位置および姿勢の計測は、拡張現実感(AR:Augmented Reality)または複合現実感(MR:Mixed Reality)における現実空間と仮想物体との位置合わせ、ロボットや自動車の自己位置推定、物体やシーンの三次元モデリング等に利用される。

非特許文献１には、シーン中の特徴点の情報を三次元マップとして保持し、画像中に検出される特徴点と三次元マップ中の特徴点との対応を基に撮像装置の位置および姿勢を推定する方法が記載されている。

非特許文献１に記載されている方法は、前フレームにおいて計測された撮像装置の位置および姿勢を、現フレームにおける撮像装置の位置および姿勢の計測に利用する。

例えば、非特許文献１に記載されている方法は、前フレームにおいて計測された撮像装置の位置および姿勢と動きモデルとに基づいて、現フレームにおける撮像装置の位置および姿勢を予測する。非特許文献１に記載されている方法は、予測された撮像装置の位置および姿勢を、三次元マップ中の特徴点と画像中の特徴点との対応付けに利用する。

また、非特許文献１に記載されている方法は、予測された撮像装置の位置および姿勢を、現フレームにおける撮像装置の位置および姿勢を求めるために繰り返し実行される計算処理の初期値として利用する。

フレーム間で撮像装置の動きが大きい場合や画像において検出される特徴点の数が少ない場合、非特許文献１に記載されている方法による撮像装置の位置および姿勢の計測は失敗する可能性がある。

計測を失敗させないためには、繰り返し実行される計算処理に使われる特徴点として自己位置推定に適した画像を用いることが重要である。例えば、画像中の移動しない特徴点を自己位置推定の過程で求める方法や、画像中の移動する特徴点を排除することによって適切な特徴点を取得する方法がある。

上記の観点を踏まえて、例えば特許文献１には、ロボットが望ましくない事象（例えば、偶発的な衝突）に遭遇したとき、危険の前のデータ瞬間が学習アルゴリズムに識別されるように、特別な「危険」タグがデータセットに挿入される可動式ロボットシステムが記載されている。

また、特許文献２には、自己位置推定に失敗した場合を考慮して、キーフレームに姿勢検出器が適用された結果と現在のビューとが比較される自己位置再推定方法が記載されている。

特許文献２に記載されている自己位置再推定方法には、現在のフレームおよび以前のフレームに対して機械学習分類器等による形状推定のプロセスや、意味的画像ラベル付けのプロセスが適用される等の特徴が見受けられる。

また、特許文献３には、検知されたシーンから抽出された特徴点のセットが以前に検知および保存された経験のうち任意の１つの経験中で認識される場合、認識された経験に基づいて現時点での車両の位置を評価するセンサ位置推定方法が記載されている。

上記の各自己位置推定技術が適用された装置の例を以下に示す。図６は、一般的な自己位置推定システムの構成例を示すブロック図である。図６に示すように、自己位置推定システム９０には、カメラ２００と、自己位置推定装置９００とが含まれている。

また、図６に示すように、自己位置推定装置９００は、信号処理部１９０を含む。また、カメラ２００は、自己位置推定装置９００と通信可能に接続されている。カメラ２００と自己位置推定装置９００との接続は、有線接続でもよいし、無線接続でもよい。カメラ２００で撮影された映像データは、自己位置推定装置９００に送信される。

図７は、一般的な自己位置推定システムの他の構成例を示すブロック図である。図７に示す自己位置推定システム９１は、移動体の軌跡のみを求める場合等、取得された映像データが即時に処理されなくてもよい場合に使用される。

図７に示すように、自己位置推定装置９００は、カメラ２００の代わりに記録媒体２１０と通信可能に接続されている。図７に示す例では、自己位置推定装置９００に記録媒体２１０に保存されている映像データがカメラ２００で撮影された映像データの代わりに送信される。

図６および図７に示すように、カメラ２００で撮影された映像データ、または記録媒体２１０に保存されている映像データが自己位置推定装置９００に送信され、信号処理部１９０で処理される。

次に、信号処理部１９０の構成を図８を参照して説明する。図８は、一般的な信号処理部の構成例を示すブロック図である。図８に示す信号処理部１９０は、画像取得部１９１と、特徴点追跡部１９３と、位置・姿勢推定部１９４と、地図生成部１９５と、最小化部１９６とを有する。

自己位置推定装置９００に送信された映像データは、信号処理部１９０の画像取得部１９１に入力される。画像取得部１９１に入力された映像データは、全て特徴点追跡部１９３に入力される。

次いで、特徴点追跡部１９３は、入力された映像データに対して、特徴点の移動量を取得する処理を行う。次いで、位置・姿勢推定部１９４は、取得された特徴点の移動量を用いてカメラ位置およびカメラ姿勢を推定する。

次いで、地図生成部１９５は、特徴点の三次元位置を推定し、環境の地図を局所的に生成する。次いで、最小化部１９６は、画像全体が用いられた再投影誤差を最小にすることによって、局所的に生成された環境の地図と全体像との整合をとる。最小化部１９６が整合をとることによって、映像データに基づいた自己位置が推定される。

地図生成部１９５は局所的に環境の地図を生成するため、生成された環境の地図が全体像にそのまま適用されると歪みが生じる場合がある。最小化部１９６は、生成される環境の地図が俯瞰されても歪みが生じないように全体像との整合をとっている。

特許第５６２９３９０号公報 特許第５８８１７４３号公報 特表２０１５−５０８１６３号公報 特開２０１０−１５２７８７号公報 特開２０１６−１５７１９７号公報 特開２０１７−０２１４２７号公報

G.Klein and D.Murray, "Parallel Tracking and Mapping for Small AR Workspaces," Proc.6th IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR’07), 2007.

特許文献１に記載されている可動式ロボットシステムは、取得された画像を基に、過去に計測された情報を参照して危険を予測する。また、特許文献２に記載されている自己位置再推定方法は、取得された画像を基に、過去に計測された情報を参照して推定の失敗から復帰する。また、特許文献３に記載されているセンサ位置推定方法は、取得された画像を基に、過去に計測された情報を参照して自己位置推定評価等を行う。

すなわち、上記の各自己位置推定技術では、参照される特徴点の種類やパターンが膨大であり、参照処理に多くの時間を要する。さらに、上記の各自己位置推定技術では、参照に適した特徴点の抽出処理にも多くのコストを要する。従って、上記の各自己位置推定技術が用いられて即時に自己位置が推定される場合、参照処理が短時間で実行されないという問題がある。

特許文献４〜特許文献６には、参照される特徴点を限定する技術が記載されている。特許文献４には、所定の環境内を自律移動しながら計測した計測点の計測値に基づいて現在位置と計測点の位置を推定し、環境の地図を生成する処理をコンピュータに実行させる環境地図生成プログラムが記載されている。特許文献４に記載されている環境地図生成プログラムは、コンピュータに、運動計測点であると判定された計測点に対応する位置情報を記憶手段から削除させる。

また、特許文献５には、自己位置の推定に用いる初期の環境の地図を生成して精度良く自己位置を推定できる自己位置推定装置が記載されている。特許文献５に記載されている自己位置推定装置は、画像入力部から入力された時系列画像から物体の特徴点を抽出して、画像入力部から特徴点までの距離を算出する距離算出部と、特徴点が移動物体であると判定した場合、特徴点に対応する物体を時系列画像から除去する移動物体除去部とを備える。

また、特許文献６には、自己位置推定精度を向上させる自己位置推定装置が記載されている。特許文献６に記載されている自己位置推定装置は、画像取得手段により取得された画像から実特徴点を抽出する特徴点抽出手段と、特徴点抽出手段により抽出された実特徴点の中から動的物体の動的特徴点を除去する特徴点除去手段とを備える。

上記のように、参照および抽出される特徴点を限定する技術は、既に提供されている。しかし、自己位置推定がより高速に実行されるためには、推定に使用される映像データ自体の量を減らすことが効果的であると考えられる。

［発明の目的］
そこで、本発明は、上述した課題を解決する、より高速に自己位置を推定できる自己位置推定方法、自己位置推定装置および自己位置推定プログラムを提供することを目的とする。

本発明による自己位置推定方法は、撮像装置が搭載された自己位置推定装置において実行される自己位置推定方法であって、撮像装置から取得された動画像から自己位置推定装置の自己位置の推定に利用される動画像中の領域である特徴点が撮影された画像である特徴点画像の候補を所定の方法で抽出し、抽出された特徴点画像の候補を用いて自己位置を推定することを特徴とする。

本発明による自己位置推定装置は、撮像装置が搭載された自己位置推定装置であって、撮像装置から取得された動画像から自己位置推定装置の自己位置の推定に利用される動画像中の領域である特徴点が撮影された画像である特徴点画像の候補を所定の方法で抽出する抽出部と、抽出された特徴点画像の候補を用いて自己位置を推定する推定部とを備えることを特徴とする。

本発明による自己位置推定プログラムは、撮像装置が搭載されたコンピュータにおいて実行される自己位置推定プログラムであって、コンピュータに、撮像装置から取得された動画像からコンピュータの自己位置の推定に利用される動画像中の領域である特徴点が撮影された画像である特徴点画像の候補を所定の方法で抽出する抽出処理、および抽出された特徴点画像の候補を用いて自己位置を推定する推定処理を実行させることを特徴とする。

本発明によれば、より高速に自己位置を推定できる。

本発明による自己位置推定システムの第１の実施形態の構成例を示すブロック図である。 本発明による自己位置推定システムの第１の実施形態の他の構成例を示すブロック図である。 第１の実施形態の信号処理部１１０の構成例を示すブロック図である。 第１の実施形態の自己位置推定装置１００による自己位置推定処理の動作を示すフローチャートである。 本発明による自己位置推定装置の概要を示すブロック図である。 一般的な自己位置推定システムの構成例を示すブロック図である。 一般的な自己位置推定システムの他の構成例を示すブロック図である。 一般的な信号処理部の構成例を示すブロック図である。

［第１の実施の形態］
［構造の説明］
以下、本発明の実施形態を、図面を参照して説明する。図１は、本発明による自己位置推定システムの第１の実施形態の構成例を示すブロック図である。また、図２は、本発明による自己位置推定システムの第１の実施形態の他の構成例を示すブロック図である。

本実施形態の自己位置推定システムは、参照されるキーフレームの選択に使用される映像選択方法を提供する。本実施形態の自己位置推定システムは、参照に適した特徴点が撮影された画像をカメラで撮影された映像データから効率的に抽出し、抽出された画像中の特徴点同士を比較する。参照に適した特徴点が撮影された画像を抽出することによって、本実施形態の自己位置推定システムは、自己位置推定の高速化を実現する。

図１に示すように、本実施形態の自己位置推定システム１０には、自己位置推定装置１００と、カメラ２００とが含まれている。本実施形態の自己位置推定システム１０の構成は、自己位置推定装置１００を除いて図６に示す自己位置推定システム９０の構成と同様である。

また、図２に示すように、本実施形態の自己位置推定システム１１には、自己位置推定装置１００と、記録媒体２１０とが含まれている。本実施形態の自己位置推定システム１１の構成は、自己位置推定装置１００を除いて図７に示す自己位置推定システム９１の構成と同様である。

図１および図２に示す自己位置推定装置１００は、図６および図７に示す自己位置推定装置９００と異なり、信号処理部１９０の代わりに信号処理部１１０を含む。以下、信号処理部１１０の構成を図３を参照して説明する。

図３は、第１の実施形態の信号処理部１１０の構成例を示すブロック図である。図３に示す信号処理部１１０は、画像取得部１１１と、フィルタリング部１１２と、特徴点追跡部１１３と、位置・姿勢推定部１１４と、地図生成部１１５と、最小化部１１６と、学習部１１７とを有する。

本実施形態の信号処理部１１０の構成は、フィルタリング部１１２および学習部１１７を除いて図８に示す信号処理部１９０の構成と同様である。また、画像取得部１１１、特徴点追跡部１１３、位置・姿勢推定部１１４、地図生成部１１５、および最小化部１１６がそれぞれ有する機能は、画像取得部１９１、特徴点追跡部１９３、位置・姿勢推定部１９４、地図生成部１９５、および最小化部１９６がそれぞれ有する機能と同様である。

フィルタリング部１１２は、画像取得部１１１から入力された映像データから、特徴点として使用される可能性がある領域が撮影された画像を抽出する機能を有する。以下、特徴点が撮影された画像を特徴点画像という。すなわち、フィルタリング部１１２は、特徴点画像の候補を抽出する。

フィルタリング部１１２が抽出した特徴点画像の候補は、自己位置推定処理に用いられる。しかし、本実施形態ではフィルタリング部１１２が抽出した画像の候補が毎回特徴点画像として採用されるとは限られない。抽出される画像の候補と参照点（特徴点）との間に所定の閾値以上の差が生じた場合、参照点として適切な領域が新たな参照点として登録される。

本実施形態の信号処理部１１０では、取得される画像が毎回、特徴点画像に採用された画像と、特徴点画像に採用されなかった画像とに振り分けられる。本実施形態の最小化部１１６は、上記のように振り分けられた二種類の画像を学習部１１７に入力する。

学習部１１７は、特徴点画像に採用された画像の特徴量、および特徴点画像に採用されなかった画像の特徴量を、学習処理を実行することによってそれぞれ取得する機能を有する。

学習部１１７は、学習処理で得られた特徴量を、フィルタリング部１１２に入力する。フィルタリング部１１２は、入力された特徴量を用いて特徴点画像の候補を抽出する。すなわち、本実施形態の信号処理部１１０では、特徴点画像の候補として抽出される画像が学習処理で選択される。

学習部１１７は、特徴点画像の特徴量を、自己位置推定処理で特徴点画像に用いられた画像を基に学習する。また、学習部１１７は、特徴点画像に適さない画像の特徴量を、自己位置推定処理で特徴点画像に用いられなかった画像を基に学習する。フィルタリング部１１２は、学習された特徴量を用いて、特徴点画像に適さない画像を自己位置推定処理における参照画像から排除してもよい。

なお、フィルタリング部１１２には、参照点（特徴点）として有用な領域が撮影された画像の特徴のモデルが選択基準として予め入力されてもよい。フィルタリング部１１２は、入力された選択基準を用いて特徴点画像の候補を抽出してもよい。

以上のように、本実施形態の自己位置推定装置１００は、選択基準の設定等により自己位置の推定に要する適切な特徴点が撮影された画像を予めパターン化する。

一般的な自己位置推定技術では取得される画像が全て参照されるため、抽出される特徴点の種類やパターンが膨大になる。すなわち、参照処理の実行に多くの時間を要するため、高速に自己位置が推定される場合に参照処理が短時間で終了しないという問題がある。

適切な特徴点が撮影された画像のパターンが予め把握されると、取得される全ての画像が参照されるために抽出される特徴点の種類やパターンが膨大になる場合と比べて参照される画像が限定されるため、計算時間および計算コストが低減される。すなわち、本実施形態の自己位置推定装置１００が使用されると、自己位置推定に掛かる計算時間が短縮されるため、より高速に自己位置推定や環境マッピングが実行される。

また、本実施形態の自己位置推定装置１００は、適切な参照点（特徴点）が撮影された画像を選択するため、参照画像の不安定さを排除できる。すなわち、本実施形態の自己位置推定装置１００が使用されると、自己位置の推定精度がより高められる。

［動作の説明］
以下、本実施形態の自己位置推定装置１００が自己位置を推定する動作を図４を参照して説明する。図４は、第１の実施形態の自己位置推定装置１００による自己位置推定処理の動作を示すフローチャートである。

最初に、自己位置推定装置１００に送信された映像データが、信号処理部１１０の画像取得部１１１に入力される（ステップS101）。画像取得部１１１は、入力された映像データをフィルタリング部１１２に入力する。

次いで、フィルタリング部１１２は、入力された映像データから、特徴点画像の候補を抽出する（ステップS102）。フィルタリング部１１２は、抽出された特徴点画像の候補を特徴点追跡部１１３に入力する。

次いで、特徴点追跡部１１３は、入力された特徴点画像の候補を基に特徴点の移動量を取得する（ステップS103）。特徴点追跡部１１３は、取得された特徴点の移動量を位置・姿勢推定部１１４に入力する。

なお、入力された特徴点画像の候補に撮影された特徴点が適切でないと判断した場合、特徴点追跡部１１３は、別の画像を基に特徴点の移動量を取得してもよい。

次いで、位置・姿勢推定部１１４は、入力された特徴点の移動量を用いてカメラ位置およびカメラ姿勢を推定する（ステップS104）。位置・姿勢推定部１１４は、推定されたカメラ位置およびカメラ姿勢を地図生成部１１５に入力する。

次いで、地図生成部１１５は、入力されたカメラ位置およびカメラ姿勢を基に特徴点の三次元位置を推定し、環境の地図を局所的に生成する（ステップS105）。地図生成部１１５は、生成された環境の地図を最小化部１１６に入力する。

次いで、最小化部１１６は、画像全体が用いられた再投影誤差を最小にすることによって、局所的に生成された環境の地図と全体像との整合をとる（ステップS106）。また、最小化部１１６は、特徴点画像として採用された画像と、特徴点画像として採用されなかった画像とを学習部１１７に入力する。

次いで、学習部１１７は、入力された画像に基づいて学習処理を行うことによって、特徴点画像として採用された画像の特徴量、および特徴点画像として採用されなかった画像の特徴量をそれぞれ取得する（ステップS107）。

次いで、学習部１１７は、取得された特徴量をフィルタリング部１１２に入力する（ステップS108）。入力した後、自己位置推定装置１００は、自己位置推定処理を終了する。なお、本実施形態の自己位置推定装置１００は、図４に示す自己位置推定処理を繰り返し実行してもよい。

[効果の説明]
本実施形態の自己位置推定装置１００は、カメラで撮影された自己位置推定に利用される映像から、特徴点として使用される可能性がある領域が撮影された画像を選択し、選択された画像を抽出する。

自己位置推定装置１００の学習部１１７は、自己位置推定に利用される映像（環境）を基に特徴点または線特徴として使用される可能性がある領域が撮影された画像の特徴量を学習処理で取得する。フィルタリング部１１２は、取得された画像の特徴量を用いて、自然の特徴が撮影された映像からも安定した特徴点または線特徴を選択し、選択された特徴点または線特徴を参照点にすることができる。

取得される画像が全て使用されるために参照される特徴点の種類やパターンが膨大になる一般的な自己位置推定装置に対して、本実施形態の自己位置推定装置１００は、映像内容から参照点として適切な特徴点を選択し、選択された特徴点を抽出できる。

本実施形態の自己位置推定装置１００が使用されると、映像内の全ての特徴点が検討されずに済む。すなわち、特徴点画像として適切な画像のみが着目されるため、自己位置推定に掛かる計算時間および計算コストが低減される。

例えば、インフラストラクチャ点検やプラント点検等において自己位置が複数の画像に渡って類似性の高い構造物を基に推定される場合、参照画像として適切な画像の特徴と、参照画像として不適切な画像の特徴は、明確に分離される。

例えば、参照画像として適切な画像の特徴は、高速道路の橋脚等の不変な参照対象が撮影されていることである。また、例えば、参照画像として不適切な画像の特徴は、路上に駐車されている車等の移動する可能性がある参照対象が撮影されていることである。

本実施形態のフィルタリング部１１２は、不変な参照対象が撮影されている、参照画像として利用されやすい映像情報を選択して利用する。すなわち、本実施形態の自己位置推定装置１００は、画像中の特徴点の抽出に掛かる計算コストを低減できる。本実施形態の自己位置推定装置１００が使用されると、自己位置推定に掛かる計算時間が短縮されるため、より高速に自己位置推定や環境マッピングが実行される。

また、本実施形態の自己位置推定装置１００は、適切な参照点が撮影された画像を選択するため、参照画像の不安定さを排除できる。すなわち、本実施形態の自己位置推定装置１００が使用されると、自己位置の推定精度がより高められる。

本実施形態の自己位置推定装置１００は、一般的な自己位置推定方式に比べて、自己位置推定に掛かる計算時間を短縮できるため、より高速に自己位置を推定できる。また、本実施形態の自己位置推定装置１００は、適切な参照点が撮影された画像を選択するため、参照画像の不安定さを排除できる。すなわち、自己位置推定装置１００は、自己位置の推定精度をより高めることもできる。

なお、本実施形態の自己位置推定装置１００は、例えば、非一時的な記憶媒体に格納されているプログラムに従って処理を実行するCPU(Central Processing Unit)によって実現されてもよい。すなわち、画像取得部１１１、フィルタリング部１１２、特徴点追跡部１１３、位置・姿勢推定部１１４、地図生成部１１５、最小化部１１６、および学習部１１７は、例えば、プログラム制御に従って処理を実行するCPU によって実現されてもよい。

また、本実施形態の自己位置推定装置１００における各部は、ハードウェア回路によって実現されてもよい。一例として、画像取得部１１１、フィルタリング部１１２、特徴点追跡部１１３、位置・姿勢推定部１１４、地図生成部１１５、最小化部１１６、および学習部１１７が、それぞれLSI(Large Scale Integration)で実現される。また、それらが１つのLSI で実現されていてもよい。

次に、本発明の概要を説明する。図５は、本発明による自己位置推定装置の概要を示すブロック図である。本発明による自己位置推定装置２０は、撮像装置２１（例えば、カメラ２００）が搭載された自己位置推定装置であって、撮像装置２１から取得された動画像から自己位置推定装置２０の自己位置の推定に利用される動画像中の領域である特徴点が撮影された画像である特徴点画像の候補を所定の方法で抽出する抽出部２２（例えば、フィルタリング部１１２）と、抽出された特徴点画像の候補を用いて自己位置を推定する推定部２３（例えば、特徴点追跡部１１３、位置・姿勢推定部１１４、地図生成部１１５、最小化部１１６）とを備える。

そのような構成により、自己位置推定装置は、より高速に自己位置を推定できる。

また、自己位置推定装置２０は、学習処理を実行して特徴点画像の候補の抽出に使用される画像の情報を取得する取得部（例えば、学習部１１７）を備え、抽出部２２は、取得された画像の情報を使用して特徴点画像の候補を抽出してもよい。

そのような構成により、自己位置推定装置は、学習処理で学習された画像を特徴点画像の候補として抽出できる。

また、取得部は、特徴点画像の候補のうち特徴点画像として自己位置の推定に用いられた画像に基づいて学習処理を実行してもよい。

そのような構成により、自己位置推定装置は、特徴点画像の特徴量を学習できる。

また、取得部は、特徴点画像の候補のうち特徴点画像として自己位置の推定に用いられた画像以外の画像に基づいて学習処理を実行し、抽出部２２は、学習処理で取得された画像の情報が示す領域を撮像装置２１から取得された動画像から排除した上で特徴点画像の候補を抽出してもよい。

そのような構成により、自己位置推定装置は、より高速に自己位置を推定できる。

また、抽出部２２は、特徴点として使用可能な領域のモデルを用いて特徴点画像の候補を抽出してもよい。

そのような構成により、自己位置推定装置は、利用者が予め指定した内容が反映された特徴点画像の候補を抽出できる。

また、自己位置推定装置２０は、撮像装置２１から取得された動画像を記憶する記憶部（例えば、記録媒体２１０）を備え、抽出部２２は、記憶部に記憶されている動画像から特徴点画像の候補を抽出してもよい。

そのような構成により、自己位置推定装置は、撮影されてから所定の時間が経過した動画像を基に過去の自己位置を推定できる。

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

産業上の利用の可能性

本発明は、無人飛行ロボットに代表されるロボットが自ら空間を把握し、危険を即座に察知および回避する用途に好適に適用される。本発明は、人が立ち入ることが困難な場所または危険な場所、および人手で対処し切れない広大な範囲において、ロボットが自律してタスクを実行する際に好適に適用される。

特に、本発明は、経年劣化するインフラストラクチャやプラントのロボットによる自律点検等に産業上有効に適用される。本発明が適用されると、自律点検に掛かる人手、コスト、および時間が削減される可能性がある。

１０、１１、９０、９１ 自己位置推定システム
２０、１００、９００ 自己位置推定装置
２１ 撮像装置
２２ 抽出部
２３ 推定部
１１０、１９０ 信号処理部
１１１、１９１ 画像取得部
１１２ フィルタリング部
１１３、１９３ 特徴点追跡部
１１４、１９４ 位置・姿勢推定部
１１５、１９５ 地図生成部
１１６、１９６ 最小化部
１１７ 学習部
２００ カメラ
２１０ 記録媒体

Claims (10)

1. 撮像装置が搭載された自己位置推定装置において実行される自己位置推定方法であって、
   前記撮像装置から取得された動画像から前記自己位置推定装置の自己位置の推定に利用される前記動画像中の領域である特徴点が撮影された画像である特徴点画像の候補を所定の方法で抽出し、
   抽出された特徴点画像の候補を用いて前記自己位置を推定する
   ことを特徴とする自己位置推定方法。
2. 学習処理を実行して特徴点画像の候補の抽出に使用される画像の情報を取得し、
   取得された画像の情報を使用して特徴点画像の候補を抽出する
   請求項１記載の自己位置推定方法。
3. 特徴点画像の候補のうち特徴点画像として自己位置の推定に用いられた画像に基づいて学習処理を実行する
   請求項２記載の自己位置推定方法。
4. 特徴点画像の候補のうち特徴点画像として自己位置の推定に用いられた画像以外の画像に基づいて学習処理を実行し、
   前記学習処理で取得された画像の情報が示す領域を撮像装置から取得された動画像から排除した上で特徴点画像の候補を抽出する
   請求項２または請求項３記載の自己位置推定方法。
5. 特徴点として使用可能な領域のモデルを用いて特徴点画像の候補を抽出する
   請求項１記載の自己位置推定方法。
6. 撮像装置から取得された動画像を記憶し、
   記憶されている動画像から特徴点画像の候補を抽出する
   請求項１から請求項５のうちのいずれか１項に記載の自己位置推定方法。
7. 撮像装置が搭載された自己位置推定装置であって、
   前記撮像装置から取得された動画像から前記自己位置推定装置の自己位置の推定に利用される前記動画像中の領域である特徴点が撮影された画像である特徴点画像の候補を所定の方法で抽出する抽出部と、
   抽出された特徴点画像の候補を用いて前記自己位置を推定する推定部とを備える
   ことを特徴とする自己位置推定装置。
8. 学習処理を実行して特徴点画像の候補の抽出に使用される画像の情報を取得する取得部を備え、
   抽出部は、取得された画像の情報を使用して特徴点画像の候補を抽出する
   請求項７記載の自己位置推定装置。
9. 撮像装置が搭載されたコンピュータにおいて実行される自己位置推定プログラムであって、
   前記コンピュータに、
   前記撮像装置から取得された動画像から前記コンピュータの自己位置の推定に利用される前記動画像中の領域である特徴点が撮影された画像である特徴点画像の候補を所定の方法で抽出する抽出処理、および
   抽出された特徴点画像の候補を用いて前記自己位置を推定する推定処理
   を実行させるための自己位置推定プログラム。
10. コンピュータに、
    学習処理を実行して特徴点画像の候補の抽出に使用される画像の情報を取得する取得処理を実行させ、
    抽出処理で、取得された画像の情報を使用して特徴点画像の候補を抽出させる
    請求項９記載の自己位置推定プログラム。

Images