JP7221897B2 - 推定装置、移動体、推定方法及びプログラム - Google Patents

推定装置、移動体、推定方法及びプログラム Download PDF

Info

Publication number
JP7221897B2
JP7221897B2 JP2020035838A JP2020035838A JP7221897B2 JP 7221897 B2 JP7221897 B2 JP 7221897B2 JP 2020035838 A JP2020035838 A JP 2020035838A JP 2020035838 A JP2020035838 A JP 2020035838A JP 7221897 B2 JP7221897 B2 JP 7221897B2
Authority
JP
Japan
Prior art keywords
query
image
imaging condition
feature amount
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020035838A
Other languages
English (en)
Other versions
JP2021140317A (ja
Inventor
諒 中島
晃仁 関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2020035838A priority Critical patent/JP7221897B2/ja
Priority to US17/000,605 priority patent/US11775577B2/en
Publication of JP2021140317A publication Critical patent/JP2021140317A/ja
Application granted granted Critical
Publication of JP7221897B2 publication Critical patent/JP7221897B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明の実施形態は推定装置、移動体、推定方法及びプログラムに関する。
ある環境において撮影された画像（以降ではクエリ画像と呼ぶ）の撮影位置（自己位置）を、あらかじめ構築した環境を撮影した画像のデータベースを利用して推定する自己位置推定技術が従来から知られている。例えば、撮影位置が既知である画像のデータベースから、クエリ画像と類似した画像を検索し、検索された画像（以降では参照画像と呼ぶ）の撮影位置をクエリ画像の自己位置とする技術が存在する。また、クエリ画像と参照画像との間で画素単位での対応を求め、得られた対応関係を基に幾何学的な計算を行うことで撮影位置を高い精度で推定する技術が存在する。
特許第６３４３６７０号公報
Ｌｅｐｅｔｉｔ， Ｖ．；Ｍｏｒｅｎｏ－Ｎｏｇｕｅｒ，Ｍ．；Ｆｕａ， Ｐ．（２００９）．"ＥＰｎＰ：Ａｎ Ａｃｃｕｒａｔｅ Ｏ（ｎ） Ｓｏｌｕｔｉｏｎ ｔｏ ｔｈｅ ＰｎＰ Ｐｒｏｂｌｅｍ"． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ．８１ （２）：１５５－１６６．
しかしながら、従来の技術では、外乱要因が多岐にわたる場合に自己位置推定の精度を高めることが難しいという課題があった。
実施形態の推定装置は、クエリ画像取得部とクエリ撮像条件取得部と参照画像取得部と参照撮像条件取得部と特徴量算出部と自己位置算出部とを備える。クエリ画像取得部は、第１の撮像装置により撮像された画像をクエリ画像として取得する。クエリ撮像条件取得部は、前記クエリ画像の撮像条件を示すクエリ撮像条件を取得する。参照画像取得部は、少なくとも１つの参照画像を取得する。参照撮像条件取得部は、前記参照画像の撮像条件を示す参照撮像条件を取得する。特徴量算出部は、前記参照撮像条件に基づいて、前記クエリ画像から前記クエリ画像の特徴量を示すクエリ特徴量を算出し、前記クエリ撮像条件に基づいて、前記参照画像から前記参照画像の特徴量を示す参照特徴量を算出する。自己位置算出部は、前記クエリ特徴量と前記参照特徴量とに基づいて、前記クエリ画像に前記参照画像を対応付け、前記クエリ画像に対応付けられた参照画像を撮像した第２の撮像装置の位置及び姿勢を利用して、前記第１の撮像装置の位置及び姿勢の少なくとも一方を示す自己位置を算出する。
第１実施形態の移動体の例を示す図。 第１実施形態の移動体の機能構成の例を示す図。 第１実施形態の推定方法の例を示すフローチャート。 第１実施形態のクエリ画像取得部及びクエリ撮像条件取得部の動作例を説明するための図。 第１実施形態の参照画像に関する情報を記憶するＤＢの例を説明するための図。 第１実施形態の特徴量算出部の動作例を説明するための図。 第１実施形態の自己位置算出部の動作例を示すフローチャート。 第１実施形態の第１の大域的類似度の算出処理の例を示す図。 第１実施形態の局所的類似度の算出処理の例を示す図。 第１実施形態の幾何学的拘束条件を利用した自己位置の算出処理の例を示す図。 第２実施形態の処理部の機能構成の例を示す図。 第２実施形態の推定方法の例を示すフローチャート。 第２実施形態の第２の大域的類似度の算出処理の例を示す図。 第１及び第２実施形態の推定装置のハードウェア構成の例を示す図。
以下に添付図面を参照して、推定装置、移動体、推定方法及びプログラムの実施形態を詳細に説明する。
（第１実施形態）
一般に画像の見た目は撮像条件によって変化する。例えば、屋外で画像を撮影した場合には、季節・日照・天候・降水・降雪などにより画像の見た目が変化する。屋内で画像を撮影した場合にも、外光の状態や、照明の点灯状態などによって、画像の見た目が変化する。なお、これらの見た目の変化は、明るさの変化にとどまるものではない。例えば、屋外では季節によって植物の葉の茂り具合や色合い、降雪の有無などが変化する。屋内においても、照明条件によって物体の影の形状や濃さが変化する。自己位置推定においては、クエリ画像の撮像条件と参照画像の撮像条件とが異なる場合には、同一の地物であっても画像上での見た目が異なってしまう。
季節・日照・天候の変動など外乱要因が多岐にわたる場合には、外乱要因に影響されない特徴点は少なくなる。このような状況において、従来の技術では、自己位置推定に利用できる特徴点が少数に限られてしまう。そのため、自己位置推定の精度を高めることができないという課題があった。
第１実施形態では、上述の課題を解決する推定装置が移動体に搭載される場合について説明する。
［移動体の例］
図１は第１実施形態の移動体１０の例を示す図である。
移動体１０は、推定装置２０、出力部１０Ａ、カメラ１０Ｂ、センサ１０Ｃ、動力制御部１０Ｇ及び動力部１０Ｈを備える。
移動体１０は任意でよい。移動体１０は、例えば車両、台車及び移動ロボット等である。車両は、例えば自動二輪車、自動四輪車及び自転車等である。また、移動体１０は、例えば人による運転操作を介して走行する移動体でもよいし、人による運転操作を介さずに自動的に走行（自律走行）可能な移動体でもよい。また、移動体１０は、車両に限られず、移動体１０自身が移動したり、人またはロボット等により持ち運びされたりすることが可能であれば、どのような装置であってもよい。例えば、移動体１０は、船舶であってもよいし、ドローン等の飛行物体であってもよい。
推定装置２０は、例えば専用又は汎用のコンピュータハードウェアにより実現される。推定装置２０は、カメラ１０Ｂ（移動体１０）の位置及び姿勢の少なくとも一方を示す自己位置を推定する。
なお、推定装置２０は、移動体１０に搭載された形態に限定されない。推定装置２０は、静止物に搭載されていてもよい。静止物は、例えば地面に固定された物等の移動不可能な物である。地面に固定された静止物は、例えばガードレール、ポール、駐車車両及び道路標識等である。また例えば、静止物は、地面に対して静止した状態の物である。また、推定装置２０は、クラウドシステム上で処理を実行するクラウドサーバに搭載されていてもよい。
動力部１０Ｈは、移動体１０に搭載された駆動デバイスである。動力部１０Ｈは、例えば、エンジン、モータ及び車輪等である。
動力制御部１０Ｇは、動力部１０Ｈを制御する。動力制御部１０Ｇの制御によって動力部１０Ｈが駆動する。
出力部１０Ａは情報を出力する。第１実施形態では、出力部１０Ａは、例えば推定装置２０により推定された自己位置を示す推定結果情報を出力する。
出力部１０Ａは、例えば、推定結果情報を送信する通信機能、推定結果情報を表示する表示機能、及び、推定結果情報を示す音を出力する音出力機能等を備える。出力部１０Ａは、例えば通信部１０Ｄ、ディスプレイ１０Ｅ及びスピーカ１０Ｆの少なくとも１つを備える。なお、第１実施形態では、出力部１０Ａは、通信部１０Ｄ、ディスプレイ１０Ｅ及びスピーカ１０Ｆを備えた構成を例にして説明する。
通信部１０Ｄは、推定結果情報を他の装置へ送信する。例えば、通信部１０Ｄは、通信回線を介して推定結果情報を他の装置へ送信する。ディスプレイ１０Ｅは、推定結果に関する情報を表示する。ディスプレイ１０Ｅは、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、投影装置及びライト等である。スピーカ１０Ｆは、推定結果に関する情報を示す音を出力する。
第１実施形態では、カメラ１０Ｂは単眼カメラである。なおカメラ１０Ｂの数は任意でよい。カメラ１０Ｂ、例えばステレオカメラ、デプスカメラ、全方位カメラ、魚眼カメラ及び赤外線カメラ等でもよい。また、撮像される画像はＲＧＢの３チャネルで構成されたカラー画像であってもよく、グレースケールで表現された１チャネルのモノクロ画像であってもよい。カメラ１０Ｂは、移動体１０周辺の時系列の画像を撮像する。カメラ１０Ｂは、例えば移動体１０の周辺を時系列に撮像することにより、時系列の画像を撮像する。移動体１０の周辺は、例えば当該移動体１０から予め定められた範囲内の領域である。この範囲は、例えばカメラ１０Ｂの撮像可能な範囲である。
第１実施形態では、カメラ１０Ｂが、移動体１０の前方を撮影方向として含むように設置されている場合を例にして説明する。すなわち、第１実施形態では、カメラ１０Ｂは、移動体１０の前方を時系列に撮像する。
センサ１０Ｃは、測定情報を測定するセンサである。測定情報は、例えば移動体１０の速度、並びに、移動体１０のハンドルの舵角を含む。センサ１０Ｃは、例えば慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）、速度センサ及び舵角センサ等である。ＩＭＵは、移動体１０の三軸加速度及び三軸角速度を含む測定情報を測定する。速度センサは、タイヤの回転量から速度を測定する。舵角センサは、移動体１０のハンドルの舵角を測定する。
次に、第１実施形態の移動体１０の機能構成の例について詳細に説明する。
［機能構成の例］
図２は第１実施形態の移動体１０の機能構成の例を示す図である。
移動体１０は、推定装置２０、出力部１０Ａ、カメラ１０Ｂ、センサ１０Ｃ、動力制御部１０Ｇ及び動力部１０Ｈを備える。推定装置２０は、処理部２０Ａ及び記憶部２０Ｂを備える。出力部１０Ａは、通信部１０Ｄ、ディスプレイ１０Ｅ及びスピーカ１０Ｆを備える。
処理部２０Ａ、記憶部２０Ｂ、出力部１０Ａ、カメラ１０Ｂ、センサ１０Ｃ及び動力制御部１０Ｇは、バス１０Ｉを介して接続されている。動力部１０Ｈは、動力制御部１０Ｇに接続されている。
なお、出力部１０Ａ（通信部１０Ｄ、ディスプレイ１０Ｅ及びスピーカ１０Ｆ）、カメラ１０Ｂ、センサ１０Ｃ、動力制御部１０Ｇ及び記憶部２０Ｂは、ネットワークを介して接続されていてもよい。接続に使用されるネットワークの通信方式は、有線方式であっても無線方式であってもよい。また、接続に使用されるネットワークは、有線方式と無線方式とを組み合わせることにより実現されていてもよい。
記憶部２０Ｂは情報を記憶する。記憶部２０Ｂは、例えば半導体メモリ素子、ハードディスク及び光ディスク等である。半導体メモリ素子は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びフラッシュメモリ等である。なお、記憶部２０Ｂは、推定装置２０の外部に設けられた記憶装置であってもよい。また、記憶部２０Ｂは、記憶媒体であってもよい。具体的には、記憶媒体は、プログラムや各種情報を、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどを介してダウンロードして記憶または一時記憶したものであってもよい。また、記憶部２０Ｂを、複数の記憶媒体から構成してもよい。
処理部２０Ａは、クエリ画像取得部２１、クエリ撮像条件取得部２２、参照画像取得部２３、参照撮像条件取得部２４、特徴量算出部２５、及び、自己位置算出部２６を備える。クエリ画像取得部２１、クエリ撮像条件取得部２２、参照画像取得部２３、参照撮像条件取得部２４、特徴量算出部２５、及び、自己位置算出部２６は、例えば１又は複数のプロセッサにより実現される。
処理部２０Ａは、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現されてもよい。また例えば、処理部２０Ａは、専用のＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のプロセッサ、すなわちハードウェアにより実現されてもよい。また例えば、処理部２０Ａは、ソフトウェア及びハードウェアを併用することにより実現されてもよい。
なお、実施形態において用いられる「プロセッサ」の文言は、例えば、ＣＰＵ、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、及び、プログラマブル論理デバイスを含む。プログラマブル論理デバイスは、例えば単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及び、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）等を含む。
プロセッサは、記憶部２０Ｂに保存されたプログラムを読み出し実行することで、処理部２０Ａを実現する。なお、記憶部２０Ｂにプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成してもよい。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで、処理部２０Ａを実現する。
次に、処理部２０Ａの各機能について説明する。
クエリ画像取得部２１は、カメラ１０Ｂ（第１の撮像装置）によって撮像されたクエリ画像を取得する。
クエリ撮像条件取得部２２は、クエリ画像の撮像条件を示すクエリ撮像条件を取得する。クエリ撮像条件は、例えば撮像時の緯度、経度、日付、時刻、降水量及び降雪量の少なくとも１つを含む。
参照画像取得部２３は、記憶部２０Ｂ等の記憶装置から、少なくとも１つの参照画像を取得する。参照画像は、カメラ１０Ｂによって撮像される風景等の被写体を含む画像である。また、参照画像は、当該参照画像を撮像したカメラ（第２の撮像装置）の位置及び姿勢が既知である画像である。参照画像を撮像したカメラの位置及び姿勢は、例えば当該参照画像に関連付けられて記憶部２０Ｂに記憶されている。なお、参照画像を撮像したカメラと、クエリ画像を撮像したカメラ１０Ｂとは同じでもよいし、異なっていてもよい。
参照撮像条件取得部２４、参照画像の撮像条件を示す参照撮像条件を取得する。参照撮像条件の説明は、クエリ撮像条件と同様なので省略する。
特徴量算出部２５は、参照撮像条件に基づいて、クエリ画像からクエリ画像の特徴量を示すクエリ特徴量を算出し、クエリ撮像条件に基づいて、参照画像から参照画像の特徴量を示す参照特徴量を算出する。
自己位置算出部２６は、クエリ特徴量と参照特徴量とに基づいて、クエリ画像に参照画像を対応付け、クエリ画像に対応付けられた参照画像を撮像した第２の撮像装置の位置及び姿勢を利用して、カメラ１０Ｂの位置及び姿勢の少なくとも一方を示す自己位置を算出する。
［推定方法の例］
図３は第１実施形態の推定方法の例を示すフローチャートである。はじめに、各ステップの処理の概要について説明する。
まず、クエリ画像取得部２１が、移動体１０に搭載されたカメラ１０Ｂから、クエリ画像を取得し、クエリ撮像条件取得部２２が、クエリ撮像条件を取得する（ステップＳ１０１）。
次に、参照画像取得部２３が、記憶部２０Ｂ等の記憶装置から、少なくとも１つの参照画像を取得し、参照撮像条件取得部２４が、参照撮像条件を取得する（ステップＳ１０２）。
次に、特徴量算出部２５が、参照撮像条件に基づいて、クエリ画像からクエリ画像の特徴量を示すクエリ特徴量を算出し、クエリ撮像条件に基づいて、参照画像から参照画像の特徴量を示す参照特徴量を算出する（ステップＳ１０３）。
次に、自己位置算出部２６が、クエリ特徴量と参照特徴量とを利用してクエリ画像と参照画像との類似度を算出し、算出された類似度を利用して、クエリ画像を撮影したカメラ１０Ｂの位置及び姿勢の少なくとも一方を示す自己位置を算出する（ステップＳ１０４）。
次に、図３の各ステップの処理の詳細について説明する。
＜ステップＳ１０１＞
図４は第１実施形態のクエリ画像取得部２１及びクエリ撮像条件取得部２２の動作例を説明するための図である。クエリ画像取得部２１は、移動体１０に設置されたカメラ１０１Ｂからクエリ画像１０１を取得する。カメラ１０Ｂは、移動体１０における固定された位置から、固定された姿勢で、移動体１０の周囲を撮像する。なお、カメラ１０Ｂは、移動体１０との相対的な姿勢が測定できれば、固定された姿勢でなくてもよい。
クエリ撮像条件取得部２２は、クエリ画像１０１の撮像条件を示すクエリ撮像条件１０３を取得する。
クエリ撮像条件１０３は、クエリ画像１０１に対して学習器１０２を適用した際の学習器１０２の出力、若しくは学習器１０２の内部状態をクエリ撮像条件１０３として利用してもよい。学習器１０２としては、ニューラルネットワークやランダムフォレストを用いることができる。学習器１０２が用いられる場合、入力されたクエリ画像１０１のみを利用して、クエリ撮像条件１０３を取得することが可能になる。なお、参照撮像条件を取得する場合についても、クエリ撮像条件１０３を取得する場合と同様に、学習器１０２が用いられてもよい。
具体的には、学習器１０２は、例えばクエリ画像１０１を入力とし、クエリ撮像条件１０３を出力とするニューラルネットワークである。図４の例は、クエリ撮像条件１０３が、クエリ画像が撮像されたときの天候である場合を示す。なお、クエリ撮像条件１０３は、ニューラルネットワークの出力層の出力ではなく、ニューラルネットワークの中間層の出力から取得されてもよい。
なお、クエリ撮像条件１０３には、天候に限らず、クエリ画像１０１の見た目の変動に関連する任意の情報を含めることができる。例えば、撮影された場所が屋外であれば雲量・雨量・積雪量等をクエリ撮像条件１０３に含めてもよい。また、クエリ画像１０１が撮影された日時をクエリ撮像条件１０３に含めてもよい。また、緯度・経度によって同一時刻であっても太陽高度が変化し、画像の見た目が変化するため、緯度・経度をクエリ撮像条件１０３に含めてもよい。また、撮影された場所が屋内であれば、照明の点灯状況等をクエリ撮像条件１０３に含めてもよい。クエリ撮像条件１０３を表現する方法としては、連続値又はｏｎｅ－ｈｏｔベクトルなどによる離散的なカテゴリのいずれも用いることができる。例えば、日時を表現する際には、特定時刻を起点とした時間を表す連続値をクエリ撮像条件１０３としてもよく、例えば朝・昼・夕・夜の４段階や、１時間ごとなどに離散化された時間をクエリ撮像条件１０３として用いてもよい。
学習器１０２は、例えばクエリ撮像条件１０３を推定するように学習されていてもよい。また例えば、学習器１０２として任意のタスクに対して学習されたネットワークの一部分を利用してもよい。具体的には、入力画像にエンコーダを適用して符号を算出し、さらに符号にデコーダを適用して入力画像を復元するようにオートエンコーダを学習し、エンコーダの部分を学習器１０２として利用してもよい。
なお、クエリ撮像条件１０３の取得方法は、ニューラルネットワークにより実現された学習器１０２を用いる取得方法に限られない。例えば、クエリ撮像条件１０３が天候の場合、クエリ画像の撮像時の気象データを利用して、クエリ撮像条件１０３を取得してもよい。
＜ステップＳ１０２＞
参照画像取得部２３は、例えば参照画像と、当該参照画像を撮像した第２の撮像装置の位置及び姿勢とを関連付けて保持するデータベースが記憶された記憶部２０Ｂから、参照画像と、その撮像位置（た第２の撮像装置の位置及び姿勢）を取得する。なお、第２の撮像装置の位置及び姿勢は、例えば全ての参照画像に共通な基準座標系のもとで表現される。具体的には、基準座標系の選び方として、緯度及び経度で表されるグローバルな座標系を使用してもよいし、特定の参照画像の撮像位置を原点とした座標系を使用してもよい。
図５は第１実施形態の参照画像に関する情報を記憶するＤＢ（ＤａｔａＢａｓｅ）の例を説明するための図である。図５の例では、参照画像に関する情報を取得する移動体１０－２が、カメラ１０Ｂ－２、センサ１０Ｃ－２及び記憶部２０Ｂ－２を備える。
カメラ１０Ｂ－２は、参照画像を取得する。センサ１０Ｃ－２は、カメラ１０Ｂ－２（第２の撮像装置）の位置及び姿勢を取得する。
記憶部２０Ｂ－２は、参照画像に関する情報を記憶するＤＢを記憶する。ＤＢでは、位置、姿勢、参照画像及び参照撮像条件が関連付けられて記憶される。位置及び姿勢は、参照画像を撮像した時のカメラ１０Ｂ－２の位置及び姿勢を示す。参照画像は、カメラ１０Ｂ－２により撮像された画像である。参照撮像条件は、参照画像の撮像条件（図５の例では天候）を示す。
ここで、センサ１０Ｃ－２は、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、及び、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）等の測位システムである。また例えば、センサ１０Ｃ－２は、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）等の慣性センサである。
なお、図５では、三次元空間中での位置を三次元空間中の座標（ｘ，ｙ，ｚ）で表現し、三次元空間中での姿勢を、三次元空間中での回転を表す四元数の組み合わせ（ｑ＿ｘ，ｑ＿ｙ，ｑ＿ｚ，ｑ＿ｗ）で表現している。しかしながら、位置及び姿勢の表現には、任意の自由度で表される位置及び姿勢の任意の表現方法が利用可能である。
例えば、床面での移動など、移動が平面上で行われると仮定できる場合には、並進に関する２自由度と、回転に関する１自由度を合わせた３自由度で、位置及び姿勢を表現することができる。また例えば、三次元空間中の姿勢を表現するために、四元数のかわりに、回転行列、回転軸と回転方向を表すベクトル、及び、オイラー角等が使用されてもよい。
また、データベースの別の構成方法として、カメラ１０Ｂ－２により取得された複数の画像に、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）を適用することによって、それぞれの参照画像が撮像されたときのカメラ１０Ｂ－２の位置及び姿勢を推定してもよい。また、データベースの別の構成方法として、移動体１０－２を移動させながら参照画像を取得し、取得された参照画像にＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）を適用することにより、参照画像を撮像したときのカメラ１０Ｂ－２の位置及び姿勢が推定されてもよい。
参照画像取得部２３は、データベース内の参照画像、位置及び姿勢の組の全てを取得してもよいし、データベース内の参照画像、位置及び姿勢の組の一部を取得してもよい。例えば、複数のフロアからなる建物内を撮像した参照画像のデータベースが存在するときに、データベース全体を自己位置推定に利用してもよい。参照画像取得部２３は、移動ロボット等の移動体１０が存在するフロア、及び、当該移動体１０が存在する部屋等についての事前情報が得られる場合には、その事前情報に基づいて特定のフロア及び部屋等に近い参照画像、位置及び姿勢の組のみを取得してもよい。さらに、参照撮像条件取得部２４は、データベースから、参照画像に関連付けられた参照撮像条件を取得する。
＜ステップＳ１０３＞
特徴量算出部２５は、クエリ画像と参照撮像条件とからクエリ特徴量を算出し、参照画像とクエリ撮像条件とから参照特徴量を算出する。第１実施形態においては、クエリ画像と参照撮像条件とからクエリ特徴量を算出する処理と、参照画像とクエリ撮像条件とから参照特徴量を算出する処理として同一のニューラルネットワークを用いる。そのため、以降ではクエリ画像と参照撮像条件とからクエリ特徴量を算出する処理を説明し、参照画像とクエリ撮像条件とから参照特徴量を算出する処理の説明は省略する。
図６は第１実施形態の特徴量算出部の動作例を説明するための図である。特徴量算出部２５は、クエリ画像１０１と、参照撮像条件１０４とをニューラルネットワーク１０５の入力として推論処理を行うことにより、クエリ特徴量１０６を得る。第１実施形態では、クエリ特徴量１０６は、クエリ画像１０１の画素と特徴ベクトル１０７との対応である。
なお、特徴量算出部２５は、クエリ画像１０１の全ての画素に対して特徴ベクトル１０７を算出してもよいし、クエリ画像１０１の画素を一定の間隔で間引いたものに対して特徴ベクトル１０７を算出してもよい。また、特徴量算出部２５は、コーナー検出などを用いて検出された離散的な特徴点に対応する画素に対して特徴ベクトル１０７を算出してもよい。
第１実施形態では、ニューラルネットワーク１０５はクエリ画像１０１を入力とするニューラルネットワーク１０５ａと、参照撮像条件を入力とするニューラルネットワーク１０５ｂとを組み合わせて構成される。クエリ画像１０１を入力とするニューラルネットワーク１０５ａの出力、若しくは、内部状態を表すパラメータは、参照撮像条件を入力とするニューラルネットワーク１０５ｂの出力によって変換される。第１実施形態では、変換として線形変換が用いられる。すなわち、ニューラルネットワーク１０５ｂの出力は、内部状態を表すパラメータを変換する線形変換の係数である。
なお、第１実施形態の特徴量算出部２５の構成は、図６の方法に限定されるものではない。例えば、クエリ画像１０１を入力とするニューラルネットワーク１０５ａの出力、若しくは、内部状態を表すパラメータを変換するときに、ニューラルネットワーク１０５ｂの出力によって定められる多項式、指数関数、対数関数、三角関数などの任意の組み合わせを用いることができる。例えば、ニューラルネットワーク１０５の別の構成方法として、クエリ画像１０１と参照撮像条件１０４とを入力とする任意のニューラルネットワークを用いることができる。また、特徴量算出部２５は、クエリ画像１０１と参照撮像条件１０４とから、クエリ特徴量を出力する任意の処理を用いることができる。例えば、特徴量算出部２５は、ランダムフォレストによって実現されてもよいし、サポートベクトル回帰によって実現されてもよい。
特徴量算出部２５は、クエリ特徴量１０６の算出に参照撮像条件１０４を利用する。このような特徴量算出部２５を学習させると、参照画像と共通した特徴をクエリ特徴量から抽出することができるようになる。そのため、撮像条件が多岐にわたり、すべての撮像条件に共通する特徴が少ないときにも、クエリ画像と参照画像との間で共通している多くの特徴を利用して自己位置推定を行うことができ、以降のステップＳ１０４で説明する自己位置推定の精度を高めることができる。
なお、特徴量算出部２５を学習する第一の方法として、クエリ画像１０１と参照撮像条件１０４とから、新たな画像を出力する画像変換器を組み合わせることができる。例えば、クエリ特徴量１０６が、晴天のクエリ画像１０１と、雨天を表現する参照撮像条件１０４とを特徴量算出部２５に入力することによって算出されているとする。このとき、クエリ特徴量１０６と、晴天を表す参照撮像条件１０４を画像変換器に入力したときに、クエリ画像１０１と同等の地物が写った晴天の画像を出力するように、特徴量算出部２５と画像変換器を学習させる。また一方で、クエリ特徴量１０６と、雨天を表す参照撮像条件を画像変換器に入力したときに、クエリ画像１０１と同等の地物が写った雨天の画像が出力されるように、特徴量算出部２５と画像変換器を学習させる。本画像変換器の学習には、教師あり学習や敵対的生成ネットワーク（ＧＡＮ）を用いることができる。また、教師あり学習と敵対的生成ネットワークとを組み合わせて本画像変換器の学習をしてもよい。
また、特徴量算出部２５を学習する第二の方法として、撮像条件が異なるクエリ画像１０１と参照画像とから、後述する方法により算出された第１の大域的類似度、もしくは局所的類似度を利用して推定された自己位置が真値と近づくように特徴量算出部２５を更新してもよい。
また、特徴量算出部２５を学習するときに、前述の第一の方法と、第二の方法とを組み合わせてもよい。組み合わせにあたって、例えば特徴量算出部２５を第一の方法によって学習した後に、第二の方法を用いてさらに更新してもよい。また、損失関数を重みづけして足し合わせる等の方法により、第一の方法と第二の方法とを同時に適用して特徴量算出部２５を学習してもよい。
さらに、参照撮像条件が、学習器１０２の出力として与えられる場合には、特徴量算出部２５と、学習器１０２が同時に学習されてもよい。この場合には，特徴量算出部２５のみを学習する場合と比べて、より多くのパラメータが更新されるため、自己位置推定の精度をより高めることが可能となる。
＜ステップＳ１０４＞
自己位置算出部２６は、クエリ特徴量及び参照特徴量を比較して、画像全体の類似度を評価する第１の大域的類似度と、画素同士の類似度を評価する局所的類似度とをそれぞれ算出して自己位置を算出する。
図７は第１実施形態の自己位置算出部２６の動作例を示すフローチャートである。まず、自己位置算出部２６は、クエリ画像１０１と参照画像との第１の大域的類似度を算出し、第１の大域的類似度が第１の画像比較閾値よりも高い参照画像を選択する（ステップＳ１０４ａ）。
次に、自己位置算出部２６は、ステップＳ１０４ａの処理で選択された参照画像に対して、局所的類似度を算出し、当該局所的類似度を利用してクエリ画像１０１の画素と対応している参照画像の画素を算出する（ステップＳ１０４ｂ）。
次に、自己位置算出部２６は、ステップＳ１０４ｂの処理で算出された画素の対応関係と、参照画像を撮像したカメラ１０Ｂ－２（第２の撮像装置）の自己位置によって定められる幾何学的拘束条件（幾何学的な制約）とに基づいて、クエリ画像１０１を撮像したカメラ１０Ｂ（第１の撮像装置）の自己位置を求める（ステップＳ１０４ｃ）。
次に、図７の各ステップの処理の詳細について説明する。
＜ステップＳ１０４ａ＞
図８は第１実施形態の第１の大域的類似度の算出処理の例を示す図である。第１の大域的類似度は、クエリ画像１０１と参照画像との画像全体の類似度（同一の地物が写っている度合い）を示す。第１の大域的類似度は、以下のようにして算出することができる。まず、自己位置算出部２６が、ニューラルネットワーク１０９（ベクトル算出器）を用いて、クエリ特徴量１０６から、クエリ画像１０１を表すベクトルである第１のクエリベクトルを算出する。同様に、自己位置算出部２６が、ニューラルネットワーク１０９を用いて、参照特徴量１０８から、参照画像を表す第１の参照ベクトルを算出する。
なお、クエリ特徴量１０６又は参照特徴量１０８を入力とし、第１のクエリベクトル又は第１の参照ベクトルを出力するニューラルネットワーク１０９は、ベクトル算出器の一例である。ベクトル算出器としては、クエリ特徴量１０６及び参照特徴量１０８からベクトルを算出する任意の演算を用いることができる。例えば、ベクトル算出器は、クエリ特徴量１０６（参照特徴量１０８）に含まれる画素毎の特徴ベクトル１０７に対する演算（平均、加算又は最大値をとる等）を行うことにより、第１のクエリベクトル（第１の参照ベクトル）を算出してもよい。
次に、自己位置算出部２６は、第１のクエリベクトルと第１の参照ベクトルとを比較して第１の大域的類似度を算出する。比較の基準としては、例えばベクトル間のユークリッド距離が用いられる。なお、比較の基準として、マハラノビス距離、ベクトルの内積、及び、ベクトルのなす角などが用いられてもよい。
さらに、自己位置算出部２６は、算出された第１の大域的類似度が、大きい参照画像を選択する。具体的には、自己位置算出部２６は、第１の大域的類似度が大きい順に所定枚数を選択してもよいし、第１の大域的類似度があらかじめ設定された第１の画像比較閾値を超えている参照画像を選択してもよい。
＜ステップＳ１０４ｂ＞
図９は第１実施形態の局所的類似度の算出処理の例を示す図である。自己位置算出部２６は、クエリ画像１０１と、ステップＳ１０４ａの処理により選択された参照画像との局所的類似度を算出する。
局所的類似度は、クエリ画像１０１の画素２０１と参照画像の画素２０２とが、同一の地物に対応しているかどうかを表す類似度である。第１実施形態では、自己位置算出部２６が、クエリ特徴量１０６（クエリ画像１０１の画素２０１に対応する特徴ベクトル１０７）と、参照特徴量１０８（参照画像の画素２０２に対応する特徴ベクトル１０７）とを比較することにより算出する。ベクトルの比較には、ユークリッド距離、マハラノビス距離、ベクトルの内積、及び、ベクトルのなす角などが用いられてもよい。また、比較を行う前に、クエリ特徴量１０６及び参照特徴量１０８に対してニューラルネットワークなどの演算が適用されてもよい。
自己位置算出部２６は、比較の結果、局所的類似度が、より高いクエリ特徴量１０６の画素２０１と、参照特徴量の画素２０２との組を、画素間対応１１０として取得する。第１実施形態では、自己位置算出部２６は、局所的類似度が一定の閾値（画素比較閾値）より大きい画素２０１及び２０２の組を画素間対応１１０として取得する。また、変形例として、自己位置算出部２６は、クエリ特徴量１０６が算出された画素２０１に対して、参照特徴量１０８の画素２０２のうち最も局所的類似度が高い画素２０２を画素間対応１１０として取得してもよい。また、参照特徴量１０８が算出された画素２０２に対して、クエリ特徴量１０６の画素２０１のうち最も局所的類似度が高い画素２０１を画素間対応１１０として取得してもよい。また、自己位置算出部２６は、上述した基準のうち複数の方法で画素間対応１１０を算出し、複数の基準を同時に満たす画素間対応１１０のみを取得してもよいし、いずれか１つの基準を満たすものすべてを画素間対応１１０として取得してもよい。
また、変形例として、自己位置算出部２６は、クエリ特徴量１０６と、参照特徴量１０８とから、画素間対応１１０を求める回帰モデルを利用して画素間対応１１０を取得してもよい。
＜ステップＳ１０４ｃ＞
図１０は第１実施形態の幾何学的拘束条件を利用した自己位置の算出処理の例を示す図である。第１実施形態では、自己位置算出部２６は、クエリ特徴量１０６の画素２０１について、画素間対応１１０を用いて対応する参照特徴量１０８の画素２０２を求め、さらに当該参照特徴量１０８の画素２０２と対応している空間中の位置２０３を得る。なお、参照特徴量の画素２０２と空間中の位置２０３との関係を得る方法については後述する。自己位置算出部２６は、この幾何学的関係に基づいて、空間中の位置２０３が、クエリ特徴量の画素１１６と一致する位置に投影されるようにクエリ画像１０１を撮像した際のカメラ１０Ｂの位置又は姿勢の少なくとも一方を自己位置１１５として求める。
具体的には、自己位置算出部２６は、例えば非特許文献１に記載の方法などを用いてＰｅｒｓｐｅｃｔｉｖｅ－ｎ－ｐｏｉｎｔ問題を解くことで、クエリ画像１０１が撮影された際のカメラ１０Ｂの自己位置１１５を算出する。また、自己位置算出部２６は、ＳｆＭによって、クエリ画像１０１を撮像したカメラ１０Ｂの自己位置１１５の推定と、空間中の位置２０３又は参照画像を撮像したカメラ１０Ｂ－２の自己位置の更新と、を同時に行ってもよい。
また例えば、自己位置算出部２６は、空間中の位置２０３の一部のみを利用してクエリ画像１０１を撮像した際のカメラ１０Ｂの自己位置１１５を推定してもよい。また例えば、自己位置算出部２６は、ＬＭｅｄＳ（Ｌｅａｓｔ Ｍｅｄｉａｎ ｏｆ Ｓｑｕａｒｅｓ）やＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）などにより、画素間対応１１０の外れ値除去を行なってもよい。ＬＭｅｄＳやＲＡＮＳＡＣなどを行うことによって、対応関係に外れ値が含まれる場合にも、ロバストに自己位置推定を行なうことができる。
ここで、参照特徴量の画素２０２と空間中の位置２０３との関係を得る方法について説明する。
第一の方法は、参照画像を取得する際に、参照画像の画素２０２と対応する空間中の位置２０３を取得しておくことである。例えば、ＲＧＢ－Ｄカメラを用いることにより、参照画像と空間中の位置２０３を同時に計測できる。また、参照画像を取得する移動体１０にＬｉＤＡＲなどの周辺の三次元構造を計測可能なセンサを搭載し、計測された三次元構造を参照画像の視点に投影することによって作成してもよい。また、参照画像と同一の物体が写っている複数の画像を組み合わせて、ＳｆＭや多視点ステレオ法を適用してもよい。また、ニューラルネットワークなどによって参照画像から三次元構造を推定してもよい。
第二の方法は、複数の参照画像を利用することである。複数の参照画像を利用する場合、それぞれの参照画像ごとにクエリ画像１０１の画素２０１と対応した点（画素２０２）を求めることができる。自己位置算出部２６は、これらの点から三角測量を行うことで、空間内の点の位置２０３を決定することができる。第二の方法では、奥行きデータを参照画像と対応付けて持つ必要がなくなる。
なお、自己位置算出部２６は、第一の方法及び第二の方法など、複数の方法の組み合わせによって空間内での点の位置２０３を決定してもよい。
なお、自己位置算出部２６は、第１の大域的類似度及び局所的類似度のいずれか一方のみを用いてもよい。
自己位置算出部２６は、クエリ特徴量１０６と参照特徴量１０８とに基づいて、クエリ画像１０１と参照画像との類似度を示す第１の大域的類似度を算出し、第１の大域的類似度が第１の画像比較閾値より大きい参照画像をクエリ画像１０１に対応付け、クエリ画像１０１に対応付けられた参照画像を撮像したカメラ１０Ｂ－２（第２の撮像装置）の位置及び姿勢を利用して、自己位置１１５を算出してもよい。具体的には、例えば、自己位置算出部２６は、第１の大域的類似度を用いて、クエリ画像１０１と類似した複数の参照画像を選択し、選択された参照画像が撮影された、それぞれの位置（姿勢）を平均することで、クエリ画像１０１の自己位置１１５を算出してもよい。位置を平均する処理には例えば相加平均を用いることができ、姿勢を平均する処理には四元数の球面補完や行列を用いた補完などを用いることができる。これにより、局所的類似度の計算が不要となるため、自己位置１１５の正確性は低下するものの、計算量を抑えることができる。
また例えば、自己位置算出部２６は、局所的類似度のみを利用する構成としてもよい。すなわち、自己位置算出部２６は、参照画像の画素２０２と、クエリ画像１０１の画素２０１との類似度を示す局所的類似度を、クエリ特徴量１０６と参照特徴量１０８とに基づいて算出し、局所的類似度が画素比較閾値より大きい参照画像の画素２０２をクエリ画像１０１の画素２０１に対応付け、対応付けられた画素２０１及び２０２から定まる幾何学的拘束条件を利用して、自己位置１１５を算出してもよい。この場合は、全ての参照画像に対してクエリ画像１０１との対応関係を求めるため計算量は大きくなるものの、参照画像の検索が不要となるという利点がある。
以上、説明したように、第１実施形態の推定装置２０では、クエリ画像取得部２１が、カメラ１０Ｂ（第１の撮像装置）により撮像された画像をクエリ画像１０１として取得する。クエリ撮像条件取得部２２が、クエリ画像１０１の撮像条件を示すクエリ撮像条件１０３を取得する。参照画像取得部２３が、少なくとも１つの参照画像を取得する。参照撮像条件取得部２４が、参照画像の撮像条件を示す参照撮像条件１０４を取得する。特徴量算出部２５が、参照撮像条件１０４に基づいて、クエリ画像１０１からクエリ画像１０１の特徴量を示すクエリ特徴量１０６を算出し、クエリ撮像条件１０３に基づいて、参照画像から参照画像の特徴量を示す参照特徴量１０８を算出する。そして、自己位置算出部２６が、クエリ特徴量１０６と参照特徴量１０８とに基づいて、クエリ画像１０１に参照画像を対応付け、クエリ画像１０１に対応付けられた参照画像を撮像したカメラ１０Ｂ－２（第２の撮像装置）の位置及び姿勢を利用して、第１の撮像装置の位置及び姿勢の少なくとも一方を示す自己位置１１５を算出する。
これにより第１実施形態の推定装置２０によれば、外乱要因が多岐にわたる場合であっても自己位置推定の精度を高めることができる。具体的には、クエリ画像１０１と参照画像とで共通する特徴量を利用して自己位置推定を行うことが可能となる。そのため、撮像条件が多岐にわたり、すべての撮像条件に共通する特徴量を利用することが困難なときにも、精度よく自己位置１１５を推定することが可能となる。
（第２実施形態）
次に第２実施形態について説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。第２実施形態の推定装置２０は、クエリ撮像条件１０３及び参照撮像条件に依存しない特徴量を利用して算出される第２の大域的類似度を組み合わせる点が、第１実施形態の推定装置２０の場合と異なる。
［機能構成の例］
図１１は第２実施形態の処理部２０Ａ－２の機能構成の例を示す図である。第２実施形態の処理部２０Ａ－２は、クエリ画像取得部２１、クエリ撮像条件取得部２２、参照画像取得部２３、参照撮像条件取得部２４、特徴量算出部２５、自己位置算出部２６及び第２の大域的類似度算出部２７を備える。
第２の大域的類似度算出部２７は、クエリ撮像条件１０３と参照撮像条件１０４とに依存しない特徴量に基づいて定められるクエリ画像１０１と参照画像１１１との第２の大域的類似度を算出する。
第２実施形態では、自己位置算出部２６は、例えば、第２の大域的類似度が第２の画像比較閾値よりも大きい参照画像を対象にして、第１の大域的類似度を算出し、第１の大域的類似度が第１の画像比較閾値より大きい参照画像をクエリ画像１０１に対応付け、クエリ画像１０１に対応付けられた参照画像を撮像したカメラ１０Ｂ－２（第２の撮像装置）の位置及び姿勢を利用して、自己位置１１５を算出する。
［推定方法の例］
図１２は第２実施形態の推定方法の例を示すフローチャートである。ステップＳ２０１及びＳ２０２の処理は、第１実施形態のステップＳ１０１及びＳ１０２の処理と同様なので説明を省略する。
第２の大域的類似度算出部２７は、クエリ画像１０１と参照画像とから、第２の大域的類似度を算出する（Ｓ２０３）。
次に、特徴量算出部２５が、参照撮像条件に基づいて、クエリ画像からクエリ画像の特徴量を示すクエリ特徴量を算出し、クエリ撮像条件に基づいて、参照画像から参照画像の特徴量を示す参照特徴量を算出する（ステップＳ２０４）。ただし、第２実施形態では、特徴量算出部２５は、第２の大域的類似度に基づいて参照画像を選択し、選択された参照画像について参照特徴量を算出することで、比較の対象とする参照画像を事前に絞り込む。
ステップＳ２０５の処理は、第１実施形態のステップＳ１０４の処理と同様なので説明を省略する。
次に、ステップＳ２０３及びＳ２０４の処理の詳細について説明する。
＜ステップＳ２０３＞
図１３は第２実施形態の第２の大域的類似度の算出処理の例を示す図である。第２の大域的類似度算出部２７は、クエリ画像１０１に対して、ニューラルネットワーク１０９－２（第２のベクトル算出器）を適用して、第２のクエリベクトルを算出する。同様に、第２の大域的類似度算出部２７は、参照画像１１１に対して、ニューラルネットワーク１０９－２を適用して、第２の参照ベクトルを算出する。次に、第２の大域的類似度算出部２７は、第２のクエリベクトルと第２の参照ベクトルとを比較することにより、第２の大域的類似度を算出する。
第２のベクトル算出器としては、クエリ画像１０１及び参照画像１１１からベクトルを算出する任意の演算を用いることができる。第２実施形態では、第２のベクトル算出器として、クエリ画像１０１又は参照画像１１１を入力とし、第２のクエリベクトル又は第２の参照ベクトルを算出するニューラルネットワーク１０９－２を用いる。このニューラルネットワーク１０９－２のパラメータとしては、画像検索や物体認識、自己符号化などのタスクによってあらかじめ学習されたパラメータを用いてもよい。
第２の大域的類似度は、第２のクエリベクトルと第２の参照ベクトルとを比較することによって算出される。比較の基準としてベクトル間のユークリッド距離が用いられる。なお、比較の基準として、マハラノビス距離、ベクトルの内積、及び、ベクトルのなす角などが用いられてもよい。
第２の参照ベクトルはクエリ撮像条件に依らないため、あらかじめ算出しておき、データベース（記憶部２０Ｂ）に格納しておくことができる。そこで第２実施形態では、特徴量算出部２５は、第２の大域的類似度に基づいて参照画像を選択し、第１の大域的類似度及び局所的類似度を評価する。これにより、データベースに含まれる参照画像すべてに対して第１の大域的類似度を計算する必要がなくなるため、計算量を低減することができる。
さらに検索を効率化するために、参照画像１１１から算出された第２の参照ベクトルについて、ＫＤ（Ｋ－Ｄｉｍｅｎｓｉｏｎａｌ）木などの構造、及び、ＬＳＨ（Ｌｏｃａｌｉｔｙ Ｓｅｎｓｉｔｉｖｅ Ｈａｓｈｉｎｇ）などのハッシュをあらかじめ計算しておき、あらかじめ算出された第２の参照ベクトルから、クエリ画像１０１と類似した参照画像を選択するようにしてもよい。この場合には、参照画像１１１の検索をより高速に行うことができる。
＜ステップＳ２０４＞
特徴量算出部２５は、参照画像取得部２３によって取得された参照画像から、第２の大域的類似度が高い参照画像１１１を選択し、選択された画像のみについて参照特徴量を算出する。第２の大域的類似度が高い参照画像１１１を選択するときには、第２の大域的類似度が大きい順に所定枚数を選択してもよいし、第２の大域的類似度があらかじめ設定された第２の画像比較閾値を超えている参照画像を選択してもよい。
なお、選択された参照画像から参照特徴量を算出する処理については、第１実施形態のステップＳ１０３の処理と同様のため説明を省略する。
以上、説明したように、第２実施形態の推定装置２０によれば、第２の大域的類似度により参照特徴量を算出する参照画像１１１を絞り込むことができるため、データベースに含まれる参照画像の枚数が多い場合にも、高速に自己位置推定を行うことが可能となる。
第２実施形態によれば、第１実施形態と同様に、クエリ撮像条件１０３及び参照撮像条件１０４において共通して含まれている特徴量を利用して自己位置推定を行うことにより、自己位置推定の精度を高めることが可能となる。
最後に、第１及び第２実施形態の推定装置２０のハードウェア構成の例について説明する。
［ハードウェア構成の例］
図１４は第１及び第２実施形態の推定装置２０のハードウェア構成の例を示す図である。推定装置２０は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６は、バス３１０を介して接続されている。
なお、表示装置３０４、入力装置３０５及び通信装置３０６は備えていなくてもよい。例えば、推定装置２０が他の装置と接続される場合、当該他の装置の表示機能、入力機能及び通信機能を利用してもよい。
制御装置３０１は補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。制御装置３０１は、例えばＣＰＵ等の１以上のプロセッサである。主記憶装置３０２はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ等のメモリである。補助記憶装置３０３はメモリカード、及び、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等である。
表示装置３０４は情報を表示する。表示装置３０４は、例えば液晶ディスプレイである。入力装置３０５は、情報の入力を受け付ける。入力装置３０５は、例えばハードウェアキー等である。なお表示装置３０４及び入力装置３０５は、表示機能と入力機能とを兼ねる液晶タッチパネル等でもよい。通信装置３０６は他の装置と通信する。
推定装置２０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、メモリカード、ＣＤ－Ｒ、及び、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。
また推定装置２０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また推定装置２０が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。
また推定装置２０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
推定装置２０で実行されるプログラムは、推定装置２０の機能のうち、プログラムにより実現可能な機能を含むモジュール構成となっている。
プログラムにより実現される機能は、制御装置３０１が補助記憶装置３０３等の記憶媒体からプログラムを読み出して実行することにより、主記憶装置３０２にロードされる。すなわちプログラムにより実現される機能は、主記憶装置３０２上に生成される。
なお推定装置２０の機能の一部を、ＩＣ等のハードウェアにより実現してもよい。ＩＣは、例えば専用の処理を実行するプロセッサである。
また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２つ以上を実現してもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１０ 移動体
１０Ａ 出力部
１０Ｂ カメラ
１０Ｃ センサ
１０Ｄ 通信部
１０Ｅ ディスプレイ
１０Ｆ スピーカ
１０Ｇ 動力制御部
１０Ｈ 動力部
１０Ｉ バス
２０ 推定装置
２０Ａ 処理部
２０Ｂ 記憶部
２１ クエリ画像取得部
２２ クエリ撮像条件取得部
２３ 参照画像取得部
２４ 参照撮像条件取得部
２５ 特徴量算出部
２６ 自己位置算出部
２７ 第２の大域的類似度算出部
３０１ 制御装置
３０２ 主記憶装置
３０３ 補助記憶装置
３０４ 表示装置
３０５ 入力装置
３０６ 通信装置
３１０ バス

Claims (11)

  1. 第１の撮像装置により撮像された画像をクエリ画像として取得するクエリ画像取得部と、
    前記クエリ画像の撮像条件を示すクエリ撮像条件を取得するクエリ撮像条件取得部と、
    少なくとも１つの参照画像を取得する参照画像取得部と、
    前記参照画像の撮像条件を示す参照撮像条件を取得する参照撮像条件取得部と、
    前記参照撮像条件に基づいて、前記クエリ画像から前記クエリ画像の特徴量を示すクエリ特徴量を算出し、前記クエリ撮像条件に基づいて、前記参照画像から前記参照画像の特徴量を示す参照特徴量を算出する特徴量算出部と、
    前記クエリ特徴量と前記参照特徴量とに基づいて、前記クエリ画像に前記参照画像を対応付け、前記クエリ画像に対応付けられた参照画像を撮像した第２の撮像装置の位置及び姿勢を利用して、前記第１の撮像装置の位置及び姿勢の少なくとも一方を示す自己位置を算出する自己位置算出部と、
    を備える推定装置。
  2. 前記自己位置算出部は、前記クエリ特徴量と前記参照特徴量とに基づいて、前記クエリ画像と前記参照画像との類似度を示す第１の大域的類似度を算出し、前記第１の大域的類似度が第１の画像比較閾値より大きい参照画像を前記クエリ画像に対応付け、前記クエリ画像に対応付けられた参照画像を撮像した第２の撮像装置の位置及び姿勢を利用して、前記自己位置を算出する、
    請求項１に記載の推定装置。
  3. 前記クエリ撮像条件と前記参照撮像条件とに依存しない特徴量に基づいて定められる前記クエリ画像と前記参照画像との第２の大域的類似度を算出する第２の大域的類似度算出部を更に備え、
    前記自己位置算出部は、前記第２の大域的類似度が第２の画像比較閾値よりも大きい参照画像を対象にして、前記第１の大域的類似度を算出し、前記第１の大域的類似度が前記第１の画像比較閾値より大きい参照画像を前記クエリ画像に対応付け、前記クエリ画像に対応付けられた参照画像を撮像した第２の撮像装置の位置及び姿勢を利用して、前記自己位置を算出する、
    請求項２に記載の推定装置。
  4. 前記自己位置算出部は、前記参照画像の画素と、前記クエリ画像の画素との類似度を示す局所的類似度を、前記クエリ特徴量と前記参照特徴量とに基づいて算出し、前記局所的類似度が画素比較閾値より大きい参照画像の画素を前記クエリ画像の画素に対応付け、対応付けられた画素から定まる幾何学的拘束条件を利用して、前記自己位置を算出する、
    請求項１乃至３のいずれか１項に記載の推定装置。
  5. 前記クエリ撮像条件及び前記参照撮像条件は、撮像時の緯度、経度、日付、時刻、降水量及び降雪量の少なくとも１つを含む、
    請求項１乃至４のいずれか１項に記載の推定装置。
  6. 前記クエリ撮像条件及び前記参照撮像条件を推定する学習器を更に備え、
    前記クエリ撮像条件取得部は、前記学習器から前記クエリ撮像条件を取得し、前記参照撮像条件取得部は、前記学習器から前記参照撮像条件を取得する、
    請求項１乃至５のいずれか１項に記載の推定装置。
  7. 前記学習器は、第１のニューラルネットワークにより実現され、前記第１のニューラルネットワークの出力層の出力、または、前記第１のニューラルネットワークの中間層の出力によって、前記クエリ撮像条件及び前記参照撮像条件を推定する、
    請求項６に記載の推定装置。
  8. 前記特徴量算出部は、第２のニューラルネットワークにより実現される、
    請求項１乃至７のいずれか１項に記載の推定装置。
  9. クエリ画像を撮像する第１の撮像装置と、
    前記第１の撮像装置から前記クエリ画像を取得するクエリ画像取得部と、
    前記クエリ画像の撮像条件を示すクエリ撮像条件を取得するクエリ撮像条件取得部と、
    少なくとも１つの参照画像を取得する参照画像取得部と、
    前記参照画像の撮像条件を示す参照撮像条件を取得する参照撮像条件取得部と、
    前記参照撮像条件に基づいて、前記クエリ画像から前記クエリ画像の特徴量を示すクエリ特徴量を算出し、前記クエリ撮像条件に基づいて、前記参照画像から前記参照画像の特徴量を示す参照特徴量を算出する特徴量算出部と、
    前記クエリ特徴量と前記参照特徴量とに基づいて、前記クエリ画像に前記参照画像を対応付け、前記クエリ画像に対応付けられた参照画像を撮像した第２の撮像装置の位置及び姿勢を利用して、前記第１の撮像装置の位置及び姿勢の少なくとも一方を示す自己位置を算出する自己位置算出部と、
    前記自己位置に基づいて動力部を制御する動力制御部と、
    を備える移動体。
  10. 推定装置が、第１の撮像装置により撮像された画像をクエリ画像として取得するステップと、
    前記推定装置が、前記クエリ画像の撮像条件を示すクエリ撮像条件を取得するステップと、
    前記推定装置が、少なくとも１つの参照画像を取得するステップと、
    前記推定装置が、前記参照画像の撮像条件を示す参照撮像条件を取得するステップと、
    前記推定装置が、前記参照撮像条件に基づいて、前記クエリ画像から前記クエリ画像の特徴量を示すクエリ特徴量を算出し、前記クエリ撮像条件に基づいて、前記参照画像から前記参照画像の特徴量を示す参照特徴量を算出するステップと、
    前記推定装置が、前記クエリ特徴量と前記参照特徴量とに基づいて、前記クエリ画像に前記参照画像を対応付け、前記クエリ画像に対応付けられた参照画像を撮像した第２の撮像装置の位置及び姿勢を利用して、前記第１の撮像装置の位置及び姿勢の少なくとも一方を示す自己位置を算出するステップと、
    を含む推定方法。
  11. コンピュータを、
    第１の撮像装置により撮像された画像をクエリ画像として取得するクエリ画像取得部と、
    前記クエリ画像の撮像条件を示すクエリ撮像条件を取得するクエリ撮像条件取得部と、
    少なくとも１つの参照画像を取得する参照画像取得部と、
    前記参照画像の撮像条件を示す参照撮像条件を取得する参照撮像条件取得部と、
    前記参照撮像条件に基づいて、前記クエリ画像から前記クエリ画像の特徴量を示すクエリ特徴量を算出し、前記クエリ撮像条件に基づいて、前記参照画像から前記参照画像の特徴量を示す参照特徴量を算出する特徴量算出部と、
    前記クエリ特徴量と前記参照特徴量とに基づいて、前記クエリ画像に前記参照画像を対応付け、前記クエリ画像に対応付けられた参照画像を撮像した第２の撮像装置の位置及び姿勢を利用して、前記第１の撮像装置の位置及び姿勢の少なくとも一方を示す自己位置を算出する自己位置算出部、
    として機能させるためのプログラム。
JP2020035838A 2020-03-03 2020-03-03 推定装置、移動体、推定方法及びプログラム Active JP7221897B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020035838A JP7221897B2 (ja) 2020-03-03 2020-03-03 推定装置、移動体、推定方法及びプログラム
US17/000,605 US11775577B2 (en) 2020-03-03 2020-08-24 Estimation device, movable body, estimation method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020035838A JP7221897B2 (ja) 2020-03-03 2020-03-03 推定装置、移動体、推定方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021140317A JP2021140317A (ja) 2021-09-16
JP7221897B2 true JP7221897B2 (ja) 2023-02-14

Family

ID=77555937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020035838A Active JP7221897B2 (ja) 2020-03-03 2020-03-03 推定装置、移動体、推定方法及びプログラム

Country Status (2)

Country Link
US (1) US11775577B2 (ja)
JP (1) JP7221897B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018028489A (ja) 2016-08-18 2018-02-22 トヨタ自動車株式会社 位置推定装置、位置推定方法
JP6343670B2 (ja) 2014-07-30 2018-06-13 株式会社日立製作所 自律移動装置及び自己位置推定方法
WO2019082670A1 (ja) 2017-10-25 2019-05-02 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
US20200401617A1 (en) 2019-06-21 2020-12-24 White Raven Ltd Visual positioning system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110044256B (zh) * 2018-01-16 2022-02-08 爱信精机株式会社 自车位置估计装置
JP7131994B2 (ja) 2018-07-04 2022-09-06 株式会社東芝 自己位置推定装置、自己位置推定方法、自己位置推定プログラム、学習装置、学習方法及び学習プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6343670B2 (ja) 2014-07-30 2018-06-13 株式会社日立製作所 自律移動装置及び自己位置推定方法
JP2018028489A (ja) 2016-08-18 2018-02-22 トヨタ自動車株式会社 位置推定装置、位置推定方法
WO2019082670A1 (ja) 2017-10-25 2019-05-02 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
US20200263994A1 (en) 2017-10-25 2020-08-20 Sony Corporation Information processing apparatus, information processing method, program, and moving body
US20200401617A1 (en) 2019-06-21 2020-12-24 White Raven Ltd Visual positioning system

Also Published As

Publication number Publication date
JP2021140317A (ja) 2021-09-16
US11775577B2 (en) 2023-10-03
US20210279908A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
US10546387B2 (en) Pose determination with semantic segmentation
US11436743B2 (en) Systems and methods for semi-supervised depth estimation according to an arbitrary camera
CN112567201B (zh) 距离测量方法以及设备
JP7252943B2 (ja) 航空機のための対象物検出及び回避
US11462023B2 (en) Systems and methods for 3D object detection
JP7204326B2 (ja) 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム
CN109059906B (zh) 车辆定位方法、装置、电子设备、存储介质
US10949712B2 (en) Information processing method and information processing device
WO2020113423A1 (zh) 目标场景三维重建方法、***及无人机
JP2020085886A (ja) 乗物、乗物測位システム、及び乗物測位方法
Cappelle et al. Virtual 3D city model for navigation in urban areas
JP7131994B2 (ja) 自己位置推定装置、自己位置推定方法、自己位置推定プログラム、学習装置、学習方法及び学習プログラム
JP2019125116A (ja) 情報処理装置、情報処理方法、およびプログラム
CN113916243A (zh) 目标场景区域的车辆定位方法、装置、设备和存储介质
US11010592B2 (en) System and method for lifting 3D representations from monocular images
US11144818B2 (en) Network architecture for ego-motion estimation
WO2022062480A1 (zh) 移动设备的定位方法和定位装置
JP2019102007A (ja) 勾配推定装置、勾配推定方法、プログラムおよび制御システム
US11652972B2 (en) Systems and methods for self-supervised depth estimation according to an arbitrary camera
US20220196432A1 (en) System and method for determining location and orientation of an object in a space
US10991155B2 (en) Landmark location reconstruction in autonomous machine applications
Cabrera-Ponce et al. Aerial geo-localisation for mavs using posenet
JP7337617B2 (ja) 推定装置、推定方法及びプログラム
KR102249381B1 (ko) 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법
US20220058817A1 (en) System and method for generating a point cloud that includes surface normal information

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230202

R151 Written notification of patent or utility model registration

Ref document number: 7221897

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151