JP2019212291A - コンピュータビジョンと結合される地磁気信号に基づいた室内位置決めシステム及び方法 - Google Patents

コンピュータビジョンと結合される地磁気信号に基づいた室内位置決めシステム及び方法 Download PDF

Info

Publication number
JP2019212291A
JP2019212291A JP2019062813A JP2019062813A JP2019212291A JP 2019212291 A JP2019212291 A JP 2019212291A JP 2019062813 A JP2019062813 A JP 2019062813A JP 2019062813 A JP2019062813 A JP 2019062813A JP 2019212291 A JP2019212291 A JP 2019212291A
Authority
JP
Japan
Prior art keywords
computer vision
geomagnetic
weight
coordinates
confidence value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019062813A
Other languages
English (en)
Other versions
JP6820967B2 (ja
Inventor
弘亜 蔡
Hong Ya Cai
弘亜 蔡
友光 王
You Quang Wang
友光 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osense Tech Co Ltd
Osense Technology Co Ltd
Original Assignee
Osense Tech Co Ltd
Osense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osense Tech Co Ltd, Osense Technology Co Ltd filed Critical Osense Tech Co Ltd
Publication of JP2019212291A publication Critical patent/JP2019212291A/ja
Application granted granted Critical
Publication of JP6820967B2 publication Critical patent/JP6820967B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/003Locating users or terminals or network equipment for network management purposes, e.g. mobility management locating network equipment
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/04Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means
    • G01C21/08Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means involving use of the magnetic field of the earth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1654Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with electromagnetic compass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Environmental & Geological Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Measurement Of Length, Angles, Or The Like Using Electric Or Magnetic Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

【課題】コンピュータビジョンと結合される地磁気信号に基づいた室内位置決めシステム及び方法を提供する。【解決手段】室内位置決めシステムは、コンピュータビジョン座標と地磁気信号座標とを組み合わせてコンピュータビジョンマップ及び地磁気データマップを生成するためのマップ構築モジュールと、構築されたコンピュータビジョン座標と地磁気信号座標とに基づいて、コンピュータビジョンウェイトと地磁気信号ウェイトとを算出するとともに、該コンピュータビジョンウェイトと該地磁気信号ウェイトとに基づいてウェイト方程式に代入することで現在位置を統合推定するウェイトモジュールと、を備える。【選択図】図1

Description

本発明は、室内位置決めシステムに関し、特に、コンピュータビジョン位置決め技術と結合される地磁気信号位置決め技術に基づいた室内位置決めシステムに関するものである。
物のインターネットの応用発展はますます成熟化の傾向にあるため、O2O(Online to Offline)のビジネス経営モデルも栄えて発展している。その発想モデルに応じて、室内位置決めの技術は生まれ、O2Oにはより多くの選択及び策略の組み合わせが提供されている。
現在の室内位置決め技術では、ハードウェア設備の配置に基づいて構築されることが多い。例えば、既存のBeaconまたはWiFi位置決めは、ハードウェア設備間の信号強度を利用して、三角位置決めの演算により、現在の携帯装置の所在位置を得る。しかしながら、既存のBeaconまたはWiFi位置決め技術は、正確な位置決め効果を奏するために、いずれもブルートゥース(登録商標)ノードを大量配置したり、WiFiルータを増加したりする必要がある。ハードウェアを大量に必要とした結果、初期構築コストの費用が嵩むのみならず、運営の設備維持、更新等の費用及び技術の課題がある。
設備コストを減少するために、既存の技術は、コンピュータビジョン位置決め(Computer Vision Positioning)と地磁気信号位置決め(Geomagnetic Signals Positioning)とを含む。コンピュータビジョン位置決めは、主として、VIO(Visual−Inertial Odometry)を利用して、カメラにより室内画像及び空間の座標システムを記録し、画像室内情報データを生成するとともに、現在の現像と地図構築時に記録された画像とを照合した後、最も類似する結果を特定して、その座標値を取り出すことで、位置決めを完成する。しかしながら、室内位置決めの画像情報データは、位置決めを必要とするフィールドが過大である場合、情報データも過大になるため、プロセッサの演算能力に掛かる負荷が大きくなり、システム作動の効率が低下し、照合の時間に影響を及ぼしてしまう。
既存の地磁気信号位置決めは、地磁気信号により室内位置決めを行い、室内画像情報データを構築すると同時に、地磁気信号と室内空間の座標システムとを記録し、最終的には地磁気室内情報データを生成する。ただし、地磁気が波動信号であり、即ち、異なる時間において微小波動が発生するが、信号の相対関係が不変であるため、ユーザモードの場合は、ユーザに所定の変位が生じると、演算により再度位置決めすることができる。しかしながら、フィールドが過大である場合、収斂に必要な時間が長くなるため、効果的な位置決めのために、ユーザの長距離変位が必要となる。
このため、現在の室内位置決め技術はいずれも不十分であり、改良を加える必要がある。本願の発明者は、上記の既存技術の各課題に鑑み、鋭意研究を行った結果、コンピュータビジョンと結合される地磁気信号に基づいた室内位置決めシステムを完成するに至った。
上記の目的を達成するために、本発明は、周囲環境の空間画像を取得してコンピュータビジョン座標を構築するための撮像ユニットを少なくとも含むコンピュータビジョン位置決めモジュールと、
地磁気信号軌跡を検出して地磁気信号座標を構築するための地磁気検出ユニットを少なくとも含む地磁気信号位置決めモジュールと、
確立されたコンピュータビジョン座標及び地磁気信号座標を格納するデータベースと、現在位置及び走行軌跡を検出するための慣性測定ユニットとを少なくとも含み、該コンピュータビジョン座標と該地磁気信号座標とを組み合わせてコンピュータビジョンマップ及び地磁気データマップを生成するためのマップ構築モジュールと、
構築された該コンピュータビジョン座標と該地磁気信号座標とに基づいて、コンピュータビジョンウェイトと地磁気信号ウェイトとを算出するとともに、該コンピュータビジョンウェイトと該地磁気信号ウェイトとに基づいてウェイト方程式に代入することで現在位置を統合推定するウェイトモジュールと、を備え、
該ウェイト方程式は、
Figure 2019212291
であり、数式中、x、zは該コンピュータビジョン位置決めモジュールのx、y座標であり、Wは該コンピュータビジョンウェイトであり、x、zは該地磁気信号位置決めモジュールのx、y座標であり、Wは該地磁気信号ウェイトである、
コンピュータビジョンと結合される地磁気信号に基づいた室内位置決めシステムを提供する。
また、本発明は、撮像ユニットにより周囲環境の空間画像を取得してコンピュータビジョン座標を構築する工程と、
地磁気検出ユニットにより地磁気信号軌跡を検出して地磁気信号座標を構築する工程と、
構築された該コンピュータビジョン座標及び該地磁気信号座標をデータベースで格納する工程と、
慣性測定ユニットにより現在位置及び走行軌跡を検出することで該コンピュータビジョン座標と該地磁気信号座標とを組み合わせてコンピュータビジョンマップ及び地磁気データマップを生成する工程と、
構築された該コンピュータビジョン座標と該地磁気信号座標とに基づいて、コンピュータビジョンウェイトと地磁気信号ウェイトとを算出するとともに、該コンピュータビジョンウェイトと該地磁気信号ウェイトとに基づいてウェイト方程式に代入することで現在位置を統合推定する工程と、を備え、
該ウェイト方程式は、
Figure 2019212291
であり、数式中、x、zは該コンピュータビジョン座標のx、y座標であり、Wは該コンピュータビジョンウェイトであり、x、zは該地磁気信号座標のx、y座標であり、Wは該地磁気信号ウェイトである、
コンピュータビジョンと結合される地磁気信号に基づいた室内位置決め方法を提供する。
上記の位置決めシステム及び方法において、該地磁気信号ウェイトは、地磁気信頼値に基づいて算出されたものであり、該地磁気信頼値は、構築時の地磁気指紋分布と現在測定された地磁気指紋分布とを照合して算出されたものであり、該地磁気信頼値を算出するための方程式は、
Figure 2019212291
であり、数式中、Xは地磁気信頼値であり、構築時の地磁気指紋分布はBx、By、Bzであり、検出時の地磁気指紋分布はBx’、By’、Bz’である。
上記の位置決めシステム及び方法において、該地磁気信号ウェイトを算出するための方程式は、
Figure 2019212291
であり、数式中、Wは地磁気信号ウェイトであり、Xは地磁気信頼値であり、eは指数関数である。
上記の位置決めシステム及び方法において、該コンピュータビジョンウェイトは、コンピュータビジョン信頼値に基づいて算出されたものであり、該コンピュータビジョン信頼値は、特徴点を取り出して形成された記述子の間のハミング距離を照合して算出されたものであり、該コンピュータビジョン信頼値を算出するための方程式は、
Figure 2019212291
であり、数式中、Xはコンピュータビジョン信頼値であり、nはビットを単位とする該記述子の大きさであり、eはビットを単位とする照合後のハミング距離である。
上記の位置決めシステム及び方法において、該記述子は、SIFT−like記述子またはbinary記述子を含む。
上記の位置決めシステム及び方法において、該コンピュータビジョンウェイトを算出するための方程式は、
Figure 2019212291
であり、数式中、Wはコンピュータビジョンウェイトであり、Xはコンピュータビジョン信頼値であり、eは指数関数である。
上記の位置決めシステム及び方法において、画像フレームの次元を降下させ、照合に必要な時間を減少するためのBOW(Bag of Words)モデル学習モジュールをさらに含む。
上記の位置決めシステム及び方法において、さらに、視覚慣性走行距離計測(Visual−Inertial Odometry、VIO)演算法により移動軌跡を追跡することで、該コンピュータビジョン座標を構築する。
上記の位置決めシステム及び方法において、さらに、粒子フィルタ演算法により磁場差異曲線移動軌跡を照合することで、該地磁気信号座標を構築する。
コンピュータビジョンまたは地磁気信号に基づいた位置決め技術はいずれも何らかの不具合があるため、本発明は、その二つの技術の優劣を互いに補うことにより、位置決めの正確性をさらに向上させる。その核心原理は、ウェイトモデルモジュールの設計、即ち、コンピュータビジョン位置決めシステム及び地磁気信号位置決めシステムは、それぞれ一組のユーザ座標を常時提供する。理想上、これら2つの座標は完全に一致し、ユーザの確実な所在位置を確認できる。しかしながら、ほとんどの場合、これらの2つの座標は近似するが一致しておらず、さらに、確率は極めて低いが、これらの2つのシステムは極端に異なる座標を提供することがある。そこで、本発明に係るウェイトモジュールは、これらの2つのシステムによりユーザが異なる位置にいると判定した場合、どのシステムの判定を結果とするかという課題を解決することを目的とする。このウェイトモジュールは、ダブルシステムのウェイト値を導入するとともに、これらの2つのウェイト値に基づいて確率モジュールを適用することで最終結果を決定することにより、少数の状況における位置決めの精度のばらつきの課題を解決できる。
本発明に係るコンピュータビジョンと結合される地磁気信号に基づいた室内位置決めシステムのシステム構造模式図である。 本発明に係るコンピュータビジョンと結合される地磁気信号に基づいた室内位置決め方法の工程フロー模式図である。
以下、具体的な実施形態を用いて本発明の実施形態を説明する。この技術分野に精通した者は、本明細書の記載内容から本発明の利点や効果を理解できる。
また、明細書に添付された図面に示す構造、比例、寸法等は、当業者が理解できるように明細書に記載の内容に合わせて説明されるものであり、本発明の実施を制限するものではないため、技術上の実質的な意味を有しない。いかなる構造の修飾、比例関係の変更又は寸法の調整は、本発明の効果及び目的に影響を与えるものでなければ、本発明に開示された技術内容の範囲に入る。相対関係の変更または調整によって技術内容が実質的に変更しない場合でも、実施の範囲に入ると見なされるべきである。
図1に示すように、本発明に係るコンピュータビジョンと結合される地磁気信号に基づいた室内位置決めシステム10は、コンピュータビジョン位置決めモジュール11と、地磁気信号位置決めモジュール13と、マップ構築モジュール15と、ウェイトモジュール17とを備える。
コンピュータビジョン位置決めモジュール11は、周囲環境の空間画像を取得してコンピュータビジョン座標を構築する撮像ユニット111を備えており、撮像ユニット111で撮像された画像と、データベース151において確立された画像とを照合することで、視覚慣性走行距離計測(Visual−Inertial Odometry、VIO)演算法によって、最も類似する画像を特定し、それに対応する座標値を取り出すことにより、ユーザの現在座標を確認する。室内フィールドが過大である場合、従来の画像照合方法では必要な時間が長くなりすぎるため、本発明は、さらに、BOW(Bag of Words)モデル学習モジュールの使用を含むことにより、画像フレームの次元を降下させ、機器学習構造により各画像フレームの次元を降下し格納することで、照合に必要な時間を減少する。
地磁気信号位置決めモジュール13は、地磁気信号軌跡を検出して地磁気信号座標を構築するための地磁気検出ユニット131を備える。地磁気信号位置決めモジュール13は、該地磁気信号座標の構築時に、地磁気検出ユニット131により現在の地磁気信号を検知してデータベース151における地磁気信号と照合することで、マッチする結果を特定する。地磁気信号が波動信号であるため、異なる時間において地磁気信号には異なるオフセットがあり、即ち、外的磁場によって地磁気検出ユニットが磁化して異なる初期値が発生しやすいため、異なる時間において同一位置の磁場を測定した実際の強度値にはばらつきが生じることがある。しかしながら、所定の軌跡に沿って移動すると、磁場の差異値は固定である。言い換えれば、地磁気位置決めモジュールは、各位置ごとの磁場の実際の強度値ではなく、一つの軌跡における磁場差異曲線を照合するとともに、粒子フィルタ演算法により位置決めを行う。従って、フィールドが過大である場合、粒子の収斂に必要な時間は長くなる。そこで、本発明は、ユーザ体験を向上させるために、さらにコンピュータビジョンによる位置決めと結合させる。
マップ構築モジュール15は、スマートフォンをベースに開発されたアプリケーションソフトウェアであってもよく、構築されたコンピュータビジョン座標と地磁気信号座標とを格納するためのデータベース151を含み、また、スマートフォンにおける撮像ユニット111と地磁気検出ユニット131とにアクセスでき、さらに慣性測定ユニット153により現在位置及び走行軌跡を検出する。ユーザは、アプリケーションソフトウェアを起動するとともに、任意に実行して走行し、VIO演算法によりユーザの軌跡を追跡して座標システムを構築し、軌跡上の画像及び地磁気データを収集し、該コンピュータビジョン座標と該地磁気信号座標とを組み合わせることで、コンピュータビジョンマップと地磁気データマップとを構成することができる。
ウェイトモジュール17は、構築された該コンピュータビジョン座標と該地磁気信号座標とに基づいて、コンピュータビジョン信頼値及び地磁気信頼値を算出し、さらにコンピュータビジョンウェイト及び地磁気信号ウェイトを算出する。
該地磁気信頼値は、構築時の地磁気指紋分布と現在測定された地磁気指紋分布とを照合して算出されたものであり、該地磁気信頼値を算出するための方程式は、
Figure 2019212291
であり、数式中、Xは地磁気信頼値であり、構築時の地磁気指紋分布はBx、By、Bzであり、検出時の地磁気指紋分布はBx’、By‘、Bz’である。
地磁気信頼値を得た後、さらに地磁気信号ウェイトを算出する。該地磁気信号ウェイトを算出するための方程式は、
Figure 2019212291
であり、数式中、Wは地磁気信号ウェイトであり、Xは地磁気信頼値であり、eは指数関数である。
コンピュータビジョン信頼値は、特徴点を取り出して形成された記述子の間のハミング距離を照合して算出されたものである。コンピュータビジョン識別には、1.特徴点の取り出し(Feature Detection)、2.記述子(Descriptor Generation)の生成、3.照合(Matching)という3つのステップがある。
記述子は、特徴点を記述するストリングであり、SIFT−like記述子とbinary記述子とに分けられ、主要な差異点は、正確性と算出効率にある。本発明の実施形態において、算出効率の向上のために、binary記述子利用して、特徴点周囲の画像強度分布を表示する。記述子間のハミング距離(Hamming Distance)を照合することで、コンピュータビジョン信頼値を算出する。該コンピュータビジョン信頼値を算出するための方程式は、
Figure 2019212291
であり、数式中、Xはコンピュータビジョン信頼値であり、nはビットを単位とする該記述子の大きさであり、eはビットを単位とする照合後のハミング距離である。
さらに、該コンピュータビジョン信頼値に基づいて、コンピュータビジョンウェイトを算出する。該コンピュータビジョンウェイトを算出すための方程式は、
Figure 2019212291
であり、数式中、Wはコンピュータビジョンウェイトであり、Xはコンピュータビジョン信頼値であり、eは指数関数である。
コンピュータビジョンウェイト及び地磁気信号ウェイトを取得すると、該コンピュータビジョンウェイト及び該地磁気信号ウェイトをウェイト方程式に代入することで現在位置を統合推定する。該ウェイト方程式は、
Figure 2019212291
であり、数式中、x、zは該コンピュータビジョン位置決めモジュールのx、y座標であり、Wは該コンピュータビジョンウェイトであり、x、zは該地磁気信号位置決めモジュールのx、y座標であり、Wは該地磁気信号ウェイトである。
ウェイトモジュール17により、コンピュータビジョン位置決めモジュールと地磁気信号位置決めモジュールとを統合し、ウェイトを付与することで、システムフォールトトレランス、正確性、ロバストネス及びユーザビリティを向上させる。本発明は、上記コンピュータビジョン位置決め及び地磁気信号位置決めの特性及び適用状況を兼ね備える。シーンが単純で大規模の変動が難しい場合または大型機械キャリアが行き交う場合には、コンピュータビジョン識別位置決めは、非常に良い効果を奏することができるが、シーンが相対的に複雑で歩行者が密集している場合には、地磁気信号位置決めは、歩行者などに干渉されない特性を発揮し、極めて高い識別正確性を達成できる。ウェイトモジュール17は、コンピュータビジョン信頼値に基づいて、ガウスに基づいた確率関数を導入することで、コンピュータビジョンウェイト値を得るとともに、地磁気信号軌跡上の磁場差異値と地磁気指紋マップの差異値とに基づいて照合を行い、軌跡上の誤差値を累積して、ガウスに基づいた確率関数を導入することで、地磁気信号ウェイト値を得る。言い換えれば、ウェイト統合のモデルにより、本発明に係る室内位置決めシステムは、単一のシステムに頼る必要がなく、システムの多様性、安定性及び正確性を向上させることができる。
図2に示すように、本発明に係るコンピュータビジョンと結合される地磁気信号に基づいた室内位置決め方法は、撮像ユニットにより周囲環境の空間画像を取得するステップS21と、視覚慣性走行距離計測(Visual−Inertial Odometry, VIO)演算法により移動軌跡を追跡するステップS22と、コンピュータビジョン座標を構築するステップS23と、地磁気検出ユニットにより地磁気信号軌跡を検出するステップS31と、粒子フィルタ演算法により磁場差異曲線移動軌跡を照合するステップS32と、該地磁気信号座標を構築するステップS33と、構築されたコンピュータビジョン座標と地磁気信号座標とをデータベースで格納するステップS41と、慣性測定ユニットにより現在位置と走行軌跡とを検出して該コンピュータビジョン座標と該地磁気信号座標とを組み合わせることで、コンピュータビジョンマップと地磁気データマップとを構成するステップS42と、構築された該コンピュータビジョン座標と該地磁気信号座標とに基づいて、コンピュータビジョンウェイト及び地磁気信号ウェイトを算出し、該コンピュータビジョンウェイトと該地磁気信号ウェイトとに基づいてウェイト方程式に代入することで現在位置を統合推定するステップS43とを備える。
上記のように、これらの実施形態は本発明を例示的に説明するに過ぎず、本発明は、これらによって限定されるものではない。本発明は、本発明の主旨を逸脱しない範囲で上記実施形態を種々に修正や変更することが可能であり、そうした修正や変更は、本発明の特許請求の範囲に入るものである。
上記のように、本発明は、技術思想の新規性のみならず、従来よりも上記の複数の効果を奏するため、新規性と進歩性を有し、特許要件を満たしている。したがって、本件特許出願書類の記載を御斟酌のうえ審査頂き、本件特許出願について速やかに特許すべき旨の査定を賜りたい。
10 室内位置決めシステム
11 コンピュータビジョン位置決めモジュール
111 撮像ユニット
13 地磁気信号位置決めモジュール
131 地磁気検出ユニット
15 マップ構築モジュール
151 データベース
153 慣性測定ユニット
17 ウェイトモジュール

Claims (18)

  1. 周囲環境の空間画像を取得してコンピュータビジョン座標を構築するための撮像ユニットを少なくとも含むコンピュータビジョン位置決めモジュールと、
    地磁気信号軌跡を検出して地磁気信号座標を構築するための地磁気検出ユニットを少なくとも含む地磁気信号位置決めモジュールと、
    構築されたコンピュータビジョン座標及び地磁気信号座標を格納するデータベースと、現在位置及び走行軌跡を検出するための慣性測定ユニットとを少なくとも含み、該コンピュータビジョン座標と該地磁気信号座標とを組み合わせてコンピュータビジョンマップ及び地磁気データマップを生成するためのマップ構築モジュールと、
    構築された該コンピュータビジョン座標と該地磁気信号座標とに基づいて、コンピュータビジョンウェイトと地磁気信号ウェイトとを算出するとともに、該コンピュータビジョンウェイトと該地磁気信号ウェイトとに基づいてウェイト方程式に代入することで現在位置を統合推定するウェイトモジュールと、を備え、
    該ウェイト方程式は、
    Figure 2019212291
    であり、数式中、x、zは該コンピュータビジョン位置決めモジュールのx、y座標であり、Wは該コンピュータビジョンウェイトであり、x、zは該地磁気信号位置決めモジュールのx、y座標であり、Wは該地磁気信号ウェイトである、
    コンピュータビジョンと結合される地磁気信号に基づいた室内位置決めシステム。
  2. 該地磁気信号ウェイトは、地磁気信頼値に基づいて算出されたものであり、
    該地磁気信頼値は、構築時の地磁気指紋分布と現在測定された地磁気指紋分布とを照合して算出されたものであり、
    該地磁気信頼値を算出するための方程式は、
    Figure 2019212291
    であり、数式中、Xは地磁気信頼値であり、構築時の地磁気指紋分布はBx、By、Bzであり、検出時の地磁気指紋分布はBx’、By’、Bz’である、
    請求項1に記載の室内位置決めシステム。
  3. 該地磁気信号ウェイトを算出するための方程式は、
    Figure 2019212291
    であり、数式中、Wは地磁気信号ウェイトであり、Xは地磁気信頼値であり、eは指数関数である、
    請求項2に記載の室内位置決めシステム。
  4. 該コンピュータビジョンウェイトは、コンピュータビジョン信頼値に基づいて算出されたものであり、
    該コンピュータビジョン信頼値は、特徴点を取り出して形成された記述子の間のハミング距離を照合して算出されたものであり、
    該コンピュータビジョン信頼値を算出するための方程式は、
    Figure 2019212291
    であり、数式中、Xはコンピュータビジョン信頼値であり、nはビットを単位とする該記述子の大きさであり、eはビットを単位とする照合後のハミング距離である、
    請求項1に記載の室内位置決めシステム。
  5. 該記述子はSIFT−like記述子またはbinary記述子を含む、
    請求項4に記載の室内位置決めシステム。
  6. 該コンピュータビジョンウェイトを算出するための方程式は、
    Figure 2019212291
    であり、数式中、Wはコンピュータビジョンウェイトであり、Xはコンピュータビジョン信頼値であり、eは指数関数である、
    請求項5に記載の室内位置決めシステム。
  7. 該マップ構築モジュールは、画像フレームの次元を降下させ、照合に必要な時間を減少するためのBOW(Bag of Words)モデル学習モジュールを含む、
    請求項1に記載の室内位置決めシステム。
  8. 該マップ構築モジュールは、視覚慣性走行距離計測(Visual−Inertial Odometry、VIO)演算法により移動軌跡を追跡することで、該コンピュータビジョン座標を構築する、
    請求項1に記載の室内位置決めシステム。
  9. 該マップ構築モジュールは、粒子フィルタ演算法により磁場差異曲線移動軌跡を照合することで、該地磁気信号座標を構築する、
    請求項1に記載の室内位置決めシステム。
  10. 撮像ユニットにより周囲環境の空間画像を取得してコンピュータビジョン座標を構築する工程と、
    地磁気検出ユニットにより地磁気信号軌跡を検出して地磁気信号座標を構築する工程と、
    構築された該コンピュータビジョン座標及び該地磁気信号座標をデータベースで格納する工程と、
    慣性測定ユニットにより現在位置及び走行軌跡を検出することで該コンピュータビジョン座標と該地磁気信号座標とを組み合わせてコンピュータビジョンマップ及び地磁気データマップを生成する工程と、
    構築された該コンピュータビジョン座標と該地磁気信号座標とに基づいて、コンピュータビジョンウェイトと地磁気信号ウェイトとを算出するとともに、該コンピュータビジョンウェイトと該地磁気信号ウェイトとに基づいてウェイト方程式に代入することで現在位置を統合推定する工程と、を備え、
    該ウェイト方程式は、
    Figure 2019212291
    であり、数式中、x、zは該コンピュータビジョン座標のx、y座標であり、Wは該コンピュータビジョンウェイトであり、x、zは該地磁気信号座標のx、y座標であり、Wは該地磁気信号ウェイトである、
    コンピュータビジョンと結合される地磁気信号に基づいた室内位置決め方法。
  11. 該地磁気信号ウェイトは、地磁気信頼値に基づいて算出されたものであり、
    該地磁気信頼値は、構築時の地磁気指紋分布と現在測定された地磁気指紋分布とを照合して算出されたものであり、
    該地磁気信頼値を算出するための方程式は、
    Figure 2019212291
    であり、数式中、Xは地磁気信頼値であり、構築時の地磁気指紋分布はBx、By、Bzであり、検出時の地磁気指紋分布はBx’、By’、Bz’である、
    請求項10に記載の室内位置決め方法。
  12. 該地磁気信号ウェイトを算出するための方程式は、
    Figure 2019212291
    であり、数式中、Wは地磁気信号ウェイトであり、Xは地磁気信頼値であり、eは指数関数である、
    請求項11に記載の室内位置決め方法。
  13. 該コンピュータビジョンウェイトは、コンピュータビジョン信頼値に基づいて算出されたものであり、
    該コンピュータビジョン信頼値は、特徴点を取り出して形成された記述子の間のハミング距離を照合して算出されたものであり、
    該コンピュータビジョン信頼値を算出するための方程式は、
    Figure 2019212291
    であり、数式中、Xはコンピュータビジョン信頼値であり、nはビットを単位とする該記述子の大きさであり、eはビットを単位とする照合後のハミング距離である、
    請求項10に記載の室内位置決め方法。
  14. 該記述子はSIFT−like記述子またはbinary記述子を含む、
    請求項13に記載の室内位置決め方法。
  15. 該コンピュータビジョンウェイトを算出するための方程式は、
    Figure 2019212291
    であり、数式中、Wはコンピュータビジョンウェイトであり、Xはコンピュータビジョン信頼値であり、eは指数関数である、
    請求項13に記載の室内位置決め方法。
  16. 該コンピュータビジョン座標の構築は、画像フレームの次元を降下させ、照合に必要な時間を減少するためのBOW(Bag of Words)モデル学習モジュールを含む、
    請求項10に記載の室内位置決め方法。
  17. 該コンピュータビジョン座標は、視覚慣性走行距離計測(Visual−Inertial Odometry、VIO)演算法により移動軌跡を追跡することで構築される、
    請求項10に記載の室内位置決め方法。
  18. 該コンピュータビジョン座標は、粒子フィルタ演算法により磁場差異曲線移動軌跡を照合することで構築される、
    請求項10に記載の室内位置決め方法。
JP2019062813A 2018-06-07 2019-03-28 コンピュータビジョンと結合される地磁気信号に基づいた室内位置決めシステム及び方法 Active JP6820967B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862681721P 2018-06-07 2018-06-07
US62/681,721 2018-06-07
TW107145464 2018-12-17
TW107145464A TWI671740B (zh) 2018-06-07 2018-12-17 基於地磁訊號結合電腦視覺的室內定位系統及方法

Publications (2)

Publication Number Publication Date
JP2019212291A true JP2019212291A (ja) 2019-12-12
JP6820967B2 JP6820967B2 (ja) 2021-01-27

Family

ID=68618732

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019062813A Active JP6820967B2 (ja) 2018-06-07 2019-03-28 コンピュータビジョンと結合される地磁気信号に基づいた室内位置決めシステム及び方法

Country Status (4)

Country Link
US (1) US10645668B2 (ja)
JP (1) JP6820967B2 (ja)
CN (1) CN110579207B (ja)
TW (1) TWI671740B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112367614A (zh) * 2020-10-27 2021-02-12 华南师范大学 一种基于LSTM的Wi-Fi与地磁场融合的室内定位算法
CN114222240A (zh) * 2021-10-29 2022-03-22 中国石油大学(华东) 一种基于粒子滤波的多源融合定位方法
CN114543791A (zh) * 2022-01-20 2022-05-27 长安大学 基于地磁特征量的高精度实时导航定位方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI671740B (zh) * 2018-06-07 2019-09-11 光禾感知科技股份有限公司 基於地磁訊號結合電腦視覺的室內定位系統及方法
CN111432368B (zh) * 2020-03-31 2022-10-21 中国人民解放军国防科技大学 一种适用于稀疏锚节点wsn的测距定位方法
CN111783849B (zh) * 2020-06-15 2022-10-28 清华大学 一种室内定位方法、装置、电子设备及存储介质
CN112013842A (zh) * 2020-08-29 2020-12-01 桂林电子科技大学 一种基于图像地磁场和惯性传感器的多模态室内定位方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8498811B2 (en) * 2011-02-09 2013-07-30 SenionLab AB Method and device for indoor positioning
US9109889B2 (en) * 2011-06-24 2015-08-18 Trimble Navigation Limited Determining tilt angle and tilt direction using image processing
US9134127B2 (en) * 2011-06-24 2015-09-15 Trimble Navigation Limited Determining tilt angle and tilt direction using image processing
US8818424B2 (en) * 2013-01-03 2014-08-26 Qualcomm Incorporated Inter-AP distance estimation using crowd sourcing
CN104390643B (zh) * 2014-11-24 2017-05-31 上海赛特斯信息科技股份有限公司 基于多信息融合实现室内定位的方法
US10114464B2 (en) * 2015-06-30 2018-10-30 Stmicroelectronics S.R.L. Device and method for determination of angular position in three-dimensional space, and corresponding electronic apparatus
US9772395B2 (en) * 2015-09-25 2017-09-26 Intel Corporation Vision and radio fusion based precise indoor localization
JP2017067469A (ja) * 2015-09-28 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
WO2017058732A1 (en) * 2015-09-28 2017-04-06 Nextnav, Llc Altitude-based indoor or outdoor detection
GB2551521A (en) * 2016-06-20 2017-12-27 Nokia Technologies Oy Distributed audio capture and mixing controlling
CN106403955A (zh) * 2016-10-13 2017-02-15 北京国承万通信息科技有限公司 定位方法及***
CN106648116B (zh) * 2017-01-22 2023-06-20 隋文涛 一种基于动作捕捉的虚拟现实综合***
CN106843484B (zh) * 2017-01-22 2019-12-13 隋文涛 一种融合室内定位数据与动作捕捉数据的方法
CN107339990B (zh) * 2017-06-27 2020-05-08 北京邮电大学 多模式融合定位***及方法
CN107576325B (zh) * 2017-08-25 2019-10-11 北京麦钉艾特科技有限公司 一种融合视觉里程计和磁传感器的室内定位终端
CN107830862A (zh) * 2017-10-13 2018-03-23 桂林电子科技大学 一种基于智能手机的室内定位行人追踪的方法
TWI671740B (zh) * 2018-06-07 2019-09-11 光禾感知科技股份有限公司 基於地磁訊號結合電腦視覺的室內定位系統及方法
US10262437B1 (en) * 2018-10-31 2019-04-16 Booz Allen Hamilton Inc. Decentralized position and navigation method, device, and system leveraging augmented reality, computer vision, machine learning, and distributed ledger technologies

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112367614A (zh) * 2020-10-27 2021-02-12 华南师范大学 一种基于LSTM的Wi-Fi与地磁场融合的室内定位算法
CN112367614B (zh) * 2020-10-27 2022-10-21 华南师范大学 一种基于LSTM的Wi-Fi与地磁场融合的室内定位算法
CN114222240A (zh) * 2021-10-29 2022-03-22 中国石油大学(华东) 一种基于粒子滤波的多源融合定位方法
CN114543791A (zh) * 2022-01-20 2022-05-27 长安大学 基于地磁特征量的高精度实时导航定位方法
CN114543791B (zh) * 2022-01-20 2023-05-26 长安大学 基于地磁特征量的高精度实时导航定位方法

Also Published As

Publication number Publication date
US20190380106A1 (en) 2019-12-12
TWI671740B (zh) 2019-09-11
JP6820967B2 (ja) 2021-01-27
TW202001892A (zh) 2020-01-01
CN110579207A (zh) 2019-12-17
CN110579207B (zh) 2022-09-13
US10645668B2 (en) 2020-05-05

Similar Documents

Publication Publication Date Title
JP2019212291A (ja) コンピュータビジョンと結合される地磁気信号に基づいた室内位置決めシステム及び方法
Liu et al. Fusion of magnetic and visual sensors for indoor localization: Infrastructure-free and more effective
Xie et al. A reliability-augmented particle filter for magnetic fingerprinting based indoor localization on smartphone
CN109584276A (zh) 关键点检测方法、装置、设备及可读介质
Yin et al. Dynam-SLAM: An accurate, robust stereo visual-inertial SLAM method in dynamic environments
CN105424026A (zh) 一种基于点云轨迹的室内导航定位方法与***
Peng et al. CrowdGIS: Updating digital maps via mobile crowdsensing
Wang et al. Pedestrian heading estimation based on spatial transformer networks and hierarchical LSTM
WO2023083256A1 (zh) 位姿显示方法、装置及***、服务器以及存储介质
Peng et al. Indoor floor plan construction through sensing data collected from smartphones
CN114485640A (zh) 基于点线特征的单目视觉惯性同步定位与建图方法及***
US20230236219A1 (en) Visual inertial odometry with machine learning depth
Zhang et al. NaviGlass: Indoor Localisation Using Smart Glasses.
CN113721633B (zh) 一种基于行人轨迹预测的移动机器人路径规划方法
Wen et al. CAE-RLSM: Consistent and efficient redundant line segment merging for online feature map building
Cai et al. Multitask learning method for detecting the visual focus of attention of construction workers
Liu et al. Multi-modal context propagation for person re-identification with wireless positioning
Teng et al. SISE: Self-updating of indoor semantic floorplans for general entities
Wang et al. CrowdMagMap: Crowdsourcing based magnetic map construction for shopping mall
CA2894863A1 (en) Indoor localization using crowdsourced data
CN112396831A (zh) 一种交通标识的三维信息生成方法和装置
Gu et al. Spotlight: Hot target discovery and localization with crowdsourced photos
Liu et al. A visual SLAM method assisted by IMU and deep learning in indoor dynamic blurred scenes
Chai et al. Tourist Street View Navigation and Tourist Positioning Based on Multimodal Wireless Virtual Reality
Zhong et al. DynaTM-SLAM: Fast filtering of dynamic feature points and object-based localization in dynamic indoor environments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190328

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190805

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210105

R150 Certificate of patent or registration of utility model

Ref document number: 6820967

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250