CN110579207B - 基于地磁信号结合电脑视觉的室内定位***及方法 - Google Patents

基于地磁信号结合电脑视觉的室内定位***及方法 Download PDF

Info

Publication number
CN110579207B
CN110579207B CN201910250720.6A CN201910250720A CN110579207B CN 110579207 B CN110579207 B CN 110579207B CN 201910250720 A CN201910250720 A CN 201910250720A CN 110579207 B CN110579207 B CN 110579207B
Authority
CN
China
Prior art keywords
geomagnetic
computer vision
weight
geomagnetic signal
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910250720.6A
Other languages
English (en)
Other versions
CN110579207A (zh
Inventor
蔡弘亚
王友光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osense Technology Co ltd
Original Assignee
Osense Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osense Technology Co ltd filed Critical Osense Technology Co ltd
Publication of CN110579207A publication Critical patent/CN110579207A/zh
Application granted granted Critical
Publication of CN110579207B publication Critical patent/CN110579207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/04—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means
    • G01C21/08—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means involving use of the magnetic field of the earth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/003—Locating users or terminals or network equipment for network management purposes, e.g. mobility management locating network equipment
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1654—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with electromagnetic compass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Geology (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)
  • Measurement Of Length, Angles, Or The Like Using Electric Or Magnetic Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于地磁信号结合电脑视觉的室内定位***及方法，包括电脑视觉定位模块取得周围环境的空间影像以建立电脑视觉坐标；地磁信号定位模块用以检测地磁信号轨迹以建立地磁信号坐标；地图建置模块包括用以存储已经建立的电脑视觉坐标及地磁信号坐标的数据库、以及用以检测目前位置以及行走轨迹的惯性测量单元，以结合该电脑视觉坐标及该地磁信号坐标产生成为电脑视觉地图及地磁数据地图；以及权重模块根据所建立的该电脑视觉坐标及该地磁信号坐标，计算得出电脑视觉权重以及地磁信号权重，并根据该电脑视觉权重及该地磁信号权重带入权重方程式以整合估算当前位置。

Description

基于地磁信号结合电脑视觉的室内定位***及方法
技术领域
本发明涉及一种室内定位***，特别涉及一种基于地磁信号定位技术并结合电脑视觉定位技术的室内定位***。
背景技术
由于物联网的应用发展渐趋成熟，O2O(Online to Offline)的商业经营模式也进而成为炙手可热的产业，在其思维模式之下，室内定位技术因应而生，以提供O2O更多的选择以及策略结合。
现行的室内定位技术，多半是基于硬件设备的配置之上所建置，例如既有的Beacon或WiFi定位，其利用硬件设备之间的信号强度，通过三角定位的运算以得出目前移动装置的所在位置，但由于既有的Beacon或WiFi定位技术均需要通过配置大量蓝牙节点或增加WiFi路由器以达到精准定位的效果，大量仰赖硬件需求的结果，自然在初期建置成本上费用居高不下，更遑论营运的设备维护、更新等费用及技术问题。
为了降低设备成本，既有的技术包括电脑视觉定位(Computer VisionPositioning)及地磁信号定位(Geomagnetic Signals Positioning)，其中，电脑视觉定位主要借由运用VIO(Visual-Inertial Odometry)，通过摄像镜头记录室内影像以及空间的坐标***，以产生影像室内图资，并经比对当前影像与建置地图时记录的影像后找出最相似的结果以获取其坐标值并达完成定位；然而，室内定位的影像图资在需要定位的场域过大时，图资会过于庞大时，将会占用大量处理器运算，使***运行下降进而影响比对时间。
既有的地磁信号定位则是通过地磁信号进行室内定位，其建置室内影像图资时，同时记录地磁信号与室内空间的坐标***，最终产生一地磁室内图资；但由于地磁为波动信号，也就是在不同的时间下，会产生微幅波动，但信号相对关系是不变的，因此在使用者模式时，当使用者产生一定位移即可通过演算重新定位；然而，当场域过大时，所需要收敛的时间会比较久，也就是使用者要走较长的位移才能有效定位。
因此，在现有的室内定位技术均有不足之处，亟待加以改良，本公开发明人鉴于上述既有技术衍生的各项缺点加以改良创新，终于成功研发完成本发明的一种基于地磁信号结合电脑视觉的室内定位***。
发明内容
为达前述目的，本发明提供一种基于地磁信号结合电脑视觉的室内定位***，可提高室内定位的准确度。
本发明的基于地磁信号结合电脑视觉的室内定位***，包括：电脑视觉定位模块，其至少包括摄像单元，用以取得周围环境的空间影像以建立电脑视觉坐标；地磁信号定位模块，其至少包括地磁感测单元，用以检测地磁信号轨迹以建立地磁信号坐标；地图建置模块，其至少包括用以存储已经建立的电脑视觉坐标及地磁信号坐标的数据库、以及用以检测目前位置以及行走轨迹的惯性测量单元，以结合该电脑视觉坐标及该地磁信号坐标产生电脑视觉地图及地磁数据地图；以及权重模块，其根据所建立的该电脑视觉坐标及该地磁信号坐标，计算得出电脑视觉权重以及地磁信号权重，并根据该电脑视觉权重及该地磁信号权重带入权重方程式以整合估算当前位置；其中，该权重方程式为：
Figure BDA0002012320910000021
其中，x1,z1表示该电脑视觉定位模块的x,y坐标，W1表示该电脑视觉权重，x2,z2表示该地磁信号定位模块的x,y坐标，以及W2表示该地磁信号权重。
本发明另提供一种基于地磁信号结合电脑视觉的室内定位方法，其包括：通过摄像单元取得周围环境的空间影像以建立电脑视觉坐标；通过地磁感测单元检测地磁信号轨迹以建立地磁信号坐标；通过数据库存储已经建立的该电脑视觉坐标及该地磁信号坐标；通过惯性测量单元检测目前位置以及行走轨迹以结合该电脑视觉坐标及该地磁信号坐标产生电脑视觉地图及地磁数据地图；以及根据所建立的该电脑视觉坐标及该地磁信号坐标，计算得出电脑视觉权重以及地磁信号权重，并根据该电脑视觉权重及该地磁信号权重带入权重方程式以整合估算当前位置；其中，该权重方程式为：
Figure BDA0002012320910000031
其中，x1,z1表示该电脑视觉坐标的x,y坐标，W1表示该电脑视觉权重，x2,z2表示该地磁信号坐标的x,y坐标，以及W2表示该地磁信号权重。
如前所述的室内定位***及方法，其中，该地磁信号权重是基于地磁信心值所计算得出者，该地磁信心值是比对建置时的地磁指纹分布与当前测得的地磁指纹分布所计算得出者，其中，用以计算该地磁信心值的方程式为：
Figure BDA0002012320910000032
其中，X1为地磁信心值，建置时的地磁指纹分布为Bx,By,Bz，感测时的地磁指纹分布为Bx’,By’,Bz’。
如前所述的室内定位***及方法，其中，用以计算该地磁信号权重的方程式是：
Figure BDA0002012320910000033
其中，W2为地磁信号权重，X2为地磁信心值，及e为指数函数。
如前所述的室内定位***及方法，其中，该电脑视觉权重是基于电脑视觉信心值所计算得出者，该电脑视觉信心值比对获取特征点所形成的描述子之间的汉明距离所计算得出者，其中，用以计算该电脑视觉信心值的方程式为
Figure BDA0002012320910000034
其中，X2为电脑视觉信心值，n为该描述子大小，以位元为单位，及e为比对后的汉明距离以位元为单位。
如前所述的室内定位***及方法，其中，该描述子包括SIFT-like描述子或binary描述子。
如前所述的室内定位***及方法，其中，用以计算该电脑视觉权重的方程式是：
Figure BDA0002012320910000035
其中，W2为电脑视觉权重，X2为电脑视觉信心值，及e为指数函数。
如前所述的室内定位***及方法，还包括BOW(Bag of Words)模型学习模块，用以降低影像帧的维度，以减少比对所需时间。
如前所述的室内定位***及方法，更通过视觉惯性里程计(Visual-InertialOdometry,VIO)演算法追踪移动轨迹以建立该电脑视觉坐标。
如前所述的室内定位***及方法，更通过粒子滤波演算法比对磁场差异曲线移动轨迹，以建立该地磁信号坐标。
无论是基于电脑视觉或是地磁信号的定位技术都存在一定的缺陷，本发明通过此二技术的优劣互补，进一步提升定位精准度，其核心原理就是通过设计一个权重模型模块；也就是每时每刻电脑视觉定位***及地磁信号定位***会分别提供一组使用者坐标，完美状况为此二坐标完全一致，以确定使用者确实处在那个位置；然而，大多数状况中，此二坐标极为相近但不一致，甚至在极低的机率下，此二***会给出极端不同的坐标，因此本发明提供权重模型，目的是为了解决当此二***判定使用者完全处在不同地方时，要以哪个***的判定为结果。此一权重模块将会引入双***的权重值，并根据此二权重值套以一机率模型以决定最终结果，此举将能解决少数状况下定位失准的问题。
附图说明
图1是本发明的基于地磁信号结合电脑视觉的室内定位***的***架构示意图。
图2是本发明的基于地磁信号结合电脑视觉的室内定位方法的步骤流程示意图。
附图标记说明：
10 室内定位***
11 电脑视觉定位模块
111 摄像单元
13 地磁信号定位模块
131 地磁感测单元
15 地图建置模块
151 数据库
153 惯性测量单元
17 权重模块
S21-S23 步骤
S31-S33 步骤
S41-S43 步骤。
具体实施方式
提供下列具体实施例以说明本发明，彼等熟悉该领域者于阅读本说明书的发明后无疑地可理解优点及技术效果。
其应理解，于本说明书及附随附图中所描述的结构、比例、尺寸等仅公开以配合本说明书的内容，以使彼等熟悉该领域者容易理解及阅读，而非意图将本发明限制于具体情况，也不具有技术上的实质意向。对该结构的任何修饰、比例关系的改变、或尺寸的调整应包含于本说明书的公开范围内而不影响本说明书的可生产效能及可达成目标。相对关系的改变或调整而没有实质上改变技术内容，其也应认定为落入实施的范围内。
请参考图1所示，本发明是一种基于地磁信号结合电脑视觉的室内定位***10，包括：电脑视觉定位模块11，地磁信号定位模块13、地图建置模块15、以及权重模块17。
电脑视觉定位模块11包括摄像单元111取得周围环境的空间影像以建立电脑视觉坐标，其通过摄像单元111所拍摄到的影像，与数据库151中已经建置的影像做比对，通过视觉惯性里程计(Visual-Inertial Odometry,VIO)演算法，找出最相似的影像并取其相对应的坐标值，以确认使用者当前坐标。当室内场域过大时，传统影像比对方法所需时间过长，本发明进一步包括使用BOW(Bag of Words)模型学习模块降低影像帧的维度，通过机器学习架构，将每一帧影像降维存储，以减少比对所需时间。
地磁信号定位模块13包括地磁感测单元131，用以检测地磁信号轨迹以建立地磁信号坐标。地磁信号定位模块13于建立该地磁信号坐标时，通过地磁感测单元131感测当前地磁信号与数据库151中的地磁信号比对，以找出相符结果；由于地磁信号为波动信号，在不同的时刻下地磁信号会有不同的偏移值，也就是地磁感测单元容易因外在磁场而磁化产生不同的初始值，因此不同时间量测同一位置的磁场实际强度值可能有所改变，但若沿着一轨迹移动，磁场的差异值是固定的，也就是地磁定位模块所比对的不是每一个位置点的磁场实际强度值，而是比对一个轨迹下的磁场差异曲线，并通过粒子滤波演算法定位。然而，当场域过大时，粒子收敛所需时间较长，因此本发明进一步融合电脑视觉定位，以便在使用者体验上做提升。
地图建置模块15可以是基于智能手机上开发的应用软件，包括数据库151存储已经建立的电脑视觉坐标及地磁信号坐标，并可存取智能手机中的摄像单元111、地磁感测单元131、以及进一步通过惯性测量单元153检测目前位置以及行走轨迹，使用者用户能开启应用软件并任意的起始及行走，通过VIO演算法追踪用户轨迹且建立起坐标***，搜集轨迹上的影像及地磁数据，结合该电脑视觉坐标及该地磁信号坐标成为电脑视觉地图及地磁数据地图。
权重模块17根据所建立的该电脑视觉坐标及该地磁信号坐标，计算电脑视觉信心值及地磁信心值，进一步计算出电脑视觉权重及地磁信号权重。
该地磁信心值是比对建置时的地磁指纹分布与当前测得的地磁指纹分布所计算得出者，其中，用以计算该地磁信心值的方程式为：
Figure BDA0002012320910000061
其中，X1为地磁信心值，建置时的地磁指纹分布为Bx,By,Bz，感测时的地磁指纹分布为Bx’,By’,Bz’。
得出地磁信心值后，进一步计算地磁信号权重。用以计算该地磁信号权重的方程式是：
Figure BDA0002012320910000062
其中，W2为地磁信号权重，X2为地磁信心值，且e为指数函数。
电脑视觉信心值比对获取特征点所形成的描述子之间的汉明距离所计算得出者，在电脑视觉识别中分为三个步骤：1.特征点获取(Feature Detection)；2.描述子(Descriptor Generation)生成；3.比对(Matching)。
描述子为一串描述特征点的字串，可分为SIFT-like描述子与binary描述子，主要差别为准确度与计算效率。本发明的实施例中，为求着重计算效率，因此使用binary描述子，用以表示特征点周围的影像强度分布，通过比对描述子之间的汉明距离(HammingDistance)，换算出电脑视觉信心值。用以计算该电脑视觉信心值的方程式为：
Figure BDA0002012320910000071
其中，X2为电脑视觉信心值，n为该描述子大小，其以位元为单位，及e为比对后的汉明距离，其以位元为单位。
再而，基于该电脑视觉信心值，计算出电脑视觉权重。用以计算该电脑视觉权重的方程式是：
Figure BDA0002012320910000072
其中，W2为电脑视觉权重，X2为电脑视觉信心值，且e为指数函数。
得到电脑视觉权重以及地磁信号权重后，将该电脑视觉权重及该地磁信号权重带入权重方程式以整合估算当前位置，该权重方程式为：
Figure BDA0002012320910000073
其中，x1,z1表示该电脑视觉定位模块的x,y坐标，W1表示该电脑视觉权重，x2,z2表示该地磁信号定位模块的x,y坐标，以及W2表示该地磁信号权重。
借由权重模块17整合电脑视觉定位模块及地磁信号定位模块，并给予权重，以增加***容错率、精准度、鲁棒性及可用性；本发明兼具上述电脑视觉定位及地磁信号定位的特型及适用场合，在场景较单纯不容易有大规模改动或有大型器械载具穿梭其中的场合，电脑视觉识别定位可以达到非常好的效果，但在场景相对复杂及人行走较为密集的场合，地磁信号定位将发挥其不受路人等物件干扰的特性，达到极高的识别精准度。权重模块17根据电脑视觉信心值，引入基于高斯的机率函式，得到电脑视觉权重值，并根据地磁信号轨迹上的磁场差异值与地磁指纹地图的差异值做比对，累积轨迹上的误差值进而引入基于高斯的机率函式，以得到地磁信号权重值。也就是，通过权重整合的模型，本发明的室内定位***不需要仰赖单一***，因而能增加***多样性、稳定性及精准度。
如图2所示，本发明的一种基于地磁信号结合电脑视觉的室内定位方法包括：步骤S21：通过摄像单元取得周围环境的空间影像；步骤S22：使用视觉惯性里程计(Visual-Inertial Odometry,VIO)演算法追踪移动轨迹；步骤S23：建立电脑视觉坐标；步骤S31：通过地磁感测单元检测地磁信号轨迹；步骤S32：使用粒子滤波演算法比对磁场差异曲线移动轨迹；步骤S33：建立该地磁信号坐标；步骤S41：通过数据库存储已经建立的电脑视觉坐标及地磁信号坐标；步骤S42：通过惯性测量单元检测目前位置以及行走轨迹以结合该电脑视觉坐标及该地磁信号坐标成为电脑视觉地图及地磁数据地图；步骤S43：根据所建立的该电脑视觉坐标及该地磁信号坐标，计算得出电脑视觉权重以及地磁信号权重，以根据该电脑视觉权重及该地磁信号权重带入权重方程式而整合估算当前位置。
上列详细说明为针对本发明的一可行实施例的具体说明，而该实施例并非用以限制本发明的权利要求，凡未脱离本发明技艺精神所为的等效实施或变更，均应包含于本公开的权利要求范围内。
综上所述，本公开不但在技术思想上确属创新，并能较现有技术增进上述多项技术效果，应以充分符合新颖性及创造性的法定发明专利要件。

Claims (14)

1.一种基于地磁信号结合电脑视觉的室内定位***，其特征在于，包括：
电脑视觉定位模块，其至少包括摄像单元用以取得周围环境的空间影像，以由该电脑视觉定位模块根据该周围环境的空间影像及通过视觉惯性里程计演算法追踪移动轨迹以建立电脑视觉坐标；
地磁信号定位模块，其至少包括地磁感测单元用以检测地磁信号轨迹，以由该地磁信号定位模块根据该地磁信号轨迹及通过粒子滤波演算法比对磁场差异曲线移动轨迹以建立地磁信号坐标；
地图建置模块，其至少包括用以存储已通过该视觉惯性里程计演算法追踪移动轨迹所建立的该电脑视觉坐标及已通过该粒子滤波演算法比对磁场差异曲线移动轨迹所建立的该地磁信号坐标的数据库、以及用以检测目前位置及行走轨迹的惯性测量单元，以由该地图建置模块将该惯性测量单元所检测的该目前位置及该行走轨迹结合已通过该视觉惯性里程计演算法追踪移动轨迹所建立的该电脑视觉坐标及已通过该粒子滤波演算法比对磁场差异曲线移动轨迹所建立的该地磁信号坐标产生电脑视觉地图及地磁数据地图；以及
权重模块，其根据已通过该视觉惯性里程计演算法追踪移动轨迹所建立的该电脑视觉坐标及已通过该粒子滤波演算法比对磁场差异曲线移动轨迹所建立的该地磁信号坐标计算得出电脑视觉权重及地磁信号权重，再将根据已通过该视觉惯性里程计演算法追踪移动轨迹所建立的该电脑视觉坐标及已通过该粒子滤波演算法比对磁场差异曲线移动轨迹所建立的该地磁信号坐标所计算得出的该电脑视觉权重及该地磁信号权重带入权重方程式以整合估算当前位置；
其中，该权重方程式为：
Figure FDA0003542008910000011
其中，x1,z1表示该电脑视觉坐标的x,y坐标，W1表示该电脑视觉权重，x2,z2表示该地磁信号坐标的x,y坐标，以及W2表示该地磁信号权重。
2.根据权利要求1所述的室内定位***，其特征在于，该地磁信号权重是基于地磁信心值所计算得出者，该地磁信心值是比对建置时的地磁指纹分布与当前测得的地磁指纹分布所计算得出者，其中，用以计算该地磁信心值的方程式为：
Figure FDA0003542008910000021
其中，X1为地磁信心值，建置时的地磁指纹分布为Bx,By,Bz，感测时的地磁指纹分布为Bx’,By’,Bz’。
3.根据权利要求2所述的室内定位***，其特征在于，用以计算该地磁信号权重的方程式是：
Figure FDA0003542008910000022
其中，W2为地磁信号权重，X2为地磁信心值，及e为指数函数。
4.根据权利要求1所述的室内定位***，其特征在于，该电脑视觉权重是基于电脑视觉信心值所计算得出者，该电脑视觉信心值比对获取特征点所形成的描述子之间的汉明距离所计算得出者，其中，用以计算该电脑视觉信心值的方程式为
Figure FDA0003542008910000023
其中，X2为电脑视觉信心值，n为该描述子大小，以位元为单位，及e为比对后的汉明距离，以位元为单位。
5.根据权利要求4所述的室内定位***，其特征在于，该描述子包括SIFT-like描述子或binary描述子。
6.根据权利要求5所述的室内定位***，其特征在于，用以计算该电脑视觉权重的方程式是：
Figure FDA0003542008910000024
其中，W2为电脑视觉权重，X2为电脑视觉信心值，及e为指数函数。
7.根据权利要求1所述的室内定位***，其特征在于，该地图建置模块包括BOW模型学习模块，用以降低影像帧的维度，以减少比对所需时间。
8.一种基于地磁信号结合电脑视觉的室内定位方法，其特征在于，包括：
由电脑视觉定位模块的摄像单元取得周围环境的空间影像，以由该电脑视觉定位模块根据该周围环境的空间影像及通过视觉惯性里程计演算法追踪移动轨迹以建立电脑视觉坐标；
由地磁信号定位模块的地磁感测单元检测地磁信号轨迹，以由该地磁信号定位模块根据该地磁信号轨迹及通过粒子滤波演算法比对磁场差异曲线移动轨迹以建立地磁信号坐标；
由地图建置模块的数据库存储已通过该视觉惯性里程计演算法追踪移动轨迹所建立的该电脑视觉坐标及已通过该粒子滤波演算法比对磁场差异曲线移动轨迹所建立的该地磁信号坐标；
由该地图建置模块的惯性测量单元检测目前位置及行走轨迹，以由该地图建置模块将该惯性测量单元所检测的该目前位置及该行走轨迹结合已通过该视觉惯性里程计演算法追踪移动轨迹所建立的该电脑视觉坐标及已通过该粒子滤波演算法比对磁场差异曲线移动轨迹所建立的该地磁信号坐标产生电脑视觉地图及地磁数据地图；以及
由权重模块根据已通过该视觉惯性里程计演算法追踪移动轨迹所建立的该电脑视觉坐标及已通过该粒子滤波演算法比对磁场差异曲线移动轨迹所建立的该地磁信号坐标计算得出电脑视觉权重及地磁信号权重，再将根据已通过该视觉惯性里程计演算法追踪移动轨迹所建立的该电脑视觉坐标及已通过该粒子滤波演算法比对磁场差异曲线移动轨迹所建立的该地磁信号坐标所计算得出的该电脑视觉权重及该地磁信号权重带入权重方程式以整合估算当前位置；
其中，该权重方程式为：
Figure FDA0003542008910000031
其中，x1,z1表示该电脑视觉坐标的x,y坐标，W1表示该电脑视觉权重，x2,z2表示该地磁信号坐标的x,y坐标，以及W2表示该地磁信号权重。
9.根据权利要求8所述的室内定位方法，其特征在于，该地磁信号权重是基于地磁信心值所计算得出者，该地磁信心值是比对建置时的地磁指纹分布与当前测得的地磁指纹分布所计算得出者，其中，用以计算该地磁信心值的方程式为：
Figure FDA0003542008910000032
其中，X1为地磁信心值，建置时的地磁指纹分布为Bx,By,Bz，感测时的地磁指纹分布为Bx’,By’,Bz’。
10.根据权利要求9所述的室内定位方法，其特征在于，用以计算该地磁信号权重的方程式是：
Figure FDA0003542008910000033
其中，W2为地磁信号权重，X2为地磁信心值，及e为指数函数。
11.根据权利要求8所述的室内定位方法，其特征在于，该电脑视觉权重是基于电脑视觉信心值所计算，该电脑视觉信心值比对获取特征点所形成的描述子之间的汉明距离所计算得出者，其中，用以计算该电脑视觉信心值的方程式为
Figure FDA0003542008910000041
其中，X2为电脑视觉信心值，n为该描述子大小，以位元为单位，及e为比对后的汉明距离，位元为单位。
12.根据权利要求11所述的室内定位方法，其特征在于，该描述子包括SIFT-like描述子或binary描述子。
13.根据权利要求11所述的室内定位方法，其特征在于，用以计算该电脑视觉权重的方程式是：
Figure FDA0003542008910000042
其中，W2为电脑视觉权重，X2为电脑视觉信心值，及e为指数函数。
14.根据权利要求8所述的室内定位方法，其特征在于，该建立电脑视觉坐标包括BOW模型学习模块降低影像帧的维度，以减少比对所需时间。
CN201910250720.6A 2018-06-07 2019-03-29 基于地磁信号结合电脑视觉的室内定位***及方法 Active CN110579207B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862681721P 2018-06-07 2018-06-07
US62/681,721 2018-06-07
TW107145464 2018-12-17
TW107145464A TWI671740B (zh) 2018-06-07 2018-12-17 基於地磁訊號結合電腦視覺的室內定位系統及方法

Publications (2)

Publication Number Publication Date
CN110579207A CN110579207A (zh) 2019-12-17
CN110579207B true CN110579207B (zh) 2022-09-13

Family

ID=68618732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910250720.6A Active CN110579207B (zh) 2018-06-07 2019-03-29 基于地磁信号结合电脑视觉的室内定位***及方法

Country Status (4)

Country Link
US (1) US10645668B2 (zh)
JP (1) JP6820967B2 (zh)
CN (1) CN110579207B (zh)
TW (1) TWI671740B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI671740B (zh) * 2018-06-07 2019-09-11 光禾感知科技股份有限公司 基於地磁訊號結合電腦視覺的室內定位系統及方法
CN111432368B (zh) * 2020-03-31 2022-10-21 中国人民解放军国防科技大学 一种适用于稀疏锚节点wsn的测距定位方法
CN111783849B (zh) * 2020-06-15 2022-10-28 清华大学 一种室内定位方法、装置、电子设备及存储介质
CN112013842A (zh) * 2020-08-29 2020-12-01 桂林电子科技大学 一种基于图像地磁场和惯性传感器的多模态室内定位方法
CN112367614B (zh) * 2020-10-27 2022-10-21 华南师范大学 一种基于LSTM的Wi-Fi与地磁场融合的室内定位算法
CN114222240A (zh) * 2021-10-29 2022-03-22 中国石油大学(华东) 一种基于粒子滤波的多源融合定位方法
CN114543791B (zh) * 2022-01-20 2023-05-26 长安大学 基于地磁特征量的高精度实时导航定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104390643A (zh) * 2014-11-24 2015-03-04 上海美琦浦悦通讯科技有限公司 基于多信息融合实现室内定位的方法
CN107339990A (zh) * 2017-06-27 2017-11-10 北京邮电大学 多模式融合定位***及方法
CN107576325A (zh) * 2017-08-25 2018-01-12 北京麦钉艾特科技有限公司 一种融合视觉里程计和磁传感器的室内定位终端
CN107830862A (zh) * 2017-10-13 2018-03-23 桂林电子科技大学 一种基于智能手机的室内定位行人追踪的方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8498811B2 (en) * 2011-02-09 2013-07-30 SenionLab AB Method and device for indoor positioning
US9134127B2 (en) * 2011-06-24 2015-09-15 Trimble Navigation Limited Determining tilt angle and tilt direction using image processing
US9109889B2 (en) * 2011-06-24 2015-08-18 Trimble Navigation Limited Determining tilt angle and tilt direction using image processing
US8818424B2 (en) * 2013-01-03 2014-08-26 Qualcomm Incorporated Inter-AP distance estimation using crowd sourcing
US10114464B2 (en) * 2015-06-30 2018-10-30 Stmicroelectronics S.R.L. Device and method for determination of angular position in three-dimensional space, and corresponding electronic apparatus
US9772395B2 (en) * 2015-09-25 2017-09-26 Intel Corporation Vision and radio fusion based precise indoor localization
EP3356765A1 (en) * 2015-09-28 2018-08-08 NextNav, LLC Altitude-based indoor or outdoor detection
JP2017067469A (ja) * 2015-09-28 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
GB2551521A (en) * 2016-06-20 2017-12-27 Nokia Technologies Oy Distributed audio capture and mixing controlling
CN106403955A (zh) * 2016-10-13 2017-02-15 北京国承万通信息科技有限公司 定位方法及***
CN106843484B (zh) * 2017-01-22 2019-12-13 隋文涛 一种融合室内定位数据与动作捕捉数据的方法
CN106648116B (zh) * 2017-01-22 2023-06-20 隋文涛 一种基于动作捕捉的虚拟现实综合***
TWI671740B (zh) * 2018-06-07 2019-09-11 光禾感知科技股份有限公司 基於地磁訊號結合電腦視覺的室內定位系統及方法
US10262437B1 (en) * 2018-10-31 2019-04-16 Booz Allen Hamilton Inc. Decentralized position and navigation method, device, and system leveraging augmented reality, computer vision, machine learning, and distributed ledger technologies

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104390643A (zh) * 2014-11-24 2015-03-04 上海美琦浦悦通讯科技有限公司 基于多信息融合实现室内定位的方法
CN107339990A (zh) * 2017-06-27 2017-11-10 北京邮电大学 多模式融合定位***及方法
CN107576325A (zh) * 2017-08-25 2018-01-12 北京麦钉艾特科技有限公司 一种融合视觉里程计和磁传感器的室内定位终端
CN107830862A (zh) * 2017-10-13 2018-03-23 桂林电子科技大学 一种基于智能手机的室内定位行人追踪的方法

Also Published As

Publication number Publication date
TWI671740B (zh) 2019-09-11
US10645668B2 (en) 2020-05-05
TW202001892A (zh) 2020-01-01
JP6820967B2 (ja) 2021-01-27
CN110579207A (zh) 2019-12-17
JP2019212291A (ja) 2019-12-12
US20190380106A1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
CN110579207B (zh) 基于地磁信号结合电脑视觉的室内定位***及方法
Xie et al. A reliability-augmented particle filter for magnetic fingerprinting based indoor localization on smartphone
Mohssen et al. It's the human that matters: Accurate user orientation estimation for mobile computing applications
KR102226846B1 (ko) Ｉｍｕ 센서와 카메라를 이용한 하이브리드 실내 측위 시스템
AU2018421458B2 (en) Initial alignment system and method for strap-down inertial navigation of shearer based on optical flow method
Ruotsalainen et al. Visual-aided two-dimensional pedestrian indoor navigation with a smartphone
CN108549376A (zh) 一种基于信标的导航定位方法及***
Wang et al. Pedestrian heading estimation based on spatial transformer networks and hierarchical LSTM
CN111595344B (zh) 一种基于地图信息辅助的多姿态下行人行位推算方法
CN112729301A (zh) 一种基于多源数据融合的室内定位方法
JP7339314B2 (ja) 室内測位および追跡のための深層スマートフォンセンサ融合
Sun et al. Indoor localization using mind evolutionary algorithm-based geomagnetic positioning and smartphone IMU sensors
CN112362044A (zh) 室内定位方法、装置、设备和***
CN116007609A (zh) 一种多光谱图像和惯导融合的定位方法和计算***
Wu et al. CWIWD-IPS: A crowdsensing/walk-surveying inertial/Wi-Fi data-driven indoor positioning system
Wang et al. CrowdMagMap: Crowdsourcing based magnetic map construction for shopping mall
CN106767770A (zh) 一种基于便携智能设备的用户行走方向检测与追踪方法
Chen et al. Pedestrian positioning with physical activity classification for indoors
CN115235455B (zh) 一种基于智能手机pdr与视觉修正的行人定位方法
Qian et al. Optical flow based step length estimation for indoor pedestrian navigation on a smartphone
CN112087728A (zh) 获取Wi-Fi指纹空间分布的方法、装置和电子设备
GB2616940A (en) Passive combined indoor positioning system and method based on intelligent terminal sensor
Yang et al. Real-time infrastructureless indoor tracking for pedestrian using a smartphone
TWI803043B (zh) 混合型室內定位系統
Almansoub et al. Multi-scale vehicle localization in underground parking lots by integration of dead reckoning, Wi-Fi and vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40013088

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant