CN106447585A - 城市地区和室内高精度视觉定位***及方法 - Google Patents
城市地区和室内高精度视觉定位***及方法 Download PDFInfo
- Publication number
- CN106447585A CN106447585A CN201610847459.4A CN201610847459A CN106447585A CN 106447585 A CN106447585 A CN 106447585A CN 201610847459 A CN201610847459 A CN 201610847459A CN 106447585 A CN106447585 A CN 106447585A
- Authority
- CN
- China
- Prior art keywords
- feature
- image
- information
- dimensional
- vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 230000000007 visual effect Effects 0.000 title claims abstract description 25
- 230000008569 process Effects 0.000 claims abstract description 49
- 238000013507 mapping Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims description 35
- 230000008878 coupling Effects 0.000 claims description 26
- 238000010168 coupling process Methods 0.000 claims description 26
- 238000005859 coupling reaction Methods 0.000 claims description 26
- 230000004807 localization Effects 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 239000007787 solid Substances 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 238000012512 characterization method Methods 0.000 claims description 5
- 238000011084 recovery Methods 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims 2
- 238000005516 engineering process Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 239000000203 mixture Substances 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000013589 supplement Substances 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 208000037805 labour Diseases 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010181 polygamy Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
Landscapes
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
一种城市地区和室内高精度视觉定位***及方法，用于基于视觉传感器采集周围环境图像信息而实现高精度定位的城市地区和室内定位，包括在视觉传感器拍摄场景图像信息后计算并提取图像的显著特征信息；根据显著特征信息，在数字三维模型的特征信息库中进行相似度识别与匹配；根据图像特征匹配过程所记录下的匹配坐标信息，恢复从三维场景到二维图像的几何映射关系，并建立由图像二维坐标到三维空间坐标的相机交会模型，确定视觉传感器设备及动态用户的三维位置和姿态信息；接收视觉传感器拍摄的众源图像信息，重新构建或更新真实场景相应数字三维模型，并更新特征信息库。本发明能够保证在周围环境发生变化时提供稳健的可持续定位能力。
Description
技术领域
本发明涉及城市地区和室内导航定位技术领域，具体涉及一种通过用户视觉传感器采集图像信息和提取特征，并通过利用与三维模型的特征匹配构建相机交会的立体几何映射，在城市峡谷和室内提供厘米级的高精度定位技术，为将来无人驾驶和室内定位提供有效的技术支撑。
背景技术
当今社会，人们对导航定位信息的需求日益增长。随着科学技术的飞速发展，以GNSS(Global Navigation Satellite System,全球导航卫星***)为代表的天基定位***时刻为全球用户提供全天候、低成本的定位、导航与授时服务。然而，天基定位***在城市地区和室内面临着越来越多的环境限制。例如在城市中心商业区，由于高层建筑对射频信号的遮挡和多路径干扰等现象的存在，用户设备无法连续跟踪卫星信号，导致定位结果出现等待时间长、精度低、连续性差等问题，严重时甚至无法定位。在室内环境中，多数情况下GNSS信号会因受建筑物的完全遮挡而无法用于定位。
为了改善天基定位***在城市地区的定位性能，提高整体导航定位结果的可靠性和连续性，辅助GNSS(A－GNSS)应运而生并将地面蜂窝网络和天基定位***进行融合。A－GNSS虽然能够提高天基卫星信号的搜索效率、缩短首次定位时间并在一定程度上减少定位移动终端的功耗，然而对定位精度并无本质优化。
随着城市数字化和信息化进程的不断深入，数字城市乃至智慧城市逐渐成为未来城市发展的方向，并借助物联网、传感器网等构建全新的城市形态。研究人员已开始将Wi-Fi接入点AP或蓝牙等无线传感器用作定位源，借助指纹匹配定位原理实现城市和室内环境下的无缝定位。以Wi-Fi为例，其AP接入点在城市范围大量存在，虽然***易于搭建，应用范围广泛，然而信号覆盖范围有限，指纹库搭建阶段需耗费大量劳力，信号易受射频干扰，定位精度和定位结果稳定性差，功耗也较高。此外，当城市建筑物结构发生改变或对AP接入点进行更换时，整个定位***面临失效的风险。
随着无人车、虚拟现实、增强现实和混合现实等技术的发展，在城市峡谷地区和室内环境提供厘米级高精度定位服务在不远的将来将成为大众需求。由于这些定位环境的复杂性，上述诸类定位技术难以满足用户对精度、可靠性、连续性的要求。高端同步定位与制图***(Simultaneous Location and Mapping)能提供高精度、高可靠性定位技术，但其昂贵的硬件成本是实现大众普及的最大障碍。
发明内容
有鉴于此，本发明旨在提供一种针对城市地区和室内应用的高精度无缝定位方法，利用用户终端视觉传感器(如相机、录像机、智能手机等)采集周围场景图像信息，在不改造现有网络基础设施和用户终端传感器的前提下，实现厘米级实时定位。
本发明提供一种城市地区和室内高精度视觉定位***，用于基于视觉传感器采集周围环境图像信息而实现高精度定位的城市地区和室内定位，包括图像特征计算子单元、图像特征匹配子单元、相机交会计算子单元、特征库及三维模型更新子单元；其中，
图像特征计算子单元，用于在视觉传感器拍摄场景图像信息后计算并提取图像的显著特征信息；
图像特征匹配子单元，用于根据由所述图像特征计算子单元所确定的显著特征信息在数字三维模型的特征信息库中进行相似度识别与匹配，并记录下匹配后特征在图像中的二维坐标以及在真实场景中的三维地理坐标；
相机交会计算子单元，用于根据图像特征匹配子单元所记录下的匹配坐标信息，恢复从三维场景到二维图像的几何映射关系，并建立由图像二维坐标到三维空间坐标的相机交会模型，确定视觉传感器设备及动态用户的三维位置和姿态信息；
特征库及三维模型更新子单元，用于接收视觉传感器拍摄的众源图像信息，重新构建或更新真实场景相应数字三维模型，并更新特征信息库。
而且，定位环境包括室内及室外环境；
动态用户对象包括行人、机动车司机、机动车乘客、有人驾驶车辆和无人驾驶车辆；
所述视觉传感器包括智能手机、可穿戴设备、数码相机、摄影机、监视器、运动相机、行车记录仪、倒车照相机、深度相机；
而且，所述视觉传感器数量包括一台或多台；所述视觉传感器拍摄范围包括单方位、多方位和全方位视角。
而且，若使用机动车作为动态用户，视觉传感器的摆放位置包括车舱内和车舱外；视觉传感器摆放姿态包括前视、后视、左视、右视、侧视、俯视、仰视。
而且，数字三维模型的特征信息库中至少包括特征描述信息，以及与特征相对应的三维坐标信息，且所述特征的具体描述形式由所选取的特征提取算法决定。
而且，用于定位场景的数字三维模型及特征信息库的获取途径包括商业购买、网络资源获取和自主式构建。
而且，用于定位场景的数字三维模型及特征信息库的自主式构建实现方式，包括在云服务器中整合众源图像信息数据、提取并匹配众源图像场景特征、利用计算机视觉几何关系计算三维模型并记录特征信息库。
而且，所述图像特征计算子单元所计算并记录的特征信息，包括特征的平面坐标和表述此特征的各类统计信息值，所述特征的具体表述形式由所选取的特征提取算法决定。
而且，所述图像特征匹配子单元，采用概略用户位置信息，用于提高图像特征与特征信息库数据的匹配效率。
而且，图像特征匹配子单元通过对比图像特征中和特征信息库中特征的各类统计信息值，依据所选取特征匹配准则，确定从二维图像到三维模型的合适匹配，在一组匹配中至少记录下包括图像二维坐标和真实场景三维坐标。
而且，所述相机交会计算子单元包括错误特征匹配剔除和定位求解，
所述错误特征匹配剔除过程用于在所有的二维到三维的匹配映射中检测并查找出错误匹配，从而在进行所述定位求解前对错误匹配进行剔除；
所述定位求解通过恢复从真实场景中多个空间点的三维坐标到图像对应特征点的二维像素坐标的立体几何映射，确定视觉传感器或用户在已知坐标系下的位置和姿态信息。
而且，所述相机交会计算子单元还包括滤波器，用于对定位结果进行进一步滤波和优化处理。
而且，所述相机交会计算子单元将某单一视觉传感器位置作为求解对象并忽略其他视觉传感器，或采取联合处理方式将多台视觉传感器信息进行融合。
而且，所述特征库及三维模型更新子单元，不断接收由大量视觉传感器拍摄的众源图像和/或视频信息，在众源图像信息所涵盖的范围内重新构建或更新真实场景相应数字三维模型，并将新出现的特征及其对应三维坐标添加至原有特征信息库中，构建更新后的特征信息库，以用于提供稳健可靠的可持续定位功能。
本发明相应提供一种城市地区和室内高精度视觉定位方法，用于基于视觉传感器采集周围环境图像信息而实现高精度定位的城市地区和室内定位，包括图像特征计算过程、图像特征匹配过程、相机交会计算过程、特征库及三维模型更新过程；其中，
图像特征计算过程，用于在视觉传感器拍摄场景图像信息后计算并提取图像的显著特征信息；
图像特征匹配过程，用于根据由所述图像特征计算过程所确定的显著特征信息在数字三维模型的特征信息库中进行相似度识别与匹配，并记录下匹配后特征在图像中的二维坐标以及在真实场景中的三维地理坐标；
相机交会计算过程，用于根据图像特征匹配过程所记录下的匹配坐标信息，恢复从三维场景到二维图像的几何映射关系，并建立由图像二维坐标到三维空间坐标的相机交会模型，确定视觉传感器设备及动态用户的三维位置和姿态信息；
特征库及三维模型更新过程，用于接收视觉传感器拍摄的众源图像信息，重新构建或更新真实场景相应数字三维模型，并更新特征信息库。
而且，定位环境包括室内及室外环境；
动态用户对象包括行人、机动车司机、机动车乘客、有人驾驶车辆和无人驾驶车辆；
所述视觉传感器包括智能手机、可穿戴设备、数码相机、摄影机、监视器、运动相机、行车记录仪、倒车照相机、深度相机；
而且，所述视觉传感器数量包括一台或多台；所述视觉传感器拍摄范围包括单方位、多方位和全方位视角。
而且，若使用机动车作为动态用户，视觉传感器的摆放位置包括车舱内和车舱外；视觉传感器摆放姿态包括前视、后视、左视、右视、侧视、俯视、仰视。
而且，数字三维模型的特征信息库中至少包括特征描述信息，以及与特征相对应的三维坐标信息，且所述特征的具体描述形式由所选取的特征提取算法决定。
而且，用于定位场景的数字三维模型及特征信息库的获取途径包括商业购买、网络资源获取和自主式构建。
而且，用于定位场景的数字三维模型及特征信息库的自主式构建实现方式，包括在云服务器中整合众源图像信息数据、提取并匹配众源图像场景特征、利用计算机视觉几何关系计算三维模型并记录特征信息库。
而且，所述图像特征计算过程所计算并记录的特征信息，包括特征的平面坐标和表述此特征的各类统计信息值，所述特征的具体表述形式由所选取的特征提取算法决定。
而且，所述图像特征匹配过程，采用概略用户位置信息，用于提高图像特征与特征信息库数据的匹配效率。
而且，图像特征匹配过程通过对比图像特征中和特征信息库中特征的各类统计信息值，依据所选取特征匹配准则，确定从二维图像到三维模型的合适匹配，在一组匹配中至少记录下包括图像二维坐标和真实场景三维坐标。
而且，所述相机交会计算过程包括错误特征匹配剔除和定位求解，
所述错误特征匹配剔除过程用于在所有的二维到三维的匹配映射中检测并查找出错误匹配，从而在进行所述定位求解前对错误匹配进行剔除；
所述定位求解通过恢复从真实场景中多个空间点的三维坐标到图像对应特征点的二维像素坐标的立体几何映射，确定视觉传感器或用户在已知坐标系下的位置和姿态信息。
而且，所述相机交会计算过程还包括滤波器，用于对定位结果进行进一步滤波和优化处理。
而且，所述相机交会计算过程将某单一视觉传感器位置作为求解对象并忽略其他视觉传感器，或采取联合处理方式将多台视觉传感器信息进行融合。
而且，所述特征库及三维模型更新过程，不断接收由大量视觉传感器拍摄的众源图像和/或视频信息，在众源图像信息所涵盖的范围内重新构建或更新真实场景相应数字三维模型，并将新出现的特征及其对应三维坐标添加至原有特征信息库中，构建更新后的特征信息库，以用于提供稳健可靠的可持续定位功能。
本发明所提出的城市地区和室内高精度视觉定位技术方案具有以下有益效果：
(1)以手持或车载、穿戴式等移动视觉传感器设备所采集的图像或视频数据作为城市地区和室内环境下的直接观测信息，无需持续接收来自GNSS或WLAN的射频信号，避免了射频信号可能出现的多径和遮挡现象，从而实现连续定位；
(2)当所拍摄环境有足够的匹配特征点时，本发明所述的相机交会技术方案可有效避免传统定位方法中由于场景切换造成的定位结果跳变，低成本、高效率地实现厘米级定位；
(3)本发明所述技术方案所需硬件完全基于现有市场上可供应的设备(包括视觉传感器和云服务器等)，无需额外花费成本进行硬件改造和升级，并支持众源数据采集方式，极大减少所需耗费的劳力；
(4)通过本发明所述技术方案对周围环境进行图像采集，可实现对城市和室内数字三维模型的补充和更新，进而保证当周围环境或场景出现变化(如改变装饰布局、新建楼宇等)，该方案能够提供稳健的可持续定位能力。
附图说明
图1为现有技术的城市环境下GNSS卫星信号接收示意图
图2为本发明实施例的利用手持式移动设备拍摄室内图像信息示意图。
图3为本发明实施例利用头戴式视觉传感器设备实现城市地区高精度视觉定位方法示例图。
图4为本发明实施例利用车载式移动视觉传感器设备实现城市地区高精度视觉定位方法示例图。
图5为本发明实施例城市地区高精度视觉定位方法中的特征匹配示意图。
图6为本发明实施例图像平面坐标系o-xy、像机坐标系O-XcYcZc和大地坐标系Og-XgYgZg示意及转换关系图。
图7为本发明实施例所述定位信息获取数据流示意图。
图8为本发明实施例所述城市地区高精度视觉定位方法实施流程图。
具体实施方式
下面通过实施例及附图，对本发明的技术方案作进一步具体的说明。
首先描述城市环境下以射频信号为基础的用户定位信号接收情况。图1是描述了城市环境下GNSS卫星信号接收的示意图。
如图1所示，用户(汽车)行驶在高楼林立的城市峡谷中，GNSS天线持续接收来自导航卫星(包括但不局限于GPS、BeiDou、GLONASS、Galileo、WAAS、EGNOS、QZSS、GAGAN/IRNSS等)和(或)地基伪卫星的导航卫星射频信号。图1中由于高层建筑对射频信号的遮挡，用户可视范围内无法连续跟踪多颗卫星的导航信号，导致定位结果出现等待时间长、精度低、连续性差等问题，严重时甚至无法定位。
另一方面，视觉传感器能在很短(0.001-0.01秒)时间内通过图像或视频的方式捕获大量的高精度信息。当其处于外界光源覆盖范围内，周围场景图像或视频信息可随时被获取。由于城市地区建筑物林立，室内环境场景复杂，因此当用户位于城市地区或室内环境时，视觉传感器所采集的图像和(或)视频信息往往具有丰富多样和清晰可辨的边缘和(或)纹理特征，且不同场景间图像特征往往差异性大。
具体实施时，本发明所提供方法可基于软件技术实现自动运行流程，也可采用模块化方式实现相应***。
本发明实施例提供的视觉定位***包括图像特征计算子单元、图像特征匹配子单元、相机交会计算子单元、特征库及三维模型更新子单元四部分；其中，
图像特征计算子单元，用于在视觉传感器拍摄场景图像信息后计算并提取图像的显著特征信息；
图像特征匹配子单元，用于根据由所述图像特征计算子单元所确定的显著特征信息在数字三维模型的特征信息库中进行相似度识别与匹配，并记录下匹配后特征在图像中的二维坐标以及在真实场景中的三维地理坐标；
相机交会计算子单元，用于根据图像特征匹配子单元所记录下的匹配坐标信息，恢复从三维场景到二维图像的几何映射关系，并建立由图像二维坐标到三维空间坐标的相机交会模型，确定视觉传感器设备及动态用户的三维位置和姿态信息；
特征库及三维模型更新子单元，用于接收视觉传感器拍摄的众源图像信息，重新构建或更新真实场景相应数字三维模型，并更新特征信息库。
本发明适用的定位环境包括室内及室外环境。
本发明适用对象包括(但不限于)行人、机动车司机、机动车乘客、有人驾驶车辆和无人驾驶车辆等；本发明所使用视觉传感器平台包括(但不限于)智能手机、数码相机(包括普通数码相机)、运动相机、可穿戴设备(例如头戴式设备)、摄影机、监视器、(车辆前装或后装)行车记录仪、(车辆前装或后装)倒车照相机、深度相机等。如使用车辆平台，视觉传感器可摆放的位置包括车舱内和车舱外(包括车顶)；视觉传感器姿态可包括(但不限于)前视、后视、左视、右视、侧视等；视觉传感器数量既可为一台，亦可为多台；(一台或多台)视觉传感器可通过单方位、多方位或全方位视角观测并感知周围场景信息。
优选地，使用机动车作为动态用户，视觉传感器的摆放位置包括车舱内和车舱外。若使用机动车作为动态用户，视觉传感器摆放姿态包括前视、后视、左视、右视、侧视、俯视、仰视。
现将以手持移动设备为本发明的一个实施例来说明室内环境下利用所获取的图像信息作为定位信息源的示意图。如图2所示，用户手持移动终端位于室内厨房，通过移动终端相机传感器将真实三维场景信息捕获并在二维图像空间进行数字化显示。通过获取一系列内容丰富、边缘清晰可辨的图像和(或)视频信息，本发明的核心思想是通过提取用户视觉传感器所采集到的图像或视频信息特征，并在城市或室内三维模型中进行特征匹配，进而恢复从真实场景特征到图像对应特征的立体几何映射，最终计算用户视觉传感器的三维位置坐标和(或)姿态。
图3是示出利用头戴式视觉传感器设备实现城市地区高精度视觉定位方法的实施例示意图，在(包括但不限于)虚拟现实或增强现实环境中实现如图2所示的对现实城市或室内场景的图像和(或)视频信息获取。类似的，图4是示出利用车载式移动视觉传感器设备实现城市地区高精度视觉定位方法的实施例示意图。
需要借助定位场景的数字三维模型及特征信息库，定位场景数字三维模型的特征信息库中至少包括特征描述信息，以及与特征相对应的三维坐标信息，且所述特征的具体描述形式由所选取的特征提取算法决定。
因此，使用本发明所提出的城市和室内高精度视觉定位的一个前提是需要借助定位场景的数字三维模型，且三维模型具备丰富且完整的特征信息库。在特征信息库中，提取并描述特征点的方法包括(但不局限于)Harris算法、对比度纹理直方图(ContrastContext Histogram，CCH)算法、尺度不变换特征变换(Scale invariant featureTransform，SIFT)算法、加速稳健特征(Speeded Up Robust Features，SURF)算法、最邻近特征轨迹(Nearest Feature Trajectory，NFT)算法以及诸如此类算法的衍生算法或合成算法等。
定位场景数字三维模型的特征信息库中包括(但不限于)三维模型中每一特征点的描述信息，以及与每一特征点相对应的三维坐标。特征点的描述形式由所选取的特征提取算法决定，包括(但不限于)Harris算法、对比度纹理直方图(Contrast ContextHistogram，CCH)算法、尺度不变换特征变换(Scale invariant feature Transform，SIFT)算法、加速稳健特征(Speeded Up Robust Features，SURF)算法、最邻近特征轨迹(NearestFeature Trajectory，NFT)算法以及诸如此类算法的衍生算法或合成算法等。
定位场景的数字三维模型及所述特征信息库可通过(但不限于)商业购买、网络资源获取或自主式构建等。
所述定位场景数字三维模型及所述特征信息库的自主式构建步骤包括：在云服务器中整合众源图像信息数据、提取并匹配众源图像场景特征、利用计算机视觉几何关系计算三维模型并记录特征信息库。采取自主式构建场景数字三维模型的方法，即通过在云服务器中整合众源图像场景信息数据，依靠计算机视觉算法(诸如SIFT、SURF、NFT以及诸如此类算法的衍生算法或合成算法等)提取并匹配大量的场景特征点，构建场景特征信息库，利用运动恢复结构(Structure from Motion，SfM)理论和少量已知点坐标，在众源图像信息所涵盖的范围内构建真实场景三维模型。
本发明中，所述众源图像信息数据来自上述各类定位环境、动态用户、视觉传感器、传感器数量、传感器拍摄范围、传感器摆放位置、传感器摆放姿态。优选地，众源数据的信息源包括(但不限于)大量智能手机用户所拍摄并上传至云服务器的图像或视频信息以及大量车辆平台所搭载的视觉传感器所拍摄并上传至云服务器的图像或视频信息等。
定位场景三维模型的三维坐标系可基于全球参考基准(如地心地固坐标系(Earth-Centered,Earth-Fixed，ECEF))或区域参考基准(如当地地理坐标系)亦或其他参考基准。
本发明实施例所提出的高精度视觉定位方法，相应包括(I)单张或多张图像特征计算过程、(II)单张或多张图像特征匹配过程、(III)相机交会过程、(IV)特征库及三维模型更新过程四部分。
(I)单张或多张图像特征计算：在视觉传感器拍摄场景图像信息后计算并提取图像的显著特征信息。
对第(I)部分而言，进行图像特征计算时，所计算并记录的特征信息包括特征的平面坐标和表述此特征的各类统计信息值，所述特征的具体表述形式由所选取的特征提取算法决定。计算平台包括视觉传感器或远端平台。
具体实施时，视觉传感器在拍摄场景图像信息后，立即对图像特征进行分析，可通过使用Harris、CCH、SIFT、SURF、NFT算法以及诸如此类算法的衍生算法或合成算法等，计算并提取单张或多张图像(如车载多个相机同步拍摄)的所有显著特征。此部分的计算任务既可在视觉传感器平台上实现，亦可通过(有线或无线)传输链路(包括但不限于USB、SerialPort、GSM、CDMA、WCDMA、WLAN等)将图像上传至云服务器实现。
对第(II)部分而言，进行图像特征匹配时，可提供概略用户位置信息，用于提高图像特征与特征信息库数据的匹配效率；通过对比图像特征中和特征信息库中特征的各类统计信息值，依据所选取特征匹配准则，确定从二维图像到三维模型的最佳匹配，在一组匹配中至少记录下包括图像二维坐标和真实场景三维坐标。
具体实施时，任一时刻单一用户平台的视觉传感器可拍摄单张(如行人手持智能手机拍摄)或多张(车载多方位或全方位相机拍摄)周围场景图像。此环节将所拍摄的(单张或多张)图像的所有特征逐一在定位场景三维模型的特征信息库中进行匹配。每找到一组匹配特征，同时记录下该特征在当前图片中的像素坐标以及在特征库中的三维地理坐标。所采用的图像特征匹配算法可包括(但不限于)va-file、IQ-tree、LPC-file、IDistance、多重kD-Tree、聚类分解B+-Tree、VQ-Index、LSH、KLSH、LSB-tree、TCAN技术、WSH、MS-tree、MRSVQH、Best-Bin-First算法以及诸如此类算法的衍生算法或合成算法等。
为了提高当前(单张或多张)图像特征与特征信息库数据的匹配效率，可通过利用现有适用于城市和室内环境的定位技术，对用户进行概略定位(数米～数十米精度)，由此所需检索的特征信息库数据可缩小至用户概略位置周围。概略定位可由一种定位技术实现，也可由多种定位技术融合实现。具体进行概略定位的技术可包括(但不限于)GNSS定位、Wi-Fi定位、地磁定位、行人航位推算(Pedestrian Dead Reckoning，PDR)定位以及诸如此类算法的衍生算法或合成算法等。在复杂定位场所中进行概略定位尤为重要，因为此类环境中场景特征信息库可能信息量巨大，概略位置的提供可缩小搜索范围以便极大提高特征信息库数据搜索和特征匹配效率。
第(II)部分计算任务既可在视觉传感器平台上实现，亦可在云服务器中实现。当第(II)部分计算任务在视觉传感器平台上实现时(如用户使用智能手机、可穿戴设备等)，视觉传感器平台可预先通过(有线或无线)传输链路(包括但不限于USB、Serial Port、GSM、CDMA、WCDMA、WLAN等)从云服务器下载周围场景特征信息库数据；当第(II)部分计算任务在云服务器上实现时(如用户使用车载平台的普通数码相机、运动相机、行车记录仪、倒车照相机等)，云服务器至少通过(有线或无线)传输链路(包括但不限于USB、Serial Port、GSM、CDMA、WCDMA、WLAN等)接收发自视觉传感器的当前概略位置和图像特征点信息。
对第(III)部分而言，进行相机交会计算时包括错误特征匹配剔除和定位求解，所述错误特征匹配剔除过程用于在所有的二维到三维的匹配映射中检测并查找出错误匹配，从而在进行所述定位求解前对错误匹配进行剔除；所述的定位求解通过恢复从真实场景中多个空间点的三维坐标到图像对应特征点的二维像素坐标的立体几何映射，确定视觉传感器或用户在已知坐标系下的位置和姿态信息。
进一步地，进行相机交会计算时还包括使用滤波器和(或)其他优化算法，用于对定位结果进行进一步滤波和优化处理。
进一步地，可以将某单一视觉传感器位置作为求解对象并简单忽略其他视觉传感器，或采取联合处理方式将多台视觉传感器信息进行融合。
在进行任务(II)之后，利用相机交会原理恢复从真实场景中多个空间点的三维坐标到当前(单张或多张)图像对应特征点的二维像素坐标的立体几何映射。图5描述了图4所描述的实施例中的特征匹配示意图。其中，O点为相机光心。A、B、C、D、E为真实场景三维点，A’、B’、C’、D’、E’分别为各自在图像二维平面中的匹配特征点，特征点的匹配结果由第(II)部分计算得到。
针对第(II)部分特征匹配之后可能存在的错误匹配现象，在第(III)部分中利用核面几何(Epipolar Geometry)原理和约束条件，利用随机抽样一致性(Random SampleConsensus，RANSAC)算法或其衍生算法或其他算法，对当前所拍摄的(单张或多张)图像点特征和三维空间点特征的误匹配进行剔除，并建立由图像二维坐标到三维空间坐标的相机交会模型，计算视觉传感器设备的三维位置坐标和姿态。
为简化说明本发明原理，以下以单张图像的相机交会原理进行说明(本发明亦包括同步拍摄多张图像及其他情况，此例仅作说明)，视觉传感器设备成像几何关系由图6表示。其中O点称为相机光心，Xc与Yc两坐标轴分别与图像平面坐标系o-xy的x轴和y轴平行，Zc为像机主光轴，且和图像平面垂直，主光轴与图像平面的交点为像主点o，O-XcYcZc构成像机坐标系，Oo为像机焦距f。Og-XgYgZg为当地坐标系(可基于全球参考基准，或区域参考基准，亦或其他参考基准)。以下描述了本发明的一个实施例。
任意三维空间点P和其像点p满足摄影测量直接线性变换(Direct LinearTransformation，DLT)关系：
其中，(u,v)T和(X,Y,Z)T分别为P点在当地坐标系和像平面坐标系下的坐标，系数li(i＝1,2,…,11)是相机传感器内方位元素(u0,v0,f)T、外方位元素(Xc,Yc,Zc,ω,φ,κ)T、相机坐标轴非正交因子ds和坐标轴比例系数dc的函数。(u0,v0)T为像主点o的坐标偏移量，外方位元素中，三个线元素(Xc,Yc,Zc)T和三个角元素(ω,φ,κ)T分别描述相机坐标系原点在当地坐标系下的坐标以及相机坐标系相对于当地坐标系的旋转参数，因此在本实施例中，最终用户定位结果的确定即是求解外方位元素(Xc,Yc,Zc,ω,φ,κ)T。
在进行完本发明的步骤(II)之后，对第i个匹配点而言，通过公式(1)可得
A2n×11l11×1＝b2n×1 (2)
其中，n为进行完步骤(II)之后找到的匹配点总个数，矩阵l11×1、b2n×1和A2n×11分别如下，
l11×1＝[l1 l2 l3 l4 l5 l6 l7 l8 l9 l10 l11]T (3)
b2n×1＝-[u1 v1 u2 v2 … … un vn]T (4)
当任意图像拍摄时刻的匹配点个数n≥6(即rrow≥rcolumn，其中rrow和rcolumn分别为系数矩阵A2n×11的行秩和列秩)时，令A2n×11、l11×1和b2n×1分别简写为A、l和b，
由最小二乘可得
l＝(ATA)-1ATb (6)
相机传感器内方位元素(u0,v0,f)T、相机坐标轴非正交因子ds和坐标轴比例系数dc可通过相机传感器校正获取先验数值，亦可通过本实施例中的直接线性变换(DLT)进行直接解算，由于内方位元素及ds和dc的计算为现有技术，本发明不予赘述。
就三个外方位线元素而言，根据li(i＝1,2,…,11)的表达式有
由于三个外方位角元素(ω,φ,κ)T构成的方向余弦可描述为
根据系数li(i＝1,2,…,11)与外方位元素的方向余弦关系有
由公式(9)可知，角度取值不唯一，令其取值分别为φ∈[0,π/2]、ω∈[0,π/2]和κ∈[0,π]。实际情况下，三个外方位角元素取值均可为±α和π±α(α＝ω,φ,κ)。另一方面，直接线性变换中焦距f与三个外方位角元素满足关系
其中，γ＝r31Xc+r32Yc+r33Zc，rij(1≤i≤2,1≤j≤3)为公式(8)中旋转矩阵R的对应元素。利用角度ω、φ和κ可取值的角度进行组合，重新计算rij元素和γ，最终使公式(10)中8组焦距f的估值均为正的三个外方位角元素估值即为ω、φ和κ值。
需要强调的是，由公式(7～10)得到的视觉传感器设备相对于当地坐标系的旋转参数和平移变量，即是用户在当地坐标系下的位置和姿态信息。
需要重申的是，以上仅对任一时刻拍摄单张图像情况下的用户在当地坐标系下位置进行求解举例并对实际情况做了相应简化，实际应用中可在公式(7～10)的基础上继续利用(但不限于)摄影测量空间后方交会、光束法平差等方法继续进行精确求解，因此本发明所述城市地区和室内环境高精度视觉定位***及方法不限于上述实施例列举情况。
在得到用户位置和姿态信息后，可依据具体实施例对定位结果进行进一步滤波和优化处理，以得到更加理想的定位信息，包括使用(但不限于)各类滤波器及(或)其衍生算法及(或)其他优化算法。
由于用户平台可搭载单台或多台视觉传感器，对周围场景进行单方位、多方位甚至全方位拍摄，因此某一时刻在进行完第(II)部分之后，所找到的与三维空间点对应的二维特征点可能出自一台视觉传感器，亦可能出自多台视觉传感器。当这些特征点出自多台视觉传感器时，可<1>将某单一视觉传感器位置作为求解对象并简单忽略其他视觉传感器，亦可<2>采取联合处理方式将多台视觉传感器信息进行融合。
当按策略<1>处理时，即可简单忽略来自其他视觉传感器的二维特征点信息，此情况等效于全部特征点均出自单一视觉传感器。当按策略<2>处理时，可针对不同的视觉传感器序贯或并行地执行策略<1>，并将求解出的若干视觉传感器位置求取(但不限于)加权平均或几何中心；亦可结合多个视觉传感器间的几何关系，经过处理在统一的相机交会模型中求解用户位置。
以上仅是列举可能出现的任一时刻多台视觉传感器同步拍摄图像情况下的用户位置求解策略，但本发明所述的城市地区和室内高精度视觉定位方法不限于上述列举情况。
对第(III)部分而言，视觉传感器定位精度主要取决于特征信息库中的特征点在当前(单张或多张)图像中的像素坐标分布。若特征信息库中特征点在当前(单张或多张)图像中出现密集且分布较均匀，用户定位精度可维持在厘米级；若特征信息库中特征点在当前(单张或多张)图像中出现稀疏且分布不均匀，用户定位精度会相应降低(达到分米～米级)。
第(III)部分计算任务既可在视觉传感器平台上实现，亦可在云服务器中实现。当第(III)部分计算任务在视觉传感器平台上实现时(如用户使用智能手机、可穿戴设备等)，视觉传感器平台至少通过(有线或无线)传输链路(包括但不限于USB、Serial Port、GSM、CDMA、WCDMA、WLAN等)预先从云服务器下载匹配后的特征点信息及与之相对应的三维空间点坐标；当第(III)部分计算任务在云服务器上实现时(如用户使用车载平台的普通数码相机、运动相机、行车记录仪、倒车照相机等)，移动终端至少通过(有线或无线)传输链路(包括但不限于USB、Serial Port、GSM、CDMA、WCDMA、WLAN等)上传匹配后的特征点信息及与之相对应的平面像素坐标。
对第(IV)部分而言，特征库及三维模型更新时，不断接收由大量视觉传感器拍摄的众源图像和(或)视频信息，在众源图像信息所涵盖的范围内重新构建或更新真实场景三维模型，并将新出现的特征及其对应三维坐标添加至原有特征信息库中，构建更新后的特征信息库，以用于提供稳健可靠的可持续定位功能。
云服务器通过(有线或无线)传输链路(包括但不限于USB、Serial Port、GSM、CDMA、WCDMA、WLAN等)，不断接收由大量视觉传感器拍摄的众源图像和视频信息，由此新的场景内容将不断出现。云服务器利用计算机视觉技术中的Harris、CCH、SIFT、SURF、NFT等算法以及诸如此类算法的衍生算法或合成算法等提取和匹配大量的场景特征，并结合原有的特征信息库数据，利用运动恢复结构(Structure from Motion，SfM)理论或其衍生理论，在众源图像信息所涵盖的范围内重新构建或更新真实场景三维模型。在对真实场景三维模型实现更新后，将新出现的特征及其对应三维坐标添加至原有特征信息库中，构建更新后的特征信息库。
对第(IV)部分而言，云服务器可依靠众源视觉传感器数据构建三维地理信息***(Geographic Information System，GIS)数据库。完整的三维GIS数据库有助于满足大量虚拟现实和增强现实的实际应用。同时，众源数据资源的不断充实会对场景特征信息库和城市数字三维模型进行补充和更新，当在周围环境或场景出现变化(如改变装饰布局、新建楼宇等)时，云服务器能够不断修复和更新场景特征信息库和三维模型，便于本方法提供稳健可靠的可持续定位功能。
具体实施时，可根据需要进行各部分的处理，并不限于顺序执行。图7详细描述根据本发明实施例的一个具体定位信息获取数据流示意图。视觉传感器设备首先进行图像拍摄，计算并提取图像特征信息；在利用现有定位方法对视觉传感器设备进行概略定位后，确定局部范围的城市数字三维模型，并确定场景特征信息库数据；在特征信息库中逐一搜索并匹配图像中对应的特征；在记录下对应的二维和三维特征坐标信息后，通过相机交会的立体映射关系恢复相机传感器设备的位置和姿态信息，实现相机传感器设备提供用户定位信息；与此同时，利用运动恢复结构等三维模型构建方法补充场景特征信息库，实现城市数字三维模型的更新。
图8详细描述根据本发明实施例应用的一个具体实施流。视觉传感器获取图像后进行特征信息提取，在城市数字三维模型和场景特征信息库支持下实现特征匹配，并逆向补充和更新城市数字三维模型及场景特征信息库；若所述实施例所用视觉设备为单台传感器，则直接利用相机交会算法实现用户位置和姿态的获取；若所述实施例所用视觉设备为多台传感器，则依是否当作单台处理而定；若将实施例中多台视觉传感器视为单台设备，则计算方法与处理单台设备一致；若并非视为单台设备，则在采取具体的融合处理策略后进行相机交会计算。相机交会计算后，进行相机坐标系与当地坐标系转换，得到用户位置、姿态信息。
综上，本发明所提出的城市地区和室内高精度视觉定位方法通过利用(单个或多个)视觉传感器，实现对周围环境图像信息的(单方位、多方位或全方位)采集，借助城市数字三维模型和高性能云计算服务平台，在不改造现有硬件基础设施或增加设备传感器的前提下，为大量个人或车载(包括有人驾驶或无人驾驶)用户提供方便、快捷的厘米级定位结果，极大提高了移动用户在城市地区和室内的高精度无缝定位能力，定位之同时通过对周围环境进行图像采集，实现对城市和室内数字三维模型的补充和更新，进而保证在周围环境发生变化时该方法能够提供稳健的可持续定位能力。所有传输链路方法包括广域无线传输、局域无线传输、个人无线传输和有线传输。
本发明所提供***的各单元具体实现与方法各部分相应，不予赘述。
上述提供的说明应被看作对可应用于不同的可能实施例的举例说明。
Claims (28)
1.一种城市地区和室内高精度视觉定位***，其特征在于：用于基于视觉传感器采集周围环境图像信息而实现高精度定位的城市地区和室内定位，包括图像特征计算子单元、图像特征匹配子单元、相机交会计算子单元、特征库及三维模型更新子单元；其中，
图像特征计算子单元，用于在视觉传感器拍摄场景图像信息后计算并提取图像的显著特征信息；
图像特征匹配子单元，用于根据由所述图像特征计算子单元所确定的显著特征信息在数字三维模型的特征信息库中进行相似度识别与匹配，并记录下匹配后特征在图像中的二维坐标以及在真实场景中的三维地理坐标；
相机交会计算子单元，用于根据图像特征匹配子单元所记录下的匹配坐标信息，恢复从三维场景到二维图像的几何映射关系，并建立由图像二维坐标到三维空间坐标的相机交会模型，确定视觉传感器设备及动态用户的三维位置和姿态信息；
特征库及三维模型更新子单元，用于接收视觉传感器拍摄的众源图像信息，重新构建或更新真实场景相应数字三维模型，并更新特征信息库。
2.如权利要求1所述的城市地区和室内高精度视觉定位***，其特征在于：定位环境包括室内及室外环境；
动态用户对象包括行人、机动车司机、机动车乘客、有人驾驶车辆和无人驾驶车辆；
所述视觉传感器包括智能手机、可穿戴设备、数码相机、摄影机、监视器、运动相机、行车记录仪、倒车照相机、深度相机。
3.如权利要求2所述的城市地区和室内高精度视觉定位***，其特征在于：所述视觉传感器数量包括一台或多台；所述视觉传感器拍摄范围包括单方位、多方位和全方位视角。
4.如权利要求2所述的城市地区和室内高精度视觉定位***，其特征在于：若使用机动车作为动态用户，视觉传感器的摆放位置包括车舱内和车舱外；视觉传感器摆放姿态包括前视、后视、左视、右视、侧视、俯视、仰视。
5.如权利要求1所述的城市地区和室内高精度视觉定位***，其特征在于：数字三维模型的特征信息库中至少包括特征描述信息，以及与特征相对应的三维坐标信息，且所述特征的具体描述形式由所选取的特征提取算法决定。
6.如权利要求5所述的城市地区和室内高精度视觉定位***，其特征在于：用于定位场景的数字三维模型及特征信息库的获取途径包括商业购买、网络资源获取和自主 式构建。
7.如权利要求6所述的城市地区和室内高精度视觉定位***，其特征在于：用于定位场景的数字三维模型及特征信息库的自主式构建实现方式，包括在云服务器中整合众源图像信息数据、提取并匹配众源图像场景特征、利用计算机视觉几何关系计算三维模型并记录特征信息库。
8.如权利要求1或2或3或4或5或6或7所述的城市地区和室内高精度视觉定位***，其特征在于：所述图像特征计算子单元所计算并记录的特征信息，包括特征的平面坐标和表述此特征的各类统计信息值，所述特征的具体表述形式由所选取的特征提取算法决定。
9.如权利要求1或2或3或4或5或6或7所述的城市地区和室内高精度视觉定位***，其特征在于：所述图像特征匹配子单元，采用概略用户位置信息，用于提高图像特征与特征信息库数据的匹配效率。
10.如权利要求9所述的城市地区和室内高精度视觉定位***，其特征在于：图像特征匹配子单元通过对比图像特征中和特征信息库中特征的各类统计信息值，依据所选取特征匹配准则，确定从二维图像到三维模型的合适匹配，在一组匹配中至少记录下包括图像二维坐标和真实场景三维坐标。
11.如权利要求9所述的城市地区和室内高精度视觉定位***，其特征在于：所述相机交会计算子单元包括错误特征匹配剔除和定位求解，
所述错误特征匹配剔除过程用于在所有的二维到三维的匹配映射中检测并查找出错误匹配，从而在进行所述定位求解前对错误匹配进行剔除；
所述定位求解通过恢复从真实场景中多个空间点的三维坐标到图像对应特征点的二维像素坐标的立体几何映射，确定视觉传感器或用户在已知坐标系下的位置和姿态信息。
12.如权利要求9所述的城市地区和室内高精度视觉定位***，其特征在于：所述相机交会计算子单元还包括滤波器，用于对定位结果进行进一步滤波和优化处理。
13.如权利要求9所述的城市地区和室内高精度视觉定位***，其特征在于：所述相机交会计算子单元将某单一视觉传感器位置作为求解对象并忽略其他视觉传感器，或采取联合处理方式将多台视觉传感器信息进行融合。
14.如权利要求1或2或3或4或5或6或7所述的城市地区和室内高精度视觉定位***，其特征在于：所述特征库及三维模型更新子单元，不断接收由大量视觉传感器 拍摄的众源图像和/或视频信息，在众源图像信息所涵盖的范围内重新构建或更新真实场景相应数字三维模型，并将新出现的特征及其对应三维坐标添加至原有特征信息库中，构建更新后的特征信息库，以用于提供稳健可靠的可持续定位功能。
15.一种城市地区和室内高精度视觉定位方法，其特征在于：用于基于视觉传感器采集周围环境图像信息而实现高精度定位的城市地区和室内定位，包括图像特征计算过程、图像特征匹配过程、相机交会计算过程、特征库及三维模型更新过程；其中，
图像特征计算过程，用于在视觉传感器拍摄场景图像信息后计算并提取图像的显著特征信息；
图像特征匹配过程，用于根据由所述图像特征计算过程所确定的显著特征信息在数字三维模型的特征信息库中进行相似度识别与匹配，并记录下匹配后特征在图像中的二维坐标以及在真实场景中的三维地理坐标；
相机交会计算过程，用于根据图像特征匹配过程所记录下的匹配坐标信息，恢复从三维场景到二维图像的几何映射关系，并建立由图像二维坐标到三维空间坐标的相机交会模型，确定视觉传感器设备及动态用户的三维位置和姿态信息；
特征库及三维模型更新过程，用于接收视觉传感器拍摄的众源图像信息，重新构建或更新真实场景相应数字三维模型，并更新特征信息库。
16.如权利要求15所述的城市地区和室内高精度视觉定位方法，其特征在于：定位环境包括室内及室外环境；
动态用户对象包括行人、机动车司机、机动车乘客、有人驾驶车辆和无人驾驶车辆；
所述视觉传感器包括智能手机、可穿戴设备、数码相机、摄影机、监视器、运动相机、行车记录仪、倒车照相机、深度相机。
17.如权利要求16所述的城市地区和室内高精度视觉定位方法，其特征在于：所述视觉传感器数量包括一台或多台；所述视觉传感器拍摄范围包括单方位、多方位和全方位视角。
18.如权利要求16所述的城市地区和室内高精度视觉定位方法，其特征在于：若使用机动车作为动态用户，视觉传感器的摆放位置包括车舱内和车舱外；视觉传感器摆放姿态包括前视、后视、左视、右视、侧视、俯视、仰视。
19.如权利要求15所述的城市地区和室内高精度视觉定位方法，其特征在于：数字三维模型的特征信息库中至少包括特征描述信息，以及与特征相对应的三维坐标信息，且所述特征的具体描述形式由所选取的特征提取算法决定。
20.如权利要求19所述的城市地区和室内高精度视觉定位方法，其特征在于：用于定位场景的数字三维模型及特征信息库的获取途径包括商业购买、网络资源获取和自主式构建。
21.如权利要求20所述的城市地区和室内高精度视觉定位方法，其特征在于：用于定位场景的数字三维模型及特征信息库的自主式构建实现方式，包括在云服务器中整合众源图像信息数据、提取并匹配众源图像场景特征、利用计算机视觉几何关系计算三维模型并记录特征信息库。
22.如权利要求15或16或17或18或19或20或21所述的城市地区和室内高精度视觉定位方法，其特征在于：所述图像特征计算过程所计算并记录的特征信息，包括特征的平面坐标和表述此特征的各类统计信息值，所述特征的具体表述形式由所选取的特征提取算法决定。
23.如权利要求15或16或17或18或19或20或21所述的城市地区和室内高精度视觉定位方法，其特征在于：所述图像特征匹配过程，采用概略用户位置信息，用于提高图像特征与特征信息库数据的匹配效率。
24.如权利要求23所述的城市地区和室内高精度视觉定位方法，其特征在于：图像特征匹配过程通过对比图像特征中和特征信息库中特征的各类统计信息值，依据所选取特征匹配准则，确定从二维图像到三维模型的合适匹配，在一组匹配中至少记录下包括图像二维坐标和真实场景三维坐标。
25.如权利要求23所述的城市地区和室内高精度视觉定位方法，其特征在于：所述相机交会计算过程包括错误特征匹配剔除和定位求解，
所述错误特征匹配剔除过程用于在所有的二维到三维的匹配映射中检测并查找出错误匹配，从而在进行所述定位求解前对错误匹配进行剔除；
所述定位求解通过恢复从真实场景中多个空间点的三维坐标到图像对应特征点的二维像素坐标的立体几何映射，确定视觉传感器或用户在已知坐标系下的位置和姿态信息。
26.如权利要求23所述的城市地区和室内高精度视觉定位方法，其特征在于：所述相机交会计算过程还包括滤波器，用于对定位结果进行进一步滤波和优化处理。
27.如权利要求23所述的城市地区和室内高精度视觉定位方法，其特征在于：所述相机交会计算过程将某单一视觉传感器位置作为求解对象并忽略其他视觉传感器，或采取联合处理方式将多台视觉传感器信息进行融合。
28.如权利要求15或16或17或18或19或20或21所述的城市地区和室内高精度视觉定位方法，其特征在于：所述特征库及三维模型更新过程，不断接收由大量视觉传感器拍摄的众源图像和/或视频信息，在众源图像信息所涵盖的范围内重新构建或更新真实场景相应数字三维模型，并将新出现的特征及其对应三维坐标添加至原有特征信息库中，构建更新后的特征信息库，以用于提供稳健可靠的可持续定位功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610847459.4A CN106447585A (zh) | 2016-09-21 | 2016-09-21 | 城市地区和室内高精度视觉定位***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610847459.4A CN106447585A (zh) | 2016-09-21 | 2016-09-21 | 城市地区和室内高精度视觉定位***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106447585A true CN106447585A (zh) | 2017-02-22 |
Family
ID=58166914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610847459.4A Pending CN106447585A (zh) | 2016-09-21 | 2016-09-21 | 城市地区和室内高精度视觉定位***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106447585A (zh) |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107588766A (zh) * | 2017-09-15 | 2018-01-16 | 南京轩世琪源软件科技有限公司 | 一种基于无线区域网的室内定位方法 |
| CN108009588A (zh) * | 2017-12-01 | 2018-05-08 | 深圳市智能现实科技有限公司 | 定位方法及装置、移动终端 |
| CN108495259A (zh) * | 2018-03-26 | 2018-09-04 | 上海工程技术大学 | 一种渐进式室内定位服务器及定位方法 |
| CN108647242A (zh) * | 2018-04-10 | 2018-10-12 | 北京天正聚合科技有限公司 | 一种热力图的生成方法和*** |
| CN108759834A (zh) * | 2018-04-28 | 2018-11-06 | 温州大学激光与光电智能制造研究院 | 一种基于全局视觉的定位方法 |
| CN108828576A (zh) * | 2018-04-10 | 2018-11-16 | 上海摩软通讯技术有限公司 | 室内定位***和方法 |
| CN108957504A (zh) * | 2017-11-08 | 2018-12-07 | 北京市燃气集团有限责任公司 | 室内外连续定位的方法和*** |
| CN109029450A (zh) * | 2018-06-26 | 2018-12-18 | 重庆市勘测院 | 一种室内定位方法 |
| CN109357679A (zh) * | 2018-11-16 | 2019-02-19 | 济南浪潮高新科技投资发展有限公司 | 一种基于显著性特征识别的室内定位方法 |
| CN109691185A (zh) * | 2018-07-26 | 2019-04-26 | 深圳前海达闼云端智能科技有限公司 | 一种定位方法、装置、终端和可读存储介质 |
| CN109708649A (zh) * | 2018-12-07 | 2019-05-03 | 中国空间技术研究院 | 一种遥感卫星的姿态确定方法及*** |
| CN109857122A (zh) * | 2019-03-21 | 2019-06-07 | 浙江尤恩机器人科技有限公司 | 仓库运输车辆的路径控制方法、装置和仓库运输*** |
| CN110017841A (zh) * | 2019-05-13 | 2019-07-16 | 大有智能科技(嘉兴)有限公司 | 视觉定位方法及其导航方法 |
| CN110222761A (zh) * | 2019-05-31 | 2019-09-10 | 中国民航大学 | 基于数字地标地图的室内定位***及室内定位方法 |
| WO2019205069A1 (en) * | 2018-04-27 | 2019-10-31 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for updating 3d model of building |
| CN110567460A (zh) * | 2018-12-05 | 2019-12-13 | 昆明北理工产业技术研究院有限公司 | 一种无人平台室内定位***及定位方法 |
| WO2019242392A1 (zh) * | 2018-06-20 | 2019-12-26 | 华为技术有限公司 | 一种数据库构建方法、一种定位方法及其相关设备 |
| CN110675446A (zh) * | 2018-07-03 | 2020-01-10 | 百度在线网络技术（北京）有限公司 | 定位方法和装置 |
| CN110895407A (zh) * | 2018-08-22 | 2020-03-20 | 郑州宇通客车股份有限公司 | 一种融合摄像与定位的自动驾驶车辆运行控制方法及车辆 |
| CN110940316A (zh) * | 2019-12-09 | 2020-03-31 | 国网山东省电力公司 | 复杂环境下变电站消防机器人的导航方法及*** |
| CN110989599A (zh) * | 2019-12-09 | 2020-04-10 | 国网智能科技股份有限公司 | 一种变电站消防机器人自主作业控制方法及*** |
| CN111177840A (zh) * | 2019-12-31 | 2020-05-19 | 广东博智林机器人有限公司 | 建筑信息模型的更新方法、更新装置、存储介质与处理器 |
| CN111220156A (zh) * | 2018-11-25 | 2020-06-02 | 星际空间（天津）科技发展有限公司 | 一种基于城市实景的导航方法 |
| CN111238450A (zh) * | 2020-02-27 | 2020-06-05 | 北京三快在线科技有限公司 | 视觉定位方法及装置 |
| CN111536978A (zh) * | 2020-05-25 | 2020-08-14 | 深圳市城市公共安全技术研究院有限公司 | 室内定位导航***及其在应急疏散中的应用方法 |
| CN111595349A (zh) * | 2020-06-28 | 2020-08-28 | 浙江商汤科技开发有限公司 | 导航方法及装置、电子设备和存储介质 |
| CN111986347A (zh) * | 2020-07-20 | 2020-11-24 | 汉海信息技术(上海)有限公司 | 设备管理方法、装置、电子设备及存储介质 |
| CN112001947A (zh) * | 2020-07-30 | 2020-11-27 | 海尔优家智能科技（北京）有限公司 | 拍摄位置的确定方法及装置、存储介质、电子装置 |
| CN112348885A (zh) * | 2019-08-09 | 2021-02-09 | 华为技术有限公司 | 视觉特征库的构建方法、视觉定位方法、装置和存储介质 |
| CN112884834A (zh) * | 2019-11-30 | 2021-06-01 | 华为技术有限公司 | 视觉定位方法及*** |
| CN112949445A (zh) * | 2021-02-24 | 2021-06-11 | 中煤科工集团重庆智慧城市科技研究院有限公司 | 基于空间关系的城市管理应急联动***及方法 |
| WO2021258700A1 (zh) * | 2020-06-23 | 2021-12-30 | 广东小天才科技有限公司 | 一种辅助识别室内外的方法、智能穿戴设备和存储介质 |
| WO2024083010A1 (zh) * | 2022-10-20 | 2024-04-25 | 腾讯科技（深圳）有限公司 | 一种视觉定位方法及相关装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101441769A (zh) * | 2008-12-11 | 2009-05-27 | 上海交通大学 | 单目摄像机实时视觉定位方法 |
| CN101920498A (zh) * | 2009-06-16 | 2010-12-22 | 泰怡凯电器(苏州)有限公司 | 实现室内服务机器人同时定位和地图创建的装置及机器人 |
| CN103106252A (zh) * | 2013-01-16 | 2013-05-15 | 浙江大学 | 利用手持设备的平面区域定位方法 |
| CN103765880A (zh) * | 2011-09-12 | 2014-04-30 | 英特尔公司 | 局部化分割的图像的连网捕捉和三维显示 |
| CN203719666U (zh) * | 2013-11-21 | 2014-07-16 | 西安中科光电精密工程有限公司 | 组合导航*** |
| CN104574386A (zh) * | 2014-12-26 | 2015-04-29 | 速感科技（北京）有限公司 | 一种基于三维环境模型匹配的室内定位方法 |
| CN105469405A (zh) * | 2015-11-26 | 2016-04-06 | 清华大学 | 基于视觉测程的同时定位与地图构建方法 |
| CN105674993A (zh) * | 2016-01-15 | 2016-06-15 | 武汉光庭科技有限公司 | 基于双目相机的高精度视觉定位地图生成***及方法 |
| CN105792353A (zh) * | 2016-03-14 | 2016-07-20 | 中国人民解放军国防科学技术大学 | 群智感知式WiFi信号指纹辅助的图像匹配室内定位方法 |
-
2016
- 2016-09-21 CN CN201610847459.4A patent/CN106447585A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101441769A (zh) * | 2008-12-11 | 2009-05-27 | 上海交通大学 | 单目摄像机实时视觉定位方法 |
| CN101920498A (zh) * | 2009-06-16 | 2010-12-22 | 泰怡凯电器(苏州)有限公司 | 实现室内服务机器人同时定位和地图创建的装置及机器人 |
| CN103765880A (zh) * | 2011-09-12 | 2014-04-30 | 英特尔公司 | 局部化分割的图像的连网捕捉和三维显示 |
| CN103106252A (zh) * | 2013-01-16 | 2013-05-15 | 浙江大学 | 利用手持设备的平面区域定位方法 |
| CN203719666U (zh) * | 2013-11-21 | 2014-07-16 | 西安中科光电精密工程有限公司 | 组合导航*** |
| CN104574386A (zh) * | 2014-12-26 | 2015-04-29 | 速感科技（北京）有限公司 | 一种基于三维环境模型匹配的室内定位方法 |
| CN105469405A (zh) * | 2015-11-26 | 2016-04-06 | 清华大学 | 基于视觉测程的同时定位与地图构建方法 |
| CN105674993A (zh) * | 2016-01-15 | 2016-06-15 | 武汉光庭科技有限公司 | 基于双目相机的高精度视觉定位地图生成***及方法 |
| CN105792353A (zh) * | 2016-03-14 | 2016-07-20 | 中国人民解放军国防科学技术大学 | 群智感知式WiFi信号指纹辅助的图像匹配室内定位方法 |
Non-Patent Citations (1)
| Title |
|---|
| JASON ZHI LIANG ET AL: "Image Based Localization in Indoor Environments", 《2013 FOURTH INTERNATIONAL CONFERENCE ON COMPUTING FOR GEOSPATIAL RESEARCH AND APPLICATION》 * |
Cited By (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107588766A (zh) * | 2017-09-15 | 2018-01-16 | 南京轩世琪源软件科技有限公司 | 一种基于无线区域网的室内定位方法 |
| CN108957504A (zh) * | 2017-11-08 | 2018-12-07 | 北京市燃气集团有限责任公司 | 室内外连续定位的方法和*** |
| CN108009588A (zh) * | 2017-12-01 | 2018-05-08 | 深圳市智能现实科技有限公司 | 定位方法及装置、移动终端 |
| CN108495259A (zh) * | 2018-03-26 | 2018-09-04 | 上海工程技术大学 | 一种渐进式室内定位服务器及定位方法 |
| CN108647242A (zh) * | 2018-04-10 | 2018-10-12 | 北京天正聚合科技有限公司 | 一种热力图的生成方法和*** |
| CN108828576A (zh) * | 2018-04-10 | 2018-11-16 | 上海摩软通讯技术有限公司 | 室内定位***和方法 |
| CN108647242B (zh) * | 2018-04-10 | 2022-04-29 | 北京天正聚合科技有限公司 | 一种热力图的生成方法和*** |
| CN112020630A (zh) * | 2018-04-27 | 2020-12-01 | 北京嘀嘀无限科技发展有限公司 | 用于更新建筑物的3d模型的***和方法 |
| CN112020630B (zh) * | 2018-04-27 | 2024-06-28 | 北京嘀嘀无限科技发展有限公司 | 用于更新建筑物的3d模型的***和方法 |
| WO2019205069A1 (en) * | 2018-04-27 | 2019-10-31 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for updating 3d model of building |
| US11841241B2 (en) | 2018-04-27 | 2023-12-12 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for updating a 3D model of building |
| CN108759834A (zh) * | 2018-04-28 | 2018-11-06 | 温州大学激光与光电智能制造研究院 | 一种基于全局视觉的定位方法 |
| CN108759834B (zh) * | 2018-04-28 | 2023-03-21 | 温州大学激光与光电智能制造研究院 | 一种基于全局视觉的定位方法 |
| US11644339B2 (en) | 2018-06-20 | 2023-05-09 | Huawei Technologies Co., Ltd. | Database construction method, positioning method, and related device |
| CN110688500B (zh) * | 2018-06-20 | 2021-09-14 | 华为技术有限公司 | 一种数据库构建方法、一种定位方法及其相关设备 |
| WO2019242392A1 (zh) * | 2018-06-20 | 2019-12-26 | 华为技术有限公司 | 一种数据库构建方法、一种定位方法及其相关设备 |
| CN110688500A (zh) * | 2018-06-20 | 2020-01-14 | 华为技术有限公司 | 一种数据库构建方法、一种定位方法及其相关设备 |
| CN109029450A (zh) * | 2018-06-26 | 2018-12-18 | 重庆市勘测院 | 一种室内定位方法 |
| CN110675446A (zh) * | 2018-07-03 | 2020-01-10 | 百度在线网络技术（北京）有限公司 | 定位方法和装置 |
| CN109691185A (zh) * | 2018-07-26 | 2019-04-26 | 深圳前海达闼云端智能科技有限公司 | 一种定位方法、装置、终端和可读存储介质 |
| CN110895407A (zh) * | 2018-08-22 | 2020-03-20 | 郑州宇通客车股份有限公司 | 一种融合摄像与定位的自动驾驶车辆运行控制方法及车辆 |
| CN109357679B (zh) * | 2018-11-16 | 2022-04-19 | 山东浪潮科学研究院有限公司 | 一种基于显著性特征识别的室内定位方法 |
| CN109357679A (zh) * | 2018-11-16 | 2019-02-19 | 济南浪潮高新科技投资发展有限公司 | 一种基于显著性特征识别的室内定位方法 |
| CN111220156B (zh) * | 2018-11-25 | 2023-06-23 | 星际空间（天津）科技发展有限公司 | 一种基于城市实景的导航方法 |
| CN111220156A (zh) * | 2018-11-25 | 2020-06-02 | 星际空间（天津）科技发展有限公司 | 一种基于城市实景的导航方法 |
| CN110567460A (zh) * | 2018-12-05 | 2019-12-13 | 昆明北理工产业技术研究院有限公司 | 一种无人平台室内定位***及定位方法 |
| CN109708649A (zh) * | 2018-12-07 | 2019-05-03 | 中国空间技术研究院 | 一种遥感卫星的姿态确定方法及*** |
| CN109708649B (zh) * | 2018-12-07 | 2021-02-09 | 中国空间技术研究院 | 一种遥感卫星的姿态确定方法及*** |
| CN109857122A (zh) * | 2019-03-21 | 2019-06-07 | 浙江尤恩机器人科技有限公司 | 仓库运输车辆的路径控制方法、装置和仓库运输*** |
| CN110017841A (zh) * | 2019-05-13 | 2019-07-16 | 大有智能科技(嘉兴)有限公司 | 视觉定位方法及其导航方法 |
| CN110222761A (zh) * | 2019-05-31 | 2019-09-10 | 中国民航大学 | 基于数字地标地图的室内定位***及室内定位方法 |
| CN110222761B (zh) * | 2019-05-31 | 2023-01-17 | 中国民航大学 | 基于数字地标地图的室内定位***及室内定位方法 |
| CN112348885A (zh) * | 2019-08-09 | 2021-02-09 | 华为技术有限公司 | 视觉特征库的构建方法、视觉定位方法、装置和存储介质 |
| WO2021027692A1 (zh) * | 2019-08-09 | 2021-02-18 | 华为技术有限公司 | 视觉特征库的构建方法、视觉定位方法、装置和存储介质 |
| CN112884834A (zh) * | 2019-11-30 | 2021-06-01 | 华为技术有限公司 | 视觉定位方法及*** |
| CN110940316A (zh) * | 2019-12-09 | 2020-03-31 | 国网山东省电力公司 | 复杂环境下变电站消防机器人的导航方法及*** |
| CN110989599A (zh) * | 2019-12-09 | 2020-04-10 | 国网智能科技股份有限公司 | 一种变电站消防机器人自主作业控制方法及*** |
| CN111177840A (zh) * | 2019-12-31 | 2020-05-19 | 广东博智林机器人有限公司 | 建筑信息模型的更新方法、更新装置、存储介质与处理器 |
| CN111177840B (zh) * | 2019-12-31 | 2023-11-03 | 广东博智林机器人有限公司 | 建筑信息模型的更新方法、更新装置、存储介质与处理器 |
| CN111238450A (zh) * | 2020-02-27 | 2020-06-05 | 北京三快在线科技有限公司 | 视觉定位方法及装置 |
| CN111238450B (zh) * | 2020-02-27 | 2021-11-30 | 北京三快在线科技有限公司 | 视觉定位方法及装置 |
| CN111536978A (zh) * | 2020-05-25 | 2020-08-14 | 深圳市城市公共安全技术研究院有限公司 | 室内定位导航***及其在应急疏散中的应用方法 |
| WO2021258700A1 (zh) * | 2020-06-23 | 2021-12-30 | 广东小天才科技有限公司 | 一种辅助识别室内外的方法、智能穿戴设备和存储介质 |
| CN111595349A (zh) * | 2020-06-28 | 2020-08-28 | 浙江商汤科技开发有限公司 | 导航方法及装置、电子设备和存储介质 |
| CN111986347A (zh) * | 2020-07-20 | 2020-11-24 | 汉海信息技术(上海)有限公司 | 设备管理方法、装置、电子设备及存储介质 |
| CN112001947A (zh) * | 2020-07-30 | 2020-11-27 | 海尔优家智能科技（北京）有限公司 | 拍摄位置的确定方法及装置、存储介质、电子装置 |
| CN112949445A (zh) * | 2021-02-24 | 2021-06-11 | 中煤科工集团重庆智慧城市科技研究院有限公司 | 基于空间关系的城市管理应急联动***及方法 |
| CN112949445B (zh) * | 2021-02-24 | 2024-04-05 | 中煤科工集团重庆智慧城市科技研究院有限公司 | 基于空间关系的城市管理应急联动***及方法 |
| WO2024083010A1 (zh) * | 2022-10-20 | 2024-04-25 | 腾讯科技（深圳）有限公司 | 一种视觉定位方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106447585A (zh) | 城市地区和室内高精度视觉定位***及方法 | |
| CN109631887B (zh) | 基于双目、加速度与陀螺仪的惯性导航高精度定位方法 | |
| CN107133325B (zh) | 一种基于街景地图的互联网照片地理空间定位方法 | |
| CN110443898A (zh) | 一种基于深度学习的ar智能终端目标识别***及方法 | |
| CN108801274B (zh) | 一种融合双目视觉和差分卫星定位的地标地图生成方法 | |
| CN107690840B (zh) | 无人机视觉辅助导航方法及*** | |
| CN105930819A (zh) | 基于单目视觉和gps组合导航***的实时城区交通灯识别*** | |
| CN111261016B (zh) | 道路地图的构建方法、装置和电子设备 | |
| CN110319772B (zh) | 基于无人机的视觉大跨度测距方法 | |
| KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
| CN102435172A (zh) | 一种球形机器人视觉定位***及视觉定位方法 | |
| CN109596121B (zh) | 一种机动站自动目标检测与空间定位方法 | |
| WO2021017211A1 (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
| CN111815765A (zh) | 一种基于异构数据融合的图像三维重建方法 | |
| CN113340312A (zh) | 一种ar室内实景导航方法及*** | |
| CN112348887A (zh) | 终端位姿确定方法以及相关装置 | |
| CN108253942B (zh) | 一种提高倾斜摄影测量空三质量的方法 | |
| Chen et al. | Real-time geo-localization using satellite imagery and topography for unmanned aerial vehicles | |
| CN113284239B (zh) | 一种关于智慧城市的电子沙盘制作方法及装置 | |
| Javed et al. | PanoVILD: a challenging panoramic vision, inertial and LiDAR dataset for simultaneous localization and mapping | |
| CN115409910A (zh) | 一种语义地图构建方法、视觉定位方法及相关设备 | |
| CN111652276B (zh) | 一种全天候便携式多功能仿生定位定姿观瞄***及方法 | |
| Mithun et al. | Cross-view visual geo-localization for outdoor augmented reality | |
| CN116027351A (zh) | 一种手持/背包式slam装置及定位方法 | |
| CN115435773A (zh) | 室内停车场高精度地图采集装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170222 |
|
| RJ01 | Rejection of invention patent application after publication |