CN117434571A - 基于单天线确定设备绝对位姿的方法、mr设备及介质 - Google Patents
基于单天线确定设备绝对位姿的方法、mr设备及介质 Download PDFInfo
- Publication number
- CN117434571A CN117434571A CN202311764424.0A CN202311764424A CN117434571A CN 117434571 A CN117434571 A CN 117434571A CN 202311764424 A CN202311764424 A CN 202311764424A CN 117434571 A CN117434571 A CN 117434571A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- target
- virtual
- conversion
- real world
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000006243 chemical reaction Methods 0.000 claims abstract description 133
- 230000000007 visual effect Effects 0.000 claims abstract description 24
- 230000003068 static effect Effects 0.000 claims abstract description 10
- 238000013519 translation Methods 0.000 claims description 82
- 230000033001 locomotion Effects 0.000 claims description 17
- 230000001133 acceleration Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 12
- 230000009466 transformation Effects 0.000 description 14
- 230000003190 augmentative effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
- G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Abstract
本申请公开了一种基于单天线确定设备绝对位姿的方法、MR设备及介质,包括:获取在静止状态下接收到的GNSS观测数据和IMU采集数据;利用视觉追踪,获取目标时刻MR设备在虚拟世界坐标系下的第一AR虚拟位置坐标;根据GNSS观测数据和IMU采集数据,求解在目标时刻的转换参数;根据在目标时刻的转换参数和第一AR虚拟位置坐标,得到在目标时刻、MR设备在现实世界坐标系下的目标位置坐标。本申请利用单GNSS天线来确定虚拟和现实世界坐标的转换关系,且可以对转换关系保持更新,提高了虚拟和现实世界坐标转换关系的精度。本申请不仅减小了设备体积,还简化了坐标系转换过程,成本更低,具有更好的实用性和广泛的适用性。
Description
技术领域
本申请涉及增强现实技术领域,尤其涉及一种基于单天线确定设备绝对位姿的方法、MR设备及介质。
背景技术
在增强现实AR应用中,一般会在AR引擎中建立一个虚拟世界坐标系,所有虚拟内容场景按照该虚拟世界坐标系构建。虚拟世界坐标系一般由AR引擎中采用的视觉跟踪方法所确定。视觉跟踪方法所确定的坐标系是一个相对坐标系,为了让虚拟内容与现实场景完美融合,实现沉浸式增强效果,需要精确确定虚拟世界坐标系与现实世界坐标系的转换关系。
现有技术中通过构建的现实场景视觉地图实现虚拟世界坐标系和现实世界坐标系转换关系。该方法适合小范围AR应用场景,相对于城市级等大空间AR应用,构建视觉地图成本较高。现有技术中还提出了融合GNSS双天线、IMU以及双目相机融合定位定姿方法来确定虚拟世界坐标系和现实世界坐标系的转换关系。该方法实时确定MR设备的高精度绝对地理坐标和真北方位角,以此来确定虚拟世界坐标系和现实世界坐标系的转换关系,能适合大空间AR应用场景。但是为了获得更稳定的位姿估计结果,特别是姿态估计结果,由于姿态求解方法通常是基于三角形解算的原理,因此,双天线之间的距离不能过短。在GNSS基线解算精度一定的情况下,通常会增加双天线的基线距离,以提高三角形解算的精度,从而提高姿态估计的精度。因此,GNSS双天线定位定姿设备体积和重量一般相对较大,不合适小型化AR设备,导致适应范围局限。
发明内容
本申请的主要目的在于提供一种基于单天线确定设备绝对位姿的方法、MR设备及介质,可以解决现有技术中确定虚拟世界坐标系和现实世界坐标系的转换关系成本高,适用范围局限的技术问题。
为实现上述目的,本申请第一方面提供一种基于单GNSS天线确定MR设备绝对位姿的方法,应用于MR设备,MR设备与定位设备刚性连接,定位设备包括布设有单GNSS天线的GNSS模块和IMU模块,该方法包括:
在MR设备和定位设备处于静止状态下,获取通过GNSS模块接收到的GNSS观测数据,以及获取通过IMU模块采集到的IMU采集数据;
启动AR视觉SLAM追踪,获取目标时刻MR设备在虚拟世界坐标系下的第一AR虚拟位置坐标;
根据GNSS观测数据和IMU采集数据,求解在目标时刻的转换参数,其中,转换参数包括分别在x方向、y方向和z方向上的x平移参数、y平移参数和z平移参数以及旋转参数;
根据在目标时刻的转换参数和第一AR虚拟位置坐标,得到在目标时刻、MR设备在现实世界坐标系下的目标位置坐标。
为实现上述目的,本申请第二方面提供一种基于单GNSS天线确定MR设备绝对位姿的装置,应用于MR设备,MR设备与定位设备刚性连接,定位设备包括布设有单GNSS天线的GNSS模块和IMU模块,该装置包括:
数据获取模块,用于在MR设备和定位设备处于静止状态下,获取通过GNSS模块接收到的GNSS观测数据,以及获取通过IMU模块采集到的IMU采集数据;
视觉追踪模块,用于启动AR视觉SLAM追踪,获取目标时刻MR设备在虚拟世界坐标系下的第一AR虚拟位置坐标;
转换参数求解模块,用于根据GNSS观测数据和IMU采集数据,求解在目标时刻的转换参数,其中,转换参数包括分别在x方向、y方向和z方向上的x平移参数、y平移参数和z平移参数以及旋转参数;
虚拟现实坐标转换模块,用于根据在目标时刻的转换参数和第一AR虚拟位置坐标,得到在目标时刻、MR设备在现实世界坐标系下的目标位置坐标。
为实现上述目的,本申请第三方面提供一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:
在MR设备和定位设备处于静止状态下,获取通过GNSS模块接收到的GNSS观测数据,以及获取通过IMU模块采集到的IMU采集数据,其中,MR设备与定位设备刚性连接,定位设备包括布设有单GNSS天线的GNSS模块和IMU模块;
启动AR视觉SLAM追踪,获取目标时刻MR设备在虚拟世界坐标系下的第一AR虚拟位置坐标;
根据GNSS观测数据和IMU采集数据,求解在目标时刻的转换参数,其中,转换参数包括分别在x方向、y方向和z方向上的x平移参数、y平移参数和z平移参数以及旋转参数;
根据在目标时刻的转换参数和第一AR虚拟位置坐标,得到在目标时刻、MR设备在现实世界坐标系下的目标位置坐标。
为实现上述目的,本申请第四方面提供一种MR设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:
在MR设备和定位设备处于静止状态下,获取通过GNSS模块接收到的GNSS观测数据,以及获取通过IMU模块采集到的IMU采集数据,其中,MR设备与定位设备刚性连接,定位设备包括布设有单GNSS天线的GNSS模块和IMU模块;
启动AR视觉SLAM追踪,获取目标时刻MR设备在虚拟世界坐标系下的第一AR虚拟位置坐标;
根据GNSS观测数据和IMU采集数据,求解在目标时刻的转换参数,其中,转换参数包括分别在x方向、y方向和z方向上的x平移参数、y平移参数和z平移参数以及旋转参数;
根据在目标时刻的转换参数和第一AR虚拟位置坐标,得到在目标时刻、MR设备在现实世界坐标系下的目标位置坐标。
采用本申请实施例,具有如下有益效果:
本申请利用单GNSS天线和IMU模块来确定MR设备的虚拟世界坐标和现实世界坐标的转换关系,且可以在整个应用过程中,对转换关系保持更新,进一步提高虚拟世界坐标系和现实世界坐标系转换关系的精度和准确度。另外,本申请相较于传统的双天线方法,不仅减小了设备体积,还简化了坐标系转换过程。同时,通过对转换关系的优化,能够满足小范围虚拟世界和真实世界之间位置关系的确定需求。且,本申请相较于视觉地图方法成本更低,具有更好的实用性和广泛的适用性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为本申请实施例中基于单GNSS天线确定MR设备绝对位姿的方法的流程图;
图2为本申请实施例中MR设备与定位设备的示意图;
图3为本申请实施例中计算机设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
如图1所示,在一个实施例中,提供了一种基于单GNSS天线确定MR设备绝对位姿的方法。该基于单GNSS天线确定MR设备绝对位姿的方法具体包括如下步骤:
S100:在MR设备和定位设备处于静止状态下,获取通过GNSS模块接收到的GNSS观测数据,以及获取通过IMU模块采集到的IMU采集数据。
具体地,该基于单GNSS天线确定MR设备10绝对位姿的方法,应用于MR设备10,参考图2,MR设备10与定位设备20刚性连接,定位设备20包括布设有单GNSS天线的GNSS模块和IMU模块。由于MR设备10与定位设备20是刚性连接的,因此,MR设备10与定位设备20的运动状态相同,例如一起运动或同时静止。
另外,通过实验室标定方法,可以分别获取GNSS天线和9轴IMU的相对转换关系,以及定位设备20和MR设备10的相对转换关系。
GNSS模块通过单GNSS天线接收GNSS观测数据并传输给MR设备10,GNSS观测数据即卫星观测数据。GNSS天线主要用于同频转发***作发射天线使用,天线由天线罩、微带辐射器、底板和高频输出插座等部分组成,用于GPS导航、定位***作接收天线使用。GNSS天线是GPS/GLONASS兼容天线,主要用于同频转发***作发射天线使用,也可用于GPS导航、定位***作接收天线使用。
IMU模块即惯性测量模块,具体可以为9轴IMU模块,包括:3轴陀螺仪、3轴加速度计、3轴磁力计,可以获取到IMU采集数据。IMU采集数据具体包括:通过3轴加速度计模块可以获取到加速度、通过3轴陀螺仪模块可以获取到角速度和通过3轴磁力计模块可以获取到磁感应强度。
MR设备10,即Mixed Reality设备,是一种结合了虚拟和现实的新型虚拟现实设备。它利用了AR(增强现实)和VR(虚拟现实)技术,能够在现实世界中显示虚拟信息或对象,并且能够跟随用户的移动实现交互。
MR设备10可以是MR头显设备,通过内置的计算机、清晰的显示屏幕、传感器和相机来保持虚拟图像与现实世界保持一致,通过对现实环境和虚拟内容的实时跟踪,使得用户可以与虚拟内容进行交互并在现实环境中感受到它们的存在和操作。MR 头显设备具有许多可能的应用功能,如娱乐、游戏、教育、医疗、工业、建筑设计等领域的虚拟实境、辅助实境、增强实境等。MR头显可以为用户提供更丰富、更沉浸式的用户体验,并极大地增加了许多领域的工作效率与安全性。MR 头显设备通常会配备高分辨率显示屏幕,内置的传感器可以跟踪设备的位置和动作,会有多支镜头用于扫描周围的环境和用户的手势操作等,还有耳机、麦克风、蓝牙等配备来实现更多的功能和交互。
获取MR设备10和定位设备20均处于静止状态下的GNSS观测数据和IMU采集数据,用于作为后续计算的数据源和依据。
S200:启动AR视觉SLAM追踪,获取目标时刻MR设备10在虚拟世界坐标系下的第一AR虚拟位置坐标。
具体地,MR设备10中安装有AR引擎和SLAM相机,可以实现AR视觉SLAM追踪计算等。
目标时刻可以为任意时刻,例如为启动时刻、启动后一直处于静止状态的任意时刻、MR运动时的任意时刻等。
虚拟世界坐标系下的AR虚拟位置坐标一般由AR引擎中采用的视觉跟踪方法所确定,常用的AR视觉跟踪方法例如AREngine、ARcore以及ARKit等不局限于此。
通过AR视觉追踪,可以获取到任意时刻MR设备10在虚拟世界坐标系下的AR虚拟位置坐标。由此,通过AR视觉追踪,可以获取到在目标时刻、MR设备10在虚拟世界坐标系下的第一AR虚拟位置坐标。
S300:根据GNSS观测数据和IMU采集数据,求解在目标时刻的转换参数,其中,转换参数包括x平移参数、y平移参数和z平移参数以及旋转参数。
具体地,视觉SLAM(Simultaneous Localization and Mapping,即同时定位与地图构建)是一种利用相机图像数据实现机器人定位和环境地图构建的技术,考虑到视觉SLAM可能会随时间产生漂移,导致虚拟世界坐标系产生变化,使得虚拟世界坐标系和现实世界坐标系再次发生偏移,因此,本实施例中不同目标时刻所对应的转换参数不一定相同。例如,可能是连续的一段时间内的转换参数不变,另一段时间内的转换参数发生改变。基于此,需要根据GNSS观测数据和IMU采集数据,求解取目标时刻对应的转换参数。
转换参数包括分别在x方向、y方向和z方向上的x平移参数、y平移参数和z平移参数,以及旋转参数。旋转参数即航向角。
另外,在使用GNSS观测数据和IMU采集数据之前,还可以对GNSS观测数据和IMU采集数据进行预处理,预处理包括但不限于滤波和校准等。
初始时刻虚拟和真实坐标系是对齐的,随着移动,真实坐标与虚拟坐标,需要再次对齐,即,对齐校正。因此,本实施例需要确定目标时刻的虚拟和真实坐标的转换参数。
S400:根据在目标时刻的转换参数和第一AR虚拟位置坐标,得到在目标时刻、MR设备10在现实世界坐标系下的目标位置坐标。
具体地,根据在目标时刻的转换参数(x平移参数、y平移参数和z平移参数以及旋转参数),将第一AR虚拟位置坐标转换为在目标时刻、MR设备10在现实世界坐标系下的目标位置坐标。
本实施例利用单GNSS天线和IMU模块来确定MR设备的虚拟世界坐标和现实世界坐标的转换关系,且可以在整个应用过程中,对转换关系保持更新,进一步提高虚拟世界坐标系和现实世界坐标系转换关系的精度和准确度。另外,本申请相较于传统的双天线方法,不仅减小了设备体积,还简化了坐标系转换过程。同时,通过对转换关系的优化,能够满足小范围虚拟世界和真实世界之间位置关系的确定需求。且,本申请相较于视觉地图方法成本更低,具有更好的实用性和广泛的适用性。
在一个实施例中,若MR设备10的AR引擎采用左手坐标系,则第一AR虚拟位置坐标为左手坐标系下的AR虚拟位置坐标;
步骤S400中根据在目标时刻的转换参数和第一AR虚拟位置坐标,得到在目标时刻、MR设备10在现实世界坐标系下的目标位置坐标,包括:
将MR设备10在左手坐标系下的第一AR虚拟位置坐标从左手坐标系转换到右手坐标系,得到MR设备10在右手坐标系下的第二AR虚拟位置坐标;
根据在目标时刻的转换参数和第二AR虚拟位置坐标,通过平面坐标转换和高程方向平移,得到在目标时刻、MR设备10在现实世界坐标系下的目标位置坐标。目标位置坐标即MR设备10的绝对位姿。
具体地,MR设备10中的AR引擎可以使用Unity引擎,也可以使用其他引擎,本申请对此不做限制。
如果AR引擎采用的是左手坐标系,则需要将处于左手坐标系下的第一AR虚拟位置坐标转换到右手坐标系下,得到处于右手坐标系下的第二AR虚拟位置坐标。
然后,根据目标时刻的x平移参数、y平移参数、旋转参数,通过平面坐标转换、将第二AR虚拟位置坐标中x方向和y方向的两个子位置坐标转换到现实世界坐标系下,得到目标时刻、MR设备10在现实世界坐标系下的x方向和y方向上的目标子位置坐标。
根据目标时刻的z平移参数,通过高程方向平移、将第二AR虚拟位置坐标中z方向的子位置坐标转换到现实世界坐标系下,得到目标时刻、MR设备10在现实世界坐标系下的z方向上的目标子位置坐标。
根据目标时刻、MR设备10在现实世界坐标系下的x方向、y方向、z方向上的3个目标子位置坐标,即可得到目标时刻、MR设备10在现实世界坐标系下的目标位置坐标。
另外,如果AR引擎采用的是右手坐标系,则跳过左手坐标系转右手坐标系的步骤,直接根据上述类似的步骤将右手坐标系的第一AR虚拟位置坐标转换为现实世界坐标系下目标位置坐标,此处不再赘述。
本实施例通过两个方向的平面坐标转换和一个方向上的平移,即可将MR的虚拟位置坐标转换到现实世界坐标系下的目标位置坐标。简化了坐标系转换过程,通过对转换关系的优化,能够满足小范围虚拟世界和真实世界之间位置关系的确定需求,具有更好的实用性和适用性。
在一个实施例中,通过以下公式1将左手坐标系下的第一AR虚拟位置坐标转换到右手坐标系下的第二AR虚拟位置坐标:
公式1
其中,为在i时刻、MR设备10在左手坐标系下的第一AR虚拟位置坐标,/>为在i时刻、MR设备10在右手坐标系下的第二AR虚拟位置坐标;
通过以下公式2进行平面坐标转换,通过以下公式3进行高程方向平移,将第二AR虚拟位置坐标转换到现实世界坐标系下,得到MR设备10在现实世界坐标系下的目标位置坐标:
公式2
公式3
其中,为在i时刻、MR设备10在现实世界坐标系下的目标位置坐标,/>为在i时刻的x平移参数,/>为在i时刻的y平移参数,/>为在i时刻的z平移参数,为在i时刻的旋转参数。
具体地,由于视觉SLAM属于相对定位原理,认为小范围内,虚拟世界和真实物理世界是相对平行,因此,可以将虚拟世界坐标系下的三维坐标转换简化为平面坐标转换模型,采用四参数转换平面坐标,然后在高程方向上进行一次平移即可得到真实世界坐标系下的三维坐标。
本实施例的i时刻为任意目标时刻。公式1为左手坐标转右手坐标的左右手坐标转换方程,公式2为平面坐标转换方程,公式3为高程方向平移方程。
需要说明的是,视觉SLAM可能会随时间产生漂移,导致虚拟世界的坐标系产生变化,使得虚拟世界坐标系和现实世界坐标系再次发生偏移,但并不是在每时每刻虚拟世界坐标系与现实坐标下的转换关系都会发生偏移。因此,在一段时间内的多个目标时刻可能共用同一组转换参数,即,转换参数的求解可能是间歇性的求解。另外,如果MR设备10在短时间内不断发生较大的运动,则求解新的转换参数的频率才可能会比较频繁。
在一个实施例中,步骤S300中根据GNSS观测数据和IMU采集数据,求解在目标时刻的转换参数,包括:
若目标时刻为启动之后且发生运动的任意时刻,则利用扩展卡尔曼滤波方法根据GNSS观测数据和IMU采集数据中的加速度及角速度,估计RTK解算下MR设备10在现实世界坐标系下每个估计时刻的第一位置坐标,其中,在所有估计时刻MR设备10均在当前预设范围内运动;
获取每个估计时刻MR设备10在AR视觉SALM坐标系下的第三AR虚拟位置坐标;
根据在上一个预设范围内的历史转换参数和同一目标估计时刻的第三AR虚拟位置坐标,得到在目标估计时刻、MR设备10在现实世界坐标系下的第二位置坐标;
利用多个不同目标估计时刻对应的第一位置坐标和第二位置坐标,根据最小二乘法对虚拟坐标系与现实坐标系之间的目标关系式中的目标参数进行求解,其中,目标参数包括当前预设范围对应的转换参数,且,MR设备10在当前预设范围内运动的任意目标时刻均共用同一组转换参数。
具体地,在刚启动的一段时间内,MR设备10的转换参数可能不会有较大漂移,但是在运动状态下,MR设备10的转换参数可能相较于上一次使用的转换参数发生了较大偏移,因此,本实施例需要对运动之后的转换参数进行求解,来提高虚拟世界坐标系与现实世界坐标系转换关系的精度。
定位设备20包含了GNSS模块和IMU模块,MR设备10可以根据GNSS模块和IMU模块的组合,构建GNSS+IMU组合导航定位***。
将上述步骤S100中获取到的GNSS观测数据和IMU采集数据中的加速度(包括x方向上的加速度、y方向上的加速度和z方向上的加速度)及角速度(包括x方向上的角速度、y方向上的角速度和z方向上的角速度)作为初始值输入至GNSS+IMU组合导航定位***中,让MR设备10在小范围(预设范围内)运动(例如绕S型运动),GNSS+IMU组合导航定位***利用扩展卡尔曼滤波方法根据采集到的GNSS观测数据和IMU采集数据中的加速度及角速度,估计RTK解算下MR设备10在现实世界坐标系下每个估计时刻的第一位置坐标。
当然,GNSS+IMU组合导航定位***也可以安装于定位设备20中,由定位设备20利用扩展卡尔曼滤波方法根据GNSS观测数据和IMU采集数据中的加速度及角速度,估计RTK解算下MR设备10在现实世界坐标系下每个估计时刻的第一位置坐标,并将第一位置坐标提供给MR设备10。
其中,一般MR设备10在一定范围内运动其转换参数的漂移较小,只有运动范围较大才会导致转换参数的漂移较大。因此,每次求解转换参数都是取MR设备10在预设范围内运动时多个估计时刻的第一位置坐标。
预设范围具体可以是几米范围内,例如,5米范围内、8米范围内、10米范围内等,本申请对此不作限制。
更具体地,MR设备10在上一预设范围运动一段时间之后,如果超出了上一预设范围,则在超出上一预设范围后需要对MR设备10的转换参数重新进行求解,重新求解使用的数据是MR设备10在当前预设范围内运动的多个估计时刻的第一位置坐标。
每个第一位置坐标是根据GNSS观测数据和IMU采集数据,利用扩展卡尔曼(Kalman)滤波得到的在RTK解算下、MR设备10在现实世界坐标系下的对应估计时刻的位置坐标。
虚拟世界坐标系下的AR虚拟位置坐标一般由AR引擎中采用的视觉跟踪方法所确定,常用的AR视觉跟踪方法例如AREngine、ARcore以及ARKit等不局限于此。
通过AR视觉追踪,可以获取到任意时刻MR设备10在虚拟世界坐标系下的AR虚拟位置坐标。由此,通过AR视觉追踪,可以获取到在估计时刻、MR设备10在虚拟世界坐标系下的第三AR虚拟位置坐标。
本实施例在每个目标估计时刻均共用上一预设范围内的历史转换参数。在任意目标估计时刻,根据上一预设范围内的历史转换参数(x历史平移参数、y历史平移参数和z历史平移参数以及历史旋转参数),将在该目标估计时刻的第三AR虚拟位置坐标转换为在目标估计时刻、MR设备10在现实世界坐标系下的第二位置坐标。
通过上述计算,可以得到多组目标估计时刻的第一位置坐标和第二位置坐标。将这多组目标估计时刻的第一位置坐标和第二位置坐标代入目标关系式中,通过最小二乘法,即可求解出该目标关系式中的目标参数。该目标参数中包含了当前预设范围的转换参数。
MR设备10在当前预设范围内运动的任意目标时刻均共用当前预设范围对应的同一组转换参数。即,只要MR设备10在当前预设范围内运动,则转换参数不变。
在一个具体实施例中,MR设备10每移动预设距离,则重新进行一次预设范围内的转换参数(x平移参数、y平移参数和z平移参数以及旋转参数)的计算,每个预设范围均采用滑动窗口模式取滑动窗口预设范围内的第一位置坐标和第三AR虚拟位置坐标,进行一次转换参数求解。
具体地,考虑视觉SLAM可能会随时间产生漂移,导致虚拟世界的坐标系产生变化,使得虚拟世界坐标系和现实世界坐标系再次发生偏移。因此,在AR应用过程,采用滑动窗口模式,如取10米距离的滑动窗口,重复上述,再次获得下一个预设范围的一组转换参数。如此类推,可以随着MR设备10运动,精确的更新转换参数。
本实施例考虑到每次观察的虚拟内容范围有限,通常只需确定一个小范围的虚拟世界和真实世界之间的相对转换关系,可能仅为数千米甚至更小的范围。因此,在假设虚拟世界和真实物理世界是相对平行的条件下,可以将七参数转换简化为四参数转换加一次高度方向上的平移,从而实现虚拟世界和真实物理世界的关系转换,简化坐标系转换算法,以便满足增强现实应用中对虚拟世界和真实世界之间位置确定关系的需求。且,本实施例实现了利用单GNSS天线和9轴IMU来确定MR设备的虚拟世界坐标系和现实世界坐标系的转换关系,且可以在整个应用过程中,对转换关系进行保持更新,可以进一步提高虚拟世界坐标系和现实世界坐标系转换关系的精度。
在一个实施例中,目标关系式如以下公式4所示:
公式4
其中,Minimize表示最小二乘法求解,、/>、/>均为目标参数,/>表示在当前预设范围m内、x方向上的x平移参数,/>表示在当前预设范围m内、y方向上的y平移参数,/>表示在当前预设范围m内的旋转参数,j为在当前预设范围m内、第j个目标估计时刻,n为在当前预设范围m内、第n个目标估计时刻,/>和/>分别为在第j个目标估计时刻、MR设备10的第一位置坐标中的其中两个方向上的坐标,/>和/>分别为在第j个目标估计时刻、MR设备10的第二位置坐标中的其中两个方向上的坐标。
具体地,通过最小二乘法求解出a和b后,通过反三角函数即可求解到。
RTK解算下、MR设备10在现实世界坐标系下第j个目标估计时刻的第一位置坐标为。在第j个目标估计时刻、MR设备10在现实世界坐标系下的第二位置坐标为。其中,第j个目标估计时刻为多个估计时刻中的一个估计时刻,上述n为不小于2的正整数。
例如,有n个第一位置坐标P1、P2...Pn,;有n个第二位置坐标Pw1、Pw2...Pwn,/>;将n个/>和n个代入公式4,通过最小二乘法,即可求解出/>、/>、/>。
其中,公式4中两个坐标系是等比例的,因此缩放因子认为等于1。
另外,在一个具体实施例中,可以为一个固定值/>,根据GNSS观测数据,通过RTK算法获取GNSS RTK解,得到RTK解算下MR设备10在现实世界坐标系下的第三位置坐标。
或者,,或者,/>。
如果MR设备在当前预设范围m内运动,则在当前预设范围m内运动的任意i目标时刻,共用、/>、/>和/>4个转换参数。
现有技术中,通常三维坐标系之间的相互转换关系采用七参数转换方法确定。本实施例考虑到每次观察的虚拟内容范围有限,通常只需确定一个小范围的虚拟世界和真实世界之间的相对转换关系,可能仅为数千米甚至更小的范围。因此,在假设虚拟世界和真实物理世界是相对平行的条件下,可以将七参数转换简化为四参数转换加一次高度方向上的平移,从而实现虚拟世界和真实物理世界的关系转换,简化坐标系转换算法,以便满足增强现实应用中对虚拟世界和真实世界之间位置确定关系的需求。且,本实施例实现了利用单GNSS天线和9轴IMU来确定MR设备的虚拟世界坐标系和现实世界坐标系的转换关系,且可以在整个应用过程中,对转换关系进行保持更新,实现虚拟世界和现实世界转换关系的精准性。
在一个实施例中,若MR设备10的AR引擎采用左手坐标系,则第三AR虚拟位置坐标为左手坐标系下的AR虚拟位置坐标;
根据在上一个预设范围内的历史转换参数和同一目标估计时刻的第三AR虚拟位置坐标,得到在目标估计时刻、MR设备10在现实世界坐标系下的第二位置坐标,包括:
将MR设备10在左手坐标系下的第三AR虚拟位置坐标从左手坐标系转换到右手坐标系,得到MR设备10在右手坐标系下的第四AR虚拟位置坐标;
根据上一个预设范围内的历史转换参数、同一目标估计时刻的第一位置坐标和第四AR虚拟位置坐标,通过平面坐标转换和高程方向平移,得到在目标估计时刻、MR设备10在现实世界坐标系下的第二位置坐标。
具体地,MR设备10中的AR引擎可以使用Unity引擎,也可以使用其他引擎,本申请对此不做限制。
如果AR引擎采用的是左手坐标系,则需要将处于左手坐标系下的第三AR虚拟位置坐标转换到右手坐标系下,得到处于右手坐标系下的第四AR虚拟位置坐标。
由于视觉SLAM属于相对定位原理,认为小范围内,虚拟世界和真实物理世界是相对平行,因此,可以将虚拟世界坐标系下的三维坐标转换简化为平面坐标转换模型,采用四参数转换平面坐标,然后在高程方向上进行一次平移即可得到真实世界坐标系下的三维坐标。
基于此,根据上一预设范围内的历史转换参数(x历史平移参数、y历史平移参数、历史旋转参数),通过平面坐标转换、将第四AR虚拟位置坐标中x方向和y方向的两个子位置坐标转换到现实世界坐标系下,得到目标估计时刻、MR设备10在现实世界坐标系下的x方向和y方向上的第二子位置坐标。
根据上一预设范围内的z历史平移参数,通过高程方向平移、将第四AR虚拟位置坐标中z方向的子位置坐标转换到现实世界坐标系下,得到目标估计时刻、MR设备10在现实世界坐标系下的z方向上的第二子位置坐标。
根据目标估计时刻、MR设备10在现实世界坐标系下的x方向、y方向、z方向上的3个第二子位置坐标,即可得到在该目标估计时刻、MR设备10在现实世界坐标系下的第二位置坐标。
另外,如果AR引擎采用的是右手坐标系,则跳过左手坐标系转右手坐标系的步骤,直接根据上述类似的步骤将右手坐标系的第三AR虚拟位置坐标转换为现实世界坐标系下第二位置坐标,此处不再赘述。
本实施例通过两个方向的平面坐标转换和一个方向上的平移,即可将MR的虚拟位置坐标转换到现实世界坐标系下的第二位置坐标。不仅减小了设备体积,还简化了坐标系转换过程,具有更好的实用性和适用性。
在一个实施例中,通过以下公式5将左手坐标系下的第三AR虚拟位置坐标转换到右手坐标系下的第四AR虚拟位置坐标:
公式5
其中,为在当前预设范围m内第j估计时刻、MR设备10在左手坐标系下的第三AR虚拟位置坐标,/>为在当前预设范围m内第j估计时刻、MR设备10在右手坐标系下的第四AR虚拟位置坐标;
通过以下公式6进行平面坐标转换,通过以下公式7进行高程方向平移,实现将第四AR虚拟位置坐标转换到现实世界坐标系下,得到MR设备10在现实世界坐标系下的第二位置坐标:
公式6/>
公式7
其中,为在当前预设范围m内第j估计时刻、MR设备10在现实世界坐标系下的第二位置坐标,/>为上一个预设范围(m-1)的x平移参数,/>为上一个预设范围(m-1)的y平移参数,/>为上一个预设范围(m-1)的z平移参数,/>为在上一个预设范围(m-1)的旋转参数。
具体地,由于视觉SLAM属于相对定位原理,认为小范围内,虚拟世界和真实物理世界是相对平行,因此,可以将虚拟世界坐标系下的三维坐标转换简化为平面坐标转换模型,采用四参数转换平面坐标,然后在高程方向上进行一次平移即可得到真实世界坐标系下的三维坐标。
本实施例的j估计时刻为任意估计时刻。公式5为左手坐标转右手坐标的左右手坐标转换方程,公式6为平面坐标转换方程,公式7为高程方向平移方程。
j不论取值是多少,公式6均共用上一个预设范围(m-1)的x平移参数、y平移参数/>、z平移参数/>和旋转参数/>。即,在公式6中/>、/>、/>和为固定值,/>随/>的改变而改变。
本实施例不仅减小了设备体积,还简化了坐标系转换过程。
在一个实施例中,步骤S300中根据GNSS观测数据和IMU采集数据,求解在目标时刻的转换参数,包括:
若目标时刻为MR设备10在初始预设范围内运动的任意时刻,则根据GNSS观测数据,通过RTK算法获取GNSS RTK解,得到RTK解算下MR设备10在现实世界坐标系下的第三位置坐标,将第三位置坐标作为目标时刻的x平移参数、y平移参数和z平移参数,其中,初始预设范围为与MR设备10刚启动时的原点相距在预设距离内的范围;
利用IMU采集数据进行姿态估计,得到MR设备10在现实世界坐标系下的初始姿态信息,其中,初始姿态信息包括初始航向角,将初始航向角作为目标时刻的旋转参数。
具体地,根据GNSS观测数据中的k个卫星观测信息,得到相应的k个伪距方程;利用最小二乘法根据k个伪距方程,解算出MR设备10在静止状态下的第三位置坐标。
采用高斯投影坐标形式,通常GNSS网络RTK解位置坐标精度可以达到厘米级,因此可以满足AR应用的需求。
根据AHRS(航姿参考***)互补滤波(Mahony)算法,利用IMU采集数据中的三个加速度、三个角速度以及三个磁力计数据,可以得到MR设备10在现实世界坐标系下的初始姿态信息,初始姿态信息包括航向角、横滚角Roll0和俯仰角Pitch0。
将MR设备10的第三位置坐标作为视觉SLAM坐标系下的原点,将初始姿态信息作为MR设备10在视觉SLAM坐标系下的初始姿态,可以获得虚拟世界坐标系与现实世界坐标系之间的初始转换关系。
更具体地,根据公式2
公式3
如果MR设备10启动后在距离启动原点预设距离内的初始预设范围运动,则在初始预设范围内运动的任意目标时刻存在:
,/>,/>,/>
将,/>,/>代入公式2和公式3中,则有
其中,为在第i目标时刻、MR设备10在现实世界坐标系下的目标位置坐标,/>为第三位置坐标,也是视觉SLAM坐标系下的原点,/>为初始航向角。
本实施例对转换关系进行简化和优化,由于两个坐标系之间是平行关系,采用四参数转换;根据转换关系,确定虚拟内容在真实物理空间中的位置关系,可以减小计算复杂度并适应小范围的虚拟内容观察需求。
本申请利用单GNSS天线和9轴IMU来确定MR设备的绝对位姿。该方法通过获取原始数据,进行预处理、滤波和校准,利用GNSS定位和IMU姿态估计,建立虚拟世界坐标系和真实物理世界坐标系之间的关系,并简化转换关系以适应增强现实应用需求。该方法具有准确性、简化坐标系转换算法等优点。特别是针对相对小型化的AR设备应用需求,如手机,AR眼镜等,本方案在保证精度的前提下,可以减小设备体积重量。可在增强现实领域广泛应用。
图3示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是上述的MR设备。如图3所示,该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作***,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现上述方法实施例中的各个步骤。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行上述方法实施例中的各个步骤。本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提出了一种MR设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:
在MR设备和定位设备处于静止状态下,获取通过GNSS模块接收到的GNSS观测数据,以及获取通过IMU模块采集到的IMU采集数据,其中,MR设备与定位设备刚性连接,定位设备包括布设有单GNSS天线的GNSS模块和IMU模块;
启动AR视觉SLAM追踪,获取目标时刻MR设备在虚拟世界坐标系下的第一AR虚拟位置坐标;
根据GNSS观测数据和IMU采集数据,求解在目标时刻的转换参数,其中,转换参数包括分别在x方向、y方向和z方向上的x平移参数、y平移参数和z平移参数以及旋转参数;
根据在目标时刻的转换参数和第一AR虚拟位置坐标,得到在目标时刻、MR设备在现实世界坐标系下的目标位置坐标。
在一个实施例中,提出了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:
在MR设备和定位设备处于静止状态下,获取通过GNSS模块接收到的GNSS观测数据,以及获取通过IMU模块采集到的IMU采集数据,其中,MR设备与定位设备刚性连接,定位设备包括布设有单GNSS天线的GNSS模块和IMU模块;
启动AR视觉SLAM追踪,获取目标时刻MR设备在虚拟世界坐标系下的第一AR虚拟位置坐标;
根据GNSS观测数据和IMU采集数据,求解在目标时刻的转换参数,其中,转换参数包括分别在x方向、y方向和z方向上的x平移参数、y平移参数和z平移参数以及旋转参数;
根据在目标时刻的转换参数和第一AR虚拟位置坐标,得到在目标时刻、MR设备在现实世界坐标系下的目标位置坐标。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于单GNSS天线确定MR设备绝对位姿的方法,应用于MR设备,所述MR设备与定位设备刚性连接,所述定位设备包括布设有单GNSS天线的GNSS模块和IMU模块,其特征在于,所述方法包括:
在所述MR设备和定位设备处于静止状态下,获取通过所述GNSS模块接收到的GNSS观测数据,以及获取通过所述IMU模块采集到的IMU采集数据;
启动AR视觉SLAM追踪,获取目标时刻所述MR设备在虚拟世界坐标系下的第一AR虚拟位置坐标;
根据所述GNSS观测数据和IMU采集数据,求解在所述目标时刻的转换参数,其中,所述转换参数包括分别在x方向、y方向和z方向上的x平移参数、y平移参数和z平移参数以及旋转参数;
根据在所述目标时刻的转换参数和所述第一AR虚拟位置坐标,得到在所述目标时刻、所述MR设备在现实世界坐标系下的目标位置坐标。
2.根据权利要求1所述的方法,其特征在于,若所述MR设备的AR引擎采用左手坐标系,则所述第一AR虚拟位置坐标为左手坐标系下的AR虚拟位置坐标;
所述根据在所述目标时刻的转换参数和所述第一AR虚拟位置坐标,得到在所述目标时刻、所述MR设备在现实世界坐标系下的目标位置坐标,包括:
将所述MR设备的第一AR虚拟位置坐标从左手坐标系转换到右手坐标系,得到所述MR设备在右手坐标系下的第二AR虚拟位置坐标;
根据在所述目标时刻的转换参数和所述第二AR虚拟位置坐标,通过平面坐标转换和高程方向平移,得到在所述目标时刻、所述MR设备在现实世界坐标系下的目标位置坐标。
3.根据权利要求2所述的方法,其特征在于,通过以下公式1将左手坐标系下的第一AR虚拟位置坐标转换到右手坐标系下的第二AR虚拟位置坐标:
公式1
其中,为在i时刻、所述MR设备在左手坐标系下的第一AR虚拟位置坐标,为在i时刻、所述MR设备在右手坐标系下的第二AR虚拟位置坐标;
通过以下公式2进行平面坐标转换,通过以下公式3进行高程方向平移,将第二AR虚拟位置坐标转换到现实世界坐标系下,得到所述MR设备在现实世界坐标系下的目标位置坐标:
公式2
公式3
其中,为在i时刻、所述MR设备在现实世界坐标系下的目标位置坐标,为在i时刻的x平移参数,/>为在i时刻的y平移参数,/>为在i时刻的z平移参数,为在i时刻的旋转参数。
4.根据权利要求1所述的方法,其特征在于,所述根据所述GNSS观测数据和IMU采集数据,求解在所述目标时刻的转换参数,包括:
若所述目标时刻为启动之后且发生运动的任意时刻,则利用扩展卡尔曼滤波方法根据所述GNSS观测数据和IMU采集数据中的加速度及角速度,估计RTK解算下所述MR设备在现实世界坐标系下每个估计时刻的第一位置坐标,其中,在所有估计时刻所述MR设备均在当前预设范围内运动;
获取每个估计时刻所述MR设备在AR视觉SALM坐标系下的第三AR虚拟位置坐标;
根据在上一个预设范围内的历史转换参数和同一目标估计时刻的所述第三AR虚拟位置坐标,得到在所述目标估计时刻、所述MR设备在现实世界坐标系下的第二位置坐标;
利用多个不同目标估计时刻对应的第一位置坐标和第二位置坐标,根据最小二乘法对虚拟坐标系与现实坐标系之间的目标关系式中的目标参数进行求解,其中,所述目标参数包括所述当前预设范围对应的转换参数,且,所述MR设备在所述当前预设范围内运动的任意目标时刻均共用同一组转换参数。
5.根据权利要求4所述的方法,其特征在于,所述目标关系式如以下公式4所示:
公式4
其中,Minimize表示最小二乘法求解,、/>、/>均为目标参数,/>表示在所述当前预设范围m内、x方向上的x平移参数,/>表示在所述当前预设范围m内、y方向上的y平移参数,/>表示在所述当前预设范围m内的旋转参数,j为在所述当前预设范围m内、第j个目标估计时刻,n为在所述当前预设范围m内、第n个目标估计时刻,/>和/>分别为在第j个目标估计时刻、MR设备的第一位置坐标中的其中两个方向上的坐标,/>和/>分别为在第j个目标估计时刻、MR设备的第二位置坐标中的其中两个方向上的坐标。
6.根据权利要求4所述的方法,其特征在于,若所述MR设备的AR引擎采用左手坐标系,则所述第三AR虚拟位置坐标为左手坐标系下的AR虚拟位置坐标;
所述根据在上一个预设范围内的历史转换参数和同一目标估计时刻的所述第三AR虚拟位置坐标,得到在所述目标估计时刻、所述MR设备在现实世界坐标系下的第二位置坐标,包括:
将所述MR设备的第三AR虚拟位置坐标从左手坐标系转换到右手坐标系,得到所述MR设备在右手坐标系下的第四AR虚拟位置坐标;
根据上一个预设范围内的历史转换参数、同一目标估计时刻的所述第一位置坐标和第四AR虚拟位置坐标,通过平面坐标转换和高程方向平移,得到在所述目标估计时刻、所述MR设备在现实世界坐标系下的第二位置坐标。
7.根据权利要求6所述的方法,其特征在于,通过以下公式5将左手坐标系下的第三AR虚拟位置坐标转换到右手坐标系下的第四AR虚拟位置坐标:
公式5
其中,为在当前预设范围m内第j估计时刻、所述MR设备在左手坐标系下的第三AR虚拟位置坐标,/>为在当前预设范围m内第j估计时刻、所述MR设备在右手坐标系下的第四AR虚拟位置坐标;
通过以下公式6进行平面坐标转换,通过以下公式7进行高程方向平移,实现将AR虚拟位置坐标转换到现实世界坐标系下,得到所述MR设备在现实世界坐标系下的第二位置坐标:
公式6
公式7
其中,为在当前预设范围m内第j估计时刻、所述MR设备在现实世界坐标系下的第二位置坐标,/>为上一个预设范围(m-1)的x平移参数,/>为上一个预设范围(m-1)的y平移参数,/>为上一个预设范围(m-1)的z平移参数,/>为上一个预设范围(m-1)的旋转参数。
8.根据权利要求1所述的方法,其特征在于,所述根据所述GNSS观测数据和IMU采集数据,求解在所述目标时刻的转换参数,包括:
若所述目标时刻为所述MR设备在初始预设范围内运动的任意时刻,则根据所述GNSS观测数据,通过RTK算法获取GNSS RTK解,得到RTK解算下所述MR设备在现实世界坐标系下的第三位置坐标,将所述第三位置坐标作为所述目标时刻的x平移参数、y平移参数和z平移参数,其中,所述初始预设范围为与所述MR设备刚启动时的原点相距在预设距离内的范围;
利用所述IMU采集数据进行姿态估计,得到所述MR设备在所述现实世界坐标系下的初始姿态信息,其中,所述初始姿态信息包括初始航向角,将所述初始航向角作为所述目标时刻的旋转参数。
9.一种MR设备,包括存储器和处理器,其特征在于,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311764424.0A CN117434571B (zh) | 2023-12-21 | 2023-12-21 | 基于单天线确定设备绝对位姿的方法、mr设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311764424.0A CN117434571B (zh) | 2023-12-21 | 2023-12-21 | 基于单天线确定设备绝对位姿的方法、mr设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117434571A true CN117434571A (zh) | 2024-01-23 |
CN117434571B CN117434571B (zh) | 2024-03-15 |
Family
ID=89555753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311764424.0A Active CN117434571B (zh) | 2023-12-21 | 2023-12-21 | 基于单天线确定设备绝对位姿的方法、mr设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117434571B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170085656A1 (en) * | 2015-09-22 | 2017-03-23 | Nvidia Corporation | Automatic absolute orientation and position |
CN107240156A (zh) * | 2017-06-07 | 2017-10-10 | 武汉大学 | 一种高精度室外增强现实空间信息显示***及方法 |
CN109243575A (zh) * | 2018-09-17 | 2019-01-18 | 华南理工大学 | 一种基于移动交互和增强现实的虚拟针灸方法及*** |
CN110988947A (zh) * | 2019-02-20 | 2020-04-10 | 以见科技(上海)有限公司 | 一种基于实时动态载波相位差分技术的增强现实定位方法 |
CN113587934A (zh) * | 2021-07-30 | 2021-11-02 | 深圳市普渡科技有限公司 | 一种机器人、室内定位方法、装置和可读存储介质 |
CN114022568A (zh) * | 2021-11-10 | 2022-02-08 | 浙江博采传媒有限公司 | 虚实相机位姿矫正方法、装置、存储介质及电子设备 |
CN114114688A (zh) * | 2021-11-17 | 2022-03-01 | 上海理工大学 | 一种基于光学追踪器的ar眼镜定位方法及*** |
US20220236069A1 (en) * | 2021-09-30 | 2022-07-28 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method and apparatus for route navigation, electronic device, computer readable medium |
CN114926542A (zh) * | 2022-05-17 | 2022-08-19 | 广东工业大学 | 基于光学定位***的混合现实固定参考系校准方法 |
CN115022958A (zh) * | 2022-06-27 | 2022-09-06 | 华东师范大学 | 一种头戴式全息透镜联机实时场景同步方法 |
CN115979258A (zh) * | 2023-01-10 | 2023-04-18 | 绘见科技(深圳)有限公司 | 一种实时高精度定位定姿方法、装置与*** |
CN116932119A (zh) * | 2023-09-15 | 2023-10-24 | 深圳市其域创新科技有限公司 | 虚拟屏幕显示方法、装置、设备及计算机可读存储介质 |
-
2023
- 2023-12-21 CN CN202311764424.0A patent/CN117434571B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170085656A1 (en) * | 2015-09-22 | 2017-03-23 | Nvidia Corporation | Automatic absolute orientation and position |
CN107240156A (zh) * | 2017-06-07 | 2017-10-10 | 武汉大学 | 一种高精度室外增强现实空间信息显示***及方法 |
CN109243575A (zh) * | 2018-09-17 | 2019-01-18 | 华南理工大学 | 一种基于移动交互和增强现实的虚拟针灸方法及*** |
CN110988947A (zh) * | 2019-02-20 | 2020-04-10 | 以见科技(上海)有限公司 | 一种基于实时动态载波相位差分技术的增强现实定位方法 |
CN113587934A (zh) * | 2021-07-30 | 2021-11-02 | 深圳市普渡科技有限公司 | 一种机器人、室内定位方法、装置和可读存储介质 |
US20220236069A1 (en) * | 2021-09-30 | 2022-07-28 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method and apparatus for route navigation, electronic device, computer readable medium |
CN114022568A (zh) * | 2021-11-10 | 2022-02-08 | 浙江博采传媒有限公司 | 虚实相机位姿矫正方法、装置、存储介质及电子设备 |
CN114114688A (zh) * | 2021-11-17 | 2022-03-01 | 上海理工大学 | 一种基于光学追踪器的ar眼镜定位方法及*** |
CN114926542A (zh) * | 2022-05-17 | 2022-08-19 | 广东工业大学 | 基于光学定位***的混合现实固定参考系校准方法 |
CN115022958A (zh) * | 2022-06-27 | 2022-09-06 | 华东师范大学 | 一种头戴式全息透镜联机实时场景同步方法 |
CN115979258A (zh) * | 2023-01-10 | 2023-04-18 | 绘见科技(深圳)有限公司 | 一种实时高精度定位定姿方法、装置与*** |
CN116932119A (zh) * | 2023-09-15 | 2023-10-24 | 深圳市其域创新科技有限公司 | 虚拟屏幕显示方法、装置、设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117434571B (zh) | 2024-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220207824A1 (en) | System and method for determining geo-location(s) in images | |
US10798526B2 (en) | Systems and methods for co-localization of multiple devices | |
US11906983B2 (en) | System and method for tracking targets | |
Pagani et al. | Sensors for location-based augmented reality the example of galileo and egnos | |
WO2024027350A1 (zh) | 车辆定位方法、装置、计算机设备、存储介质 | |
US20220036577A1 (en) | Estimating camera pose | |
Xian et al. | Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach | |
NO342793B1 (en) | Augmented reality system and method of displaying an augmented reality image | |
CN117434571B (zh) | 基于单天线确定设备绝对位姿的方法、mr设备及介质 | |
EP3956690B1 (en) | System and method for converging mediated reality positioning data and geographic positioning data | |
Ishikawa et al. | A study of precise road feature localization using mobile mapping system | |
Madjidi et al. | Vision-based positioning and terrain mapping by global alignment for UAVs | |
CN117434570B (zh) | 坐标的可视化测量方法、测量设备及存储介质 | |
Garcia-Fernandez et al. | Optimizing sensor combinations and processing parameters in dynamic sensor networks | |
Grejner-Brzezinska et al. | Personal navigation: Extending mobile mapping technologies into indoor environments | |
WO2024121785A1 (en) | System and method for route guidance using augmented reality | |
Valdez-Rodríguez et al. | Visual-Inertial Navigation Systems and Technologies | |
CN116385563A (zh) | 一种基于场景特征的动平台被动式基准自构建方法 | |
CN115755126A (zh) | 一种基于卫星和视觉融合的移动目标定位方法及*** | |
Ferreira et al. | Application of visual-inertial slam for 3D mapping of underground environments | |
CN117730239A (zh) | 用于导航的设备和方法 | |
CN117348021A (zh) | 一种基于视觉和激光测距的中高空无人机导航方法及*** | |
Ferreira et al. | Visual-Inertial SLAM for Precise 3D Mapping of Underground Environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |