CN108022302B - 一种Inside-Out空间定位的AR立体显示装置 - Google Patents
一种Inside-Out空间定位的AR立体显示装置 Download PDFInfo
- Publication number
- CN108022302B CN108022302B CN201711248065.8A CN201711248065A CN108022302B CN 108022302 B CN108022302 B CN 108022302B CN 201711248065 A CN201711248065 A CN 201711248065A CN 108022302 B CN108022302 B CN 108022302B
- Authority
- CN
- China
- Prior art keywords
- camera
- scene
- image
- data
- processing module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims abstract description 42
- 210000003128 head Anatomy 0.000 claims abstract description 36
- 230000000694 effects Effects 0.000 claims abstract description 17
- 230000001133 acceleration Effects 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 230000003190 augmentative effect Effects 0.000 claims abstract description 11
- 230000033001 locomotion Effects 0.000 claims description 41
- 238000005457 optimization Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 7
- 210000001525 retina Anatomy 0.000 claims description 6
- 230000005236 sound signal Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提出了一种Inside‑Out空间定位的AR立体显示装置，包括：头圈、摄像头、IMU单元、数据采集及处理模块、显示屏、半透射/半反射显示板等。数据采集及处理模块对图像进行实时分析，获取场景中物体特征信息，并与IMU线性加速度及旋转角速度进行数据融合，获取三维坐标及姿态信息，由终端设备生成相应位置和方向的虚拟物体影像,送至显示屏；半透射/半反射显示板在透射场景中物体的同时将显示屏中的影像反射到使用者眼中，与实物影像叠加以产生增强现实AR的效果。本发明的实时定位功能可单机实现，无需额外的设备或设置特定标识物，定位准确度高，使得虚拟物体与真实物理空间的结合更精准，装置还具有立体显示功能。
Description
技术领域
本发明涉及增强现实AR设备技术领域，特别涉及一种Inside-Out空间定位的AR立体显示装置。
背景技术
AR技术在尖端武器、飞行器的研制与开发、数据模型的可视化、虚拟训练、娱乐与艺术等领域具有广泛的应用，而且由于其具有能够对真实环境进行增强显示输出的特性，在医疗研究与解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等领域，具有比传统技术更加明显的优势。
穿戴式智能AR设备，使得AR功能更贴近人体自身功能并进行了拓展，头戴式AR设备，为用户提供了更加丰富的视觉内容，不仅可以看到物理世界内的物体和环境，而且可以同时看到叠加在物体上的视觉内容，例如虚拟生成的物体、同一物体内部的组织结构、物体的立体结构图、其它物体叠加后的三维效果等等。这一功能实现的效果，既取决于叠加的视觉内容的生成质量，也取决于叠加的位置、方向与尺度，即是否能达到视觉上的无缝叠加，使得真实物体与叠加的视觉信息浑然一体，而且效果不受用户运动的影响。
AR头戴式设备，其定位技术需要对环境进行识别，获得实时的三维空间坐标和使用者的姿态信息。目前采用的定位技术有：GPS定位，WIFI定位，超宽带(Ultra Wideband，缩写为UWB)定位，惯性传感器定位，机器视觉定位等技术。
现有技术上存在以下问题：
1)对于室内定位，GPS由于建筑物造成的信号衰减很大，很难达到室外同样的精度；
2)采用超宽带(Ultra Wideband，缩写为UWB)定位，精度和并发数能满足大多数应用要求，但部署和后期维护成本较高，其定位距离也受制于基站部署；
3)惯性传感器定位，不受遮挡影响，也不需建基站，并发数没有上限，但存在累积误差，精度往往达不到应用要求；
4)机器视觉定位会受到视野影响，往往采用多个摄像头针对不同视角同时采集。若需获取场景中包括深度在内的三维坐标信息，一种方案是采用双目立体成像，相应的计算量较大，实时性往往不够，且测量距离受到限制，另一种方案采用深度摄像机，精度、距离和实时性能满足需要，不过目前深度相机成本高，难以短期内推广；
5)基于标识物的机器视觉定位技术，在环境中预先安放各种标识物，标识物的图案包含二维码信息，摄像头通过对标识物位置信息、标识物携带的二维码识别，计算出空间三维坐标及姿态信息，这一方案要求事先环境内安放足够多的标识物，并保证其光照效果满足采集和识别要求，标识物的安装除了工作量较大，很大程度上也受到环境本身的制约。
发明内容
本发明的目的旨在至少解决所述技术缺陷之一。
为此，本发明的目的在于提出一种Inside-Out空间定位的AR立体显示装置。
为了实现上述目的，本发明的实施例提供一种Inside-Out空间定位的AR立体显示装置，包括：头圈、摄像头、IMU单元、数据采集及处理模块、显示屏、半透射/半反射显示板、信号及电源线、高速媒体数据传输线和麦克风，其中，
所述头圈用于将AR立体显示装置固定于使用者的头部；
所述摄像头安装于所述头圈的前端，用于实时采集当前场景的图像，并发送至所述数据采集及处理模块；
所述IMU单元安装于所述头圈的前端，用于实时采集使用者的线性运动加速度及旋转角速度数据，并发送至所述数据采集处理模块；
所述数据采集及处理模块用于对来自所述摄像头的图像进行实时分析，获取场景中的物体特征信息及背景特征信息，并将所述场景中的物体特征信息及背景特征信息与来自所述IMU单元的线性运动加速度及旋转角速度数据进行数据融合，获取当前场景内的三维坐标及姿态信息，并将融合后的数据通过所述信号线发送至终端设备，以由所述终端设备根据所述三维坐标及姿态信息，生成对应位置和方向的虚拟物体；
所述麦克风用于实时采集使用者语音及环境的音频信号；
所述显示屏安装于所述头圈的前端，用于通过所述高速媒体数据传输线接收高速视音频信号，并显示所述终端设备生成的虚拟物体或所需的叠加物体影像；
所述半透射/半反射显示板安装于所述显示屏的下方，用于在透射场景中的物体的同时，将虚拟物体或所需的叠加物体影像反射到使用者的眼中，与透射的场景中实际物体的影像叠加，以产生增强现实AR的效果。
进一步，还包括：安装于所述头圈后端的头圈宽度调节器和头圈辅助固定框。
进一步，所述摄像头和IMU单元在工作之前进行校准，其中，
对所述摄像机进行校准，包括：获取所述摄像机内、外部参数和畸变参数，利用所述摄像机内、外部参数和畸变参数用于后续计算时去除镜头畸变；
对所述IMU单元进行校准，包括：获取加速度计和陀螺仪的零偏参数，用于消除后续数据采集时的***误差。
进一步，所述数据采集处理模块对来自摄像机的每一帧图像进行特征点提取，对相邻帧进行特征匹配，保留包含预设数量的匹配特征点及新特征点的帧，作为关键帧，利用相邻若干所述关键帧中的特征点，通过三角测量，推算出场景的三维坐标及摄像头姿态，实现运动姿态估算；
所述数据采集及处理模块，对所述摄像头采集的图像出现模糊，或相邻帧间重叠区域过少无法匹配的情况，利用来自所述IMU单元采集的数据估算出姿态和快速运动信息，完成位置和姿态估计。
进一步，所述数据采集处理模块对位置和姿态估计结果进行局部优化，包括：通过线性或非线性方法，根据所述关键帧对运动姿态估算结果进行优化，得到更准确的结果，得到位置姿态数据，并发送至所述终端设备；
所述数据采集处理模块进一步将上述局部优化的结果进行下一步的全局优化，建立场景中完整运动的所有特征点。
进一步，所述数据采集及处理模块，利用长时间运动时路径出现与之前轨迹相交形成闭路的情况，进行位置、姿态的修正，调用全局优化中之前运动过程相似位置的数据，经过校准以消除***产生的累加误差。
进一步，所述终端设备生成两路影像，根据所述终端设备生成的虚拟物体模型，使用两个不同位置、不同角度的虚拟相机，实时生成同一虚拟物体的不同影像，并通过显示屏、半透视/半反射板投影到使用者眼中，使用者双眼经视网膜合成形成立体影像，并将该立体影像同时叠加在现实的场景和实物影像上。
进一步，所述终端设备采用个人计算机PC或移动终端。
根据本发明实施例的Inside-Out空间定位的AR立体显示装置，通过摄像头采集的视频获取视觉特征信息，与集成惯性传感器获取的运动、姿态信息，采用融合算法，得到实时的空间坐标与姿态，实现定位功能；所有数据的采集与融合计算，由嵌入式计算机完成，定位功能的实现无需借助额外的计算设备或环境设置。本发明可根据应用，通过输出两路存在视差的视频影像，提供虚拟物体的立体影像，并与真实场景、物体的影像叠加，使得增强现实效果更加逼真。
本发明实施例的Inside-Out空间定位的AR立体显示装置，具有以下优点：
1)实时定位功能实现可由装置单机实现，无需借助额外的设备或环境中标识物的设置，具有更高的灵活性和更强的适应性；
2)采用单目摄像机和集成IMU传感器，成本较低；
3)多传感器融合，针对高速、低速的运动都能准确跟踪、定位，不受使用者自由行走及头部转动的影响，从而实现虚拟物体与真实空间更精准的叠加效果；
4)可针对不同AR应用灵活地叠加实时视频，并具有立体显示功能；
5)采用头戴式设计，方便佩戴。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的Inside-Out空间定位的AR立体显示装置的结构图；
图2为根据本发明实施例的Inside-Out空间定位的AR立体显示装置的工作流程图；
图3为根据本发明实施例的利用视差进行立体显示的原理图；
图4为根据本发明实施例的定位程序的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明提出一种Inside-Out空间定位的AR立体显示装置，基于多传感器融合的空间定位技术，通过实时计算，获取使用者的三维位置和姿态信息，为应用的虚拟视觉信息提供目标位置、朝向信息，实现场景中真实物体与虚拟物体的准确叠加。本装置利用人眼的双目视差原理，通过提供两路不同的实时视频，使得使用者看到的虚拟影像具有立体效果。
下面对后文中提及到几个相关技术术语进行说明：
虚拟现实:虚拟现实(Virtual Reality，简称VR)，是一种可以创建和体验虚拟世界的计算机仿真***，它利用计算机生成一种模拟环境，是一种多信息融合的交互式的三维动态视景和实体行为的***仿真，使用户沉浸到该环境中。
AR：增强现实(Augmented Reality，简称AR)，是一种通过计算机将虚拟信息(物体、图片、视频、声音等)实时融合到现实环境中，丰富现实世界的技术，它使得虚拟与现实世界合为一体，并能实现与虚拟世界的互动。
Inside-out：虚拟现实和增强现实中一种定位、跟踪方式，将摄像头等传感器固定于使用者身体的某部位(通常在头部)，使用时传感器向外部的环境获取位置及姿态变化信息，通过计算实时得到相对于环境的运动信息，并确定虚拟环境中对应的位置与姿态，其实现方式既可借助于环境中预先设置的特定标识物，也可直接利用环境本身具有的突出特征(例如局部的形状、边缘、纹理等)信息。相对于在环境中固定多个传感器，通过外部传感器获取使用者位置、姿态信息的Outside-In方式，对于环境的要求及设备安装的成本更低，实现应用区域扩展更灵活方便。
IMU：惯性测量单元(Inertial Measurement Unit，简称IMU)，是测量物体运动及姿态的传感器组合。通常包含三轴加速度计用于测量物体在空间三个轴向的加速度，和三轴陀螺仪，以测量物体在三维空间旋转的角速度。
如图1所示，本发明实施例的Inside-Out空间定位的AR立体显示装置，包括：头圈1、摄像头2、IMU单元、数据采集处理模块、显示屏4、半透射/半反射显示板5、信号及电源线6、高速媒体数据传输线7和麦克风10。其中，IMU单元和数据采集处理模块共同记为标记3。
具体的，头圈1用于将AR立体显示装置固定于使用者的头部。
此外，本发明的Inside-Out空间定位的AR立体显示装置，还包括：安装于头圈1后端的头圈宽度调节器8和头圈辅助固定框9。
其中，头圈宽度调节器8可调节头圈1尺寸以适应使用者头部大小，达到最佳佩戴效果。头圈辅助固定框9可以配合头圈1达到更好的固定效果。
摄像头2安装于头圈1的前端，用于实时采集当前场景的图像，并发送至数据采集及处理模块。
IMU单元安装于头圈1的前端，用于实时采集使用者的线性运动加速度及旋转角速度数据，并发送至数据采集及处理模块。
在本发明的一个实施例中，如图2所示，***运行时，由数据采集及处理模块对摄像头2和IMU单元在工作之前需要进行校准。
具体的，对摄像机进行校准，包括如下步骤：获取摄像机内、外部参数和畸变参数，利用摄像机内、外部参数和畸变参数用于后续计算时去除镜头畸变。
对IMU单元进行校准，包括如下步骤：获取加速度计和陀螺仪的零偏参数，用于消除后续数据采集时的***误差。
在经过数据采集处理模块完成对摄像头2和IMU单元的校准后，控制摄像机和IMU分别进行数据采集，摄像机采集的实时视频，经数据采集处理模块提取特征值，IMU单元实时采集加速度和角速度值，即各自分别完成对应的工作。
在本发明的一个实施例中，传感器组合可进行变更，例如摄像头2不限于单目，也可采用多摄像头；IMU单元可不仅限于加速度计和陀螺仪，根据应用也可添加磁力计或气压计等。这都可根据用户实际需求进行选取，在此不再赘述。
数据采集及处理模块用于对来自摄像头2的图像进行分析，获取场景中的物体特征信息及背景特征信息，并将场景中的物体特征信息及背景特征信息与来自IMU单元的线性运动加速度及旋转角速度数据进行数据融合，获取当前场景内的三维坐标及姿态信息，并将融合后的数据通过信号及电源线6发送至终端设备，以由终端设备根据三维坐标及姿态信息，生成特定位置和方向的虚拟物体。
在本发明的一个实施例中，数据采集及处理模块可以采用嵌入式处理计算机。
需要说明的是，本发明中的信号及电源线6分为信号线和电源线两部分，其中，信号线提供嵌入式计算机与后端PC或移动计算机之间的信号传输，包括各种控制信号，以及嵌入式计算机生成的三维坐标和姿态数据；电源线为嵌入式计算机、显示屏4、摄像头2、IMU等供电。
具体的，数据采集及处理模块对来自摄像机的每一帧图像进行特征点提取，对相邻帧进行特征匹配，保留具有预设数量的匹配特征点及新特征点的帧，作为关键帧。特征匹配用于解决数据关联问题，即当前场景与之前场景之间的对应关系，特征匹配保证了三维坐标的计算和运动状态的跟踪。然后利用若干相邻关键帧中的特征点，通过三角测量，推算出场景的三维坐标及摄像头2姿态，实现运动姿态估算。
数据采集及处理模块，对于摄像头2采集图像出现模糊，(例如，由于摄像头2高速运动状态下采集图像模糊情况)或相邻帧间因重叠区域过少出现无法匹配的情况，利用来自IMU单元采集的数据估算出姿态和快速运动信息，完成位置和姿态估计。
图4为由数据处理模块中定位程序的流程图。
如图4所示，数据采集处理模块对位置和姿态估计结果先进行局部优化，包括：通过线性或非线性方法，根据最新若干个关键帧，对运动姿态估算结果进行优化，得到更准确的结果，得到的位置姿态数据，并发送至终端设备，以确定虚拟物体生成的位置和方向。
数据采集及处理模块进一步将上述局部优化的结果进行下一步的全局优化，建立场景中完整运动的所有特征点，由于受到嵌入式***运算能力和存储容量的限制，为满足实时处理的要求，***只保留一定数量的连续关键帧，在后续运动中，随着新关键帧的输入，最早的关键帧被逐步去除，这样只使用当前保存的若干特征点，测量和计算中的误差会累积，使得长时间运动时计算的坐标、姿态偏差逐步增大，重复运动的轨迹由于偏差的增大，无法满足一致性，不再重合，通过全局优化建图后，对于较大的场景，可避免局部优化的不足。
并且，数据采集处理模块执行回环检测，包括利用长时间运动时路径出现与之前相交形成闭路的情况，进行位置、姿态的修正，调用全局优化中之前运动过程相似位置的数据，经过校准以消除***产生的累加误差，而在运动过程中由于采集数据不准难以进行准确跟踪时，也可利用回环检测进行重新定位。
对于场景很大的应用，为了兼顾准确性和实时性，生成的全局图也可传输到后端的终端设备，作为全景建图的一部分，运动过程中，可根据当前区域调用全局图的相关部分，下载到嵌入式计算机里，以节省其运算量和存储空间。
此外，本发明还提供补偿校准功能，根据摄像机和IMU单元各自特点，当一种传感器采集的数据估算的结果不准确或数据不能获取时，根据另一种采集获取的结果进行补偿：头戴式装置快速运动时摄像机采集结果出现模糊，或场景中出现快速运动的物体时也会出现模糊，前者可根据IMU单元高速采集获取的姿态信息得到较好的姿态估计，后者可由IM U单元的姿态信息判断出场景的高速变化，是源于摄像机本身运动，或是场景中存在高速运动的物体，从而分别进行处理。。IMU单元本身在静止或慢速运动时，自身存在漂移，累积的结果会造成误差的增大，而摄像机静止或慢速运动时位姿信息可靠，同时也可用于对IMU姿态信息的校准。
麦克风10用于实时采集使用者语音及环境的音频信号。显示屏4安装于头圈1的前端，用于通过高速媒体数据传输线7接收终端设备实时生成的高速视音频信号，并实时显示，其内容即为虚拟物体或所需叠加物体的影像，显示屏的输出影像，通过半透射/半反射板5，和场景中的实际物体叠加，产生增强现实的效果。
半透射/半反射板5安装于显示屏4的下方，用于在透射场景中背景和物体的同时，将显示屏4产生的虚拟物体或所需的叠加物体影像反射到使用者的眼中，与透射的场景中实际物体的影像叠加，以产生增强现实AR的效果。
即，通过高速媒体传输线，数据采集处理模块生成的影像传送到显示屏4，通过半透射/半反射板5，与实景中的物体和环境进行光学叠加，形成使用者看到的实时叠加影像，即增强现实影像。
需要说明的是，本发明中数据采集及处理的软件模块，可根据应用做一些改变或者更新，例如针对一些应用需要实体与对应的模型精确叠加，可增加相应的匹配功能，以实现两者高精度融合的显示效果。
终端设备根据接收到的来自数据采集处理模块的实时坐标及姿态信息，生成相应位置和姿态的虚拟物体或根据应用生成需要显示的物体影像
终端设备生成两路影像，根据数据采集及处理模块生成的虚拟物体，使用两个不同位置、不同角度的虚拟相机，实时生成同一虚拟物体的不同影像，并通过显示屏4、半透射/半反射板5投影到使用者眼中，使用者双眼经视网膜合成形成立体影像，同时通过半透射/半反射板5，现实世界的场景和实物也直接投射在使用者视网膜上，这样就实现了该立体影像在现实的场景和实物影像上的叠加。
在本发明的一个实施例中，终端设备采用个人计算机PC或移动终端。
图3为根据本发明实施例的利用视差进行立体显示的原理图。
立体成像的原理基于人眼的立体成像原理：左右眼间的瞳距约65mm(成年人)，双眼看到的同一物体在视网膜所成的像存在微小的差异，根据这些差异视神经***合成的图像不仅包含了彩色、明暗等信息，也形成了所见物体中各点的距离信息，即整合形成了三维立体图像。如果在不同位置拍摄同一场景的视频，将视频分别同时输入左右眼，则眼前会呈现立体影像，这便是立体电影、立体电视的成像原理。
如图3所示，图3中实物30经双眼形成的像35，不仅包含了实物30的颜色和亮度信息，而且包含了深度信息，即实物30距离双眼的距离。左眼33对实物30成像为31，而右眼34对实物30的成像为32，由于左眼33与右眼34的瞳孔间存在一定的距离，即瞳距(成年人平均瞳距为65mm),这样大脑利用视网膜所成的像31与32的细微差异，最终合成的像35就包含了实物30的立体信息。
根据本发明实施例的Inside-Out空间定位的AR立体显示装置，通过摄像头采集的视频获取视觉特征信息，与集成惯性传感器获取的运动、姿态信息，采用融合算法，得到实时的空间坐标与姿态，实现定位功能；所有数据的采集与融合计算，由嵌入式计算机完成，定位功能的实现无需借助额外的计算设备或环境设置。本发明可根据应用，通过输出两路存在视差的视频影像，提供虚拟物体的立体影像，并与真实场景、物体叠加，使得增强现实效果更加逼真。
本发明实施例的Inside-Out空间定位的AR立体显示装置，具有以下优点：
1)实时定位功能实现可由装置单机实现，无需借助额外的设备或环境中标识物的设置，具有更高的灵活性和更强的适应性；
2)采用单目摄像机和集成IMU传感器，成本较低；
3)多传感器融合，针对高速、低速的运动都能准确跟踪、定位，不受使用者自由行走及头部转动的影响，从而实现虚拟物体与真实空间更精准的叠加效果；
4)可针对不同AR应用灵活地叠加实时视频，并具有立体显示功能；
5)采用头戴式设计，方便佩戴。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。
Claims (3)
1.一种Inside-Out空间定位的AR立体显示装置，其特征在于，包括：头圈、摄像头、IMU单元、数据采集及处理模块、显示屏、半透射/半反射显示板、信号及电源线、高速媒体数据传输线和麦克风，其中，
所述头圈用于将AR立体显示装置固定于使用者的头部；
所述摄像头安装于所述头圈的前端，用于实时采集当前场景的图像，并发送至所述数据采集及处理模块；
所述IMU单元安装于所述头圈的前端，用于实时采集使用者的线性运动加速度及旋转角速度数据，并发送至所述数据采集及处理模块；
所述摄像头和IMU单元在工作之前进行校准，其中，
对所述摄像头进行校准，包括：获取所述摄像头内、外部参数和畸变参数，所述摄像头内、外部参数和畸变参数用于后续计算时去除镜头畸变；
对所述IMU单元进行校准，包括：获取加速度计和陀螺仪的零偏参数，用于消除后续数据采集时的***误差；
所述数据采集及处理模块用于对来自所述摄像头的图像进行分析，获取场景中的物体特征信息及背景特征信息，并将所述场景中的物体特征信息及背景特征信息与来自所述IMU单元的线性运动加速度及旋转角速度数据进行数据融合，获取当前场景内的三维坐标及姿态信息，并将融合后的数据通过信号线发送至终端设备，以由所述终端设备根据所述三维坐标及姿态信息，生成相应位置和方向的虚拟物体；
所述终端设备生成两路影像，根据所述数据采集及处理模块生成的虚拟物体,使用两个不同位置、不同角度的虚拟相机，实时生成同一虚拟物体的不同影像，并通过显示屏、半透视/半反射板投影到使用者眼中，使用者双眼经视网膜合成形成立体影像，将该立体影像同时叠加在现实的场景和实物影像上；
所述数据采集及处理模块对来自摄像头的每一帧图像进行特征点提取，对相邻帧进行特征匹配，保留预设数量匹配的特征点及新特征点的帧，作为关键帧，将连续的所述关键帧中对应的特征点通过三角测量，推算出场景的三维坐标及摄像头姿态，实现运动姿态估算；
所述数据采集及处理模块,对所述摄像头采集的图像模糊或相邻帧间重叠区域过少出现无法匹配的情况，利用来自所述IMU单元采集的数据估算出姿态和快速运动信息，完成位置和姿态估计；
所述数据采集及处理模块对位置和姿态估计结果进行局部优化，包括：通过线性或非线性方法，根据所述关键帧对运动姿态估算结果进行优化，得到准确的位置姿态数据，并发送至所述终端设备；
所述数据采集及处理模块进一步将上述局部优化的结果进行后续的全局优化，建立场景中完整运动的所有特征点；
所述数据采集及处理模块执行回环检测，包括利用长时间运动时路径出现与之前相交形成闭路的情况，进行位置、姿态的修正，调用全局优化中之前运动过程相似位置的数据，经过校准以消除***产生的累加误差，而在运动过程中由于采集数据不准难以进行准确跟踪时，也利用回环检测进行重新定位；
所述Inside-Out空间定位的AR立体显示装置还提供补偿校准功能，根据摄像头和IMU单元各自特点，当一种传感器采集的数据估算的结果不准确或数据不能获取时，根据另一种采集获取的结果进行补偿：头戴式装置快速运动时摄像头采集结果出现模糊，或场景中出现快速运动的物体时也会出现模糊，前者可根据IMU单元高速采集获取的姿态信息得到姿态估计，后者可由IMU单元的姿态信息判断出场景的高速变化，是源于摄像头本身运动，或是场景中存在高速运动的物体，从而分别进行处理；IMU单元本身在静止或慢速运动时，自身存在漂移，累积的结果会造成误差的增大，而摄像头静止或慢速运动时位姿信息可靠，同时也可用于对IMU姿态信息的校准；
所述麦克风用于实时采集使用者语音及环境的音频信号；
所述显示屏安装于所述头圈的前端，用于通过所述高速媒体数据传输线接收高速视音频信号，并显示所述终端设备生成的虚拟物体或所需叠加的物体影像；
所述半透射/半反射显示板安装于所述显示屏的下方，用于在透射场景中的物体的同时，将虚拟物体或所需的叠加物体影像反射到使用者的眼中，与透射的场景中实际物体的影像叠加，以产生增强现实AR的效果。
2.如权利要求1所述的Inside-Out空间定位的AR立体显示装置，其特征在于，还包括：安装于所述头圈后端的头圈宽度调节器和头圈辅助固定框。
3.如权利要求1所述的Inside-Out空间定位的AR立体显示装置，其特征在于，所述终端设备采用个人计算机PC或移动终端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711248065.8A CN108022302B (zh) | 2017-12-01 | 2017-12-01 | 一种Inside-Out空间定位的AR立体显示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711248065.8A CN108022302B (zh) | 2017-12-01 | 2017-12-01 | 一种Inside-Out空间定位的AR立体显示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108022302A CN108022302A (zh) | 2018-05-11 |
| CN108022302B true CN108022302B (zh) | 2021-06-29 |
Family
ID=62078086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711248065.8A Active CN108022302B (zh) | 2017-12-01 | 2017-12-01 | 一种Inside-Out空间定位的AR立体显示装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108022302B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805917B (zh) * | 2018-05-25 | 2021-02-23 | 杭州易现先进科技有限公司 | 空间定位的方法、介质、装置和计算设备 |
| CN108830944B (zh) * | 2018-07-12 | 2020-10-16 | 北京理工大学 | 光学透视式三维近眼显示***及显示方法 |
| CN109003305B (zh) * | 2018-07-18 | 2021-07-20 | 江苏实景信息科技有限公司 | 一种定位定姿方法及装置 |
| CN110825333B (zh) * | 2018-08-14 | 2021-12-21 | 广东虚拟现实科技有限公司 | 显示方法、装置、终端设备及存储介质 |
| CN109474816B (zh) * | 2018-12-28 | 2024-04-05 | 上海北冕信息科技有限公司 | 增强现实的虚实融合装置及其虚实融合方法、设备、介质 |
| CN110059641B (zh) * | 2019-04-23 | 2023-02-03 | 重庆工商大学 | 基于多预置点的深度鸟类识别算法 |
| CN110236579A (zh) * | 2019-06-14 | 2019-09-17 | 湖南省华芯医疗器械有限公司 | 医疗影像方向校准***及其校准方法 |
| CN112489121A (zh) * | 2019-09-11 | 2021-03-12 | 丰图科技(深圳)有限公司 | 视频融合方法、装置、设备、及存储介质 |
| CN111158463A (zh) * | 2019-11-29 | 2020-05-15 | 淮北幻境智能科技有限公司 | 一种基于slam的计算机视觉大空间定位方法及*** |
| WO2021237952A1 (zh) * | 2020-05-29 | 2021-12-02 | 上海鸿臣互动传媒有限公司 | 一种增强现实的显示***及方法 |
| CN112558302B (zh) * | 2020-12-08 | 2022-12-20 | 恒玄科技(上海)股份有限公司 | 一种用于确定眼镜姿态的智能眼镜及其信号处理方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102129708A (zh) * | 2010-12-10 | 2011-07-20 | 北京邮电大学 | 增强现实环境中快速多层次虚实遮挡处理方法 |
| CN105953796A (zh) * | 2016-05-23 | 2016-09-21 | 北京暴风魔镜科技有限公司 | 智能手机单目和imu融合的稳定运动跟踪方法和装置 |
| CN107004303A (zh) * | 2014-12-04 | 2017-08-01 | 微软技术许可有限责任公司 | 混合现实可视化和方法 |
| CN107153369A (zh) * | 2017-05-23 | 2017-09-12 | 北京小鸟看看科技有限公司 | 一种定位物体的定位方法、***和头戴显示设备 |
-
2017
- 2017-12-01 CN CN201711248065.8A patent/CN108022302B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102129708A (zh) * | 2010-12-10 | 2011-07-20 | 北京邮电大学 | 增强现实环境中快速多层次虚实遮挡处理方法 |
| CN107004303A (zh) * | 2014-12-04 | 2017-08-01 | 微软技术许可有限责任公司 | 混合现实可视化和方法 |
| CN105953796A (zh) * | 2016-05-23 | 2016-09-21 | 北京暴风魔镜科技有限公司 | 智能手机单目和imu融合的稳定运动跟踪方法和装置 |
| CN107153369A (zh) * | 2017-05-23 | 2017-09-12 | 北京小鸟看看科技有限公司 | 一种定位物体的定位方法、***和头戴显示设备 |
Non-Patent Citations (3)
| Title |
|---|
| 基于单目视觉SLAM的三维场景实时重建;孙玉柱;《万方数据》;20171129;第1-71页 * |
| 基于单目视觉的同时定位与地图构建方法综述;刘浩敏等;《计算机辅助设计与图形学学报》;20160630;第28卷(第6期);第855-868页 * |
| 面向增强现实头盔显示器开发与立体显示技术研究;任超宏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20111015(第10期);第I138-852页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108022302A (zh) | 2018-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108022302B (zh) | 一种Inside-Out空间定位的AR立体显示装置 | |
| US11928838B2 (en) | Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display | |
| US20210131790A1 (en) | Information processing apparatus, information processing method, and recording medium | |
| US10215989B2 (en) | System, method and computer program product for real-time alignment of an augmented reality device | |
| US11042028B1 (en) | Relative pose data augmentation of tracked devices in virtual environments | |
| AU2015265416B2 (en) | Method and system for image georegistration | |
| US10269139B2 (en) | Computer program, head-mounted display device, and calibration method | |
| CN107014378A (zh) | 一种视线跟踪瞄准操控***及方法 | |
| WO2019074503A1 (en) | HEAD-ON DISPLAY MONITORING SYSTEM | |
| CN104243959A (zh) | 基于偏振定向和组合定位的智能复合眼镜 | |
| KR20150093831A (ko) | 혼합 현실 환경에 대한 직접 상호작용 시스템 | |
| CN103517061B (zh) | 一种终端设备的显示控制方法及装置 | |
| JP2002259992A (ja) | 画像処理装置およびその方法並びにプログラムコード、記憶媒体 | |
| US12008173B2 (en) | Multi-sensor handle controller hybrid tracking method and device | |
| US10248191B2 (en) | Virtual rigid framework for sensor subsystem | |
| CN110895676B (zh) | 动态对象跟踪 | |
| CN109584263B (zh) | 可穿戴设备的测试方法及*** | |
| EP3642694B1 (en) | Augmented reality system and method of displaying an augmented reality image | |
| CN112486331A (zh) | 基于imu的三维空间手写输入方法和装置 | |
| CN112525185A (zh) | 基于定位的ar导览方法及ar头戴式显示装置 | |
| CN110769245A (zh) | 一种校准方法及相关设备 | |
| CN206300653U (zh) | 一种虚拟现实***中的空间定位装置 | |
| KR20040097477A (ko) | 응시방향 기반의 머리착용형 컴퓨터 인터페이스 장치 및방법 | |
| GB2599145A (en) | Large space tracking using a wearable optics device | |
| Rambach et al. | [POSTER] Fusion of Unsynchronized Optical Tracker and Inertial Sensor in EKF Framework for In-car Augmented Reality Delay Reduction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240617 Address after: 518000 b805, innovation Plaza, 2007 Pingshan Avenue, Liulian community, Pingshan street, Pingshan District, Shenzhen City, Guangdong Province Patentee after: Shijing Culture and Tourism (Shenzhen) Co.,Ltd. Country or region after: China Address before: 518055 10F, Haiwang building, Nanshan street, Nanshan District, Shenzhen City, Guangdong Province Patentee before: SHENZHEN TIANJIE MAGICLAND TECHNOLOGY CO.,LTD. Country or region before: China |