CN111179341A - 一种增强现实设备与移动机器人的配准方法 - Google Patents
一种增强现实设备与移动机器人的配准方法 Download PDFInfo
- Publication number
- CN111179341A CN111179341A CN201911252543.1A CN201911252543A CN111179341A CN 111179341 A CN111179341 A CN 111179341A CN 201911252543 A CN201911252543 A CN 201911252543A CN 111179341 A CN111179341 A CN 111179341A
- Authority
- CN
- China
- Prior art keywords
- mixed reality
- mobile robot
- image
- reality equipment
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims abstract description 19
- 230000009466 transformation Effects 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种增强现实设备与移动机器人的配准方法,获得当前场景的2D图像及点云数据;获取当前场景的2D图像,并获取此时设备的位姿;对上述获得的两张2D图像进行特征提取和特征匹配;计算对应点云数据,获得混合现实设备图像的2D特征点与深度相机3D点的对应值;求解3D到2D点对的运动;利用PnP方法求解出深度相机到混合现实设备的变换矩阵;以移动机器人基座为基准点得到三维坐标,转换到混合现实设备的世界坐标系中的转换矩阵P2;本发明使用图像特征点和点云数据,对混合现实设备与可移动机器人进行配准,在配准完成后,虚拟物体的位姿可以根据实际环境和设备状态进行实时调整,使机器反馈与人的感官相融合,给用户更加自然的使用体验。
Description
【技术领域】
本发明属于图像数据处理领域,涉及一种增强现实设备与移动机器人的配准方法。
【背景技术】
混合现实(Mixed Reality,MR)是一种将虚拟世界和真实世界进行融合,使真实和虚拟的物体能够同时存在并进行实时交互的技术。使用混合现实可以使用户的主观体验更为自然,混合现实与真实世界紧密联系的特点,使其在教育、医疗、游戏等领域有广泛的应用价值。
混合现实技术提供了一种与环境进行直接、自然反馈的方式,因而考虑使用混合现实技术替代移动机器人上的传统屏幕显示,使用户不需要使用屏幕就能获知机器人状态,并且可以通过与环境的互动控制机器人,提高用户的舒适度。
目前为止,混合现实技术与环境进行实时结合一般有两种方式。一种是通过手动或者设置视觉标记的方法将虚拟物体放置在需要的位置,虚拟物体的位置不能根据空间环境的变化进行调整;另一种是在场景中设置视觉标记,该标记必须同时出现在深度相机和混合现实设备视野中才能够实现相机与混合现实设备的配准。这两种方式使用繁琐、不够灵活,不适合变化频繁的场景,限制了混合现实技术的应用范围。
【发明内容】
本发明的目的在于解决现有技术中的问题,提供一种增强现实设备与移动机器人的配准方法,移动机器人带有一个能够获取RGBD数据的相机。
为达到上述目的,本发明采用以下技术方案予以实现:
一种增强现实设备与移动机器人的配准方法,包括以下步骤:
步骤1,使用移动机器人上的深度相机,获得当前场景的2D图像及点云数据;
步骤2,使用混合现实设备,获取当前场景的2D图像,并获取此时设备的位姿T1;
步骤3,对上述获得的两张2D图像进行特征提取和特征匹配,找到两张图像相对应的特征点;
步骤4,根据找到的特征点,计算对应点云数据,获得混合现实设备图像的2D特征点与深度相机3D点的对应值;
步骤5,根据得到的2D和3D特征点,求解3D到2D点对的运动;利用PnP方法求解出深度相机到混合现实设备的变换矩阵T2;
步骤6,移动机器人基座到混合现实设备当前位置的转换矩阵H:
H=T2×T3
其中,T3为移动机器人基座到深度相机的变换矩阵;
步骤7,以移动机器人基座为基准点得到三维坐标P1,转换到混合现实设备的世界坐标系中的转换矩阵P2为:
P2=T1×H×P1。
本发明进一步的改进在于:
步骤3中,采用SIFT算法对图像提取SIFT特征,特征提取过程调用OpenCV中的API进行实现。
步骤3中,采用暴力法尝试所有的匹配可能,得到一个最佳的匹配;特征匹配过程调用OpenCV中的API进行实现。
步骤5的具体方法如下:
对图像提取SIFT特征,特征点分散在各个物体上,不在同一个平面上,使用中PnP算法中的EPnP,调用OpenCV中的API,求解出深度相机到混合现实设备的变换矩阵T2;通过反投影误差对结果进行评估,使用OpenCV中的cv2.projectPoints()计算三维到二维的投影点,计算反投影的点与图像上检测出的特征点之间的平均误差。
与现有技术相比,本发明具有以下有益效果:
本发明使用图像特征点和点云数据,对混合现实设备与可移动机器人进行配准,在配准完成后,虚拟物体的位姿可以根据实际环境和设备状态进行实时调整,使机器反馈与人的感官相融合,给用户更加自然的使用体验。其具有如下优点:
第一:本发明提供一种不限制场景的混合现实配准方案,使用提取图像特征点,进行特征匹配之后,使用PnP算法对深度相机到混合现实设备之间的转换关系进行求解,计算出移动机器人基座到混合现实设备世界坐标系的转换关系,以实现两个坐标系的配准;
进一步的,使用提取图像特征点,进行特征匹配之后,使用PnP算法对深度相机到混合现实设备之间的转换关系进行求解,这种方式在使用时没有限制,只需确保深度相机和混合现实设备捕获同一场景下的图像即可进行配准,使用方便。
进一步的,计算出移动机器人基座到混合现实设备世界坐标系的转换关系,使用这一结果,就可以根据任意物体在移动机器人坐标系中的位置,计算得出该物体在混合现实世界坐标系中的位置。
第二:物体在移动机器人坐标系中的位置通过深度相机来确定,对深度相机获得的图像进行分割、识别,并将识别到的物体的位置信息实时发送到混合现实设备,对放置在场景中的虚拟物体的位置进行调整,使虚拟物体与环境进行更好的融合;
第三:本发明环境适应性强,仅需要在使用之前使用移动机器人新建地图,确定基准点,便可进行配准,配准完成后,可适应场景内容的变化。
【附图说明】
图1为配准流程图。
图2为坐标转换示意图。
【具体实施方式】
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,不是全部的实施例,而并非要限制本发明公开的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要的混淆本发明公开的概念。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的,其中为了清楚表达的目的,放大了某些细节,并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的,实际中可能由于制造公差或技术限制而有所偏差,并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明公开的上下文中,当将一层/元件称作位于另一层/元件“上”时,该层/元件可以直接位于该另一层/元件上,或者它们之间可以存在居中层/元件。另外,如果在一种朝向中一层/元件位于另一层/元件“上”,那么当调转朝向时,该层/元件可以位于该另一层/元件“下”。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面结合附图对本发明做进一步详细描述:
参见图1,本发明使用头戴式混合现实设备,具体实施时使用HoloLens混合现实眼镜。混合现实眼镜通过追踪头部运动或眼球运动获取用户兴趣点,并且使用来自惯性测量单元、环境感知相机、环境光传感器等来自真实世界的传感器信息,确保充分了解周围环境,将现实世界与虚拟世界进行更好的融合,同时能够在空间中准确定位出当前用户的位置和姿态。
移动机器人带有一个能获得RGBD数据的相机,本实例使用的是Intel RealSenseD435。
首先,使用混合现实设备获得当前场景的图像,并获取此时设备在其世界坐标系中的位姿,记为T1,然后使用深度相机获得当前场景的图像数据和点云数据。
然后,对上述步骤中获得的两张图像进行特征提取和特征匹配。由于两张图片的大小不一致,因此使用尺度不变特征转换即SIFT(Scale-invariant feature transform)算法,SIFT特征描述图像的局部特征,其基于物体上一些局部外观的兴趣点,与图像的大小和旋转无关。在进行特征提取后,为了获得比较好的匹配结果,使用暴力法(Brute Force)尝试所有的匹配可能,得到一个最佳的匹配。特征提取和匹配过程均调用OpenCV中的API进行实现。
根据得到的2D和3D特征点,求解3D到2D点对的运动。在已知相机内参和多对3D与2D匹配点的情况下,PnP方法(Perspective-n-Point)可以计算出相机所在位姿。由于本实施例中对任意实际场景图像提取SIFT特征,特征点分散在各个物体上,不在同一个平面上,因此使用中PnP算法中的EPnP,调用OpenCV中的API,求解出深度相机到混合现实设备的变换矩阵T2。通过反投影误差对结果进行评估,使用OpenCV中的cv2.projectPoints()计算三维到二维的投影点,计算反投影的点与图像上检测出的特征点之间的平均误差。这里的误差使用两点之间的欧氏距离作为评判,误差越小,结果越理想。本实施例中当计算出平均误差小于10时,认为结果可用;平均误差大于10时,重复上述过程,直至平均误差小于10。
已知移动机器人基座到深度相机的变换矩阵为T3,则移动机器人基座到混合现实设备当前位置的转换矩阵H=T2×T3,以移动机器人基座为基准点拿到三维坐标P1,拍照时混合现实设备到其世界坐标系的转换矩阵为T1,则移动机器人基座转换到混合现实设备的世界坐标系中的转换矩阵为P2=T1×H×P1;
如图2所示,混合现实设备,能够在真实物体出叠加额外虚拟信息,用于实现混合现实UI,使机器到人的反馈直接与人的感官融为一体,用户的主观体验更为自然,通过调用API来获得此设备在其世界坐标系中的位置信息;
移动机器人,能够构建环境地图,并且能够实时确定其在地图中的位置,移动机器人上的深度相机对周围环境进行实时的识别,确定环境中物体类别及位置信息,发送到混合现实设备进行显示。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。
Claims (4)
1.一种增强现实设备与移动机器人的配准方法,其特征在于,包括以下步骤:
步骤1,使用移动机器人上的深度相机,获得当前场景的2D图像及点云数据;
步骤2,使用混合现实设备,获取当前场景的2D图像,并获取此时设备的位姿T1;
步骤3,对上述获得的两张2D图像进行特征提取和特征匹配,找到两张图像相对应的特征点;
步骤4,根据找到的特征点,计算对应点云数据,获得混合现实设备图像的2D特征点与深度相机3D点的对应值;
步骤5,根据得到的2D和3D特征点,求解3D到2D点对的运动;利用PnP方法求解出深度相机到混合现实设备的变换矩阵T2;
步骤6,移动机器人基座到混合现实设备当前位置的转换矩阵H:
H=T2×T3
其中,T3为移动机器人基座到深度相机的变换矩阵;
步骤7,以移动机器人基座为基准点得到三维坐标P1,转换到混合现实设备的世界坐标系中的转换矩阵P2为:
P2=T1×H×P1。
2.根据权利要求1所述的增强现实设备与移动机器人的配准方法,其特征在于,步骤3中,采用SIFT算法对图像提取SIFT特征,特征提取过程调用OpenCV中的API进行实现。
3.根据权利要求1所述的增强现实设备与移动机器人的配准方法,其特征在于,步骤3中,采用暴力法尝试所有的匹配可能,得到一个最佳的匹配;特征匹配过程调用OpenCV中的API进行实现。
4.根据权利要求1所述的增强现实设备与移动机器人的配准方法,其特征在于,步骤5的具体方法如下:
对图像提取SIFT特征,特征点分散在各个物体上,不在同一个平面上,使用中PnP算法中的EPnP,调用OpenCV中的API,求解出深度相机到混合现实设备的变换矩阵T2;通过反投影误差对结果进行评估,使用OpenCV中的cv2.projectPoints()计算三维到二维的投影点,计算反投影的点与图像上检测出的特征点之间的平均误差。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911252543.1A CN111179341B (zh) | 2019-12-09 | 2019-12-09 | 一种增强现实设备与移动机器人的配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911252543.1A CN111179341B (zh) | 2019-12-09 | 2019-12-09 | 一种增强现实设备与移动机器人的配准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111179341A true CN111179341A (zh) | 2020-05-19 |
CN111179341B CN111179341B (zh) | 2022-05-20 |
Family
ID=70657186
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911252543.1A Active CN111179341B (zh) | 2019-12-09 | 2019-12-09 | 一种增强现实设备与移动机器人的配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111179341B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113012230A (zh) * | 2021-03-30 | 2021-06-22 | 华南理工大学 | 一种术中ar辅助引导手术导板安放的方法 |
CN117021117A (zh) * | 2023-10-08 | 2023-11-10 | 电子科技大学 | 一种基于混合现实的移动机器人人机交互与定位方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104715479A (zh) * | 2015-03-06 | 2015-06-17 | 上海交通大学 | 基于增强虚拟的场景复现检测方法 |
US20150181198A1 (en) * | 2012-01-13 | 2015-06-25 | Softkinetic Software | Automatic Scene Calibration |
CN106296693A (zh) * | 2016-08-12 | 2017-01-04 | 浙江工业大学 | 基于3d点云fpfh特征实时三维空间定位方法 |
CN106355647A (zh) * | 2016-08-25 | 2017-01-25 | 北京暴风魔镜科技有限公司 | 增强现实***和方法 |
CN109389634A (zh) * | 2017-08-02 | 2019-02-26 | 蒲勇飞 | 基于三维重建和增强现实的虚拟购物*** |
CN110288657A (zh) * | 2019-05-23 | 2019-09-27 | 华中师范大学 | 一种基于Kinect的增强现实三维注册方法 |
CN110405730A (zh) * | 2019-06-06 | 2019-11-05 | 大连理工大学 | 一种基于rgb-d图像的人机物交互机械臂示教*** |
-
2019
- 2019-12-09 CN CN201911252543.1A patent/CN111179341B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150181198A1 (en) * | 2012-01-13 | 2015-06-25 | Softkinetic Software | Automatic Scene Calibration |
CN104715479A (zh) * | 2015-03-06 | 2015-06-17 | 上海交通大学 | 基于增强虚拟的场景复现检测方法 |
CN106296693A (zh) * | 2016-08-12 | 2017-01-04 | 浙江工业大学 | 基于3d点云fpfh特征实时三维空间定位方法 |
CN106355647A (zh) * | 2016-08-25 | 2017-01-25 | 北京暴风魔镜科技有限公司 | 增强现实***和方法 |
CN109389634A (zh) * | 2017-08-02 | 2019-02-26 | 蒲勇飞 | 基于三维重建和增强现实的虚拟购物*** |
CN110288657A (zh) * | 2019-05-23 | 2019-09-27 | 华中师范大学 | 一种基于Kinect的增强现实三维注册方法 |
CN110405730A (zh) * | 2019-06-06 | 2019-11-05 | 大连理工大学 | 一种基于rgb-d图像的人机物交互机械臂示教*** |
Non-Patent Citations (2)
Title |
---|
RAÚL MUR-ARTAL ET AL: "ORB-SLAM: A Versatile and Accurate Monocular SLAM System", 《IEEE TRANSACTIONS ON ROBOTICS 》 * |
刘钲: "机器人目标位置姿态估计及抓取研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113012230A (zh) * | 2021-03-30 | 2021-06-22 | 华南理工大学 | 一种术中ar辅助引导手术导板安放的方法 |
CN117021117A (zh) * | 2023-10-08 | 2023-11-10 | 电子科技大学 | 一种基于混合现实的移动机器人人机交互与定位方法 |
CN117021117B (zh) * | 2023-10-08 | 2023-12-15 | 电子科技大学 | 一种基于混合现实的移动机器人人机交互与定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111179341B (zh) | 2022-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11869205B1 (en) | Techniques for determining a three-dimensional representation of a surface of an object from a set of images | |
KR101295471B1 (ko) | 이미지 프로세싱을 기반으로 한 3d 공간 차원용 시스템 및 방법 | |
CN105809701B (zh) | 全景视频姿态标定方法 | |
CN109584295A (zh) | 对图像内目标物体进行自动标注的方法、装置及*** | |
CN108830894A (zh) | 基于增强现实的远程指导方法、装置、终端和存储介质 | |
KR101822471B1 (ko) | 혼합현실을 이용한 가상현실 시스템 및 그 구현방법 | |
KR102461232B1 (ko) | 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체 | |
WO2021143282A1 (zh) | 三维人脸模型生成方法、装置、计算机设备及存储介质 | |
WO2014154839A1 (en) | High-definition 3d camera device | |
CN108227920B (zh) | 运动封闭空间追踪方法及追踪*** | |
JP2008535116A (ja) | 3次元レンダリング用の方法及び装置 | |
CN104881526B (zh) | 一种基于3d的物品穿戴方法及眼镜试戴方法 | |
JP2015022510A (ja) | 自由視点画像撮像装置およびその方法 | |
JP6985897B2 (ja) | 情報処理装置およびその制御方法、プログラム | |
US11138743B2 (en) | Method and apparatus for a synchronous motion of a human body model | |
CN104599317A (zh) | 一种实现3d扫描建模功能的移动终端及方法 | |
CN111179341B (zh) | 一种增强现实设备与移动机器人的配准方法 | |
CN106203364B (zh) | 一种3d眼镜互动试戴***及方法 | |
CN116057577A (zh) | 用于增强现实的地图 | |
CN116168076A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN107145822A (zh) | 偏离深度相机的用户体感交互标定的方法和*** | |
CN110737326A (zh) | 虚拟对象的显示方法、装置、终端设备及存储介质 | |
KR20130018004A (ko) | 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템 | |
Shimamura et al. | Construction of an immersive mixed environment using an omnidirectional stereo image sensor | |
KR101670328B1 (ko) | 다중 실시간 영상 획득 카메라를 통한 실감영상표출장치 및 이를 통한 영상 제어 인식방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |