CN112785720A - 一种基于ar测距与空间多标记物的单相机空间重建与渲染方法 - Google Patents
一种基于ar测距与空间多标记物的单相机空间重建与渲染方法 Download PDFInfo
- Publication number
- CN112785720A CN112785720A CN202110055905.9A CN202110055905A CN112785720A CN 112785720 A CN112785720 A CN 112785720A CN 202110055905 A CN202110055905 A CN 202110055905A CN 112785720 A CN112785720 A CN 112785720A
- Authority
- CN
- China
- Prior art keywords
- markers
- ranging
- spatial
- distance
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 23
- 239000003550 marker Substances 0.000 title claims description 17
- 230000008859 change Effects 0.000 claims abstract description 7
- 239000000463 material Substances 0.000 claims abstract description 4
- 230000009466 transformation Effects 0.000 claims abstract description 4
- 238000001514 detection method Methods 0.000 claims description 10
- 230000003190 augmentative effect Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 2
- 230000002452 interceptive effect Effects 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于AR测距与空间多标记物的单相机空间重建与渲染方法，该方法将多个特定标志的标记物放置在真实场景中，利用移动设备的单相机对上述标记进行图像采集，识别图像中的标记，并通过AR测距得到标记间的真实距离，当移动设备随用户同步运动时，获取含有一定数量标记物的即时图像，识别一定数量标记并得到标记间的像素距离，结合移动前后标记间的真实距离与像素距离的空间比例数值关系，得出用户运动前后的距离及角度变化信息，之后经过坐标系的变换进行空间重建并调整相应的场景渲染素材。本发明成本较低，易于拓展，可以实现准确性高、场景渲染效果稳定的交互体验。
Description
技术领域
本发明涉及增强现实及空间定位技术领域，特别涉及一种基于AR测距与空间多标记物的单相机空间重建与渲染方法。
背景技术
AR(增强现实，Augmented Reality)是一种将真实世界信息和虚拟世界信息进行综合和叠加的新技术，它把现实世界一定时间空间范围内很难体验到的实体信息(如视觉、听觉、触觉等)，通过计算机技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。增强现实技术，不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相处补充、叠加，使人们对真实场景的体验、感觉和认知得以提高。
增强现实技术利用三维跟踪注册技术来计算虚拟物体在真实环境中的位置，通过将计算机中的虚拟物体或信息带到真实世界中实现对现实世界的增强。近年来随着科技的发展，增强现实技术被广泛应用于工业、军事、医疗、教育等多个领域。
在AR***中，很多应用场景会涉及到空间定位，利用空间定位技术可以实现真实世界与虚拟世界的更好互动。目前现有的空间定位技术主要通过以下两种方式：第一种是基于传感器的定位技术，主要通过硬件传感器，如磁场传感器、惯性传感器、超声波传感器、光学传感器、机械传感器等对摄像机进行跟踪定位，这类方法简单，获取速度快，但设备较为昂贵，且容易受外界环境的影响；第二种是基于计算机视觉的定位技术，通过分析处理拍摄到的图像数据信息识别和定位真实场景环境，进而确定现实场景与虚拟信息之间的对应关系，此类方法一般只需要摄像机拍摄到的图像信息，对硬件要求较低，但是要求设备具有很强的计算处理能力且跟踪效果不稳定，会对***的运算速度和精度造成较大影响。此外上述两种方法都要求具有多个摄像头，才可以保证定位的精度。
发明内容
本发明的目的在于为了克服现有技术的不足，提出的一种基于AR测距与空间多标记物的单相机空间重建与渲染方法，将多个特定标志的标记物放置在真实场景中，利用移动设备的单相机对上述标记进行图像采集，识别图像中的标记，并通过AR测距得到标记间的真实距离，当移动设备随用户同步运动时，获取含有一定数量标记物的即时图像，识别一定数量标记并得到标记间的像素距离，结合移动前后标记间的真实距离与像素距离的空间比例数值关系，得出用户运动前后的距离及角度变化信息，之后经过坐标系的变换进行空间重建并调整相应的场景渲染素材。
为实现上述目的，本发明采取的技术方案是：一种基于AR测距与空间多标记物的单相机空间重建与渲染方法，所述方法包括如下步骤：
步骤1：空间标记物放置及分区域AR建模；
步骤2：计算不同标记物间的真实距离；
步骤3：计算不同标记物间像素距离；
步骤4：空间重建及场景渲染。
进一步的，所述步骤1将多个具有特定标志的标记物放置在真实场景中，保证每个区域拥有一定数量的标记物，之后对场景进行分区域AR建模，每个区域中含有一定数量的标记物。
更进一步的，所述一定数量的标记物为3至5个。
更进一步的，所述特定标记物包括X字形图案、正方形图案、星型、多边形图案中任一个或多个，并且该特定标记物可以自定义。
进一步的，所述步骤2利用目标检测技术对图像中的不同标记物进行检测得到相应的坐标，之后在建模图像中通过AR测距技术，得到不同标记物之间的真实距离。
进一步的，所述步骤3使用移动设备的单摄像头获取即时浏览图像，并利用目标检测技术获取即时图像中的不同标记物的位置坐标，之后计算不同标记之间的像素距离。
进一步的，所述步骤4比较移动前后相应标记间的真实距离与像素距离的空间比例数值关系，得出运动前后的距离及角度变化信息，之后经过坐标系的变换进行空间重建，即可调整相应的场景渲染素材。
进一步的，如果获取的即时图像中含有多于3个的标记，可以通过多出的标记，对用户的运动前后的距离及角度变化信息进行矫正，使位置信息更加精确。
本发明的有益效果如下：
1、本发明成本较低，易于拓展，不用部署磁场传感器、惯性传感器等传感器，只需要在区域中布置一定数量特定标记物即可。
2、本发明基于单摄像头获取即时图像，算法过程只进行目标检测和计算真实距离与像素距离的空间比例数值关系，大大加快了图像处理及空间重建速度，可以实现准确性高、场景渲染效果稳定的交互体验。
附图说明
图1为本发明AR初始化建模计算真实距离的流程图；
图2为本发明进行空间重建及场景渲染的流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
请参阅图1-2，本发明提供的一种实施例：一种基于AR测距与空间多标记物的单相机空间重建与渲染方法，该方法包括的步骤如下：
步骤1：空间标记物放置及分区域AR建模，将多个具有特定标志的标记物放置在真实场景中，保证每个区域拥有一定数量的标记物，之后对场景进行分区域AR建模，每个区域中含有一定数量的标记物；
步骤2：计算不同标记物间的真实距离，利用目标检测技术对图像中的不同标记物进行检测得到相应的坐标，之后在建模图像中通过AR测距技术，得到不同标记物之间的真实距离；
步骤3：计算不同标记物间像素距离，使用移动设备的单摄像头获取即时浏览图像，利用目标检测技术获取即时图像中的不同标记物的位置坐标，之后计算不同标记之间的像素距离；
步骤4：空间重建及场景渲染，比较移动前后相应标记间的真实距离与像素距离的空间比例数值关系，得出用户运动前后的距离及角度变化信息，之后经过坐标系的变换进行空间重建，即可调整相应的场景渲染素材。
本实施例的步骤1中，特定标记物包括但不限于X字形图案、正方形图案、星型、多边形图案等，此外该特定标记物可以自定义。
本实施例的步骤1中，一定数量的标记物，优选为3-5个。
本实施例的步骤2和3中，之前需要对自定义的多标记物，训练得到目标检测算法，用于获取相应标记物的坐标，实现了目标检测和距离计算的自动化。
本实施例的步骤4中，如果获取的即时图像中含有多于3个的标记，可以通过多出的标记，对用户的运动前后的距离及角度变化信息进行矫正，使位置信息更加精确。
以上显示和描述了本发明的基本原理、主要特征和优点。本领域的普通技术人员应该了解，上述实施例不以任何形式限制本发明的保护范围，凡采用等同替换等方式所获得的技术方案，均落于本发明的保护范围内。
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。
Claims (8)
1.一种基于AR测距与空间多标记物的单相机空间重建与渲染方法，其特征在于，所述方法包括如下步骤：
步骤1：空间标记物放置及分区域AR建模；
步骤2：计算不同标记物间的真实距离；
步骤3：计算不同标记物间像素距离；
步骤4：空间重建及场景渲染。
2.根据权利要求1所述的一种基于AR测距与空间多标记物的单相机空间重建与渲染技术，其特征在于，所述步骤1将多个具有特定标志的标记物放置在真实场景中，保证每个区域拥有一定数量的标记物，之后对场景进行分区域AR建模，每个区域中含有一定数量的标记物。
3.根据权利要求2所述的一种基于AR测距与空间多标记物的单相机空间重建与渲染技术，其特征在于，所述一定数量的标记物为3至5个。
4.根据权利要求2所述的一种基于AR测距与空间多标记物的单相机空间重建与渲染技术，其特征在于，所述特定标记物包括X字形图案、正方形图案、星型、多边形图案中任一个或多个，并且该特定标记物可以自定义。
5.根据权利要求1所述的一种基于AR测距与空间多标记物的单相机空间重建与渲染技术，其特征在于：所述步骤2利用目标检测技术对图像中的不同标记物进行检测得到相应的坐标，之后在建模图像中通过AR测距技术，得到不同标记物之间的真实距离。
6.根据权利要求1所述的一种基于AR测距与空间多标记物的单相机空间重建与渲染技术，其特征在于：所述步骤3使用移动设备的单摄像头获取即时浏览图像，并利用目标检测技术获取即时图像中的不同标记物的位置坐标，之后计算不同标记之间的像素距离。
7.根据权利要求1所述的一种基于AR测距与空间多标记物的单相机空间重建与渲染技术，其特征在于：所述步骤4比较移动前后相应标记间的真实距离与像素距离的空间比例数值关系，得出运动前后的距离及角度变化信息，之后经过坐标系的变换进行空间重建，即可调整相应的场景渲染素材。
8.根据权利要求7所述的一种基于AR测距与空间多标记物的单相机空间重建与渲染技术，其特征在于：如果获取的即时图像中含有多于3个的标记，可以通过多出的标记，对用户的运动前后的距离及角度变化信息进行矫正，使位置信息更加精确。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110055905.9A CN112785720A (zh) | 2021-01-15 | 2021-01-15 | 一种基于ar测距与空间多标记物的单相机空间重建与渲染方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110055905.9A CN112785720A (zh) | 2021-01-15 | 2021-01-15 | 一种基于ar测距与空间多标记物的单相机空间重建与渲染方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112785720A true CN112785720A (zh) | 2021-05-11 |
Family
ID=75756157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110055905.9A Pending CN112785720A (zh) | 2021-01-15 | 2021-01-15 | 一种基于ar测距与空间多标记物的单相机空间重建与渲染方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112785720A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013196154A (ja) * | 2012-03-16 | 2013-09-30 | Ntt Docomo Inc | 画像コミュニケーションシステム、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）動画生成装置及びプログラム |
| CN107205146A (zh) * | 2016-03-16 | 2017-09-26 | 中航华东光电（上海）有限公司 | 多功能自动化标定***及其标定方法 |
| CN108413896A (zh) * | 2018-02-27 | 2018-08-17 | 博众精工科技股份有限公司 | 一种机械手标定方法 |
| CN111223187A (zh) * | 2018-11-23 | 2020-06-02 | 广东虚拟现实科技有限公司 | 虚拟内容的显示方法、装置及*** |
-
2021
- 2021-01-15 CN CN202110055905.9A patent/CN112785720A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013196154A (ja) * | 2012-03-16 | 2013-09-30 | Ntt Docomo Inc | 画像コミュニケーションシステム、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）動画生成装置及びプログラム |
| CN107205146A (zh) * | 2016-03-16 | 2017-09-26 | 中航华东光电（上海）有限公司 | 多功能自动化标定***及其标定方法 |
| CN108413896A (zh) * | 2018-02-27 | 2018-08-17 | 博众精工科技股份有限公司 | 一种机械手标定方法 |
| CN111223187A (zh) * | 2018-11-23 | 2020-06-02 | 广东虚拟现实科技有限公司 | 虚拟内容的显示方法、装置及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8565479B2 (en) | Extraction of skeletons from 3D maps | |
| JP4234343B2 (ja) | グラフィカル・モデルを用いた三次元物体の動的な視覚的位置合せ | |
| CN105094335B (zh) | 场景提取方法、物体定位方法及其*** | |
| US20110292036A1 (en) | Depth sensor with application interface | |
| US20110216090A1 (en) | Real-time interactive augmented reality system and method and recording medium storing program for implementing the method | |
| CN109643014A (zh) | 头戴式显示器追踪 | |
| Nefti-Meziani et al. | 3D perception from binocular vision for a low cost humanoid robot NAO | |
| CN108257177B (zh) | 基于空间标识的定位***与方法 | |
| CN113449570A (zh) | 图像处理方法和装置 | |
| Bueno et al. | Metrological evaluation of KinectFusion and its comparison with Microsoft Kinect sensor | |
| CN111209882A (zh) | 一种全向运动装置的步态信息获取方法、***及可读存储介质 | |
| Bauer et al. | Predicting and estimating the accuracy of n-occular optical tracking systems | |
| CN104732586A (zh) | 一种三维人体动态形体和三维运动光流快速重建方法 | |
| CN110197531A (zh) | 基于深度学习的角色骨骼点映射技术 | |
| US20230224576A1 (en) | System for generating a three-dimensional scene of a physical environment | |
| CN112785720A (zh) | 一种基于ar测距与空间多标记物的单相机空间重建与渲染方法 | |
| CN114114688A (zh) | 一种基于光学追踪器的ar眼镜定位方法及*** | |
| Sandilands et al. | Interaction capture using magnetic sensors | |
| Chin et al. | Camera systems in human motion analysis for biomedical applications | |
| CN112017303A (zh) | 一种基于增强现实技术的设备维修辅助方法 | |
| Sun et al. | Hybrid tracking for augmented reality GIS registration | |
| Sandilands et al. | Capturing close interactions with objects using a magnetic motion capture system and a RGBD sensor | |
| Savii | Camera calibration using compound genetic-simplex algorithm | |
| Gaspar et al. | Accurate infrared tracking system for immersive virtual environments | |
| KR102584539B1 (ko) | 인공지능을 이용한 관절 정보 생성 장치 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |