CN109345581A - 基于多目相机的增强现实方法、装置及*** - Google Patents
基于多目相机的增强现实方法、装置及*** Download PDFInfo
- Publication number
- CN109345581A CN109345581A CN201810853942.2A CN201810853942A CN109345581A CN 109345581 A CN109345581 A CN 109345581A CN 201810853942 A CN201810853942 A CN 201810853942A CN 109345581 A CN109345581 A CN 109345581A
- Authority
- CN
- China
- Prior art keywords
- scene
- camera
- mesh cameras
- information
- augmented reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 50
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000007704 transition Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims 1
- 230000007613 environmental effect Effects 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 210000003734 kidney Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 244000144985 peep Species 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
本发明属于增强现实技术领域，具体提供了一种基于多目相机的增强现实方法、装置和***，旨在解决现有技术无法在环境条件较差的场景下实现增强现实显示的技术问题。为此目的，本发明提供了一种基于多目相机的增强现实方法，包括根据预设的多目相机当前获取的场景图像信息构建场景地图；基于场景图像信息获取多目相机中每个相机的位姿信息；基于每个相机的位姿信息将待显示的目标物体叠加到场景地图的对应位置。基于上述步骤，本发明提供的基于多目相机的增强现实方法具有能够简化增强现实显示的处理流程，加快计算速度并且能够很好地应用于弱纹理环境中的有益效果。
Description
技术领域
本发明属于增强现实技术领域，具体涉及一种基于多目相机的增强现实方法、装置和***。
背景技术
SLAM(simultaneous localization and mapping，即时定位与地图构建)在无人驾驶、增强现实显示领域得到广泛的应用。SLAM技术主要包括场景定位和地图重建两个任务，即在建立环境地图的同时对当前相机的位姿信息进行定位。
传统的SLAM技术主要是基于单目相机进行场景定位和稀疏地图重建，基于单目相机的SLAM解决方案虽然运行较快，但是得不到稠密的深度地图信息，在缺乏纹理特征的环境中难以运行，并且得不到实际场景的尺度信息，传统的稀疏SLAM技术难以直接应用在如增强现实显示等领域。随着技术的发展，除了传统的SLAM技术外，现有技术还包括基于深度相机的SLAM***、基于半稠密的SLAM***以及基于激光雷达的SLAM***等等，现有的这些***虽然都可以产生带有尺度信息的相对稠密的地图信息，但是均各自存在着一些缺点。
基于深度相机的SLAM***和基于激光雷达的SLAM***虽然都可以得到稠密的深度信息，但是深度相机和激光雷达本身受环境和距离的限制非常大，难以应用到例如内窥镜等近距离的场景中；基于半稠密的SLAM***只能在纹理丰富的场景中获取深度信息，难以应用于增强现实显示任务。现有的SLAM***均受设备本身的限制，对环境条件要求较高，无法在环境条件较差的场景下生成稠密的深度地图信息。
因此，如何提出一种在环境条件较差的情况下实现增强现实显示的方案是本领域技术人员目前需要解决的问题。
发明内容
为了解决现有技术中的上述问题，即为了解决现有技术无法在环境条件较差的场景下实现增强现实显示的问题，本发明的第一方面提供了一种基于多目相机的增强现实方法，包括：
根据预设的多目相机当前获取的场景图像信息构建场景地图；
基于所述场景图像信息获取所述多目相机中每个相机的位姿信息；
基于所述每个相机的位姿信息将待显示的目标物体叠加到所述场景地图的对应位置。
在上述方法的优选技术方案中，“根据预设的多目相机当前获取的场景图像信息构建场景地图”的步骤包括：
根据预设的多目相机当前获取的所述场景图像信息按照下式所示的方法构建代价矩阵：
其中，C(x,d)表示所述代价矩阵，Nb表示用以构建当前代价矩阵的图像帧数，Λ表示光度差衡量函数，dci(d)表示第ci个相机根据EPI约束获取的当前场景的深度信息；
根据所述代价矩阵获取场景的深度信息，基于所述深度信息构建场景地图。
在上述方法的优选技术方案中，在“根据所述代价矩阵获取场景的深度信息”的步骤之后，所述方法还包括：
根据所述多目相机当前获取的所述场景的图像信息以及预先构建的深度信息优化能量函数对当前获取的场景的深度信息进行优化。
在上述方法的优选技术方案中，“根据所述多目相机当前获取的所述场景的图像信息以及预先构建的深度信息优化能量函数对当前获取的场景的深度信息进行优化”的步骤包括：
按照下式所示的方法对当前获取的场景的深度信息进行优化：
其中，E(d)表示深度信息优化能量函数，wx表示所述当前场景的图像梯度的权重信息，Δd表示所述当前场景的深度信息的梯度，λ表示平衡平滑项和数据项的权重，表示平滑项，C(x,d)表示数据项。
在上述方法的优选技术方案中，“基于所述场景图像信息获取所述多目相机中每个相机的位姿信息”的步骤包括：
基于所述多目相机当前获取的场景图像信息构建位姿能量函数，根据所述位姿能量函数获取所述中每个相机的位姿信息。
在上述方法的优选技术方案中，“基于所述多目相机当前获取的场景图像信息构建位姿能量函数，根据所述位姿能量函数获取所述中每个相机的位姿信息”的步骤包括：
按照下式所述的方法获取所述每个相机的位姿信息：
其中，E表示位姿能量函数，Ω表示所述多目相机当前采集的场景的图像，Cam表示所述多目相机中相机所处的坐标系，表示误差的核函数，Ir(x)表示基于历史关键帧对应的参考相机坐标系下采集的图像，r表示历史关键帧对应的参考坐标系，x表示当前场景图像的二维像素点，π(·)表示投影函数，Tr2ci表示从历史关键帧对应的参考坐标系到ci相机坐标系的转换矩阵，d表示点x在当前场景图像中对应的深度值，Ici(·)表示ci相机坐标系下采集的图像，Tr2ci＝Tr2oTo2ci，To2ci表示当前相机的参考相机坐标系到ci相机坐标系的转换矩阵，Tr2o表示当前相机的位姿信息。
在上述方法的优选技术方案中，在“基于所述每个相机的位姿信息将待显示的目标物体叠加到所述场景地图的对应位置”的步骤之前，所述方法还包括：
将所述场景地图中所述待显示的目标物体对应的位置与所述待显示的目标物体按照下式所示的方法进行配准：
其中，E表示配准能量函数，pref表示参考三维点，Ωc表示所述场景地图的图像，nref表示点pref的法向量，Tr2t表示参考三维点的坐标系到参考相机坐标系的转换矩阵，ptar表示当前场景中的三维点。
本发明的第二方面提供了一种控制装置，包括处理器和存储设备；所述存储设备，适于存储多条程序；所述程序适于由所述处理器加载以执行上述任一项所述的基于多目相机的增强现实方法。
本发明的第三方面提供了一种基于多目相机的增强现实***，包括多目相机和上述所述的控制装置。
与最接近的现有技术相比，上述技术方案至少具有如下有益效果：
1、本发明提供的基于多目相机的增强现实方法，基于预设的多目相机可以预先获取多目相机中每个相机的位姿关系，并且可以测量出每个相机的实际间隔，可以通过多目相机获取当前场景图像的实际尺度信息，简化了增强现实显示的处理流程并且加快了计算速度；
2、本发明提供的基于多目相机的增强现实方法，通过多目相机可以获取当前场景丰富的图像信息，可以很好地应用于弱纹理的环境中，且不受环境距离的限制；
3、本发明提供的基于多目相机的增强现实方法，可以通过多目相机获取的场景的图像信息对构建场景地图需要的深度信息进行优化，减少构建场景地图需要的计算量，进而可以实时构建场景地图。
附图说明
图1为本发明一种实施例的基于多目相机的增强现实方法的主要步骤示意图；
图2为本发明一种实施例的多目相机的结构示意图；
图3为本发明一种实施例的多目相机获取的场景图像以及与场景图像对应的深度图像；
图4为本发明一种实施例的目标物体叠加在场景地图与实际物体在真实场景的示意图；
图5为本发明方法的运行结果与PTAM方法的运行结果的比较图；
图6为本发明基于多目相机的增强现实***的主要结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
参阅附图1，图1示例性的给出了本实施例中基于多目相机的增强现实方法的主要步骤。如图1所示，本实施例中基于多目相机的增强现实方法包括下述步骤：
步骤S101：多目相机获取当前场景的图像信息，根据当前场景的图像信息获取多目相机中每个相机的位姿信息。
参阅附图2，图2示例性地给出了本发明实施例中多目相机的结构示意图。本发明实施例的多目相机包括并排的5个相机，单个相机的分辨率可以是640×480，每个相机的光心呈圆弧状排布，可以增加多目相机的共视区域的面积。多目相机中每个相机的位姿关系可以预先标定好，并且可以实际测量出每个相机之间的实际间隔，因此，通过多目相机可以获取当前场景图像的实际尺度信息，简化了后期处理流程并且加快了后期的计算速度。多目相机可以采集当前场景的图像信息，根据当前场景的图像信息并结合不同相机采集的图像中对应像素的亮度的差值，获取每个相机的位姿参数。具体地，可以基于多目相机当前获取的场景图像信息构建位姿能量函数，根据位姿能量函数获取每个相机的位姿信息，可以按照公式(1)所示的方法获取每个相机的位姿信息：
其中，E表示位姿能量函数，Ω表示多目相机当前采集的场景的图像，Cam表示多目相机中相机所处的坐标系，表示误差的核函数，Ir(x)表示基于历史关键帧对应的参考相机坐标系下采集的图像，r表示历史关键帧对应的参考坐标系，x表示当前场景图像的二维像素点，π(·)表示投影函数，Tr2ci表示从历史关键帧对应的参考坐标系到ci相机坐标系的转换矩阵，d表示点x在当前场景图像中对应的深度值，Ici(·)表示ci相机坐标系下采集的图像。
在实际应用中，Tr2ci＝Tr2oTo2ci，To2ci表示当前相机的参考相机坐标系到ci相机坐标系的转换矩阵，Tr2o表示当前相机的位姿信息，且To2ci是已知量，因此，公式(1)可以改写为如公式(2)所示：
根据公式(2)将待优化的变量降为Tr2o，增加了对多目相机位姿信息的约束，可以实时获取多目相机的位姿信息。
由于多目相机中每个相机的位姿关系可以预先标定好，并且可以实际测量出每个相机之间的实际间隔，通过多目相机可以获取当前场景图像的实际尺度信息，并且通过多目相机可以获取当前场景更加丰富的图像信息，因此，本发明的方法可以很好地应用于如内窥镜等弱纹理环境下，并且本发明的方法是获取当前场景的图像信息，受环境的距离限制较小。
步骤S102：根据多目相机获取的当前场景的图像信息构建场景地图。
根据当前场景的图像信息可以构建当前场景的场景地图，后续可以将待显示的目标物体叠加在场景地图中。具体地，可以根据多目相机当前获取的场景图像信息并按照公式(3)所示的方法构建代价矩阵：
其中，C(x,d)表示代价矩阵，Nb表示用以构建当前代价矩阵的图像帧数，Λ表示光度差衡量函数，dci(d)表示第ci个相机根据EPI约束获取的当前场景的深度信息，EPI(epipolar plan image，对极平面图)对应于序列图像在相同纵坐标条件下横向像素的堆叠。公式(3)还可以改写为如公式(4)所示：
C＝{C(x,d)|x∈Ω,d∈r(x)} (4)
其中，r(x)表示参考像素x处的深度值的取值范围。继续参阅附图3，图3示例性地给出了多目相机获取的场景图像以及与场景图像对应的深度图像。图3左边的图像表示多目相机获取的场景图像，右边的图像表示与场景图像对应的深度图像，图3中亮度越大的部分表示实际物体与多目相机的位置越近。在实际应用中，根据代价矩阵得到场景的深度信息后，可以以场景的深度信息为中心，获取一个优化范围。具体地，可以结合多目相机获取的场景的图像信息、每个相机的位姿信息以及已有的地图信息，判断获取的深度信息对应的图像帧是否为关键帧，如果是的话，则将该深度信息对应的额图像帧加入场景地图形成关键帧，否则，则利用深度信息优化场景地图。
实时构建场景地图，需要大量且复杂的计算，为了能够加快计算速度，可以对代价矩阵进行优化，根据代价矩阵获取当前场景的深度信息，基于当前场景的深度信息构建场景地图。具体地，为了减少计算量，可以不直接对代价矩阵进行优化，可以通过不断加入多目相机获取的当前场景的图像信息和预先构建的深度信息优化能量函数对得到的深度信息进行平滑和去噪优化，具体可以按照公式(5)所示的方法对当前获取的场景的深度信息进行优化：
其中，E(d)表示深度信息优化能量函数，wx表示当前场景的图像梯度的权重信息，Δd表示当前场景的深度信息的梯度，λ表示平衡平滑项和数据项的权重，表示平滑项，C(x,d)表示数据项。
通过不断加入多目相机获取的当前场景的图像信息，可以在减少计算量的同时，结合深度信息优化能量函数优化得到的深度信息，进而可以得到更加准确场景地图。
步骤S103：基于每个相机的位姿信息将待显示的目标物体叠加到场景地图的对应位置。
将待显示的目标物体叠加到构建的场景地图中，可以对不便于获取的对象进行直观形象地观察，如内脏表皮下的肿瘤。具体地，可以将待显示的目标物体叠加到场景地图的对应位置中，通过多目相机可以获取当前场景图像的实际尺度信息，将待显示的目标物体叠加到场景地图时，不用考虑场景图像的尺度的影响，可以将场景地图中待显示的目标物体对应的位置与待显示的目标物体按照公式(6)所示的方法进行配准：
其中，E表示配准能量函数，pref表示参考三维点，Ωc表示场景地图的图像，nref表示点pref的法向量，Tr2t表示参考三维点的坐标系到参考相机坐标系的转换矩阵，ptar表示当前场景中的三维点。
将场景地图中待显示的目标物体对应的位置与待显示的目标物体进行配准后，可以将待显示的目标物体准确地叠加在场景地图中。继续参阅附图4，附图4示例性地给出了目标物体叠加在场景地图与实际物体在真实场景的示意图。图4左上角为将模拟肾脏叠加在场景地图的示意图，图4右上角为真实肾脏在人体中的图像，图4左下角为模拟肾脏局部放大后叠加在场景地图的示意图，图4右下角为真实肾脏局部放大后的图像。
通过多目相机可以获取当前场景图像的实际尺度信息以及当前场景图像的丰富细节信息，可以实时构建带有尺度信息的场景地图，并且获取多目相机中每个相机的位姿信息，再根据每个相机的位姿信息将待显示的目标物体叠在到场景地图中，本发明的方法可以很好地应用于弱纹理环境中，且不受弱纹理环境的限制。继续参阅附图5，图5示例性地给出了本发明方法的运行结果与PTAM(Parallel Tracking and Mapping，追踪与绘制)方法(在纹理丰富的条件下)的运行结果的比较图。如图5所示，本发明方法的运行结果的定位精度接近在纹理丰富的条件下的PTAM方法的定位精度。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
基于上述基于多目相机的增强现实方法实施例，本发明还提供了一种控制装置，该控制装置包括处理器和存储设备；存储设备可以适于存储多条程序并且这些程序可以适于由处理器加载以执行上述方法实施例所述的基于多目相机的增强现实方法。
所属技术领域的技术人员可以清楚地了解到，为了描述的方便和简洁，本发明装置实施例的具体工作过程以及相关说明，可以参考前述方法实施例中的对应过程，且与上述方法具有相同的有益效果，在此不再赘述。
进一步地，基于上述基于多目相机的增强现实方法实施例，本发明还提供了一种基于多目相机的增强现实***，包括多目相机和上述的控制装置。继续参阅附图6，图6示例性地给出了本发明基于多目相机的增强现实***的主要结构示意图。具体地，基于多目相机的增强现实***可以包括多目采集单元10、增强现实显示处理核心20以及终端三维增强现实显示30。多目采集单元10将从环境中采集得到的多目图像序列经过滤波矫正等预处理后，传入增强现实显示处理核心20的多目SLAM***单元201中进行数据信息的提取和增强，多目增强现实核心单元202根据多目信息分析当前多目相机中每个相机的位姿以及构建当前场景的深度模型信息，利用这些信息将要增强显示的模型叠加到当前构建的地图中的特定目标，最终通过终端三维增强现实显示30实现增强现实显示。
由于多目采集单元10的多目相机可以获取带有实际尺度信息的场景图像，因此可以通过多目相机自身的尺度约束对基于多目相机的增强现实***进行初始化，从而使基于多目相机的增强现实***后续构建的场景地图也带有实际尺度信息。为了能够实现实时构建场景地图，增强现实显示处理核心20可以是配备NVIDIA GeForce GTX Titan X显卡的Dell T7610工作站，在GPU加速的情况下，对多目采集单元10中的每个多目相机的定位线程可以达到25fps，增强现实显示线程可以达到20fps，最终可以通过终端三维增强现实显示30将要增强现实显示的内容显示出来。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。应该理解这样使用的数据在适当的情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (9)
1.一种基于多目相机的增强现实方法，其特征在于包括：
根据预设的多目相机当前获取的场景图像信息构建场景地图；
基于所述场景图像信息获取所述多目相机中每个相机的位姿信息；
基于所述每个相机的位姿信息将待显示的目标物体叠加到所述场景地图的对应位置。
2.根据权利要求1所述的基于多目相机的增强现实方法，其特征在于，“根据预设的多目相机当前获取的场景图像信息构建场景地图”的步骤包括：
根据预设的多目相机当前获取的所述场景图像信息按照下式所示的方法构建代价矩阵：
其中，C(x,d)表示所述代价矩阵，Nb表示用以构建当前代价矩阵的图像帧数，Λ表示光度差衡量函数，dci(d)表示第ci个相机根据EPI约束获取的当前场景的深度信息；
根据所述代价矩阵获取场景的深度信息，基于所述深度信息构建场景地图。
3.根据权利要求2所述的基于多目相机的增强现实方法，其特征在于，在“根据所述代价矩阵获取场景的深度信息”的步骤之后，所述方法还包括：
根据所述多目相机当前获取的所述场景的图像信息以及预先构建的深度信息优化能量函数对当前获取的场景的深度信息进行优化。
4.根据权利要求3所述的基于多目相机的增强现实方法，其特征在于，“根据所述多目相机当前获取的所述场景的图像信息以及预先构建的深度信息优化能量函数对当前获取的场景的深度信息进行优化”的步骤包括：
按照下式所示的方法对当前获取的场景的深度信息进行优化：
其中，E(d)表示深度信息优化能量函数，wx表示所述当前场景的图像梯度的权重信息，Δd表示所述当前场景的深度信息的梯度，λ表示平衡平滑项和数据项的权重，表示平滑项，C(x,d)表示数据项。
5.根据权利要求1所述的基于多目相机的增强现实方法，其特征在于，“基于所述场景图像信息获取所述多目相机中每个相机的位姿信息”的步骤包括：
基于所述多目相机当前获取的场景图像信息构建位姿能量函数，根据所述位姿能量函数获取所述中每个相机的位姿信息。
6.根据权利要求5所述的基于多目相机的增强现实方法，其特征在于，“基于所述多目相机当前获取的场景图像信息构建位姿能量函数，根据所述位姿能量函数获取所述中每个相机的位姿信息”的步骤包括：
按照下式所述的方法获取所述每个相机的位姿信息：
其中，E表示位姿能量函数，Ω表示所述多目相机当前采集的场景的图像，Cam表示所述多目相机中相机所处的坐标系，表示误差的核函数，Ir(x)表示基于历史关键帧对应的参考相机坐标系下采集的图像，r表示历史关键帧对应的参考坐标系，x表示当前场景图像的二维像素点，π(·)表示投影函数，Tr2ci表示从历史关键帧对应的参考坐标系到ci相机坐标系的转换矩阵，d表示点x在当前场景图像中对应的深度值，Ici(·)表示ci相机坐标系下采集的图像，Tr2ci＝Tr2oTo2ci，To2ci表示当前相机的参考相机坐标系到ci相机坐标系的转换矩阵，Tr2o表示当前相机的位姿信息。
7.根据权利要求1-6中任一项所述的基于多目相机的增强现实方法，其特征在于，在“基于所述每个相机的位姿信息将待显示的目标物体叠加到所述场景地图的对应位置”的步骤之前，所述方法还包括：
将所述场景地图中所述待显示的目标物体对应的位置与所述待显示的目标物体按照下式所示的方法进行配准：
其中，E表示配准能量函数，pref表示参考三维点，Ωc表示所述场景地图的图像，nref表示点pref的法向量，Tr2t表示参考三维点的坐标系到参考相机坐标系的转换矩阵，ptar表示当前场景中的三维点。
8.一种控制装置，包括处理器和存储设备；所述存储设备，适于存储多条程序；其特征在于，所述程序适于由所述处理器加载以执行权利要求1-7中任一项所述的基于多目相机的增强现实方法。
9.一种基于多目相机的增强现实***，其特征在于包括多目相机和权利要求8所述的控制装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810853942.2A CN109345581B (zh) | 2018-07-30 | 2018-07-30 | 基于多目相机的增强现实方法、装置及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810853942.2A CN109345581B (zh) | 2018-07-30 | 2018-07-30 | 基于多目相机的增强现实方法、装置及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109345581A true CN109345581A (zh) | 2019-02-15 |
| CN109345581B CN109345581B (zh) | 2020-10-27 |
Family
ID=65291381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810853942.2A Expired - Fee Related CN109345581B (zh) | 2018-07-30 | 2018-07-30 | 基于多目相机的增强现实方法、装置及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109345581B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109920000A (zh) * | 2019-03-04 | 2019-06-21 | 杭州师范大学 | 一种基于多相机协同的无死角的增强现实方法 |
| CN110426837A (zh) * | 2019-07-19 | 2019-11-08 | 青岛智能产业技术研究院 | 基于单透镜的多目三维内窥成像*** |
| CN111553939A (zh) * | 2020-04-21 | 2020-08-18 | 东南大学 | 一种多目摄像机的图像配准算法 |
| CN112148189A (zh) * | 2020-09-23 | 2020-12-29 | 北京市商汤科技开发有限公司 | 一种ar场景下的交互方法、装置、电子设备及存储介质 |
| CN112348878A (zh) * | 2020-10-23 | 2021-02-09 | 歌尔光学科技有限公司 | 定位测试方法、装置及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654547A (zh) * | 2015-12-23 | 2016-06-08 | 中国科学院自动化研究所 | 三维重建方法 |
| CN107564012A (zh) * | 2017-08-01 | 2018-01-09 | 中国科学院自动化研究所 | 面向未知环境的增强现实方法及装置 |
| US20180114332A1 (en) * | 2016-10-24 | 2018-04-26 | International Business Machines Corporation | Edge-based adaptive machine learning for object recognition |
-
2018
- 2018-07-30 CN CN201810853942.2A patent/CN109345581B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654547A (zh) * | 2015-12-23 | 2016-06-08 | 中国科学院自动化研究所 | 三维重建方法 |
| US20180114332A1 (en) * | 2016-10-24 | 2018-04-26 | International Business Machines Corporation | Edge-based adaptive machine learning for object recognition |
| CN107564012A (zh) * | 2017-08-01 | 2018-01-09 | 中国科学院自动化研究所 | 面向未知环境的增强现实方法及装置 |
Non-Patent Citations (7)
| Title |
|---|
| QQ_34435310: "基于单目视觉的同时定位与地图构建方法综述", 《CSDN》 * |
| RONG WANG ET AL: "3-D Tracking for Augmented Reality Using Combined Region and Dense Cues in Endoscopic Surgery", 《IEEE》 * |
| YANGBIN CHEN ET AL: "Multi-Stereo Vision Tracking for AR System", 《2006 IEEE INTERNATIONAL CONFERENCE ON INFORMATION ACQUISITION》 * |
| YUN-JIA YEH ET AL: "3D Reconstruction and Visual SLAM of Indoor Scenes for Augmented Reality Application", 《2018 IEEE 14TH INTERNATIONAL CONFERENCE ON CONTROL AND AUTOMATION (ICCA)》 * |
| 孙玉柱: "基于单目视觉SLAM的三维场景实时重建", 《中国优秀硕士学位论文全文数据库》 * |
| 杨青青: "数字图像滤波器在立体匹配中的应用", 《中国优秀博士学位论文全文数据库》 * |
| 罗建国: "基于OpenCV的三维重建关键算法研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109920000A (zh) * | 2019-03-04 | 2019-06-21 | 杭州师范大学 | 一种基于多相机协同的无死角的增强现实方法 |
| CN109920000B (zh) * | 2019-03-04 | 2020-11-03 | 杭州师范大学 | 一种基于多相机协同的无死角的增强现实方法 |
| CN110426837A (zh) * | 2019-07-19 | 2019-11-08 | 青岛智能产业技术研究院 | 基于单透镜的多目三维内窥成像*** |
| CN111553939A (zh) * | 2020-04-21 | 2020-08-18 | 东南大学 | 一种多目摄像机的图像配准算法 |
| CN111553939B (zh) * | 2020-04-21 | 2022-04-29 | 东南大学 | 一种多目摄像机的图像配准算法 |
| CN112148189A (zh) * | 2020-09-23 | 2020-12-29 | 北京市商汤科技开发有限公司 | 一种ar场景下的交互方法、装置、电子设备及存储介质 |
| CN112348878A (zh) * | 2020-10-23 | 2021-02-09 | 歌尔光学科技有限公司 | 定位测试方法、装置及电子设备 |
| CN112348878B (zh) * | 2020-10-23 | 2023-03-21 | 歌尔科技有限公司 | 定位测试方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109345581B (zh) | 2020-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109345581A (zh) | 基于多目相机的增强现实方法、装置及*** | |
| CN108154550B (zh) | 基于rgbd相机的人脸实时三维重建方法 | |
| Huang et al. | A 3D GIS-based interactive registration mechanism for outdoor augmented reality system | |
| CN105279750B (zh) | 一种基于ir-uwb和图像矩的装备展示导览*** | |
| CN106296812B (zh) | 同步定位与建图方法 | |
| CN108416840A (zh) | 一种基于单目相机的三维场景稠密重建方法 | |
| CN105164728B (zh) | 用于混合实境的设备和方法 | |
| CN109584295A (zh) | 对图像内目标物体进行自动标注的方法、装置及*** | |
| CN108038902A (zh) | 一种面向深度相机的高精度三维重建方法和*** | |
| CN107358633A (zh) | 一种基于三点标定物的多相机内外参标定方法 | |
| Zollmann et al. | Interactive 4D overview and detail visualization in augmented reality | |
| CN102646275A (zh) | 通过跟踪和定位算法实现虚拟三维叠加的方法 | |
| CN108230247A (zh) | 基于云端的三维地图的生成方法、装置、设备及应用程序 | |
| CN112053447A (zh) | 一种增强现实三维注册方法及装置 | |
| CN109859266A (zh) | 一种基于预变换的大视角变化下视觉同时定位与绘图方法 | |
| CN107631700B (zh) | 三维扫描仪与全站仪相结合的三维数据测量方法 | |
| Yu et al. | A tracking solution for mobile augmented reality based on sensor-aided marker-less tracking and panoramic mapping | |
| CN110456904B (zh) | 一种无需标定的增强现实眼镜眼动交互方法及*** | |
| CN102930551B (zh) | 利用圆心的投影坐标和极线求解摄像机内参数 | |
| CN107330980A (zh) | 一种基于无标志物的虚拟家具布置*** | |
| CN109816792A (zh) | 一种三维场景中的定位方法及装置 | |
| Wither et al. | Using aerial photographs for improved mobile AR annotation | |
| Leach et al. | Recreating Sheffield’s medieval castle in situ using outdoor augmented reality | |
| CN109902675A (zh) | 物体的位姿获取方法、场景重构的方法和装置 | |
| Li et al. | Outdoor augmented reality tracking using 3D city models and game engine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201027 |