CN112541973B - 虚实叠合方法与*** - Google Patents

虚实叠合方法与*** Download PDF

Info

Publication number
CN112541973B
CN112541973B CN202010013729.8A CN202010013729A CN112541973B CN 112541973 B CN112541973 B CN 112541973B CN 202010013729 A CN202010013729 A CN 202010013729A CN 112541973 B CN112541973 B CN 112541973B
Authority
CN
China
Prior art keywords
point cloud
outline
coordinates
vertex
computing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010013729.8A
Other languages
English (en)
Other versions
CN112541973A (zh
Inventor
洪家伟
傅靖桐
翁明昉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute for Information Industry
Original Assignee
Institute for Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute for Information Industry filed Critical Institute for Information Industry
Publication of CN112541973A publication Critical patent/CN112541973A/zh
Application granted granted Critical
Publication of CN112541973B publication Critical patent/CN112541973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种虚实叠合方法与***。本发明对真实场景产生出点云地图。利用三维物件侦测取得物件外框顶点坐标。根据物件外框顶点坐标，利用对多个投影关键帧的筛选结果来找出最终候选外框顶点点云坐标。之后，将点云地图对齐于真实场景，以放置虚拟内容于真实场景中。

Description

虚实叠合方法与***
技术领域
本发明是有关于一种虚实叠合方法与***。
背景技术
结合智能装置的信息视觉化技术，例如扩增实境或混合实境等，可以利用影像处理、电脑视觉与电脑图学等技术来达成虚实叠合。虚实叠合是指，虚拟内容叠合于真实内容。虚拟内容例如是由使用者创建的模型、影像或动画，或由数据生成的模型、影像或动画。真实内容则指对真实世界的物件或场景进行扫描所生成的点云地图模型。
虚实叠合的目的与基本要求乃是可以快速且精准地将虚拟内容放置于实体空间中(亦即将虚拟内容叠合于真实内容/真实场景)。图1显示虚实叠合的一例。如图1所示，将虚拟内容110叠合于真实场景120。
以目前而言，虚实叠合技术可能会遭遇到的问题如后：(1)由于所建模出的地图具有高自由度，如果若所建模出的地图有所偏差或歪斜，将导致虚实叠合准确度下降、追踪遗漏机率提高；以及(2)如果每次所建模出的地图的尺寸不一的话，须额外进行地图与真实场景之间的空间转换，容易使效率降低。图2A所示乃是虚实叠合效果较好的一例。而图2B所示则是虚实叠合效果较差的一例，因为虚拟内容110未叠合于所需要的位置。
故而，本案提出一种虚实叠合***与方法，以期解决上述与其他问题。
发明内容
本案一实例提出一种虚实叠合方法，包括：利用一影像撷取装置拍摄一真实场景以建置一点云地图；储存多个关键帧于一存储装置内；将该点云地图投影到各该些关键帧以得到多个投影关键帧；对于各该些投影关键帧进行三维物件侦测，以找出各该些投影关键帧的多个物件的各自外框顶点；对于各该些投影关键帧，根据该些物件的该些外框顶点，在该点云地图中找出多个目标外框顶点点云坐标，其中，对于各该些投影关键帧，在该点云地图中，该些目标外框顶点点云坐标个别离该些外框顶点最近；对于各该些投影关键帧，在该点云地图中，找出对应于该些目标外框顶点点云坐标的多个候选外框顶点点云坐标；统计该些投影关键帧的该些候选外框顶点点云坐标，以找出该些外框顶点在该点云地图上的多个最终候选外框顶点点云坐标；根据该些最终候选外框顶点点云坐标，计算该些物件与该点云地图的一比例关系以将该点云地图投影到该真实场景；以及将所产生的该点云地图传送至一穿载式装置，该穿载式装置据以产生一虚拟内容，以将该虚拟内容叠合于该真实场景。
本案另一实例提出一种虚实叠合***，包括：一计算装置，包括一存储装置；以及一穿载式装置，耦接至该计算装置。以一影像撷取装置拍摄一真实场景，该计算装置建置一点云地图；该计算装置储存多个关键帧于该存储装置内；该计算装置将该点云地图投影到各该些关键帧以得到多个投影关键帧；该计算装置对于各该些投影关键帧进行三维物件侦测，以找出各该些投影关键帧的多个物件的各自外框顶点；对于各该些投影关键帧，根据该些物件的该些外框顶点，该计算装置在该点云地图中找出多个目标外框顶点点云坐标，其中，对于各该些投影关键帧，在该点云地图中，该些目标外框顶点点云坐标个别离该些外框顶点最近；对于各该些投影关键帧，在该点云地图中，该计算装置找出对应于该些目标外框顶点点云坐标的多个候选外框顶点点云坐标；该计算装置统计该些投影关键帧的该些候选外框顶点点云坐标，以找出该些外框顶点在该点云地图上的多个最终候选外框顶点点云坐标；根据该些最终候选外框顶点点云坐标，该计算装置计算该些物件与该点云地图的一比例关系以将该点云地图投影到该真实场景；以及该计算装置将所产生的该点云地图传送至该穿载式装置，该穿载式装置据以产生一虚拟内容，以将该虚拟内容叠合于该真实场景。
为了对本发明之上述及其他方面有更佳的了解，下文特举实施例，并配合所附图式详细说明如下。
附图说明
图1显示虚实叠合的一例。
图2A所示乃是虚实叠合效果较好的一例。
图2B所示则是虚实叠合效果较差的一例。
图3显示根据本案一实施例的虚实叠合方法的流程图。
图4显示，根据本案一实施例中，场景的多个物件照片的一例。
图5显示根据本案一实施例中所建构出的点云地图的一例。
图6显示根据本案一实施例中，将点云地图投影到其中一张关键帧的结果。
图7显示根据本案一实施例所应用的三维物件侦测的一例。
图8显示根据本案一实施例中，对投影关键帧进行三维物件侦测所得到的结果。
图9A至图9D显示根据本案一实施例的目标外框顶点点云坐标的示意图。
图10显示根据本案实施例中，找出候选外框顶点点云坐标的示意图。
图11A显示根据本案实施例中，每一个投影关键帧的各自候选外框顶点点云坐标。
图11B显示根据本案实施例中，在该点云地图上的最终候选外框顶点点云坐标。
图12显示根据本案实施例中，利用几何结构计算来推算出第4个最终候选外框顶点点云坐标的示意图(假设其外框形状为长方形)。
图13显示根据本案实施例中，计算比例关系的示意图。
图14显示根据本案实施例的修正点云地图的歪斜的示意图。
图15显示根据本案实施例的虚实叠合***的示意图。
附图标记说明
110：虚拟内容 120：真实场景
310-390：步骤 410-430：物件照片
500：点云地图 600：投影关键帧
P1：面 910：三维投影平面
921、922、923与924：目标外框顶点点云坐标
1121、1122、1123与1124：最终候选外框顶点点云坐标
1201、1202、1203、1204：最终候选外框顶点点云坐标
S1：点云尺寸 S2：真实尺寸
具体实施方式
本说明书的技术用语系参照本技术领域的习惯用语，如本说明书对部分用语有加以说明或定义，该部分用语之解释系以本说明书之说明或定义为准。本揭露的各个实施例分别具有一或多个技术特征。在可能实施的前提下，本技术领域具有通常知识者可选择性地实施任一实施例中部分或全部的技术特征，或者选择性地将这些实施例中部分或全部的技术特征加以组合。
图3显示根据本案一实施例的虚实叠合方法之流程图。如图3所示，于步骤310中，对真实场景建置一点云地图。步骤310的细节例如但不受限于，使用者手持经校正过的相机或手机(亦可称为影像撷取装置)，缓慢移动并拍摄以得到该场景的所有物件的多个照片并将之储存于一存储装置(未显示)，以据以建置该点云地图。使用者可以手持经校正过的相机或手机对整个环境做多角度与多方向的拍摄。图4显示，根据本案一实施例中，场景的多个物件照片410-430的一例，而图5显示根据本案一实施例中所建构出的点云地图500的一例。
于步骤320中，对于步骤310所得到的该些物件照片，存下多个关键帧(key frame)于存储装置内，以及储存该些关键帧所各自相对应的相机旋转信息与相机位移信息于存储装置内。
于步骤330中，将所建构的点云地图投影到每一张关键帧以得到多个投影关键帧。图6显示根据本案一实施例中，将点云地图投影到其中一张关键帧以得到投影关键帧600。
于步骤340中，对于各该些投影关键帧(将所建构的点云地图投影到关键帧)进行三维物件侦测，以找出各该些投影关键帧中的各物件的各自外框顶点。图7显示根据本案一实施例所应用的三维物件侦测的一例。在一实施例中，举例但不受限于，可以利用YOLO技术(You only look once，你只看一次)来对投影后的关键帧进行三维物件侦测。YOLO是关于物件侦测(object detection)的一种高效率类神经网络演算法。YOLO的优点例如是只需辨识一张影像，执行速度快与背景错误侦测率低等。图8显示根据本案一实施例中，对投影关键帧进行三维物件侦测所得到的结果。
于步骤350中，对于各该些投影关键帧，根据各该些物件的各该些外框顶点，在该点云地图中找出个别目标外框顶点点云坐标，其中，对于各该些投影关键帧，在该点云地图中，该目标外框顶点点云坐标离该外框顶点最近。在本案实施例中，透过三维物件侦测可以将整个物件的定界框(bounding box)侦测出来，亦即找出该物件的多个面。之后，找出该些面当中的哪一个面(亦可称为目标面)包括最多个点云，将该目标面撷取出来。对被撷取出来的该目标面的所有点云做计算，来得到被撷取出来的该面的三维投影平面。在得到被撷取出来的该目标面的三维投影平面后，将该物件的4个外框顶点投影到三维投影平面，以找出距离各该些顶点最近的个别目标外框顶点点云坐标。图9A至图9D显示根据本案一实施例的目标外框顶点点云坐标的示意图。如图9A所示，假设面P1具有最多个点云，则将面P1视为是目标面。对面P1的所有点云做计算，来得到目标面的三维投影平面910，如图9B所示。在得到三维投影平面910后，将该物件的4个顶点投影到三维投影平面910，如图9C所示。即可以找出离各该些顶点最近的个别目标外框顶点点云坐标921、922、923与924，如图9D所示。
于步骤360中，对于各该些投影关键帧，在该点云地图中，找出对应于各该些目标外框顶点点云坐标的个别候选外框顶点点云坐标。如图10所示，其显示根据本案实施例中，找出候选外框顶点点云坐标的示意图。其细节如后所述。设立一距离门槛值，之后，根据该距离门槛值做筛选。筛选方式例如但不受限于：如图10所示，针对各该些目标外框顶点点云坐标(如图9的各该些目标外框顶点点云坐标921、922、923与924)，计算各该些目标外框顶点点云坐标跟该点云地图的所有点之间的个别距离，将距离小于该距离门槛值的该些点云留下而成为候选外框顶点点云坐标，而将距离大于该距离门槛值的该些点云排除。
于步骤370中，统计每一张投影关键帧的该些候选外框顶点点云坐标，以找出该些外框顶点在该点云地图上的最终候选外框顶点点云坐标。在本案实施例中，对于每一个投影关键帧都要做上述筛选来找出每一个投影关键帧的各自候选外框顶点点云坐标(如图11A所示)，统计每个投影关键帧的各自候选外框顶点点云坐标，例如但不受限于，用多数投票的方式，来找出该些外框顶点在该点云地图上的最终候选外框顶点点云坐标1121、1122、1123与1124(如图11B所示)。例如，根据统计结果，从该些候选外框顶点点云坐标之中找出出现最多次数的一候选外框顶点点云坐标，以当成该最终候选外框顶点点云坐标。最终候选外框顶点点云坐标1121、1122、1123与1124分别相关于该些外框顶点。
在本案实施例中，用多数投票的方式来找出最终候选外框顶点点云坐标的原因如后所述。如果只用单一关键帧的筛选来找出外框顶点在点云地图上的最终候选外框顶点点云坐标的话，则万一该单一关键帧的拍摄角度歪斜的话，则所得到的最终候选外框顶点点云坐标将会有很大的偏差。故而，在本案实施例中，利用多张关键帧来达到多视角，以避免所得到的最终候选点云顶点坐标将会有很大的偏差。
也就是说，在本案实施例中，根据外框顶点来找出点云地图上的最终候选外框顶点点云坐标，透过深度信息(可由相机/手机等影像撷取装置所提供)与多关键帧角度切换，可以提高筛选正确率，避免如果有某一遥远点投影至关键帧而被误判为最近点的误差产生。
此外，如果物件摆放角度比较斜或摆放角度比较不好，或者是使用者在拍摄过程中，对某一个角度的拍摄照片比较不好，则可能会造成在点云地图中，外框顶点的附近点云比较稀疏或者是几乎没有点云，如此一来，可能筛选不到最终候选外框顶点点云坐标。在本案实施例中，透过三维物件侦测可以得知物件的结构与外框形状(例如外框为矩形，长方形等)。故而，在本案实施例中，则可以根据其他最终候选外框顶点点云坐标进行几何结构计算，来估测无法被筛选的最终候选外框顶点点云坐标。图12显示根据本案实施例中，利用几何结构计算来推算出第4个最终候选外框顶点点云坐标的示意图(假设其外框形状为长方形)。如图12所示，由于拍摄结果不佳，无法得到第4个外框顶点的最终候选外框顶点点云坐标1204。故而，可以利用几何结构计算，从其他三个外框顶点的最终候选外框顶点点云坐标1201、1202与1203，来推算出第4个顶点的最终候选外框顶点点云坐标1204。
于步骤380中，根据该些最终候选外框顶点点云坐标，计算真实物件与点云地图之比例关系以将点云地图投影到真实场景。此外，本案实施例更可以修正点云地图的偏差(修正为选择性做法，修正点云地图的偏差)。图13显示根据本案实施例中，计算比例关系的示意图。在找出点云地图的最终候选外框顶点点云坐标后，就可以知道这个物件在点云地图的尺寸(也可称为点云尺寸)S1，而且，也知道该物件在实际世界的真实尺寸S2。如此一来，就可以知道点云尺寸S1与真实尺寸S2之间比例关系。知道比例关系后，就可以将点云地图投影到真实场景，去做自动对齐。
此外，如果点云地图有歪斜或形变的话，在本案实施例中，可以修正点云地图的歪斜或形变。在本案实施例中，利用三维物件侦测方法来找出物件的顶点坐标并找出顶点坐标在点云地图的最终候选外框顶点点云坐标。可以调整或修正点云地图的歪斜或形变的部分，使之后执行追踪或叠合虚拟内容上能更精准对齐。图14显示根据本案实施例之修正点云地图的歪斜的示意图。如图14所示，由于点云地图有歪斜，且利用三维物件侦测方法来找出物件的顶点坐标，故而据以修正点云地图的歪斜。
于步骤390中，将所产生的点云地图传送至穿载式装置(如Google眼镜(Googleglass)或机器人视觉装置)。穿载式装置可据以产生虚拟内容。当使用者透过穿载式装置(如Google眼镜(Google glass)或机器人视觉装置)来看到真实场景时，穿载式装置可以在镜片上投影虚拟内容，以将虚拟内容叠合于真实场景。亦即，以图1为例，将所产生的真实场景120的点云地图传送至穿载式装置，穿载式装置可据以产生虚拟内容110。当使用者透过穿载式装置来看到真实场景120时，穿载式装置可以在镜片上投影虚拟内容110，以将虚拟内容110叠合于真实场景120，也就是说，使用者眼睛所看到的是虚实叠合后的结果。
图15显示根据本案实施例的虚实叠合***的示意图。如图15所示，虚实叠合***1500包括计算装置1510与穿载式装置1520。计算装置1510与穿载式装置1520之间可为有线或无线耦接。在本案实施例中，步骤310-380乃是由计算装置1510所执行，其中，计算装置1510更包括一存储装置1530。此外，计算装置1510可以包括一影像撷取装置，或者是，计算装置1510可以连接至一外部影像撷取装置，此皆在本案精神范围内。而在接收到计算装置1510所建构出的点云地图后，穿载式装置1520可据以产生虚拟内容，以将虚拟内容叠合于真实场景。
亦即，本案实施例透过点云地图重建技术，于真实场景进行扫描来产生出点云地图。本案实施例结合三维物件侦测取得物件外框顶点坐标。根据物件外框顶点坐标，利用多视角多面向关键帧筛选结果来找出最终候选外框顶点点云坐标。之后，将点云地图对齐于真实场景空间，以放置二维/三维的虚拟内容于真实场景中。
此外，穿载式装置可以即时追踪，不须透过任何辅助物件，达到虚拟内容准确放置之目的，这是因为本案实施例可以产生精准对齐真实场景的点云地图的缘故。虚拟内容可能是二维或三维方式呈现。
综上所述，本案实施例的优点在于：(1)修正使用者高自由度拍摄所导致的点云地图偏差或歪斜的部分，以提升追踪精准度。(2)所建构出的点云地图可自动对齐于真实场景，便于编辑放置二维/三维虚拟内容，这是因为所建构出的点云地图的尺寸统一的关系。(3)即时追踪叠合时，可以达到准确摆放二维/三维虚拟内容于真实场景。
综上所述，虽然本发明已以实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明之精神和范围内，当可作各种之更动与润饰。因此，本发明的保护范围当视后附的权利要求所界定者为准。

Claims (14)

1.一种虚实叠合方法，其特征在于，包括：
利用一影像撷取装置拍摄一真实场景以建置一点云地图；
储存多个关键帧于一存储装置内；
将该点云地图投影到各该些关键帧以得到多个投影关键帧；
对于各该些投影关键帧进行三维物件侦测，以找出各该些投影关键帧的多个物件的各自外框顶点；
对于各该些投影关键帧，根据该些物件的该些外框顶点，在该点云地图中找出多个目标外框顶点点云坐标，其中，对于各该些投影关键帧，在该点云地图中，该些目标外框顶点点云坐标个别离该些外框顶点最近；
对于各该些投影关键帧，在该点云地图中，找出对应于该些目标外框顶点点云坐标的多个候选外框顶点点云坐标；
统计该些投影关键帧的该些候选外框顶点点云坐标，以找出该些外框顶点在该点云地图上的多个最终候选外框顶点点云坐标；
根据该些最终候选外框顶点点云坐标，计算该些物件与该点云地图的一比例关系以将该点云地图投影到该真实场景；以及
将所产生的该点云地图传送至一穿载式装置，该穿载式装置据以产生一虚拟内容，以将该虚拟内容叠合于该真实场景。
2.如权利要求1所述的虚实叠合方法，其特征在于，于储存该些关键帧于该存储装置时，更储存该些关键帧所各自相对应的该影像撷取装置的一旋转信息与一位移信息于该存储装置。
3.如权利要求1所述的虚实叠合方法，其特征在于，找出各该些投影关键帧的该些物件的该些外框顶点的该步骤包括：
透过三维物件侦测来侦测该物件的多个面；
找出该些面当中包括最多个点云的一目标面，将该目标面撷取出来；
对该目标面的多个点云做计算，来得到该目标面的一三维投影平面；以及
将该物件的该些外框顶点投影到该三维投影平面，以找出离各该些外框顶点最近的该些目标外框顶点点云坐标。
4.如权利要求1所述的虚实叠合方法，其特征在于，找出该些候选外框顶点点云坐标的步骤包括：
针对各该些目标外框顶点点云坐标，计算各该些目标外框顶点点云坐标跟该点云地图的所有点之间的个别距离；以及
将该距离小于一距离门槛值的该些点云留下而成为该些候选外框顶点点云坐标，而将该距离大于该距离门槛值的该些点云排除。
5.如权利要求1所述的虚实叠合方法，其特征在于，找出该些最终候选外框顶点点云坐标的该步骤包括：
找出并统计各该些投影关键帧的各自该些候选外框顶点点云坐标，以找出该些最终候选外框顶点点云坐标。
6.如权利要求1所述的虚实叠合方法，其特征在于，对该些最终候选外框顶点点云坐标进行几何结构计算，来估测另一最终候选外框顶点点云坐标。
7.如权利要求1所述的虚实叠合方法，其特征在于，更包括：根据该些最终候选外框顶点点云坐标，以调整或修正该点云地图。
8.一种虚实叠合***，其特征在于，包括：
一计算装置，包括一存储装置；以及
一穿载式装置，耦接至该计算装置，
其中，
以一影像撷取装置拍摄一真实场景，该计算装置建置一点云地图；
该计算装置储存多个关键帧于该存储装置内；
该计算装置将该点云地图投影到各该些关键帧以得到多个投影关键帧；
该计算装置对于各该些投影关键帧进行三维物件侦测，以找出各该些投影关键帧的多个物件的各自外框顶点；
对于各该些投影关键帧，根据该些物件的该些外框顶点，该计算装置在该点云地图中找出多个目标外框顶点点云坐标，其中，对于各该些投影关键帧，在该点云地图中，该些目标外框顶点点云坐标个别离该些外框顶点最近；
对于各该些投影关键帧，在该点云地图中，该计算装置找出对应于该些目标外框顶点点云坐标的多个候选外框顶点点云坐标；
该计算装置统计该些投影关键帧的该些候选外框顶点点云坐标，以找出该些外框顶点在该点云地图上的多个最终候选外框顶点点云坐标；
根据该些最终候选外框顶点点云坐标，该计算装置计算该些物件与该点云地图的一比例关系以将该点云地图投影到该真实场景；以及
该计算装置将所产生的该点云地图传送至该穿载式装置，该穿载式装置据以产生一虚拟内容，以将该虚拟内容叠合于该真实场景。
9.如权利要求8所述的虚实叠合***，其特征在于，于储存该些关键帧于该存储装置时，该计算装置更储存该些关键帧所各自相对应的该影像撷取装置的一旋转信息与一位移信息于该存储装置。
10.如权利要求8所述的虚实叠合***，其特征在于，于找出各该些投影关键帧的该些物件的该些外框顶点时，
该计算装置透过三维物件侦测来侦测该物件的多个面；
该计算装置找出该些面当中包括最多个点云的一目标面，将该目标面撷取出来；
该计算装置对该目标面的多个点云做计算，来得到该目标面的一三维投影平面；以及
该计算装置将该物件的该些外框顶点投影到该三维投影平面，以找出离各该些外框顶点最近的该些目标外框顶点点云坐标。
11.如权利要求8所述的虚实叠合***，其特征在于，于找出该些候选外框顶点点云坐标时，
针对各该些目标外框顶点点云坐标，该计算装置计算各该些目标外框顶点点云坐标跟该点云地图的所有点之间的个别距离；以及
该计算装置将该距离小于一距离门槛值的该些点云留下而成为该些候选外框顶点点云坐标，而将该距离大于该距离门槛值的该些点云排除。
12.如权利要求8所述的虚实叠合***，其特征在于，于找出该些最终候选外框顶点点云坐标时，
该计算装置找出并统计各该些投影关键帧的各自该些候选外框顶点点云坐标，以找出该些最终候选外框顶点点云坐标。
13.如权利要求8所述的虚实叠合***，其特征在于，该计算装置对该些最终候选外框顶点点云坐标进行几何结构计算，来估测另一最终候选外框顶点点云坐标。
14.如权利要求8所述的虚实叠合***，其特征在于，该计算装置根据该些最终候选外框顶点点云坐标，以调整或修正该点云地图。
CN202010013729.8A 2019-09-20 2020-01-07 虚实叠合方法与*** Active CN112541973B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108134127 2019-09-20
TW108134127A TWI709062B (zh) 2019-09-20 2019-09-20 虛實疊合方法與系統

Publications (2)

Publication Number Publication Date
CN112541973A CN112541973A (zh) 2021-03-23
CN112541973B true CN112541973B (zh) 2023-06-27

Family

ID=74202249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010013729.8A Active CN112541973B (zh) 2019-09-20 2020-01-07 虚实叠合方法与***

Country Status (3)

Country Link
US (1) US11062521B2 (zh)
CN (1) CN112541973B (zh)
TW (1) TWI709062B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI766491B (zh) * 2020-12-22 2022-06-01 國立清華大學 基於擴增實境的人為疏失預警方法
CN113378512B (zh) * 2021-07-05 2023-05-26 中国科学技术信息研究所 一种基于自动标引的无级动态演化主题云图的生成方法
TWI817847B (zh) * 2022-11-28 2023-10-01 國立成功大學 擴增實境與混合實境下物件快速追蹤定位之方法、電腦程式及電腦可讀取媒體
CN115690374B (zh) * 2023-01-03 2023-04-07 江西格如灵科技有限公司 一种基于模型边缘射线检测的交互方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102568026A (zh) * 2011-12-12 2012-07-11 浙江大学 一种多视点自由立体显示的三维增强现实方法
CN106570507A (zh) * 2016-10-26 2017-04-19 北京航空航天大学 单目视频场景三维结构的多视角一致的平面检测解析方法
CN107292965A (zh) * 2017-08-03 2017-10-24 北京航空航天大学青岛研究院 一种基于深度图像数据流的虚实遮挡处理方法
EP3503030A1 (en) * 2017-12-22 2019-06-26 The Provost, Fellows, Foundation Scholars, & the other members of Board, of the College of the Holy & Undiv. Trinity of Queen Elizabeth, Method and apparatus for generating a three-dimensional model

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201303540D0 (en) * 2013-02-27 2013-04-10 Arithmetica Ltd Image processing
US9996974B2 (en) * 2013-08-30 2018-06-12 Qualcomm Incorporated Method and apparatus for representing a physical scene
CN104933755B (zh) * 2014-03-18 2017-11-28 华为技术有限公司 一种静态物体重建方法和***
TWI619093B (zh) * 2016-10-19 2018-03-21 財團法人資訊工業策進會 視覺定位裝置、方法及其電腦程式產品
US10397549B2 (en) * 2016-12-20 2019-08-27 Gopro, Inc. Compact array of imaging devices with supplemental imaging unit
US10282913B2 (en) * 2017-07-24 2019-05-07 Visom Technology, Inc. Markerless augmented reality (AR) system
US10535160B2 (en) * 2017-07-24 2020-01-14 Visom Technology, Inc. Markerless augmented reality (AR) system
US10853946B2 (en) * 2018-05-18 2020-12-01 Ebay Inc. Physical object boundary detection techniques and systems
TWI678679B (zh) * 2018-07-09 2019-12-01 財團法人資訊工業策進會 空間座標轉換伺服器以及方法
US20200242835A1 (en) * 2019-01-30 2020-07-30 Thirdeye Gen, Inc. System and method for generating augmented reality 3d model
CN109886961B (zh) 2019-03-27 2023-04-11 重庆交通大学 基于深度图像的中大型货物体积测量方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102568026A (zh) * 2011-12-12 2012-07-11 浙江大学 一种多视点自由立体显示的三维增强现实方法
CN106570507A (zh) * 2016-10-26 2017-04-19 北京航空航天大学 单目视频场景三维结构的多视角一致的平面检测解析方法
CN107292965A (zh) * 2017-08-03 2017-10-24 北京航空航天大学青岛研究院 一种基于深度图像数据流的虚实遮挡处理方法
EP3503030A1 (en) * 2017-12-22 2019-06-26 The Provost, Fellows, Foundation Scholars, & the other members of Board, of the College of the Holy & Undiv. Trinity of Queen Elizabeth, Method and apparatus for generating a three-dimensional model

Also Published As

Publication number Publication date
US20210090339A1 (en) 2021-03-25
US11062521B2 (en) 2021-07-13
TWI709062B (zh) 2020-11-01
CN112541973A (zh) 2021-03-23
TW202113551A (zh) 2021-04-01

Similar Documents

Publication Publication Date Title
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与***
CN112541973B (zh) 虚实叠合方法与***
US10871258B2 (en) Method and system for controlling gimbal
EP3614340B1 (en) Methods and devices for acquiring 3d face, and computer readable storage media
EP3680808A1 (en) Augmented reality scene processing method and apparatus, and computer storage medium
CN110009732B (zh) 基于gms特征匹配的面向复杂大尺度场景三维重建方法
JP2019536170A (ja) 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、***及装置
WO2019049331A1 (ja) キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
CN112001926B (zh) 基于多维语义映射rgbd多相机标定方法、***及应用
JP6491517B2 (ja) 画像認識ａｒ装置並びにその姿勢推定装置及び姿勢追跡装置
CN103886107B (zh) 基于天花板图像信息的机器人定位与地图构建***
KR102206108B1 (ko) 체적형 객체 촬영을 위한 다중 rgb-d 카메라 기반의 포인트 클라우드 정합 방법
Tamas et al. Targetless calibration of a lidar-perspective camera pair
CN107358633A (zh) 一种基于三点标定物的多相机内外参标定方法
US10438412B2 (en) Techniques to facilitate accurate real and virtual object positioning in displayed scenes
US20230014421A1 (en) 6DoF INSIDE-OUT TRACKING GAME CONTROLLER INITIAL REGISTRATION
CN114766042A (zh) 目标检测方法、装置、终端设备及介质
CN107330980A (zh) 一种基于无标志物的虚拟家具布置***
US8509522B2 (en) Camera translation using rotation from device
CN116128966A (zh) 一种基于环境物体的语义定位方法
CN115191113A (zh) 宽视角立体摄像机装置及使用其的深度影像处理方法
CN104166995B (zh) 一种基于马步测度的Harris‑SIFT双目视觉定位方法
CN117115271A (zh) 无人机飞行过程中的双目相机外参数自标定方法及***
CN108694348B (zh) 一种基于自然特征的跟踪注册方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant