CN109032330B - Ar***、ar装置以及建立和无缝桥接其参考状态的方法 - Google Patents

Ar***、ar装置以及建立和无缝桥接其参考状态的方法 Download PDF

Info

Publication number
CN109032330B
CN109032330B CN201810562751.0A CN201810562751A CN109032330B CN 109032330 B CN109032330 B CN 109032330B CN 201810562751 A CN201810562751 A CN 201810562751A CN 109032330 B CN109032330 B CN 109032330B
Authority
CN
China
Prior art keywords
identifying
reference system
feature
data
device relative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810562751.0A
Other languages
English (en)
Other versions
CN109032330A (zh
Inventor
伯恩哈德·麦茨勒
M·哈诺尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hexagon Technology Center GmbH
Original Assignee
Hexagon Technology Center GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hexagon Technology Center GmbH filed Critical Hexagon Technology Center GmbH
Publication of CN109032330A publication Critical patent/CN109032330A/zh
Application granted granted Critical
Publication of CN109032330B publication Critical patent/CN109032330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C1/00—Measuring angles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

AR***、AR装置以及建立和无缝桥接其参考状态的方法，该装置包括配置成捕获AR装置的环境的视觉传感器；显示器，配置成提供环境的真实视图和根据AR数据至该真实视图上的覆盖图，其中，AR数据包括设计数据和测量数据中的至少一个；计算机，配置成读取和控制视觉传感器、对AR数据和分配至多个参考***中的每一个的识别特征进行接收、生成和存储中的至少一个、生成覆盖图、通过基于由视觉传感器捕获的至少一个识别特征识别参考***和确定AR装置相对于识别出的参考***的姿势来在每种情况下建立AR装置相对于参考***中的每一个的参考状态、以及即使在视觉传感器与至少一个识别特征之间的视觉接触丢失的情况下也基于视觉定位和建图VSLAM过程维持参考状态。

Description

AR***、AR装置以及建立和无缝桥接其参考状态的方法
技术领域
本发明涉及一种增强现实(AR)装置、一种AR***、以及一种建立和无缝桥接AR装置的参考状态的方法。
背景技术
本发明的技术领域是计量学、大地测量学和土木工程。在这些技术中，增强现实(AR)***通常用于通过AR数据的参考可视化(诸如描述性文本、描述性数字、二维对象、三维对象、导航指示、导航地图、图像和/或视频剪辑)来支持站点上的用户。
AR数据需要覆盖在AR装置的显示器上的正确位置处(诸如在AR头盔的头戴式显示器(HUD)内或平板电脑的屏幕内)，使得观察者(AR装置的用户)将AR数据感知为与他的环境在空间上相关联。这导致用户所感知的现实利用人工可视化被增强。然而，为此，AR装置必须参考其环境，特别是通过不断重复参考程序进行持久参考。
已知的参考程序是(例如)基于AR装置相对于参考***的姿势的确定的图像，该参考***具有相对于环境的已知姿势。例如，这种姿势检测可以通过计算机视觉，尤其是图像切除来实现。
参考***可以包括至少一个已知的识别特征，诸如由环境本身的形状给出的自然或人造地标，或相对于参考***以预定姿势精确布置的标记。通过所述识别特征，AR装置不仅可以辨认参考***，而且还可以通过对识别特征的图像进行所述处理来参考其自己的相对于参考***的姿势。
一旦被锁定至参考***中，AR装置就能够以与参考***(即与自然环境)的精确空间关联显示虚拟AR数据。
然而，在存在多个参考***并且在穿过环境时用户与这些参考***中的不止一个参考***(顺序地或并行地)进行交互的环境中，关于使用市场上可获得的装置和/或***的AR可视化的用户体验对不准确性和中断(例如，由于识别特征的视线丢失)是敏感的。
因此，本发明的目的是提供就AR可视化而言允许更一致的用户体验的AR装置、AR***和方法。尤其是，其目的是提供就AR可视化而言允许更一致准确的用户体验的AR装置、AR***和方法。
根据本发明的AR装置、AR***和方法确保即使在AR装置不再能够捕获分配给它所参考的参考***的识别特征的情况下，AR数据也被正确地显示。此外，它可以引导用户回到参考***或向周围的其它参考***引导。
发明内容
本发明涉及一种增强现实(AR)装置，该装置包括：被配置用于捕获所述AR装置的环境的视觉传感器；显示器，该显示器被配置用于提供环境的真实视图、以及根据AR数据覆盖至所述真实视图上的覆盖图，其中，所述AR数据包括设计数据和测量数据中的至少一个；计算机，该计算机被配置用于读取和控制所述视觉传感器、对所述AR数据和分配至多个参考***中的每一个的识别特征进行接收、生成和存储中的至少一个、生成所述覆盖图、通过基于由所述视觉传感器捕获的至少一个识别特征识别参考***和确定AR装置相对于所识别出的参考***的姿势来在每种情况下建立所述AR装置相对于所述参考***中的每一个的参考状态、以及即使在所述视觉传感器与所述至少一个识别特征之间的视觉接触丢失的情况下也基于视觉定位和建图(VSLAM)过程维持所述参考状态。
在与运动恢复结构(SfM)非常相似的VSLAM中，确定装置的轨迹以及(通常作为副产品的)周围环境的三维结构。该算法使用在图像中检测到的特征的视觉对应(尤其是与其它传感器数据(例如，惯性测量单位)结合)作为输入。可以通过诸如特征跟踪或特征匹配等算法来建立所述对应。示例性地，在交替过程中
-基于对应的特征和通过切除表示环境的3D点来确定AR装置的新姿势，以及
-基于对应的特征和装置的前向交叉姿势来确定新的3D点。
VSLAM过程和建立参考状态至少基于视觉传感器的输出，即由视觉传感器捕获的图像数据。
AR装置还可以包括位置和取向传感器，其被配置成为计算机提供位置和取向数据，其中VSLAM过程还基于该位置和取向数据。
本发明还涉及一种增强现实(AR)***，该AR***包括根据本文描述的AR装置和至少一个测绘仪器，每个测绘仪器限定多个参考***中的一个。该测绘仪器可以是(例如)全站仪、经纬仪、测速仪、激光扫描仪、或激光跟踪仪。
所述至少一个测绘仪器可以被配置成生成并向AR装置提供：AR数据和至少一个识别特征中的至少一个。
如本文所述的识别特征可以是图像数据、编码标记图案、地标坐标中的一个或更多个。
本发明还涉及一种用于建立和无缝桥接根据本文的描述的增强现实(AR)装置(尤其是根据本文的描述的AR***的AR装置)的参考状态的方法，所述方法包括：基于由视觉传感器捕获的第一识别特征中的至少一个识别第一参考***；通过确定AR装置相对于所述第一识别特征的姿势，建立所述AR装置相对于所述第一参考***的参考状态；以及基于视觉定位和建图(VSLAM)过程，即使在所述至少一个第一识别特征中没有一个对于所述视觉传感器可见的情况下也维持所述参考状态。
所述方法还可以包括：基于由视觉传感器捕获的第二识别特征中的至少一个识别第二参考***；以及通过确定AR装置相对于所述第二识别特征的姿势，建立所述AR装置相对于所述第二参考***的参考状态。
所述方法还可以包括：通过生成相应的转换参数将所述第一参考***的所述第一识别特征与所述第二参考***的所述第二识别特征在空间上相互关联。尤其是，生成所述转换参数基于所述VSLAM过程。相互关联两个或更多个参考***(或相应地：识别特征或分配至其的AR数据)在以前不知道这些参考***的空间关系的情况下当然是有用的。
因此，如果参考***之间的空间关系确实已知，即给出了转换参数，则可以向前和向后转换所有AR数据以及相应的识别特征的位置或姿势。
即使在所述第一识别特征中没有一个对于视觉传感器可见的情况下，AR装置相对于第一参考***的参考状态也可以被保持，并且即使在所述第二识别特征中没有一个对于视觉传感器可见的情况下，相对于第二参考***的参考状态也可以被保持。
确定AR装置相对于所述第一识别特征的姿势以及确定AR装置相对于所述第二识别特征的姿势中的至少一个可以包括使用来自摄影测量或计算机视觉的图像处理算法，尤其是使用VSLAM过程，即前面提到的VSLAM过程或单独的专门分配的VSLAM过程。
确定AR装置相对于所述第一识别特征的姿势以及确定AR装置相对于所述第二识别特征的姿势中的至少一个可以包括使用由所述AR装置包含的位置和取向传感器获得的支持性位置和取向数据。
所述方法还可以包括基于第一指示特征中的至少一个或第二指示特征中的至少一个、第一参考***或第二参考***的原点的位置来生成指示，并且在AR装置的显示器上提供所述指示。
所述指示可以包括以下中的至少一个：指向参考***的相应原点的方向或指向分配给相应参考***的识别特征的方向的箭头；以及AR装置与参考***的相应原点之间的距离的距离值或AR装置与分配给相应参考***的识别特征之间的距离的距离值。
附图说明
在下文中，将通过参照附图的示例性实施方式来详细描述本发明，其中：
图1至图2示出了根据本发明的第一示例性AR装置和第二示例性AR装置；
图3示出了根据本发明的第一示例性AR***；
图4示出了根据本发明的第一示例性AR***；
图5至图8示出了根据本发明的示例性方法。
具体实施方式
图1和图2示出了根据本发明的增强现实(AR)装置的两个实施方式10、20，即AR眼镜和AR头盔。根据本发明的AR装置包括视觉传感器100、200(尤其是照相机、全景照相机、红外照相机或深度照相机)、用于显示AR数据的显示器110、210、以及用于控制视觉传感器和显示器的计算机120、220。图1和图2的两个示例中所示的显示器可以包括用于将AR数据投影到显示器上的投影仪。根据本发明的AR装置的其它实施方式是诸如智能电话或平板电脑的手持装置。这样的手持装置通常还包括视觉传感器(照相机)、计算机(处理器)和显示器(屏幕)。
根据本发明，计算机被配置成接收或存储分配至多个参考***的AR数据和识别特征。对于接收功能，AR装置可以包括用于连接至服务器、与服务器进行通信、以及向/从服务器传送数据的无线通信单元(使用例如WiFi、蓝牙、无线电链路等)。对于存储功能，AR装置可以包括数据存储单元，诸如硬盘或可移动存储卡。
视觉传感器被配置成视觉上捕获环境。当视觉传感器捕获到至少一个识别特征时，计算机能够(由于其配置)识别出所捕获的识别特征被分配到的对应参考***。计算机还被配置成确定AR装置相对于所识别出的参考***的姿势，并由此建立参考状态。
计算机被配置成即使在视觉传感器与至少一个识别特征之间的视觉接触丢失的情况下，例如当所述至少一个识别特征对视觉传感器不可见时(例如，因为它位于视场之外或被另一物体遮挡)，也基于视觉同步定位和建图(VSLAM)过程维持参考状态。
AR装置还可以包括被配置成提供用于支持VSLAM过程的位置和取向数据(姿势数据)的位置和取向传感器(姿势传感器)。这种位置和取向传感器(例如)是惯性测量单元(IMU)、陀螺仪、磁力计、加速度计、全球导航卫星***(GNSS)传感器等。计算机和视觉传感器被配置并且相互作用以执行这种VSLAM过程。
图3示出了包括本发明的AR***的实施方式的环境(例如，建筑工地)。AR***包括具有识别特征302并且由测绘仪器301限定和/或竖立的第一参考***30。AR***还包括具有识别特征312并且由测绘仪器311限定和/或竖立的第二参考***31。尤其是，测绘仪器分别收集其环境的测绘数据(例如，点云)并且相对于它们的参考***对它们进行存储。因此，只要AR装置20的视觉传感器能够辨认它们，字面上所有测绘数据就都可以用作识别特征。
在所示的情况下，佩戴AR装置20的用户面向参考***30，由此AR装置的视觉传感器捕获其姿势相对于参考***30已知的识别特征302。该识别特征302可以(例如)是QR码标记、由图像数据或三维点云表示的环境的物理特征、或诸如房间的角落或窗户的地标的组合，其中所述地标的位置相对于参考***而言是已知的。通过处理所捕获的识别特征图像，AR装置的计算机能够确定该AR装置相对于参考***的姿势，由此建立参考状态。
尤其是，测绘仪器301、311可以将AR数据无线地提供至AR装置，其中这种AR数据可以是利用测绘仪器测绘的测量数据，或者是利用测绘仪器所包括的照相机捕获的图像数据。
图中的虚线表示用户打算走向第二参考***31的行进路径。
图4示出了站在图3所示位置时用户的第一人称视图(FPV)。可选覆盖图表示参考功能由于至少一个已知识别特征对于AR装置的视觉传感器可见而是激活的。
另一可选覆盖图表示桥接功能处于待机状态，这意味着参考状态的维持(与识别功能无关，而是基于VSLAM过程)被保持，因为至少一个识别功能仍然被视觉传感器捕获。
只要视觉传感器失去任何识别特征的踪迹，桥接功能就会被激活(图5和图6)并且保持直立参考状态。桥接功能可以在后台连续运行，并且只有在识别特征不在视线内时才能接管。
因此，“传统”参考不再可执行，这就是为什么可选覆盖图现在可以读取为“待机”。然而，桥接功能维持参考状态。通过桥接维持参考状态的一个目的可以是不间断地提供参考AR数据的显示。
这通过使用由AR装置的视觉传感器捕获的图像数据的VSLAM过程来完成。由此，环境的结构提供空间参考，使得能够确定AR装置相对于该AR装置最近自身所参考的参考***的姿势。如图6所描绘的，可以显示另一可选覆盖图，其指示在哪里找到AR装置参考的参考***(用“REF”标记的空心箭头)。例如，这样的指示可以是距离说明和/或方向箭头，尤其是三维箭头。该另一可选覆盖图为用户提供取向辅助，帮助他找回参考***或其识别特征，以再次获得“传统”参考或仅仅显示与所述参考***相关联的AR数据。
如果多个参考***之间的空间关系已知和/或存储在AR***内(在云服务器上或AR装置的存储器单元上)，则AR装置相对于所述多个参考***的原点或相对于所述多个参考***中的识别特征的姿势也可以被确定并且显示(空心箭头上方和下方的箭头)。
图7和图8示出了AR装置的用户及其到达第二参考***时的视图。一旦检测到识别特征，AR装置就通过确定AR装置相对于第二识别特征的姿势来维持参考状态。这里，所述参考状态仅与第二参考***31相关，同时丢弃第一参考***，或者其同时与第一参考***和第二参考***相关。
如果第一参考***和第二参考***之间的空间关系还未知，则AR装置可以“教导”这种关系。换言之，AR***可以从AR装置“学习”相互关联的第一参考***和第二参考***：沿着用户的行进路径并且直到“到达”(检测到)第二参考***31为止，AR装置通过基于VSLAM过程的“桥接”维持其关于第一参考***30的参考状态。一旦(同样地)参考第二参考***31，则确定空间关系，即第一参考***与第二参考***之间的相对姿势增量。此后，当用户正在朝第一参考***的方向看而远离第一参考***并且(例如)靠近第二参考***站立时，与第一参考***关联的AR数据也可以被显示。其空间关系不是先验已知的至少两个参考***的这种“关联”功能可能是粗略的而不是非常精确的，然而，它可能足以引导或导航用户至参考***的网络内的识别特征。
尽管以上说明了本发明，部分参考了一些优选实施方式，但是必须理解，可以对这些实施方式的不同特征进行多种修改和组合。所有这些修改都在所附权利要求的范围内。

Claims (17)

1.一种增强现实AR装置，该AR装置包括
●视觉传感器，所述视觉传感器配置用于捕获所述AR装置的环境，
●显示器，所述显示器被配置用于提供
□所述环境的真实视图，以及
□根据AR数据覆盖至所述真实视图上的覆盖图，其中，所述AR数据包括设计数据和测量数据中的至少一个，
●计算机，所述计算机被配置用于
□读取和控制所述视觉传感器，
□对以下各项进行接收、生成和存储中的至少一个
●所述AR数据，以及
●分配至多个参考***中的每一个的识别特征，其中，
各参考***由测绘仪器限定，并且
由所述测绘仪器生成所述识别特征并将所述识别特征提供至所述AR装置，
□生成所述覆盖图，
□通过以下步骤在每种情况下建立所述AR装置相对于所述参考***中的每个的参考状态
●基于由所述视觉传感器捕获的至少一个识别特征来识别参考***，以及
●确定所述AR装置相对于所识别出的参考***的姿势，以及
□即使在所述视觉传感器与所识别出的参考***的所述至少一个识别特征之间的视觉接触丢失的情况下，也基于视觉定位和建图VSLAM过程维持所述参考状态。
2.根据权利要求1所述的AR装置，
其中，所述VSLAM过程和建立所述参考状态至少基于所述视觉传感器的输出。
3.根据权利要求1或2所述的AR装置，该AR装置包括
●位置和取向传感器，所述位置和取向传感器被配置成为所述计算机提供位置和取向数据，其中，所述VSLAM过程还基于所述位置和取向数据。
4.一种增强现实AR***，该AR***包括
●根据权利要求1至3中任一项所述的AR装置，以及
●至少一个测绘仪器，每个测绘仪器限定所述多个参考***中的一个。
5.根据权利要求4所述的AR***，
其中，所述至少一个测绘仪器被配置成生成以下各项中的至少一个并将以下各项中的至少一个提供至所述AR装置：
●所述AR数据，以及
●所述至少一个识别特征。
6.根据权利要求4或5所述的AR***，
其中，所述识别特征是以下各项中的一个或更多个
●图像数据，
●编码标记图案，
●地标坐标。
7.一种用于建立和无缝桥接根据权利要求1至3中任一项所述的增强现实AR装置的参考状态的方法，
所述方法包括：
●使用所述AR装置的视觉传感器捕获所述AR装置的环境，
●对分配至多个参考***中的每一个的识别特征进行接收、生成和存储中的至少一个，其中，
各参考***由测绘仪器限定，并且
由所述测绘仪器生成所述识别特征并将所述识别特征提供至所述AR装置，
●基于由所述视觉传感器捕获的第一识别特征中的至少一个第一识别特征来识别第一参考***，
●通过确定所述AR装置相对于所述第一识别特征的姿势，建立所述AR装置相对于所述第一参考***的参考状态，以及
●基于视觉定位和建图VSLAM过程，即使在所识别出的第一参考***的所述至少一个第一识别特征中没有一个对于所述视觉传感器可见的情况下也维持所述参考状态。
8.根据权利要求7所述的方法，所述AR装置是根据权利要求4至6中任一项所述的AR***中的AR装置。
9.根据权利要求7所述的方法，
该方法包括
●基于由所述视觉传感器捕获的第二识别特征中的至少一个来识别第二参考***，以及
●通过确定所述AR装置相对于所述第二识别特征的姿势，建立所述AR装置相对于所述第二参考***的参考状态。
10.根据权利要求9所述的方法，该方法包括
●通过生成相应的转换参数将所述第一参考***的所述第一识别特征与所述第二参考***的所述第二识别特征在空间上相互关联。
11.根据权利要求10所述的方法，
其中，生成所述转换参数基于所述VSLAM过程。
12.根据权利要求11所述的方法，
其中，即使在所述第一识别特征中没有一个对于所述视觉传感器可见的情况下也维持相对于所述第一参考***的所述参考状态，并且
其中，即使在所述第二识别特征中没有一个对于所述视觉传感器可见的情况下也维持相对于所述第二参考***的所述参考状态。
13.根据权利要求11或12所述的方法，
其中，以下步骤中的至少一个包括使用来自摄影测量或计算机视觉的图像处理算法：
●确定所述AR装置相对于所述第一识别特征的所述姿势，以及
●确定所述AR装置相对于所述第二识别特征的所述姿势。
14.根据权利要求11或12所述的方法，
其中，以下步骤中的至少一个包括使用VSLAM过程：
●确定所述AR装置相对于所述第一识别特征的所述姿势，以及
●确定所述AR装置相对于所述第二识别特征的所述姿势。
15.根据权利要求11所述的方法，
其中，以下步骤中的至少一个包括使用由所述AR装置所包括的位置和取向传感器获得的支持性位置和取向数据：
●确定所述AR装置相对于所述第一识别特征的所述姿势，以及
●确定所述AR装置相对于所述第二识别特征的所述姿势。
16.根据权利要求10所述的方法，
该方法包括
●基于以下各项生成指示
□所述第一识别特征中的至少一个、或者所述第二识别特征中的至少一个，
□所述第一参考***的原点位置或所述第二参考***的原点位置，以及
●在所述AR装置的所述显示器上提供所述指示。
17.根据权利要求16所述的方法，
其中，所述指示包括以下各项中的至少一个
●指向参考***的相应原点方向的箭头或指向分配至相应参考***的识别特征的方向的箭头，以及
●所述AR装置与参考***的相应原点之间的距离的距离值、或者所述AR装置与分配至相应参考***的识别特征之间的距离的距离值。
CN201810562751.0A 2017-06-12 2018-06-04 Ar***、ar装置以及建立和无缝桥接其参考状态的方法 Active CN109032330B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17175588.7A EP3416027B1 (en) 2017-06-12 2017-06-12 Augmented-reality device and system with seamless bridging
EP17175588.7 2017-06-12

Publications (2)

Publication Number Publication Date
CN109032330A CN109032330A (zh) 2018-12-18
CN109032330B true CN109032330B (zh) 2022-02-11

Family

ID=59054035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810562751.0A Active CN109032330B (zh) 2017-06-12 2018-06-04 Ar***、ar装置以及建立和无缝桥接其参考状态的方法

Country Status (3)

Country Link
US (1) US10950054B2 (zh)
EP (1) EP3416027B1 (zh)
CN (1) CN109032330B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190057180A1 (en) * 2017-08-18 2019-02-21 International Business Machines Corporation System and method for design optimization using augmented reality
US20240151530A1 (en) * 2022-11-04 2024-05-09 Trimble Inc. Construction layout using robotic marking and augmented reality metadata overlays

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102200881A (zh) * 2010-03-24 2011-09-28 索尼公司 图像处理装置、图像处理方法以及程序
CN102395997A (zh) * 2009-02-13 2012-03-28 Metaio有限公司 用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和***
CN103153483A (zh) * 2010-09-22 2013-06-12 赫克斯冈技术中心 表面溅射装置
CN104102678A (zh) * 2013-04-15 2014-10-15 腾讯科技（深圳）有限公司 增强现实的实现方法以及实现装置
CN105580029A (zh) * 2013-10-04 2016-05-11 高通股份有限公司 动态扩展地图数据以进行物体检测和追踪

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5423406B2 (ja) * 2010-01-08 2014-02-19 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法
JP2011203823A (ja) 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
US9134127B2 (en) * 2011-06-24 2015-09-15 Trimble Navigation Limited Determining tilt angle and tilt direction using image processing
EP2876608A4 (en) * 2012-07-23 2016-02-10 Fujitsu Ltd PROGRAM, METHOD, AND DISPLAY CONTROL DEVICE
US9367961B2 (en) 2013-04-15 2016-06-14 Tencent Technology (Shenzhen) Company Limited Method, device and storage medium for implementing augmented reality
EP3005300A4 (en) * 2013-06-06 2016-05-25 Ericsson Telefon Ab L M COMBINATION OF A DIGITAL IMAGE WITH A VIRTUAL UNIT
EP3084719B1 (en) * 2013-12-19 2019-11-20 Apple Inc. Slam on a mobile device
EP2918972B1 (de) * 2014-03-14 2019-10-09 Leica Geosystems AG Verfahren und handhaltbares Entfernungsmessgerät zum Erzeugen eines Raummodells
JP6344029B2 (ja) * 2014-04-16 2018-06-20 富士通株式会社 表示方法、表示プログラム、及び表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102395997A (zh) * 2009-02-13 2012-03-28 Metaio有限公司 用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和***
CN102200881A (zh) * 2010-03-24 2011-09-28 索尼公司 图像处理装置、图像处理方法以及程序
CN103153483A (zh) * 2010-09-22 2013-06-12 赫克斯冈技术中心 表面溅射装置
CN104102678A (zh) * 2013-04-15 2014-10-15 腾讯科技（深圳）有限公司 增强现实的实现方法以及实现装置
CN105580029A (zh) * 2013-10-04 2016-05-11 高通股份有限公司 动态扩展地图数据以进行物体检测和追踪

Also Published As

Publication number Publication date
US20180357828A1 (en) 2018-12-13
EP3416027A1 (en) 2018-12-19
US10950054B2 (en) 2021-03-16
CN109032330A (zh) 2018-12-18
EP3416027B1 (en) 2020-04-08

Similar Documents

Publication Publication Date Title
CN109556580B (zh) 测绘仪器、ar***和相对于参照系定位ar装置的方法
EP3246660B1 (en) System and method for referencing a displaying device relative to a surveying instrument
US20210142530A1 (en) Augmented reality vision system for tracking and geolocating objects of interest
WO2015181827A1 (en) Method and system for image georegistration
JPWO2007077613A1 (ja) ナビゲーション情報表示システム、ナビゲーション情報表示方法、およびそのためのプログラム
US11294456B2 (en) Perspective or gaze based visual identification and location system
CN109032330B (zh) Ar***、ar装置以及建立和无缝桥接其参考状态的方法
US11600024B2 (en) System and method for recalibrating an augmented reality experience using physical markers
TWI426237B (zh) Instant image navigation system and method
JP2023075236A (ja) 軌跡表示装置
Low et al. Interactive virtual indoor navigation system using visual recognition and pedestrian dead reckoning techniques
CN112558008B (zh) 基于光通信装置的导航方法、***、设备及介质
JP6487545B2 (ja) 認知度算出装置、認知度算出方法及び認知度算出プログラム
KR20150020421A (ko) 휴대용 측량 단말기를 이용한 증강 현실 기반의 측량 시스템
WO2013070125A1 (en) Method and system for determining a relation between a first scene and a second scene
TWI814624B (zh) 環景影像的地標識別標註系統及其方法
JP2020042667A (ja) 投影システム、投影方法及びプログラム
US11598631B2 (en) Determining depth of buried assets
JP6896670B2 (ja) 放射線量分布表示装置及び放射線量分布表示方法
CN116295327A (zh) 定位方法、装置、电子设备和计算机可读存储介质
KHEHASUKCHAROEN et al. Marker and IMU-based registration for mobile augmented reality
JP2023104986A (ja) 地図情報表示装置、地図情報表示方法及び地図情報表示プログラム
KR20210084141A (ko) 발전 설비용 증강 현실 객체 인식 시스템 및 방법
CN112955930A (zh) 用于对移动对象进行反向光学跟踪的***和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant