CN110458961B - 基于增强现实的*** - Google Patents

基于增强现实的*** Download PDF

Info

Publication number
CN110458961B
CN110458961B CN201910355630.3A CN201910355630A CN110458961B CN 110458961 B CN110458961 B CN 110458961B CN 201910355630 A CN201910355630 A CN 201910355630A CN 110458961 B CN110458961 B CN 110458961B
Authority
CN
China
Prior art keywords
measurement
data
coordinate
sensor
coordinate measuring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910355630.3A
Other languages
English (en)
Other versions
CN110458961A (zh
Inventor
M·斯泰纳
M·莱陶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Geosystems AG
Original Assignee
Leica Geosystems AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Geosystems AG filed Critical Leica Geosystems AG
Publication of CN110458961A publication Critical patent/CN110458961A/zh
Application granted granted Critical
Publication of CN110458961B publication Critical patent/CN110458961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/004—Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points
    • G01B5/008—Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points using coordinate measuring machines
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/58—Wireless transmission of information between a sensor or probe and a control or evaluation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

基于增强现实的***。本发明涉及基于AR的***，包括：配置为测量物体且可操纵的移动传感器；包括配置为拍摄AR装置的环境的摄像头和显示器的AR装置，显示器被配置为提供环境的实景图和依据AR数据的覆到实景图上的覆层图，AR数据与物体在空间上关联；配置为确定移动传感器和AR装置的位置的坐标测量仪器；计算机，其被配置为读取和控制摄像头，在AR装置和坐标测量仪器之间提供数据连接，提供AR数据，为移动传感器、坐标测量仪器和物体中的每一个提供至少一个相应识别特征，构建AR装置相对于移动传感器、坐标测量仪器和物体中的每一个的参考状态，并基于AR装置相对于移动装置、坐标测量仪器和物体中的至少一个的位姿生成参考状态中的覆层图。

Description

基于增强现实的***
技术领域
本发明涉及一种基于增强现实(AR)的***，该***包括移动传感器、增强现实(AR)装置和坐标测量仪器。
背景技术
通用坐标测量仪器可以是例如激光跟踪仪、激光扫描器、摄像***、铰接臂坐标测量机(CMM)、视距仪、经纬仪、全站仪、白光传感器、光搜索传感器、飞行时间测量***、或激光雷达***。这样的坐标测量仪器以单点测量(特别是表示为三维单点、点云或多边形网格，和/或近距离和远距离物体的跟踪的单点测量)为特征，并且基于飞行时间激光技术、图像处理技术和/或角度编码器技术来工作。
通用移动传感器被设计成与坐标测量仪器相配合，特别是通过坐标测量仪器进行跟踪。这种移动传感器可以例如是测量探针、铰接臂CMM、扫描器、或多摄像头装置，各自包括用于测量物体的测量装置。
尤其是，移动传感器可以包括或可以安装在无人驾驶飞行器(UAV)、自主引导车辆(AGV)、或任何其它类型的车辆上。因此，这种移动传感器的具体实施方式可以是安装在AGV上的铰接臂坐标测量机。
在特定实施方式中，移动传感器和坐标测量仪器也可以形成为单个装置。这种组合可以体现为铰接臂CMM，其中手持传感器部件(例如，包括触觉探针或激光***)可以被解释为移动传感器以及具有其角度编码器的铰接臂部件可以被解释为坐标测量仪器。
在测量环境中设置这样一种***和要利用该***进行测量、检查、装配、调整和/或构建的物体(以及相应的过程本身(测量、检查、装配、调整、构建))可能非常复杂和耗时。
因此，根据本发明的***为用户提供视觉支持，使得他能够基于人体工程学完成许多不同的(连续的)任务，并且尤其是，为他提供关于测量/装配质量的即时现场反馈。
发明内容
本发明涉及一种为了测量、检查、装配、调整和构建物体中的至少一个目的的基于增强现实(AR)的***，所述***包括：被配置为测量物体且可操纵的移动传感器；AR装置，包括被配置为拍摄AR装置的环境的摄像头以及显示器，该显示器被配置为提供环境的实景图以及依据AR数据的覆到实景图上的覆层图(overlay)，所述AR数据与该物体在空间上相关联；以及被配置为确定移动传感器的位置和AR装置的位置的坐标测量仪器；计算机，该计算机被配置为读取和控制摄像头，在AR装置与坐标测量仪器之间提供相互的数据连接，提供AR数据并且，为移动传感器、坐标测量仪器和物体中的每一个，提供至少一个相应的识别特征，通过在每种情况下识别由摄像头拍摄到的相应识别特征，构建AR装置相对于移动传感器、坐标测量仪器和物体中的每一个的参考状态，识别由摄像头拍摄到的相应识别特征，至少部分地基于由坐标测量仪器确定的AR装置的位置确定该AR装置相对于相应的识别特征的位姿，并且基于AR装置相对于移动装置、坐标测量仪器和物体中的至少一个的位姿生成参考状态中的覆层图。计算机还可以被配置成在AR装置和移动传感器之间提供相互的数据连接。尤其是，计算机包含在AR装置中；然而，它也可以包含在坐标测量仪器、移动传感器或外部装置(如服务器)中。根据AR数据提供覆层图的目的可以是支持想要处理(例如，测量、测定、检查、调整、装配、构建和/或组装)物体的AR装置的用户。覆层图可以帮助引导用户完成步骤或至少告知其事实(例如，定量或定性的测量结果)。通常，计算机可以尤其被配置为至少部分地生成AR数据。
计算机还可以被配置为，基于利用环境的结构的视觉定位与建图(VSLAM)过程，即使在摄像头和相应识别特征之间失去视觉接触的情况下也维持AR装置相对于移动传感器、坐标测量仪器和物体中的至少一个的参考状态。
该***还可以包括车辆，其中，移动传感器通过布置在所述车辆上而可操纵。这样的车辆可以体现为无人机(UAV)或自动驾驶车辆(AGV)。在该***的另一实施方式中，移动传感器通过由用户(优选地佩戴AR装置的人)握持而可操纵。
AR数据可以基于计算机提供的测量指令。在特定情况下，计算机包含在AR装置中，计算机可以被配置为从坐标测量仪器和外部计算装置中的至少一个接收AR数据。计算机还可以尤其被配置为至少部分地生成AR数据。其它AR数据也可以是除了例如外部固定摄像头的AR装置的摄像头、坐标测量仪器所包含的摄像头或者共同工作者可以参与检查过程的网络摄像头之外的摄像头的实时图像。测量指令可以被存储并且因此被预先确定，但它们也可能基于用户的行为、先前的测量结果、用户/移动传感器/物体的当前位置、或者在测量过程中可能会出现的其它情况而是自适应的。
测量指令可以包括放置或对准移动传感器的指示和关于如何执行测量的指令中的至少一个。例如，在应该测量位于物体面向地下的一侧的特征的情况下，指令可以引导用户转动物体。
AR数据可以基于对物体的测量数据，利用移动传感器和坐标测量仪器中的至少一个获得所述测量数据。计算机还可以被配置为从移动传感器和坐标测量仪器中的至少一个接收AR数据。
测量数据可以包括基于定量测量结果和定性测量结果中的至少一个的报告。
AR数据可以基于装配指令，该装配指令基于物体的测量数据，利用移动传感器和坐标测量仪器中的至少一个获得所述测量数据。在特定情况下，计算机包含在AR装置中，计算机可以被配置为从坐标测量仪器、移动传感器和外部服务器中的至少一个接收AR数据。
移动传感器可以体现为测量探针、铰接臂坐标测量机、(激光)扫描器和多摄像头装置中的一个；并且移动传感器可以被配置为提供光图案，其中，坐标测量仪器可以被配置为检测所述光图案并且基于所检测到的光图案确定移动传感器的位姿。以这种方式，光图案可以充当移动传感器的识别特征的实施方式。对光图案的检测可以由坐标测量仪器所包含的摄像头提供。例如，光图案可以通过一系列发光二极管来实现。
坐标测量仪器可以体现为激光跟踪仪、激光扫描器、摄像***、铰接臂坐标测量机、视距仪、经纬仪、全站仪、白光传感器、光搜索传感器、飞行时间测量***、和激光雷达***中的一个。
AR装置可以体现为平板计算机、智能电话、AR眼镜和AR头盔中的一种、一个或多个隐形眼镜投影仪、或虚拟视网膜显示器(指向人视网膜的投影仪)。
计算机可以包含在移动传感器、坐标测量仪器、AR装置和外部计算装置(诸如服务器、或膝上型计算机)中的至少一个中。
移动传感器、坐标测量仪器和AR装置中的至少一个可以包括使得能够交换数据的无线通信模块(允许所述相互数据连接)。在特定情况下，计算机包含在外部装置(服务器等)中，所述外部装置可以包括无线通信模块。
所述识别特征中的每一个可以体现为编码图案(光图案或彩色图案，例如QR码贴纸)、3D-CAD模型和图像中的至少一个。
本发明还涉及一种为利用根据本文的描述的***正在对物体进行测量、检查、装配、调整和构建中的至少一个的用户提供视觉支持的方法，所述方法包括以下步骤：
-在AR装置和坐标测量仪器之间提供相互的数据连接，
-提供AR数据并且，对于移动传感器、坐标测量仪器和物体中的每一个，提供至少一个相应的识别特征，
-分别通过以下方式构建AR装置相对于移动传感器、坐标测量仪器和物体中的每一个的参考状态，
o识别摄像头所拍摄到的相应识别特征，
o至少部分地基于由坐标测量仪器确定的AR装置的位置来确定AR装置相
对于识别特征的位姿，以及
-基于AR装置相对于移动传感器、坐标测量仪器和物体中的至少一个的位姿生成参考状态中的覆层图。
该方法还可以包括以下步骤：基于利用环境的结构的视觉定位与建图(VSLAM)过程，即使在摄像头和相应识别特征之间失去视觉接触的情况下也维持AR装置相对于移动传感器、坐标测量仪器和物体中的至少一个的参考状态。
该方法还可以包括提供车辆的步骤，其中移动传感器通过布置在所述车辆上而可操纵。
该方法还可以包括以下步骤：利用AR装置从移动传感器、坐标测量仪器和外部服务器中的至少一个接收AR数据。尤其是，计算机至少部分地生成AR数据。
该方法还可以包括提供坐标测量仪器可以检测的光图案的步骤，并且基于该光图案，坐标测量仪器可以确定移动传感器的位姿。
附图说明
在下文中，将通过参照附图的示例性实施方式来详细描述本发明，在附图中：
图1示出了根据本发明的***的组件的概览，即移动传感器、坐标测量仪器和AR装置；该***被配置为检查测量环境中的物体；
图2示出了涉及用于支持检查任务的示例性AR数据的***的实施方式；
图3示出了图2的检查任务的后期阶段；
图4示出了涉及用于支持检查任务的示例性AR数据的***的实施方式的用户的交互；
图5示出了涉及用于支持检查任务之后的装配任务的***的示例性AR数据的***的实施方式的用户的交互。
具体实施方式
图1示出了根据本发明的***的实施方式的组件：移动传感器1、坐标测量仪器2、AR装置3和计算机(在这种情况下：包含在AR装置中)。
将仪器2(坐标系C)放置在环境(坐标系E)中，使得坐标系C和坐标系E在设置中具有固定的空间关系。测量物体4(坐标系M)也放置在所述环境中，从而也在坐标系M和坐标系E之间构建固定的空间关系。
用户可以佩戴AR装置3(坐标系A)，诸如护目镜或HMD(头戴式显示器)，并且将移动传感器1(坐标系S)握持在他的手中。因此，坐标系A和坐标系S动态地改变它们相对于环境(坐标系E)以及相对于测量物体(坐标系M)和坐标测量仪器(坐标系C)的位姿。
传感器1和坐标测量仪器2被组合地配置成检查/测量测量物体4。坐标测量仪器2被配置为确定传感器1的位置，尤其还有传感器1的取向。传感器1本身提供到测量物体4的“延展”链接。例如，传感器1可以被体现为探测装置。
在图2、图3和图4也涉及的该特定情况下，仪器2可以通过确定移动传感器的位置和取向并且通过知晓探头的长度来获得移动传感器1的探头的坐标。例如，探测装置可以发射可由仪器2检测到的光图案(作为识别特征)。通过对光图案的感知，仪器2可以获得传感器1的位姿。
在其它实施方式中，传感器1可以是基于多个摄像头和/或激光器工作的扫描器。传感器1还可以是飞行传感器(例如，具有测量装置的多旋翼无人机)，其能够到达用户无法到达的测量物体的部位，例如飞行器的元件。然后，所述飞行传感器可以包括用于测量物体的上述技术。
传感器1具有到仪器2的通信链路并且可以配置为例如通过单击按钮来触发测量。由此，仪器2被“指示”执行传感器的位置和取向的精确测量。根据传感器1的实施方式，在测量期间可以考虑传感器(探测装置)的尺寸或由传感器(作为扫描器本身)执行的附加测量。作为结果，由***精确地测量测量物体4。
通过被配置为处理由AR装置3的摄像头拍摄到的视频流的计算机，确定AR装置3相对于坐标测量仪器2和测量物体4中的每一个的位姿。尤其是，AR装置3与传感器1之间的相对位姿也例如基于图像处理而被确定。此外，所提到的组件可以彼此通信，即提供相互的数据连接。由此，佩戴AR装置3的用户可以例如被提供由仪器2或外部计算机发送的测量数据或测量评估。在AR装置3相对于测量物体4的参考状态中，AR装置3可以根据AR数据提供在空间上分配到测量物体4的位置的覆层图，该AR数据可以存储在AR装置3上或者可以由AR装置3接收。为此目的，AR装置3可以包括数据存储单元或有线/无线通信模块。
图2示出了具有由AR装置的显示器描绘的一些覆层图的测量物体4。第一示例性覆层图是跨整个物体4的网格，其也可以是物体的CAD模型。第二示例性覆层图是表示坐标系M的原点的箭头集合。覆层图的第三示例是用“1”和“2”编号的两个圆圈，表示要测量的部位的顺序。圆圈以及特别是圆圈的数量与物体4的几何形状在空间上关联，使得覆层图在显示器内适应，以便被用户感知，就像它们保持在物体上的分配位置一样即使当用户将其视野转向侧面或上/下时。通过指示，指示用户利用示例性地示为探测装置的传感器1测量光点“1”和“2”。覆层图可以，例如，也是显示AR装置的承载的动画指令的视频流。
可以通过仪器2(未示出)跟踪移动传感器1，其中可以相对于仪器确定探测装置的位置以及尤其是取向。因此，可以获得探测装置的探头相对于仪器2的坐标系的3D坐标。
图3用虚线表示已经测量了点“1”并且现在正在测量点“2”。传感器1被配置为例如通过点击按钮来触发测量，其可以向仪器2发出信号以记录测量头的当前测量的坐标。根据相应的AR数据的覆层图可以显示在AR装置上。AR数据涉及测量数据并且尤其可以包括关于数据质量的评估，例如，测量点是否在一定的公差范围内。
图4示出了基于另外的示例性AR数据的覆层图，诸如伪彩色图像(在图中用等值线指示)，其对应于已经获得的测量数据的质量。另一示例性功能是在物体表面上显示特定点，其可以例如由用户的手进行选择。AR装置的摄像头观察手的手势并且可以检测一定预定的触发手势。例如，如果食指正在进行倾翻运动，则计算机将检测对与食指指向的测量物体4上的部位关联的预定数据的请求。
图5示出了物体4和基于另外的示例性AR数据的覆层图。该实施方式中显示的AR数据向用户指示装配指令或调整指令。
例如，物体已安装在特定位置。AR数据可以基于利用传感器结合坐标测量仪器获得的测量物体的测量数据。测量数据涉及物体相对于基准(例如，环境或物体装配的其它部件)的姿势。在测量数据的评估导致物体的不正确定位的情况下，覆层图可以(如图所示)体现为箭头，其指示用户借助锤子将物体装配到特定方向。可以通过AR装置的摄像头、传感器和坐标测量仪器中的至少一个来观察物体的位姿，使得箭头在物体已经获得正确位姿的情况下可以消失。基于物体的位姿与目标位姿的接近程度，叠加箭头的大小也可以增大/减小。
尽管以上说明了本发明，部分参考了一些优选实施方式，但是必须理解，可以对这些实施方式的不同特征进行多种修改和组合。所有这些修改都在所附权利要求的范围内。

Claims (14)

1.一种用于对物体进行测量、检查、装配、调整和构建中的至少一项的基于AR的***，所述AR是增强现实，所述***包括：
●移动传感器，所述移动传感器被配置为测量物体并且可操纵，
●AR装置，所述AR装置包括：
□摄像头，所述摄像头被配置为拍摄所述AR装置的环境，以及
□显示器，所述显示器被配置为提供
●所述环境的实景图，以及
●依据AR数据的覆到所述实景图上的覆层图，所述AR数据与所述物体在空间上相关联，以及
●坐标测量仪器，所述坐标测量仪器被配置为确定所述移动传感器的位置和所述AR装置的位置，
●计算机，所述计算机被配置为
□读取和控制所述摄像头，
□在所述AR装置和所述坐标测量仪器之间提供相互的数据连接，
□提供所述AR数据，并且针对所述移动传感器、所述坐标测量仪器和所述物体中的每一个提供至少一个相应的识别特征，
□分别通过以下方式构建所述AR装置相对于所述移动传感器、所述坐标测量仪器和所述物体中的每一个的参考状态，
●识别由所述摄像头拍摄的相应识别特征，
●至少部分地基于由所述坐标测量仪器确定的所述AR装置的位置来确定所述AR装置相对于所述相应识别特征的位姿，并且
□基于所述AR装置相对于所述移动传感器、所述坐标测量仪器和所述物体中的至少一个的位姿生成所述参考状态中的所述覆层图，
其中，所述AR数据基于所述物体的测量数据并且包括关于所述测量数据质量的评估，所述测量数据是利用所述移动传感器和所述坐标测量仪器中的至少一个获得的。
2.根据权利要求1所述的基于AR的***，
其中，所述计算机被配置为
□基于利用了所述环境的结构的视觉定位与建图(VSLAM)过程，即使在所述摄像头与所述相应识别特征之间失去视觉接触的情况下，也维持所述AR装置相对于所述移动传感器、所述坐标测量仪器和所述物体中的至少一个的所述参考状态。
3.根据权利要求1或2所述的基于AR的***，该基于AR的***包括：
●车辆，其中，所述移动传感器被布置在所述车辆上而可操纵。
4.根据权利要求1所述的基于AR的***，
其中，所述AR数据基于由所述计算机提供的测量指令。
5.根据权利要求4所述的基于AR的***，
其中，所述测量指令包括以下中的至少一个：
□将所述移动传感器放置到哪里或对准哪里的指示，以及
□如何执行所述测量的指令。
6.根据权利要求1所述的基于AR的***，
其中，所述测量数据包括基于以下中的至少一个的报告：
□定量的测量结果，以及
□定性的测量结果。
7.根据权利要求1所述的基于AR的***，
其中，所述AR数据基于装配指令，所述装配指令基于所述物体的测量数据，所述测量数据是利用所述移动传感器和所述坐标测量仪器中的至少一个获得的。
8.根据权利要求1所述的基于AR的***，
其中，所述移动传感器
□被实现为测量探头、铰接臂坐标测量机、扫描器和多摄像头装置中的一个，并且
□被配置为提供光图案，并且
其中，所述坐标测量仪器被配置为
□检测所述光图案，并且
□根据所检测到的光图案确定所述移动传感器的位姿。
9.根据权利要求1所述的基于AR的***，
其中，所述坐标测量仪器被实现为激光跟踪仪、激光扫描器、摄像***、铰接臂坐标测量机、视距仪、经纬仪、全站仪、白光传感器、光搜索传感器、飞行时间测量***以及激光雷达***中的一个。
10.根据权利要求1所述的基于AR的***，
其中，所述AR装置被实现为平板计算机、智能电话、AR眼镜和AR头盔中的一种、一个或更多个隐形眼镜投影仪、或者虚拟视网膜显示器。
11.根据权利要求1所述的基于AR的***，
其中，所述计算机包含在所述移动传感器、所述坐标测量仪器、所述AR装置和外部计算装置中的至少一个中。
12.根据权利要求1所述的基于AR的***，
其中，所述移动传感器、所述坐标测量仪器和所述AR装置中的至少一个包括使得能够交换数据的无线通信模块。
13.根据权利要求1所述的基于AR的***，
其中，各识别特征被实现为编码图案、3D-CAD模型和图像中的至少一个。
14.一种利用根据权利要求1至13中任一项所述的***向对物体进行测量、检查、装配、调整和构建中的至少一个的用户提供视觉支持的方法，所述方法包括以下步骤：
□在所述AR装置和所述坐标测量仪器之间提供相互的数据连接，
□提供所述AR数据，并且针对所述移动传感器、所述坐标测量仪器和所述物体中的每一个提供至少一个相应识别特征，
□分别通过以下方式构建所述AR装置相对于所述移动传感器、所述坐标测量仪器和所述物体中的每一个的参考状态，
●识别由所述摄像头拍摄的相应识别特征，
●至少部分地基于由所述坐标测量仪器确定的所述AR装置的位置来确定所述AR装置相对于所述相应识别特征的位姿，以及
□基于所述AR装置相对于所述移动传感器、所述坐标测量仪器和所述物体中的至少一个的位姿生成所述参考状态中的所述覆层图。
CN201910355630.3A 2018-05-08 2019-04-29 基于增强现实的*** Active CN110458961B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18171349.6A EP3567341B1 (en) 2018-05-08 2018-05-08 Augmented reality-based system
EP18171349.6 2018-05-08

Publications (2)

Publication Number Publication Date
CN110458961A CN110458961A (zh) 2019-11-15
CN110458961B true CN110458961B (zh) 2023-04-07

Family

ID=62143047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910355630.3A Active CN110458961B (zh) 2018-05-08 2019-04-29 基于增强现实的***

Country Status (3)

Country Link
US (1) US10878633B2 (zh)
EP (1) EP3567341B1 (zh)
CN (1) CN110458961B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210201273A1 (en) * 2018-08-14 2021-07-01 Carrier Corporation Ductwork and fire suppression system visualization
WO2020079780A1 (ja) * 2018-10-17 2020-04-23 株式会社島津製作所 航空機検査支援装置および航空機検査支援方法
WO2020156890A1 (de) * 2019-01-28 2020-08-06 Holo-Light Gmbh Verfahren zur überwachung einer baustelle
US11209261B2 (en) * 2019-08-22 2021-12-28 Innovmetric Logiciels Inc. Methods and systems for producing traceable measurements
JP7341861B2 (ja) * 2019-11-11 2023-09-11 株式会社トプコン アイウェア装置を用いた管理システムおよび管理方法
JP2021177157A (ja) * 2020-05-08 2021-11-11 株式会社トプコン アイウェア表示システム
CN111651050A (zh) * 2020-06-09 2020-09-11 浙江商汤科技开发有限公司 城市虚拟沙盘的展示方法、装置、计算机设备及存储介质
CN112229323B (zh) * 2020-09-29 2022-07-05 华南农业大学 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
DE102021106126A1 (de) * 2021-03-12 2022-09-15 Helmut Fischer GmbH Institut für Elektronik und Messtechnik Verfahren und System zur taktilen Messung, insbesondere Schichtdickenmessung
CN113920278A (zh) * 2021-08-27 2022-01-11 清华大学 增强现实中的特效随动渲染方法及装置
CN115112082B (zh) * 2022-06-30 2023-05-30 哈尔滨工业大学 一种基于数字孪生技术的同轴度测量装置及校准方法
DE102022133569B4 (de) 2022-12-16 2024-05-29 Audi Aktiengesellschaft Verfahren zum Erzeugen von Datengruppen zur Nutzung in einem Training mit Augmented Reality oder mit Mixed Reality

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8902408B2 (en) * 2011-02-14 2014-12-02 Faro Technologies Inc. Laser tracker used with six degree-of-freedom probe having separable spherical retroreflector
CN104897091A (zh) * 2014-03-07 2015-09-09 赫克斯冈技术中心 关节臂坐标测量机
CN107402000A (zh) * 2016-05-19 2017-11-28 赫克斯冈技术中心 用于相对于测量仪器参照显示装置的***和方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176625B2 (en) * 2014-09-25 2019-01-08 Faro Technologies, Inc. Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images
DE102016105496A1 (de) * 2015-03-26 2016-09-29 Faro Technologies Inc. System zur Prüfung von Objekten mittels erweiterter Realität
US10114127B2 (en) * 2015-05-11 2018-10-30 The United States Of America, As Represented By The Secretary Of The Navy Augmented reality visualization system
EP3460394B1 (en) * 2017-09-26 2020-06-03 Hexagon Technology Center GmbH Surveying instrument, augmented reality (ar)-system and method for referencing an ar-device relative to a reference system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8902408B2 (en) * 2011-02-14 2014-12-02 Faro Technologies Inc. Laser tracker used with six degree-of-freedom probe having separable spherical retroreflector
CN104897091A (zh) * 2014-03-07 2015-09-09 赫克斯冈技术中心 关节臂坐标测量机
CN107402000A (zh) * 2016-05-19 2017-11-28 赫克斯冈技术中心 用于相对于测量仪器参照显示装置的***和方法

Also Published As

Publication number Publication date
US10878633B2 (en) 2020-12-29
US20190347860A1 (en) 2019-11-14
CN110458961A (zh) 2019-11-15
EP3567341B1 (en) 2023-11-29
EP3567341A1 (en) 2019-11-13

Similar Documents

Publication Publication Date Title
CN110458961B (zh) 基于增强现实的***
US10598479B2 (en) Three-dimensional measuring device removably coupled to robotic arm on motorized mobile platform
US11481999B2 (en) Maintenance work support system and maintenance work support method
CN107402000B (zh) 用于将显示装置相对于测量仪器相互关联的方法和***
US20190079522A1 (en) Unmanned aerial vehicle having a projector and being tracked by a laser tracker
US9448758B2 (en) Projecting airplane location specific maintenance history using optical reference points
JP7337654B2 (ja) 保全活動サポートシステムおよび保全活動サポート方法
JP4950348B2 (ja) 情報提供装置、情報提供方法、及びプログラム
CN114585875A (zh) 计量***
CN109443345B (zh) 用于监控导航的定位方法及***
JP7340440B2 (ja) コンピュータビジョンに基づく、航空機の自律着陸または監視自律着陸
US20150379701A1 (en) Inspection camera unit, method for inspecting interiors, and sensor unit
US10890447B2 (en) Device, system and method for displaying measurement gaps
US10890430B2 (en) Augmented reality-based system with perimeter definition functionality
JP2019039892A (ja) 光学情報処理装置、光学情報処理方法および光学情報処理用プログラム
US20230206491A1 (en) Information processing device, mobile device, information processing system, method, and program
US20200166409A1 (en) Temperature processing apparatus and temperature processing method
CN111780715A (zh) 一种视觉测距方法
US11269400B2 (en) Positioning system
JP7414395B2 (ja) 情報投影システム、制御装置、及び情報投影制御方法
JP2009175012A (ja) 計測装置および計測方法
EP3392748B1 (en) System and method for position tracking in a virtual reality system
US10310080B2 (en) Three dimensional manufacturing positioning system
JP7207915B2 (ja) 投影システム、投影方法及びプログラム
CN113218392A (zh) 室内定位导航方法及导航装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant