CN109765992B - 将虚拟内容与物理环境空间配准的***、方法和工具 - Google Patents

将虚拟内容与物理环境空间配准的***、方法和工具 Download PDF

Info

Publication number
CN109765992B
CN109765992B CN201811324674.1A CN201811324674A CN109765992B CN 109765992 B CN109765992 B CN 109765992B CN 201811324674 A CN201811324674 A CN 201811324674A CN 109765992 B CN109765992 B CN 109765992B
Authority
CN
China
Prior art keywords
physical
virtual
imaging device
workspace
alignment tool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811324674.1A
Other languages
English (en)
Other versions
CN109765992A (zh
Inventor
P·R·戴维斯
D·李
G·J·埃文斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN109765992A publication Critical patent/CN109765992A/zh
Application granted granted Critical
Publication of CN109765992B publication Critical patent/CN109765992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/004—Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • B64F5/60—Testing or inspecting aircraft components or systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Architecture (AREA)
  • Manufacturing & Machinery (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及在增强现实平台中将虚拟内容与物理环境空间配准的***、方法和工具。该***包括对准工具和增强现实(AR)成像装置。所述对准工具具有指针和基准标记并且在物理工作空间内由操作者携带。所述AR成像装置使用一个或多个传感器跟踪所述物理工作空间中的所述基准标记，并且基于所述基准标记的位置和取向来确定所述指针在所述物理工作空间内的物理参考位置处的位置坐标。所述物理参考位置与虚拟模型内的不同虚拟参考点相关联。所述AR成像装置生成传递函数以使所述虚拟参考点的位置坐标与相关联的所述物理参考位置的所述位置坐标拟合，并且根据所述传递函数在显示器上显示虚拟内容，使得所述虚拟内容与所述物理工作空间在空间上配准。

Description

将虚拟内容与物理环境空间配准的***、方法和工具
技术领域
本公开的实施方式总体涉及增强现实平台，并且更确切地说涉及在增强现实平台中将虚拟内容与物理环境或工作空间(诸如飞行器或其他交通工具的内部空间)对准。
背景技术
增强现实平台是基于计算机的***，其将虚拟内容叠加到显示器上，向用户显示物理真实世界环境的实时视图，从而提供物理环境和虚拟内容的合成视图。可以在显示器上或通过使用半透明的透视显示器或镜头来提供实时视图作为视频馈送，使得用户能够通过显示器看到物理环境。增强现实在许多不同的应用(诸如游戏、教育和军事)中都很有用。增强现实的一个特定有用的应用是用于提供指导任务。例如，重叠的虚拟内容可以在执行某些任务时可视地引导操作者，诸如交通工具、计算机或其他机器组件、交通工具、计算机或其他机器修理、医疗过程、家具组装等。合成视图中的虚拟内容通常需要与物理环境准确对准，以便为指导任务提供支持性指导，即使操作者在物理环境内移动也是如此。例如，如果虚拟内容没有准确地与物理环境对准，则在执行指导任务期间由虚拟内容提供的指导可能使用户感到困惑并误导用户，并且可能导致代价高昂的误差。
用于在增强现实平台中将虚拟内容与物理真实世界环境对准的一种已知方法需要操作者的技术技能。例如，可能需要用户经由使用键盘、触摸板、控制器设备、鼠标、手势等手动平移并角度定向虚拟对象，直到虚拟对象与物理环境中的物理标志对准。而且，这样的手动对准可能是繁琐且耗时的，并且不精确和不准确，因为该过程依赖于操作者的技能并且易于发生人为误差。
发明内容
本文中公开的实施方式考虑了这些和其他因素。本公开的某些实施方式提供了一种用于在增强现实平台中将虚拟内容与物理工作空间或环境对准的***。该***包括对准工具和增强现实(AR)成像装置。所述对准工具具有指针和基准标记。所述对准工具被配置成在物理工作空间内由操作者携带。所述AR成像装置包括一个或多个传感器和一个或多个处理器。所述一个或多个处理器被配置成使用所述一个或多个传感器跟踪所述物理工作空间中的所述基准标记，并且基于被跟踪的所述基准标记的位置和取向来确定所述指针在所述物理工作空间内的物理参考位置处的位置坐标。所述物理参考位置与虚拟模型内的不同虚拟参考点相关联。所述一个或多个处理器被进一步配置成生成传递函数以使所述虚拟参考点的位置坐标与相关联的所述物理参考位置的所述位置坐标拟合。所述一个或多个处理器根据所述传递函数在显示器上显示虚拟内容，使得所述虚拟内容与所述物理工作空间在空间上配准。
本公开的某些实施方式提供了一种用于在增强现实平台中对准虚拟内容的方法。该方法包括：使用增强现实(AR)成像装置跟踪在物理工作空间内由操作者携带的对准工具上的基准标记。该方法包括：确定所述对准工具的指针尖端在所述物理工作空间内的多个物理参考位置处的位置坐标。基于由所述AR成像装置跟踪的所述基准标记的位置和取向来确定所述位置坐标。所述物理工作空间内的所述物理参考位置与虚拟模型内的不同虚拟参考点相关联。该方法还包括：生成传递函数以使所述虚拟参考点的位置坐标与相关联的所述物理参考位置的所述位置坐标拟合。该方法进一步包括：根据所述传递函数在显示器上显示虚拟内容，使得所述虚拟内容与所述物理工作空间在空间上配准。
本公开的某些实施方式提供了一种用于使用增强现实(AR)成像装置在显示器上将虚拟内容与物理工作空间在空间上配准的对准工具。该对准工具包括：手柄，其被配置成由操作者保持；框架，其附接至所述手柄；和指针。所述框架具有正面和与所述正面相对的背面。所述框架具有沿着所述正面的基准标记，所述基准标记被配置成由所述AR成像装置识别。所述指针设置在所述框架的所述背面后面并远离所述框架延伸至所述指针的位于所述指针的远端处的尖端。所述尖端位于相对于所述基准标记的固定预定位置处，使得所述AR成像装置通过跟踪所述基准标记的位置和取向来确定所述尖端在所述物理工作空间内的位置。
附图说明
当参考附图阅读以下详细描述时，将更好地理解本公开的这些和其他特征、方面和优点，附图中相同的附图标记代表相同的部分，其中：
图1例示了根据本公开的一个实施方式在物理工作空间中使用虚拟内容对准***的操作者；
图2是根据本公开的一个实施方式的虚拟内容对准***的对准工具的立体图；
图3是根据本公开的一个实施方式的对准工具的侧视图；
图4例示了根据本公开的一个实施方式的虚拟内容对准***的框图；
图5是根据本公开的一个实施方式的在增强现实平台中将虚拟内容与物理工作空间对准的方法流程图；
图6例示了根据本公开的一个实施方式的在显示屏幕上显示虚拟模型的显示装置；
图7例示了根据本公开的一个实施方式在物理工作空间内携带对准工具的操作者；
图8例示了位于图7所示的物理工作空间中的操作者所佩戴的虚拟内容对准***的AR成像装置的视野；
图9例示了根据本公开的一个实施方式的飞行器的前立体图；以及
图10例示了根据本公开的一个实施方式的图9中示出的飞行器的内舱的俯视平面图。
具体实施方式
当结合附图阅读时，将更好地理解前述发明内容以及某些实施方式的以下详细描述。如本文所使用的，以单数形式且以单词“一”或“一个”开头的元件或步骤应理解为不必排除多个元件或步骤。此外，对“一个实施方式”的引用不旨在被解释为排除也包含所述特征的另外的实施方式的存在。而且，除非明确相反地陈述，否则“包括”或“具有”具有特定属性的一个或多个要素的实施方式可包括不具有该属性的附加要素。
需要一种***和方法，其在增强现实平台中准确且有效地将虚拟内容与物理环境对准，并且可以用于任何尺寸的虚拟内容而不影响对准的准确性。还需要一种***和方法，其在增强现实平台中准确地将第一虚拟对象与物理环境对准，并且可以用于自动且有效地将附加虚拟对象与物理环境对准，而无需重复对准过程或重新校准。
考虑到这些需求，本公开的某些实施方式提供了用于在增强现实平台中准确地将虚拟内容与物理工作空间或环境对准的虚拟内容对准***。术语“物理工作空间”在本文中广泛用于指代可以经由人类操作者所携带或佩戴的增强现实(AR)成像装置中的内向外感测***跟踪或映射的任何物理环境。例如，物理工作空间可以是交通工具或建筑物内的受限空间，其被墙壁、底板和/或顶板部分地或完全包围。物理工作空间还可包括室外空间。
如本文所述的一个或多个实施方式中所描述的，虚拟内容对准***被配置成在操作者使用对准工具触碰物理工作空间中的特定位置(例如，参考位置)时可视地跟踪由操作者携带的定制手持对准工具。特别选择由对准工具触碰的参考位置，因为参考位置对应于虚拟模型(诸如使用计算设备上的软件程序生成的物理位置的虚拟模型)中的相关参考点。虚拟内容对准***被配置成确定在映射物理工作空间的物理或空间坐标系内由对准工具触碰的物理位置的位置坐标。通过将空间坐标系内的物理参考位置的位置坐标与虚拟坐标系内的相关虚拟参考点的位置坐标进行比较，生成传递函数以使虚拟坐标系与空间坐标系拟合或对准。传递函数可用于在显示器上与物理工作空间的实时视图同时地显示虚拟内容，使得虚拟内容在空间上与物理工作空间配准(例如，对准)。可通过视频馈送或通过使用半透明显示器来提供实时视图，该半透明显示器允许用户通过显示器看到物理工作空间。
本文描述的实施方式的技术效果包括改进虚拟环境中的活动对象的共同配准。本文描述的实施方式的技术效果包括改进了在显示器上对准虚拟内容所需的时间的减少。本文描述的实施方式的技术效果包括减少对操作者使虚拟内容与物理环境对准的技能的依赖。这里的实施方式的技术效果包括在增强现实平台中更准确且有效地将虚拟内容与物理环境对准，并且可以用于任何尺寸的虚拟内容而不影响对准的准确性。本文描述的实施方式的技术效果包括在增强现实平台中准确地将第一虚拟对象与物理环境对准，并且可以用于自动且有效地将附加虚拟对象与物理环境对准，而无需重复对准过程或重新校准。
图1例示了根据一个实施例在物理工作空间102中使用虚拟内容对准***100的操作者。虚拟内容对准***100(在本文中也被称为对准***100)包括增强现实成像装置104(在本文中被称为AR成像装置104)和对准工具106。在例示的实施方式中，操作者携带AR成像装置104和对准工具106两者。例如，AR成像装置104是佩戴在操作者头部上的头戴式装置，并且对准工具106由操作者手持。对准工具106具有手柄132，手柄132由操作者抓握并保持以在工作空间102内携带工具106。在例示的实施方式中，AR成像装置104包括接合并围绕操作者头部延伸的带子或带108，但是在其他实施例中，AR成像装置104可包括头盔、帽子、具有相应耳片的侧臂构件(如在眼镜中)等，来代替带子108。AR成像装置104在例示的实施例中也是光学透视装置，使得AR成像装置104包括覆盖操作者眼睛的透明或半透明护目镜110。AR成像装置104不限于头戴式装置，并且可包括其他可佩戴装置、便携式装置和/或移动装置，诸如计算机平板电脑、智能电话、智能手表等，其被配置成利用用于增强现实平台的内向外跟踪***。在另选实施例中，第一操作者可在物理工作空间102中携带对准工具106，并且第二操作者可在物理工作空间102中佩戴或携带AR成像装置104。
AR成像装置104被配置成执行由内向外的位置跟踪。例如，AR成像装置104包括一个或多个传感器406(图4中示出)，诸如一个或多个图像/视频相机、测距仪(例如，接近传感器)、红外(IR)传感器等。当操作者在物理工作空间102内佩戴或携带AR成像装置104时，传感器406收集工作空间102的传感器数据(例如，图像数据和/或接近数据)。AR成像装置104包括一个或多个处理器410(图4中示出)，处理器410分析传感器数据以推断AR成像装置104(和操作者)相对于工作空间102的位置和取向。物理工作空间102可在飞行器的机身120内，其具有由一系列弯曲框架构件122形成的圆柱形状。在例示的实施方式中，机身120还包括底板124、窗口126和限定门口130的后壁128。当操作者在机身120内移动时，AR成像装置104被配置成跟踪AR成像装置104相对于机身120的某些特征(诸如门口130和/或窗口126)的接近度和角度的变化。基于在AR成像装置104周围的机身120上所感知的变化，AR成像装置104计算操作者的移动(例如，平移和/或旋转)并确定操作者在机身120内的当前位置和取向。AR成像装置104可在传感器406从操作者的位置(例如，从内部)向外朝向周围的工作空间102“看”时，执行由内向外的位置跟踪。
AR成像装置104还被配置成通过将虚拟内容叠加到显示物理工作空间或环境的实时视图的显示器上来为操作者显示虚拟内容。虚拟内容可以是或以其他方式包括图像、符号、字形、三维对象等。AR成像装置104可以是市场上各种已知的增强现实特定装置之一，诸如MicrosoftTM HololensTM、DAQRITM Smart HelmetTM、MetaTM Meta IITM等。或者，如上所述，AR成像装置104可以是平板计算机、智能电话等，其具有传感器和为增强现实平台执行由内向外的位置跟踪的处理能力。在一个实施例中，可通过将虚拟内容叠加在类似于眼镜镜片的透明或半透明显示器上来提供实时视图，使得操作者能够通过显示器看到真实世界。在另一个实施例中，可通过在显示装置上显示周围环境的实时视频馈送来提供实时视图。
虽然增强现实具有许多应用，但是一个或多个这样的应用利用增强现实用于指导目的以在任务期间引导操作者。该任务可涉及制造、建造、维护、检查、培训、修理等。例如，增强现实可用于通过选择性地显示引导操作者完成任务的虚拟指导信息来指导复杂和/或困难的劳动任务。使用增强现实来指导复杂和/或困难的任务可通过减少误差的数量和任务的持续时间来增加工作输出并降低成本。然而，如果虚拟内容未与物理环境正确对准，则增强的场景可能使任务进一步复杂化。例如，操作者可能被与物理环境未对准的指令虚拟内容误导或至少混淆。本文描述的对准***100被配置成在增强现实平台中有效且准确地将虚拟内容与物理工作空间对准，确保指导虚拟信息在显示给操作者的实时视图中与物理工作空间正确地空间配准。
AR成像装置104被配置成跟踪物理工作空间102内的对准工具106。对准工具106包括基准标记112，AR成像装置104使用该基准标记112来跟踪对准工具106。基准标记112是图形标记，例如颜色、符号、图像、文本、形状、条形码等。在例示的实施例中，基准标记112是数字符号(“#”)。AR成像装置104被配置(例如，编程或训练)成识别和检测由一个或多个传感器406捕获的图像数据中的基准标记112。使用图像分析，AR成像装置104还被配置成确定基准标记112相对于AR成像装置104的距离和角度取向。例如，响应于检测到的基准标记112的尺寸相对于先前图像数据中的基准标记112的尺寸减小，AR成像装置104检测到对准工具106远离AR成像装置104移动。在一个或多个实施例中，AR成像装置104可跟踪工作空间102中的某些对象以确定AR成像装置104在工作空间102内的位置和取向，并且可跟踪基准标记112以确定对准工具106相对于AR成像装置104的位置和取向。基于该信息，AR成像装置104可计算基准标记112相对于工作空间102的位置和取向。
图2是根据一个实施例的对准工具106的立体图，没有示出基准标记112(图1)。如本文更详细描述的，对准工具106用于收集物理工作空间102(图1)中的参考位置。对准工具106包括手柄132、框架202和指针204。框架202具有正面206和与正面206相对的背面208。基准标记112被配置成沿着框架202的正面206安装。例如，基准标记112可以是纸上的图像或经由粘合剂、夹子或其他类型的紧固件安装到框架202的正面206的另一基板上的图像。在另选实施例中，基准标记112可一体地形成在框架202的正面206上，例如涂到正面206上，沿正面206模制，或者通过切除框架202的围绕基准标记112的部分来限定。
框架202具有第一端210和与第一端210相对的第二端212。手柄132在第二端212处附接至框架202并且远离框架202延伸到手柄132的远端214。在例示的实施方式中，第一端210是框架202的顶端，而第二端212是底端。如本文所使用的，诸如“顶部”、“底部”、“前部”、“后部”、“上部”和“下部”之类的相对或空间术语仅用于区分所引用的要素并且不一定需要相对于重力或对准工具106的周围环境的特定位置或取向。在例示的实施方式中，手柄132是圆柱形轴，其从框架202的第二端(例如，底端)212线性地延伸到远端214。手柄132可选地具有轮廓周边，以符合人体工程学地容纳操作者的手。在另选实施例中，手柄132可以是弯曲的和/或具有不同的形状。
指针204设置在框架202的背面208后面，并且远离框架202延伸到指针204的远端216。指针204包括位于远端216处的尖端218，尖端218逐渐变细到一点。指针204在图3中更详细地示出。
图3是根据一个实施例的对准工具106的侧视图。在例示的实施方式中，指针204从框架202的背面208线性地延伸到远端216。在一个实施例中，指针204大致垂直于手柄132的取向延伸。例如，指针204“大致垂直于”手柄132，使得指针204的轴线与手柄132的轴线之间的角度可以在与直角成正负五或十度的范围内(例如，在80°和100°之间)。指针204的尖端218相对于框架202固定在适当位置，并且位于相对于框架202的预定位置处。例如，指针204可相对于框架202的正面206的平面以预定角度(诸如90度)从框架202延伸预定距离。当基准标记112安装到框架202时，指针204的尖端218相对于基准标记112位于预定位置处。由于指针204相对于基准标记112的位置和取向是已知的，因此AR成像装置104被配置成通过跟踪基准标记112的位置和取向来确定指针204的尖端218在工作空间102内的位置。在另选实施例中，指针204可直接从手柄132向后延伸而不是从框架202延伸。
在一个实施例中，对准工具106具有包括一种或多种塑料或其他聚合材料的材料成分。在其他实施例中，对准工具106可由一种或多种金属或其他材料构成。手柄132、指针204和框架202可以在共同的模制过程中彼此一体地形成，或者可以单独地形成并随后组装以限定对准工具106。
现在返回参考图2，所示实施例中的对准工具106包括手柄132上的选择按钮220。选择按钮220被配置成在抓握手柄132时由操作者的拇指或其他手指触发。操作者可以通过朝向圆柱形手柄132的内部径向向内按压按钮220来触发按钮220。选择按钮220是可选的，并且对准工具106的一个或多个另选实施例可以没有按钮220。
图4例示了根据一个实施例的虚拟内容对准***100的框图。图4中所示的框图例示出了对准***100内的子组件的非限制性示例实施例。在其他实施例中，对准***100可包括比在图4中例示的部件更少的部件、附加部件和/或不同部件。
对准工具106包括选择按钮220和相关电路、处理器402和无线通信电路404。处理器402和无线通信电路404可包含在对准工具106的手柄132(如图3所示)内。处理器402被配置成控制无线通信电路404的操作。无线通信电路404可包括天线和用于生成无线射频信号以与AR成像装置104和/或另一计算设备通信(例如，发送和/或广播)的相关电路。例如，无线通信电路404可包括收发器、发射器等。在一个或多个实施例中，响应于操作者激活(例如，按下、切换、旋转等)选择按钮220，处理器402控制无线通信电路404以生成数据获取命令信号并将其无线传送到AR成像装置104。无线通信电路404可以根据无线通信协议(诸如蓝牙技术标准等)来传送数据获取命令信号。在一个实施例中，每次触发选择按钮220时，无线通信电路404传送数据获取命令信号。数据获取命令信号可以是电磁信号，其包括向AR成像装置104指示选择按钮220已被激活的数据或信息。
AR成像装置104包括一个或多个传感器406、具有一个或多个处理器410和存储器412的控制单元408、显示装置414和无线通信电路416。传感器406可包括一个或多个图像/视频相机、测距仪(例如，接近传感器)、红外(IR)传感器等。传感器406用于监测AR成像装置104的周围环境，允许AR成像装置104在环境中的位置跟踪以及跟踪对准工具106的基准标记112(图1)。
控制单元408的一个或多个处理器410可控制AR成像装置104的至少一些不同部件的操作。一个或多个处理器410中的每一个均可包括微处理器、控制器或等效控制电路。存储器412可以包括或表示物理的、非暂时性的计算机可读存储设备，其临时或永久地存储数据以供处理器410使用和/或用于远程通信。例如，一个或多个处理器410可以基于存储在存储器412或另一个非暂时性计算机可读存储介质中的编程指令(例如，软件)来操作。存储器412可包括一个或多个易失性和/或非易失性存储器设备，诸如随机存取存储器(RAM)、静态随机存取存储器(SRAM)、动态RAM(DRAM)、另一种类型的RAM、只读存储器(ROM)、闪存等。存储器412可以被配置成至少临时存储由传感器406收集的数据。例如，存储器412可以存储由AR成像装置104上的一个或多个相机捕获的图像数据。也可以使用存储器412来存储映射数据，该映射数据代表周围环境(例如，图1中所示的物理工作空间102)的基于空间坐标的映射。存储器412还可以存储代表环境空间图中的一个或多个特定位置的坐标的位置数据。控制单元408可操作地(例如，经由有线或无线通信路径)连接到传感器406、显示装置414和无线通信电路416。
无线通信电路416被配置成与对准工具106远程无线通信(例如，发送和/或广播)，以便从对准工具106接收数据获取命令信号。无线通信电路416也可以被配置成与另一设备(诸如远程计算设备)通信。无线通信电路416可包括天线和相关电路，诸如接收器、收发器等。
显示装置414可以集成到光学透视AR成像装置104的透明或半透明护目镜110(图1中示出)中。在AR成像装置104是平板计算机、智能电话等的另选实施例中，显示装置414可以是AR成像装置104的监视器或触摸屏显示器。在一个实施例中，一个或多个处理器410可以被配置成在显示装置414上显示增强现实内容，诸如叠加到实时视频馈送上的虚拟对象，示出了操作者周围的物理工作空间102(图1)。可以以三维显示虚拟对象。
应当认识到，图4中所示的传感器406、显示装置414和通信电路416仅仅是AR成像装置104的示例部件，并且控制单元408可以在其他实施例中可操作地连接到附加部件、更少部件和/或不同部件。
图5是根据一个实施例在增强现实平台中将虚拟内容与物理工作空间对准的方法500的流程图。方法500可以由图1至图4中所示的对准***100或其部件来执行。例如，方法500可以完全或部分地由AR成像装置104的一个或多个处理器410执行。在步骤502处，接收虚拟模型内的虚拟参考点的选择。虚拟参考点是虚拟模型的不同的间隔开的点。在一个实施例中，选择至少三个虚拟参考点。至少一些参考点不位于单个公共线上。虚拟模型可以是计算机辅助设计(CAD)模型。虚拟模型可以表示物理工作空间，诸如飞行器、建筑物、工业设施等。每个虚拟参考点在虚拟坐标系或参考系内具有唯一的位置坐标。在一个实施例中，位置坐标是沿着虚拟坐标系内的三个相互垂直的轴线定义的三维位置坐标。在一个实施例中，虚拟参考点由操作者使用与AR成像装置104分开且远离的计算设备来选择。虚拟参考点可以由AR成像装置104的无线通信电路416(图4)从远程计算设备接收。另选地，虚拟模型中的虚拟参考点可以由操作者使用集成到AR成像装置104上的显示装置414来选择。在另一个另选实施例中，虚拟参考点可以经由AR成像装置104或远程计算设备自动选择。
图6例示了根据一个实施例在显示屏幕606上显示虚拟模型604的显示装置602。在一个实施例中，显示装置602远离AR成像装置104并且由操作者使用以选择虚拟模型604上的三个或更多个虚拟参考点。例如，显示装置602可以是平板计算机，并且显示屏幕606可以是触敏屏幕。显示装置602可以与对准***100分离，并且可以不需要在方法500的步骤502处接收虚拟参考点的选择。在另一个实施例中，显示装置602可以代表AR成像装置104的显示装置414(图4)，使得虚拟模型604显示在AR成像装置104上。
在例示的实施例中，虚拟模型604表示飞行器内的内部空间，包括壁608、顶板610以及安装到壁608和顶板610的各种部件。这些部件包括电气装置612和线束614。线束614包括用于电连接电气装置612的多个电缆616。三个虚拟参考点618、620、622在虚拟模型604中的不同位置处在显示屏幕606上突出显示。例如，第一虚拟参考点618位于安装到顶板610的电气装置612的拐角处。第二虚拟参考点620位于紧固件624的一端处，所述一端安装到壁608以将电缆616中的一个固定就位。第三虚拟参考点位于安装到壁608的电气装置612的拐角处。显示装置602示出了点618、620、622旁边的每个虚拟参考点618、620、622的位置坐标。虚拟坐标系中的三个轴线被标识为“A”、“B”和“C”。三个轴线可以表示垂直轴线、水平轴线或横轴以及纵轴或深轴。或者，轴线可以代表飞行器轴线，诸如对接线、水线和站线。第一参考点618具有位置坐标(A1、B1、C1)，第二参考点620具有位置坐标(A2、B2、C2)，第三参考点622具有位置坐标(A3、B3、C3)。在一个实施例中，虚拟参考点可以彼此间隔开至少一米的距离，并且可选地可以分开至少两米以上的距离。
现在返回参考图5的方法500，在步骤504处，映射物理工作空间以生成物理坐标系。例如，AR成像装置104可以被配置成基于从传感器406接收的传感器数据而在空间上映射AR成像装置104所在的物理工作空间。例如，当AR成像装置104的操作者在物理工作空间内四处移动时，AR成像装置104可以被配置成映射周围环境并生成表示物理工作空间的物理坐标系或参考系。物理坐标系可以基于AR成像装置104的位置。例如，该映射建立AR成像装置104的位置与周围环境内的特定现实对象的位置之间的关系，使得在映射物理工作空间时，为现实对象分配物理坐标系内的特定位置坐标。可选地，佩戴AR成像装置104的操作者可以是在步骤502处选择虚拟模型内的虚拟参考点的同一操作者。
在步骤506处，在映射的物理工作空间内跟踪由操作者携带的对准工具的基准标记。例如，图7例示了根据一个实施例在物理工作空间702内携带对准工具106的操作者。在例示的实施方式中，物理工作空间702是飞行器内的内部空间。飞行器可能处于未完成状态下，使得内部空间正在建造中。物理工作空间702对应于图6中所示的虚拟模型604。例如，虚拟模型604可以是处于完成状态下的物理工作空间702的虚拟表示。物理工作空间702包括壁704和顶板706。有几个电气装置708和紧固件710安装在壁704和顶板706上，但是在中间状态下没有线束。
如图7所示，操作者佩戴AR成像装置104并保持对准工具106。AR成像装置104的传感器406(图4)被配置成在物理工作空间702内跟踪对准工具106的基准标记112。在一个实施例中，操作者移动对准工具106，使得指针204的尖端218位于物理工作空间702中的与来自图6所示的虚拟模型604的虚拟参考点618、620、622相关联的多个参考位置中的每一个处。例如，在图7中，操作者将对准工具106定位成使得尖端218设置在壁704上的紧固件710的端部处的参考位置714处。参考位置714是第二参考位置，其与紧固件624处的第二虚拟参考点620相关联，紧固件624安装到虚拟模型604的壁608(图6中示出)。
返回参考图5，在步骤508处，确定是否接收到操作者选择。操作者选择可以是传送到AR成像装置104的电信号、听觉命令、手势等。操作者选择指示AR成像装置104收集并记录指针204的尖端218的当前位置的位置坐标。例如，操作者选择可以是响应于操作者按下选择按钮220而从对准工具106的通信电路404(图4)传送的数据获取命令信号。或者，操作者选择可以是由AR成像装置104上的麦克风(未示出)接收的操作者的特定语音命令等。如果没有接收到操作者选择，则方法500的流程返回到步骤506，并且继续跟踪基准标记112。
另一方面，如果接收到操作者选择，则方法500的流程进行到步骤510。在步骤510处，在参考位置处收集对准工具106的指针204的位置坐标。例如，参考图7，响应于操作者按下对准工具106上的选择按钮220，AR成像装置104可以被配置成收集并记录对应于指针204的尖端218的当前位置的位置坐标。AR成像装置104可以基于图像分析来确定尖端218在物理工作空间702中的位置，以确定基准标记112相对于AR成像装置104的距离和取向。尖端218相对于基准标记112的位置是预定且已知的，这允许AR成像装置104确定尖端218与AR成像装置104的相对位置。AR成像装置104使用由内向外的位置跟踪来确定AR成像装置104在物理工作空间702内的当前位置和角度取向，并且通过扩展来确定尖端218的当前位置。
在由AR成像装置104映射的物理坐标系内的位置坐标中确定尖端218的位置。在例示的实施方式中，物理坐标系是三维的并且包括由“X”、“Y”和“Z”表示的三个相互垂直的轴线。轴线X、Y和Z可以表示飞行器坐标轴，诸如对接线、水线和站线。指向图7中所示的紧固件710的第二参考位置714的位置坐标被确定为(X2、Y2、Z2)。AR成像装置104可以将第二参考位置714的位置坐标记录在存储器412(图4)或另一个存储设备内。
在收集参考位置的位置坐标之后，方法500进行到步骤512并且确定是否针对另一参考位置进行重复。可以重复收集过程以收集与在步骤502处接收的虚拟模型中的所选虚拟参考点之一相关联的每个参考位置的位置坐标。例如，重复收集过程以收集与图6中所示的虚拟参考点618、620、622相关联的物理工作空间702中的每个参考位置处的位置坐标。例如，收集过程可以重复，直到收集物理工作空间702中的三个或更多个参考位置处的位置坐标。
参考图7，在收集第二参考位置714处的位置坐标之后，操作者可以将物理工作空间702内的对准工具106朝向与虚拟模型604中的第三虚拟参考点622相关联的另一参考位置716移动。操作者移动对准工具106，使得指针204的尖端218搁置在壁704上的电气装置708的拐角处，其对应于安装到图6中所示的虚拟模型604中的壁608的电气装置612。AR成像装置104继续跟踪基准标记112(在步骤506处)，并且响应于接收到操作者选择(在步骤508处)，来确定物理坐标系内的参考位置716的位置坐标。例如，第三参考位置716的位置坐标显示为(X3、Y3、Z3)。再次重复收集过程以收集在虚拟模型604中与第一虚拟参考点618相关联的第一参考位置718处的位置坐标。第一参考位置718处的坐标是(X1、Y1、Z1)。可以以任何顺序收集物理参考位置714、716、718的位置坐标(只要每个物理参考位置714、716、718与对应的虚拟参考点620、622、618相关联即可)。
参考图5中的方法500，一旦确定了对应于不同虚拟参考点618、620、622的每个参考位置714、716、718的位置坐标，方法500就进行到步骤514并且将物理参考位置的位置坐标与对应的虚拟参考点的位置坐标分组。例如，AR成像装置104的一个或多个处理器410可以将虚拟模型604中的第一虚拟参考点618的位置坐标(A1、B1、C1)与物理工作空间702中的第一参考位置718的位置坐标(X1、Y1、Z1)分为一组。一个或多个处理器410还将位置坐标(A2、B2、C2)与坐标(X2、Y2、Z2)分为一组并将位置坐标(A3、B3、C3)与坐标(X3、Y3、Z3)分为一组。应当认识到，虚拟参考点618、620、622的位置坐标在虚拟坐标系内定义，其不同于物理参考位置714、716、718的位置坐标被定义的物理坐标系。
在步骤516处，生成传递函数以使虚拟参考点的位置坐标与物理参考位置的位置坐标拟合。例如，AR成像装置104的一个或多个处理器410可以利用诸如最小二乘拟合算法等算法来对点对进行处理。一个或多个处理器410可以确定包括虚拟坐标系的旋转和平移的变换或传递函数，以便减少各个点对之间的误差，从而将虚拟坐标系对准或空间配准到物理坐标系。
在步骤518处，根据传递函数显示图6中所示的虚拟模型604和/或其他虚拟内容，使得虚拟模型和/或内容与显示器上的物理工作空间对准。例如，虚拟模型604的至少一部分可以叠加到物理工作空间的实时视图上。尽管虚拟模型604用于生成传递函数，但是代替显示虚拟模型604，或者除显示虚拟模型604之外，传递函数可以用于显示与虚拟模型604不同的虚拟内容。虚拟模型604和/或其他虚拟内容可以显示为三维图像或对象。显示器可以是显示装置414，其被集成到AR成像装置104的护目镜110上并且可以由佩戴AR成像装置104的操作者观看。或者，代替或者除在集成的显示装置414上显示虚拟内容之外，虚拟模型604和/或其他虚拟内容可以显示在单独的离散显示装置上。
例如，图8例示了在图7中所示的物理工作空间702中由操作者佩戴的AR成像装置104的视野802。视野802指示操作者在AR成像装置104的集成的显示装置414(图4)上看到的内容。如图7所示，视野802示出了处于中间状态下的物理工作空间702，其中添加了图6中所示的虚拟模型604的线束614。例如，视野802中的物理工作空间702可以是实时视频馈送，并且线束614可以是叠加在实时视频馈送上的三维虚拟图像或对象。虚拟线束614在图8中以虚线示出。虚拟线束614通过应用传递函数来叠加，以将线束614从虚拟坐标系对准并空间配准到物理坐标系。如图8所示，虚拟线束614在物理工作空间702中与电气装置708和紧固件710准确地对准，而线束614是虚拟的(例如，物理上不位于物理工作空间702中)。通过在物理工作空间702的建造期间在物理工作空间702中显示线束614，AR成像装置104可以指示操作者如何在物理工作空间702内装设线束的实际的真实的电缆。
应当认识到，在方法500的步骤516处生成的传递函数可以用于显示除虚拟模型604之外的附加虚拟内容。例如，尽管从虚拟模型中选择用于生成传递函数的虚拟参考点，但是传递函数可用于将使用虚拟坐标系的任何虚拟内容与物理工作空间的物理坐标系对准。传递函数将虚拟坐标系校准到物理坐标系。一旦校准已知，则传递函数可以应用于表示飞行器的不同部分的其他虚拟模型，例如，以便将来自这些其他虚拟模型的虚拟内容与物理工作空间在空间上配准。
返回参考图5，在步骤520处确定操作者是否已在物理工作空间内移动。例如，AR成像装置104的传感器406(图4)使用由内向外的位置跟踪连续地监测AR成像装置104在物理工作空间内的位置。基于位置跟踪，AR成像装置104可以确定操作者何时相对于物理工作空间移动诸如通过转动(例如，旋转)或步行(例如，平移)。如果确定操作者已经移动，则流程进行到步骤522并且修改所显示的虚拟内容的位置和/或取向。例如，参考图8，AR成像装置104被配置成基于AR成像装置104感知到的旋转和/或平移来修改虚拟线束614相对于物理工作空间702的显示位置和取向，使得虚拟线束614在视野802中对于操作者来说看起来是真实的。例如，AR成像装置104可以确定AR成像装置104在物理坐标系内的更新位置和角度取向，并且可以由于虚拟内容已经在物理坐标系内进行了空间配准，因此对虚拟内容(例如，线束614)的位置和取向进行类似的改变。
应当认识到，虚拟内容的显示方式的任何变化仅基于AR成像装置104相对于物理工作空间的位置跟踪。与用于在增强现实平台中对准虚拟内容的一些已知方法不同，本文描述的对准***100不依赖于跟踪工作空间中的物理标记的位置和取向来确定如何将虚拟内容与物理工作空间对准。例如，可视地跟踪物理环境中的指定标记的当前AR***依赖于跟踪标记的位置和旋转二者。但是，自动AR***易受跟踪误差，尤其是关于标记的旋转。这些跟踪误差导致虚拟AR内容相对于物理环境未对准。由于越来越明显的杠杆臂效应(例如，小的跟踪误差与距标记的距离成比例地放大)，虚拟内容对准误差被放大以用于从标记原点以相当远的距离(例如，至少三米)渲染的虚拟内容。本文描述的对准***100不依赖于物理标记的位置和旋转跟踪，因此对准***100不会遭受由标记跟踪误差引起的虚拟内容未对准。
图9例示了根据本公开的一个实施例的飞行器10的前立体图。飞行器10可以是上面参考图7和图8示出和描述的飞行器的实施方式。飞行器10包括推进***12，推进***12可包括例如两个涡扇发动机14。可选地，推进***12可包括比所示更多的发动机14。发动机14由飞行器10的机翼16承载。在其他实施例中，发动机14可由机身18和/或尾翼20承载。尾翼20还可支撑水平稳定器22和垂直稳定器24。飞行器10的机身18限定了内舱。
图10例示了根据本公开的一个实施例的飞行器10(图9中示出)的内舱30的俯视平面图。内舱30位于机身18内。例如，一个或多个机身壁构件62可以限定内舱30。内舱30包括多个区段或区域，包括前部区段33、头等舱区段34、商务舱区段36、前厨房站38、商业区段40(例如，扩展的经济舱或二等舱区段)、标准经济舱或二等舱区段42以及后部区段44，后部区段44可包括多个盥洗室和厨房站。应该理解，内舱30可包括比所示更多或更少的区段和区域。例如，内舱30可以不包括头等舱区段，并且可包括比所示更多或更少的厨房站。每个区段均可以由舱室过渡区域46分开，舱室过渡区域46可包括级别分隔组件。顶置行李架组件可以定位在整个内舱30中。
如图10所示，内舱30包括通向后部区段44的两个通道50和52。可选地，内舱30可具有比所示更少或更多的过道。例如，内舱30可包括延伸穿过内舱30的中心的单个过道，其通向后部区段44。内舱30包括跨越内舱30并且通常横跨过道50和52延伸的座椅54的排53。座位区段的列55、57和59垂直于排53延伸。每个座位区段均可包括一个或多个座椅54。列55、57和59通常与过道50和52平行地延伸。特定区段或区域可包括座位区段的任何数量的列55、57和59。如图10所示，至少一个区域包括座椅区段的三个列55、57和59。但是，每个区域均可包括多于或少于三个列。
可以使用对准***100的一个或多个实施例以及在本文描述的增强现实平台中对准虚拟内容的方法500来建造内舱30。例如，操作者可以在机身10和/或其内舱30的建造期间佩戴AR成像装置104并在机身10内携带对准工具106。图7中所示的物理工作空间702的壁704和顶板706可以是图10中所示的机身壁构件62。
或者，代替飞行器，对准***100的实施例可以与各种其他交通工具(例如，汽车、公共汽车、机车和火车车厢、海上航行器和航天器)、工业设施、房屋等一起使用。
参考图1至图10，本公开的实施例提供虚拟内容对准***和方法，以及***在执行方法期间使用的对准工具。该***和方法的实施例被配置成在增强现实平台中提供虚拟内容与真实世界环境的准确对准。对准***可用于任何尺寸的虚拟内容，而不会影响对准的准确性。例如，该***和方法生成传递函数以将虚拟坐标系与物理环境的物理坐标系校准，因此虚拟对象与物理坐标系原点的尺寸和距离对对准的准确性没有影响。随后可以将传递函数应用于附加虚拟内容，以将虚拟内容与物理环境准确地对准，而无需重新执行对准方法。例如，操作者在生成传递函数之后不需要利用对准工具来收集附加物理参考位置的位置坐标，因为传递函数可用于将同一虚拟坐标系内的任何虚拟内容与物理环境对准。
虽然可以使用诸如顶部、底部、下部、中部、横向、水平、垂直、前部等各种空间和方向术语来描述本公开的实施例，但是应当理解，这些术语仅相对于图中所示的取向使用。这些取向可以反转、旋转或以其他方式改变，使得上部成为下部(反之亦然)，水平变为垂直等。
如本文所使用的，“被配置成”执行任务或操作的结构、限制或元件特别在结构上以对应于任务或操作的方式形成、构造或调整。出于清楚和避免疑问的目的，仅能够被修改以执行所述任务或操作的对象不“被配置成”执行如本文所使用的任务或操作。
当结合附图阅读时，将更好地理解各种实施例。就附图说明各种实施例的功能框的图而言，功能框不一定表示硬件电路之间的划分。因此，例如，一个或多个功能框(例如，处理器、控制器或存储器)可以在单个硬件(例如，通用信号处理器或随机存取存储器、硬盘等)或多个硬件中实现。类似地，任何程序都可以是独立程序，可以作为子程序包含在操作***中，可以是安装的软件包中的功能等。应该理解的是，各种实施例不限于附图中所示的布置和工具。
应该理解的是，以上描述旨在是说明性的而非限制性的。例如，上述实施例(和/或其方面)可以彼此组合使用。另外，在不脱离本公开的范围的情况下，可以进行许多修改以使特定情况或材料适应本公开的各种实施例的教导。虽然本文描述的材料的尺寸和类型旨在限定本公开的各种实施例的参数，但是实施例决不是限制性的并且是示例实施例。在阅读以上描述后，许多其他实施例对于本领域普通技术人员将是显而易见的。因此，本公开的各种实施例的范围应当参考所附权利要求书以及这些权利要求所赋予的等同物的全部范围来确定。在所附权利要求书中，术语“包括(including)”和“其中(in which)”用作相应术语“包括(comprising)”和“其中(wherein)”的普通英语等同物。此外，术语“第一”、“第二”和“第三”等仅用作标记，并不旨在对其对象施加数字要求。此外，所附权利要求书的限制不是以装置加功能格式书写的，并不打算基于美国法典35卷112(f)款来解释，除非并且直到这些权利要求限制明确使用短语“用于…的装置”，然后是功能声明，而无其他结构。
该书面描述使用示例来公开本公开的各种实施例(包括最佳模式)，并且还使本领域的任何普通技术人员能够实践本公开的各种实施例，包括制造和使用任何装置或***以及执行任何包含的方法。本公开的各种实施例的可授予专利范围由权利要求书限定，并且可以包括本领域普通技术人员想到的其他示例。如果示例具有与权利要求的字面语言没有不同的结构元素，或者如果示例包括与权利要求的字面语言无实质差别的等效结构元素，则这些其他示例旨在落入权利要求书的范围内。
此外，本公开包括根据以下条款的实施例：
1、一种***，该***包括：
对准工具，其具有指针和基准标记，所述对准工具被配置成在物理工作空间内由操作者携带；和
增强现实(AR)成像装置，其包括一个或多个传感器和一个或多个处理器，所述一个或多个处理器被配置成使用所述一个或多个传感器跟踪所述物理工作空间中的所述基准标记，并且基于被跟踪的所述基准标记的位置和取向来确定所述指针在所述物理工作空间内的物理参考位置处的位置坐标，所述物理参考位置与虚拟模型内的不同虚拟参考点相关联，
其中，所述一个或多个处理器被进一步配置成生成传递函数以使所述虚拟参考点的位置坐标与相关联的所述物理参考位置的所述位置坐标拟合，并且根据所述传递函数在显示器上显示虚拟内容使得所述虚拟内容与所述物理工作空间在空间上配准。
2、根据条款1所述的***，其中，沿着空间坐标系中的三个相互垂直的轴线定义所述物理参考位置的所述位置坐标。
3、根据条款1所述的***，其中，所述一个或多个处理器被配置成生成空间坐标系，所述空间坐标系基于由所述一个或多个传感器获取的传感器数据来映射所述物理工作空间，在所述空间坐标系内定义所述指针在所述物理参考位置处的所述位置坐标。
4、根据条款1所述的***，其中，所述AR成像装置是光学透视头戴式装置，所述光学透视头戴式装置被配置成由在所述物理工作空间内携带所述对准工具的所述操作者佩戴，所述显示器被集成到所述AR成像装置上并且能让佩戴所述AR成像装置的所述操作者看到。
5、根据条款1所述的***，其中，所述物理工作空间是飞行器的内部空间，并且显示在所述显示器上的所述虚拟内容是所述飞行器的一个或多个部件的虚拟表示。
6、根据条款1所述的***，其中，所述对准工具包括选择按钮和无线通信电路，所述对准工具被配置成响应于所述操作者按下所述选择按钮无线传送数据获取命令信号。
7、根据条款6所述的***，其中，所述AR成像装置的所述一个或多个处理器被配置成响应于接收来自所述对准工具的所述数据获取命令信号来确定所述指针在所述物理参考位置的每一个物理参考位置处的所述位置坐标。
8、根据条款1所述的***，其中，所述物理参考位置包括在所述物理工作空间内彼此间隔开至少两米的至少三个位置。
9、根据条款1所述的***，其中，所述对准工具进一步包括框架和附接至所述框架并从所述框架延伸的手柄，所述手柄被配置成由携带所述对准工具的所述操作者保持，所述框架包括正面和与所述正面相对的背面，所述基准标记被安装在所述框架的第一侧面上，所述对准工具的所述指针设置在所述框架的所述背面后面并远离所述框架延伸至所述指针的位于所述指针的远端处的尖端，所述尖端位于相对于所述基准标记的固定预定位置处，使得所述AR成像装置基于所述基准标记的位置和取向来确定所述尖端在所述物理工作空间内的位置。
10、一种方法，该方法包括：
使用增强现实(AR)成像装置跟踪在物理工作空间内由操作者携带的对准工具上的基准标记；
确定所述对准工具的指针尖端在所述物理工作空间内的多个物理参考位置处的位置坐标，基于由所述AR成像装置跟踪的所述基准标记的位置和取向来确定所述位置坐标，所述物理工作空间内的所述物理参考位置与虚拟模型内的不同虚拟参考点相关联；
生成传递函数以使所述虚拟参考点的位置坐标与相关联的所述物理参考位置的所述位置坐标拟合；以及
根据所述传递函数在显示器上显示虚拟内容，使得所述虚拟内容与所述物理工作空间在空间上配准。
11、根据条款10所述的方法，其中，将所述显示器集成到所述AR成像装置上。
12、根据条款10所述的方法，其中，显示在所述显示器上的所述虚拟内容不同于所述虚拟模型。
13、根据条款10所述的方法，所述方法进一步包括：在跟踪所述对准工具上的所述基准标记之前使用所述AR成像装置映射所述物理工作空间以生成空间坐标系，在所述空间坐标系内定义所述物理参考位置的所述位置坐标。
14、根据条款10所述的方法，其中，各自响应于接收到所述操作者的选择而收集所述指针尖端在所述物理参考位置处的所述位置坐标。
15、根据条款10所述的方法，其中，所述物理参考位置包括所述物理工作空间内的至少三个位置。
16、根据条款10所述的方法，其中，所述AR成像装置是包括一个或多个处理器的光学透视头戴式装置，所述一个或多个处理器确定所述指针尖端在所述多个物理参考位置处的所述位置坐标并且生成所述传递函数。
17、一种用于使用增强现实(AR)成像装置在显示器上将虚拟内容与物理工作空间在空间上配准的对准工具，该对准工具包括：
手柄，其被配置成由操作者保持；
框架，其附接至所述手柄，所述框架具有正面和与所述正面相对的背面，所述框架具有沿着所述正面的基准标记，所述基准标记被配置成由所述AR成像装置识别；和
指针，其设置在所述框架的所述背面后面并远离所述框架延伸至所述指针的位于所述指针的远端处的尖端，所述尖端位于相对于所述基准标记的固定预定位置处，使得所述AR成像装置通过跟踪所述基准标记的位置和取向来确定所述尖端在所述物理工作空间内的位置。
18、根据条款17所述的对准工具，其中，所述指针线性地延伸，并且所述尖端逐渐变细。
19、根据条款17所述的对准工具，所述对准工具进一步包括位于所述手柄上的选择按钮和可操作地连接到所述选择按钮的无线通信电路，所述无线通信电路被配置成响应于激活所述选择按钮而将数据获取命令信号无线传送至所述AR成像装置。
20、根据条款17所述的对准工具，其中，所述手柄是线性的并且大致垂直于所述指针延伸。

Claims (15)

1.一种***（100），该***（100）包括：
对准工具（106），其具有指针（204）和基准标记（112），所述对准工具被配置成在物理工作空间（102）内由操作者携带；和
增强现实成像装置即AR成像装置（104），其包括一个或多个传感器（406）和一个或多个处理器（410），所述一个或多个处理器被配置成使用所述一个或多个传感器跟踪所述物理工作空间中的所述基准标记，并且基于被跟踪的所述基准标记的位置和取向来确定物理坐标系内的所述指针在所述物理工作空间内的多个物理参考位置（714，716，718）的每个物理参考位置处的位置坐标，所述物理参考位置的每个物理参考位置均与虚拟模型（604）内的不同的对应虚拟参考点（618，620，622）相关联，其中，所述虚拟参考点（618，620，622）具有在所述虚拟模型（604）的虚拟坐标系内的不同的相应位置坐标，
其中，所述一个或多个处理器被配置成生成传递函数以通过减少所述虚拟参考点的位置坐标与相关联的所述物理参考位置的所述位置坐标之间的偏差来将所述虚拟坐标系与所述物理坐标系配准，并且所述一个或多个处理器被进一步配置成根据所述传递函数在显示器（606）上显示虚拟内容，使得所述虚拟内容与所述物理工作空间在空间上配准。
2.根据权利要求1所述的***（100），其中，沿着所述物理坐标系中的三个相互垂直的轴线定义所述物理参考位置（714，716，718）的所述位置坐标。
3.根据权利要求1所述的***（100），其中，所述一个或多个处理器（410）被配置成基于由所述一个或多个传感器（406）获取的传感器数据来映射所述物理坐标系内的所述物理工作空间（102）。
4.根据权利要求1所述的***（100），其中，所述AR成像装置（104）是光学透视头戴式装置，所述光学透视头戴式装置被配置成由在所述物理工作空间（102）内携带所述对准工具（106）的所述操作者佩戴，所述显示器（606）被集成到所述AR成像装置上并且能让佩戴所述AR成像装置的所述操作者看到。
5.根据权利要求1所述的***（100），其中，所述物理工作空间（102）是飞行器（10）的内部空间，并且显示在所述显示器（606）上的所述虚拟内容是所述飞行器的一个或多个部件的虚拟表示。
6.根据权利要求1所述的***（100），其中，所述对准工具（106）包括选择按钮（220）和无线通信电路（404），所述对准工具被配置成响应于所述操作者按下所述选择按钮无线传送数据获取命令信号。
7.根据权利要求6所述的***（100），其中，所述AR成像装置（104）的所述一个或多个处理器（410）被配置成响应于接收来自所述对准工具（106）的所述数据获取命令信号来确定所述指针（204）在所述物理参考位置（714，716，718）中的每一个物理参考位置处的所述位置坐标。
8.根据权利要求1所述的***（100），其中，所述物理参考位置（714，716，718）包括在所述物理工作空间（102）内彼此间隔开至少两米的至少三个位置。
9.根据权利要求1所述的***（100），其中，所述对准工具（106）进一步包括框架（202）和附接至所述框架并从所述框架延伸的手柄（132），所述手柄被配置成由携带所述对准工具的所述操作者保持，所述框架包括正面（206）和与所述正面相对的背面（208），所述基准标记（112）被安装在所述框架的所述正面上，所述对准工具的所述指针（204）设置在所述框架的所述背面后面并远离所述框架延伸至所述指针的位于所述指针的远端（216）处的尖端（218），所述尖端位于相对于所述基准标记的固定预定位置处，使得所述AR成像装置（104）基于所述基准标记的位置和取向来确定所述尖端在所述物理工作空间（102）内的位置。
10.一种方法（500），该方法包括：
使用增强现实成像装置即AR成像装置（104）跟踪（506）在物理工作空间（102）内由操作者携带的对准工具（106）上的基准标记（112）；
确定（510）物理坐标系内的所述对准工具的指针（204）在所述物理工作空间内的多个物理参考位置（714，716，718）的每个物理参考位置处的位置坐标，基于由所述AR成像装置跟踪的所述基准标记的位置和取向来确定所述位置坐标，所述物理工作空间内的所述物理参考位置中的每个物理参考位置均与虚拟模型（604）内的不同的对应虚拟参考点（618，620，622）相关联，其中，所述虚拟参考点（618，620，622）具有在所述虚拟模型（604）的虚拟坐标系内的不同的相应位置坐标；
生成（516）传递函数以通过减少所述虚拟参考点的所述位置坐标与相关联的所述物理参考位置的所述位置坐标之间的偏差来将所述虚拟坐标系与所述物理坐标系配准；以及
根据所述传递函数在显示器（606）上显示（518）虚拟内容，使得所述虚拟内容与所述物理工作空间在空间上配准。
11.根据权利要求10所述的方法，其中，将所述显示器集成到所述AR成像装置（104）上。
12.根据权利要求10所述的方法，其中，显示在所述显示器上的所述虚拟内容不同于所述虚拟模型。
13.根据权利要求10所述的方法，所述方法进一步包括：在跟踪所述对准工具上的所述基准标记之前使用所述AR成像装置映射所述物理坐标系内的所述物理工作空间。
14.根据权利要求10所述的方法，其中，各自响应于接收到所述操作者的选择而收集所述指针的尖端在所述物理参考位置处的所述位置坐标。
15.根据权利要求10所述的方法，其中，所述物理参考位置包括所述物理工作空间内的至少三个位置。
CN201811324674.1A 2017-11-09 2018-11-08 将虚拟内容与物理环境空间配准的***、方法和工具 Active CN109765992B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/808,074 2017-11-09
US15/808,074 US10573089B2 (en) 2017-11-09 2017-11-09 Systems, methods, and tools for spatially-registering virtual content with physical environment in augmented reality platforms

Publications (2)

Publication Number Publication Date
CN109765992A CN109765992A (zh) 2019-05-17
CN109765992B true CN109765992B (zh) 2024-02-23

Family

ID=64316278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811324674.1A Active CN109765992B (zh) 2017-11-09 2018-11-08 将虚拟内容与物理环境空间配准的***、方法和工具

Country Status (7)

Country Link
US (1) US10573089B2 (zh)
EP (1) EP3483703A1 (zh)
JP (1) JP7336184B2 (zh)
KR (1) KR102521978B1 (zh)
CN (1) CN109765992B (zh)
BR (1) BR102018072910A2 (zh)
CA (1) CA3023417C (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL245339A (en) * 2016-04-21 2017-10-31 Rani Ben Yishai Method and system for verification of registration
US11029671B1 (en) * 2018-08-22 2021-06-08 Automated Wiring Systems, LLC Integrated wire harness batch production using augmented reality
US11348316B2 (en) * 2018-09-11 2022-05-31 Apple Inc. Location-based virtual element modality in three-dimensional content
US11562598B2 (en) * 2019-03-25 2023-01-24 Microsoft Technology Licensing, Llc Spatially consistent representation of hand motion
US10699087B1 (en) * 2019-07-10 2020-06-30 Zebra Technologies Corporation Alternative method to interact with a user interface using standard barcode scanners paired up with an augmented reality heads up display
KR102208708B1 (ko) 2019-08-14 2021-01-28 한국과학기술연구원 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치
CN110708530A (zh) * 2019-09-11 2020-01-17 青岛小鸟看看科技有限公司 一种使用增强现实设备透视封闭空间的方法和***
WO2021058467A1 (de) * 2019-09-23 2021-04-01 Siemens Aktiengesellschaft Applikation zur ar-unterstützten, geführten befundung eines prüfobjekts mit entsprechender visualisierung in einem cad-system
CN110750190B (zh) * 2019-10-17 2024-01-23 辽宁中航信诺科技有限公司 基于ar设备的人工智能物体注册识别后虚拟提示信息的叠加方法
CN110667880B (zh) * 2019-10-17 2023-02-03 辽宁中航信诺科技有限公司 智能化飞机保障维修***
JP2023501952A (ja) * 2019-10-31 2023-01-20 マジック リープ， インコーポレイテッド 持続座標フレームについての品質情報を伴うクロスリアリティシステム
CN111338474B (zh) * 2020-02-19 2022-11-08 Oppo广东移动通信有限公司 虚拟对象位姿校准方法及装置、存储介质和电子设备
US11308700B2 (en) * 2020-04-06 2022-04-19 Saudi Arabian Oil Company Augmented reality visualization of underground pipelines using geospatial databases and KM markers
KR102209025B1 (ko) * 2020-04-07 2021-01-28 한밭대학교 산학협력단 스마트 팩토리 구축을 위한 마커리스 기반의 ar 구현 방법 및 시스템
US11043039B1 (en) * 2020-04-22 2021-06-22 The Boeing Company 3D point cluster correlation for content alignment on augmented reality platforms
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
US11925863B2 (en) 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
CN112318653B (zh) * 2020-09-28 2021-12-21 同济大学 一种无模具曲木构件加工***及加工方法
US20220245898A1 (en) * 2021-02-02 2022-08-04 Unisys Corporation Augmented reality based on diagrams and videos
US11776420B2 (en) * 2021-02-12 2023-10-03 B/E Aerospace, Inc. Augmented reality in wire harness installation
US12013985B1 (en) 2021-02-25 2024-06-18 Snap Inc. Single-handed gestures for reviewing virtual content
CN113138666B (zh) * 2021-04-15 2023-04-25 潍坊歌尔电子有限公司 手柄校准方法、手柄、头戴式显示器及存储介质
FR3124007A1 (fr) * 2021-06-14 2022-12-16 Airbus Operations (S.A.S.) Procédé de visualisation d’au moins un critère d’acceptation en fonction d’un point d’une pièce ciblé
FR3123984A1 (fr) * 2021-06-14 2022-12-16 Airbus Operations (S.A.S.) Procédé de localisation d’au moins un point d’une pièce réelle sur une maquette numérique
CN113934294A (zh) * 2021-09-16 2022-01-14 珠海虎江科技有限公司 虚拟现实显示设备及其对话窗口显示方法、计算机可读存储介质
CN115496798B (zh) * 2022-11-08 2023-03-24 中国电子科技集团公司第三十八研究所 用于系留气球装备模拟训练的协同定位方法和***
DE102022133569B4 (de) 2022-12-16 2024-05-29 Audi Aktiengesellschaft Verfahren zum Erzeugen von Datengruppen zur Nutzung in einem Training mit Augmented Reality oder mit Mixed Reality

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006012042A (ja) * 2004-06-29 2006-01-12 Canon Inc 画像生成方法及び装置
CN102542398A (zh) * 2010-09-17 2012-07-04 波音公司 点云生成***
CN103793936A (zh) * 2012-10-31 2014-05-14 波音公司 用于增强现实的自动化参考框架校准
CN104937616A (zh) * 2013-01-22 2015-09-23 通用电气公司 利用位置信息在非破坏性测试***中协作的***和方法
CN106169097A (zh) * 2015-05-21 2016-11-30 波音公司 远程先进的修复指导

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6675040B1 (en) * 1991-01-28 2004-01-06 Sherwood Services Ag Optical object tracking system
US6625299B1 (en) 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology
JP4847195B2 (ja) 2006-04-21 2011-12-28 キヤノン株式会社 画像からの色情報の取得方法
US20080123910A1 (en) 2006-09-19 2008-05-29 Bracco Imaging Spa Method and system for providing accuracy evaluation of image guided surgery
US9432636B2 (en) * 2013-11-26 2016-08-30 Microsoft Technology Licensing, Llc Large-scale surface reconstruction that is robust against tracking and mapping errors
US10043319B2 (en) * 2014-11-16 2018-08-07 Eonite Perception Inc. Optimizing head mounted displays for augmented reality
CA2976516C (en) 2015-07-27 2022-11-22 Synaptive Medical (Barbados) Inc. Navigational feedback for intraoperative waypoint

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006012042A (ja) * 2004-06-29 2006-01-12 Canon Inc 画像生成方法及び装置
CN102542398A (zh) * 2010-09-17 2012-07-04 波音公司 点云生成***
CN103793936A (zh) * 2012-10-31 2014-05-14 波音公司 用于增强现实的自动化参考框架校准
CN104937616A (zh) * 2013-01-22 2015-09-23 通用电气公司 利用位置信息在非破坏性测试***中协作的***和方法
CN106169097A (zh) * 2015-05-21 2016-11-30 波音公司 远程先进的修复指导

Also Published As

Publication number Publication date
EP3483703A1 (en) 2019-05-15
CA3023417A1 (en) 2019-05-09
KR102521978B1 (ko) 2023-04-13
BR102018072910A2 (pt) 2019-06-18
CN109765992A (zh) 2019-05-17
KR20190053119A (ko) 2019-05-17
JP2019087241A (ja) 2019-06-06
CA3023417C (en) 2023-02-14
JP7336184B2 (ja) 2023-08-31
US10573089B2 (en) 2020-02-25
US20190139320A1 (en) 2019-05-09

Similar Documents

Publication Publication Date Title
CN109765992B (zh) 将虚拟内容与物理环境空间配准的***、方法和工具
CN110977931B (zh) 使用了增强现实和混合现实的机器人控制装置及显示装置
EP2876624B1 (en) Maintenance assistant system
CN105000170B (zh) 触摸屏控制器及行驶装置的控制方法
CN100363880C (zh) 操作输入装置及操作输入方法
CN104897091A (zh) 关节臂坐标测量机
CN107608507B (zh) 弱光条件下机车部件的选定方法及机车辅助维修***
CN105022398B (zh) 触摸屏控制器及行驶装置的控制方法
CA2928174C (en) Systems and methods for automated device pairing
US20120303336A1 (en) Assembly and method for verifying a real model using a virtual model and use in aircraft construction
KR102051309B1 (ko) 지능형 인지기술기반 증강현실시스템
CN103793936A (zh) 用于增强现实的自动化参考框架校准
CN102955568A (zh) 输入装置
CN108177144B (zh) 机器人***
WO2017021902A1 (en) System and method for gesture based measurement of virtual reality space
CN109213363B (zh) 预测指示器触摸位置或确定3d空间中指向的***和方法
EP2741171A1 (en) Method, human-machine interface and vehicle
US20190242692A1 (en) Augmented reality-based system with perimeter definition functionality
US6149435A (en) Simulation method of a radio-controlled model airplane and its system
CN109710077B (zh) 基于vr的虚拟物体碰撞判断方法、装置及机车实训***
ITTO20090058A1 (it) Visualizzazione di uno spazio virtuale tridimensionale generato da un sistema elettronico di simulazione
US20140292642A1 (en) Method and device for determining and reproducing virtual, location-based information for a region of space
CN105278538B (zh) 一种带机头方向指示的无人机遥控装置及方法
WO2017007492A1 (en) Machine display and machine control systems
CN113384347B (zh) 一种机器人标定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant