CN103886124A - 虚拟对象的方位校正 - Google Patents

虚拟对象的方位校正 Download PDF

Info

Publication number
CN103886124A
CN103886124A CN201310757161.0A CN201310757161A CN103886124A CN 103886124 A CN103886124 A CN 103886124A CN 201310757161 A CN201310757161 A CN 201310757161A CN 103886124 A CN103886124 A CN 103886124A
Authority
CN
China
Prior art keywords
virtual objects
real
world
point
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310757161.0A
Other languages
English (en)
Inventor
U·帕思里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dassault Systemes Delmia Corp
Original Assignee
Dassault Systemes Delmia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dassault Systemes Delmia Corp filed Critical Dassault Systemes Delmia Corp
Publication of CN103886124A publication Critical patent/CN103886124A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供一种用于在真实世界场景的虚拟模型中的虚拟对象的方位校正中使用的计算机实现的方法。对象的方位由所述虚拟对象的位置和取向二者构成。所述方法包括：生成包括虚拟对象的所述虚拟模型，并且获取所述真实世界场景内的真实世界对象的至少一个数字图像，其中，所述真实世界对象和所述虚拟对象相对应。所述方法还包括：计算所述虚拟对象上的至少一个预定义的点和所述真实世界对象上的至少一个相对应的点之间的基于图像的位置差异，以所述图像位置差异为基础来调整所述虚拟对象的位置和/或取向，并且关于所述虚拟对象的校正方位来调整所述虚拟模型。

Description

虚拟对象的方位校正
背景技术
本文描述的实施例通常涉及真实世界对象和/或场景的图形表示，并且更具体地，涉及三维(3D)计算机图形建模和仿真，以及表示真实世界对象的虚拟对象的布局和方位校准。对象的方位由对象的位置和取向二者构成。
制造工作单元的三维计算机图形仿真目前用于仿真制造处理。该程序或仿真模型然后被下载到工厂车间上的计算机以便驱动诸如工业机器人的资源。作为这一处理的一部分，制造工作单元(包括机器、器具以及在制造处理中使用的工件)的虚拟3D模型需要对于仿真工作单元中的布局进行调整，以便匹配工厂车间上真实工作单元的实际位置和取向。这使仿真制造程序能够验证用于诸如可达性和碰撞的问题的处理。这也使能将要被下载到诸如工厂中的工业机器人的制造资源的脱机程序的正确操作。
仿真模型中3D方位校正的已知方法使用昂贵且复杂的测量设备，例如，坐标测量机、经纬仪和/或激光测距仪。然而，这样的设备需要在工厂中安装。从工厂获得的测量数据然后被导入到3D仿真中并且用于调整模型。因此，这样的已知方法要求购买单独的设备并且要求培训用户以便使用它们。而且，这样的已知方法要求不同方位处的多个步骤。
发明内容
在一个方面，提供一种用于在真实世界场景的虚拟模型的方位校正中使用的计算机实现的方法。所述方法包括：生成包括虚拟对象的所述虚拟模型，并且获取所述真实世界场景内的真实世界对象的至少一个数字图像，其中，所述真实世界对象和所述虚拟对象相对应。所述方法还包括：计算所述虚拟对象上的至少一个预定义的点和所述真实世界对象上的至少一个相对应的点之间的基于图像的位置差异，以所述图像位置差异为基础来调整所述虚拟对象的位置和/或取向，并且关于所述虚拟对象的校正方位来调整所述虚拟模型。
在另一方面，提供一种用于在真实世界场景的虚拟模型的方位校正中使用的计算机。所述计算机包括配置为存储所述虚拟模型以及所述虚拟模型内的虚拟对象的存储区。所述计算机还包括耦接到所述存储区的处理器。所述处理器配置为：生成包括所述虚拟对象的所述虚拟模型，并且获取所述真实世界场景内的真实世界对象的至少一个数字图像，其中，所述真实世界对象和所述虚拟对象相对应。所述处理器还配置为：计算所述虚拟对象上的至少一个预定义的点和所述真实世界对象上的至少一个相对应的点之间的基于图像的位置差异，以所述图像位置差异为基础来调整所述虚拟对象的位置和/或取向，并且关于所述虚拟对象的校正方位来调整所述虚拟模型。
在另一方面，一种计算机程序产品包括具有用于在真实世界场景的虚拟模型的方位校正中使用的计算机可执行组件的一个或多个非暂态计算机可读存储介质。所述组件包括：使处理器生成包括虚拟对象的所述虚拟模型的生成组件，以及使所述处理器获取所述真实世界场景内的真实世界对象的至少一个数字图像的获取组件，其中，所述真实世界对象和所述虚拟对象相对应。所述组件还包括校正组件，所述校正组件使所述处理器：计算所述虚拟对象上的至少一个预定义的点和所述真实世界对象上的至少一个相对应的点之间的基于图像的位置差异，以所述图像位置差异为基础来调整所述虚拟对象的位置和/或取向，并且关于所述虚拟对象的校正方位来调整所述虚拟模型。
附图说明
图1是用于在真实世界场景的虚拟模型的方位校正中使用的示例性计算机***的示意性方框图；
图2是说明图1中示出的计算机***的操作的流程图；
图3是进一步说明图1中示出的计算机***的操作的流程图；
图4A-4G是在图1中示出的计算机***中使用的客户端设备的示例性显示的说明；
图5是用于与在图1中示出的服务器***和/或客户端设备使用的示例性计算机架构的示意性方框图。
具体实施方式
下面描述本发明的示例实施例。
本文引用的所有专利、公开的申请和参考文献的教导通过引用的方式以其整体结合进来。
本文描述了用于在真实世界场景的虚拟模型的方位校正中使用的计算机实现的方法、计算机设备和***以及计算机程序产品的示例性实施例。使用例如具有内置数字照相机、3D图形仿真或虚拟现实软件的手持平板电脑以及实现期望的空间校准的方法，本文描述的实施例有利于对于计算机图形模型中的虚拟对象的3D方位校正。本文描述的实施例利用内置在这样的手持平板电脑中的高分辨率图像和计算能力的组合，连同来自软件的3D模型图像的数学上严格的呈现。所述方案涉及“中间现实”的类型，用户捕捉工作单元的数字照相机静态图像的小的集合，所述工作单元叠加在平板电脑的工作单元模型的3D虚拟图像的顶部上。然而，应该理解，本文描述的实施例不要求在虚拟图像上叠加图像。例如，本文描述的实施例也使计算机设备能够按照并排的方式显示图像和虚拟模型，例如，以使得在每一个应用中单独地跟踪位置计算和移动。下文详细描述的计算方案然后调整虚拟模型中的虚拟对象的3D方位以便解决校准问题。
而且，本文描述的实施例有利于易用性、进程的加速以及测量和仪器的成本和安装时间的显著减少。此外，本文描述的实施例包含在3D方位调整期间不需要内置到平板电脑中的数字照相机的硬件特定定制或长度标准类型校准的方案。而且，如下文详细解释的，本文描述的实施例从对象的小尺寸到大尺寸以及从调整的细精确度到粗精确度是可调节的。
应当理解，尽管关于工业和/或制造资源解释了本文描述的实施例，但是这些实施例并不局限于这样的用途。例如，所述实施例也可以在用于重新建模房间内部的内部设计期间使用，其中诸如家具的现有对象的布局的3D图形模型可以被调整，以便在开始重新设计之前正确地匹配建筑物房间内的实际布局。另一示例是建筑，其中大致位于虚拟模型中的一组建筑物的3D模型可以通过将平板电脑带到户外并且在地面周围行走的同时拍摄建筑物的数字图像来对于实际位置进行调整。
图1是用于在真实世界场景的虚拟模型的方位校正中使用和/或用于在执行下述处理和/或可以与下文描述的那些处理相关的其它处理时使用的示例性计算机***100的示意性方框图。在示例性实施例中，存储区102包括用于在存储数据时使用的一个或多个存储设备104，所述数据例如是与真实世界场景的仿真相关的数据。存储设备104可以被体现为一个或多个数据库和/或可以位于单个或多个地理场所处。在一些实施例中，存储区102耦接到服务器***106。在可选实施例中，存储区102与服务器***106集成。在示例性实施例中，服务器***106经由网络110耦接到一个或多个客户端设备108。客户端设备108可以包括移动客户端设备，包括但不局限于仅包括：笔记本电脑、平板电脑和/或智能手机。而且，客户端设备108可以包括通常不移动的静止的客户端设备，例如台式计算机等等。
可以理解，网络110可以是诸如因特网的公共网络，或者诸如LAN或WAN网络的私人网络，或者其任意组合，并且也可以包括PSTN或ISDN子网络。网络110也可以是诸如以太网网络的有线网络，或者可以是诸如蜂窝网络的无线网络，包括EDGE、3G和4G或LTE无线蜂窝***。无线网络也可以是WiFi、蓝牙或已知的通信的任何其它无线形式。因而，网络110仅是示例性的，并且决不限制本改进的范围。
服务器***106和/或客户端设备108可以是任何合适的计算机架构，例如下面参照图5描述的一个计算机架构，或者是已知的任何其它计算架构。而且，应当理解，服务器***106配置为执行上面描述的处理和/或可以与上面描述的那些处理相关的任何附加的处理。
在一些实施例中，服务器***106也可以根据需要从存储区108向客户端设备108提供数据，以使得客户端设备108执行上面描述的处理。这样，图1包括经由云计算、分布式计算等等的计算机***100的实现。而且，在一些实施例中，服务器***106存储计算机可读指令以便执行下面瞄述的处理，并且经由网络110向客户端设备108提供这些指令。这样的计算机可读指令可以被体现为计算机程序产品，该计算机程序产品具有一个或多个非暂态计算机可读存储介质，该非暂态计算机可读存储介质具有用于在真实世界场景的虚拟模型的方位校正中使用的计算机可执行组件。如下文附加详细描述的，所述组件包括生成组件，该生成组件使处理器生成包括虚拟对象的所述虚拟模型，以及获取组件，所述获取组件使所述处理器获取所述真实世界场景内的真实世界对象的至少一个数字图像，其中，所述真实世界对象与所述虚拟对象相对应。所述组件还包括校正组件，所述校正组件使所述处理器计算所述虚拟对象上的至少一个预定义的点和所述真实世界对象上的至少一个相对应的点之间的图像位置差异，以所述图像位置差异为基础来调整所述虚拟对象的位置和/或取向，并且关于所述虚拟对象的校正方位来调整所述虚拟模型。
图2是说明图1中示出的计算机***100的操作的流程图200。在示例性实施例中，并且参照图1和图2二者，服务器***106经由网络110向客户端设备108发送202真实世界场景或工作单元的虚拟模型，例如用于在真实世界场景的仿真或虚拟显示中使用的3D模型。客户端设备108将该虚拟模型装载204到仿真或虚拟现实软件模块，并且从用户接收206用户希望调整其空间方位的一个或多个虚拟对象的用户选择。客户端设备108还从用户接收208所述虚拟模型内的参考对象或参考点的选择。客户端设备108然后显示210重叠在虚拟3D视图上的数字照相机图像或按照与虚拟3D视图并排的方式显示数字照相机图像。然后以附加的用户输入为基础，通过虚拟旋转和平移，虚拟模型在缩放和取向方面到期望的视点的显示来调整212客户端设备108中的3D视图，以便大致地将3D视图匹配到叠加的照相机图像。数字图像连同相对应的3D虚拟视图然后由客户端设备108获取214，并且被保存到客户端设备108和/或服务器106。
在示例性实施例中，用户然后在诸如房间布局、工厂车间或建筑物地面的真实世界场景中持有客户端设备108，并且携带客户端设备108四处移动216，以便在数字照相机图像连同虚拟模型的显示210中得到不同的视图。在示例性实施例中，用户重复地调整212虚拟3D视图的显示，并且每次捕获214新的数字图像连同其3D视图。客户端设备108和/或服务器***106然后调用218方位校正功能，该方位校正功能使用捕获的数字图像以便识别与其相对应的真实世界对象相比较的虚拟对象的位置和取向，如下文在流程图300中详述的。客户端设备108和/或服务器***106完成方位校正功能，这产生虚拟模型中的虚拟对象的位置和取向关于真实世界场景中的真实世界对象的改善的精确度。产生的制造仿真或虚拟显示将得到增强，以使得空间和/或时间误差将减少。在一些实施例中，客户端设备108向服务器***106发送虚拟对象和/或虚拟模型的属性，例如虚拟对象的新的位置和/或取向，用于存储在存储区102中。在这样的实施例中，能够随后访问存储的数据，用于随后的仿真。
图3是进一步说明图1中示出的计算机***100的操作的流程图300。在示例性实施例中，并且参照图1和图3二者，服务器***106生成302表示真实世界场景的虚拟模型。服务器***106经由网络110向客户端设备108发送304虚拟模型。客户端设备108将虚拟模型装载306到仿真或虚拟现实软件模块。在示例性实施例中，客户端设备108接收308用户输入以便识别虚拟模型中的虚拟对象和参考对象。虚拟对象是用户希望在其上执行本文中描述的方位校正步骤的对象。参考对象是关于完成方位校正的对象。例如，图4A是客户端设备108的示例性显示400的说明。客户端设备108显示虚拟对象402和参考对象404。
在一些实施例中，客户端设备108还接收310用户输入以便识别虚拟对象402上的一个或多个预定义的比较特征以及参考对象404上的一个或多个相对应的比较特征。在替代实施例中，视觉处理和/或模式识别算法可以用于识别虚拟对象402和参考对象404上的预定义的功能。如图4A所示，虚拟对象402的3D视图具有顶点406形式的三个预定义的特征，并且参考对象404具有顶点408形式的三个相对应的预定义的特征。图4B是表示来自内置到客户端设备的照相机的数字图像的客户端设备108的显示400的另一说明。如图4B所示，真实世界对象410具有与虚拟对象402上的用户选择的点406相对应的三个点412。真实世界参考对象414具有与虚拟参考对象404上的用户选择的点408相对应的三个点416。尽管图4A和图4B将虚拟对象402、虚拟参考对象404、真实世界对象410和真实世界参照对象414表示为立方体对象，但是将理解的是，本文描述的实施例并不局限于使用立方体对象。相反，本文描述的实施例可以与考虑到某些可识别的点的集合的选择的具有任何形状的对象一起使用。而且，预定义的比较特征406、408、412和/或416可以是顶点，如图4A和4B所示，或者可以是直线、平面或表面。在一些实施例中，客户端设备108将与被识别的点406、408、412和/或416相关的数据，例如被识别的点的坐标，发送到服务器***106。
在识别了预定义的点406和/或408之后，客户端设备108以识别的点406和/或408为基础来计算312方位变换。在该虚拟模型中，每一个虚拟对象的位置和取向由六个参数(X，Y，Z，W，P和R)定义。前三个参数(X，Y，Z)是在x方向，y方向和z方向上固定虚拟对象的位置的距离。后三个参数(W，P，R)是固定虚拟对象的取向的角度，其中，W表示偏航，P表示间距，R表示翻转。这六个参数可以一起被称为虚拟对象的方位变换。而且，计算虚拟对象402关于诸如由虚拟参考对象404暗示的参考坐标系的方位变换。具体地说，以虚拟对象402上识别的点406和参考对象404上识别的点408的位置(X，Y，Z)为基础来计算虚拟对象402的方位变换。如图4A所示，虚拟对象402上的点406是用于计算方位变换312的那些点。在示例性实施例中，参考对象404对于将被完成的方位校正提供参考坐标系和维度长度标准。因而，参考对象404的3D模型在其识别的点408的方位方面大致地匹配真实世界参考对象(未示出)。换句话说，虚拟参考对象404的识别的点408和真实世界参考对象的相对应的点之间的各自距离在依赖于应用的预定义的公差内应该相同。
在计算方位变换之后，客户端设备108中的照相机设备获取314真实世界场景的数字图像连同它们的3D虚拟视图，如在图2中的210-214解释的。而且，并且再次参照图2，客户端设备108以虚拟参考对象404的操控形式接收212用户输入。例如，用户可以使用触摸屏来进行重新定位，例如使用旋转、平移和/或缩放操作，以使得虚拟对象402和参考对象404与真实世界对象410和参考对象414大致对齐。图4C和4D是客户端设备108的显示400的附加说明。具体地说，图4C说明了显示叠加在真实世界场景上的虚拟模型或与该真实世界场景同时显示该虚拟模型的客户端设备108，包括虚拟对象402及其相对应的真实世界对象410，以及参考对象404及其相对应的真实世界参考对象414。在用户调整2123D虚拟视图以便大致地对准真实世界图像之后，产生图4C中描绘的情况。客户端设备108和/或服务器106然后利用视图旋转、平移和/或缩放的精细修改来启动3D虚拟视图的编程调整316，以便使参考对象404上的预定义的点408与真实世界参考对象414上的点416大致匹配。对于从真实世界场景的不同视角获取314的每一个图像，进行这一编程视图调整。图4D示出了在步骤316之后产生的情况，以使得所述虚拟参考对象404匹配真实世界参照对象414。具体地说，参考对象404的点408实质上与真实世界参考对象414的相对应的点416大致对齐。而且，正是这一编程调整316不需要任何特定硬件的照相机校准，并且确保了在下面的方位校正中自动地考虑由参考对象404的尺寸隐含的长度标准。
当参考对象404通过编程调整316与真实世界参照对象414实质上对准时，客户端设备108和/或服务器***106现在确定虚拟对象点406和真实世界对象410上的相对应的点412之间的不匹配。具体地说，客户端设备108和/或服务器***106计算318虚拟对象402上的点406和真实世界对象410上的相对应的点412之间的基于图像的位置差异。在示例性实施例中，在X和Y方向中的每一个上在像素中计算该差异。图4E是客户端设备108的显示400的另一说明。具体地说，图4E示出了对于虚拟对象402的点406中的一个与真实世界对象410的相对应的点412在X方向(德尔塔X)和Y方向(德尔塔Y)中的每一个上的距离。然而，在示例性实施例中，客户端设备108和/或服务器***106对于所有成对的标识的点406和412计算318所述差异。在示例性实施例中，将所述差异存储在存储区102中。客户端设备108和/或服务器***106对于从真实世界场景的不同视角获取314的图像中的每一个计算这一图像位置差异。图4F是客户端设备108的显示的另一说明。具体地说，图4F示出了在参考对象404已经与真实世界参考对象414实质上重新对齐之后，从真实世界场景的替代角度的另一获取的图像位置差异计算。
客户端设备108和/或服务器***106然后迭代320虚拟对象402的方位变换，以便最小化虚拟对象402与真实世界对象410之间的所有图像位置差异的组合。在一个实施例中，客户端设备108和/或服务器***106使用通过调整可变参数的集合来最小化成本函数的标准非线性回归。在示例性实施例中，所述成本函数是对于所有计算的德尔塔X和德尔塔Y差异的均方根(RMS)误差的总和。可变参数将是虚拟对象402的(X，Y，Z，W，P和R)值，即，虚拟对象402的计算的方位变换。以这一最小化步骤320的结果为基础，客户端设备108和/或服务器***106调整322虚拟对象402的位置和/或取向，并且关于该虚拟对象402的校正方位来调整324该虚拟模型。图4G是客户端设备108的显示的另一说明。具体地说，图4G示出了关于虚拟对象402和虚拟模型作为整体的重新取向和/或重新定位的最终结果。
应当理解的是，尽管上面的步骤描述了仅以调整单个虚拟对象的位置为基础来调整虚拟模型，但是本文描述的实施例考虑一次一个或多个地调整多个虚拟对象的位置。在示例性实施例中，每一个虚拟模型调整使用相同的参考对象。然而，在一些实施例中，参考对象对于不同的虚拟对象可以不同和/或可以简单地是空间中的参考点，而不是对象。
图5是用于与服务器***106和/或客户端设备108(分别在图1中示出)一起使用的示例性计算机架构500的示意性方框图。
在示例性实施例中，计算机架构500包括一个或多个处理器502(CPU)，该处理器执行上面描述的处理和/或可以与上面描述的处理相关的任何其它处理。应当理解的是，术语“处理器”一般指代任何可编程***，包括***和微控制器、精简指令集电路(RISC)、专用集成电路(ASIC)、可编程逻辑电路和/或能够执行本文描述的功能的任何其它电路或处理器。上述示例只是示例性的，并且因而，并非意在以任何方式限制术语“处理器”的定义和/或含义。
可以将上面描述的处理和/或可以与上面描述的处理相关的任何附加的处理的步骤存储为例如位于存储器504中的计算机可执行指令，存储区504通过***总线506可操作地和/或通信地耦接到处理器502。如本文使用的，“存储区”一般指代存储由一个或多个处理器可执行的非暂态程序代码和指令的任何手段，用于辅助真实世界场景的虚拟模型的方位校正，和/或用于在执行上面描述的处理和/或可以与上面描述的处理相关的附加的处理中使用。存储区504可以包括一种或一种以上的存储器形式。例如，存储区504可以包括随机存取存储器(RAM)508，其可以包括非易失性RAM、磁RAM、铁电RAM和/或其它形式的RAM。存储区504还可以包括只读存储器(ROM)510和/或闪存和/或电可编程只读存储器(EEPROM)。任何其它合适的磁、光和/或半导体存储器，诸如硬盘驱动(HDD)512，其本身或与其它形式的存储器组合，可以包括在存储区504中。HDD512也可以耦接到磁盘控制器514，用于在向处理器502发送消息和从处理器502接收消息时使用。而且，存储区504还可以是，或者可以包括，可拆卸或可移动存储器516，例如合适的盒式盘、CD-ROM、DVD或USB存储器。上述示例只是示例性的，并且因此，并不意在以任何方式限制术语“存储区”的定义和/或含义。
计算机架构500还包括耦接(诸如可操作地耦接)到显示控制器520的显示设备518。显示控制器520经由***总线506接收数据，用于由显示设备518显示。显示设备518可以是但不局限于监视器、电视显示器、等离子体显示器、液晶显示器(LCD)、基于发光二极管(LED)的显示器、基于有机LED(OLED)的显示器、基于聚合物LED的显示器、基于表面传导电子发射器的显示器、包括投射和/或反射的图像的显示器、或者任何其它适合的电子设备或显示机制。而且，显示设备518可以包括具有相关联的触摸屏控制器524的触摸屏522。上面的示例只是示例性的，并且因而，并不意在以任何方式限制术语“显示设备”的定义和/或含义。
此外，计算机架构500包括网络接口526，用于在与网络(图5中未示出)进行通信时使用。而且，计算机架构500包括一个或多个输入设备，诸如键盘528和/或指向设备530，例如滚动球、鼠标、触摸板等等。触摸屏522及其控制器524也可以被认为是集成的键盘528和/或指向设备530。输入设备被耦接到输入/输出(I/O)接口532并且由该输入/输出(I/O)接口532控制，该输入/输出接口532被进一步耦接到***总线506。计算机架构500还包括至少一个数字照相机534以及与其相关联的数字照相机控制器536。
这里出于简洁目的，省去了对于显示设备518、键盘528、指向设备530以及显示控制器520、磁盘控制器514、网络接口526和I/O接口532的一般特征和功能的描述，因为这些特征是已知的。
在操作期间，并且参照图2-5，处理器502生成表示真实世界场景的虚拟模型，并且将该虚拟模型加载到仿真或虚拟现实软件模块中。在示例性实施例中，处理器502经由触摸屏522接收用户输入，例如，以便识别虚拟模型中的虚拟对象和参考对象。虚拟对象是用户希望在其上执行本文描述的方位校正步骤的对象。参考对象是相对其完成方位校正的对象。
在一些实施例中，处理器502还接收用户输入，以便识别虚拟对象上的一个或多个预定义的点和参考对象上的一个或多个相对应的点。在识别了预定义的点之后，处理器502以识别的点为基础来计算方位变换。而且，关于诸如参考对象的参考点来计算虚拟对象的方位变换。在计算了方位变换之后，照相机设备534获取真实世界场景内的真实世界对象的数字图像，其中，所述真实世界对象与虚拟对象相对应。而且，在图像获取期间，处理器502接收操控3D虚拟视图形式的用户输入。例如，用户可以使用触摸屏522来重新定位，例如使用旋转、平移和/或缩放操作，以使得该参考对象大致与真实世界参考对象对齐。在这一近似对齐之后，处理器502利用视图旋转、平移和/或缩放的精细修改，进行3D虚拟视图的编程调整，以便使参考对象点与真实世界参考对象点实质上相匹配。
当参考对象与真实世界参照对象实质上对齐时，处理器502确定虚拟对象点和真实世界对象上的相对应的点之间的不匹配。具体地说，处理器502计算虚拟对象上的点和真实世界对象上的相对应的点之间的基于图像的位置差异。在示例性实施例中，在X和Y方向中的每一个上在像素中计算差异。对于从真实世界场景的不同视角获取的每一个图像，处理器502计算这一基于图像的位置差异。
处理器502然后迭代虚拟对象的方位变换，以便最小化所有图像位置差异的组合。具体地说，处理器502使用通过调整一组可变参数来最小化成本函数的标准非线性回归。以该最小化步骤为基础，处理器502调整虚拟对象的位置和/或取向，并且关于虚拟对象的校正方位来调整虚拟模型。
上面详细描述了用于在真实世界场景的虚拟模型的方位校正中使用的计算机***、计算机设备、计算机实现的方法和计算机程序产品的示例性实施例。这些实施例并不局限于本文描述的具体实施例，而是，所述方法的操作和/或所述***和/或装置的组件可以与本文描述的其它操作和/或组件独立且分开地使用。进而，描述的操作和/或组件也可以在其它***、方法和/或装置中定义或与其它***、方法和/或装置组合使用，并且不局限于仅使用本文描述的***、方法和存储介质来实施。
诸如具有本文描述的计算机架构的计算机设备包括至少一个处理器或处理单元和***存储器。计算机设备通常具有至少某种形式的计算机可读介质。通过示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机存储介质包括以任何方法或技术实现的用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的易失性和非易失性、可移动和不可移动的介质。通信介质通常体现为计算机可读指令、数据结构、程序模块或诸如载波或其它传输机制的调制数据信号中的其它数据，并且包括任何信息传递介质。本领域的普通技术人员熟悉调制数据信号，其具有其特性集合中的一个或多个或者按照这样的方式改变以便编码信号中的信息。任何上述组合也包括在计算机可读介质的范围内。
而且，本发明的实施例可以被体现为具有一个或多个非暂态计算机可读存储介质的计算机程序产品，该非暂态计算机存储介质具有用于在真实世界场景的虚拟模型的方位校正中使用的计算机可执行组件。这些组件包拈生成组件，当由处理器执行时，该生成组件使处理器生成包括虚拟对象的所述虚拟模型。该生成组件还使所述处理器接收多个可识别的点的至少一部分的用户选择，并且以虚拟对象上的所述多个可识别的点为基础来计算虚拟对象的方位变换。而且，该生成组件使所述处理器识别虚拟对象和相对应的参考对象，并且识别虚拟对象上的至少一个预定义的点和参考对象上的相对应的点。
所述组件还包括获取组件，当由处理器执行时，所述获取组件使所述处理器获取真实世界场景内的真实世界对象的至少一个数字图像，其中，该真实世界对象与虚拟对象相对应。而且，所述组件包括校正组件，当由所述处理器执行时，所述校正组件使所述处理器计算虚拟对象上的至少一个预定义的点和真实世界对象上的至少一个相对应的点之间的基于图像的位置差异，以该图像位置差异为基础来调整虚拟对象的位置和/或取向，并且关于虚拟对象的校正方位来调整虚拟模型。所述校正组件还使所述处理器利用视图旋转、平移和/或缩放的精细修改来执行3D虚拟视图的编程调整，以便使参考对象点和真实世界参考对象点基本上匹配。该校正组件然后使处理器计算参考对象上的至少一个预定义的点和真实世界参考对象上的至少一个相对应的点之间的基于图像的位置差异。在一些实施例中，校正组件使所述处理器迭代虚拟对象的方位变换，以便最小化所有图像位置差异的组合。
尽管结合示例性计算机***环境描述了本发明，但是本发明的实施例可以与众多其它通用或专用计算机***环境或配置一起操作。所述计算机***环境并不意在暗示关于本发明的任何方面的用途或功能的范围的任何限制。而且，所述计算机***环境不应当被解释为具有关于在示例性操作环境中说明的组件的任何一个或组合的任何依赖性或要求。可以适合于与本发明的方面使用的众所周知的计算机***、环境和/或配置的示例包括但不局限于个人计算机、服务器计算机、手持或膝上型设备、多处理器***、基于微处理器的***、机顶盒、可编程消费类电子产品、移动电话、网络PC、小型机、大型机、包括任何以上***或设备的分布式计算环境等等。
本发明的实施例可以在由一个或多个计算机或其它设备执行的诸如程序组件或模块的计算机可执行指令的一般上下文中进行描述。本发明的方面可以利用组件或模块的任何数量和组织来实现。例如，本发明的方面并不局限于附图中示出和本文描述的特定计算机可执行指令或特定组件或模块。本发明的替代实施例可以包括具有比本文说明和描述的功能更多或更少的功能的不同的计算机可执行指令或组件。
在本文说明和描述的本发明的实施例中的操作的执行的顺序或性能不是必需的，除非以其它方式另有规定。也就是说，可以按照任何顺序来执行所述操作，除非以其它方式另有说明，并且本发明的实施例可以包括比本文公开的操作更多或更少的操作。例如，设想在另一个操作之前、同时或之后实行或执行特定操作在本发明的方面的范围之内。
当介绍本发明或者其实施例的方面的元件时，冠词“一”、“一个”、“该”和“所述”意在表示存在所述元件的一个或多个。术语“包括”、“包含”和“具有”意为包括性的并且指指代可以存在除了所列元件之外的其它元件。
本书面描述使用示例来公开本发明，包括最佳模式，并且还使本领域的普通技术人员能够实施本发明，包括制造和使用任何设备或***，并且执行任何结合的方法。本发明的可专利范围由权利要求限定，并且可以包括本领域普通技术人员想到的其它示例。如果这样的其它示例具有不与权利要求的字面语言不同的结构元件，或者如果它们包括与权利要求的字面语言无实质差异的等效结构元件，则这样的其它示例意在位于权利要求的范围内。
尽管参照其示例实施例具体地示出和描述了本发明，但是本领域的普通技术人员将理解，在不偏离由所附权利要求涵盖的本发明的范围的情况下，可以做出形式和细节上的各种修改。

Claims (20)

1.一种用于在真实世界场景的虚拟模型的方位校正中使用的计算机实现的方法，所述计算机实现的方法包括：
生成包括虚拟对象的所述虚拟模型；
获取所述真实世界场景内的真实世界对象的至少一个数字图像，其中，所述真实世界对象和所述虚拟对象相对应；
计算所述虚拟对象上的至少一个预定义的点和所述真实世界对象上的至少一个相对应的点之间的基于图像的位置差异；
以所述图像位置差异为基础来调整所述虚拟对象的位置和取向中的至少一个；以及
关于所述虚拟对象的校正方位来调整所述虚拟模型。
2.根据权利要求1的计算机实现的方法，其中，生成所述虚拟模型包括：以所述虚拟对象上的多个可识别的点为基础来对于所述虚拟对象计算方位变换。
3.根据权利要求2的计算机实现的方法，其中，计算方位变换包括：接收所述多个可识别的点的至少一部分的用户选择。
4.根据权利要求1的计算机实现的方法，其中，生成所述虚拟模型包括：
识别所述虚拟对象和相对应的参考对象；并且
识别所述虚拟对象上的所述至少一个预定义的点和所述参考对象上的相对应的点。
5.根据权利要求4的计算机实现的方法，进一步包括虚拟视图的编程调整，以便使所述参考对象上的所述预定义的点和相对应的真实世界参考对象上的点基本上相匹配。
6.根据权利要求4的计算机实现的方法，进一步包括：
虚拟视图的编程调整；以及
对于每一个获取的数字图像，计算所述虚拟对象上的至少一个预定义的点和所述真实世界对象上的至少一个相对应的点之间的基于图像的位置差异。
7.根据权利要求6的计算机实现的方法，进一步包括通过迭代所述虚拟对象方位变换来最小化所述图像位置差异。
8.一种用于在真实世界场景的虚拟模型的方位校正中使用的计算机，所述计算机包括：
存储区，配置为存储所述虚拟模型和所述虚拟模型的虚拟对象；以及
耦接到所述存储区的处理器，所述处理器配置为：
生成包括所述虚拟对象的所述虚拟模型；
获取所述真实世界场景内的真实世界对象的至少一个数字图像，其中，所述真实世界对象和所述虚拟对象相对应；
计算所述虚拟对象上的至少一个预定义的点和所述真实世界对象上的至少一个相对应的点之间的基于图像的位置差异；
以所述图像位置差异为基础来调整所述虚拟对象的位置和取向中的至少一个；以及
关于所述虚拟对象的校正方位来调整所述虚拟模型。
9.根据权利要求8的计算机，其中，所述处理器进一步配置为：以所述虚拟对象上的多个可识别的点为基础来对于所述虚拟对象计算方位变换。
10.根据权利要求9的计算机，其中，所述处理器进一步配置为：接收所述多个可识别点的至少一部分的用户选择。
11.根据权利要求8的计算机，其中，所述处理器进一步配置为：
识别所述虚拟对象和相对应的参考对象；并且
识别所述虚拟对象上的所述至少一个预定义的点和所述参考对象上的相对应的点。
12.根据权利要求11的计算机，其中，所述处理器进一步配置为：虚拟视图的编程调整，以便使所述参考对象上的所述预定义的点和相对应的真实世界参考对象上的所述点基本上相匹配。
13.根据权利要求11的计算机，其中，所述处理器进一步配置为：
编程调整虚拟视图，以便使所述参考对象上的所述预定义的点和相对应的真实世界参考对象上的所述点基本上相匹配；并且
对于每一个获取的数字图像，计算所述虚拟对象上的所述至少一个预定义的点和所述真实世界对象上的至少一个相对应的点之间的基于图像的位置差异。
14.根据权利要求13的计算机，其中，所述处理器进一步配置为：通过迭代所述虚拟对象方位变换来最小化所述图像位置差异。
15.一种计算机程序产品，包括：
具有计算机可执行组件的一个或多个非暂态计算机可读存储介质，所述计算机可执行组件用于在真实世界场景的虚拟模型的方位校正中使用，所述组件包括：
生成组件，当由处理器执行时，使所述处理器生成包括虚拟对象的所述虚拟模型；
获取组件，当由处理器执行时，使所述处理器获取所述真实世界场景内的真实世界对象的至少一个数字图像，其中，所述真实世界对象和所述虚拟对象相对应；以及
校正组件，当由处理器执行时，使所述处理器执行下列操作：
计算所述虚拟对象上的至少一个预定义的点和所述真实世界对象上的至少一个相对应的点之间的基于图像的位置差异；
以所述图像位置差异为基础来调整所述虚拟对象的位置和取向中的至少一个；并且
关于所述虚拟对象的校正方位来调整所述虚拟模型。
16.根据权利要求15的计算机程序产品，其中，所述生成组件进一步使所述处理器执行下列操作：
接收多个可识别的点的至少一部分的用户选择；并且
以所述虚拟对象上的所述多个可识别的点为基础，对于所述虚拟对象计算方位变换。
17.根据权利要求15的计算机程序产品，其中，所述生成组件进一步使所述处理器执行下列操作：
识别所述虚拟对象和相对应的参考对象；并且
识别所述虚拟对象上的所述至少一个预定义的点和所述参考对象上的相对应的点。
18.根据权利要求15的计算机程序产品，其中，所述校正组件进一步使所述处理器执行下列操作：虚拟视图的编程调整，以便使所述参考对象上的所述预定义的点和相对应的真实世界参考对象上的所述点基本上相匹配。
19.根据权利要求15的计算机程序产品，其中，所述校正组件进一步使所述处理器执行下列操作：
编程调整虚拟视图；并且
对于每一个获取的数字图像，计算所述参考对象上的所述至少一个预定义的点和所述真实世界参考对象上的至少一个相对应的点之间的基于图像的位置差异。
20.根据权利要求19的计算机程序产品，其中，所述校正组件进一步使所述处理器执行下列操作：通过迭代所述虚拟对象方位变换来最小化所述图像位置差异。
CN201310757161.0A 2012-12-21 2013-12-20 虚拟对象的方位校正 Pending CN103886124A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/725,994 US9058693B2 (en) 2012-12-21 2012-12-21 Location correction of virtual objects
US13/725,994 2012-12-21

Publications (1)

Publication Number Publication Date
CN103886124A true CN103886124A (zh) 2014-06-25

Family

ID=49943113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310757161.0A Pending CN103886124A (zh) 2012-12-21 2013-12-20 虚拟对象的方位校正

Country Status (5)

Country Link
US (1) US9058693B2 (zh)
EP (1) EP2747034B1 (zh)
JP (1) JP6335505B2 (zh)
KR (1) KR20140081729A (zh)
CN (1) CN103886124A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291973A (zh) * 2016-04-12 2017-10-24 达索***西姆利亚公司 针对紧急行为的仿真增强现实***
CN107526863A (zh) * 2016-06-17 2017-12-29 达索***西姆利亚公司 用于不可压缩瞬态和稳态navier‑stokes方程的最佳压力投影方法
CN107836012A (zh) * 2015-07-08 2018-03-23 高丽大学校产学协力团 投影图像生成方法及其装置、图像像素与深度值之间的映射方法
WO2018103635A1 (zh) * 2016-12-07 2018-06-14 腾讯科技（深圳）有限公司 一种vr场景下的攀爬操作处理方法、装置及可读存储介质
CN108292040A (zh) * 2015-09-30 2018-07-17 索尼互动娱乐股份有限公司 优化头戴式显示器屏幕上的内容定位的方法
CN109274886A (zh) * 2018-09-18 2019-01-25 成都泰盟软件有限公司 一种基于OpenVR的混合现实视频录制方法
CN109801341A (zh) * 2019-01-30 2019-05-24 北京经纬恒润科技有限公司 一种标定靶的位置校验方法及装置
CN109814434A (zh) * 2018-12-20 2019-05-28 北京华航唯实机器人科技股份有限公司 控制程序的校准方法及装置
CN109997175A (zh) * 2016-12-02 2019-07-09 皇家Kpn公司 确定虚拟对象的大小
CN110874868A (zh) * 2018-09-03 2020-03-10 广东虚拟现实科技有限公司 数据处理方法、装置、终端设备及存储介质
CN114385002A (zh) * 2021-12-07 2022-04-22 达闼机器人有限公司 智能设备控制方法、装置、服务器和存储介质

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
EP2951785B1 (en) 2013-01-31 2019-12-11 Dirtt Environmental Solutions, Ltd. Method and system for efficient modeling of specular reflection
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
SG11201605983TA (en) 2013-05-31 2016-09-29 Dirtt Environmental Solutions Associating computer-executable objects with three-dimensional spaces within an architectural design environment
US20160117419A1 (en) * 2013-05-31 2016-04-28 Dirtt Environmental Solutions, Ltd. Automatically incorporating third party features into a computer design schematic
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10228242B2 (en) 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
GB2542518B (en) * 2014-05-21 2020-07-22 Tangible Play Inc Virtualization of tangible interface objects
SG11201608357XA (en) 2014-06-09 2016-11-29 Dirtt Environmental Solutions Associating computer-executable objects with timber frames within an architectural design environment
CN104143212A (zh) * 2014-07-02 2014-11-12 惠州Tcl移动通信有限公司 基于穿戴设备的增强现实方法及***
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
KR102358548B1 (ko) * 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
CN107430788A (zh) * 2015-03-30 2017-12-01 喀普康有限公司 虚拟三维空间生成方法、影像***、其控制方法以及计算机装置中能读取的记录介质
US9713871B2 (en) 2015-04-27 2017-07-25 Microsoft Technology Licensing, Llc Enhanced configuration and control of robots
US10007413B2 (en) 2015-04-27 2018-06-26 Microsoft Technology Licensing, Llc Mixed environment display of attached control elements
PL3131064T3 (pl) * 2015-08-13 2018-03-30 Nokia Technologies Oy Wyszukiwanie zawartości obrazu
WO2017039348A1 (en) * 2015-09-01 2017-03-09 Samsung Electronics Co., Ltd. Image capturing apparatus and operating method thereof
US9836888B2 (en) * 2016-02-18 2017-12-05 Edx Technologies, Inc. Systems and methods for augmented reality representations of networks
US11062383B2 (en) 2016-05-10 2021-07-13 Lowe's Companies, Inc. Systems and methods for displaying a simulated room and portions thereof
EP3467788B1 (en) * 2016-05-27 2022-08-03 Rakuten Group, Inc. Three-dimensional model generation system, three-dimensional model generation method, and program
US20170351415A1 (en) * 2016-06-06 2017-12-07 Jonathan K. Cheng System and interfaces for an interactive system
US10380762B2 (en) * 2016-10-07 2019-08-13 Vangogh Imaging, Inc. Real-time remote collaboration and virtual presence using simultaneous localization and mapping to construct a 3D model and update a scene based on sparse data
JP6866616B2 (ja) * 2016-11-17 2021-04-28 富士通株式会社 重畳画像生成プログラム、重畳画像生成方法、および情報処理装置
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
FR3067842B1 (fr) * 2017-06-19 2020-09-25 SOCIéTé BIC Procede d'application de texture en realite augmentee, systeme et kits correspondants
JP7003617B2 (ja) * 2017-12-12 2022-01-20 富士通株式会社 推定装置、推定方法、及び推定プログラム
US10192115B1 (en) 2017-12-13 2019-01-29 Lowe's Companies, Inc. Virtualizing objects using object models and object position data
JP2019185475A (ja) * 2018-04-12 2019-10-24 富士通株式会社 特定プログラム、特定方法及び情報処理装置
JP7063165B2 (ja) * 2018-07-26 2022-05-09 富士通株式会社 計測装置、計測方法及び計測プログラム
JP7098473B2 (ja) * 2018-08-06 2022-07-11 東芝プラントシステム株式会社 画像処理装置、及び画像処理方法
CN111626803A (zh) * 2019-02-28 2020-09-04 北京京东尚科信息技术有限公司 一种物品虚拟化定制方法、装置以及其存储介质
JP7245713B2 (ja) * 2019-05-24 2023-03-24 鹿島建設株式会社 画像表示装置
CN110427227B (zh) * 2019-06-28 2023-01-06 广东虚拟现实科技有限公司 虚拟场景的生成方法、装置、电子设备及存储介质
US20210006730A1 (en) 2019-07-07 2021-01-07 Tangible Play, Inc. Computing device
USD907032S1 (en) 2019-07-07 2021-01-05 Tangible Play, Inc. Virtualization device
KR102259509B1 (ko) * 2019-08-22 2021-06-01 동의대학교 산학협력단 포토 스캐닝 기반의 3d 모델링 방법
US11113528B2 (en) * 2019-09-26 2021-09-07 Vgis Inc. System and method for validating geospatial data collection with mediated reality
CN112153319B (zh) * 2020-09-02 2023-02-24 芋头科技（杭州）有限公司 基于视频通信技术的ar信息显示方法和装置
CN112714337A (zh) * 2020-12-22 2021-04-27 北京百度网讯科技有限公司 视频处理方法、装置、电子设备和存储介质
FR3118252B1 (fr) * 2020-12-22 2023-07-07 Fond B Com Procédé de construction d’un marqueur tridimensionnel et marqueur tridimensionnel ainsi obtenu
KR20220137428A (ko) * 2021-04-02 2022-10-12 삼성전자주식회사 전자 장치 및 그 동작 방법
CN113362476B (zh) * 2021-04-26 2023-07-18 福建数***信息科技有限公司 基于计算机图形学的落地式脚手架的校正方法及装置
WO2023276252A1 (ja) 2021-06-30 2023-01-05 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
US20230057822A1 (en) * 2021-08-17 2023-02-23 Clo Virtual Fashion Inc. Generating enhanced exploded view for design object
WO2023095937A1 (ko) * 2021-11-24 2023-06-01 심용수 도면의 오차 파악 방법 및 그 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4115117B2 (ja) * 2001-10-31 2008-07-09 キヤノン株式会社 情報処理装置および方法
JP2004126870A (ja) * 2002-10-01 2004-04-22 Canon Inc 複合現実感提示装置、システムおよびそれらの方法
US7369101B2 (en) * 2003-06-12 2008-05-06 Siemens Medical Solutions Usa, Inc. Calibrating real and virtual views
JP4356983B2 (ja) * 2004-02-10 2009-11-04 キヤノン株式会社 画像処理方法、画像処理装置
CN1957373A (zh) * 2004-03-12 2007-05-02 布拉科成像S.P.A.公司 基于视频的扩增实境增强型外科手术导航***的精度评估
US20080259073A1 (en) * 2004-09-23 2008-10-23 Conversion Works, Inc. System and method for processing video images
WO2007011306A2 (en) * 2005-07-20 2007-01-25 Bracco Imaging S.P.A. A method of and apparatus for mapping a virtual model of an object to the object
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
DE102007059478B4 (de) * 2007-12-11 2014-06-26 Kuka Laboratories Gmbh Verfahren und System zur Ausrichtung eines virtuellen Modells an einem realen Objekt
US20110190774A1 (en) * 2009-11-18 2011-08-04 Julian Nikolchev Methods and apparatus for performing an arthroscopic procedure using surgical navigation
US20130063560A1 (en) * 2011-09-12 2013-03-14 Palo Alto Research Center Incorporated Combined stereo camera and stereo display interaction
US9508146B2 (en) * 2012-10-31 2016-11-29 The Boeing Company Automated frame of reference calibration for augmented reality

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107836012A (zh) * 2015-07-08 2018-03-23 高丽大学校产学协力团 投影图像生成方法及其装置、图像像素与深度值之间的映射方法
CN107836012B (zh) * 2015-07-08 2021-10-08 高丽大学校产学协力团 投影图像生成方法及其装置、图像像素与深度值之间的映射方法
CN108292040A (zh) * 2015-09-30 2018-07-17 索尼互动娱乐股份有限公司 优化头戴式显示器屏幕上的内容定位的方法
CN108292040B (zh) * 2015-09-30 2020-11-06 索尼互动娱乐股份有限公司 优化头戴式显示器屏幕上的内容定位的方法
CN107291973A (zh) * 2016-04-12 2017-10-24 达索***西姆利亚公司 针对紧急行为的仿真增强现实***
CN107291973B (zh) * 2016-04-12 2023-05-23 达索***西姆利亚公司 针对紧急行为的仿真增强现实***
CN107526863A (zh) * 2016-06-17 2017-12-29 达索***西姆利亚公司 用于不可压缩瞬态和稳态navier‑stokes方程的最佳压力投影方法
CN109997175B (zh) * 2016-12-02 2023-12-08 皇家Kpn公司 确定虚拟对象的大小
CN109997175A (zh) * 2016-12-02 2019-07-09 皇家Kpn公司 确定虚拟对象的大小
WO2018103635A1 (zh) * 2016-12-07 2018-06-14 腾讯科技（深圳）有限公司 一种vr场景下的攀爬操作处理方法、装置及可读存储介质
CN110874868A (zh) * 2018-09-03 2020-03-10 广东虚拟现实科技有限公司 数据处理方法、装置、终端设备及存储介质
CN109274886B (zh) * 2018-09-18 2020-09-25 成都泰盟软件有限公司 一种基于OpenVR的混合现实视频录制方法
CN109274886A (zh) * 2018-09-18 2019-01-25 成都泰盟软件有限公司 一种基于OpenVR的混合现实视频录制方法
CN109814434A (zh) * 2018-12-20 2019-05-28 北京华航唯实机器人科技股份有限公司 控制程序的校准方法及装置
CN109801341A (zh) * 2019-01-30 2019-05-24 北京经纬恒润科技有限公司 一种标定靶的位置校验方法及装置
CN114385002A (zh) * 2021-12-07 2022-04-22 达闼机器人有限公司 智能设备控制方法、装置、服务器和存储介质

Also Published As

Publication number Publication date
US20140176530A1 (en) 2014-06-26
EP2747034A2 (en) 2014-06-25
EP2747034B1 (en) 2021-06-23
US9058693B2 (en) 2015-06-16
EP2747034A3 (en) 2018-01-24
JP2014123376A (ja) 2014-07-03
JP6335505B2 (ja) 2018-05-30
KR20140081729A (ko) 2014-07-01

Similar Documents

Publication Publication Date Title
CN103886124A (zh) 虚拟对象的方位校正
US10740694B2 (en) System and method for capture and adaptive data generation for training for machine vision
KR102110123B1 (ko) 증강 현실을 위한 자동화된 참조 프레임 캘리브레이션
US9251590B2 (en) Camera pose estimation for 3D reconstruction
EP2671210B1 (en) Three-dimensional environment reconstruction
US9552673B2 (en) Grasping virtual objects in augmented reality
CN103838437B (zh) 基于投影图像的触控定位控制方法
US9947124B2 (en) Motion control of active deformable objects
US8112254B1 (en) Transferring surface attributes across geometric models
US11048335B2 (en) Stroke operation prediction for three-dimensional digital content
CN116645649B (zh) 车辆位姿及尺寸估计方法、设备及存储介质
TWI768776B (zh) 室內定位系統及室內定位方法
CN114782646A (zh) 房屋模型的建模方法、装置、电子设备和可读存储介质
CN113671523A (zh) 机器人定位方法、装置、存储介质及机器人
US9256348B2 (en) Posture creation with tool pickup
Techasarntikul et al. Guidance and visualization of optimized packing solutions
JP2012220271A (ja) 姿勢認識装置、姿勢認識方法、プログラム及び記録媒体
CN109242941B (zh) 三维对象合成通过使用视觉引导作为二维数字图像的一部分
US9703903B2 (en) Designing a folded sheet object
Kästner et al. A markerless deep learning-based 6 degrees of freedom pose estimation for mobile robots using rgb data
Yan et al. Development and evaluation of a temporary placement and conveyance operation simulation system using augmented reality
US20240165804A1 (en) Environment Warped Gait Trajectory Optimization for Complex Terrains
Gang et al. Fabrication Process

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140625