CN1957374A - 确定与ar-物体光学重叠的方法和装置 - Google Patents
确定与ar-物体光学重叠的方法和装置 Download PDFInfo
- Publication number
- CN1957374A CN1957374A CNA2006800002693A CN200680000269A CN1957374A CN 1957374 A CN1957374 A CN 1957374A CN A2006800002693 A CNA2006800002693 A CN A2006800002693A CN 200680000269 A CN200680000269 A CN 200680000269A CN 1957374 A CN1957374 A CN 1957374A
- Authority
- CN
- China
- Prior art keywords
- image
- scene
- depth
- picture point
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Optics & Photonics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
本发明涉及一种将AR-物体重叠到显示场景的场景图像中的方法,该发明包括从一个视点拍摄该场景的深度图像;按照AR物体从该视点以一个预定的位姿出现在场景图像中的情况,修改位于该场景图像中的该AR-物体;从该视点确定AR-物体面向该视点的部分与该深度图像的相关像点之间的关系,最后以预定的方式修改该AR-物体的各个部分在涉及该图像表面深度方面的显示,并将该加工了的AR-物体重叠到该场景图像中。本发明还涉及一种将AR-物体重叠到显示该场景的场景图像中的装置,该装置由实施该方法的各个单元装置构成。
Description
本发明涉及一种确定虚物体(AR-物体)的虚像与真实场景的实像光学重叠的方法和装置,特别是涉及一种将AR-物体***到显示场景的场景图像中的方法和装置。
本发明所涉及的AR(AUGMENTED REALITY)即增强现实,是指现实与虚信息的视觉叠加或增强。AR-物体或增强现实物体是这样一种物体,有关它的空间信息首先被输入计算机,存储在存储器中,利用这些空间信息生成图像后,该物体通过渲染器被***到场景图像中或者将两者进行叠加。AR-物体是如何形成的,也就是说,定义空间信息来自何处并不重要,因为它可以通过纯数学方法或模拟方式来形成;也可以通过从实际存在的物体得到的空间信息来形成。
在增强现实中,可以观察拍成视频图像的现实或场景,或通过透明显示屏观察现实或场景,并将AR-物体***到其中。第一种情况被称作“视频穿透式”(VST),第二情况被称作“光学穿透式”(OST)。除此之外,还具有其它的可视化方式,这些方式与上述两种方式没有太大的区别。
另外,可以以多种方式利用增强现实。例如,可以将以工具形式如焊钳或工件表现的AR--物体,(依据ISO8373)以正确的方式***到一台机械或机器人的图像中,以识别附件(如工件,工具)限制的运动空间。也可以用来***坐标系,以说明和解释物体之间及与机械或机器人的相互配合关系,也可以用来***文本信息,如操作指南摘录等。
如果要将AR-物体在场景图像中显示出来,下面采用的技术将不涉及场景图像的可视化技术(如VST,OST或其它类型的技术)。为了使AR-物体能够无间隙地***到场景图像中,也就是说,位置准确且遮掩完全,就需要有尽可能准确的场景模型,这种模型也被称作遮掩模型。该模型被用来遮掩AR-物体的一部分,使得观察者从一个确定的视角看不到某一场景。
这一技术存在的问题是,机器人单元的模型只能与实际情况相近似。其原因在于,机器人单元无法完全按设计准确建立起来,并且在建立和启用时还可能出现一些模型无法模拟的变动。至今还没有一种方法能够将模型和实物自动校准。
遮掩模型无法真实地反映出实物的所有细节。所以在机器人的模型中通常无法重现电缆的布置。并且遮掩模型在真实场景中不能准确定位。这种校准错误(也称记录错误)会导致AR-物体被***到场景图像中错误的位置上。其偏差是显而易见,即必须遮掩的AR-物体却有些部分可以被看到,或者必须看到的AR-物体却有些部分看不到了。
本发明的目的在于,避免上述问题,不需要在实际应用中建立遮掩模型,就可以将AR-物***置准确、遮掩恰当地与场景图像重叠。
根据本发明,上述发明目的是通过如下方法实现的:从一个观察位姿用光学方法获取实像的像点,确定与该观察位姿相关的该实像像点的第一深度位置,生成基于虚物位姿和该观察位姿所形成的虚物虚像的像点,计算与该观察位姿相关的该虚像像点的第二深度位置,在该观察位姿的同一光轴上将第一深度位置与第二景深位置进行比较。其方法优选实施方式的特征在于,从某一视点拍摄场景的深度图像,改变位于场景图像中的AR-物体的显示方式,如从该视点的视线看,使其显示在场景图像中指定的位置上,测定AR-物体朝向视点的各个部分的位置,如从视点出发这些部分相对于深度图像所属的像点的位置,即将场景实像像点的深度位置与生成AR-物体像点的深度位置进行比较;至少可以以如下方式改变AR-物体各部分在图像中涉及其的表面深度和深度位置的显示,如将处于前景中的AR-物体的图像区域通过光学的方法变为位于背景的AR-物体的图像区域,将经这样处理过的AR-物体***到场景图像中。
为了实现上述目的,本发明还给出了这种类型的装置,其特征在于:包括从一个观察位姿用光学方法获取实像像点的拍摄装置、用于确定与该观察位姿相关的该实像像点第一深度位置的确定装置,用于生成基于虚物位姿和该观察位姿所形成的虚物虚像的像点的生成装置,计算与该观察位姿相关的该虚像像点的第二深度位置计算装置以及在该观察位姿的同一光轴上将第一深度位置与第二景深位置进行比较的比较装置,其中优选的装置是这样构成的:一个从视点拍摄场景的深度图像的拍摄装置,一个这样改变置于场景图像中AR-目标的图形的显示装置,使其从视点上在规定的位置在场景图像中显现,用于确定靠近视点AR-目标的部分的确定装置,其部分从视点上相对于景深图像相应像点设置,即场景实像像点的景深位置与产生AR-目标像点的景深位置进行比较,用于可以以如下方式改变AR-物体各部分在图像中涉及其的表面深度和深度位置的显示,如将处于前景中的AR-物体的图像区域通过光学的方法变为位于背景的AR-物体的图像区域的第二显示装置;将AR-物体***到场景图像中的***装置。本发明特别是应用在与机器人相关的领域和机器人领域。
可借助渲染生成基于虚像位姿和观察位姿产生的虚物虚像的像点,即计算或生成计算机空间模拟模型的实像。在考虑观察者视点的情况下,修改AR-物体的显示可以被理解为:基于观察点和3D虚物在空间的位姿,由一个存储的3D虚像计算该实际观察点的2d图像(AR-物体)。深度位置表示从视点到获得的像点的距离。前景显示是相对于它的深度位置前置的一个相关显示,而背景显示则被定义为相对于它的深度位置后置的一个相关显示。
本发明的核心构思是,不是对真实场景进行模拟,而是即借助光学***不仅获得真实场景图的像点,而且获得被测像点距像点(深度位置)的距离,从而直接将深度信息与数字图像数据同时获得。通过将真实图像像点的深度位置与虚像深度位置进行比较能够获得叠加区域的描述。这种描述能够通过将真实图像像点的深度位置与***的虚像进行简单地比较来获得,而不需要复杂的计算。由于省去了复杂的运算,本发明所涉及的方法在操作上就有了很强的时间优势。
对于VST-***,视点就是摄像机的位置,而对于OST-***,视点就是观察者的眼睛,其中,拍摄深度图像的装置被设置在从观察者的眼睛到处于其视野中的场景之间靠近光轴区域上,必要时,将拍摄深度图像的拍摄装置的坐标与观察者的眼睛坐标进行转换。
所述方法优选实时进行,即随着真实场景的改变,其装置进行实时处理且特别是以实时模式工作。在本发明中,AR-物体以动态形式被***到场景图像中,在VST-方法中,AR-物体被实时地且位置准确、遮掩恰当地***到视频图像中。本发明实现此目的的方法是,取代耗时费力的模型制作程序,将像距的深度信息,直接用于对AR-物***置和遮掩方式的处理。校准真实物体坐标系与AR-物体坐标系之间要求的位置关系,例如,用常用的校准方法确定机器人坐标系与摄像机坐标系的关系。因此,借助已知的转换控制器,将AR-物体已知的空间位姿转换到摄像机坐标系中并随后转换进图像平面中。由此可直接获得有关被测定的深度图像,并按照规定的遮掩规则以这种方式和方法将AR-目标的这些部分表示出来。
为了拍摄深度图像,原则上可以考虑不同的方法,例如飞行时间法(Timeof Flight-TOF)、激光扫描、主动三角测量、立体瞄准、通过散焦确定距离、结构照射、波纹技术,特别是还有一种方法,即通过光帘以极短的时间照射处于观察者视野内的场景,例如US 4 184 748中所述的技术,由场景反射的光同样以很短的时间在纳秒范围内,例如通过(光电)遮光板断开,产生深度图像。实质上这一方法的工作速度很快,所以是实时工作。
如果已知一个在图像屏幕上显示的经计算机生成的人工物体的位置和方向,常用这样的图形或图像的处理技术,即把物体当作模型或空间信息来进行加工,观察者将其在显示屏上显示出来,要看到朝向他的该物体的各点,而不应该看到由物体本身“遮掩”的各点。
为了以规定的方式加工AR-物体,可以设置一个加工控制装置,其设置在例如计算机中,优选的方式例如是:AR-物体的点,例如安装在机器人手动法兰上的焊钳的点,从视点上看处于深度图像所属的各像点的后面,例如在机器人手后面的区域,由***到场景图像中的AR-物体即焊钳遮掩。另外,AR--物体的某些特征可以根据其距场景图像中的实体物体界线的距离修正自身的显示,如AR-物体的透明度或颜色、标线宽度、线类型、线格栅或全平面模拟图。例如,坐标系的AR-物体的点,它从视点上看处于深度图像所属各像点后面,如机器人部件的“内部”,在场景图像中由网格图或虚线或点划线表示。这也适合于例如作为AR-物体的传动装置的传动部件“位于”传动装置壳体盖的后面,但在AR-图像中应该是可见的。
在另一个优选实施方式中,场景图像作为视频图像被显示出来,AR-物体被***到该视频图像中(VST),或者通过透明的屏幕直接观察场景图像,该AR-物体在透明屏幕中被***到显示在其中的场景图像中(OST)。
在装置的相应优选实施方式中,在VST范围内,显示AR-物体的显示装置是一个普通的,同样可用来显示拍摄场景图像的显示屏,或者显示AR-物体的显示装置是可以使场景图像穿过的透明显示屏。根据本发明的替换实施方式,或是一个视网膜显示屏。
如果拍摄深度图像的拍摄装置是上述的深度图像摄像机,优选的实施方式是将其与视频摄像机组合使用。
依据本发明也可以按照真实物体进行虚物或AR-物体的模拟。一个具有多个控制点的包络线可以与被模拟的真实物体的轮廓相一致。现有模型的参数应该尽可能设定得与真实性更好地吻合。复杂工具或整个单元的交互式确认的简化模型可以应用在许多方面,例如用于对避免碰撞的计算。人与虚物在真实场景下的交互作用体现了本发明主题在可视化过程中的明显优势。
在权利要求和本发明实施例中对本发明的其它优点和特征还逐一进行了阐述。其中:
图1是AR-可视化情形的示意图,其中包括一台固定摄像机,它不仅可以拍摄用于VST可视化的深度图像,而且可以拍摄普通的视频图像;
图2a是AR-可视化情形的示意图,其中包括一台与机器人一起运动的深度图像摄像机;
图2b是AR-可视化情形的示意图,其中借助一台与使用者一起运动的深度图像摄像机进行VST-AR可视化;
图3是本发明所涉及的VST-AR***的功能原理的示意图;
图4a-d是处理虚物的示意图,说明如何将AR-物***置准确并遮掩合适地***到真实物体的场景图像中;
图5a-c是将坐标系作为AR-物体***到场景图像中的示意图,其中描述了视点和真实存在且部分视域被AR-物体从不同角度遮住的物体;
图6是本发明VST可视化方法的流程图;
图7是借助3D摄像机进行OST-AR可视化的示意图,该摄像机集成在AR-眼镜里并和使用者的头部一起运动;
图8是涉及本发明主题的OST-AR***的示意图;
图9是本发明所涉及的方法在进行OST可视化时的流程图;
图10a-g是机器人手爪在增强场景中交互模拟情形的示意图;
图11是设有3D摄像机的视频穿透(VST)可视化装置,其中的摄像机不仅拍摄深度图像,而且拍摄场景图像;
图12是设有3D摄像机的光学穿透(OST)可视化装置,其中的摄像机只拍摄深度图像。
图1给出的是机器人加工单元1的一个典型场景示意图。其中示出的机器人是一个关节式机器人,它是按照EN ISO 8373由连杆3.1,3.2和关节4.1,4.2构成。关节4.2是由三个可单独旋转的转动关节构成的Rotoid式关节,其上装有机械接口4.3和末端操作器连接装置5(机械人2用于末端操作器,如手爪,的连接法兰)。在机械人2的底部标出了世界坐标系或机械人坐标系6。另外,图1给出了设置在工件台7上的工件8和围绕该工件8的机器人导向轨道9,该导向轨道具有多个控制点和从属于它的用于编程的地球坐标系或参考坐标系10。
最后,图1还给出了一台标有摄像机坐标系12的固定摄像机11,优选为3D摄像机,该摄像机用于拍摄基础装配面1.1上的机器人2和工件8构成的画面和场景。
该摄像机不仅能够拍摄普通的视频图像,而且能够拍摄所示场景1的深度图像,图像的转换是通过确定机器人坐标系与摄像机坐标系之间的空间关系来实现的,这也是对摄像机11拍摄到的AR-物体图像进行AR-可视化处理的先决条件。
图2a给出了与图1相同的画面或场景,其中相同的部分采用了相同的标识,对图2的描述可以参阅图1进行。在图2的结构形式中,摄像机11不是固定的,而是设置在机器人身上,准确地说,是设置在机械接口4.3或机器人手爪上,所以摄像机坐标系与机械接口或机器人手爪一起运动。
这一结构相对于图1结构的优点在于,机器人2自身就可以给出摄像机11为完成AR-可视化应采取的位姿和摄像机11与机器人坐标系6的相对关系,这里所述的关系可以参见专利申请DE 103 45 743.7。用这种方法,即使没有外部跟踪和建立模型,也可以非常简便地实现可信度很高的AR-可视化。
在图2b的结构设置中,摄像机11与操作者形成并保持着固定的位置关系。该摄像机设置有一个以图像显示器形式出现的可视装置11a,场景和AR-物体都可以从这个显示器中显示出来。该摄像机还设置有一个跟踪辅助装置11b,借助于这个装置能够分别确定操作者相对于其它场景特别是机器人的位置变化。
图3给出了采用VST-AR-***进行AR-可视化的设备优选配置的示意图。
该设备包括一台3D摄像机11,它由普通的视频摄像机和深度图像摄像机组成,该摄像机不仅能够提供视频图像11.1,还能够提供远程图像11.2,以及跟踪信息11.4。跟踪***13是用来监测和跟踪3D摄像机位置和转动情况的***,必要时它能够接收和利用由摄像机11拍摄到的图像信息(特别是深度图像)。
摄像机11拍摄处于其视野中的环境1的真实场景图像,例如图1中的机器人2。
本发明还包括一个对AR-物体15进行存储的装置,这个装置可以是存储器或自身携带的存储介质。本发明另外还包括一个处理装置16,用于处理至少一个存置在场景图像中的这样的AR--物体,如从拍摄点看到的出现在场景图像14预设位置上的物体,借助这一处理装置,一幅源自虚场景(AR-物体)的虚像就生成了。在该设备上还依次连接有景深滤光器17、视频混合器18和以图像显示器形式出现的显像装置19,观察者20可以通过该图像显示器观察重叠的场景图像和AR-物体。
首先,视频图像和景深图像被同时拍摄。然后将AR-物体15在处理装置16中进行加工处理,使它们被显示出来时具有适宜的尺寸和位置。每个经这样处理过的AR-物体象深度图像11.3一样被输送到景深图像滤光器17中,这也是用于处理AR--物体各点的处理装置的一种可能的工作形态,在这里AR-物体会被按照上述方法进行处理(在下面还会对处理方法做进一步的描述),如区域的选择、标注虚线或其它类似的工作。每个经这样再处理过的AR-物体15象视频图像11.1一样被输送到视频混合器18中,视频混合器18是实现将AR-物体***到场景图像中的***设备,经这一程序混合过的图像再被输入到监视器或图像显示器19中,这样一来,观察者就看到了真实场景与至少一个AR-物体重叠在一起的AR-图像。
这里将通过图4a-d以及图5a-5c逐一介绍处理AR-物体和将AR-物体***到场景图像中的情形。
图4a给出了一条在场景深度图像中穿过由包络面围绕的点云(Punktewolke)的交界线示意图(真实目标14)。图4b给出了一个正方形的AR-物体15.1。图4c给出了当图4b中的AR-物体被***到图4a的场景中时,其尺寸和定位(位置)发生变化的示意图,即对实物进行了放大和旋转。图4d给出了将真实目标场景图像与AR-物体叠加的情形,其中,一部分沿视线方向即纸张的俯视方向被真实物体14遮掩住的AR-物体没有被画出,也就是说,这部分是观察者看不到的,如图4d所示,AR-物***于真实物体14的后面。
图5a-5c给出了用正方形和圆形两种简单图形表示的真实目标14.1和14.2和由坐标系16.1,16.2,16.3表示的AR-物体16。坐标系16.1位于物体14.1的中点,在它们的重叠区域观察者看到的坐标系16.1是用虚线标示的。另外,坐标系16.2在图5a中被设定处于圆形目标14.2左侧的最外点上。处于与目标14.2重叠区域的水平轴同样以虚线标出,从摄像机11的视线上处于目标14.2后面的垂直轴区域以及从视线方向处于物体14.1之后的坐标系16.2的垂直轴尖端部分也是用虚线来标示的。
以坐标系16.3形式表示的AR-物体从视线上看位于两个物体之前,所以被完整地、未加改变地标示出来。
图5b给出了从与图5a相反视线方向观察到的物体14.1,14.2的情形。AR-物体16.1的垂直轴与物体14.1的重叠区域以虚线标出,从摄像机11的视线上看,位于物体之内或之后的水平轴完全以虚线标示。从图5b中沿摄像机11的视线方向坐标系16.3的部分区域即部分垂直轴位于物体14.1后面,是无法看到的,所以也用虚线进行了标示。在坐标系16.2中,由于最初的位置设定因素,垂直轴完全可见,而水平轴用虚线标示。
图5c是图5a的一种变形情形,即相对于坐标系的水平轴呈一个有限的角度。对AR-物体16.1,16.2的观察方式与在图5a中相同。AR-物体16.2的水平轴的情形与在图5a中十分相似,而垂直轴由于改变了视角,被物体14.2遮盖的区域变小,而被物体14.1遮盖的区域变大,这两部分都以虚线标示了出来。
图6给出了本发明采用VST-可视化方法时可能的流程图。其中部分按图示和顺序流程表示的步骤也可以并行,也即同时进行。
首先,按步骤A启动,在步骤B中对真实场景的图像进行视频拍摄和数字化处理。在步骤C中(此步骤可以和步骤B同时进行),深度图像摄像机在规定范围内进行拍摄形成深度图像(也称作远程图像或点云)。在步骤D中,对深度图像摄像机的位姿(位置和方向)进行定位。如果有外部传感***提供跟踪信息,步骤D也可以与步骤B和C同时进行。在接下来的步骤E中,要对存置到场景图像中去的AR-物体进行处理,从摄像机中可以看到这个出现在场景图像中设定位置上的AR-物体,依据在上一个步骤中确定的位姿生成AR-图像,即虚场景图像。AR-图像生成后,就要在接下来的步骤中用给出方式中的一种对AR-物体的点进行处理,这些点沿视线方向位于真实场景深度图像各自所属的像点之后,对AR-物体的点进行处理的方法包括从AR-图像中剪裁片段,这些片段从深度图像摄像机的角度看是从生成的点云(真实场景图像的位置)后面得到的(步骤F)。图像片段或图像点通过景深滤光器规定属性。其属性主要是由剪裁图像或图像像点与摄像机或深度轮廓之间的距离决定的。在进行这种图像剪裁时(判定步骤G),同时也在AR-图像中对剪裁下来的图像进行处理,例如调整颜色、透明度、虚线、遮掩等等(步骤H)。步骤G和H适用于对图像所有点的处理,即检查各剪裁图像/像素是否通过景深滤光器已获得了属性。如果“是”,像素就会依属性(如颜色、透明度等)发生改变;如果“不是”,则进入下一个图像剪裁/像素程序。
在接下来的步骤中(步骤I),将AR-图像的像点与真实场景视频图像相应的像点进行重叠,在最后的步骤J中,对待增强的视频图像进行可视化处理。如果该程序的下一个任务是处理另一个由视频摄像机生成的图像,程序流程就返回到步骤B(经过判定步骤K),用前面给出的方法加工处理下一个图像,如果不需要去处理其他的图像,流程就到此结束(步骤L)。
如果采用OST方法进行可视化处理,在上述程序的基础上,主要省去不必要的步骤B和I,而其它程序是相同的,其中在步骤J中,AR-物体的可视化是通过将虚像***在观察者的视野中来实现的,这一点在图7中有进一步的阐述。
图7-9对本发明的主题---OST增强现实***进行了阐述。其中,相同的部分采用了相同的附图标记。与图1-3,6相比较场景布局没有发生变化,相应的实施方式参考前面,这里就不重复说明。
在图7的结构中,摄像机11与使用者产生并保持着固定的位置关系。其中使用者身上设置有一个视网膜显像器11c,借助该视网膜显像器AR-图像被投射到观察者的视网膜上,并***到观察者看到的真实场景中去。
图8给出了一幅真实场景(环境)的画面,它是由摄像机11拍摄到的,这个摄像机只能是纯深度图像摄像机。其中的AR-物体15以相同的方式借助跟踪***13的帮助被***到拍摄到的深度图像11.3中,跟踪***13的任务是连续获取位姿的信息,这时在局部透明的图像显示器19’上就显示了出来,图像显示器19’能反映出观察者20视野内的图像,观察者20只能通过该显示器直接看到场景14,这样一来,适合的AR-物体就在正确的位置上以正确的方式在观察者看到的场景图像中显示出来。
除了OST-观察方式的变化,图9给出的方法流程与VST可视化的方法流程基本一致,因此基本可以参考对图6的描述。
如上所述,在OST-可视化过程中,观察者是直接或通过一个透明的图像显示器来观察场景或环境,而不是使用图像监视器,因此,VST方法流程中对视频图像进行拍摄和数字化处理的步骤B就不需要了。将虚像像点与真实场景视频图像相应像点进行重叠的步骤I也被相应地取消。这样只实现了一种方式的可视化,即将AR-图像***到观察者的视野内(步骤J’)。其它方法步骤与图6的VST可视化的方法步骤一致。
本发明涉及的方法和装置可以有效地应用在将真实物体模拟成虚的或AR-物体上,下面将参照图10a-g对此进行描述:
一个机器人工具,如焊钳或将在下面描述的手爪,可以借助象正方体或球体这样的小的基本几何图形进行现场模拟,此时这些基本几何图形会逐步***作者定位在放大的实景中。图10a首先给出了带有(实际)手爪5的机器人2。图10b又另外给出了一个戴着眼镜的被***到AR-物体中的操作人员20a,通过某种未加以说明的操作仪器,操作人员20a设计了一个AR-物体,该物体以矩形框架30形式出现并围住了手爪5,该矩形框架是用虚线画出的两维矩形。图10c-1Og给出了操作人员20a进一步模拟的情况,模拟的目的是得到虚像或AR-物体,并使其尽可能与实际手爪5完全吻合,其中图10c再次给出了围绕真实手爪5的长方体30。首先,框架30缩小成长方体31,其边缘正好围住了真实物体手爪5。接下来进行进一步的近似,形成更小的长方体,它们分别围住横梁5a,连接板5b,和手指5c,5d(图10e)。之后,长方体32分解成模拟横梁的长方体36以及模拟连接板的长方体37(图10f)。接着,带尖的手指5c,5d通过相应几何形状的图形38,39模拟。这样形成的AR-物体被截取(被存储)且能够在以后使用时用于可视、避免碰撞、模拟等。
图11和12以理想化的方式同时给出了VST可视装置和OST可视装置。两装置也可以被称作“AR-眼镜”。理想的状态是,观察者的视点与3D摄像机的视点取得一致(借助反射镜来实现)。图11中,在观察者20的视野内以双图像方式设置了反光镜41,借助反射镜41,并通过另一反射镜42,场景图像转向深度图像摄像机11,同时整个图像即真实图像和AR-图像被投射到投影仪前,由此被观察者20看到。
在图12的结构中,在观察者20的视野内设置了一个半透光的反射镜44,借助它和反射镜42场景图像转向了景深图像摄像机11,观察者20可以通过它观察到场景。另外,通过反射镜44使得投影仪43的AR-图像转向观察者20的视野并将其与看到的(真实)场景重叠。
附图标记一览表
1 机器人加工单元
1.1 基础装配面
1 场景
2 机器人
3.1,3.2 构件
4.1 关节
4.1 交接位置
4.2 关节
4.3 交接位置
5 机械手
5a 横梁
5b 连接板
5c,5d 机械手臂
6 机器人坐标系
7 工件台
8 工件
9 机械人轨迹
10 坐标系
11 摄像机
11a 可视装置
11b 跟踪辅助装置
11c 视网膜显像器
11.1 视频图像
11.2 远程图像
11.3 深度图像
11.4 跟踪信息
12 摄像机坐标系
13 跟踪***
14,14.1,14.2 物体
15 AR-物体
15.1 AR-物体
16 处理装置
16.1,16.2,16.3 AR-物体的坐标系
17 景深图像滤光器
18 视频混合器
19 重放装置
19’ 图像显示器,AR-眼镜
20 观察者
20a 操作人员
30 框
31-34 长方体
36,37 长方体
38,39 几何图形
41,42,44 反射镜
43 投影仪
Claims (19)
1、一种将虚物(AR-物体)的虚像与真实场景的实像进行光学重叠的方法,其特征在于:从一个观察位姿用光学方法获取实像的像点;确定与该观察位姿相关的该实像像点的第一深度位置;生成基于虚物位姿和该观察位姿所形成的虚物虚像的像点;计算与该观察位姿相关的该虚像像点的第二深度位置;在该观察位姿的同一光轴上将第一深度位置与第二深度位置进行比较。
2、如权利要求1所述的方法,其特征在于:将其深度位置小于作为前景图像的实像像点的深度位置的虚像像点,用光学方法***到真实场景的图像中。
3、如权利要求1或2所述的方法,其特征在于:在相对于前景图像产生光学变化的图像中,将其深度位置大于作为背景图像的实像像点的深度位置的虚像像点,用光学方法遮掩或***到真实场景的图像中。
4、如上述任一权利要求所述的方法,其特征在于:借助光学传感器,最好是采用RGBD摄像机,获取实像像点的深度位置,优选与图像的拍摄同步进行。
5、一种将AR-物体***到显示场景的场景图像中的方法,特别是如上述权利要求1至4所述的任一一种方法,其特征在于:
从某一视点拍摄场景的深度图像;
改变位于场景图像中的AR-物体的显示方式,如从视点上看,使其显示在场景图像中指定的位置上;
测定AR-物体朝向视点的各个部分的位置,如从视点看这些部分相对于深度图像所属的像点的位置,即将场景实像像点的深度位置与生成AR-物体像点的深度位置进行比较;
至少可以以如下方式改变AR-物体各部分在图像中涉及其表面深度和深度位置的显示,如将处于前景中的AR-物体的图像区域通过光学的方法变为位于背景的AR-物体的图像区域;
将经这样处理过的AR-物体***到场景图像中。
6、如权利要求1-5所述的方法,其特征在于:从该视点看AR-物***于深度图像各自所属的图像区域后面的部分,按上述方式显示。
7、如权利要求1至6之一所述的方法,其特征在于:从视点上看AR-物***于深度图像的剪裁图像所属的各图像区域后面的部分被***到场景图像中的AR-物体所遮掩。
8、如权利要求1至7之一所述的方法,其特征在于:从视点上看AR-物***于深度图像的剪裁图像所属的各图像区域后面的部分,在场景图像中被显示为边界虚线、点划线,和/或以其不同的透明度或颜色来表示。
9、如上述权利要求之一的方法,其特征在于:播放作为视频图像的场景图像,并将AR-物体***到该视频图像中。
10、如权利要求1至8之一所述的方法,其特征在于:通过透明屏幕直接观察场景图像,并将该屏幕中的AR-物体***到通过该屏幕观察到的场景图像中。
11、如上述权利要求之一所述的方法,其特征在于:多个AR-物体被实时地***到连续的视频数据流中,或作为单个的图像或静止的图像被***。
12、一种将虚物(AR-物体)的虚像与真实场景的实像进行光学重叠的装置,其特征在于:包括从一个观察位姿用光学方法获取实像像点的拍摄装置(11)、用于确定与该观察位姿相关的该实像像点的第一深度位置确定装置(11),用于生成基于虚物位姿和该观察位姿所形成的虚物虚像的像点的生成装置(11),计算与该观察位姿相关的该虚像像点的第二深度位置计算装置(16)以及在该观察位姿的同一光轴上将第一深度位置与第二深度位置进行比较的比较装置(17)。
13、如权利要求12的装置,其特征在于:包括将其深度位置小于作为前景图像的实像像点的深度位置的虚像像点,用光学方法***到真实场景的图像中的***装置(18)。
14、如权利要求12或13的装置,其特征在于:包括混合装置(18),在相对于前景图像产生光学变化的图像中,将其深度位置大于作为背景图像的实像像点的深度位置的虚像像点,用光学方法遮掩或***到真实场景的图像中。
15、如权利要求12至14之一所述的装置,其特征在于:借助光学传感器,最好是采用RGBD摄像机,获取实像像点的深度位置,优选与图像的拍摄同步进行。
16、一种将AR-物体***到显示场景的场景图像中的装置,特别是如上述权利要求12至15之一所述的装置,其特征在于:包括:
从某一视点拍摄场景的深度图像的拍摄装置,
用于改变位于场景图像中的AR-物体的显示方式,如从该视点上,使其显示在场景图像中指定的位置上的显示装置;
用于测定AR-物体朝向视点的各个部分的位置,如从视点上这些部分相对于深度图像所属的像点的位置,即将场景实像像点的深度位置与生成AR-物体像点的深度位置进行比较的确定装置,
用于可以以如下方式改变AR-物体各部分在图像中涉及其的表面深度和深度位置的显示,如将处于前景中的AR-物体的图像区域通过光学的方法变为位于背景的AR-物体的图像区域的第二显示装置
将AR-物体***到场景图像中的***装置。
17、如权利要求12至16之一所述的装置,其特征在于:拍摄深度图像的拍摄装置具有激光扫描器。
18、如权利要求12至17之一所述的装置,其特征在于:拍摄深度图像的拍摄装置是深度摄像机。
19、如权利要求12至18之一所述的装置,其特征在于:显示AR-物体的显示装置是一个普通的,同样可用来显示拍摄场景图像的显示屏,或可以使场景图像穿过的透明显示屏,或是一个视网膜显示屏。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102005009437.6 | 2005-03-02 | ||
DE102005009437A DE102005009437A1 (de) | 2005-03-02 | 2005-03-02 | Verfahren und Vorrichtung zum Einblenden von AR-Objekten |
PCT/EP2006/001753 WO2006092251A1 (de) | 2005-03-02 | 2006-02-25 | Verfahren und vorrichtung zur bestimmung von optischen überdeckungen mit ar-objekten |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1957374A true CN1957374A (zh) | 2007-05-02 |
CN100594517C CN100594517C (zh) | 2010-03-17 |
Family
ID=36463507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200680000269A Active CN100594517C (zh) | 2005-03-02 | 2006-02-25 | 确定与ar-物体光学重叠的方法和装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9030492B2 (zh) |
EP (1) | EP1763845B1 (zh) |
JP (1) | JP5032343B2 (zh) |
CN (1) | CN100594517C (zh) |
DE (1) | DE102005009437A1 (zh) |
WO (1) | WO2006092251A1 (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102204259A (zh) * | 2007-11-15 | 2011-09-28 | 微软国际控股私有有限公司 | 双模深度成像 |
CN104700392A (zh) * | 2013-12-10 | 2015-06-10 | 财团法人金属工业研究发展中心 | 虚拟影像定位方法及其装置 |
CN106296789A (zh) * | 2016-08-05 | 2017-01-04 | 深圳迪乐普数码科技有限公司 | 一种虚拟植入物体在实景中穿梭的方法及终端 |
CN106296573A (zh) * | 2016-08-01 | 2017-01-04 | 深圳迪乐普数码科技有限公司 | 一种实现虚拟屏幕墙的方法及终端 |
CN107250891A (zh) * | 2015-02-13 | 2017-10-13 | Otoy公司 | 头戴式显示器与真实世界对象之间的相互通信 |
CN109421048A (zh) * | 2017-08-25 | 2019-03-05 | 发那科株式会社 | 机器人*** |
CN111702306A (zh) * | 2015-06-24 | 2020-09-25 | 伊利诺斯工具制品有限公司 | 用于焊接机器视觉的飞行时间相机 |
US11450233B2 (en) | 2019-02-19 | 2022-09-20 | Illinois Tool Works Inc. | Systems for simulating joining operations using mobile devices |
US11521512B2 (en) | 2019-02-19 | 2022-12-06 | Illinois Tool Works Inc. | Systems for simulating joining operations using mobile devices |
US11545045B2 (en) | 2015-03-09 | 2023-01-03 | Illinois Tool Works Inc. | Methods and apparatus to provide visual information associated with welding operations |
US11645936B2 (en) | 2019-11-25 | 2023-05-09 | Illinois Tool Works Inc. | Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment |
US11721231B2 (en) | 2019-11-25 | 2023-08-08 | Illinois Tool Works Inc. | Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment |
Families Citing this family (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20080029548A (ko) * | 2006-09-29 | 2008-04-03 | 삼성전자주식회사 | 실사기반 이동기기 제어 방법 및 장치 |
US8577126B2 (en) | 2007-04-11 | 2013-11-05 | Irobot Corporation | System and method for cooperative remote vehicle behavior |
US20090180668A1 (en) * | 2007-04-11 | 2009-07-16 | Irobot Corporation | System and method for cooperative remote vehicle behavior |
EP2157545A1 (en) * | 2008-08-19 | 2010-02-24 | Sony Computer Entertainment Europe Limited | Entertainment device, system and method |
US8994645B1 (en) | 2009-08-07 | 2015-03-31 | Groundspeak, Inc. | System and method for providing a virtual object based on physical location and tagging |
US8502835B1 (en) | 2009-09-02 | 2013-08-06 | Groundspeak, Inc. | System and method for simulating placement of a virtual object relative to real world objects |
US8386080B2 (en) * | 2009-09-15 | 2013-02-26 | Harris Corporation | Robotic apparatus implementing collision avoidance scheme and associated methods |
DE102010027526B4 (de) * | 2010-07-16 | 2012-04-19 | Gottfried Wilhelm Leibniz Universität Hannover | Handführbares Vermessungs- und Projektionssystem und Verfahren |
US9122053B2 (en) | 2010-10-15 | 2015-09-01 | Microsoft Technology Licensing, Llc | Realistic occlusion for a head mounted augmented reality display |
US8884984B2 (en) | 2010-10-15 | 2014-11-11 | Microsoft Corporation | Fusing virtual content into real content |
FI20106387A (fi) * | 2010-12-30 | 2012-07-01 | Zenrobotics Oy | Menetelmä, tietokoneohjelma ja laite tartuntakohdan määrittämiseksi |
CN103582851B (zh) | 2011-04-06 | 2016-05-11 | 皇家飞利浦有限公司 | 针对动态3d健康护理环境中的安全性的***和方法 |
JP5734080B2 (ja) * | 2011-05-10 | 2015-06-10 | キヤノン株式会社 | 情報処理装置、その処理方法及びプログラム |
US20120290130A1 (en) * | 2011-05-10 | 2012-11-15 | Agile Planet, Inc. | Method to Model and Program a Robotic Workcell |
DE102011107228A1 (de) | 2011-07-13 | 2013-01-17 | Volkswagen Aktiengesellschaft | Verfahren zur Erkennung möglicher Kollisionen eines beweglichen Objekts |
WO2013012335A1 (en) * | 2011-07-21 | 2013-01-24 | Ziv Attar | Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene |
US9586141B2 (en) | 2011-09-08 | 2017-03-07 | Paofit Holdings Pte. Ltd. | System and method for visualizing synthetic objects within real-world video clip |
US8990682B1 (en) | 2011-10-05 | 2015-03-24 | Google Inc. | Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display |
US9081177B2 (en) | 2011-10-07 | 2015-07-14 | Google Inc. | Wearable computer with nearby object response |
US9547406B1 (en) | 2011-10-31 | 2017-01-17 | Google Inc. | Velocity-based triggering |
KR101893771B1 (ko) | 2012-05-10 | 2018-08-31 | 삼성전자주식회사 | 3d 정보 처리 장치 및 방법 |
JP6014442B2 (ja) * | 2012-09-27 | 2016-10-25 | 富士通テン株式会社 | 画像生成装置、画像表示システム、および、画像生成方法 |
US9076257B2 (en) * | 2013-01-03 | 2015-07-07 | Qualcomm Incorporated | Rendering augmented reality based on foreground object |
US10140767B2 (en) * | 2013-04-24 | 2018-11-27 | Kawasaki Jukogyo Kabushiki Kaisha | Workpiece machining work support system and workpiece machining method |
JP6138566B2 (ja) * | 2013-04-24 | 2017-05-31 | 川崎重工業株式会社 | 部品取付作業支援システムおよび部品取付方法 |
DE102014102773A1 (de) * | 2014-03-03 | 2015-09-03 | De-Sta-Co Europe Gmbh | Verfahren zur Wiedergabe eines Fertigungsprozesses in einer virtuellen Umgebung |
US10320437B2 (en) * | 2014-10-24 | 2019-06-11 | Usens, Inc. | System and method for immersive and interactive multimedia generation |
WO2016064435A1 (en) | 2014-10-24 | 2016-04-28 | Usens, Inc. | System and method for immersive and interactive multimedia generation |
US9704298B2 (en) | 2015-06-23 | 2017-07-11 | Paofit Holdings Pte Ltd. | Systems and methods for generating 360 degree mixed reality environments |
JP6420229B2 (ja) | 2015-12-10 | 2018-11-07 | ファナック株式会社 | 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム |
US9815204B2 (en) * | 2016-01-22 | 2017-11-14 | The Boeing Company | Apparatus and method to optically locate workpiece for robotic operations |
US10943409B2 (en) * | 2016-04-18 | 2021-03-09 | Sony Corporation | Information processing apparatus, information processing method, and program for correcting display information drawn in a plurality of buffers |
JP6348149B2 (ja) * | 2016-07-08 | 2018-06-27 | ファナック株式会社 | ロボットを用いてレーザ加工を行うレーザ加工ロボットシステム |
CN106295525B (zh) * | 2016-07-29 | 2019-12-03 | 深圳迪乐普数码科技有限公司 | 一种视频图像置换方法及终端 |
EP3336805A1 (en) | 2016-12-15 | 2018-06-20 | Thomson Licensing | Method and device for a placement of a virtual object of an augmented or mixed reality application in a real-world 3d environment |
FR3064389B1 (fr) * | 2017-03-22 | 2021-06-11 | Ease It | Dispositif de modelisation et de representation, et procede correspondant |
JP7116410B2 (ja) * | 2017-03-31 | 2022-08-10 | 株式会社バンダイナムコエンターテインメント | プログラム及び画像生成システム |
US10438362B2 (en) * | 2017-05-31 | 2019-10-08 | Here Global B.V. | Method and apparatus for homography estimation |
CN107610212B (zh) * | 2017-07-25 | 2020-05-12 | 深圳大学 | 场景重建方法、装置、计算机设备以及计算机存储介质 |
DE102017221305A1 (de) * | 2017-11-23 | 2019-05-23 | Robert Bosch Gmbh | Verfahren zum Betreiben eines kollaborativen Roboters |
WO2019120481A1 (en) * | 2017-12-19 | 2019-06-27 | Abb Schweiz Ag | System and method for determining a transformation representation |
DE102018201589A1 (de) * | 2018-02-01 | 2019-08-01 | KORIS Vision & Force GmbH | Verfahren zur Programmierung der Steuerung eines Industrieroboters, Verfahren zum Betreiben eines Industrieroboters, Programmiervorrichtung sowie Industrierobotersystem mit einer solchen Programmiervorrichtung |
CA3100495A1 (en) | 2018-05-16 | 2019-11-21 | Benevis Informatics, Llc | Systems and methods for review of computer-aided detection of pathology in images |
DE102018113336A1 (de) * | 2018-06-05 | 2019-12-05 | GESTALT Robotics GmbH | Verfahren zum Verwenden mit einer Maschine zum Einstellen einer Erweiterte-Realität-Anzeigeumgebung |
US11182465B2 (en) * | 2018-06-29 | 2021-11-23 | Ye Zhu | Augmented reality authentication methods and systems |
JP6823018B2 (ja) * | 2018-08-03 | 2021-01-27 | ファナック株式会社 | 協調動作支援装置 |
US11494990B2 (en) * | 2018-10-08 | 2022-11-08 | Google Llc | Hybrid placement of objects in an augmented reality environment |
KR20200090315A (ko) * | 2019-01-18 | 2020-07-29 | 삼성전자주식회사 | 영상을 처리하는 방법 및 디바이스 |
US12036663B2 (en) * | 2019-03-25 | 2024-07-16 | Abb Schweiz Ag | Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system |
EP4300430A3 (en) | 2019-05-06 | 2024-03-06 | Apple Inc. | Device, method, and graphical user interface for composing cgr files |
DE112020002268T5 (de) | 2019-05-06 | 2022-02-10 | Apple Inc. | Vorrichtung, verfahren und computerlesbares medium zur darstellung von dateien computergenerierter realität |
US11113526B2 (en) * | 2019-07-23 | 2021-09-07 | Toyota Research Institute, Inc. | Training methods for deep networks |
KR20210044506A (ko) | 2019-10-15 | 2021-04-23 | 삼성전자주식회사 | 증강 현실 객체를 표시하는 장치 및 그 동작 방법 |
US11645756B2 (en) | 2019-11-14 | 2023-05-09 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
US11354011B2 (en) * | 2019-12-04 | 2022-06-07 | Google Llc | Snapping range for augmented reality |
DE102020201375B3 (de) | 2020-02-05 | 2021-06-24 | Magna Steyr Fahrzeugtechnik Ag & Co Kg | Verfahren zur Überprüfung eines Sicherheitsbereichs eines Roboters |
EP4200847A1 (en) | 2020-08-24 | 2023-06-28 | FD IP & Licensing LLC | Previsualization devices and systems for the film industry |
DE102020129823B4 (de) | 2020-11-12 | 2022-07-07 | Sick Ag | Visualisieren eines Schutzfeldes |
CN113178017A (zh) * | 2021-04-28 | 2021-07-27 | 深圳市慧鲤科技有限公司 | Ar数据展示方法、装置、电子设备及存储介质 |
US11875492B1 (en) | 2023-05-01 | 2024-01-16 | Fd Ip & Licensing Llc | Systems and methods for digital compositing |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5297238A (en) * | 1991-08-30 | 1994-03-22 | Cimetrix Incorporated | Robot end-effector terminal control frame (TCF) calibration method and device |
US20050231505A1 (en) * | 1998-05-27 | 2005-10-20 | Kaye Michael C | Method for creating artifact free three-dimensional images converted from two-dimensional images |
WO2000038117A1 (en) * | 1998-12-23 | 2000-06-29 | Washington State University Research Foundation | Method and system for a virtual assembly design environment |
JP2000207575A (ja) * | 1999-01-08 | 2000-07-28 | Nadeisu:Kk | 空間融合装置及びこれを適用した応用装置 |
DE50007901D1 (de) * | 1999-03-02 | 2004-10-28 | Siemens Ag | Nutzung von augmented reality-basistechnologien zur situationsgerechten unterstützung des facharbeiters durch entfernte experten |
US6503195B1 (en) * | 1999-05-24 | 2003-01-07 | University Of North Carolina At Chapel Hill | Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction |
DE10127396A1 (de) | 2000-06-13 | 2001-12-20 | Volkswagen Ag | Verfahren zum Verwerten eines Altfahrzeugs |
JP2002045566A (ja) * | 2000-08-03 | 2002-02-12 | Namco Ltd | ゲーム装置および情報記憶媒体 |
JP2004538538A (ja) * | 2000-10-05 | 2004-12-24 | シーメンス コーポレイト リサーチ インコーポレイテツド | 強化現実可視化付きの、手術中にイメージガイドされる神経外科手術法及び手術用装置 |
JP2002172575A (ja) * | 2000-12-07 | 2002-06-18 | Fanuc Ltd | 教示装置 |
AU2002303082A1 (en) * | 2001-01-26 | 2002-09-12 | Zaxel Systems, Inc. | Real-time virtual viewpoint in simulated reality environment |
US6856324B2 (en) * | 2001-03-27 | 2005-02-15 | Siemens Corporate Research, Inc. | Augmented reality guided instrument positioning with guiding graphics |
US20030012410A1 (en) * | 2001-07-10 | 2003-01-16 | Nassir Navab | Tracking and pose estimation for augmented reality using real features |
US7379077B2 (en) * | 2001-08-23 | 2008-05-27 | Siemens Corporate Research, Inc. | Augmented and virtual reality guided instrument positioning using along-the-line-of-sight alignment |
US6587752B1 (en) * | 2001-12-25 | 2003-07-01 | National Institute Of Advanced Industrial Science And Technology | Robot operation teaching method and apparatus |
JP2003215494A (ja) * | 2002-01-22 | 2003-07-30 | Canon Inc | 複合現実感提示装置および画像処理方法 |
KR100490726B1 (ko) * | 2002-10-17 | 2005-05-24 | 한국전자통신연구원 | 비디오 기반의 사격 게임 장치 및 그 방법 |
JP2004145448A (ja) * | 2002-10-22 | 2004-05-20 | Toshiba Corp | 端末装置、サーバ装置および画像加工方法 |
SE0203908D0 (sv) * | 2002-12-30 | 2002-12-30 | Abb Research Ltd | An augmented reality system and method |
JP2004240480A (ja) * | 2003-02-03 | 2004-08-26 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
DE10305384A1 (de) * | 2003-02-11 | 2004-08-26 | Kuka Roboter Gmbh | Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen |
US8072470B2 (en) * | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
JP4401728B2 (ja) * | 2003-09-30 | 2010-01-20 | キヤノン株式会社 | 複合現実空間画像生成方法及び複合現実感システム |
DE10345743A1 (de) * | 2003-10-01 | 2005-05-04 | Kuka Roboter Gmbh | Verfahren und Vorrichtung zum Bestimmen von Position und Orientierung einer Bildempfangseinrichtung |
SE526119C2 (sv) * | 2003-11-24 | 2005-07-05 | Abb Research Ltd | Metod och system för programmering av en industrirobot |
WO2005114368A1 (en) * | 2004-05-20 | 2005-12-01 | Abb Research Ltd | A method and system to retrieve and display technical data for an industrial device |
-
2005
- 2005-03-02 DE DE102005009437A patent/DE102005009437A1/de not_active Ceased
-
2006
- 2006-02-25 JP JP2007557397A patent/JP5032343B2/ja active Active
- 2006-02-25 EP EP06723119.1A patent/EP1763845B1/de active Active
- 2006-02-25 CN CN200680000269A patent/CN100594517C/zh active Active
- 2006-02-25 US US11/817,571 patent/US9030492B2/en active Active
- 2006-02-25 WO PCT/EP2006/001753 patent/WO2006092251A1/de not_active Application Discontinuation
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102204259A (zh) * | 2007-11-15 | 2011-09-28 | 微软国际控股私有有限公司 | 双模深度成像 |
CN102204259B (zh) * | 2007-11-15 | 2013-10-16 | 微软国际控股私有有限公司 | 双模深度成像 |
CN104700392A (zh) * | 2013-12-10 | 2015-06-10 | 财团法人金属工业研究发展中心 | 虚拟影像定位方法及其装置 |
CN104700392B (zh) * | 2013-12-10 | 2017-10-24 | 财团法人金属工业研究发展中心 | 虚拟影像定位方法及其装置 |
CN107250891A (zh) * | 2015-02-13 | 2017-10-13 | Otoy公司 | 头戴式显示器与真实世界对象之间的相互通信 |
US11862035B2 (en) | 2015-03-09 | 2024-01-02 | Illinois Tool Works Inc. | Methods and apparatus to provide visual information associated with welding operations |
US11545045B2 (en) | 2015-03-09 | 2023-01-03 | Illinois Tool Works Inc. | Methods and apparatus to provide visual information associated with welding operations |
CN111702306A (zh) * | 2015-06-24 | 2020-09-25 | 伊利诺斯工具制品有限公司 | 用于焊接机器视觉的飞行时间相机 |
US11679452B2 (en) | 2015-06-24 | 2023-06-20 | Illinois Tool Works Inc. | Wind turbine blade and wind turbine power generating apparatus |
CN111702306B (zh) * | 2015-06-24 | 2022-06-17 | 伊利诺斯工具制品有限公司 | 用于焊接机器视觉的飞行时间相机 |
CN106296573A (zh) * | 2016-08-01 | 2017-01-04 | 深圳迪乐普数码科技有限公司 | 一种实现虚拟屏幕墙的方法及终端 |
CN106296573B (zh) * | 2016-08-01 | 2019-08-06 | 深圳迪乐普数码科技有限公司 | 一种实现虚拟屏幕墙的方法及终端 |
CN106296789B (zh) * | 2016-08-05 | 2019-08-06 | 深圳迪乐普数码科技有限公司 | 一种虚拟植入物体在实景中穿梭的方法及终端 |
CN106296789A (zh) * | 2016-08-05 | 2017-01-04 | 深圳迪乐普数码科技有限公司 | 一种虚拟植入物体在实景中穿梭的方法及终端 |
CN109421048A (zh) * | 2017-08-25 | 2019-03-05 | 发那科株式会社 | 机器人*** |
US11565427B2 (en) | 2017-08-25 | 2023-01-31 | Fanuc Corporation | Robot system |
US11450233B2 (en) | 2019-02-19 | 2022-09-20 | Illinois Tool Works Inc. | Systems for simulating joining operations using mobile devices |
US11521512B2 (en) | 2019-02-19 | 2022-12-06 | Illinois Tool Works Inc. | Systems for simulating joining operations using mobile devices |
US11967249B2 (en) | 2019-02-19 | 2024-04-23 | Illinois Tool Works Inc. | Systems for simulating joining operations using mobile devices |
US12039881B2 (en) | 2019-02-19 | 2024-07-16 | Illinois Tool Works Inc. | Systems for simulating joining operations using mobile devices |
US11645936B2 (en) | 2019-11-25 | 2023-05-09 | Illinois Tool Works Inc. | Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment |
US11721231B2 (en) | 2019-11-25 | 2023-08-08 | Illinois Tool Works Inc. | Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment |
Also Published As
Publication number | Publication date |
---|---|
EP1763845B1 (de) | 2013-10-09 |
US20080150965A1 (en) | 2008-06-26 |
DE102005009437A1 (de) | 2006-09-07 |
JP5032343B2 (ja) | 2012-09-26 |
CN100594517C (zh) | 2010-03-17 |
JP2008532149A (ja) | 2008-08-14 |
EP1763845A1 (de) | 2007-03-21 |
WO2006092251A1 (de) | 2006-09-08 |
US9030492B2 (en) | 2015-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1957374A (zh) | 确定与ar-物体光学重叠的方法和装置 | |
US11928838B2 (en) | Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display | |
US10008028B2 (en) | 3D scanning apparatus including scanning sensor detachable from screen | |
US7236854B2 (en) | Method and a system for programming an industrial robot | |
EP1435280B1 (en) | A method and a system for programming an industrial robot | |
US20210392275A1 (en) | Camera array for a mediated-reality system | |
CA3016539A1 (en) | Image processing method, display device, and inspection system | |
KR20160107128A (ko) | 작업재의 가상조립을 통해 어셈블리 시스템을 트레이닝 하기 위한 비전시스템 | |
JP2008076303A (ja) | 位置測定装置及び位置測定方法及び位置測定プログラム | |
CN112652016A (zh) | 点云预测模型的生成方法、位姿估计方法及其装置 | |
JP2017187667A (ja) | 頭部装着型表示装置およびコンピュータープログラム | |
CN107690303B (zh) | 用于生成三维模型的计算设备和方法 | |
US20190037133A1 (en) | Tracking image collection for digital capture of environments, and associated systems and methods | |
US10606241B2 (en) | Process planning apparatus based on augmented reality | |
CN105939472A (zh) | 具有视频叠加的激光投影*** | |
JP2007233971A (ja) | 画像合成方法及び装置 | |
CN109444163A (zh) | 获取透视畸变逆变换矩阵的***及其获取方法 | |
WO2019091115A1 (en) | Method and system for scanning space using point cloud structure data | |
JP6295296B2 (ja) | 複合システム及びターゲットマーカ | |
CN107492124A (zh) | 鱼眼摄像头的平面标定装置 | |
JPH11338532A (ja) | 教示装置 | |
JP2009212582A (ja) | バーチャルスタジオ用フィードバックシステム | |
CN116205980A (zh) | 一种移动空间内虚拟现实定位追踪方法及装置 | |
JP2020046394A (ja) | 三次元形状測定装置および三次元形状測定プログラム | |
CN108346183A (zh) | 一种用于ar基准定位的方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
ASS | Succession or assignment of patent right |
Owner name: KUKA EXPERIMENTAL INSTRUMENT CO., LTD. Free format text: FORMER OWNER: AMATEC ROBOTICS GMBH Effective date: 20110510 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20110510 Address after: Augsburg Patentee after: Kuka Lab GmbH Address before: Augsburg Patentee before: Amatec Robotics GmbH |