CN112446906A - 虚拟空间配准的视频覆盖显示 - Google Patents

Abstract

本公开涉及虚拟空间配准的视频覆盖显示。一种向操作者标识部件到工件上的精确组装的方法包括使用激光投影器和头戴式受话器或护目镜。激光投影器相对于工件投影激光图像。头戴式受话器或护目镜包括成像设备和显示元件。相对于工件在共同的坐标系中配准激光投影器、成像设备和显示元件的位置。成像设备生成当操作者通过显示元件观察时出现在显示元件中的工件的视野的图像。计算机生成的部件图像覆盖在工件图像上，该部件图像设置在工件图像上的几何精确位置处。将出现在显示元件中的工件图像配准到相对于工件定义的三维坐标系。

Description

虚拟空间配准的视频覆盖显示

在先申请

本申请要求2016年3月2日提交的美国专利申请No.15/058,867的优先权，该美国专利申请要求2015年3月2日提交的美国临时专利申请No.62/126,756的优先权，其内容通过引用包含于此。

技术领域

本申请总体上涉及用于工业环境的激光投影和视频***。更具体地，本申请涉及在借助于激光投影***生成的图像中采用部件在工件上的增强视频覆盖。

背景技术

需要高组装精度的复杂工件和组件的制造商不断寻求使用组装辅助工具来改进工艺。虽然传统的制造工艺历来依赖于与固定位置处的工件配准的机械固定装置作为组装辅助工具，但是这些机械固定装置已被证明在复杂设备需要降低公差时难以使用，并且不能提供足够的精度。可替代地，还利用应用于工件的各种参考特征或模板来手动测量附接位置。费用、劳动密集型要求和误差倾向仍然是制造企业面临的挑战。

图1示出了工件10的示意图。工件10包括在几何上重要的位置处与表面16配合的部件(或子组件)12。如上所述，使用固定装置实现了部件12到工件10的精确定位。当固定装置大或重时，精度特别不足，使得操作者难以适当地在工件10上定位。

近来已经将光学模板直接投影到工件上，从而提供光学图像以定位将部件放置到工件10上的位置。这在图2中表示，其中工件10经受将模板14投影在工件的预定表面16上的激光投影器12。在美国专利No.9,200,899“LASER PROJECTION SYSTEM AND METHOD”中公开了用于将模板14投影到工件10上的激光投影器12的一个这样的示例，该专利的内容通过引用合并于此。在该示例中，投影仪12相对于工件的位置以及工件的三维几何形状和附接位置的轮廓是预定的。利用这些元件，将附接轮廓的外形以光学模板14的方式精确地投影到期望的工件表面16上。

用于将模板14投影到工件上的***已被证明是高度精确的。然而，仅依赖于模板13的激光投影存在限制，限制了光学模板在市场上的更广泛的使用。例如，有时很难或不可能将工件相对于激光投影器定位在三维坐标系内。另外，任意组装任务传统上使用放置在任意三维位置的机械固定装置，并不总是唯一适合于激光投影模板14。在某些情况下，支撑表面是可用的，但是仅能将外形模板精确投影在工件的第一表面上。另外，当需要验证正确的部件选择、放置或定向时，固定到工件上的三维部件防止了“看起来像”部件的图案的投影。

激光模板14的投影通常被压平以被接收在工件的表面上。目前，激光投影器不能在与工件的表面16隔开的位置处提供精确的聚焦点。这阻碍了根据计算机辅助设计模型投影部件的真实位置，该计算机辅助设计模型是三维的或者包括将浮于工件10的表面16上方的空间中的几何上重要的相关特征。

因此，期望提供一种用于将待组装的部件的图像覆盖在工件中的方法，其提供该部件相对于工件的三维特征。

发明内容

一种标识部件到工件上的精确组装的方法包括使用激光投影器相对于工件投影激光图像。成像设备生成显示在显示设备上的工件的视频图像。显示设备生成由成像设备生成的工件的视频图像。激光投影器相对于工件投影多个激光图像，并且显示设备根据多个激光图像相对于工件配准成像设备的视野。显示设备在工件的视频图像上生成部件的虚拟图像。部件的虚拟图像设置在工件的视频图像上的几何精确位置。

另一实施例包括使用激光投影器和头戴式受话器向操作者标识部件到工件上的精确组装。激光投影器相对于工件投影激光图像。头戴式受话器包括成像设备和显示元件。相对于工件在共同的三维坐标系中配准激光投影器、成像设备和显示元件的位置。成像设备生成当操作者通过显示元件观察时出现在显示元件中的工件的视野的图像。计算机生成的部件图像覆盖在工件图像上，该部件图像设置在工件图像上的几何精确位置中。将出现在显示元件中的工件图像和部件的计算机图像配准到相对于工件限定的三维坐标系。

本发明是对于使用激光投影器作为组装辅助工具的显著改进。相对于工件的激光投影的益处第一次与成像设备和显示设备相结合，其中操作者可以观察到待组装到工件的部件的虚拟图像。通过激光投影器可以进行的精确测量提供了在工件上生成具有几何精确位置和取向的部件的三维图像的能力，使得操作者能够适当地定位部件并验证与工件的表面隔开的该部件的设置在几何精确位置中的重要特征。

附图说明

本发明的其他优点将容易理解，因为当结合附图考虑时，通过参考以下具体实施方式，可以更好地理解本发明的其他优点，在附图中：

图1表示工件和工件的部件；

图2表示现有技术的激光投影器，其将部件的模板投影到工件上；

图3表示使用激光对准的计算机辅助设计覆盖；

图4示出了利用任意激光对准参考的计算机辅助设计覆盖；

图5示出了使用光学测量***投影到工件上的激光对准参考；

图6示出了使用增强现实护目镜形式的头戴式受话器(headset)的本发明的方法的替代实施例；以及

图7示出了作为本发明的另一替代实施例的操作者使用的增强现实护目镜形式的头戴式受话器。

具体实施方式

参照图3，用于实施本发明的方法的激光投影和视频覆盖组件总体上在20处示出。工件10限定了表面16，其中部件12组装在表面16上(如图1中所示)。激光投影器22在几何相关位置处将激光模板24投影到工件的表面16上。

平板电脑28包括成像设备30和显示设备32。如本领域普通技术人员所理解的，平板电脑28上的成像设备采用相机的形式，并且显示设备32采用视频屏幕的形式。同样如本领域普通技术人员所知，成像设备30设置在平板电脑28的与显示设备32相对的一侧。平板电脑的描述仅是示例性的，并且其他设备也在本发明的范围内，包括但不限于智能电话、虚拟现实装置、包括虚拟现实的头戴式受话器或增强现实护目镜；可分离的相机和视频屏幕，以及既能够生成工件10的图像又能够显示工件10的图像的任何设备或设备的组合。虽然在整个说明书中使用“平板电脑”，但应该理解这些设备中的每个设备都在本发明的范围内。

在该实施例中，激光模板24与工件10一起位于成像设备30的视场内。这产生了显示设备32提供到平板电脑28之外的场景的窗口的错觉。此外，在该实施例中，平板电脑28包括处理器，该处理器能够执行必要的算法以监视投影模板24并计算成像设备30的相关视野或视点。一旦确定了成像设备30对视野的配准，就在工件10的实况视频流上进行基于计算机辅助设计(“CAD”)的虚拟覆盖34。此外，即使移动平板电脑28，处理器也连续地更新工件10的几何位置，同时基于CAD模型更新视频覆盖34。这样，通常在显示设备32中表示设置在组装部件12的期望位置处的部件12的照片级真实感渲染。本发明的视频覆盖34不受工件10的表面16上的投影模板的约束。

另一个实施例总体上在图4的34处示出。在组装期间，当如激光模板24指示将部件12放置到附接位置时，激光投影器22投影的模板24可能被遮挡。因此，可能降低覆盖34的精度和可用性。在该实施例中，激光投影器22被编程为朝向工件10投影任意激光光斑36。成像设备30观察激光光斑36，并且处理器配准成像设备30的视野以在显示设备32上精确地描绘覆盖34。至少四个激光光斑36的任意投影图案被认为提供了最精确的覆盖34。然而，投影附加的激光光斑36提供了有益的冗余并改进了视频覆盖34的动态重定位。另外，连续随机投影任意激光光斑36降低了操作者遮挡或与工件10配合时组装部件12遮挡的可能性。

可能期望不仅将激光光斑36投影到工件的表面16上，而且还将其投影到环境表面上以进一步促进在三维坐标系中设置工件10的精确位置。在该替代实施例中，为了处理操作者对平板电脑28的移动，还由处理器实现快速、动态地重新计算在显示设备32上示出的工件10的图像上的覆盖34。

当设置有工件10的环境表面未知时，期望额外的改进。在这种情况下，如图5中最佳表示的，期望使用测量设备38。在一个这样的示例中，测量设备38包括使用间隔开已知距离的相机40对每个激光光斑36的图像进行三角测量的光学坐标测量。以这种方式，测量设备38标识工件10的要与部件12配合的表面16的精确位置。额外的改进利用将逆反射目标放置在工件10上的已知位置处或者通过使用手持探针测量工件10的参考特征，如美国专利No.9,200,899中所公开的，该专利的内容通过引用包含于此。因此，可以将投影的激光光斑36有效地任意定位以使其落在已知或未知的工件10表面或总体环境中的其他表面上，这将在成像设备30的视野内提供必要的可见性。

本发明提供的增强或虚拟现实创建了对于现有环境的窗口或门户的错觉，其通过CAD图形增强到实况视频流上。虽然上面已经公开了平板电脑和智能电话，但是如图6所示的另外的实施例包括具有集成的成像设备44的视频护目镜42。现在市场上可用的这些设备中的许多设备包括处理能力和必要的传感器(其包括加速度计和MEMS陀螺仪)以快速地配准视频图像并处理CAD数据来精确地生成增强现实，如上所述。这提供了引入CAD生成的部件12的三维图形表示的能力，其响应于平板电脑28、投影仪22或其他设备的高频移动，使得虚拟部件12看起来是在工件10上的地理上精确的位置处的环境中的组成部分。

上述方法提供了优于传统激光模板投影的许多益处。消除了闪烁限制，提供高水平的广泛细节(包括纤维取向)或者甚至特殊指令，所有这些都覆盖在由显示设备32生成的图像上。此外，外形的可见性不受背景材料的反射率的限制。这样，期望的外形总是在颜色、闪烁或其他突出显示的任何图形组合方面最明显的特征，以通过显示设备32传达模板外形的特征。当使应用特别适应于克服远程查看的潜在尴尬和视频图像的分辨率时，使用由显示设备32生成的增强视频图像是最有效的。例如，利用适当的成像设备位置和取向，用于层板叠层(ply layup)的直接激光投影是极其有效的。

当额外的精度可能要求将视野限制在工件10的非常局部的、通常无特征的区域时，通过Virtek Vision International,Inc.提供的IRIS^TM空间定位***可以实现更进一步的改进。空间定位***使得由测量设备38或空间***测量的由激光投影器22投影的任何光斑成为参考从而以高精度配准视频流。

一个示例包括将矩形部件12附接到工件10。在该示例中，激光投影器22将模板24和任意激光光斑36两者投影到工件10和周围环境。通过根据任意激光光斑36配准成像设备30，基于CAD数据将虚拟部件12覆盖在显示设备32上的视频流中的实际附接部分上，只要激光光斑36保留在显示设备32的视野中即可。当然，任意激光光斑36也由空间定位***定位，其允许激光或激光快速重新定位参考位置以保持任意激光光斑36在成像设备30的视野中。这样，平板电脑、智能电话或护目镜的移动变得无关紧要，因为配准被保持以实现精确的增强。

本领域普通技术人员应该理解，如上所述的描述在公开了用于将部件12精确定位到工件10上的装置和方法的同时，包括了该装置和方法的更广泛的方面。例如，上面公开的激光投影和视频覆盖组件20提供了标识向工件中钻孔或机加工孔(未示出)的精确位置的能力。此外，激光投影和视频覆盖组件20向操作者标识是否已将正确的部件12、紧固件等组装到工件10。

本发明的另一方面是遮挡由激光投影器22投影的激光光斑36或其他激光图像的能力。在一些情况下，激光光斑36可能引起混淆，或者在其他情况下在显示设备32中示出时是不期望的。一个示例是虚拟覆盖34是否用于娱乐目的。在该示例中，虚拟覆盖34的影响降低。在这种情况下，平板电脑28被编程以遮挡激光光斑36。

使用护目镜42或包括护目镜的头戴式受话器提出了另一个有挑战性的方面，即在相对于工件10的三维坐标系限定的几何精确位置处生成部件12在工件10上的视频覆盖。“护目镜”和“头戴式受话器”在整个说明书中可互换使用，并且应当理解，术语“护目镜”包括佩戴在操作者眼睛上的设备，以及佩戴在操作者头上的提供不用手的观看特征或显示设备45的任何设备。因为无法校准佩戴护目镜42的操作者的视角，所以已经开发了配准部件12在工件10上的视频覆盖34的独特方法。另外，当操作者察觉时，还防止护目镜42在操作者头部上放置的位置移位破坏部件的视频覆盖34的精度。

如上文详细解释的，通过对激光投影器22生成的激光图像36进行激光投影来将护目镜42(更具体地，集成成像设备44)与工件10配准。一旦通过检测朝向工件10投影到工件10上的激光图像36的图案来将集成成像设备44与工件10配准，就由护目镜显示元件45生成部件12的视频覆盖34。虽然由护目镜显示元件45生成的视频覆盖34与护目镜显示元件45中的工件10精确地配准，但是当操作者察觉时，视频覆盖34的位置可能会歪斜。然而，操作者察觉足以将部件12放置在工件10上的地方定位在由计算机生成的图形设计限定的大致精确的位置处。另外，为了进一步的精度，护目镜42包括环境跟踪特征，如由微软公司出售的这种

***所提供的。

环境跟踪特征包括一个或多个传感器，其与成像设备44协作以生成三维范围图像并跟踪环境的三维配置以及惯性监视以监视护目镜42的动态移动和取向。为了进一步的精度，成像设备44可以包括超过一个相机(甚至四个相机)以生成精确的三维范围图像。此外，动态移动是护目镜42的不可预测的移动，如操作者头部的移动所预期的那样。然而，三维范围图像的实时更新和惯性监视足以确定部件的大致位置或近似位置。以其他方式，虚拟视野46去除了相对于工件10精确定位护目镜42的必要性，因为视野的视频流包括激光图像36，其提供视频覆盖34相对于虚拟工件48的位置的参考。

一旦实现了部件12在工件10上的大致放置，操作者就触发工件10和部件12的虚拟视野46或混合现实视野。虚拟视野46是如操作者在佩戴护目镜42时观察到的由显示元件45生成的工件10的实况流，即实时视频图像。在一个实施例中，在操作者的视线中，虚拟视野46设置在操作者和实际工件10之间的空间中。在另一实施例中，虚拟视野46设置在偏离工件10的空间中。

当在虚拟视野46中表示工件时，虚拟视野46中的部件14的视频覆盖34被精确地配准在虚拟工件48上。通过如虚拟视野46中所显示的那样将部件14的视频覆盖34配准在虚拟工件48上，完全去除了操作者察觉的不准确性，并且可以实现非常小的组装公差。视频覆盖34是部件12的位于虚拟工件48上的几何精确位置处的电子生成的图像。视频覆盖34提供在组装过程中部件12要被放置在何处的视觉指示。

放置部件12之后，视频覆盖向操作者提供关于部件12是否已适当地放置在工件10上的信息。通过根据激光光斑36和环境跟踪特征配准护目镜42，自动确定虚拟视野46的最佳放置以最接近地配合操作者的视点，而不需要操作者持有实际设备进行反复试错。此外，虚拟视野46不会遮挡激光光斑36的投影图案，进一步促进将护目镜42与工件10配准。工件48的实时视频流还包括激光图像36的视频图像，使得能够如虚拟视野46所示的那样将视频覆盖34与虚拟工件48配准。

通过在虚拟视野46中生成部件12的CAD图像，可以获得额外的对准反馈。在显示中，CAD图像可能会在虚拟工件46上的适当的对准位置处“重影(ghosted)”。然而，相信仅通过检测激光图像36并且不需要CAD覆盖，可以实现虚拟工件48上的视频覆盖34的虚拟对准。

护目镜42的环境跟踪特征为激光投影器22提供辅助，以便将激光光斑36投影到护目镜42的视野内。如上文更详细描述的，环境跟踪特征实时地更新护目镜42的视野(由此更新操作者的视野)，并向激光投影器22发信号通知该视野。激光投影器22利用从环境跟踪特征接收到的信息来不断地更新护目镜42的集成成像设备44的位置和方向以优化激光光斑36的图案的投影。在一个实施例中，环境跟踪特征是操作者观察到的场景的计算机解释。

为了向操作者提供进一步的清晰度，虚拟视野46被裁剪并且尺寸被调整为操作者的工件10的实际视野。因此，在尺寸上，当操作者察觉时，工件48的图像与实际工件10的尺寸相同，使得边缘和相关特征等同地间隔开。

一旦操作者将部件12放置到工件10上，就通过用于生成虚拟图像的控制器或计算机(未示出)来验证适当的放置。将由部件/工件组件20的计算机设计限定的部件34的覆盖与部件10的实际放置进行比较或对准。可以通过操作者在视觉上比较或者通过计算机来比较部件和被放置部件12的覆盖34的边缘、基准和相关特征来验证精确位置。通过成像设备44向操作者提供应当将部件12放置在工件10上何处的指示来检测虚拟视野46中的虚拟工件48的精确配准。可以记录对于部件12放置在工件10上的框架捕获，如同在数据库中提供适当的部件12放置的证据一样。另外，在另一个实施例中，由计算机处理图像以将所设计的部件12的预期位置与部件的观察到的图像特征进行比较。

显然，鉴于上述教导，本发明的许多修改和变形都是可能的。已经根据相关法律标准描述了前述发明；因此，该描述实质上仅仅是示例性的而非限制性的。对所公开实施例的变形和修改对于本领域技术人员来说可以是清楚的，并且确实落入本发明的范围内。因此，只有通过研究以下权利要求才能确定提供本发明的法律保护的范围。

Claims (10)

1.一种向操作者标识部件到工件上的精确组装的方法，包括以下步骤：

提供激光投影器，用于相对于工件投影激光图像；

为操作者提供头戴式受话器，所述头戴式受话器包括成像设备和显示元件；

通过所述成像设备检测激光图像，配准所述激光投影器、所述成像设备和所述显示元件在相对于工件的三维坐标系中的位置；

所述成像设备生成当操作者通过显示元件观察时出现在所述显示元件中的工件的视野的图像；

将计算机生成的部件图像覆盖在工件图像上，其中计算机生成的部件图像设置在工件图像上的几何精确位置处；

将出现在显示元件中的工件图像配准到相对于工件限定的三维坐标系。

2.如权利要求1所述的方法，包括在设置于工件和显示元件之间的位置处生成工件的视野的图像的步骤。

3.如权利要求1所述的方法，还包括为所述头戴式受话器提供环境跟踪元件的步骤。

4.如权利要求3所述的方法，还包括所述环境跟踪元件向所述激光投影器发信号通知所述头戴式受话器的所述成像设备的位置和视野的步骤。

5.如权利要求1所述的方法，配准所述激光投影器、所述成像设备和所述显示元件在相对于工件的三维坐标系中的位置进一步限定为，通过所述激光投影器向所述工件投影激光图像并且所述成像设备检测激光图像的图案。

6.如权利要求1所述的方法，还包括实时更新由所述显示元件显示的工件的图像从而保持计算机生成的部件图像覆盖在相对于工件的尺寸精确的几何位置处的步骤。

7.如权利要求1所述的方法，还包括裁剪和缩放出现在显示元件中的视野的图像以配合操作者对工件的几何视野的步骤。

8.如权利要求1所述的方法，还包括在将计算机生成的部件图像在工件图像上的几何精确的位置处对准之前，所述显示元件生成部件在工件上的初始位置处的视频覆盖的步骤。

9.如权利要求1所述的方法，还包括通过将部件在工件上的放置与设置在工件图像的几何精确位置处的计算机生成的部件图像进行比较来验证部件在工件上的正确放置的步骤。

10.如权利要求9所述的方法，其中，验证部件在工件上的正确放置的所述步骤进一步限定为，将放置在工件上的部件的图像与覆盖在工件图像上的计算机生成的部件图像对准。

Images