CN105939472B - 具有视频叠加的激光投影*** - Google Patents

Abstract

本发明公开了具有视频叠加的激光投影***。实施例公开了一种识别组件到工件上的准确定位的方法。激光投影仪相对于工件投影激光图像。成像设备生成视频图像，并且显示设备显示来自成像设备的视图的视频图像。显示设备从成像设备对工件的视图生成视频图像。激光投影仪相对于工件投影多幅激光图像，并且显示设备从所述多幅激光图像对成像设备相对于工件的视图进行配准。显示设备在工件的视频图像上生成组件的虚拟图像。组件的虚拟图像被布置在工件的视频图像上的几何上准确的位置处。

Description

具有视频叠加的激光投影***

在前申请

本申请要求2015年3月2日提交的美国临时专利申请No.62/126,756的优先权，通过引用的方式将其内容包括在此。

技术领域

本申请总体上涉及用于在工业环境中使用的激光投影和视频***。更具体来说，本申请涉及在借助于激光投影***生成的图像中使用组件在工件上的增强视频叠加。

背景技术

要求高度组装准确性的复杂工件和套件的制造商正在持续寻求利用组装辅助装置的改进的处理。虽然传统的制造处理在历史上依赖于机械夹具作为在固定位置处配准到工件的组装辅助装置，但是这些机械夹具已被证明难以操作，并且每当对于复杂设备要求减小容差时都无法提供足够的准确性。替换地，利用被应用于工件的各种参考特征或模板的附着位置的人工测量也已被使用。其开销、劳动力密集要求以及容易出错的问题仍然对制造公司构成挑战。

图1示出了工件10的示意图。工件10包括在几何上显著的位置处配对到表面16的组件(或子套件)12。正如前面所阐述的那样，组件12到工件10的准确定位已利用夹具实现。当夹具较大或者较重从而使得操作员难以将其正确地定位在工件10上时，准确性特别不足。

更近以来，已经把光学模板直接投影到工件上，从而提供光学图像以便定位组件到工件10上的放置。这被表示在图2中，其中对工件10应用激光投影仪12，所述激光投影仪12把模板14投影到工件的预定表面12上。在美国专利NO.9,200,899“LASER PROJECTIONSYSTEM AND METHOD(激光投影***和方法)”中公开了被用来把模板14投影到工件10上的激光投影仪12的这样一个实例，通过引用的方式将其内容合并在此。在该例中，投影仪12相对于工件的位置连同工件的三维几何结构和附着位置的轮廓是预先确定的。通过利用这些元件，采取光学模板14的方式的附着轮廓的外形被准确地投影到所期望的工件表面16上。

被用来把模板14投影到工件上的***已被证明是高度准确的。但是仅仅依赖于模板13的激光投影的做法存在限制，从而限制了光学模板在市场中的更广泛的使用。举例来说，有时很难或者不可能相对于激光投影仪在三维坐标系内定位工件。此外，传统上利用放置在任意三维位置处的机械夹具的任意组装任务并不总是唯一地适合于激光投影模板14。在某些情况下，支持表面是可用的，但是只能把轮廓模板准确地投影在工件的第一表面上。此外，当必须验证正确的组件选择、放置或指向时，贴附到工件的三维组件阻碍了“看起来像是”组件的图案的投影。

激光模板14的投影通常被平坦化，以便在工件的表面上接收。当前，激光投影仪无法在与工件的表面16间隔开的位置处提供准确的焦点。这样就阻碍了根据计算机辅助设计模型对于组件的真实位置的投影，其中所述计算机辅助设计模型是三维的或者包括将漂浮在工件10的表面16上方的空间中的相关的几何上重要的特征。

因此，希望提供一种用于叠加将被组装在工件中的组件的图像的方法，所述图像提供该组件相对于工件的三维特性。

发明内容

一种识别组件到工件上的准确组装的方法包括使用激光投影仪来相对于工件投影激光图像。成像设备生成被显示在显示设备上的工件的视频图像。显示设备生成由成像设备生成的工件的视频图像。激光投影仪相对于工件投影多幅激光图像，并且显示设备从所述多幅激光图像对成像设备相对于工件的视图进行配准(register)。显示设备在工件的视频图像上生成组件的虚拟图像。组件的虚拟图像被布置在工件的视频图像上的几何上准确的位置处。

本发明是针对把激光投影仪用作组装辅助装置的重要增强。相对于工件的激光投影的益处第一次被与成像设备和显示设备相组合，其中可以由操作员观看将被组装到工件的组件的虚拟图像。通过激光投影仪而成为可能的准确测量提供了在工件上的几何上准确的位置和指向中生成组件的三维图像的能力，从而使得操作员既能够正确地定位组件，还能够验证布置在几何上准确的位置处的与工件的表面间隔开的该组件的重要特征。

附图说明

通过参照后面结合附图所考虑的详细描述，将会很容易认识到并且更好地理解本发明的其他优点，其中：

图1表示工件和工件的组件；

图2表示把组件的模板投影在工件上的现有技术激光投影仪；

图3表示利用激光对准的计算机辅助设计叠加；

图4示出了具有任意激光对准参考的计算机辅助设计叠加；

图5示出了利用光学测量***被投影到工件上的激光对准参考；以及

图6示出了使用虚拟现实护目镜(goggle)的本发明的方法的一个替换实施例。

具体实施方式

参照图3，总体上在20处示出了被用来实践本发明的方法的激光投影和视频叠加套件。工件10定义组件12被组装到其上的表面16(在图1中表示)。激光投影仪22在几何上相关的位置处把激光模板24投影到工件的表面16上。

平板电脑28包括成像设备30和显示设备32。正如本领域技术人员将理解的那样，平板电脑28上的成像设备采取摄影机的形式，并且显示设备32采取视频屏幕的形式。同样正如本领域技术人员将理解的那样，成像设备30被布置在平板电脑28的与显示设备32相对的一侧。对于平板电脑的描述仅仅是示例性的，其他设备也落在本发明的范围内，其中包括而不限于智能电话、虚拟现实装置、虚拟现实护目镜、可分离的摄影机和视频屏幕、以及既能够生成工件10的图像又能够显示工件10的图像的任何设备或设备组合。虽然在本说明书中通篇使用的“平板电脑”，但是应当理解的是，这些设备当中的每一项都落在本发明的范围内。

在该实施例中，激光模板24连同工件10处在成像设备30的视场内。这样就产生了以下错觉：显示设备32提供了超出平板电脑28之外的进入到场景中的窗口。此外，在该实施例中，平板电脑28包括能够实施必要的算法的处理器，以便监测所投影的模板24并且计算成像设备30的相关视图或视点。一旦确定了成像设备30的视图的配准，就在工件10的实况视频流上实施基于计算机辅助设计(“CAD”)的虚拟叠加34。此外，尽管平板电脑28被移动，处理器仍然持续更新工件10的几何位置，同时更新基于CAD的视频叠加34。因此，对于布置在已组装组件12的所期望的位置处的组件12的总体上具有照片级真实感的渲染就被表示在显示设备32中。本发明的视频叠加34不受被投影在工件10的表面16上的模板的约束。

总体上在图4的34处示出了另一个实施例。在组装期间，当组件12被放置到由激光模板24所表明的附着位置上时，由激光投影仪22投影的模板24可能变得被遮挡。因此，叠加34的准确性和可用性可能会降低。在该实施例中，激光投影仪22被编程来朝向工件10投影任意激光点36。成像设备30观看激光点36，并且处理器对成像设备30的视图进行配准以便在显示设备32上准确地描绘叠加34。至少四个激光点36的任意投影图案据信会提供最准确的叠加34。但是投影附加的激光点36会提供有益的冗余性并且增强视频叠加34的动态重定位。此外，任意激光点36的连续随机投影降低了在配对到工件10时***作员或已组装组件12遮挡的可能性。

可能希望不仅把激光点36投影在工件的表面16上，而且还投影到环境表面上，以便进一步促进在三维坐标系中布置工件10的准确位置。在该替换实施例中还通过处理器实现了对于显示在显示设备32上的工件10的图像上的叠加34的快速、动态的重新计算，以便解决操作员对平板电脑28的移动。

当工件10被布置在其中的环境的表面是未知的时，希望有附加的增强。在这样的情况下，希望使用测量设备38，正如在图5中最佳地表示的那样。在一个这样的实施例中，测量设备38包括利用间隔开已知距离的摄影机40进行光学坐标测量，以便对每一个激光点36的图像进行三角测量。通过这种方式，测量设备38识别出组件12将被配对到其上的工件10的表面16的准确位置。一项附加的增强利用了把后向反射目标放置到工件10上的已知位置处，或者通过使用手持探头来测量工件10的参考特征，正如在美国专利No.9,200,899中所公开的那样，通过引用的方式将其内容包括在此。因此，所投影的激光点36可以实际上被任意地定位以便落在已知或未知的工件10表面或者一般环境中的其他表面上，从而将在成像设备30的视图内提供必要的可见性。

本发明所提供的增强或虚拟现实把通过CAD图形增强的去到现有环境的窗口或入口的错觉产生到实况视频流上。虽然前面公开了平板电脑和智能电话，但是如图6中所表示的一个附加实施例包括视频护目镜42，其具有集成的成像设备44。现在可以在市场中获得的许多这些设备包括处理能力和必要的传感器(包括加速度计和MEMS陀螺仪)，以便快速地配准视频图像和处理CAD数据从而准确地生成增强现实，正如前面所阐述的那样。这样提供了引入在高频率下对平板电脑28、投影仪22或其他设备的移动做出响应的CAD生成的组件12的三维图形表示的能力，从而使得虚拟组件12看起来是工件10上的几何上准确的位置处的环境的一个集成部分。

前面所阐述的方法提供了优于传统激光模板投影的若干益处。闪烁限制被消除，从而提供了高水平的大量细节(包括纤维指向(fiber orientation))或者甚至特殊指令(special instruction)，所有这些都被叠加在由显示设备32生成的图像上。此外，外形的可见性不受背景材料的反射率的限制。因此，所期望的外形总是颜色、闪光或其他高光显示的任何图形组合上的最为可见的特征，以便通过显示设备32表达模板外形的特征。当应用特别适于克服远程观看的潜在困难以及视频图像的分辨率时，使用由显示设备32生成的增强视频图像是非常有效的。举例来说，用于层叠(ply)布局的直接激光投影对于正确的成像设备定位和指向是极为有效的。

当附加的准确度可能需要把视场限制到工件10的非常局部化并且常常是无特征的区域时，通过由Virtek Vision International公司提供的IRIS^TM空间定位***可以实现进一步的增强。所述空间定位***允许通过测量设备38或空间***所测量的由激光投影仪22投影的任何点成为以高准确度配准视频流的参考。

一个实例包括把矩形组件12附着到工件10。在该例中，激光投影仪22把模板24和任意激光点36都投影到工件10和周围环境上。基于CAD数据的虚拟组件12被叠加在显示设备32上的视频流中的实际附着部分上，这是通过从任意激光点36配准成像设备30而实现的，前提是激光点36保持在显示设备32的视图中。当然，任意激光点36也由空间定位***定位，其允许激光快速地重新定位参考位置以便把任意激光点36保持在成像设备30的视图中。通过这种方式，由于保持了配准以实现准确的增强，因此平板电脑、智能电话或护目镜的移动变为无关。

本领域技术人员应当理解的是，虽然前面所阐述的描述公开了用于把组件12准确地定位到工件10上的装置和方法，但是还包括所述装置和方法的更广阔的方面。举例来说，前面所公开的激光投影和视频叠加套件20提供了识别钻孔或机械加工到工件中的孔径(未示出)的准确位置的能力。此外，激光投影和视频叠加套件20向操作员标识出正确组件12、紧固件等等是否已被组装到工件10。

本发明的一个附加的方面是遮掩由激光投影仪22投影的激光点36或其他激光图像的能力。在某些情况下，激光点36可能会导致混淆，或者当在显示设备32中被示出时在其他方面是不合期望的。一个实例是虚拟叠加34被用于娱乐目的的情况。在该例中要减少虚拟叠加34的影响。在这种情况下，平板电脑28被编程来遮掩激光点36。

显而易见的是，根据前面的教导，本发明可能存在许多修改和变型。前面的发明是根据相关的法律标准而描述的；因此前面的描述仅仅是示例性而非限制性的。本领域技术人员可以想到针对所公开的实施例的变型和修改，并且其落在本发明的范围内。因此，本发明所提供的法律保护的范围只能通过研究所附权利要求书来决定。

Claims (16)

1.一种识别组件到工件上的准确组装的方法，包括以下步骤：

提供用于相对于工件投影激光图像的激光投影仪；

提供成像设备以及用于显示来自所述成像设备的视图的视频图像的显示设备；

所述显示设备从成像设备对工件的视图生成视频图像；

所述激光投影仪相对于所述工件投影多幅激光图像，其中所述多幅激光图像包括投影在所述工件上的模板，处理器从所述多幅激光图像对所述成像设备相对于工件的视图进行配准；以及

所述显示设备在确定的虚拟叠加的位置在所述工件的视频图像上生成组件的虚拟叠加，

其中当组件被放置到由激光模板所表明的附着位置上时，由激光投影仪投影的模板变得被遮挡，使得所述成像设备无法查看所述工件上的模板，则所述激光投影仪相对于所述工件投影多幅激光图像，其中所述多幅激光图像包括投影到成像设备的视场内的已知或未知的工件表面和一般环境中的其它表面上的任意定位的至少四个激光点，并且所述虚拟叠加的位置基于所述多个激光点来确定。

2.如权利要求1所述的方法，其中，相对于工件投影激光图像的所述步骤还通过将多个激光点投影到工件上的任意位置处来限定。

3.如权利要求1所述的方法，还包括把组件的模板投影到工件上的几何上显著的位置处的步骤。

4.如权利要求3所述的方法，其中，在工件的视频图像上生成组件的虚拟叠加的所述步骤还包括从激光投影仪投影到工件上的模板确定所述成像设备的相对视点的步骤。

5.如权利要求1所述的方法，其中，提供成像设备和显示设备的所述步骤还通过提供以下各项当中的至少一项来限定：平板电脑；智能电话，或者虚拟现实护目镜。

6.如权利要求1所述的方法，其中，相对于工件投影多幅激光图像的所述步骤还通过把多个激光点投影到任意环境位置处来限定。

7.如权利要求1所述的方法，还包括动态地重新定位激光图像的投影的步骤。

8.如权利要求1所述的方法，其中，相对于所述工件投影多幅激光图像的所述步骤还通过根据所述成像设备的当前视图重新定位所述激光图像来限定。

9.如权利要求1所述的方法，还包括所述成像设备、所述显示设备和所述激光投影仪进行无线通信的步骤。

10.如权利要求1所述的方法，还包括提供用于确定由所述激光投影仪投影到工件上的激光图像的位置的光学测量***的步骤。

11.如权利要求1所述的方法，还包括把反射目标贴附到工件上并且通过扫描反射目标来定位工件的步骤。

12.如权利要求11所述的方法，还包括由光学测量***从所述反射目标的反射确定工件的位置和指向的步骤。

13.如权利要求1所述的方法，其中还包括由光学测量***从手持探头确定工件的位置和指向的步骤。

14.如权利要求1所述的方法，其中，所述激光投影仪相对于所述工件投影激光图像的所述步骤还通过由所述激光投影仪相对于所述工件投影多幅激光图像来限定。

15.如权利要求1所述的方法，还包括在所述显示设备中遮掩激光图像的步骤。

16.如权利要求1所述的方法，还包括提供加速度计和陀螺仪的至少其中之一以便快速配准视频图像和处理CAD数据从而准确地生成高频投影仪或平板电脑移动的增强现实的步骤。

Images