CN1922473B - 用于设计检测路径及用于确定待检测区域的方法 - Google Patents

Abstract

本发明涉及一种方法，用于为至少一个光学拍摄装置(4)特别是照相机设计检测路径(2)以检测三维物体(3)，其中所述拍摄装置(4)及物体(3)可借助运动装置(5，6)相对彼此运动。为了使该用于设计检测路径及确定待检测区域的方法容易使用且所有待检测区域都被覆盖，提出基于该物体(3)和/或物体上待检测区域(12)的设计数据(8)以及该拍摄装置(4)的以电子形式存储的光学成像特性并使用计算单元(10)，而通过给定光学拍摄装置(4)与待检测表面之间的限定的几何关系，自动地求得用于该拍摄装置(4)的检测路径(2)。

Description

用于设计检测路径及用于确定待检测区域的方法

技术领域

本发明涉及一种方法，用于为至少一个光学拍摄装置特别是照相机(摄像机)设计检测路径以检测三维物体，其中该拍摄装置及该物体可借助运动装置相对彼此运动。此外，本发明还涉及一种方法，用于根据物体的电子形式的设计数据例如CAD数据来确定三维物体表面上的待检测区域。

背景技术

存在一些借助照相机来检查表面的方法，其中照相机相对待检查的物体运动并且光学地扫描该物体的表面。当物体较大时，必需预先给定检测路径，在该检测路径上光学拍摄装置或者说照相机沿着该物体移动。为此，将待检查的物体和/或该光学拍摄装置安装在运动装置上，例如安装在传送带、机械手、操作机、操纵装置等上，由此该物体和该拍摄装置可以相对彼此尽可能地以所有的自由度运动。该运动装置的运动过程即用于光学拍摄装置的检测路径必须预先给定以对该运动装置进行控制。这在复杂的三维物体例如车身的情况下恰好是费事的，因为为了扫描该物体的整个表面区域需要进行很多调节。该运动装置的运动过程通常必须手动地设置，或者至少手动地检验并在必要时再校正。在此，还必须选择该物体表面上的待检测区域。这些给定通常也是手动地进行的。

发明内容

所以，本发明的目的是提供用于设计检测路径及用于确定待检测区域的方法，所述方法可更简单地执行并且可靠地覆盖所有待检测区域。

该目的在用于设计本文开头所述类型的检测路径的方法中基本上通过以下方式解决，即，由物体和/或物体上待检测区域的设计数据及拍摄装置的以电子形式存储的光学成像特性并利用计算单元，通过给定该光学拍摄装置与待检测表面之间的限定的几何关系，而自动地求得用于该拍摄装置的检测路径，所述设计数据特别是CAD数据和/或用传感器测得的数据。然后，可以根据设计数据和光学拍摄装置的成像特性自动地计算出拍摄装置所需的路径，而不必费事地手动计算或确定。通过给定特别是通过拍摄装置与待检测表面之间的限定的几何关系而限定的拍摄条件，可以确定出用于拍摄装置的所有位置，以便在光学检测期间完全地覆盖整个物体或物体的待检测区域。

在此，通过物体以电子形式存储的设计数据可以以任意的精度得知待检测物体的精确形状。因此，由这些信息可以自动地确定检测路径，而不必手动地预先给定运动过程。尤其还可以例如通过图像的拍摄及分析、扫描等而由传感器数据产生这些至关重要的设计数据。在此情况下，可自动地获知物体的必要设计数据，从而不必单独地预先给定所述设计数据。数据的存储是自动地进行的。由传感器数据测定设计数据也可用于改善现有设计数据的精度或者说提高其分辨率。

在此，检测路径可设计成使得光学拍摄装置在静止或运动的物体上方被引导，其中优选考虑该运动装置的可能运动。特别有利的是，将该运动装置构造成操作机、操纵装置或多轴的移动单元，它尤其允许以更多的自由度例如绕着多个不同的转动轴运动。

在设计检测路径时，优选这样地确定拍摄装置的拍摄位置，使得整个三维物体或三维物体上的所有待检测区域被拍摄到的图像覆盖。为此将检验根据设计数据求得的物体的待检测表面是否完全被检测期间拍摄到的图像覆盖。这可根据拍摄装置的已知光学成像特性及光学拍摄装置的通过检测路径限定的位置来确定。

在该方法变型的特别有利的构型中，根据运动装置的运动信息及拍摄装置的所求得的拍摄位置来确定用于拍摄图像的时刻。通过考虑借助经过检测路径期间的拍摄位置及运动装置的实际运动信息，这些信息可直接地在光学扫描时使用，以便特别是根据分辨率、位置和/或时间来控制或者说触发图像的拍摄。

根据本发明，可以对拍摄装置配置照明装置并且通过给定拍摄装置、照明装置及待检测表面之间的限定的几何关系而求得检测路径。由此，也在考虑照明状况的情况下来求得检测路径。对于照明装置及拍摄装置合成为一个检测单元的情况，则对该检测单元确定检测路径。但是也可以使拍摄装置及照明装置设有单独的运动装置，这些运动装置可彼此无关地运动。在此情况下，确定检测路径，使得不仅对于拍摄装置而且对于照明装置分别预先给定单独的检测路径，这两个检测路径彼此在时间上相协调。相应地，上述情形也适用于设置了多个拍摄装置、照明装置和/或检测单元的情况。

对检测路径的设计可以包含对所有运动装置的运动过程的设计，并在必要时，如果物体也可运动甚至也包含该物体的运动过程的设计。为此，在本发明的一个特别有利的方案中，由检测路径来求得用于物体及拍摄装置和/或照明装置之间的相对运动的运动过程。

在测定运动过程时优选考虑，保持检测时间和/或检测路程尽可能短，以优化检测期间的运动过程。

因为取决于光学拍摄特性例如照相机焦距，光学拍摄装置的图像具有比表面的待检测区域明显更大的图像区段，所以根据本发明，对光学拍摄装置的每个图像配置一个图像内部的检测区域，该检测区域在检测期间由图像处理软件进行分析。

为此可具体考虑，根据检测区域和检测路径来检验，通过设计数据定义的物体或物体上的待检测区域是否被完全覆盖了。这可以例如通过根据算出的检测路径由计算机辅助模拟检测曲线来实现，其中在图像中定义的检测区域被标记在根据设计数据定义的物体上，以便检验所有待检测区域实际上是否被覆盖了。

为了可以附加地进行手动控制，可以考虑，检测轨迹和/或在物体上定义的待检测区域在显示装置特别是显示器上显示。

本发明的目的也通过一个用于根据物体的设计数据特别是CAD数据来确定三维物体表面上的待检测区域的方法来解决，该方法可以以有利的方式与前述的方法相结合。但是，也可以分开应用对物体的待检测区域的确定与对检测路径的设计。在此，根据本发明，对于物体上的确定区域给定是否或以何种方式检测该区域，其中，在检测期间通过拍摄装置使该待检测区域与实际拍摄到的图像相对应。由此在检测期间检验是否所有待检测区域实际上都被拍摄了。在检测期间的该检查可不仅应用在自动的路径设计而且应用在手动的路径设计中，而确保整个物体实际上都被拍摄了。

在本发明的方法的一个特别有利的实施形式中提出：非检测区域和/或以特定方式检测的区域通过可由物体的设计数据确定的参数特别是几何形状或关系自动地求得。这样，可根据设计数据自动地求得物体的所有待检测区域。相反，可以自动地抑制例如由于其几何构型而不可进行有意义的检测的区域，而不必手动地选择或标记这些区域。由此大大地降低了用于手动地选择待检测区域的手工耗费。

优选待检测区域可存储为能根据物体的设计数据产生的、计算而得的或者说人工的图像。然后，将这些人工图像与检测期间实际拍摄到的图像进行比较。此外还可以将这些计算出的图像直观化，以便提供光学检验的可能性。

在本发明方法的一个特别有利的构型中，自动产生的待检测区域可手动地进行后处理，从而可以在自动产生的检测区域上进行校正。

此外，为了检查还提出将具有待检测区域的人工图像和/或待检测区域的直观表示叠加到实际拍摄到的图像中。

为了在检测期间实现待检测区域与实际的图像的精确对应，根据本发明，可将待检测区域中根据设计数据求得的特征与在拍摄到的图像中可看出的特征相比较。只要在这些特征的位置上出现偏差，就可基于该比较而在必要时通过将待检测区域及图像中的特征移动为上下重叠来实施位置校正。通过该调整，对于进一步的检测曲线简化了待检测区域与实际的图像的对应。在寻找特征时，除了当前的图像也引入已经拍摄的图像。

根据前述的两个方法的特别优选的实施形式，该光学拍摄装置也被三维地校准。以这种方式，甚至可非常精确地根据图像求得拍摄到的物体的位置。这使得根据在图像中可看出的特征进行的精密定位成为可能，所述特征可与根据设计数据的特征相比较。以这种方式，通过三维地校准后的数据与设计数据的比较可进行物体的精密定位。这种形式的精密定位是特别有利的，因为由此保证了待检测区域正确地投影到实际的图像中。当例如仅通过传感器精确地采集待检测区域的位置时，没有这样的可靠性，因为另外的误差成因例如物体在运动装置上的打滑不能被可靠地采集。

特别有利的是，拍摄装置及运动装置可彼此校准。于是知道它们在坐标系中相互间的坐标，从而在任何时候都可简单及精确地确定它们相互间的位置。

附图说明

下面根据实施例参照附图详细说明本发明方法的其它特征、优点及可能的应用。在此，所有说明和/或图示的特征本身或任意组合都是本发明的组成部分，而与它们在权利要求或回引中的措词无关。

图中示出：

图1示意性示出用于设计检测路径的方法流程；

图2示意性示出用于确定表面上待检测区域的方法流程；

图3示意性示出具有物体上待检测区域的图像。

具体实施方式

图1示意性示出用于检测表面的***1，其中根据本发明的方法，对于光学拍摄装置4确定在构造成车身的三维物体3之上的多个检测路径2。该***例如适合于检测漆。但该***不限于对车身进行漆或表面检测。其优点恰恰在于，该***可灵活地使用在各种应用中并且可简单地进行改装。

在该实施例中，该光学拍摄装置4集成在一个检测单元中，在该检测单元中设有至少一个照相机作为拍摄单元4及至少一个照明装置。该光学拍摄装置4可以借助构造为机械手或操作机的运动装置5而相对所述三维物体3运动，该三维物体3本身可以在构造为输送带的运动装置6上运动。由此可实现该光学拍摄装置4与该三维物体3之间的相对运动。这些运动装置5和6由共同的控制装置7控制。

对于物体3和/或物体3上的待检测区域存在以电子形式存储的设计数据8，这些设计数据8具体是相应的三维设计程序的CAD数据。由这些设计数据可以得出物体3的三维结构。此外，拍摄装置4的光学成像特性作为照相机参数9已知。这些照相机参数9优选借助自动的照相机校准来产生，该校准不仅包括光学拍摄装置4或者说照相机的成像特性而且包括它在空间中的位置。

这种校准可以借助地点固定地设置在已知位置上且具有图案例如点的板而自动地产生。在此，由校准板的已知位置及图案可以非常精确地确定照相机4的成像特性以及它在空间中的位置。当照相机在地点固定的情况下安装时，其中三维物体3与该固定安装的照相机之间的相对运动通过配置给物体3的运动装置6实现，校准板可以设置在自己的运动装置上。然后，为了实施校准，这些运动装置连同光学拍摄装置4和/或校准板移动到校准位置上，拍摄图像并通过相应的校准软件进行分析。

设计数据8及照相机参数9通过计算单元10读入。通过这些数据，计算单元10可以根据本发明的方法通过给定拍摄装置与待检测表面之间的限定的几何关系，而自动地求得这个(这些)用于光学拍摄装置4的检测路径2。通过给定几何关系，例如待检测表面与光学拍摄装置之间的距离和/或表面法线与拍摄装置4的光轴之间的角度，计算单元10的程序可以根据电子设计数据8及照相机参数9计算出用于物体3的光学拍摄装置4的最优检测路径2。在此，在设计数据8中也可以给定一些支点(Stützpunkt)，这些支点可通过检测路径2而相互连接。

在具有静止拍摄装置的***中，通过拍摄装置的定向已经确定了可能的检测路径2。在此情况下，检测路径的设计被限制为计算光学拍摄装置4在车身3的上方所遵循的图像轨迹。相反，在运动的拍摄装置4中，拍摄装置的位置可以灵活地适应于待检查物体3的表面形状。尤其当光学拍摄装置4较小时，可以自由地在物体3的表面上设置检测路径，因为可以以大量的自由度在静止或运动的物体3的上方引导光学拍摄装置4。

在设计检测路径时，在充分利用拍摄装置的已知光学成像特性的情况下确定相应的拍摄位置，使得整个三维物体3或三维物体3上的所有先前确定的待检测区域由拍摄到的图像覆盖。在此，整个检测路径2也可由多个不相关的路径区段构成，这些区段通过中间路径相连接。以较高的速度经过这些中间路径，因为在这些中间路径上不进行图像拍摄。

基于用于光学拍摄装置4的检测路径2，可以在充分利用包含运动装置5、6的可能运动的运动信息11的情况下求得物体3与拍摄装置4之间的相对运动的运动过程。该运动过程由计算单元10传给控制运动装置5、6的控制装置7。最后，可以在考虑运动装置5、6的运动信息11和拍摄装置4的先前确定的拍摄位置的情况下确定出在运动装置5、6的运动过程期间进行图像拍摄的正确时刻。

由此在根据本发明设计检测路径2时确定了各个拍摄装置4或者说照相机在物体3例如车身的上方必须遵循的所有路径，由此物体的所有待检测区域都被图像覆盖。然后，由这些检测路径2，例如以待经过的操作机路径的形式求得各个运动装置5、6的运动过程。沿着所述操作机路径，基于检测路径上先前确定的拍摄位置，通过例如确定与当时的时刻相关联的照相机位置，而确定用于相应的光学拍摄装置4的图像拍摄的时刻。该运动过程将由计算单元10作为控制程序输送到控制装置7，然后该控制装置7使运动装置5、6自动地运动到正确的位置。

除了自动的路径设计，本发明还提出了一种方法，用于确定表面上的待检测区域12。在三维物体3例如车身上经常存在不必检测的区域。所述区域例如可能是以后通过装饰条或缓冲条覆盖的涂漆的面，可能是玻璃槽、卷边的弯曲凹槽、凹的凹入部的侧面例如号牌凹入部、或者金属板边的边缘区域等。

图3示出这种非检测区域13。在此，这些区域包括竖直的支柱和用于在车身3上安装缓冲条的水平安装面。所述非检测区域13可根据它们的几何形状及外形而由设计数据8自动求得。在物体3上给定所述非检测区域13。同样，也给定待检测区域12，其中在检测期间借助拍摄装置4使待检测区域12与实际上拍摄到的图像相对应。与图像相对应可基于设计数据8和已知的照相机参数9来进行，从而使光学拍摄装置4的图像14不仅具有待检测区域12，而且具有非检测区域13。

借助计算单元15根据设计数据8和该光学拍摄装置4的包含光学成像特性及照相机位置的照相机参数9来进行所述区域12、13的测定。在此，该计算单元15可与用于进行自动路径设计的计算单元10相同。计算单元15计算所有在检测期间拍摄到的照相机图像并且在这些图像中成像出待检测区域12。在计算出的图像14中存在非检测区域13以进行补充。

在计算出的图像14中自动产生的待检测区域12可例如借助精密的图像编辑器17进行处理。通过该精密编辑器17也可以确定出各个检测区。

在存储器16中，对于每个拍摄装置4存储由计算单元15产生并在必要时通过精密编辑器17进行后处理的具有待检测区域12和/或非检测区域13的图像14。该后处理借助包含在计算单元15中的图像编辑器17进行。

在计算单元15中具有检验模块18，以便检验整个所希望的表面是否实际上由存储器装置16中对于每个照相机所存储的待检测区域12覆盖，该检验模块18检验待检测区域12对物体3的覆盖情况。

为了使物体3在实际拍摄到的照相机图像中的定向与计算出的照相机图像14--其中定义了待检测区域12和/或非检测区域13--一致，通过三维校准的拍摄图像与设计数据8的比较而进行物体3的精密定位。由此使得计算出的图像14与拍摄到的照相机图像实际上相互保持一致。这可以通过检验由设计数据8计算出的图像14和拍摄到的图像中的明显的几何形状来实现。由此具体确保在拍摄到的图像中正确限定待检测区域12以及由随后的图像分析装置正确处理这些区域。

通过自动的路径设计及待检测区域的确定，其中该确定具体地自动根据设计数据进行并且在实施检测期间进行检验，该表面检测借助光学拍摄***而大大简化，这是因为在很大程度上取消了检测***的手动设置以及检测路径的手动给定。

参考标号表

1用于检测表面的***

2检测路径

3三维物体，车身

4光学拍摄装置

5运动装置，操作机

6运动装置，输送带

7控制装置

8设计数据

9照相机参数，光学成像特性

10计算单元

11运动信息

12待检测区域

13非检测区域

14图像

15计算单元

16存储器

17精密编辑器

18检验模块

Claims (24)

1.一种用于为至少一个光学拍摄装置(4)设计检测路径(2)以检测三维物体(3)的方法，其中所述拍摄装置(4)及所述三维物体(3)可借助运动装置(5，6)相对彼此运动，其特征在于，基于该三维物体(3)和/或该三维物体上待检测区域(12)的设计数据(8)以及该拍摄装置(4)的以电子形式存储的光学成像特性并利用计算单元(10)，通过给定该光学拍摄装置(4)与待检测表面之间的限定的几何关系，而自动地求得用于该拍摄装置(4)的检测路径(2)。

2.根据权利要求1所述的方法，其特征在于，所述光学拍摄装置(4)是照相机。

3.根据权利要求1所述的方法，其特征在于，所述设计数据(8)是CAD数据和/或用传感器测得的数据。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述光学拍摄装置(4)在静止或运动的三维物体(3)上方被引导。

5.根据权利要求1至3中任一项所述的方法，其特征在于，确定所述拍摄装置(4)的拍摄位置，使得整个三维物体(3)或三维物体上所有待检测区域(12)被拍摄到的图像覆盖。

6.根据权利要求5所述的方法，其特征在于，在考虑运动装置(5，6)的运动信息(11)及拍摄装置(4)的拍摄位置的情况下确定用于拍摄图像的时刻。

7.根据权利要求1至3中任一项所述的方法，其特征在于，对拍摄装置(4)配置照明装置；并且通过给定拍摄装置(4)、照明装置及待检测表面之间的限定的几何关系而求得检测路径(2)。

8.根据权利要求1至3中任一项所述的方法，其特征在于，由检测路径(2)求得所述三维物体(3)与拍摄装置(4)和/或照明装置之间的相对运动的运动过程。

9.根据权利要求8所述的方法，其特征在于，在测定运动过程时，使检测时间和/或检测路程尽可能短。

10.根据权利要求1至3中任一项所述的方法，其特征在于，对光学拍摄装置(4)的每个图像配置一个图像内的待检测区域(12)。

11.根据权利要求10所述的方法，其特征在于，根据待检测区域(12)及检测路径(2)来检验通过设计数据(8)定义的三维物体(3)或三维物体(3)上通过设计数据(8)定义的整个待检测区域(12)是否被完全覆盖。

12.根据权利要求1至3中任一项所述的方法，其特征在于，检测路径(2)和/或在三维物体(3)上定义的待检测区域(12)在显示装置上直观显示。

13.根据权利要求12所述的方法，其特征在于，所述显示装置是显示器。

14.一种用于根据三维物体(3)的以电子形式存在的设计数据(8)来确定三维物体(3)表面上的待检测区域(12)的方法，其特征在于，对于三维物体上的特定区域(12，13)给定是否检测及以何种方式检测该特定区域(12，13)；并且在检测期间通过拍摄装置(4)使该待检测区域(12)与实际拍摄到的图像相对应。

15.根据权利要求14所述的方法，其特征在于，所述设计数据(8)是CAD数据。

16.根据权利要求14所述的方法，其特征在于，在所述特定区域(12，13)中，待检测区域(12)、非检测区域(13)和/或以特定方式检测的区域根据设计数据(8)而自动确定。

17.根据权利要求14所述的方法，其特征在于，在所述特定区域(12，13)中，待检测区域(12)、非检测区域(13)和/或以特定方式检测的区域通过确定几何形状或关系而自动确定。

18.根据权利要求14至17中任一项所述的方法，其特征在于，待检测区域(12)作为计算出的图像(14)而存储和/或直观显示。

19.根据权利要求16所述的方法，其特征在于，所述自动产生的待检测区域(12)能够被手动处理。

20.根据从属于权利要求16或17时的权利要求18所述的方法，其特征在于，所述自动产生的待检测区域(12)能够被手动处理。

21.根据权利要求14至17中任一项所述的方法，其特征在于，将具有待检测区域(12)的计算出的图像(14)和/或待检测区域(12)的直观显示叠加到实际拍摄到的图像中。

22.根据权利要求14至17中任一项所述的方法，其特征在于，将待检测区域(12)中根据设计数据(8)求得的几何形状与拍摄到的图像中可识别的几何形状相比较并且在必要时根据该比较进行位置校正。

23.根据权利要求14至17中任一项所述的方法，其特征在于，所述拍摄装置(4)被三维校准。

24.根据权利要求23所述的方法，其特征在于，在拍摄到的图像中实施三维物体(3)的精密定位。

Images