CN109556534A - 传感器相对于全局三维表面重建的不同拼接块的全局定位 - Google Patents

Abstract

传感器相对于全局三维表面重建的不同拼接块的全局定位。本发明涉及对物体表面几何形状进行三维重建的测量***，包括：包括传感器和第一照相机的可移动测量装置，该测量装置被配置为根据第一位姿利用传感器生成物体的第一部分的第一三维表示，并利用第一照相机生成覆盖物体的第一部分的至少部分的第一图像，并根据第二位姿利用传感器生成物体的第二部分的第二三维表示，并利用第一照相机生成覆盖物体的第二部分的至少部分的第二图像；固定的第一投影仪，其布置在测量装置外部，并被配置为将纹理投影到物体的第一和第二部分上；以及缝合计算机，其被配置为基于第一和第二图像，利用第一和第二三维表示生成物体的第一部分和第二部分的整体三维表示。

Description

传感器相对于全局三维表面重建的不同拼接块的全局定位

技术领域

本发明涉及一种用于对物体的表面几何形状进行三维重建的测量***。

背景技术

为了利用结构的三维测量值生成所述结构的数字表示，可用诸如白光扫描仪、蓝光扫描仪、光学或触觉坐标测量机(CMM)、3D激光扫描仪、超声厚度测试仪或基于计算机断层扫描的扫描装置的各种测量装置。这些装置用于在汽车和其它制造业中进行加工、检查和制造处理。在这些应用领域中，需要测量***在使用时具有灵活性，同时符合最高的精度标准。

通用测量装置还可以合并多个局部测量(即，对物体的部分的测量)，以生成结构的全面三维表示。由于也被称为缝合(stitching)的这种功能，可以将结构分成在其中进行局部测量的部分(即，拼接块(tile))。

在缝合过程中，需要确定特定拼接块的点云之间的相对位置和取向(即，相对位姿)。为此目的，已知的测量装置依赖于用于随时间推移检测测量装置位姿的机构，以便推导出拼接块的所述相对位姿。例如，通过机器人臂的角度编码器和/或通过测量装置的激光跟踪来监视测量装置的位姿。

然而，这些位姿检测机构遇到误差累积、温度依赖性和/或不利的可重复性。因此，所述机构需要定期进行校准，以便在缝合拼接块时提供可持续的精度。这些情形导致在测量过程中花费了时间，并且仍然提供关于拼接块位姿的相对不稳定的精度。

此外，为了进行定位，其它已知的测量***依赖于使用部分上从不同观察点捕获并因此充当基准的目标/标记。然而，这不仅成本高而且要进行复杂的努力。

因此，本发明的目的是提供一种提供改善的缝合功能的测量***。尤其是，本发明提供了一种拼接块缝合精度更高且更稳定的测量***。本发明的另一个特定目的是使测量过程不太复杂。

这些改善中的至少一个是通过根据本发明的权利要求1和/或从属权利要求所述的测量***来实现的。

发明内容

本发明涉及一种配置为对物体的表面几何形状进行三维重建的测量***，该***包括：可移动测量装置，该可移动测量装置包括传感器和第一照相机，其中，所述测量装置被配置为，根据第一位姿，利用所述传感器，生成所述物体的第一部分的第一三维表示，并且利用第一照相机，生成覆盖所述物体的所述第一部分的至少一部分的第一图像，并且根据第二位姿，利用所述传感器，生成所述物体的第二部分的第二三维表示，并且利用第一照相机，生成覆盖所述物体的所述第二部分的至少一部分的第二图像；固定的第一投影仪，该第一投影仪相对于测量装置布置在外部，并且被配置为将纹理投影到所述物体的所述第一部分和第二部分二者上；以及缝合计算机，该缝合计算机被配置为基于所述第一图像和第二图像，根据所述第一三维表示和第二三维表示生成所述物体的所述第一部分和第二部分二者的整体三维表示。

传感器被配置为生成三维表示。传感器可以包括至少一个照相机，尤其是立体照相机。尤其是，传感器可以包括第一照相机和第二照相机。然而，传感器可以另选地或附加地包括电子测距仪(EDM)。传感器可以另选地或附加地包括激光扫描仪。

纹理可以具有非重复图案。换句话讲，投影仪可以被配置为以非重复图案投影纹理。

第一投影仪可以被配置为相对于第一照相机正生成第一图像和第二图像的时刻，投影相同的纹理。

为了生成整体三维表示，缝合计算机可以被配置为基于如在第一图像和第二图像中捕获的纹理将第一三维表示和第二三维表示进行匹配。

第一图像、第二图像、第一三维表示和第二三维表示可以具有共同的重叠区。也就是说，为此目的相应地选择第一位姿和第二位姿。

与传感器的视场相比，照相机可能具有更小、更大或基本相同的视场。然而，照相机的视场和传感器的视场通常由于它们的设置而至少部分重叠。换句话讲：第一图像和第一三维表示具有共同的(第一)重叠区。同样，该第一重叠区与第二重叠区重叠(该第二重叠区是第二图像与第二三维表示的重叠)。

为了生成整体三维表示，缝合计算机可以被配置为基于如在第一图像中捕获的纹理和在第二图像中捕获的纹理的匹配来变换第一三维表示和第二三维表示中的至少一个。

测量装置还可以被配置为，根据第三位姿，利用传感器，生成所述物体的第三部分的第三三维表示，并且利用第一照相机，生成覆盖所述物体的所述第三部分的至少一部分的第三图像，并且其中，缝合计算机可以被配置为基于第三图像以及第一图像和第二图像中的至少一个，利用第一三维表示、第二三维表示和第三三维表示来生成所述物体的所述第一部分、所述第二部分和所述第三部分的整体三维表示。也就是说，基于第二图像和第三图像，利用已经缝合的第一三维表示和第二三维表示来缝合第三三维表示。像这样，逐拼接块地添加整体三维表示。

尤其是，缝合计算机可以被配置为基于第一图像、第二图像和第三图像，应用所述物体的所述第一部分、第二部分和第三部分的整体三维表示的期望最大化(EM)-优化。

尤其是，缝合计算机可以被配置为在已经获得了多个图像和对应的三维表示之后以批量处理来缝合三维表示。

缝合计算机可以被配置为接收位姿数据，其中，所述位姿数据表示所述测量装置的位姿的时间顺序，并且基于所述位姿数据来生成整体三维表示。所述位姿数据可以通过由测量装置、测量装置可以布置在其上的机器人臂的角度编码器、测量装置可以布置在其上的可转动盘的角度编码器、物体可以布置在其上的装配线的定位单元组成的惯性测量单元(IMU)来提供。位姿数据被认为是对拼接块的三维表示之间的相对位姿的粗略估计(或用于推导出粗略估计的手段)。基于图像进行高精度缝合被认为是针对拼接块表示的匹配的微调。

测量装置可以被配置为生成位姿数据。例如，可以通过对照相机所捕获的视频进行特征跟踪来生成位姿数据。还可以通过利用照相机执行的实时定位与建图(SLAM)过程来推导位姿数据。此外，可以通过预先已知的独特图案分析纹理来粗略地提取位姿数据。

测量***还可以包括：定位装置，该定位装置被配置为移动测量装置；以及控制器，该控制器被配置为控制定位装置并且提供预定的位姿作为第一位姿和第二位姿。在这种配置中，关于缝合和/或捕获三维表示，可以确定或预定合适和/或最佳的位姿组成。

所述测量***还可以包括第二投影仪，该第二投影仪是静止的或者由所述测量装置组成。所述第二投影仪可以被配置为将纹理投影到物体的第一部分和第二部分上。尤其是，第二投影仪所投影的纹理可以与第一投影仪所投影的纹理不同。然而，所有投影仪也可以投影完全相同的纹理，其中，每次投影要么被单独处理，要么即使不止一次的投影也被一起处理，每次投影也可以被投影在部分的不同区域中，使得投影得到的其图案没有重叠。

缝合计算机可以被配置为通过检测并识别第一图像和第二图像中的至少一个中的已知标记来缩放三维表示。尤其是，可以使用置于固定装置的不同区域中的多个标记。通常在单独的图像中检测到所述标记，并且在拼接块中的一些中检测到这些标记。所述标记可以是测量***的部分并且被放置在相对于物体的规定位置处。因为标记的位姿和尺寸是预定的，所以可以推导出三维表示的比例。

尤其是，第一照相机以相对于传感器规定的位姿布置。

尤其是，投影仪不断地将其纹理照射到物体上，或者将照射与测量装置的捕获时间点同步。

尤其是，可以使用投影的纹理将传感器引导到下一个拼接块。为此目的，可以利用所规定的代码模式对纹理进行编码，使得传感器可以立即读取下一个要捕获的拼接块。另选地，纹理具有随机图案，并且传感器被配置为自动计算下一个要捕获的拼接块。然而，除非没有定位初始猜测，否则用户也可以任意挑选下一个拼接块。用户甚至可以采用与其它拼接块完全没有重叠的新拼接块，随后在其间添加重叠的拼接块。在没有初始猜测的情况下(例如，当纹理未被编码时)，传感器可以被配置为自动计算下一个要捕获的拼接块。

为了缝合物体的第一部分和第二部分(拼接块)，缝合计算机可以首先向第一图像和第二图像应用单应性(Homography)图像处理，尤其是，以便于在图像内进行图像相关和对应。使用单应性来变换图像，所以它们将在开始进行对应之前具有相近的视角。

利用一个或更多个数字投影仪来确定传感器的位置，而不是使用激光***、映射目标或机器人可重复性。投影仪将随机纹理投影到传感器能以各种位置和取向检测其纹理的部分上。该纹理可以是不可重复的图案，从而确保在其每个小区域中，在X/Y轴二者上都具有变化(梯度)，以使得两个不同观察点之间能够精确对应。

为此目的，传感器具有至少一个捕获所投影纹理的照相机。在测量时间段期间，投影仪相对于部分是静止的(在具有机器人的自动工位的情况下，投影仪应该仅在一次自动运行时是静态的，一次自动运行通常花费几分钟)。传感器所生成的三维重建与照相机所生成的图像具有已知的预定空间关系。在从两个不同观察点(或拼接块)观看的每个重叠区上，识别利用照相机捕获的图像中的对应二维点。结果，对应的三维表示(点云)基于图像中匹配的二维点经历相对六个自由度的变换(旋转和平移)。为了改善所有对的最终定位，可选地，可以应用EM优化，EM优化将来自所有3D-2D对(点云+图像)的所有数据一起考虑。从不同位姿捕获的图像彼此之间可以具有至少一个(即，尤其是多个)重叠区。在将所有拼接块缝合在一起之后，可选地，可以向最终(CAD)模型应用最终对准。

为了将每个拼接块与其重叠拼接块匹配，可以首先执行粗略的初始定位。这种可选的措施可以延缓当前拼接块与所有其它拼接块之间的对应关系的相对繁重的计算，无论如何，其中大部分常常与当前拼接块没有重叠。该措施的另一个优点在于，在找到重叠拼接块之后，可以基于初始相对变换来更快更准确地确定对应关系。

例如，在具有机器人的自动工位上，可以使用粗略的机器人位置来获得初始定位猜测。这些机器人位置通常不如所需的定位精度准确。

在另一个示例中，为了获得便携式\人工***上的初始猜测，可以采用以下措施中的至少一个：

·随机纹理可以包括具有标记或特殊代码(例如QR代码或任何其它可检测编码标记)的特有签名或者由其组成，这些标记或特殊代码遍布在整个纹理上并且可以在每个拼接块中被识别。在识别到图案\代码之后，可以检查它们在先前拼接块上是否出现，以实现粗略定位。

·可以使用用于测量装置的已知路径。这样的路径可以由用户或软件应用来规定，其中，沿着路径的某些位姿是预定的，并且将在所述位姿中采用每个拼接块。例如，可以预先确定，应该在相对于前一拼接块的特定方向上捕获后续拼接块。

·可以在诸如IMU的测量装置上使用粗略跟踪单元，该粗略跟踪单元提供用于初始猜测的粗略定位。

在一个实施方式中，待测量物体布置在转台或其它移动平台上，从而使得能够从一个以上的位置测量物体。例如，可以使用该设置从两侧测量某一部分(诸如，挡泥板或车门)。在这种情况下，从不同视角(工位)生成的联合点云可以通过相对位姿数据关联到一起，该相对位姿数据可以通过以下措施中的至少一个来获得：

·目标/标记可以用在该部分周围的可移动部分固定装置上(不在该部分上)。可以在包括部分和相应目标/标记二者的该部分边缘附近的拼接块上捕获和检测到这些目标/标记。可以在每个工位(视角)检测到至少一个目标，并且将使用它们的位姿，要么通过对该部分周围的多个目标的扫描测量映射，要么通过连接来自查看工位重叠区中的相同目标的不同工位的拼接块来连接不同工位。还可以使用目标来更新机器人坐标系和传感器坐标系之间的手-眼校准，使用该校准来计算自动***中的初始猜测定位。

·通过使用工位之间的重叠区上的所投影纹理上的对应关系，还可以按与拼接块在同一工位内连接的方式相同的方式来连接不同工位。在投影仪相对于旋转台不是静止的情况下，或者在所述重叠区域不能被投影仪覆盖的情况下，另选地，可以使用实体纹理(例如，打印的)。

在另一实施方式中，为了验证投影仪在测量期间没有移动，可以测量覆盖具有所投影纹理和目标/标记(可在不管所投影纹理的情况下检测到该目标/标记)二者的区域的一个或更多个拼接块，以验证所投影纹理的相对位置，并且即使机器人没有精确地到达同一位置，目标也没有改变。

在另一实施方式中，离线编程可以帮助找到所推荐的传感器位姿，以确保所有拼接片之间的重叠充分。该软件还可以推荐更好的视角(例如，还将投影仪位置考虑在内)，以防止传感器挡住投影。

在另一实施方式中，在不同拼接块组之间没有重叠的情况下，可以将每个组的缝合与每个组的其它定位方法相组合。换句话讲，将通过机器人可重复性/固定装置目标/其它定位方法来设置每个组位置(组中的所有拼接块之间相对于所有组公共的全局坐标系的一个公共变换)，但是内部缝合将利用外部投影仪来完成。拼接块次序与重叠无关。可以采用两个非重叠的拼接块，然后可以在之后补全它们之间的拼接块。

在另一实施方式中，在存在一个以上的投影仪的情况下，可以生成一起覆盖两个纹理的图像，或者可以生成分别覆盖每个投影仪纹理的图像，以随后分别确定与每个投影仪图像上的其它拼接块的对应关系。然而，最终，考虑所有投影仪图像来确定最佳变换。也可以在每个拼接块中分别控制每个投影仪，以限定获得图像的照相机和投影仪的强度和曝光时间。

在另一实施方式中，为了补偿传感器振动或照相机振动，可以不止一次地生成外部投影仪图像，例如，在生成三维表示的开始时和结束时(并且尤其是，在中间)。最后，可以使用多次抓取，在光学传感器在当前拼接块上不稳定时取消拼接块，或者计算由外部投影仪图像(两个或更多个)的相关集合组合而成的平均变换。

在另一实施方式中，可以通过传感器三维重建来设置比例。可选地，在绘图比例更准确(通常，对于较大场景)的情况下，使用通过扫描测量法映射的固定装置目标来更新传感器的比例。在对部分连同固定装置目标一起的测量结束时，可以以未知比例来确定最佳拟合，并且可以计算比例校正。在由传感器重建的固定装置目标和固定的固定装置目标的映射之间进行最佳拟合(假定因为其映射，固定装置没有改变)。

在另一实施方式中，为了相邻拼接块之间的更好的对应，可以使用初始定位猜测，可以计算单应性变换，并且可以对图像进行预处理，以形成彼此尽可能相近的两个图像。这主要在两个视角不同(例如，如果传感器倾斜90度)或者当拼接块之间的照明条件相当不同时选择。

总之，本发明通过使用至少一个外部固定投影仪在一部分上投影纹理并通过使用数十万个点基于共同投影纹理缝合相邻拼接块来提供用于全球定位的新的无目标解决方案。

附图说明

下面将通过参照附有附图的示例性实施方式来更详细地描述本发明，在附图中：

图1示出了根据本发明的测量***的实施方式；

图2示出了根据本发明的测量***的第二实施方式；

图3示出了根据本发明的测量***的第三实施方式。

具体实施方式

图1示出了根据本发明的测量***1的实施方式。投影仪11被配置为将纹理110投影到物体2上，物体2例如是汽车的车门，其中，物体2相对于投影仪11被静态地定位。包括传感器100和照相机101的测量装置10可相对于物体移动。通过传感器100，测量装置被配置为逐个拼接块地感测物体的表面。通过这种测量，生成每个拼接块1001的点云。尤其是，照相机101被配置为捕获投影到拼接块1001上的纹理110。

至少在可移动测量装置已生成物体(拼接块)的所期望量的部分的三维表示和图像的时间内，投影仪11关于其相对于物体2的位姿是静止的。例如，如果更换了物体，则可以重新布置投影仪11，以便用纹理更好地覆盖物体。

在图1中示出的实施方式中，照相机101的视场在物体上与传感器100的视场重合。然而，所述视场也可能没有精确重合在物体上。例如，与传感器100的视场相比，照相机101的视场可以更宽以便捕获物体上更大的区域，或者反之亦然。

尤其是，照相机101可以被配置成在物体上捕获传感器100未捕获的区域。这样扩展后的覆盖范围可以至少部分地围绕传感器所捕获的区域延伸，并且可以尤其用于缝合两个相邻的拼接块，因为(至少)扩展后的覆盖区域与前一拼接块的图像重叠。

除了传感器100之外，照相机101可以可以被理解为测量装置所包括的单独元件。然而，它也可以被理解为传感器100的一部分，例如，在传感器的必要元件是至少一个照相机的情况下。在这种情况下，传感器100被配置为生成三维表示(点云)并且用于生成图像。

例如，可以通过顺序或累积地逐个拼接块进行缝合来生成整个物体2的整体三维表示，并且/或者可以记录多个拼接块(点云和图像)，然后，在使用图像进行批量处理时，生成整体三维表示，其中，每个图像都与至少一个其它图像重叠。

投影仪可以在记录所有拼接块1001的同时始终照射物体，或者它可以只在测量装置正记录每个拼接块(生成三维表示和图像)的时刻才照射物体。在任一种情况下，所投影的纹理110在所述记录时刻都具有相同的图案，使得利用在图像中重新识别的图案部分，可以缝合点云。

根据图2，测量装置可以是手持的和/或被配置成手持的。用户3可以将测量装置10沿着物体引导，以指向随机或预定的拼接块，并且在每个拼接块处，触发生成点云和对应的图像。

根据图3，测量装置可以布置在机器人臂4的端部处。所述机器人臂4可以包括机动关节和用于使测量装置10具有特定位姿的控制计算机。机器人臂4可以是静止的，或者被配置成手动或自动地移动(例如，在装配线中)。

虽然以上部分地参照一些优选实施方式例示了本发明，但是必须理解，可以对实施方式的不同特征进行众多修改和组合。所有这些修改形式都落入所附权利要求书的范围内。

Claims (15)

1.一种测量***，该测量***被配置为对物体的表面几何形状进行三维重建，所述测量***包括：

·可移动的测量装置，所述测量装置包括传感器和第一照相机，其中，所述测量装置被配置为，

□根据第一位姿，

·利用所述传感器，生成所述物体的第一部分的第一三维表示，并且

·利用所述第一照相机，生成覆盖所述物体的所述第一部分的至少部分的第一图像，并且

□根据第二位姿，

·利用所述传感器，生成所述物体的第二部分的第二三维表示，并且

·利用所述第一照相机，生成覆盖所述物体的所述第二部分的至少部分的第二图像，

·固定的第一投影仪，所述第一投影仪布置在所述测量装置的外部，并且被配置为将纹理投影到所述物体的所述第一部分和所述第二部分二者上，以及

·缝合计算机，所述缝合计算机被配置为基于所述第一图像和所述第二图像，根据所述第一三维表示和所述第二三维表示生成所述物体的所述第一部分和所述第二部分二者的整体三维表示。

2.根据权利要求1所述的测量***，

其中，所述传感器包括至少一个照相机。

3.根据权利要求2所述的测量***，

其中，所述传感器包括电子测距仪(EDM)。

4.根据前述权利要求中任一项所述的测量***，

其中，所述纹理具有非重复图案。

5.根据前述权利要求中任一项所述的测量***，

其中，所述第一投影仪被配置为对于所述第一照相机正生成所述第一图像和所述第二图像的时刻，投影相同的纹理。

6.根据前述权利要求中任一项所述的测量***，

其中，为了生成整体三维表示，所述缝合计算机被配置为基于在所述第一图像和所述第二图像中拍摄到的纹理将所述第一三维表示与所述第二三维表示匹配。

7.根据前述权利要求中任一项所述的测量***，

其中，所述第一图像、所述第二图像、所述第一三维表示和所述第二三维表示具有共同的重叠区域。

8.根据前述权利要求中任一项所述的测量***，

其中，为了生成整体三维表示，所述缝合计算机被配置为基于所述第一图像中捕获的纹理与所述第二图像中捕获的纹理的匹配来变换所述第一三维表示和所述第二三维表示中的至少一个。

9.根据前述权利要求中任一项所述的测量***，

其中，所述测量装置还被配置为，

□根据第三位姿，

·利用所述传感器，生成所述物体的第三部分的第三三维表示，并且

·利用所述第一照相机，生成覆盖所述物体的所述第三部分的至少部分的第三图像，并且

其中，所述缝合计算机被配置为，

□基于所述第一图像和所述第二图像中的至少一个以及所述第三图像，根据所述第一三维表示、所述第二三维表示和所述第三三维表示来生成所述物体的所述第一部分、所述第二部分和所述第三部分的整体三维表示。

10.根据权利要求11所述的测量***，

其中，所述缝合计算机被配置为

□基于所述第一图像、所述第二图像和所述第三图像，应用所述物体的所述第一部分、所述第二部分和所述第三部分的所述整体三维表示的期望最大化(EM)优化。

11.根据前述权利要求中任一项所述的测量***，

其中，所述缝合计算机被配置为，

□接收位姿数据，其中，所述位姿数据表示所述测量装置的位姿的时间顺序，所述位姿数据是粗略的，包括IMU、机器人定位数据、转盘、装配线，并且

□基于所述位姿数据来生成所述整体三维表示。

12.根据权利要求13所述的测量***，

其中，所述测量装置被配置为生成所述位姿数据，所述位姿数据包括粗略的特征跟踪、SLAM、独特纹理图案。

13.根据前述权利要求中任一项所述的测量***，

所述测量***包括：

·定位装置，所述定位装置被配置为移动所述测量装置，以及

·控制器，所述控制器被配置为控制所述定位装置并且提供预定的位姿作为所述第一位姿和所述第二位姿，该预定的位姿对于缝合/3D拍摄是合适/最佳的。

14.根据前述权利要求中任一项所述的测量***，

所述测量***包括：

·第二投影仪，所述第二投影仪是静止的或者由所述测量装置构成。

15.根据前述权利要求中任一项所述的测量***，

其中，所述缝合计算机被配置为通过检测并识别所述第一图像和所述第二图像中的至少一个中的已知标记来缩放所述三维表示。