CN115953589B - 一种基于深度相机的发动机缸体孔径尺寸测量方法 - Google Patents

Abstract

本发明涉及发动机缸体孔径尺寸测量技术领域，解决了目前提取发动机缸体上圆的方法无法相互协同，而导致对于孔径尺寸测量困难、精度低且存在局限性的技术问题，尤其涉及一种基于深度相机的发动机缸体孔径尺寸测量方法，包括以下步骤：S1、通过深度相机获取待处理发动机缸体的点云深度图、RGB图和点云渲染图；S2、将点云深度图、RGB图和点云渲染图输入至点云深度融合网络得到多源深度融合图像；S3、将多源深度融合图像输入至深度图像检测网络中进行目标分类与特征提取得到检测结果。本发明提高了点云特征提取的准确性，有效提升了对孔的检测识别能力，解决了缸体孔径检测困难的问题。

Description

一种基于深度相机的发动机缸体孔径尺寸测量方法

技术领域

本发明涉及发动机缸体孔径尺寸测量技术领域，尤其涉及一种基于深度相机的发动机缸体孔径尺寸测量方法。

背景技术

近些年来计算机科学技术飞速发展，虚拟现实与计算机图形学等技术进一步推动了增强现实等技术的出现。三维点云作为一种长期被广泛应用的三维对象表示方式，由于其结构简单、且对于存储空间需求较小，在近些年来取得了长足发展，特别是在工业领域中，如工业机器人、工业测量等领域。

孔特征在航空制造领域是重要的三维检测对象，其加工精度极大地影响着飞机制造的质量，快速检测孔并正确测量出孔的直径具有非常重大的意义，现有的孔提取方法要么对原始点云的质量敏感，对圆边界点进行分类，要么需要设计良好的拟合函数，对圆参数进行回归。更严重的是，这种分类和拟合是独立探索的，而不是相互协同准确提取圆的方法，导致对于发动机缸体上所存在大量的孔径尺寸测量困难，并且测量结果的精度较低，因此造成在自动化和检测精度方面仍然存在局限性。

发明内容

针对现有技术的不足，本发明提供了一种基于深度相机的发动机缸体孔径尺寸测量方法，解决了目前提取发动机缸体上圆的方法无法相互协同，而导致对于孔径尺寸测量困难、精度低且存在局限性的技术问题，达到了实现对发动机缸体孔径尺寸高准确率测量的目的。

为解决上述技术问题，本发明提供了如下技术方案：一种基于深度相机的发动机缸体孔径尺寸测量方法，包括以下步骤：

S1、通过深度相机获取待处理发动机缸体的点云深度图、RGB图和点云渲染图；

S2、将点云深度图、RGB图和点云渲染图输入至点云深度融合网络得到多源深度融合图像；

S3、将多源深度融合图像输入至深度图像检测网络中进行目标分类与特征提取得到检测结果；

S4、采用非极大抑制算法对检测结果进行优化得到最优检测检测框，最优检测框为精确检测出孔位置的深度图；

S5、根据点云与深度图之间的关系，在对应点云上截取相同的范围，得到预测框内的局部点云；

S6、将局部点云输入至PCCD-NET点云处理网络中获取局部点云中圆的边界点；

S7、采用RANSAC算法对局部点云中圆的边界点进行拟合，得到待处理发动机缸体的孔径并计算孔径。

进一步地，点云深度融合网络包括编码层、融合层、解码层三部分组成。

进一步地，编码层用于将输入的点云深度图、RGB图和点云渲染图进行处理并输出图片的深度特征映射；

编码层输出的深度特征映射作为融合层的输入，融合层用于将输入的深度特征映射进行加法融合输出一个包含所有源图像显著特征的特征映射。

融合层输出的特征映射作为解码层的输入，解码层用于将输入的特征映射通过解码网络得到多源融合深度图像；

解码层包含四个卷积层，卷积层滤波器的大小为3×3，解码层网络重建得到多源深度融合图像。

进一步地，编码层由稀疏块和密集块两部分组成，稀疏块包含3×3个用于提取粗糙特征的滤波器，密集块包括三个卷积层，卷积层的滤波器的大小为3×3。

进一步地，深度图像检测网络包括分别以YOLOv3和Dark，阈值T的取值为0.5。net-53作为卷积神经网络的基本框架和网络结构。

进一步地，在步骤S4中，采用非极大抑制算法对检测结果进行优化得到最优检测检测框包括以下步骤：

S41、设定一个阈值T，判断两个重叠检测框的值I与阈值T的大小关系；

若I＜T，则保留检测框，若I≥T，则进入步骤S42；

S42、比较深度图像中两个检测框中心像素的深度值是否存在差异；

若存在差异，则两个检测框中有两个物体，两个检测框都应保留；

若不存在差异，则两个检测框中的对象属于同一个对象，然后进入步骤S43；

S43、比较检测框的融合深度信息的得分S，取得分较高的作为最优检测框。

借由上述技术方案，本发明提供了一种基于深度相机的发动机缸体孔径尺寸测量方法，至少具备以下有益效果：

1、本发明通过采用点云深度融合网络获得多源深度融合图象，优化非极大抑制算法提高检测的准确性，并采用PCCD-NET点云处理网络得到圆的边界特征，在通过RANSAC算法拟合孔并计算孔径，实现了对于发动机缸体上孔径的高精度、高效率的测量。

2、本发明提高了点云特征提取的准确性，有效提升了对孔的检测识别能力，解决了缸体孔径检测困难的问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明发动机缸体孔径尺寸测量方法的流程图；

图2为本发明点云深度融合网络的网络结构示意图；

图3为本发明使用优化非极大抑制算法得到的深度图的示意图；

图4为本发明PCCD-NET点云处理网络的网络结构示意图；

图5为本发明整个发动机缸体孔径尺寸测量方法全流程的网络结构图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

请参照图1-图5，示出了本实施例的一种具体实施方式，本实施例将RGB图、点云深度图、点云渲染图进行深度特征融合，得到多源融合深度图像，使用YOLOv3对得到的融合深度图像进行特征检测，优化非极大抑制算法消除冗余的检测框，根据得的检测结果，在对应点云上截取对应的局部点云，输入PCCD-NET网络检测出圆孔边界，并用RANSAC算法进行拟合并测得孔的直径，具体的如图5所示，为整个发动机缸体孔径尺寸测量方法全流程的网络结构图。

传统的RGB图像的检测效果一般，采用融合的深度图像，可以提取图像显著特征，既可以保留图像的重要信息，还可以进行多尺度融合。传统非极大抑制算法，分类器识别分类后，每个检测框都会收到一个分数，但是滑动窗口会产生很多包含其他窗口或者大部分与其他窗口相交的检测框。然后，需要NMS提取邻域内得分最高的检测框，并抑制其他得分较低的检测框，传统的非极大抑制算法有两个缺陷，第一、选择最由检测框只取决于预测分数，缺乏稳健性，第二、两个距离很近的物体不会同时被检测到，而本实施采用优化的MNS算法，对该算法做出改进，能够检测出更多的重叠目标，而且可以获得更好的目标定位精度。

本实施例所提供的测量方法可以直接应用至各种孔径测量过程中，具体实现时可以将训练完成后的网络模型部署到相应程序中，以获得待测量孔的直径。

请参照图1，本实施例提出了一种基于深度相机的发动机缸体孔径尺寸测量方法，包括以下步骤：

S1、通过深度相机获取待处理发动机缸体的点云深度图、RGB图和点云渲染图；

S2、将点云深度图、RGB图和点云渲染图输入至点云深度融合网络得到多源深度融合图像；

请参照图2，点云深度融合网络包括编码层、融合层、解码层三部分组成；

编码层用于将输入的点云深度图、RGB图和点云渲染图进行处理并输出图片的深度特征映射；

编码层由稀疏块和密集块两部分组成，稀疏块包含3×3个用于提取粗糙特征的滤波器，密集块包括三个卷积层，卷积层的滤波器的大小为3×3，前一层的输出作为下一层的输入，最大限度地保留图片的深度特征，更好地用于特征融合；

编码层输出的深度特征映射作为融合层的输入，融合层用于将输入的深度特征映射进行加法融合输出一个包含所有源图像显著特征的特征映射，融合层采用加法融合的方法，，M=64为特征映射的数量，表示为经加法融合后得到的特征映射，加法融合的公式为：

上式中，为特征映射和融合特征映射中对应的位置，表示编码层从输入深度图中获得的特征映射，表示从输入图像中得到的特征映射的索引。

融合层输出的特征映射作为解码层的输入，解码层用于将输入的特征映射通过解码网络得到多源融合深度图像；

解码层包含四个卷积层，卷积层滤波器的大小为3×3，解码层网络重建得到多源深度融合图像。

具体的请参照图2，点云深度融合网络由编码层、融合层、解码层三部分组成，将点云深度图、RGB图和点云渲染图输入编码层，得到图片的深度特征映射，将其输入融合层，得到一个包含所有源图像显著特征的特征映射，将融合后的特征映射输入解码层，通过解码网络得到多源融合深度图像。深度图中的单个像素值是空间中物体的某个点到垂直于镜头光轴并通过镜头光心平面的垂直距离，单个像素点

S3、将多源深度融合图像输入至深度图像检测网络中进行目标分类与特征提取得到检测结果；

深度图像检测网络包括分别以YOLOv3和Darknet-53作为卷积神经网络的基本框架和网络结构。

将多源深度融合图像输入深度图像检测网络中进行多尺度预测，darknet中间层和中间层后某一层的上采样进行拼接，通过张量拼接扩充张量的维度，提取三个特征层，获得三个检测结果y1、y2和y3。

向深度图像检测网络中输入多源融合深度图像，提取三个特征层进行目标检测，得出三个预检测结果，并结合基于深度融合的NMS方法，去除冗余的检测框，得到精确检测出孔位置的深度图。

S4、采用非极大抑制算法对检测结果进行优化得到最优检测检测框，最优检测框为精确检测出孔位置的深度图。

请参照图3，为使用优化非极大抑制算法得到深度图。

在步骤S4中，采用非极大抑制算法对检测结果进行优化得到最优检测检测框包括以下步骤：

S41、设定一个阈值T，判断两个重叠检测框的值I与阈值T的大小关系，阈值T的取值为0.5。

值的计算公式为：

其中和为两个不同的检测框，为检测框区域。

若I＜T，则保留检测框，若I≥T，则进入步骤S42；

S42、比较深度图像中两个检测框中心像素的深度值是否存在差异；

若存在差异，则两个检测框中有两个物体，两个检测框都应保留；

若不存在差异，则两个检测框中的对象属于同一个对象，然后进入步骤S43；

S43、比较检测框的融合深度信息的得分S，取得分较高的作为最优检测框。

得分S的计算公式为：

；

其中为第个检测框的得分，为第个检测框中像素的平均灰度值，代表平均深度，代表第个检测框面积，代表一个惩罚值。

S5、根据点云与深度图之间的关系，深度图中的单个像素值是空间中物体的某个点到垂直于镜头光轴并通过镜头光心平面的垂直距离，单个像素点的坐标即为点云的XY坐标，根据垂直距离将其转化为世界坐标系下的点云的坐标。

通过将深度图图像坐标系下的像素点坐标转换为世界坐标系下的点云的坐标，可在对应点云上截取相同的范围，得到预测框内的局部点云，深度图是点云的投影，通过将深度图图像坐标系下的点像素坐标转换为世界坐标系下的点云的坐标，得到预测框内的局部点云。

S6、将局部点云输入至PCCD-NET点云处理网络中获取局部点云中圆的边界点；

请参照图4，为PCCD-NET点云处理网络的网络结构示意图，包含点云特征提取、特征融合、圆边界点检测三个模块，特征提取模块由两个多层感知机和最大池化层组成，能够对每个邻域进行特征提取，通过多层感知机进行最大池化操作，可以同时获得局部邻域和全局邻域的特征，同时对全局领域中感知能力强的特征进行编码，进行特征融合，以此得到局部点云中圆的边界点。

特征融合模块由两个正则化、多向注意和多层感知机组成，能够对特征提取模块提取到的局部邻域和全局邻域的特征进行特征融合，输出自适应于圆边界检测的融合特征，然后使用RANSAC算法对得到的圆的边界点进行拟合。

圆边界点检测模块由两个变压器模块FC结合softmax函数，能够充分利用提取的局部邻域特征和全局邻域特征。

将局部点云输入训练好的PCCD-NET点云处理网络中，对点云特征提取、特征融合、检测圆的边界点。PCCD-NET点云处理网络，是基于学习的边缘点分类器。对输入的局部点云，为了避免近圆边界点可能会被误认为圆边界点，通过ball query获得局部点云的两个邻域：局部邻域和全局邻域。

S7、采用RANSAC算法对局部点云中圆的边界点进行拟合，得到待处理发动机缸体的孔径并计算孔径。

将PCCD-NET点云处理网络的特征提取模块提取的特征输入特征融合模块，提取的特征即步骤S6中的局部点云中圆的边界点，圆的边界点周围的局部结构与其相邻点非常相似。为了进一步提高圆的边界点分类的准确性，通过一个变压器模块来充分利用提取的局部邻域特征和全局邻域特征，输出自适应于圆边界检测的融合特征，然后使用RANSAC算法对得到的圆的边界点进行拟合，从输入的圆的边界点云中随机选取三个点，记为内点集，根据内点估计圆参数，遍历边界点云中所有的点，当数据点在误差范围内，则归为内点集，当点的个数满足阈值时，则用所有的内点估计圆的参数，即可以拟合出圆并得到发动机缸体的孔径。

拟合出圆并得到发动机缸体的孔径通过RANSAC算法即可实现，具体的过程为：从输入的圆的边界点云中随机选取三个点，记为内点集，根据内点估计圆参数，遍历边界点云中所有的点，当数据点在误差范围内，则归为内点集，当点的个数满足阈值时，用所有的内点估计圆的参数，既可以拟合出圆并得到发动机缸体的孔径。

本实施例通过采用点云深度融合网络获得多源深度融合图象，优化非极大抑制算法提高检测的准确性，并采用PCCD-NET点云处理网络得到圆的边界特征，在通过RANSAC算法拟合孔并计算孔径，实现了对于发动机缸体上孔径的高精度、高效率的测量，提高了点云特征提取的准确性，有效提升了对孔的检测识然后使用RANSAC算法对得到的圆的边界点进行拟合，从输入的圆的边界点云中随机选取三个点，别能力，解决了缸体孔径检测困难的问题。

以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于深度相机的发动机缸体孔径尺寸测量方法，其特征在于，包括以下步骤：

S1、通过深度相机获取待处理发动机缸体的点云深度图、RGB图和点云渲染图；

S2、将点云深度图、RGB图和点云渲染图输入至点云深度融合网络得到多源深度融合图像；

S3、将多源深度融合图像输入至深度图像检测网络中进行目标分类与特征提取得到检测结果；

S4、采用非极大抑制算法对检测结果进行优化得到最优检测检测框，最优检测框为精确检测出孔位置的深度图；

S5、根据点云与深度图之间的关系，在对应点云上截取相同的范围，得到预测框内的局部点云；

S6、将局部点云输入至PCCD-NET点云处理网络中获取局部点云中圆的边界点；

S7、采用RANSAC算法对局部点云中圆的边界点进行拟合，得到待处理发动机缸体的孔径并计算孔径。

2.根据权利要求1所述的发动机缸体孔径尺寸测量方法，其特征在于：点云深度融合网络包括编码层、融合层、解码层三部分组成。

3.根据权利要求2所述的发动机缸体孔径尺寸测量方法，其特征在于：

编码层用于将输入的点云深度图、RGB图和点云渲染图进行处理并输出图片的深度特征映射；

编码层输出的深度特征映射作为融合层的输入，融合层用于将输入的深度特征映射进行加法融合输出一个包含所有源图像显著特征的特征映射；

融合层输出的特征映射作为解码层的输入，解码层用于将输入的特征映射通过解码网络得到多源融合深度图像；

解码层包含四个卷积层，卷积层滤波器的大小为3×3，解码层网络重建得到多源深度融合图像。

4.根据权利要求2或3所述的发动机缸体孔径尺寸测量方法，其特征在于：编码层由稀疏块和密集块两部分组成，稀疏块包含3×3个用于提取粗糙特征的滤波器，密集块包括三个卷积层，卷积层的滤波器的大小为3×3。

5.根据权利要求1所述的发动机缸体孔径尺寸测量方法，其特征在于：深度图像检测网络包括分别以YOLOv3和Darknet-53作为卷积神经网络的基本框架和网络结构。

6.根据权利要求1所述的发动机缸体孔径尺寸测量方法，其特征在于：在步骤S4中，采用非极大抑制算法对检测结果进行优化得到最优检测检测框包括以下步骤：

S41、设定一个阈值T，判断两个重叠检测框的值I与阈值T的大小关系；

若I＜T，则保留检测框，若I≥T，则进入步骤S42；

S42、比较深度图像中两个检测框中心像素的深度值是否存在差异；

若存在差异，则两个检测框中有两个物体，两个检测框都应保留；

若不存在差异，则两个检测框中的对象属于同一个对象，然后进入步骤S43；

S43、比较检测框的融合深度信息的得分S，取得分较高的作为最优检测框。

Images