CN115953589A - 一种基于深度相机的发动机缸体孔径尺寸测量方法 - Google Patents
一种基于深度相机的发动机缸体孔径尺寸测量方法 Download PDFInfo
- Publication number
- CN115953589A CN115953589A CN202310234324.0A CN202310234324A CN115953589A CN 115953589 A CN115953589 A CN 115953589A CN 202310234324 A CN202310234324 A CN 202310234324A CN 115953589 A CN115953589 A CN 115953589A
- Authority
- CN
- China
- Prior art keywords
- depth
- point cloud
- map
- fusion
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及发动机缸体孔径尺寸测量技术领域,解决了目前提取发动机缸体上圆的方法无法相互协同,而导致对于孔径尺寸测量困难、精度低且存在局限性的技术问题,尤其涉及一种基于深度相机的发动机缸体孔径尺寸测量方法,包括以下步骤:S1、通过深度相机获取待处理发动机缸体的点云深度图、RGB图和点云渲染图;S2、将点云深度图、RGB图和点云渲染图输入至点云深度融合网络得到多源深度融合图像;S3、将多源深度融合图像输入至深度图像检测网络中进行目标分类与特征提取得到检测结果。本发明提高了点云特征提取的准确性,有效提升了对孔的检测识别能力,解决了缸体孔径检测困难的问题。
Description
技术领域
本发明涉及发动机缸体孔径尺寸测量技术领域,尤其涉及一种基于深度相机的发动机缸体孔径尺寸测量方法。
背景技术
近些年来计算机科学技术飞速发展,虚拟现实与计算机图形学等技术进一步推动了增强现实等技术的出现。三维点云作为一种长期被广泛应用的三维对象表示方式,由于其结构简单、且对于存储空间需求较小,在近些年来取得了长足发展,特别是在工业领域中,如工业机器人、工业测量等领域。
孔特征在航空制造领域是重要的三维检测对象,其加工精度极大地影响着飞机制造的质量,快速检测孔并正确测量出孔的直径具有非常重大的意义,现有的孔提取方法要么对原始点云的质量敏感,对圆边界点进行分类,要么需要设计良好的拟合函数,对圆参数进行回归。更严重的是,这种分类和拟合是独立探索的,而不是相互协同准确提取圆的方法,导致对于发动机缸体上所存在大量的孔径尺寸测量困难,并且测量结果的精度较低,因此造成在自动化和检测精度方面仍然存在局限性。
发明内容
针对现有技术的不足,本发明提供了一种基于深度相机的发动机缸体孔径尺寸测量方法,解决了目前提取发动机缸体上圆的方法无法相互协同,而导致对于孔径尺寸测量困难、精度低且存在局限性的技术问题,达到了实现对发动机缸体孔径尺寸高准确率测量的目的。
为解决上述技术问题,本发明提供了如下技术方案:一种基于深度相机的发动机缸体孔径尺寸测量方法,包括以下步骤:
S1、通过深度相机获取待处理发动机缸体的点云深度图、RGB图和点云渲染图;
S2、将点云深度图、RGB图和点云渲染图输入至点云深度融合网络得到多源深度融合图像;
S3、将多源深度融合图像输入至深度图像检测网络中进行目标分类与特征提取得到检测结果;
S4、采用非极大抑制算法对检测结果进行优化得到最优检测检测框,最优检测框为精确检测出孔位置的深度图;
S5、根据点云与深度图之间的关系,在对应点云上截取相同的范围,得到预测框内的局部点云;
S6、将局部点云输入至PCCD-NET点云处理网络中获取局部点云中圆的边界点;
S7、采用RANSAC算法对局部点云中圆的边界点进行拟合,得到待处理发动机缸体的孔径并计算孔径。
进一步地,点云深度融合网络包括编码层、融合层、解码层三部分组成。
进一步地,编码层用于将输入的点云深度图、RGB图和点云渲染图进行处理并输出图片的深度特征映射;
解码层包含四个卷积层,卷积层滤波器的大小为3×3,解码层网络重建得到多源深度融合图像。
进一步地,编码层由稀疏块和密集块两部分组成,稀疏块包含3×3个用于提取粗糙特征的滤波器,密集块包括三个卷积层,卷积层的滤波器的大小为3×3。
进一步地,深度图像检测网络包括分别以YOLOv3和Dark,阈值T的取值为0.5。net-53作为卷积神经网络的基本框架和网络结构。
进一步地,在步骤S4中,采用非极大抑制算法对检测结果进行优化得到最优检测检测框包括以下步骤:
若I<T,则保留检测框,若I≥T,则进入步骤S42;
S42、比较深度图像中两个检测框中心像素的深度值是否存在差异;
若存在差异,则两个检测框中有两个物体,两个检测框都应保留;
若不存在差异,则两个检测框中的对象属于同一个对象,然后进入步骤S43;
S43、比较检测框的融合深度信息的得分S,取得分较高的作为最优检测框。
借由上述技术方案,本发明提供了一种基于深度相机的发动机缸体孔径尺寸测量方法,至少具备以下有益效果:
1、本发明通过采用点云深度融合网络获得多源深度融合图象,优化非极大抑制算法提高检测的准确性,并采用PCCD-NET点云处理网络得到圆的边界特征,在通过RANSAC算法拟合孔并计算孔径,实现了对于发动机缸体上孔径的高精度、高效率的测量。
2、本发明提高了点云特征提取的准确性,有效提升了对孔的检测识别能力,解决了缸体孔径检测困难的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明发动机缸体孔径尺寸测量方法的流程图;
图2为本发明点云深度融合网络的网络结构示意图;
图3为本发明使用优化非极大抑制算法得到的深度图的示意图;
图4为本发明PCCD-NET点云处理网络的网络结构示意图;
图5为本发明整个发动机缸体孔径尺寸测量方法全流程的网络结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
请参照图1-图5,示出了本实施例的一种具体实施方式,本实施例将RGB图、点云深度图、点云渲染图进行深度特征融合,得到多源融合深度图像,使用YOLOv3对得到的融合深度图像进行特征检测,优化非极大抑制算法消除冗余的检测框,根据得的检测结果,在对应点云上截取对应的局部点云,输入PCCD-NET网络检测出圆孔边界,并用RANSAC算法进行拟合并测得孔的直径,具体的如图5所示,为整个发动机缸体孔径尺寸测量方法全流程的网络结构图。
传统的RGB图像的检测效果一般,采用融合的深度图像,可以提取图像显著特征,既可以保留图像的重要信息,还可以进行多尺度融合。传统非极大抑制算法,分类器识别分类后,每个检测框都会收到一个分数,但是滑动窗口会产生很多包含其他窗口或者大部分与其他窗口相交的检测框。然后,需要NMS提取邻域内得分最高的检测框,并抑制其他得分较低的检测框,传统的非极大抑制算法有两个缺陷,第一、选择最由检测框只取决于预测分数,缺乏稳健性,第二、两个距离很近的物体不会同时被检测到,而本实施采用优化的MNS算法,对该算法做出改进,能够检测出更多的重叠目标,而且可以获得更好的目标定位精度。
本实施例所提供的测量方法可以直接应用至各种孔径测量过程中,具体实现时可以将训练完成后的网络模型部署到相应程序中,以获得待测量孔的直径。
请参照图1,本实施例提出了一种基于深度相机的发动机缸体孔径尺寸测量方法,包括以下步骤:
S1、通过深度相机获取待处理发动机缸体的点云深度图、RGB图和点云渲染图;
S2、将点云深度图、RGB图和点云渲染图输入至点云深度融合网络得到多源深度融合图像;
请参照图2,点云深度融合网络包括编码层、融合层、解码层三部分组成;
编码层用于将输入的点云深度图、RGB图和点云渲染图进行处理并输出图片的深度特征映射;
编码层由稀疏块和密集块两部分组成,稀疏块包含3×3个用于提取粗糙特征的滤波器,密集块包括三个卷积层,卷积层的滤波器的大小为3×3,前一层的输出作为下一层的输入,最大限度地保留图片的深度特征,更好地用于特征融合;
编码层输出的深度特征映射作为融合层的输入,融合层用于将输入的深度特征映射进行加法融合输出一个包含所有源图像显著特征的特征映射,融合层采用加法融合的方法,,M=64为特征映射的数量,表示为经加法融合后得到的特征映射,加法融合的公式为:
解码层包含四个卷积层,卷积层滤波器的大小为3×3,解码层网络重建得到多源深度融合图像。
具体的请参照图2,点云深度融合网络由编码层、融合层、解码层三部分组成,将点云深度图、RGB图和点云渲染图输入编码层,得到图片的深度特征映射,将其输入融合层,得到一个包含所有源图像显著特征的特征映射,将融合后的特征映射输入解码层,通过解码网络得到多源融合深度图像。深度图中的单个像素值是空间中物体的某个点到垂直于镜头光轴并通过镜头光心平面的垂直距离,单个像素点
S3、将多源深度融合图像输入至深度图像检测网络中进行目标分类与特征提取得到检测结果;
深度图像检测网络包括分别以YOLOv3和Darknet-53作为卷积神经网络的基本框架和网络结构。
将多源深度融合图像输入深度图像检测网络中进行多尺度预测,darknet中间层和中间层后某一层的上采样进行拼接,通过张量拼接扩充张量的维度,提取三个特征层,获得三个检测结果y1、y2和y3。
向深度图像检测网络中输入多源融合深度图像,提取三个特征层进行目标检测,得出三个预检测结果,并结合基于深度融合的NMS方法,去除冗余的检测框,得到精确检测出孔位置的深度图。
S4、采用非极大抑制算法对检测结果进行优化得到最优检测检测框,最优检测框为精确检测出孔位置的深度图。
请参照图3,为使用优化非极大抑制算法得到深度图。
在步骤S4中,采用非极大抑制算法对检测结果进行优化得到最优检测检测框包括以下步骤:
若I<T,则保留检测框,若I≥T,则进入步骤S42;
S42、比较深度图像中两个检测框中心像素的深度值是否存在差异;
若存在差异,则两个检测框中有两个物体,两个检测框都应保留;
若不存在差异,则两个检测框中的对象属于同一个对象,然后进入步骤S43;
S43、比较检测框的融合深度信息的得分S,取得分较高的作为最优检测框。
得分S的计算公式为:
S5、根据点云与深度图之间的关系,深度图中的单个像素值是空间中物体的某个点到垂直于镜头光轴并通过镜头光心平面的垂直距离,单个像素点的坐标即为点云的XY坐标,根据垂直距离将其转化为世界坐标系下的点云的坐标。
通过将深度图图像坐标系下的像素点坐标转换为世界坐标系下的点云的坐标,可在对应点云上截取相同的范围,得到预测框内的局部点云,深度图是点云的投影,通过将深度图图像坐标系下的点像素坐标转换为世界坐标系下的点云的坐标,得到预测框内的局部点云。
S6、将局部点云输入至PCCD-NET点云处理网络中获取局部点云中圆的边界点;
请参照图4,为PCCD-NET点云处理网络的网络结构示意图,包含点云特征提取、特征融合、圆边界点检测三个模块,特征提取模块由两个多层感知机和最大池化层组成,能够对每个邻域进行特征提取,通过多层感知机进行最大池化操作,可以同时获得局部邻域和全局邻域的特征,同时对全局领域中感知能力强的特征进行编码,进行特征融合,以此得到局部点云中圆的边界点。
特征融合模块由两个正则化、多向注意和多层感知机组成,能够对特征提取模块提取到的局部邻域和全局邻域的特征进行特征融合,输出自适应于圆边界检测的融合特征,然后使用RANSAC算法对得到的圆的边界点进行拟合。
圆边界点检测模块由两个变压器模块FC结合softmax函数,能够充分利用提取的局部邻域特征和全局邻域特征。
将局部点云输入训练好的PCCD-NET点云处理网络中,对点云特征提取、特征融合、检测圆的边界点。PCCD-NET点云处理网络,是基于学习的边缘点分类器。对输入的局部点云,为了避免近圆边界点可能会被误认为圆边界点,通过ball query获得局部点云的两个邻域:局部邻域和全局邻域。
S7、采用RANSAC算法对局部点云中圆的边界点进行拟合,得到待处理发动机缸体的孔径并计算孔径。
将PCCD-NET点云处理网络的特征提取模块提取的特征输入特征融合模块,提取的特征即步骤S6中的局部点云中圆的边界点,圆的边界点周围的局部结构与其相邻点非常相似。为了进一步提高圆的边界点分类的准确性,通过一个变压器模块来充分利用提取的局部邻域特征和全局邻域特征,输出自适应于圆边界检测的融合特征,然后使用RANSAC算法对得到的圆的边界点进行拟合,从输入的圆的边界点云中随机选取三个点,记为内点集,根据内点估计圆参数,遍历边界点云中所有的点,当数据点在误差范围内,则归为内点集,当点的个数满足阈值时,则用所有的内点估计圆的参数,即可以拟合出圆并得到发动机缸体的孔径。
拟合出圆并得到发动机缸体的孔径通过RANSAC算法即可实现,具体的过程为:从输入的圆的边界点云中随机选取三个点,记为内点集,根据内点估计圆参数,遍历边界点云中所有的点,当数据点在误差范围内,则归为内点集,当点的个数满足阈值时,用所有的内点估计圆的参数,既可以拟合出圆并得到发动机缸体的孔径。
本实施例通过采用点云深度融合网络获得多源深度融合图象,优化非极大抑制算法提高检测的准确性,并采用PCCD-NET点云处理网络得到圆的边界特征,在通过RANSAC算法拟合孔并计算孔径,实现了对于发动机缸体上孔径的高精度、高效率的测量,提高了点云特征提取的准确性,有效提升了对孔的检测识然后使用RANSAC算法对得到的圆的边界点进行拟合,从输入的圆的边界点云中随机选取三个点,别能力,解决了缸体孔径检测困难的问题。
以上实施方式对本发明进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种基于深度相机的发动机缸体孔径尺寸测量方法,其特征在于,包括以下步骤:
S1、通过深度相机获取待处理发动机缸体的点云深度图、RGB图和点云渲染图;
S2、将点云深度图、RGB图和点云渲染图输入至点云深度融合网络得到多源深度融合图像;
S3、将多源深度融合图像输入至深度图像检测网络中进行目标分类与特征提取得到检测结果;
S4、采用非极大抑制算法对检测结果进行优化得到最优检测检测框,最优检测框为精确检测出孔位置的深度图;
S5、根据点云与深度图之间的关系,在对应点云上截取相同的范围,得到预测框内的局部点云;
S6、将局部点云输入至PCCD-NET点云处理网络中获取局部点云中圆的边界点;
S7、采用RANSAC算法对局部点云中圆的边界点进行拟合,得到待处理发动机缸体的孔径并计算孔径。
2.根据权利要求1所述的发动机缸体孔径尺寸测量方法,其特征在于:点云深度融合网络包括编码层、融合层、解码层三部分组成。
4.根据权利要求2或3所述的发动机缸体孔径尺寸测量方法,其特征在于:编码层由稀疏块和密集块两部分组成,稀疏块包含3×3个用于提取粗糙特征的滤波器,密集块包括三个卷积层,卷积层的滤波器的大小为3×3。
5.根据权利要求1所述的发动机缸体孔径尺寸测量方法,其特征在于:深度图像检测网络包括分别以YOLOv3和Darknet-53作为卷积神经网络的基本框架和网络结构。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310234324.0A CN115953589B (zh) | 2023-03-13 | 2023-03-13 | 一种基于深度相机的发动机缸体孔径尺寸测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310234324.0A CN115953589B (zh) | 2023-03-13 | 2023-03-13 | 一种基于深度相机的发动机缸体孔径尺寸测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115953589A true CN115953589A (zh) | 2023-04-11 |
CN115953589B CN115953589B (zh) | 2023-05-16 |
Family
ID=85891308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310234324.0A Active CN115953589B (zh) | 2023-03-13 | 2023-03-13 | 一种基于深度相机的发动机缸体孔径尺寸测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115953589B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170351941A1 (en) * | 2016-06-03 | 2017-12-07 | Miovision Technologies Incorporated | System and Method for Performing Saliency Detection Using Deep Active Contours |
CN111080627A (zh) * | 2019-12-20 | 2020-04-28 | 南京航空航天大学 | 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法 |
CN113052142A (zh) * | 2021-04-26 | 2021-06-29 | 的卢技术有限公司 | 一种基于多模态数据的静默活体检测方法 |
CN113674236A (zh) * | 2021-08-16 | 2021-11-19 | 南京航空航天大学 | 一种基于特征学习的飞机表面多圆孔检测方法 |
CN115290650A (zh) * | 2022-09-29 | 2022-11-04 | 南京航空航天大学 | 基于点云的复材壁板孔特征的检测方法及其*** |
CN115546594A (zh) * | 2022-09-27 | 2022-12-30 | 北京工业大学 | 一种基于激光雷达和相机数据融合的实时目标检测方法 |
-
2023
- 2023-03-13 CN CN202310234324.0A patent/CN115953589B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170351941A1 (en) * | 2016-06-03 | 2017-12-07 | Miovision Technologies Incorporated | System and Method for Performing Saliency Detection Using Deep Active Contours |
CN111080627A (zh) * | 2019-12-20 | 2020-04-28 | 南京航空航天大学 | 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法 |
CN113052142A (zh) * | 2021-04-26 | 2021-06-29 | 的卢技术有限公司 | 一种基于多模态数据的静默活体检测方法 |
CN113674236A (zh) * | 2021-08-16 | 2021-11-19 | 南京航空航天大学 | 一种基于特征学习的飞机表面多圆孔检测方法 |
CN115546594A (zh) * | 2022-09-27 | 2022-12-30 | 北京工业大学 | 一种基于激光雷达和相机数据融合的实时目标检测方法 |
CN115290650A (zh) * | 2022-09-29 | 2022-11-04 | 南京航空航天大学 | 基于点云的复材壁板孔特征的检测方法及其*** |
Non-Patent Citations (2)
Title |
---|
HAO TANG ET AL: "Tiny hole inspection of aircraft engine nacelle in 3D point cloud via robust statistical fitting", MEASUREMENT * |
HAO TANG ETC: "Tiny hole inspection of aircraft engine nacelle in 3D point cloud via robust statistical fitting", ELSEVIER * |
Also Published As
Publication number | Publication date |
---|---|
CN115953589B (zh) | 2023-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7495546B2 (ja) | 畳み込み画像変換を使用して同時位置特定およびマッピングを実施する方法およびシステム | |
CN111798475B (zh) | 一种基于点云深度学习的室内环境3d语义地图构建方法 | |
CN108596975B (zh) | 一种针对弱纹理区域的立体匹配算法 | |
CN109961506A (zh) | 一种融合改进Census图的局部场景三维重建方法 | |
CN107545263B (zh) | 一种物体检测方法及装置 | |
CN111523398A (zh) | 一种融合2d人脸检测和3d人脸识别的方法及装置 | |
CN110956661B (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
CN110910437B (zh) | 一种复杂室内场景的深度预测方法 | |
CN113159043B (zh) | 基于语义信息的特征点匹配方法及*** | |
CN113191204B (zh) | 一种多尺度遮挡行人检测方法及*** | |
CN110634137A (zh) | 一种基于视觉感知的桥梁变形的监测方法、装置及设备 | |
CN116612468A (zh) | 基于多模态融合与深度注意力机制的三维目标检测方法 | |
CN114463619B (zh) | 基于集成融合特征的红外弱小目标检测方法 | |
CN116563262A (zh) | 基于多模态的建筑裂缝检测算法 | |
CN115272599A (zh) | 一种面向城市信息模型的三维语义地图构建方法 | |
CN116912675B (zh) | 一种基于特征迁移的水下目标检测方法及*** | |
CN117576461A (zh) | 一种用于变电站场景的语义理解方法、介质及*** | |
CN110910497B (zh) | 实现增强现实地图的方法和*** | |
CN117292076A (zh) | 工程机械局部作业场景动态三维重构方法及*** | |
CN112001954A (zh) | 一种基于极曲线约束的水下pca-sift图像匹配方法 | |
CN115170523B (zh) | 一种基于局部对比度的低复杂度红外弱小目标检测方法 | |
CN113837243B (zh) | 基于边缘信息的rgb-d相机动态视觉里程计方法 | |
CN115953589B (zh) | 一种基于深度相机的发动机缸体孔径尺寸测量方法 | |
Gao et al. | Optimization of greenhouse tomato localization in overlapping areas | |
CN114399532A (zh) | 一种相机位姿确定方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |