CN112053426A - 一种基于深度学习的大规模三维铆钉点云提取方法 - Google Patents

一种基于深度学习的大规模三维铆钉点云提取方法 Download PDF

Info

Publication number
CN112053426A
CN112053426A CN202011102356.8A CN202011102356A CN112053426A CN 112053426 A CN112053426 A CN 112053426A CN 202011102356 A CN202011102356 A CN 202011102356A CN 112053426 A CN112053426 A CN 112053426A
Authority
CN
China
Prior art keywords
rivet
point
point cloud
dimensional
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011102356.8A
Other languages
English (en)
Other versions
CN112053426B (zh
Inventor
汪俊
隆昆
谢乾
鲁德宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202011102356.8A priority Critical patent/CN112053426B/zh
Publication of CN112053426A publication Critical patent/CN112053426A/zh
Priority to US17/169,509 priority patent/US11556732B2/en
Application granted granted Critical
Publication of CN112053426B publication Critical patent/CN112053426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Aviation & Aerospace Engineering (AREA)

Abstract

本发明公开了一种基于深度学习的大规模三维铆钉点云提取方法，对待测飞机蒙皮点云逐点计算几何属性标量，将标量属性域映射到二维图像，得到点云的二维属性标量图；利用卷积神经网络对所述二维属性标量图进行处理，计算出每个点属于铆钉点的概率，根据计算出的概率通过阈值分割出铆钉点云；对分割出的铆钉点云采用欧式聚类，聚类出属于同一个铆钉的点云。该基于深度学习的大规模三维铆钉点云提取方法利用注意机制综合考虑了局部点云的多种几何属性，并利用基于图像的深度学习代替直接对点云进行深度学习，有效提升了神经网络对局部细微特征的识别能力，从而能够从大片飞机蒙皮点云中准确提取出单个铆钉的小片点云。

Description

一种基于深度学习的大规模三维铆钉点云提取方法
技术领域
本发明属于计算机视觉领域和航空制造技术领域，具体涉及一种基于深度学习的大规模三维铆钉点云提取方法。
背景技术
铆钉作为一种永久紧固件，因其具有的优良特性已广泛应用于飞机制造中。飞机蒙皮的铆接质量直接影响着飞机气动外形的可靠性，对飞机的飞行性能有着重要影响，对高速飞机的影响尤甚。此外，不良铆钉可能会通过增加雷达横截面来削弱隐形飞机的隐身性能。因此，飞机蒙皮表面铆钉的铆接质量检查是十分必要的。
然而，飞机蒙皮上铆钉蒙皮数目非常多，超过数千个，现有方法很难逐个检测铆钉。基于图像处理的方法可以较好地识别出图像中的铆钉，但是图像缺乏三维信息，识别出铆钉之后无法进行后续诸如铆钉齐平度的测量。
随着三维扫描技术的发展，采用3D扫描仪可以直接获取带有铆钉的飞机蒙皮的表面3D信息。然而，飞机蒙皮表面的铆钉点和非铆钉点的差异非常细微，直接利用传统方法检测飞机表面蒙皮点云中的铆钉点的检测质量较差，利用深度学习方法直接从大片点云中提取铆钉将很难识别出点云中的铆钉，因为神经网络中的最大池化操作提取的是全局特征，忽视了局部细微特征。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于深度学习的大规模三维铆钉点云提取方法。
为实现上述技术目的，本发明采取的技术方案为：
一种基于深度学习的大规模三维铆钉点云提取方法，包括：
S1：对待测飞机蒙皮点云逐点计算几何属性标量，将标量属性域映射到二维图像，得到点云的二维属性标量图；
S2：利用卷积神经网络对所述二维属性标量图进行处理，计算出每个点属于铆钉点的概率，根据计算出的概率通过阈值分割出铆钉点云；
S3：对分割出的铆钉点云采用欧式聚类，聚类出属于同一个铆钉的点云。
为优化上述技术方案，采取的具体措施还包括：
上述的S1包括：
S1.1：对点云中的每个点p构造r-邻域P＝{p1，p2，...，pn}，计算邻域中的几何属性作为邻域中心点的标量属性；
S1.2：将r-邻域标准化为一个单位球，根据单位球内点集利用主成分分析法(PCA)计算出投影平面Γ(p0，v)；
S1.3：将投影平面划分成56×56的网格，将所述领域内的点投影到所述平面网格中，网格中的投影点的像素值设置为一种几何属性的标量值，得到点云的二维属性标量图。
上述的S1.1所述点云的几何属性包括：点到投影平面的高度、密度、平均曲率和高斯曲率；
其中，点到投影平面的高度：
Figure BDA0002725824410000021
其中，pi为p的r-邻域中的点，v为投影平面的法向量。
密度：
Figure BDA0002725824410000022
其中，
Figure BDA0002725824410000023
是以点p为球心、rd为半径构造的球的体积，Np是所述球内点的数目。
平均曲率：
H＝0.5·(k1+k2)
其中，k1和k2是主曲率。
高斯曲率：
K＝k1·k2。
上述的S2包括：
S2.1：搭建卷积神经网络模型，对卷积神经网络模型进行训练；
所述卷积神经网络模型包括第一卷积模块、域注意单元、第二卷积模块和一个全连接层；
S2.2：利用第一卷积模块对所述二维属性标量图进行处理，提取图像特征；
S2.3：利用域注意单元(FAU)对提取的图像特征进行池化处理，得到组合后的特征；
S2.4：利用第二卷积模块和一个全连接层计算出每个点属于铆钉点的概率；
S2.5：根据计算出的概率按照设定阈值分割出铆钉点。
上述的S2.1搭建的卷积神经网络模型，配置第一卷积模块，所述第一卷积模块包括4个卷积层Conv1_1、Conv1_2、Conv2_1、Conv2_2，每2个卷积层后包括一个最大池化层pool1、pool2；
配置域注意单元，所述域注意单元包括3个卷积层Conv3_1、Conv3_2、Conv3_3和一个激活层Softmax；
配置第二卷积模块，所述第二卷积模块包括1个卷积层Conv4_1；
在第二卷积模块后配置一个全连接层FC_1；
训练过程中采用加权交叉熵损失惩罚错误分类。
上述的Conv1_1的卷积核大小为3×3，卷积核的数量为16，步长为1；Conv1_2的卷积核大小为3×3，卷积核的数量为32，步长为2；pool1的卷积核大小为2×2，步长为2；Conv2_1的卷积核大小为3×3，卷积核的数量为64，步长为1；Conv2_2的卷积核大小为3×3，卷积核的数量为128，步长为1；pool2的卷积核大小为2×2，步长为2；
Conv3_1卷积核大小为3×3，卷积核的数量为64，步长为1；Conv3_2卷积核大小为3×3，卷积核的数量为32，步长为1；Conv3_3卷积核大小为3×3，卷积核的数量为2，步长为1；
Conv4_1卷积核大小为3×3，卷积核数量为128，步长为1。
上述的加权交叉熵损失为：
Figure BDA0002725824410000031
其中，li(i＝1，2，..，N)是点pi的标签(1表示铆钉点，0表示非铆钉点)，p(li)表示网络预测点pi是铆钉点的概率，wr为铆钉点的交叉熵权重，定义为网络预测出的非铆钉点与铆钉点之比：
Figure BDA0002725824410000041
上述的S2.3所述利用域注意单元(FAU)对提取的图像特征进行池化处理，得到组合后的特征，包括：
域注意单元利用注意机制给每种类型的图像特征fi预测一个权重wi，表征该种类型的特征的重要度，对该种特征进行加权：
f′＝wi·fi＝FAU(fi)·fi
其中，fi是经过第一卷积模块提取出的某一种类型的图像特征，FAU(·)是域注意单元，wi是通过域注意单元计算出的权重，f′是所述特征fi经过加权之后的特征；
对所述加权之后的特征进行组合实现多种特征的池化操作：
F*＝Conv(concat[w1·f1；w2·f2；w3·f3；w4·f4])
其中f1、f2、f3、f4分别代表4种类型图像的特征，w1、w2、w3、w4分别代表对应类型特征的权重，concat(·)是特征组合操作，Conv(·)是通过卷积实现的池化操作。
上述的S2.5中，设定概率阈值为0.5，将概率大于0.5的点标记为铆钉点，将概率小于等于0.5的点标记为非铆钉点。
上述的S3所述对分割出的铆钉点云采用欧式聚类，聚类出属于同一个铆钉的点云，具体为：
根据分割结果，利用欧式聚类，将属于同一个铆钉的点聚类在一起，提取出单个铆钉点云。
本发明具有以下有益效果：
1、本发明的点云特征提取方法组合了点云的多种几何属性并采用基于图像的卷积操作能够很好地提取点云的局部细微特征，能够有效地识别出并分割出单个铆钉点云。
2、本发明基于深度学习方法，大多数参数可以自动优化，避免了传统方法中许多手动调控的参数，从而将优化问题简单化。此外，只要训练好分类器，就能在后续检测中直接使用分类器检测铆钉，使处理任务的速度更快，能有效提高工作效率。
附图说明
图1是本发明实施例提供的一种基于深度学习的大规模三维铆钉点云提取方法的流程图；
图2是本发明实施例中提供的带有铆钉的飞机表面蒙皮扫描点云图；
图3是本发明实施例提供的单个铆钉点云的侧视图；
图4是本发明实施例提供的从点云中提取二维标量图像的示意图；
图5是本发明实施例提供的一种基于深度学习的大规模三维铆钉点云提取方法的卷积神经网络结构图；
图6是本发明实施例提供的域注意单元的原理图；
图7是本发明实施例提供的铆钉提取结果图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
带有铆钉的飞机蒙皮扫描点云如图2所示，图3展示了单个铆钉点云的侧视图。为了解决现有方法中难以准确提取出带有三维信息的飞机蒙皮铆钉的问题，参见图1，本发明的一种基于深度学习的大规模三维铆钉点云提取方法，包括：
S1：对待测大规模飞机蒙皮点云逐点计算几何属性标量，将标量属性域映射到二维图像，得到点云的二维属性标量图；
S2：利用卷积神经网络对所述二维属性标量图进行处理，计算出每个点属于铆钉点的概率，根据计算出的概率通过阈值分割出铆钉点云；
S3：对分割出的铆钉点云采用欧式聚类，聚类出属于同一个铆钉的点云。
如图4所示，实施例中，所述S1包括：
S1.1：对点云中的每个点p构造r-邻域P＝{p1，p2，...，pn}，计算邻域中的几何属性作为邻域中心点的标量属性；
具体地，邻域半径r为1.5倍的铆钉头半径；
S1.2：将r-邻域标准化为一个单位球，根据单位球内点集利用主成分分析法(PCA)计算出投影平面Γ(p0，v)；
S1.3：将投影平面划分成56×56的网格，将所述领域内的点投影到所述平面网格中，网格中的投影点的像素值设置为一种几何属性的标量值，得到维度为56×56点云的二维属性标量图。
实施例中，S1.1所述点云的几何属性包括：点到投影平面的高度、密度、平均曲率和高斯曲率；
其中，点到投影平面的高度：
Figure BDA0002725824410000061
其中，pi为p的r-邻域中的点，v为投影平面的法向量。
密度：
Figure BDA0002725824410000062
其中，
Figure BDA0002725824410000063
是以点p为球心、rd为半径构造的球的体积，Np是所述球内点的数目。
具体地，rd为0.5倍的铆钉头理论半径。
平均曲率：
H＝0.5·(k1+k2)
其中，k1和k2是主曲率。
高斯曲率：
K＝k1·k2。
实施例中，所述S2包括：
S2.1：搭建卷积神经网络模型，对卷积神经网络模型进行训练；
所述卷积神经网络模型包括第一卷积模块、域注意单元、第二卷积模块和一个全连接层；
S2.2：利用第一卷积模块对所述二维属性标量图进行处理，提取图像特征；
S2.3：利用域注意单元(FAU)对提取的图像特征进行池化处理，得到组合后的特征；
S2.4：利用第二卷积模块和一个全连接层计算出每个点属于铆钉点的概率；
S2.5：根据计算出的概率按照设定阈值分割出铆钉点。
如图5所示，实施例中，所述S2.1搭建的卷积神经网络模型，配置第一卷积模块，所述第一卷积模块包括4个卷积层Conv1_1、Conv1_2、Conv2_1、Conv2_2，每2个卷积层后包括一个最大池化层pool1、pool2；
具体地，Conv1_1的卷积核大小为3×3，卷积核的数量为16，步长为1；Conv1_2的卷积核大小为3×3，卷积核的数量为32，步长为2；pool1的卷积核大小为2×2，步长为2；Conv2_1的卷积核大小为3×3，卷积核的数量为64，步长为1；Conv2_2的卷积核大小为3×3，卷积核的数量为128，步长为1；pool2的卷积核大小为2×2，步长为2。
配置域注意单元，所述域注意单元包括3个卷积层Conv3_1、Conv3_2、Conv3_3和一个激活层Softmax；
具体地，Conv3_1卷积核大小为3×3，卷积核的数量为64，步长为1；Conv3_2卷积核大小为3×3，卷积核的数量为32，步长为1；Conv3_3卷积核大小为3×3，卷积核的数量为2，步长为1。
配置第二卷积模块，所述第二卷积模块包括1个卷积层Conv4_1；
具体地，Conv4_1卷积核大小为3×3，卷积核数量为128，步长为1。
在第二卷积模块后配置一个全连接层FC_1；
训练过程中采用加权交叉熵损失惩罚错误分类。
所述加权交叉熵损失为：
Figure BDA0002725824410000071
其中，li(i＝1，2，..，N)是点pi的标签(1表示铆钉点，0表示非铆钉点)，p(li)表示网络预测点pi是铆钉点的概率，wr为铆钉点的交叉熵权重，定义为网络预测出的非铆钉点与铆钉点之比：
Figure BDA0002725824410000072
实施例中，根据概率通过阈值分割出铆钉点，具体地，概率阈值为0.5，将概率大于0.5的点标记为铆钉点，将概率小于等于0.5的点标记为非铆钉点。
实施例中，S2.3所述利用域注意单元(FAU)对提取的图像特征进行池化处理，得到组合后的特征，域注意单元的原理如图6所示，包括：
域注意单元利用注意机制给每种类型的图像特征fi预测一个权重wi，表征该种类型的特征的重要度，对该种特征进行加权：
f′＝wi·fi＝FAU(fi)·fi
其中，fi是经过第一卷积模块提取出的某一种类型的图像特征，FAU(·)是域注意单元，wi是通过域注意单元计算出的权重，f′是所述特征fi经过加权之后的特征；
对所述加权之后的特征进行组合实现多种特征的池化操作：
F*＝Conv(concat[w1·f1；w2·f2；w3·f3；w4·f4])
其中f1、f2、f3、f4分别代表4种类型图像的特征，w1、w2、w3、w4分别代表对应类型特征的权重，concat(·)是特征组合操作，Conv(·)是通过卷积实现的池化操作。
实施例中，S3所述对分割出的铆钉点云采用欧式聚类，聚类出属于同一个铆钉的点云，具体为：
根据分割结果，利用欧式聚类，将属于同一个铆钉的点聚类在一起，提取出单个铆钉点云，铆钉提取结果如图7所示。
本实施例的基于大规模点云的铆钉提取方法把直接对点云的学习转化为对图像进行学习同时利用注意机制综合考虑了多种几何属性信息，增加了网络对局部细微特征的提取能力，能有效从大片点云中准确提取出单个铆钉点云。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (10)

1.一种基于深度学习的大规模三维铆钉点云提取方法，其特征在于，包括：
S1：对待测飞机蒙皮点云逐点计算几何属性标量，将标量属性域映射到二维图像，得到点云的二维属性标量图；
S2：利用卷积神经网络对所述二维属性标量图进行处理，计算出每个点属于铆钉点的概率，根据计算出的概率通过阈值分割出铆钉点云；
S3：对分割出的铆钉点云采用欧式聚类，聚类出属于同一个铆钉的点云。
2.根据权利要求1所述的一种基于深度学习的大规模三维铆钉点云提取方法，其特征在于，所述S1包括：
S1.1：对点云中的每个点p构造r-邻域P＝{p1，p2，...，pn}，计算邻域中的几何属性作为邻域中心点的标量属性；
S1.2：将r-邻域标准化为一个单位球，根据单位球内点集利用主成分分析法计算出投影平面Γ(p0，v)；
S1.3：将投影平面划分成56×56的网格，将所述领域内的点投影到所述平面网格中，网格中的投影点的像素值设置为一种几何属性的标量值，得到点云的二维属性标量图。
3.根据权利要求2所述的一种基于深度学***面的高度、密度、平均曲率和高斯曲率；
其中，点到投影平面的高度：
Figure FDA0002725824400000011
其中，pi为p的r-邻域中的点，v为投影平面的法向量。
密度：
Figure FDA0002725824400000012
其中，
Figure FDA0002725824400000013
是以点p为球心、rd为半径构造的球的体积，Np是所述球内点的数目。
平均曲率：
H＝0.5·(k1+k2)
其中，k1和k2是主曲率。
高斯曲率：
K＝k1·k2。
4.根据权利要求1-3任一所述的一种基于深度学习的大规模三维铆钉点云提取方法，其特征在于，所述S2包括：
S2.1：搭建卷积神经网络模型，对卷积神经网络模型进行训练；
所述卷积神经网络模型包括第一卷积模块、域注意单元、第二卷积模块和一个全连接层；
S2.2：利用第一卷积模块对所述二维属性标量图进行处理，提取图像特征；
S2.3：利用域注意单元对提取的图像特征进行池化处理，得到组合后的特征；
S2.4：利用第二卷积模块和一个全连接层计算出每个点属于铆钉点的概率；
S2.5：根据计算出的概率按照设定阈值分割出铆钉点。
5.根据权利要求4所述的一种基于深度学习的大规模三维铆钉点云提取方法，其特征在于，所述S2.1搭建的卷积神经网络模型，配置第一卷积模块，所述第一卷积模块包括4个卷积层Conv1_1、Conv1_2、Conv2_1、Conv2_2，每2个卷积层后包括一个最大池化层pool1、pool2；
配置域注意单元，所述域注意单元包括3个卷积层Conv3_1、Conv3_2、Conv3_3和一个激活层Softmax；
配置第二卷积模块，所述第二卷积模块包括1个卷积层Conv4_1；
在第二卷积模块后配置一个全连接层FC_1；
训练过程中采用加权交叉熵损失惩罚错误分类。
6.根据权利要求5所述的一种基于深度学习的大规模三维铆钉点云提取方法，其特征在于，所述Conv1_1的卷积核大小为3×3，卷积核的数量为16，步长为1；Conv1_2的卷积核大小为3×3，卷积核的数量为32，步长为2；pool1的卷积核大小为2×2，步长为2；Conv2_1的卷积核大小为3×3，卷积核的数量为64，步长为1；Conv2_2的卷积核大小为3×3，卷积核的数量为128，步长为1；pool2的卷积核大小为2×2，步长为2；
Conv3_1卷积核大小为3×3，卷积核的数量为64，步长为1；Conv3_2卷积核大小为3×3，卷积核的数量为32，步长为1；Conv3_3卷积核大小为3×3，卷积核的数量为2，步长为1；
Conv4_1卷积核大小为3×3，卷积核数量为128，步长为1。
7.根据权利要求5所述的一种基于深度学习的大规模三维铆钉点云提取方法，其特征在于，所述加权交叉熵损失为：
Figure FDA0002725824400000031
其中，li(i＝1，2，..，N)是点pi的标签(1表示铆钉点，0表示非铆钉点)，p(li)表示网络预测点pi是铆钉点的概率，wr为铆钉点的交叉熵权重，定义为网络预测出的非铆钉点与铆钉点之比：
Figure FDA0002725824400000032
8.根据权利要求4所述的一种基于深度学习的大规模三维铆钉点云提取方法，其特征在于，S2.3所述利用域注意单元对提取的图像特征进行池化处理，得到组合后的特征，包括：
域注意单元利用注意机制给每种类型的图像特征fi预测一个权重wi，表征该种类型的特征的重要度，对该种特征进行加权：
f′＝wi·fi＝FAU(fi)·fi
其中，fi是经过第一卷积模块提取出的某一种类型的图像特征，FAU(·)是域注意单元，wi是通过域注意单元计算出的权重，f′是所述特征fi经过加权之后的特征；
对所述加权之后的特征进行组合实现多种特征的池化操作：
F*＝Conv(concat[w1·f1；w2·f2；w3·f3；w4·f4])
其中f1、f2、f3、f4分别代表4种类型图像的特征，w1、w2、w3、w4分别代表对应类型特征的权重，concat(·)是特征组合操作，Conv(·)是通过卷积实现的池化操作。
9.根据权利要求4所述的一种基于深度学习的大规模三维铆钉点云提取方法，其特征在于，S2.5中，设定概率阈值为0.5，将概率大于0.5的点标记为铆钉点，将概率小于等于0.5的点标记为非铆钉点。
10.根据权利要求1所述的一种基于深度学习的大规模三维铆钉点云提取方法，其特征在于，S3所述对分割出的铆钉点云采用欧式聚类，聚类出属于同一个铆钉的点云，具体为：
根据分割结果，利用欧式聚类，将属于同一个铆钉的点聚类在一起，提取出单个铆钉点云。
CN202011102356.8A 2020-10-15 2020-10-15 一种基于深度学习的大规模三维铆钉点云提取方法 Active CN112053426B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011102356.8A CN112053426B (zh) 2020-10-15 2020-10-15 一种基于深度学习的大规模三维铆钉点云提取方法
US17/169,509 US11556732B2 (en) 2020-10-15 2021-02-07 Method for extracting rivet points in large scale three-dimensional point cloud base on deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011102356.8A CN112053426B (zh) 2020-10-15 2020-10-15 一种基于深度学习的大规模三维铆钉点云提取方法

Publications (2)

Publication Number Publication Date
CN112053426A true CN112053426A (zh) 2020-12-08
CN112053426B CN112053426B (zh) 2022-02-11

Family

ID=73605472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011102356.8A Active CN112053426B (zh) 2020-10-15 2020-10-15 一种基于深度学习的大规模三维铆钉点云提取方法

Country Status (2)

Country Link
US (1) US11556732B2 (zh)
CN (1) CN112053426B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076958A (zh) * 2021-04-25 2021-07-06 华南理工大学 一种具有旋转不变性的三维点云模型分类方法与***
CN113160316A (zh) * 2021-04-25 2021-07-23 华南理工大学 非刚体三维形状的扇形卷积特征提取方法与***
CN114626470A (zh) * 2022-03-18 2022-06-14 南京航空航天大学深圳研究院 基于多类型几何特征算子的飞机蒙皮关键特征检测方法
CN116778260A (zh) * 2023-08-17 2023-09-19 南京航空航天大学 基于AdaBoost集成学***度检测方法、装置及***

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053426B (zh) * 2020-10-15 2022-02-11 南京航空航天大学 一种基于深度学习的大规模三维铆钉点云提取方法
CN115239954B (zh) * 2022-06-21 2024-06-14 上海人工智能创新中心 一种用于点云全景分割的***及方法
CN117351212B (zh) * 2023-11-30 2024-03-01 湘潭大学 一种基于双向多尺度注意力的水利环境下的点云分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9905026B1 (en) * 2016-09-14 2018-02-27 The Boeing Company Photogrammetric identification of locations for performing work
CN111028220A (zh) * 2019-12-11 2020-04-17 南京航空航天大学 一种点云铆钉齐平度自动检测方法
CN111080627A (zh) * 2019-12-20 2020-04-28 南京航空航天大学 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7054850B2 (en) * 2000-06-16 2006-05-30 Canon Kabushiki Kaisha Apparatus and method for detecting or recognizing pattern by employing a plurality of feature detecting elements
US8965115B1 (en) * 2013-03-14 2015-02-24 Hrl Laboratories, Llc Adaptive multi-modal detection and fusion in videos via classification-based-learning
CN105136048A (zh) 2015-08-24 2015-12-09 成都飞机工业（集团）有限责任公司 检测飞机蒙皮铆接装配表面质量的方法
WO2017192781A1 (en) * 2016-05-03 2017-11-09 Affera, Inc. Anatomical model displaying
EP3942828A1 (en) * 2019-03-22 2022-01-26 Interdigital VC Holdings France Processing a point cloud
US11176700B2 (en) * 2019-07-18 2021-11-16 Hitachi, Ltd. Systems and methods for a real-time intelligent inspection assistant
US20210073430A1 (en) * 2019-09-06 2021-03-11 BeamUp, Ltd. Structural design systems and methods for optimizing equipment selection in floorplans using modeling and simulation
CN111681214A (zh) 2020-05-24 2020-09-18 哈尔滨理工大学 一种基于U-net网络的航空轴承表面铆钉检测方法
CN112053426B (zh) * 2020-10-15 2022-02-11 南京航空航天大学 一种基于深度学习的大规模三维铆钉点云提取方法
US11584525B2 (en) * 2020-11-30 2023-02-21 Saudi Arabian Oil Company Deep learning-based localization of UAVs with respect to nearby pipes
EP4016392A1 (en) * 2020-12-16 2022-06-22 Dassault Systèmes Machine-learning for 3d object detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9905026B1 (en) * 2016-09-14 2018-02-27 The Boeing Company Photogrammetric identification of locations for performing work
CN111028220A (zh) * 2019-12-11 2020-04-17 南京航空航天大学 一种点云铆钉齐平度自动检测方法
CN111080627A (zh) * 2019-12-20 2020-04-28 南京航空航天大学 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李红卫: "基于三维点云的飞机机体结构铆钉轮廓提取算法研究", 《机电工程》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076958A (zh) * 2021-04-25 2021-07-06 华南理工大学 一种具有旋转不变性的三维点云模型分类方法与***
CN113160316A (zh) * 2021-04-25 2021-07-23 华南理工大学 非刚体三维形状的扇形卷积特征提取方法与***
CN113076958B (zh) * 2021-04-25 2023-07-18 华南理工大学 一种具有旋转不变性的三维点云模型分类方法与***
CN114626470A (zh) * 2022-03-18 2022-06-14 南京航空航天大学深圳研究院 基于多类型几何特征算子的飞机蒙皮关键特征检测方法
CN114626470B (zh) * 2022-03-18 2024-02-02 南京航空航天大学深圳研究院 基于多类型几何特征算子的飞机蒙皮关键特征检测方法
CN116778260A (zh) * 2023-08-17 2023-09-19 南京航空航天大学 基于AdaBoost集成学***度检测方法、装置及***
CN116778260B (zh) * 2023-08-17 2023-11-17 南京航空航天大学 基于AdaBoost集成学***度检测方法、装置及***

Also Published As

Publication number Publication date
US11556732B2 (en) 2023-01-17
US20220121875A1 (en) 2022-04-21
CN112053426B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN112053426B (zh) 一种基于深度学习的大规模三维铆钉点云提取方法
Zhao et al. Cloud shape classification system based on multi-channel cnn and improved fdm
CN111860612B (zh) 无监督高光谱图像隐低秩投影学习特征提取方法
CN107657279B (zh) 一种基于少量样本的遥感目标检测方法
CN106845510B (zh) 基于深度层级特征融合的中国传统视觉文化符号识别方法
CN108427912B (zh) 基于稠密目标特征学习的光学遥感图像目标检测方法
CN111680614B (zh) 一种基于视频监控中的异常行为检测方法
WO2020047738A1 (zh) 多尺度特征融合网络结合定位模型的害虫自动计数方法
CN111899172A (zh) 一种面向遥感应用场景的车辆目标检测方法
CN111753828B (zh) 一种基于深度卷积神经网络的自然场景水平文字检测方法
CN111340754A (zh) 一种基于飞机蒙皮表面缺陷检测和分类的方法
CN112836713A (zh) 基于图像无锚框检测的中尺度对流***识别与追踪方法
CN106023257A (zh) 一种基于旋翼无人机平台的目标跟踪方法
CN112418330A (zh) 一种基于改进型ssd的小目标物体高精度检测方法
CN101930547A (zh) 一种基于面向对象的无监督分类的遥感影像自动分类方法
CN111539422B (zh) 基于Faster RCNN的飞行目标协同识别方法
CN112818905B (zh) 一种基于注意力和时空信息的有限像素车辆目标检测方法
CN111126240A (zh) 一种三通道特征融合人脸识别方法
CN114973014A (zh) 基于多网络级联的飞机目标细粒度检测方法及***
CN112396655A (zh) 一种基于点云数据的船舶目标6d位姿估计方法
CN110458064B (zh) 结合数据驱动型和知识驱动型的低空目标检测与识别方法
CN111597939A (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法
CN108460772B (zh) 基于卷积神经网络的广告骚扰传真图像检测***及方法
Akhand et al. Multiple convolutional neural network training for Bangla handwritten numeral recognition
Wu et al. Vehicle detection in high-resolution images using superpixel segmentation and CNN iteration strategy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant