CN115049842B - 一种飞机蒙皮图像损伤检测与2d-3d定位方法 - Google Patents
一种飞机蒙皮图像损伤检测与2d-3d定位方法 Download PDFInfo
- Publication number
- CN115049842B CN115049842B CN202210677801.6A CN202210677801A CN115049842B CN 115049842 B CN115049842 B CN 115049842B CN 202210677801 A CN202210677801 A CN 202210677801A CN 115049842 B CN115049842 B CN 115049842B
- Authority
- CN
- China
- Prior art keywords
- image
- damage
- point cloud
- feature
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006378 damage Effects 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims description 12
- 230000003993 interaction Effects 0.000 claims description 12
- 230000037380 skin damage Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000002474 experimental method Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 230000003902 lesion Effects 0.000 abstract description 6
- 230000007246 mechanism Effects 0.000 abstract description 6
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000028990 Skin injury Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种飞机蒙皮图像损伤检测与2D‑3D定位方法，包括以下步骤：（1）采集飞机外表面图像，对样本数据进行预处理，构建数据样本集；（2）基于Transformer的蒙皮图像损伤检测；（3）基于Triplet网络的损伤图像和点云关键点描述子联合学习；（4）损伤图像和点云关键点对应权重系数评价与2D‑3D定位。本发明改进Transformer中的自注意力机制，进行图像损伤检测；设计Triplet网络将损伤图像和点云映射到同一特征空间中，联合学习损伤图像和点云关键点描述子，进行2D‑3D定位。
Description
技术领域
本发明涉及飞机损伤检测技术领域，特别涉及一种飞机蒙皮图像损伤检测与2D-3D定位 方法。
背景技术
撞击损伤、裂纹损伤、腐蚀损伤这三大类蒙皮损伤会使大型飞机蒙皮结构强度严重下降， 在高空高速飞行过程中极易致使蒙皮撕裂，影响飞行安全。因此，蒙皮损伤检测是大型飞机 维护中的重要环节。大型飞机外形蒙皮损伤数据较少，目标语义信息不丰富，即存在对比度低、边缘模糊及尺寸较小损伤目标，易受正常零部件、喷漆图案干扰。如何改进Transformer 中的自注意力机制，使卷积网络充分学习损伤数据集中的特征信息，降低误检和漏检概率是 关键。另外，以往的技术只检出损伤却无法进行定位，如何实现损伤区域到点云的自动定位 功能，弥补以往相关技术的缺陷，为大型飞机外形蒙皮损伤检测提供定位依据是本发明的突破技术。
针对大型飞机外形蒙皮损伤数据较少，目标语义信息不丰富，即存在大量对比度低、边 缘模糊及尺寸较小损伤目标，导致误检和漏检情况严重的问题，本项目将改进Transformer 中的自注意力机制，通过不同的特征交互模块，采取结合全局位置信息和多尺度上下文信息的特征交互方式，使卷积网络充分学习损伤数据集中的特征信息，更好地适应大型飞机外形 损伤检测任务。另外，以往的方法只检出损伤却无法进行定位，无法按照飞机结构维修手册 要求判定损伤程度，本发明将提出基于关键点特征对应机制的损伤图像和点云数据关键点联 合学习网络，实现损伤区域到点云的自动定位功能，弥补以往相关技术的缺陷，为大型飞机外形蒙皮损伤检测提供定位依据。
发明内容
本发明针对现有技术中的不足，提供一种飞机蒙皮图像损伤检测与2D-3D定位方法；以 对飞机蒙皮损伤进行检测，降低误检和漏检概率；同时，还为大型飞机外形蒙皮损伤检测提 供定位，以及时确定损伤位置。
为实现上述目的，本发明采用以下技术方案：
一种飞机蒙皮图像损伤检测与2D-3D定位方法，包括以下步骤：
S1：采集飞机外表面图像得到样本数据，通过预处理构建数据样本集；
S2：基于Transformer对数据样本集进行蒙皮图像损伤检测；
S3：采集飞机的损伤图像和点云数据，基于Triplet网络对损伤图像和点云关键点描述 子联合学习，确定损伤图像所匹配的点云关键点；
S4：确定损伤图像以及所匹配的点云关键点的权重，完成飞机蒙皮损伤的2D-3D定位。
为优化上述技术方案，采取的具体措施还包括：
进一步地，步骤S1的具体内容为：
S1.1：利用成像设备对飞机蒙皮图像进行采集，得到样本数据；
S1.2：对样本数据进行筛选、裁剪、统一尺寸、目标标注和数据增广的预处理得到数据 集；
S1.3：根据步骤S1.2的数据集，构建用于实验的数据样本集：图像标注数据集。
进一步地，步骤S2的具体内容为：
S2.1：输入图像标注数据集，经过编码结构得到多个不同尺度的特征图；
S2.2：将各个特征图输入到Transformer模块中，按照不同的特征交互模块设置，进而 Transformer模块将输入的特征图分为查询图Q、键值图K、值图V三个部分；
S2.3：在Transformer模块中，获取查询图Q中的每个像素qi、键值图K中的每个像素kj， 并计算每个像素qi与每个像素kj之间的相关性；即qi∈Q与kj∈K之间的相关性 si，j＝Fsim(qi，kj)；
S2.4：使用归一化函数，得到相关性si，j＝Fsim(qi，kj)所对应的权重wi，j＝Fnorm(si，j)；
S2.5：对值图V中的每个像素vj依据wi，j进行加权操作，得到各个特征图融合结果以通过该融合结果判断检测蒙皮图像的损伤状况。
进一步地，步骤S3的具体内容为：
S3.1：采集飞机损伤图像和点云数据；使用2D尺度不变特征变换算子SIFT和3D内部 形态描述子ISS分别对损伤图像和点云提取一组关键点，形成关键局部块；
S3.2：将关键局部块表示为三元组即损伤图像的锚点图像块/>以及点云局 部块xM的正例/>和负例/>作为Triplet网络输入；
S3.3：Triplet网络的一个分支学习损伤图像的特征点描述子即，将图 像小块xI映射到描述符p，其中该特征描述子为2D；
S3.4：Triplet网络的另外两个分支采用同样权重，学习点云的特征点描述子F(xM；θM)：xM→q；即，将点云局部块xM映射到描述符q；其中，对于点云局部块xM的正 例有对于点云局部块xM的负例/>有/>且均为3D的特征描述子；
S3.5：定义锚点和正例/>匹配对之间的相似距离dpos，以及锚点/>和负例/>非匹配对 之间的相似距离dneg；
S3.6：根据相似距离dpos和相似距离dneg计算特征向量之间的欧式距离d，并根据欧式距 离d计算每对2D-3D特征描述子之间的相关性度量矩阵，按照相关性度量对每个关键点的特 征点进行排序；
S3.7：选取前k个点云关键点作为匹配对。
进一步地，步骤S3.5中的具体内容为：
定义锚点和正例/>匹配对之间的相似距离dpos：
定义锚点和负例/>非匹配对之间的相似距离dneg：
并对相似距离dpos和相似距离dneg使用加权soft margin损失函数。
进一步地，步骤S3.6中“根据相似距离dpos和相似距离dneg计算特征向量之间的欧式距 离d”的具体计算公式为：
d＝dpos-dneg。
进一步地，S4.1：使用残差网络对损伤图像和点云关键点匹配对的匹配程度赋予评价权 重；S4.2：估计相机位姿投影矩阵，并根据S4.1中损伤图像与点云关键点匹配对的评价权重，完成飞机蒙皮损伤的2D-3D的定位。
本发明的有益效果是：
本发明提出了基于Transformer与Triplet网络的大型飞机蒙皮图像损伤检测与2D-3D定 位技术，优点在于通过改进Transformer中的自注意力机制，通过不同的特征交互模块，结合 全局位置信息和多尺度上下文信息进行特征交互，进行图像损伤检测；同时设计Triplet网络 将损伤图像和点云映射到同一特征空间中，联合学习损伤图像和点云关键点描述子，进行 2D-3D定位。
通过本申请的方式以对飞机蒙皮损伤进行检测，降低误检和漏检概率；同时，还为大型 飞机外形蒙皮损伤检测提供定位，以及时确定损伤位置。
附图说明
图1是本发明整体方案的结构流程示意图。
图2是本发明基于Transformer的飞机蒙皮图像损伤检测网络结构示意图。
图3是本发明基于Triplet网络的损伤图像和点云关键点描述子联合学习网络结构示意 图。
具体实施方式
本申请的主要技术方案如下：
一种飞机蒙皮图像损伤检测与2D-3D定位方法(基于Transformer与Triplet网络的大型飞 机蒙皮图像损伤检测与2D-3D定位方法)，其特征在于，包括以下步骤：
(1)采集飞机外表面图像，对样本数据进行预处理，构建数据样本集；
(2)基于Transformer的蒙皮图像损伤检测；
(3)基于Triplet网络的损伤图像和点云关键点描述子联合学习；
(4)损伤图像和点云关键点对应权重系数评价与2D-3D定位。
进一步，步骤(1)采集飞机外表面图像，对样本数据进行预处理，构建数据样本集包括：
(1.1)利用多种成像设备对大型飞机蒙皮图像进行采集，例如，采用无人机装配高清相 机进行采集；
(1.2)对采集到的样本数据进行图像筛选、裁剪、统一尺寸、目标标注和数据增广等一 系列预处理操作，为样本制作标签得到所需的数据集；
(1.3)根据(1.2)的数据集，构建用于实验的图像标注数据集。
进一步，步骤(2)基于Transformer的蒙皮图像损伤检测包括：
(2.1)输入带有标注的图像数据集，经过编码结构得到多个不同尺度的特征图；
(2.2)将(2.1)中的特征图输入到Transformer模块，按照不同的交互模块设置，Transformer模块将输入特征图分为查询图Q、键值图K、值图V三个部分；
(2.3)在Transformer模块中，计算出查询图Q与键值图K中每个像素，即qi∈Q与kj∈K 之间的相关性si，j＝Fsim(qi，kj)；
(2.4)使用归一化函数，得到对应的权重wi，j＝Fnorm(si，j)；
(2.5)对值图V中的每个像素vj依据wi，j进行加权操作，得到特征图融合结果(特征图融合指的是融合多个不同尺度的特征图，增加更多空间与尺度上 的全局信息，特征图融合结果中包含丰富的上下文信息，目的是帮助模型学习到更加准确的 损伤特征。得到特征融合图后，通过全连接层回归分割结果，对分割结果中的损伤情况进行分类，实现撞击损伤、裂纹损伤、腐蚀损伤3类蒙皮表面损伤的检测)。
进一步，步骤(3)基于Triplet网络的损伤图像和点云关键点描述子联合学习包括：
(3.1)使用2D尺度不变特征变换算子SIFT(Scale-invariant FeatureTransform)和3D 内部形态描述子ISS(Intrinsic Shape Signatures)分别对损伤图像和点云提取一组关键点；
(3.2)将(3.1)中的关键局部块作为Triplet网络输入(表示为三元组也 就是损伤图像的锚点图像块/>以及点云局部块的正例/>和负例/>一起被送到网络中)；
(3.3)Triplet网络的一个分支学习损伤图像特征点描述子将图像小 块xI映射到描述符p。图像描述符函数/>设计为VGG卷积网络后接完全连接层，提取 图像小块关键点描述子；
(3.4)Triplet网络的另外两个分支共享权重，学习点云特征点描述子F(xM；θM)：xM→q， 将点云局部小块xM映射到其描述符q(θI和θM是网络权重)。点云特征点描述子函数F(xM；θM) 设计为PointNet网络来提取点云局部小块描述子；
(3.5)对锚点和正例/>匹配对之间的相似距离，和锚点/>和负例/>非匹配对之间的 相似距离使用加权soft margin损失函数；
(3.6)根据特征向量之间的欧氏距离，计算每对2D-3D特征描述子之间的相关性度量矩 阵，按照相关性度量对每个图像关键点的特征点进行排序；
(3.7)选取前k个最近的点云关键点作为匹配对。
进一步，步骤(4)损伤图像和点云关键点对应权重系数评价与2D-3D定位包括：
(4.1)使用残差神经网络对损伤图像和点云关键点匹配对的匹配程度赋予评价权重；
(4.2)估计相机位姿投影矩阵，完成大型飞机蒙皮损伤2D-3D定位。
结合附图，对整体技术方案作进一步补充说明：
结合图1，本发明提及基于Transformer与Triplet网络的大型飞机蒙皮图像损伤检测与 2D-3D定位方法，包括以下步骤：
第一、采集飞机外表面图像，对样本数据进行预处理，构建数据样本集；
依据无损检测原则，利用多种成像设备对大型飞机蒙皮图像进行采集(例如，采用无人 机装配高清相机进行采集)，获取包含无损伤的大型飞机蒙皮图像和包含有多种损伤类型的大 型飞机蒙皮图像。首先，对采集到的样本数据进行图像筛选、裁剪、统一尺寸、目标标注和 数据增广等一系列预处理操作，为样本制作标签得到所需的数据集。然后，构建用于实验的图像标注数据集。
第二、基于Transformer的蒙皮图像损伤检测，在结合丰富的全局场景信息的基础上， 将高维的抽象特征与低维蒙皮损伤的细节信息进行加权融合。
改进Transformer中的自注意力机制，设计“自融合”、“高层-低层融合”和“低层-高层 融合”三种不同的特征交互模块，采取结合全局位置信息和多种尺度上下文信息的特征交互 方式，使卷积神经网络充分学习图像块数据集中的特征信息，如图2所示，在一个网络中同 时实现2类蒙皮表面损伤的检测；(其中，特征交互指的是，在结合丰富的全局场景信息的基础上，将高维的抽象特征与低维蒙皮损伤的细节信息进行加权融合。低层特征指的是细节更 多，语义性低的特征尺度。高层特征指的是语义信息更强，细节感知更少的特征尺度。“自融 合”指的是，基于经典的同级特征图内的非局部non-local交互，输出与输入具有相同的尺度。 “高层-低层融合”是以自上而下的方式，输出与下层特征图具有相同的比例。直观地说，将 上层特征图的"概念"与下层特征图的"像素"接地。“低层-高层融合”是以自下而上的方式，输出与上层特征图具有相同的比例。直观地说，将上层"概念"与下层"像素"的视觉属性进 行渲染)。
具体地，改进Transformer注意力机制，用于设计图像损伤检测网络：输入图像经过编码 结构得到多个不同尺度的特征图，输入到Transformer模块，增加更多空间与尺度上的全局信 息，提高相关特征的使用效率。按照不同的交互模块设置，Transformer模块将输入特征图分 为查询图Q、键值图K、值图V三个部分。首先，计算出查询图与键值图中每个像素，即qi∈Q 与kj∈K之间的相关性si，j＝Fsim(qi，kj)；然后，使用归一化函数得到对应的权重 wi，j＝Fnorm(si，j)；最后，对值图V中的每个像素vj依据wi，j进行加权操作，得到特征图融合结 果 中包含丰富的上下文信息，可以帮助模型学习到更加准确的损伤特 征。
第三、基于Triplet网络的损伤图像和点云关键点描述子联合学习，使用深度网络将损伤 图像和点云映射到同一特征空间中，联合学习图像和点云关键点描述子。
具体步骤是：首先使用2D尺度不变特征变换算子SIFT(Scale-invariant FeatureTransform) 和3D内部形态描述子ISS(Intrinsic Shape Signatures)分别对损伤图像和点云提取一组关键 点；然后使用Triplet网络联合学习损伤图像和点云关键点描述子，使用的网络结构如图3所 示。具体地，分别提取损伤图像和点云关键点位置局部块作为网络输入(表示为三元组也就是锚点图像块/>以及点云局部块的正例/>和负例一起被送到网络中)。
如图3所示，Triplet网络由三个分支组成，其中一个分支学***均池化层应用于卷积的特征图上。在网络末端连接两个完全连接层 输出期望的描述子维度。点云特征点描述子函数F(xM；θM)可以设计为PointNet网络来提取 点云局部小块描述子。
定义锚点和正例/>匹配对之间的相似距离为/>锚点/>和负例/>非匹配对之间的相似距离为/>为加快深度网络收敛 速度，使用加权soft margin损失函数：
根据特征向量之间的欧氏距离，计算每对2D-3D特征描述子之间的相关性度量矩阵，并 按照相关性度量对每个图像关键点的特征点进行排序，选取前k个最近的点云关键点作为匹配 对。
第四、损伤图像和点云关键点对应权重系数评价。
使用残差神经网络对匹配程度赋予评价权重，并同时估计相机位姿投影矩阵，完成大型 飞机蒙皮损伤2D-3D定位。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于 本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术 人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (4)
1.一种飞机蒙皮图像损伤检测与2D-3D定位方法，其特征在于，包括以下步骤：
S1：采集飞机外表面图像得到样本数据，通过预处理构建数据样本集；具体为：
S1.1：利用成像设备对飞机蒙皮图像进行采集，得到样本数据；
S1.2：对样本数据进行筛选、裁剪、统一尺寸、目标标注和数据增广的预处理得到数据集；
S1.3：根据步骤S1.2的数据集，构建用于实验的数据样本集：图像标注数据集；
S2：基于Transformer对数据样本集进行蒙皮图像损伤检测；具体为：
S2.1：输入图像标注数据集，经过编码结构得到多个不同尺度的特征图；
S2.2：将各个特征图输入到Transformer模块中，按照不同的特征交互模块设置，进而Transformer模块将输入的特征图分为查询图Q、键值图K、值图V三个部分；
S2.3：在Transformer模块中，获取查询图Q中的每个像素qi、键值图K中的每个像素kj，并计算每个像素qi与每个像素kj之间的相关性；即qi∈Q与kj∈K之间的相关性si，j＝Fsim(qi，kj)；
S2.4：使用归一化函数，得到相关性si，j＝Fsim(qi，kj)所对应的权重wi，j＝Fnorm(si，j)；
S2.5：对值图V中的每个像素vj依据wi，j进行加权操作，得到各个特征图融合结果以通过该融合结果判断检测蒙皮图像的损伤状况；
S3：采集飞机的损伤图像和点云数据，基于Triplet网络对损伤图像和点云关键点描述子联合学习，确定损伤图像所匹配的点云关键点；
S4：确定损伤图像以及所匹配的点云关键点的权重，完成飞机蒙皮损伤的2D-3D定位；具体为：
S4.1：使用残差网络对损伤图像和点云关键点匹配对的匹配程度赋予评价权重；
S4.2：估计相机位姿投影矩阵，并根据S4.1中损伤图像与点云关键点匹配对的评价权重，完成飞机蒙皮损伤的2D-3D的定位。
2.根据权利要求1所述的一种飞机蒙皮图像损伤检测与2D-3D定位方法，其特征在于，步骤S3的具体内容为：
S3.1：采集飞机损伤图像和点云数据；使用2D尺度不变特征变换算子SIFT和3D内部形态描述子ISS分别对损伤图像和点云提取一组关键点，形成关键局部块；
S3.2：将关键局部块表示为三元组即损伤图像的锚点图像块/>以及点云局部块xM的正例/>和负例/>作为Triplet网络输入；
S3.3：Triplet网络的一个分支学习损伤图像的特征点描述子xI→p；即，将图像小块xI映射到描述符p，其中该特征描述子为2D；
S3.4：Triplet网络的另外两个分支采用同样权重，学习点云的特征点描述子F(xM；θM)：xM→q；即，将点云局部块xM映射到描述符q；其中，对于点云局部块xM的正例有/>对于点云局部块xM的负例/>有/>且均为3D的特征描述子；
S3.5：定义锚点和正例/>匹配对之间的相似距离dpos，以及锚点/>和负例/>非匹配对之间的相似距离dneg；
S3.6：根据相似距离dpos和相似距离dneg计算特征向量之间的欧式距离d，并根据欧式距离d计算每对2D-3D特征描述子之间的相关性度量矩阵，按照相关性度量对每个关键点的特征点进行排序；
S3.7：选取前k个点云关键点作为匹配对。
3.根据权利要求2所述的一种飞机蒙皮图像损伤检测与2D-3D定位方法，其特征在于，步骤S3.5中的具体内容为：
定义锚点和正例/>匹配对之间的相似距离dpos：
定义锚点和负例/>非匹配对之间的相似距离dneg：
并对相似距离dpos和相似距离dneg使用加权soft margin损失函数。
4.根据权利要求3所述的一种飞机蒙皮图像损伤检测与2D-3D定位方法，其特征在于，步骤S3.6中“根据相似距离dpos和相似距离dneg计算特征向量之间的欧式距离d”的具体计算公式为：
d＝dppos-dneg。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210677801.6A CN115049842B (zh) | 2022-06-16 | 2022-06-16 | 一种飞机蒙皮图像损伤检测与2d-3d定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210677801.6A CN115049842B (zh) | 2022-06-16 | 2022-06-16 | 一种飞机蒙皮图像损伤检测与2d-3d定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115049842A CN115049842A (zh) | 2022-09-13 |
| CN115049842B true CN115049842B (zh) | 2023-11-17 |
Family
ID=83161853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210677801.6A Active CN115049842B (zh) | 2022-06-16 | 2022-06-16 | 一种飞机蒙皮图像损伤检测与2d-3d定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115049842B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116129228B (zh) * | 2023-04-19 | 2023-07-18 | 中国科学技术大学 | 图像匹配模型的训练方法、图像匹配方法及其装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150128300A (ko) * | 2014-05-09 | 2015-11-18 | 한국건설기술연구원 | 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법 |
| CN105092591A (zh) * | 2015-08-27 | 2015-11-25 | 任红霞 | 一种基于图像处理的工件缺陷定位方法 |
| CN109523501A (zh) * | 2018-04-28 | 2019-03-26 | 江苏理工学院 | 一种基于降维和点云数据匹配的电池外观缺陷检测方法 |
| CN209912664U (zh) * | 2019-06-12 | 2020-01-07 | 江西冠一通用飞机有限公司 | 一种组装式通用飞机用变压器安装架 |
| CN111080627A (zh) * | 2019-12-20 | 2020-04-28 | 南京航空航天大学 | 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法 |
| CN112614105A (zh) * | 2020-12-23 | 2021-04-06 | 东华大学 | 一种基于深度网络的3d点云焊点缺陷检测方法 |
| CN113674236A (zh) * | 2021-08-16 | 2021-11-19 | 南京航空航天大学 | 一种基于特征学习的飞机表面多圆孔检测方法 |
| CN113744186A (zh) * | 2021-07-26 | 2021-12-03 | 南开大学 | 一种融合投影点集分割网络对工件表面缺陷检测的方法 |
| CN114359245A (zh) * | 2022-01-10 | 2022-04-15 | 上海交通大学宁波人工智能研究院 | 一种工业场景下产品表面缺陷检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3916635B1 (en) * | 2020-05-26 | 2023-05-10 | Fujitsu Limited | Defect detection method and apparatus |
-
2022
- 2022-06-16 CN CN202210677801.6A patent/CN115049842B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150128300A (ko) * | 2014-05-09 | 2015-11-18 | 한국건설기술연구원 | 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법 |
| CN105092591A (zh) * | 2015-08-27 | 2015-11-25 | 任红霞 | 一种基于图像处理的工件缺陷定位方法 |
| CN109523501A (zh) * | 2018-04-28 | 2019-03-26 | 江苏理工学院 | 一种基于降维和点云数据匹配的电池外观缺陷检测方法 |
| CN209912664U (zh) * | 2019-06-12 | 2020-01-07 | 江西冠一通用飞机有限公司 | 一种组装式通用飞机用变压器安装架 |
| CN111080627A (zh) * | 2019-12-20 | 2020-04-28 | 南京航空航天大学 | 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法 |
| CN112614105A (zh) * | 2020-12-23 | 2021-04-06 | 东华大学 | 一种基于深度网络的3d点云焊点缺陷检测方法 |
| CN113744186A (zh) * | 2021-07-26 | 2021-12-03 | 南开大学 | 一种融合投影点集分割网络对工件表面缺陷检测的方法 |
| CN113674236A (zh) * | 2021-08-16 | 2021-11-19 | 南京航空航天大学 | 一种基于特征学习的飞机表面多圆孔检测方法 |
| CN114359245A (zh) * | 2022-01-10 | 2022-04-15 | 上海交通大学宁波人工智能研究院 | 一种工业场景下产品表面缺陷检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 再制造零件的自适应三维测量及损伤提取方法研究;冀寒松;《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》;论文第55-57页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115049842A (zh) | 2022-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108491880B (zh) | 基于神经网络的物体分类和位姿估计方法 | |
| CN111192237B (zh) | 一种基于深度学习的涂胶检测***和方法 | |
| CN110245678B (zh) | 一种基于异构孪生区域选取网络的图像匹配方法 | |
| CN111899172A (zh) | 一种面向遥感应用场景的车辆目标检测方法 | |
| CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| CN109559320A (zh) | 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及*** | |
| CN110852182B (zh) | 一种基于三维空间时序建模的深度视频人体行为识别方法 | |
| CN110175615B (zh) | 模型训练方法、域自适应的视觉位置识别方法及装置 | |
| CN111401145B (zh) | 一种基于深度学习与ds证据理论的可见光虹膜识别方法 | |
| CN109034035A (zh) | 基于显著性检测和特征融合的行人重识别方法 | |
| CN112766229B (zh) | 基于注意力机制的人脸点云图像智能识别***及方法 | |
| CN109272577B (zh) | 一种基于Kinect的视觉SLAM方法 | |
| CN113052185A (zh) | 一种基于Faster R-CNN的小样本目标检测方法 | |
| CN112489089B (zh) | 一种微型固定翼无人机机载地面运动目标识别与跟踪方法 | |
| CN110119768B (zh) | 用于车辆定位的视觉信息融合***及方法 | |
| CN111881716A (zh) | 一种基于多视角生成对抗网络的行人重识别方法 | |
| CN115049842B (zh) | 一种飞机蒙皮图像损伤检测与2d-3d定位方法 | |
| Wei et al. | Novel green-fruit detection algorithm based on D2D framework | |
| CN114861761A (zh) | 一种基于孪生网络特征与几何验证的回环检测方法 | |
| CN112668662B (zh) | 基于改进YOLOv3网络的野外山林环境目标检测方法 | |
| CN113723558A (zh) | 基于注意力机制的遥感图像小样本舰船检测方法 | |
| CN105825215A (zh) | 一种基于局部近邻嵌入核函数的仪表定位方法及其使用载体 | |
| CN112418262A (zh) | 车辆再识别的方法、客户端及*** | |
| CN116797948A (zh) | 一种用于无人机图像和卫星图像的跨视角景象匹配方法 | |
| CN116051808A (zh) | 一种基于YOLOv5的轻量化零件识别定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |