CN114638956B - 一种基于体素化与三视图的飞机整机点云语义分割方法 - Google Patents

一种基于体素化与三视图的飞机整机点云语义分割方法 Download PDF

Info

Publication number
CN114638956B
CN114638956B CN202210559427.XA CN202210559427A CN114638956B CN 114638956 B CN114638956 B CN 114638956B CN 202210559427 A CN202210559427 A CN 202210559427A CN 114638956 B CN114638956 B CN 114638956B
Authority
CN
China
Prior art keywords
point cloud
voxel
point
airplane
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210559427.XA
Other languages
English (en)
Other versions
CN114638956A (zh
Inventor
汪俊
肖坤
李子宽
仲天驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210559427.XA priority Critical patent/CN114638956B/zh
Publication of CN114638956A publication Critical patent/CN114638956A/zh
Application granted granted Critical
Publication of CN114638956B publication Critical patent/CN114638956B/zh
Priority to US18/320,280 priority patent/US11836896B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于体素化与三视图的飞机整机点云语义分割方法，包括：对收集的每一个飞机整机点云进行滤波处理，将滤波处理后的飞机整机点云进行中心化处理，将中心点云输入T‑Net旋转矩阵网络中，将中心点云旋转到正面；将旋转到正面的中心点云体进行体素化，得到体素化点云；将体素化点云进行点云体素填充，得到体素填充点云；分别计算体素填充点云三视图的厚度图；依次将体素填充点云三视图的厚度图进行拼接，输入到点云语义分割网络中，对点云语义分割网络进行训练；将待检测的飞机整机点云输入到训练好的点云语义分割网络中，预测出飞机三维点云语义分割的结果。该飞机整机点云语义分割方法提升飞机整机点云语义分割的准确度。

Description

一种基于体素化与三视图的飞机整机点云语义分割方法
技术领域
本发明涉及飞机点云语义分割技术领域，具体地，涉及一种基于体素化与三视图的飞机整机点云语义分割方法。
背景技术
在逆向工程中通过测量仪器得到的产品外观表面的点数据集合称之为点云，通常使用三维坐标测量机所得到的点数量比较少，点与点的间距也比较大，叫稀疏点云；而使用三维激光扫描仪或照相式扫描仪得到的点云，点数量比较大并且比较密集，叫密集点云。获取点云数据的方式有激光扫描、深度相机、双目相机以及光学相机多视角重建的方法。
点云分割指的是根据点的语义意义将其划分为多个子集，三维点云分割既需要了解全局几何结构，又需要了解每个点的细粒度细节。根据分割粒度的不同，三维点云分割方法可以分为三类：语义分割(场景级)、实例分割(对象级)和部分分割(部分级)。现有的深度学习中对飞机点云的分割方法中主要分为基于体素的方法和基于图像的方法。其中，基于体素的方法在将点云体素化后，用三维卷积形式对体素提取特征，过程运算速度慢，需要大量计算资源；基于图像的方法一般将点云投影到不同的视图，对视图图像提取特征，由于将三维特征直接投影到二维，损失了大量特征，因此精度低。
发明内容
针对现有技术中存在的问题，本发明提供了一种基于体素化与三视图的飞机整机点云语义分割方法，该飞机整机点云语义分割方法利用点云体素化的信息以及三视图下的厚度图，加快点云语义分割网络的训练过程，提升飞机整机点云语义分割的准确度。
为实现上述目的，本发明采用以下技术方案：一种基于体素化与三视图的飞机整机点云语义分割方法，包括如下步骤：
步骤S1、通过三维扫描仪收集若干飞机整机点云，并标注飞机整机点云中每个点的类别，对收集的每一个飞机整机点云进行滤波处理，将滤波处理后的飞机整机点云进行中心化处理，得到中心点云；
步骤S2、将中心点云输入一个3×3的T-Net旋转矩阵网络中，直至旋转损失函数收敛，将中心点云旋转到正面；
步骤S3、将旋转到正面的中心点云体按照自适应尺度调整体素化分辨率，得到体素规格相同的点云，并进行体素化，得到体素化点云；
步骤S4、将体素化点云中存在的未被占领的体素进行点云体素填充，得到体素填充点云；
步骤S5、分别计算体素填充点云三视图的厚度图；
步骤S6、构建点云语义分割网络，依次将体素填充点云三视图的厚度图进行拼接，输入到点云语义分割网络中，对点云语义分割网络进行训练，直至交叉熵损失函数收敛，完成对点云语义分割网络的训练；
步骤S7、将待检测的飞机整机点云输入到训练好的点云语义分割网络中，预测出飞机三维点云语义分割的结果。
进一步地，步骤S1包括如下子步骤：
步骤S101、通过三维扫描仪收集若干飞机整机点云，并标注飞机整机点云中每个点的类别，设置滤波半径参数r，对收集的每一个飞机整机点云采用半径范围滤波，过滤掉飞机整机点云中点距离小于滤波半径参数r的点；
步骤S102、求取滤波处理后的飞机整机点云的中心点坐标（X，Y，Z），以中心点为原点，将滤波处理的飞机整机点云中的所有点进行中心化处理，得到中心点云。
进一步地，所述中心点坐标（X，Y，Z）的求取过程具体为：
Figure 131314DEST_PATH_IMAGE001
，
Figure 579612DEST_PATH_IMAGE002
其中，n表示滤波处理后的飞机整机点云中点的总个数，i表示滤波处理后的飞机整机点云中点的索引，p i 表示滤波处理后的飞机整机点云中第i个点，P表示滤波处理后的飞机整机点云，x pi 表示p i 的横坐标，y pi 表示p i 的纵坐标，z pi 表示p i 的z向坐标。
进一步地，所述旋转损失函数
Figure 890508DEST_PATH_IMAGE003
为：
Figure 315411DEST_PATH_IMAGE004
其中，I表示单位矩阵，A表示预测的旋转矩阵，A T 表示A的转置，
Figure 660942DEST_PATH_IMAGE005
表示F范数。
进一步地，步骤S3的具体实现过程如下：
步骤S301、将旋转到正面的中心点云，选出点云中最大横坐标、最小横坐标、最大纵坐标、最小纵坐标、最大z向坐标，最小z向坐标，计算最大横坐标与最小横坐标的差值Δx，计算最大纵坐标与最小纵坐标的差值Δy，计算最大z向坐标与最小z向坐标的差值Δz；
步骤S302、设置飞机整机点云体素规格d×d×d，则飞机整机点云体素横坐标分辨 率
Figure 14562DEST_PATH_IMAGE006
，飞机整机点云体素纵坐标分辨率
Figure 812754DEST_PATH_IMAGE007
，飞机整机点云体素z向坐标分 辨率
Figure 542813DEST_PATH_IMAGE008
，
步骤S303、对每一个旋转到正面的中心点云执行步骤S301-步骤S302，得到体素规格相同的点云；
步骤S304、对体素规格相同的点云中的每一点进行体素化，得到体素化点云，体素 坐标为
Figure 742850DEST_PATH_IMAGE009
，并将该体素标记为已占领，其中，
Figure 267372DEST_PATH_IMAGE010
，
Figure 552860DEST_PATH_IMAGE011
，
Figure 322495DEST_PATH_IMAGE012
，
Figure 377039DEST_PATH_IMAGE013
表示向下取整，
Figure 338042DEST_PATH_IMAGE014
表示体素规格相同的点云中第i个点的横坐标，
Figure 110826DEST_PATH_IMAGE015
表示体素规格相同的 点云中第i个点的纵坐标，
Figure 917108DEST_PATH_IMAGE016
表示体素规格相同的点云中第
Figure 826158DEST_PATH_IMAGE017
个点的z向坐标。
进一步地，步骤S4的具体实现过程如下：对于体素化点云中未被占领的体素，若该体素在其立方体表面法向的各个方向上均有至少一个体素被占领，则将该体素标记为已占领，得到体素填充点云。
进一步地，步骤S5包括如下子步骤：
步骤S501、对于体素填充点云三视图中的主视图，计算xy平面上每个体素位置在z方向上已被占领的体素数量，将其作为主视图的厚度图；
步骤S502、对于体素填充点云三视图中的左视图，计算yz平面上每个体素位置在x方向上已被占领的体素数量，将其作为左视图的厚度图；
步骤S503、对于体素填充点云三视图中的俯视图，计算xz平面上每个体素位置在y方向上已被占领的体素数量，将其作为俯视图的厚度图。
进一步地，步骤S6包括如下子步骤：
步骤S601、所述点云语义分割网络包括：第一CNN网络、第二CNN网络、第三CNN网络、融合网络、第一全连接层、最大池化层、第二全连接层、softmax层，所述第一CNN网络、第二CNN网络、第三CNN网络均与融合网络连接，所述融合网络与第一全连接层、最大池化层连接，所述最大池化层与融合网络的输出进行拼接后与第二全连接层、softmax层依次连接；
步骤S602、对于体素填充点云中的每一个体素，将主视图的厚度图输入第一CNN网络中，提取xy平面特征向量，将左视图的厚度图输入第二CNN网络中，提取yz平面特征向量，将俯视图输入第三CNN网络中，提取xz平面特征向量，将提取的xy平面特征向量、yz平面特征向量、xz平面特征向量输入融合网络中进行向量拼接；
步骤S603、对于拼接的向量依次输入第一全连接层和最大池化层中，提取全局特征向量，将全局特征向量与拼接的向量进行拼接后，依次输入第二全连接层、softmax层中，预测出每个体素被分割后的类别；
步骤S604、对于每个体素填充点云依次执行步骤S602-步骤S603，直至交叉熵损失函数收敛，完成对点云语义分割网络的训练。
进一步地，所述交叉熵损失函数
Figure 692483DEST_PATH_IMAGE018
为：
Figure 952563DEST_PATH_IMAGE019
其中，i表示滤波处理后的飞机整机点云中点的索引，n表示滤波处理后的飞机整 机点云中点的总个数，y i 表示第i个点的标记的类别，
Figure 61071DEST_PATH_IMAGE020
表示第i个点的预测类别。
与现有技术相比，本发明具有如下有益效果：本发明针对点云体素化深度学习训练过程耗费资源以及基于图像多视角深度学习点云分割精确度不足的问题，提出了一种基于体素化与三视图的飞机整机点云语义分割方法，该方法通过融合的厚度图，充分利用了点云体素化的信息以及多视角下点云的厚度信息，加快训练过程，提升准确度。
附图说明
图1是本发明基于体素化与三视图的飞机整机点云语义分割方法的流程图；
图2是本发明中飞机整机点云体素化后的结果图；
图3是本发明中体素填充点云三视图的厚度图，其中，图3中的a为左视图，图3中的b为主视图，图3中的c为俯视图；
图4是本发明中点云语义分割网络的框架图。
具体实施方式
下面结合附图对本发明的技术方案作进一步地详细说明。
如图1为本发明基于体素化与三视图的飞机整机点云语义分割方法的流程图，该飞机整机点云语义分割方法包括如下步骤：
步骤S1、通过三维扫描仪收集若干飞机整机点云，并标注飞机整机点云中每个点的类别，对收集的每一个飞机整机点云进行滤波处理，将滤波处理后的飞机整机点云进行中心化处理，得到中心点云；具体包括如下子步骤：
步骤S101、通过三维扫描仪收集若干飞机整机点云，并标注飞机整机点云中每个点的类别，设置滤波半径参数r，对收集的每一个飞机整机点云采用半径范围滤波，过滤掉飞机整机点云中点距离小于滤波半径参数r的点，通过上述半径滤波的方法，可以有效地过滤掉飞机整机点云的噪声点，防止噪声点干扰后续的检测；
步骤S102、求取滤波处理后的飞机整机点云的中心点坐标（X，Y，Z），以中心点为原点，将滤波处理的飞机整机点云中的所有点进行中心化处理，得到中心点云，通过中心化处理，将中心点作为原点，保证后续语义分割网络得到相同中心位置的输入以适应点云语义分割网络的训练过程，否则点云语义分割网络的训练难以收敛。
本发明中中心点坐标（X，Y，Z）的求取过程具体为：
Figure 90207DEST_PATH_IMAGE001
，
Figure 393012DEST_PATH_IMAGE021
其中，n表示滤波处理后的飞机整机点云中点的总个数，i表示滤波处理后的飞机整机点云中点的索引，p i 表示滤波处理后的飞机整机点云中第i个点，P表示滤波处理后的飞机整机点云，x pi 表示p i 的横坐标，y pi 表示p i 的纵坐标，z pi 表示p i 的z向坐标。
步骤S2、将中心点云输入一个3×3的T-Net旋转矩阵网络中，直至旋转损失函数收 敛，将中心点云旋转到正面。由于中心点云具有的旋转不变性的属性，即对同一个中心点云 旋转不同的角度，其点云语义分割后的结果应该是相同的。为了保证每次不同旋转方向的 中心点云输入到点云语义分割网络中能输出相同的结果，采用T-Net网络通过训练一个旋 转矩阵保证输入点云语义分割网络之前的点云始终保持一个相同的方向。本发明中旋转损 失函数
Figure 874809DEST_PATH_IMAGE022
为：
Figure 288473DEST_PATH_IMAGE023
其中，I表示单位矩阵，A表示预测的旋转矩阵，A T 表示A的转置，
Figure 906536DEST_PATH_IMAGE024
表示F范数。
步骤S3、将旋转到正面的中心点云体按照自适应尺度调整体素化分辨率，得到体素规格相同的点云，并进行体素化，得到体素化点云，通过将体素规格相同的点云体素化，可以将无序、稀疏的点云变得规整，更有利于提取特征；具体包括如下子步骤：
步骤S301、将旋转到正面的中心点云，选出点云中最大横坐标、最小横坐标、最大纵坐标、最小纵坐标、最大z向坐标，最小z向坐标，计算最大横坐标与最小横坐标的差值Δx，计算最大纵坐标与最小纵坐标的差值Δy，计算最大z向坐标与最小z向坐标的差值Δz；
步骤S302、设置飞机整机点云体素规格d×d×d，则飞机整机点云体素横坐标分辨 率
Figure 645822DEST_PATH_IMAGE025
，飞机整机点云体素纵坐标分辨率
Figure 349335DEST_PATH_IMAGE026
，飞机整机点云体素z向坐标分辨 率
Figure 301111DEST_PATH_IMAGE008
；受点云语义分割网络自身的限制性，每次点云语义分割网络的输入格式都应 该相同，因此通过控制每次点云输入得到的相同规模的体素，以适应点云语义分割网络的 输入。
步骤S303、对每一个旋转到正面的中心点云执行步骤S301-步骤S302，得到体素规格相同的点云；
步骤S304、对体素规格相同的点云中的每一点进行体素化，得到体素化点云，体素 坐标为
Figure 806304DEST_PATH_IMAGE027
，如图2为飞机整机点云体素化后的结果图，并将该体素标记为已占领， 其中，
Figure 450912DEST_PATH_IMAGE028
，
Figure 907301DEST_PATH_IMAGE029
，
Figure 662767DEST_PATH_IMAGE030
，
Figure 255423DEST_PATH_IMAGE031
表示向下取整，
Figure 70932DEST_PATH_IMAGE032
表示体素规格相同的点云 中第i个点的横坐标，
Figure 14617DEST_PATH_IMAGE033
表示体素规格相同的点云中第
Figure 308195DEST_PATH_IMAGE034
个点的纵坐标，
Figure 808488DEST_PATH_IMAGE035
表示体素规格 相同的点云中第i个点的z向坐标。
步骤S4、将体素化点云内部存在的未被占领的体素进行点云体素填充，得到体素填充点云；由于通过扫描仪扫到的点云只具有飞机整机表面的点，点云的内部是没有点的，为了使之后的厚度图能更好地表征飞机不同位置具有的长度、宽度以及高度信息，通过对点云内部未被占领的体素进行填充以获得正确的飞机厚度图。具体地，由于飞机点云内部未被占领的体素具有被其他体素包围的特性，对于体素化点云中未被占领的体素，若该体素在其立方体表面法向的各个方向上均有至少一个体素被占领，则将该体素标记为已占领，得到体素填充点云。
步骤S5、分别计算体素填充点云三视图的厚度图，通过不同视图的厚度图表征飞机不同位置具有的长度、宽度以及高度信息来对点云进行分割；包括如下子步骤：
步骤S501、对于体素填充点云三视图中的主视图，计算xy平面上每个体素位置在z方向上已被占领的体素数量，将其作为主视图的厚度图，如图3中的b所示；
步骤S502、对于体素填充点云三视图中的左视图，计算yz平面上每个体素位置在x方向上已被占领的体素数量，将其作为左视图的厚度图，如图3中的a所示；
步骤S503、对于体素填充点云三视图中的俯视图，计算xz平面上每个体素位置在y方向上已被占领的体素数量，将其作为俯视图的厚度图，如图3中的c所示。
步骤S6、构建点云语义分割网络，依次将体素填充点云三视图的厚度图进行拼接，输入到点云语义分割网络中，对点云语义分割网络进行训练，直至交叉熵损失函数收敛，完成对点云语义分割网络的训练。具体包括如下子步骤：
步骤S601、如图4，点云语义分割网络包括：第一CNN网络、第二CNN网络、第三CNN网络、融合网络、第一全连接层、最大池化层、第二全连接层、softmax层，第一CNN网络、第二CNN网络、第三CNN网络均与融合网络连接，第一CNN网络、第二CNN网络、第三CNN网络分别用于拓展每个体素相应位置的特征向量维度，融合网络与第一全连接层、最大池化层连接，用于提取全局特征向量，最大池化层与融合网络的输出进行拼接后与第二全连接层、softmax层依次连接；
步骤S602、对于体素填充点云中的每一个体素，将主视图的厚度图输入第一CNN网络中，提取xy平面特征向量，将左视图的厚度图输入第二CNN网络中，提取yz平面特征向量，将俯视图输入第三CNN网络中，提取xz平面特征向量，将提取的xy平面特征向量、yz平面特征向量、xz平面特征向量输入融合网络中进行向量拼接；
步骤S603、对于拼接的向量依次输入第一全连接层和最大池化层中，提取全局特征向量，将全局特征向量与拼接的向量进行拼接后，依次输入第二全连接层、softmax层中，预测出每个体素被分割后的类别；
步骤S604、对于每个体素填充点云依次执行步骤S602-步骤S603，直至交叉熵损失函数收敛，完成对点云语义分割网络的训练。
通过上述过程，点云语义分割网络可以充分融合飞机体素化点云不同视角下不同部件的长宽高特征，并且由于采用已成熟的CNN网络进行训练提取不同厚度图的信息特征，训练过程不仅速度快，而且精度高。
本发明中交叉熵损失函数
Figure 263740DEST_PATH_IMAGE036
为：
Figure 694722DEST_PATH_IMAGE037
其中，i表示滤波处理后的飞机整机点云中点的索引，n表示滤波处理后的飞机整 机点云中点的总个数，y i 表示第i个点的标记的类别，
Figure 791991DEST_PATH_IMAGE038
表示第i个点的预测类别。
步骤S7、将待检测的飞机整机点云输入到训练好的点云语义分割网络中，预测出飞机三维点云语义分割的结果。通过相关实验得到本发明飞机整机点云语义分割方法具有0.85左右的平均预测准确率，而现有的飞机点云语义分割网络都没达到这个效果，如3DCNN为0.73的平均预测准确率，PointNet为0.74的平均预测准确率，PointNet++为0.83的平均预测准确率。由于本发明充分利用了点云体素化的信息以及多视角下点云的厚度信息，通过融合飞机体素化点云不同视角下不同部件的长宽高特征，有效地将不同部件的特征区分出来，故本发明的预测准确率较高。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施方式，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (8)

1.一种基于体素化与三视图的飞机整机点云语义分割方法，其特征在于，包括如下步骤：
步骤S1、通过三维扫描仪收集若干飞机整机点云，并标注飞机整机点云中每个点的类别，对收集的每一个飞机整机点云进行滤波处理，将滤波处理后的飞机整机点云进行中心化处理，得到中心点云；
步骤S2、将中心点云输入一个3×3的T-Net旋转矩阵网络中，直至旋转损失函数收敛，将中心点云旋转到正面；
步骤S3、将旋转到正面的中心点云体按照自适应尺度调整体素化分辨率，得到体素规格相同的点云，并进行体素化，得到体素化点云；
步骤S4、将体素化点云中存在的未被占领的体素进行点云体素填充，得到体素填充点云；
步骤S5、分别计算体素填充点云三视图的厚度图；具体包括如下子步骤：
步骤S501、对于体素填充点云三视图中的主视图，计算xy平面上每个体素位置在z方向上已被占领的体素数量，将其作为主视图的厚度图；
步骤S502、对于体素填充点云三视图中的左视图，计算yz平面上每个体素位置在x方向上已被占领的体素数量，将其作为左视图的厚度图；
步骤S503、对于体素填充点云三视图中的俯视图，计算xz平面上每个体素位置在y方向上已被占领的体素数量，将其作为俯视图的厚度图；
步骤S6、构建点云语义分割网络，依次将体素填充点云三视图的厚度图进行拼接，输入到点云语义分割网络中，对点云语义分割网络进行训练，直至交叉熵损失函数收敛，完成对点云语义分割网络的训练；
步骤S7、将待检测的飞机整机点云输入到训练好的点云语义分割网络中，预测出飞机三维点云语义分割的结果。
2.根据权利要求1所述基于体素化与三视图的飞机整机点云语义分割方法，其特征在于，步骤S1包括如下子步骤：
步骤S101、通过三维扫描仪收集若干飞机整机点云，并标注飞机整机点云中每个点的类别，设置滤波半径参数r，对收集的每一个飞机整机点云采用半径范围滤波，过滤掉飞机整机点云中点距离小于滤波半径参数r的点；
步骤S102、求取滤波处理后的飞机整机点云的中心点坐标(X，Y，Z)，以中心点为原点，将滤波处理的飞机整机点云中的所有点进行中心化处理，得到中心点云。
3.根据权利要求2所述基于体素化与三视图的飞机整机点云语义分割方法，其特征在于，所述中心点坐标(X，Y，Z)的求取过程具体为：
Figure FDA0003711810810000021
Figure FDA0003711810810000022
Figure FDA0003711810810000023
其中，n表示滤波处理后的飞机整机点云中点的总个数，i表示滤波处理后的飞机整机点云中点的索引，pi表示滤波处理后的飞机整机点云中第i个点，P表示滤波处理后的飞机整机点云，xpi表示pi的横坐标，ypi表示pi的纵坐标，zpi表示pi的z向坐标。
4.根据权利要求1所述基于体素化与三视图的飞机整机点云语义分割方法，其特征在于，所述旋转损失函数
Figure FDA0003711810810000024
为：
Figure FDA0003711810810000025
其中，I表示单位矩阵，A表示预测的旋转矩阵，AT表示A的转置，
Figure FDA0003711810810000026
表示F范数。
5.根据权利要求1所述基于体素化与三视图的飞机整机点云语义分割方法，其特征在于，步骤S3的具体实现过程如下：
步骤S301、将旋转到正面的中心点云，选出点云中最大横坐标、最小横坐标、最大纵坐标、最小纵坐标、最大z向坐标，最小z向坐标，计算最大横坐标与最小横坐标的差值Δx，计算最大纵坐标与最小纵坐标的差值Δy，计算最大z向坐标与最小z向坐标的差值Δz；
步骤S302、设置飞机整机点云体素规格d×d×d，则飞机整机点云体素横坐标分辨率αx＝Δx/d，飞机整机点云体素纵坐标分辨率αy＝Δy/d，飞机整机点云体素z向坐标分辨率αz＝Δz/d，
步骤S303、对每一个旋转到正面的中心点云执行步骤S301-步骤S302，得到体素规格相同的点云；
步骤S304、对体素规格相同的点云中的每一点进行体素化，得到体素化点云，体素坐标为
Figure FDA0003711810810000027
并将该体素标记为已占领，其中，
Figure FDA0003711810810000028
Figure FDA0003711810810000029
表示向下取整，
Figure FDA00037118108100000210
表示体素规格相同的点云中第i个点的横坐标，
Figure FDA00037118108100000211
表示体素规格相同的点云中第i个点的纵坐标，
Figure FDA00037118108100000212
表示体素规格相同的点云中第i个点的z向坐标。
6.根据权利要求1所述基于体素化与三视图的飞机整机点云语义分割方法，其特征在于，步骤S4的具体实现过程如下：对于体素化点云中未被占领的体素，若该体素在其立方体表面法向的各个方向上均有至少一个体素被占领，则将该体素标记为已占领，得到体素填充点云。
7.根据权利要求1所述基于体素化与三视图的飞机整机点云语义分割方法，其特征在于，步骤S6包括如下子步骤：
步骤S601、所述点云语义分割网络包括：第一CNN网络、第二CNN网络、第三CNN网络、融合网络、第一全连接层、最大池化层、第二全连接层、softmax层，所述第一CNN网络、第二CNN网络、第三CNN网络均与融合网络连接，所述融合网络与第一全连接层、最大池化层连接，所述最大池化层与融合网络的输出进行拼接后与第二全连接层、softmax层依次连接；
步骤S602、对于体素填充点云中的每一个体素，将主视图的厚度图输入第一CNN网络中，提取xy平面特征向量，将左视图的厚度图输入第二CNN网络中，提取yz平面特征向量，将俯视图输入第三CNN网络中，提取xz平面特征向量，将提取的xy平面特征向量、yz平面特征向量、xz平面特征向量输入融合网络中进行向量拼接；
步骤S603、对于拼接的向量依次输入第一全连接层和最大池化层中，提取全局特征向量，将全局特征向量与拼接的向量进行拼接后，依次输入第二全连接层、softmax层中，预测出每个体素被分割后的类别；
步骤S604、对于每个体素填充点云依次执行步骤S602-步骤S603，直至交叉熵损失函数收敛，完成对点云语义分割网络的训练。
8.根据权利要求7所述基于体素化与三视图的飞机整机点云语义分割方法，其特征在于，所述交叉熵损失函数
Figure FDA0003711810810000031
为：
Figure FDA0003711810810000032
其中，i表示滤波处理后的飞机整机点云中点的索引，yi表示第i个点的标记的类别，yi′表示第i个点的预测类别。
CN202210559427.XA 2022-05-23 2022-05-23 一种基于体素化与三视图的飞机整机点云语义分割方法 Active CN114638956B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210559427.XA CN114638956B (zh) 2022-05-23 2022-05-23 一种基于体素化与三视图的飞机整机点云语义分割方法
US18/320,280 US11836896B2 (en) 2022-05-23 2023-05-19 Semantic segmentation method for aircraft point cloud based on voxelization and three views

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210559427.XA CN114638956B (zh) 2022-05-23 2022-05-23 一种基于体素化与三视图的飞机整机点云语义分割方法

Publications (2)

Publication Number Publication Date
CN114638956A CN114638956A (zh) 2022-06-17
CN114638956B true CN114638956B (zh) 2022-08-05

Family

ID=81953253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210559427.XA Active CN114638956B (zh) 2022-05-23 2022-05-23 一种基于体素化与三视图的飞机整机点云语义分割方法

Country Status (2)

Country Link
US (1) US11836896B2 (zh)
CN (1) CN114638956B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116226702B (zh) * 2022-09-09 2024-04-26 武汉中数医疗科技有限公司 一种基于生物电阻抗的甲状腺采样数据识别方法
CN116681895A (zh) * 2023-06-15 2023-09-01 南京航空航天大学 一种飞机网格模型部件分割方法、***、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080627A (zh) * 2019-12-20 2020-04-28 南京航空航天大学 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法
CN111860520A (zh) * 2020-07-21 2020-10-30 南京航空航天大学 基于深度学习的大飞机点云模型自监督语义分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10004403B2 (en) * 2014-08-28 2018-06-26 Mela Sciences, Inc. Three dimensional tissue imaging system and method
CN111862101A (zh) * 2020-07-15 2020-10-30 西安交通大学 一种鸟瞰图编码视角下的3d点云语义分割方法
CN113128405B (zh) * 2021-04-20 2022-11-22 北京航空航天大学 一种结合语义分割与点云处理的植物识别与模型构建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080627A (zh) * 2019-12-20 2020-04-28 南京航空航天大学 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法
CN111860520A (zh) * 2020-07-21 2020-10-30 南京航空航天大学 基于深度学习的大飞机点云模型自监督语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的三维点云语义分割方法研究;王涛等;《计算机工程与应用》;20211231;第57卷(第23期);第18-26页 *

Also Published As

Publication number Publication date
US11836896B2 (en) 2023-12-05
CN114638956A (zh) 2022-06-17
US20230325978A1 (en) 2023-10-12

Similar Documents

Publication Publication Date Title
CN114638956B (zh) 一种基于体素化与三视图的飞机整机点云语义分割方法
Li et al. 3D cost aggregation with multiple minimum spanning trees for stereo matching
Jancosek et al. Multi-view reconstruction preserving weakly-supported surfaces
Wang et al. Stereoscopic inpainting: Joint color and depth completion from stereo images
CN108961327A (zh) 一种单目深度估计方法及其装置、设备和存储介质
Hoppe et al. Incremental Surface Extraction from Sparse Structure-from-Motion Point Clouds.
CN111832655A (zh) 一种基于特征金字塔网络的多尺度三维目标检测方法
US20230334682A1 (en) Intelligent understanding system for real-time reconstruction of large-scale scene light field
CN104134234A (zh) 一种全自动的基于单幅图像的三维场景构建方法
CN113569979B (zh) 一种基于注意力机制的三维物体点云分类方法
CN111915517B (zh) 适用于室内光照不利环境下rgb-d相机全局定位方法
CN115115797B (zh) 大场景稀疏光场语义驱动智能重建方法、***与装置
CN112184899A (zh) 一种基于符号距离函数的三维重建方法
CN109544672A (zh) 一种三维建筑模型纹理映射方法及装置
CN117274388B (zh) 基于视觉文本关系对齐的无监督三维视觉定位方法及***
CN115082254A (zh) 一种变电站精益管控数字孪生***
CN114022542A (zh) 一种基于三维重建的3d数据库制作方法
CN114723884A (zh) 三维人脸重建方法、装置、计算机设备及存储介质
CN116258826A (zh) 一种面向露天矿区的语义地图构建及边界实时提取方法
CN111260712B (zh) 一种基于重聚焦极线图邻域分布的深度估计方法和装置
Tylecek et al. Depth map fusion with camera position refinement
CN115937520A (zh) 基于语义信息引导的点云运动目标分割方法
CN114627275A (zh) 一种基于多源异构数据的整机测量点云融合方法
Guo et al. Full-automatic high-precision scene 3D reconstruction method with water-area intelligent complementation and mesh optimization for UAV images
Li Design of 3D Image Visual Communication System for Automatic Reconstruction of Digital Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant