CN111223120A - 一种点云语义分割方法 - Google Patents

一种点云语义分割方法 Download PDF

Info

Publication number
CN111223120A
CN111223120A CN201911262240.8A CN201911262240A CN111223120A CN 111223120 A CN111223120 A CN 111223120A CN 201911262240 A CN201911262240 A CN 201911262240A CN 111223120 A CN111223120 A CN 111223120A
Authority
CN
China
Prior art keywords
point cloud
neural network
feature selection
feature
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911262240.8A
Other languages
English (en)
Other versions
CN111223120B (zh
Inventor
潘琳琳
孔慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201911262240.8A priority Critical patent/CN111223120B/zh
Publication of CN111223120A publication Critical patent/CN111223120A/zh
Application granted granted Critical
Publication of CN111223120B publication Critical patent/CN111223120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种点云语义分割方法，进行点云数据预处理，包括分块、采样、平移和归一化操作；设计特征选择模块，建立基于特征选择的神经网络模型；训练神经网络，用于后续点云语义分割。本发明设计神经网络结构包括特征选择模块，通过训练网络获得每个点的语义标签，提高了点云语义分割的精度。本发明设计的神经网络结构包括特征选择模块，抑制了弱语义信息的特征通道，增强了对分割任务有关键作用的特征通道，提高了分割精度。

Description

一种点云语义分割方法
技术领域
本发明涉及点云分割技术，特别涉及一种点云语义分割方法。
背景技术
点云语义分割是将点云划分为语义上有意义的部分，是计算机视觉领域的重要研究方向。目前，点云语义分割仅停留在对点云数据的特征抽取上，却忽略研究各个特征通道对于语义分割任务不同的重要性。因此，亟需设计一种基于特征选择的网络结构，以抑制弱语义信息的特征通道，增强对分割任务有关键作用的特征通道，提高分割精度。
发明内容
本发明的目的在于提供一种点云语义分割方法。
实现本发明目的的技术解决方案为：一种点云语义分割方法，包括如下步骤：
步骤1、进行点云数据预处理，包括分块、采样、平移和归一化操作；
步骤2、设计特征选择模块，建立基于特征选择的神经网络模型；
步骤3、训练神经网络，用于后续点云语义分割。
进一步的，步骤1中，点云数据预处理的具体方法为：
首先将点云数据分成若干立方块，然后在每个块中随机采样，当块中点数大于设定阈值时，丢弃掉多出的点，点数小于设定阈值时，从块中随机挑点进行复制直到点数达到设定阈值，完成数据采样；采样的点云数据为包括XYZ坐标值和RGB颜色值的6维向量，以XYZ的最小坐标值的点为坐标原点，用公式(1)相应地计算其他点的坐标值，完成数据平移，得到X'、Y'、Z'；用公式(2)对X'、Y'、Z'进行归一化，增加3维新的坐标值x、y、z；用公式(3)对RGB进行归一化，得到归一化后的颜色值R'、G'、B'，最后输出处理后的9维点云数据(X'、Y'、Z'、x、y、z、R'、G'、B')：
X'＝X-Xmin；Y'＝Y-Ymin；Z'＝Z-Zmin (1)
Figure BDA0002311887950000011
Figure BDA0002311887950000012
式中，Xmin、Ymin、Zmin为XYZ坐标值的最小值，Xmax、Ymax、Zmax为XYZ坐标值的最大值。
进一步的，步骤2中，建立基于特征选择的神经网络模型的具体方法为：
(a)神经网络模块设计
点云数据输入神经网络，经过5层MLP后得到特征矩阵，然后经过特征选择模块得到点云的局部特征；接着经过最大池化和两层MLP后，得到点云的全局特征；最后将局部特征与全局特征拼接起来，再经过三层MLP操作，得到每个点的语义类别；
(b)特征选择模块设计
特征选择包括最大池、两层MLP、加法器和乘法器，设特征选择模块的输入为特征矩阵M1，特征选择模块将特征矩阵M1先经过最大池化和两层MLP得到加权向量W，接着将W和M1的每一行向量相乘得到特征矩阵M2；最后将M1和M2进行矩阵元素相加得到特征矩阵M3，即点云的局部特征。
进一步的，步骤3中，训练神经网络的具体方法为：
使用交叉熵损失函数，使用带动量参数为0.9的ADAM算法优化网络的交叉熵损失函数，使用大小为32的batch训练网络；训练过程中，采取变化的学习率进行学习，初始化学习率为0.001，每训练20个周期学习率下降到原来的0.5倍，使得学习衰减率从0.5开始逐渐上升到0.99。
本发明与现有技术相比，其显著优点为：设计的神经网络结构包括特征选择模块，抑制了弱语义信息的特征通道，增强了对分割任务有关键作用的特征通道，提高了分割精度。
附图说明
图1为本发明点云语义分割***的工作流程图。
图2为本发明数据处理模块的工作流程图。
图3为本发明神经网络模块的结构示意图。
图4为本发明特征选择模块的结构示意图。
具体实施方式
下面结合附图和具体实施例，进一步说明本发明方案。
本发明设计了神经网络结构，通过训练网络获得每个点的语义标签，提高了点云语义分割的精度，包括数据处理模块、神经网络模块，具体工作步骤如下：
步骤1、数据处理模块完成点云数据预处理，包括分块、采样、平移和归一化四个步骤，如图2所示，具体流程如下：
首先将点云数据分成若干立方块，然后在每个块中随机采样，当块中点数大于设定阈值时，丢弃掉多出的点，点数小于设定阈值时，从块中随机挑点进行复制直到点数达到设定阈值，完成数据采样。采集的点云数据为包括XYZ坐标值和RGB颜色值的6维向量，为了训练方便，以XYZ的最小坐标值的点为坐标原点，用公式(1)相应地计算其他点的坐标值，完成数据平移，得到X'、Y'、Z'。为了提高分割精度，用公式(2)对X'、Y'、Z'进行归一化，增加3维新的坐标值x、y、z(0-1)。此外用公式(3)对RGB进行归一化，得到归一化后的颜色值R'、G'、B'(0-1)，最后输出处理后的9维点云数据(X'、Y'、Z'、x、y、z、R'、G'、B')：
X'＝X-Xmin；Y'＝Y-Ymin；Z'＝Z-Zmin (1)
Figure BDA0002311887950000031
Figure BDA0002311887950000032
步骤2、设计特征选择模块，建立基于特征选择的神经网络模型，如图3和4所示，具体流程如下：
(a)神经网络模块设计
如图3所示，点云数据输入神经网络，经过5层MLP后得到特征矩阵M1，然后经过特征选择模块得到点云的局部特征；接着经过最大池化和两层MLP后，得到点云的全局特征；最后将局部特征与全局特征拼接起来，再经过三层MLP操作，得到每个点的语义类别。
(b)特征选择模块设计
特征选择模块通过给每个点的特征向量加权，选择有用的特征通道。如图4所示，特征选择包括最大池、两层多层感知机(MLP)、加法器和乘法器，假设特征选择模块的输入为特征矩阵M1，特征选择模块将特征矩阵M1先经过最大池化和两层MLP得到加权向量W，接着将W和M1的每一行向量相乘得到特征矩阵M2；最后将M1和M2进行矩阵元素相加得到特征矩阵M3，即点云的局部特征。
步骤3、训练神经网络，用于后续点云数据的语义分割；
使用交叉熵损失函数，使用带动量参数为0.9的ADAM算法优化网络的交叉熵损失函数，使用大小为32的batch训练网络；训练过程中，采取变化的学习率进行学习，初始化学习率为0.001，每训练20个周期学习率下降到原来的0.5倍，学习衰减率从0.5开始逐渐上升到0.99。
本发明设计了神经网络结构包括特征选择模块，通过训练网络获得每个点的语义标签，提高了点云语义分割的精度。
实施例
为了验证本发明方案的有效性，以室内场景点云数据集S3DIS(Stanford 3DIndoor Semantic Dataset)作为实验数据，进行如下仿真实验，以预测每个点的语义标签。数据集包括6个场景271个房间的扫描数据，每一个点都标注了语义标签，***具体工作步骤如下：
步骤1、点云数据预处理模块，进行分块、采样、平移和归一化四个操作。先将点云数据按照每个房间分成若干边长为1米的立方块，在每个块中随机采样4096个点，当块中点数大于4096时，丢弃掉多出的点，点数小于4096时，从块中随机挑点进行复制直到点数达到这个数值，完成采样；接着按照公式1-3完成数据的平移和归一化操作。
步骤2、构建基于特征选择的神经网络，具体如下：
a、神经网络模块设计
首先将4096×9维的点云数据输入神经网络，经过5层大小依次为64、64、64、128、1024维的MLP得到n×1024的特征矩阵M1，对M1进行特征选择后得到4096×1024的特征矩阵M3，作为点云的局部特征；接着对M3采用最大池化操作，得到1×1024的特征向量，再分别经过一层256维和一层128维的MLP得到1×128的特征向量，作为点云的全局特征；最后将局部特征和全局特征拼接起来得到4096×1152特征矩阵，接着分别经过一层512维、一层256维和一层13(语义分割类别数)维的MLP得到4096×13的矩阵，得到每个点的语义类别，完成物体的语义分割。
b、特征选择模块设计
首先对M1采用最大池化操作，得到1×1024的特征向量，再分别经过一层128维和一层1024维的MLP得到1×1024的加权向量W；接着将W和M1的每一行向量相乘，选出有用的特征通道，得到4096×1024的特征矩阵M2，再将M1和M2进行矩阵元素相加得到4096×1024的特征矩阵M3，即点云的局部特征。
步骤3、训练神经网络，得到每个点的语义类别。
使用带动量参数为0.9的ADAM算法优化网络的交叉熵损失函数，使得损失降到网络的最小值，使用大小为32的batch训练网络；本发明采取变化的学***均值，得到S3DIS数据集的整体语义分割结果，如表1所示：
表1 S3DIS数据集整体语义分割结果
Figure BDA0002311887950000051
从表1可以看出PointNet的OA值为79.1％，mIoU值为46.7％，得到的OA值比PointNet高1.1个百分点，mIoU值分别比PointNet高1.0个百分点。这充分表明挖掘特征通道之间的依赖关系对于语义分割任务是有意义的。

Claims (4)

1.一种点云语义分割方法，其特征在于，包括如下步骤：
步骤1、进行点云数据预处理，包括分块、采样、平移和归一化操作；
步骤2、设计特征选择模块，建立基于特征选择的神经网络模型；
步骤3、训练神经网络，用于后续点云语义分割。
2.根据权利要求1所述的点云语义分割方法，其特征在于，步骤1中，点云数据预处理的具体方法为：
首先将点云数据分成若干立方块，然后在每个块中随机采样，当块中点数大于设定阈值时，丢弃掉多出的点，点数小于设定阈值时，从块中随机挑点进行复制直到点数达到设定阈值，完成数据采样；采样的点云数据为包括XYZ坐标值和RGB颜色值的6维向量，以XYZ的最小坐标值的点为坐标原点，用公式(1)相应地计算其他点的坐标值，完成数据平移，得到X'、Y'、Z'；用公式(2)对X'、Y'、Z'进行归一化，增加3维新的坐标值x、y、z；用公式(3)对RGB进行归一化，得到归一化后的颜色值R'、G'、B'，最后输出处理后的9维点云数据(X'、Y'、Z'、x、y、z、R'、G'、B')：
X'＝X-Xmin；Y'＝Y-Ymin；Z'＝Z-Zmin (1)
Figure FDA0002311887940000011
Figure FDA0002311887940000012
式中，Xmin、Ymin、Zmin为XYZ坐标值的最小值，Xmax、Ymax、Zmax为XYZ坐标值的最大值。
3.根据权利要求1所述的点云语义分割方法，其特征在于，步骤2中，建立基于特征选择的神经网络模型的具体方法为：
(a)神经网络模块设计
点云数据输入神经网络，经过5层MLP后得到特征矩阵，然后经过特征选择模块得到点云的局部特征；接着经过最大池化和两层MLP后，得到点云的全局特征；最后将局部特征与全局特征拼接起来，再经过三层MLP操作，得到每个点的语义类别；
(b)特征选择模块设计
特征选择包括最大池、两层MLP、加法器和乘法器，设特征选择模块的输入为特征矩阵M1，特征选择模块将特征矩阵M1先经过最大池化和两层MLP得到加权向量W，接着将W和M1的每一行向量相乘得到特征矩阵M2；最后将M1和M2进行矩阵元素相加得到特征矩阵M3，即点云的局部特征。
4.根据权利要求1所述的点云语义分割，其特征在于，步骤3中，训练神经网络的具体方法为：
使用交叉熵损失函数，使用带动量参数为0.9的ADAM算法优化网络的交叉熵损失函数，使用大小为32的batch训练网络；训练过程中，采取变化的学习率进行学习，初始化学习率为0.001，每训练20个周期学习率下降到原来的0.5倍，使得学习衰减率从0.5开始逐渐上升到0.99。
CN201911262240.8A 2019-12-10 2019-12-10 一种点云语义分割方法 Active CN111223120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911262240.8A CN111223120B (zh) 2019-12-10 2019-12-10 一种点云语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911262240.8A CN111223120B (zh) 2019-12-10 2019-12-10 一种点云语义分割方法

Publications (2)

Publication Number Publication Date
CN111223120A true CN111223120A (zh) 2020-06-02
CN111223120B CN111223120B (zh) 2023-08-04

Family

ID=70830735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911262240.8A Active CN111223120B (zh) 2019-12-10 2019-12-10 一种点云语义分割方法

Country Status (1)

Country Link
CN (1) CN111223120B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523552A (zh) * 2018-10-24 2019-03-26 青岛智能产业技术研究院 基于视锥点云的三维物体检测方法
US20190108639A1 (en) * 2017-10-09 2019-04-11 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Semantic Segmentation of 3D Point Clouds
CN110322453A (zh) * 2019-07-05 2019-10-11 西安电子科技大学 基于位置注意力和辅助网络的3d点云语义分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190108639A1 (en) * 2017-10-09 2019-04-11 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Semantic Segmentation of 3D Point Clouds
CN109523552A (zh) * 2018-10-24 2019-03-26 青岛智能产业技术研究院 基于视锥点云的三维物体检测方法
CN110322453A (zh) * 2019-07-05 2019-10-11 西安电子科技大学 基于位置注意力和辅助网络的3d点云语义分割方法

Also Published As

Publication number Publication date
CN111223120B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN112750140B (zh) 基于信息挖掘的伪装目标图像分割方法
CN108764317B (zh) 一种基于多路特征加权的残差卷积神经网络图像分类方法
CN110660062B (zh) 一种基于PointNet的点云实例分割方法及***
CN108664981B (zh) 显著图像提取方法及装置
CN111340814A (zh) 一种基于多模态自适应卷积的rgb-d图像语义分割方法
CN110222760B (zh) 一种基于winograd算法的快速图像处理方法
CN113822209B (zh) 高光谱图像识别方法、装置、电子设备及可读存储介质
CN109934272B (zh) 一种基于全卷积网络的图像匹配方法
CN107564009B (zh) 基于深度卷积神经网络的室外场景多目标分割方法
CN107610146A (zh) 图像场景分割方法、装置、计算设备及计算机存储介质
CN110889416B (zh) 一种基于级联改良网络的显著性物体检测方法
CN107679539B (zh) 一种基于局部感知野的单卷积神经网络局部信息与全局信息整合方法
CN111476247B (zh) 利用了1xK或Kx1卷积运算的CNN方法及装置
CN107292458A (zh) 一种应用于神经网络芯片的预测方法和预测装置
CN111476341A (zh) 转换cnn的卷积层的方法及装置
CN111008631B (zh) 图像的关联方法及装置、存储介质和电子装置
JP2020119524A (ja) 核心性能指数を満たすことができるハードウェア最適化が行われるように、ｃｎｎで複数のブロック内の入力イメージから特徴を抽出する学習方法及び学習装置、それを利用したテスト方法及びテスト装置
JP7085600B2 (ja) 画像間の類似度を利用した類似領域強調方法およびシステム
CN115984701A (zh) 一种基于编解码结构的多模态遥感图像语义分割方法
CN115147598A (zh) 目标检测分割方法、装置、智能终端及存储介质
CN112529068A (zh) 一种多视图图像分类方法、***、计算机设备和存储介质
CN114581789A (zh) 一种高光谱图像分类方法及***
CN105354228A (zh) 相似图搜索方法及装置
CN113421267A (zh) 一种基于改进PointConv的点云语义与实例联合分割方法及***
JP2019197445A (ja) 画像認識装置、画像認識方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant