CN111027559A - 一种基于扩张点卷积空间金字塔池化的点云语义分割方法 - Google Patents
一种基于扩张点卷积空间金字塔池化的点云语义分割方法 Download PDFInfo
- Publication number
- CN111027559A CN111027559A CN201911048539.3A CN201911048539A CN111027559A CN 111027559 A CN111027559 A CN 111027559A CN 201911048539 A CN201911048539 A CN 201911048539A CN 111027559 A CN111027559 A CN 111027559A
- Authority
- CN
- China
- Prior art keywords
- point
- point cloud
- convolution
- expansion
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于扩张点卷积空间金字塔池化的点云语义分割方法,首先通过最远点采样算法获得点云子集中心点,并利用KNN算法确定子集范围;然后通过扩张点卷积空间金字塔池化提取各点云子集特征,增大点卷积的感受野,丰富了场景多尺度目标的特征提取;其次采用简单有效的解码模块实现特征解码,提高了稀疏点云的分割精度;最后通过全连接层实现各个点云的标签分类。本发明的点云语义分割方法具有分割精度高、适应场景多样等突出优点。
Description
技术领域
本发明属于计算机视觉领域,涉及一种基于扩张点卷积空间金字塔池化的 3D语义分割方法。
背景技术
点云语义分割是3D场景解析技术的主要研究难点和热点之一,如何高效快 速的获取点云局部特征、全局特征以及场景上下文信息就成为亟待解决问题。点 云语义分割通过获取场景点云特征,实现逐点分类,达到场景解析的目的。然而, 场景点云具有无序性、稀疏性和密度不均性,另外场景目标具有多尺度特性,这 些因素都严重影响了点云特征的获取。目前,针对点云语义分割的方案主要有多 视角方案、体素化方案,以及直接处理点云方案。其中,多视角方案利用投影方 式获取点云场景不同视角的图像,并输入传统的2D卷积神经网络;体素化方案 将点云划分为3D网格,并利用3D卷积神经网络提取特征;上述两种方案将不 规则点云转化为规则数据,一定程度避免了点云的局限性,但是丢失场景点云的 部分几何信息,引入了量化误差,且分割精度依赖于传统卷积神经网络的性能。 直接处理点云方案因最大化保留点云信息,受到越来越多的关注。点云语义分割 网络为了获取不同尺度上下文信息,常采用点云多尺度分组方式,容易造成更多 的计算成本。另外,现有点云语义分割网络的局部特征、上下文信息获取能力仍 有待提高。
如何提高局部特征和上下文信息获取能力,以及降低网络计算成本是本领域 的主要急需解决的技术问题。
发明内容
本发明针对上述问题,提出一种基于扩张点卷积空间金字塔池化的点云语义 分割方法。
一种基于扩张点卷积空间金字塔的点云语义分割方法,包括以下步骤:
步骤1:基于ScanNet数据集点云,采用最远点采样算法获取点云子集中心 点;
所述网络的输入点云分别为P{p1,p2,p3…,pn},特征为F,使用迭代最远点采 样算法从输入点云中选择出子集Psub-i{Pi1,Pi2,Pi3,…,Pim},使得Pij与子集中其他 点距离最远;
步骤2:基于步骤1中获得的点云子集中心点,利用最近邻算法确定点云子 集的范围;
输入形式为P×(D+C)和P1×D的矩阵信息,输出形式为P1×K1×(D+C) 矩阵信息。其中,P为输入点云个数,P1为下采样中心点个数,D为各点的D维 坐标信息,C为C维点特征信息,K1为中心点邻域点的个数;
通过KNN算法搜索出K1个距离中心点最近的邻域点,并根据各邻域点到中 心点的距离大小对相应邻域点排序编号。K1个领域点与中心点组成中心点邻域, 也称作局部邻域。
步骤3:利用改进型扩张点卷积空间金字塔池化提取局部邻域特征F1,并得 到P1个抽象点;
输入形式为P1×K1×(D+C)的矩阵信息,输出形式为P1×(D+C″)的矩阵 信息。其中,C″为改进型扩张点卷积空间金字塔池化在局部邻域抽象得到的点 特征维度;
步骤4:基于步骤3获得的P1个抽象点云,进行采样、分组。
该步骤输入形式为P1×(D+C′)的矩阵信息,输出形式为P2×K2×(D+C′); 其中,P2为第二次下采样中心点个数,K2为第二次下采样中心点邻域点个数;基 于P1个抽象点云,重复步骤1和步骤2操作,得到P2个下采样中心点,K2个中心 点领域点,得到P2个局部邻域;
步骤5:PointNet提取局部领域特征F2;
输入形式为P2×K2×(D+C′)的矩阵,输出形式为P2×(D+C″);其中,C″ 为PointNet在局部领域抽象得到的点特征维度;
步骤6:解码P2个含有F2特征的抽象点云,得到P1个含有F3特征的抽象点云;
输入形式为P2×(D+C″)的矩阵信息,输出形式为P1×(D+C″′);其中, C″′为解码后点云特征维度;
步骤7:解码P1个含有F3特征的抽象点云,得到P个含有F4特征的抽象点云;
输入形式为P1×(D+C″′)的矩阵信息,输出形式为P1×(D+C″″)。其中, C″″为解码后点云特征维度;
步骤8:采用全连接层得到各个点云的标签。
该步骤输入形式P×(D+C″″),输出P×k。其中k为场景点云类别数。
进一步的,改进型扩张点卷积空间金字塔池化提取点云局部邻域特征包括以 下三个步骤:1)改进传统扩张点卷积;2)不同扩张率的改进型扩张点卷积通道 分别提取局部领域特征;3)各通道特征融合相加;4)特征降维;
具体提取过程如下:
1)替换点卷积核函数MLP,改进扩张点卷积;
传统扩张点卷积的连续卷积定义为:
其中,H为连续特征函数,给pj赋值一个特征值;G为连续核函数,将pj到pi距 离映射为核权重;利用蒙特卡罗积分,连续卷积定义转换为:
其中,d为扩张点卷积的扩张率;无穷核函数G(·)用多层感知机代替:
其中,p为邻域点与中心点的相对位置,这里用欧式距离;θ为MLP的一系 列参数。
为了获取更多局部邻域特征,将局部邻域点特征抽象到更高维,得到冗余信 息,因此改进型扩张点卷积将无穷核函数g(·)用PointNet代替:
其中,PN为PointNet网络,θ′为PN一系列参数;
2)各改进型扩张点卷积提取局部邻域特征;
输入形式为P1×K1×(D+C)的矩阵信息,输出形式为P1×(D+Ci);其中, Ci为第i个改进型扩张点卷积在局部邻域抽象得到的点特征维度;
空间金字塔池化具有i个通道,每个通道携带一个改进型扩张点卷积,扩张 点卷积的扩张率分别为d1,d2,…,di,则得到i组局部邻域不同尺度内容信息 P1×(D+Ci);
3)融合各个改进型扩张点卷积网络提取的特征信息;
输入形式为P1×(D+Ci),输出形式为∑P1×(D+Ci);其中,i为空间金字 塔池化通道数,也为改进型扩张点卷积个数;通过拼接方法融合不同尺度内容信 息;
4)降维特征信息;
输入形式为输出形式为∑P1×(D+Ci),输出形式为P1×(D+C′)。
随着通道数增加,局部邻域特征数呈i倍增长,增大编码层后端编码计算成 本。因此,对融合的特征信息采用1×1卷积操作,降低特征维度。
相比传统点卷积,改进型扩张点卷积扩大了感受野,获得更多场景上下文信 息,而不增加卷积计算成本。另外,空间金字塔池化能有效编码场景多尺度内容 信息。因此,本发明结合改进型扩张点卷积和空间金字塔池化的优点,保证卷积 计算成本,高效提取局部邻域特征和上下文信息。
进一步的,选用PointNet作为局部邻域点云的特征提取器,PointNet特征提 取器工作原理如下:
给定一组无序局部邻域点{pl1,pl1,…,pln},则可定义函数H′将这组点云映射 为一个矢量:
其中,γ和h通常为MLP。
PointNet【文献1】常被用作点云特征提取器,它保证了无序点云的平移不 行性,能将低维点特征抽象为丰富的高维语义特征,提高分割精度。
进一步的,所述步骤6中的解码过程如下:
1)插值上采样:基于P2个抽象点云,采用插值算法上采样,得到P1个抽象 点云,其点云特征仍为F2。该步骤输入P2×(D+C″)矩阵,输出P1×(D+C″);
2)跳链接融合特征:通过跳链接方式,将步骤3中P1个抽象点云特征F1与 上采样得到的P1个抽象点云特征F2融合相加;该步骤输入P1×(D+C″)和 P1×(D+C′),输出P1×(D+C″+C′);
3)解码:基于融合特征的点云,采用Unit PointNet解码;
该步骤输入P1×(D+C″+C′),输出P1×(D+C″′)。
进一步的,所述步骤7中的解码过程如下:
1)插值上采样:输入P1×(D+C″′)矩阵,输出P×(D+C″′);
2)跳链接融合特征:输入P×(D+C″′)和P×(D+C),输出P×(D+C″′+ C);
3)解码:输入P×(D+C″′+C),输出P×(D+C″″)。
有益效果
本发明的基于扩张点卷积空间金字塔池化的点云语义分割方法,首先通过 最远点采样算法获得点云子集中心点,并利用KNN算法确定子集范围;然后通 过扩张点卷积空间金字塔池化提取各点云子集特征,增大点卷积的感受野,丰富 了场景多尺度目标的特征提取;其次利用简单有效的解码模块实现特征解码,提 高了稀疏点云的分割精度;最后通过全连接层实现各个点云的标签分类。本发明 的点云语义分割方法具有分割精度高、适应场景多样等突出优点。
本发明可实现直接对无规则、稀疏且密度不均点云的语义分割,具有分割精 度高,计算成本低、适应场景多等优点,有效解决了室内、外场景语义分割技术 中对于点云局部特征、上下文信息获取效率低和计算成本高等问题。
与现有点云语义分割网络相比,本发明的先进性变现在:
1)结合了扩张点卷积和PointNet,提出了一种改进型扩张点卷积,提高了 点云局部特征和上下文信息的获取能力;
2)启发于空间金字塔池化,本发明提出了一种改进型扩张点卷积空间金字 塔池化,有效编码多尺度上下文信息,丰富点云特征,提高了场景语义分割精度。
3)本发明提出了一种融合了扩张点卷积空间金字塔池化的改进型编码层, 将扩张点卷积空间金字塔池化放置于编码层前端,避免点云高维特征丢失,更有 利于场景小目标的分割。
4)本发明提出一种简单而有效的解码层,将编码层的点云高维特征上采样, 并与点云低维特征相加,丰富场景细节特征信息,提高分割精度。
附图说明
图1为本发明整体网络框图图;
图2为传统点卷积、扩张点卷积和改进的扩张点卷积;
图3为扩张点卷积空间金字塔池化;
图4PointNet特征提取器
图5为点云语义分割网络框架。
具体实施方式
以下将结合附图对本发明做进一步详细说明。
本发明所涉及的点云数据可采用室内场景公用数据集ScanNet和室外场景 公用数据集Semantic3D等。其中,ScanNet数据集提供了办公室、公寓、卧室等 多类室内场景,点云数据由RGB-D摄像机采集获得,包含了点的坐标信息、颜 色信息和alpha通道P(x,y,z,,r,g,b,alpha)。Semantic3D数据集提供了农场、广 场、城堡等多类室外场景,点云数据由由静态地面激光扫描仪采集获得,包含了 点的坐标信息、激光反射强度和颜色信息P(x,y,z,intensity,r,g,b)。作为应用实 例,本发明给出了基于ScanNet公用数据集的测试效果。
图1所示,为本发明的流程图,一种基于扩张点卷积空间金字塔的点云语义 分割方法,包括以下步骤:
步骤1:基于ScanNet数据集点云,采用最远点采样算法获取点云子集中心 点;
所述网络的输入点云分别为P{p1,p2,p3…,pn},特征为F,使用迭代最远点采 样算法从输入点云中选择出子集Psub-i{Pi1,Pi2,Pi3,…,Pim},使得Pij与子集中其他 点距离最远。在给定相同数量的中心点前提下,相比随机点采样算法,最远点采 样算法覆盖所有输入点云的能力更强。
步骤2:基于步骤1中获得的点云子集中心点,利用最近邻算法(KNN)确 定点云子集的范围;
该步骤输入形式为P×(D+C)和P1×D的矩阵信息,输出形式为P1×K1× (D+C)矩阵信息。其中,P为输入点云个数,P1为下采样中心点个数,D为各点 的D维坐标信息,C为C维点特征信息,K1为中心点邻域点的个数。
通过KNN算法搜索出K1个距离中心点最近的邻域点,并根据各邻域点到中 心点的距离大小对相应邻域点排序编号。K1个领域点与中心点组成中心点邻域, 也称作局部邻域。
步骤3:利用改进型扩张点卷积空间金字塔池化提取局部邻域特征F1,并得 到P1个抽象点;
本步骤输入形式为P1×K1×(D+C)的矩阵信息,输出形式为P1×(D+C″) 的矩阵信息。其中,C″为改进型扩张点卷积空间金字塔池化在局部邻域抽象得 到的点特征维度。
相比传统点卷积,改进型扩张点卷积扩大了感受野,获得更多场景上下文信 息,而不增加卷积计算成本。另外,空间金字塔池化能有效编码场景多尺度内容 信息。因此,本发明结合改进型扩张点卷积和空间金字塔池化的优点,保证卷积 计算成本,高效提取局部邻域特征和上下文信息。改进型扩张点卷积空间金字塔 池化提取点云局部邻域特征主要包括以下三个步骤:1)改进传统扩张点卷积;2) 不同扩张率的改进型扩张点卷积通道分别提取局部领域特征;3)各通道特征融 合相加;4)特征降维。具体提取过程如下:
1)替换点卷积核函数MLP,改进扩张点卷积;
如图2,传统扩张点卷积的连续卷积定义为:
其中,H为连续特征函数,给pj赋值一个特征值;G为连续核函数,将pj到pi距 离映射为核权重;在大多数实际应用中,特征函数F并不是完全已知,利用蒙特 卡罗积分,连续卷积定义可近似转换为:
其中,d为扩张点卷积的扩张率;这里无穷核函数G(·)用多层感知机(MLP)代 替:
其中,p为邻域点与中心点的相对位置,这里用欧式距离;θ为MLP的一系 列参数。
为了获取更多局部邻域特征,将局部邻域点特征抽象到更高维,得到冗余信 息,因此改进型扩张点卷积将无穷核函数g(·)用PointNet代替,PointNet特征提 取器将在步骤5中详细介绍:
其中,PN为PointNet网络,θ′为PN一系列参数。
2)各改进型扩张点卷积提取局部邻域特征;
该步骤的输入形式为P1×K1×(D+C)的矩阵信息,输出形式为P1×(D+ Ci)。其中,Ci为第i个改进型扩张点卷积在局部邻域抽象得到的点特征维度。
如图3所示,空间金字塔池化具有i个通道,每个通道携带一个改进型扩张 点卷积,扩张点卷积的扩张率分别为d1,d2,…,di,则得到i组局部邻域不同尺度内 容信息P1×(D+Ci)。
3)融合各个改进型扩张点卷积网络提取的特征信息;
该步骤输入形式为P1×(D+Ci),输出形式为∑P1×(D+Ci)。其中,i为空 间金字塔池化通道数,也为改进型扩张点卷积个数。通过拼接方法融合不同尺度 内容信息。
4)降维特征信息。
该步骤输入形式为输出形式为∑P1×(D+Ci),输出形式为P1×(D+C′)。 随着通道数增加,局部邻域特征数呈i倍增长,增大编码层后端编码计算成本。 因此,对融合的特征信息采用1×1卷积操作,降低特征维度。
步骤4:基于步骤3获得的P1个抽象点云,进行采样、分组。
该步骤输入形式为P1×(D+C′)的矩阵信息,输出形式为P2×K2×(D+C′)。 其中,P2为第二次下采样中心点个数,K2为第二次下采样中心点邻域点个数。基 于P1个抽象点云,重复步骤1和步骤2操作,得到P2个下采样中心点,K2个中心 点领域点,得到P2个局部邻域。
步骤5:PointNet提取局部领域特征F2;
该步骤输入形式为P2×K2×(D+C′)的矩阵,输出形式为P2×(D+C″)。 其中,C″为PointNet在局部领域抽象得到的点特征维度。
PointNet【文献1】常被用作点云特征提取器,它保证了无序点云的平移不 行性,能将低维点特征抽象为丰富的高维语义特征,提高分割精度。本发明选用 PointNet作为局部邻域点云的特征提取器,如图4所示,PointNet特征提取器工 作原理如下。
给定一组无序局部邻域点{pl1,pl1,…,pln},则可定义函数H′将这组点云映射 为一个矢量:
其中,γ和h通常为MLP。
步骤6:解码P2个含有F2特征的抽象点云,得到P1个含有F3特征的抽象点云;
该步骤输入形式为P2×(D+C″)的矩阵信息,输出形式为P1×(D+C″′)。其中, C″′为解码后点云特征维度。解码层主要包括三个步骤:1)插值上采样:基于P2个 抽象点云,采用插值算法上采样,得到P1个抽象点云,其点云特征仍为F2。该步 骤输入P2×(D+C″)矩阵,输出P1×(D+C″)。2)跳链接融合特征:通过跳链 接方式,将步骤3中P1个抽象点云特征F1与上采样得到的P1个抽象点云特征F2融 合相加。该步骤输入P1×(D+C″)和P1×(D+C′),输出P1×(D+C″+C′)。3) 解码:基于融合特征的点云,采用Unit PointNet【文献1】解码。该步骤输入P1×(D+C″+C′),输出P1×(D+C″′)。
步骤7:解码P1个含有F3特征的抽象点云,得到P个含有F4特征的抽象点云;
该步骤输入形式为P1×(D+C″′)的矩阵信息,输出形式为P1×(D+C″″)。 其中,C″″为解码后点云特征维度。解码过程如步骤6所示,其数据流形式如下: 1)插值上采样:输入P1×(D+C″′)矩阵,输出P×(D+C″′)。2)跳链接融合 特征:输入P×(D+C″′)和P×(D+C),输出P×(D+C″′+C)。3)解码:输 入P×(D+C″′+C),输出P×(D+C″″)。
步骤8:采用全连接层得到各个点云的标签。
该步骤输入形式P×(D+C″″),输出P×k。其中k为场景点云类别数。
【文献1】Charles R Q,Hao S,Mo K,et al.PointNet:Deep Learning on PointSets for 3D Classification and Segmentation[C]//IEEE Conference on ComputerVision& Pattern Recognition.2017.
Claims (5)
1.一种基于扩张点卷积空间金字塔的点云语义分割方法,其特征在于,包括以下步骤:
步骤1:基于ScanNet数据集点云,采用最远点采样算法获取点云子集中心点;
步骤2:基于步骤1中获得的点云子集中心点,利用最近邻算法确定点云子集的范围;
输入形式为P×(D+C)和P1×D的矩阵信息,输出形式为P1×K1×(D+C)矩阵信息。其中,P为输入点云个数,P1为下采样中心点个数,D为各点的D维坐标信息,C为C维点特征信息,K1为中心点邻域点的个数;
步骤3:利用改进型扩张点卷积空间金字塔池化提取局部邻域特征F1,并得到P1个抽象点;
输入形式为P1×K1×(D+C)的矩阵信息,输出形式为P1×(D+C″)的矩阵信息。其中,C″为改进型扩张点卷积空间金字塔池化在局部邻域抽象得到的点特征维度;
步骤4:基于步骤3获得的P1个抽象点云,进行采样、分组。
该步骤输入形式为P1×(D+C′)的矩阵信息,输出形式为P2×K2×(D+C′);其中,P2为第二次下采样中心点个数,K2为第二次下采样中心点邻域点个数;基于P1个抽象点云,重复步骤1和步骤2操作,得到P2个下采样中心点,K2个中心点领域点,得到P2个局部邻域;
步骤5:PointNet提取局部领域特征F2;
输入形式为P2×K2×(D+C′)的矩阵,输出形式为P2×(D+C″);其中,C″为PointNet在局部领域抽象得到的点特征维度;
步骤6:解码P2个含有F2特征的抽象点云,得到P1个含有F3特征的抽象点云;
输入形式为P2×(D+C″)的矩阵信息,输出形式为P1×(D+C″′);其中,C″′为解码后点云特征维度;
步骤7:解码P1个含有F3特征的抽象点云,得到P个含有F4特征的抽象点云;
输入形式为P1×(D+C″′)的矩阵信息,输出形式为P1×(D+C″″)。其中,C″″为解码后点云特征维度;
步骤8:采用全连接层得到各个点云的标签;
输入形式P×(D+C″″),输出P×k;其中k为场景点云类别数。
2.根据权利要求1所述的方法,其特征在于,改进型扩张点卷积空间金字塔池化提取点云局部邻域特征包括以下三个步骤:1)改进传统扩张点卷积;2)不同扩张率的改进型扩张点卷积通道分别提取局部领域特征;3)各通道特征融合相加;4)特征降维;
具体提取过程如下:
1)替换点卷积核函数MLP,改进扩张点卷积;
传统扩张点卷积的连续卷积定义为:
其中,H为连续特征函数,给pj赋值一个特征值;G为连续核函数,将pj到pi距离映射为核权重;利用蒙特卡罗积分,连续卷积定义转换为:
其中,d为扩张点卷积的扩张率;无穷核函数G(·)用多层感知机代替:
其中,p为邻域点与中心点的相对位置,这里用欧式距离;θ为MLP的一系列参数。
为了获取更多局部邻域特征,将局部邻域点特征抽象到更高维,得到冗余信息,因此改进型扩张点卷积将无穷核函数g(·)用PointNet代替:
其中,PN为PointNet网络,θ′为PN一系列参数;
2)各改进型扩张点卷积提取局部邻域特征;
输入形式为P1×K1×(D+C)的矩阵信息,输出形式为P1×(D+Ci);其中,Ci为第i个改进型扩张点卷积在局部邻域抽象得到的点特征维度;
空间金字塔池化具有i个通道,每个通道携带一个改进型扩张点卷积,扩张点卷积的扩张率分别为d1,d2,…,di,则得到i组局部邻域不同尺度内容信息P1×(D+Ci);
3)融合各个改进型扩张点卷积网络提取的特征信息;
输入形式为P1×(D+Ci),输出形式为∑P1×(D+Ci);其中,i为空间金字塔池化通道数,也为改进型扩张点卷积个数;通过拼接方法融合不同尺度内容信息;
4)降维特征信息;
输入形式为输出形式为∑P1×(D+Ci),输出形式为P1×(D+C′)。
4.根据权利要求1所述的方法,其特征在于,所述步骤6中的解码过程如下:
1)插值上采样:基于P2个抽象点云,采用插值算法上采样,得到P1个抽象点云,其点云特征仍为F2。该步骤输入P2×(D+C″)矩阵,输出P1×(D+C″);
2)跳链接融合特征:通过跳链接方式,将步骤3中P1个抽象点云特征F1与上采样得到的P1个抽象点云特征F2融合相加;该步骤输入P1×(D+C″)和P1×(D+C′),输出P1×(D+C″+C′);
3)解码:基于融合特征的点云,采用Unit PointNet解码;
该步骤输入P1×(D+C″+C′),输出P1×(D+C″′)。
5.根据权利要求4所述的方法,其特征在于,所述步骤7中的解码过程如下:
1)插值上采样:输入P1×(D+C″′)矩阵,输出P×(D+C″′);
2)跳链接融合特征:输入P×(D+C″′)和P×(D+C),输出P×(D+C″′+C);
3)解码:输入P×(D+C″′+C),输出P×(D+C″″)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911048539.3A CN111027559A (zh) | 2019-10-31 | 2019-10-31 | 一种基于扩张点卷积空间金字塔池化的点云语义分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911048539.3A CN111027559A (zh) | 2019-10-31 | 2019-10-31 | 一种基于扩张点卷积空间金字塔池化的点云语义分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111027559A true CN111027559A (zh) | 2020-04-17 |
Family
ID=70200756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911048539.3A Pending CN111027559A (zh) | 2019-10-31 | 2019-10-31 | 一种基于扩张点卷积空间金字塔池化的点云语义分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111027559A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111860138A (zh) * | 2020-06-09 | 2020-10-30 | 中南民族大学 | 基于全融合网络的三维点云语义分割方法及*** |
CN112149725A (zh) * | 2020-09-18 | 2020-12-29 | 南京信息工程大学 | 基于傅立叶变换的谱域图卷积3d点云分类方法 |
CN112418235A (zh) * | 2020-11-20 | 2021-02-26 | 中南大学 | 一种基于膨胀最近邻特征增强的点云语义分割方法 |
CN112560965A (zh) * | 2020-12-18 | 2021-03-26 | 中国科学院深圳先进技术研究院 | 图像语义分割方法、存储介质和计算机设备 |
CN112819833A (zh) * | 2021-02-05 | 2021-05-18 | 四川大学 | 一种大场景点云语义分割方法 |
CN112967296A (zh) * | 2021-03-10 | 2021-06-15 | 重庆理工大学 | 一种点云动态区域图卷积方法、分类方法及分割方法 |
CN113378112A (zh) * | 2021-06-18 | 2021-09-10 | 浙江工业大学 | 一种基于各向异性卷积的点云补全方法及装置 |
CN113392841A (zh) * | 2021-06-03 | 2021-09-14 | 电子科技大学 | 一种基于多特征信息增强编码的三维点云语义分割方法 |
CN113486963A (zh) * | 2021-07-12 | 2021-10-08 | 厦门大学 | 一种密度自适应的点云端到端采样方法 |
CN114693932A (zh) * | 2022-04-06 | 2022-07-01 | 南京航空航天大学 | 一种大型飞机大部件点云语义分割方法 |
CN115496910A (zh) * | 2022-11-07 | 2022-12-20 | 中国测绘科学研究院 | 基于全连接图编码及双重扩张残差的点云语义分割方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108319957A (zh) * | 2018-02-09 | 2018-07-24 | 深圳市唯特视科技有限公司 | 一种基于超点图的大规模点云语义分割方法 |
CN108345831A (zh) * | 2017-12-28 | 2018-07-31 | 新智数字科技有限公司 | 基于点云数据的道路图像分割的方法、装置以及电子设备 |
CN109410307A (zh) * | 2018-10-16 | 2019-03-01 | 大连理工大学 | 一种场景点云语义分割方法 |
US20190147302A1 (en) * | 2017-11-10 | 2019-05-16 | Nvidia Corp. | Bilateral convolution layer network for processing point clouds |
US10408939B1 (en) * | 2019-01-31 | 2019-09-10 | StradVision, Inc. | Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same |
CN110223348A (zh) * | 2019-02-25 | 2019-09-10 | 湖南大学 | 基于rgb-d相机的机器人场景自适应位姿估计方法 |
-
2019
- 2019-10-31 CN CN201911048539.3A patent/CN111027559A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190147302A1 (en) * | 2017-11-10 | 2019-05-16 | Nvidia Corp. | Bilateral convolution layer network for processing point clouds |
CN108345831A (zh) * | 2017-12-28 | 2018-07-31 | 新智数字科技有限公司 | 基于点云数据的道路图像分割的方法、装置以及电子设备 |
CN108319957A (zh) * | 2018-02-09 | 2018-07-24 | 深圳市唯特视科技有限公司 | 一种基于超点图的大规模点云语义分割方法 |
CN109410307A (zh) * | 2018-10-16 | 2019-03-01 | 大连理工大学 | 一种场景点云语义分割方法 |
US10408939B1 (en) * | 2019-01-31 | 2019-09-10 | StradVision, Inc. | Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same |
CN110223348A (zh) * | 2019-02-25 | 2019-09-10 | 湖南大学 | 基于rgb-d相机的机器人场景自适应位姿估计方法 |
Non-Patent Citations (3)
Title |
---|
HONGSHAN YU 等: "Methods and datasets on semantic segmentation: A review", 《NEUROCOMPUTING》 * |
YUAN WANG 等: "PointSeg: Real-Time Semantic Segmentation Based on 3D LiDAR Point Cloud", 《ARXIV》 * |
张祥甫 等: "基于深度学习的语义分割问题研究综述", 《激光与光电子学进展》 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111860138A (zh) * | 2020-06-09 | 2020-10-30 | 中南民族大学 | 基于全融合网络的三维点云语义分割方法及*** |
CN111860138B (zh) * | 2020-06-09 | 2024-03-01 | 中南民族大学 | 基于全融合网络的三维点云语义分割方法及*** |
CN112149725A (zh) * | 2020-09-18 | 2020-12-29 | 南京信息工程大学 | 基于傅立叶变换的谱域图卷积3d点云分类方法 |
CN112149725B (zh) * | 2020-09-18 | 2023-08-22 | 南京信息工程大学 | 基于傅立叶变换的谱域图卷积3d点云分类方法 |
CN112418235A (zh) * | 2020-11-20 | 2021-02-26 | 中南大学 | 一种基于膨胀最近邻特征增强的点云语义分割方法 |
CN112560965B (zh) * | 2020-12-18 | 2024-04-05 | 中国科学院深圳先进技术研究院 | 图像语义分割方法、存储介质和计算机设备 |
CN112560965A (zh) * | 2020-12-18 | 2021-03-26 | 中国科学院深圳先进技术研究院 | 图像语义分割方法、存储介质和计算机设备 |
CN112819833A (zh) * | 2021-02-05 | 2021-05-18 | 四川大学 | 一种大场景点云语义分割方法 |
CN112819833B (zh) * | 2021-02-05 | 2022-07-12 | 四川大学 | 一种大场景点云语义分割方法 |
CN112967296A (zh) * | 2021-03-10 | 2021-06-15 | 重庆理工大学 | 一种点云动态区域图卷积方法、分类方法及分割方法 |
CN112967296B (zh) * | 2021-03-10 | 2022-11-15 | 重庆理工大学 | 一种点云动态区域图卷积方法、分类方法及分割方法 |
CN113392841A (zh) * | 2021-06-03 | 2021-09-14 | 电子科技大学 | 一种基于多特征信息增强编码的三维点云语义分割方法 |
CN113378112A (zh) * | 2021-06-18 | 2021-09-10 | 浙江工业大学 | 一种基于各向异性卷积的点云补全方法及装置 |
CN113486963A (zh) * | 2021-07-12 | 2021-10-08 | 厦门大学 | 一种密度自适应的点云端到端采样方法 |
CN113486963B (zh) * | 2021-07-12 | 2023-07-07 | 厦门大学 | 一种密度自适应的点云端到端采样方法 |
CN114693932A (zh) * | 2022-04-06 | 2022-07-01 | 南京航空航天大学 | 一种大型飞机大部件点云语义分割方法 |
CN115496910B (zh) * | 2022-11-07 | 2023-04-07 | 中国测绘科学研究院 | 基于全连接图编码及双重扩张残差的点云语义分割方法 |
CN115496910A (zh) * | 2022-11-07 | 2022-12-20 | 中国测绘科学研究院 | 基于全连接图编码及双重扩张残差的点云语义分割方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111027559A (zh) | 一种基于扩张点卷积空间金字塔池化的点云语义分割方法 | |
Qiu et al. | Semantic segmentation for real point cloud scenes via bilateral augmentation and adaptive fusion | |
Li et al. | Deep learning for remote sensing image classification: A survey | |
CN104036012B (zh) | 字典学习、视觉词袋特征提取方法及检索*** | |
Lin et al. | Local and global encoder network for semantic segmentation of Airborne laser scanning point clouds | |
CN114792372A (zh) | 一种基于多头两级注意力的三维点云语义分割方法及*** | |
CN116028663B (zh) | 三维数据引擎平台 | |
CN111652273A (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
CN108537109B (zh) | 基于OpenPose的单目相机手语识别方法 | |
CN114299285A (zh) | 三维点云半自动标注方法、***、电子设备及存储介质 | |
Zheng et al. | Person re-identification in the 3D space | |
CN110851627A (zh) | 一种用于描述全日面图像中太阳黑子群的方法 | |
CN117765258A (zh) | 基于密度自适应和注意力机制的大规模点云语义分割方法 | |
Bashmal et al. | Language Integration in Remote Sensing: Tasks, datasets, and future directions | |
CN114445280B (zh) | 一种基于注意力机制的点云下采样方法 | |
CN116129118A (zh) | 基于图卷积的城市场景激光LiDAR点云语义分割方法 | |
Tan et al. | 3D detection transformer: Set prediction of objects using point clouds | |
CN115497085A (zh) | 基于多分辨率双特征折叠的点云补全方法及*** | |
Zhu et al. | Gradient-based graph attention for scene text image super-resolution | |
CN115272696A (zh) | 一种基于自适应卷积和局部几何信息的点云语义分割方法 | |
Huang et al. | Remote sensing data detection based on multiscale fusion and attention mechanism | |
Hazer et al. | Deep learning based point cloud processing techniques | |
CN112784838A (zh) | 一种基于局部敏感哈希网络的汉明ocr识别方法 | |
Sinha et al. | Scene image classification using a wigner-based local binary patterns descriptor | |
Han et al. | A Large-Scale Network Construction and Lightweighting Method for Point Cloud Semantic Segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200417 |
|
WD01 | Invention patent application deemed withdrawn after publication |