CN113538474B - 基于边缘特征融合的3d点云分割目标检测*** - Google Patents
基于边缘特征融合的3d点云分割目标检测*** Download PDFInfo
- Publication number
- CN113538474B CN113538474B CN202110786257.4A CN202110786257A CN113538474B CN 113538474 B CN113538474 B CN 113538474B CN 202110786257 A CN202110786257 A CN 202110786257A CN 113538474 B CN113538474 B CN 113538474B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- feature
- edge
- extraction
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 65
- 238000001514 detection method Methods 0.000 title claims abstract description 23
- 230000011218 segmentation Effects 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims description 145
- 238000005070 sampling Methods 0.000 claims description 45
- 230000009467 reduction Effects 0.000 claims description 23
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 19
- 230000014759 maintenance of location Effects 0.000 claims description 16
- 238000012423 maintenance Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 abstract description 4
- 230000008447 perception Effects 0.000 abstract 1
- 239000002131 composite material Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000011160 research Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000006722 reduction reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于边缘特征融合的3D点云分割目标检测***,涉及深度学习3D点云分割技术领域;其采用多层感知机提取边缘特征,将点云保持特征与点云提取特征相融合,生成点云边缘融合特征,增强边缘特征的提取能力,将得到的边缘特征应用于目标检测任务,提升点云分割模型的精度,获得准确的点云目标检测结果,可以很好地应用于无人驾驶、机械手感知等领域。
Description
技术领域
本发明涉及深度学习3D点云分割技术领域,具体涉及一种基于边缘特征融合的3D点云分割目标检测***。
背景技术
近年来,随着三维激光扫描技术的发展,三维点云数据的采取也变得快速且便捷。在无人驾驶、机器人、室内场景检测和识别等领域都有非常广泛的应用,三维点云在计算机视觉领域已然成为研究热点。目前对场景获取主要依靠传统点云,但计算机自动审查技术不够成熟,现有算法不能实现对点云目标充分认识与理解。深度学习在计算机视觉领域快速发展,并且在二维图像的识别、分类上取得了显著的成就。同时,三维点云分类的研究受此影响也越来越多的开始使用深度学习的方法。
现有的3D点云目标检测算法大多以关键点作为3D检测目标,通过关键点之间的连接关系确定辅助训练模块,实现对3D目标框的精准定位。名称为一种基于关键点的3D目标检测方法,公开号为CN112766100A的发明专利申请,利用3D目标的关键点,通过回归同一个3D目标的点与点之间的连接关系实现框的定位。但是该方法忽略了局部与全局之间的关系导致3D目标检测精度不高。名称为一种基于局部边缘特征增强的点云分类方法及***,公开号为CN112052884A的发明专利申请,通过获取点云体素化数据、点云体素化数据对应的点云在预设邻域内的边缘特征,以及点云体素化数据对应点云对应的体素位置,基于图卷积网络结构和通道注意力机制构建出点云分类模型对特征填充后的点云进行分类,并输出点云分类结果,增加了特征通道之间的相互依赖关系,加强了点云的全局特征表达能力,从而提高了点云分类的效率和预测准确度。但由于要进行点云边缘填充,该方法会加大对小样本模型的识别误差,不利于小样本点云模型目标分类。
发明内容
针对现有技术存在上述问题,本发明提出了一种基于边缘特征融合的3D点云分割目标检测***,其能获得更准确的边缘信息,提高点云目标检测结果的准确性。
为实现上述目的,本申请的技术方案为:基于边缘特征融合的3D点云分割目标检测***,包括串联使用的扩张提取特征模块、保持提取特征模块和还原提取特征模块,每个模块均包括多个边缘特征提取单元,所述边缘特征提取单元包括点云特征采样层、点云特征保持支路和点云特征提取支路,所述点云特征采样层改变从三维图像中获取的点云特征尺寸,所述点云特征保持支路采用1维卷积对改变尺寸后的点云特征进一步处理,保证卷积处理前后的点云特征一致性,所述点云特征提取支路通过提取型多层感知机获得边缘特征,再与一致性的点云特征相融合,使点云边缘融合保持特征内容更具多样性,充分准确表示点云目标特征信息。
进一步的,在所述边缘特征提取单元中为获取点云边缘融合特征,其实施步骤如下:
第1步:将三维图像中原始点云特征向量作为输入,读取该特征向量,尺寸为n×3,n表示点云数量,每个点用(x,y,z)的3维坐标表示,输入三维图像中原始点云特征向量/>的具体形式为/>
第2步:将所述原始点云特征通过点云特征采样层进行处理,得到尺寸改变后的转换型点云特征/>其表达式如下:
第3步:在点云特征保持支路中,以所述转换型点云特征作为特征向量输入,采用1个尺寸为1的卷积核做1维卷积操作,输出的点云保持特征/>如下所示:
其中,是点云特征保持支路中的特征向量输入表达特式,vσi是点云保持支路中的向量表征表达式,一维卷积操作的具体表达为/>i表示点云特征维度,卷积处理的卷积核大小为1×1,s表示卷积操作的步长,s=1;
同时,在点云特征提取支路中,也以所述转换型点云特征作为特征向量输入,经过提取型多层感知机提取特征,得到点云提取特征/>如下式所示:
其中表示提取型多层感知机中的一维卷积操作,卷积核大小为1×1,s代表卷积操作的步长,且s=1,λ表示每层感知机的偏移量;
第4步:将点云保持特征和点云提取特征进行融合,得到点云边缘融合特征具体如下:
经过对三维图像中原始点云特征进行上述操作,最终输出点云边缘融合特征/>如下;
由于在每一模块中卷积处理中,一维卷积的卷积核大小和步长为1,最终输出点云边缘融合特征的特征尺寸由点云特征采样层决定,且代表每个单元的的点云特征尺寸,保证了点云特征处理前后的一致性并得到了有效增强,提高了三维图像中点云特征的丰富性。
进一步的,所述扩张提取特征模块包括a个边缘特征提取单元,每个边缘特征提取单元中的点云特征采样层均为点云特征扩张采样层以采用5个单元为例,即a∈{1,2,3,4,5}复合而成,为获取点云边缘融合扩张特征,其实施步骤如下:
第1步:将三维图像中原始点云特征向量作为输入,读取该特征向量,尺寸为n×3,n表示点云数量,每个点用(x,y,z)的3维坐标表示,输入三维图像中原始点云特征向量/>的具体形式为/>
第2步:将所述原始点云特征通过点云特征扩张采样层进行处理,得到尺寸改变后的转换型点云特征/>表达式如下:
第3步:在点云特征保持支路中,以所述转换型点云特征作为特征向量输入,采用1个尺寸为1的卷积核做1维卷积操作,输出的点云保持特征/>如下所示:
其中,是点云特征保持支路中的特征向量输入表达式;
同时,在点云特征提取支路中,也以所述转换型点云特征作为特征向量输入,经过提取型多层感知机提取特征,得到点云提取特征/>如下式所示:
第4步:将点云保持特征和点云提取特征进行融合,得到点云边缘融合扩张特征具体如下:
第1边缘特征提取单元的输出作为第2边缘特征提取单元的输入,以此类推,得到a个点云边缘融合扩张特征。以5个单元为例,
经过上述步骤同理可得:
a=2时,输出结果为
a=3时,输出结果为
a=4时,输出结果为
a=5时,输出结果为
进一步的,所述保持提取特征模块,包括b个边缘特征提取单元,每个边缘特征提取单元中的点云特征采样层均为点云特征保持采样层以采用3个单元为例,即b∈{1,2,3}复合而成,为获取点云边缘融合保持特征,其实施步骤如下:
第1步:将扩张提取特征模块输出的点云边缘融合扩张特征作为输入,读取该特征向量,使用点云特征保持采样层进行特征尺寸保持,得到转换型点云特征具体形式为/>
第2步:在点云特征保持支路中,以转换型点云特征作为特征向量输入,采用1个尺寸为1的卷积核做1维卷积操作,输出的点云保持特征/>如下所示:
其中,是点云特征保持支路中的特征向量输入表达式。
同时,在点云特征提取支路中,也以所述转换型点云特征作为特征向量输入,经过提取型多层感知机提取特征,得到点云提取特征/>如下式所示:
第3步:将点云保持特征和点云提取特征进行融合,得到点云边缘融合保持特征具体如下:
第1边缘特征提取单元的输出作为第2边缘特征提取单元的输入,以此类推,得到b个点云边缘融合保持特征。以3个单元为例,
经过上述步骤同理可得:
b=2时,输出结果为
b=3时,输出结果为
进一步的,所述还原提取特征模块包括c个边缘特征提取单元,每个边缘特征提取单元中的点云特征采样层均为点云特征还原采样层以采用4个单元为例,即c∈{1,2,3,4}复合而成,为获取点云边缘融合还原特征,其实施步骤如下:
第1步:将保持提取特征模块输出的点云边缘融合保持特征作为输入,读取该特征向量,使用还原点云特征采样层进行特征尺寸保持,得到转换型点云特征具体形式为/>
第2步:在点云特征保持支路中,以转换型点云特征作为特征向量输入,采用1个尺寸为1的卷积核做1维卷积操作,输出的点云保持特征/>如下所示:
其中,是点云特征保持支路中的特征向量输入表达式;
同时,在点云特征提取支路中,也以所述转换型点云特征作为特征向量输入,经过提取型多层感知机提取特征,得到点云提取特征/>如下式所示:
第3步:将点云保持特征和点云提取特征进行融合,得到点云边缘融合还原特征具体如下:
第1边缘特征提取单元的输出作为第2边缘特征提取单元的输入,以此类推,得到c个点云边缘融合还原特征。以4个单元为例,
经过上述步骤同理可得:
c=2时,输出结果为
c=3时,输出结果为
c=4时,输出结果为
本发明由于采用以上技术方案,能够取得如下的技术效果:
(1)适用于通过边缘特征获取点云特征情况
本发明中的三维图像以原始点云特征为输入,在采用多层感知机结构提取点云特征的过程中融合边缘特征信息,得到的点云特征具备原始点云特征和边缘特征的双重表达,增强点云特征的表达能力,适用于通过边缘特征获取点云特征的情况。
(2)适用于点云分割任务
本发明中的三维图像通过边缘特征提取复合结构获取表达能力更强的点云边缘融合保持特征,可以将三维图像中目标的点云特征和点云保持特征相融合,级联后作为目标特征输入,获取准确的点云分割结果。
(3)适用于目标检测任务
本发明可以有效提升三维图像中点云分割模型性能,具有相对简单的目标、动作、属性等因素,可以更好的应用于目标检测任务。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是边缘特征提取单元示意图;
图2是边缘特征提取单元组成的扩张提取特征模块示意图;
图3是边缘特征提取单元组成的保持提取特征模块示意图;
图4是边缘特征提取单元组成的还原提取特征模块示意图:
图5是本***(边缘特征提取复合结构)整体框架示意图;
图6是实施实例1中自动驾驶识别周围环境情况示意图;
图7是实施实例2中铁路场景检测场景情况示意图;
图8是实施实例3中机械手抓取物体情况示意图。
具体实施方式
本发明的实施例是在以本发明技术方案为前提下进行实施的,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述实施例。
本实施例提供一种基于边缘特征融合的3D点云分割目标检测***,将三维图像原始点云特征经过边缘特征提取复合结构处理,得到含有表达能力较强的边缘特征信息的点云边缘融合还原特征。该复合结构包括三个模块,分别是扩张提取特征模块、保持提取特征模块和还原提取特征模块,其基本结构为边缘特征提取单元,其包括点云特征采样层、点云特征保持支路和点云特征提取支路。点云特征采样层改变输入点云特征尺寸,点云特征保持支路采用1维卷积对改变尺寸后的点云特征进一步处理,保证卷积处理前后的点云特征一致性,点云特征提取支路通过提取型多层感知机提取边缘特征,再与一致性的点云特征相融合,使点云边缘融合特征内容更具多样性,充分准确表示点云目标特征信息。
所述边缘特征提取单元在提取型多层感知机的处理过程中获取隐藏层特征,之后融合点云特征,丰富特征内容的多样性,复用边缘特征提取单元得到扩张提取特征模块、保持提取特征模块和还原提取特征模块,获取具备点云特征和边缘特征相融合表达的特征,增强点云特征的表达能力。将点云特征保持支路得到的点云保持特征和点云特征提取支路得到的点云提取特征相融合后,作为下一单元的输入。在扩张提取特征模块中边缘特征提取单元的采样层为点云特征扩张采样层,保持提取特征模块中边缘特征提取单元的采样层为点云特征保持采样层,还原提取特征模块中边缘特征提取单元的采样层为点云特征还原采样层,分别在各单元中对输入点云特征进行特征尺寸变换。
边缘特征提取复合结构包括上述三个模块,作为点云多层提取特征主要结构,随后输入到最大池化层提取整个结构中最占优势特征,该方法得到的点云特征可以提升点云分割的准确度。
所述边缘特征提取单元,将三维图像的原始点云坐标作为输入,先经过例如KNN等聚类方式预处理的原始点云特征经过点云特征采样层改变或保持点云特征尺寸,输出转换型点云特征RF,作为点云特征保持支路和点云特征提取支路的输入。点云特征保持支路中输出点云特征保持RB,点云特征提取支路中经过提取型多层感知机处理后,输出为点云提取特征RT,将点云保持特征RB与点云提取特征RT融合,最终输出为点云边缘融合特征R,具体为:
(1)输入三维图像的原始点云特征即将输入到边缘特征提取单元的特征向量。
(2)三维图像经过处理后输出点云保持特征RB,具体为:三维图像输入的原始点云特征经过点云特征采样层改变尺寸后得到转换型点云特征RF,该转换型点云特征RF经过尺寸为1的卷积核进行1维卷积处理得到的特征向量。
(3)三维图像经过处理后输出点云提取特征RT,具体为:三维图像输入的原始点云特征经过点云特征采样层改变尺寸后得到转换型点云特征RF,该转换型点云特征RF经过多层感知机提取特征,输出点云提取特征RT。
(4)点云特征融合,具体操作是:将点云保持特征RB与点云提取特征RT相加融合,得到点云边缘融合保持特征R。
在点云特征保持支路,对原始点云特征进一步处理,在特征尺寸改变、点云特征表示检测目标属性不变的情况下,提升边缘特征的表达能力,同时为点云特征提取支路提供点云原始特征。在点云特征提取支路中,将点云提取特征与点云保持特征相加,丰富特征内容,得到具备较强表达能力的点云特征。
边缘特征提取复合结构包括串联使用的三个模块,分别是扩张提取特征模块、保持提取特征模块和还原提取特征模块,输入为原始点云特征输出为点云边缘融合特征/>具体为:
(1)输入三维图像中的原始点云特征即将输入到边缘特征提取复合结构的特征向量。
(2)扩张提取特征模块中有a个边缘特征提取单元,其中点云特征采样层为点云特征扩张采样层,对输入原始点云特征进行尺寸放大,点云特征扩张采样层的输出是保持提取特征模块中有b个边缘特征提取单元,点云特征采样层为点云特征保持采样层,保持输入点云特征尺寸不变,点云特征保持采样层的输出是/>还原提取特征模块中有c个边缘特征提取单元,点云特征采样层为点云特征还原采样层,对输入原始点云特征进行尺寸还原,点云特征还原采样层的输出是/>
(3)所述三维图像中的点云保持特征RB,是点云特征保持支路中,转换型点云特征RF经过1个尺寸为1的卷积核进行1维卷积处理得到的特征向量。具体为扩张提取特征模块中的点云特征保持表示为保持提取特征模块中的点云特征保持表示为还原提取特征模块中的点云特征保持表示为/>
(4)所述三维图像中的点云提取特征RT,是转换型点云特征通过多层感知机提取其中的特征,等待在点云特征提取支路中进行融合处理,扩张提取特征模块中的点云特征提取表示为保持提取特征模块中的点云特征提取表示为/>还原提取特征模块中的点云特征提取表示为/>
(5)所述三维图像中的点云特征融合,具体操作是:在点云特征提取支路中,将点云保持特征RB与点云提取特征RT相加融合,扩张提取特征模块中的点云特征融合表示为保持提取特征模块中的点云特征融合表示为/>还原提取特征模块中的点云特征融合表示为/>
边缘特征提取复合结构,对输入点云特征进行尺寸放大、保持、还原变换得到转换型点云特征。在点云特征保持支路,对转换型点云特征进一步处理,不改变点云特征尺寸地情况下提取点云特征。在点云特征提取支路,将点云提取特征与点云保持特征相加,使生成的点云边缘融合特征内容更具多样性,充分准确表示三维图像中点云目标特征信息。
在扩张提取特征模块中:
(1)当a=1时,输出点云边缘融合扩张特征尺寸为[n×64]。
(2)当a=2时,输出点云边缘融合扩张特征尺寸为[n×128]。
(3)当a=3时,输出点云边缘融合扩张特征尺寸为[n×256]。
(4)当a=4时,输出点云边缘融合扩张特征尺寸为[n×512]。
(5)当a=5时,输出点云边缘融合扩张特征尺寸为[n×1024]。
在保持提取特征模块中:
(1)当b=1时,输出点云边缘融合保持特征尺寸为[n×1024]。
(2)当b=2时,输出点云边缘融合保持特征尺寸为[n×1024]。
(3)当b=3时,输出点云边缘融合保持特征尺寸为[n×1024]。
在还原提取特征模块中:
(1)当c=1时,输出点云边缘融合还原特征尺寸为[n×512]。
(2)当c=2时,输出点云边缘融合还原特征尺寸为[n×256]。
(3)当c=3时,输出点云边缘融合还原特征尺寸为[n×128]。
(4)当c=4时,输出点云边缘融合还原特征尺寸为[n×64]。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式,并且很显然,根据上述教导,可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用,从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
Claims (4)
1.基于边缘特征融合的3D点云分割目标检测***,其特征在于,包括串联使用的扩张提取特征模块、保持提取特征模块和还原提取特征模块,每个模块均包括多个边缘特征提取单元,所述边缘特征提取单元包括点云特征采样层、点云特征保持支路和点云特征提取支路,所述点云特征采样层改变从三维图像中获取的点云特征尺寸,所述点云特征保持支路采用1维卷积对改变尺寸后的点云特征进一步处理,保证卷积处理前后的点云特征一致性,所述点云特征提取支路通过提取型多层感知机获得边缘特征,再与一致性的点云特征相融合;
在所述边缘特征提取单元中为获取点云边缘融合特征,其实施步骤如下:
第1步:将三维图像中原始点云特征向量作为输入,读取该特征向量,尺寸为n×3,n表示点云数量,每个点用(x,y,z)的3维坐标表示,输入三维图像中原始点云特征向量的具体形式为/>
第2步:将所述原始点云特征通过点云特征采样层进行处理,得到尺寸改变后的转换型点云特征/>其表达式如下:
第3步:在点云特征保持支路中,以所述转换型点云特征作为特征向量输入,采用1个尺寸为1的卷积核做1维卷积操作,输出的点云保持特征/>如下所示:
其中,是点云特征保持支路中的特征向量输入表达特式,vσi是点云保持支路中的向量表征表达式,一维卷积操作的具体表达为/>i表示点云特征维度,卷积处理的卷积核大小为1×1,s表示卷积操作的步长,s=1;
同时,在点云特征提取支路中,也以所述转换型点云特征作为特征向量输入,经过提取型多层感知机提取特征,得到点云提取特征/>如下式所示:
其中表示提取型多层感知机中的一维卷积操作,卷积核大小为1×1,s代表卷积操作的步长,且s=1,λ表示每层感知机的偏移量;
第4步:将点云保持特征和点云提取特征进行融合,得到点云边缘融合特征具体如下:
经过对三维图像中原始点云特征进行上述操作,最终输出点云边缘融合特征如下;
2.根据权利要求1所述基于边缘特征融合的3D点云分割目标检测***,其特征在于,所述扩张提取特征模块包括a个边缘特征提取单元,每个边缘特征提取单元中的点云特征采样层均为点云特征扩张采样层为获取点云边缘融合扩张特征,其实施步骤如下:
第1步:将三维图像中原始点云特征向量作为输入,读取该特征向量,尺寸为n×3,n表示点云数量,每个点用(x,y,z)的3维坐标表示,输入三维图像中原始点云特征向量的具体形式为/>
第2步:将所述原始点云特征通过点云特征扩张采样层进行处理,得到尺寸改变后的转换型点云特征/>表达式如下:
第3步:在点云特征保持支路中,以所述转换型点云特征作为特征向量输入,采用1个尺寸为1的卷积核做1维卷积操作,输出的点云保持特征/>如下所示:
其中,是点云特征保持支路中的特征向量输入表达式;
同时,在点云特征提取支路中,也以所述转换型点云特征作为特征向量输入,经过提取型多层感知机提取特征,得到点云提取特征/>如下式所示:
第4步:将点云保持特征和点云提取特征进行融合,得到点云边缘融合扩张特征具体如下:
第1边缘特征提取单元的输出作为第2边缘特征提取单元的输入,以此类推,得到a个点云边缘融合扩张特征。
3.根据权利要求1所述基于边缘特征融合的3D点云分割目标检测***,其特征在于,所述保持提取特征模块,包括b个边缘特征提取单元,每个边缘特征提取单元中的点云特征采样层均为点云特征保持采样层为获取点云边缘融合保持特征,其实施步骤如下:
第1步:将扩张提取特征模块输出的点云边缘融合扩张特征作为输入,读取该特征向量,使用点云特征保持采样层进行特征尺寸保持,得到转换型点云特征
第2步:在点云特征保持支路中,以转换型点云特征作为特征向量输入,采用1个尺寸为1的卷积核做1维卷积操作,输出的点云保持特征/>如下所示:
其中,是点云特征保持支路中的特征向量输入表达式;
同时,在点云特征提取支路中,也以所述转换型点云特征作为特征向量输入,经过提取型多层感知机提取特征,得到点云提取特征/>如下式所示:
第3步:将点云保持特征和点云提取特征进行融合,得到点云边缘融合保持特征具体如下:
第1边缘特征提取单元的输出作为第2边缘特征提取单元的输入,以此类推,得到b个点云边缘融合保持特征。
4.根据权利要求1所述基于边缘特征融合的3D点云分割目标检测***,其特征在于,所述还原提取特征模块包括c个边缘特征提取单元,每个边缘特征提取单元中的点云特征采样层均为点云特征还原采样层为获取点云边缘融合还原特征,其实施步骤如下:
第1步:将保持提取特征模块输出的点云边缘融合保持特征作为输入,读取该特征向量,使用还原点云特征采样层进行特征尺寸保持,得到转换型点云特征
第2步:在点云特征保持支路中,以转换型点云特征作为特征向量输入,采用1个尺寸为1的卷积核做1维卷积操作,输出的点云保持特征/>如下所示:
其中,是点云特征保持支路中的特征向量输入表达式;
同时,在点云特征提取支路中,也以所述转换型点云特征作为特征向量输入,经过提取型多层感知机提取特征,得到点云提取特征/>如下式所示:
第3步:将点云保持特征和点云提取特征进行融合,得到点云边缘融合还原特征具体如下:
第1边缘特征提取单元的输出作为第2边缘特征提取单元的输入,以此类推,得到c个点云边缘融合还原特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110786257.4A CN113538474B (zh) | 2021-07-12 | 2021-07-12 | 基于边缘特征融合的3d点云分割目标检测*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110786257.4A CN113538474B (zh) | 2021-07-12 | 2021-07-12 | 基于边缘特征融合的3d点云分割目标检测*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113538474A CN113538474A (zh) | 2021-10-22 |
CN113538474B true CN113538474B (zh) | 2023-08-22 |
Family
ID=78098712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110786257.4A Active CN113538474B (zh) | 2021-07-12 | 2021-07-12 | 基于边缘特征融合的3d点云分割目标检测*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113538474B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114299243A (zh) * | 2021-12-14 | 2022-04-08 | 中科视语(北京)科技有限公司 | 基于多尺度融合的点云特征增强方法和装置 |
CN114998890B (zh) * | 2022-05-27 | 2023-03-10 | 长春大学 | 一种基于图神经网络的三维点云目标检测算法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111489358A (zh) * | 2020-03-18 | 2020-08-04 | 华中科技大学 | 一种基于深度学习的三维点云语义分割方法 |
CN112052860A (zh) * | 2020-09-11 | 2020-12-08 | 中国人民解放军国防科技大学 | 一种三维目标检测方法及*** |
CN112270249A (zh) * | 2020-10-26 | 2021-01-26 | 湖南大学 | 一种融合rgb-d视觉特征的目标位姿估计方法 |
CN112785611A (zh) * | 2021-01-29 | 2021-05-11 | 昆明理工大学 | 一种3d点云弱监督语义分割方法及*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109784333B (zh) * | 2019-01-22 | 2021-09-28 | 中国科学院自动化研究所 | 基于点云带权通道特征的三维目标检测方法及*** |
-
2021
- 2021-07-12 CN CN202110786257.4A patent/CN113538474B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111489358A (zh) * | 2020-03-18 | 2020-08-04 | 华中科技大学 | 一种基于深度学习的三维点云语义分割方法 |
CN112052860A (zh) * | 2020-09-11 | 2020-12-08 | 中国人民解放军国防科技大学 | 一种三维目标检测方法及*** |
CN112270249A (zh) * | 2020-10-26 | 2021-01-26 | 湖南大学 | 一种融合rgb-d视觉特征的目标位姿估计方法 |
CN112785611A (zh) * | 2021-01-29 | 2021-05-11 | 昆明理工大学 | 一种3d点云弱监督语义分割方法及*** |
Non-Patent Citations (1)
Title |
---|
基于特征融合的林下环境点云分割;樊丽;刘晋浩;黄青青;;北京林业大学学报(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113538474A (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107563381B (zh) | 基于全卷积网络的多特征融合的目标检测方法 | |
US20230045519A1 (en) | Target Detection Method and Apparatus | |
CN109344701B (zh) | 一种基于Kinect的动态手势识别方法 | |
CN107358262B (zh) | 一种高分辨率图像的分类方法及分类装置 | |
CN111460968B (zh) | 基于视频的无人机识别与跟踪方法及装置 | |
CN111080693A (zh) | 一种基于YOLOv3的机器人自主分类抓取方法 | |
CN108647694B (zh) | 基于上下文感知和自适应响应的相关滤波目标跟踪方法 | |
CN113538474B (zh) | 基于边缘特征融合的3d点云分割目标检测*** | |
AU2018202767B2 (en) | Data structure and algorithm for tag less search and svg retrieval | |
CN112132197A (zh) | 模型训练、图像处理方法、装置、计算机设备和存储介质 | |
WO2023151237A1 (zh) | 人脸位姿估计方法、装置、电子设备及存储介质 | |
CN110796143A (zh) | 一种基于人机协同的场景文本识别方法 | |
CN111462120A (zh) | 一种基于语义分割模型缺陷检测方法、装置、介质及设备 | |
Wang et al. | Research on image recognition of insulators based on YOLO algorithm | |
CN110751232A (zh) | 一种中文复杂场景文本检测与识别方法 | |
CN110443279B (zh) | 一种基于轻量级神经网络的无人机图像车辆检测方法 | |
Gao et al. | Counting dense objects in remote sensing images | |
CN112597920A (zh) | 基于YOLOv3剪枝网络的实时物体检测*** | |
CN108537109B (zh) | 基于OpenPose的单目相机手语识别方法 | |
Deng | A survey of convolutional neural networks for image classification: Models and datasets | |
Chen et al. | Research and implementation of robot path planning based on computer image recognition technology | |
Zhao et al. | A target detection algorithm for remote sensing images based on a combination of feature fusion and improved anchor | |
CN113076905A (zh) | 一种基于上下文交互关系的情绪识别方法 | |
CN111368663A (zh) | 自然场景中静态面部表情识别方法、装置、介质及设备 | |
Yang et al. | A deep learning model S-Darknet suitable for small target detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |