CN113421267B - 一种基于改进PointConv的点云语义与实例联合分割方法及*** - Google Patents

一种基于改进PointConv的点云语义与实例联合分割方法及*** Download PDF

Info

Publication number
CN113421267B
CN113421267B CN202110495434.3A CN202110495434A CN113421267B CN 113421267 B CN113421267 B CN 113421267B CN 202110495434 A CN202110495434 A CN 202110495434A CN 113421267 B CN113421267 B CN 113421267B
Authority
CN
China
Prior art keywords
semantic
feature
instance
segmentation
pointconv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110495434.3A
Other languages
English (en)
Other versions
CN113421267A (zh
Inventor
顾寄南
张文浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202110495434.3A priority Critical patent/CN113421267B/zh
Publication of CN113421267A publication Critical patent/CN113421267A/zh
Application granted granted Critical
Publication of CN113421267B publication Critical patent/CN113421267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于改进PointConv的点云语义与实例联合分割方法及***，以激光雷达或深度相机获取的点云作为改进PointConv特征提取模块的输入，经过共享编码模块的点同时通过语义分割解码和实例分割解码，得到实例特征预测和语义特征预测，双向自注意模块将改进PointConv特征提取模块所得到的语义特征预测和实例特征预测进行特征融合，分别进行实例分割和语义分割，得到包含有语义特征的实例信息和包含有实例特征的语义信息。本发明提高了实例分割的速度，且减少了对语义分割精度的依赖性。

Description

一种基于改进PointConv的点云语义与实例联合分割方法及 ***
技术领域
本发明属于点云分割技术领域，具体涉及一种基于改进PointConv的点云语义与实例联合分割方法及***。
背景技术
神经网络在图像特征提取过程中，具有强大的特征学习能力，使得计算机视觉领域的图像语义以及实例分割任务取得了重大的突破。自PointNet算法后，端到端的点云分割算法迅速发展，但仍然存在以下缺陷：①在进行KNN或者Radius NN搜索时，由于搜索点顺序的不同，导致点云的无序性，大多方法使用mlp和maxpooling的形式来提取特征，提取的点特征不能获取点云的局部几何形状与点之间的相互作用；②目前点云算法第一步采用最远点采样，属于非均匀采样，导致某些局部区域点大量聚集，部分区域点消失，特征学习能力不强；③大多数网络将语义分割与实例分割任务以串联的方式将两者结合，存在次优、低效性并且二者依赖性过强的问题。
发明内容
针对现有技术中存在不足，本发明提供了一种基于改进PointConv的点云语义与实例联合分割方法及***，提高实例分割的速度，减少对语义分割精度的依赖性。
本发明是通过以下技术手段实现上述技术目的的。
一种基于改进PointConv的点云语义与实例联合分割方法，具体为：
获取的点云输入改进PointConv特征提取模块，经过共享编码模块，得到特征维度为512的点，所述特征维度为512的点同时通过语义分割解码和实例分割解码，得到实例特征预测Fins和语义特征预测Fsem；所述实例分割解码部分引入上下文聚合模块以及门控传播模块，增强特征的学习；
双向自注意模块将改进PointConv特征提取模块所得到的语义特征预测Fsem和实例特征预测Fins进行特征融合，分别进行实例分割和语义分割，得到包含有语义特征的实例信息和包含有实例特征的语义信息。
进一步的技术方案，所述输入改进PointConv特征提取模块的点云包括点的xyz归一化绝对坐标、rgb颜色信息以及点相对于局部坐标系的相对坐标x′y′z′。
进一步的技术方案，所述实例分割解码具体为：
先使用PointDeconv对共享编码模块的最终结果进行反卷积上采样到Nd个点，将这Nd个点的特征输入至上下文聚合模块，经过三次1x1卷积，分部得到特征Q、特征K和特征V，将特征Q与转置后的特征K进行矩阵乘法，再经过sigmoid压缩得到权重矩阵W1，将权重矩阵W1与特征V进行矩阵乘法，所得结果与再与特征V进行逐元素相加，得到最终的聚合特征；
将最终的聚合特征Fdec与共享编码模块PointConv_3输出的特征Fenc作为门控传播模块的输入，将Fdec和Fenc进行通道拼接，得到Fcon，再经过1x1卷积、sigmoid压缩，得到Nd×1的权重矩阵W2；将权重矩阵W2在特征维度上平铺256次，与Fenc逐元素相乘，得到Fenc′，将权重矩阵1-W2在特征维度上平铺256次，与Fdec逐元素相乘，得到Fdec′，再将Fenc′和Fdec′进行通道拼接，输出的最终结果；
将Fdec和Fenc两部分特征进行融合，完成第一步的解码操作，得到128维度的Nc个点；以类似的操作进行两次，将点数上采样到特征维度为128的Nb；最后经过一次PointDeconv，将点数上采样至输入点Na，保持特征维度128，得到实例特征预测Fins。
进一步的技术方案，所述语义分割解码具体为：采用反卷积的形式进行逐步上采样，直至点数采样至特征维度为128的输入点Na，得到语义特征预测Fsem。
进一步的技术方案，所述实例分割具体为：
先将语义特征预测Fsem和实例特征预测Fins传入STOI模块中，将Fsem同时经过两次1x1卷积，两次结果进行转置后相乘，再经过sigmoid压缩得到权重矩阵，权重矩阵与Fins相乘，再与Fins进行拼接，得带有语义信息的实例特征Fstoi，经过两层全连接层缓冲后，最终得到Na×Ne的实例嵌入Fs′toi，再经过多次反向传播优化后，进行一次聚类操作，则完成实例分割。
进一步的技术方案，所述语义分割具体为：
将实例分割部分经过全连接层Fc1缓冲后得到Na×128的实例特征信息Fi′ns与Fsem输入ITOS模块，将Fi′ns同时经过两次1x1卷积，两次卷积结果进行转置后相乘，再经过sigmoid压缩得到权重矩阵，权重矩阵与Fsem相乘，再与Fsem进行拼接，得到带有实例信息的语义特征Fitos，然后经过全连接层得Na×Nc的语义特征信息，再经过多次反向传播优化后，经过一次argmax，完成语义分割。
一种基于改进PointConv的点云语义与实例联合分割***，包括：
改进PointConv特征提取模块，用于得到实例特征预测Fins和语义特征预测Fsem；
双向自注意模块，对实例特征预测Fins和语义特征预测Fsem进行特征融合，分别进行实例分割和语义分割。
上述技术方案中，所述改进PointConv特征提取模块的输入通道为9，分别代表点的xyz归一化绝对坐标、rgb颜色信息以及点相对于局部坐标系的相对坐标x′y′z′。
本发明的有益效果为：
(1)本发明的改进PointConv特征提取模块，在实例分割部分加入上下文聚合模块以及门控传播模块，并且通过权重的学习来增强实例信息，提高了联合分割的精度。
(2)本发明改进PointConv特征提取模块采取联合分割并行分支，同时得到语义特征预测Fsem和实例特征预测Fins，以该基线工作来提高实例分割的速度，减少对语义分割精度的依赖性。
(3)本发明双向自注意模块采用STOI模块和ITOS模块对语义特征和实例特征进行融合，得到赋有语义特征的实例信息和富有实例特征的语义信息，以软约束的形式来完成两项任务的相互促进。
附图说明
图1为本发明所述基于改进PointConv的点云语义与实例联合分割方法流程图；
图2为本发明所述上下文聚合模块结构图；
图3为本发明所述门控传播模块结构图；
图4为本发明所述STOI模块结构图；
图5为本发明所述ITOS模块结构图。
具体实施方式
下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。
如图1所示，基于改进PointConv的点云语义与实例联合分割***，包括改进PointConv特征提取模块和双向自注意模块。本发明基于改进PointConv的点云语义与实例联合分割***的处理对象为：激光雷达或深度相机获取的点云，点云经过改进PointConv特征提取模块，得到实例特征预测Fins和语义特征预测Fsem，实例特征预测Fins和语义特征预测Fsem再经过双向自注意模块进行特征融合，得到包含有语义特征的实例信息和包含有实例特征的语义信息。
表1为基于改进PointConv的点云语义与实例联合分割***的具体网络结构表。
表1网络结构表
继续参见图1，基于改进PointConv的点云语义与实例联合分割方法，具体包括如下步骤：
改进PointConv特征提取模块的输入通道为9，分别代表点的xyz归一化绝对坐标、rgb颜色信息以及点相对于局部坐标系的相对坐标x′y′z′；引入局部坐标系相对坐标，主要用于保证输入点的平移不变性。将输入的Na点经过共享编码模块PointConv_1卷积(每次PointConv都带有BN操作)，得到Nb个点，即将输入点投入高维空间，使其具有64维度特征，再依次经过PointConv_2、PointConv_3和PointConv_4进行卷积，将点的特征维度提升至512维，此时已经有了足够多的特征信息用于之后的解码部分。
解码部分分为两个分支：一个用于语义分割解码，另一个用于实例分割解码。实例分割解码部分引入了上下文聚合模块以及门控传播模块来增强特征的学***铺256次，与Fenc逐元素相乘，得到Fenc′，将权重矩阵1-W2在特征维度上平铺256次，与Fdec逐元素相乘，得到Fdec′，再将Fenc′和Fdec′进行通道拼接，输出的最终结果；门控传播模块同样以学习权重的形式筛选出两部分特征中的有效特征，减少不相关信息的流通；最终将Fdec和Fenc两部分特征进行融合，完成第一步的解码操作，得到256维度的Nc个点。以类似的操作进行两次，将点数上采样到Nb，特征维度为128；最后经过一次PointDeconv将点数上采样至输入点Na，保持特征维度128，得到实例特征预测Fins。语义分割解码部分采用反卷积的形式进行逐步上采样，直至点数采样至输入点Na(特征维度为128)，得到语义特征预测Fsem。
双向自注意模块将改进PointConv特征提取模块所得到的语义特征预测Fsem和实例特征预测Fins进行特征融合，得到包含有语义特征的实例信息和包含有实例特征的语义信息。具体为：
实例分割部分：先将语义特征预测Fsem和实例特征预测Fins传入STOI模块中，参见图4，此时将Fsem同时经过两次1x1卷积，两次结果进行转置后相乘，再经过sigmoid压缩得到权重矩阵，权重矩阵与实例特征预测Fins相乘，再与实例特征预测Fins进行拼接，得带有语义信息的实例特征Fstoi，经过两层全连接层(Fc1、Fc2)缓冲后，最终得到Na×Ne的实例嵌入Fs′toi，再经过多次反向传播优化后，只需将该部分进行一次mean-shift聚类操作，则完成实例分割。
语义分割部分：将实例分割部分经过Fc1缓冲后所得到Na×128的实例特征信息Fi′ns与初始语义特征预测Fsem作为输入传入ITOS模块中，参见图5，此时将Fi′ns同时经过两次1x1卷积，两次卷积结果进行转置后相乘，再经过sigmoid压缩得到权重矩阵，权重矩阵与语义特征预测Fsem相乘，再与语义特征预测Fsem进行拼接，得到带有实例信息的语义特征Fitos，然后经过全连接层(Fc)得Na×Nc的语义特征信息，再经过多次反向传播优化后，只需最后做一次argmax，完成语义分割。
对基于改进PointConv的点云语义与实例联合分割***的算法进行训练时，采用的损失函数由两部分组成，一部分为语义分割部分的损失，另一部分为实例分割部分的损失；两部分同时优化，完成训练任务。
损失函数表达式如下：
L＝Lsem+Lins
Lsem为语义分割部分的损失函数，Lins为实例分割部分的损失函数；
Lsem采用经典的交叉熵损失函数，表达式如下：
其中p(x)为真实概率分布(已经根据训练数据集的输入标签确定下来)，n为类别的个数，q(x)为预测概率分布，两概率分布之间的差异越小，则预测出的结果越好，该部分优化效果越好。
Lins采用鉴别损失函数discriminative loss，其表达式如下：
Lins＝Lvar+Ldist+ɑ·Lreg
其中：I为真实值的实例数目；Ni为实例i中的点的数目；μi为实例i的平均嵌入，为实例iA的平均嵌入，/>为实例iB的平均嵌入；ej为某一点的嵌入；δd、δv为损失函数阈值；ɑ为平衡系数，设置为0.001。
Lvar主要用于将每个点的实例嵌入向每个实例的中心进行聚集，从而使属于同一实例的点能够在特征空间相互靠近；而Ldist主要用于将不同实例之间的点能够相互排斥，它们之间的距离被拉远；Lreg是为了保证特征嵌入的有界性，使实例中心靠近局部坐标系原点。
最后基于改进PointConv的点云语义与实例联合分割***的算法进行测试时，对实例分割部分产生的实例嵌入使用mean-shift方法进行聚类，得到最终的实例结果；对语义分割部分产生的语义特征进行argmax操作，得到最终的语义分类。至此，整个基于改进PointConv的点云语义与实例联合分割***的算法运行完成。
上述基于改进PointConv的点云语义与实例联合分割***可以实现为一种计算机程序的形式，该计算机程序可以在计算机设备上运行，该计算机设备可以是服务器或终端。其中，服务器可以为独立的服务器，也可以为服务器集群；该终端可以是笔记本电脑、台式电脑、等电子设备。
该计算机设备包括通过***总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器；非易失性存储介质可存储操作***和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种基于改进PointConv的点云语义与实例联合分割方法。处理器用于提供计算和控制能力，支撑整个计算机设备的运行。存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种基于改进PointConv的点云语义与实例联合分割方法。该网络接口用于进行网络通信，如发送分配的任务等。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请的基于改进PointConv的点云语义与实例联合分割方法。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘、智能存储卡(SmartMediaCard，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。
所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (4)

1.一种基于改进PointConv的点云语义与实例联合分割方法，其特征在于：
获取的点云输入改进PointConv特征提取模块，经过共享编码模块，得到特征维度为512的点，所述特征维度为512的点同时通过语义分割解码和实例分割解码，得到实例特征预测Fins和语义特征预测Fsem；所述实例分割解码部分引入上下文聚合模块以及门控传播模块，增强特征的学习；
双向自注意模块将改进PointConv特征提取模块所得到的语义特征预测Fsem和实例特征预测Fins进行特征融合，分别进行实例分割和语义分割，得到包含有语义特征的实例信息和包含有实例特征的语义信息；
所述语义分割解码具体为：采用反卷积的形式进行逐步上采样，直至点数采样至特征维度为128的输入点Na，得到语义特征预测Fsem；
所述实例分割解码具体为：
先使用PointDeconv对共享编码模块的最终结果进行反卷积上采样到Nd个点，将这Nd个点的特征输入至上下文聚合模块，经过三次1x1卷积，分别得到特征Q、特征K和特征V，将特征Q与转置后的特征K进行矩阵乘法，再经过sigmoid压缩得到权重矩阵W1，将权重矩阵W1与特征V进行矩阵乘法，所得结果再与特征V进行逐元素相加，得到最终的聚合特征；
将最终的聚合特征Fdec与共享编码模块PointConv_3输出的特征Fenc作为门控传播模块的输入，将Fdec和Fenc进行通道拼接，得到Fcon，再经过1x1卷积、sigmoid压缩，得到Nd×1的权重矩阵W2；将权重矩阵W2在特征维度上平铺256次，与Fenc逐元素相乘，得到Fenc′，将权重矩阵1-W2在特征维度上平铺256次，与Fdec逐元素相乘，得到Fdec′，再将Fenc′和Fdec′进行通道拼接，输出最终结果；
将Fdec和Fenc两部分特征进行融合，完成第一步的解码操作，得到256维度的Nc个点；以类似的操作进行两次，将点数上采样到特征维度为128的Nb；最后经过一次PointDeconv，将点数上采样至输入点Na，保持特征维度128，得到实例特征预测Fins；
所述实例分割具体为：先将语义特征预测Fsem和实例特征预测Fins传入STOI模块中，将Fsem同时经过两次1x1卷积，两次结果进行转置后相乘，再经过sigmoid压缩得到权重矩阵，权重矩阵与Fins相乘，再与Fins进行拼接，得到带有语义信息的实例特征Fstoi，经过两层全连接层缓冲后，最终得到Na×Ne的实例嵌入Fs′toi，再经过多次反向传播优化后，进行一次聚类操作，则完成实例分割；
所述语义分割具体为：实例分割部分经过全连接层Fc1缓冲后得到Na×128的实例特征信息Fi′ns，将实例特征信息Fi′ns与Fsem输入ITOS模块，将Fi′ns同时经过两次1x1卷积，两次卷积结果进行转置后相乘，再经过sigmoid压缩得到权重矩阵，权重矩阵与Fsem相乘，再与Fsem进行拼接，得到带有实例信息的语义特征Fitos，然后经过全连接层得到Na×Nc的语义特征信息，再经过多次反向传播优化后，经过一次argmax，完成语义分割。
2.根据权利要求1所述的基于改进PointConv的点云语义与实例联合分割方法，其特征在于，所述输入改进PointConv特征提取模块的点云包括点的xyz归一化绝对坐标、rgb颜色信息以及点相对于局部坐标系的相对坐标x′y′z′。
3.一种实现权利要求1-2任一项所述的基于改进PointConv的点云语义与实例联合分割方法的分割***，其特征在于，包括：
改进PointConv特征提取模块，用于得到实例特征预测Fins和语义特征预测Fsem；
双向自注意模块，对实例特征预测Fins和语义特征预测Fsem进行特征融合，分别进行实例分割和语义分割。
4.根据权利要求3所述的分割***，其特征在于，所述改进PointConv特征提取模块的输入通道为9，分别代表点的xyz归一化绝对坐标、rgb颜色信息以及点相对于局部坐标系的相对坐标x′y′z′。
CN202110495434.3A 2021-05-07 2021-05-07 一种基于改进PointConv的点云语义与实例联合分割方法及*** Active CN113421267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110495434.3A CN113421267B (zh) 2021-05-07 2021-05-07 一种基于改进PointConv的点云语义与实例联合分割方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110495434.3A CN113421267B (zh) 2021-05-07 2021-05-07 一种基于改进PointConv的点云语义与实例联合分割方法及***

Publications (2)

Publication Number Publication Date
CN113421267A CN113421267A (zh) 2021-09-21
CN113421267B true CN113421267B (zh) 2024-04-12

Family

ID=77712141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110495434.3A Active CN113421267B (zh) 2021-05-07 2021-05-07 一种基于改进PointConv的点云语义与实例联合分割方法及***

Country Status (1)

Country Link
CN (1) CN113421267B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419078B (zh) * 2022-04-01 2022-06-24 北京矩视智能科技有限公司 基于卷积神经网络的表面缺陷区域分割方法及装置
CN116612285A (zh) * 2023-06-15 2023-08-18 重庆市测绘科学技术研究院(重庆市地图编制中心) 建筑物点云数据分割、点云数据语义分割方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410307A (zh) * 2018-10-16 2019-03-01 大连理工大学 一种场景点云语义分割方法
CN110110692A (zh) * 2019-05-17 2019-08-09 南京大学 一种基于轻量级全卷积神经网络的实时图像语义分割方法
CN110245709A (zh) * 2019-06-18 2019-09-17 西安电子科技大学 基于深度学习和自注意力的3d点云数据语义分割方法
CN111047596A (zh) * 2019-12-12 2020-04-21 中国科学院深圳先进技术研究院 一种三维点云实例分割方法、***及电子设备
CN111275026A (zh) * 2020-03-23 2020-06-12 复旦大学 一种三维点云联合语义和实例分割的方法
CN111489358A (zh) * 2020-03-18 2020-08-04 华中科技大学 一种基于深度学习的三维点云语义分割方法
CN111915613A (zh) * 2020-08-11 2020-11-10 华侨大学 一种图像实例分割方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410307A (zh) * 2018-10-16 2019-03-01 大连理工大学 一种场景点云语义分割方法
CN110110692A (zh) * 2019-05-17 2019-08-09 南京大学 一种基于轻量级全卷积神经网络的实时图像语义分割方法
CN110245709A (zh) * 2019-06-18 2019-09-17 西安电子科技大学 基于深度学习和自注意力的3d点云数据语义分割方法
CN111047596A (zh) * 2019-12-12 2020-04-21 中国科学院深圳先进技术研究院 一种三维点云实例分割方法、***及电子设备
CN111489358A (zh) * 2020-03-18 2020-08-04 华中科技大学 一种基于深度学习的三维点云语义分割方法
CN111275026A (zh) * 2020-03-23 2020-06-12 复旦大学 一种三维点云联合语义和实例分割的方法
CN111915613A (zh) * 2020-08-11 2020-11-10 华侨大学 一种图像实例分割方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
景庄伟 ; 管海燕 ; 彭代峰 ; 于永涛 ; .基于深度神经网络的图像语义分割研究综述.计算机工程.(10),全文. *

Also Published As

Publication number Publication date
CN113421267A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN112966522B (zh) 一种图像分类方法、装置、电子设备及存储介质
US11610384B2 (en) Zero-shot object detection
CN114612759B (zh) 视频处理方法、查询视频的方法和模型训练方法、装置
WO2018000309A1 (en) Importance-aware model pruning and re-training for efficient convolutional neural networks
CN111275107A (zh) 一种基于迁移学习的多标签场景图像分类方法及装置
CN113421267B (zh) 一种基于改进PointConv的点云语义与实例联合分割方法及***
WO2020098257A1 (zh) 一种图像分类方法、装置及计算机可读存储介质
WO2023134082A1 (zh) 图像描述语句生成模块的训练方法及装置、电子设备
CN113869138A (zh) 多尺度目标检测方法、装置及计算机可读存储介质
CN113987119B (zh) 一种数据检索方法、跨模态数据匹配模型处理方法和装置
WO2023045605A1 (zh) 数据处理方法、装置、计算机设备及存储介质
CN112749300B (zh) 用于视频分类的方法、装置、设备、存储介质和程序产品
CN112163114B (zh) 一种基于特征融合的图像检索方法
CN116822651A (zh) 基于增量学习的大模型参数微调方法、装置、设备及介质
CN113887615A (zh) 图像处理方法、装置、设备和介质
CN116343233B (zh) 文本识别方法和文本识别模型的训练方法、装置
WO2023185209A1 (zh) 模型剪枝
WO2023197857A1 (zh) 一种模型切分方法及其相关设备
CN114419327B (zh) 图像检测方法和图像检测模型的训练方法、装置
US20240028235A1 (en) Neural network memory configuration
WO2022223052A1 (zh) 加速器、计算机***和方法
CN113255824B (zh) 训练分类模型和数据分类的方法和装置
Zhang et al. Cross diffusion on multi-hypergraph for multi-modal 3d object recognition
CN110837596B (zh) 一种智能推荐方法、装置、计算机设备及存储介质
CN114443864A (zh) 跨模态数据的匹配方法、装置及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant