CN111242954A - 一种带有双向连接和遮挡处理的全景分割方法 - Google Patents

一种带有双向连接和遮挡处理的全景分割方法 Download PDF

Info

Publication number
CN111242954A
CN111242954A CN202010067124.7A CN202010067124A CN111242954A CN 111242954 A CN111242954 A CN 111242954A CN 202010067124 A CN202010067124 A CN 202010067124A CN 111242954 A CN111242954 A CN 111242954A
Authority
CN
China
Prior art keywords
segmentation
semantic
features
instance
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010067124.7A
Other languages
English (en)
Other versions
CN111242954B (zh
Inventor
李玺
陈怡峰
蔺广琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010067124.7A priority Critical patent/CN111242954B/zh
Publication of CN111242954A publication Critical patent/CN111242954A/zh
Application granted granted Critical
Publication of CN111242954B publication Critical patent/CN111242954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种带有双向连接和遮挡处理的全景分割方法。方法包括如下步骤：1)获取用于训练全景分割的数据集，并定义算法目标；2)使用全卷积网络对组内图像进行特征学习；3)经过语义特征提取分支对特征图提取语义特征；4)经过实例特征提取分支对特征图提取实例特征；5)建立实例分割到语义分割的连接，将语义特征与实例特征聚合进行语义分割；6)建立语义分割到实例分割的连接，将实例特征与语义特征聚合进行实例分割；7)使用遮挡处理算法，融合语义分割和实例分割的结果，输出全景分割结果。本方法充分利用了语义分割和实例分割之间的互补性，同时应用底层特征表观信息所提出的遮挡处理算法，高效地完成了图像的全景分割。

Description

一种带有双向连接和遮挡处理的全景分割方法
技术领域
本发明属于计算机视觉领域，特别地涉及一种带有双向连接和遮挡处理的全景分割方法。
背景技术
全景分割任务是语义分割任务和实例分割任务的集合，其不仅要求在像素级别预测语义类，还要求对前景类别区分实例。这一任务是场景理解的重要基础性任务，在自动驾驶等领域有广阔的应用价值。目前的主流技术路线分为自顶向下和自底向上两种方式。自顶向下的方法先找到实例的包围框，再确认框内逐像素是否属于该实例。自底向上的方式先预测逐像素的实例归属，再据此生成包围框。就经验结果来看，自顶向下的技术路线的性能往往比自底向上更优。
然而，自顶向下的方案存在两大问题。第一，在这一方案中，对语义分割和实例分割两个任务存在两个子网络，但是这两个子网络间缺乏信息传播的途径。因而，这两个任务间的互补性没有被很好地利用。第二，对于检测到的实例，可能存在相互遮挡的情况。过去的方法依赖于目标的类别得分来处理遮挡关系，但由于类别得分与数据分布等其他因素的相关性，这一做法显然不是最优的。如何解决这两个问题，成为了自顶向下的全景分割方法的关键。
发明内容
为了解决这两个问题，本发明提出了一种带有双向连接和遮挡处理的全景分割方法。该方法基于深度学习网络，通过在语义分割和实例分割间建立双向连接，使得这两个任务间特征可以相互加强。另外，我们提出了一个遮挡处理算法来专门处理实例间的遮挡问题。通过这两点，本发明的方法得以获得了优异全景分割性能。
本发明的技术方案包含以下步骤：
一种带有双向连接和遮挡处理的全景分割方法，其包括以下步骤：
S1.获取用于训练全景分割的数据集，并定义算法目标；
S2.使用全卷积网络对数据集中的图像进行特征提取后得到其特征图；
S3.使用语义特征提取网络对特征图提取语义特征；
S4.使用实例特征提取网络对特征图提取实例特征；
S5.建立实例分割到语义分割的连接，将语义特征与实例特征聚合进行语义分割；
S6.建立语义分割到实例分割的连接，将实例特征与语义特征聚合进行实例分割；
S7.使用遮挡处理算法，融合语义分割和实例分割的结果，输出全景分割结果。
在上述方案基础上，各步骤还可以进一步采用如下的优选方式实现。
作为优选，步骤S1所述的算法目标为：对用于全景分割的数据集中的每一张图片I，对于I中出现的背景像素，识别其所属的语义类别；对于I中出现的前景像素，识别其所属的语义类别和所属实例。
作为优选，步骤S2中使用一个全卷积神经网络φ对图像中的每一个像素提取特征，得到该图像的特征图F＝φ(I)。
作为优选，步骤S3中使用一个全卷积神经网络ψ对特征图提取语义特征，即输入S2中提取的特征图F，提取其语义特征S＝ψ(F)＝ψ(φ(I))。
作为优选，步骤S4中所述的提取实例特征具体包含以下子步骤：
S41.使用一个区域提取网络来检测图像中的实例集合O，得到O＝{O1，...，Ok}，其中Oi表示检测到的第i个实例，i∈[1，k]，k为检测到的实例总数量；
S42.对检测到的每个实例Oi，计算其包围框Bi；
S43.使用实例特征提取网络ζ提取实例特征，即输入S2中提取的特征图F和实例Oi的包围框Bi，提取其实例特征
Figure BDA0002376314970000031
Figure BDA0002376314970000032
作为优选，步骤S5中所述的建立实例分割到语义分割的连接具体步骤如下：
S51.使用可微分操作RoIInlay恢复S4中提取的实例特征的空间信息FI：
FI＝RoIInlay(I1，...，Ik，B1，...，Bk)；
其中可微分操作RoIInlay的具体操作如下：对于一个左上角坐标为(a，b)且大小为h×w的实例，假设其经过裁剪和变形后得到m×m的特征图，该特征图上每一个点(u，v)都采样自原特征图的一个位置(x，y)：
Figure BDA0002376314970000033
即m×m特征图上点(u，v)处的值对应原特征图上点(x，y)的值v(x，y)，因此对位于目标区域内的任意一个点(xp，yp)，找到包围它的四个采样点，记为集合C，通过双线性插值得到(xp，yp)点处的值
Figure BDA0002376314970000041
Figure BDA0002376314970000042
其中Gw和Gh是在采样点的相对坐标系下的插值函数：
Figure BDA0002376314970000043
Figure BDA0002376314970000044
式中：参数
Figure BDA0002376314970000045
参数
Figure BDA0002376314970000046
对于在目标区域内但超出采样点边界的值，其采样点会被拉至目标边界处；
S52.将FI与步骤S3中提取的语义特征S聚合后得到的特征用于预测语义分割结果；其中特征聚合的具体操作如下：首先将FI与S在通道维度上拼接后形成一个新特征，然后将其经过1层3×3卷积处理以消除RoIInlay造成的变形；随后将这个特征经过多尺度的池化操作后分别得到8×8，4×4，2×2，1×1大小的对场景的描述；最后将这些描述进行拉平并拼接，将拼接后的特征与原始特征在每个像素点上拼接，并经过一个1×1的卷积处理后得到聚合后的特征。
作为优选，步骤S6所述的建立语义分割到实例分割的连接具体操作如下：首先使用RoIAlign操作从语义特征S中得到实例Oi对应的语义特征SOi＝RoIAlign(S，Bi)；然后将SOi经过一个3×3卷积处理后与实例特征Ii相加得到聚合后的特征用于预测实例的分割结果，分割结果包括实例的位置、类别和分割图。
作为优选，步骤S7具体步骤如下：首先通过遮挡处理算法，判断相互遮挡的实例间的覆盖关系，随后将实例分割结果与语义分割结果融合得到全景分割的结果；其中对于目标实例Oi和Oj，假设其重叠区域为P，将区域的表观定义为区域内像素RGB值的平均，通过对比P区域的表观和两个目标表观的相似度判断P区域的归属，即Oi和Oj的遮挡关系。
本发明可以充分利用语义分割和实例分割之间的互补性，在这两个任务间建立联系，是的这两个任务互有受益，最终使得全景分割的性能得到提升。同时，本发明利用了底层特征表观信息所提出的遮挡处理算法，有效地处理了遮挡问题，使得模型性能得到了进一步提升。
附图说明
图1为本发明的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
如图1所示，一种带有双向连接和遮挡处理的全景分割方法，该方法的步骤如下：
S1.获取用于训练全景分割的数据集，并定义算法目标。本步骤中，算法目标为：对用于全景分割的数据集中的每一张图片I，对于I中出现的背景像素，识别其所属的语义类别；对于I中出现的前景像素，识别其所属的语义类别和所属实例。
S2.使用全卷积网络对数据集中的图像进行特征提取后得到其特征图。本步骤中，使用一个全卷积神经网络φ对图像中的每一个像素提取特征，得到该图像的特征图F＝φ(I)。
S3.使用语义特征提取网络分支对特征图提取语义特征。本步骤中，使用一个全卷积神经网络ψ对特征图提取语义特征，即输入S2中提取的特征图F，提取其语义特征S＝ψ(F)＝ψ(φ(I))。
S4.使用实例特征提取网络分支对特征图提取实例特征。本步骤中，提取实例特征具体包含以下子步骤：
S41.使用一个区域提取网络(RPN)来检测图像中的实例集合O，得到O＝{O1，...，Ok}，其中Oi表示检测到的第i个实例，i∈[1，k]，k为检测到的实例总数量；
S42.对检测到的每个实例Oi，计算其包围框Bi；
S43.使用实例特征提取网络ζ提取实例特征，即输入S2中提取的特征图F和实例Oi的包围框Bi，提取其实例特征Ii＝ζ(F，Bi)＝ζ(φ(I)，Bi)。
S5.通过第一特征聚合模块，建立实例分割到语义分割的连接，将语义特征与实例特征聚合进行语义分割。本步骤中，建立实例分割到语义分割的连接具体步骤如下：
S51.使用可微分操作RoIInlay恢复S4中提取的实例特征的空间信息FI：
FI＝RoIInlay(I1，...，Ik，B1，...，Bk)；
其中可微分操作RoIInlay的具体操作如下：对于一个左上角坐标为(a，b)且大小为h×w的实例(实例的左上角坐标是指实例对应的目标物体的包围框的左上角坐标)，假设其经过裁剪和变形后得到m×m的特征图，该特征图上每一个点(u，v)都采样自原特征图的一个位置(x，y)：
Figure BDA0002376314970000071
即m×m特征图上点(u，v)处的值对应原特征图上点(x，y)的值v(x，y)，因此对位于目标区域内的任意一个点(xp，yp)，找到包围它的四个采样点，记为集合C，通过双线性插值得到(xp，yp)点处的值
Figure BDA0002376314970000072
Figure BDA0002376314970000073
其中Gw和Gh是在采样点的相对坐标系下的插值函数：
Figure BDA0002376314970000074
Figure BDA0002376314970000075
式中：参数
Figure BDA0002376314970000076
参数
Figure BDA0002376314970000077
对于在目标区域内但超出采样点边界的值，其采样点会被拉至目标边界处；
S52.将FI与步骤S3中提取的语义特征S聚合后得到的特征用于预测语义分割结果。其中特征聚合在第一特征聚合模块中进行，具体操作如下：首先将FI与S在通道维度上拼接(concatenate)后形成一个新特征，然后将其经过1层3×3卷积处理以消除RoIInlay造成的变形；随后将这个特征经过多尺度的池化操作(Avg Pooling)后分别得到8×8，4×4，2×2，1×1大小的对场景的描述；最后将这些描述进行拉平(flatten)并拼接，将拼接后的特征与原始特征在每个像素点上拼接，并经过一个1×1的卷积处理后得到聚合后的特征。根据聚合后得到的特征，将其经过1×1的卷积即可得到预测分隔结果。
S6.通过第二特征聚合模块，建立语义分割到实例分割的连接，将实例特征与语义特征聚合进行实例分割。建立语义分割到实例分割的连接具体操作如下：首先使用RoIAlign操作从语义特征S中得到实例Oi对应的语义特征SOi＝RoIAlign(S，Bi)；然后在第二特征聚合模块中，将SOi经过一个3×3卷积处理后与实例特征Ii相加得到聚合后的特征用于预测实例的分割结果，分割结果包括实例的位置、类别和分割图。根据聚合后得到的特征，将其经过1×1的卷积即可得到实例的预测分割结果。
S7.使用遮挡处理算法，判断相互遮挡的实例间的覆盖关系，融合语义分割和实例分割的结果，输出全景分割结果。本步骤中，输出全景分割结果的具体步骤如下：首先通过遮挡处理算法，判断相互遮挡的实例间的覆盖关系，随后将实例分割结果与语义分割结果融合得到全景分割的结果；其中对于目标实例Oi和Oj，假设其重叠区域为P，将区域的表观定义为区域内像素RGB值的平均，通过对比P区域的表观和两个目标表观的相似度判断P区域的归属，即Oi和Oj的遮挡关系。
本发明的全景分割算法首先使用了一个常见的全卷积神经网络，语义分割分支、实例分割提取特征。然后借助原创的RoIInlay操作，在语义分割任务和实例分割任务间建立了特征层次的双向连接，充分利用了这两个任务之间的互补关系。对于可能存在的实例间遮挡问题，本发明设计了一个简单、有效的遮挡处理算法。这一算法利用了底层的表观信息，无需训练，即可以推断实例间的遮挡关系。通过这两点，本方法达到了优异的全景分割性能。
实施例
下面基于上述方法进行仿真实验，本实施例的实现方法如前所述，不再详细阐述具体的步骤，下面仅展示实验结果。
本实施例使用ResNet-50与FPN(Feature Pyramid Network)作为基础网络(backbone)来提取特征。语义特征提取网络由三层可变形卷积(Deformable Convolution)堆叠而成。实例特征提取网络由三层常规卷积堆叠而成。本发明的模型在COCO数据集的训练集上进行了训练，并在其对应的验证集上进行了性能测试。与不使用双向连接和不使用遮挡推理的模型相比，其性能如表1所示。
表1不同模型的性能对比
双向连接 遮挡处理 PQ(％)
× × 41.3
√ × 41.8
√ √ 43.0
注：表中×代表使用，√代表不使用。
由此可见，通过以上技术方案，本发明实施例基于深度学习技术发展了一种全景分割方法。本发明可以充分利用语义分割和实例分割之间的互补性，在这两个任务间建立联系，是的这两个任务互有受益，最终使得全景分割的性能得到提升。同时，本发明利用了底层特征表观信息所提出的遮挡处理算法，有效地处理了遮挡问题，使得模型性能得到了进一步提升。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种带有双向连接和遮挡处理的全景分割方法，其特征在于，包括以下步骤：
S1.获取用于训练全景分割的数据集，并定义算法目标；
S2.使用全卷积网络对数据集中的图像进行特征提取后得到其特征图；
S3.使用语义特征提取网络对特征图提取语义特征；
S4.使用实例特征提取网络对特征图提取实例特征；
S5.建立实例分割到语义分割的连接，将语义特征与实例特征聚合进行语义分割；
S6.建立语义分割到实例分割的连接，将实例特征与语义特征聚合进行实例分割；
S7.使用遮挡处理算法，融合语义分割和实例分割的结果，输出全景分割结果。
2.如权利要求1所述的一种带有双向连接和遮挡处理的全景分割方法，其特征在于步骤S1所述的算法目标为：对用于全景分割的数据集中的每一张图片I，对于I中出现的背景像素，识别其所属的语义类别；对于I中出现的前景像素，识别其所属的语义类别和所属实例。
3.如权利要求1所述的一种带有双向连接和遮挡处理的全景分割方法，其特征在于步骤S2中使用一个全卷积神经网络φ对图像中的每一个像素提取特征，得到该图像的特征图F＝φ(I)。
4.如权利要求1所述的一种带有双向连接和遮挡处理的全景分割方法，其特征在于步骤S3中使用一个全卷积神经网络ψ对特征图提取语义特征，即输入S2中提取的特征图F，提取其语义特征S＝ψ(F)＝ψ(φ(I))。
5.如权利要求1所述的一种带有双向连接和遮挡处理的全景分割方法，其特征在于步骤S4中所述的提取实例特征具体包含以下子步骤：
S41.使用一个区域提取网络来检测图像中的实例集合O，得到O＝{O1，...，Ok}，其中Oi表示检测到的第i个实例，i∈[1，k]，k为检测到的实例总数量；
S42.对检测到的每个实例Oi，计算其包围框Bi；
S43.使用实例特征提取网络ζ提取实例特征，即输入S2中提取的特征图F和实例Oi的包围框Bi，提取其实例特征Ii＝ζ(F，Bi)＝ζ(φ(I)，Bi)。
6.如权利要求1所述的一种带有双向连接和遮挡处理的全景分割方法，其特征在于步骤S5中所述的建立实例分割到语义分割的连接具体步骤如下：
S51.使用可微分操作RoIInlay恢复S4中提取的实例特征的空间信息FI：
RI＝RoIInlay(I1，…，Ik，B1，…，Bk)；
其中可微分操作RoIInlay的具体操作如下：对于一个左上角坐标为(a，b)且大小为h×w的实例，假设其经过裁剪和变形后得到m×m的特征图，该特征图上每一个点(u，v)都采样自原特征图的一个位置(x，y)：
Figure FDA0002376314960000021
即m×m特征图上点(u，v)处的值对应原特征图上点(x，y)的值v(x，y)，因此对位于目标区域内的任意一个点(xp，yp)，找到包围它的四个采样点，记为集合C，通过双线性插值得到(xp，yp)点处的值
Figure FDA0002376314960000031
Figure FDA0002376314960000032
其中Gw和Gh是在采样点的相对坐标系下的插值函数：
Figure FDA0002376314960000033
Figure FDA0002376314960000034
式中：参数
Figure FDA0002376314960000035
参数
Figure FDA0002376314960000036
对于在目标区域内但超出采样点边界的值，其采样点会被拉至目标边界处；
S52.将FI与步骤S3中提取的语义特征S聚合后得到的特征用于预测语义分割结果；其中特征聚合的具体操作如下：首先将FI与S在通道维度上拼接后形成一个新特征，然后将其经过1层3×3卷积处理以消除RoIInlay造成的变形；随后将这个特征经过多尺度的池化操作后分别得到8×8，4×4，2×2，1×1大小的对场景的描述；最后将这些描述进行拉平并拼接，将拼接后的特征与原始特征在每个像素点上拼接，并经过一个1×1的卷积处理后得到聚合后的特征。
7.如权利要求1所述的一种带有双向连接和遮挡处理的全景分割方法，其特征在于步骤S6所述的建立语义分割到实例分割的连接具体操作如下：首先使用RoIAlign操作从语义特征S中得到实例Oi对应的语义特征
Figure FDA0002376314960000037
然后将
Figure FDA0002376314960000038
经过一个3×3卷积处理后与实例特征Ii相加得到聚合后的特征用于预测实例的分割结果，分割结果包括实例的位置、类别和分割图。
8.如权利要求1所述的一种带有双向连接和遮挡处理的全景分割方法，其特征在于步骤S7具体步骤如下：首先通过遮挡处理算法，判断相互遮挡的实例间的覆盖关系，随后将实例分割结果与语义分割结果融合得到全景分割的结果；其中对于目标实例Oi和Oj，假设其重叠区域为P，将区域的表观定义为区域内像素RGB值的平均，通过对比P区域的表观和两个目标表观的相似度判断P区域的归属，即Oi和Oj的遮挡关系。
CN202010067124.7A 2020-01-20 2020-01-20 一种带有双向连接和遮挡处理的全景分割方法 Active CN111242954B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010067124.7A CN111242954B (zh) 2020-01-20 2020-01-20 一种带有双向连接和遮挡处理的全景分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010067124.7A CN111242954B (zh) 2020-01-20 2020-01-20 一种带有双向连接和遮挡处理的全景分割方法

Publications (2)

Publication Number Publication Date
CN111242954A true CN111242954A (zh) 2020-06-05
CN111242954B CN111242954B (zh) 2022-05-13

Family

ID=70879738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010067124.7A Active CN111242954B (zh) 2020-01-20 2020-01-20 一种带有双向连接和遮挡处理的全景分割方法

Country Status (1)

Country Link
CN (1) CN111242954B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524150A (zh) * 2020-07-03 2020-08-11 支付宝(杭州)信息技术有限公司 图像处理的方法及装置
CN112489064A (zh) * 2020-12-14 2021-03-12 桂林电子科技大学 一种基于边缘放缩修正的全景分割方法
CN112699888A (zh) * 2020-12-31 2021-04-23 上海肇观电子科技有限公司 图像识别方法、目标对象的提取方法、装置、介质及设备
CN112699894A (zh) * 2021-01-13 2021-04-23 上海微亿智造科技有限公司 用于工业质检实例分割精度和速度提升方法、***及介质
CN113052858A (zh) * 2021-03-23 2021-06-29 电子科技大学 一种基于语义流的全景分割方法
CN113096136A (zh) * 2021-03-30 2021-07-09 电子科技大学 一种基于深度学习的全景分割方法
CN116468889A (zh) * 2023-04-04 2023-07-21 中国航天员科研训练中心 一种基于多分支特征提取的全景分割方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801297A (zh) * 2019-01-14 2019-05-24 浙江大学 一种基于卷积实现的图像全景分割预测优化方法
CN109886272A (zh) * 2019-02-25 2019-06-14 腾讯科技（深圳）有限公司 点云分割方法、装置、计算机可读存储介质和计算机设备
CN110008808A (zh) * 2018-12-29 2019-07-12 北京迈格威科技有限公司 全景分割方法、装置和***及存储介质
WO2019185170A1 (en) * 2018-03-30 2019-10-03 Toyota Motor Europe Electronic device, robotic system and method for localizing a robotic system
CN110533048A (zh) * 2018-05-23 2019-12-03 上海交通大学 基于全景区域场景感知的组合语义层次连接模型的实现方法及***
CN110533720A (zh) * 2019-08-20 2019-12-03 西安电子科技大学 基于联合约束的语义slam***及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019185170A1 (en) * 2018-03-30 2019-10-03 Toyota Motor Europe Electronic device, robotic system and method for localizing a robotic system
CN110533048A (zh) * 2018-05-23 2019-12-03 上海交通大学 基于全景区域场景感知的组合语义层次连接模型的实现方法及***
CN110008808A (zh) * 2018-12-29 2019-07-12 北京迈格威科技有限公司 全景分割方法、装置和***及存储介质
CN109801297A (zh) * 2019-01-14 2019-05-24 浙江大学 一种基于卷积实现的图像全景分割预测优化方法
CN109886272A (zh) * 2019-02-25 2019-06-14 腾讯科技（深圳）有限公司 点云分割方法、装置、计算机可读存储介质和计算机设备
CN110533720A (zh) * 2019-08-20 2019-12-03 西安电子科技大学 基于联合约束的语义slam***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
俞斌等: "基于深度学习的点云分割方法综述", 《计算机工程与应用》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524150A (zh) * 2020-07-03 2020-08-11 支付宝(杭州)信息技术有限公司 图像处理的方法及装置
CN112489064A (zh) * 2020-12-14 2021-03-12 桂林电子科技大学 一种基于边缘放缩修正的全景分割方法
CN112489064B (zh) * 2020-12-14 2022-03-25 桂林电子科技大学 一种基于边缘放缩修正的全景分割方法
CN112699888A (zh) * 2020-12-31 2021-04-23 上海肇观电子科技有限公司 图像识别方法、目标对象的提取方法、装置、介质及设备
CN112699894A (zh) * 2021-01-13 2021-04-23 上海微亿智造科技有限公司 用于工业质检实例分割精度和速度提升方法、***及介质
CN113052858A (zh) * 2021-03-23 2021-06-29 电子科技大学 一种基于语义流的全景分割方法
CN113052858B (zh) * 2021-03-23 2023-02-14 电子科技大学 一种基于语义流的全景分割方法
CN113096136A (zh) * 2021-03-30 2021-07-09 电子科技大学 一种基于深度学习的全景分割方法
CN116468889A (zh) * 2023-04-04 2023-07-21 中国航天员科研训练中心 一种基于多分支特征提取的全景分割方法及***
CN116468889B (zh) * 2023-04-04 2023-11-07 中国航天员科研训练中心 一种基于多分支特征提取的全景分割方法及***

Also Published As

Publication number Publication date
CN111242954B (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN111242954B (zh) 一种带有双向连接和遮挡处理的全景分割方法
CN108304835B (zh) 文字检测方法和装置
CN107274419B (zh) 一种基于全局先验和局部上下文的深度学习显著性检测方法
CN110222787B (zh) 多尺度目标检测方法、装置、计算机设备及存储介质
CN104751142B (zh) 一种基于笔划特征的自然场景文本检测方法
CN109214403B (zh) 图像识别方法、装置及设备、可读介质
CN109086777B (zh) 一种基于全局像素特征的显著图精细化方法
CN110852349A (zh) 一种图像处理方法、检测方法、相关设备及存储介质
CN111640089A (zh) 一种基于特征图中心点的缺陷检测方法及装置
CN107944403B (zh) 一种图像中的行人属性检测方法及装置
CN108446694A (zh) 一种目标检测方法及装置
CN111768415A (zh) 一种无量化池化的图像实例分割方法
US11887346B2 (en) Systems and methods for image feature extraction
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN112084952B (zh) 一种基于自监督训练的视频点位跟踪方法
KR102285269B1 (ko) 빅데이터 기반 Geo AI를 활용한 이미지 분석 장치 및 방법
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及***
Dong et al. Learning regional purity for instance segmentation on 3d point clouds
CN112784750A (zh) 基于像素和区域特征匹配的快速视频物体分割方法和装置
CN115375917A (zh) 一种目标边缘特征提取方法、装置、终端及存储介质
CN111881732B (zh) 一种基于svm的人脸质量评价方法
Dadgostar et al. Gesture-based human–machine interfaces: a novel approach for robust hand and face tracking
CN114724175A (zh) 行人图像的检测网络、检测方法、训练方法、电子设备和介质
CN112446230B (zh) 车道线图像的识别方法及装置
CN114155273A (zh) 一种结合历史轨迹信息的视频图像单目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant