CN108647684A - 一种基于引导注意力推理网络的弱监督语义分割方法 - Google Patents

一种基于引导注意力推理网络的弱监督语义分割方法 Download PDF

Info

Publication number
CN108647684A
CN108647684A CN201810407408.9A CN201810407408A CN108647684A CN 108647684 A CN108647684 A CN 108647684A CN 201810407408 A CN201810407408 A CN 201810407408A CN 108647684 A CN108647684 A CN 108647684A
Authority
CN
China
Prior art keywords
attention
network
gain
guiding
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810407408.9A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201810407408.9A priority Critical patent/CN108647684A/zh
Publication of CN108647684A publication Critical patent/CN108647684A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明中提出的一种基于引导注意力推理网络的弱监督语义分割方法，其主要内容包括：对网络注意力的自我引导、整合额外的监督，其过程为，引导注意力推理网络具有分类流和注意力挖掘两个网络流，分类流有助于识别类的区域，注意力挖掘确保所有可能有助于分类决策的区域都将被纳入网络的注意力之中，使注意力图变得更加完整、准确，通过这两种损失函数可以联合生成和训练注意力图；引入引导注意力推理网络的扩展，在弱监督的学习框架中无缝集成额外的监督，从而控制注意力图学习过程。本发明基于一个端到端的框架，可以在训练阶段直接将特定任务的监督应用于注意力图上，且可以减少弱监督和额外监督之间的差距，提高了其泛化性能。

Description

一种基于引导注意力推理网络的弱监督语义分割方法
技术领域
本发明涉及语义分割领域，尤其是涉及了一种基于引导注意力推理网络的弱监督语义分割方法。
背景技术
随着互联网的普及和多媒体技术的飞速发展，以图像为代表的多媒体信息呈现***式增长的趋势，给图像的储存、管理和检索带了巨大的挑战。因此，如何实现对海量图像数据进行有效的识别、分类和管理成为了亟待解决的问题。图像语义分割是图像处理与分析的关键环节，也是计算机视觉领域中一个经典的研究分支。通过图像语义分割技术，可以对图像中的主要目标进行分割和识别，从而实现对图像信息的处理和分析。在医学领域，通过图像语义分割技术可以使计算机自动分割出病灶，进行后续的图像处理步骤，协助医生进行诊断和治疗。在交通领域，图像语义分割技术可以结合车载摄像头，对实时场景中的行人、树木、交通指示牌、障碍物等进行识别和分割，从而辅助驾驶员进行路况分析。在军事领域，图像语义分割技术可以对无人机等拍摄的图片等进行分割处理，帮助侦察员快速获取目标位置的相关情况。现有的语义分割方法无法完全将目标与背景分开，造成目标分割模糊和不准确的问题。
本发明提出了一种基于引导注意力推理网络的弱监督语义分割方法，引导注意力推理网络具有分类流和注意力挖掘两个网络流，分类流有助于识别类的区域，注意力挖掘确保所有可能有助于分类决策的区域都将被纳入网络的注意力之中，使注意力图变得更加完整、准确，通过这两种损失函数可以联合生成和训练注意力图；引入引导注意力推理网络的扩展，在弱监督的学习框架中无缝集成额外的监督，从而控制注意力图学习过程。本发明基于一个端到端的框架，可以在训练阶段直接将特定任务的监督应用于注意力图上，且可以减少弱监督和额外监督之间的差距，提高了其泛化性能。
发明内容
针对目标分割模糊和不准确的问题，本发明的目的在于提供一种基于引导注意力推理网络的弱监督语义分割方法，引导注意力推理网络具有分类流和注意力挖掘两个网络流，分类流有助于识别类的区域，注意力挖掘确保所有可能有助于分类决策的区域都将被纳入网络的注意力之中，使注意力图变得更加完整、准确，通过这两种损失函数可以联合生成和训练注意力图；引入引导注意力推理网络的扩展，在弱监督的学习框架中无缝集成额外的监督，从而控制注意力图学习过程。
为解决上述问题，本发明提供一种基于引导注意力推理网络的弱监督语义分割方法，其主要内容包括：
(一)对网络注意力的自我引导；
(二)整合额外的监督。
其中，所述的引导注意力推理网络(GAIN)，由于注意力映射反映了支持网络预测的输入图像上的区域，因此提出GAIN，其目的是在针对感兴趣的任务训练网络时监督注意力图。
其中，所述的对网络注意力的自我引导，GAIN以正则化的引导方式直接在注意力图上形成约束；GAIN具有两个网络流：分类流Scl和注意力挖掘Sam，它们彼此共享参数；Scl流的约束旨在找出有助于识别类的区域；Sam确保所有可能有助于分类决策的区域都将被纳入网络的注意力之中；通过这种方式，注意力图变得更加完整、准确，并针对分割任务进行量身定制；这里的关键是可以通过两种损失函数联合生成和训练注意力图。
进一步地，所述的注意力挖掘，设计公式(1)中称为注意力挖掘损失的损失函数：
其中，sc(I*c)表示类c的I*c的预测分数；n是该图像I的标定真实类别标签的数量；
最终的自我引导损失Lself是分类损失Lcl和Lam的总和，即Lself＝Lcl+αLam；
其中，Lcl用于多标签和多类别分类，这里使用了多标签软边缘损失；备选损失函数可用于特定任务；α是加权参数，实验中α＝1；
在自我引导下，网络学习扩大输入图像的焦点区域，有助于尽可能地识别目标类别，从而使注意力映射适合于感兴趣的任务，即语义分割。
进一步地，所述的注意力图，可以在每个推理中获得与输入样本相对应的注意力图，从而在训练统计中变得可训练；在分类流Scl中，对于给定的图像I，令fl,k为第l层中单元k的激活；对于来自标定真实数据标签的每个类别c，计算关于fl,k的激活图的相应于类别c的得分sc的梯度；这些梯度回流将通过全局平均池化层获得神经元重要性权重
进一步地，所述的类别，使用可训练的注意力图Ac来生成一个软掩码以应用于原始输入图像；I*c代表超出网络当前注意力c类的区域，I*c＝I-(T(Ac)⊙I)；
其中，⊙表示数组元素依次相乘；T(Ac)是基于阈值操作的掩码函数；为了使其可导，使用S型函数作为公式(2)中定义的近似值：
其中，σ是元素都等于σ的阈值矩阵；ω是尺度参数，当大于σ时，确保T(Ac)i,j大约等于1，否则为0；
I*c用作流Sam的输入以获得类别预测分数；由于目标是引导网络专注于感兴趣类别的所有部分，因此强制I*c尽可能少地包含属于目标类的特征，即注意力图区域上的高响应区域之外的区域应不包括可触发网络识别类别c的对象的单个像素；从损失函数的角度来看，它试图最小化I*c对c类的预测分数。
进一步地，所述的权重，代表支持c类预测的激活图fl,k的重要性，然后使用权重矩阵wc作为内核，并在激活图矩阵fl上应用二维卷积以集成所有激活图，然后进行修正线性单元(ReLU)操作以获得注意力图Ac；注意力图可以在线训练，Ac上的约束会影响网络的学习；其中，l是来自最后卷积层的表示，其特征具有在高级语义和详细空间信息之间的最佳折衷；注意力图具有与卷积特征映射相同的大小。
其中，所述的整合额外的监督，除了让网络自己探索注意力图的引导之外，还可以通过使用少量额外的监督来控制注意力图学习过程来告诉网络中它们应该关注图像的哪些部分，以便定制感兴趣的任务；基于这种对注意力图进行额外监督的想法，引入GAIN的扩展：GAINext，可以在弱监督的学习框架中无缝集成额外的监督；使用自我引导GAIN框架来改进弱监督语义分割任务；还可以应用GAINext来引导网络学习对数据集偏差具有鲁棒性的特征；当测试数据和训练数据来自不同的分布时，可提高其普遍性。
进一步地，所述的弱监督语义分割任务，仍然使用弱监督的语义分割任务作为示例应用程序来解释GAINext；GAINext在训练阶段生成可训练注意力图的方式与自我引导GAIN相同；除了Lcl和Lam之外，根据给定的外部监督来设计另一个损失Le：
其中，Hc表示额外的监督，例如例子中的像素级分割掩码；还可以添加一个外部流Se，并且这三个流共享所有参数。
进一步地，所述的外部流，流Se的输入图像包括图像级标签和像素级分割掩模；可以通过流Se只使用非常少量的像素级标签，以利用GAINext获得性能改进；流Scl的输入包括仅具有图像级标签的训练集中的所有图像；
GAINext的最终损失函数Lext定义如下：
Lext＝Lcl+αLam+ωLe (4)
其中，ω是权重参数，实验中ω＝10；可以通过修改GAINext以适应其他任务；一旦获得与网络最终输出相对应的激活图fl,k，就可以使用Le来引导网络将重点放在对感兴趣任务关键的区域。
附图说明
图1是本发明一种基于引导注意力推理网络的弱监督语义分割方法的***流程图。
图2是本发明一种基于引导注意力推理网络的弱监督语义分割方法的分割实例图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于引导注意力推理网络的弱监督语义分割方法的***流程图。主要包括对网络注意力的自我引导和整合额外的监督。
由于注意力映射反映了支持网络预测的输入图像上的区域，因此提出引导注意力推理网络，其目的是在针对感兴趣的任务训练网络时监督注意力图。
GAIN以正则化的引导方式直接在注意力图上形成约束；GAIN具有两个网络流：分类流Scl和注意力挖掘Sam，它们彼此共享参数；Scl流的约束旨在找出有助于识别类的区域；Sam确保所有可能有助于分类决策的区域都将被纳入网络的注意力之中；通过这种方式，注意力图变得更加完整、准确，并针对分割任务进行量身定制；这里的关键是可以通过两种损失函数联合生成和训练注意力图。
设计公式(1)中称为注意力挖掘损失的损失函数：
其中，sc(I*c)表示类c的I*c的预测分数；n是该图像I的标定真实类别标签的数量；
最终的自我引导损失Lself是分类损失Lcl和Lam的总和，即Lself＝Lcl+αLam；
其中，Lcl用于多标签和多类别分类，这里使用了多标签软边缘损失；备选损失函数可用于特定任务；α是加权参数，实验中α＝1；
在自我引导下，网络学习扩大输入图像的焦点区域，有助于尽可能地识别目标类别，从而使注意力映射适合于感兴趣的任务，即语义分割。
可以在每个推理中获得与输入样本相对应的注意力图，从而在训练统计中变得可训练；在分类流Scl中，对于给定的图像I，令fl,k为第l层中单元k的激活；对于来自标定真实数据标签的每个类别c，计算关于fl,k的激活图的相应于类别c的得分sc的梯度；这些梯度回流将通过全局平均池化层获得神经元重要性权重
使用可训练的注意力图Ac来生成一个软掩码以应用于原始输入图像；I*c代表超出网络当前注意力c类的区域，I*c＝I-(T(Ac)⊙I)；
其中，⊙表示数组元素依次相乘；T(Ac)是基于阈值操作的掩码函数；为了使其可导，使用S型函数作为公式(2)中定义的近似值：
其中，σ是元素都等于σ的阈值矩阵；ω是尺度参数，当大于σ时，确保T(Ac)i,j大约等于1，否则为0；
I*c用作流Sam的输入以获得类别预测分数；由于目标是引导网络专注于感兴趣类别的所有部分，因此强制I*c尽可能少地包含属于目标类的特征，即注意力图区域上的高响应区域之外的区域应不包括可触发网络识别类别c的对象的单个像素；从损失函数的角度来看，它试图最小化I*c对c类的预测分数。
代表支持c类预测的激活图fl,k的重要性，然后使用权重矩阵wc作为内核，并在激活图矩阵fl上应用二维卷积以集成所有激活图，然后进行修正线性单元(ReLU)操作以获得注意力图Ac；注意力图可以在线训练，Ac上的约束会影响网络的学习；其中，l是来自最后卷积层的表示，其特征具有在高级语义和详细空间信息之间的最佳折衷；注意力图具有与卷积特征映射相同的大小。
除了让网络自己探索注意力图的引导之外，还可以通过使用少量额外的监督来控制注意力图学习过程来告诉网络中它们应该关注图像的哪些部分，以便定制感兴趣的任务；基于这种对注意力图进行额外监督的想法，引入GAIN的扩展：GAINext，可以在弱监督的学习框架中无缝集成额外的监督；使用自我引导GAIN框架来改进弱监督语义分割任务；还可以应用GAINext来引导网络学习对数据集偏差具有鲁棒性的特征；当测试数据和训练数据来自不同的分布时，可提高其普遍性。
仍然使用弱监督的语义分割任务作为示例应用程序来解释GAINext；GAINext在训练阶段生成可训练注意力图的方式与自我引导GAIN相同；除了Lcl和Lam之外，根据给定的外部监督来设计另一个损失Le：
其中，Hc表示额外的监督，例如例子中的像素级分割掩码；还可以添加一个外部流Se，并且这三个流共享所有参数。
流Se的输入图像包括图像级标签和像素级分割掩模；可以通过流Se只使用非常少量的像素级标签，以利用GAINext获得性能改进；流Scl的输入包括仅具有图像级标签的训练集中的所有图像；
GAINext的最终损失函数Lext定义如下：
Lext＝Lcl+αLam+ωLe (4)
其中，ω是权重参数，实验中ω＝10；可以通过修改GAINext以适应其他任务；一旦获得与网络最终输出相对应的激活图fl,k，就可以使用Le来引导网络将重点放在对感兴趣任务关键的区域。
图2是本发明一种基于引导注意力推理网络的弱监督语义分割方法的分割实例图。图中比较了输入图像、梯度类激活映射(Grad-CAM)分割结果、引导注意力推理网络(GAIN)分割结果和引导注意力推理网络的扩展GAINext分割结果。GAIN涵盖了与Grad-CAM相比更多的感兴趣区域，而GAINext涵盖的感兴趣区域比其它结果更加完整和准确，例如图2左栏第二行中的船只与海洋、右栏第二行中的汽车与道路。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于引导注意力推理网络的弱监督语义分割方法，其特征在于，主要包括对网络注意力的自我引导(一)；整合额外的监督(二)。
2.基于权利要求书1所述的引导注意力推理网络(GAIN)，其特征在于，由于注意力映射反映了支持网络预测的输入图像上的区域，因此提出GAIN，其目的是在针对感兴趣的任务训练网络时监督注意力图。
3.基于权利要求书1所述的对网络注意力的自我引导(一)，其特征在于，GAIN以正则化的引导方式直接在注意力图上形成约束；GAIN具有两个网络流：分类流Scl和注意力挖掘Sam，它们彼此共享参数；Scl流的约束旨在找出有助于识别类的区域；Sam确保所有可能有助于分类决策的区域都将被纳入网络的注意力之中；通过这种方式，注意力图变得更加完整、准确，并针对分割任务进行量身定制；这里的关键是可以通过两种损失函数联合生成和训练注意力图。
4.基于权利要求书3所述的注意力挖掘，其特征在于，设计公式(1)中称为注意力挖掘损失的损失函数：
其中，sc(I*c)表示类c的I*c的预测分数；n是该图像I的标定真实类别标签的数量；
最终的自我引导损失Lself是分类损失Lcl和Lam的总和，即Lself＝Lcl+αLam；
其中，Lcl用于多标签和多类别分类，这里使用了多标签软边缘损失；备选损失函数可用于特定任务；α是加权参数，实验中α＝1；
在自我引导下，网络学习扩大输入图像的焦点区域，有助于尽可能地识别目标类别，从而使注意力映射适合于感兴趣的任务，即语义分割。
5.基于权利要求书3所述的注意力图，其特征在于，可以在每个推理中获得与输入样本相对应的注意力图，从而在训练统计中变得可训练；在分类流Scl中，对于给定的图像I，令fl,k为第l层中单元k的激活；对于来自标定真实数据标签的每个类别c，计算关于fl,k的激活图的相应于类别c的得分sc的梯度；这些梯度回流将通过全局平均池化层获得神经元重要性权重
6.基于权利要求书5所述的类别，其特征在于，使用可训练的注意力图Ac来生成一个软掩码以应用于原始输入图像；I*c代表超出网络当前注意力c类的区域，I*c＝I-(T(Ac)⊙I)；
其中，⊙表示数组元素依次相乘；T(Ac)是基于阈值操作的掩码函数；为了使其可导，使用S型函数作为公式(2)中定义的近似值：
其中，σ是元素都等于σ的阈值矩阵；ω是尺度参数，当大于σ时，确保T(Ac)i,j大约等于1，否则为0；
I*c用作流Sam的输入以获得类别预测分数；由于目标是引导网络专注于感兴趣类别的所有部分，因此强制I*c尽可能少地包含属于目标类的特征，即注意力图区域上的高响应区域之外的区域应不包括可触发网络识别类别c的对象的单个像素；从损失函数的角度来看，它试图最小化I*c对c类的预测分数。
7.基于权利要求书5所述的权重，其特征在于，代表支持c类预测的激活图fl,k的重要性，然后使用权重矩阵wc作为内核，并在激活图矩阵fl上应用二维卷积以集成所有激活图，然后进行修正线性单元(ReLU)操作以获得注意力图Ac；注意力图可以在线训练，Ac上的约束会影响网络的学习；其中，l是来自最后卷积层的表示，其特征具有在高级语义和详细空间信息之间的最佳折衷；注意力图具有与卷积特征映射相同的大小。
8.基于权利要求书1所述的整合额外的监督(二)，其特征在于，除了让网络自己探索注意力图的引导之外，还可以通过使用少量额外的监督来控制注意力图学习过程来告诉网络中它们应该关注图像的哪些部分，以便定制感兴趣的任务；基于这种对注意力图进行额外监督的想法，引入GAIN的扩展：GAINext，可以在弱监督的学习框架中无缝集成额外的监督；使用自我引导GAIN框架来改进弱监督语义分割任务；还可以应用GAINext来引导网络学习对数据集偏差具有鲁棒性的特征；当测试数据和训练数据来自不同的分布时，可提高其普遍性。
9.基于权利要求书8所述的弱监督语义分割任务，其特征在于，仍然使用弱监督的语义分割任务作为示例应用程序来解释GAINext；GAINext在训练阶段生成可训练注意力图的方式与自我引导GAIN相同；除了Lcl和Lam之外，根据给定的外部监督来设计另一个损失Le：
其中，Hc表示额外的监督，例如例子中的像素级分割掩码；还可以添加一个外部流Se，并且这三个流共享所有参数。
10.基于权利要求书9所述的外部流，其特征在于，流Se的输入图像包括图像级标签和像素级分割掩模；可以通过流Se只使用非常少量的像素级标签，以利用GAINext获得性能改进；流Scl的输入包括仅具有图像级标签的训练集中的所有图像；
GAINext的最终损失函数Lext定义如下：
Lext＝Lcl+αLam+ωLe (4)
其中，ω是权重参数，实验中ω＝10；可以通过修改GAINext以适应其他任务；一旦获得与网络最终输出相对应的激活图fl,k，就可以使用Le来引导网络将重点放在对感兴趣任务关键的区域。
CN201810407408.9A 2018-05-02 2018-05-02 一种基于引导注意力推理网络的弱监督语义分割方法 Withdrawn CN108647684A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810407408.9A CN108647684A (zh) 2018-05-02 2018-05-02 一种基于引导注意力推理网络的弱监督语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810407408.9A CN108647684A (zh) 2018-05-02 2018-05-02 一种基于引导注意力推理网络的弱监督语义分割方法

Publications (1)

Publication Number Publication Date
CN108647684A true CN108647684A (zh) 2018-10-12

Family

ID=63748495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810407408.9A Withdrawn CN108647684A (zh) 2018-05-02 2018-05-02 一种基于引导注意力推理网络的弱监督语义分割方法

Country Status (1)

Country Link
CN (1) CN108647684A (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635694A (zh) * 2018-12-03 2019-04-16 广东工业大学 一种行人检测方法、装置、设备及计算机可读存储介质
CN109682381A (zh) * 2019-02-22 2019-04-26 山东大学 基于全向视觉的大视场场景感知方法、***、介质及设备
CN109815919A (zh) * 2019-01-28 2019-05-28 上海七牛信息技术有限公司 一种人群计数方法、网络、***和电子设备
CN109961442A (zh) * 2019-03-25 2019-07-02 腾讯科技（深圳）有限公司 神经网络模型的训练方法、装置和电子设备
CN110008962A (zh) * 2019-04-11 2019-07-12 福州大学 基于注意力机制的弱监督语义分割方法
CN110111340A (zh) * 2019-04-28 2019-08-09 南开大学 基于多路割的弱监督实例分割方法
CN110176001A (zh) * 2019-06-03 2019-08-27 浙江大学 一种基于Grad-CAM算法的高铁接触网绝缘子破损精确定位方法
CN110188635A (zh) * 2019-05-16 2019-08-30 南开大学 一种基于注意力机制和多层次卷积特征的植物病虫害识别方法
CN110188866A (zh) * 2019-05-28 2019-08-30 北京工业大学 一种基于注意力机制的特征提取方法
CN110197215A (zh) * 2019-05-22 2019-09-03 深圳市牧月科技有限公司 一种自主驾驶的地面感知点云语义分割方法
CN110245709A (zh) * 2019-06-18 2019-09-17 西安电子科技大学 基于深度学习和自注意力的3d点云数据语义分割方法
CN110363201A (zh) * 2019-07-10 2019-10-22 上海交通大学 基于协同学习的弱监督语义分割方法及***
CN110458221A (zh) * 2019-08-05 2019-11-15 南开大学 基于在线注意力累积的挖掘目标物体区域的方法
CN110490878A (zh) * 2019-07-29 2019-11-22 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110517278A (zh) * 2019-08-07 2019-11-29 北京旷视科技有限公司 图像分割和图像分割网络的训练方法、装置和计算机设备
CN110853072A (zh) * 2019-11-08 2020-02-28 安徽大学 基于自引导推理的弱监督图像语义分割方法
CN111179227A (zh) * 2019-12-16 2020-05-19 西北工业大学 基于辅助诊断和主观美学的乳腺超声图像质量评价方法
CN111476775A (zh) * 2020-04-07 2020-07-31 广州柏视医疗科技有限公司 Dr征象识别装置和方法
CN111967464A (zh) * 2020-06-30 2020-11-20 西安电子科技大学 一种基于深度学习的弱监督目标定位方法
CN112257601A (zh) * 2020-10-22 2021-01-22 福州大学 基于弱监督学习的数据增强网络的细粒度车辆识别方法
CN112381771A (zh) * 2020-11-04 2021-02-19 吉林大学 一种医学影像针对病灶区域分割方法
WO2021097429A1 (en) * 2019-11-15 2021-05-20 Waymo Llc Multi object tracking using memory attention
CN113168541A (zh) * 2018-10-15 2021-07-23 菲力尔商业***公司 用于成像***的深度学习推理***和方法
CN113657560A (zh) * 2021-10-20 2021-11-16 南京理工大学 基于节点分类的弱监督图像语义分割方法及***
CN115393598A (zh) * 2022-10-31 2022-11-25 南京理工大学 一种基于非显著区域对象挖掘的弱监督语义分割方法
CN115880574A (zh) * 2023-03-02 2023-03-31 吉林大学 一种水下光学图像轻量化目标识别方法、设备和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934392A (zh) * 2017-02-28 2017-07-07 西交利物浦大学 基于多任务学习卷积神经网络的车标识别及属性预测方法
CN107704866A (zh) * 2017-06-15 2018-02-16 清华大学 基于新型神经网络的多任务场景语义理解模型及其应用

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934392A (zh) * 2017-02-28 2017-07-07 西交利物浦大学 基于多任务学习卷积神经网络的车标识别及属性预测方法
CN107704866A (zh) * 2017-06-15 2018-02-16 清华大学 基于新型神经网络的多任务场景语义理解模型及其应用

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KUNPENG LI ET.AL: ""Tell Me Where to Look: Guided Attention Inference Network"", 《ARXIV:1802.10171V1 [CS.CV]》 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113168541A (zh) * 2018-10-15 2021-07-23 菲力尔商业***公司 用于成像***的深度学习推理***和方法
CN109635694A (zh) * 2018-12-03 2019-04-16 广东工业大学 一种行人检测方法、装置、设备及计算机可读存储介质
CN109815919A (zh) * 2019-01-28 2019-05-28 上海七牛信息技术有限公司 一种人群计数方法、网络、***和电子设备
CN109682381A (zh) * 2019-02-22 2019-04-26 山东大学 基于全向视觉的大视场场景感知方法、***、介质及设备
CN109961442B (zh) * 2019-03-25 2022-11-18 腾讯科技（深圳）有限公司 神经网络模型的训练方法、装置和电子设备
CN109961442A (zh) * 2019-03-25 2019-07-02 腾讯科技（深圳）有限公司 神经网络模型的训练方法、装置和电子设备
CN110008962A (zh) * 2019-04-11 2019-07-12 福州大学 基于注意力机制的弱监督语义分割方法
CN110008962B (zh) * 2019-04-11 2022-08-12 福州大学 基于注意力机制的弱监督语义分割方法
CN110111340A (zh) * 2019-04-28 2019-08-09 南开大学 基于多路割的弱监督实例分割方法
CN110111340B (zh) * 2019-04-28 2021-05-14 南开大学 基于多路割的弱监督实例分割方法
CN110188635A (zh) * 2019-05-16 2019-08-30 南开大学 一种基于注意力机制和多层次卷积特征的植物病虫害识别方法
CN110188635B (zh) * 2019-05-16 2021-04-30 南开大学 一种基于注意力机制和多层次卷积特征的植物病虫害识别方法
CN110197215A (zh) * 2019-05-22 2019-09-03 深圳市牧月科技有限公司 一种自主驾驶的地面感知点云语义分割方法
CN110188866A (zh) * 2019-05-28 2019-08-30 北京工业大学 一种基于注意力机制的特征提取方法
CN110176001A (zh) * 2019-06-03 2019-08-27 浙江大学 一种基于Grad-CAM算法的高铁接触网绝缘子破损精确定位方法
CN110245709A (zh) * 2019-06-18 2019-09-17 西安电子科技大学 基于深度学习和自注意力的3d点云数据语义分割方法
CN110245709B (zh) * 2019-06-18 2021-09-03 西安电子科技大学 基于深度学习和自注意力的3d点云数据语义分割方法
CN110363201A (zh) * 2019-07-10 2019-10-22 上海交通大学 基于协同学习的弱监督语义分割方法及***
CN110490878A (zh) * 2019-07-29 2019-11-22 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110458221A (zh) * 2019-08-05 2019-11-15 南开大学 基于在线注意力累积的挖掘目标物体区域的方法
CN110458221B (zh) * 2019-08-05 2021-03-16 南开大学 基于在线注意力累积的挖掘目标物体区域的方法
CN110517278B (zh) * 2019-08-07 2022-04-29 北京旷视科技有限公司 图像分割和图像分割网络的训练方法、装置和计算机设备
CN110517278A (zh) * 2019-08-07 2019-11-29 北京旷视科技有限公司 图像分割和图像分割网络的训练方法、装置和计算机设备
CN110853072B (zh) * 2019-11-08 2023-08-22 安徽大学 基于自引导推理的弱监督图像语义分割方法
CN110853072A (zh) * 2019-11-08 2020-02-28 安徽大学 基于自引导推理的弱监督图像语义分割方法
WO2021097429A1 (en) * 2019-11-15 2021-05-20 Waymo Llc Multi object tracking using memory attention
CN111179227B (zh) * 2019-12-16 2022-04-05 西北工业大学 基于辅助诊断和主观美学的乳腺超声图像质量评价方法
CN111179227A (zh) * 2019-12-16 2020-05-19 西北工业大学 基于辅助诊断和主观美学的乳腺超声图像质量评价方法
CN111476775A (zh) * 2020-04-07 2020-07-31 广州柏视医疗科技有限公司 Dr征象识别装置和方法
CN111967464A (zh) * 2020-06-30 2020-11-20 西安电子科技大学 一种基于深度学习的弱监督目标定位方法
CN111967464B (zh) * 2020-06-30 2024-02-20 西安电子科技大学 一种基于深度学习的弱监督目标定位方法
CN112257601B (zh) * 2020-10-22 2023-02-21 福州大学 基于弱监督学习的数据增强网络的细粒度车辆识别方法
CN112257601A (zh) * 2020-10-22 2021-01-22 福州大学 基于弱监督学习的数据增强网络的细粒度车辆识别方法
CN112381771B (zh) * 2020-11-04 2022-08-05 吉林大学 一种医学影像针对病灶区域分割方法
CN112381771A (zh) * 2020-11-04 2021-02-19 吉林大学 一种医学影像针对病灶区域分割方法
CN113657560B (zh) * 2021-10-20 2022-04-15 南京理工大学 基于节点分类的弱监督图像语义分割方法及***
CN113657560A (zh) * 2021-10-20 2021-11-16 南京理工大学 基于节点分类的弱监督图像语义分割方法及***
CN115393598A (zh) * 2022-10-31 2022-11-25 南京理工大学 一种基于非显著区域对象挖掘的弱监督语义分割方法
CN115880574A (zh) * 2023-03-02 2023-03-31 吉林大学 一种水下光学图像轻量化目标识别方法、设备和介质
CN115880574B (zh) * 2023-03-02 2023-06-16 吉林大学 一种水下光学图像轻量化目标识别方法、设备和介质

Similar Documents

Publication Publication Date Title
CN108647684A (zh) 一种基于引导注意力推理网络的弱监督语义分割方法
Cai et al. Learning delicate local representations for multi-person pose estimation
Zhang et al. A gated peripheral-foveal convolutional neural network for unified image aesthetic prediction
Wang et al. Cliffnet for monocular depth estimation with hierarchical embedding loss
CN112150493B (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
CN114998210B (zh) 一种基于深度学习目标检测的早产儿视网膜病变检测***
Muhammad et al. Visual saliency models for summarization of diagnostic hysteroscopy videos in healthcare systems
Tawari et al. Learning to attend to salient targets in driving videos using fully convolutional RNN
CN114373094A (zh) 一种基于弱监督学习的门控特征注意力等变分割方法
CN112101456B (zh) 注意力特征图获取方法及装置、目标检测的方法及装置
Itoh et al. Binary polyp-size classification based on deep-learned spatial information
US11367206B2 (en) Edge-guided ranking loss for monocular depth prediction
CN114399638A (zh) 基于切块补丁学习的语义分割网络训练方法、设备及介质
Qian et al. Ventral-Dorsal attention capsule network for facial expression recognition
Fazry et al. Change detection of high-resolution remote sensing images through adaptive focal modulation on hierarchical feature maps
Li et al. Contrastive rendering for ultrasound image segmentation
Prasad et al. ADTBO: Aquila driving training-based optimization with deep learning for skin cancer detection
Rajani et al. Ensembling visual explanations
Li et al. UStark: underwater image domain-adaptive tracker based on Stark
Shen et al. A study on improving realism of synthetic data for machine learning
Pu et al. TA-BiDet: Task-aligned binary object detector
Zhang et al. DNet-CNet: A novel cascaded deep network for real-time lane detection and classification
Shi et al. Personalized image observation behavior learning in fixation based personalized salient object segmentation
Wei et al. Learning and exploiting interclass visual correlations for medical image classification
Wang et al. Dunhuang mural line drawing based on multi-scale feature fusion and sharp edge learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20181012

WW01 Invention patent application withdrawn after publication