CN107766794B - 一种特征融合系数可学习的图像语义分割方法 - Google Patents

一种特征融合系数可学习的图像语义分割方法 Download PDF

Info

Publication number
CN107766794B
CN107766794B CN201710864343.6A CN201710864343A CN107766794B CN 107766794 B CN107766794 B CN 107766794B CN 201710864343 A CN201710864343 A CN 201710864343A CN 107766794 B CN107766794 B CN 107766794B
Authority
CN
China
Prior art keywords
convolution
coefficient
fusion
semantic segmentation
full
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710864343.6A
Other languages
English (en)
Other versions
CN107766794A (zh
Inventor
韩亚洪
于健壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710864343.6A priority Critical patent/CN107766794B/zh
Publication of CN107766794A publication Critical patent/CN107766794A/zh
Application granted granted Critical
Publication of CN107766794B publication Critical patent/CN107766794B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种特征融合系数可学习的图像语义分割方法，该方法步骤主要包括先在图像分类数据集上训练一个由图像到类别标签的深度卷积网络分类模型；将分类模型中的全连接层类型转为卷积层类型，得到全卷积深度神经网络模型，进行像素级别的类别预测；然后扩展卷积层分枝，给每一个分支设置一个系数，特征融合层按照系数比重进行融合，将此系数设置为可学习的状态；其次在图像语义分割数据集上进行微调训练，同时进行系数学习，得到语义分割模型；经微调训练和融合系数学习，可得到1至20组融合系数；最后在每组中选出系数最大的那个分支，进行最终组合，再次微调训练和系数学习，得到最终的语义分割模型。本发明使特征融合效果达到最好的状态。

Description

一种特征融合系数可学习的图像语义分割方法
技术领域
本发明涉及深度学习及计算机视觉技术领域，具体涉及一种特征融合系数可学习的图像语义分割方法。
背景技术
过去的几年中，深度卷积神经网络在计算机视觉领域，包括图片分类、目标检测、姿态估计以及语义分割任务上，取得了非常大的性能提升。当下，进行语义分割任务的主要方式是使用深度神经网络进行密集的像素预测；同时也有一些工作，会结合条件随机场方法，对语义分割结果进行后处理，使分割结果更精细一些。之前，大部分使用深度神经网络进行语义分割方法，是先从图像中检测出一些物体候选框，之后将这些框与类别结合起来，作为分割结果。自从，全卷积神经网络出现以后，便快速的被很多人所使用。全卷积深度神经网络可以直接进行像素级别的类别预测，同时可以，端到端的进行训练。经过全卷积网络预测出的语义分割结果还有些粗糙，Chen L C等人，将这种结果结合图模型的方法，使用全连接条件随机场做进一步后处理，使分割结果更精细。
为了使性能进一步提升，许多基于深度神经网络的工作通过特征融合的方法，以得到更丰富的语义特征信息。Long J等人在反卷积的过程中不断融合其他层的特征，使得分割结果趋于精细。Xie S等人在使用深度神经网络进行边界检测任务时，将所有卷积层的特征都融合了起来，得到了较好的边界检测性能。Chen L C、Zhao H等人通过融合不同尺度的语义特征进行语义分割任务，取得了很不错的效果。Shuai B等人在全卷积网络工作的基础上，扩展出更多的卷积层，然后将这些卷积层的输出特征融合起来，使的全卷积网络的性能有了很大的提升。特征融合已是提升语义分割性能的一个基础的方法。通过融合更多的语义特征，能获得更多的语义信息。然而，并不是融合特征越多越好，语义特征之间存在着大量的冗余信息，一维的融合更多的特征，会增加计算量和计算时间，同时也可能无助于性能的提升；同时，融合哪些层的特征，并没有明确的可以依据的方法。基本都是凭借直觉和经验来选层，是比较盲目的。本发明，通过一种融合系数可学习的方法，一方面可以让各个特征进行最优比例的进行融合，另一方面，通过判断学出的融合融合系数的大小，可以判断该层特征的的重要性，从而可以为筛选层提供了依据。
发明内容
本发明的目的在于提高现有语义分割方法的精度，提供一种特征融合系数可学习的图像语义分割方法，本发明通过在训练分割模型时，对特征融合系数进行学习，从而达到选择较优的层的特征进行融合和融合时按照最优的融合比例，使语义分割性能不断提升的目的。
本发明的技术方案:一种特征融合系数可学习的图像语义分割方法，该方法包括以下步骤：
步骤(1)：在图像分类数据集上训练一个由图像到类别标签的深度卷积网络分类模型；
步骤(2)：将深度卷积神经网络分类模型中的全连接层类型转为卷积层类型，得到全卷积深度神经网络模型，进行像素级别的类别预测；
步骤(3)：将全卷积深度神经网络的后端部分的常规卷积转化为扩张卷积，并添加扩张卷积分支，然后在全卷积深度神经网络末端进行特征融合；
步骤(4)：将步骤(3)中全卷积深度神经网络末端扩展卷积层分枝，给每一个分支设置一个系数，特征融合层按照系数比重进行融合，将此系数设置为可学习的状态；
步骤(5)：将步骤(4)修改后得到的全卷积深度神经网络，在图像语义分割数据集上进行微调训练，同时进行系数学习，得到语义分割模型；
步骤(6)：经过步骤(1)至(5)得到一组包含2至10个融合系数的组合，由步骤(3)中经过1至20组多尺度分支组合，再经微调训练和融合系数学习，可得到1至20组融合系数；
步骤(7)：在每组中选出系数最大的那个分支，进行最终组合，再次微调训练和系数学习，得到最终的语义分割模型。
所述步骤(2)中全连接层类型转为卷积层类型的具体方法为：
(1)、将全连接层的内积操作类型修改为卷积操作类型；
(2)、全连接层是将所有的输入元素与全连接层的权值进行内积操作，映射为一维的向量；
(3)、卷积层则是对输入的元素进行卷积处理，得到的结果是二维的特征图。
所述步骤(3)中将常规卷积转化为扩张卷积操作的具体方法为：常规卷积处理，是取相邻的元素进行卷积，
而扩张卷积取的元素之间有间隔；
当输入为一维向量x(i)时，卷积输出为y(i)，w(s)为核大小为S卷积核，d为扩张系数，扩张卷积的操作定义如下公式所示：
Figure GDA0002946953870000031
所述步骤(4)中对全卷积深度神经网络末端扩展多个卷积层分枝的具体操作方法为：
(1)、在全连接层转化为的卷积层的位置，并列的添加不同扩张系数的扩张卷积层；
(2)、将这些不同扩张系数的卷积层的特征按一定的融合系数，进行融合；
(3)、融合操作是特征图对应位置乘以融合系数后相加。
所述步骤(5)中微调训练和特征系数学习的具体方法为：
(1)、基于分类网络构建语义分割模型的过程中，分类网络训练好的参数用来对语义分割模型相应参数初始化；
(2)、在语义分割数据集上进行端到端的微调训练；在训练的过程中，融合系数同时得到更新和学习；
其中，融合系数的学习算法如下：
L(*)为全卷积神经网络的损失函数，表示如下：
LossFunction：L(w，x，y，Y) (2)
其中，w是网络的权值参数，x为网络的输入，y为预测输出，Y是标签；
不同尺度的特征融合方程如下公式所示：
Figure GDA0002946953870000041
其中，fk(*)是第k层的处理函数，wk为该层的权值，xk为该层的输入，ak为该层对应的融合系数，ak更新时，计算梯度的方法如下：
Figure GDA0002946953870000042
Figure GDA0002946953870000043
Figure GDA0002946953870000044
G为计算融合系数梯度时，用于临时表示的梯度矩阵；公式(4)结合公式(3)，推导出公式(5)，通过梯度矩阵所有元素求和，就得到了融合系数更新时所需的梯度，gij为梯度矩阵第(i，j)位置的元素，同时，给融合系数添加一个约束项：
Figure GDA0002946953870000045
融合系数学习时，更新规则如下：
vi+1：＝η*vi-μ*α*(ak)i-α*(Δak)i (8)
(ak)i+1：＝(ak)i+vi+1 (9)
Figure GDA0002946953870000051
其中，i是迭代次数，η是冲量参数，α是学习率，μ是权重衰减参数。
与现有技术相比，本发明具有的优点：本发明采用融合系数可学习的方式进行特征融合，可以利用不同特征对最后的语义分割结果贡献不同的特性，使特征融合效果达到最好的状态。同个特征融合时，不同特征对应不同的融合系数，可以看出各个特征对最终的语义分割性能贡献的大小。当这些特征存在大量冗余，同时减小融合特征的数量时，我们可以选择贡献较大的特征来使用，抛弃贡献较小的特征。这样就可以避免，选择特征时凭借经验或直觉判断的盲目性。
附图说明
图1为扩张卷积在2D空间上的示意图：
(a)、(b)、(c)分别是深度卷积神经网络的前三个连续的卷积层在特征图上的扩张卷积操作。
图2为融合系数可学习的深度卷积语义分割网络的网络结构示意图。
图3为分支扩展时的细节示意图。
具体实施方式
下面通过具体实施例和附图对本发明作进一步的说明。本发明的实施例是为了更好地使本领域的技术人员更好地理解本发明，并不对本发明作任何的限制。
本发明一种特征融合系数可学习的图像语义分割方法，具体步骤如下：
首先，在图像分类数据集上训练一个由图像到类别标签的深度卷积网络分类模型：
我们一般直接使用VGG16网络，已经预训练好的分类模型参数，来初始化我们的语义分割网络，而不是自己去训练。
其次，将深度卷积神经网络分类模型的全连接层转为卷积层，得到全卷积深度神经网络模型，该模型可以进行像素级别的类别预测：
VGG16网络的最后三层(fc6、fc7、fc8)是全连接层，这三层的操作类型是内积操作。即将所有的输入元素与全连接层的权值进行内积操作，映射为一维的向量。而卷积层则是对输入的元素进行卷积处理，得到的结果是二维的特征图。我们在这里将全连接层的内积操作类型修改为卷积操作类型。经过这样的修改之后，整个网络就变成全卷积网络了。
然后，将全卷积深度神经网络的后端部分的卷积转化扩张卷积，并添加多个扩张卷积分支，在全卷积深度神经网络的末端进行多个分支特征融合：
我们为了增大整个网络的感知域，在conv5_1、conv5_2、conv5_3三个卷积层使用扩张系数均为2的扩张卷积，取代原有的卷积操作。然后在pool5层之后，扩展三个卷积层，网络的后端变为4个分支，分别使用扩张系数为{6，10，16，22}的扩张卷积操作。然后在fc8层位置，将4个分支的特征，进行按照不同的系数进行融合，如图2所示。
其中将卷积操作转化为扩张卷积操作的具体方法为：常规卷积处理，是取相邻的元素进行卷积，而扩张卷积是取的元素之间有一定的间隔。当输入为一维向量x(i)时，卷积输出为y(i)，w(k)为核大小为k的卷积核，d为扩张系数，扩张卷积的操作定义如下公式所示：
Figure GDA0002946953870000061
再次，将上述步骤中全卷积深度神经网络末端的扩展多个卷积层分枝，按照一定的系数进行融合，将这些系数设置为可学习的状态：
对全卷积深度神经网络末端扩展多个卷积层分枝的具体操作方法为：
(1)、在全连接层转化为的卷积层的位置，并列的添加不同扩张系数的扩张卷积层；
(2)、将这些不同扩张系数的卷积层的特征进行按一定的融合系数，进行融合；
(3)、融合操作是特征图对应位置乘以融合系数后相加。
通常进行多种特征融合时，都是直接相加，也就是说融合系数为1，按照相同的重要性融合。在分割模型训练的过程中，这些融合系数保持固定不变。本发明中，为了使各种特征以最优的比例进行融合，使这些融合系数在模型训练的过程中进行学习和更新，使特征以最优的比例进行融合。
第五步，将上述步骤修改后得到的全卷积深度神经网络在图像语义分割数据集上进行微调训练，同时进行系数学习，得到语义分割模型：
其中微调训练具体方法为：基于分类网络构建语义分割模型的过程中，分类网络VGG16训练好的参数用来对语义分割模型相应参数初始化。在网络的后端扩展的3个分支中，也使用相同的参数进行初始化。然后，在语义分割数据集上进行端到端的微调训练。微调训练使用增广的语义分割数据集PASCAL VOC2012，该数据集含有21个目标类别，其中包含背景类别。用于训练的图片有10,582张，用于训练的图片有1,449张。微调训练时，使用“poly”的学习策略，batch size为10，学习率为0.001，冲量衰减为0.0005。先固定学习系数为1，训练迭代数量20,000次，之后固定所有的权重，仅训练融合系数。这时置融合系数层的lr_mult为100，batch size为120，迭代2,500次，我们得到最后的语义分割模型和学习到的融合系数。
其中，融合系数的学习算法如下：
L(*)为全卷积神经网络的损失函数，表示如下：
LossFunction：L(w，x，y，Y) (2)
其中，w是网络的权值参数，x为网络的输入，y为预测输出，Y是标签；
不同尺度的特征融合方程如下公式所示：
Figure GDA0002946953870000081
其中，fk(*)是第k层的处理函数，wk为该层的权值，xk为该层的输入，ak为该层对应的融合系数，ak更新时，计算梯度的方法如下：
Figure GDA0002946953870000082
Figure GDA0002946953870000083
Figure GDA0002946953870000084
G为计算融合系数梯度时，用于临时表示的梯度矩阵；公式(4)结合公式(3)，可推导出公式(5)，通过梯度矩阵所有元素求和，就得到了融合系数更新时所需的梯度，gij为梯度矩阵第(i，j)位置的元素，同时，给融合系数添加一个约束项。
Figure GDA0002946953870000085
融合系数的更新规则如下：
vi+1：＝η*vi-μ*α*(ak)i-α*(Δak)i (8)
(ak)i+1：＝(ak)i+vi+1 (9)
Figure GDA0002946953870000086
其中，i是迭代次数，η是冲量参数，α是学习率，μ是权重衰减参数。
第六步，经过上述步骤1至5，可得到一组融合系数，通过步骤3，经过多次不同的多尺度分支组合，再经微调训练和融合系数学习，可得到多组融合系数。
最后，在每组中选出系数最大的那个分支，进行最终组合，再次进行微调训练和系数学习，得到最终的语义分割模型。
图1为扩张卷积在2D空间上的示意图：(a)、(b)、(c)分别是深度卷积神经网络的前三个连续的卷积层在特征图上的扩张卷积操作。其中，卷积核大小都为3，扩张系数分别为{1,2,4}。每一个特征图里面含有2个框。小框位于大框左上角，小框是扩张卷积处理前的每个元素感知域大小，大框是扩张卷积处理后的每个元素感知域大小。
图2为融合系数可学习的深度卷积语义分割网络的网络结构示意图。网络的输入为图像，输出为语义分割结果。其中，图中Conv1～Pool5部分是VGG16前面13个卷积层，其中，conv5_1、conv5_2、conv5_3三个卷积层都使用了扩张系数为2的扩张卷积操作，其余卷积层的扩张系数为1。Fc6层由原来的一个分支，扩展为4个分支，分别使用了不同的扩张系数{6,10,16,22}进行扩张卷积处理。其中，在Fc8层进行4个不同分支的特征融合，ai为每个分支对应的特征融合系数。在进行网咯训练时，这里的系数也要同时更新和学习。
图3为分支扩展时的细节示意图。在Pool5层输入特征图之后，Fc6层在这个特征图上，分别使用4个不同的扩张系数进行不同的扩张卷积处理，不同的扩张卷积处理，得到的是不同尺度语义信息特征。
应当理解的是，这里所讨论的实施方案及实例只是为了说明，对本领域技术人员来说，可以加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
参考文献
【1】Chen L C,Papandreou G,Kokkinos I,et al.《Deeplab:基于深度卷积网络、扩张卷积和全连条件随机域的图像语义分割》,arXiv preprint arXiv:1606.00915,2016.
【2】Long J,Shelhamer E,Darrell T.《基于全卷积网络的语义分割》,计算机视觉与模式识别,2015:3431-3440.
【3】Zhao H,Shi J,Qi X,et al.《金字塔场景解析网络》,arXiv preprint arXiv:1612.01105,2016.
【4】Girshick R,Donahue J,Darrell T,et al.《基于多层次特征的准确目标检测和语义分割》,计算机视觉和模式识别,2014:580-587.
【5】Xie S,Tu Z.《全局-嵌套的边界检测》,国际计算机视觉会议.2015:1395-1403.
【6】Shuai B,Liu T,Wang G.《基于改良的全卷积网络的语义分割》,arXivpreprint arXiv:1611.08986,2016.
【7】Simonyan K,Zisserman A.《基于极深卷积网络的超大规模图像识别》,arXivpreprint arXiv:1409.1556,2014.
【8】Everingham M,Eslami A,Van Gool L,et al.《PASCAL视觉目标分类竞赛：回顾》,国际计算机视觉期刊,2015,111(1):98.
【9】
Figure GDA0002946953870000101
P,Koltun V.《基于高斯边缘势能的全连接条件随机域的高效推断》，神经信息处理会议.2011:109-117.
【10】Tompson J J,Jain A,LeCun Y,et al.《基于卷积网络和图模型联合训练的人类姿态估计》,神经信息处理会议.2014:1799-1807.

Claims (5)

1.一种特征融合系数可学习的图像语义分割方法，其特征在于，该方法包括以下步骤：
步骤(1)：在图像分类数据集上训练一个由图像到类别标签的深度卷积网络分类模型；
步骤(2)：将深度卷积神经网络分类模型中的全连接层类型转为卷积层类型，得到全卷积深度神经网络模型，进行像素级别的类别预测；
步骤(3)：将步骤(2)全连接层转化为卷积层的位置的常规卷积转化为扩张卷积，并添加扩张卷积分支，然后在全卷积深度神经网络末端进行特征融合；
步骤(4)：给每一个分支设置一个系数，特征融合层按照系数比重进行融合，将此系数设置为可学习的状态；
步骤(5)：将步骤(4)修改后得到的全卷积深度神经网络，在图像语义分割数据集上进行微调训练，同时进行系数学习，得到语义分割模型；
步骤(6)：经过步骤(1)至(5)得到一组包含2至10个融合系数的组合，由步骤(3)中经过1至20组多尺度分支组合，再经微调训练和融合系数学习，可得到1至20组融合系数；
步骤(7)：在每组中选出系数最大的那个分支，进行最终组合，再次微调训练和系数学习，得到最终的语义分割模型。
2.根据权利要求1所述的图像语义分割方法，其特征在于，所述步骤(2)中全连接层类型转为卷积层类型的具体方法为：
a.将全连接层的内积操作类型修改为卷积操作类型；
b.全连接层是将所有的输入元素与全连接层的权值进行内积操作，映射为一维的向量；
c.卷积层则是对输入的元素进行卷积处理，得到的结果是二维的特征图。
3.根据权利要求1所述的图像语义分割方法，其特征在于，所述步骤(3)中将常规卷积转化为扩张卷积操作的具体方法为：
常规卷积处理，是取相邻的元素进行卷积，
而扩张卷积取的元素之间有间隔；
当输入为一维向量x(i)时，卷积输出为y(i)，w(s)为核大小为s卷积核，d为扩张系数，扩张卷积的操作定义如下公式所示：
Figure FDA0002974792970000011
4.根据权利要求1所述的图像语义分割方法，其特征在于，所述步骤(4)具体操作方法为：
I.在全连接层转化为卷积层的位置，并列的添加不同扩张系数的扩张卷积层；
II.将这些不同扩张系数的卷积层的特征按融合系数，进行融合；
III.融合操作是特征图对应位置乘以融合系数后相加。
5.根据权利要求1所述的图像语义分割方法，其特征在于，所述步骤(5)中微调训练和特征系数学习的具体方法为：
i.基于分类网络构建语义分割模型的过程中，分类网络训练好的参数用来对语义分割模型相应参数初始化；
ii.在语义分割数据集上进行端到端的微调训练；在训练的过程中，融合系数同时得到更新和学习；
其中，融合系数的学习算法如下：
L(*)为全卷积神经网络的损失函数，表示如下：
LossFunction：L(w，x，y，Y)(2)
其中，w是网络的权值参数，x为网络的输入，y为预测输出，Y是标签；
不同尺度的特征融合方程如下公式所示：
Figure FDA0002974792970000021
其中，fk(*)是第k层的处理函数，wk为该层的权值，xk为该层的输入，ak为该层对应的融合系数，ak更新时，计算梯度的方法如下：
Figure FDA0002974792970000022
Figure FDA0002974792970000023
Figure FDA0002974792970000024
G为计算融合系数梯度时，用于临时表示的梯度矩阵；公式(4)结合公式(3)，推导出公式(5)，通过梯度矩阵所有元素求和，就得到了融合系数更新时所需的梯度，gij为梯度矩阵第(i,j)位置的元素，同时，给融合系数添加一个约束项：
Figure FDA0002974792970000025
融合系数学习时，更新规则如下：
vi+1:＝η*vi-μ*α*(ak)i-α*(Δak)i (8)
(ak)i+1：＝(ak)i+vi+1 (9)
Figure FDA0002974792970000026
其中，i是迭代次数，η是冲量参数，α是学习率，μ是权重衰减参数。
CN201710864343.6A 2017-09-22 2017-09-22 一种特征融合系数可学习的图像语义分割方法 Expired - Fee Related CN107766794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710864343.6A CN107766794B (zh) 2017-09-22 2017-09-22 一种特征融合系数可学习的图像语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710864343.6A CN107766794B (zh) 2017-09-22 2017-09-22 一种特征融合系数可学习的图像语义分割方法

Publications (2)

Publication Number Publication Date
CN107766794A CN107766794A (zh) 2018-03-06
CN107766794B true CN107766794B (zh) 2021-05-14

Family

ID=61266617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710864343.6A Expired - Fee Related CN107766794B (zh) 2017-09-22 2017-09-22 一种特征融合系数可学习的图像语义分割方法

Country Status (1)

Country Link
CN (1) CN107766794B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019237342A1 (zh) * 2018-06-15 2019-12-19 富士通株式会社 用于语义分割的分类神经网络的训练方法及装置、电子设备
CN109035297A (zh) * 2018-07-19 2018-12-18 深圳市唯特视科技有限公司 一种基于双重暹罗网络的实时追踪方法
CN109101972A (zh) * 2018-07-26 2018-12-28 天津大学 一种带上下文信息编码的语义分割卷积神经网络
CN109271856B (zh) * 2018-08-03 2021-09-03 西安电子科技大学 基于扩张残差卷积的光学遥感图像目标检测方法
CN109145983A (zh) * 2018-08-21 2019-01-04 电子科技大学 一种基于轻量化网络的实时场景图像语义分割方法
CN109543519B (zh) * 2018-10-15 2022-04-15 天津大学 一种用于物体检测的深度分割引导网络
WO2020077535A1 (zh) * 2018-10-16 2020-04-23 深圳大学 图像语义分割方法、计算机设备和存储介质
CN109859158A (zh) * 2018-11-27 2019-06-07 邦鼓思电子科技（上海）有限公司 一种基于视觉的工作区域边界的检测***、方法及机器设备
CN109784194B (zh) * 2018-12-20 2021-11-23 北京图森智途科技有限公司 目标检测网络构建方法和训练方法、目标检测方法
CN109858467B (zh) * 2019-03-01 2021-05-07 北京视甄智能科技有限公司 一种基于关键点区域特征融合的人脸识别方法及装置
CN110345886A (zh) * 2019-07-30 2019-10-18 中国海洋大学 一种植物胚表面积测量装置及方法
CN110599451B (zh) * 2019-08-05 2023-01-20 平安科技（深圳）有限公司 医学图像病灶检测定位方法、装置、设备及存储介质
CN110717917B (zh) * 2019-09-30 2022-08-09 北京影谱科技股份有限公司 基于cnn语义分割深度预测方法和装置
CN111079761B (zh) * 2019-11-05 2023-07-18 北京航空航天大学青岛研究院 图像处理方法、装置及计算机存储介质
CN110837811B (zh) * 2019-11-12 2021-01-05 腾讯科技（深圳）有限公司 语义分割网络结构的生成方法、装置、设备及存储介质
CN111242955B (zh) * 2020-01-21 2023-04-21 河海大学 基于全卷积神经网络的道路表面裂缝图像分割方法
CN112257753B (zh) * 2020-09-23 2023-04-07 北京大学 基于偏微分算子的广义等变卷积网络模型的图像分类方法
CN112734015B (zh) * 2021-01-14 2023-04-07 北京市商汤科技开发有限公司 网络生成方法及装置、电子设备和存储介质
CN112884007B (zh) * 2021-01-22 2022-08-09 重庆交通大学 一种像素级统计描述学习的sar图像分类方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984953A (zh) * 2014-04-23 2014-08-13 浙江工商大学 基于多特征融合与Boosting决策森林的街景图像的语义分割方法
CN104504725A (zh) * 2015-01-16 2015-04-08 河南师范大学 一种快速自动语义图像分割模型方法
CN105631466A (zh) * 2015-12-21 2016-06-01 中国科学院深圳先进技术研究院 图像分类的方法及装置
CN106056628A (zh) * 2016-05-30 2016-10-26 中国科学院计算技术研究所 基于深度卷积神经网络特征融合的目标跟踪方法及***
CN106778584A (zh) * 2016-12-08 2017-05-31 南京邮电大学 一种基于深层特征与浅层特征融合的人脸年龄估计方法
CN106845510A (zh) * 2016-11-07 2017-06-13 中国传媒大学 基于深度层级特征融合的中国传统视觉文化符号识别方法
CN106919951A (zh) * 2017-01-24 2017-07-04 杭州电子科技大学 一种基于点击与视觉融合的弱监督双线性深度学习方法
CN107066941A (zh) * 2017-03-01 2017-08-18 桂林电子科技大学 一种人脸识别方法和***
CN107085609A (zh) * 2017-04-24 2017-08-22 国网湖北省电力公司荆州供电公司 一种基于神经网络进行多特征融合的行人检索方法
CN107092870A (zh) * 2017-04-05 2017-08-25 武汉大学 一种高分辨率影像语意信息提取方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9710714B2 (en) * 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984953A (zh) * 2014-04-23 2014-08-13 浙江工商大学 基于多特征融合与Boosting决策森林的街景图像的语义分割方法
CN104504725A (zh) * 2015-01-16 2015-04-08 河南师范大学 一种快速自动语义图像分割模型方法
CN105631466A (zh) * 2015-12-21 2016-06-01 中国科学院深圳先进技术研究院 图像分类的方法及装置
CN106056628A (zh) * 2016-05-30 2016-10-26 中国科学院计算技术研究所 基于深度卷积神经网络特征融合的目标跟踪方法及***
CN106845510A (zh) * 2016-11-07 2017-06-13 中国传媒大学 基于深度层级特征融合的中国传统视觉文化符号识别方法
CN106778584A (zh) * 2016-12-08 2017-05-31 南京邮电大学 一种基于深层特征与浅层特征融合的人脸年龄估计方法
CN106919951A (zh) * 2017-01-24 2017-07-04 杭州电子科技大学 一种基于点击与视觉融合的弱监督双线性深度学习方法
CN107066941A (zh) * 2017-03-01 2017-08-18 桂林电子科技大学 一种人脸识别方法和***
CN107092870A (zh) * 2017-04-05 2017-08-25 武汉大学 一种高分辨率影像语意信息提取方法及***
CN107085609A (zh) * 2017-04-24 2017-08-22 国网湖北省电力公司荆州供电公司 一种基于神经网络进行多特征融合的行人检索方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution,and Fully Connected CRFs;Liang-Chieh Chen 等;《arXiv：1606.00915v2》;20170512;1-14 *
Fully Convolutional Networks for Semantic Segmentation;Evan Shelhamer 等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20170430;第39卷(第4期);640-651 *
基于CNN特征和标签信息融合的图像检索;李秀华 等;《长春工业大学学报》;20170831;第38卷(第4期);346-353 *
基于多特征融合的图像区域几何标记;刘威 等;《东北大学学报（自然科学版）》;20170731;第38卷(第7期);927-931 *

Also Published As

Publication number Publication date
CN107766794A (zh) 2018-03-06

Similar Documents

Publication Publication Date Title
CN107766794B (zh) 一种特征融合系数可学习的图像语义分割方法
Mou et al. Deep generalized unfolding networks for image restoration
CN108764292B (zh) 基于弱监督信息的深度学习图像目标映射及定位方法
Suganuma et al. Attention-based adaptive selection of operations for image restoration in the presence of unknown combined distortions
CN108062756B (zh) 基于深度全卷积网络和条件随机场的图像语义分割方法
Liu et al. Multi-focus image fusion with a deep convolutional neural network
CN108596053B (zh) 一种基于ssd和车辆姿态分类的车辆检测方法和***
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
US9704257B1 (en) System and method for semantic segmentation using Gaussian random field network
CN107092870B (zh) 一种高分辨率影像语义信息提取方法
CN109741341B (zh) 一种基于超像素和长短时记忆网络的图像分割方法
CN111507993A (zh) 一种基于生成对抗网络的图像分割方法、装置及存储介质
CN110826596A (zh) 一种基于多尺度可变形卷积的语义分割方法
CN111861925A (zh) 一种基于注意力机制与门控循环单元的图像去雨方法
CN111160407A (zh) 一种深度学习目标检测方法及***
CN111723829A (zh) 一种基于注意力掩模融合的全卷积目标检测方法
CN117157678A (zh) 用于基于图的全景分割的方法和***
KR101563569B1 (ko) 학습형 다이내믹 시각 이미지 패턴 인식 시스템 및 방법
CN109345609B (zh) 基于卷积神经网络进行壁画图像去噪和线描画生成的方法
CN112464930A (zh) 目标检测网络构建方法、目标检测方法、装置和存储介质
CN115018039A (zh) 一种神经网络蒸馏方法、目标检测方法以及装置
Das et al. Rain removal from a single image using refined inception ResNet v2
CN109726769B (zh) 一种基于卷积核权重参数的目标分类和角度估计方法
US10643092B2 (en) Segmenting irregular shapes in images using deep region growing with an image pyramid
CN112784909B (zh) 基于自注意力机制和自适应子网络的图像分类识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210514

Termination date: 20210922