CN107292875A - 一种基于全局‑局部特征融合的显著性检测方法 - Google Patents

一种基于全局‑局部特征融合的显著性检测方法 Download PDF

Info

Publication number
CN107292875A
CN107292875A CN201710518131.2A CN201710518131A CN107292875A CN 107292875 A CN107292875 A CN 107292875A CN 201710518131 A CN201710518131 A CN 201710518131A CN 107292875 A CN107292875 A CN 107292875A
Authority
CN
China
Prior art keywords
mrow
msubsup
mtd
network structure
mtr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710518131.2A
Other languages
English (en)
Inventor
张新生
高东东
骆正山
赵梦旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Architecture and Technology
Original Assignee
Xian University of Architecture and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Architecture and Technology filed Critical Xian University of Architecture and Technology
Priority to CN201710518131.2A priority Critical patent/CN107292875A/zh
Publication of CN107292875A publication Critical patent/CN107292875A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于全局‑局部特征融合的显著性检测方法，包括以下步骤：1)输入待处理图像数据集I＝{Itrain,Ival,Itest}，再对待处理图像数据集I进行预处理：2)利用CNN模型构建全局网络结构；3)利用VGG模型构建STN网络，再通过STN网络及CNN模型构建局部网络结构；4)对步骤3)得到的全局网络结构及步骤2)得到的局部网络结构进行训练及优化；5)融合全部网络结构及局部网络结构，得融合后的网络结构，再将待处理图像数据集I输入到融合后的网络结构中，得显著图，然后检测显著图的显著性，该方法检测准确度较高，并且显著区域聚焦点清晰，并且对复杂场景的抗噪能力较强。

Description

一种基于全局-局部特征融合的显著性检测方法
技术领域
本发明属于图像处理技术领域，涉及一种基于全局-局部特征融合的显著性检测方法。
背景技术
随着信息技术的快速发展，如何利用计算机代替人类处理这些以***式速度增长的信息，并模仿视觉注意机制快速提取图像中的显著区域(即人类感兴趣的区域)，已成为计算机视觉领域的研究热点。
对显著性检测的研究已有三十年的历史，期间涌现出了各种基于不同理论的检测方法，大致可分为两类：一类是以任务驱动的自顶向下的方法，灵活性较差；另一类是快速且以数据驱动的自底向上的方法，已成为目前研究的主流。其中，比较经典的自底向上的显著性检测理论包括：
1)最早的Itti模型，该方法采用一些亮度、颜色等图像底层特征，通过“中心-周边差”的检测方法预测显著点，产生的显著图较模糊。
2)图模型，以Itti模型为基础，通过计算不同特征图的马尔科夫链平衡分布获取显著区域位置，ROC面积值较Itti算法有显著提高。
3)简单易实现的检测算法，如“ACHANTA R,ESTRADA F,WILS P,et al.Salientregion Detection and Segmentation[J].Computer Vision Systems,2008:66-75.”一中使用颜色与亮度低级特征计算图像子区域像素与其邻域的像素平均特征向量之间的距离来取得显著值，此后“RAHTU E,KANNALA J,SALO M,et al.Segmenting Salient Objectsfrom Images and Videos[C]//European Conference on Computer Vision.SpringerBerlin Heidelberg,2010:366-379.一文提出基于局部特征对比度的显著性检测，通过学习局部信息评估显著性，得到清晰的显著图。
然而以上方法存在以下两个主要问题，1)这些人工设计特征不能捕捉到显著目标的深层信息；2)在显著区域边缘产生较高的显著值，没有均匀地突出显著物体。
近年来，一些研究者已经提出了基于深度学习的显著性检测方法。如“WEN S,HANJ,ZHANG D,et al.Saliency Detection Based on Feature Learning using deepBoltzmann Machines[C]//Multimedia and Expo(ICME),2014IEEE InternationalConference on.IEEE,2014:1-6.”一文中给出了一种无监督特征学习的检测方法，利用双层深度玻尔兹曼网络解决了以往手工特征提取不足的问题。为有效刻画图像数据更丰富的特征信息，利用卷积神经网络(Convolutional neural networks,CNN)在特征学习上的优势，如“LI G,YU Y.Visual Saliency Based on Multiscale Deep Features[C]//Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2015:5455-5463.”，该方法通过CNN三个不同尺度上进行特征学习，并采用空间一致性、聚合不同级别特征计算显著图，进一步提升模型性能。
以上这些方法通过深度学习自动学习图像特征，取得了一定的显著性检测效果，但仍存在以下问题：1)显著性检测特征学习不足，准确性依然不高；2)显著区域聚焦点不清晰，对复杂场景的抗噪能力较差。
发明内容
本发明的目的在于克服上述现有技术的缺点，提供了一种基于全局-局部特征融合的显著性检测方法，该方法检测准确度较高，并且显著区域聚焦点清晰，并且对复杂场景的抗噪能力较强。
为达到上述目的，本发明所述的基于全局-局部特征融合的显著性检测方法包括以下步骤：
1)输入待处理图像数据集I＝{Itrain,Ival,Itest}，其中，Itrain为待处理图像数据训练集，Ival为待处理图像数据的验证集，Itest为待处理图像数据的测试集，再对待处理图像数据集I进行预处理；
2)利用CNN模型构建全局网络结构；
3)利用VGG模型构建STN网络，再通过STN网络及CNN模型构建局部网络结构；
4)对步骤3)得到的全局网络结构及步骤2)得到的局部网络结构进行训练及优化；
5)融合步骤4)中优化后的全部网络结构及步骤4)中优化后的局部网络结构，得融合后的网络结构，再将待处理图像数据集I输入到融合后的网络结构中，得显著图，然后检测显著图的显著性，完成全局-局部特征融合的显著性检测。
步骤1)中对待处理图像数据集进行预处理的具体操作为：
1a)将待处理图像数据集I的大小全部缩放为96*96；
1b)计算待处理图像数据训练集Itrain的平均图像值，再将待处理图像数据集I中所有图像数据均减去待处理图像数据训练集Itrain的平均图像值；
1c)对步骤2)得到的结果进行归一化处理，完成待处理图像数据集I的预处理。
步骤2)中，所述全局网络结构包括输入层、卷积层、池化层、全连接层及输出层，其中，全局网络结构的学习图像特征值为：
其中，f为激活函数，t为层数，kij为卷积核，*表示2维卷积操作，bj为偏置，Nj表示输入特征图的集合，对式(1)得到的学习图像特征值进行采样，得学习图像特征值样本为：
其中，β为权重，down(·)表示下采样函数。
步骤3)的具体操作为：
3a)获取待处理图像数据集的特征图U，然后通过待处理图像数据集的特征图U对VGG模型进行优化，得空间变换参数θ；
3b)将空间变换参数θ通过仿射变换进行逆向坐标映射，得采样网格Tθ；
3c)将待处理图像数据集的特征图U输入到步骤3b)得到的采样网格Tθ中，再将采样网格Tθ输出的结果通过双线性插值技术进行处理，得输出变换图像
3e)分别计算步骤3d)得到的输出变换图像对待处理图像数据集的特征图U及空间变换参数θ的导数，再根据计算的结果构建STN网络，然后将STN网络添加到2层的CNN模型中，得局部网络结构。
步骤3b)中空间变换参数θ通过仿射变换进行逆向坐标映射，其中，仿射变换的原理为：
输出变换图像的表达式为：
在梯度下降过程中计算输出变换图像对空间变换参数θ的导数的过程为：先求解其中，
再求解然后将及依据变换公式进行变换得及再根据及得
步骤4)的具体操作为：
4a)采用Adam法训练全局网络结构及局部网络结构；
4b)通过L2正则化对全局网络结构中的网络参数及局部网络结构中的网络参数进行约束；
4c)以均方误差作为网络损失函数；
4d)在局部网络结构内VGG模型中的第一个全连接层后接入dropout层；
4e)计算全局网络结构及局部网络结构的错误率，当全局网络结构及局部网络结构的错误率小于等于预设值时，得优化后的全局网络结构及局部网络结构；当全局网络结构及局部网络结构的错误率大于预设值时，则转至步骤4a)。
步骤5)的具体操作为：将全局网络结构与局部网络结构相连接，再在连接得到的网络结构中添加一层maxou激活函数，然后将待处理图像数据集输入到连接得到的网络结构中，得显著图，再检测显著图的显著性，完成全局-局部特征融合的显著性检测。
本发明具有以下有益效果：
本发明所述的基于全局-局部特征融合的显著性检测方法在具体操作时，通过STN网络及CNN模型构建局部网络结构，从而增强网络结构学习局部特征的能力，以提高显著区域聚焦点的清晰度，然后再将全部网络结构与局部网络结构训练及优化后进行融合，以增强对复杂场景的抗噪能力，然后再将待处理图像数据集I输入到融合后的网络结构中，得显著图，再对显著图进行显著性检测，全局-局部特征融合的显著性检测。经仿真实验，本发明的AUC值能够达到0.8939，同时生成的聚焦点明显的高质量显著图。
进一步，本发明采用Adam法训练全局网络结构及局部网络结构，模型的收敛速度较快，训练的效果较好。
附图说明
图1为本发明的模型框架图；
图2为去掉分类层的VGG结构；
图3为本发明进行显著性检测的结果图。
具体实施方式
下面结合附图对本发明做进一步详细描述：
本发明所述的基于全局-局部特征融合的显著性检测方法包括以下步骤：
1)输入待处理图像数据集I＝{Itrain,Ival,Itest}，其中，Itrain为待处理图像数据训练集，Ival为待处理图像数据的验证集，Itest为待处理图像数据的测试集，再对待处理图像数据集I进行预处理；
2)利用CNN模型构建全局网络结构；
3)利用VGG模型构建STN网络，再通过STN网络及CNN模型构建局部网络结构；
4)对步骤3)得到的全局网络结构及步骤2)得到的局部网络结构进行训练及优化；
5)融合步骤4)中优化后的全部网络结构及步骤4)中优化后的局部网络结构，得融合后的网络结构，再将待处理图像数据集I输入到融合后的网络结构中，得显著图，然后检测显著图的显著性，完成全局-局部特征融合的显著性检测。
步骤1)中对待处理图像数据集进行预处理的具体操作为：
1a)将待处理图像数据集I的大小全部缩放为96*96；
1b)计算待处理图像数据训练集Itrain的平均图像值，再将待处理图像数据集I中所有图像数据均减去待处理图像数据训练集Itrain的平均图像值；
1c)对步骤2)得到的结果进行归一化处理，完成待处理图像数据集I的预处理。
步骤2)中，所述全局网络结构包括输入层、卷积层、池化层、全连接层及输出层，其中，全局网络结构的学习图像特征值为：
其中，f为激活函数，t为层数，kij为卷积核，*表示2维卷积操作，bj为偏置，Nj表示输入特征图的集合，对式(1)得到的学习图像特征值进行采样，得学习图像特征值样本为：
其中，β为权重，down(·)表示下采样函数。
步骤3)的具体操作为：
3a)获取待处理图像数据集的特征图U，然后通过待处理图像数据集的特征图U对VGG模型进行优化，得空间变换参数θ；
3b)将空间变换参数θ通过仿射变换进行逆向坐标映射，得采样网格Tθ；
3c)将待处理图像数据集的特征图U输入到步骤3b)得到的采样网格Tθ中，再将采样网格Tθ输出的结果通过双线性插值技术进行处理，得输出变换图像
3e)分别计算步骤3d)得到的输出变换图像对待处理图像数据集的特征图U及空间变换参数θ的导数，再根据计算的结果构建STN网络，然后将STN网络添加到2层的CNN模型中，得局部网络结构。
步骤3b)中空间变换参数θ通过仿射变换进行逆向坐标映射，其中，仿射变换的原理为：
输出变换图像的表达式为：
在梯度下降过程中计算输出变换图像对空间变换参数θ的导数的过程为：先求解其中，
再求解然后将及依据变换公式进行变换得及再根据及得
步骤4)的具体操作为：
4a)采用Adam法训练全局网络结构及局部网络结构；
4b)通过L2正则化对全局网络结构中的网络参数及局部网络结构中的网络参数进行约束；
4c)以均方误差作为网络损失函数；
4d)在局部网络结构内VGG模型中的第一个全连接层后接入dropout层；
4e)计算全局网络结构及局部网络结构的错误率，当全局网络结构及局部网络结构的错误率小于等于预设值时，得优化后的全局网络结构及局部网络结构；当全局网络结构及局部网络结构的错误率大于预设值时，则转至步骤4a)。
步骤5)的具体操作为：将全局网络结构与局部网络结构相连接，再在连接得到的网络结构中添加一层maxou激活函数，然后将待处理图像数据集输入到连接得到的网络结构中，得显著图，再检测显著图的显著性，完成全局-局部特征融合的显著性检测。
图1中，Conv表示卷积层，Pool表示池化层，FC表示全连接层，池最大化(MaxPooling)进行空间降维。
全局网络结构中，在Shallow model中，网络连接关系为：Input->Conv1->Pool1->Conv2->Pool2->Conv3->Pool3->FC->全局显著图。Conv1有32个卷积核，每个卷积核大小5*5；Pool1中池化窗口大小为(2,2)，步长为2；Conv2使用64个卷积核，每个卷积核大小3*3；Pool2中的窗口大小为(3,3)；Conv3使用128个卷积核，每个卷积核大小3*3；Pool3中参数设置与Pool2相同；在每一个卷积层和全连接层的输出过程当中，都将经过ReLU非线性化处理。
在构建局部网络中，在STN model中，网络连接关系为：Input->VGG->FC->STN->Conv1->Pool1->Conv2->Pool2->FC->局部显著图；其中，Conv1有64个卷积核，Conv2有128个卷积核，卷积核大小均为3*3，Pooling层中步长均为2，窗口大小为(3,3)。
仿真实验
采用的对比方法包括LCYLab；Baseline:Itti；Rare 2012Improve d；Baseline:GBVS；Xidian；Baseline:BMS及WHU IIP。
先在iSUN数据集上进行训练，然后在SALICON数据集上进行测试，以验证本发明对不同图像的检测视觉效果，数据集详情见表1。
表1
实验一，定量分析比较检测实验值，测试本发明的整体检测性能。仿真实验结果表明：本发明的检测值与真实显著值的相似度是最高的，且AUC值在两个数据集上都是最高的，表明本发明具有更好的显著性检测性能。
实验二，定性分析本发明的可视化效果，仿真实验结果表明：本发明提供更高的空间分辨率，显著区域的聚焦点突显。
实验结果表明，整个模型结构表现出较小的偏差。此外，不论在场景复杂(草地)，还是较大显著目标区域(木屋)或较小(足球场)，本发明都能够均匀突出显著区域，也再次验证了本发明的优越性能。因此，从定量化评价与视觉效果都一致表明本发明的预测结果要优于其他算法，表2为为本发明与现有方法在iSUN数据集上的对比实验结果；表3为本发明与现有方法在SALICON数据集上的对比实验结果；
表2
表3
以上实施方式仅用于说明本发明，而并非对本发明的限制。尽管为说明目的公开了本发明的相关实施例和附图，但是本领域的技术人员可以理解；在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化、修改都是可能的。因此，所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定，而不应局限于最佳实施例和附图所公开的内容。

Claims (9)

1.一种基于全局-局部特征融合的显著性检测方法，其特征在于，包括以下步骤：
1)输入待处理图像数据集I＝{Itrain,Ival,Itest}，其中，Itrain为待处理图像数据训练集，Ival为待处理图像数据的验证集，Itest为待处理图像数据的测试集，再对待处理图像数据集I进行预处理；
2)利用CNN模型构建全局网络结构；
3)利用VGG模型构建STN网络，再通过STN网络及CNN模型构建局部网络结构；
4)对步骤3)得到的全局网络结构及步骤2)得到的局部网络结构进行训练及优化；
5)融合步骤4)中优化后的全部网络结构及步骤4)中优化后的局部网络结构，得融合后的网络结构，再将待处理图像数据集I输入到融合后的网络结构中，得显著图，然后检测显著图的显著性，完成全局-局部特征融合的显著性检测。
2.根据权利要求1所述的基于全局-局部特征融合的显著性检测方法，其特征在于，步骤1)中对待处理图像数据集进行预处理的具体操作为：
1a)将待处理图像数据集I的大小全部缩放为96*96；
1b)计算待处理图像数据训练集Itrain的平均图像值，再将待处理图像数据集I中所有图像数据均减去待处理图像数据训练集Itrain的平均图像值；
1c)对步骤2)得到的结果进行归一化处理，完成待处理图像数据集I的预处理。
3.根据权利要求1所述的基于全局-局部特征融合的显著性检测方法，其特征在于，步骤2)中，所述全局网络结构包括输入层、卷积层、池化层、全连接层及输出层，其中，全局网络结构的学习图像特征值为：
<mrow> <msubsup> <mi>z</mi> <mi>j</mi> <mi>t</mi> </msubsup> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>&amp;Element;</mo> <msub> <mi>N</mi> <mi>j</mi> </msub> </mrow> </munder> <msubsup> <mi>k</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mi>t</mi> </msubsup> <mo>*</mo> <msubsup> <mi>z</mi> <mi>i</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>+</mo> <msubsup> <mi>b</mi> <mi>j</mi> <mi>t</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中，f为激活函数，t为层数，kij为卷积核，*表示2维卷积操作，bj为偏置，Nj表示输入特征图的集合，对式(1)得到的学习图像特征值进行采样，得学习图像特征值样本为：
<mrow> <msubsup> <mi>z</mi> <mrow> <mi>j</mi> <mi>y</mi> </mrow> <mi>t</mi> </msubsup> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <msubsup> <mi>&amp;beta;</mi> <mi>j</mi> <mi>t</mi> </msubsup> <mi>d</mi> <mi>o</mi> <mi>w</mi> <mi>n</mi> <mo>(</mo> <msubsup> <mi>z</mi> <mi>j</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>)</mo> <mo>+</mo> <msubsup> <mi>b</mi> <mi>j</mi> <mi>t</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
其中，β为权重，down(·)表示下采样函数。
4.根据权利要求1所述的基于全局-局部特征融合的显著性检测方法，其特征在于，步骤3)的具体操作为：
3a)获取待处理图像数据集的特征图U，然后通过待处理图像数据集的特征图U对VGG模型进行优化，得空间变换参数θ；
3b)将空间变换参数θ通过仿射变换进行逆向坐标映射，得采样网格Tθ；
3c)将待处理图像数据集的特征图U输入到步骤3b)得到的采样网格Tθ中，再将采样网格Tθ输出的结果通过双线性插值技术进行处理，得输出变换图像
3e)分别计算步骤3d)得到的输出变换图像对待处理图像数据集的特征图U及空间变换参数θ的导数，再根据计算的结果构建STN网络，然后将STN网络添加到2层的CNN模型中，得局部网络结构。
5.根据权利要求4所述的基于全局-局部特征融合的显著性检测方法，其特征在于，步骤3b)中空间变换参数θ通过仿射变换进行逆向坐标映射，其中，仿射变换的原理为：
<mrow> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <msubsup> <mi>x</mi> <mi>i</mi> <mi>s</mi> </msubsup> </mtd> </mtr> <mtr> <mtd> <msubsup> <mi>y</mi> <mi>i</mi> <mi>s</mi> </msubsup> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <msub> <mi>T</mi> <mi>&amp;theta;</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>G</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>A</mi> <mi>&amp;theta;</mi> </msub> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <msubsup> <mi>x</mi> <mi>i</mi> <mi>t</mi> </msubsup> </mtd> </mtr> <mtr> <mtd> <msubsup> <mi>y</mi> <mi>i</mi> <mi>t</mi> </msubsup> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <msub> <mi>&amp;theta;</mi> <mn>11</mn> </msub> </mtd> <mtd> <msub> <mi>&amp;theta;</mi> <mn>12</mn> </msub> </mtd> <mtd> <msub> <mi>&amp;theta;</mi> <mn>13</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>&amp;theta;</mi> <mn>21</mn> </msub> </mtd> <mtd> <msub> <mi>&amp;theta;</mi> <mn>22</mn> </msub> </mtd> <mtd> <msub> <mi>&amp;theta;</mi> <mn>23</mn> </msub> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <msubsup> <mi>x</mi> <mi>i</mi> <mi>t</mi> </msubsup> </mtd> </mtr> <mtr> <mtd> <msubsup> <mi>y</mi> <mi>i</mi> <mi>t</mi> </msubsup> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
6.根据权利要求4所述的基于全局-局部特征融合的显著性检测方法，其特征在于，输出变换图像的表达式为：
<mrow> <msubsup> <mi>V</mi> <mi>i</mi> <mi>c</mi> </msubsup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mi>n</mi> <mi>H</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mi>m</mi> <mi>W</mi> </munderover> <msubsup> <mi>U</mi> <mrow> <mi>n</mi> <mi>m</mi> </mrow> <mi>c</mi> </msubsup> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>,</mo> <mo>|</mo> <mrow> <msubsup> <mi>x</mi> <mi>i</mi> <mi>s</mi> </msubsup> <mo>-</mo> <mi>m</mi> </mrow> <mo>|</mo> <mo>)</mo> </mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>,</mo> <mo>|</mo> <mrow> <msubsup> <mi>y</mi> <mi>i</mi> <mi>s</mi> </msubsup> <mo>-</mo> <mi>n</mi> </mrow> <mo>|</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
7.根据权利要求4所述的基于全局-局部特征融合的显著性检测方法，其特征在于，在梯度下降过程中计算输出变换图像Vi c对空间变换参数θ的导数的过程为：先求解其中，
<mrow> <mfrac> <mrow> <mo>&amp;part;</mo> <msubsup> <mi>V</mi> <mi>i</mi> <mi>c</mi> </msubsup> </mrow> <mrow> <mo>&amp;part;</mo> <msubsup> <mi>U</mi> <mrow> <mi>n</mi> <mi>m</mi> </mrow> <mi>c</mi> </msubsup> </mrow> </mfrac> <mo>=</mo> <munderover> <mi>&amp;Sigma;</mi> <mi>n</mi> <mi>H</mi> </munderover> <munderover> <mi>&amp;Sigma;</mi> <mi>m</mi> <mi>W</mi> </munderover> <mi>max</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>,</mo> <mo>|</mo> <mrow> <msubsup> <mi>x</mi> <mi>i</mi> <mi>s</mi> </msubsup> <mo>-</mo> <mi>m</mi> </mrow> <mo>|</mo> <mo>)</mo> </mrow> <mi>max</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>,</mo> <mo>|</mo> <mrow> <msubsup> <mi>y</mi> <mi>i</mi> <mi>s</mi> </msubsup> <mo>-</mo> <mi>n</mi> </mrow> <mo>|</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <mfrac> <mrow> <mo>&amp;part;</mo> <msubsup> <mi>V</mi> <mi>i</mi> <mi>c</mi> </msubsup> </mrow> <mrow> <mo>&amp;part;</mo> <msubsup> <mi>y</mi> <mi>i</mi> <mi>s</mi> </msubsup> </mrow> </mfrac> <mo>=</mo> <munderover> <mi>&amp;Sigma;</mi> <mi>n</mi> <mi>H</mi> </munderover> <munderover> <mi>&amp;Sigma;</mi> <mi>m</mi> <mi>W</mi> </munderover> <msubsup> <mi>U</mi> <mrow> <mi>n</mi> <mi>m</mi> </mrow> <mi>c</mi> </msubsup> <mi>max</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>,</mo> <mo>|</mo> <mrow> <msubsup> <mi>x</mi> <mi>i</mi> <mi>s</mi> </msubsup> <mo>-</mo> <mi>m</mi> </mrow> <mo>|</mo> <mo>)</mo> </mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mrow> <mo>|</mo> <mrow> <mi>n</mi> <mo>-</mo> <msubsup> <mi>y</mi> <mi>i</mi> <mi>s</mi> </msubsup> </mrow> <mo>|</mo> </mrow> <mo>&amp;GreaterEqual;</mo> <mn>1</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>&amp;GreaterEqual;</mo> <msubsup> <mi>y</mi> <mi>i</mi> <mi>s</mi> </msubsup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>&lt;</mo> <msubsup> <mi>y</mi> <mi>i</mi> <mi>s</mi> </msubsup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
再求解然后将及依据变换公式进行变换得及再根据及得
8.根据权利要求1所述的基于全局-局部特征融合的显著性检测方法，其特征在于，步骤4)的具体操作为：
4a)采用Adam法训练全局网络结构及局部网络结构；
4b)通过L2正则化对全局网络结构中的网络参数及局部网络结构中的网络参数进行约束；
4c)以均方误差作为网络损失函数；
4d)在局部网络结构内VGG模型中的第一个全连接层后接入dropout层；
4e)计算全局网络结构及局部网络结构的错误率，当全局网络结构及局部网络结构的错误率小于等于预设值时，得优化后的全局网络结构及局部网络结构；当全局网络结构及局部网络结构的错误率大于预设值时，则转至步骤4a)。
9.根据权利要求1所述的基于全局-局部特征融合的显著性检测方法，其特征在于，步骤5)的具体操作为：将全局网络结构与局部网络结构相连接，再在连接得到的网络结构中添加一层maxou激活函数，然后将待处理图像数据集输入到连接得到的网络结构中，得显著图，再检测显著图的显著性，完成全局-局部特征融合的显著性检测。
CN201710518131.2A 2017-06-29 2017-06-29 一种基于全局‑局部特征融合的显著性检测方法 Pending CN107292875A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710518131.2A CN107292875A (zh) 2017-06-29 2017-06-29 一种基于全局‑局部特征融合的显著性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710518131.2A CN107292875A (zh) 2017-06-29 2017-06-29 一种基于全局‑局部特征融合的显著性检测方法

Publications (1)

Publication Number Publication Date
CN107292875A true CN107292875A (zh) 2017-10-24

Family

ID=60099620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710518131.2A Pending CN107292875A (zh) 2017-06-29 2017-06-29 一种基于全局‑局部特征融合的显著性检测方法

Country Status (1)

Country Link
CN (1) CN107292875A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833220A (zh) * 2017-11-28 2018-03-23 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN107886533A (zh) * 2017-10-26 2018-04-06 深圳大学 立体图像的视觉显著性检测方法、装置、设备及存储介质
CN108171649A (zh) * 2017-12-08 2018-06-15 广东工业大学 一种保持焦点信息的图像风格化方法
CN108960143A (zh) * 2018-07-04 2018-12-07 北京航空航天大学 一种高分辨率可见光遥感图像中的舰船检测深度学习方法
CN108985217A (zh) * 2018-07-10 2018-12-11 常州大学 一种基于深度空间网络的交通标志识别方法及***
CN109086753A (zh) * 2018-10-08 2018-12-25 新疆大学 基于双通道卷积神经网络的交通标志识别方法、装置
CN109886933A (zh) * 2019-01-25 2019-06-14 腾讯科技（深圳）有限公司 一种医学图像识别方法、装置和存储介质
CN109977892A (zh) * 2019-03-31 2019-07-05 西安电子科技大学 基于局部显著性特征和cnn-svm的舰船检测方法
CN110083729A (zh) * 2019-04-26 2019-08-02 北京金山数字娱乐科技有限公司 一种图像搜索的方法及***
CN110084250A (zh) * 2019-04-26 2019-08-02 北京金山数字娱乐科技有限公司 一种图像描述的方法及***
CN110164550A (zh) * 2019-05-22 2019-08-23 杭州电子科技大学 一种基于多视角协同关系的先天性心脏病辅助诊断方法
CN110929735A (zh) * 2019-10-17 2020-03-27 杭州电子科技大学 一种基于多尺度特征注意机制的快速显著性检测方法
CN111709446A (zh) * 2020-05-14 2020-09-25 天津大学 基于改进的密集连接网络的x线胸片分类装置
CN112669941A (zh) * 2020-12-28 2021-04-16 上海联影医疗科技股份有限公司 医学图像的处理方法、装置、计算机设备和存储介质
CN115457259A (zh) * 2022-09-14 2022-12-09 华洋通信科技股份有限公司 一种基于多通道激活优化的图像快速显著性检测方法
CN115661694A (zh) * 2022-11-08 2023-01-31 国网湖北省电力有限公司经济技术研究院 一种聚焦关键特征的轻量型主变压器智能检测方法、***、存储介质及电子设备
CN115661486A (zh) * 2022-12-29 2023-01-31 有米科技股份有限公司 图像特征的智能提取方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701508A (zh) * 2016-01-12 2016-06-22 西安交通大学 基于多级卷积神经网络的全局-局部优化模型及显著性检测算法
CN106204467A (zh) * 2016-06-27 2016-12-07 深圳市未来媒体技术研究院 一种基于级联残差神经网络的图像去噪方法
CN106447658A (zh) * 2016-09-26 2017-02-22 西北工业大学 基于全局和局部卷积网络的显著性目标检测方法
CN106650721A (zh) * 2016-12-28 2017-05-10 吴晓军 一种基于卷积神经网络的工业字符识别方法
CN106845471A (zh) * 2017-02-20 2017-06-13 深圳市唯特视科技有限公司 一种基于生成对抗网络的视觉显著性预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701508A (zh) * 2016-01-12 2016-06-22 西安交通大学 基于多级卷积神经网络的全局-局部优化模型及显著性检测算法
CN106204467A (zh) * 2016-06-27 2016-12-07 深圳市未来媒体技术研究院 一种基于级联残差神经网络的图像去噪方法
CN106447658A (zh) * 2016-09-26 2017-02-22 西北工业大学 基于全局和局部卷积网络的显著性目标检测方法
CN106650721A (zh) * 2016-12-28 2017-05-10 吴晓军 一种基于卷积神经网络的工业字符识别方法
CN106845471A (zh) * 2017-02-20 2017-06-13 深圳市唯特视科技有限公司 一种基于生成对抗网络的视觉显著性预测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JASON KUEN等: "Recurrent Attentional Networks for Saliency Detection", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
MAXJADERBERG等: "Spatial Transformer Networks", 《ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS 28 (NIPS 2015)》 *
SRINIVAS S S KRUTHIVENTI 等: "Saliency Unified: A Deep Architecture for simultaneous Eye Fixation Prediction and Salient Object Segmentation", 《PROCEEDINGS OF IEEE CONFERENCE ON COMPUTER VISION AND PATTERN ＲECOGNITION》 *
张丽莉: "基于深度神经网络的局部和全局联合的图像显著性检测", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
柯洪昌 等: "图像序列的显著性目标区域检测方法", 《中国光学》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886533A (zh) * 2017-10-26 2018-04-06 深圳大学 立体图像的视觉显著性检测方法、装置、设备及存储介质
CN107833220A (zh) * 2017-11-28 2018-03-23 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN107833220B (zh) * 2017-11-28 2021-06-11 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN108171649A (zh) * 2017-12-08 2018-06-15 广东工业大学 一种保持焦点信息的图像风格化方法
CN108171649B (zh) * 2017-12-08 2021-08-17 广东工业大学 一种保持焦点信息的图像风格化方法
CN108960143A (zh) * 2018-07-04 2018-12-07 北京航空航天大学 一种高分辨率可见光遥感图像中的舰船检测深度学习方法
CN108985217A (zh) * 2018-07-10 2018-12-11 常州大学 一种基于深度空间网络的交通标志识别方法及***
CN109086753A (zh) * 2018-10-08 2018-12-25 新疆大学 基于双通道卷积神经网络的交通标志识别方法、装置
CN109086753B (zh) * 2018-10-08 2022-05-10 新疆大学 基于双通道卷积神经网络的交通标志识别方法、装置
CN109886933B (zh) * 2019-01-25 2021-11-02 腾讯科技（深圳）有限公司 一种医学图像识别方法、装置和存储介质
CN109886933A (zh) * 2019-01-25 2019-06-14 腾讯科技（深圳）有限公司 一种医学图像识别方法、装置和存储介质
CN109977892B (zh) * 2019-03-31 2020-11-10 西安电子科技大学 基于局部显著性特征和cnn-svm的舰船检测方法
CN109977892A (zh) * 2019-03-31 2019-07-05 西安电子科技大学 基于局部显著性特征和cnn-svm的舰船检测方法
CN110083729B (zh) * 2019-04-26 2023-10-27 北京金山数字娱乐科技有限公司 一种图像搜索的方法及***
CN110083729A (zh) * 2019-04-26 2019-08-02 北京金山数字娱乐科技有限公司 一种图像搜索的方法及***
CN110084250A (zh) * 2019-04-26 2019-08-02 北京金山数字娱乐科技有限公司 一种图像描述的方法及***
CN110084250B (zh) * 2019-04-26 2024-03-12 北京金山数字娱乐科技有限公司 一种图像描述的方法及***
CN110164550B (zh) * 2019-05-22 2021-07-09 杭州电子科技大学 一种基于多视角协同关系的先天性心脏病辅助诊断方法
CN110164550A (zh) * 2019-05-22 2019-08-23 杭州电子科技大学 一种基于多视角协同关系的先天性心脏病辅助诊断方法
CN110929735A (zh) * 2019-10-17 2020-03-27 杭州电子科技大学 一种基于多尺度特征注意机制的快速显著性检测方法
CN110929735B (zh) * 2019-10-17 2022-04-01 杭州电子科技大学 一种基于多尺度特征注意机制的快速显著性检测方法
CN111709446A (zh) * 2020-05-14 2020-09-25 天津大学 基于改进的密集连接网络的x线胸片分类装置
CN112669941A (zh) * 2020-12-28 2021-04-16 上海联影医疗科技股份有限公司 医学图像的处理方法、装置、计算机设备和存储介质
CN112669941B (zh) * 2020-12-28 2023-05-26 上海联影医疗科技股份有限公司 医学图像的处理方法、装置、计算机设备和存储介质
CN115457259B (zh) * 2022-09-14 2023-10-31 华洋通信科技股份有限公司 一种基于多通道激活优化的图像快速显著性检测方法
CN115457259A (zh) * 2022-09-14 2022-12-09 华洋通信科技股份有限公司 一种基于多通道激活优化的图像快速显著性检测方法
CN115661694A (zh) * 2022-11-08 2023-01-31 国网湖北省电力有限公司经济技术研究院 一种聚焦关键特征的轻量型主变压器智能检测方法、***、存储介质及电子设备
CN115661694B (zh) * 2022-11-08 2024-05-28 国网湖北省电力有限公司经济技术研究院 一种聚焦关键特征的轻量型主变压器智能检测方法、***、存储介质及电子设备
CN115661486A (zh) * 2022-12-29 2023-01-31 有米科技股份有限公司 图像特征的智能提取方法及装置
CN115661486B (zh) * 2022-12-29 2023-04-07 有米科技股份有限公司 图像特征的智能提取方法及装置

Similar Documents

Publication Publication Date Title
CN107292875A (zh) 一种基于全局‑局部特征融合的显著性检测方法
CN109816725B (zh) 一种基于深度学习的单目相机物***姿估计方法及装置
CN109977918B (zh) 一种基于无监督域适应的目标检测定位优化方法
CN109829893B (zh) 一种基于注意力机制的缺陷目标检测方法
WO2021139069A1 (zh) 自适应注意力指导机制的一般性目标检测方法
CN109344736B (zh) 一种基于联合学习的静态图像人群计数方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN114202672A (zh) 一种基于注意力机制的小目标检测方法
CN110580699A (zh) 基于改进Faster RCNN算法的病理图像细胞核检测方法
CN108171112A (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN110675370A (zh) 一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法
CN109285139A (zh) 一种基于深度学习的x射线成像焊缝检测方法
CN109902806A (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
CN106682569A (zh) 一种基于卷积神经网络的快速交通标识牌识别方法
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN111898432B (zh) 一种基于改进YOLOv3算法的行人检测***及方法
CN112488025B (zh) 基于多模态特征融合的双时相遥感影像语义变化检测方法
CN106408030A (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN108230330B (zh) 一种快速的高速公路路面分割和摄像机定位的方法
CN113177456B (zh) 基于单阶段全卷积网络和多特征融合的遥感目标检测方法
CN113283409A (zh) 基于EfficientDet和Transformer的航空图像中的飞机检测方法
CN113159215A (zh) 一种基于Faster Rcnn的小目标检测识别方法
CN112507904A (zh) 一种基于多尺度特征的教室人体姿态实时检测方法
Khellal et al. Pedestrian classification and detection in far infrared images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171024

RJ01 Rejection of invention patent application after publication