CN107146219A - 一种基于流形正则化支持向量机的图像显著性检测方法 - Google Patents
一种基于流形正则化支持向量机的图像显著性检测方法 Download PDFInfo
- Publication number
- CN107146219A CN107146219A CN201710238186.8A CN201710238186A CN107146219A CN 107146219 A CN107146219 A CN 107146219A CN 201710238186 A CN201710238186 A CN 201710238186A CN 107146219 A CN107146219 A CN 107146219A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- pixel
- super
- msup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/168—Segmentation; Edge detection involving transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于流形正则化支持向量机的图像显著性检测方法,属于计算机视觉技术领域。本发明提供一种基于半监督的流形正则化支持向量机的图像显著性检测方法,无需人工标记的真值,只需少量的训练样本,而且分别从图像全局和局部的角度进行显著目标检测。本发明的方法采用少量伪标记样本进行训练,减少了人工工作量和模型训练成本;分别从图像全局和局部的角度构建流形正则矩阵,保证了检测出的显著目标的突出性和完整性;联合优化方法进一步优化了支持向量机模型预测的显著性检测结果,使得检测更加准确,目标区域更加高亮平滑;在一些特殊的图像中,比如显著目标尺寸过大或过小、多目标的图像中,本发明的方法也可以较好地检测出来。
Description
技术领域
本发明属于计算机视觉技术领域,涉及图像信息处理的技术领域,特别涉及到一种基于流形正则化支持向量机模型的图像显著性检测方法,适用于静态图像的显著目标检测。
背景技术
随着计算机技术的发展及数码电子产品的普及,图像资源越来越丰富,满足了人们对图像信息的大量采集与应用,但信息繁杂冗余的问题也随之而来。受生物视觉***高效的视觉信息处理机制原理启发,计算机视觉领域的图像显著性检测应运而生。图像场景中具有显著性的事物基本上富含了本幅图像的主要信息,越来越多的研究人员开始探寻在大量图像中根据图像特征(比如,颜色、空间位置、纹理等信息)提取有代表性信息从而间接有效地代表原有图像,进而较快速高效准确地检测出图像或场景中的显著性物体。图像显著性检测作为预处理部分,可以应用于计算机图像检索、图像分割、自适应压缩、目标定位、感兴趣区域检测、图像匹配等,有很大的发展前景。
尽管图像显著性检测领域已经取得了很大的研究成果,但仍然有很多问题没有解决,比如图像中含有多个显著目标、目标尺度过大或过小问题,有些算法的检测结果还不太准确。除此之外,有的显著性检测算法采用监督的方式,需要大量的人工标记的真值训练样本来训练检测模型,成本比较高;有的显著性检测算法仅从图像局部或者图像全局的角度进行显著性检测,导致检测出的显著目标不完整或者目标不够突出。
发明内容
本发明所要解决的技术问题是:弥补上述现有算法的不足,提供一种基于半监督的流形正则化支持向量机的图像显著性检测方法,无需人工标记的真值,只需少量的训练样本,而且分别从图像全局和局部的角度进行显著目标检测。
本发明的技术方案:
一种基于流形正则化支持向量机的图像显著性检测方法,步骤如下:
A、根据先验知识计算得到初始的显著性图
A1、将给定图像分割成100~300个超像素,提取所有超像素的坐标、颜色、文理特征,得到每个超像素的75维特征向量;
A2、采用随机森林方法,学习图像中所有超像素的稠密关联矩阵A;
A3、采用测地目标预测方法,产生多个给定图像的目标预测二值图,基于稠密关联矩阵A,分别根据边界先验和平滑先验计算每个目标预测二值图中白色部分对应的图像区域的背景分值和目标分值计算公式如下:
式(1)中,B表示位于图像边界的超像素的集合,Ri表示位于目标预测二值图i内图像的超像素的集合,u和v分别表示两个超像素;
A4、将所有的目标预测二值图的背景分值和目标分值分别进行归一化,按照公式(2)计算每个像素的显著性值;
式(2)中,N表示目标预测二值图的数目,i表示第i个目标预测二值图,如果像素p∈Ri,δp=1,否则δp=0;将所有的像素的显著性值都进行归一化,得到初始的显著性图Sin,如图2(b)所示。
B、根据初始显著性图选择伪标记样本和未标记样本
B1、将步骤A1得到的超像素集合为S=L∪U,L表示标记样本,包含标记的前景样本和背景样本,U表示图像中未标记的样本;计算初始显著性图中所有超像素的显著性值的均值,将显著性值大于1.7倍显著性均值的超像素标记为前景样本,标签yi设置为1;将显著性值低于0.05的超像素标记为背景样本,标签yi设置为-1;将图像中显著性值介于上面两者之间的超像素作为未标记样本U。
C、构建局部流形正则项
C1、提取图像中超像素的RGB、CIELab、坐标特征,构建无向闭环图模型,并将每个超像素与和它位置相近的15~20个超像素连接。
C2、两超像素之间相似度值的计算公式如下:
式(3)中,xi和xj分别表示超像素i和超像素j的特征向量,σ是一个常数,它控制了权重的强度。则图模型的邻接矩阵可以表示为W=[wij]i,j=1,...,n,n表示超像素集合S中超像素的数目,超像素i的度di可以通过计算得到。将未归一化的拉普拉斯矩阵定义为局部流形正则矩阵,即:
RL=D-W (4)
式(4)中,D=diag{di,...,dn}为图模型的度矩阵。那么,局部流形正则项可以写成如下的形式:
ΩL=fTRLf=wTKRLKw (5)
式(5)中,K为RBF核矩阵,w为要学习的参数。
D、构建全局流形正则项
D1、对于一幅图像中超像素集合S中的每个超像素i,在特征空间(包含超像素的颜色特征和坐标特征)选取与之最邻近的15~20个邻居超像素构建相应的局部流形正则矩阵Gi。
D2、全局的流形正则项ΩG可以按照公式(6)构建得到。
式(6)中,fi表示邻居超像素集合Ni中15~20个超像素的显著性预测值f组成的向量。Δi表示一个指示矩阵,它的第l(i)列元素为1,其余列的元素均为0。l(i)表示超像素i在它的邻居超像素集合Ni中的索引。Ki表示定义在邻居超像素集合Ni上的一个核矩阵,描述了邻居超像素之间的相似程度,可以根据公式(3)计算得到,但σ在邻居超像素集合Ni上是自适应的,而非常数。为Ki的伪逆矩阵。按照{fi|i∈S}在f中的索引将{Gi|i∈S}重新进行整理排列,便得到了全局流形正则矩阵RG。则全局正则项为:
ΩG=fTRGf=wTKRGKw (7)
E、训练局部和全局流形正则化支持向量机模型,预测每个超像素的显著性值
E1、流形正则化支持向量机模型表示成如下公式:
式(8)中,γ1为解边界的权重,γ2为流形正则项的权重,ξi为超像素i的松弛变量,Ω为流形正则项。
E2、将Ω=ΩL和Ω=ΩG分别代入公式(8)中,训练两个流形正则化支持向量机模型,并预测超像素i的显著性值SL(i)和SG(i)。
F、构造联合优化模型,从多尺度角度融合步骤E2得到的两个显著性检测结果,得到最终的显著性检测结果。
F1、将给定图像进行多尺度分割,V=S∪S'包含了3~5个不同尺度下的超像素集合,根据公式(9)计算
xi和xj分别表示超像素i和超像素j的特征向量,σ是一个常数,它控制了权重的强度。则多尺度超像素间的关联矩阵为|V|表示位于集合V内的超像素的个数,超像素i的度可以通过计算得到。多尺度图模型的拉普拉斯矩阵为:
式(10)中,为多尺度图模型的度矩阵。
F2、联合优化模型可以表示成如下的形式:
式(11)中,和分别表示超像素i属于前景和背景的概率,为关联矩阵中第i行第j列的元素,表示了超像素i和超像素j之间的相似度。
F3、联合优化模型的闭合解为:
式(12)中,I是一个|V|维的全1列向量。若超像素i属于集合S',则若超像素i属于S,则若超像素i属于集合S',则若超像素i属于S,则根据公式(12),集合V中所有尺度的超像素的显著性值便可计算出来。
F4、根据公式(13)平均所有尺度的显著性图,计算得到图像中每个像素的显著性值:
式(13)中,p表示一个像素,m表示某一尺度,Sm表示在尺度m下得到的图像显著性图,S表示融合多尺度下的显著性图的结果。这样,最终的图像显著性检测结果便得到了,如图2(c)所示。
本发明的有益效果:
(1)采用少量伪标记样本进行训练,减少了人工工作量和模型训练成本;
(2)分别从图像全局和局部的角度构建流形正则矩阵,保证了检测出的显著目标的突出性和完整性;
(3)联合优化方法进一步优化了支持向量机模型预测的显著性检测结果,使得检测更加准确,目标区域更加高亮平滑;
(4)在一些特殊的图像中,比如显著目标尺寸过大或过小、多目标的图像中,本发明的方法也可以较好地检测出来。
附图说明
图1为本发明方法的流程示意图。
图2为本发明方法即利用流形正则化支持向量机方法检测的结果。
具体实施方式
以下结合附图和技术方案,进一步说明本发明的具体实施方式。
一种基于流形正则化支持向量机的图像显著性检测方法,步骤如下:
A、根据先验知识计算得到初始的显著性图
A1、将给定的图像分割成100~300个超像素,提取所有超像素的坐标、颜色、文理特征,得到每个超像素的75维特征向量;
A2、采用随机森林方法,学习图像中所有超像素的稠密关联矩阵A;
A3、采用测地目标预测方法,产生1000个给定的图像的目标预测二值图,基于关联矩阵A,分别根据边界先验和平滑先验计算每个目标预测二值图中白色部分对应的图像区域的背景分值和目标分值计算公式如下:
式(1)中,B表示位于图像边界的超像素的集合,Ri表示位于目标预测二值图i内图像的超像素的集合。
A4、将所有的目标预测二值图的背景分值和目标分值分别进行归一化。按照公式(2)计算每个像素的显著性值。
式(2)中,将所有的超像素的显著性值都进行归一化,得到初始的显著性图Sin,如图2(b)所示。
B、根据初始的显著性图选择伪标记样本和未标记样本:
B1、所有的超像素集合为S=L∪U,L表示标记样本,包含标记的前景样本和背景样本,U表示图像中未标记的样本。计算初始显著性图中所有超像素的显著性值的均值,将显著性值大于1.7倍显著性均值的超像素标记为前景样本,标签yi设置为1;将显著性值低于0.05的超像素标记为背景样本,标签yi设置为-1;将图像中显著性值介于上面两者之间的超像素作为未标记样本U。
C、构建局部流形正则项:
C1、提取图像中超像素的RGB、CIELab、坐标特征,构建无向闭环图模型,并将每个超像素与和它位置相近的k个超像素连接。
C2、两超像素之间相似度值的计算公式如下:
式(3)中,xi和xj分别表示超像素i和超像素j的特征向量,σ是一个常数,它控制了权重的强度。则图模型的邻接矩阵可以表示为W=[wij]i,j=1,...,n,超像素i的度di可以通过计算得到。将未归一化的拉普拉斯矩阵定义为局部流形正则矩阵,即:
RL=D-W (4)
式(4)中,D=diag{di,...,dn}为图模型的度矩阵。那么,局部流形正则项可以写成如下的形式:
ΩL=fTRLf=wTKRLKw (5)
D、构建全局流形正则项:
D1、对于一幅图像中超像素集合S中的每个超像素i,在特征空间(包含超像素的颜色特征和坐标特征)选取与之最邻近的k个邻居超像素构建相应的局部流形正则矩阵Gi。
D2、全局的流形正则项ΩG可以按照公式(6)构建得到。
式(6)中,fi表示邻居超像素集合Ni中k个超像素的显著性预测值f组成的向量。Δi表示一个指示矩阵,它的第l(i)列元素为1,其余列的元素均为0。l(i)表示超像素i在它的邻居超像素集合Ni中的索引。Ki表示定义在邻居超像素集合Ni上的一个核矩阵,描述了邻居超像素之间的相似程度,可以根据公式(3)计算得到,但σ在邻居超像素集合Ni上是自适应的,而非常数。为Ki的伪逆矩阵。按照{fi|i∈S}在f中的索引将{Gi|i∈S}重新进行整理排列,便得到了全局流形正则矩阵RG。则全局正则项为:
ΩG=fTRGf=wTKRGKw (7)
E、训练局部和全局流形正则化支持向量机模型,预测每个超像素的显著性值。
E1、流形正则化支持向量机模型表示成如下公式:
式(8)中,γ1为解边界的权重,γ2为流形正则项的权重。
E2、将Ω=ΩL和Ω=ΩG分别代入公式(8)中,训练两个流形正则化支持向量机模型,并预测超像素的显著性值。
F、构造联合优化模型,从多尺度角度融合第E2步得到的两个显著性检测结果,得到最终的显著性检测结果。
F1、将给定图像进行多尺度分割,V=S∪S'包含了四个不同尺度下的超像素集合。计算得到一个多尺度超像素间的关联矩阵计算方法和第C2步相同。
F2、联合优化模型可以表示成如下的形式:
式(9)中,|V|表示位于集合V内的超像素的个数,和分别表示超像素i属于前景和背景的概率,为关联矩阵中第i行第j列的元素,表示了超像素i和超像素j之间的相似度。
F3、联合优化模型的闭合解为:
式(10)中,表示多尺度图模型的拉普拉斯矩阵,根据公式(4)由关联矩阵得到。I是一个|V|维的全1列向量。若超像素i属于集合S',则若超像素i属于S,则若超像素i属于集合S',则若超像素i属于S,则根据公式(10),集合V中所有尺度的超像素的显著性值便可计算出来。
F4、根据公式(11)平均所有尺度的显著性图,计算得到图像中每个像素的显著性值:
式(11)中,p表示一个像素,m表示某一尺度,Sm表示在尺度m下得到的图像显著性图,S表示融合多尺度下的显著性图的结果。这样,最终的图像显著性检测结果便得到了,如图2(c)所示。
Claims (1)
1.一种基于流形正则化支持向量机的图像显著性检测方法,其特征在于,步骤如下:
A、根据先验知识计算得到初始的显著性图
A1、将给定图像分割成100~300个超像素,提取所有超像素的坐标、颜色、文理特征,得到每个超像素的75维特征向量;
A2、采用随机森林方法,学习给定图像中所有超像素的稠密关联矩阵A;
A3、采用测地目标预测方法,产生多个给定图像的目标预测二值图,基于稠密关联矩阵A,分别根据边界先验和平滑先验计算每个目标预测二值图中白色部分对应的图像区域的背景分值和目标分值计算公式如下:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>&alpha;</mi>
<mi>i</mi>
<mi>b</mi>
</msubsup>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mrow>
<mo>|</mo>
<msub>
<mi>R</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
</mrow>
<mo>&times;</mo>
<mrow>
<mo>|</mo>
<mi>B</mi>
<mo>|</mo>
</mrow>
</mrow>
</mfrac>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>u</mi>
<mo>&Element;</mo>
<msub>
<mi>R</mi>
<mi>i</mi>
</msub>
</mrow>
</munder>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>v</mi>
<mo>&Element;</mo>
<mi>B</mi>
</mrow>
</munder>
<msub>
<mi>a</mi>
<mrow>
<mi>u</mi>
<mi>v</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>&alpha;</mi>
<mi>i</mi>
<mi>o</mi>
</msubsup>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mo>|</mo>
<msub>
<mi>R</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<mo>&times;</mo>
<mrow>
<mo>(</mo>
<mo>|</mo>
<msub>
<mi>R</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>u</mi>
<mo>&Element;</mo>
<msub>
<mi>R</mi>
<mi>i</mi>
</msub>
</mrow>
</munder>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>v</mi>
<mo>&Element;</mo>
<msub>
<mi>R</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<mi>v</mi>
<mo>&NotEqual;</mo>
<mi>u</mi>
</mrow>
</munder>
<msub>
<mi>a</mi>
<mrow>
<mi>u</mi>
<mi>v</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
式(1)中,B表示位于图像边界的超像素的集合,Ri表示位于目标预测二值图i内图像的超像素的集合,u和v分别表示两个超像素;
A4、将所有的目标预测二值图的背景分值和目标分值分别进行归一化,按照公式(2)计算每个像素的显著性值:
<mrow>
<msub>
<mi>S</mi>
<mrow>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>&alpha;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>&delta;</mi>
<mi>p</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
式(2)中,N表示目标预测二值图的数目,i表示第i个目标预测二值图,如果像素p∈Ri,δp=1,否则δp=0;将所有的像素的显著性值都进行归一化,得到初始的显著性图Sin;
B、根据初始显著性图选择伪标记样本和未标记样本
B1、将步骤A1得到的超像素集合为S=L∪U,L表示标记样本,包含标记的前景样本和背景样本,U表示图像中未标记的样本;计算初始显著性图中所有超像素的显著性值的均值,将显著性值大于1.7倍显著性均值的超像素标记为前景样本,标签yi设置为1;将显著性值低于0.05的超像素标记为背景样本,标签yi设置为-1;将图像中显著性值介于上面两者之间的超像素作为未标记样本U;
C、构建局部流形正则项
C1、提取图像中超像素的RGB、CIELab和坐标特征,构建无向闭环图模型,并将每个超像素与和它位置相近的15~20个超像素连接;
C2、两超像素之间相似度值的计算公式如下:
<mrow>
<msub>
<mi>w</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mfrac>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
式(3)中,xi和xj分别表示超像素i和超像素j的特征向量,σ是一个常数,它控制了权重的强度;则无向闭环图模型的邻接矩阵表示为W=[wij]i,j=1,...,n,n表示超像素集合S中超像素的数目,超像素i的度di通过计算得到;将未归一化的拉普拉斯矩阵定义为局部流形正则矩阵,即:
RL=D-W (4)
式(4)中,D=diag{di,...,dn}为图模型的度矩阵;那么,局部流形正则项写成如下的形式:
ΩL=fTRLf=wTKRLKw (5)
式(5)中,K为RBF核矩阵,w为要学习的参数;
D、构建全局流形正则项
D1、对于一幅图像中超像素集合S中的每个超像素i,在特征空间选取与之最邻近的15~20个邻居超像素构建相应的局部流形正则矩阵Gi;其中,特征空间包含超像素的颜色特征和坐标特征;
D2、全局的流形正则项ΩG按照公式(6)构建得到;
<mrow>
<msub>
<mi>&Omega;</mi>
<mi>G</mi>
</msub>
<mo>=</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mi>S</mi>
</mrow>
</munder>
<msubsup>
<mi>f</mi>
<mi>i</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>G</mi>
<mi>i</mi>
</msub>
<msub>
<mi>f</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
式(6)中,fi表示邻居超像素集合Ni中15~20个超像素的显著性预测值f组成的向量;Δi表示一个指示矩阵,它的第l(i)列元素为1,其余列的元素均为0;l(i)表示超像素i在它的邻居超像素集合Ni中的索引;Ki表示定义在邻居超像素集合Ni上的一个核矩阵,描述了邻居超像素之间的相似程度,根据公式(3)计算得到,但σ在邻居超像素集合Ni上是自适应的,而非常数;为Ki的伪逆矩阵;按照{fi|i∈S}在f中的索引将{Gi|i∈S}重新进行整理排列,便得到了全局流形正则矩阵RG;则全局正则项为:
ΩG=fTRGf=wTKRGKw (7)
E、训练局部和全局流形正则化支持向量机模型,预测每个超像素的显著性值
E1、流形正则化支持向量机模型表示成如下公式:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<munder>
<mi>min</mi>
<mrow>
<mi>w</mi>
<mo>&Element;</mo>
<msup>
<mi>R</mi>
<mi>n</mi>
</msup>
</mrow>
</munder>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mi>L</mi>
</mrow>
</munder>
<msub>
<mi>&xi;</mi>
<mi>i</mi>
</msub>
<mo>+</mo>
<msub>
<mi>&gamma;</mi>
<mn>1</mn>
</msub>
<msup>
<mi>w</mi>
<mi>T</mi>
</msup>
<mi>K</mi>
<mi>w</mi>
<mo>+</mo>
<msub>
<mi>&gamma;</mi>
<mn>2</mn>
</msub>
<mi>&Omega;</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<msup>
<mi>w</mi>
<mi>T</mi>
</msup>
<msub>
<mi>K</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>&GreaterEqual;</mo>
<mn>1</mn>
<mo>-</mo>
<msub>
<mi>&xi;</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>&xi;</mi>
<mi>i</mi>
</msub>
<mo>&GreaterEqual;</mo>
<mn>0</mn>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>i</mi>
<mo>&Element;</mo>
<mi>L</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
式(8)中,γ1为解边界的权重,γ2为流形正则项的权重,ξi为超像素i的松弛变量,Ω为流形正则项;
E2、将Ω=ΩL和Ω=ΩG分别代入公式(8)中,训练两个流形正则化支持向量机模型,并预测超像素i的显著性值SL(i)和SG(i);
F、构造联合优化模型,从多尺度角度融合步骤E2得到的两个显著性检测结果,得到最终的显著性检测结果;
F1、将给定图像进行多尺度分割,V=S∪S'包含3~5个不同尺度下的超像素集合,根据公式(9)计算
<mrow>
<msub>
<mover>
<mi>w</mi>
<mo>&OverBar;</mo>
</mover>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mfrac>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
xi和xj分别表示超像素i和超像素j的特征向量,σ是一个常数,它控制了权重的强度;则多尺度超像素间的关联矩阵为|V|表示位于集合V内的超像素的个数,超像素i的度通过计算得到;多尺度图模型的拉普拉斯矩阵为:
<mrow>
<mover>
<mi>L</mi>
<mo>&OverBar;</mo>
</mover>
<mo>=</mo>
<mover>
<mi>D</mi>
<mo>&OverBar;</mo>
</mover>
<mo>-</mo>
<mover>
<mi>W</mi>
<mo>&OverBar;</mo>
</mover>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
2
式(10)中,为多尺度图模型的度矩阵;
F2、联合优化模型表示成如下的形式:
<mrow>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mrow>
<mi>y</mi>
<mo>&Element;</mo>
<msup>
<mi>R</mi>
<mrow>
<mo>|</mo>
<mi>V</mi>
<mo>|</mo>
</mrow>
</msup>
</mrow>
</munder>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mi>S</mi>
</mrow>
</munder>
<msubsup>
<mi>p</mi>
<mi>i</mi>
<mi>o</mi>
</msubsup>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mi>S</mi>
</mrow>
</munder>
<msubsup>
<mi>p</mi>
<mi>i</mi>
<mi>b</mi>
</msubsup>
<msubsup>
<mi>y</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>&Element;</mo>
<mi>V</mi>
</mrow>
</munder>
<msub>
<mover>
<mi>w</mi>
<mo>&OverBar;</mo>
</mover>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>11</mn>
<mo>)</mo>
</mrow>
</mrow>
式(11)中,和分别表示超像素i属于前景和背景的概率,为关联矩阵中第i行第j列的元素,表示超像素i和超像素j之间的相似度;
F3、联合优化模型的闭合解为:
<mrow>
<mi>y</mi>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msup>
<mi>&Lambda;</mi>
<mi>o</mi>
</msup>
<mo>+</mo>
<msup>
<mi>&Lambda;</mi>
<mi>b</mi>
</msup>
<mo>+</mo>
<mover>
<mi>L</mi>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<msup>
<mi>&Lambda;</mi>
<mi>o</mi>
</msup>
<mi>I</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>12</mn>
<mo>)</mo>
</mrow>
</mrow>
式(12)中,I是一个|V|维的全1列向量;若超像素i属于集合S',则若超像素i属于S,则若超像素i属于集合S',则若超像素i属于S,则根据公式(12),集合V中所有尺度的超像素的显著性值便计算出来;
F4、根据公式(13)平均所有尺度的显著性图,计算得到图像中每个像素的显著性值:
<mrow>
<mi>S</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mi>&Sigma;</mi>
<mi>m</mi>
</munder>
<msub>
<mi>S</mi>
<mi>m</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>13</mn>
<mo>)</mo>
</mrow>
</mrow>
式(13)中,p表示一个像素,m表示某一尺度,Sm表示在尺度m下得到的图像显著性图,S表示融合多尺度下的显著性图的结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710238186.8A CN107146219B (zh) | 2017-04-13 | 2017-04-13 | 一种基于流形正则化支持向量机的图像显著性检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710238186.8A CN107146219B (zh) | 2017-04-13 | 2017-04-13 | 一种基于流形正则化支持向量机的图像显著性检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107146219A true CN107146219A (zh) | 2017-09-08 |
CN107146219B CN107146219B (zh) | 2019-12-17 |
Family
ID=59774650
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710238186.8A Active CN107146219B (zh) | 2017-04-13 | 2017-04-13 | 一种基于流形正则化支持向量机的图像显著性检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107146219B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764351A (zh) * | 2018-05-30 | 2018-11-06 | 佛山科学技术学院 | 一种基于测地距离的黎曼流形保持核学习方法及装置 |
CN110211115A (zh) * | 2019-06-03 | 2019-09-06 | 大连理工大学 | 一种基于深度引导元胞自动机的光场显著性检测实现方法 |
CN111461191A (zh) * | 2020-03-25 | 2020-07-28 | 杭州跨视科技有限公司 | 为模型训练确定图像样本集的方法、装置和电子设备 |
CN112329810A (zh) * | 2020-09-28 | 2021-02-05 | 北京师范大学 | 一种基于显著性检测的图像识别模型训练方法及装置 |
CN114445442A (zh) * | 2022-01-28 | 2022-05-06 | 杭州电子科技大学 | 基于非对称交叉融合的多光谱图像语义分割方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104217430A (zh) * | 2014-08-26 | 2014-12-17 | 浙江大学 | 基于l1正则化的图像显著性检测方法 |
CN104834933A (zh) * | 2014-02-10 | 2015-08-12 | 华为技术有限公司 | 一种图像显著性区域的检测方法和装置 |
US20160342843A1 (en) * | 2015-05-22 | 2016-11-24 | Tektronix, Inc. | Anomalous pixel detection |
-
2017
- 2017-04-13 CN CN201710238186.8A patent/CN107146219B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104834933A (zh) * | 2014-02-10 | 2015-08-12 | 华为技术有限公司 | 一种图像显著性区域的检测方法和装置 |
CN104217430A (zh) * | 2014-08-26 | 2014-12-17 | 浙江大学 | 基于l1正则化的图像显著性检测方法 |
US20160342843A1 (en) * | 2015-05-22 | 2016-11-24 | Tektronix, Inc. | Anomalous pixel detection |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764351A (zh) * | 2018-05-30 | 2018-11-06 | 佛山科学技术学院 | 一种基于测地距离的黎曼流形保持核学习方法及装置 |
CN108764351B (zh) * | 2018-05-30 | 2021-08-31 | 佛山科学技术学院 | 一种基于测地距离的黎曼流形保持核学习方法及装置 |
CN110211115A (zh) * | 2019-06-03 | 2019-09-06 | 大连理工大学 | 一种基于深度引导元胞自动机的光场显著性检测实现方法 |
CN111461191A (zh) * | 2020-03-25 | 2020-07-28 | 杭州跨视科技有限公司 | 为模型训练确定图像样本集的方法、装置和电子设备 |
CN111461191B (zh) * | 2020-03-25 | 2024-01-23 | 杭州跨视科技有限公司 | 为模型训练确定图像样本集的方法、装置和电子设备 |
CN112329810A (zh) * | 2020-09-28 | 2021-02-05 | 北京师范大学 | 一种基于显著性检测的图像识别模型训练方法及装置 |
CN112329810B (zh) * | 2020-09-28 | 2023-07-11 | 北京师范大学 | 一种基于显著性检测的图像识别模型训练方法及装置 |
CN114445442A (zh) * | 2022-01-28 | 2022-05-06 | 杭州电子科技大学 | 基于非对称交叉融合的多光谱图像语义分割方法 |
CN114445442B (zh) * | 2022-01-28 | 2022-12-02 | 杭州电子科技大学 | 基于非对称交叉融合的多光谱图像语义分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107146219B (zh) | 2019-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107146219A (zh) | 一种基于流形正则化支持向量机的图像显著性检测方法 | |
CN110569738B (zh) | 基于密集连接网络的自然场景文本检测方法、设备和介质 | |
Hu et al. | Automated building extraction using satellite remote sensing imagery | |
CN106250895B (zh) | 一种光学遥感图像感兴趣区域检测方法 | |
Liu et al. | Multi-scale attention integrated hierarchical networks for high-resolution building footprint extraction | |
CN112418108B (zh) | 一种基于样本重加权的遥感图像多类目标检测方法 | |
CN110633708A (zh) | 一种基于全局模型和局部优化的深度网络显著性检测方法 | |
CN110334584B (zh) | 一种基于区域全卷积网络的手势识别方法 | |
CN109086777A (zh) | 一种基于全局像素特征的显著图精细化方法 | |
CN109034035A (zh) | 基于显著性检测和特征融合的行人重识别方法 | |
CN111652240B (zh) | 一种基于cnn的图像局部特征检测与描述方法 | |
CN112329559A (zh) | 一种基于深度卷积神经网络的宅基地目标检测方法 | |
CN110276363A (zh) | 一种基于密度图估计的鸟类小目标检测方法 | |
Yang et al. | Deep learning-based automated terrain classification using high-resolution DEM data | |
Zhu et al. | Spatial hierarchy perception and hard samples metric learning for high-resolution remote sensing image object detection | |
Zhigang et al. | Vehicle target detection based on R-FCN | |
CN112668662B (zh) | 基于改进YOLOv3网络的野外山林环境目标检测方法 | |
Laban et al. | Convolutional neural network with dilated anchors for object detection in very high resolution satellite images | |
Zha et al. | ENGD-BiFPN: A remote sensing object detection model based on grouped deformable convolution for power transmission towers | |
Chen et al. | BARS: a benchmark for airport runway segmentation | |
He et al. | Building extraction based on U-net and conditional random fields | |
Tao et al. | An approach for identifying historic village using deep learning | |
Su et al. | Which CAM is better for extracting geographic objects? A perspective from principles and experiments | |
Liu et al. | Pedestrian detection based on Faster R-CNN | |
CN109977892A (zh) | 基于局部显著性特征和cnn-svm的舰船检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |