CN107330861B - 基于扩散距离高置信度信息的图像显著性物体检测方法 - Google Patents

基于扩散距离高置信度信息的图像显著性物体检测方法 Download PDF

Info

Publication number
CN107330861B
CN107330861B CN201710532032.XA CN201710532032A CN107330861B CN 107330861 B CN107330861 B CN 107330861B CN 201710532032 A CN201710532032 A CN 201710532032A CN 107330861 B CN107330861 B CN 107330861B
Authority
CN
China
Prior art keywords
image
pixel
foreground
super
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710532032.XA
Other languages
English (en)
Other versions
CN107330861A (zh
Inventor
陈莉
孙思远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201710532032.XA priority Critical patent/CN107330861B/zh
Publication of CN107330861A publication Critical patent/CN107330861A/zh
Application granted granted Critical
Publication of CN107330861B publication Critical patent/CN107330861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于扩散距离高置信度信息的图像显著性物体检测方法，属于计算机图像处理中显著性检测技术领域。首先计算图像的超像素，并在图像空间和特征空间构建图，在不同的扩散时间下，基于图计算每个超像素到图像边界的最小扩散距离，得到多尺度显著性图，将多尺度显著性图加权融合得到高置信显著性图，同时利用基于最小生成树的实时显著性物体检测方法得到距离图；之后从高置信前景图和距离图中提取初始化信息，迭代地使用抓割方法得到显著性物体图，并在每次迭代过程中改善初始化信息，从而逐步得到准确的显著性物体检测结果。本方法增强了检测结果对噪声的鲁棒性，可从图像中提取出既准确又完整的显著性物体。

Description

基于扩散距离高置信度信息的图像显著性物体检测方法
技术领域
本发明涉及一种基于扩散距离高置信度信息的图像显著性物体检测方法，属于计算机图像处理中显著性检测技术领域。
背景技术
图像显著性物体检测方法是提取图像中最引人注意物体的一种有效手段。图像显著性物体自动检测方法通过计算图像中物体的外观对比度或与背景外观的差异性来衡量物体的显著性，在此基础上还可进一步对检测结果后处理，利用优化方法增强检测结果的结构连续性，进而提高检测效果。按是否使用了后处理优化分类，现有的图像显著性物体自动检测方法的几种类型及相应存在的问题如下：
1、不使用后处理优化的方法通常需要计算图像中物体的外观与其他区域的对比度或者到背景的距离来衡量物体显著性。这些方法计算速度较快，但由于缺少全局信息，通常会受到噪声的影响。
2、使用后处理优化的方法在科研领域十分流行。它凭借在优化过程中维持图像的结构信息增强了噪声鲁棒性。但这类方法初始化信息对前景和背景的表达能力较弱且通常包含噪声，这些缺陷有可能严重削弱优化的效果。
不使用后处理优化的方法存在对噪声敏感的问题，而后处理优化方法的初始化信息置信度不高，对前景和背景的表达能力较弱且通常包含噪声。如何提高后处理优化方法的初始化信息置信度仍然是一个亟待解决的问题。
发明内容
本发明的目的是提出一种基于扩散距离高置信度信息的图像显著性物体检测方法，利用扩散距离的多尺度性质提取高置信度前景信息，以增强检测结果的准确性和对噪声的鲁棒性，并减少计算迭代次数，从图像中提取出兼顾准确性和完整性的显著性物体。
本发明提出的基于扩散距离高置信度信息的图像显著性物体检测方法，包括以下步骤：
(1)利用超像素方法将待检测图像分割成N个超像素，分别构建特征空间图结构和图像空间图结构，具体过程如下：
(1-1)利用超像素方法将待检测图像分割成N个超像素；
(1-2)设上述N个超像素中的任意一个超像素的颜色特征为超像素中所有像素的平均lab颜色，记为c，设上述N个超像素中的任意一个超像素的位置特征为超像素中所有像素在图像空间中的平均位置，记为s；建立一个由上述平均lab颜色和上述平均位置组成的特征空间，利用下式，计算该特征空间中第i个超像素和第j个超像素之间的亲和度a(i,j)：
Figure BDA0001339498650000021
其中，σc和σs分别为颜色约束系数和空间约束的系数，ci和cj分别表示第i个超像素的平均lab颜色和第j个超像素的平均lab颜色，si和sj分别表示第i个超像素的平均位置和第j个超像素的平均位置，e为自然对数；
以上述N个超像素为节点，根据上述亲和度a(i,j)，构建一个特征空间图结构，该图结构中的每个超像素与亲和度最大的8个超像素相连，特征空间图结构的边权重为a(i,j)；
(1-3)在上述待检测图像的N个超像素中，使相邻两个超像素或享有相同邻居的超像素相连，并使待检测图像边界的所有超像素相连，所有相连的边和所有超像素构建一个图像空间图结构，利用下式计算图像空间图结构中第i个超像素和第j个超像素之间的亲和度b(i,j)：
Figure BDA0001339498650000022
其中，σf为颜色约束系数，fi表示第i个超像素的平均lab颜色，e为自然对数，图像空间图结构的亲和度b(i,j)即为图像空间图结构的边权重；
(2)在上述特征空间图结构和图像空间图结构中分别计算扩散距离，具体过程如下：
(2-1)根据上述特征空间图结构的边权重，构建一个特征空间图结构的邻接矩阵A1，对邻接矩阵A1中的每行元素进行归一化处理，使得每行元素的和为1，得到一个特征空间图结构的转移矩阵M1，计算得到转移矩阵M1的特征值λ和特征向量ψ；根据特征值λ和特征向量ψ，利用下式，计算第g个超像素的映射向量Yt(g)：
Figure BDA0001339498650000023
其中ψk(g)表示特征向量ψ中第k个特征向量的第g个值，λk表示特征值λ中第k个特征值，g＝1,2,3,…,i,j,…,N，t表示扩散时间，
根据上，述计算的映射向量，利用下式，计算特征空间图结构中第i个超像素和第j个超像素之间的扩散距离D1(i,j)；
D1(i,j)＝|Yt(i)-Yt(j)|2
其中|·|2表示欧式距离计算方法；
(2-2)根据上述图像空间图结构的边权重，构建一个图像空间图结构的亲和矩阵A2，对矩阵A2中的每行元素进行归一化处理，使得每行元素的和为1，得到一个图像空间图结构转移矩阵M2，计算矩阵M2的特征值λ和特征向量θ，利用下式，计算第i个超像素的映射向量Wu(i)：
Figure BDA0001339498650000031
其中θl(i)表示第l个特征向量中的第i个值，γl表示第l个特征值，u表示扩散时间，
根据上述计算的映射向量，利用下式，计算图像空间图结构中第i个超像素和第j个超像素之间的扩散距离D2(i,j)；
D2(i,j)＝|Wu(i)-Wu(j)|2
其中|·|2表示欧式距离计算方法；
(3)以扩散时间为尺度，分别计算不同扩散时间上述特征空间图结构中的每个超像素到图像边界超像素的最小扩散距离，得到不同尺度下的显著性图，具体过程如下：
(3-1)设定一组扩散时间，第一个选取的扩散时间为40～60，每间隔150～250为第二个选取的扩散时间、第三个选取的扩散时间，以此类推；
(3-2)在上述选取的扩散时间下，利用上述步骤(2-1)的计算公式，分别计算上述步骤(1-2)特征空间图结构任意一个超像素到所有图像边界超像素的扩散距离，将该扩散距离中的最小值作为该超像素的显著性值，遍历特征空间图结构中的所有超像素，重复本步骤，得到所有超像素的显著性值，将所有超像素的显著性值组合起来，得到当前扩散时间下的显著性图；
(3-3)分别在上述选取的每个扩散时间下计算显著性图，直至选取的扩散时间大于400～600，或上述步骤(3-2)计算得到的最小扩散距离小于0.0003，结束计算，每个扩散时间代表一个尺度，得到特征空间图结构中不同尺度下的显著性图，即为特征空间图结构的多尺度显著性图；
(4)以扩散时间为尺度，分别计算不同扩散时间上述图像空间图结构中的每个超像素到图像边界超像素的最小扩散距离，得到不同尺度下的显著性图，具体过程如下：
(4-1)设定一组扩散时间，第一个选取的扩散时间为40～60，每间隔150～250为第二个选取的扩散时间、第三个选取的扩散时间，以此类推；
(4-2)在上述选取的扩散时间下，利用上述步骤(2-2)的计算公式，分别计算上述步骤(1-3)图像空间图结构任意一个超像素到所有图像边界超像素的扩散距离，将该扩散距离中的最小值作为该超像素的显著性值，遍历图像空间图结构中的所有超像素，重复本步骤，得到所有超像素的显著性值，将所有超像素的显著性值组合起来，得到当前扩散时间下的显著性图；
(4-3)分别在上述选取的每个扩散时间下计算显著性图，直至选取的扩散时间大于400～600，或上述步骤(3-2)计算得到的最小扩散距离小于0.0003，结束计算，每个扩散时间代表一个尺度，得到图像空间图结构中不同尺度下的显著性图，即为图像空间图结构的多尺度显著性图；
(5)根据上述步骤(3-3)的特征空间图结构多尺度显著性图和步骤(4-3)的图像空间图结构多尺度显著性图，计算得到高置信显著性图Shc，包括以下步骤：
(5-1)将上述步骤(3-3)的特征空间图结构多尺度显著性图和步骤(4-3)的图像空间图结构多尺度显著性图进行组合，得到多尺度显著性图集合S；
(5-2)利用下式，计算待检测图像中第i个超像素和第k个超像素的颜色距离Dc(i,k)：
Figure BDA0001339498650000041
其中ni和nk分别表示超像素i内像素的颜色个数和超像素k内像素的颜色个数，hi,m表示第i个超像素中第m种颜色的像素个数比例，hk,n表示第k个超像素中第n种颜色的像素个数比例，pi,m表示第i个超像素中的第m种颜色，pk,n表示第k个超像素中的第n种颜色，|·|2表示欧式距离计算方法；
根据上述计算的超像素颜色距离，利用下式，计算第i个超像素的对比度值G(i)：
Figure BDA0001339498650000051
其中，ω(i)表示第i个超像素的像素个数，Ds(i,k)表示第i个超像素的平均位置与第k个超像素的平均位置之间的欧式距离，σd表示空间约束系数；
重复上述过程，得到所有待检测图像的超像素对比度值；
将待检测图像中每个超像素的所有对比度值进行组合，得到待检测图像的超像素对比度图GM；
(5-3)设上述步骤(5-1)的多尺度显著性图集合S中的第v个显著性图为Sv，根据上述步骤(5-2)得到的待检测图像的超像素对比度图GM，利用下式，计算显著性图Sv的可信度C(v)：
Figure BDA0001339498650000052
其中·表示点积，sum为显著性图Si中所有元素的和；
根据上述计算得到的显著性图Si的可信度C(v)，利用下式，计算显著性图Sv的加权融合权重w(v)：
w(v)＝e10C(v)-1
其中，e为自然对数；
遍历多尺度显著性图集合S中所有的显著性图，重复上述过程，分别得到多尺度显著性图集合S中每个显著性图的融合权重w(v)；
(5-4)根据上述计算得到的加权融合权重，利用下式，对多尺度显著性图集合S中的所有显著性图进行加权融合，得到高置信显著性图Shc；
Figure BDA0001339498650000061
其中，Z表示多尺度显著性图集合S中所有显著性图的加权融合权重的和；
(6)根据上述高置信前景图Shc，计算得到待检测图像显著性物体检测结果，包括以下步骤：
(6-1)将上述高置信前景图Shc中的元素归一化到区间[0,255]，将元素值大于200的超像素作为前景种子点Fseeds；
(6-2)利用基于最小生成树的实时显著性物体检测方法，将待检测图像构建成一个最小生成树，在最小生成树上，分别计算待检测图像中所有像素到待检测图像边界的最小障碍距离，根据所有最小障碍距离，得到距离图Md，将Md中的元素归一化到区间[0,255]，将元素值小于40的超像素作为背景种子点Bseeds；
(6-3)将待检测图像中除前景种子点和背景种子点以外的其他像素初始化为初步前景点；
(6-4)将上述步骤(6-1)前景种子点包含的所有像素和上述步骤(6-3)的初步前景点包含的所有像素组合成前景像素集合F，将前景像素集合F构建成一个前景颜色高斯混合模型GMMF；设待检测图像中除上述前景像素集合F以外的其他像素为背景像素集合B，将背景像素集合B构建成一个背景颜色高斯混合模型GMMB；
(6-5)利用抓割方法，分别计算上述步骤(6-4)中的前景像素集合F中所有像素在上述前景颜色高斯混合模型GMMF中所属的前景高斯分量索引值，根据上述前景像素集合F中所有像素的高斯分量索引值和前景像素集合F中每个像素的颜色，计算每个前景高斯分量模型，得到新的前景颜色高斯混合模型，记为GMMFnew；分别计算上述步骤(6-4)中的背景像素集合B中所有像素在上述背景颜色高斯混合模型GMMB中所属的背景高斯分量索引值，根据上述背景像素集合B中所有像素的高斯分量索引值和背景像素集合B中每个像素的颜色，计算每个背景高斯分量模型，得到新的背景颜色高斯混合模型，记为GMMBnew；
设待检测图像中上述步骤(6-4)的前景像素集合F中像素的标签为1，设待检测图像中上述步骤(6-4)的背景像素集合B中像素的标签为0；
设FS为虚拟前景点，虚拟前景点FS的标签为1，设BT为虚拟背景点，虚拟背景点BT的标签为0，将虚拟前景点FS、虚拟背景点BT和待检测图像中的所有像素构建成一个割图CG，割图CG中，待检测图像的每个像素与像素周围相邻的8个像素相连，设待检测图像中第q个像素Pq与待检测图像中第r个像素Pr相邻，利用下式，计算像素PXs与像素PXr之间的边权重δ(Pq,Pr)：
Figure BDA0001339498650000071
其中CPq表示像素Pq的lab颜色，CPr表示像素Pr的lab颜色，e表示自然对数，|·|2表示欧式距离计算方法，当像素Pq与像素Pr在水平方向或者垂直方向相邻时，κ取值为50，当像素Pq与像素Pr斜向相邻时，κ取值为
Figure BDA0001339498650000072
割图CG中，待检测图像的每个像素都上述虚拟前景点FS相连，对待检测图像中的第q个像素Pq进行判断，若前景种子点中包含Pq，则设定Pq与上述虚拟前景点FS之间的边权重为一个常数β,本发明的一个实施例中β取值为450；若背景种子点中包含Pq，则Pq与上述虚拟前景点FS之间的边权重为一个常数τ,本发明的一个实施例中τ取值为0；若Pq既不属于前景种子点又不属于背景种子点，则利用下式，计算Pq在上述前景颜色高斯混合模型GMMFnew中的概率值pvf(q)，
Figure BDA0001339498650000073
其中GCF表示上述前景颜色高斯混合模型GMMFnew的高斯分量个数，ξfg(u)表示上述前景颜色高斯混合模型GMMFnew中第u个前景高斯分量的混合系数，Profg(u,q)表示像素Pq的颜色在上述前景颜色高斯混合模型GMMFnew中第u个前景高斯分量中的高斯分布概率；
利用下式，计算Pq与上述虚拟前景点FS之间的边权重δ(Pq,FS)；
δ(Pq,FS)＝-ln(pvf(q))
其中ln表示以自然对数e为底的对数函数；
上述割图CG中的待检测图像中的每个像素都与上述虚拟背景点BT相连，对于待检测图像中的第q个像素Pq，若Pq属于前景种子点，则Pq与上述虚拟背景点BT之间的边权重为一个常数τ；若Pq属于背景种子点，则Pq与上述虚拟背景点BT之间的边权重为一个常数β；若Pq既不属于前景种子点又不属于背景种子点，则利用下式，计算Pq在上述背景景颜色高斯混合模型GMMFnew中的概率值pvb(q)，
Figure BDA0001339498650000081
其中GCB表示上述背景颜色高斯混合模型GMMBnew的高斯分量个数，ζbg(u)表示上述背景颜色高斯混合模型GMMFnew中第u个背景高斯分量的混合系数，Probg(u,q)表示像素Pq的颜色在上述背景颜色高斯混合模型GMMBnew中第u个背景高斯分量中的高斯分布概率；
利用下式，计算Pq与上述虚拟背景点BT之间的边权重δ(Pq,BT)；
δ(Pq,BT)＝-ln(pvb(q))
其中ln表示以自然对数e为底的对数函数；
在上述割图CG中，以上述虚拟前景点FS为源点，以上述虚拟背景点BT为汇点，利用最大流最小割方法，将上述割图CG分割成包含上述虚拟前景点FS的子图FG和包含上述虚拟背景点BT的子图BG；
将上述子图FG内待检测图像中除前景种子点和背景种子点以外的其他像素的标签设为1，将上述子图BG内待检测图像中除前景种子点和背景种子点以外的其他像素的标签设为0，将待检测图像中的前景种子点包含的所有像素的标签设为1，将待检测图像中的背景种子点包含的所有像素的标签设为0，得到当前显著性物体图R，将本次显著性物体图R与上次显著性物体图R进行比较，若本次显著性物体图R与上次显著性物体图R中相同位置且标签不同的像素个数小于50，则迭代终止，将本次显著性物体图R中标签为1的像素作为最终的显著性物体检测结果进行输出；若本次显著性物体图R与上次显著性物体图R中相同位置且标签不同的像素个数大于或等于50，则进入步骤(6-6)；
(6-6)对上述步骤中的待检测图像中前景种子点包含的所有像素组成的区域进行形态学腐蚀操作，被腐蚀的前景种子点被标记为初步前景点，对待检测图像中距离图像边界M个像素宽度以上的背景种子点包含的所有像素组成的区域进行形态学腐蚀操作，被腐蚀的背景种子点被标记为初步背景点，初步背景点包含的所有像素的标签设为0；
(6-7)利用步骤(6-5)中的计算方法，分别计算步骤(6-6)中前景种子点中的每个像素在前景颜色高斯混合模型GMMFnew中的概率值pvf和在背景高斯混合模型中的概率值pvb，对两个概率值进行比较，若pvf-pvb<∧，则将此种子点改为初步前景点；若pvf-pvb≥∧，则维持原状；本发明的一个实施例中∧取值为-0.06，分别计算上述得到的背景种子点中的每个像素在前景颜色高斯混合模型GMMFnew中的概率值pvf和在背景高斯混合模型中的概率值pvb，若pvb-pvf<∧，则将此种子点改为初步背景点；若pvb-pvf≥∧，则维持原状：
(6-8)返回步骤(6-5)，完成待检测图像的显著性物体检测。
本发明提出的基于扩散距离高置信度信息的图像显著性物体检测方法，具有以下特点和优点：
本方法提出了多尺度融合的前景检测方法，在融合多个尺度的检测结果时，使用对比度信息计算每个尺度的融合权重。为了进一步提升检测准确度，本方法利用已得到的高置信度信息作为约束设计显著性优化方法，在优化过程的每次迭代中都对高置信度信息进行改善，并利用高置信度信息对优化结果进行矫正，使得优化过程只需要很少的迭代次数就可以检测得到兼顾准确性和完整性的显著性物体检测结果。
本发明的优点如下：
1、本发明方法基于扩散距离，在多个尺度上检测显著性物体，并基于对比度信息计算每个尺度检测结果的融合权重，随后将多尺度检测结果加权融合得到前景检测结果，得到了多尺度下更加完备且极具代表性的前景信息，增强了检测结果的准确性和对噪声的鲁棒性。
2、本发明方法在后处理优化时，基于种子点采用迭代的方式提取显著性物体，在后处理过程中对种子点进行不断改善，并使用种子点作为约束对当前迭代结果进行矫正，减少了迭代次数，并可从图像中提取出兼顾准确性和完整性的显著性物体。
附图说明
图1是本发明提出的基于扩散距离高置信度信息的图像显著性物体检测方法的流程框图。
具体实施方式
本发明提出的基于扩散距离高置信度信息的图像显著性物体检测方法，其流程框图如图1所示，包括以下步骤：
(1)利用超像素方法(SLIC)将待检测图像分割成N个超像素，分别构建特征空间图结构和图像空间图结构，具体过程如下：
(1-1)利用超像素方法(SLIC)将待检测图像分割成N个超像素；
(1-2)设上述N个超像素中的任意一个超像素的颜色特征为超像素中所有像素的平均lab颜色，记为c，设上述N个超像素中的任意一个超像素的位置特征为超像素中所有像素在图像空间中的平均位置，记为s；建立一个由上述平均lab颜色和上述平均位置组成的特征空间，利用下式，计算该特征空间中第i个超像素和第j个超像素之间的亲和度a(i,j)：
Figure BDA0001339498650000101
其中，σc和σs分别为控制亲和度值的颜色约束系数和空间约束的系数，本发明的一个实施例中，σc和σs的取值分别为0.04和0.2，ci和cj分别表示第i个超像素的平均lab颜色和第j个超像素的平均lab颜色，si和sj分别表示第i个超像素的平均位置和第j个超像素的平均位置，e为自然对数；
以上述N个超像素为节点，根据上述亲和度a(i,j)，构建一个特征空间图结构，该图结构中的每个超像素与亲和度最大的8个超像素相连，特征空间图结构的边权重为a(i,j)；
(1-3)在上述待检测图像的N个超像素中，使相邻两个超像素或享有相同邻居的超像素相连，并使待检测图像边界的所有超像素相连，所有相连的边和所有超像素构建一个图像空间图结构，利用下式计算图像空间图结构中第i个超像素和第j个超像素之间的亲和度b(i,j)：
Figure BDA0001339498650000111
其中，σf为控制亲和度值的颜色约束系数，本发明的一个实施例中，σf取值为0.04，fi表示第i个超像素的平均lab颜色，e为自然对数，图像空间图结构的亲和度b(i,j)即为图像空间图结构的边权重；
(2)在上述特征空间图结构和图像空间图结构中分别计算扩散距离，具体过程如下：
(2-1)根据上述特征空间图结构的边权重，构建一个特征空间图结构的邻接矩阵A1，对邻接矩阵A1中的每行元素进行归一化处理，使得每行元素的和为1，得到一个特征空间图结构的转移矩阵M1，计算得到转移矩阵M1的特征值λ和特征向量ψ；根据特征值λ和特征向量ψ，利用下式，计算第g个超像素的映射向量yt(g)：
Figure BDA0001339498650000112
其中ψk(g)表示特征向量ψ中第k个特征向量的第g个值，λk表示特征值λ中第k个特征值，g＝1,2,3,…,i,j,…,N，t表示扩散时间，
根据上，述计算的映射向量，利用下式，计算特征空间图结构中第i个超像素和第j个超像素之间的扩散距离D1(i,j)；
D1(i,j)＝|Yt(i)-Yt(j)|2
其中|·|2表示欧式距离计算方法；
(2-2)根据上述图像空间图结构的边权重，构建一个图像空间图结构的亲和矩阵A2，对矩阵A2中的每行元素进行归一化处理，使得每行元素的和为1，得到一个图像空间图结构转移矩阵M2，计算矩阵M2的特征值γ和特征向量θ，利用下式，计算第i个超像素的映射向量Wu(i)：
Figure BDA0001339498650000113
其中θl(i)表示第l个特征向量中的第i个值，γl表示第l个特征值，u表示扩散时间，
根据上述计算的映射向量，利用下式，计算图像空间图结构中第i个超像素和第j个超像素之间的扩散距离D2(i,j)；
D2(i,j)＝|Wu(i)-Wu(j)|2
其中|·|2表示欧式距离计算方法；
(3)以扩散时间为尺度，分别计算不同扩散时间上述特征空间图结构中的每个超像素到图像边界超像素的最小扩散距离，得到不同尺度下的显著性图，具体过程如下：
(3-1)设定一组扩散时间，第一个选取的扩散时间为40～60，本发明的一个实施例中，第一个选取的扩散时间为50，每间隔150～250为第二个选取的扩散时间、第三个选取的扩散时间，以此类推；
(3-2)在上述选取的扩散时间下，利用上述步骤(2-1)的计算公式，分别计算上述步骤(1-2)特征空间图结构任意一个超像素到所有图像边界超像素的扩散距离，将该扩散距离中的最小值作为该超像素的显著性值，遍历特征空间图结构中的所有超像素，重复本步骤，得到所有超像素的显著性值，将所有超像素的显著性值组合起来，得到当前扩散时间下的显著性图；
(3-3)分别在上述选取的每个扩散时间下计算显著性图，直至选取的扩散时间大于400～600，或上述步骤(3-2)计算得到的最小扩散距离小于0.0003，结束计算，每个扩散时间代表一个尺度，得到特征空间图结构中不同尺度下的显著性图，即为特征空间图结构的多尺度显著性图；
(4)以扩散时间为尺度，分别计算不同扩散时间上述图像空间图结构中的每个超像素到图像边界超像素的最小扩散距离，得到不同尺度下的显著性图，具体过程如下：
(4-1)设定一组扩散时间，第一个选取的扩散时间为40～60，本发明的一个实施例中，第一个选取的扩散时间为50，每间隔150～250为第二个选取的扩散时间、第三个选取的扩散时间，以此类推；
(4-2)在上述选取的扩散时间下，利用上述步骤(2-2)的计算公式，分别计算上述步骤(1-3)图像空间图结构任意一个超像素到所有图像边界超像素的扩散距离，将该扩散距离中的最小值作为该超像素的显著性值，遍历图像空间图结构中的所有超像素，重复本步骤，得到所有超像素的显著性值，将所有超像素的显著性值组合起来，得到当前扩散时间下的显著性图；
(4-3)分别在上述选取的每个扩散时间下计算显著性图，直至选取的扩散时间大于400～600，或上述步骤(3-2)计算得到的最小扩散距离小于0.0003，结束计算，每个扩散时间代表一个尺度，得到图像空间图结构中不同尺度下的显著性图，即为图像空间图结构的多尺度显著性图；
(5)根据上述步骤(3-3)的特征空间图结构多尺度显著性图和步骤(4-3)的图像空间图结构多尺度显著性图，计算得到高置信显著性图Shc，包括以下步骤：
(5-1)将上述步骤(3-3)的特征空间图结构多尺度显著性图和步骤(4-3)的图像空间图结构多尺度显著性图进行组合，得到多尺度显著性图集合S；
(5-2)利用下式，计算待检测图像中第i个超像素和第k个超像素的颜色距离Dc(i,k)：
Figure BDA0001339498650000131
其中ni和nk分别表示超像素i内像素的颜色个数和超像素k内像素的颜色个数，hi,m表示第i个超像素中第m种颜色的像素个数比例，hk,n表示第k个超像素中第n种颜色的像素个数比例，pi,m表示第i个超像素中的第m种颜色，pk,n表示第k个超像素中的第n种颜色，|·|2表示欧式距离计算方法；
根据上述计算的超像素颜色距离，利用下式，计算第i个超像素的对比度值G(i)：
Figure BDA0001339498650000132
其中，ω(i)表示第i个超像素的像素个数，Ds(i,k)表示第i个超像素的平均位置与第k个超像素的平均位置之间的欧式距离，σd表示空间约束系数，本发明的一个实施例中取值为0.4，
重复上述过程，得到所有待检测图像的超像素对比度值；
将待检测图像中每个超像素的所有对比度值进行组合，得到待检测图像的超像素对比度图GM；
(5-3)设上述步骤(5-1)的多尺度显著性图集合S中的第v个显著性图为Sv，根据上述步骤(5-2)得到的待检测图像的超像素对比度图GM，利用下式，计算显著性图Sv的可信度C(v)：
Figure BDA0001339498650000141
其中·表示点积，sum为显著性图Si中所有元素的和；
根据上述计算得到的显著性图Si的可信度C(v)，利用下式，计算显著性图Sv的加权融合权重w(v)：
w(v)＝e10C(v)-1
其中，e为自然对数；
遍历多尺度显著性图集合S中所有的显著性图，重复上述过程，分别得到多尺度显著性图集合S中每个显著性图的融合权重w(v)；
(5-4)根据上述计算得到的加权融合权重，利用下式，对多尺度显著性图集合S中的所有显著性图进行加权融合，得到高置信显著性图Shc；
Figure BDA0001339498650000142
其中，Z表示多尺度显著性图集合S中所有显著性图的加权融合权重的和；
(6)根据上述高置信前景图Shc，计算得到待检测图像显著性物体检测结果，包括以下步骤：
(6-1)将上述高置信前景图Shc中的元素归一化到区间[0,255]，将元素值大于200的超像素作为前景种子点Fseeds；
(6-2)利用基于最小生成树的实时显著性物体检测方法(简称MST，可参见论文《Real-time salient object detection with a minimum spanning tree》)，将待检测图像构建成一个最小生成树，在最小生成树上，分别计算待检测图像中所有像素到待检测图像边界的最小障碍距离，根据所有最小障碍距离，得到距离图Md，将Md中的元素归一化到区间[0,255]，将元素值小于40的超像素作为背景种子点Bseeds；
(6-3)将待检测图像中除前景种子点和背景种子点以外的其他像素初始化为初步前景点；
(6-4)将上述步骤(6-1)前景种子点包含的所有像素和上述步骤(6-3)的初步前景点包含的所有像素组合成前景像素集合F，将前景像素集合F构建成一个前景颜色高斯混合模型GMMF，本发明的一个实施例中前景颜色高斯混合模型的高斯分量取值为5；设待检测图像中除上述前景像素集合F以外的其他像素为背景像素集合B，将背景像素集合B构建成一个背景颜色高斯混合模型GMMB，本发明的一个实施例中背景颜色高斯混合模型的高斯分量取值为5；
(6-5)利用抓割方法(简称Grabcut，可参见论文《"GrabCut":Interactiveforeground extraction using iterated graph cuts》)，分别计算上述步骤(6-4)中的前景像素集合F中所有像素在上述前景颜色高斯混合模型GMMF中所属的前景高斯分量索引值，根据上述前景像素集合F中所有像素的高斯分量索引值和前景像素集合F中每个像素的颜色，计算每个前景高斯分量模型，得到新的前景颜色高斯混合模型，记为GMMFnew；分别计算上述步骤(6-4)中的背景像素集合B中所有像素在上述背景颜色高斯混合模型GMMB中所属的背景高斯分量索引值，根据上述背景像素集合B中所有像素的高斯分量索引值和背景像素集合B中每个像素的颜色，计算每个背景高斯分量模型，得到新的背景颜色高斯混合模型，记为GMMBnew；
设待检测图像中上述步骤(6-4)的前景像素集合F中像素的标签为1，设待检测图像中上述步骤(6-4)的背景像素集合B中像素的标签为0；
设FS为虚拟前景点，虚拟前景点FS的标签为1，设BT为虚拟背景点，虚拟背景点BT的标签为0，将虚拟前景点FS、虚拟背景点BT和待检测图像中的所有像素构建成一个割图CG，割图CG中，待检测图像的每个像素与像素周围相邻的8个像素相连，设待检测图像中第q个像素Pq与待检测图像中第r个像素Pr相邻，利用下式，计算像素PXs与像素PXr之间的边权重δ(Pq,Pr)：
Figure BDA0001339498650000161
其中CPq表示像素Pq的lab颜色，CPr表示像素Pr的lab颜色，e表示自然对数，|·|2表示欧式距离计算方法，当像素Pq与像素Pr在水平方向或者垂直方向相邻时，κ取值为50，当像素Pq与像素Pr斜向相邻时，κ取值为
Figure BDA0001339498650000162
割图CG中，待检测图像的每个像素都上述虚拟前景点FS相连，对待检测图像中的第q个像素Pq进行判断，若前景种子点中包含Pq，则设定Pq与上述虚拟前景点FS之间的边权重为一个常数β,本发明的一个实施例中β取值为450；若背景种子点中包含Pq，则Pq与上述虚拟前景点FS之间的边权重为一个常数τ,本发明的一个实施例中τ取值为0；若Pq既不属于前景种子点又不属于背景种子点，则利用下式，计算Pq在上述前景颜色高斯混合模型GMMFnew中的概率值pvf(q)，
Figure BDA0001339498650000163
其中GCF表示上述前景颜色高斯混合模型GMMFnew的高斯分量个数，ξfg(u)表示上述前景颜色高斯混合模型GMMFnew中第u个前景高斯分量的混合系数，Profg(u,q)表示像素Pq的颜色在上述前景颜色高斯混合模型GMMFnew中第u个前景高斯分量中的高斯分布概率；
利用下式，计算Pq与上述虚拟前景点FS之间的边权重δ(Pq,FS)；
δ(Pq,FS)＝-ln(pvf(q))
其中ln表示以自然对数e为底的对数函数；
上述割图CG中的待检测图像中的每个像素都与上述虚拟背景点BT相连，对于待检测图像中的第q个像素Pq，若Pq属于前景种子点，则Pq与上述虚拟背景点BT之间的边权重为一个常数τ,本发明的一个实施例中τ取值为0；若Pq属于背景种子点，则Pq与上述虚拟背景点BT之间的边权重为一个常数β,本发明的一个实施例中β取值为450；若Pq既不属于前景种子点又不属于背景种子点，则利用下式，计算Pq在上述背景景颜色高斯混合模型GMMFnew中的概率值pvb(q)，
Figure BDA0001339498650000171
其中GCB表示上述背景颜色高斯混合模型GMMBnew的高斯分量个数，ξbg(u)表示上述背景颜色高斯混合模型GMMFnew中第u个背景高斯分量的混合系数，Probg(u,q)表示像素Pq的颜色在上述背景颜色高斯混合模型GMMBnew中第u个背景高斯分量中的高斯分布概率；
利用下式，计算Pq与上述虚拟背景点BT之间的边权重δ(Pq,BT)；
δ(Pq,BT)＝-ln(pvb(q))
其中ln表示以自然对数e为底的对数函数；
在上述割图CG中，以上述虚拟前景点FS为源点，以上述虚拟背景点BT为汇点，利用最大流最小割方法，将上述割图CG分割成包含上述虚拟前景点FS的子图FG和包含上述虚拟背景点BT的子图BG；
将上述子图FG内待检测图像中除前景种子点和背景种子点以外的其他像素的标签设为1，将上述子图BG内待检测图像中除前景种子点和背景种子点以外的其他像素的标签设为0，将待检测图像中的前景种子点包含的所有像素的标签设为1，将待检测图像中的背景种子点包含的所有像素的标签设为0，得到当前显著性物体图R，将本次显著性物体图R与上次显著性物体图R进行比较，若本次显著性物体图R与上次显著性物体图R中相同位置且标签不同的像素个数小于50，则迭代终止，将本次显著性物体图R中标签为1的像素作为最终的显著性物体检测结果进行输出；若本次显著性物体图R与上次显著性物体图R中相同位置且标签不同的像素个数大于或等于50，则进入步骤(6-6)；
(6-6)对上述步骤中的待检测图像中前景种子点包含的所有像素组成的区域进行形态学腐蚀操作，本发明的一个实施例中腐蚀半径设为25个像素宽度，被腐蚀的前景种子点被标记为初步前景点，对待检测图像中距离图像边界M个像素宽度以上的背景种子点包含的所有像素组成的区域进行形态学腐蚀操作，本发明的一个实施例中M设为10，腐蚀半径设为25个像素宽度，被腐蚀的背景种子点被标记为初步背景点，初步背景点包含的所有像素的标签设为0；
(6-7)利用步骤(6-5)中的计算方法，分别计算步骤(6-6)中前景种子点中的每个像素在前景颜色高斯混合模型GMMFnew中的概率值pvf和在背景高斯混合模型中的概率值pvb，对两个概率值进行比较，若pvf-pvb<∧，则将此种子点改为初步前景点；若pvf-pvb≥∧，则维持原状；本发明的一个实施例中∧取值为-0.06，分别计算上述得到的背景种子点中的每个像素在前景颜色高斯混合模型GMMFnew中的概率值pvf和在背景高斯混合模型中的概率值pvb，若pvb-pvf<∧，则将此种子点改为初步背景点；若pvb-pvf≥∧，则维持原状；本发明的一个实施例中∧取值为-0.06。
(6-8)返回步骤(6-5)，完成待检测图像的显著性物体检测。

Claims (1)

1.基于扩散距离高置信度信息的图像显著性物体检测方法，其特征在于该方法包括以下步骤：
(1)利用超像素方法将待检测图像分割成N个超像素，分别构建特征空间图结构和图像空间图结构，具体过程如下：
(1-1)利用超像素方法将待检测图像分割成N个超像素；
(1-2)设上述N个超像素中的任意一个超像素的颜色特征为超像素中所有像素的平均lab颜色，记为c，设上述N个超像素中的任意一个超像素的位置特征为超像素中所有像素在图像空间中的平均位置，记为s；建立一个由上述平均lab颜色和上述平均位置组成的特征空间，利用下式，计算该特征空间中第i个超像素和第j个超像素之间的亲和度a(i,j)：
Figure FDA0002579003770000011
其中，σc和σs分别为颜色约束系数和空间约束的系数，ci和cj分别表示第i个超像素的平均lab颜色和第j个超像素的平均lab颜色，si和sj分别表示第i个超像素的平均位置和第j个超像素的平均位置，e为自然对数；
以上述N个超像素为节点，根据上述亲和度a(i,j)，构建一个特征空间图结构，该图结构中的每个超像素与亲和度最大的8个超像素相连，特征空间图结构的边权重为a(i,j)；
(1-3)在上述待检测图像的N个超像素中，使相邻两个超像素或享有相同邻居的超像素相连，并使待检测图像边界的所有超像素相连，所有相连的边和所有超像素构建一个图像空间图结构，利用下式计算图像空间图结构中第i个超像素和第j个超像素之间的亲和度b(i,j)：
Figure FDA0002579003770000012
其中，σf为颜色约束系数，fi表示第i个超像素的平均lab颜色，e为自然对数，图像空间图结构的亲和度b(i,j)即为图像空间图结构的边权重；
(2)在上述特征空间图结构和图像空间图结构中分别计算扩散距离，具体过程如下：
(2-1)根据上述特征空间图结构的边权重，构建一个特征空间图结构的邻接矩阵A1，对邻接矩阵A1中的每行元素进行归一化处理，使得每行元素的和为1，得到一个特征空间图结构的转移矩阵M1，计算得到转移矩阵M1的特征值λ和特征向量ψ；根据特征值λ和特征向量ψ，利用下式，计算第g个超像素的映射向量Yt(g)：
Figure FDA0002579003770000021
其中ψk(g)表示特征向量ψ中第k个特征向量的第g个值，λk表示特征值λ中第k个特征值，g＝1,2,3,…,i,j,…,N，t表示扩散时间，
根据上述计算的映射向量，利用下式，计算特征空间图结构中第i个超像素和第j个超像素之间的扩散距离D1(i,j)；
D1(i,j)＝|Yt(i)-Yt(j)|2
其中|·|2表示欧式距离计算方法；
(2-2)根据上述图像空间图结构的边权重，构建一个图像空间图结构的亲和矩阵A2，对矩阵A2中的每行元素进行归一化处理，使得每行元素的和为1，得到一个图像空间图结构转移矩阵M2，计算矩阵M2的特征值γ和特征向量θ，利用下式，计算第i个超像素的映射向量Wu(i)：
Figure FDA0002579003770000022
其中θl(i)表示第l个特征向量中的第i个值，γl表示第l个特征值，u表示扩散时间，
根据上述计算的映射向量，利用下式，计算图像空间图结构中第i个超像素和第j个超像素之间的扩散距离D2(i,j)；
D2(i,j)＝|Wu(i)-Wu(j)|2
其中|·|2表示欧式距离计算方法；
(3)以扩散时间为尺度，分别计算不同扩散时间上述特征空间图结构中的每个超像素到图像边界超像素的最小扩散距离，得到不同尺度下的显著性图，具体过程如下：
(3-1)设定一组扩散时间，第一个选取的扩散时间为40～60，每间隔150～250为第二个选取的扩散时间、第三个选取的扩散时间，以此类推；
(3-2)在上述选取的扩散时间下，利用上述步骤(2-1)的计算公式，分别计算上述步骤(1-2)特征空间图结构任意一个超像素到所有图像边界超像素的扩散距离，将该扩散距离中的最小值作为该超像素的显著性值，遍历特征空间图结构中的所有超像素，重复本步骤，得到所有超像素的显著性值，将所有超像素的显著性值组合起来，得到当前扩散时间下的显著性图；
(3-3)分别在上述选取的每个扩散时间下计算显著性图，直至选取的扩散时间大于400～600，或上述步骤(3-2)计算得到的最小扩散距离小于0.0003，结束计算，每个扩散时间代表一个尺度，得到特征空间图结构中不同尺度下的显著性图，即为特征空间图结构的多尺度显著性图；
(4)以扩散时间为尺度，分别计算不同扩散时间上述图像空间图结构中的每个超像素到图像边界超像素的最小扩散距离，得到不同尺度下的显著性图，具体过程如下：
(4-1)设定一组扩散时间，第一个选取的扩散时间为40～60，每间隔150～250为第二个选取的扩散时间、第三个选取的扩散时间，以此类推；
(4-2)在上述选取的扩散时间下，利用上述步骤(2-2)的计算公式，分别计算上述步骤(1-3)图像空间图结构任意一个超像素到所有图像边界超像素的扩散距离，将该扩散距离中的最小值作为该超像素的显著性值，遍历图像空间图结构中的所有超像素，重复本步骤，得到所有超像素的显著性值，将所有超像素的显著性值组合起来，得到当前扩散时间下的显著性图；
(4-3)分别在上述选取的每个扩散时间下计算显著性图，直至选取的扩散时间大于400～600，或上述步骤(3-2)计算得到的最小扩散距离小于0.0003，结束计算，每个扩散时间代表一个尺度，得到图像空间图结构中不同尺度下的显著性图，即为图像空间图结构的多尺度显著性图；
(5)根据上述步骤(3-3)的特征空间图结构多尺度显著性图和步骤(4-3)的图像空间图结构多尺度显著性图，计算得到高置信显著性图Shc，包括以下步骤：
(5-1)将上述步骤(3-3)的特征空间图结构多尺度显著性图和步骤(4-3)的图像空间图结构多尺度显著性图进行组合，得到多尺度显著性图集合S；
(5-2)利用下式，计算待检测图像中第i个超像素和第k个超像素的颜色距离Dc(i,k)：
Figure FDA0002579003770000041
其中ni和nk分别表示超像素i内像素的颜色个数和超像素k内像素的颜色个数，hi,m表示第i个超像素中第m种颜色的像素个数比例，hk,n表示第k个超像素中第n种颜色的像素个数比例，pi,m表示第i个超像素中的第m种颜色，pk,n表示第k个超像素中的第n种颜色，|·|2表示欧式距离计算方法；
根据上述计算的超像素颜色距离，利用下式，计算第i个超像素的对比度值G(i)：
Figure FDA0002579003770000042
其中，ω(k)表示第i个超像素的像素个数，Ds(i,k)表示第i个超像素的平均位置与第k个超像素的平均位置之间的欧式距离，σd表示空间约束系数；
重复上述过程，得到所有待检测图像的超像素对比度值；
将待检测图像中每个超像素的所有对比度值进行组合，得到待检测图像的超像素对比度图GM；
(5-3)设上述步骤(5-1)的多尺度显著性图集合S中的第v个显著性图为Sv，根据上述步骤(5-2)得到的待检测图像的超像素对比度图GM，利用下式，计算显著性图Sv的可信度C(v)：
Figure FDA0002579003770000043
其中·表示点积，sum为显著性图Sv中所有元素的和；
根据上述计算得到的显著性图Sv的可信度C(v)，利用下式，计算显著性图Sv的加权融合权重w(v)：
w(v)＝e10C(v)-1
其中，e为自然对数；
遍历多尺度显著性图集合S中所有的显著性图，重复上述过程，分别得到多尺度显著性图集合S中每个显著性图的融合权重w(v)；
(5-4)根据上述计算得到的加权融合权重，利用下式，对多尺度显著性图集合S中的所有显著性图进行加权融合，得到高置信显著性图Shc；
Figure FDA0002579003770000051
其中，Z表示多尺度显著性图集合S中所有显著性图的加权融合权重的和；
(6)根据上述高置信前景图Shc，计算得到待检测图像显著性物体检测结果，包括以下步骤：
(6-1)将上述高置信前景图Shc中的元素归一化到区间[0,255]，将元素值大于200的超像素作为前景种子点Fseeds；
(6-2)利用基于最小生成树的实时显著性物体检测方法，将待检测图像构建成一个最小生成树，在最小生成树上，分别计算待检测图像中所有像素到待检测图像边界的最小障碍距离，根据所有最小障碍距离，得到距离图Md，将Md中的元素归一化到区间[0,255]，将元素值小于40的超像素作为背景种子点Bseeds；
(6-3)将待检测图像中除前景种子点和背景种子点以外的其他像素初始化为初步前景点；
(6-4)将上述步骤(6-1)前景种子点包含的所有像素和上述步骤(6-3)的初步前景点包含的所有像素组合成前景像素集合F，将前景像素集合F构建成一个前景颜色高斯混合模型GMMF；设待检测图像中除上述前景像素集合F以外的其他像素为背景像素集合B，将背景像素集合B构建成一个背景颜色高斯混合模型GMMB；
(6-5)利用抓割方法，分别计算上述步骤(6-4)中的前景像素集合F中所有像素在上述前景颜色高斯混合模型GMMF中所属的前景高斯分量索引值，根据上述前景像素集合F中所有像素的高斯分量索引值和前景像素集合F中每个像素的颜色，计算每个前景高斯分量模型，得到新的前景颜色高斯混合模型，记为GMMFnew；分别计算上述步骤(6-4)中的背景像素集合B中所有像素在上述背景颜色高斯混合模型GMMB中所属的背景高斯分量索引值，根据上述背景像素集合B中所有像素的高斯分量索引值和背景像素集合B中每个像素的颜色，计算每个背景高斯分量模型，得到新的背景颜色高斯混合模型，记为GMMBnew；
设待检测图像中上述步骤(6-4)的前景像素集合F中像素的标签为1，设待检测图像中上述步骤(6-4)的背景像素集合B中像素的标签为0；
设FS为虚拟前景点，虚拟前景点FS的标签为1，设BT为虚拟背景点，虚拟背景点BT的标签为0，将虚拟前景点FS、虚拟背景点BT和待检测图像中的所有像素构建成一个割图CG，割图CG中，待检测图像的每个像素与像素周围相邻的8个像素相连，设待检测图像中第q个像素Pq与待检测图像中第r个像素Pr相邻，利用下式，计算像素PXs与像素PXr之间的边权重δ(Pq,Pr)：
Figure FDA0002579003770000061
其中CPq表示像素Pq的lab颜色，CPr表示像素Pr的lab颜色，e表示自然对数，|·|2表示欧式距离计算方法，当像素Pq与像素Pr在水平方向或者垂直方向相邻时，κ取值为50，当像素Pq与像素Pr斜向相邻时，κ取值为
Figure FDA0002579003770000062
割图CG中，待检测图像的每个像素都上述虚拟前景点FS相连，对待检测图像中的第q个像素Pq进行判断，若前景种子点中包含Pq，则设定Pq与上述虚拟前景点FS之间的边权重为一个常数β,本方法中β取值为450；若背景种子点中包含Pq，则Pq与上述虚拟前景点FS之间的边权重为一个常数τ,本方法中τ取值为0；若Pq既不属于前景种子点又不属于背景种子点，则利用下式，计算Pq在上述前景颜色高斯混合模型GMMFnew中的概率值pvf(q)，
Figure FDA0002579003770000063
其中GCF表示上述前景颜色高斯混合模型GMMFnew的高斯分量个数，ξfg(u)表示上述前景颜色高斯混合模型GMMFnew中第u个前景高斯分量的混合系数，Profg(u,q)表示像素Pq的颜色在上述前景颜色高斯混合模型GMMFnew中第u个前景高斯分量中的高斯分布概率；
利用下式，计算Pq与上述虚拟前景点FS之间的边权重δ(Pq,FS)；
δ(Pq,FS)＝-ln(pvf(q))
其中ln表示以自然对数e为底的对数函数；
上述割图CG中的待检测图像中的每个像素都与上述虚拟背景点BT相连，对于待检测图像中的第q个像素Pq，若Pq属于前景种子点，则Pq与上述虚拟背景点BT之间的边权重为一个常数τ；若Pq属于背景种子点，则Pq与上述虚拟背景点BT之间的边权重为一个常数β；若Pq既不属于前景种子点又不属于背景种子点，则利用下式，计算Pq在上述背景颜色高斯混合模型GMMFnew中的概率值pvb(q)，
Figure FDA0002579003770000071
其中GCB表示上述背景颜色高斯混合模型GMMBnew的高斯分量个数，ξbg(u)表示上述背景颜色高斯混合模型GMMFnew中第u个背景高斯分量的混合系数，Probg(u,q)表示像素Pq的颜色在上述背景颜色高斯混合模型GMMBnew中第u个背景高斯分量中的高斯分布概率；
利用下式，计算Pq与上述虚拟背景点BT之间的边权重δ(Pq,BT)；
δ(Pq,BT)＝-ln(pvb(q))
其中ln表示以自然对数e为底的对数函数；
在上述割图CG中，以上述虚拟前景点FS为源点，以上述虚拟背景点BT为汇点，利用最大流最小割方法，将上述割图CG分割成包含上述虚拟前景点FS的子图FG和包含上述虚拟背景点BT的子图BG；
将上述子图FG内待检测图像中除前景种子点和背景种子点以外的其他像素的标签设为1，将上述子图BG内待检测图像中除前景种子点和背景种子点以外的其他像素的标签设为0，将待检测图像中的前景种子点包含的所有像素的标签设为1，将待检测图像中的背景种子点包含的所有像素的标签设为0，得到当前显著性物体图R，将本次显著性物体图R与上次显著性物体图R进行比较，若本次显著性物体图R与上次显著性物体图R中相同位置且标签不同的像素个数小于50，则迭代终止，将本次显著性物体图R中标签为1的像素作为最终的显著性物体检测结果进行输出；若本次显著性物体图R与上次显著性物体图R中相同位置且标签不同的像素个数大于或等于50，则进入步骤(6-6)；
(6-6)对上述步骤中的待检测图像中前景种子点包含的所有像素组成的区域进行形态学腐蚀操作，被腐蚀的前景种子点被标记为初步前景点，对待检测图像中距离图像边界M个像素宽度以上的背景种子点包含的所有像素组成的区域进行形态学腐蚀操作，被腐蚀的背景种子点被标记为初步背景点，初步背景点包含的所有像素的标签设为0；
(6-7)利用步骤(6-5)中的计算方法，分别计算步骤(6-6)中前景种子点中的每个像素在前景颜色高斯混合模型GMMFnew中的概率值pvf和在背景高斯混合模型中的概率值pvb，对两个概率值进行比较，若pvf-pvb＜∧，则将此种子点改为初步前景点；若pvf-pvb≥∧，则维持原状；∧取值为-0.06，分别计算上述得到的背景种子点中的每个像素在前景颜色高斯混合模型GMMFnew中的概率值pvf和在背景高斯混合模型中的概率值pvb，若pvb-pvf＜∧，则将此种子点改为初步背景点；若pvb-pvf≥∧，则维持原状；
(6-8)返回步骤(6-5)，完成待检测图像的显著性物体检测。
CN201710532032.XA 2017-07-03 2017-07-03 基于扩散距离高置信度信息的图像显著性物体检测方法 Active CN107330861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710532032.XA CN107330861B (zh) 2017-07-03 2017-07-03 基于扩散距离高置信度信息的图像显著性物体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710532032.XA CN107330861B (zh) 2017-07-03 2017-07-03 基于扩散距离高置信度信息的图像显著性物体检测方法

Publications (2)

Publication Number Publication Date
CN107330861A CN107330861A (zh) 2017-11-07
CN107330861B true CN107330861B (zh) 2020-10-16

Family

ID=60197760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710532032.XA Active CN107330861B (zh) 2017-07-03 2017-07-03 基于扩散距离高置信度信息的图像显著性物体检测方法

Country Status (1)

Country Link
CN (1) CN107330861B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416347A (zh) * 2018-01-04 2018-08-17 天津大学 基于边界先验和迭代优化的显著目标检测算法
CN108427931B (zh) * 2018-03-21 2019-09-10 合肥工业大学 一种基于机器视觉的矿井机车前障碍物的检测方法
CN108596893B (zh) * 2018-04-24 2022-04-08 东北大学 一种图像处理方法及***
CN110443805B (zh) * 2019-07-09 2021-08-17 浙江大学 一种基于像素密切度的语义分割方法
CN112037302A (zh) * 2020-08-31 2020-12-04 南通大学 一种基于大数据的扩散光层析成像智能化建模方法
CN112003999A (zh) * 2020-09-15 2020-11-27 东北大学 基于Unity 3D的三维虚拟现实合成算法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104167013B (zh) * 2014-08-04 2017-01-11 清华大学 一种用于突出显示体数据中目标区域的体绘制方法
CN104217438B (zh) * 2014-09-19 2017-03-01 西安电子科技大学 基于半监督的图像显著性检测方法

Also Published As

Publication number Publication date
CN107330861A (zh) 2017-11-07

Similar Documents

Publication Publication Date Title
CN107330861B (zh) 基于扩散距离高置信度信息的图像显著性物体检测方法
CN110119728B (zh) 基于多尺度融合语义分割网络的遥感图像云检测方法
CN109241913B (zh) 结合显著性检测和深度学习的船只检测方法及***
CN111640125B (zh) 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置
CN106909902B (zh) 一种基于改进的层次化显著模型的遥感目标检测方法
CN113076871B (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN108446694B (zh) 一种目标检测方法及装置
CN108537239B (zh) 一种图像显著性目标检测的方法
CN106203430A (zh) 一种基于前景聚集度和背景先验的显著性物体检测方法
CN107862698A (zh) 基于k均值聚类的光场前景分割方法及装置
CN103080979B (zh) 从照片合成肖像素描的***和方法
CN110853026A (zh) 一种融合深度学习与区域分割的遥感影像变化检测方法
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN103177446A (zh) 基于邻域和非邻域平滑先验的图像前景精准提取方法
CN106611422B (zh) 基于素描结构的随机梯度贝叶斯sar图像分割方法
CN104657980A (zh) 一种改进的基于Meanshift的多通道图像分割算法
CN107506792B (zh) 一种半监督的显著对象检测方法
CN111414954B (zh) 一种岩石图像检索方法及其***
CN110570435A (zh) 用于对车辆损伤图像进行损伤分割的方法及装置
CN106991686A (zh) 一种基于超像素光流场的水平集轮廓跟踪方法
CN108447068A (zh) 三元图自动生成方法及利用该三元图的前景提取方法
CN103942786B (zh) 无人机可见光和红外图像的自适应团块目标检测方法
CN103927759A (zh) 一种航空图像自动云检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant