CN110852978A - 一种用于显著图融合前的外点移除方法 - Google Patents

Abstract

本发明提供一种用于显著图融合前的外点移除方法及***，其中方法包括输入样本集，还包括以下步骤：使用RANSAC方法从输入的所述样本集中移除外点；生成并输出处理后的优化样本集。本发明用于在显著性融合前，移除集合中的外点，达到提高融合效果的目的，克服了样本集中存在外点会对最终的显著性检测结果造成很大影响的缺陷。

Description

一种用于显著图融合前的外点移除方法

技术领域

本发明涉及计算机视觉领域和图像处理领域，具体地说是一种用 于显著图融合前的外点移除方法。

背景技术

图像显著性检测旨在找出图像中最重要的部分，是计算机视觉领 域用来降低计算复杂度的重要的预处理步骤，在图像压缩、目标识别、 图像分割等领域有着广泛的应用。同时它又是计算机视觉中具有挑战 性的问题，这些方法各自有自己的优势和不足，即使是同一显著性检 测方法，对于不同的图片检测效果也是差异巨大的。为此能够融合多 种显著性检测方法的结果，已得到更优显著图的方法就显得尤为重要 了。有一些传统的显著图融合方法，他们多是对于多幅显著图进行简 单的加和平均或是简单相乘取平均这种显著图融合方式将各种显著图 同等对待，把各种显著性检测的权值设为同一数值，这在实际重视不 合理的，因为对于一幅图片甚至是每一个像素点，各种显著性检测方 法的检测效果都是不同，为此各显著性检测方法的权值也理应设置不 同。当前也存在着一些研究融合多幅显著图的方法，如Mai等人利用 条件随机场(CRF)来融合多幅显著图，得到了很好的效果，但是其 召回率方面效果并不能令人满意。

研究[L.Mai,Y.Niu,and F.Liu.Saliency Aggregation:A Data-DrivenApproach.IEEE Computer Society,CVPR 2013,page 1131-1138.]显示不 同提取方法的提取性能是不一样的，即使同一种提取方法对不同图像 的提取效果也是不一样的。然而，在没有基准二值标注的情况下，如 何判断显著图的提取效果，也就是如何在多个显著图中选择提取效果 好的显著图进行融合是一项非常困难的事情，研究非常少。

在没有基准二值标注的情况下，文献[Long M,Liu F.Comparing Salient ObjectDetection Results without Ground Truth[C].European Conference on ComputerVision.Springer International Publishing， 2014：76-91.]进行了多种显著图的融合。此项工作定义了6个评价好显 著图的标准：显著区域的覆盖度、显著图的紧密度、显著图直方图、 显著区域颜色的可分性、显著图分割质量和边界质量，根据这6条规 则对多个显著图进行排序，最后得到融合的显著图。此种方法计算量 大，处理过程较为繁琐。

申请号为CN106570851A的发明专利申请公开了一种基于加权分 配DS证据理论的显著图融合方法，解决多种显著性检测方法得到的 显著图的有效融合问题。首先，使用要融合的显著性检测方法生成各 自的显著图。其次，将得到的各显著图视为证据，根据得到的显著图 定义各显著检测方法所对应的识别框架与mass函数。然后，计算各证 据见得相似系数与相似矩阵，进而得到各证据的支持度与信任度。接 着以可信度为权重对mass函数值进行加权平均，得到一幅显著图。然 后使用D-S合成规则将加权平均证据合成得到另一幅显著图。最后， 将得到的两幅显著图再次加权求和得到最后的显著图。在该方法中采 用了mass函数进行加权平均，但是mass函数在D-S合成规则中应用， 可能会因为mass函数冲突度的大小变化影响合成的效果，造成最后的 显著图不清晰。

申请号为CN106780422A的发明申请公开了一种基于Choquet积 分的显著图融合方法，解决多种显著性检测方法得到的显著图的有效 融合问题。首先，使用要融合的显著性检测方法生成各自的显著图。 其次，计算各显著图间的相似系数和相似矩阵，进而得到各幅显著图 的被支持度与可信度。然后，将各显著图的可信度作为Choquet积分 中的模糊测度值。与此同时，对要融合的显著图进行像素级的排序， 将排序的离散显著值作为Choquet积分中的非负实值可测函数。最后， 计算Choquet积分值得到最后的显著图。该方法使用了Choquet积分 的方法进行显著图融合，工作量比较大，需要较多的计算，使用起来不是很方便。

在上面调研的各种融合方法中研究人员考虑的都是如何融合，然 而并没有研究考虑在融合前如何去除显著图中的外点，本发明就是要 解决显著图的融合前如何去除显著图中的外点问题，提高融合的效果。

发明内容

为了解决上述的技术问题，本发明提出一种用于显著图融合前的 外点移除方法及***，用于在显著性融合前，移除集合中的外点，到 提高融合效果的目的，克服样本存在外点会对最终的显著性检测结果 造成很大影响的缺陷。

本发明的第一目的是提供一种用于显著图融合前的外点移除方 法，包括输入样本集，其特征在于，还包括以下步骤：

步骤1：使用RANSAC方法从输入的所述样本集中移除外点；

步骤2：生成并输出处理后的优化样本集。

优选的是，所述RANSAC方法每次迭代的步骤如下：

步骤11：进行随机采样；

步骤12：进行一致性分析。

在上述任一方案中优选的是，所述步骤11包括随机从样本集 Ω(i₁，i₂，......，i_M)中抽取一部分样本

(j₁，j₂，......，j_n，......，j_N)(j_n，_1≤n≤N∈Ω)，其中，Ω表示样本空间， M表示样本的总数量，j_n表示抽取到的样本，n表示样本下标1≤n≤N， N表示抽取的样本数量。

在上述任一方案中优选的是，抽取出来的所述样本拟合出模型 Θ_P(j₁，j₂，......，j_N)。

在上述任一方案中优选的是，所述步骤12包括判断样本集 Ω(i₁，i₂，......，i_M)中每个样本点是否满足模型Θ_P(j₁，j₂，......，j_N)。

在上述任一方案中优选的是，所述步骤12还包括统计满足此模 型的样本数量N(Θ_P)。

在上述任一方案中优选的是，所述步骤12还包括依次迭代随机 采样和一致性分析步骤，并找到最优的模型Θ^*。

在上述任一方案中优选的是，所述最优的模型Θ^*满足：

Θ^*＝argmax{N(Θ₁)，N(Θ₂)，......，N(Θ_P)}。

在上述任一方案中优选的是，所述RANSAC方法需要的迭代次数 n满足：

其中，ε表示外点数量在样本集合中所占的比例；m表示采样步骤所 需的样本个数；p表示最优模型的概率。

本发明的第二目的是提供一种用于显著图融合前的外点移除系 统，包括用于输入样本集的样本获取模块，，包括以下模块：

外点移除模块：用于使用RANSAC方法从输入的所述样本集中移除外 点；

生成输出模块：用于生成并输出处理后的优化样本集。

优选的是，所述RANSAC方法每次迭代的步骤如下：

步骤11：进行随机采样；

步骤12：进行一致性分析。

在上述任一方案中优选的是，所述步骤11包括随机从样本集 Ω(i₁，i₂，......，i_M)中抽取一部分样本

(j₁，j₂，......，j_n，......，j_N)(j_{n，1≤n≤N}∈Ω)，其中，Ω表示样本空间， M表示样本的总数量，j_n表示抽取到的样本，n表示样本下标1≤n≤N， N表示抽取的样本数量。

在上述任一方案中优选的是，将抽取出来的所述样本拟合出模型 Θ_P(j₁，j₂，......，j_N)。

在上述任一方案中优选的是，所述步骤12包括判断样本集 Ω(i₁，i₂，......，i_M)中每个样本点是否满足模型Θ_P(j₁，j₂，......，j_N)。

在上述任一方案中优选的是，所述步骤12还包括统计满足此模 型的样本数量N(Θ_P)。

在上述任一方案中优选的是，所述步骤12还包括依次迭代随机 采样和一致性分析步骤，并找到最优的模型Θ^*。

在上述任一方案中优选的是，所述最优的模型Θ^*满足：

Θ^*＝argmax{N(Θ₁)，N(Θ₂)，......，N(Θ_P)}。

在上述任一方案中优选的是，所述RANSAC方法需要的迭代次数 n满足：

其中，ε表示外点数量在样本集合中所占的比例；m表示采样步骤所 需的样本个数；p表示最优模型的概率。

本发明提出了一种用于显著图融合前的外点移除方法，能够解决 显著图的融合前如何去除显著图中的外点问题，提高融合的效果。

RANSAC方法是指随机采样一致性分析方法，是一种能从样本集 中移除异常样本的非确定性模型估计方法。

附图说明

图1为按照本发明的用于显著图融合前的外点移除方法的一优选 实施例的流程图。

图2为按照本发明的用于显著图融合前的外点移除***的一优选 实施例的模块图。

图3为按照本发明的用于显著图融合前的外点移除方法的另一优 选实施例的移除过程流程图。

图4为按照本发明的用于显著图融合前的外点移除方法的基于 RANSAC方法的一实施例的显著性检测样本集筛选过程图。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步的阐述。

实施例一

如图1所示，执行步骤100，输入显著图样本集。

执行步骤110，使用RANSAC方法从输入的所述显著图样本集中移除 外点。所述RANSAC方法的每次迭代的步骤包括：执行步骤111，随 机从样本集Ω(i₁，i₂，......，i_M)中抽取一部分样本

(j₁，j₂，......，j_n，......，j_N)(j_n，_1≤n≤N∈Ω)，其中，Ω表示样本空间， M表示样本的总数量，jn表示抽取到的样本，n表示样本下标1≤n≤N， N表示抽取的样本数量，将抽取出来的所述样本拟合出模型 Θ_P(j₁，j₂，......，j_N)。执行步骤112，进行一致性分析。包括：判断 样本集Ω(i₁，i₂，......，i_M)中每个样本点是否满足模型

Θ_P(j₁，j₂，......，j_N)，统计满足此模型的样本数量N(Θ_P)。依次迭代 随机采样和一致性分析步骤，并找到最优的模型Θ^*，最优的模型Θ^*满 足：Θ^*＝argmax{N(Θ₁)，N(Θ₂)，......，N(Θ_P)}。

RANSAC方法需要的迭代次数n满足：

其中，ε表示外点数量在样本集合中所占的比例；m表示采样步骤所 需的样本个数；p表示最优模型的概率，p通常设为0.8，选择范围为 [0，1]。

执行步骤120，生成并输出处理后的优化样本集。

实施例二

如图2所示，一种用于显著图融合前的外点移除***，包括样本 获取模块100、外点移除模块200和生成输出模块300。

样本获取模块100：用于输入样本集。

外点移除模块200：用于使用RANSAC方法从输入的所述样本集中移 除外点。所述RANSAC方法每次迭代的步骤包括：步骤11：进行随 机采样。包括：随机从样本集Ω(i₁，i₂，......，i_M)中抽取一部分样本 (j₁，j₂，......，j_n，......，j_N)(j_{n，1≤n≤N}∈Ω)，其中，Ω表示样本空间， M表示样本的总数量，j_n表示抽取到的样本，n表示样本下标1≤n≤N， N表示抽取的样本数量，将抽取出来的所述样本拟合出模型 Θ_P(j₁，j₂，......，j_N)。步骤12：进行一致性分析。包括：判断样本集 Ω(i₁，i₂，......，i_M)中每个样本点是否满足模型Θ_P(j₁，j₂，......，j_N)， 统计满足此模型的样本数量N(Θ_P)。依次迭代随机采样和一致性分析 步骤，并找到最优的模型Θ^*，最最优的模型Θ^*满足：

Θ^*＝argmax{N(Θ₁)，N(Θ₂)，......，N(Θ_P)}。

RANSAC方法需要的迭代次数n满足：

其中，ε表示外点数量在样本集合中所占的比例；m表示采样步 骤所需的样本个数；p表示最优模型的概率，p通常设为0.8，选择范 围为[0，1]。

生成输出模块300：用于生成并输出处理后的优化样本集。

实施例三

在现有技术的各种融合方法中研究人员考虑的都是如何融合，然 而并没有研究考虑在融合前如何去除显著图中的外点，本发明就是要 解决显著图的融合前如何去除显著图中的外点问题，提高融合的效果。

在不同的显著性检测方法得到的显著图中，既有正确的显著性检 测结果(内点)，也有错误的显著性检测结果(外点)。在对多种显著 图进行融合过程中，如果样本集中存在外点，则对最终的显著性检测 结果造成很大影响。为此，在显著性融合前，需要移除集合中的外点。 本发明提出的一种用于显著图融合前的外点移除方法，能够达到提高 融合效果的目的。

随机采样一致性分析方法(RANSAC方法)是一种能从样本集中 移除异常样本的非确定性模型估计方法。其基本假设是样本集中既包 括正确的数据(符合模型的样本：内点)，也包括异常数据(不符合模 型的样本：外点)。这些外点通常是由估计模型存在参数过拟合、图像 椒盐噪声等因素造成。而RANSAC方法的有效移除异常数据特性非常 适合于显著性融合前的外点移除环节。本发明采用随机采样一致性分 析方法来移除外点。

RANSAC方法每次迭代的步骤如下：

第一步：随机采样

随机从样本集Ω(i₁，i₂，......，i_M)中抽取一部分样本 (j₁，j₂，......，j_n，......，j_N)(j_n，_1≤n≤N∈Ω)，其中，Ω表示样本空间， M表示样本的总数量，j_n表示抽取到的样本，n表示样本下标1≤n≤N， N表示抽取的样本数量，根据这些样本拟合出模型 Θ_P(j₁，j₂，......，j_N)。

第二步：一致性分析

判断样本集Ω(i₁，i₂，......，i_M)中每个样本点是否满足模型 Θ_P(j₁，j₂，......，j_N)，并统计满足此模型的样本数量N(Θ_P)。

依次迭代随机采样和一致性分析步骤，并找到最优的模型Θ^*，满 足

Θ^*＝argmax{N(Θ₁)，N(Θ₂)，......，N(Θ_P)}

RANSAC方法需要的迭代次数n满足

其中，ε表示外点数量在样本集合中所占的比例；m表示采样步 骤所需的样本个数；p表示最优模型的概率(通常设为0.8)。

实施例四

本实施例列举了一个基于RANSAC的显著性选择示例，该方法的 流程图如图3所示，依此方法，判断出内点集合和外点集合。接着利 用筛选出的内点联合估计最终的显著性。

执行步骤300，输入样本集。

执行步骤310，设置变量i∈[1，6]，并设定i的初始值为1。

执行步骤320，进行随机抽样，选择样本i，对显著性φ_i进行建模。

执行步骤330，根据抽样得到拟合的模型。

执行步骤340，计算满足拟合模型φ_i的样本数量N_i，并进行保存。

执行步骤350，设定i＝i+1。

执行步骤360，判断i是否大于6。如果i小于等于6，则重新执行步 骤320，进行随机抽样，选择样本i，对显著性φ_i进行建模。如果i大 于6，则执行步骤370，查找不同拟合模型下满足模型数量的最大值N^*， N^*＝max(N₁，N₂，N₃，N₄，N₅，N₆)。

执行步骤380，最大值N^*对应的模型就是最优显著性模型φ^*， φ^*＝max(φ₁，φ₂，φ₃，φ₄，φ₅，φ₆)。

上述方法的程序如下：

Algorithm 1.An example for RANSAC based Saliency Selection

1：for each i∈[1，6]do

2：Random Sample：Select the sample i to model the saliencyφ_i；

3：Consensus：Collect the samples Ω_i that satisfy the saliency modelφ_i；

4：Calculate the number of elements in this sample groupφ_i：Ni；

5：end for

6：Find the largest number：N^*＝max(N₁，N₂，N₃，N₄，N₅，N₆)；

7：Find the optimal saliency model：：

φ^*＝max(φ₁，φ₂，φ₃，φ₄，φ₅，φ₆)。

依此方法，判断出内点集合和外点集合。接着利用筛选出的内点集合 估计最终的显著性。

实施例五

在本实施例中举例说明显著性外点的移除过程。如图4所示，分 别采用如下六种显著性检测方法：GBVS、FT、CA、GC、HS和GBMR 来检测图中鸭子喙部区域像素点(i，j)的显著性概率。这六种方法得到 的显著性结果分别为{0.94，0.85，0.91，0.93，0.23，0.88}。随机选取一个 样本点S_{k，1≤k≤6}作为样本的显著性结果Ps，判断其他方法的显著值 S_{m，1≤m≤6，m≠k}是否满足|P_{m，1≤m≤6，m≠k}-P_I|≤δ，其中δ为预先设定 的RANSAC阈值。如果满足约束条件，则样本m满足这个显著性概 率模型，否则不满足此模型。比如，选择样本{S5}来拟合出模型的显 著性结果，显然其他五组样本{S₁，S₂，S₃，S₄，S₆}不满足此概率模型。而选 择样本{S₁}拟合出的显著性模型中，满足此约束条件的样本有：{S₂，S₃， S₄，S₆}。利用这种方法随机选择最小样本数量拟合出显著性概率模型， 并找到最优的显著性模型，使得满足此模型的样本点数量最多。

为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述， 但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做 的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施 例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似 的部分相互参见即可。对于***实施例而言，由于其与方法实施例基本对 应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种用于显著图融合前的外点移除方法，包括输入样本集，其特征在于，还包括以下步骤：

步骤1：使用RANSAC方法从输入的所述样本集中移除外点；

步骤2：生成并输出处理后的优化样本集。

2.如权利要求1所述的用于显著图融合前的外点移除方法，其特征在于，所述RANSAC方法每次迭代的步骤如下：

步骤11：进行随机采样；

步骤12：进行一致性分析。

3.如权利要求2所述的用于显著图融合前的外点移除方法，其特征在于，所述步骤11包括随机从样本集Ω(i₁，i₂，......，i_M)中抽取一部分样本(j₁，j₂，......，j_n，......，j_N)(j_{n，1≤n≤N}∈Ω)，其中，Ω表示样本空间，M表示样本的总数量，j_n表示抽取到的样本，n表示样本下标1≤n≤N，N表示抽取的样本数量。

4.如权利要求3所述的用于显著图融合前的外点移除方法，其特征在于，将抽取出来的所述样本拟合出模型Θ_P(j₁，j₂，......，j_N)。

5.如权利要求4所述的用于显著图融合前的外点移除方法，其特征在于，所述步骤12包括判断样本集Ω(i₁，i₂，......，i_M)中每个样本点是否满足模型Θ_P(j₁，j₂，......，j_N)。

6.如权利要求5所述的用于显著图融合前的外点移除方法，其特征在于，所述步骤12还包括统计满足此模型的样本数量N(Θ_P)。

7.如权利要求6所述的用于显著图融合前的外点移除方法，其特征在于，所述步骤12还包括依次迭代随机采样和一致性分析步骤，并找到最优的模型Θ^*。

8.如权利要求7所述的用于显著图融合前的外点移除方法，其特征在于，所述最优的模型Θ^*满足：

Θ^*＝argmax{N(Θ₁)，N(Θ₂)，......，N(Θ_P)}。

9.如权利要求2所述的用于显著图融合前的外点移除方法，其特征在于，所述RANSAC方法需要的迭代次数n满足：

其中，ε表示外点数量在样本集合中所占的比例；m表示采样步骤所需的样本个数；p表示最优模型的概率。

10.一种用于显著图融合前的外点移除***，包括用于输入样本集的样本获取模块，其特征在于，还包括以下模块：

外点移除模块：用于使用RANSAC方法从输入的所述样本集中移除外点；

生成输出模块：用于生成并输出处理后的优化样本集。

Images