CN105913427B - 一种基于机器学习的噪声图像显著性检测方法 - Google Patents

Abstract

本发明涉及一种基于机器学习的噪声图像显著性检测方法，包括以下步骤：1、对每个幅度的噪声图像分别采用多种去噪参数，获得每个幅度的最佳去噪参数；2、对每幅噪声图像使用噪声评估算法进行特征提取，获得噪声值特征，组成噪声值特征集；3、将噪声值特征集作为机器学习算法的特征集，并通过机器学习算法和五等分交叉验证方法，获得噪声幅度预测模型；4、采用噪声幅度预测模型对相应的噪声图像进行预测，获得预测噪声幅度值；5、采用每幅噪声图像的预测噪声幅度值和对应的最佳去噪参数进行去噪处理，获得去噪图像集；6、对去噪图像集中的图像使用显著性检测方法，获得最终的显著性图。该方法可提高显著性检测方法在噪声图像中的检测性能。

Description

一种基于机器学习的噪声图像显著性检测方法

技术领域

本发明涉及图像和视频处理以及计算机视觉技术领域，特别是一种基于机器学习的噪声图像显著性检测方法。

背景技术

人类感官主要包括视觉、嗅觉、味觉、听觉和触觉。人类依赖感官来接受外界传递的信息。视觉感官在人类的感官中占了很重要的地位。人类的视觉***能够在短时间内将注意力关注在图像中最为重要的部分，也就是人眼最为感兴趣的部分。随着多媒体时代的到来，各种数码产品的普及和网络时代数字化图像的传播，每天都产生和传递着大量的图像资源。海量的图像数据虽然丰富了生活，但也带来了不少挑战。

如何能够高效且准确的处理这些图像资源是一个很关键的问题。研究人员发现了人类视觉***的选择性注意机制后，试图让计算机模拟人类视觉***，从而提出了显著性检测方法。显著性检测已经应用到图像压缩与编码、图像检索、图像分割、目标识别和内容感知图像缩放等。如在图像压缩与编码中，首先检测出显著区域，然后对显著区域保留更多的细节，这样既压缩了图像，又能保留更多重要的细节。

视觉显著性检测已经得到了比较好的研究，然而大多数显著性检测模型是针对无失真图像提出的，并且实验数据是无失真图像集合。少数论文注意到了失真图像对显著性检测的影响。Zhang等人发现噪声、模糊和压缩改变了图像低层特征，提出了基于图像低层特征的自底向上的显著性检测模型。同时，Zhang等人发现图像质量失真会引起显著性图的变化，并且显著性图的改变和主观的图像质量评估之间存在一定的联系。Gide和 Karam在图像质量评估的眼动数据集上评估了5种显著性检测模型，被评估的失真类型包含模糊、噪声和JPEG压缩失真。Mittal等人对图像亮度和对比度等低层特征进行提取，并基于这些特征采用机器学习框架预测JPEG失真图像的显著性区域。Kim和 Milanfar针对噪声图像提出了基于非参数回归框架的显著性检测模型。

实际生活中的图像大多是带有失真的，如由相机传感器、图像处理器等外设造成的失真、拍照设备抖动造成的抖动失真和图像压缩失真等。为了提高显著性检测方法在噪声图像上的应用，本发明提出一种基于机器学习的噪声图像显著性检测方法。

发明内容

本发明的目的在于提供一种基于机器学习的噪声图像显著性检测方法，该方法可以提高显著性检测方法在噪声图像中的检测性能。

为实现上述目的，本发明的技术方案是：一种基于机器学习的噪声图像显著性检测方法，包括以下步骤：

步骤S1：对每个幅度的噪声图像分别采用多种去噪参数进行去噪处理，获得每个幅度相应的最佳去噪参数；

步骤S2：对每幅噪声图像使用噪声评估算法进行特征提取，获得每幅噪声图像的噪声值特征，以此组成噪声值特征集P；

步骤S3：将噪声值特征集P作为机器学习算法的特征集，并通过机器学习算法和五等分交叉验证方法，获得噪声图像的噪声幅度预测模型；

步骤S4：采用噪声幅度预测模型对相应的噪声图像进行预测，获得每幅噪声图像的预测噪声幅度值；

步骤S5：采用每幅噪声图像的预测噪声幅度值和该幅度对应的最佳去噪参数进行去噪处理，获得去噪图像集；

步骤S6：对去噪图像集中的图像使用显著性检测方法进行检测，获得最终的显著性图。

进一步地，所述步骤S1中，对每个幅度的噪声图像分别采用多种去噪参数进行去噪处理，获得每个幅度相应的最佳去噪参数，具体包括以下步骤：

步骤S11：使用n种高斯低通滤波去噪参数对每个幅度的噪声图像进行去噪处理，获得每个幅度含n种去噪参数的去噪后图像集合S；

步骤S12：对去噪后图像集合S使用显著性检测方法VA计算显著性图，获得去噪后图像的显著性图集合T；

步骤S13：使用评价指标PR-AUC对去噪后图像的显著性图集合T进行评估，针对每个幅度找出平均PR-AUC最高值时使用的去噪参数，得到每个幅度的最佳去噪参数。

进一步地，所述步骤S2中，对每幅噪声图像使用噪声评估算法进行特征提取，获得每幅噪声图像的噪声值特征，以此组成噪声值特征集P，具体包括以下步骤：

步骤S21：对噪声图像进行灰度化处理，得到灰度图像I；

步骤S22：使用双边滤波处理灰度图像I，得到双边滤波结果图；

步骤S23：计算灰度图像I和双边滤波结果图的差值，得到差值图像D；

步骤S24：对灰度图像I使用Canny边缘检测方法得到边缘图像E，对边缘图像E使用膨胀算子扩大边缘区域，得到扩大的边缘图像；

步骤S25：计算噪声大小评估值图像M，计算公式为：

，其中

其中，D _v 表示灰度图像中像素v的值，t表示像素点，表示扩大的边缘图像，N表示扩大的边缘图像中像素点t的值为0的集合；

步骤S26：将噪声大小评估值图像M均匀划分为3×3的网格区域，分别计算噪声大小评估值图像M全图及每个网格区域噪声大小评估值，计算公式为：

其中，M _r 表示相对应的区域，r=1, 2, …, 10分别表示全图和9个网格区域，M _r,v 表示在区域r中像素v的值；计算得到噪声值特征集P={P ₁, P ₂, …, P ₁₀}。

进一步地，所述步骤S3中，将噪声值特征集P作为机器学习算法的特征集，并通过机器学习算法和五等分交叉验证方法，获得噪声图像的噪声幅度预测模型，具体包括以下步骤：

步骤S31：将噪声值特征集P中特征值P ₁, P ₂, …, P ₁₀按从小到大顺序排列后，作为机器学习算法的特征集F，并将特征集F随机五等分为：F1、F2、F3、F4和F5；

步骤S32：将F2、F3、F4和F5作为机器学习的训练数据集，将其对应在图像质量评估数据库的图像失真幅度作为机器学习的训练标签，学习得到噪声幅度预测模型M1；

步骤S33：重复步骤S32，分别求出F1、F3、F4和F5作为训练数据集时的噪声幅度预测模型M2，F1、F2、F4和F5作为训练数据集时的噪声幅度预测模型M3，F1、F2、F3和F5作为训练数据集时的噪声幅度预测模型M4，F1、F2、F3和F4 作为训练数据集时的噪声幅度预测模型M5。

进一步地，所述步骤S4中，采用噪声幅度预测模型对相应的噪声图像进行预测，获得每幅噪声图像的预测噪声幅度值，具体包括以下步骤：

步骤S41：采用噪声幅度预测模型M1对特征集F1对应的图像集进行预测，求出噪声幅度值预测集合V1；

步骤S42：重复步骤S41的方法，分别采用噪声幅度预测模型M2、M3、M4、M5对特征集F2、F3、F4和F5对应的图像集预测，得到噪声幅度值预测集合V2、V3、V4、V5；

步骤S43：综合噪声幅度值预测集合V={V1、V2、V3、V4、V5}，得到完整的图像集的噪声幅度值预测集合V。

进一步地，所述步骤S5中，采用每幅噪声图像的预测噪声幅度值和该幅度对应的最佳去噪参数进行去噪处理，获得去噪图像集，具体包括以下步骤：

步骤S51：针对每幅噪声图像，从噪声幅度值预测集合V中找到该噪声图像对应的噪声幅度值；

步骤S52：根据噪声幅度值，采用相对应的最佳去噪参数对噪声图像使用高斯低通滤波处理，获得去噪图像集FI。

相较于现有技术，本发明的有益效果是：首先利用机器学习预测噪声图像的噪声幅度，然后使用适合该幅度的最佳去噪参数进行去噪处理，最后采用显著性检测方法计算去噪后图像的显著性图，由于本发明考虑到噪声图像对显著性检测方法的影响，因此能够有效的提高显著性检测方法在噪声图像上的检测性能，可应用于图像和视频处理、计算机视觉等诸多领域。

附图说明

图1是本发明方法的流程框图。

图2是本发明一实施例的步骤S2中的示例图片（为更好的显示效果，图2中的（d）、（g）和（h）的像素值被映射到[0,1]）。

图3是本发明一实施例的整体方法的实现流程图。

图4是本发明一实施例中原噪声图像和经过步骤S5和S6的最终效果示例图片。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细说明。

本发明提供一种基于机器学习的噪声图像显著性检测方法，如图1和图3所示，包括以下步骤：

步骤S1：对每个幅度的噪声图像分别采用多种去噪参数进行去噪处理，获得每个幅度相应的最佳去噪参数。在本实施例中，步骤S1具体包括以下步骤：

步骤S11：使用9种高斯低通滤波去噪参数（模板尺寸分别为{3×3, 5×5, 7×7}，标准差分别为{0.5, 0.7, 0.9}）对每个幅度的噪声图像进行去噪处理，获得每个幅度含9种去噪参数的去噪后图像集合S；

步骤S12：对去噪后图像集合S使用显著性检测方法VA（Saliency detection viaabsorbing markov chain）计算显著性图，获得去噪后图像的显著性图集合T；

步骤S13：使用评价指标PR-AUC（the area under precision-recall curve）对去噪后图像的显著性图集合T进行评估，针对每个幅度找出平均PR-AUC最高值时使用的去噪参数，得到每个幅度的最佳去噪参数。

步骤S2：对每幅噪声图像使用噪声评估算法进行特征提取，获得每幅噪声图像的噪声值特征，以此组成噪声值特征集P。在本实施例中，如图2所示，步骤S2具体包括以下步骤：

步骤S21：对噪声图像进行灰度化处理，得到灰度图像I（如图2(b)）；

步骤S22：使用双边滤波处理灰度图像I，得到双边滤波结果图（如图2(c)）；

步骤S23：计算灰度图像I和双边滤波结果图的差值，得到差值图像D（如图2(d)）；

步骤S24：对灰度图像I使用Canny边缘检测方法得到边缘图像E（如图2(e)），对边缘图像E使用膨胀算子扩大边缘区域，得到扩大的边缘图像（如图2(f)）；

步骤S25：计算噪声大小评估值图像M，计算公式为：

，其中

其中，D _v 表示灰度图像中像素v的值，t表示像素点，表示扩大的边缘图像，N表示扩大的边缘图像中像素点t的值为0的集合；

步骤S26：将噪声大小评估值图像M（如图2(g)）均匀划分为3×3的网格区域（如图2(h)），分别计算噪声大小评估值图像M全图及每个网格区域噪声大小评估值，计算公式为：

其中，M _r 表示相对应的区域，r=1, 2, …, 10分别表示全图和9个网格区域，M _r,v 表示在区域r中像素v的值；计算得到噪声值特征集P={P ₁, P ₂, …, P ₁₀}。

步骤S3：将噪声值特征集P作为机器学习算法的特征集，并通过机器学习算法和五等分交叉验证方法，获得噪声图像的噪声幅度预测模型。在本实施例中，步骤S3具体包括以下步骤：

步骤S31：将噪声值特征集P中特征值P ₁, P ₂, …, P ₁₀按从小到大顺序排列后，作为机器学习算法的特征集F，并将特征集F随机五等分为：F1、F2、F3、F4和F5；

步骤S32：将F2、F3、F4和F5作为机器学习的训练数据集，将其对应在图像质量评估数据库TID2013的图像失真幅度作为机器学习的训练标签，学习得到噪声幅度预测模型M1；

步骤S33：重复步骤S32，分别求出F1、F3、F4和F5作为训练数据集时的噪声幅度预测模型M2，F1、F2、F4和F5作为训练数据集时的噪声幅度预测模型M3，F1、F2、F3和F5作为训练数据集时的噪声幅度预测模型M4，F1、F2、F3和F4 作为训练数据集时的噪声幅度预测模型M5。

步骤S4：采用噪声幅度预测模型对相应的噪声图像进行预测，获得每幅噪声图像的预测噪声幅度值。在本实施例中，步骤S4具体包括以下步骤：

步骤S41：采用噪声幅度预测模型M1对特征集F1对应的图像集进行预测，求出噪声幅度值预测集合V1；

步骤S42：重复步骤S41的方法，分别采用噪声幅度预测模型M2、M3、M4、M5对特征集F2、F3、F4和F5对应的图像集预测，得到噪声幅度值预测集合V2、V3、V4、V5；

步骤S43：综合噪声幅度值预测集合V={V1、V2、V3、V4、V5}，得到完整的图像集的噪声幅度值预测集合V。

步骤S4：采用噪声幅度预测模型对相应的噪声图像进行预测，获得每幅噪声图像的预测噪声幅度值。具体包括以下步骤：

步骤S41：采用噪声幅度预测模型M1对特征集F1对应的图像集进行预测，求出噪声幅度值预测集合V1；

步骤S42：重复步骤S41的方法，分别采用噪声幅度预测模型M2、M3、M4、M5对特征集F2、F3、F4和F5对应的图像集预测，得到噪声幅度值预测集合V2、V3、V4、V5；

步骤S43：综合噪声幅度值预测集合V={V1、V2、V3、V4、V5}，得到完整的图像集的噪声幅度值预测集合V。

步骤S5：采用每幅噪声图像的预测噪声幅度值和该幅度对应的最佳去噪参数进行去噪处理，获得去噪图像集。在本实施例中，如图4所示，步骤S5具体包括以下步骤：

步骤S51：针对每幅噪声图像，从噪声幅度值预测集合V中找到该噪声图像对应的噪声幅度值；

步骤S52：根据噪声幅度值，采用相对应的最佳去噪参数对噪声图像使用高斯低通滤波处理，获得去噪图像集FI。

步骤S6：对去噪图像集FI中的图像使用显著性检测方法VA进行检测，获得最终的显著性图。

本发明提供的基于机器学习的噪声图像显著性检测方法，考虑到噪声图像对显著性检测方法的影响，挖掘噪声大小评估值特征与图像质量评估数据库TID2013中的噪声幅度的关联，设计得到机器学习噪声预测模型，并结合去噪方法和为该幅度设置的参数对图像进行去噪处理，最后采用显著性检测方法VA计算去噪后图像的显著性图。该方法能够有效的提高显著性检测方法在噪声图像上的检测性能，可应用于图像和视频处理、计算机视觉等领域。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (5)

1.一种基于机器学习的噪声图像显著性检测方法，其特征在于，包括以下步骤：

步骤S1：对每个幅度的噪声图像分别采用多种去噪参数进行去噪处理，获得每个幅度相应的最佳去噪参数；

步骤S2：对每幅噪声图像使用噪声评估算法进行特征提取，获得每幅噪声图像的噪声值特征，以此组成噪声值特征集P；

步骤S3：将噪声值特征集P作为机器学习算法的特征集，并通过机器学习算法和五等分交叉验证方法，获得噪声图像的噪声幅度预测模型；

步骤S4：采用噪声幅度预测模型对相应的噪声图像进行预测，获得每幅噪声图像的预测噪声幅度值；

步骤S5：采用每幅噪声图像的预测噪声幅度值和该幅度对应的最佳去噪参数进行去噪处理，获得去噪图像集；

步骤S6：对去噪图像集中的图像使用显著性检测方法进行检测，获得最终的显著性图；

所述步骤S2中，对每幅噪声图像使用噪声评估算法进行特征提取，获得每幅噪声图像的噪声值特征，以此组成噪声值特征集P，具体包括以下步骤：

步骤S21：对噪声图像进行灰度化处理，得到灰度图像I；

步骤S22：使用双边滤波处理灰度图像I，得到双边滤波结果图

步骤S23：计算灰度图像I和双边滤波结果图的差值，得到差值图像D；

步骤S24：对灰度图像I使用Canny边缘检测方法得到边缘图像E，对边缘图像E使用膨胀算子扩大边缘区域，得到扩大的边缘图像

步骤S25：计算噪声大小评估值图像M，计算公式为：

其中

其中，D_v表示灰度图像中像素v的值，t表示像素点，表示扩大的边缘图像，N表示扩大的边缘图像中像素点t的值为0的集合；

步骤S26：将噪声大小评估值图像M均匀划分为3×3的网格区域，分别计算噪声大小评估值图像M全图及每个网格区域噪声大小评估值，计算公式为：

$P_r=\underset{v\∈M_r}{\Σ}{M}_{r,v}$

其中，M_r表示相对应的区域，r＝1,2,…,10分别表示全图和9个网格区域，M_r,v表示在区域r中像素v的值；计算得到噪声值特征集P＝{P₁,P₂,…,P₁₀}。

2.根据权利要求1所述的一种基于机器学习的噪声图像显著性检测方法，其特征在于：所述步骤S1中，对每个幅度的噪声图像分别采用多种去噪参数进行去噪处理，获得每个幅度相应的最佳去噪参数，具体包括以下步骤：

步骤S11：使用n种高斯低通滤波去噪参数对每个幅度的噪声图像进行去噪处理，获得每个幅度含n种去噪参数的去噪后图像集合S；

步骤S12：对去噪后图像集合S使用显著性检测方法VA计算显著性图，获得去噪后图像的显著性图集合T；

步骤S13：使用评价指标PR-AUC对去噪后图像的显著性图集合T进行评估，针对每个幅度找出平均PR-AUC最高值时使用的去噪参数，得到每个幅度的最佳去噪参数。

3.根据权利要求1所述的一种基于机器学习的噪声图像显著性检测方法，其特征在于：所述步骤S3中，将噪声值特征集P作为机器学习算法的特征集，并通过机器学习算法和五等分交叉验证方法，获得噪声图像的噪声幅度预测模型，具体包括以下步骤：

步骤S31：将噪声值特征集P中特征值P₁,P₂,…,P₁₀按从小到大顺序排列后，作为机器学习算法的特征集F，并将特征集F随机五等分为：F1、F2、F3、F4和F5；

步骤S32：将F2、F3、F4和F5作为机器学习的训练数据集，将其对应在图像质量评估数据库的图像失真幅度作为机器学习的训练标签，学习得到噪声幅度预测模型M1；

步骤S33：重复步骤S32，分别求出F1、F3、F4和F5作为训练数据集时的噪声幅度预测模型M2，F1、F2、F4和F5作为训练数据集时的噪声幅度预测模型M3，F1、F2、F3和F5作为训练数据集时的噪声幅度预测模型M4，F1、F2、F3和F4作为训练数据集时的噪声幅度预测模型M5。

4.根据权利要求3所述的一种基于机器学习的噪声图像显著性检测方法，其特征在于：所述步骤S4中，采用噪声幅度预测模型对相应的噪声图像进行预测，获得每幅噪声图像的预测噪声幅度值，具体包括以下步骤：

步骤S41：采用噪声幅度预测模型M1对特征集F1对应的图像集进行预测，求出噪声幅度值预测集合V1；

步骤S42：重复步骤S41的方法，分别采用噪声幅度预测模型M2、M3、M4、M5对特征集F2、F3、F4和F5对应的图像集预测，得到噪声幅度值预测集合V2、V3、V4、V5；

步骤S43：综合噪声幅度值预测集合V＝{V1、V2、V3、V4、V5}，得到完整的图像集的噪声幅度值预测集合V。

5.根据权利要求4所述的一种基于机器学习的噪声图像显著性检测方法，其特征在于，所述步骤S5中，采用每幅噪声图像的预测噪声幅度值和该幅度对应的最佳去噪参数进行去噪处理，获得去噪图像集，具体包括以下步骤：

步骤S51：针对每幅噪声图像，从噪声幅度值预测集合V中找到该噪声图像对应的噪声幅度值；

步骤S52：根据噪声幅度值，采用相对应的最佳去噪参数对噪声图像使用高斯低通滤波处理，获得去噪图像集FI。