CN105825511B - 一种基于深度学习的图片背景清晰度检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的图片背景清晰度检测方法，该方法是利用卷积神经网络(CNN)进行特征提取，利用CNN提取的特征有效地将图片按照其背景清晰程度进行分类；同时利用迁移学习的方法，用拥有大量已知标记的ImageNet图片集进行预训练，解决了样本图片集中已知背景清晰度值图片较少的缺陷，从而获得较好的CNN参数；进一步利用少量的已知背景清晰度值的样本图片，对参数进行调整，使CNN参数适应待检测图片集；得到调整好的CNN参数就可以进行待检测图片的背景清晰度检测。本发明的检测方法，使得背景清晰度检测能够达到高度的精确性。

Description

一种基于深度学习的图片背景清晰度检测方法

技术领域

本发明涉及一种基于深度学习的图片背景清晰度检测方法，主要关于机器学习中深度学习的应用，属于人工智能图片识别技术领域。

背景技术

深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示(属性类别或特征)，以发现数据的分布式特征表示。BP算法作为传统训练多层网络的典型算法，实际上对于仅含几层网络，该训练方法就已很不理想。深度结构(涉及多个非线性处理单元层)非凸目标代价函数中普遍存在的局部最小是训练困难的主要来源。

当前多数分类、回归等学习方法为浅层结构算法，其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。深度学习就是一种特征学习方法，把原始数据通过一些简单的但是非线性的模型转变成为更高层次的，更加抽象的表达。通过足够多的转换的组合，非常复杂的函数也可以被学习。深度学习的核心方面是，上述各层的特征都不是利用人工工程来设计的，而是使用一种通用的学习过程从数据中学到的。

Lecun等人提出的卷积神经网络(CNNs)是第一个真正多层结构学***的ILSVRC挑战赛中取得较好成绩的算法对比实验，验证这种结构的有效性。

卷积神经网络的训练过程，需要大量的已知标记的样本，如果含标记的样本量不够，就容易造成***的过度拟合。Jeff Donahue等人构建了Decaf框架，其思想就是首先在含有大量已知标记样本的图片集中进行预训练，调整卷积神经网络***的参数，利用迁移学习将整个***的参数迁移到要训练的图片集中，这样只需要少量的已知标记的样本，就能够得到准确的分类。

目前利用深度学习图片识别的种类有很多，例如手写字符，车牌号等，但是基于卷积神经网络的用法并没有开发完全，目前并没有人工智能识别图片中环境可见程度的好方法，图片背景的可见程度，即背景中事物的模糊程度，目前大部分图片识别的过程都是识别图片中的物体，往往忽略了其背景环境中有用的信息。本发明主要就是用于解决这个问题。识别图片背景的可见程度的实用性很大，比如利用本专利在现实中根据图片识别雾霾的等级,其应用前景很广阔。

发明内容

本发明所要解决的技术问题是：提供一种基于深度学习的图片背景清晰度检测方法，检测图片中背景清晰程度，即背景中事物的模糊程度，提取背景环境中有用的信息，为图片识别提供参考。

本发明为解决上述技术问题采用以下技术方案：

一种基于深度学习的图片背景清晰度检测方法，包括如下步骤：

步骤1，将图片库ImageNet中已知标记的图片以及未在图片库ImageNet中但已知背景清晰度值的样本图片，均转换成像素为256*256的灰度图片；

步骤2，对图片库ImageNet中转换后的灰度图片进行预训练，利用卷积神经网络提取所有灰度图片的特征并进行分类，计算损失函数，用随机梯度下降法调整卷积参数，使函数损失在预定范围内，得到初步调整后的卷积参数；

步骤3，对未在图片库ImageNet中但已知背景清晰度值的样本图片转换后的灰度图片，基于步骤2初步调整后的卷积参数，利用卷积神经网络提取特征并进行分类，得到其清晰度值，与实际清晰度值作对比，计算损失函数，用随机梯度下降法继续调整卷积参数，使函数损失在预定范围内，得到最终调整后的卷积参数；

步骤4，将待检测清晰度的图片转换成像素为256*256的灰度图片，基于步骤3最终调整后的卷积参数，利用卷积神经网络提取特征并进行分类，得到待检测清晰度图片的清晰度值。

作为本发明的一个优选方案，所述卷积神经网络包括依次由输入到输出的输入层、第一卷积层、第一向下采样层、第二卷积层、第二向下采样层、全连接层、输出层，且除输入层、输出层外，第一卷积层、第一向下采样层、第二卷积层、第二向下采样层、全连接层在卷积神经网络所在层数分别为1、2、3、4、5层。

作为本发明的一个优选方案，所述第一卷积层的卷积过程公式为：其中，l＝1，x^l表示经第一卷积层卷积后输出的像素点的值，表示输入层中第i行j列像素点的值，w为卷积参数，b为偏移量。

作为本发明的一个优选方案，所述第一向下采样层的向下采样过程公式为：其中，l＝2，x^l表示经第一向下采样层采样后输出的像素点的值，表示第一卷积层中第i行j列像素点的值，β为向下采样参数，b为偏移量。

作为本发明的一个优选方案，所述全连接层包括两次全连接过程，且全连接过程公式为：其中，第一次全连接时l＝5，第二次全连接时l＝6，x^l表示经全连接后输出的像素点的值，k表示像素点编号，第一次全连接时k＝1,…,576，第二次全连接时k＝1,…,50，为权重值。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明基于深度学习的图片背景清晰度检测方法，在样本图片不足的情况下，利用迁移学习的思想，首先在含有大量已知标记的ImageNet图片集中进行预训练，获得CNN参数，并进一步对CNN参数进行调整，使之适应待检测图片集，从而使待检测图片集的检测精确性更高。

2、本发明基于深度学习的图片背景清晰度检测方法，解决了图片中背景清晰程度检测的问题，对实际应用中如识别雾霾等级、空气质量等方面有很大的作用。

附图说明

图1是本发明基于深度学习的图片背景清晰度检测方法的整体架构图。

图2是本发明基于深度学习的图片背景清晰度检测方法的流程图。

图3是本发明中卷积神经网络的内部结构图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

由于给定的一张图片，其像素并不确定，而卷积神经网络中的输入图片像素要求是固定的，所以首先要对图片进行预处理，将其转换成相同像素的图片，并且已知对ImageNet训练的过程中是将图片全部转换成256*256像素的图片进行处理，故输入的图片像素也固定为256*256像素，待处理的图片像素大小不为256*256，则首先进行像素转换，将其转换成256*256像素的图片。由于图片的清晰程度与其颜色并没有很大的相关性，所以首先应将所有的图片转换成灰度的图片。本发明根据清晰度值将图片背景的清晰程度分为五个等级，分别为优、良、中、差、极差，以便更好的分析与测试。

本发明主要包括三个过程：预训练过程、调整过程和实际检测过程。预训练过程是用已知标记的图片集ImageNet进行训练，其目的是为了获得最初的CNN参数；调整过程是利用少量的已知背景清晰度值的样本图片，对CNN参数进行调整，使CNN参数适应待检测图片集；得到调整好的参数就可以进行待检测图片的检测。

卷积神经网络(Convolutional Neural Network，CNN)是本发明的核心技术，CNN是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。它包括卷积层(alternating convolutional layer)和向下采样层(pooling layer)。最初的几个阶段是由卷积层和向下采样层组成，卷积层的单元被组织在特征图中，在特征图中，每一个单元通过一组叫做滤波器的权值被连接到上一层的特征图的一个局部块，然后这个局部加权和被传给一个非线性函数，比如ReLU。在一个特征图中的全部单元享用相同的过滤器，不同层的特征图使用不同的过滤器。使用这种结构处于两方面的原因。首先，在数组数据中，比如图像数据，一个值的附近的值经常是高度相关的，可以形成比较容易被探测到的有区分性的局部特征。其次，不同位置局部统计特征不太相关的，也就是说，在一个地方出现的某个特征，也可能出现在别的地方，所以不同位置的单元可以共享权值以及可以探测相同的样本。在数学上，这种由一个特征图执行的过滤操作是一个离线的卷积，卷积神经网络也是这么得名来的。

卷积神经网络具有很好的特征提取的效果，通过卷积神经网络提取的特征能够很好的对目标对象分类。

在传统的机器学习的框架下，学习的任务就是在给定充分训练数据的基础上来学习一个分类模型；然后利用这个学习到的模型来对测试文档进行分类与预测。然而，我们看到机器学习算法在当前的Web挖掘研究中存在着一个关键的问题：一些新出现的领域中的大量训练数据非常难得到。

传统的机器学习需要对每个领域都标定大量训练数据，这将会耗费大量的人力与物力。而没有大量的标注数据，会使得很多与学习相关研究与应用无法开展。其次，传统的机器学习假设训练数据与测试数据服从相同的数据分布。然而，在许多情况下，这种同分布假设并不满足。通常可能发生的情况如训练数据过期。这往往需要我们去重新标注大量的训练数据以满足我们训练的需要，但标注新数据是非常昂贵的，需要大量的人力与物力。从另外一个角度上看，如果我们有了大量的、在不同分布下的训练数据，完全丢弃这些数据也是非常浪费的。如何合理的利用这些数据就是迁移学习主要解决的问题。迁移学习是运用已存有的知识对不同但相关领域问题进行求解的新的一种机器学习方法。

我们在迁移学习方面的工作目前可以分为以下三个部分：同构空间下基于实例的迁移学习，同构空间下基于特征的迁移学习与异构空间下的迁移学习。本发明中用到的迁移学习属于第二个部分，同构空间下基于特征的迁移学习。由于ImageNet与目标域具有共享的参数，所以只需要将CNN***中的参数进行迁移即可。

如图1、图2所示，本发明的具体操作过程如下：

1、图片的预处理：将ImageNet中的图片，以及已知标记的样本图片，都进行预处理，均转换成256*256像素的灰度图片。

2、预训练阶段：用ImageNet图片库进行预训练，输入256*256的像素的灰度图片，用CNN提取特征，并进行分类，计算其损失函数，用随机梯度下降法调整CNN中的参数。

3、调整阶段：用已知其背景清晰度值的图片作为输入图片，通过CNN提取特征并进行分类，得到其清晰度的值，与实际图片的清晰度值作对比，计算损失函数，用随机梯度下降法调整***参数。

4、实际检测阶段：首先未知其清晰程度的图片也要转换成256*256像素作为输入，用CNN进行提取特征并进行分类，最终得到其清晰程度的标签。

卷积神经网络的具体过程(参数数目可根据实际情况调整)：

本算法中的CNN共有5层，不包含输入输出层，每层都包含可训练参数(连接权重)。输入图像为256*256像素的大小。

1、输入层到Convolution 1层是一个卷积的过程，其做法是用4个9*9的滤波器与输入图片中的9*9的像素点相乘求和，即对输入图片中每个9*9大小的像素进行加权和，再加上一个偏移量，卷积中像素有重叠，每次计算后进行一个像素的滤波器平移，卷积过程公式如下：

其中，l表示层数(本层l＝1)，x表示某个像素点的值，i、j分别表示像素点所在的行、列数(本层中i的取值为1到9，本层中j的取值为1到9)，w为卷积参数，b为偏移量。

具体情况参见图3中的第二个框图，该图每个方块为一个像素，可见输入层每9*9的像素经过卷积过程，转换成Convolution1层的一个像素，滤波器每次的位移为一个像素。输入层的大小为256*256像素，有1张特征图，Convolution1层的大小是248*248，共有4张特征图。

2、Convolution 1层到Subsampling 2层是一个向下采样的过程，直接对该层中的4*4大小的像素的点进行一次求和后加权，再加上一个偏移量，该向下采样的过程没有重叠，向下采样过程的公式如下：

其中，l表示层数(本层l＝2)，x表示某个像素点的值，i、j分别表示像素点所在的行、列数(本层中i的取值为1到4，本层中j的取值为1到4)，β为向下采样参数，b为偏移量。

具体情况参见图3中的第三个框图，该图中每个方块为一个像素，可见Convolution 1层中的每4*4的像素经过向下采样转换成subsampling 2层的1个像素。Convolution 1层的大小为248*248，共有4张特征图，Subsampling2层的大小为62*62，共有4张特征图。

3、Subsampling 2层到Convolution3层的过程与第一次卷积的过程相同卷积滤波器的大小也是9*9，用16个录波器同时进行卷积。Subsampling2层的大小为62*62，共有4张特征图，Convolution3层的大小为54*54，共有16张特征图。

4、Convolution3层到Subsampling4层的过程与第一次向下取样的过程类似，不同点在于，对Convolution3层中每9*9大小的像素求和后加权，再加上一个偏移量，向下采样过程没有重叠。

i与j的取值都是1到9。Subsampling4层的大小为6*6，共有16张特征图。

5、16张6*6的特征图，一共有16*6*6个特征点，经过两层全连接变换，所谓全连接就是指每个输出单元都是由所有输入单元加权和得到，Subsampling4层共有16*6*6个单元，经过一次全连接到第5层转换成50个单元，5层的50个单元经过第二次全连接变换转换成最终的5个等级。全连接的公式如下：

其中，l表示层数(第一次全连接时l＝5，第二次全连接时l＝6)，x表示某个像素点的值，k表示像素点编号(第一次全连接时k＝1,…,576，第二次全连接时k＝1,…,50)，为权重值。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.一种基于深度学习的图片背景清晰度检测方法，其特征在于，包括如下步骤：

步骤1，将图片库ImageNet中已知标记的图片以及未在图片库ImageNet中但已知背景清晰度值的样本图片，均转换成像素为256*256的灰度图片；

步骤2，对图片库ImageNet中转换后的灰度图片进行预训练，利用卷积神经网络提取所有灰度图片的特征并进行分类，计算损失函数，用随机梯度下降法调整卷积参数，使函数损失在预定范围内，得到初步调整后的卷积参数；

步骤3，对未在图片库ImageNet中但已知背景清晰度值的样本图片转换后的灰度图片，基于步骤2初步调整后的卷积参数，利用卷积神经网络提取特征并进行分类，得到其清晰度值，与实际清晰度值作对比，计算损失函数，用随机梯度下降法继续调整卷积参数，使函数损失在预定范围内，得到最终调整后的卷积参数；

步骤4，将待检测清晰度的图片转换成像素为256*256的灰度图片，基于步骤3最终调整后的卷积参数，利用卷积神经网络提取特征并进行分类，得到待检测清晰度图片的清晰度值。

2.根据权利要求1所述基于深度学习的图片背景清晰度检测方法，其特征在于，所述卷积神经网络包括依次由输入到输出的输入层、第一卷积层、第一向下采样层、第二卷积层、第二向下采样层、全连接层、输出层，且除输入层、输出层外，第一卷积层、第一向下采样层、第二卷积层、第二向下采样层、全连接层在卷积神经网络所在层数分别为1、2、3、4、5层。

3.根据权利要求2所述基于深度学习的图片背景清晰度检测方法，其特征在于，所述第一卷积层的卷积过程公式为：

其中，l＝1，x^l表示经第一卷积层卷积后输出的像素点的值，表示输入层中第i行j列像素点的值，w为卷积参数，b为偏移量。

4.根据权利要求2所述基于深度学习的图片背景清晰度检测方法，其特征在于，所述第一向下采样层的向下采样过程公式为：

其中，l＝2，x^l表示经第一向下采样层采样后输出的像素点的值，表示第一卷积层中第i行j列像素点的值，β为向下采样参数，b为偏移量。

5.根据权利要求2所述基于深度学习的图片背景清晰度检测方法，其特征在于，所述全连接层包括两次全连接过程，且全连接过程公式为：

其中，第一次全连接时l＝5，第二次全连接时l＝6，x^l表示经全连接后输出的像素点的值，k表示像素点编号，第一次全连接时k＝1,…,576，第二次全连接时k＝1,…,50，为权重值。