CN109740679B - 一种基于卷积神经网络和朴素贝叶斯的目标识别方法 - Google Patents

Abstract

本发明涉及基于卷积神经网络和朴素贝叶斯的目标识别方法，属于图片处理与模式识别领域，其特征在于采用如下步骤：(1)确定训练集样本A中图片像素点平移和归一化后的坐标(x′，y′)，得到新的训练集A″；(2)训练卷积神经网络，更新连接权值ω_i；(3)提取特征向量X；(4)将特征向量X作为朴素贝叶斯模型的输入，建立朴素贝叶斯模型进行训练；(5)将测试集样本作为输入，送到组合网路中进行分类，得到分类结果。本发明所建立的基于卷积神经网络和朴素贝叶斯的目标识别方法用朴素贝叶斯替换了传统卷积神经网络中的Softmax分类器实现了分类预测，充分利用了卷积神经网络全连接层输出的特征向量的特征信息。通过多组数据实验可知该方法计算精确、可靠，数据结果相对稳定，为图片目标识别提供了在保证了分类准确的基础上的稳定识别方法。

Description

一种基于卷积神经网络和朴素贝叶斯的目标识别方法

技术领域

本发明涉及图片处理与模式识别领域，主要是一种对图片目标进行识别的方法。

背景技术

目前针对图片目标的识别问题，大多数技术无法完成较高的准确率，并且不稳定，鲁棒性较差。有些技术虽然可以达到较高的准确率，却需要经过一些复杂的预处理操作步骤。以手写数字识别为例，手写数字图片往往要进行扭曲变形来扩充训练集、模拟各种抖动操作来对图像进行预处理等操作，这样虽然可以达到较高的准确率，但是在一定程度上降低了实用性，而且不能满足稳定性要求。在经典的模式识别中，一般是事先提取特征，提取诸多特征后，要对这些特征进行相关性分析，找到最能代表字符的特征，去掉对分类无关的特征。然而，这些特征的提取过于依赖人的经验和主观意识，提取到的特征的不同分类性能影响很大，甚至提取的特征的顺序也会影响最后的分类性能。同时，图像预处理的好坏也会影响到提取的特征。

目前，图片目标中的数字识别技术往往与经济和商业相联系，投入使用的技术必须保证有较高的准确率，因为如果识别错误，即使是极小的错误，也可能会引发一系列的商业纠纷，甚至带来巨大的损失，造成无法挽回的结果。因此在研究和开发的过程中，为了避免一系列问题的出现，必须建立一种精确、可靠的手写数字识别模型，使得模型在对手写数字进行识别的时候，同时满足较高的准确率和较强的鲁棒性，达到经济和商业等领域中对手写数字识别的要求，从而节约时间、金钱，提高效率、节省成本。

发明内容

针对上述现有技术中存在的问题，本发明要解决的技术问题是提供一种精确、稳定的图片目标识别方法，其具体流程如图1所示。

技术方案实施步骤如下：

(1)确定训练集样本A中图片像素点平移和归一化后的坐标(x′，y′)，得到新的训练集A″：

根据样本集中图片像素点的原坐标(x₀，y₀)、平移操作后像素点横坐标的最大值x_max、最小值x_min,纵坐标的最大值y_max、最小值y_min，dx、dy分别代表像素点在x轴和y轴上移动的大小，确定训练样本集像素点的坐标：

(2)训练卷积神经网络，更新连接权值ω_i：

构建卷积神经网络，设置卷积神经网络的卷积层个数m、池化层个数n、卷积层卷积核大小(s₁，s₂，...，s_m)、池化层大小(t₁，t₂，...，t_n)、卷积层步长r₁、池化层步长r₂、全连接层神经元个数N、激活函数f以及迭代次数l。采用反向传播算法及BP算法对卷积神经网络中的连接权值ω_i进行更新：

其中，

为实际输出值，y_i为理想输出值，η为每次更新的步长，ω′_i为更新后的连接权值，J为神经网络的代价函数。

(3)提取特征向量X：

将卷积神经网络全连接层前边的卷积层和池化层交替连接的部分保留，去掉全连接层后面的Softmax层，将卷积神经网络的全连接层记为C。则卷积神经网络模型训练结束后，全连接层C的输出即为提取的特征向量X。

(4)将上一步骤得到的特征向量X作为朴素贝叶斯模型的输入，建立朴素贝叶斯模型进行训练，实现不同训练样本的分类。朴素贝叶斯法则如下：

其中C_i为类别，P(C_i|x_i)表示在具有x_i特征下被分为C_i的概率。

(5)将测试集样本作为输入，送到组合网路中进行分类，得到分类结果，完成基于卷积神经网络和朴素贝叶斯的图片目标识别。

本发明比现有技术具有的优点：

(1)本发明采用了将卷积神经网络与朴素贝叶斯组合的方式，用朴素贝叶斯替换了传统卷积神经网络中的Softmax分类器实现了分类预测，充分利用了卷积神经网络全连接层输出的特征向量的特征信息，提高了准确率。

(2)本发明不需要对图像进行复杂的预处理操作，在用卷积神经网络进行特征提取的时候，只需要对图像进行归一化操作，简化了繁琐的预处理流程。

(3)本发明对多组数据进行实验，实验结果与现有技术相比都取得了比较明显的优势，并且数据结果相对稳定。这说明本发明在保证了分类准确的基础上提高了模型的稳定性，能够更好的完成图片目标识别任务。

附图说明

为了更好地理解本发明，下面结合附图作进一步的说明。

图1是建立基于卷积神经网络和朴素贝叶斯的目标识别模型的步骤流程图；

图2是建立基于卷积神经网络和朴素贝叶斯的目标识别模型的算法流程图；

图3是手写数字图片MNIST数据集中的样例；

图4是简易的神经网络结构图；

图5是卷积神经网络的结构图；

图6是本发明的组合网路结构示意图；

图7是多种模型实验结果对比；

图8是多组仿真实验结果对比；

具体实施方案

下面通过实施案例对本发明作进一步详细说明。

以手写数字识别为例，选用的数据集是MNIST公开数据集，MNIST数据集中的样例如图3所示，该数据集是由Google实验室的Corinna Cortes和纽约大学柯朗研究所的YannLeCun建立的一个手写数字数据库。将图2所示的手写数字图片作为原始的手写数字图片数据集，一部分标记为训练集，一部分标记为测试集，共有60000个训练样本集和10000个测试样本集。图片大小均为28X28。

本发明所提供的手写数字识别方法整体流程如图1所示，具体步骤如下：

(1)确定训练集样本A中图片像素点平移和归一化后的坐标(x′，y′)，得到新的训练集A′：

根据样本集中图片像素点的原坐标(x₀，y₀)、平移操作后像素点的最大值x_max、最小值x_min,确定训练样本集像素点的坐标：

(2)训练卷积神经网络，更新连接权值ω_i：

构建卷积神经网络，设置卷积神经网络的卷积层个数m为2、池化层个数n为2、卷积层卷积核个数为32和64、池化层核个数为32和32、卷积层步长r₁为1、池化层步长r₂为2、全连接层神经元个数N为200、激活函数f(x)采用ReLu函数以及迭代次数l为30。采用反向传播算法及BP算法对卷积神经网络中的连接权值ω_i进行更新：

f(x)＝max(0，x)

其中，

为实际输出值，y_i为理想输出值，η为每次更新的步长。

(3)提取特征向量X：

将卷积神经网络全连接层前边的卷积层和池化层交替连接的部分保留，去掉全连接层后面的Softmax层，将卷积神经网络的全连接层记为C。模型训练结束后，全连接层C的输出即为提取的特征向量X。

(4)将上一步骤得到的特征向量X作为朴素贝叶斯模型的输入，建立朴素贝叶斯模型进行训练，实现不同训练样本的分类。朴素贝叶斯法则如下：

其中C_i为类别0、1、2、3、4、5、6、7、8、9，P(C_i|x_i)表示在具有x_i特征下被分为这10种类别的概率。

(5)将测试集样本作为输入，送到组合网路中进行分类，得到分类结果，完成基于卷积神经网络和朴素贝叶斯的手写数字识别。

为了验证本发明对图片目标识别的准确性，对本发明进行了多组手写数字识别仿真实验，并将结果与一些识别手写数字的模型算法进行了对比，仿真结果如表1和表2所示。由仿真结果可以看出，本发明所建立的手写数字识别方法不用经过复杂的预处理就能达到较高的准确率，并且在保证不降低准确率的情况下，具有较好的稳定性。

表1多种模型实验结果对比

实验方法	识别准确率(％)
		基于卷积神经网络的手写数字识别	99.20
Maxout network	99.55
		基于卷积神经网络和支持向量机的手写数字识别	99.60
本发明	99.80

由仿真结果表1可知，在使用同样数据集的情况下，本发明通过简单的图片像素归一化预处理以后，识别准确率可以达到99.8％。与其他三种方法相比，具有更高的准确率。这表明本发明建立的目标识别方法是精确的，为建立精确的图片目标识别模型提供了有效的方法，更适用于实际中使用。

表2多组仿真实验对比

序号	识别准确率(％)
		1	99.70
2	99.77
		3	99.75
4	99.82
		5	99.85

由仿真结果表2可知，在用同一数据集进行多组实验后，识别准确率在99.7％-99.9％之间，波动范围仅为0.2％，这表明本发明建立的目标识别方法在保持较高准确率的基础上，具有较高的稳定性，可以满足多数场景下的手写数字识别。本发明所采用的方法是精确的、可靠的，为建立精确的图片目标识别模型提供了可靠的方法。

Claims (1)

1.一种基于卷积神经网络和朴素贝叶斯的目标识别方法，其具体识别步骤如下：

(1)确定训练集样本A中图片像素点平移和归一化后的坐标(x′，y′)，得到新的训练集A″；

根据样本集中图片像素点的原坐标(x₀，y₀)、平移操作后像素点横坐标的最大值x_max、最小值x_min,纵坐标的最大值y_max、最小值y_min，dx、dy分别代表像素点在x轴和y轴上移动的大小，确定训练样本集像素点的坐标；

(2)训练卷积神经网络，更新连接权值ω_i；

构建卷积神经网络，设置卷积神经网络的卷积层个数m、池化层个数n、卷积层卷积核大小(s₁，s₂，...，s_m)、池化层大小(t₁，t₂，...，t_n)、卷积层步长r₁、池化层步长r₂、全连接层神经元个数N、激活函数f以及迭代次数l，采用反向传播算法及BP算法对卷积神经网络中的连接权值ω_i进行更新；

其中，

为实际输出值，y_i为理想输出值，η为每次更新的步长，ω_i'为更新后的连接权值，J为神经网络的代价函数；

(3)提取特征向量X；

将卷积神经网络全连接层前边的卷积层和池化层交替连接的部分保留，去掉全连接层后面的Softmax层，将卷积神经网络的全连接层记为C，则卷积神经网络模型训练结束后，全连接层C的输出即为提取的特征向量X；

(4)将上一步骤得到的特征向量X作为朴素贝叶斯模型的输入，建立朴素贝叶斯模型进行训练，实现不同训练样本的分类，朴素贝叶斯法则如下；

其中C_i为类别，P(C_i|x_i)表示在具有x_i特征下被分为C_i的概率；

(5)将测试集样本作为输入，送到组合网路中进行分类，得到分类结果，完成基于卷积神经网络和朴素贝叶斯的图片目标识别。

Images