CN107292298B - 基于卷积神经网络和分类器模型的牛脸识别方法 - Google Patents

Abstract

本发明属于计算机视觉与智能识别技术领域，具体涉及基于卷积神经网络和分类器模型的牛脸识别方法。本发明中卷积神经网络最后一个隐藏层是含有32、64、128、256或者512个神经元的全连接层，用于提取特征，然后利用分类器模型，完成对奶牛个体的识别。同时实现了当有新增牛只时，只需采集该牛只的图像数据，将其输入卷积神经网络模型中，提取特征，追加到原有分类模型中即可进行识别，无需再次训练卷积神经网络模型。本发明优选64维特征提取层的卷积神经网络模型，利用稀疏表示分类模型，对30头奶牛随机挑选的训练数据24000张图片和测试数据6000张图片进行试验，结果表明该方法缩短了识别时间，单头牛只识别平均耗时缩短到了0.00022s，识别率高达99%以上。

Description

基于卷积神经网络和分类器模型的牛脸识别方法

技术领域

本发明属于计算机视觉与智能识别技术领域，涉及一种牛只个体识别技术，特别是涉及基于卷积神经网络和稀疏表示分类模型的牛脸识别方法。

背景技术

随着我国国民生活水平的提高，人们对牛肉制品和牛奶制品的需求量日益增大，同时对其品质的关注也不断加强，提高牛肉和牛奶的总产量及其品质已成为迫切需要。饲养业的发展须实现牛只养殖的智能化、规模化、自动化及标准化，因此以牛只个体体况为基础的数字化、精细化养殖成为现代牛只科学饲养的主要发展方向。

牛只个体识别作为智能化养殖管理和畜牧保险业的基础，目前多使用以下三种识别方法来识别牛只个体: a. 射频识别（Radio Frequency Identification, RFID）电子耳标，b. 传统的图像特征提取与分类识别，c. 基于卷积神经网络的牛只个体识别。

射频识别技术：是一项利用无线电频率资源通过电磁耦合实现的非接触自动识别技术，射频识别***通常由电子标签和阅读器组成。CN106874971A公开了一种基于RFID的牛只信息识别管理***及其方法，包括无源RFID耳标、RFID智能识读器，还包括终端计算机、位于所述终端计算机上的数据处理子***及移动终端。然而，使用RFID电子耳标进行牛只个体识别存在以下问题：一是生产、流通阶段的应用成本较高，造成RFID电子耳标产品价格过高，难以大规模使用；二是畜牧业生产中圈舍环境差异性较大，相关的RFID标准不统一，RFID的识别距离、识别精度等技术差异性较大；三是电子耳标需安装在牛只身体上，给牛只带来了伤害和痛苦；四是牛舍内存在干扰源，且电子耳标极易脱落或被人替换，导致识别***可靠性降低。

传统的图像特征提取与分类方法：因生物特征具有较强的稳定性和个体差异性，利用图像处理技术将其应用到动物个体识别中能有效的克服这些缺点。经研究表明，牛只背花图案及图案的分布各不相同且终生不变，可作为其个体识别的重要依据。但就目前国内牛只养殖场的现状来看，采用图像处理技术来识别牛只主要面临着两个难点：第一，采集到的牛只图像背景混乱，有杂草、墙体和泥土等，同时光照条件也各不相同。这些差异有可能使得不同牛只图像之间的差异小于相同牛只图像之间的差异。第二，采集图像时牛只目标在图片中的位置随机，姿势不固定，识别算法必须克服光线明暗、位移、仿射等变化。这些难点给牛只图像识别算法带来了非常大的挑战。目前已经有很多传统分类器，包括支持向量机、贝叶斯分类器、随机森林分类器等被用于图像识别。这些方法的特点是先利用典型的特征描述方法，如尺度不变特征变换(Scale-Invariant Feature Transform, SIFT)、加速鲁棒特征(Speeded Up Robust Feature, SURF)、方向梯度直方图(Histogram ofOriented Gradient, HOG)等对训练样本进行角点、边缘、纹理等特征提取，然后再对这些特征进行分类训练。然而，这些特征描述方法主要是由人工设计的，复杂场景下识别率较低，不能达到商业化产品的要求。

卷积神经网络(Convolutional Neural Network, CNN)方法：深度学***不高，且当养殖场奶牛增加时需重新训练神经网络用于奶牛个体识别。赵凯旋、何东健等用该方法从30头奶牛的360段视频中随机选取训练数据60000帧和测试数据21730帧，使用该方法得到单帧图像样本的识别率为90.55%，视频段样本的识别率为93.33%的结果。CN106778902A公开了一种基于深度卷积神经网络的奶牛个体识别方法，采用深度学习当中卷积神经网络提取特征，结合奶牛背花图案的纹理特征实现对奶牛个体的有效识别；该方法的步骤是：奶牛数据的采集、对训练集和测试集的预处理、设计卷积神经网络、训练卷积神经网络、生成识别模型、利用识别模型识别牛只个体；该方法利用光流法或帧间差分法提取奶牛躯干图像，并使用卷积神经网络提取特征，结合奶牛的纹理特征实现奶牛个体的有效识别，但该方法只适用于有明显背花图案的一类奶牛，而且在奶牛数量增加时，必须重新训练神经网络，同时由于该神经网络各层神经元个数较多，导致网络参数数量过多，容易发生过拟合现象，降低网络泛化能力。CN106778902A的发明人用该方法对20头奶牛中的第10头、第15头、第20头奶牛的数据集进行实验，其识别准确率分别为94.3%，97.1%和95.6%。

综上所述，现有牛只识别技术存在的主要问题有： 1. RFID电子耳标识别技术：识别范围有限，需在牛只身上安装电子标签，给牛只带来了伤害和痛苦，且电子标签易脱落或被人替换，降低了识别的准确性与可信度；2. 传统的图像特征提取与分类方法：在复杂环境下识别率较低。在养殖场环境下采集到的牛只图片背景杂乱、有遮挡情况发生且光照条件变化大、牛只姿势不固定，利用传统图像特征提取方法提取的关键点信息发生错误匹配的几率增大，精度不高，当数据量较大时，耗时较长，不能实现实时准确识别；3. 卷积神经网络技术：仅使用该技术识别牛只个体，在牛只增加的情况下，需重新训练卷积神经网络，耗费时间较长且训练期间神经网络不能使用。

发明内容

本发明的目的是针对现有牛只识别技术存在的问题，克服现有技术的不足，提供一种成本低、精度高、适用性强的养殖场环境下的基于卷积神经网络和分类器模型的牛脸识别方法，该方法采用深度学习当中卷积神经网络提取特征，再使用分类器进行识别，通过对牛脸的检测，实现对牛只个体的高效准确识别。

为实现上述目的，本发明采用的技术方案是：基于卷积神经网络和分类器模型的牛脸识别方法，其特征在于，采用深度学习当中卷积神经网络提取特征，结合分类器模型，通过对牛脸的识别，实现对牛只个体的身份识别，包括以下步骤：

S1. 采集所有待注册牛只牛脸数据，生成待注册牛只数据集，并按比例随机分为训练数据集和测试数据集；

S2. 设计卷积神经网络模型（Convolutional Neural Network,CNN），所述卷积神经网络模型CNN至少包括输入层、隐藏层和输出层，其中隐藏层最后一层是一个维度为2ⁿ的全连接层，作为特征提取层，其中n为5-9之间的整数；

S3. 训练卷积神经网络CNN，记录该网络模型参数λ；

S4. 将由步骤S1得到的所有待注册牛只牛脸数据输入到使用网络参数λ初始化的卷积神经网络模型CNN中，提取特征提取层的特征；

S5. 使用待注册牛只的特征提取层的特征，利用分类器模型，进行牛只注册；

S6. 利用步骤S5的分类器模型进行牛脸识别。

进一步，步骤S1具体为，使用固定位置的摄像头以视频方式收集所有需注册牛只数据，采集数据时调整摄像头位置使得视野宽度为3至4个牛脸宽度，视野高度为1.2至1.5个牛脸长度；从每头牛的所有图片数据中随机挑选3000至5000张图片，统一图片大小，形成待注册牛只数据集；将待注册牛只数据集中每头牛的样本图像按8:2的比例随机分为训练数据集和测试数据集，训练集数据与测试集数据无重叠。

进一步，步骤S2中，所述卷积神经网络模型CNN包括10层，其中第一层为输入层、第二层至第八层为隐藏层，第十层为输出层，各层结构如下：

第一层：输入层：以leveldb数据格式输入训练集的图片数据和每张图片的真实标签；

第二层：隐藏层：包含一个卷积层，一个激活函数层和一个池化层；

第三层：隐藏层：包含一个卷积层，一个激活函数层和一个池化层；

第四层：隐藏层：包含一个卷积层和一个激活函数层；

第五层：隐藏层：包含一个卷积层和一个激活函数层；

第六层：隐藏层：包含一个卷积层，一个激活函数层和一个池化层；

第七层：隐藏层：包含一个全连接层，一个激活函数层和一个dropout层；

第八层：隐藏层：包含一个全连接层，一个激活函数层和一个dropout层；

第九层：隐藏层：包含一个全连接层；

第十层：输出层：包含一个全连接层。

进一步，步骤S2中，所述n=6，即特征提取层共有64个神经元。

进一步，步骤S3 中，所述训练方法如下：利用步骤S1 所述训练数据集中的图像及其真实标签，训练卷积神经网络CNN，具体为：

S3.1. 使用高斯分布算法初始化卷积神经网络的所有权重项和使用固定常数初始化偏置项；

S3.2. 神经网络前向运算；

S3.3. 神经网络后向运算；

S3.4. 网络停止训练后，保存网络中的所有参数λ，包括权重参数和偏置参数。

进一步，步骤S5中所述分类器模型为稀疏表示分类模型（Sparse Representationbased Classification, SRC），低秩表示分类器模型(Low Rank RepresentationClassifier，LRRC)，逻辑回归分类器模型(Logistic Regression Classifier，LRC)，支持向量机分类器模型(Support Vector Machine，SVM)，贝叶斯分类器模型(BayesClassifier，BC)，决策树分类器模型(Decision Tree Classifier，DTC)和集成学习分类器模型中的一种。

进一步，步骤S5中所述分类器模型为稀疏表示分类（Sparse Representationbased Classification, SRC）模型，牛只注册的具体方法为：

将步骤S4提取的各标识号牛只的特征提取层的特征调整为一列，加入到稀疏表示分类模型字典中，该字典包含各个子字典，子字典即为每一头牛的所有图片的特征数据，子字典中每一列的原子即为每头牛每一幅图片的特征数据，每头牛有且仅有一个标识号；完成稀疏表示字典构造后，待注册牛只即完成注册，成为已注册牛只。

进一步，所述步骤S6具体包括以下步骤：

S6.1. 数据采集：按照步骤S1中采集数据的方式采集待识别牛只牛脸图像，采集数量不限，将采集图像的大小设置为与已注册牛只图像大小相同，形成待识别牛只数据；

S6.2. 提取待识别牛只牛脸图像特征：将待识别牛只牛脸数据输入到使用参数λ初始化的卷积神经网络模型CNN中，生成卷积神经网络模型CNN特征提取层的特征，提取此特征作为该头牛只的牛脸图像特征样本；

S6.3. 待识别牛只识别：利用S6.2得到的待识别牛只特征样本数据与S5得到的分类器模型，完成牛脸识别。

进一步，基于卷积神经网络和分类器模型的牛脸识别方法，可用于新增牛只牛脸识别，具体包括以下步骤：

SN1. 新增牛只牛脸数据采集：按照步骤S1中采集数据的方式采集新增牛只牛脸图像（新增牛只可能是新出生犊牛也可能是养殖场新采买的牛只），每头牛采集图像数量与S1中保持一致，将所采集的图像的大小设置为与已注册牛只图像大小相同，形成新增牛只数据集；

SN2. 提取新增牛只牛脸图像特征：将新增牛只牛脸数据输入到使用参数λ初始化的卷积神经网络模型CNN中，生成卷积神经网络模型CNN特征提取层的特征，提取此特征作为该头新增牛只的牛脸图像特征数据；

SN3. 新增牛只注册：将每头新增牛只每幅牛脸图像特征追加到原有分类器模型中，形成更新后的已注册牛只样本数据，完成注册；

SN4. 新增牛只识别：利用更新后的已注册牛只样本数据进行牛脸识别，向原有分类器模型中输入已注册牛只样本数据和待识别新牛只特征样本，完成新增牛只牛脸识别。

发明人通过对特征提取层5个不同维度进行对比试验，对比5个不同维度下牛脸识别的精度和耗时，以下数据是对5个不同的数据集进行5次试验求平均所得，数据集包含24000个训练样本和6000个测试样本，耗时仅为6000个测试样本的识别总时间，具体结果见表1：

表1中精度结果是`X±SD得到的数据。从以上结果可以看出，512维特征精度最高但耗时较长，64维特征精度次高、SD较小、比较稳定，且耗时较少，因此优选64作为特征提取层的维度，使得在牛群数量较多时也能完成实时识别，而特征维度越多其识别时间越长，将无法完成实时识别任务。

作为本发明的对比试验，发明人从相同测试环境共30头牛只图像数据集中每头牛随机挑选2张共60张图像作为注册牛只数据集，每头牛随机挑选8张共240张图像作为待识别牛只数据集，用SIFT匹配法进行5次试验，其平均识别准确率为40.92%，单头牛识别平均耗时12.8745s，同时对SIFT匹配法和本实施例卷积神经网络和稀疏表示分类（CNN_SRC）方法的识别准确率和耗时进行比较，比较结果如表2所示。表2数据是对5个不同的数据集进行5次实验求平均所得：

从表2的结果看，在牛只养殖场环境下采集到的图片数据背景杂乱、牛只姿势不固定、有遮挡情况发生且光照条件变化大，SIFT方法提取的关键点信息发生错误匹配的几率大大提高，且SIFT方法计算量大，当数据量较大时，耗时较长，不能实现实时识别。CNN_SRC方法在牛只场实际环境下仍具有较高的识别准确率，且实际应用时只需要提取特征，输入到稀疏表示分类模型中进行识别，大大减少识别时间，即使在养殖场牛群数量较大时，也能完成实时识别。

本发明的有益效果：

本发明与现有技术相比具有如下突出的实质性特点：

1、与RFID电子耳标识别技术相比：本发明利用图像处理技术对牛只个体进行识别，是一种无接触的动物个体识别手段，无需在牛只身上佩戴任何设备仪器；

2、与传统的图像特征提取与分类方法，如SIFT匹配法相比，本发明采用深度学习当中卷积神经网络提取特征，在图像识别中，具有良好的抗干扰能力，且对光线变化、前景遮挡有较高的鲁棒性，与传统的学习方法相比，使用卷积神经网络提取的图像特征更能刻画数据丰富的内在信息；

3、与传统的卷积神经网络识别牛只个体的方法相比，本发明最后一个隐藏层可为含有2^5-9个神经元的全连接层，可将原本较多的1024维特征向量或维度更高的特征向量集中成2^5-9维特征向量，大幅减少了特征向量的维度，从而大大减少了运算时间，同时又能保证其识别率不会大幅降低；

4、与单纯采用卷积神经网络识别牛只个体的方法比较而言，本发明为首次采用卷积神经网络对养殖场环境下的牛只个体图像进行特征提取并利用稀疏表示分类模型（CNN_SRC），通过对牛脸进行识别，完成对牛只个体的识别，实现了当有新增牛只时，只需采集该牛只的图像数据，将其输入到使用参数λ初始化的特征提取卷积神经网络模型CNN中，提取特征，追加到稀疏表示分类模型字典中即可进行识别，无需再次训练卷积神经网络模型，缩短了识别时间，单头牛只识别平均耗时缩短到了0.00022s；且极大地提高个体识别率，平均识别率可高达99%以上；同时降低对原始图片质量的要求。

与现有技术相比，本发明具有以下显著进步：

1、CNN_SRC方法在养殖场实际环境下仍具有较高的识别准确率，且实际应用时只需要提取特征，输入到稀疏表示分类模型中进行识别，大大减少了识别时间，即使在养殖场牛群数量较大时，也能完成实时识别；

2、本发明提出的基于卷积神经网络和稀疏表示分类模型的牛脸识别方法对每张图片只提取2^5-9维特征，大大减少了运算时间，可完成实时识别任务，在养殖场实际环境中识别率较高，同时可解决养殖场牛只增加后个体快速识别的问题，具有较高的实用价值；

3、本发明提出了一种基于图像处理的无接触、低成本、高精确度、适用性强的牛只养殖场环境下的牛脸识别方法。

附图说明

图1：牛脸识别流程图

具体实施方式

下面结合附图对本发明的技术方案进行详细说明，但本发明的内容并不局限于此。

实施例1：

本实施例基于卷积神经网络和稀疏表示分类模型对牛脸进行识别，如图1牛脸识别方法流程图所示，具体操作按如下步骤进行。

1. 采集牛只牛脸数据，生成训练数据集和测试数据集

如图1中SE01所示，在饮水器前安装一个云视安H3-X彩色CMOS摄像头，使摄像头传感器与站立在饮水器前饮水的牛只牛脸基本平行，调整摄像头位置使得视野宽度为3至4个牛脸宽度，视野高度为1.2至1.5个牛脸长度。在无雾、无霾的晴天8:00-17:00时段获取30头奶牛饮水期间的视频数据，摄像机24小时不间断采集数据，采集视频为PAL制式并保存在一台DS-7816N-K2硬盘录像机内（海康威视，杭州），帧率为25fps，分辨率为1280像素（水平）×720像素（垂直）。

将30头奶牛从1到30进行编号，从每头奶牛站在饮水器前开始到其离开饮水器为止，将视频数据按帧率截取成图片，同时将所有图片大小统一成320像素（水平）×180像素（垂直），形成图像数据集。每头牛都有自身的图像数据集，由于每头奶牛每天的饮水次数与饮水时停留在饮水器前的时间有差异，导致每头奶牛的图像数据集样本数量不同。为避免样本量差异对识别结果的影响，从每头奶牛的图像数据集中按照8:2的比例随机挑选800张图片作为每头牛的训练数据，200张图片作为每头牛的测试数据，训练数据集共有24000张图片，测试数据集共有6000张图片，训练数据与测试数据无重叠，生成训练数据集与测试数据集标签文件。使用caffe框架自带的脚本文件，将训练集数据、测试集数据、训练集与测试集的标签文件生成leveldb数据库，该数据库包含训练集与测试集的图像信息及每张图片的标签信息。

2. 卷积神经网络拓扑结构

如图1中SE02所示，设计卷积神经网络模型，包括1个输入层、8个隐藏层和1个输出层，各层的结构如下。

第一层：输入层：以leveldb数据格式输入训练集的图片数据和每张图片的真实标签，设定批处理大小为50，批处理大小的设定与计算机的显存有关，不同的显卡及显存大小设定值可变化，实验所用显卡为英伟达GeForce GTX1080。

第二层：隐藏层：包含一个卷积层，一个激活函数层和一个池化层。该卷积层共有32个神经元，卷积核大小为3*3，步长设定为2，卷积核与输入图片进行无重叠卷积运算，不进行边缘扩充。输入数据大小为[50,3,180,320]，其中50为批大小，3为通道数，输入图像是彩色图像，含有红、绿、蓝三个通道的数据，因此通道数为3,180是输入图像的高度，320是输入图像的宽度。经过卷积运算后输出数据大小为[50,32,89,159]其中50是批大小，32是通道数，有多少个神经元就会生成多少个通道特征图，89是特征图的宽度，159是特征图的长度。特征图的计算公式如公式（1）和（2）：

其中W₀和H₀为卷积层输入特征图的宽度和高度，W₁和H₁为卷积层输出特征图的宽度和高度，pad为边缘扩充值的大小，若未进行边缘扩充，则pad为0，kernel_size是卷积核尺寸大小，如卷积核大小为3*3，则kernel_size为3，若计算所得值不是整数，则向下取整。

输出特征图经过非线性激活函数relu函数处理，relu函数的计算公式为max(0,x)，使用relu函数可减少反向传播时误差梯度的计算量，同时可增加网络的稀疏行，减少参数的相互依存关系，缓解过拟合问题的发生。Relu层既不改变特征图大小也不改变特征图个数，因此激活函数层输入数据大小为[50,32,89,159]，输出数据大小仍为[50,32,89,159]。

池化层即为下采样层，设定池化窗口大小为3*3，池化步长为2，对图片进行无重叠的最大值池化操作，池化操作后特征图大小计算公式如公式（1）和公式（2）所示，池化操作只改变特征图大小，不改变特征图个数，因此池化层输入数据大小为[50,32,89,159]，输出数据大小为[50,32,44,79]。

第三层：隐藏层：包含一个卷积层，一个激活函数层和一个池化层。卷积层共有64个神经元，卷积核大小为5*5，步长设定为1，边缘扩充值为2，设置分组为2，即为将对应的输入通道与输出通道数进行2分组。输入数据大小为[50,32,44,79]，输出数据大小为[50,64,44,79]。输出特征图经非线性激活函数relu函数处理后进行池化操作，池化窗口大小为3*3，池化步长为2，对图片进行无重叠最大值池化，池化层输入数据大小为[50,64,44,79]，输出数据大小为[50,64,22,39]。

第四层：隐藏层：包含一个卷积层和一个激活函数层。卷积层共有128个神经元，卷积核大小为3*3，步长设定为1，边缘扩充值为1。输入数据大小为[50,64,22,39]，输出数据大小为[50,128,22,39]，输出特征图经relu函数激活处理。

第五层：隐藏层：包含一个卷积层和一个激活函数层。卷积层共有256个神经元，卷积核大小为3*3，步长设定为1，边缘扩充值为1，设置分组为2。输入数据大小为[50,128,22,39]，输出数据大小为[50,256,22,39]，输出特征图输入到relu函数中进行激活处理。

第六层：隐藏层：包含一个卷积层，一个激活函数层和一个池化层。卷积层共有384个神经元，卷积核大小为3*3，步长设定为1，边缘扩充值为1，设置分组为2。输入数据大小为[50,384,22,39]，输出数据大小为[50,384,22,39]。输出特征图经非线性激活函数relu函数处理后进行最大值池化操作，池化窗口大小为3*3，池化步长为2，池化层输入数据大小为[50,384,22,39]，输出数据大小为[50,384,11,19]。

第七层：隐藏层：包含一个全连接层，一个激活函数层和一个dropout层。全连接层共有512个神经元。输入数据大小为[50,384,11,19]，输出数据大小为[50,512]。输出特征图经非线性激活函数relu函数处理后进行dropout操作，丢弃数据概率设置为0.5，设置dropout层的主要作用是防止过拟合现象的出现，dropout层输入数据大小为[50,512]，输出数据大小为[50,512]。

第八层：隐藏层：包含一个全连接层，一个激活函数层和一个dropout层。全连接层共有1024个神经元。输入数据大小为[50,512]，输出数据大小为[50,1024]。输出特征图经非线性激活函数relu函数处理后进行dropout操作，丢弃数据概率设置为0.5，dropout层输入数据大小为[50,1024]，输出数据大小为[50,1024]。

第九层：隐藏层：仅包含一个全连接层，共有64个神经元。输入数据大小为[50,1024]，输出数据大小为[50,64]。加入该层后输出层的输入数据大小变为[50,64]，输出层的输出数据大小仍为[50,30]。

第十层：输出层：包含一个全连接层，全连接层共有30个神经元，输出层神经元的个数为待识别牛只的数量。输入数据大小为[50,1024]，输出数据大小为[50,30]。

3. 训练卷积神经网络模型，保存网络参数λ

如图1中SE03所示，利用步骤1所述训练数据集中的图像，训练卷积神经网络，训练过程中，以leveldb数据格式输入训练集的图片数据和每张图片的真实标签，并输出该图片的预测类别标签。利用卷积神经网络对牛脸图像的预测标签和数据集中真实标签的差异，通过反向梯度传播对网络中的参数λ（包括权重参数、偏置参数）进行调整，从而进行网络的学习。卷积神经网络具体训练步骤如下。

3.1 初始化步骤2中卷积神经网络的所有权重和偏置项，各层初始化方式如步骤2所述。

3.2神经网络前向运算

3.2.1将训练元组通过输入单元输入卷积神经网络

3.2.2计算隐藏层和输出层的每个单元的净输入和输出：

隐藏层和输出层的每个单元都有许多输入，这些输入连接上一层神经元的输出，每个连接都有一个权重。隐藏层和输出层每个神经元的净输入为连接该神经元的每个输入乘以其对应的权重，然后求和所得；将激活函数作用到隐藏层或输出层每个神经元的净输入，得到该神经元的输出。此处选用非线性relu函数作为激活函数。对于隐藏层的每个神经元，直到输出层，我们计算输出值，得到网络预测值。

3.3 神经网络后向运算

3.3.1计算输出层神经元预测值与真实值误差

3.3.2计算隐藏层神经元的误差

3.3.3更新权重和偏置项

使用随机梯度下降算法搜索权重集合，使得输入数据的神经网络预测值与真实值之间的均方距离最小，通过调整学习率及其策略避免陷入决策空间的局部极小，并帮助找到全局最小。采用均匀分步学习率策略，该策略下还需设定分步大小stepsize和学习率变化比率gamma，学习率参数策略与各参数可根据不同的数据集、数据大小做出相应的调整，学习率设置的过小，则学习进行的很慢，且容易陷入局部极小，学习率设置的过大，则会出现在不适当的解之间摆动。每次迭代学习率计算公式如公式（3）所示，其中iter为迭代步数：

3.3.4当前一次迭代所有权重的增量都太小，小于某个指定阈值或超过预先设定的迭代次数，停止卷积神经网络的训练，否则重复神经网络前向运算和后向运算即重复3.2和3.3的所有步骤。

3.4网络停止训练后，保存网络中的所有参数λ，包括权重参数和偏置参数。

4. 提取待注册牛只特征数据：

如图1中SE04所示，将步骤1所得待注册牛只数据集输入到使用参数λ初始化的CNN模型中，提取模型中64维特征提取层的特征，作为该头待注册牛只的特征数据。

5. 为待注册牛只构建稀疏表示分类模型字典：

如图1中SE05所示，使用步骤4中提取的各标识号牛只的64维特征，将该64维特征调整为一列，加入到稀疏表示分类模型字典中，该字典包含各个子字典，子字典即为每一头牛的所有图片的特征数据，子字典中每一列的原子即为每头牛每一幅图片的特征数据，每头牛有且仅有一个标识号。完成稀疏表示字典构造后，待注册牛只即完成注册，成为已注册牛只。

6. 获取待识别牛只牛脸图像

按照步骤1中采集数据的方式采集待识别牛只牛脸图像，将图像大小统一到与已注册牛只图像大小相同。

7. 提取待识别牛只牛脸图像特征

将待识别牛只牛脸数据输入到使用参数λ初始化的CNN模型中，提取模型中64维特征提取层的特征，作为该头待识别牛只的特征数据。

8. 利用稀疏表示模型进行牛脸识别。如图1中SE06所示。

8.1规范化稀疏表示字典D

输入已注册牛只稀疏表示字典和待识别牛只特征样本，首先根据公式（4）将稀疏表示字典D内的数据进行规范化，d_i为稀疏表示各子字典：

。

8.2计算稀疏表示系数

使用正交匹配追踪算法计算稀疏表示系数α，计算公式如公式（5）所示，其中x是待识别牛只特征样本，ε是设定的误差值：

。

8.3根据残差最小原则完成牛脸识别

根据公式（6）计算待识别牛只特征样本x与各稀疏表示子字典d_i的残差,其中为11.2步中求得的稀疏表示系数。根据残差最小原则完成识别，如公式（7）所示：

。

对30头牛只的所有训练集数据和测试集数据使用CNN_SRC方法进行实验，其中训练集数据量为24000张图片（800*30），测试集数据量为6000张图片（200*30），实验结果如表3所示，该实验结果是5次实验求平均所得。表3中总耗时是完成测试集所有牛只识别的时间，耗时只计算牛只识别时间，不包括网络训练时间：

表3的结果表明，本方法识别速度快，识别准确率高。

实施例2：

在实施例1的基础上，实现对新增牛只的识别，具体按照如下步骤操作：

SN1. 新增牛只牛脸数据采集：按照步骤S1中采集数据的方式采集新增牛只牛脸图像（新增牛只可能是新出生犊牛也可能是养殖场新采买的牛只），将图像大小统一到与已注册牛只图像大小相同，形成新增牛只数据集；

SN2. 提取新增牛只牛脸图像特征：将新增牛只牛脸数据输入到使用参数λ初始化的CNN模型中，提取CNN模型64维特征提取层的特征，作为该头新增牛只的牛脸图像特征数据；

SN3. 新增牛只注册：将新增牛只牛脸图像特征追加到实施例1步骤4所得稀疏表示分类模型字典D中，具体为将每头新增牛的每幅牛脸图像特征调整为一列，将该头牛的所有特征组成该头新增牛只的子字典d_n+1，对新增子字典进行规范化操作，追加到原有字典D中，新增牛只完成注册；

SN4. 新增牛只识别：利用稀疏表示分类模型进行牛脸识别，输入已注册牛只稀疏表示字典和待识别新牛只特征样本，根据残差最小原则，选择残差最小的识别结果，完成新增牛只牛脸识别。

随机选取25头牛只个体的训练集数据按照技术方案所述方法进行网络训练，记录CNN网络模型所有参数λ，提取牛只的训练数据特征组成稀疏表示字典D。另外5头牛只个体训练集数据不参与神经网络的训练过程，作为新增牛只数据，使用参数λ初始化的CNN网络模型提取新增牛只数据集特征，追加到稀疏表示分类模型字典D中。提取30头牛只所有测试集样本作为待识别牛只样本进行实验，实验结果如表4所示：

表4的数据显示，本实验向原有25头牛的数据集中增加了5头牛的数据集，增加图片数据量为1000，原有25头牛的数据集识别率是99.94%，增加数据集后识别率是99.72%，识别率略有降低，但仍然高于99%。实验结果表明：本实施例的基于卷积神经网络和稀疏表示分类模型的牛脸识别方法对每张图片只提取64维特征，大大减少了运算时间，可完成实时识别任务，在养殖场实际环境中识别率较高，同时在养殖场牛只增加比例较低的情况下，无需重新训练CNN网络，具有较高的实用价值。

以上所述，仅是本发明的较佳实施例，并非用以限制本发明的权利范围。任何以本申请专利范围所涵盖的权利范围实施的技术方案，或者任何熟悉本领域的技术人员，利用上述揭示的方法内容做出许多可能的变动和修饰的方案，均属于本发明的保护范围。

Claims (9)

1.基于卷积神经网络和分类器模型的牛脸识别方法，其特征在于，采用深度学习当中卷积神经网络提取特征，结合分类器模型，通过对牛脸的识别，实现对牛只个体的身份识别，包括以下步骤：

S1. 采集所有待注册牛只牛脸数据，生成待注册牛只数据集，并按比例随机分为训练数据集和测试数据集；

S2. 设计卷积神经网络模型，所述卷积神经网络模型至少包括输入层、隐藏层和输出层，其中隐藏层最后一层是一个维度为2ⁿ的全连接层，作为特征提取层，其中n为5-9之间的整数；

S3. 训练卷积神经网络，记录该网络模型参数λ；

S4. 将由步骤S1得到的所有待注册牛只牛脸数据输入到使用网络参数λ初始化的卷积神经网络模型中，提取特征提取层的特征；

S5. 使用待注册牛只的特征提取层的特征，利用分类器模型，进行牛只注册；

S6. 利用步骤S5的分类器模型进行牛脸识别。

2.如权利要求1所述基于卷积神经网络和分类器模型的牛脸识别方法，其特征在于，所述步骤S1具体为，使用固定位置的摄像头以视频方式收集所有需注册牛只数据，采集数据时调整摄像头位置使得视野宽度为3至4个牛脸宽度，视野高度为1.2至1.5个牛脸长度；从每头牛的所有图片数据中随机挑选3000至5000张图片，统一图片大小，形成待注册牛只数据集；将待注册牛只数据集中每头牛的样本图像按8:2的比例随机分为训练数据集和测试数据集，训练集数据与测试集数据无重叠。

3.如权利要求1所述基于卷积神经网络和分类器模型的牛脸识别方法，其特征在于，步骤S2中，所述卷积神经网络模型包括10层，其中第一层为输入层、第二层至第八层为隐藏层，第十层为输出层，各层结构如下：

第一层：输入层：以leveldb数据格式输入训练集的图片数据和每张图片的真实标签；

第二层：隐藏层：包含一个卷积层，一个激活函数层和一个池化层；

第三层：隐藏层：包含一个卷积层，一个激活函数层和一个池化层；

第四层：隐藏层：包含一个卷积层和一个激活函数层；

第五层：隐藏层：包含一个卷积层和一个激活函数层；

第六层：隐藏层：包含一个卷积层，一个激活函数层和一个池化层；

第七层：隐藏层：包含一个全连接层，一个激活函数层和一个dropout层；

第八层：隐藏层：包含一个全连接层，一个激活函数层和一个dropout层；

第九层：隐藏层：包含一个全连接层；

第十层：输出层：包含一个全连接层。

4.如权利要求1所述基于卷积神经网络和分类器模型的牛脸识别方法，其特征在于，步骤S2中，所述n=6，即特征提取层共有64个神经元。

5.如权利要求1所述基于卷积神经网络和分类器模型的牛脸识别方法，其特征在于，步骤S3 中，所述训练方法如下：利用步骤S1 所述训练数据集中的图像及其真实标签，训练卷积神经网络，具体为：

S3.1. 使用高斯分布算法初始化卷积神经网络的所有权重项和使用固定常数初始化偏置项；

S3.2. 神经网络前向运算；

S3.3. 神经网络后向运算；

S3.4. 网络停止训练后，保存网络中的所有参数λ，包括权重参数和偏置参数。

6.如权利要求1所述基于卷积神经网络和分类器模型的牛脸识别方法，其特征在于，步骤S5中，所述分类器模型为稀疏表示分类模型，低秩表示分类器模型，逻辑回归分类器模型，支持向量机分类器模型，贝叶斯分类器模型，决策树分类器模型和集成学习分类器模型中的一种。

7.如权利要求6所述基于卷积神经网络和分类器模型的牛脸识别方法，其特征在于，所述分类器模型为稀疏表示分类模型，用于牛只注册的具体方法为：

将步骤S4提取的各标识号牛只的特征提取层的特征调整为一列，加入到稀疏表示分类模型字典中，该字典包含各个子字典，子字典即为每一头牛的所有图片的特征数据，子字典中每一列的原子即为每头牛每一幅图片的特征数据，每头牛有且仅有一个标识号；完成稀疏表示字典构造后，待注册牛只即完成注册，成为已注册牛只。

8.如权利要求1所述基于卷积神经网络和分类器模型的牛脸识别方法，其特征在于，所述步骤S6具体包括以下步骤：

S6.1. 数据采集：按照步骤S1中采集数据的方式采集待识别牛只牛脸图像，采集数量不限，将采集图像的大小设置为与已注册牛只图像大小相同，形成待识别牛只数据；

S6.2. 提取待识别牛只牛脸图像特征：将待识别牛只牛脸数据输入到使用参数λ初始化的卷积神经网络模型中，生成卷积神经网络模型特征提取层的特征，提取此特征作为该头牛只的牛脸图像特征样本；

S6.3. 待识别牛只识别：利用S6.2得到的待识别牛只特征样本数据与S5得到的分类器模型，完成牛脸识别。

9.如权利要求1所述基于卷积神经网络和分类器模型的牛脸识别方法，其特征在于，所述，基于卷积神经网络和分类器模型的牛脸识别方法，可用于新增牛只牛脸识别，具体包括以下步骤：

SN1. 新增牛只牛脸数据采集：按照步骤S1中采集数据的方式采集新增牛只牛脸图像，每头牛采集图像数量与S1中保持一致，将所采集的图像的大小设置为与已注册牛只图像大小相同，形成新增牛只数据集；

SN2. 提取新增牛只牛脸图像特征：将新增牛只牛脸数据输入到使用参数λ初始化的卷积神经网络模型中，生成卷积神经网络模型特征提取层的特征，提取此特征作为该头新增牛只的牛脸图像特征数据；

SN3. 新增牛只注册：将每头新增牛只每幅牛脸图像特征追加到原有分类器模型中，形成更新后的已注册牛只样本数据，完成注册；

SN4. 新增牛只识别：利用更新后的已注册牛只样本数据进行牛脸识别，向原有分类器模型中输入已注册牛只样本数据和待识别新牛只特征样本，完成新增牛只牛脸识别。