CN110008947B - 一种基于卷积神经网络的粮仓粮食数量监测方法及装置 - Google Patents

Abstract

本发明涉及一种基于卷积神经网络的粮仓粮食数量监测方法及装置，先采集粮面图像，然后将粮面图像输入到搭建好的基于卷积神经网络的仓内图像分割模型中，识别出粮面以及参考线，最后计算粮面图像中的粮面以及参考线之间的面积，并计算与预设的面积之间的误差，得到误差值，若误差值大于设定的误差阈值，则判定粮仓粮食数量发生变化。该方法是一个利用图像处理技术自动监测粮食数量变化的监测方法。该方法的监测精度和可靠性较高，能够有效推动粮库智能化升级改造进程。另外，采用该方法还可以结合基于红外激光扫描的检测方法，当发现粮面变化时，即可使用红外激光扫描器进行整仓扫描，获取准确的粮食体积，从而延缓红外激光的寿命。

Description

一种基于卷积神经网络的粮仓粮食数量监测方法及装置

技术领域

本发明涉及一种基于卷积神经网络的粮仓粮食数量监测方法及装置。

背景技术

目前粮食库存检查通常采用直接测量方法，不仅耗时费力，而且容易受到主观因素干扰。近年来，相关科研人员提出了一些先进的测量法，以提升粮食数量检测的精度和智能化，如基于压力传感器的粮食库存检查方法、基于红外激光扫描的粮食库存检查方法、基于雷达探测的粮食库存检查方法和基于超声波的粮食库存检查方法等。相对于传统的人工粮食库存检查方法，上述方法不仅提升了清仓查库的效率和检测精度，还降低了清仓查库的费用。但除了上述的优势外，这些方法也存在着一些不足，如：基于压力传感器的方法对传感器的布设要求较高，传感器的灵敏度也会随着时间逐渐退化；而基于红外激光扫描的方法，由于红外激光器寿命限制，不能长时间使用，此外，采用一般的激光扫描器精确扫描一次粮仓时间开销比较大；而基于雷达探测和基于超声波的方法局限于圆筒仓，不适用于其它如高大平房仓的仓型的粮食数量检测，检测可靠性较差。此外，将上述方法部署于粮库的成本较高且不易维护。

发明内容

本发明的目的是提供一种基于卷积神经网络的粮仓粮食数量监测方法，用以解决现有的粮仓粮食数量监测方法的可靠性较差的问题。本发明还提供一种基于卷积神经网络的粮仓粮食数量监测装置，用以解决现有的粮仓粮食数量监测方式的可靠性较差的问题。

为实现上述目的，本发明的方案包括：

一种基于卷积神经网络的粮仓粮食数量监测方法，包括以下步骤：

(1)采集粮面图像；所述粮面图像包括粮面以及粮面上方的参考线；

(2)将所述粮面图像输入到搭建好的基于卷积神经网络的仓内图像分割模型中，识别出粮面以及参考线；

(3)计算所述粮面图像中的粮面与参考线之间的面积，并计算与预设的面积之间的误差，得到误差值，若所述误差值大于设定的误差阈值，则判定粮仓粮食数量发生变化。

本方案利用基于卷积神经网络的仓内图像分割模型进行粮仓粮食数量的自动监测，采用图像处理的方式对采集到的粮面图像进行处理，最终处理得到粮仓粮食数量是否发生变化，该方法是一个利用粮面图像结合基于卷积神经网络的图像处理技术进行自动监测粮食数量变化的监测方法，实现基于计算机视觉的粮食数量安全监测功能。相对于现有的监测方法，该方法不需要投入太多的专业设备，只需要投入图像采集和处理设备即可，然后对图像进行处理就能够实现自动监测，成本低，部署简单。并且，该方法只需检测出粮面图像，通过处理之后就能够得到粮仓粮食数量是否发生变化，具有检测速度快，能源消耗低的优点。因此，该方法的监测精度和可靠性较高，能够有效推动粮库智能化升级改造进程。另外，采用该方法还可以结合基于红外激光扫描的检测方法，当发现粮面变化时，即可使用红外激光扫描器进行整仓扫描，获取准确的粮食体积，从而延缓红外激光的寿命。

进一步地，为了提高粮仓粮食数量监测可靠性，所述仓内图像分割模型的搭建过程包括：采集粮面样本图像，对粮面样本图像中的粮面以及参考线进行标记，生成训练集；搭建卷积神经网络模型，将训练集输入到卷积神经网络模型进行训练，得到仓内图像分割模型。

进一步地，为了提高仓内图像分割模型的可靠性，所述仓内图像分割模型的搭建过程中，在对粮面样本图像中的粮面以及参考线进行标记后，采用图像集增强的方式生成更大规模的训练集。

进一步地，为了提高粮面以及参考线的识别准确性，步骤(2)中，识别出粮面图像中的粮面以及参考线的过程包括：将粮面图像缩放到与训练集对应的图像的大小，使用得到的仓内图像分割模型对粮面图像进行分割，获取初始的粮面以及参考线；然后，对获取到的初始的粮面以及参考线分别进行膨胀；最后，对粮面以及参考线分别进行细化，识别得到粮面以及参考线。

进一步地，为了提高粮面以及参考线的识别准确性，对获取到的初始的粮面以及参考线分别进行膨胀后，分别使用一个宽度等于训练集对应图像宽度的矩形框覆盖膨胀后的粮面以及参考线，使用GrabCut算法或全连接CRF算法分别对粮面以及参考线进行细化。

进一步地，为了降低识别误差，使用得到的仓内图像分割模型对粮面图像进行分割后，利用粮面在装粮线的下方的先验信息，去除错分的区域。

进一步地，所述参考线为装粮线，对所述参考线进行细化后，得到装粮线的上边界。以装粮线的上边界为参考能够防止装粮线部分被粮食掩盖而无法准确监测粮面的变化。

进一步地，为了提高粮面与参考线之间的面积的计算准确性，实现所述计算所述粮面图像中的粮面与参考线之间的面积的过程包括：计算粮面的每一个像素点到装粮线的上边界之间的垂直距离，根据各个垂直距离计算得到粮面与装粮线的上边界之间的面积。

本发明还提供一种基于卷积神经网络的粮仓粮食数量监测装置，包括存储器、处理器以及存储在所述存储器中并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现的处理过程包括：

(1)采集粮面图像；所述粮面图像包括粮面以及粮面上方的参考线；

(2)将所述粮面图像输入到搭建好的基于卷积神经网络的仓内图像分割模型中，识别出粮面以及参考线；

(3)计算所述粮面图像中的粮面与参考线之间的面积，并计算与预设的面积之间的误差，得到误差值，若所述误差值大于设定的误差阈值，则判定粮仓粮食数量发生变化。

本方案利用基于卷积神经网络的仓内图像分割模型进行粮仓粮食数量变化的自动监测，采用图像处理的方式对采集到的粮面图像进行处理，最终处理得到粮仓粮食数量是否发生变化，该装置对应的监测方法是一个利用粮面图像结合基于卷积神经网络的图像处理技术进行自动监测粮食数量变化的自动监测方法，实现基于计算机视觉的粮食数量安全监测功能。相对于现有的方法，该方法不需要投入太多的专业设备，只需要投入图像采集和处理设备即可，然后对图像进行处理就能够实现自动监测，成本低且部署方便。并且，只需检测出粮面图像，通过处理之后就能够判定粮仓粮食数量是否发生变化，具有检测速度快，能源消耗低的优点。因此，该装置对应的监测方法的监测精度和可靠性较高，能够有效推动粮库智能化升级改造进程。另外，还可以结合基于红外激光扫描的检测方法，当发现粮面变化时，即可使用红外激光扫描器进行整仓扫描，获取准确的粮食体积，从而延缓红外激光的寿命。

进一步地，为了提高粮仓粮食数量监测可靠性，所述仓内图像分割模型的搭建过程包括：采集粮面样本图像，对粮面样本图像中的粮面以及参考线进行标记，生成训练集；搭建卷积神经网络模型，将训练集输入到卷积神经网络模型进行训练，得到仓内图像分割模型。

附图说明

图1是本发明提供的基于卷积神经网络的粮仓粮食数量监测方法的监测框架示意图；

图2是本发明提供的基于卷积神经网络的粮仓粮食数量监测方法的监测流程图；

图3是装粮线上边界拟合及粮面之间的面积计算示意图；

其中，①为装粮线，②为粮面，③为出粮口。

具体实施方式

下面结合附图对本发明做进一步详细的说明。

图1是本发明提供的基于卷积神经网络的粮仓粮食数量监测方法的监测框架示意图，如图1所示，包括摄像机C、装粮线①、粮面②和出粮口③。装粮线①分布在粮仓四周。其中，摄像机C用来获取粮仓出粮口③处包含装粮线①和粮面②的图像。当然，作为其他的实施方式，装粮线可以替换为其他的参考线(或者称为标识物)，例如：可以替换为在装粮线的上方或者下方设置的标记线，一般情况下与装粮线的距离相差不远，另外，也可以根据监测需要，替换为在其他相应位置设置的标记线。若采用标记线，则将后续叙述中的装粮线全部替换为标记线即可，其涉及的方法、步骤是一致的。其中，装粮线和标记线都属于参考线，用于在计算粮面的整体高度时提供参考。

为使摄像机每次在指定位置拍摄图像，设定摄像机云台参数，预设摄像机拍摄的水平角、垂直角、光圈等参数，使摄像机对准出粮口处，保证所拍摄的图像尽可能覆盖出粮口的粮面信息，若检测四个出粮口则需要设置四套参数，同时也可考虑所拍摄的图像覆盖整个粮仓。为了使整个过程自动化，同时考虑当粮面为满仓、半仓和空仓时摄像机的位置及光圈等参数，使***能根据当前检测结果自动调用摄像机预设的不同参数，使用后台向云台发送命令完成参数传递和执行相关操作，并在后台***设置检测间隔等参数，定时启动摄像机并调用相应的预置参数抓拍仓内粮面图像。本实施例中，为描述方便，监测一个出粮口，因此仅需设置一套摄像机参数，那么，本实施例中，通过只监测一个出粮口处的粮面变化情况来判断粮仓储粮数量是否变化；作为其他的实施方式，还可通过监测粮仓内多个出粮口处的粮面变化情况来判断粮仓储粮数量是否变化。另外，虽然上述是在出粮口处监测粮面变化，但是，本发明所提方法并不局限于在出粮口处进行粮面监测，还可在仓内其他位置区域进行粮面监测。

整体而言，本发明方法旨在通过以装粮线为基准，借助于仓内摄像头自动监测粮面相对于装粮线是否发生变化，从而判断仓内粮食是否发生异动。若需要对靠近墙壁的整个粮面进行监测，则需要获取一周的仓内图像。在获取出粮口处图像时，设定摄像机的水平角、垂直角度以及光圈等参数，使得摄像机每次能够拍摄同一地点的图像。

基于图1所示的监测框架，下述给出粮仓粮食数量监测方法的具体过程，如图2所示，当然，本发明并不局限于图1所示的监测框架。

以满仓为例(半仓和空仓可通过为摄像头设置多个预置位来实现)，预先获取出粮口处多幅包含装粮线和粮面的图像(即粮面样本图像)作为训练图像集，采用labelme工具对训练图像进行标注，将训练图像标注为4类：粮面、装粮线、窗户和背景，保存训练图像的标注结果(即标注图像)，即将所有训练图像中的像素分为四类，即：装粮线、粮面、窗户和其它背景信息。当然，上述是一种优化的标注方式，由于本发明提供的方法是根据粮面和装粮线来实现粮食数量监测，因此，作为一般的实施方式，只需标注粮面和装粮线就能够实现粮食数量监测。

对标注好的训练图像集进行增强，主要采用一定步长截取指定大小的感兴趣区域、调整图像Gamma校正参数、缩放图像、翻转图像、旋转相对于原始图像不超过±10度、增加Gaussian噪声等操作对训练图像集进行增强，生成满足后续深度卷积神经网络模型训练需要的训练图像集。增强过程中原始训练图像和标注图像同时变化，标注图像若有插值操作选择最近邻插值。因粮面和装粮线具有一定的语义上下文关系，不能对原始训练图像进行大角度的旋转。设定预计目标训练图像集数目，以目标训练图像数为5000为例，根据目标数设定图像增强的方式。对于任意一张训练图像及其标记图像，从图像的左上角开始以一定步长截取指定大小的感兴趣区域，分别对该区域进行反转、Gamma参数调整、不超过±10度的旋转、加入Gaussian噪声等操作，每个操作均有相应的参数集合，最终生成接近目标数量的训练图像集。训练过程中通过使用图像集增强的方法能够增大训练样本集，即增大训练样本集的规模。上述给出了一种具体的图像增强过程，但是本发明并不局限于上述具体过程，可以根据实际需要选择合适的图像增强方式，或者，若训练图像集满足要求，还可以不对训练图像进行增强。

然后，搭建卷积神经网络模型，将训练图像集输入到卷积神经网络模型进行训练，得到仓内图像分割模型。具体如下：首先选择深度神经网络架构，然后设置训练过程所需要的参数，包括学习率、参数丢弃率、epoch和batch等的值，在GPU环境下将训练图像集输入模型进行训练，保存训练好的深度神经网络模型，以备测试所用。搭建的全卷积神经网络模型可采用deeplab、segNet及U-Net等模型。以deeplab v2模型为例，采用caffe框架实现深度全卷积神经网络模型的训练。具体步骤如下：

首先，生成训练图像的ID文件train_id.txt和训练图像和标注结果的对应路径文件train.txt；

接着，设置模型训练所需要的train.prototxt文件，将其中crop_size参数改为417，设置训练图像的均值，模型输出为4类等；采用vgg16神经网络模型为基础模型，按照deeplab v2模型的要求增加相应上采样层；初始模型参数采用VGG16在voc2012数据库上训练的结果；

然后，采用交叉熵、边界损失构建模型的损失函数；

进一步，在训练过程中，设置学***均每20张计算一次损失、最大迭代次数20000、参数衰减率0.0005；

进一步，训练图像输入模型进行前向计算，通过最后一层的softmax得到预测结果，结合人工标记结果计算损失函数，同时根据当前网络中的值通过梯度下降得到的参数迭代公式更新参数；

最后，当网络达到最大迭代次数或预设的停止条件，结束训练，得到仓内图像分割模型。

当然，深度神经网络架构还可采用U-net和Tensorflow实现该模型的训练和测试，由于U-Net适合两类分割，因此分别对粮面、装粮线和窗户进行3次两类分割模型的训练，保存训练好的模型，其它模型可采用多类分割模型训练方式。因此，本发明的重点在于建立基于卷积神经网络框架的仓内图像分割模型，并不局限于使用哪种全卷积神经网络框架，根据选择的全卷积神经网络框架进行对应的建立过程。

在监测过程中，首先获取出粮口处一幅真实的粮面图像(即测试图像)，当然，该粮面图像中包含粮面以及装粮线。将该粮面图像缩放为训练图像大小，并输入到训练好的仓内图像分割模型中，使用训练好的仓内图像分割模型对该粮面图像进行分割，获取初始的装粮线、粮面和窗户等。进一步地，训练好的仓内图像分割模型只进行前向计算得到预测值，从而得到分割结果，进一步地，将分割结果缩放为原图像大小。

获取得到初始的装粮线、粮面和窗户后，根据装粮线和粮面具有带状的先验信息，即粮面必须在装粮线以下，窗户必须在装粮线以上等，去除一些错分的区域，即噪声区域。

使用仓内图像分割模型得到的初始装粮线和粮面的边界比较粗糙，需要对装粮线和粮面进行细化，具体步骤如下：先对装粮线和粮面进行膨胀，然后利用仓内图像分割模型中装粮线和粮面的像素坐标信息，分别使用一个宽度为训练图像宽度的矩形框覆盖装粮线和粮面，使用GrabCut算法在像素级上分别对装粮线和粮面进行细化。细化粮面时去除装粮线以上的区域，细化装粮线时再次生成一个包含装粮线更大的矩形框，将大的矩形框看作为图像，对装粮线进行细化，获取最终的分割结果，通过此步骤修正装粮线和粮面的边界信息。具体地，对于装粮线：先对装粮线进行膨胀处理，使用一个矩形框，其宽度同于测试图像，覆盖膨胀后的装粮线，作为先验知识，即装粮线一定在框内，接着，在该矩形框以外再构建一个矩形框，保证外层矩形框中装粮线和其它区域的像素个数均衡，然后为前景和背景建立高斯混合模型，能量项中数据项采用深度神经网络模型输出的概率，而平滑项则采用像素的RGB和Lab颜色特征来计算，使用GrabCut算法对装粮线进行细化，获取最终装粮线的分割结果，即识别出装粮线的上边界，以装粮线的上边界为参考能够防止装粮线部分被粮食掩盖而无法准确监测粮面的变化。同理，使用相同的方法过程处理分割结果中的粮面并获取其最终分割结果。上述中，并不限制于使用GrabCut算法，其它如全连接CRF算法等也可用于对图像分割结果的细化。

获取装粮线上边界像素点的坐标信息，以防止粮食覆盖装粮线的情况。利用分段最小二乘法拟合装粮线上边界直线，以拟合直线代替装粮线上边界，以去除外点和噪声点，此处分段个数最大为2，以此模拟出粮仓一面和拐角处的直线，并作为装粮线上边界。当然，上述直线拟合是一种优化的实施方式，作为其他的实施方式，还可以不进行直线拟合。然后，计算每一个装粮线的上边界的像素点到粮面(即粮面上边界)之间的垂直距离，或者，计算粮面上边界上的每个像素点到装粮线上边界之间的垂直距离，如图3所示，据此计算装粮线和粮面之间的距离，由于装粮线和粮面之间的面积的变化比二者之间的平均距离变化更加敏感，为此，根据粮面每一像素点到装粮线上边界之间的垂直距离计算装粮线和粮面之间区域的面积，即利用积分的方式计算区域面积。

假设当前装粮线到粮面之间的区域面积为A_c，设定一个预设面积，该预设面积以历史记录的区域面积A_h为例，计算A_c与A_h之差R，即R＝|A_c-A_h|，若R大于设定的误差阈值，则认为粮面发生了较大的变化，即判定粮仓粮食数量发生变化，向管理员发出告警，否则记录当前数据。

为了验证本发明提供的方法的优越性，设计了一系列定量分析的实验。

采集10幅仓内图像，每幅图像的大小为1080×1920，10张图像是在不同光照、预设角度下拍摄的。其中6幅图像为训练图像集，对训练图像集进行人工标记获取人工标记结果(Ground Truth)，以便对分割结果的精度进行评价。

将训练图像进行标注并经过图像集增强，得到标注图像。

将标注图像缩放至417×417用于deeplab v2模型训练(缩放为512×512用于U-Net模型训练)，得到训练好的深度神经网络模型。

将待分割图像缩放至417×417并输入至训练好的深度神经网络模型进行图像分割，并将得到的分割结果缩放回原图像大小。接着，将装粮线以上错分为粮面的区域重置为背景，将装粮线以下错分为窗户的区域根据邻域像素的相似度重置为粮面或背景，从而得到最后的分割结果。

使用GrabCut对装粮线和粮面进行细化时，平滑项的权重选择为50。

首先对最终分割结果进行测试。在得到最终分割结果后，采用四种图像分割领域评价标准对这三种分割结果进行评价。如表1所示，分别为：PRI(Probabilistic RandIndex，概率Rand指数)、VOI(Variation of Information，信息变化指数)、GCE(全局一致性误差指数)和BDE(边界偏移误差指数)；其中，PRI的大小在区间[0，1]内，取值越大表示分割的准确度越高；VOI的大小在[0，+∞)区间内，取值越小表示分割的效果越好；BDE、GCE的取值越小表示分割效果越好，结果和Ground Truth越接近。

表1

方法	PRI	VOI	GCE	BDE
					Ground Truth	0.98	1.20	0.11	0.56
本发明方法	0.97	1.22	0.12	0.58

从表1中可以看出，本发明的方法分割结果在四个评价指标上均非常接近人工标记结果，故可说明本发明方法的有效性。

在粮面变化监测中，将带有云台的摄像机固定到墙壁上，设置相应参数，在距摄像机15米的位置放置一个可升降的木板，木板上面均匀放置厚度为2厘米的麦子，并使用一个白色带有红色标记线的挡板模拟仓内墙壁，通过升降放置粮食的木板模拟粮面变化。通过三次测试，每次粮面下降约12厘米，检测结果如表2所示。

表2

测量次数	粮面高度(米)	面积(像素<sup>2</sup>)	面积差
				1	0.385	122737
2	0.26	167808	45071
				3	0.14	214584	46776

从表2中可以看出，三次测试中，粮面高度是在粮面分别下降约0.12米的情况得到的，高度差异分别是第二次和第一次之间的差异，第三次和第二次之间的差异，平均距离是按照图像宽度为640个像素来计算的，相邻两次测量的面积差值分别是45071和46776，通常情况下，在这里设置阈值为39000，根据实验推算，39000近似等于实际高度0.1米。实验结果表明，实际粮面下降对应到像素个数的变化，能够满足粮食数量变化监测的需求，为此，证明本发明方法是可行的。

以上给出了具体的实施方式，但本发明不局限于所描述的实施方式。本发明的基本思路在于上述基本方案，对本领域普通技术人员而言，根据本发明的教导，设计出各种变形的模型、公式、参数并不需要花费创造性劳动。在不脱离本发明的原理和精神的情况下对实施方式进行的变化、修改、替换和变型仍落入本发明的保护范围内。

上述基于卷积神经网络的粮仓粮食数量监测方法可以作为一种计算机程序，存储在基于卷积神经网络的粮仓粮食数量监测装置的存储器中，并可由基于卷积神经网络的粮仓粮食数量监测装置的处理器执行。

Claims (4)

1.一种基于卷积神经网络的粮仓粮食数量监测方法，其特征在于，包括以下步骤：

（1）采集粮面图像；所述粮面图像包括粮面以及粮面上方的参考线；

（2）将所述粮面图像输入到搭建好的基于卷积神经网络的仓内图像分割模型中，识别出粮面以及参考线；

（3）计算所述粮面图像中的粮面与参考线之间的面积，并计算与预设的面积之间的误差，得到误差值，若所述误差值大于设定的误差阈值，则判定粮仓粮食数量发生变化；

所述仓内图像分割模型的搭建过程包括：采集粮面样本图像，对粮面样本图像中的粮面以及参考线进行标记，生成训练集；搭建卷积神经网络模型，将训练集输入到卷积神经网络模型进行训练，得到仓内图像分割模型；

所述仓内图像分割模型的搭建过程中，在对粮面样本图像中的粮面以及参考线进行标记后，采用图像集增强的方式生成更大规模的训练集，采用图像集增强的方式生成更大规模的训练集的过程包括：设定目标训练图像集数目，根据目标训练图像集数目设定图像增强的方式；对于任意一张训练图像及其标记图像，从图像的左上角开始以一定步长截取指定大小的感兴趣区域，分别对该区域进行反转、Gamma参数调整、不超过±10度的旋转和加入Gaussian噪声操作，每个操作均有相应的参数集合，最终生成目标数量的训练图像集；

采用deeplab v2模型及用caffe框架实现深度全卷积神经网络模型的训练，具体步骤为：首先，生成训练图像的ID文件train_id .txt，以及训练图像和标注结果的对应路径文件train .txt；接着，设置模型训练所需要的train .prototxt文件，将其中crop_size参数改为417，设置训练图像的均值，模型输出为4类；采用vgg16神经网络模型为基础模型，按照deeplab v2模型的要求增加相应上采样层；初始模型参数采用VGG16在voc2012数据库上训练的结果；然后，采用交叉熵、边界损失构建模型的损失函数；最后，当网络达到最大迭代次数或预设的停止条件，结束训练，得到仓内图像分割模型；在训练过程中，设置学***均每20张计算一次损失、最大迭代次数20000、参数衰减率0.0005；训练图像输入模型进行前向计算，通过最后一层的softmax得到预测结果，结合人工标记结果计算损失函数，同时根据当前网络中的值通过梯度下降得到的参数迭代公式更新参数；

步骤（2）中，识别出粮面图像中的粮面以及参考线的过程包括：将粮面图像缩放到与训练集对应的图像的大小，使用得到的仓内图像分割模型对粮面图像进行分割，获取初始的粮面以及参考线；然后，对获取到的初始的粮面以及参考线分别进行膨胀；最后，对粮面以及参考线分别进行细化，识别得到粮面以及参考线；

所述参考线为装粮线，对所述参考线进行细化后，得到装粮线的上边界；

实现所述计算所述粮面图像中的粮面与参考线之间的面积的过程包括：计算粮面的每一个像素点到装粮线的上边界之间的垂直距离，根据各个垂直距离计算得到粮面与装粮线的上边界之间的面积。

2.根据权利要求1所述的基于卷积神经网络的粮仓粮食数量监测方法，其特征在于，对获取到的初始的粮面以及参考线分别进行膨胀后，分别使用一个宽度等于训练集对应图像宽度的矩形框覆盖膨胀后的粮面以及参考线，使用GrabCut算法或者全连接CRF算法分别对粮面以及参考线进行细化。

3.根据权利要求1所述的基于卷积神经网络的粮仓粮食数量监测方法，其特征在于，使用得到的仓内图像分割模型对粮面图像进行分割后，利用粮面在装粮线的下方的先验信息，去除错分的区域。

4.一种基于卷积神经网络的粮仓粮食数量监测装置，包括存储器、处理器以及存储在所述存储器中并可在处理器上运行的计算机程序，其特征在于，所述处理器在执行所述计算机程序时实现的处理过程包括：

（1）采集粮面图像；所述粮面图像包括粮面以及粮面上方的参考线；

（2）将所述粮面图像输入到搭建好的基于卷积神经网络的仓内图像分割模型中，识别出粮面以及参考线；

（3）计算所述粮面图像中的粮面与参考线之间的面积，并计算与预设的面积之间的误差，得到误差值，若所述误差值大于设定的误差阈值，则判定粮仓粮食数量发生变化；

所述仓内图像分割模型的搭建过程包括：采集粮面样本图像，对粮面样本图像中的粮面以及参考线进行标记，生成训练集；搭建卷积神经网络模型，将训练集输入到卷积神经网络模型进行训练，得到仓内图像分割模型；

所述仓内图像分割模型的搭建过程中，在对粮面样本图像中的粮面以及参考线进行标记后，采用图像集增强的方式生成更大规模的训练集，采用图像集增强的方式生成更大规模的训练集的过程包括：设定目标训练图像集数目，根据目标训练图像集数目设定图像增强的方式；对于任意一张训练图像及其标记图像，从图像的左上角开始以一定步长截取指定大小的感兴趣区域，分别对该区域进行反转、Gamma参数调整、不超过±10度的旋转和加入Gaussian噪声操作，每个操作均有相应的参数集合，最终生成目标数量的训练图像集；

采用deeplab v2模型及用caffe框架实现深度全卷积神经网络模型的训练，具体步骤为：首先，生成训练图像的ID文件train_id .txt，以及训练图像和标注结果的对应路径文件train .txt；接着，设置模型训练所需要的train .prototxt文件，将其中crop_size参数改为417，设置训练图像的均值，模型输出为4类；采用vgg16神经网络模型为基础模型，按照deeplab v2模型的要求增加相应上采样层；初始模型参数采用VGG16在voc2012数据库上训练的结果；然后，采用交叉熵、边界损失构建模型的损失函数；最后，当网络达到最大迭代次数或预设的停止条件，结束训练，得到仓内图像分割模型；在训练过程中，设置学***均每20张计算一次损失、最大迭代次数20000、参数衰减率0.0005；训练图像输入模型进行前向计算，通过最后一层的softmax得到预测结果，结合人工标记结果计算损失函数，同时根据当前网络中的值通过梯度下降得到的参数迭代公式更新参数；

步骤（2）中，识别出粮面图像中的粮面以及参考线的过程包括：将粮面图像缩放到与训练集对应的图像的大小，使用得到的仓内图像分割模型对粮面图像进行分割，获取初始的粮面以及参考线；然后，对获取到的初始的粮面以及参考线分别进行膨胀；最后，对粮面以及参考线分别进行细化，识别得到粮面以及参考线；

所述参考线为装粮线，对所述参考线进行细化后，得到装粮线的上边界；

实现所述计算所述粮面图像中的粮面与参考线之间的面积的过程包括：计算粮面的每一个像素点到装粮线的上边界之间的垂直距离，根据各个垂直距离计算得到粮面与装粮线的上边界之间的面积。

Images