CN110046570B

CN110046570B - 一种粮仓粮食库存动态监管方法和装置

Info

Publication number: CN110046570B
Application number: CN201910295455.3A
Authority: CN
Inventors: 李智; 李磊; 杨卫东; 王珂; 陈卫东; 甄彤
Original assignee: Henan University of Technology
Current assignee: Henan University of Technology
Priority date: 2019-04-12
Filing date: 2019-04-12
Publication date: 2022-09-30
Anticipated expiration: 2039-04-12
Also published as: CN110046570A

Abstract

本发明涉及一种粮仓粮食库存动态监管方法和装置，对采集到的仓内实际的粮面图像进行处理，识别出粮面图像中的粮面区域和参考对象，计算粮面区域边缘与参考对象之间的像素距离，并与前一次计算得到的像素距离做差，得到像素距离差；如果这两次得到的像素距离之间的像素距离差的绝对值大于设定阈值，表示这两次得到的像素距离之间相差比较大，就能够判定仓内储粮数量发生变化；最后综合应用正常情况对粮食库存进行综合研判，实现对粮食储备库存保管中违规违法操作等情况的智能研判，有效提高粮食储备库存动态监管效果和效率。因此，该方法为一个涉及自动识别和自动监管的智能监管方法，相对于人工监管，节约了人力成本，提高了监管效率。

Description

一种粮仓粮食库存动态监管方法和装置

技术领域

本发明涉及一种粮仓粮食库存动态监管方法和装置。

背景技术

目前，对粮食库存监管主要是通过人工的方式对粮库的实物帐、保管帐以及财务账进行检查，查看是否三帐相符，并通过测量计算法或称重法等方法对粮食库存量进行计算，由于上述方法对单个粮库的检查所需时间较长，且效率较低，因此无法实现对所有粮食储备库存的动态监管。而且，现有的粮食库存监管方法均为人工监管，尤其是粮仓内粮面的监测方法均为人工监测，监管效率较低。

发明内容

本发明的目的是提供一种粮仓粮食库存动态监管方法，用以解决现有的粮食库存人工监管方法的监管效率较低的问题；本发明还提供一种粮仓粮食库存动态监管装置，用以解决现有的粮食库存人工监管方式的监管效率较低的问题。

为实现上述目的，本发明的方案包括：

一种粮仓粮食库存动态监管方法，包括以下步骤：

(1)采集仓内实际的粮面图像，所述粮面图像包括粮面区域以及处于粮面区域上方的参考对象；

(2)对粮面图像进行处理，识别出粮面图像中的粮面区域以及参考对象，计算粮面区域边缘与参考对象之间的像素距离，并与前一次计算得到的粮面区域边缘与参考对象之间的像素距离做差，得到像素距离差；

(3)若得到的像素距离差的绝对值大于设定阈值，则判定仓内储粮数量发生变化；

(4)将得到的仓内储粮数量发生变化的情况与对应的正常情况信息进行比对，根据与对应的正常情况信息是否一致判断是否发生异常情况，实现粮仓粮食库存动态监管。

通过图像识别处理对采集到的仓内实际的粮面图像进行处理，识别出粮面图像中的粮面区域以及参考对象，计算粮面区域边缘与参考对象之间的像素距离，并与前一次计算得到的粮面区域边缘与参考对象之间的像素距离做差，得到像素距离差；如果这两次得到的像素距离之间的像素距离差的绝对值大于设定阈值，表示这两次得到的像素距离之间相差比较大，就能够判定仓内储粮数量发生变化；最后综合应用正常情况对粮食库存进行综合研判，实现对粮食储备库存保管中违规违法操作等情况的智能研判，实现对异常情况的智能实时分析，为上级监管部门提供决策辅助支持，有效提高粮食储备库存动态监管效果和效率。因此，该方法为一个涉及自动识别和自动监管的智能监管方法，相对于人工监管，节约了人力成本，提高了监管效率。

进一步地，为了提高仓内储粮图像识别模型的可靠性，所述对粮面图像进行处理的过程包括：采集粮面样本图像，对粮面样本图像中的粮面区域和参考对象进行标记，得到训练图像集；根据训练图像集训练卷积神经网络，得到仓内储粮图像识别模型；然后利用训练好的仓内储粮图像识别模型对采集得到的仓内实际的粮面图像进行处理。

进一步地，所述参考对象为粮仓通风窗的下边沿或者上边沿。

进一步地，为了提高粮仓粮食库存动态监管的可靠性，所述正常情况信息为根据粮情数据、仓储作业、出入库数据、保管账数据、轮换计划及执行情况中的至少一个得到的粮仓内粮食正常的储存状态。

本发明还提供一种粮仓粮食库存动态监管装置，包括存储器、处理器以及存储在所述存储器中并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现的处理过程包括以下步骤：

通过图像识别处理对采集到的仓内实际的粮面图像进行处理，识别出粮面图像中的粮面区域和参考对象，计算粮面区域边缘与参考对象之间的像素距离，并与前一次计算得到的粮面区域边缘与参考对象之间的像素距离做差，得到像素距离差；如果这两次得到的像素距离之间的像素距离差的绝对值大于设定阈值，表示这两次得到的像素距离之间相差比较大，就能够判定仓内储粮数量发生变化；最后综合应用正常情况对粮食库存进行综合研判，实现对粮食储备库存保管中违规违法操作等情况的智能研判，实现对异常情况的智能实时分析，为上级监管部门提供决策辅助支持，有效提高粮食储备库存动态监管效果和效率。因此，该装置中加载的处理过程为一个涉及自动识别和自动监管的智能监管方法，相对于人工监管，节约了人力成本，提高了监管效率。

附图说明

图1是本发明提供的粮仓粮食库存动态监管方法的一种具体实施方式流程图。

具体实施方式

本实施例提供一种粮仓粮食库存动态监管方法，包括以下步骤：

(1)采集仓内实际的粮面图像，粮面图像包括粮面区域以及处于粮面区域上方的参考对象；

以下结合附图对该粮仓粮食库存动态监管方法做进一步详细的说明。

如图1所示，先构建仓内储粮图像识别模型，即粮面区域识别模型。构建仓内储粮图像识别模型的方式有很多种，比如通过卷积神经网络、支持向量机等机器学习算法。以下以卷积神经网络为例给出一种具体过程：

首先，采集粮面样本图像，为了模型稳定准确，采集到的粮面样本图像为高清样本图像，分辨率不低于1280×720，而且样本数不低于5000。当然，本实施例中的粮仓粮食库存动态监管方法中，涉及到粮面图像中的两个数据信息，分别是粮面区域和参考对象，参考对象处于粮面区域的上方，用于作为参考以检测粮面的变化。该参考对象可以是装粮线，也可以是人为指定的标记线，这里，参考物为通风窗，那么，参考对象就为通风窗的下边沿或者上边沿，以下以通风窗的下边沿为例。因此，粮面样本图像中就需要有粮面区域和通风窗。

然后，对粮面样本图像中的粮面区域和通风窗进行标记，比如人工标记，得到训练图像集，即标记后的粮面样本图像。根据训练图像集训练卷积神经网络，得到仓内储粮图像识别模型。由于利用训练卷积神经网络获取相关的数据模型属于常规技术，以下给出一种具体的实现过程，但是，本发明并不局限于下述具体过程：

搭建卷积神经网络模型(也可以称为对象分割模型)，将训练图像集输入到搭建好的卷积神经网络模型中，训练得到仓内储粮图像识别模型。具体如下：首先选择卷积神经网络架构，然后设置训练过程所需要的参数，包括学习率、参数丢弃率、epoch和batch等的值，在GPU环境下将训练图像集输入模型进行训练，保存训练好的卷积神经网络模型，以备测试所用。这里以U-NET模型为例，采用Tensorflow框架实现深度全卷积神经网络模型的训练。具体步骤如下：

首先，构建U-NET模型，其中设置模型输入的规模为(n_channels，img_h，img_w)，其中n_channels为图像通道数，设置为3，img_h和img_w为图像的高度和宽度，分别设置为512和512。构建5个Block，每个Block包括两个卷积层和一个池化层，卷积核的大小为3×3，数量分别为32、64、128、256和512；每一个Block输出作为下一个Block的输入；

接着构造上采样过程，即第6-10个Block，其中第6个Block的输入为第4个Block的卷积层输出和第5个Block的卷积输出结果的叠加，并经过两个卷积层；第7个Block的输入为第3个Block的卷积层输出和第6个Block卷积层输出结果的叠加，并经过两个卷积层；第8个Block的输入为第2个Block的卷积层输出和第7个Block卷积层输出结果的叠加，并经过两个卷积层；第9个Block的输入为第12个Block的卷积层输出和第8个Block卷积层输出结果的叠加，并经过1个卷积层；第10个Block仅包含一个基于卷积的全连接层，并经过softmax获取输出结果；并采用基于多类别的交叉熵作为模型的损失函数；

进一步，设置模型的参数，其中批处理个数设置为5，即每次处理5幅图像；学习率为0.0001；运行周期为10次，每个周期迭代2000次；

进一步，为深度模型设置训练图像和对应的标记结果的路径；

进一步，训练图像输入模型进行前向计算，通过最后一层的softmax得到预测结果，结合人工标记结果计算损失函数，同时根据当前网络中的值通过梯度下降得到的参数迭代公式更新参数；

最后，当网络达到最大迭代次数或预设的停止条件，结束训练，得到仓内储粮图像识别模型。

那么，在图像处理过程中，首先获取一幅真实的粮面图像(即测试图像)，比如可以获取出粮口处的粮面图像，将该粮面图像缩放为训练图像大小，将该粮面图像输入到训练好的仓内储粮图像识别模型中，使用训练好的仓内储粮图像识别对该粮面图像进行分割，获取粮面区域和通风窗。因此，获取到的粮面图像中就需要包括粮面区域和参考对象。进一步地，将分割结果缩放为原图像大小，从而获得图像中的粮面区域和通风窗。那么，根据粮面区域能够得到粮面区域边缘(即粮面区域上边界)，根据通风窗得到通风窗的下边沿。

然后，计算识别得到的粮面区域边缘与通风窗的下边沿之间的像素距离，该像素距离可以体现为粮面区域边缘与通风窗的下边沿之间的平均距离或者粮面区域边缘与通风窗的下边沿之间的区域面积。其中，平均距离的计算过程为：首先，计算粮面区域上边界每一个像素点到通风窗的下边沿所在直线之间的垂直距离，然后，计算各个垂直距离的平均值作为平均距离。区域面积的计算过程为：首先，计算粮面区域上边界每一个像素点到通风窗的下边沿所在直线之间的垂直距离，然后，利用积分的方式计算区域面积。接着将这次计算得到的像素距离与前一次计算得到的粮面区域边缘与通风窗的下边沿之间的像素距离做差，得到像素距离差。其中，前一次的粮面区域边缘与通风窗的下边沿之间的像素距离的计算过程与本次的计算过程相同。

若计算得到的像素距离差的绝对值大于设定阈值，该设定阈值根据实际情况进行设定，表示粮面区域边缘与通风窗的下边沿之间的距离发生了变化，即粮面发生了变化，那么，判定仓内储粮数量发生变化。

最后，将得到的仓内储粮数量发生变化的情况与对应的正常情况信息进行比对，根据与对应的正常情况信息是否一致判断是否发生异常情况，其中，当仓内储粮数量发生变化的情况与对应的正常情况信息不一致时，表示仓内储粮数量发生变化的情况属于异常情况，当仓内储粮数量发生变化的情况与对应的正常情况信息一致时，表示仓内储粮数量发生变化的情况属于正常情况，实现粮仓粮食库存动态监管。本实施例中，正常情况信息为根据粮情数据、仓储作业、出入库数据、保管账数据、轮换计划及执行情况中的至少一个得到的粮仓内粮食正常的储存状态。那么，将仓内储粮数量变化情况与粮情数据、出入库数据、保管账数据、轮换计划或者执行情况等数据进行比对，如该段时间内仓内储粮数量发生变化而粮情数据无变化、该段时间内仓内储粮数量发生变化而无出入库作业、该段时间内仓内储粮数量发生变化而无轮换计划、该段时间内仓内储粮数量发生变化而保管账无变化等等，均表示仓内储粮的数量与正常情况不一致，则将上述情况判断为异常。

另外，粮仓粮食库存动态监管方法还可以有以下步骤：粮食储备库存动态监控智能识别模型和算法优化。如图1所示，根据上述模型和算法的实际应用效果及累积得到的新样本，对粮食储备库存动态监控智能识别模型和算法进行迭代更新和优化。

因此，本发明提供的粮仓粮食库存动态监管方法在现有粮仓仓内实时视频监控数据的基础上，利用卷积神经网络等建立粮面及通风窗相关的粮食储备库存动态监控智能识别模型和算法，并利用大数据技术综合应用粮情、仓储作业、出入库、保管账、轮换计划及执行情况等相关数据对粮面进行综合研判，实现对异常情况的智能实时分析，有效提高粮食储备库存动态监管效率。

上述粮仓粮食库存动态监管方法还可以作为一种计算机程序，设置在粮仓粮食库存动态监管装置中的存储器中，并由粮仓粮食库存动态监管装置中的处理器执行。

以上给出了具体的实施方式，但本发明不局限于所描述的实施方式。本发明的基本思路在于上述基本方案，对本领域普通技术人员而言，根据本发明的教导，设计出各种变形的模型、公式、参数并不需要花费创造性劳动。在不脱离本发明的原理和精神的情况下对实施方式进行的变化、修改、替换和变型仍落入本发明的保护范围内。

Claims

1.一种粮仓粮食库存动态监管方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的粮仓粮食库存动态监管方法，其特征在于，所述对粮面图像进行处理的过程包括：采集粮面样本图像，对粮面样本图像中的粮面区域和参考对象进行标记，得到训练图像集；根据训练图像集训练卷积神经网络，得到仓内储粮图像识别模型；然后利用训练好的仓内储粮图像识别模型对采集得到的仓内实际的粮面图像进行处理。

3.根据权利要求2所述的粮仓粮食库存动态监管方法，其特征在于，所述参考对象为粮仓通风窗的下边沿或者上边沿。

4.根据权利要求1-3任意一项所述的粮仓粮食库存动态监管方法，其特征在于，所述正常情况信息为根据粮情数据、仓储作业、出入库数据、保管账数据、轮换计划及执行情况中的至少一个得到的粮仓内粮食正常的储存状态。

5.一种粮仓粮食库存动态监管装置，包括存储器、处理器以及存储在所述存储器中并可在处理器上运行的计算机程序，其特征在于，所述处理器在执行所述计算机程序时实现的处理过程包括以下步骤：

6.根据权利要求5所述的粮仓粮食库存动态监管装置，其特征在于，所述对粮面图像进行处理的过程包括：采集粮面样本图像，对粮面样本图像中的粮面区域和参考对象进行标记，得到训练图像集；根据训练图像集训练卷积神经网络，得到仓内储粮图像识别模型；然后利用训练好的仓内储粮图像识别模型对采集得到的仓内实际的粮面图像进行处理。

7.根据权利要求6所述的粮仓粮食库存动态监管装置，其特征在于，所述参考对象为粮仓通风窗的下边沿或者上边沿。

8.根据权利要求5-7任意一项所述的粮仓粮食库存动态监管装置，其特征在于，所述正常情况信息为根据粮情数据、仓储作业、出入库数据、保管账数据、轮换计划及执行情况中的至少一个得到的粮仓内粮食正常的储存状态。