CN109359511B - 一种监测易发芽作物发芽状态的方法及装置 - Google Patents

Abstract

本发明提供了一种监测易发芽作物发芽状态的方法及装置，包括：获取待监测图像，待监测图像包括未发芽图像、轻微发芽图像和严重发芽图像；将待监测图像输入至训练好的CNN与RNN结合模型，输出待监测图像对应的发芽状态类别。本发明在训练样本不断增加的情况下，不断提升分类的准确率，利用计算机视觉技术和神经网络技术实现自动实时监控，判断的分类结果客观性、准确性、实时性和高效性都很高，解决了由于易发芽作物发芽程度变化细微复杂，人为观察要有丰富的易发芽作物贮藏知识且费时费力，受人的主观性影响大导致判断结果不准确等问题，同时还保证了良好的贮藏环境。

Description

一种监测易发芽作物发芽状态的方法及装置

技术领域

本发明实施例涉及图像处理和机器学习技术领域，尤其涉及一种监测易发芽作物发芽状态的方法及装置。

背景技术

易发芽作物在我国广泛种植。易发芽作物的块茎收获以后，以马铃薯为例，休眠与萌发过程分为三个阶段：第一个阶段称薯块成熟期，即贮藏早期，表现为薯块表皮尚未完全木栓化，薯块内的水分迅速向外蒸发，薯块重量显著减少，加之温度较高，容易积聚水汽而引起薯块的腐烂，经过20—35d的成熟作用后，表皮充分木栓化，蒸发强度和呼吸强度的逐渐减弱，而转入休眠状态；第二阶段称为薯块静止期或深休眠期，即贮藏中期，在这一时期薯块呼吸作用减慢，养分消耗减低到最低程度。第三阶段称为休眠后期，也称萌发期，即贮藏晚期，此时易发芽作物的休眠终止，呼吸作用又转旺盛，同时由于呼吸产生的热量积聚而使贮藏温度升高，促使薯块迅速发芽，此时，薯块重量减轻程度与萌发程度成正比。

发芽会使马铃薯块茎组织中所含的大量淀粉转化而造成外观萎蔫，同时马铃薯发芽部位产生有毒物质龙葵素。对于大西洋这个品种的马铃薯，未发芽的马铃薯的薯块呈卵圆形或圆形，顶部平，芽眼浅，表皮有轻微网纹，淡黄皮白肉，薯块大小中等而整齐，没有任何发芽的迹象；轻微发芽的马铃薯的薯块上隐约有芽胚出现，慢慢发出细小的绿色幼芽直到至少有一个芽生长达2mm；严重发芽的马铃薯的薯块表皮变绿色，有明显的芽胚出现，芽直径达到3.02mm，同一顶芽芽眼中至少出现2个芽。发芽的马铃薯会造成销售、加工的损失，甚至完全失去食用价值。

对于传统的易发芽作物贮藏方式，抑制易发芽作物发芽是极其重要的，直接影响到易发芽作物的价格和消费者的身体健康。传统的易发芽作物贮藏方式有堆藏法、通风库贮藏法、药物贮藏保鲜方法、架藏、垛藏等，贮藏过程中应控制好贮藏室内的温度、湿度、光照等外界条件。为了延长贮藏期，应尽量减少人类的进入贮藏室的次数，这就为人们及时检查易发芽作物贮藏情况带来了阻碍，造成大量的易发芽作物的浪费可能性或食用发芽易发芽作物的危险性都会大大增肌。因此，在成本小的基础上需要有效的解决该问题。

除此之外，由于易发芽作物发芽的程度变化细微、复杂，人为观察不仅费时费力，要求人有丰富的易发芽作物贮藏知识，而且受人的主观性影响大，导致判断结果不准确；还会破坏贮藏室的贮藏环境，减少易发芽作物的贮藏时间，造成损失。

因此，目前针对易发芽作物，缺乏减少人工干扰，能准确自动监测易发芽作物的方法。

发明内容

为了解决目前针对易发芽作物，缺乏减少人工干扰，能准确自动监测易发芽作物的方法，本发明提供了一种监测易发芽作物发芽状态的方法，包括：获取待监测图像，待监测图像包括未发芽图像、轻微发芽图像和严重发芽图像；将待监测图像输入至训练好的CNN与RNN结合模型，输出待监测图像对应的发芽状态类别，发芽状态类别包括未发芽、轻微发芽和严重发芽。

优选地，将待监测图像输入至训练好的CNN与RNN结合模型之前，还包括：采用自适应分割技术分割出，待监测图像中的易发芽作物部分，得到易发芽作物部分图像；将易发芽作物部分图像作归一化处理，以使，易发芽作物部分图像的尺寸一致。

优选地，发芽状态类别由人工分类并标注。

优选地，CNN与RNN结合模型的训练过程，包括：

S1、将待监测图像输入CNN中，CNN的单神经元的权重计算公式为：

其中，W为权重，b为偏移量，x为向量，x由待监测图像经数字化后得到，i为层数，n为层数数目；

S2、将CNN输出的数据与RNN的参数整合，得到RNN的基础函数为：

S_t＝f(U*X_t+W*S_t-1)

其中，S_t为t时刻的记忆，X_t为t时刻的输入，U为X_t的系数，W为权重，S_t-1为t-1时刻的记忆，f()函数是神经网络中的激活函数；

S3、运用softmax来预测，进一步提高分类的准确性，具体公式表示为：

o_t＝softmax(VS_t)

其中，V为预测时的权重矩阵，S_t为t时刻的记忆，o_t为RNN于时刻t的输出；

S4、在RNN的GRU模型中，得到：

R_t＝σ(X_tW_xr+H_t-1W_hr+b_r)

Z_t＝σ(X_tW_xz+H_t-1W_hz+b_z)

其中，R_t为重置门、Z_t为更新门、

为t时刻的候选隐含状态，H_t为t时刻的隐含状态，H_t-1为t-1时刻的隐含状态，X_t为t时刻的输入，W_xr、W_hr、b_r为R_t的参数，W_xz、W_hz、b_z为Z_t的参数，W_xh、W_hh、b_h为

的参数；

S5、把CNN得到的图像的特征输入到GRU模型里，S_t为：

S_t＝tanh(U*X_t+W*S_t-1+V*X)

其中，X_t为t时刻的输入，U为X_t的系数，X为图像的特征，V为预测时的权重矩阵，S_t为t时刻的记忆，S_t-1为t-1时刻的记忆。

优选地，CNN与RNN结合模型由Caffe深度学习框架进行训练。

另一方面，本发明还提供了一种监测易发芽作物发芽状态的装置，包括：

获取模块，用于获取待监测图像，待监测图像包括未发芽图像、轻微发芽图像和严重发芽图像；

监测模块，用于将待监测图像输入至训练好的CNN与RNN结合模型，输出待监测图像对应的发芽状态类别，发芽状态类别包括未发芽、轻微发芽和严重发芽。

又一方面，本发明提供了一种电子设备，包括：

存储器和处理器，处理器和存储器通过总线完成相互间的通信；存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行上述的方法。

再一方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。

本发明提供了一种监测易发芽作物发芽状态的方法及装置，通过采用CNN(卷积神经网络)和RNN(循环神经网络)的方法能够在训练样本不断增加的情况下，不断提升对易发芽作物未发芽图像、轻微发芽图像、严重发芽图像的分类的准确率，利用计算机视觉技术和神经网络技术实现自动实时监控，判断的分类结果客观性、准确性、实时性和高效性都很高，解决了由于易发芽作物发芽程度变化细微复杂，人为观察要有丰富的易发芽作物贮藏知识且费时费力，受人的主观性影响大导致判断结果不准确等问题，同时还保证了良好的贮藏环境，为人们贮藏易发芽作物提供了一个良好的方法。

附图说明

图1为根据本发明的一个优选实施例的一种监测易发芽作物发芽状态的方法的流程示意图；

图2为根据本发明的一个优选实施例的一种监测易发芽作物发芽装置的结构示意图；

图3为根据本发明的一个优选实施例的一种电子设备的结构示意图；

图4为根据本发明的一个优选实施例的用于一种用于监测易发芽作物发芽装状态的***的结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1为根据本发明的一个优选实施例的一种监测易发芽作物发芽状态的方法的流程示意图，如图1所示，本发明提供了一种监测易发芽作物发芽状态的方法，包括：

S101、获取待监测图像，待监测图像包括未发芽图像、轻微发芽图像和严重发芽图像；

S102、将待监测图像输入至训练好的CNN与RNN结合模型，输出待监测图像对应的发芽状态类别，发芽状态类别包括未发芽、轻微发芽和严重发芽。

基于上述实施例，将待监测图像输入至训练好的CNN与RNN结合模型之前，还包括：

采用自适应分割技术分割出，待监测图像中的易发芽作物部分，得到易发芽作物部分图像；将易发芽作物部分图像作归一化处理，以使，易发芽作物部分图像的尺寸一致。

进一步地，发芽状态类别由人工分类并标注。

基于上述实施例，CNN与RNN结合模型的训练过程，包括：

S1、将待监测图像输入CNN中，CNN的单神经元的权重计算公式为：

其中，W为权重，b为偏移量，x为向量，x由待监测图像经数字化后得到，i为层数，n为层数数目；

S2、将CNN输出的数据与RNN的参数整合，得到RNN的基础函数为：

S_t＝f(U*X_t+W*S_t-1)

其中，S_t为t时刻的记忆，X_t为t时刻的输入，U为X_t的系数，W为权重，S_t-1为t-1时刻的记忆，f()函数是神经网络中的激活函数；

S3、运用softmax来预测，进一步提高分类的准确性，具体公式表示为：

o_t＝softmax(VS_t)

其中，V为预测时的权重矩阵，S_t为t时刻的记忆，o_t为RNN于时刻t的输出；

S4、在RNN的GRU模型中，得到：

R_t＝σ(X_tW_xr+H_t-1W_hr+b_r)

Z_t＝σ(X_tW_xz+H_t-1W_hz+b_z)

其中，R_t为重置门、Z_t为更新门、

为t时刻的候选隐含状态，H_t为t时刻的隐含状态，H_t-1为t-1时刻的隐含状态，X_t为t时刻的输入，W_xr、W_hr、b_r为R_t的参数，W_xz、W_hz、b_z为Z_t的参数，W_xh、W_hh、b_h为

的参数；

S5、把CNN得到的图像的特征输入到GRU模型里，S_t为：

S_t＝tanh(U*X_t+W*S_t-1+V*X)

其中，X_t为t时刻的输入，U为X_t的系数，X为图像的特征，V为预测时的权重矩阵，S_t为t时刻的记忆，S_t-1为t-1时刻的记忆。

需要说明的是，CNN与RNN结合模型由Caffe深度学习框架进行训练。

基于上述实施例，将待监测图像输入至训练好的CNN与RNN结合模型，对输出结果的易发芽作物的发芽状态的分类进行人工检查，若正确率在95％以上，则表示CNN与RNN结合模型的训练有效；若正确率在95％以下，则表示CNN与RNN结合模型需进一步训练，直至输出结果的易发芽作物的发芽状态分类正确率在95％以上。

图2为根据本发明的一个优选实施例的一种监测易发芽作物发芽装置的结构示意图，如图2所示，本发明实施例还提供了一种监测易发芽作物发芽状态的装置，该装置包括获取模块201和监测模块202，其中：

获取模块201，用于获取待监测图像，待监测图像包括未发芽图像、轻微发芽图像和严重发芽图像；

监测模块202，用于将待监测图像输入至训练好的CNN与RNN结合模型，输出待监测图像对应的发芽状态类别，发芽状态类别包括未发芽、轻微发芽和严重发芽。

图3为根据本发明的一个优选实施例的一种电子设备的结构示意图，如图3所示，本发明实施例提供了一种电子设备，该设备包括处理器301、存储器302和总线303；

其中，处理器301和存储器302通过总线303完成相互间的通信；

处理器301用于调用存储器302中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：

获取待监测图像，待监测图像包括未发芽图像、轻微发芽图像和严重发芽图像；将待监测图像输入至训练好的CNN与RNN结合模型，输出待监测图像对应的发芽状态类别，发芽状态类别包括未发芽、轻微发芽和严重发芽。

本发明实施例公开一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：

获取待监测图像，待监测图像包括未发芽图像、轻微发芽图像和严重发芽图像；将待监测图像输入至训练好的CNN与RNN结合模型，输出待监测图像对应的发芽状态类别，发芽状态类别包括未发芽、轻微发芽和严重发芽。

本发明实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使，计算机执行上述各方法实施例所提供的方法，例如包括：

获取待监测图像，待监测图像包括未发芽图像、轻微发芽图像和严重发芽图像；将待监测图像输入至训练好的CNN与RNN结合模型，输出待监测图像对应的发芽状态类别，发芽状态类别包括未发芽、轻微发芽和严重发芽。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置及设备等实施例仅仅是示意性的，其中，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分，的方法。

基于上述实施例，图4为根据本发明的一个优选实施例的用于一种用于监测易发芽作物发芽装状态的***的结构示意图，如图4所示，本监测易发芽作物发芽状态的方法可应用于该监测易发芽作物发芽状态的***中，该***包括分辨率为1920*1080的摄像头1、LED灯2、可伸缩背景布3、数据传输线4、计算机5、塑料管6和容器7。

其中，摄像头1安装在贮藏室内保证拍摄清晰度的条件下，设置于能够拍摄放置在容器7中的最大数量的易发芽作物的固定位置处，LED灯2安装在摄像头1的顶部，能直接照射到所要拍摄的易发芽作物不被挡光的位置，用于弥补贮藏室内光照的不足，LED灯2只在摄像头1拍摄瞬间打开然后关闭，LED灯2的照射方向与摄像头1的镜头方向保持一致，可伸缩背景布3布置于所拍摄的易发芽作物的四周，方便后期对拍摄的图像进行识别分类，计算机5与摄像头1相连，用于处理和存储采集到的易发芽作物的待监测图像，塑料管6用于保护摄像头1或LED灯2与计算机5之间的数据传输线4，塑料管6套设于数据传输线4上。

进一步地，摄像头1的固定位置对同一位置的易发芽作物拍摄，监控准确；可伸缩背景布3可以像窗帘一样实现自由伸缩，在不用的时候可以收起来；在摄像头1采集图像时，LED灯2的照射方向可以实现上下左右自由转动，且自动打开有利于保证采集到的图像的质量且可以及时关闭。

基于上述实施例，该监测易发芽作物发芽状态的***的具体应用过程可为：首先打开可伸缩背景布3，使易发芽作物的待监测图像突出，避免环境引起的分类效果的下降；然后计算机5控制LED灯2的开关，使LED灯2在摄像头1拍摄时打开，为了防止摄像头拍摄时LED灯2还没有来得及亮起，计算机5向LED灯2发出亮起指令之后，间隔5s，再向摄像头1发出拍照指令进行拍摄；拍摄完成后立即关闭LED灯2，减小对易发芽作物的影响，且节约电能，并将待监测图像通过数据传输线4传回计算机5。

进一步地，该监测易发芽作物发芽状态的***根据发芽情况及时作出如下相应的警报措施：未发芽的易发芽作物不发出警报，只是进行记录存储，为下个时间段的图像的判断作积累，轻微发芽的易发芽作物发出注意警报，通知人们及时处理易发芽作物，减少损失，严重发芽的易发芽作物发出严重警报，通知人们及时清理易发芽作物，易发芽作物已不可用，不用继续贮藏，以减少贮藏成本。

本发明提供了一种监测易发芽作物发芽状态的方法及装置，通过采用CNN(卷积神经网络)和RNN(循环神经网络)的方法能够在训练样本不断增加的情况下，不断提升对易发芽作物未发芽图像、轻微发芽图像、严重发芽图像的分类的准确率，利用计算机视觉技术和神经网络技术实现自动实时监控，判断的分类结果客观性、准确性、实时性和高效性都很高，解决了由于易发芽作物发芽程度变化细微复杂，人为观察要有丰富的易发芽作物贮藏知识且费时费力，受人的主观性影响大导致判断结果不准确等问题，同时还保证了良好的贮藏环境，为人们贮藏易发芽作物提供了一个良好的方法。

同时，为本监测易发芽作物发芽状态的方法搭建的监测易发芽作物发芽状态的***，改变了传统的易发芽作物贮藏期间需要人进入贮藏室查看易发芽作物发芽情况的方法，保证了易发芽作物贮藏环境的相对稳定，有利于降低长期贮藏的易发芽作物的发芽率，减少人们的损失，保障消费者的安全；安装LED灯有利于图像的采集，保障图像的质量，对后期的图像识别、分类有一定的积极作用，且及时关闭能减少对易发芽作物的影响；采用的可伸缩背景布可以像窗帘一样实现自由伸缩，在不用的时候可以收起来，使用方便快捷。

最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种监测易发芽作物发芽状态的方法，其特征在于，包括：

获取待监测图像，所述待监测图像包括未发芽图像、轻微发芽图像和严重发芽图像；

将所述待监测图像输入至训练好的CNN与RNN结合模型，输出所述待监测图像对应的发芽状态类别，所述发芽状态类别包括未发芽、轻微发芽和严重发芽；

所述CNN与RNN结合模型的训练过程，包括：

S1、将所述待监测图像输入CNN中，所述CNN的单神经元的权重计算公式为：

其中，W为权重，b为偏移量，x为向量，所述x由所述待监测图像经数字化后得到，i为层数，n为层数数目；

S2、将所述CNN输出的数据与RNN的参数整合，得到所述RNN的基础函数为：

S_t＝f(U*X_t+W*S_t-1)

其中，S_t为t时刻的记忆，X_t为t时刻的输入，U为X_t的系数，W为权重，S_t-1为t-1时刻的记忆，f()函数是神经网络中的激活函数；

S3、运用softmax来预测，进一步提高分类的准确性，具体公式表示为：

o_t＝softmax(VS_t)

其中，V为预测时的权重矩阵，S_t为t时刻的记忆，o_t为所述RNN于时刻t的输出；

S4、在所述RNN的GRU模型中，得到：

R_t＝σ(X_tW_xr+H_t-1W_hr+b_r)

Z_t＝σ(X_tW_xz+H_t-1W_hz+b_z)

其中，R_t为重置门、Z_t为更新门、

为t时刻的候选隐含状态，H_t为t时刻的隐含状态，H_t-1为t-1时刻的隐含状态，X_t为t时刻的输入，W_xr、W_hr、b_r为R_t的参数，W_xz、W_hz、b_z为Z_t的参数，W_xh、W_hh、b_h为

的参数；

S5、把所述CNN得到的图像的特征输入到所述GRU模型里，所述S_t为：

S_t＝tanh(U*X_t+W*S_t-1+V*X)

其中，X_t为t时刻的输入，U为X_t的系数，X为图像的特征，V为预测时的权重矩阵，S_t为t时刻的记忆，S_t-1为t-1时刻的记忆。

2.根据权利要求1所述的一种监测易发芽作物发芽状态的方法，其特征在于，所述将所述待监测图像输入至训练好的CNN与RNN结合模型之前，还包括：

采用自适应分割技术分割出所述待监测图像中的易发芽作物部分，得到易发芽作物部分图像；

将所述易发芽作物部分图像作归一化处理，以使所述易发芽作物部分图像的尺寸一致。

3.根据权利要求1所述的一种监测易发芽作物发芽状态的方法，其特征在于，所述发芽状态类别由人工分类并标注。

4.根据权利要求1所述的一种监测易发芽作物发芽状态的方法，其特征在于，所述CNN与RNN结合模型由Caffe深度学习框架进行训练。

5.一种监测易发芽作物发芽状态的装置，其特征在于，包括：

获取模块，用于获取待监测图像，所述待监测图像包括未发芽图像、轻微发芽图像和严重发芽图像；

监测模块，用于将所述待监测图像输入至训练好的CNN与RNN结合模型，输出所述待监测图像对应的发芽状态类别，所述发芽状态类别包括未发芽、轻微发芽和严重发芽；

所述CNN与RNN结合模型的训练过程，包括：

S1、将所述待监测图像输入CNN中，所述CNN的单神经元的权重计算公式为：

其中，W为权重，b为偏移量，x为向量，所述x由所述待监测图像经数字化后得到，i为层数，n为层数数目；

S2、将所述CNN输出的数据与RNN的参数整合，得到所述RNN的基础函数为：

S_t＝f(U*X_t+W*S_t-1)

其中，S_t为t时刻的记忆，X_t为t时刻的输入，U为X_t的系数，W为权重，S_t-1为t-1时刻的记忆，f()函数是神经网络中的激活函数；

S3、运用softmax来预测，进一步提高分类的准确性，具体公式表示为：

o_t＝softmax(VS_t)

其中，V为预测时的权重矩阵，S_t为t时刻的记忆，o_t为所述RNN于时刻t的输出；

S4、在所述RNN的GRU模型中，得到：

R_t＝σ(X_tW_xr+H_t-1W_hr+b_r)

Z_t＝σ(X_tW_xz+H_t-1W_hz+b_z)

其中，R_t为重置门、Z_t为更新门、

为t时刻的候选隐含状态，H_t为t时刻的隐含状态，H_t-1为t-1时刻的隐含状态，X_t为t时刻的输入，W_xr、W_hr、b_r为R_t的参数，W_xz、W_hz、b_z为Z_t的参数，W_xh、W_hh、b_h为

的参数；

S5、把所述CNN得到的图像的特征输入到所述GRU模型里，所述S_t为：

S_t＝tanh(U*X_t+W*S_t-1+V*X)

其中，X_t为t时刻的输入，U为X_t的系数，X为图像的特征，V为预测时的权重矩阵，S_t为t时刻的记忆，S_t-1为t-1时刻的记忆。

6.一种电子设备，其特征在于，包括：

存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至4任一所述的方法。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一所述的方法。

Images