CN112529043A - 一种基于mdrn网络的储粮害虫在线识别***及其方法 - Google Patents

一种基于mdrn网络的储粮害虫在线识别***及其方法 Download PDF

Info

Publication number
CN112529043A
CN112529043A CN202011300471.6A CN202011300471A CN112529043A CN 112529043 A CN112529043 A CN 112529043A CN 202011300471 A CN202011300471 A CN 202011300471A CN 112529043 A CN112529043 A CN 112529043A
Authority
CN
China
Prior art keywords
grain
module
mdrn
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011300471.6A
Other languages
English (en)
Inventor
仲伟波
张莹莹
林伟
齐国庆
曹想想
胡智威
许强
丁兴
姚正亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University of Science and Technology
Original Assignee
Jiangsu University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University of Science and Technology filed Critical Jiangsu University of Science and Technology
Priority to CN202011300471.6A priority Critical patent/CN112529043A/zh
Publication of CN112529043A publication Critical patent/CN112529043A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域，具体地说，是一种基于MDRN网络的储粮害虫在线识别***及其方法，主要包括硬件模块、软件模块及云服务器上搭载的算法模块三个部分，其中硬件模块包括储粮害虫图像采集模块、数据传输模块；软件模块包括PC端人机交互软件；算法模块是指云服务器中搭载的用于图像识别的算法。其中粮虫图像采集模块，用于粮堆内粮虫图像的获取；数据传输模块将图像数据发送至PC端；PC端人机交互软件为用于图像显示以及信息展示的应用软件，并将接收到的储粮害虫图像数据自动上传至云服务器端；云服务器为GPU计算机，搭载MDRN深度学习算法。

Description

一种基于MDRN网络的储粮害虫在线识别***及其方法
技术领域
本发明涉及人工智能技术领域，具体地说，是一种基于MDRN网络的储粮害虫在线识别***及其方法。
背景技术
储粮害虫是导致粮仓粮食发生损失的重要原因。实时准确地采集粮堆粮虫信息并识别害虫种类，为后期害虫防治打下基础是非常有必要的。传统的害虫识别方法主要依靠人眼观测害虫的外部形状特征，颜色特征等，再与已有准确记录的模型标本进行对照鉴别。该方法原始、直接，容易受到工作人员技能水平高低的影响，且工作量大、效率低、误差较大。
发明内容
本发明的目的是提供一种基于MDRN网络的储粮害虫在线识别***及其方法，以解决需要人工识别效率低的问题。
本发明采用的技术方案具体如下：
一种基于MDRN网络的储粮害虫在线识别***，主要包括硬件模块、软件模块及云服务器上搭载的算法模块三个部分，其中硬件模块包括储粮害虫图像采集模块、数据传输模块；软件模块包括PC端人机交互软件；算法模块是指云服务器中搭载的用于图像识别的算法。
其中所述的粮虫图像采集模块，用于粮堆内粮虫图像的获取，其通过MCU控制灯带开启对粮虫诱集后，使用DCMI接口控制CMOS摄像头采集粮堆害虫图像；其所述的数据传输模块为以太网传输模块，将图像数据发送至PC端；所述PC端人机交互软件为用于图像显示以及信息展示的应用软件，并将接收到的储粮害虫图像数据自动上传至云服务器端；所述云服务器为GPU计算机，搭载MDRN深度学习算法。
采用上述***进行储粮害虫在线识别具体包括如下步骤：
(1)从储粮害虫图像采集模块获取粮堆害虫图像；
(2)将步骤(1)中获取到的储粮害虫图像通过以太网模块上传至PC端人机交互界面；
(3)PC端接收储粮害虫图像后进行本地显示以及图像保存，并自动上传至云服务器；
(4)云服务器端搭载MDRN算法脚本，将图像输入后会自动给出反馈信息至PC端人机交互界面；
其中，步骤(4)所述的MDRN算法是一种对采集到的粮虫图像进行识别的算法，具体包括以下几个步骤：
A、将PC端上传的储粮害虫原始图像尺寸统一为128×128pixels，标准化样本数据；
B、将标准化后的图像数据输入到普通卷积层中，并采用批归一化，防止梯度***和梯度消失，并加入激活函数；
C、将步骤B的输出结果输入到M个堆叠的两种类型的残差块中；
D、将两种类型的残差块与池化层交替使用；
E、使用自适应矩估计(Adam)优化器，初始学习率为，α，α∈(0,1)，学习率为迭代衰减，学习率的计算方式为每经过x次迭代，变为原来的z，即
learingrate＝learning rate×zglobalstep/x
式中learningrate为学习率，globalstep为当前训练的次数；
F、输出前堆叠全连接层，在全连接层中引入Dropout层，Dropout参数设置为d0,d0∈(0,1)；
G、最后使用Softmax作为分类器，将x分类为类别j的概率为
Figure BDA0002786659480000021
其中，步骤C所述的两种类型的残差块其结构描述如下：
残差块一：残差块中第m层结构为，数据输入后先经过空洞卷积，进而为归一化层，紧接着为激活函数；第m+1层结构为，数据输入后先经过3×3的普通卷积，进而为归一化层，紧接着为激活函数；
残差块二：残差块中第m层结构为，数据输入后先经过3×3的普通卷积，进而为归一化层，紧接着为激活函数；第m+1层结构与第m层相同。同时辅以池化和泛卷积。
①使用残差块一时，模型取消对每一层特征映射的维度进行向下采样的池化层。
②当使用池化层时，残差块二用于处理输入输出维度不一致的问题。当卷积核数量发生改变时，使用Zero-Padding进行泛卷积，保证输入输出尺寸相同。
本发明的有益效果：本发明针对5种常见的储粮害虫(谷蠹、玉米象、长头谷盗、锯谷盗、麦蛾)成虫提出了一种基于MDRN网络的在线识别方法，将采集到的图像输入网络后能够快速得到识别结果。在网络结构设计方面，本发明将空洞卷积融入残差网络中，设计了两种残差块。与传统卷积相比，在不增加卷积核数量的情况下增大了感受野，同时极大的减少了参量数，进而减少了计算量，有利于克服过拟合现象。精心设计的空洞卷积和池化的布局，并辅以小尺寸的卷积核网络，既解决了分辨率丢失问题，还优化了空洞卷积对于微小特征识别不友好的现象，使得在线识别储粮害虫成虫成为现实，仅需0.03s便可给出反馈结果，且识别率高。
附图说明
图1是本发明的***整体工作流程图。
图2是本发明中MDRN算法中残差块结构图。
具体实施方式
为了加深对本发明的理解，下面将结合附图和实施例对本发明做进一步详细描述，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。
实施例：一种基于MDRN网络的储粮害虫在线识别***，主要包括硬件模块、软件模块及云服务器上搭载的算法模块三个部分，其中硬件模块包括储粮害虫图像采集模块、数据传输模块；软件模块包括PC端人机交互软件；算法模块是指云服务器中搭载的用于图像识别的算法。其中所述的粮虫图像采集模块，用于粮堆内粮虫图像的获取，其通过MCU控制灯带开启对粮虫诱集后，使用DCMI接口控制CMOS摄像头采集粮堆害虫图像；其所述的数据传输模块为以太网传输模块W5500，将图像数据发送至PC端；所述PC端人机交互软件为用于图像显示以及信息展示的应用软件，并将接收到的储粮害虫图像数据自动上传至云服务器端；所述云服务器为GPU计算机，搭载MDRN深度学习算法；所述的识别***整体工作流程如图1所示。
采用上述***进行储粮害虫在线识别具体包括如下步骤：
(1)从储粮害虫图像采集模块获取粮堆害虫图像；
(2)将步骤(1)中获取到的储粮害虫图像通过以太网模块上传至PC端人机交互界面；
(3)PC端接收储粮害虫图像后进行本地显示以及图像保存，并自动上传至云服务器；
(4)云服务器端搭载由Python语言编程实现的MDRN算法脚本，将图像输入后会自动给出反馈信息至PC端人机交互界面；
其中，步骤(4)所述的MDRN算法是一种对采集到的粮虫图像进行识别的算法，具体包括以下几个步骤：
A、将PC端上传的储粮害虫原始图像尺寸统一为128×128pixels，标准化样本数据；
B、将标准化后的图像数据输入到普通卷积层中，并采用批归一化，防止梯度***和梯度消失，并加入激活函数；
C、将步骤B的输出结果输入到M个堆叠的两种类型的残差块中；
D、将两种类型的残差块与池化层交替使用；
E、使用自适应矩估计(Adam)优化器，初始学习率为，a，α∈(0，1)，学习率为迭代衰减，学习率的计算方式为每经过x次迭代，变为原来的z，即
learingrate＝learningrate×zglobalstep/x
式中learning rate为学习率，global step为当前训练的次数；
F、输出前堆叠全连接层，在全连接层中引入Dropout层，Dropout参数设置为d0，d0∈(0，1)；
G、最后使用Softmax作为分类器，将x分类为类别i的概率为
Figure BDA0002786659480000041
其整体网络结构如表1所示：
表1网络配置表
Figure BDA0002786659480000051
其中，步骤C所述的两种类型的残差块其结构描述如下：如图2所示。
残差块一：残差块中第m层结构为，数据输入后先经过空洞卷积，进而为归一化层，紧接着为激活函数；第m+1层结构为，数据输入后先经过3×3的普通卷积，进而为归一化层，紧接着为激活函数；
残差块二：残差块中第m层结构为，数据输入后先经过3×3的普通卷积，进而为归一化层，紧接着为激活函数；第m+1层结构与第m层相同。同时辅以池化和泛卷积。
①使用残差块一时，模型取消对每一层特征映射的维度进行向下采样的池化层。
②当使用池化层时，残差块二用于处理输入输出维度不一致的问题。当卷积核数量发生改变时，使用Zero-Padding进行泛卷积，保证输入输出尺寸相同。
效果对比：
本实施例针对上述步骤C中空洞卷积的位置分布关系进行了实验对比。其主要对比的内容为空洞卷积与普通卷积的配置方式对网络性能的影响，其具体说明如下：
定义k×k为残差块第m层的卷积核的大小，Dd为空洞率，Dd-1的值为网络塞入的空格数，则在塞入了Dd-1个空格后，卷积核的大小n为，
n＝k+(Dd-1)×(k-1)，其中Dd∈N+。
方案(a)：设置第m层Dd为2，设置第m+1层Dd为1；
方案(b)：设置第m层Dd为1，设置第m+1层Dd为1；
方案(c)：设置第m层Dd为1，设置第m+1层Dd为2；
方案(d)：设置第m层Dd为2，设置第m+1层Dd为2；
选取ACC、TPR、TNR、F1分数4个评价指标，其中ACC为准确度、TPR为敏感度、TNR为特异性，F1是指精确率与召回率的调和平均值。其计算方式如公式(1-4)所示：
Figure BDA0002786659480000061
Figure BDA0002786659480000062
Figure BDA0002786659480000063
Figure BDA0002786659480000064
实验结果对比如表2所示：
表2四种模型识别结果综合对比
Figure BDA0002786659480000065
从表中数据可以看出，本发明所采用的用于储粮害虫识别的改进的残差网络算法中残差块的布局方式即模型a的各项指标均优于其他三种结构的指标，分类效果最好。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种基于MDRN网络的储粮害虫在线识别***，其特征在于，包括硬件模块、软件模块及云服务器上搭载的算法模块三个部分，其中硬件模块包括储粮害虫图像采集模块、数据传输模块；软件模块包括PC端人机交互软件；算法模块是指云服务器中搭载的用于图像识别的算法。
2.根据权利要求1所述的基于MDRN网络的储粮害虫在线识别***，其特征在于，所述粮虫图像采集模块，用于粮堆内粮虫图像的获取，其通过MCU控制灯带开启对粮虫诱集后，使用DCMI接口控制CMOS摄像头采集粮堆害虫图像。
3.根据权利要求2所述的基于MDRN网络的储粮害虫在线识别***，其特征在于，所述的数据传输模块为以太网传输模块，将图像数据发送至PC端；所述PC端人机交互软件为用于图像显示以及信息展示的应用软件，并将接收到的储粮害虫图像数据自动上传至云服务器端；所述云服务器为GPU计算机，搭载MDRN深度学习算法。
4.一种基于MDRN网络的储粮害虫在线识别方法，其特征在于，使用如权利要求3所述的基于MDRN网络的储粮害虫在线识别***，具体包括如下步骤：
(1)从储粮害虫图像采集模块获取粮堆害虫图像；
(2)将步骤(1)中获取到的储粮害虫图像通过以太网模块上传至PC端人机交互界面；
(3)PC端接收储粮害虫图像后进行本地显示以及图像保存，并自动上传至云服务器；
(4)云服务器端搭载MDRN算法脚本，将图像输入后会自动给出反馈信息至PC端人机交互界面。
5.根据权利要求4所述的基于MDRN网络的储粮害虫在线识别方法，其特征在于，所述步骤(4)中MDRN算法是一种对采集到的粮虫图像进行识别的算法,具体包括以下几个流程：
A、将PC端上传的储粮害虫原始图像尺寸统一为128×128pixels，标准化样本数据；
B、将标准化后的图像数据输入到普通卷积层中，并采用批归一化，防止梯度***和梯度消失，并加入激活函数；
C、将步骤B的输出结果输入到M个堆叠的两种类型的残差块中；
D、将两种类型的残差块与池化层交替使用；
E、使用自适应矩估计(Adam)优化器，初始学习率为α，α∈(0,1)，学习率为迭代衰减，学习率的计算方式为每经过x次迭代，变为原来的z，即
learing rate＝learning rate×zglobalstep/x
式中learning rate为学习率，global step为当前训练的次数；
F、输出前堆叠全连接层，在全连接层中引入Dropout层，Dropout参数设置为d0,d0∈(0,1)；
G、最后使用Softmax作为分类器，将x分类为类别j的概率为
Figure FDA0002786659470000021
6.根据权利要求5所述的基于MDRN网络的储粮害虫在线识别方法，其特征在于，所述流程C中所述的两种类型的残差块的结构为：残差块一：残差块中第m层结构为，数据输入后先经过空洞卷积，进而为归一化层，紧接着为激活函数；第m+1层结构为，数据输入后先经过3×3的普通卷积，进而为归一化层，紧接着为激活函数；
残差块二：残差块中第m层结构为，数据输入后先经过3×3的普通卷积，进而为归一化层，紧接着为激活函数；第m+1层结构与第m层相同。同时辅以池化和泛卷积。
CN202011300471.6A 2020-11-19 2020-11-19 一种基于mdrn网络的储粮害虫在线识别***及其方法 Pending CN112529043A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011300471.6A CN112529043A (zh) 2020-11-19 2020-11-19 一种基于mdrn网络的储粮害虫在线识别***及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011300471.6A CN112529043A (zh) 2020-11-19 2020-11-19 一种基于mdrn网络的储粮害虫在线识别***及其方法

Publications (1)

Publication Number Publication Date
CN112529043A true CN112529043A (zh) 2021-03-19

Family

ID=74981619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011300471.6A Pending CN112529043A (zh) 2020-11-19 2020-11-19 一种基于mdrn网络的储粮害虫在线识别***及其方法

Country Status (1)

Country Link
CN (1) CN112529043A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359698A (zh) * 2021-12-06 2022-04-15 江苏科技大学 一种基于双向跨跃反馈循环结构声纳图像识别方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615046A (zh) * 2018-03-16 2018-10-02 北京邮电大学 一种储粮害虫检测识别方法及装置
CN108648191A (zh) * 2018-05-17 2018-10-12 吉林大学 基于贝叶斯宽度残差神经网络的害虫图像识别方法
CN109558787A (zh) * 2018-09-28 2019-04-02 浙江农林大学 一种基于卷积神经网络模型的竹林害虫识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615046A (zh) * 2018-03-16 2018-10-02 北京邮电大学 一种储粮害虫检测识别方法及装置
CN108648191A (zh) * 2018-05-17 2018-10-12 吉林大学 基于贝叶斯宽度残差神经网络的害虫图像识别方法
CN109558787A (zh) * 2018-09-28 2019-04-02 浙江农林大学 一种基于卷积神经网络模型的竹林害虫识别方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ADÃO NUNES ALVESA ETC..;: "Cotton pests classification in field-based images using deep residual networks", COMPUTERS AND ELECTRONICS IN AGRICULTURE *
DAI TING ETC..;: "On The Intelligent Detection Of Insects In Stored Grain", 2011 INTERNATIONAL CONFERENCE ON ELECTRONIC & MECHANICAL ENGINEERING AND INFORMATION TECHNOLOGY *
方明;周龙;: "基于BP神经网络的储粮害虫分类识别研究", 武汉工业学院学报, no. 04 *
潘辉;郑威;张莹莹;: "基于改进残差网络对心电信号的识别", 数据采集与处理, no. 04, pages 682 - 692 *
邵泽中;姚青;唐健;李罕琼;杨保军;吕军;陈轶;: "面向移动终端的农业害虫图像智能识别***的研究与开发", 中国农业科学, no. 16, pages 3257 - 3268 *
陈娟等;: "基于改进残差网络的园林害虫图像识别", 农业机械学报, no. 05 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359698A (zh) * 2021-12-06 2022-04-15 江苏科技大学 一种基于双向跨跃反馈循环结构声纳图像识别方法及***
CN114359698B (zh) * 2021-12-06 2024-06-04 江苏科技大学 一种基于双向跨跃反馈循环结构声纳图像识别方法及***

Similar Documents

Publication Publication Date Title
EP3968179A1 (en) Place recognition method and apparatus, model training method and apparatus for place recognition, and electronic device
Barbedo Detecting and classifying pests in crops using proximal images and machine learning: A review
CN110929029A (zh) 一种基于图卷积神经网络的文本分类方法及***
Liu et al. Plant leaf classification based on deep learning
WO2019232847A1 (zh) 手写模型训练方法、手写字识别方法、装置、设备及介质
KR101986418B1 (ko) 병해충 검색을 위한 통합 시스템
US20200082213A1 (en) Sample processing method and device
CN113205142A (zh) 一种基于增量学习的目标检测方法和装置
Tsilivis et al. Can we achieve robustness from data alone?
CN112529149A (zh) 一种数据处理方法及相关装置
CN113869098A (zh) 植物病害识别方法、装置、电子设备及存储介质
CN112529043A (zh) 一种基于mdrn网络的储粮害虫在线识别***及其方法
CN117171554A (zh) 一种模型训练方法及相关设备
CN114723989A (zh) 多任务学习方法、装置及电子设备
Xu et al. Detection method of wheat rust based on transfer learning and sharpness‐aware minimization
Kundur et al. Insect pest image detection and classification using deep learning
US20200410245A1 (en) Target model broker
JP2021077352A (ja) 情報処理装置及び方法、並びにモデルを用いて分類を行う装置
CN115019215B (zh) 一种基于高光谱图像的大豆病虫害识别方法和装置
CN113066537B (zh) 基于图神经网络的化合物分类方法
CN114970732A (zh) 分类模型的后验校准方法、装置、计算机设备及介质
Guo et al. Deep Transfer Learning for Biology Cross‐Domain Image Classification
Popescu et al. Dual networks based system for detecting and classifying harmful insects in orchards
CN114330650A (zh) 基于进化元学习模型训练的小样本特征分析方法及装置
CN114036267A (zh) 对话方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination