CN112232343B - 一种粮食霉变粒识别神经网络和识别方法 - Google Patents

一种粮食霉变粒识别神经网络和识别方法 Download PDF

Info

Publication number
CN112232343B
CN112232343B CN202010914811.8A CN202010914811A CN112232343B CN 112232343 B CN112232343 B CN 112232343B CN 202010914811 A CN202010914811 A CN 202010914811A CN 112232343 B CN112232343 B CN 112232343B
Authority
CN
China
Prior art keywords
layer
output data
convolution
network
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010914811.8A
Other languages
English (en)
Other versions
CN112232343A (zh
Inventor
杨东
姜俊伊
李倩倩
毕文雅
石天玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Academy of National Food and Strategic Reserves Administration
Original Assignee
Academy of National Food and Strategic Reserves Administration
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Academy of National Food and Strategic Reserves Administration filed Critical Academy of National Food and Strategic Reserves Administration
Priority to CN202010914811.8A priority Critical patent/CN112232343B/zh
Publication of CN112232343A publication Critical patent/CN112232343A/zh
Application granted granted Critical
Publication of CN112232343B publication Critical patent/CN112232343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02Agriculture; Fishing; Forestry; Mining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Mining & Mineral Resources (AREA)
  • General Business, Economics & Management (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Economics (AREA)
  • Animal Husbandry (AREA)
  • Agronomy & Crop Science (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明一个实施例公开了一种粮食霉变粒识别神经网络和识别方法,包括第一卷积层,用于将光谱图像数据xi(Q×Q×256)进行第一卷积操作,得到第一层网络输出数据,第二卷积层,用于将所述第一层网络输出数据进行第二卷积操作,得到第二层网络输出数据;最大池化层,用于将所述第二层网络输出数据进行池化操作,注意力机制模块,用于对池化数据进行籽粒霉变图谱特征挖掘,得到第四层网络输出数据;第三卷积层,用于将所述第四层网络输出数据进行第三卷积操作,得到第五层网络输出数据;第四卷积层,用于将所述第五层网络输出数据进行第四卷积操作,得到第六层网络输出数据;串联连接的第一全连接层、第二全连接层和第一分类器,第一分类器输出识别结果。

Description

一种粮食霉变粒识别神经网络和识别方法
技术领域
本发明涉及食品科学技术领域。更具体地,涉及一种粮食霉变粒识别神经网络、训练方法、识别方法、计算机设备和计算机可读存储介质。
背景技术
作为三大原粮之一的玉米在收储过程中的质量安全问题备受国民关注,质量评价结果直接关系到玉米入库时定等、定价及分类储存方式。霉变粒是衡量原粮质量的一项重要指标,也是粮食出入库检验流程的重点工作内容之一。玉米霉变所引起的安全问题不仅会给籽粒后期储存及加工带来经济损失,而且霉变后玉米的误食会危害人、畜健康。此外,2018年出台的GB1353-2018《玉米》标准中将霉变粒单独列为检测项,加强了对霉变粒的检出力度。因此,快速有效检出霉变粒数量,提前采取应对措施,是避免受污染的籽粒作为原料进入消费环节的关键手段。
目前玉米收购现场多数采用粮食行业内一致认可的人工感官评价方法对玉米霉变粒、不完善粒进行有效检出(通过人眼完成一份样品的检测需30~40分钟)。但人工质检依赖经验丰富的专业人员,且存在主观性强,再现性差,检测周期长等问题,难以满足现场快速批量检测的需求,严重影响了粮食收储现场质检工作效率。因此,迫切需要开发一种快速、无损、智能且便于现场操作的检测方法,替代人工质检完成霉变粒的鉴别工作。
发明内容
本发明的目的在于提供一种粮食霉变粒识别神经网络和识别方法,以解决现有技术存在的问题中的至少一个。
为达到上述目的,本发明采用下述技术方案:
第一方面,本发明提供一种粮食霉变粒识别神经网络,包括
第一卷积层,用于将光谱图像数据xi(Q×Q×256)进行第一卷积操作,得到第一层网络输出数据,其中所述光谱图像数据为对粮食样品的Q×Q大小感兴趣区域提取区域内像素点光谱图像得到的,其中,Q×Q是图像尺度,256是光谱波段数量;
第二卷积层,用于将所述第一层网络输出数据进行第二卷积操作,得到第二层网络输出数据;
最大池化层,用于将所述第二层网络输出数据进行池化操作,得到第三层网络输出数据xi(Q′×Q′×128),其中Q′×Q′是池化处理后的图像尺度;
注意力机制模块,用于对所述第三层网络输出数据进行籽粒霉变图谱特征挖掘,得到第四层网络输出数据;
第三卷积层,用于将所述第四层网络输出数据进行第三卷积操作,得到第五层网络输出数据;
第四卷积层,用于将所述第五层网络输出数据进行第四卷积操作,得到第六层网络输出数据;
串联连接的第一全连接层、第二全连接层和第一分类器,其中第一全连接层接收第六层网络输出数据,第一分类器输出识别结果。
在一个具体实施例中,所述注意力机制模块包括
光谱域注意力机制网络,包括
全局均匀池化层,用于对所述第三层网络输出数据进行池化操作,得到全局均匀池化输出数据;
第五卷积层,用于对全局均匀池化输出数据进行第五卷积操作,得到第五卷积输出数据,其中卷积核大小为1×1×128/r,其中r为缩减率;
第六卷积层,用于对第五卷积输出数据进行第六卷积操作,得到第六卷积输出数据,其中卷积核大小为1×1×128;
上采样层,对所述第六卷积输出数据进行上采样操作,得到权重向量Pb(Q′×Q′×128);
第一乘法加权模块,用于通过缩放操作将向量Pb加权到输入所述第三层网络输出数据xi(Q′×Q′×128)的每个波段上,获取光谱域注意力机制作用下的输出结果
图像域注意力机制网络,包括
串联连接的第七卷积层和第一重置模块,其中第七卷积层用于接收所述第三层网络输出数据,并由第一重置模块输出第一重置输出数据,其中第七卷积层卷积核大小为3×3×128/r;
串联连接的第八卷积层和第二重置模块,其中第八卷积层用于接收所述第三输出数据,并由第二重置模块输出第二重置输出数据,其中第八卷积层卷积核大小为3×3×128/r;
第二乘法加权模块,用于将第一重置输出数据加权到第二重置输出数据,得到第二乘法加权输出数据;
第二分类器,用于将第二乘法加权输出数据进行分类计算,得到第二分类输出数据;
串联连接的第九卷积层和第三重置模块,其中第九卷积层用于接收所述第三输出数据,并由第三重置模块输出第三重置输出数据,其中第九卷积层卷积核大小为1×1×128/r;
第三乘法加权模块,用于将第二分类输出数据加权到第三重置输出数据,得到特征向量pi(Q′×Q′×128);
串联连接的第四重置模块和第十卷积层,所述第四重置模块用于接收特征向量pi(Q′×Q′×128),所述第十卷积层输出第十卷积输出数据;
第一加法加权模块,用于将第十卷积输出数据加权到所述第三输出数据xi(Q′×Q′×128)上,获取获得图像域注意力机制作用下的输出结果
第二加法加权模块,用于将所述光谱域注意力机制作用下的输出结果和图像域注意力机制作用下的输出结果/>进行加法加权,得到所述第四输出数据。
在一个具体实施例中,所述光谱图像数据为利用400~1000nm波段内可见/近红外高光谱成像***采集玉米籽粒的光谱图像得到的。
在一个具体实施例中,r为2。
在一个具体实施例中,所述Q×Q为21×21。
第二方面,本发明提供一种针对粮食霉变粒识别神经网络进行训练的方法,包括
S200、准备训练集:对预先通过人工质检结果标记出籽粒霉变区域的样品划分出Q×Q大小感兴趣区域;
S204、提取区域内像素点光谱图像数据xi(Q×Q×256);
S206、将图像数据xi(Q×Q×256)作为所述网络的输入;
S208、将交叉熵函数作为所述网络的代价函数,采用梯度下降法优化网络参数,根据代价函数和准确率和/或F-Score结果变化趋势获得最优网络参数。
在一个具体实施例中,所述第一分类器的表达式为
N个所述样本光谱图像数据xi为所述网络中第二全连接层的输出特征,xi=[xi1,xi2,…,xim],其中m为输出通道数量,f(wjxi+bj)为隐含层神经元的激励函数,L为神经元个数,wj表示对应xi数据第j个神经元的权重值,bj为第j个隐含层神经元偏置项,ρj为连接第j个隐层的输出权值,Oi为输出结果分为霉变和健康籽粒。
在一个具体实施例中,所述网络训练中所使用的代价函数为
其中N代表样本数量,为网络预测值,/>为样本真实值。网络训练过程中学习率初始化为0.001,衰减因子为0.88。
在一个具体实施例中,所述准确率为
F-Score由精确率P和召回率R计算得出;
其中,TP为真样本被判别为真样本数量;FN为真样本被判别为伪样本数量;TN为伪样本被判别为伪样本数量;FP为伪样本被判别为真样本数量。
在一个具体实施例中,包括
获取待识别样品的感兴趣区域的光谱图像数据;以及
将所述图像数据输入所述网络得到识别结果。
第三方面,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请第一方面提供的方法。
第四方面,本发明还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本申请第一方面提供的方法。
本发明的有益效果如下:
本发明面向粮食行业,针对玉米收购现场霉变粒人工质检方法主观性强、费时费力,基于传统特征学习方法的快速检测模型表征能力差、批量检测受限的问题,提出了一种粮食霉变粒识别神经网络和识别方法,通过引入注意力机制聚焦霉变籽粒局部图谱特征信息,构建出了适用于霉变粒现场快速批量检测的定性判别模型,提高质检效率且方便粮食行业按质论价,保障农民种粮利益和国家粮食安全,有力的促进我国粮食收购质检事业的发展。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出根据本申请的一个实施例的粮食霉变粒识别神经网络模型架构图。
图2示出根据本申请的一个实施例的粮食霉变粒识别方法流程图。
图3示出根据本申请的一个实施例的光谱域注意力机制模块图。
图4示出根据本申请的一个实施例的图像域注意力机制模块图。
图5示出根据本申请的一个实施例的不同玉米品种粮食霉变粒识别神经模型Acc和Cost分布曲线图,(a)京科968、(b)郑单958、(c)先玉335、(d)吉第816。
图6示出适于用来实现本申请实施例的计算机设备的结构示意图
具体实施方式
为了更清楚地说明本发明,下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解,下面所具体描述的内容是说明性的而非限制性的,不应以此限制本发明的保护范围。
第一实施例
如图1所示本发明提供一种粮食霉变粒卷积识别神经网络,包括
第一卷积层,用于将光谱图像数据xi(Q×Q×256)进行第一卷积操作,得到第一层网络输出数据,其中所述光谱图像数据为对粮食样品的Q×Q大小感兴趣区域提取区域内像素点光谱图像得到的,其中,Q×Q是图像尺度,即像素点相乘,Q×Q为Q2个像素点组成的图像区域,256是光谱波段数量;
第二卷积层,用于将所述第一输出数据进行第二卷积操作,得到第二层网络输出数据;
最大池化层,用于将所述第二层网络输出数据进行池化操作,得到第三层网络输出数据xi(Q′×Q′×128),其中Q′×Q′是池化处理后的图像尺度;
注意力机制模块,用于对所述第三层网络输出数据进行籽粒霉变特征挖掘,得到第四层网络输出数据;
第三卷积层,用于将所述第四输出数据进行第三卷积操作,得到第五层网络输出数据;
第四卷积层,用于将所述第五输出数据进行第四卷积操作,得到第六层网络输出数据;
串联连接的第一全连接层、第二全连接层和第一分类器,其中第一全连接层接收第六层网络输出数据,第一分类器输出识别结果。
在一个具体实施例中,4组串联式卷积层(Conv1~Conv4),所述卷积层全部采用3×3大小的卷积核,通道数分别为64、128、256、512;每个卷积操作后通过Batchnormalization处理避免过拟合并提高网络的泛化能力,进一步采用ReLU函数进行非线性变换。
在一个具体实施例中,采用核极限学习机(KELM)作为第一分类器。所述第一分类器的表达式为
N个所述样本光谱图像数据xi为所述网络中第二全连接层的输出特征,xi=[xi1,xi2,…,xim],其中m为输出通道数量,f(wjxi+bj)为隐含层神经元的激励函数,L为神经元个数,wj表示对应xi数据第j个神经元的权重值,bj为第j个隐含层神经元偏置项,ρj为连接第j个隐层的输出权值,Oi为输出结果分为霉变和健康籽粒。ELM分类器的代价函数E表示为:
其中s=(wj,bj,j=1,2,…,L),N个所述样本光谱图像数据xi为所述网络中第二全连接层的输出特征,xi=[xi1,xi2,…,xim],Oi为输出结果分为霉变和健康籽粒,yi为对应样本类别标记数据,引入径向基核函数(RBF)提升ELM分类器的拟合和泛化能力,形成KELM模型。
在一个具体实施例中,所述注意力机制模块包括,如图3所示的光谱域注意力机制网络和如图4所示的图像域注意力机制网络。
光谱域注意力机制网络,包括
全局均匀池化层,用于对所述第三层网络输出数据进行池化操作,得到全局均匀池化输出数据;
第五卷积层,用于对全局均匀池化输出数据进行第五卷积操作,得到第五卷积输出数据,其中卷积核大小为1×1×128/r,其中r为缩减率;
第六卷积层,用于对第五卷积输出数据进行第六卷积操作,得到第六卷积输出数据,其中卷积核大小为1×1×128;
上采样层,对所述第六卷积输出数据进行上采样操作,得到权重向量Pb(Q′×Q′×128);
第一乘法加权模块,用于通过缩放操作将向量Pb加权到输入所述第三层网络输出数据xi(Q′×Q′×128)的每个波段上,获取光谱域注意力机制作用下的输出结果
图像域注意力机制网络,包括
串联连接的第七卷积层和第一重置模块,其中第七卷积层用于接收所述第三层网络输出数据,并由第一重置模块输出第一重置输出数据,其中第七卷积层卷积核大小为3×3×128/r;
串联连接的第八卷积层和第二重置模块,其中第八卷积层用于接收所述第三输出数据,并由第二重置模块输出第二重置输出数据,其中第八卷积层卷积核大小为3×3×128/r;
第二乘法加权模块,用于将第一重置输出数据加权到第二重置输出数据,得到第二乘法加权输出数据;
第二分类器,用于将第二乘法加权输出数据进行分类计算,得到第二分类输出数据;
串联连接的第九卷积层和第三重置模块,其中第九卷积层用于接收所述第三输出数据,并由第三重置模块输出第三重置输出数据,其中第九卷积层卷积核大小为1×1×128/r;
第三乘法加权模块,用于将第二分类输出数据加权到第三重置输出数据,得到特征向量pi(Q′×Q′×128);响应特征向量pi可表示为:
函数g(.)权重系数通过1×1×128/r卷积进行表征。函数f(.)通过高斯函数实现:
θ和权重系数分别通过3×3×128/r卷积进行表征。c(x)采用softmax(.)函数,并通过1×1×128的卷积调整输出特征响应结果pi的维度,得到特征向量pi(Q′×Q′×128)。
串联连接的第四重置模块和第十卷积层,所述第四重置模块用于接收特征向量pi(Q′×Q′×128),所述第十卷积层输出第十卷积输出数据;
第一加法加权模块,用于将第十卷积输出数据加权到所述第三输出数据xi(Q′×Q′×128)上,获取获得图像域注意力机制作用下的输出结果
第二加法加权模块,用于将所述光谱域注意力机制作用下的输出结果和图像域注意力机制作用下的输出结果/>进行加法加权,得到所述第四输出数据。
在一个具体实施方式中,r分别取1、2、4、8,根据网络收敛趋势及稳定性结果确定出本实例最佳缩减率r为2。
第二实施例
一种粮食霉变粒识别方法流程图如图2所示。
本发明提供一种对粮食霉变粒识别神经网络进行训练的方法,包括
S200、准备训练集:对预先通过人工质检结果标记出籽粒霉变区域的样品划分出Q×Q大小感兴趣区域;
在一个具体实施例中,收集玉米籽粒样品于实验室在4℃条件下储藏备用,由专业质检人员对玉米籽粒样品是否发生霉变进行人工感官判定(玉米霉变粒检测国家标准),标记出籽粒霉变区域,为高光谱图像感兴趣区域划分提供依据。
根据人工质检结果归类样品为健康籽粒和霉变籽粒,随机选择一部分样品用于深度神经网络的训练及霉变籽粒识别模型的构建,另一部分样品作为独立样本用于模型的验证。
在一个具体实施例中,玉米品种包括京科968、郑单958、先玉335、吉第816,每个品种挑选800~1000粒作为代表性样品。不同品种玉米籽粒训练集和独立测试集样品数量分布如表1所示:
表1
针对每个品种训练集样本进一步随机选择2/3的样本用于判别模型的构建,剩余1/3的样本用于模型的测试。
利用400~1000nm波段内可见/近红外高光谱成像***采集玉米籽粒高光谱图像数据。
S204、提取区域内像素点光谱图像数据xi(Q×Q×256);
S206、将图像数据xi(Q×Q×256)作为所述网络的输入;
在一个具体实施例中,Q分别取9、13、17、21、25,将不同大小区域图像分别输入网络进行训练,根据网络收敛趋势及稳定性结果确定出本实例最佳图像感兴趣区域尺寸为21×21。
S208、将交叉熵函数作为所述网络的代价函数,采用梯度下降法优化网络参数,根据代价函数和准确率和/或F-Score结果变化趋势获得最优网络参数。
在一个具体实施例中,所述网络模型代价函数表示为:
其中N代表样本数量,为网络预测值,/>为样本真实值。网络训练过程中学习率初始化为0.001,衰减因子为0.88。
Acc的计算公式:
其中,TP为真样本被判别为真样本数量;FN为真样本被判别为伪样本数量;TN为伪样本被判别为伪样本数量;FP为伪样本被判别为真样本数量迭代训练过程中。
在一个具体实施例中,四种玉米样品粮食霉变粒识别神经网络Cost和Acc训练结果如图5所示,京科968、郑单958、先玉335、吉第816,粮食霉变粒识别神经网络网络的迭代次数epoch分别为450、382、402、380;训练集代价函数cost值分别收敛于0.1989、0.2011、0.186、0.1969,判别准确率Acc分别为0.9391、0.9058、0.9466、0.9248;测试集代价函数cost值分别收敛于0.2092、0.2196、0.2019、0.2054,判别准确率Acc分别为0.9153、0.8943、0.9223、0.9156。由此可知,搭建的粮食霉变粒识别神经网络对四种玉米籽粒高光谱数据的整体训练结果较为理想。
F-Score由精确率P和召回率R计算得出,模型性能评价指标计算公式如下:
其中,TP为真样本被判别为真样本数量;FN为真样本被判别为伪样本数量;TN为伪样本被判别为伪样本数量;FP为伪样本被判别为真样本数量。
在一个具体的实施例中,最终得到的结果是:粮食霉变粒识别神经网络模型对于玉米霉变粒的判别结果如下表2所示:针对训练集四种玉米籽粒样本,模型判别准确率(Acc)在93%~96%之间,F-score在95%~97%范围内,测试集中Acc在90%~93%之间,F-score在92%~96%范围内,模型具有可观的判别准确率和稳定性。其中针对先玉335品种玉米霉变粒判别结果最优,训练集和测试集Acc分别为95.69%和94.62%,F-score分别达到96.80%和95.74%。由此表明粮食霉变粒识别神经网络模型对于玉米籽粒是否霉变具有优越的识别能力。
表2
在一个具体实施例中,包括独立样品测试
将独立样品数据输入到建立的粮食霉变粒识别神经网络模型中,获取籽粒是否霉变的判定结果,完成模型性能的测试。
模型独立样品测试结果如表3所示:通过独立样本的测试模型Acc结果在88%~92%之间,F-score在90%~94%范围内,模型的整体判别能力良好。由此可知,本专利建立的粮食霉变粒识别神经网络模型能够用于玉米霉变粒快速无损批量检测。
表3
在一个具体实施例中,包括:
获取待识别样品的感兴趣区域的光谱图像数据;以及将所述图像数据输入所述网络得到识别结果。
本发明提出了一种粮食霉变粒识别神经网络和识别方法,通过引入注意力机制聚焦霉变籽粒局部图谱特征信息,构建出了适用于霉变粒现场快速批量检测的定性判别模型,提高质检效率且方便粮食行业按质论价,保障农民种粮利益和国家粮食安全,有力的促进我国粮食收购质检事业的发展。
第三实施例
图6示出了本申请的另一个实施例提供的一种计算机设备的结构示意图。图6显示的计算机设备50仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。如图6所示,计算机设备50以通用计算设备的形式表现。计算机设备50的组件可以包括但不限于:一个或者多个处理器或者处理单元500,***存储器516,连接不同***组件(包括***存储器516和处理单元500)的总线501。
总线501表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,***总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
计算机设备50典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机设备50访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
***存储器516可以包括易失性存储器形式的计算机***可读介质,例如随机存取存储器(RAM)504和/或高速缓存存储器506。计算机设备50可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例,存储***508可以用于读写不可移动的、非易失性磁介质(图6未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线501相连。存储器516可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行实施例一的功能。
具有一组(至少一个)程序模块512的程序/实用工具510,可以存储在例如存储器516中,这样的程序模块512包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块512通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备50也可以与一个或多个外部设备70(例如键盘、指向设备、显示器60等)通信,还可与一个或者多个使得用户能与该计算机设备50交互的设备通信,和/或与使得该计算机设备50能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口502进行。并且,计算机设备50还可以通过网络适配器514与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图6所示,网络适配器514通过总线501与计算机设备50的其它模块通信。应当明白,尽管图6中未示出,可以结合计算机设备50使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理器单元500通过运行存储在***存储器516中的程序,从而执行各种功能应用以及数据处理,例如实现本申请实施例一所提供的一种粮食霉变粒识别神经网络的建立方法和识别方法。
本申请针对目前现有的问题,制定一种粮食霉变粒识别神经网络的建立方法和识别方法的计算机设备,通过引入注意力机制聚焦霉变籽粒局部图谱特征信息,构建出了适用于霉变粒现场快速批量检测的定性判别模型,提高质检效率且方便粮食行业按质论价,保障农民种粮利益和国家粮食安全,具有广泛的应用前景。
第四实施例
本申请的另一个实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例一所提供的方法。在实际应用中,所述计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。
计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明的描述中,需要说明的是,在本发明的描述中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定,对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (10)

1.一种粮食霉变粒识别神经网络,其特征在于,包括
第一卷积层,用于将光谱图像数据Zi进行第一卷积操作,得到第一层网络输出数据,其中所述光谱图像数据的大小为Q*Q*256,为对粮食样品的Q×Q大小感兴趣区域提取区域内像素点光谱图像得到的,其中,Q×Q是图像尺度,256是光谱波段数量;
第二卷积层,用于将所述第一层网络输出数据进行第二卷积操作,得到第二层网络输出数据;
最大池化层,用于将所述第二层网络输出数据进行池化操作,得到第三层网络输出数据Yi,其中,所述第三层网络输出数据的大小为Q′×Q′×128,Q′×Q′是池化处理后的图像尺度,128为光谱波段数量;
注意力机制模块,用于对所述第三层网络输出数据进行籽粒霉变图谱特征挖掘,得到第四层网络输出数据;
第三卷积层,用于将所述第四层网络输出数据进行第三卷积操作,得到第五层网络输出数据;
第四卷积层,用于将所述第五层网络输出数据进行第四卷积操作,得到第六层网络输出数据;
串联连接的第一全连接层、第二全连接层和第一分类器,其中第一全连接层接收第六层网络输出数据,第一分类器输出识别结果;
所述注意力机制模块包括
光谱域注意力机制网络,包括
全局均匀池化层,用于对所述第三层网络输出数据进行池化操作,得到全局均匀池化输出数据;
第五卷积层,用于对全局均匀池化层输出数据进行第五卷积操作,得到第五卷积输出数据,其中卷积核大小为1×1×128/r,其中r为缩减率;
第六卷积层,用于对第五卷积层输出数据进行第六卷积操作,得到第六卷积输出数据,其中卷积核大小为1×1×128;
上采样层,对所述第六卷积层输出数据进行上采样操作,得到权重向量Pb,其中,所述权重向量Pb的大小为Q′×Q′×128,其中,Q′×Q′是图像尺度,128为光谱波段数量;
第一乘法加权模块,用于通过缩放操作将向量Pb加权到输入所述第三层网络输出数据Yi的每个光谱波段上,获取光谱域注意力机制作用下的输出结果Yi spl
图像域注意力机制网络,包括
串联连接的第七卷积层和第一重置模块,其中第七卷积层用于接收所述第三层网络输出数据,并由第一重置模块输出第一重置输出数据,其中第七卷积层卷积核大小为3×3×128/r;
串联连接的第八卷积层和第二重置模块,其中第八卷积层用于接收所述第三层网络输出数据,并由第二重置模块输出第二重置输出数据,其中第八卷积层卷积核大小为3×3×128/r;
第二乘法加权模块,用于将第一重置输出数据加权到第二重置输出数据,得到第二乘法加权输出数据;
第二分类器,用于将第二乘法加权输出数据进行分类计算,得到第二分类输出数据;
串联连接的第九卷积层和第三重置模块,其中第九卷积层用于接收所述第三层网络输出数据,并由第三重置模块输出第三重置输出数据,其中第九卷积层卷积核大小为1×1×128/r;
第三乘法加权模块,用于将第二分类输出数据加权到第三重置输出数据,得到特征向量pi,其中,所述特征向量pi的大小为Q′×Q′×128,其中,Q′×Q′是图像尺度,128为光谱波段数量;
串联连接的第四重置模块和第十卷积层,所述第四重置模块用于接收特征向量pi,所述第十卷积层输出第十卷积输出数据;
第一加法加权模块,用于将第十卷积输出数据加权到所述第三层网络输出数据Yi上,获得图像域注意力机制作用下的输出结果Yi img
第二加法加权模块,用于将所述光谱域注意力机制作用下的输出结果Yi spl和图像域注意力机制作用下的输出结果Yi img进行加法加权,得到所述第四层网络输出数据;
其中,采用核极限学习机作为第一分类器,所述第一分类器的表达式为
N个光谱图像数据xi为所述网络中第二全连接层的输出特征,xi=[xi1,xi2,…,xim],其中m为输出通道数量,f(wjxi+bj)为隐含层神经元的激励函数,L为神经元个数,wj表示对应xi数据第j个神经元的权重值,bj为第j个隐含层神经元偏置项,ρj为连接第j个隐层的输出权值,Oi为输出结果分为霉变和健康籽粒。
2.根据权利要求1所述的网络,其特征在于,所述光谱图像数据为利用400~1000nm波段内可见/近红外高光谱成像***采集玉米籽粒的光谱图像得到的。
3.根据权利要求1所述的网络,其特征在于,r为2。
4.根据权利要求1所述的网络,其特征在于,所述Q×Q为21×21。
5.一种对权利要求1-4中任一项所述的网络进行训练的方法,其特征在于,包括
S200、准备训练集:对预先通过人工质检结果标记出籽粒霉变区域的样品划分出Q×Q大小感兴趣区域;
S204、提取区域内像素点光谱图像数据Zi,其中,所述光谱图像数据Zi的大小为Q′×Q′×256,其中,Q′×Q′是图像尺度,256为光谱波段数量;
S206、将光谱图像数据Zi作为所述网络的输入;
S208、将交叉熵函数作为所述网络的代价函数,采用梯度下降法优化网络参数,根据代价函数和识别准确率结果变化趋势获得最优网络参数;
采用核极限学习机作为第一分类器,所述第一分类器的表达式为
N个光谱图像数据xi为所述网络中第二全连接层的输出特征,xi=[xi1,xi2,…,xim],其中m为输出通道数量,f(wjxi+bj)为隐含层神经元的激励函数,L为神经元个数,wj表示对应xi数据第j个神经元的权重值,bj为第j个隐含层神经元偏置项,ρj为连接第j个隐层的输出权值,Oi为输出结果分为霉变和健康籽粒。
6.根据权利要求5所述的方法,其特征在于,
所述网络训练中所使用的代价函数为
其中N代表样本数量,为网络预测值,/>为样本真实值,网络训练过程中学习率初始化为0.001,衰减因子为0.88。
7.根据权利要求5所述的方法,其特征在于,所述准确率为
F-Score由精确率P和召回率R计算得出;
其中,TP为真样本被判别为真样本数量;FN为真样本被判别为伪样本数量;TN为伪样本被判别为伪样本数量;FP为伪样本被判别为真样本数量。
8.一种利用权利要求5-7中任一项所述的方法对粮食霉变粒进行识别的方法,其特征在于,包括
获取待识别样品的感兴趣区域的光谱图像数据;以及
将所述图像数据输入所述网络得到识别结果。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求5-7中任一项所述的方法。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求5-7中任一项所述的方法。
CN202010914811.8A 2020-09-03 2020-09-03 一种粮食霉变粒识别神经网络和识别方法 Active CN112232343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010914811.8A CN112232343B (zh) 2020-09-03 2020-09-03 一种粮食霉变粒识别神经网络和识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010914811.8A CN112232343B (zh) 2020-09-03 2020-09-03 一种粮食霉变粒识别神经网络和识别方法

Publications (2)

Publication Number Publication Date
CN112232343A CN112232343A (zh) 2021-01-15
CN112232343B true CN112232343B (zh) 2023-11-21

Family

ID=74117017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010914811.8A Active CN112232343B (zh) 2020-09-03 2020-09-03 一种粮食霉变粒识别神经网络和识别方法

Country Status (1)

Country Link
CN (1) CN112232343B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113109240B (zh) * 2021-04-08 2022-09-09 国家粮食和物资储备局标准质量中心 一种计算机实施的粮食不完善粒测定方法和***
CN115201144B (zh) * 2022-09-14 2022-12-09 武汉工程大学 一种油菜籽的氨基酸及蛋白质定量检测方法、***及介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169090A (zh) * 2017-05-12 2017-09-15 深圳市唯特视科技有限公司 一种利用内容环绕信息提取图像表征的特定对象检索方法
CN107578060A (zh) * 2017-08-14 2018-01-12 电子科技大学 一种基于可判别区域的深度神经网络用于菜品图像分类的方法
CN109376804A (zh) * 2018-12-19 2019-02-22 中国地质大学(武汉) 基于注意力机制和卷积神经网络高光谱遥感图像分类方法
CN109993220A (zh) * 2019-03-23 2019-07-09 西安电子科技大学 基于双路注意力融合神经网络的多源遥感图像分类方法
CN110084794A (zh) * 2019-04-22 2019-08-02 华南理工大学 一种基于注意力卷积神经网络的皮肤癌图片识别方法
CN110188635A (zh) * 2019-05-16 2019-08-30 南开大学 一种基于注意力机制和多层次卷积特征的植物病虫害识别方法
CN110473164A (zh) * 2019-05-31 2019-11-19 北京理工大学 一种基于注意力机制的图像美学质量评价方法
CN110516596A (zh) * 2019-08-27 2019-11-29 西安电子科技大学 基于Octave卷积的空谱注意力高光谱图像分类方法
CN110689056A (zh) * 2019-09-10 2020-01-14 Oppo广东移动通信有限公司 一种分类方法及装置、设备和存储介质
CN110991511A (zh) * 2019-11-26 2020-04-10 中原工学院 一种基于深度卷积神经网络的向日葵作物种子分拣方法
CN111178120A (zh) * 2018-12-25 2020-05-19 中国科学院合肥物质科学研究院 一种基于作物识别级联技术的害虫图像检测方法
CN111274869A (zh) * 2020-01-07 2020-06-12 中国地质大学(武汉) 基于并行注意力机制残差网进行高光谱图像分类的方法
CN111353531A (zh) * 2020-02-25 2020-06-30 西安电子科技大学 基于奇异值分解和空谱域注意力机制高光谱图像分类方法
CN111563520A (zh) * 2020-01-16 2020-08-21 北京航空航天大学 一种基于空间-光谱联合注意力机制的高光谱图像分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2008355778B2 (en) * 2008-04-28 2015-02-12 Agency For Science, Technology And Research (A*Star) A method and system for concentration detection

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169090A (zh) * 2017-05-12 2017-09-15 深圳市唯特视科技有限公司 一种利用内容环绕信息提取图像表征的特定对象检索方法
CN107578060A (zh) * 2017-08-14 2018-01-12 电子科技大学 一种基于可判别区域的深度神经网络用于菜品图像分类的方法
CN109376804A (zh) * 2018-12-19 2019-02-22 中国地质大学(武汉) 基于注意力机制和卷积神经网络高光谱遥感图像分类方法
CN111178120A (zh) * 2018-12-25 2020-05-19 中国科学院合肥物质科学研究院 一种基于作物识别级联技术的害虫图像检测方法
CN109993220A (zh) * 2019-03-23 2019-07-09 西安电子科技大学 基于双路注意力融合神经网络的多源遥感图像分类方法
CN110084794A (zh) * 2019-04-22 2019-08-02 华南理工大学 一种基于注意力卷积神经网络的皮肤癌图片识别方法
CN110188635A (zh) * 2019-05-16 2019-08-30 南开大学 一种基于注意力机制和多层次卷积特征的植物病虫害识别方法
CN110473164A (zh) * 2019-05-31 2019-11-19 北京理工大学 一种基于注意力机制的图像美学质量评价方法
CN110516596A (zh) * 2019-08-27 2019-11-29 西安电子科技大学 基于Octave卷积的空谱注意力高光谱图像分类方法
CN110689056A (zh) * 2019-09-10 2020-01-14 Oppo广东移动通信有限公司 一种分类方法及装置、设备和存储介质
CN110991511A (zh) * 2019-11-26 2020-04-10 中原工学院 一种基于深度卷积神经网络的向日葵作物种子分拣方法
CN111274869A (zh) * 2020-01-07 2020-06-12 中国地质大学(武汉) 基于并行注意力机制残差网进行高光谱图像分类的方法
CN111563520A (zh) * 2020-01-16 2020-08-21 北京航空航天大学 一种基于空间-光谱联合注意力机制的高光谱图像分类方法
CN111353531A (zh) * 2020-02-25 2020-06-30 西安电子科技大学 基于奇异值分解和空谱域注意力机制高光谱图像分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Concurrent Spatial and Channel ‘Squeeze & Excitation’ in Fully Convolutional Networks;Abhijit Guha Roy等;《MICCAI 2018:International Conference on Medical Image Computing and Computer Assisted Intervention》;421-429 *
spectral-spatial attention Network for Hyperspectral Image Classification;H. Sun,X.Zhang,X.Lu and S.Wu;spectral-spatial attention Network for Hyperspectral Image Classification;第58卷(第5期);3232-3245 *
Spectral–Spatial Attention Network for Hyperspectral Image Classification;Hao Sun等;《IEEE Transactions on Geoscience and Remote Sensing》;第58卷(第5期);3232 - 3245 *

Also Published As

Publication number Publication date
CN112232343A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
Bock et al. From visual estimates to fully automated sensor-based measurements of plant disease severity: status and challenges for improving accuracy
CN112232343B (zh) 一种粮食霉变粒识别神经网络和识别方法
CN108230292A (zh) 物体检测方法和神经网络的训练方法、装置及电子设备
CN107679569A (zh) 基于自适应超图算法的拉曼光谱物质自动识别方法
CN105043998B (zh) 一种鉴别玉米单倍体的方法
CN113866102A (zh) 一种基于光谱的土壤健康调查监测方法
CN104359847B (zh) 获取代表典型水体类别的质心集的方法及装置
Huang et al. Detection of scab in wheat ears using in situ hyperspectral data and support vector machine optimized by genetic algorithm
CN106971073A (zh) 一种矿井突水水源的非线性识别方法
CN116858789A (zh) 食品安全检测***及其方法
CN111879709A (zh) 湖泊水体光谱反射率检验方法及装置
CN104504399B (zh) 一种结合线性相关信息熵的多光谱数据有监督分类方法
CN117313564A (zh) 反演海洋-大气光学参数的方法、装置及存储介质
CN108663334A (zh) 基于多分类器融合寻找土壤养分光谱特征波长的方法
Zhang et al. Slight crack identification of cottonseed using air-coupled ultrasound with sound to image encoding
CN116433661A (zh) 多任务学习的半导体晶圆检测方法、装置、设备及介质
CN116399848A (zh) 一种基于深度学习的拉曼光谱大米检测方法
Gao et al. Study on deep learning model for online estimation of chlorophyll content based on near ground multispectral feature bands
CN115310472A (zh) 基于核脉冲峰值序列的一维卷积神经网络核素识别方法
CN112697726A (zh) 一种基于无人机高光谱田间烟叶烟碱含量预测方法及***
CN112697724A (zh) 基于无人机高光谱田间烟叶氧化钾含量预测方法及***
CN117740712B (zh) 用于海关口岸的象牙及其制品快速初筛鉴定方法和***
CN109614954B (zh) 一种土壤重金属污染高光谱迁移的定性分类方法
CN111414819B (zh) 基于非平衡数据分类框架的火点智能检测和分类方法
CN108982390A (zh) 一种基于原子吸收光谱信息的水体农药残留检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant