CN114170518A - 一种基于计算机视觉的茶树冻害评估方法及*** - Google Patents

一种基于计算机视觉的茶树冻害评估方法及*** Download PDF

Info

Publication number
CN114170518A
CN114170518A CN202111555624.6A CN202111555624A CN114170518A CN 114170518 A CN114170518 A CN 114170518A CN 202111555624 A CN202111555624 A CN 202111555624A CN 114170518 A CN114170518 A CN 114170518A
Authority
CN
China
Prior art keywords
tea tree
injury
tea
freezing
freezing injury
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111555624.6A
Other languages
English (en)
Inventor
丁兆堂
李�赫
范凯
王玉
毛艺霖
丁仕波
宋大鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Agricultural University
Original Assignee
Qingdao Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Agricultural University filed Critical Qingdao Agricultural University
Priority to CN202111555624.6A priority Critical patent/CN114170518A/zh
Publication of CN114170518A publication Critical patent/CN114170518A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于计算机视觉的茶树冻害评估方法及***。所述评估方法包括:通过RGB相机采集茶树叶片冻害图像,将图像进行预处理,采用双层算法对茶树冻害叶片进行识别和分级,在第一层算法中,通过Faster RCNN网络对茶树冻害叶片进行分割和第一次分级,分割后的照片输入到第二层算法SVM中进行第二次分级,最后根据得到的茶树不同分级的冻害叶片打分情况,对茶树整体的冻害程度进行评估。本方法不仅可以对茶树叶片的冻害进行识别,而且可以对茶树冻害程度进行分级,解决了人工观测和评估茶园冻害主观性强,耗时长的问题且提高模型的精度,有利于茶园管理效率的提高。

Description

一种基于计算机视觉的茶树冻害评估方法及***
技术领域
本发明属于计算机视觉领域,具体涉及一种基于计算机视觉的茶树冻害评估方法及***。
背景技术
茶树(Camellia sinensis L.)是中国、印度、斯里兰卡、肯尼亚等国家最重要的经济作物之一。然而,随着全球气候的持续变化和茶树对低温灾害的脆弱性,大面积茶树被冻死,大大降低了寒冷地区的产量和作物分布。因此,有必要了解茶园冻害情况,分析冻害原因,提出预防措施。然后,进行灾后恢复,将茶叶生产的损失降到最低。
茶树的冻僵过程往往首先表现在叶片上,只有在极端寒冷的情况下,根部才会受损死亡。因此,叶片冻害的识别和分类对茶园冻害的评价和防治具有重要意义。目前,茶园冻害程度的识别主要依靠人工观测和计算,主观性强,耗时长。然而,近年来,基于深度学习的目标检测算法发展迅速,一系列框架的出现为精确的目标定位和检测提供了基础。例如,R-CNN作为深度学习对象检测应用领域的先驱,其将传统机器学习与深度学习相结合,然后是目标检测网络的优化算法,如SPP net,Fast R-CNN,YOLO和SSD。
发明内容
本发明提供了一种基于计算机视觉的茶树冻害评估方法及***。本发明首先使用Faster R-CNN检测算法对受冻茶叶进行首次分类,然后使用SVM算法进行第二次分类,进一步提高其准确性,再对茶树的不同分级冻害叶片打分,最后根据打分情况对茶树整体冻害程度进行评估。
为实现上述发明目的,本发明采用以下技术方案予以实现:
本发明提供了一种基于计算机视觉的茶树冻害评估方法,包括以下步骤:
S1:采集茶树叶片冻害图像;
S2:将步骤S1的茶树叶片冻害图像进行预处理;
S3:结合预处理后的冻害图像对茶树冻害叶片进行分割和第一次分级;
S4:对分割后的冻害图像进行第二次分级;
S5:结合步骤S3和S4的分级结果,得到茶树不同分级的冻害叶片打分情况,并根据打分情况对茶树整体的冻害程度进行评估。
进一步的,所述步骤S2中预处理茶树叶片冻害图像的具体步骤为:
S21:利用茶树叶片冻害图像对茶树的受冻害程度进行分级;
S22:调整茶树叶片冻害图像的分辨率;
S23:利用MATLAB软件对调整后的冻害图像进行标记,得到训练集;
S24:将标记的标签数据以mat格式保存后,转换成表格数据集格式,输入神经网络。
进一步的,所述步骤S22中将茶树叶片冻害图像的分辨率调整为1800×1800。
进一步的,所述步骤S3是利用Faster RCNN网络对茶树冻害叶片进行分割和第一次分级的,具体步骤为:
S31:将茶树冻害的叶片分为三个等级,制成输入数据集;
S32:将输入数据集按照9:1的比例划分为训练集和测试集;
S33:将训练集输入到不同的神经网络中,对茶树冻害叶片的冻害特征进行提取;
S34:比较不同的神经网络在相同学习率下的结果,选取最优的特征提取网络输入到Faster RCNN网络中;
S35:将步骤S32中的训练集输入到步骤S34中最优的Faster RCNN网络中,在不同的学习率下进行训练;
S36:根据步骤S35,找到最佳的学习率,然后将步骤S32中的测试集输入到FasterRCNN网络中对分类结果进行验证。
进一步的,所述神经网络包括AlexNet、VGG19和Resnet50,它们的总训练时间分别为5小时、7小时和23小时。
进一步的,所述步骤S36中选择的最大迭代、学习率和学习率下降因子分别为20、0.0001、0.001。
进一步的,所述步骤S4的具体步骤为:
S41:将分割后的冻害图像通过HOG对冻害特征进行提取;
S42:提取特征后的图像放入到SVM网络中进行一对一法分类。
进一步的,所述步骤S5中,将一级冻害叶片打分0.5,二级冻害叶片打分0.3,三级冻害叶片打分0.2,最终的评分为三者的数量乘分数并且相加。
本发现还提供了一种基于计算机视觉的茶树冻害评估***,包括:
采集***,包括RGB相机,用来采集冬季的茶树叶片冻害图像;
处理***,执行以下操作:将采集到的冻害图像输入到深度学习和机器学习的神经网络中,并对茶树叶片进行识别分级,然后根据冻害叶片对茶树整体进行自动打分;
分析***,根据所述处理***的打分,对茶树冻害情况进行总体评价,指导茶树越冬和越冬后的修剪管理。
与现有技术相比,本发明具有的优点和有益效果是:
1、本发明通过深度学习和机器学习的方法实现了对茶树冻害情况的整体评估,解决了人工观测和评估茶园冻害主观性强,耗时长的问题,实现了计算机视觉自动化的分析评估,对于指导茶园的越冬和越冬后茶园修剪管理具有重要意义。
2、本发明通过双层神经网络识别和分割茶树冻害叶片,其模型的精度要比单层算法有所提高,为以后计算机视觉领域分析图像提供思路。
附图说明
图1为本发明的一种基于计算机视觉的茶树冻害评估方法的流程图。
图2为茶树叶片冻害标记的图像。
图3第一层算法Faster RCNN的总体框架。
图4第二层算法SVM的原理。
图5茶树受冻叶片的识别分类。
图6茶树整体的受冻评估(第四级)。
具体实施方式
结合以下具体实例对本发明的技术方案作进一步详细的说明。
实施例1
一种基于计算机视觉的茶树冻害评估方法,流程图见图1,包括如下步骤:
步骤一、茶树冻害图像采集:
2020年12月,在山东省日照市茶叶研究所(北纬35°40′,东经119°33′,海拔23米)采集了图像。采用CANON-EOS 6D采集茶冠图像。图像以JPEG格式存储,分辨率设为3024×4032。拍摄角度和距离是随机的。
步骤二、获取到的茶树冻害的图像进行预处理。
首先,对茶树的受冻害程度进行分级,分为轻度、中度、重度。表1显示了茶树受冻害的程度的分级情况。然后,将训练图像的分辨率调整为1800×1800,利用MATLAB软件中的image labeler 9.2对640张增强照片进行标记,得到训练集。一、二、三级分别用红色、橙色、蓝色三种颜色标记,图2为标记的冻害图像。最后,标签数据以mat格式保存。将它们转换成表格数据集格式,输入神经网络。
表1:茶树受冻害的程度的分级情况
Figure BDA0003418537470000041
步骤三、Faster RCNN网络对茶树冻害叶片进行分割和第一次分级:
(1)将茶树冻害的叶片分为三个等级,制成输入数据集。
(2)将输入数据集,按照9:1的比例划分为训练集和测试集。
(3)将训练集输入到三个不同的神经网络AlexNet,VGG19,Resnet50中,对茶树叶片的冻害特征进行提取。表2列出了这三个特征提取器,包括它们的层数和性能。
表2:深度特征提取器的特性及其在ImageNet挑战中的性能
Figure BDA0003418537470000042
(4)三个神经网络在相同的学习率下比较识别结果,选取最优的特征提取网络输入到Faster RCNN中。结果如表3表明,Resnet50网络的识别效果优于AlexNet和VGG19。图5显示了Resnet50网络的分级效果。
表3:基于三种不同网络Faster RCNN模型的精度
Figure BDA0003418537470000043
Figure BDA0003418537470000051
(5)将训练集输入到最优的Faster RCNN中,在不同的学习率下进行训练。图3显示了Faster RCNN的整体框架。
(6)最终选择的最大迭代、学习率和学习率下降因子分别为20、0.0001、0.001。AlexNet、Resnet50和VGG19的总训练时间分别为5、7和23小时。然后将测试集输入到FasterRCNN中对分类结果进行验证。为了评价模型的精度,通过准确率和召回率评估,公式为(1)和(2):
Figure BDA0003418537470000052
Figure BDA0003418537470000053
其中,TP为正确分类定位的阳性样本数量,TN为正确分类定位的阴性样本数量,FP为错误标记为阳性样本的阴性样本数量,FN为错误标记为阴性样本的阳性样本数量。
步骤四、分割后的照片输入到SVM网络中进行第二次分级:
将第一层算法捕获的图像输入到第二层算法SVM网络中,具体为将图像通过HOG对冻害特征进行提取,然后提取特征后的图像再放入到SVM网络中进行一对一法分类。图4显示了SVM一对一法分类原理图。结果如表4表明,SVM算法能够较好地对冻叶进行分类,准确率为93.10%,总体准确率为97.52%。
表4:SVM神经网络模型
Figure BDA0003418537470000054
步骤五、茶树受冻程度整体评价:
根据步骤三和步骤四,得到茶树受冻叶片的分级情况打分。然后将整棵珍珠茶树图像输入双层算法得到的模型中,对整棵珍珠茶树的冻害程度进行分级。分级方法如公式(3)所示:
Figure BDA0003418537470000055
其中,X1为第一级冻害叶片的数量,X2为第二级冻害叶片的数量,X3为第三级冻害叶片的数量。
表5显示了茶树冻害分级标准。图6为整个珍珠茶树冻害图像。
表5:茶树冻害分级标准
Figure BDA0003418537470000061
本发明是一种基于计算机视觉评估茶园中茶树的受冻程度,指导茶树越冬防护和越冬后修剪的方法。传统的评估茶树的受冻程度依赖于人工手段、经验判断,容易出现误判的情况,且检测效率低。因此,本发明将RGB图像结合深度学习和机器学习的方法引用于茶园受冻程度评估中,来提高茶园管理效率。
以上实施例仅用以说明本发明的技术方案,而非对其进行限制;尽管参照前述实施例对本发明进行了详细的说明,对于本领域的普通技术人员来说,依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或替换,并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。

Claims (9)

1.一种基于计算机视觉的茶树冻害评估方法,其特征在于,包括以下步骤:
S1:采集茶树叶片冻害图像;
S2:将步骤S1的茶树叶片冻害图像进行预处理;
S3:结合预处理后的冻害图像对茶树冻害叶片进行分割和第一次分级;
S4:对分割后的冻害图像进行第二次分级;
S5:结合步骤S3和S4的分级结果,得到茶树不同分级的冻害叶片打分情况,并根据打分情况对茶树整体的冻害程度进行评估。
2.根据权利要求1所述的基于计算机视觉的茶树冻害评估方法,其特征在于,所述步骤S2中预处理茶树叶片冻害图像的具体步骤为:
S21:利用茶树叶片冻害图像对茶树的受冻害程度进行分级;
S22:调整茶树叶片冻害图像的分辨率;
S23:利用MATLAB软件对调整后的冻害图像进行标记,得到训练集;
S24:将标记的标签数据以mat格式保存后,转换成表格数据集格式,输入神经网络。
3.根据权利要求1所述的基于计算机视觉的茶树冻害评估方法,其特征在于,所述步骤S22中将茶树叶片冻害图像的分辨率调整为1800×1800。
4.根据权利要求1所述的基于计算机视觉的茶树冻害评估方法,其特征在于,所述步骤S3是利用Faster RCNN网络对茶树冻害叶片进行分割和第一次分级的,具体步骤为:
S31:将茶树冻害的叶片分为三个等级,制成输入数据集;
S32:将输入数据集按照9:1的比例划分为训练集和测试集;
S33:将训练集输入到不同的神经网络中,对茶树冻害叶片的冻害特征进行提取;
S34:比较不同的神经网络在相同学习率下的结果,选取最优的特征提取网络输入到Faster RCNN网络中;
S35:将步骤S32中的训练集输入到步骤S34中最优的Faster RCNN网络中,在不同的学习率下进行训练;
S36:根据步骤S35,找到最佳的学习率,然后将步骤S32中的测试集输入到Faster RCNN网络中对分类结果进行验证。
5.根据权利要求4所述的基于计算机视觉的茶树冻害评估方法,其特征在于,所述神经网络包括AlexNet、VGG19和Resnet50,它们的总训练时间分别为5小时、7小时和23小时。
6.根据权利要求4所述的基于计算机视觉的茶树冻害评估方法,其特征在于,所述步骤S36中选择的最大迭代、学习率和学习率下降因子分别为20、0.0001、0.001。
7.根据权利要求1所述的基于计算机视觉的茶树冻害评估方法,其特征在于,所述步骤S4的具体步骤为:
S41:将分割后的冻害图像通过HOG对冻害特征进行提取;
S42:提取特征后的图像放入到SVM网络中进行一对一法分类。
8.根据权利要求1所述的基于计算机视觉的茶树冻害评估方法,其特征在于,所述步骤S5中,将一级冻害叶片打分0.5,二级冻害叶片打分0.3,三级冻害叶片打分0.2,最终的评分为三者的数量乘分数并且相加。
9.一种基于计算机视觉的茶树冻害评估***,其特征在于,包括:
采集***,包括RGB相机,用来采集冬季的茶树叶片冻害图像;
处理***,执行以下操作:将采集到的冻害图像输入到深度学习和机器学习的神经网络中,并对茶树叶片进行识别分级,然后根据冻害叶片对茶树整体进行自动打分;
分析***,根据所述处理***的打分,对茶树冻害情况进行总体评价,指导茶树越冬和越冬后的修剪管理。
CN202111555624.6A 2021-12-17 2021-12-17 一种基于计算机视觉的茶树冻害评估方法及*** Pending CN114170518A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111555624.6A CN114170518A (zh) 2021-12-17 2021-12-17 一种基于计算机视觉的茶树冻害评估方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111555624.6A CN114170518A (zh) 2021-12-17 2021-12-17 一种基于计算机视觉的茶树冻害评估方法及***

Publications (1)

Publication Number Publication Date
CN114170518A true CN114170518A (zh) 2022-03-11

Family

ID=80487332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111555624.6A Pending CN114170518A (zh) 2021-12-17 2021-12-17 一种基于计算机视觉的茶树冻害评估方法及***

Country Status (1)

Country Link
CN (1) CN114170518A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203506A (zh) * 2016-07-11 2016-12-07 上海凌科智能科技有限公司 一种基于深度学习技术的行人检测方法
CN108364006A (zh) * 2018-01-17 2018-08-03 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法
CN109801256A (zh) * 2018-12-15 2019-05-24 华南理工大学 一种基于感兴趣区域和全局特征的图像美学质量评估方法
CN110232406A (zh) * 2019-05-28 2019-09-13 厦门大学 一种基于统计学习的液晶面板cf图片识别方法
CN111583198A (zh) * 2020-04-23 2020-08-25 浙江大学 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法
CN112633212A (zh) * 2020-12-29 2021-04-09 长沙湘丰智能装备股份有限公司 一种基于计算机视觉的茶叶嫩芽等级的识别和分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203506A (zh) * 2016-07-11 2016-12-07 上海凌科智能科技有限公司 一种基于深度学习技术的行人检测方法
CN108364006A (zh) * 2018-01-17 2018-08-03 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法
CN109801256A (zh) * 2018-12-15 2019-05-24 华南理工大学 一种基于感兴趣区域和全局特征的图像美学质量评估方法
CN110232406A (zh) * 2019-05-28 2019-09-13 厦门大学 一种基于统计学习的液晶面板cf图片识别方法
CN111583198A (zh) * 2020-04-23 2020-08-25 浙江大学 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法
CN112633212A (zh) * 2020-12-29 2021-04-09 长沙湘丰智能装备股份有限公司 一种基于计算机视觉的茶叶嫩芽等级的识别和分类方法

Similar Documents

Publication Publication Date Title
CN107016405B (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
CN106951836B (zh) 基于先验阈值优化卷积神经网络的作物覆盖度提取方法
CN112966926B (zh) 一种基于集成学习的洪水敏感性风险评估方法
CN108898085B (zh) 一种基于手机视频的道路病害智能检测方法
CN110717903A (zh) 一种利用计算机视觉技术进行农作物病害检测的方法
CN108416985B (zh) 一种基于图像识别的地质灾害监测预警***及预警方法
CN108596038B (zh) 一种结合形态学分割和神经网络的粪便中红细胞识别方法
CN104881865A (zh) 基于无人机图像分析的森林病虫害监测预警方法及其***
CN103530638B (zh) 多摄像头下的行人匹配方法
CN107808375B (zh) 融合多种上下文深度学习模型的水稻病害图像检测方法
CN109063754A (zh) 一种基于OpenStreetMap的遥感影像多特征联合分类方法
CN107680098A (zh) 一种甘蔗蔗节特征的识别方法
CN111462058B (zh) 一种水稻有效穗快速检测方法
CN107886497A (zh) 一种基于图像的小麦旗叶无损自动检测及测量方法
CN115082785A (zh) 一种高原鼠兔型退化草甸秃斑特征的判别方法
CN112528726B (zh) 一种基于光谱成像和深度学习的棉蚜虫害监测方法及***
CN114170518A (zh) 一种基于计算机视觉的茶树冻害评估方法及***
CN116721385A (zh) 一种基于机器学习的rgb摄像头数据蓝藻水华监测方法
CN116310842A (zh) 基于遥感图像的土壤盐碱区域识别划分方法
CN116310338A (zh) 一种基于实例和语义分割的单株荔枝红叶梢分割方法
CN116563205A (zh) 基于小目标检测和改进YOLOv5的麦穗计数检测方法
CN115205701A (zh) 一种基于水稻物候特征提取样本的方法
CN116524344A (zh) 一种基于rgb-d信息融合的番茄串采摘点检测方法
CN102621075A (zh) 一种水稻抽穗期自动检测的方法
CN115439690A (zh) 一种结合CNN和Transformer的烤烟烟叶图像分级方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination