CN113674226A - 一种基于深度学习的采茶机茶叶芽尖检测方法 - Google Patents

一种基于深度学习的采茶机茶叶芽尖检测方法 Download PDF

Info

Publication number
CN113674226A
CN113674226A CN202110876674.8A CN202110876674A CN113674226A CN 113674226 A CN113674226 A CN 113674226A CN 202110876674 A CN202110876674 A CN 202110876674A CN 113674226 A CN113674226 A CN 113674226A
Authority
CN
China
Prior art keywords
tea
tea leaf
images
deep learning
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110876674.8A
Other languages
English (en)
Inventor
龚涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202110876674.8A priority Critical patent/CN113674226A/zh
Publication of CN113674226A publication Critical patent/CN113674226A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的采茶机茶叶芽尖检测方法,通过使用分段式采茶机构进行茶叶芽尖图像采集,对采集到图像进行数据集增强、标注、划分等操作后,放入YOLOv4模型中引入深度可分离卷积与自适应对比度加强处理进行模型优化,使用CIOU损失函数评估,最后使用HSV图像分割与凸包检测获得采摘点坐标。本发明的茶叶芽尖检测方法能高效准确的识别茶叶芽尖位置,实现名优茶高质量采摘。

Description

一种基于深度学习的采茶机茶叶芽尖检测方法
技术领域
本发明涉及采茶机机器人技术领域,具体为一种基于深度学习的采茶机茶叶芽尖检测方法。
背景技术
目前主要的采茶机类型有手动跨脊采茶机和手持式采茶机,但都无法区分茶叶的新芽和老叶,造成芽叶破损率高,达不到名茶采摘标准。因此,茶园仍选择依靠人工采摘名优茶。但随着采茶劳动力的日益紧缺,采茶机荒现象日趋严重,制约着采茶产业的发展。高效优质采茶机的研发是必要且有意义的。
近年来,随着人工智能体系技术越来越成熟,深度学习的应用也不断增加,智能采摘在农业水果采摘等领域已有应用,但在茶叶检测中,检测目标嫩芽体积小,夹杂在叶片中,不易检测。
发明内容
为解决背景技术中提到的智能采摘过程中容易漏检嫩芽的技术问题,本发明提出一种基于深度学习的采茶机茶叶芽尖检测方法,使用分段式采集图像方法,并结合深度学习进行芽尖检测,能更加精准高效地识别检测出芽尖的位置并配合采茶机进行采摘,能大大提高名优茶的采摘效率,缓解采茶人工成本的压力。
本发明采取如下的技术方案:
基于深度学习的采茶机茶叶芽尖检测方法,包括如下步骤:
步骤1:使用分段采茶机构进行茶叶图像采集;
步骤2:对步骤1采集到图像进行数据集增强操作,扩大数据集数量,人为对扩大后数据集中的每个图像的芽尖位置进行标注,并对标注后的数据集进行划分,划分为训练集与测试集;
步骤3:将步骤2中的训练集放入改进的YOLOv4网络进行训练;
步骤4:利用步骤3中训练好的模型对步骤2中测试集进行预测,获得芽尖的预测框;
步骤5:对步骤4得到的预测框中的嫩芽,进行图像分割与凸包检测获得采摘点坐标;
进一步的,所述步骤1具体包括:利用分段式采茶机构将茶叶进行分段处理,并采用分辨率为1920×1080的工业相机进行图像拍摄采集。
进一步的,所述步骤2具体包括:对采集到的图像进行-20度到20度的随机图像旋转,将数据集图像数量扩大,将数据集按照9:1的比例划分为训练集与测试集。
进一步的,所述步骤3具体包括:将训练集尺寸设为416×416,输入改进的YOLOv4网络进行模型训练,得到训练好的模型,使用CIOU损失函数评估模型效果。
进一步的,所述步骤4具体包括:输入测试集中的图像进入训练好的模型,模型读取图像后对读取图像进行自适应对比度加强处理,然后进行茶叶芽尖检测,获得茶叶芽尖的预测框。
进一步的,所述步骤5具体包括:将上述预测框裁剪,得到只有嫩芽的目标区域图像,将上述目标区域图像进行HSV图像分割得到二值化图像,对二值化图像进行凸包检测得到轮廓与图像边框交线,计算出采摘点坐标。
本发明的有益效果在于:
本发明所述检测方法能高效准确的识别茶叶芽尖位置,实现名优茶高质量采摘。
附图说明
图1为本发明的流程图;
图2为分段式采茶机构示意图;
图3为改进的YOLOv4网络结构示意图;
图4为茶叶图像的损失函数曲线图;
图5为测试集图像茶叶芽尖检测结果图,其中5a-5d分别是4个示例图;
图6为茶叶芽尖采摘点计算流程图,其中6a是输入的测试图像,6b是经预测框裁剪后的图像,6c是二值化后的图像,6d是经凸包检测得到轮廓与图像边框交线的示意图。
具体实施方式
为了使本发明的目的、技术方案和技术效果更加清楚明白,下面结合说明书附图和实施例,对本发明作进一步详细说明。
如图1所示,一种基于深度学习的采茶机茶叶芽尖检测方法包括以下步骤:
步骤1:使用分段采茶机构进行茶叶图像采集,具体为:
分段采茶机构已申请专利,申请号为2021106842465,利用分段式采茶机构进行茶叶的分段式图像获取,如图2,利用分段采茶机构的垄型压板与后遮板将茶叶上端限制在间隙处,四周利用挡光板设置暗箱去除自然光的干扰,在暗箱内设置条状LED灯照明,采用分辨率1920×1080的工业相机进行图像拍摄采集,相机设置在距离间隙处15厘米的位置。
步骤2:对步骤1采集到图像进行数据集增强操作,扩大数据集数量,人为对扩大后数据集中的每个图像的芽尖位置进行标注,并对标注后的数据集进行划分,划分为训练集与测试集;具体为:
对原数据集中茶叶的原始RGB图像,进行-20度到20度的图像中心旋转或图像水平翻转处理,将原数据集扩大到原本的4倍,并且对数据增强处理后的数据图像进行筛选,去除因图像处理而丢失茶叶芽尖的图像,最终获得数据集图像1430张,可以提升模型的泛化性能,又可以防止深度学习模型出现过拟合。将数据集按照9:1的比例划分为训练集与测试集,9:1的比例划分能较好验证相似的数据用此模型的效果。
步骤3:将训练集放入改进的YOLOv4网络进行训练,具体为:
如图4所示为改进的YOLOv4网络结构示意图,将训练集尺寸设为416×416像素,输入YOLOv4网络进行模型训练,改进的YOLOv4特征提取网络使用深度可分离卷积代替原YOLOv4的标准卷积块,使用Relu6激活函数,采样得到208×208,104×104,52×52,26×26,13×13这样5个不同大小的特征层。将最下层的特征层经过三次卷积,使用13×13,9×9,5×5,1×1的不同最大池化处理得到特征图后,将所述特征图与第三层、第四层的特征图作为双向特征金字塔的输入,经过特征金字塔的自下而上和自上而下的特征提取得到三个不同尺寸特征信息。利用上述的三个不同尺度的特征信息进行识别与先验框调整,得到训练好的模型。
本发明选用CIOU损失函数评估模型效果,CIOU考虑了目标与预测框的距离、重叠率、尺度、惩罚项,使得目标框回归更加稳定。
训练好的模型的损失函数曲线图如图4所示,随着训练次数的增加,损失函数逐渐减小。损失在1600次训练(约10代训练)前快速下降,在1600到3200次训练(约20代训练)之前逐渐下降,在6400次训练(约40代训练)后趋于稳定,说明模型的训练可以达到收敛状态,说明训练的模型设计合理。
步骤4:利用训练好的模型对测试图像进行预测,获得芽尖的预测框,具体为:
输入测试集中的图像进入步骤3中训练好的模型,上述模型读取输入的图像后,对图像进行ACE自适应对比度加强处理,使茶叶芽尖特征更加清晰,然后进行茶叶芽尖检测,获得茶叶芽尖的预测框如图5所示。
步骤5:对预测框中的嫩芽进行图像分割与凸包检测获得采摘点坐标,具体为:
上述经ACE自适应对比度加强处理的测试图像如6(a)所示,将该测试图像中的预测框裁剪,得到只有嫩芽的目标区域图像,如图6(b)所示,上述目标区域图像为RGB图像,将上述目标区域图像转换为HSV图像,并根据茶叶颜色与后遮板色调不同的特点,利用HSV图像分割将茶叶与背景分割开,如图6(c)所示得到二值化图像,对二值化图像进行凸包检测,凸包检测是从轮廓上的一个点开始,寻找一个最小的凸多边形,它包含了目标点集中的所有点,可以将目标对象完全包含在其内部。凸包检测即可将目标芽尖完全包含在其内部,并且得到轮廓与图像边框交线,如图6(d)所示,每条交线的中点即为所求的采摘点坐标。
应当理解的是,本发明书未详细阐述的部分均属于现有技术。
以上结合附图所示,仅为本发明的具体实施方法及流程,但本发明的保护范围并不局限于此,任何熟悉本领域的技术人员应当理解,此仅为举例说明,可以对此实施方法做出多种变化和替代,而不背离本发明的实质内容。本发明的范围仅有所附权利要求书限定。

Claims (8)

1.一种基于深度学习的采茶机茶叶芽尖检测方法,其特征在于,包括如下步骤:
步骤1:使用分段采茶机构进行茶叶图像采集;
步骤2:对步骤1采集到图像进行数据集增强操作,扩大数据集数量,人为对扩大后数据集中的每个图像的芽尖位置进行标注,并对标注后的数据集进行划分,划分为训练集与测试集;
步骤3:将步骤2中的训练集放入改进的YOLOv4网络进行训练;
步骤4:利用步骤3中训练好的模型对步骤2中测试集进行预测,获得芽尖的预测框;
步骤5:对步骤4得到的预测框中的嫩芽,进行图像分割与凸包检测获得采摘点坐标。
2.根据权利要求1所述的基于深度学习的采茶机茶叶芽尖检测方法,其特征在于,所述步骤1具体包括:利用分段式采茶机构将茶叶进行分段处理,并采用工业相机进行图像拍摄采集。
3.根据权利要求2所述的基于深度学习的采茶机茶叶芽尖检测方法,其特征在于,所述步骤2具体包括:对采集到的图像进行-20度到20度的随机图像旋转,将数据集的图像数量扩大,将数据集按照9:1的比例划分为训练集与测试集。
4.根据权利要求3所述的基于深度学习的采茶机茶叶芽尖检测方法,其特征在于,所述步骤3具体包括:将训练集尺寸设为416×416像素,输入改进的YOLOv4网络进行模型训练,得到训练好的模型,评估模型效果。
5.根据权利要求4所述的基于深度学习的采茶机茶叶芽尖检测方法,其特征在于,使用CIOU损失函数评估模型效果。
6.根据权利要求4所述的基于深度学习的采茶机茶叶芽尖检测方法,其特征在于,所述步骤4具体包括:输入测试集中的图像进入训练好的模型,模型对图像进行自适应对比度加强处理,然后进行茶叶芽尖检测,获得茶叶芽尖的预测框。
7.根据权利要求6所述的基于深度学习的采茶机茶叶芽尖检测方法,其特征在于,所述步骤5具体包括:将上述预测框裁剪,得到只有嫩芽的目标区域图像,将上述目标区域图像进行HSV图像分割得到二值化图像,对二值化图像进行凸包检测得到轮廓与图像边框交线,计算出采摘点坐标。
8.根据权利要求7所述的基于深度学习的采茶机茶叶芽尖检测方法,其特征在于,每条交线的中点即为采摘点的坐标。
CN202110876674.8A 2021-07-31 2021-07-31 一种基于深度学习的采茶机茶叶芽尖检测方法 Pending CN113674226A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110876674.8A CN113674226A (zh) 2021-07-31 2021-07-31 一种基于深度学习的采茶机茶叶芽尖检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110876674.8A CN113674226A (zh) 2021-07-31 2021-07-31 一种基于深度学习的采茶机茶叶芽尖检测方法

Publications (1)

Publication Number Publication Date
CN113674226A true CN113674226A (zh) 2021-11-19

Family

ID=78540949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110876674.8A Pending CN113674226A (zh) 2021-07-31 2021-07-31 一种基于深度学习的采茶机茶叶芽尖检测方法

Country Status (1)

Country Link
CN (1) CN113674226A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114190166A (zh) * 2021-12-15 2022-03-18 中国农业科学院茶叶研究所 一种基于图像和点云数据处理的采茶方法
CN114283303A (zh) * 2021-12-14 2022-04-05 贵州大学 一种茶青分类方法
CN114494441A (zh) * 2022-04-01 2022-05-13 广东机电职业技术学院 基于深度学习的葡萄及其采摘点同步识别定位方法、装置
CN114708208A (zh) * 2022-03-16 2022-07-05 杭州电子科技大学 一种基于机器视觉的名优茶嫩芽识别与采摘点定位方法
CN115019226A (zh) * 2022-05-13 2022-09-06 云南农业大学 一种基于改进型YoloV4模型的茶叶采摘识别方法
CN115271200A (zh) * 2022-07-25 2022-11-01 仲恺农业工程学院 一种用于名优茶的智能连贯采摘***
CN115965872A (zh) * 2022-07-22 2023-04-14 中科三清科技有限公司 一种茶叶采摘方法、装置、电子设备和存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283303A (zh) * 2021-12-14 2022-04-05 贵州大学 一种茶青分类方法
CN114283303B (zh) * 2021-12-14 2022-07-12 贵州大学 一种茶青分类方法
CN114190166A (zh) * 2021-12-15 2022-03-18 中国农业科学院茶叶研究所 一种基于图像和点云数据处理的采茶方法
CN114708208A (zh) * 2022-03-16 2022-07-05 杭州电子科技大学 一种基于机器视觉的名优茶嫩芽识别与采摘点定位方法
CN114708208B (zh) * 2022-03-16 2023-06-16 杭州电子科技大学 一种基于机器视觉的名优茶嫩芽识别与采摘点定位方法
CN114494441A (zh) * 2022-04-01 2022-05-13 广东机电职业技术学院 基于深度学习的葡萄及其采摘点同步识别定位方法、装置
CN114494441B (zh) * 2022-04-01 2022-06-17 广东机电职业技术学院 基于深度学习的葡萄及其采摘点同步识别定位方法、装置
CN115019226A (zh) * 2022-05-13 2022-09-06 云南农业大学 一种基于改进型YoloV4模型的茶叶采摘识别方法
CN115965872A (zh) * 2022-07-22 2023-04-14 中科三清科技有限公司 一种茶叶采摘方法、装置、电子设备和存储介质
CN115965872B (zh) * 2022-07-22 2023-08-15 中科三清科技有限公司 一种茶叶采摘方法、装置、电子设备和存储介质
CN115271200A (zh) * 2022-07-25 2022-11-01 仲恺农业工程学院 一种用于名优茶的智能连贯采摘***

Similar Documents

Publication Publication Date Title
CN113674226A (zh) 一种基于深度学习的采茶机茶叶芽尖检测方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN112136505B (zh) 一种基于视觉选择注意机制的水果采摘顺序规划方法
CN111179225B (zh) 一种基于灰度梯度聚类的试纸表面纹理缺陷检测方法
CN105930815B (zh) 一种水下生物检测方法和***
CN109255757B (zh) 一种机器视觉自然放置葡萄串果梗区域分割方法
WO2022236876A1 (zh) 一种玻璃纸缺陷识别方法、***、装置及存储介质
CN107437243B (zh) 基于x光图像的轮胎杂质检测方法及装置
CN105389581B (zh) 一种胚芽米胚芽完整度智能识别***及其识别方法
CN112614062A (zh) 菌落计数方法、装置及计算机存储介质
CN112990103B (zh) 一种基于机器视觉的串采二次定位方法
CN111178177A (zh) 一种基于卷积神经网络的黄瓜病害识别方法
CN113255434B (zh) 一种融合果实特征与深度卷积神经网络的苹果识别方法
CN111784764A (zh) 一种茶叶嫩芽识别与定位算法
CN110687122A (zh) 一种陶瓦表面裂纹检测方法及***
CN110276759A (zh) 一种基于机器视觉的手机屏坏线缺陷诊断方法
CN101770645A (zh) 高分辨率棉花异性纤维彩色图像的快速分割方法与***
CN105631451A (zh) 一种基于安卓***的植物叶片识别方法
CN113723314A (zh) 一种基于YOLOv3算法的甘蔗茎节识别方法
CN113449622A (zh) 一种棉株和杂草的图像分类识别检测方法
CN115601690B (zh) 一种基于智慧农业的食用菌环境检测方法
CN116524344A (zh) 一种基于rgb-d信息融合的番茄串采摘点检测方法
CN108491846B (zh) 成熟果实机器识别方法
Huang et al. Mango surface defect detection based on HALCON
CN115187878A (zh) 基于无人机图像分析的风力发电装置叶片缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination