CN115294467A - 茶叶病害的检测方法及相关装置 - Google Patents
茶叶病害的检测方法及相关装置 Download PDFInfo
- Publication number
- CN115294467A CN115294467A CN202210868307.8A CN202210868307A CN115294467A CN 115294467 A CN115294467 A CN 115294467A CN 202210868307 A CN202210868307 A CN 202210868307A CN 115294467 A CN115294467 A CN 115294467A
- Authority
- CN
- China
- Prior art keywords
- tea
- image
- disease
- disease detection
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241001122767 Theaceae Species 0.000 title claims abstract description 355
- 201000010099 disease Diseases 0.000 title claims abstract description 230
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 230
- 238000001514 detection method Methods 0.000 title claims abstract description 201
- 238000012549 training Methods 0.000 claims abstract description 119
- 238000000034 method Methods 0.000 claims abstract description 78
- 238000013136 deep learning model Methods 0.000 claims abstract description 65
- 238000004519 manufacturing process Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 33
- 235000009024 Ceanothus sanguineus Nutrition 0.000 claims description 29
- 240000003553 Leptospermum scoparium Species 0.000 claims description 29
- 235000015459 Lycium barbarum Nutrition 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 26
- 238000003860 storage Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 14
- 238000002372 labelling Methods 0.000 claims description 10
- 230000036961 partial effect Effects 0.000 claims description 10
- 238000005520 cutting process Methods 0.000 claims description 9
- 206010039509 Scab Diseases 0.000 claims description 6
- 238000002156 mixing Methods 0.000 abstract description 3
- 238000005507 spraying Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 21
- 239000003814 drug Substances 0.000 description 18
- 230000000694 effects Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 230000009286 beneficial effect Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 12
- 230000002829 reductive effect Effects 0.000 description 12
- 230000002452 interceptive effect Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 240000007594 Oryza sativa Species 0.000 description 9
- 235000007164 Oryza sativa Nutrition 0.000 description 9
- 230000008901 benefit Effects 0.000 description 9
- 238000005286 illumination Methods 0.000 description 9
- 235000009566 rice Nutrition 0.000 description 9
- 238000012360 testing method Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000011176 pooling Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 239000000575 pesticide Substances 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000013102 re-test Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 3
- 230000001580 bacterial effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 235000016068 Berberis vulgaris Nutrition 0.000 description 2
- 241000335053 Beta vulgaris Species 0.000 description 2
- 241000209507 Camellia Species 0.000 description 2
- 241000334161 Cercis chinensis Species 0.000 description 2
- 241001412225 Firmiana simplex Species 0.000 description 2
- 240000005979 Hordeum vulgare Species 0.000 description 2
- 235000007340 Hordeum vulgare Nutrition 0.000 description 2
- 235000003805 Musa ABB Group Nutrition 0.000 description 2
- 240000008790 Musa x paradisiaca Species 0.000 description 2
- 244000046052 Phaseolus vulgaris Species 0.000 description 2
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 2
- 235000015266 Plantago major Nutrition 0.000 description 2
- 241000219000 Populus Species 0.000 description 2
- 244000061456 Solanum tuberosum Species 0.000 description 2
- 235000002595 Solanum tuberosum Nutrition 0.000 description 2
- 240000006394 Sorghum bicolor Species 0.000 description 2
- 235000011684 Sorghum saccharatum Nutrition 0.000 description 2
- 235000021307 Triticum Nutrition 0.000 description 2
- 244000098338 Triticum aestivum Species 0.000 description 2
- 240000008042 Zea mays Species 0.000 description 2
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 2
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 235000018597 common camellia Nutrition 0.000 description 2
- 235000005822 corn Nutrition 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 235000012015 potatoes Nutrition 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000007921 spray Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241001151957 Aphis aurantii Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000361 pesticidal effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了茶叶病害的检测方法及相关装置,用于对茶叶进行检测,所述方法包括:将待测茶叶图像输入至茶叶病害检测模型,以得到待测茶叶图像的病害检测结果。其中,用于训练茶叶病害检测模型的深度学***均精度更高、检测速度更快的单元和模块,定位到需要注意的茶叶病害位置,解决传统检测方法耗时耗力和漏检误检的问题。
Description
技术领域
本申请涉及遥感、图像检测、植物病害检测、深度学习的技术领域,尤其涉及茶叶病害的检测方法及相关装置。
背景技术
茶树在生长过程中容易受到病害侵染,这些病害严重影响了茶叶的品质和产量,实时精确地监测茶叶病害有利于病害的精准防治,提高茶农收入。目前茶叶病害的检测主要依靠人工识别,但是许多茶园位于人迹罕至的山区,人工识别耗时耗力且需要大量经济成本昂贵。随着计算机技术的发展,茶叶病害的检测已经从人工识别转化为图像自动识别。利用计算机视觉进行图像识别的方法因其效率和准确性而受到欢迎。然而,在自然背景的茶叶图像中,茶叶病害区域和茶叶种植区域背景颜色,纹理等具有高度相似性,这导致了茶叶病害的错误检测。
专利CN112801991B公开了一种基于图像分割的水稻白叶枯病检测方法,该方法包括:通过获取水稻叶片图像,根据水稻叶片图像和预设的图像分割算法,获取水稻叶片图像对应的超像素图像,其中,超像素图像中包括若干个超像素,每个超像素基于若干个水稻叶片图像中的像素点生成;之后,根据超像素图像和预设的病斑提取算法,提取超像素图像中的疑似病斑,将超像素图像中的疑似病斑的特征输入已训练好的水稻白叶枯病检测模型,得到水稻叶片的白叶枯病检测结果。该申请由于模型限制导致测精度相对较低。
基于此,本申请提供了茶叶病害的检测方法及相关装置,以解决现有技术的不足。
发明内容
本申请的目的在于提供一种茶叶病害的检测方法,用于对茶叶进行检测,以解决传统检测方法耗时耗力和漏检误检的问题。
本申请的目的采用以下技术方案实现:
第一方面,本申请提供了一种茶叶病害的检测方法,用于对茶叶进行检测,所述方法包括:
将待测茶叶图像输入至茶叶病害检测模型,以得到所述待测茶叶图像的病害检测结果,所述待测茶叶图像的病害检测结果用于指示所述待测茶叶图像对应的至少一个叶片是否患有目标病害;
其中,所述茶叶病害检测模型的训练过程包括:
获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括一个样本茶叶图像以及所述样本茶叶图像的病害检测结果的标注数据,所述样本茶叶图像的病害检测结果用于指示所述样本茶叶图像对应的至少一个叶片是否患有所述目标病害;
针对所述训练集中的每个训练数据,执行以下处理:
将所述训练数据中的样本茶叶图像输入预设的深度学习模型,以得到所述样本茶叶图像的病害检测结果的预测数据;
基于所述样本茶叶图像的病害检测结果的预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
检测是否满足预设的训练结束条件;如果是,则将训练出的所述深度学习模型作为所述茶叶病害检测模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
该技术方案的有益效果在于:通过茶叶病害检测模型检测待测茶叶图像的步骤可以是,将待测茶叶图像输入茶叶病害检测模型以获取对应的检测结果。其中,训练过程可以包括:首先获取训练集,所述训练集包括多个训练数据,样本茶叶图像的病害检测结果用于指示所述样本茶叶图像对应的至少一个叶片是否患有所述目标病害。可以直观高效地显示出样本茶叶图像对应的至少一个叶片是否患有所述目标病害,智能化程度高。可以将所述训练数据中的样本茶叶图像输入预设的深度学习模型,以得到所述样本茶叶图像的病害检测结果的预测数据。通过训练获取茶叶病害检测模型,并进行检测。该方法基于计算机视觉技术,利用深度学习模型,可以更好地拟合数据和实际情况。深度学习模型具有强大的拟合能力,可以逼近复杂的函数,达到无穷维,进一步提升测试的精度。所述方法克服了手工提取茶叶图像特征的缺陷,识别精度显著提高,其与农业信息感知的结合为茶叶病害检测拓展了全新的研究视角。还可以利用该茶叶病害检测模型对待测茶叶进行复检,并对该茶叶病害检测模型进行更新和调整,有利于全局性跟进茶叶的患病周期、患病程度和患病位置。有助于依据茶叶病害检测模型的检测结果,针对茶树不同位置的不同的病害状况,制定周密的治疗方案。
在一些可选的实施方式中,所述获取训练集,包括:
对所述样本茶叶图像执行数据增强处理,以获取所述样本茶叶图像对应的至少一个增强图像;
利用所述样本茶叶图像及其增强图像制作得到所述训练集。
该技术方案的有益效果在于:对所述样本茶叶图像执行数据增强处理,利用计算机视觉的方法,让有限的图像数据产生更多的图像数据,增加训练样本的数量以及多样性,提升茶叶病害检测模型鲁棒性和泛化能力。数据增强处理是数字图像处理的一个重要分支,鉴于场景条件的影响导致图像拍摄的视觉效果不佳的情况,对所述图像进行数据增强可以改善图像所表达的视觉效果,比如突出图像中目标物体的某些特点、从数字图像中提取目标物的特征参数等等,都有利于对图像中目标的识别、跟踪和理解。数据增强处理主要内容是突出图像中感兴趣的部分,减弱或去除不需要或不重要的信息,使有用信息得到加强,从而得到一种更加实用的图像或者转换成一种更适合人或机器进行分析处理的图像,可以达到减少光线不均、颜色失真等造成的图像退化现象并增强彩色图像的信息表达效果。若不采用数据增强来处理茶叶图像,则会出现由于采集的图像像素低、颜色失真、图像数量不足等问题所导致的检测效果差的情况。对所述图像进行数据增强的操作还可以包括对图像进行扩增,例如可以是对图像进行翻转,平移,旋转,镜像,Mosaic(即马赛克)操作等,数据扩增是对数据进行扩充的方法的总称。数据扩增可以增加训练集的样本,可以有效缓解模型过拟合的情况,也可以给模型带来的更强的泛化能力,使得训练数据尽可能的接近测试数据,从而提高预测精度,还可以使网络学习到更鲁棒性的特征。数据增强可以突出图像中目标物体的某些特点、从数字图像中提取目标物的特征参数等,这些都有利于对图像中目标的识别、跟踪和理解。数据增强处理主要内容是突出图像中感兴趣的部分,减弱或去除不需要的信息。这样使有用信息得到加强,从而得到一种更加实用的图像或者转换成一种更适合机器进行分析处理的图像。对图片进行随机缩放,再以随机分布的方式进行拼接,丰富了图像数据集,让网络的鲁棒性更好,并可以减少GPU的损耗。
在一些可选的实施方式中,所述获取所述样本茶叶图像的过程包括:
利用装载于无人机的遥感设备对茶叶种植区的茶树进行图像采集,以得到多个所述样本茶叶图像。
该技术方案的有益效果在于:利用无人机装配先进光学传感器获取遥感图像可以适应不同的地形、天气条件,节省大量经济成本。利用装载于无人机的遥感设备采集图像,可以以无人机为空中平台,以遥感传感器(即遥感设备)获取信息,并用计算机对图像信息进行处理,并按照一定精度要求制作成图像。其中,遥感传感器是根据不同类型的遥感任务,使用相应的机载遥感设备,如高分辨率CCD数码相机、轻型光学相机、多光谱成像仪、红外扫描仪,激光扫描仪、磁测仪、合成孔径雷达等。所述遥感传感器应具备数字化、体积小、重量轻、精度高、存储量大、性能优异等特点。利用装载于无人机的遥感设备采集图像,即无人机遥感(UAVRS)技术作为航空遥感手段,具有续航时间长、影像实时传输、高危地区探测、成本低、高分辨率、机动灵活等优点,其例如可以利用机载遥感设备获取遥感影像,利用空中和地面控制***实现影像的自动拍摄和获取,同时实现航迹的规划和监控、信息数据的压缩和自动传输、影像预处理等功能,可广泛应用于国家生态环境保护、矿产资源勘探、海洋环境监测、土地利用调查、水资源开发、农作物长势监测与估产、农业作业、自然灾害监测与评估、城市规划与市政管理、森林病虫害防护与监测、公共安全、国防事业、数字地球等领域。在本申请中,利用装载于无人机的遥感设备进行图像采集,可以大量节约人力成本、减低人工采集数据时存在的安全隐患,具有全面、高效、高质量采集图像的效果。
在一些可选的实施方式中,所述对所述样本茶叶图像执行数据增强处理,包括:
基于预设尺寸对所述样本茶叶图像进行裁剪,以获取规格图像;
利用超分辨率网络对所述规格图像进行超分辨率重建,以获取超分辨率图像;
对所述超分辨率图像进行数据增强,以得到至少一个所述增强图像。
该技术方案的有益效果在于:可以基于预设尺寸对所述样本茶叶图像进行裁剪,从而获得符合预设规格的图像,可以更加贴合模型所需的图像参数,使模型成功训练。超分辨率重建是指通过对数字图像信号的分析,采用软件算法的方式,由一帧或多帧图像重建转化成更高分辨率图像或视频的技术。其优势是,可以从观测到的低分辨率图像重建出相应的高分辨率图像,从而降低成像环境、成像距离、传感器形状和大小、光学***的误差、空气扰动、物体运动、镜头散焦的对图像造成的不良影响。在本申请中,利用基于学习的超分辨率算法可以重构出更为清晰的图像,解决无人机遥感图像分辨率不足问题。茶树是重要的经济作物,而其主要的价值在于茶树的叶片。相比较于杨树、梧桐树、芭蕉树、紫荆树的叶片,茶树的叶片较小,其在检测方面的难度更大,所需要的图像的精度也相对较高。而对于茶叶病害检测来说,不仅要能够定位到每片茶叶,还要定位到病害所在叶片上的位置,基于上述因素,对所采集到的茶叶图像进行数据增强不可或缺。通过数据增强所获得的增强图像还可以作为复检的对比图像,可以更直观地显示复检时的茶叶图像和该增强图像的不同或相同之处,从而判断茶叶病害的位置和状况是否发生变化。
在一些可选的实施方式中,所述深度学习模型包括BackBone单元、Neck单元和Head单元,所述BackBone单元添加有RFB模块,所述Neck单元添加有注意力模块;
所述将所述训练数据中的样本茶叶图像输入预设的深度学习模型,以得到所述样本茶叶图像的病害检测结果的预测数据,包括:
利用所述BackBone单元对所述样本茶叶图像进行特征提取以获取特征信息,所述特征信息包括:所述样本茶叶图像所对应的低层空间特征和高层语义特征;其中,所述RFB模块用于部分低层空间特征和部分高层语义特征的提取过程;
利用所述BackBone单元向所述目标检测网络的Neck单元输入所述低层空间特征和所述高层语义特征;
利用所述Neck单元对所述低层空间特征和所述高层语义特征进行特征融合,以得到特征融合结果;
利用所述注意力模块获取所述特征融合结果对应的多个特征图;
针对每个所述特征图,利用所述Head单元生成对应的检测框,以获取所述样本茶叶图像的病害检测结果的预测数据。
该技术方案的有益效果在于:本申请中可以在BackBone单元中添加多尺度RFB模块,可以提高对茶叶细节特征的提取能力,减少因叶片较小导致的漏检问题。其中,Neck单元中添加了注意力模块,降低因叶片分布密集导致的漏检和误检问题。茶树是重要的经济作物,而其主要的价值在于茶树的叶片。茶树是山茶科、山茶属灌木或小乔木,嫩枝无毛。叶革质,长圆形或椭圆形,长4-12厘米,宽2-5厘米,先端钝或尖锐,基部楔形,上面发亮,下面无毛或初时有柔毛,侧脉5-7对,边缘有锯齿,叶柄长3-8毫米,无毛。与其他经济作物例如小麦、水稻、玉米、高粱、甜菜、豆类、薯类、青稞相比,茶树的叶片更为密集,故在茶叶病害检测模型中要使用平均精度更高、检测速度更快的单元和模块。并添加基于人类视觉注意力机制的注意力模块,可以做到更有针对性地获取全局与局部的联系,找到关键信息,一步定位到需要注意的茶叶病害位置。
在一些可选的实施方式中,所述标注数据用于指示所述样本茶叶图像中病斑叶片的位置信息、样本茶叶图像对应的病害类型以及所述茶叶图像对应的置信度;
所述基于所述样本茶叶图像的病害检测结果的预测数据和标注数据,对所述深度学习模型的模型参数进行更新,包括:
基于所述样本茶叶图像的病害检测结果的预测数据和标注数据,获取所述样本茶叶图像对应的损失值;
利用所述损失值,利用随机梯度下降方式获取多个所述特征图的特征权重信息;
基于多个所述特征图的特征权重信息,对所述深度学习模型的模型参数进行更新。
该技术方案的有益效果在于:基于所述样本茶叶图像的病害检测结果的预测数据和标注数据,获取所述样本茶叶图像对应的损失值;利用随机梯度下降方式获取多个所述特征图的特征权重信息;基于多个所述特征图的特征权重信息,对所述深度学习模型的模型参数进行更新,可以使模型逼近真实状况,拟合度更好。其中,损失函数可以用于衡量模型预测的好坏,可以用来表现预测与实际数据的差距程度。一般来说,损失函数越好,模型的性能越好。
在一些可选的实施方式中,获取所述模型参数的过程包括:
获取所述模型参数的过程包括:
利用交互设备接收数值设置操作,响应于所述数值设置操作,确定至少一个所述模型参数的参数值。
该技术方案的有益效果在于:利用交互设备接收参数设置操作,可以根据预设的模型参数,例如模型的初始学习率参数、训练批次参数、总迭代轮数参数等,利用交互设备(例如:鼠标、键盘等)接受设置操作,将所述模型参数设置在模型中。根据模型复杂程度的不同,需要调节的参数数量也不同。模型参数是模型内部的配置变量,其值可以根据数据进行估计,通过接受和设置模型参数,可以提高模型训练的性能,对模型进行进一步的优化。
在一些可选的实施方式中,所述注意力模块是二维混合注意力模块;
所述二维混合注意力模块分为上下两个并行分支,上分支包括通道注意力子模块和空间注意力子模块,下分支包括坐标注意力子模块。
该技术方案的有益效果在于:其中的通道注意力子模块类似于给每个通道上的特征图都施加一个权重,来代表该通道与关键信息的相关度,此权重越大,则表示相关度越高。在神经网络中,越高的维度特征图尺寸越小,通道数越多,通道就代表了整个图像的特征信息。通道注意力子模块在处理图像特征信息时往往能起到很好的效果。其中的空间注意力子模块,可以用于在序列化特征提取时,让模型自适应学习带有字符位置信息的特征表征,让模型更加关注图像中的指定区域,得到带有二维空间位置信息的空间特征。其中的坐标注意力子模块可以分解通道注意力为两个并行的一维特征编码来高效地整合空间坐标信息到生成的注意力特征图中,坐标注意力子模块可以捕获跨通道的信息,还包含了direction-aware和position-sensitive的信息,这使得所述深度学习模型可以更准确地定位到并识别目标区域。相比较于卷积注意力模块(即CBAM,Convolutional BlockAttention Module),所述二维混合注意力模块还添加了坐标注意力子模块,可以更好的针对茶叶的特点进行重点性提取特征,实现了多方位、高精度、全面高效提取茶叶图像的信息,为深度学习模型的性能带来了质的提升。
第二方面,本申请提供了一种茶叶病害检测装置,用于对茶叶进行检测,所述装置包括:
病害检测模块,用于将待测茶叶图像输入至茶叶病害检测模型,以得到所述待测茶叶图像的病害检测结果,所述待测茶叶图像的病害检测结果用于指示所述待测茶叶图像对应的至少一个叶片是否患有目标病害;
其中,所述茶叶病害检测模型的训练过程包括:
获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括一个样本茶叶图像以及所述样本茶叶图像的病害检测结果的标注数据,所述样本茶叶图像的病害检测结果用于指示所述样本茶叶图像对应的至少一个叶片是否患有所述目标病害;
针对所述训练集中的每个训练数据,执行以下处理:
将所述训练数据中的样本茶叶图像输入预设的深度学习模型,以得到所述样本茶叶图像的病害检测结果的预测数据;
基于所述样本茶叶图像的病害检测结果的预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
检测是否满足预设的训练结束条件;如果是,则将训练出的所述深度学习模型作为所述茶叶病害检测模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
在一些可选的实施方式中,所述获取训练集,包括:
对所述样本茶叶图像执行数据增强处理,以获取所述样本茶叶图像对应的至少一个增强图像;
利用所述样本茶叶图像及其增强图像制作得到所述训练集。
在一些可选的实施方式中,获取所述样本茶叶图像的过程包括:
利用装载于无人机的遥感设备对茶叶种植区的茶树进行图像采集,以得到多个所述样本茶叶图像。
在一些可选的实施方式中,所述对所述样本茶叶图像执行数据增强处理,包括:
基于预设尺寸对所述样本茶叶图像进行裁剪,以获取规格图像;
利用超分辨率网络对所述规格图像进行超分辨率重建,以获取超分辨率图像;
对所述超分辨率图像进行数据增强,以得到至少一个所述增强图像。
在一些可选的实施方式中,所述深度学习模型包括BackBone单元、Neck单元和Head单元,所述BackBone单元添加有RFB模块,所述Neck单元添加有注意力模块;
所述将所述训练数据中的样本茶叶图像输入预设的深度学习模型,以得到所述样本茶叶图像的病害检测结果的预测数据,包括:
利用所述BackBone单元对所述样本茶叶图像进行特征提取以获取特征信息,所述特征信息包括:所述样本茶叶图像所对应的低层空间特征和高层语义特征;其中,所述RFB模块用于部分低层空间特征和部分高层语义特征的提取过程;
利用所述BackBone单元向所述目标检测网络的Neck单元输入所述低层空间特征和所述高层语义特征;
利用所述Neck单元对所述低层空间特征和所述高层语义特征进行特征融合,以得到特征融合结果;
利用所述注意力模块获取所述特征融合结果对应的多个特征图;
针对每个所述特征图,利用所述Head单元生成对应的检测框,以获取所述样本茶叶图像的病害检测结果的预测数据。
在一些可选的实施方式中,所述标注数据用于指示所述样本茶叶图像中病斑叶片的位置信息、样本茶叶图像对应的病害类型以及所述茶叶图像对应的置信度;
所述基于所述样本茶叶图像的病害检测结果的预测数据和标注数据,对所述深度学习模型的模型参数进行更新,包括:
基于所述样本茶叶图像的病害检测结果的预测数据和标注数据,获取所述样本茶叶图像对应的损失值;
利用所述损失值,利用随机梯度下降方式获取多个所述特征图的特征权重信息;
基于多个所述特征图的特征权重信息,对所述深度学习模型的模型参数进行更新。
在一些可选的实施方式中,获取所述模型参数的过程包括:
利用交互设备接收数值设置操作,响应于所述数值设置操作,确定至少一个所述模型参数的参数值。
在一些可选的实施方式中,所述注意力模块是二维混合注意力模块;
所述二维混合注意力模块分为上下两个并行分支,上分支包括通道注意力子模块和空间注意力子模块,下分支包括坐标注意力子模块。
第三方面,本申请提供了一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项方法的步骤。
第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项方法的步骤。
附图说明
下面结合附图和实施方式对本申请进一步说明。
图1示出了本申请提供的一种茶叶病害的检测方法的流程示意图。
图2示出了本申请提供的一种获取训练集的流程示意图。
图3示出了本申请提供的一种对样本茶叶图像执行数据增强处理的流程示意图。
图4示出了本申请提供的一种茶叶病害检测装置的结构示意图。
图5示出了本申请提供的一种电子设备的结构框图。
图6示出了本申请提供的一种程序产品的结构示意图。
图7示出了本申请提供的一种茶叶病害检测模型的结构示意图。
图8示出了本申请提供的一种二维注意力混合模块的结构示意图。
具体实施方式
下面将结合本申请的说明书附图以及具体实施方式,对本申请中的技术方案进行描述,需要说明的是,在不相冲突的前提下,以下描述的各实施方式之间或各技术特征之间可以任意组合形成新的实施方式。
在本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,a和b,a和c,b和c,a和b和c,其中a、b和c可以是单个,也可以是多个。值得注意的是,“至少一项(个)”还可以解释成“一项(个)或多项(个)”。
还需说明的是,本申请中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请被描述为“示例性的”或者“例如”的任何实施方式或设计方案不应被解释为比其他实施方式或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
下面,结合附图以及具体实施方式,对本申请做进一步描述,需要说明的是,在不相冲突的前提下,以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
方法实施方式
参见图1,图1示出了本申请提供的一种茶叶病害的检测方法的流程示意图。
所述茶叶病害的检测方法用于对茶叶进行检测,所述方法包括:
步骤S101:将待测茶叶图像输入至茶叶病害检测模型,以得到所述待测茶叶图像的病害检测结果,所述待测茶叶图像的病害检测结果用于指示所述待测茶叶图像对应的至少一个叶片是否患有目标病害;
其中,所述茶叶病害检测模型的训练过程包括:
获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括一个样本茶叶图像以及所述样本茶叶图像的病害检测结果的标注数据,所述样本茶叶图像的病害检测结果用于指示所述样本茶叶图像对应的至少一个叶片是否患有所述目标病害;
针对所述训练集中的每个训练数据,执行以下处理:
将所述训练数据中的样本茶叶图像输入预设的深度学习模型,以得到所述样本茶叶图像的病害检测结果的预测数据;
基于所述样本茶叶图像的病害检测结果的预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
检测是否满足预设的训练结束条件;如果是,则将训练出的所述深度学习模型作为所述茶叶病害检测模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
由此,通过茶叶病害检测模型检测待测茶叶图像的步骤可以是,将待测茶叶图像输入茶叶病害检测模型以获取对应的检测结果。其中,训练过程可以包括:首先获取训练集,所述训练集包括多个训练数据,样本茶叶图像的病害检测结果用于指示所述样本茶叶图像对应的至少一个叶片是否患有所述目标病害。可以直观高效地显示出样本茶叶图像对应的至少一个叶片是否患有所述目标病害,智能化程度高。可以将所述训练数据中的样本茶叶图像输入预设的深度学习模型,以得到所述样本茶叶图像的病害检测结果的预测数据。通过训练获取茶叶病害检测模型,并进行检测。该方法基于计算机视觉技术,利用深度学习模型,可以更好地拟合数据和实际情况。深度学习模型具有强大的拟合能力,可以逼近复杂的函数,达到无穷维,进一步提升测试的精度。所述方法克服了手工提取茶叶图像特征的缺陷,识别精度显著提高,其与农业信息感知的结合为茶叶病害检测拓展了全新的研究视角。还可以利用该茶叶病害检测模型对待测茶叶进行复检,并对该茶叶病害检测模型进行更新和调整,有利于全局性跟进茶叶的患病周期、患病程度和患病位置。有助于依据茶叶病害检测模型的检测结果,针对茶树不同位置的不同的病害状况,制定周密的治疗方案。
在一些可选实施方式中,可以根据茶叶病害检测模型的检测结果采取喷洒农药、剔除患病叶片等治疗措施。根据检测结果可以判断患病叶片的位置,从而规划导航路线,传输至无人机或移动端,采用无人机或人工喷洒农药的方式,对患病叶片进行针对性治疗。根据检测结果可以判断患病叶片的患病程度,根据不同的患病程度进行不同浓度的农药配置,对症下药,节约资源,保护环境。所述规划的导航路线还可以用于茶叶病害复检,用以验证农药药效并根据复检结果做出适应性调整,例如,如果患病叶片的患病程度减弱,则可以降低农药浓度、减少喷药次数或不予进一步治疗;如果患病叶片的患病程度没有变化,则可以提高农药浓度、增加喷药次数或进行下一轮的针对性治疗。
本申请实施例对目标病害不作限定,目标病害指的是植物的病虫害,其例如可以是茶叶云纹叶枯叶病、茶叶炭疽病、茶叶茶饼病、茶叶黑腐病、茶叶赤星病、茶轮斑病、茶跗线螨、茶蚜等。
本申请实施例对每个待测茶叶图像对应的患有目标病害的叶片数量不做限定,其例如可以是1、2、3、4、5、10、50、100、200、500、1000、10000、10000000等。
本申请实施例对训练集中的训练数据的数量不做限定,其例如可以是200、500、1000、10000、10000000等。
本申请实施例对样本茶叶图像的格式不作限定,其例如可以是BMP、JPG、PNG、JPEG、TIF、GIF等。
本申请实施例对样本茶叶图像的大小不作限定,其例如可以是10KB、11KB、15KB、1MB、7MB等。
本申请实施例对标注数据的获取方式不作限定,例如可以采用人工标注的方式,也可以采用自动标注或者半自动标注的方式。
本申请实施例对标注数据不作限定,其例如是中文、字母、数字、符号、形状、颜色中的一种或多种。
在一些可选的实施方式中,所述方法还可以包括:获取验证集和测试集。其中,验证集用于验证样本茶叶是否患有病害,测试集用于测试待测试茶叶是否患有病害。
参见图2,图2示出了本申请提供的一种获取训练集的流程示意图。
在一些可选的实施方式中,所述获取训练集,可以包括:
步骤S201:对所述样本茶叶图像执行数据增强处理,以获取所述样本茶叶图像对应的至少一个增强图像;
步骤S202:利用所述样本茶叶图像及其增强图像制作得到所述训练集。
由此,对所述样本茶叶图像执行数据增强处理,利用计算机视觉的方法,让有限的图像数据产生更多的图像数据,增加训练样本的数量以及多样性,提升茶叶病害检测模型鲁棒性和泛化能力。数据增强处理是数字图像处理的一个重要分支,鉴于场景条件的影响导致图像拍摄的视觉效果不佳的情况,对所述图像进行数据增强可以改善图像所表达的视觉效果,比如突出图像中目标物体的某些特点、从数字图像中提取目标物的特征参数等等,都有利于对图像中目标的识别、跟踪和理解。
数据增强处理主要内容是突出图像中感兴趣的部分,减弱或去除不需要或不重要的信息,使有用信息得到加强,从而得到一种更加实用的图像或者转换成一种更适合人或机器进行分析处理的图像,可以达到减少光线不均、颜色失真等造成的图像退化现象并增强彩色图像的信息表达效果。若不采用数据增强来处理茶叶图像,则会出现由于采集的图像像素低、颜色失真、图像数量不足等问题所导致的检测效果差的情况。
对所述图像进行数据增强的操作还可以包括对图像进行扩增,例如可以是对图像进行翻转,平移,旋转,镜像,Mosaic(即马赛克)操作等,数据扩增是对数据进行扩充的方法的总称。数据扩增可以增加训练集的样本,可以有效缓解模型过拟合的情况,也可以给模型带来的更强的泛化能力,使得训练数据尽可能的接近测试数据,从而提高预测精度,还可以使网络学习到更鲁棒性的特征。数据增强可以突出图像中目标物体的某些特点、从数字图像中提取目标物的特征参数等,这些都有利于对图像中目标的识别、跟踪和理解。
数据增强处理主要内容是突出图像中感兴趣的部分,减弱或去除不需要的信息。这样使有用信息得到加强,从而得到一种更加实用的图像或者转换成一种更适合机器进行分析处理的图像。对图片进行随机缩放,再以随机分布的方式进行拼接,丰富了图像数据集,让网络的鲁棒性更好,并可以减少GPU的损耗。
本申请实施例对数据增强的方式不作限定,其例如可以是有监督的数据增强如,几何变换(翻转、旋转、裁剪、变形、缩放),颜色变换(噪声、模糊、变色、擦除、填充)和无监督的数据增强。
在另一些可选的实施方式中,所述获取所述样本茶叶图像的过程包括:
利用装载于无人机的遥感设备对茶叶种植区的茶树进行图像采集,以得到多个所述样本茶叶图像。
由此,利用装载于无人机的遥感设备采集图像,可以以无人机为空中平台,以遥感传感器(即遥感设备)获取信息,并用计算机对图像信息进行处理,并按照一定精度要求制作成图像。
其中,遥感传感器是根据不同类型的遥感任务,使用相应的机载遥感设备,如高分辨率CCD数码相机、轻型光学相机、多光谱成像仪、红外扫描仪,激光扫描仪、磁测仪、合成孔径雷达等。所述遥感传感器应具备数字化、体积小、重量轻、精度高、存储量大、性能优异等特点。
利用装载于无人机的遥感设备采集图像,即无人机遥感(UAVRS)技术作为航空遥感手段,具有续航时间长、影像实时传输、高危地区探测、成本低、高分辨率、机动灵活等优点,其例如可以利用机载遥感设备获取遥感影像,利用空中和地面控制***实现影像的自动拍摄和获取,同时实现航迹的规划和监控、信息数据的压缩和自动传输、影像预处理等功能,可广泛应用于国家生态环境保护、矿产资源勘探、海洋环境监测、土地利用调查、水资源开发、农作物长势监测与估产、农业作业、自然灾害监测与评估、城市规划与市政管理、森林病虫害防护与监测、公共安全、国防事业、数字地球等领域。
在本申请中,利用装载于无人机的遥感设备进行图像采集,可以大量节约人力成本、减低人工采集数据时存在的安全隐患,具有全面、高效、高质量采集图像的效果。
本申请实施例对遥感设备的种类不作限定,其例如可以是高分辨率CCD数码相机、轻型光学相机、多光谱成像仪、红外成像仪等。
参见图3,图3示出了本申请提供的一种对样本茶叶图像执行数据增强处理的流程示意图。
在一些可选的实施方式中,所述对所述样本茶叶图像执行数据增强处理,包括:
步骤S301:基于预设尺寸对所述样本茶叶图像进行裁剪,以获取规格图像;
步骤S302:利用超分辨率网络对所述规格图像进行超分辨率重建,以获取超分辨率图像;
步骤S303:对所述超分辨率图像进行数据增强,以得到至少一个所述增强图像。
由此,可以基于预设尺寸对所述样本茶叶图像进行裁剪,从而获得符合预设规格的图像,可以更加贴合模型所需的图像参数,使模型成功训练。超分辨率重建是指通过对数字图像信号的分析,采用软件算法的方式,由一帧或多帧图像重建转化成更高分辨率图像或视频的技术。
其优势是,可以从观测到的低分辨率图像重建出相应的高分辨率图像,从而降低成像环境、成像距离、传感器形状和大小、光学***的误差、空气扰动、物体运动、镜头散焦的对图像造成的不良影响。在本申请中,利用基于学习的超分辨率算法可以重构出更为清晰的图像,解决无人机遥感图像分辨率不足问题。
茶树是重要的经济作物,而其主要的价值在于茶树的叶片。相比较于杨树、梧桐树、芭蕉树、紫荆树的叶片,茶树的叶片较小,其在检测方面的难度更大,所需要的图像的精度也相对较高。而对于茶叶病害检测来说,不仅要能够定位到每片茶叶,还要定位到病害所在叶片上的位置,基于上述因素,对所采集到的茶叶图像进行数据增强不可或缺。通过数据增强所获得的增强图像还可以作为复检的对比图像,可以更直观地显示复检时地茶叶图像和该增强图像的不同或相同之处,从而判断茶叶病害的位置和状况是否发生变化。
对茶叶图像进行裁剪,例如可以利用opencv来读取图像,利用tensorflow来对图像进行裁剪,最后再通过matplotlib来显示图片,首先可以设定裁剪的尺寸,根据预设尺寸对图像进行裁剪,并将图像由opencv所设定的BGR格式转化为RGB格式。
利用超分辨率网络对茶叶图像进行超分辨率重建,例如可以包括以下步骤:
(1)将分辨率为H*W的图像ILR进行卷积操作,提取到分辨率为H*W的浅层特征F0:
F0=HSF(ILR)
其中,HSF(·)表示卷积操作。
(2)将F0用于RIR模块深层特征的提取,到分辨率大小为H*W的深层特征FDF:
FDF=HRIR(F0)
其中,HRIR(·)表示非常深的RIR结构,它包含G个残差组(RG)。
(3)通过一个上采样模块对FDF进行上采样,得到分辨率大小为2H*2W的上采样特征FUP;
(4)上采样特征FUP通过一个卷积层重建出分辨率大小为2H*2W的超分辨率图像ISR。
优化超分辨率网络的方法可以是:
(1)计算超分辨率算法的损失可以使用L1损失函数计算ISR和IFR之间的误差,L1损失函数的公式如下:
其中,N表示一个图像上像素点的个数,xi′和xi分别表示需要计算误差的两张图像上相对位置的像素值;
(2)根据损失L1的值进行随机梯度反向传播优化超分辨率网络;
对所述超分辨率图像进行数据增强,可以降低光照不均匀对茶叶图片亮度和对比度的影响,其例如可以使用基于二维伽马函数的光照不均匀图像自适应校正算法,利用多尺度高斯环绕函数提取出场景的光照分量,然后构造了二维伽马函数,并利用光照分量的分布特性调整二维伽马函数的参数,降低光照过强区域图像的亮度值,提高光照过暗区域图像的亮度值,最终实现对光照不均匀图像的自适应校正处理。具体步骤可以是:
(1)将超分辨率图像I(x,y)分割成R、G、B三个通道;
(2)构建高斯环绕函数G(x,y):
其中,σ是高斯环绕的尺度参数,当σ比较小的时候,能够较好的保持边缘的细节信息,动态范围变大,但是色彩无法保持;当σ比较大的时候,色彩恢复效果好,但动态范围变小,不能够较好的保持边缘的细节信息。
(3)利用高斯环绕函数和增强图像I(x,y)的卷积得到光照分量L(x,y);
L(x,y)=I(x,y)*G(x,y)
(4)在对数域中对超分辨率图像和光照分量进行相减得到反射分量作为输出结果图像r(x,y);
对所述图像进行数据增强的操作还可以包括对图像进行扩充,例如可以是对图像进行翻转,平移,旋转,镜像,Mosaic(即马赛克)操作等。在一些可选实施例中,可以使用在OpenCV中调用函数flip()实现图像翻转;通过定义平移矩阵M,再调用warpAffine()函数实现图像平移;使用getRotationMatrix2D()函数和warpAffine()函数实现绕图像的中心旋转,使用cv2.flip()对图像进行水平、垂直等方向上的镜像对换。
在一些可选实施例中,对图像进行Mosaic处理的操作可以是:首先读取图片的数据信息,生成随机坐标以指示上下左右的方位,获取矩形裁剪区域的位置参数,设置马赛克块的宽度,并用顶点颜色覆盖马赛克块,使结果图像含有不同或相同程度的马赛克块以对图像进行模糊处理。Mosaic处理可以对图片进行随机缩放,再以随机分布的方式进行拼接,丰富了图像数据集,让网络的鲁棒性更好,并可以减少GPU的损耗。
在一些可选的实施方式中,所述深度学习模型包括BackBone单元、Neck单元和Head单元,所述BackBone单元添加有RFB模块,所述Neck单元添加有注意力模块;
所述将所述训练数据中的样本茶叶图像输入预设的深度学习模型,以得到所述样本茶叶图像的病害检测结果的预测数据,包括:
利用所述BackBone单元对所述样本茶叶图像进行特征提取以获取特征信息,所述特征信息包括:所述样本茶叶图像所对应的低层空间特征和高层语义特征;其中,所述RFB模块用于部分低层空间特征和部分高层语义特征的提取过程;
利用所述BackBone单元向所述目标检测网络的Neck单元输入所述低层空间特征和所述高层语义特征;
利用所述Neck单元对所述低层空间特征和所述高层语义特征进行特征融合,以得到特征融合结果;
利用所述注意力模块获取所述特征融合结果对应的多个特征图;
针对每个所述特征图,利用所述Head单元生成对应的检测框,以获取所述样本茶叶图像的病害检测结果的预测数据。
由此,本申请中可以在BackBone单元中添加多尺度RFB模块,可以提高对茶叶细节特征的提取能力,减少因叶片较小导致的漏检问题。其中,Neck单元中添加了(自主设计的)注意力模块,降低因叶片分布密集导致的漏检和误检问题。茶树是重要的经济作物,而其主要的价值在于茶树的叶片。茶树是山茶科、山茶属灌木或小乔木,嫩枝无毛。叶革质,长圆形或椭圆形,长4-12厘米,宽2-5厘米,先端钝或尖锐,基部楔形,上面发亮,下面无毛或初时有柔毛,侧脉5-7对,边缘有锯齿,叶柄长3-8毫米,无毛。与其他经济作物例如小麦、水稻、玉米、高粱、甜菜、豆类、薯类、青稞相比,茶树的叶片更为密集,故在茶叶病害检测模型中要使用平均精度更高、检测速度更快的单元和模块。并添加基于人类视觉注意力机制的注意力模块,可以做到更有针对性地获取全局与局部的联系,找到关键信息,一步定位到需要注意的茶叶病害位置。
在本申请实施例中,构建茶叶病害检测模型可以基于YOLOv3网络、YOLOv4网络、YOLOv5网络、YOLOX网络等YOLO系列的网络。
在本申请实施例中,所构建的茶叶病害检测模型又可以称为:DDMA-YOLO。其中,DDMA指的是该申请实施例中的注意力模块。
在本申请实施例中,构建茶叶病害检测模型可以包括:作为一个示例,可以在YOLOv5网络的基础上构建茶叶病害检测模型,茶叶病害检测模型由BackBone单元、Neck单元以及Head单元三部分组成,其中BackBone单元用于进行特征提取,Neck单元用于低层空间特征和高层语义特征的双向融合,Head单元生成检测框,通过将锚框应用于Neck单元的三个尺度的特征图,生成检测类别、坐标和置信度等信息;所述RFB模块将主干提取的特征作为输入,分为三个尺度,每个尺度首先通过一个1×1的卷积层降低输入特征的维数。然后分别通过1×1,3×3和5×5卷积层,接着从空洞率为1、3和5的空洞卷积中生成具有不同感受野大小的特征图并通过Concat和一个1×1的卷积进行特征融合,最后使用ResNet和中的shortcut得到输出结果。
参见图7和图8,图7示出了本申请提供的一种茶叶病害检测模型的结构示意图,图8示出了本申请提供的一种二维注意力混合模块的结构示意图。
在本申请实施例中,茶叶病害检测模型的Neck单元中添加了注意力模块,其中,该注意力模块例如可以是二维混合注意力模块,该二维混合注意力模块分为上下两个并行分支,上分支由通道注意力子模块和空间注意力子模块组成,下分支由坐标注意力子模块组成。上分支的通道注意力子模块将输入的特征图F分别进行2D全局池化,得到两组特征向量,再将两组特征向量送入带有一个隐藏层的权重共享多层感知器(MLP)网络以生成通道注意力特征图Wc(F):
Wc(F)=σ{MLP[AvgPool(F)]+MLP[MaxPool(F)]}
其中,AvgPool和MaxPool表示平均池化和最大池化,σ表示sigmoid激活函数。
接着,将通道注意力特征图Wc(F)在通道维度上进行2D全局池化和拼接得到大小为h×w×2的特征图,然后使用卷积核k7×7将通道降维成1,偏置后生成空间注意力特征图WS(F):
WS(F)=σ{k7×7[AvgPool(Wc);MaxPool(Wc)]}
其中,{*}表示拼接池化后的特征图。
最后,将得到的空间特征信息与输入的通道注意力特征图相乘,即可得到上分支输出的注意力特征图WU(F)。
下分支的坐标注意力子模块是利用两个1D全局池化沿垂直和水平方向生成两个方向感知向量zX、zY,再将zX、zY在两个空间方向进行特征聚合,返回一个方向感知注意力图F′:
zX=X AvgPool(F)
zY=Y AvgPool(F)
接着,将F′分离成两个方向感知向量z′X和z′Y,对z′X和z′Y进行卷积和非线性处理后与原始特征图F相乘,即可得到下分支的输出的注意力特征图WD(F)。
最后将上分支和下分支得到的注意力特征图融合和偏置后得到经二维混合注意力模块处理权重后的特征图W(F):
W(F)=0[Wu(F)+WD(F)]
本申请对深度学习模型的训练过程不作限定,其例如可以采用监督学习的训练方式。
本申请实施例中,注意力模块可以是二维混合注意力模块,其可以包括通道注意力子模块、坐标注意力子模块等。
在一些可选的实施方式中,所述标注数据用于指示所述样本茶叶图像中病斑叶片的位置信息、样本茶叶图像对应的病害类型以及所述茶叶图像对应的置信度;
所述基于所述样本茶叶图像的病害检测结果的预测数据和标注数据,对所述深度学习模型的模型参数进行更新,包括:
基于所述样本茶叶图像的病害检测结果的预测数据和标注数据,获取所述样本茶叶图像对应的损失值;
利用所述损失值,利用随机梯度下降方式获取多个所述特征图的特征权重信息;
基于多个所述特征图的特征权重信息,对所述深度学习模型的模型参数进行更新。
由此,基于所述样本茶叶图像的病害检测结果的预测数据和标注数据,获取所述样本茶叶图像对应的损失值;利用随机梯度下降方式获取多个所述特征图的特征权重信息;基于多个所述特征图的特征权重信息,对所述深度学习模型的模型参数进行更新,可以使模型逼近真实状况,拟合度更好。其中,损失函数可以用于衡量模型预测的好坏,可以用来表现预测与实际数据的差距程度。一般来说,损失函数越好,模型的性能越好。
通过设计,建立适量的神经元计算节点和多层运算层次结构,选择合适的输入层和输出层,就可以得到预设的深度学习模型,通过该预设的深度学习模型的学习和调优,建立起从输入到输出的函数关系,虽然不能100%找到输入与输出的函数关系,但是可以尽可能地逼近现实的关联关系,由此训练得到的病害检测模型,可以基于茶叶图像的病害检测数据获取茶叶图像的病害检测信息,且计算结果准确性高、可靠性高。
在申请的一个具体实施例中,深度学习模型的训练过程可以是:
(1)标注操作:使用标注工具Labelimg对茶叶图像进行标注,得到病斑叶片的位置信息;
(2)设置训练的超参数:设置初始学习率为0.01,每个训练批次为8,总迭代轮数为200轮;
(3)将(1)中标注后的茶叶图像输入至深度学习模型进行特征提取,通过RFB模块、二维混合注意力模块和深度学习模型的Head单元以获得三个不同的预测数据,包括:预测框坐标信息、类别信息、置信度信息;
(4)计算损失:类别损失和置信度损失采用交叉熵损失函数,位置损失采用CIOUloss,分别计算位置和真实位置的差别Lloc、类别和真实类别的差别Lcls以及置信度和真实置信度之间的差别Lcof,将Lloc、Lcls和Lcof求和得到损失LD;
(5)梯度反向传播优化深度学习模型:根据损失LD的数值求出梯度,并采用随机梯度下降算法对梯度进行反向传播,进行权重的更新,最终得到权重W。
在一些可选的实施方式中,获取所述模型参数的过程包括:
利用交互设备接收数值设置操作,响应于所述数值设置操作,确定至少一个所述模型参数的参数值。
由此,利用交互设备接收参数设置操作,可以根据预设的模型参数,例如模型的初始学习率参数、训练批次参数、总迭代轮数参数等,利用交互设备(例如:鼠标、键盘等)接受设置操作,将所述模型参数设置在模型中。根据模型复杂程度的不同,需要调节的参数数量也不同。模型参数是模型内部的配置变量,其值可以根据数据进行估计,通过接受和设置模型参数,可以提高模型训练的性能,对模型进行进一步的优化。
本申请对预设的训练结束条件不作限定,其例如可以是训练次数达到预设次数(预设次数例如是1次、3次、10次、100次、1000次、10000次等),或者可以是训练集中的训练数据都完成一次或多次训练,或者可以是本次训练得到的总损失值不大于预设损失值。
本申请对预设相似度阈值不作限定,其例如可以是81%、83%、92%、95%、99.9%等。
本申请对交互设备的类型不作限定,其例如可以是鼠标、键盘、智能触控板、智能触控笔、手机、平板电脑、智能穿戴设备等。
本申请对利用交互设备接收各种参数设置操作的方式不作限定,按照输入方式划分操作,例如可以包括文本输入操作、数字输入操作、按键操作、鼠标操作、键盘操作、智能触控笔操作等。
在一些可选的实施方式中,所述注意力模块是二维混合注意力模块;
所述二维混合注意力模块分为上下两个并行分支,上分支包括通道注意力子模块和空间注意力子模块,下分支包括坐标注意力子模块。
由此,其中的通道注意力子模块类似于给每个通道上的特征图都施加一个权重,来代表该通道与关键信息的相关度,此权重越大,则表示相关度越高。在神经网络中,越高的维度特征图尺寸越小,通道数越多,通道就代表了整个图像的特征信息。
通道注意力子模块在处理图像特征信息时往往能起到很好的效果。其中的空间注意力子模块,可以用于在序列化特征提取时,让模型自适应学习带有字符位置信息的特征表征,让模型更加关注图像中的指定区域,得到带有二维空间位置信息的空间特征。
其中的坐标注意力机制可以分解通道注意力为两个并行的一维特征编码来高效地整合空间坐标信息到生成的注意力特征图中,坐标注意力机制可以捕获跨通道的信息,还包含了direction-aware和position-sensitive的信息,这使得所述深度学习模型可以更准确地定位到并识别目标区域。
相比较于卷积注意力机制模块(即CBAM,Convolutional Block AttentionModule),所述二维混合注意力模块还添加了坐标注意力机制模块,可以更好的针对茶叶的特点进行重点性提取特征,实现了多方位、高精度、全面高效提取茶叶图像的信息,为深度学习模型的性能带来了质的提升。
在本申请实施例中,所述茶叶疾病检测模块包括:
BackBone单元,其中,Focus指的是Focus模块,用于对图像进行切片操作;CPS指的是CSP模块,用于将输入分成两个分支,分别进行卷积操作使得通道数减半;CBL指的是CBL模块,即Conv+BN+Leaky Relu。
Neck单元,其中,UP_Sample指的是上采样,用于完成图片的“解压缩”操作;Concat指的是concatenate操作,用于按照预设方向合并特征矩阵矩阵。
Head单元,其中Conv指的是卷积层,Large-scale detection layer指的是大尺度下的检测层,Medium-scale detection layer指的是中尺度下的检测层,Small-scaledetection layer指的是小尺度下的检测层。
在一个具体应用场景中,可以利用装载于无人机的遥感设备拍摄得到训练集的训练数据中的样本茶叶图像,对其进行人工标注,制作得到训练集后,利用训练集训练预设的深度学习模型以得到茶叶病害检测模型。
在对茶叶进行检测时,利用装载于无人机的遥感设备针对每个区域(每个区域对应一株或多株茶树,或者对应一株茶树的局部)拍摄得到多张待测茶叶图像,将这些待测茶叶图像分别输入至茶叶病害检测模型,就能得到每张待测茶叶图像对应的病害检测结果。如果至少一张待测茶叶图像对应的病害检测结果用于指示对应的叶片患有目标病害,则初步判断该区域对应的叶片可能患有目标病害,此时需要利用精度更高的遥感设备或者高分辨率相机重新拍摄该区域的一张或多张待测茶叶图像,并将重新拍摄得到的待测茶叶图像再次输入茶叶病害检测模型以得到对应的病害检测结果,如果重新拍摄的待测茶叶图像中至少一张图像对应的病害检测结果用于指示对应的叶片患有目标病害,则确定该区域对应的叶片患有目标病害。这样做的好处是,将茶叶病害检测过程分为两个阶段,第一阶段检出患有病害的可能性,第二阶段确认是否患有病害,与现有技术单一检测步骤即确认是否患病相比,通过第二阶段的病害检测结果印证第一阶段的病害检测结果,能够提升单个区域的茶叶病害检测的准确率。
在确认该区域对应的叶片患有目标病害时,基于待测茶叶图像的病害检测结果,生成该区域对应的药物喷洒策略,所述药物喷洒策略包括药物类型、药物浓度、喷洒时刻、喷洒剂量、喷洒次数、喷洒路线等。利用装载于无人机的药物喷洒设备(或者利用具有自移动功能的药物喷洒机器人)执行所述药物喷洒策略对应的药物喷洒任务,以治疗该区域对应的叶片的目标病害。也就是说,在检测出叶片患有目标病害后,可以利用无人机或者机器人自动执行药物喷洒任务以治疗该区域的茶树,进一步节省人力成本,提升喷洒效率。
执行药物喷洒任务之后,经过预设时长(例如是1天、1周或者1个月)后,再次利用装载于无人机的遥感设备再次拍摄得到该区域的待测茶叶图像,并将再次拍摄得到的待测茶叶图像输入至茶叶病害检测模型以得到病害检测结果,如果再次拍摄的待测茶叶图像中至少一个图像用于指示叶片患有目标病害,则表明之前的药物喷洒策略可能不适用,需要加大用药剂量,此时可以结合茶叶专家的意见,重新调整药物喷洒策略,并按照调整后的药物喷洒策略继续执行自动喷洒任务。间隔预设时长、或者间隔更短时长之后,再次拍摄该区域的待测茶叶图像、再次病害检测并根据病害检测结果判断是否需要继续调整药物喷洒策略,如此重复,直到该区域的待测茶叶图像的病害检测结果用于指示对应的叶片未患有目标病害。这样做的好处是,能够针对药物喷洒后的治疗效果,及时调整药物喷洒策略,尽快解决茶叶患有目标病害的问题,确保茶树能够为种植者带来预期的经济效益。另外,上述药物喷洒过程中采用智能加人工的处理方式,兼顾了高效率和老资格专家多年经验的指导作用。
在一个具体应用场景中,无人机指无人驾驶飞行器,一般指无人驾驶航空器,如各种型号的无人机驾驶飞机,无人驾驶直升机,无人驾驶多旋翼机(多旋翼/多轴飞行器),无人机所涉及的技术领域十分广泛,包括传感器技术、通信技术、信息处理技术、智能控制技术以及航空动力推进技术等,是信息时代高技术含量的产物。无人机不仅能作为飞行工作平台满足工作需求,凭借着其空中的作业能力,可以轻易的深入介入植保、电力巡检、灾害救援以及航拍等领域。同时,无人机也具备优秀的数据采集能力,因此也可以作为互联网的连接端口。
在一个具体应用场景中,无人机在执行特定飞行任务时,需要装载特定任务的仪器、设备和***,称为无人机的任务载荷。无人机任务载荷可用于采集数据、监视、巡逻、架线、空投物品、进行大气监测、采样、通信、实验、中继等。其中,用于采集图像的任务载荷设备有高分辨率CCD数码相机、轻型光学相机等;用于侦察、监视和巡逻的光电任务载荷设备有可见光载荷、红外热像仪、紫外热像仪、合成孔径雷达、激光雷达和多光谱相机等。无人机执行不同的任务来根据所需的用途配置光电负载载荷。
在一个具体应用场景中,利用无人机遥感采集茶叶图像的步骤可以是:基于待测区域的基本地理信息和茶树分布信息,规划无人机飞行路线;设置至少两种信息采集方式以及与之对应的触发条件(例如远程遥控触发、电信号触发、光信号触发、声音触发、指令触发等);基于至少一种信息采集方式采集茶叶图像,实时分析采集到的茶叶图像,根据分析结果判定并触发不同的信息采集方式;采集并实时分析采集到的茶叶图像,根据分析结果判定并触发不同的茶叶图像采集方式,汇总并存储采集到的茶叶图像并传输到预设移动设备或应用端。本申请采用无人机遥感的茶叶图像采集方法,其能够利用无人机在短时间内实现往复飞行、设备调整灵活的优势,显著提升不同地形环境的遥感精度。为实施无人机遥感的茶叶图像采集方法,可以合理规划采集路线、采集方式、触发条件、巡航方式等,其能够最大化的利用无人机上的机载设备资源,结合加装的遥感装置,快速方便的采集到复杂地形茶树种植环境中的茶叶图像,便于后续的茶叶病害检测操作的顺利进行。
装置实施方式
参见图4,图4示出了本申请提供的一种茶叶病害检测装置的结构示意图。
本申请还提供了一种茶叶病害检测装置,其具体实现方式与上述方法实施方式中记载的实施方式、所达到的技术效果一致,部分内容不再赘述。
所述茶叶病害检测装置,用于对茶叶进行检测,所述装置包括:
病害检测模块101,用于将待测茶叶图像输入至茶叶病害检测模型,以得到所述待测茶叶图像的病害检测结果,所述待测茶叶图像的病害检测结果用于指示所述待测茶叶图像对应的至少一个叶片是否患有目标病害;
其中,所述茶叶病害检测模型的训练过程包括:
获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括一个样本茶叶图像以及所述样本茶叶图像的病害检测结果的标注数据,所述样本茶叶图像的病害检测结果用于指示所述样本茶叶图像对应的至少一个叶片是否患有所述目标病害;
针对所述训练集中的每个训练数据,执行以下处理:
将所述训练数据中的样本茶叶图像输入预设的深度学习模型,以得到所述样本茶叶图像的病害检测结果的预测数据;
基于所述样本茶叶图像的病害检测结果的预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
检测是否满足预设的训练结束条件;如果是,则将训练出的所述深度学习模型作为所述茶叶病害检测模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
在一些可选的实施方式中,所述获取训练集,包括:
对所述样本茶叶图像执行数据增强处理,以获取所述样本茶叶图像对应的至少一个增强图像;
利用所述样本茶叶图像及其增强图像制作得到所述训练集。
在一些可选的实施方式中,所述获取所述样本茶叶图像的过程包括:
利用装载于无人机的遥感设备对茶叶种植区的茶树进行图像采集,以得到多个所述样本茶叶图像。
在一些可选的实施方式中,所述对所述样本茶叶图像执行数据增强处理,包括:
基于预设尺寸对所述样本茶叶图像进行裁剪,以获取规格图像;
利用超分辨率网络对所述规格图像进行超分辨率重建,以获取超分辨率图像;
对所述超分辨率图像进行数据增强,以得到至少一个所述增强图像。
在一些可选的实施方式中,所述深度学习模型包括BackBone单元、Neck单元和Head单元,所述BackBone单元添加有RFB模块,所述Neck单元添加有注意力模块;
所述将所述训练数据中的样本茶叶图像输入预设的深度学习模型,以得到所述样本茶叶图像的病害检测结果的预测数据,包括:
利用所述BackBone单元对所述样本茶叶图像进行特征提取以获取特征信息,所述特征信息包括:所述样本茶叶图像所对应的低层空间特征和高层语义特征;其中,所述RFB模块用于部分低层空间特征和部分高层语义特征的提取过程;
利用所述BackBone单元向所述目标检测网络的Neck单元输入所述低层空间特征和所述高层语义特征;
利用所述Neck单元对所述低层空间特征和所述高层语义特征进行特征融合,以得到特征融合结果;
利用所述注意力模块获取所述特征融合结果对应的多个特征图;
针对每个所述特征图,利用所述Head单元生成对应的检测框,以获取所述样本茶叶图像的病害检测结果的预测数据。
在一些可选的实施方式中,所述标注数据用于指示所述样本茶叶图像中病斑叶片的位置信息、样本茶叶图像对应的病害类型以及所述茶叶图像对应的置信度;
所述基于所述样本茶叶图像的病害检测结果的预测数据和标注数据,对所述深度学习模型的模型参数进行更新,包括:
基于所述样本茶叶图像的病害检测结果的预测数据和标注数据,获取所述样本茶叶图像对应的损失值;
利用所述损失值,利用随机梯度下降方式获取多个所述特征图的特征权重信息;
基于多个所述特征图的特征权重信息,对所述深度学习模型的模型参数进行更新。
在一些可选的实施方式中,获取所述模型参数的过程包括:
利用交互设备接收数值设置操作,响应于所述数值设置操作,确定至少一个所述模型参数的参数值。
在一些可选的实施方式中,所述注意力模块是二维混合注意力模块;
所述二维混合注意力模块分为上下两个并行分支,上分支包括通道注意力子模块和空间注意力子模块,下分支包括坐标注意力子模块。
设备实施方式
本申请还提供了一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时上述任一项所述方法的步骤,其具体实施方式与上述方法的实施方式中记载的实施方式、所达到的技术效果一致,部分内容不再赘述。
参见图5,图5示出了本申请提供的一种电子设备200的结构框图。电子设备200包括至少一个存储器210、至少一个处理器220以及连接不同平台***的总线230。
存储器210可以包括易失性存储器形式的可读介质,例如随机存取存储器(RAM)211和/或高速缓存存储器212,还可以进一步包括只读存储器(ROM)213。
其中,存储器210还存储有计算机程序,计算机程序可以被处理器220执行,使得处理器220实现上述任一项方法的步骤,其具体实现方式与上述方法实施方式中记载的实施方式、所达到的技术效果一致,部分内容不再赘述。
存储器210还可以包括具有至少一个程序模块215的实用工具214,这样的程序模块215包括但不限于:操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例的每一个或某种组合中可能包括网络环境的实现。
相应的,处理器220可以执行上述计算机程序,以及可以执行实用工具214。
处理器220可以采用一个或多个应用专用集成电路(ASIC,Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)或其他电子元件。
总线230可以为表示几类总线结构的一种或多种,包括存储器总线或者存储器控制器、***总线、图形加速端口、处理器或者使用多种总线结构的任意总线结构的局域总线。
电子设备200也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信,还可与一个或者多个能够与该电子设备200交互的设备通信,和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入输出接口250进行。并且,电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备200使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储平台等。
本申请还提供了一种计算机可读存储介质,该计算机可读存储介质用于存储计算机程序,所述计算机程序被执行时实现上述任一项方法的步骤,其具体实现方式与上述方法实施方式中记载的实施方式、所达到的技术效果一致,部分内容不再赘述。
介质实施方式
本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项方法的步骤,其具体实施方式与上述方法的实施方式中记载的实施方式、所达到的技术效果一致,部分内容不再赘述。
参见图6,图6示出了本申请提供的一种用于茶叶病害的检测方法的程序产品300的结构示意图。程序产品300可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品300不限于此,在本申请中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。程序产品300可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等,或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,程序设计语言包括面向对象的程序设计语言诸如Java、C++等,还包括常规的过程式程序设计语言诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本申请从使用目的上,效能上,进步及新颖性等观点进行阐述,已符合专利法所强调的功能增进及使用要件,本申请以上的说明书及说明书附图,仅为本申请的较佳实施例而已,并非以此局限本申请,因此,凡一切与本申请构造,装置,特征等近似、雷同的,即凡依本申请专利申请范围所作的等同替换或修饰等,皆应属本申请的专利申请保护的范围之内。
Claims (10)
1.一种茶叶病害的检测方法,其特征在于,用于对茶叶进行检测,所述方法包括:
将待测茶叶图像输入至茶叶病害检测模型,以得到所述待测茶叶图像的病害检测结果,所述待测茶叶图像的病害检测结果用于指示所述待测茶叶图像对应的至少一个叶片是否患有目标病害;
其中,所述茶叶病害检测模型的训练过程包括:
获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括一个样本茶叶图像以及所述样本茶叶图像的病害检测结果的标注数据,所述样本茶叶图像的病害检测结果用于指示所述样本茶叶图像对应的至少一个叶片是否患有所述目标病害;
针对所述训练集中的每个训练数据,执行以下处理:
将所述训练数据中的样本茶叶图像输入预设的深度学习模型,以得到所述样本茶叶图像的病害检测结果的预测数据;
基于所述样本茶叶图像的病害检测结果的预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
检测是否满足预设的训练结束条件;如果是,则将训练出的所述深度学习模型作为所述茶叶病害检测模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
2.根据权利要求1所述的茶叶病害的检测方法,其特征在于,所述获取训练集,包括:
对所述样本茶叶图像执行数据增强处理,以获取所述样本茶叶图像对应的至少一个增强图像;
利用所述样本茶叶图像及其增强图像制作得到所述训练集。
3.根据权利要求2所述的茶叶病害的检测方法,其特征在于,获取所述样本茶叶图像的过程包括:
利用装载于无人机的遥感设备对茶叶种植区的茶树进行图像采集,以得到多个所述样本茶叶图像。
4.根据权利要求2所述的茶叶病害的检测方法,其特征在于,所述对所述样本茶叶图像执行数据增强处理,包括:
基于预设尺寸对所述样本茶叶图像进行裁剪,以获取规格图像;
利用超分辨率网络对所述规格图像进行超分辨率重建,以获取超分辨率图像;
对所述超分辨率图像进行数据增强,以得到至少一个所述增强图像。
5.根据权利要求1所述的茶叶病害的检测方法,其特征在于,所述深度学习模型包括BackBone单元、Neck单元和Head单元,所述BackBone单元添加有RFB模块,所述Neck单元添加有注意力模块;
所述将所述训练数据中的样本茶叶图像输入预设的深度学习模型,以得到所述样本茶叶图像的病害检测结果的预测数据,包括:
利用所述BackBone单元对所述样本茶叶图像进行特征提取以获取特征信息,所述特征信息包括:所述样本茶叶图像所对应的低层空间特征和高层语义特征;其中,所述RFB模块用于部分低层空间特征和部分高层语义特征的提取过程;
利用所述BackBone单元向所述目标检测网络的Neck单元输入所述低层空间特征和所述高层语义特征;
利用所述Neck单元对所述低层空间特征和所述高层语义特征进行特征融合,以得到特征融合结果;
利用所述注意力模块获取所述特征融合结果对应的多个特征图;
针对每个所述特征图,利用所述Head单元生成对应的检测框,以获取所述样本茶叶图像的病害检测结果的预测数据。
6.根据权利要求5所述的茶叶病害的检测方法,其特征在于,所述标注数据用于指示所述样本茶叶图像中病斑叶片的位置信息、样本茶叶图像对应的病害类型以及所述茶叶图像对应的置信度;
所述基于所述样本茶叶图像的病害检测结果的预测数据和标注数据,对所述深度学习模型的模型参数进行更新,包括:
基于所述样本茶叶图像的病害检测结果的预测数据和标注数据,获取所述样本茶叶图像对应的损失值;
利用所述损失值,利用随机梯度下降方式获取多个所述特征图的特征权重信息;
基于多个所述特征图的特征权重信息,对所述深度学习模型的模型参数进行更新。
7.根据权利要求5所述的茶叶病害的检测方法,其特征在于,所述注意力模块是二维混合注意力模块;
所述二维混合注意力模块分为上下两个并行分支,上分支包括通道注意力子模块和空间注意力子模块,下分支包括坐标注意力子模块。
8.一种茶叶病害的检测装置,其特征在于,用于对茶叶进行检测,所述装置包括:
病害检测模块,用于将待测茶叶图像输入至茶叶病害检测模型,以得到所述待测茶叶图像的病害检测结果,所述待测茶叶图像的病害检测结果用于指示所述待测茶叶图像对应的至少一个叶片是否患有目标病害;
其中,所述茶叶病害检测模型的训练过程包括:
获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括一个样本茶叶图像以及所述样本茶叶图像的病害检测结果的标注数据,所述样本茶叶图像的病害检测结果用于指示所述样本茶叶图像对应的至少一个叶片是否患有所述目标病害;
针对所述训练集中的每个训练数据,执行以下处理:
将所述训练数据中的样本茶叶图像输入预设的深度学习模型,以得到所述样本茶叶图像的病害检测结果的预测数据;
基于所述样本茶叶图像的病害检测结果的预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
检测是否满足预设的训练结束条件;如果是,则将训练出的所述深度学习模型作为所述茶叶病害检测模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1-7任一项所述方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210868307.8A CN115294467A (zh) | 2022-07-22 | 2022-07-22 | 茶叶病害的检测方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210868307.8A CN115294467A (zh) | 2022-07-22 | 2022-07-22 | 茶叶病害的检测方法及相关装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115294467A true CN115294467A (zh) | 2022-11-04 |
Family
ID=83824707
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210868307.8A Pending CN115294467A (zh) | 2022-07-22 | 2022-07-22 | 茶叶病害的检测方法及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115294467A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117152083A (zh) * | 2023-08-31 | 2023-12-01 | 哈尔滨工业大学 | 一种基于类别激活映射的探地雷达道路病害图像预测可视化方法 |
-
2022
- 2022-07-22 CN CN202210868307.8A patent/CN115294467A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117152083A (zh) * | 2023-08-31 | 2023-12-01 | 哈尔滨工业大学 | 一种基于类别激活映射的探地雷达道路病害图像预测可视化方法 |
CN117152083B (zh) * | 2023-08-31 | 2024-04-09 | 哈尔滨工业大学 | 一种基于类别激活映射的探地雷达道路病害图像预测可视化方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113065558B (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
Yang et al. | Visual perception enabled industry intelligence: state of the art, challenges and prospects | |
CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
Ocer et al. | Tree extraction from multi-scale UAV images using Mask R-CNN with FPN | |
CN104851099B (zh) | 一种基于表示学习的图像融合方法 | |
Bao et al. | UAV remote sensing detection of tea leaf blight based on DDMA-YOLO | |
CN111126287B (zh) | 一种遥感影像密集目标深度学习检测方法 | |
Wang et al. | Side-view apple flower mapping using edge-based fully convolutional networks for variable rate chemical thinning | |
Wang et al. | Application of convolutional neural network-based detection methods in fresh fruit production: a comprehensive review | |
CN111079739A (zh) | 一种多尺度注意力特征检测方法 | |
CN112990232B (zh) | 面向多种高空作业施工现场的安全带佩戴识别与检测方法 | |
CN112950780A (zh) | 一种基于遥感影像的网络地图智能生成方法及*** | |
Xu et al. | A lightweight SSV2-YOLO based model for detection of sugarcane aphids in unstructured natural environments | |
CN112419333A (zh) | 一种遥感影像自适应特征选择分割方法及*** | |
CN116385902A (zh) | 一种遥感大数据处理方法、***及云平台 | |
CN112861755A (zh) | 一种目标多类别实时分割方法及*** | |
CN114140637B (zh) | 图像分类方法、存储介质和电子设备 | |
Liu et al. | IntegrateNet: A deep learning network for maize stand counting from UAV imagery by integrating density and local count maps | |
Lu et al. | Citrus green fruit detection via improved feature network extraction | |
Lin et al. | A novel convolutional neural network architecture of multispectral remote sensing images for automatic material classification | |
CN115294467A (zh) | 茶叶病害的检测方法及相关装置 | |
Zhang et al. | An improved target detection method based on YOLOv5 in natural orchard environments | |
CN116543165B (zh) | 一种基于双通道复合深度网络的遥感图像果树分割方法 | |
CN112418112A (zh) | 一种果园病虫害监测预警方法及*** | |
CN113723833B (zh) | 造林实绩质量评价方法、***、终端设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |