CN117152544B - 采茶方法、设备、存储介质及装置 - Google Patents
采茶方法、设备、存储介质及装置 Download PDFInfo
- Publication number
- CN117152544B CN117152544B CN202311424045.7A CN202311424045A CN117152544B CN 117152544 B CN117152544 B CN 117152544B CN 202311424045 A CN202311424045 A CN 202311424045A CN 117152544 B CN117152544 B CN 117152544B
- Authority
- CN
- China
- Prior art keywords
- tea
- picking
- preset
- type
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 235000009024 Ceanothus sanguineus Nutrition 0.000 claims abstract description 210
- 240000003553 Leptospermum scoparium Species 0.000 claims abstract description 210
- 235000015459 Lycium barbarum Nutrition 0.000 claims abstract description 210
- 238000001514 detection method Methods 0.000 claims abstract description 76
- 230000000877 morphologic effect Effects 0.000 claims abstract description 39
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 12
- 241001122767 Theaceae Species 0.000 claims abstract 34
- 238000000605 extraction Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 244000269722 Thea sinensis Species 0.000 description 173
- 235000013616 tea Nutrition 0.000 description 172
- 238000001914 filtration Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 235000006468 Thea sinensis Nutrition 0.000 description 3
- 230000007797 corrosion Effects 0.000 description 3
- 238000005260 corrosion Methods 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 208000035143 Bacterial infection Diseases 0.000 description 1
- 235000002566 Capsicum Nutrition 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 208000022362 bacterial infectious disease Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 235000020333 oolong tea Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000009333 weeding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像处理技术领域，公开了一种采茶方法、设备、存储介质及装置，本发明基于预设形态学算法对预设摄像头采集的多视角茶园图像信息进行预处理，获得茶树图像信息；基于预设小目标检测模型对茶树图像信息中目标茶树对应的茶叶类型进行检测，获得类型检测结果，预设小目标检测模型是基于MASK R‑CNN模型训练获得的模型；基于待生产茶叶类型、类型检测结果以及预设采摘点定位模型对目标茶树对应的采摘点进行标定，获得采摘点标定结果，预设采摘点定位模型是基于YOLOv5算法构建的模型；根据采摘点标定结果中采摘点坐标以及采摘方向完成茶叶采摘，本发明能够满足多种类型的茶叶分类以及采摘，提升采茶效率以及精确性。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种采茶方法、设备、存储介质及装置。
背景技术
随着智能机器人发展，越来越多的用户会选择智能机器人辅助作业，例如：农业除虫、草坪除草、机械臂采茶等，在目前茶叶生产过程中，茶鲜叶的采集以及分类主要依靠人工进行识别，导致分类效果差且采茶效率低。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种采茶方法、设备、存储介质及装置，旨在解决现有技术中采茶主要依靠人工进行识别，导致分类效果差且采茶效率低的技术问题。
为实现上述目的，本发明提供一种采茶方法，所述采茶方法包括以下步骤：
基于预设形态学算法对预设摄像头采集的多视角茶园图像信息进行预处理，获得茶树图像信息；
基于预设小目标检测模型对所述茶树图像信息中目标茶树对应的茶叶类型进行检测，获得类型检测结果，所述预设小目标检测模型是基于MASK R-CNN模型训练获得的模型；
基于待生产茶叶类型、所述类型检测结果以及预设采摘点定位模型对所述目标茶树对应的采摘点进行标定，获得采摘点标定结果，所述预设采摘点定位模型是基于YOLOv5算法构建的模型；
根据所述采摘点标定结果中采摘点坐标以及采摘方向完成茶叶采摘。
可选地，所述基于预设形态学算法对预设摄像头采集的多视角茶园图像信息进行预处理，获得茶树图像信息的步骤，包括：
对预设摄像头采集的多视角茶园图像信息进行初筛选，获得预设角度的茶园图像信息；
基于预设形态学算法从所述预设角度的茶园图像信息中提取包括茶树图像的目标图像信息；
对所述目标图像信息进行降噪、膨胀、开运算以及闭运算处理，获得处理后的茶树图像信息。
可选地，所述基于预设小目标检测模型对所述茶树图像信息中目标茶树对应的茶叶类型进行检测，获得类型检测结果的步骤，包括：
基于预设小目标检测模型对所述茶树图像信息进行特征提取，获得茶叶特征集合；
基于所述茶叶特征集合中的芽尖特征以及叶片特征对目标茶叶对应的芽尖区域以及叶片区域进行标记，获得区域标记结果；
根据所述区域标记结果确定目标茶树对应的茶叶类型，并根据所述目标茶树对应的茶叶类型确定类型检测结果。
可选地，所述基于待生产茶叶类型、所述类型检测结果以及预设采摘点定位模型对所述目标茶树对应的采摘点进行标定，获得采摘点标定结果的步骤，包括：
将所述类型检测结果中的茶叶类型与待生产茶叶类型进行对比，获得类型对比结果；
根据所述类型对比结果确定所述目标茶树是否为待采摘茶树，根据判断结果对所述目标茶树进行标定，获得茶树标定结果；
若所述茶树标定结果为待采摘茶树时，则根据预设采摘点定位模型对所述目标茶树对应的采摘点进行标定，获得采摘点标定结果。
可选地，所述若所述茶树标定结果为待采摘茶树时，则根据预设采摘点定位模型对所述目标茶树对应的采摘点进行标定，获得采摘点标定结果的步骤，包括：
若所述茶树标定结果为待采摘茶树时，根据所述待采摘茶树的茶树标记结果与预设芽尖类型对应的颜色特征以及形态特征进行对比，获得颜色对比结果以及形态对比结果；
根据所述颜色对比结果以及所述形态对比结果判断所述待采摘茶树是否符合预设采摘条件，获得采摘判断结果；
根据所述采摘判断结果和预设采摘点定位模型对所述目标茶树对应的采摘点进行标定，获得采摘点标定结果。
可选地，所述根据所述采摘判断结果和预设采摘点定位模型对所述目标茶树对应的采摘点进行标定，获得采摘点标定结果的步骤，包括：
若所述待采摘茶树符合所述预设采摘条件，则根据所述待生产茶叶类型将所述待采摘茶树对应的芽尖区域图像以及叶片区域图像进行归一化处理，获得图像特征集合；
基于预设采摘点定位模型对所述图像特征集合进行嫩芽标记以及老叶标记，获得标记结果；
根据所述待生产茶叶类型对应的芽数和所述标记结果对所述待采摘茶树对应的采摘点进行标定，获得采摘点标定结果。
可选地，所述根据所述采摘点标定结果中采摘点坐标以及采摘方向完成茶叶采摘的步骤，包括：
基于预设SGBM立体匹配算法将所述采摘点标定结果中采摘点坐标按照所述预设摄像头对应的内外参数进行坐标转换，获得目标三维坐标；
根据所述目标三维坐标以及采摘方向完成茶叶采摘。
此外，为实现上述目的，本发明还提出一种采茶设备，所述采茶设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的采茶程序，所述采茶程序配置为实现如上文所述的采茶的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有采茶程序，所述采茶程序被处理器执行时实现如上文所述的采茶方法的步骤。
此外，为实现上述目的，本发明还提出一种采茶装置，所述采茶装置包括：
图像预处理模块，用于基于预设形态学算法对预设摄像头采集的多视角茶园图像信息进行预处理，获得茶树图像信息；
类型确定模块，用于基于预设小目标检测模型对所述茶树图像信息中目标茶树对应的茶叶类型进行检测，获得类型检测结果，所述预设小目标检测模型是基于MASK R-CNN模型训练获得的模型；
采摘点确定模块，用于基于待生产茶叶类型、所述类型检测结果以及预设采摘点定位模型对所述目标茶树对应的采摘点进行标定，获得采摘点标定结果，所述预设采摘点定位模型是基于YOLOv5算法构建的模型；
茶叶采摘模块，用于根据所述采摘点标定结果中采摘点坐标以及采摘方向完成茶叶采摘。
本发明通过基于预设形态学算法对预设摄像头采集的多视角茶园图像信息进行预处理，获得茶树图像信息；基于预设小目标检测模型对所述茶树图像信息中目标茶树对应的茶叶类型进行检测，获得类型检测结果，所述预设小目标检测模型是基于MASK R-CNN模型训练获得的模型；基于待生产茶叶类型、所述类型检测结果以及预设采摘点定位模型对所述目标茶树对应的采摘点进行标定，获得采摘点标定结果，所述预设采摘点定位模型是基于YOLOv5算法构建的模型；根据所述采摘点标定结果中采摘点坐标以及采摘方向完成茶叶采摘，本发明通过小目标检测模型对目标茶树对应的茶叶类型进行检测并通过采摘点定位模型对采摘点进行定位，从而完成茶叶采摘，相较于现有技术中采茶主要依靠人工进行识别，导致分类效果差且采茶效率低，本发明能够满足多种类型的茶叶分类以及采摘，提升采茶效率以及精确性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的采茶设备的结构示意图；
图2为本发明采茶方法第一实施例的流程示意图；
图3为本发明采茶方法第二实施例的流程示意图；
图4为本发明采茶装置第一实施例的结构框图。
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的采茶设备结构示意图。
如图1所示，该采茶设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display），可选用户接口1003还可以包括标准的有线接口、无线接口，对于用户接口1003的有线接口在本发明中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，Wi-Fi）接口）。存储器1005可以是高速的随机存取存储器（Random Access Memory，RAM），也可以是稳定的存储器（Non-volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对采茶设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，认定为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及采茶程序。
在图1所示的采茶设备中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接用户设备；所述采茶设备通过处理器1001调用存储器1005中存储的采茶程序，并执行本发明实施例提供的采茶方法。
基于上述硬件结构，提出本发明采茶方法的实施例。
参照图2，图2为本发明采茶方法第一实施例的流程示意图，提出本发明采茶方法第一实施例。
在本实施例中，所述采茶方法包括以下步骤：
步骤S10：基于预设形态学算法对预设摄像头采集的多视角茶园图像信息进行预处理，获得茶树图像信息。
需说明的是，本实施例中的执行主体可以是具有采茶分类识别***的设备，如：智能机器人、智能手机、笔记本、电脑以及平板等，还可为其它可实现相同或相似功能的采茶设备，本实施例对此不做限制。此处将以上述计算机为例对本实施例和下述各实施例进行说明。本方案中所提出的采茶分类识别***具备一种自动化的采茶分类识别流程，可自动完成采茶。在本实施例以及下述各实施例中以计算机为例对本发明采茶方法进行说明。其中，所述采茶分类识别***可以通过物联网的方式与智能机器人上设置的双目摄像头连接，通过从双目摄像头上传获取视频或图片，设置了两个摄像头，从而能够让拍摄的范围更加广泛，其中所述视频可以通过智能机器人在预设固定区域巡检时实时回传获得。也可以是通过飞行模式采集获得，预设固定区域可以是多种场景下的茶园或茶厂（茶场），本方案适用于室内或室外的茶叶分类识别以及对茶叶进行采摘。预设摄像头可以是预先设置的双目摄像头，所述双目摄像头可以是设置在智能机器人上，也可以是单独设置的，或是采用无人机的模式。
可理解的是，可以通过智能机器人实现茶叶采摘，所述智能机器人可以是以移动机械臂的形式集成了双目摄像头、剪刀、收纳盒，其中采摘监控平台可以通过物联网与智能机器人连接，实时监控采摘情况。并且本方案为了保证茶叶采集的完整性，会通过采集多角度的茶园图像，以便于后期筛选出最佳角度的图像用于对茶叶的分类检测。通过预设形态学算法进行预处理，以获得茶树图像。
应理解的是，所述预处理是针对茶园图像进行全局阈值分割以及形态学操作等处理，预设形态学算法可以是指预先设置的用于对预设摄像头采集的图像信息进行识别的算法，所述算法可以是由OTSU算法和形态学算法，为了提出无效背景以及与茶树无关的特征，可以通过OTSU算法实现阈值分割，并通过形态学算法对采集的图像中包含茶树的图像筛选出来。
具体实现中，基于预设形态学算法对预设摄像头采集的多视角茶园图像信息进行全局阈值分割以及形态学操作等处理，获得茶树图像信息。
进一步地，所述步骤S10还包括：对预设摄像头采集的多视角茶园图像信息进行初筛选，获得预设角度的茶园图像信息；基于预设形态学算法从所述预设角度的茶园图像信息中提取包括茶树图像的目标图像信息；对所述目标图像信息进行降噪、膨胀、开运算以及闭运算处理，获得处理后的茶树图像信息。
需说明的是，为了保证识别效率，可以从多视角茶园图像信息中选取俯视角度或平视角度的茶园，获得角度筛选后的茶园图像信息，并通过预设形态学算法从预设角度的茶园图像信息中提取包括茶树图像的图像信息，并对图像信息进行降噪、膨胀、开运算以及闭运算处理，获得处理后的茶树图像信息。
可理解的是，预设形态学算法可以是输入图像均会转换为二值图像，随后在二值化的图像上进行滤波，开运算，闭运算，腐蚀，膨胀等一系列操作，由于在采集茶叶图像中存在外界各种环境因素的干扰，图片会包含大量椒盐噪声，因此，需要通过滤波降噪来使图像变得平滑。这样既可以在保证原始图片信息完整的情况下，又能消除掉无用的噪声信息，便于后面的颜色提取。滤波方式可以采用中值滤波，高斯滤波和均值滤波。由于均值滤波的效率较高，本方案采用均值滤波对茶园图片进行处理。
应理解的是，本方案可以通过采用 3×3 的均值滤波来对图像进行降噪，膨胀就是放大图像中的白色区域，通过将图像与卷积核进行卷积运算，将像素最大值依次赋给其他区域。而腐蚀则是缩小原图中的白色区域，通过卷积找到像素的极小值，再赋给其他像素点。开运算是对茶叶图像先进行腐蚀，再进行膨胀。通过开运算后，图像的细小区域会被消除，轮廓也会更圆滑。闭运算则与其相反，是先进行膨胀再进行腐蚀操作。闭运算主要是弥补图像中的一些缺陷。
具体实现中，通过对预设摄像头采集的多视角茶园图像信息进行初筛选，获得预设角度的茶园图像信息；基于预设形态学算法从所述预设角度的茶园图像信息中提取包括茶树图像的目标图像信息；对图像信息进行降噪、膨胀、开运算以及闭运算处理，获得处理后的茶树图像信息。
步骤S20：基于预设小目标检测模型对所述茶树图像信息中目标茶树对应的茶叶类型进行检测，获得类型检测结果。
需说明的是，所述预设小目标检测模型是预先基于MASK R-CNN模型训练获得的用于对小目标样本进行检测的模型。所述模型。Mask R-CNN 模型主要包括 4 个部分：主干网络、RPN（区域推荐网络）、ROI Align（感兴趣区域校正）和输出分支。 其中主干网络主要是由ResNet网络和FPN网络（特征金字塔网络）组成，通过若干残差块构成的残差网络ResNet50 进行特征提取实现跨层连接，并构建恒等映射。为精确网络模型预测效果，所述模型在训练过程中可以通过采集多种场景（如：不同光线场景以及不同角度）的茶园图像集合，结合预训练权重进行迁移学习完成网络参数舒适化，并将带有标注结果的茶树数据集输入至网络模型中进行训练，并根据预设损失函数对初始MASK R-CNN模型进行优化，以获得最优检测模型，所述预设损失函数可以是由分类损失函数、边框损失函数以及掩膜损失函数构成。
其中，FPN 将从每个阶段提取的特征图再进行特征融合，每一层特征图融合了不同分辨率和语义强度的特征，进而能够在多个尺度上更好地表征目标。RPN利用滑动窗口对特征图进行扫描寻找存在目标的区域，以推荐感兴趣的区域。每个滑动窗口可以生成一组3 种不同长宽比、大小的锚框。对每个锚框进行两个分支处理，其中一个分支可以利用softmax 进行二分类，判断锚框中目标的类别是前景还是背景并以分数的形式输出，若锚框中有目标物体，则判定为前景，否则为背景；
另一个分支对锚框位置和尺寸进行调整，贴近目标物体并输出坐标。Proposal层利用非极大值抑制和设置阈值等方法对锚框进行筛选得到 ROI。ROI Align 对特征图的四个边界点进行双线性插值，固定这四个点坐标的像素值。通过ROI Align 操作， 使得具有不同特征大小的输入区域， 均可以得到相同大小输出特征。最后，Mask R-CNN 模型输出分类、定位回归、掩膜分割。
可理解的是，其中本方案通过将Mask R-CNN 模型中使用两个3×3 的矩阵与原始图片进行卷积操作，从而提升检测精度。基于预设小目标检测模型对茶树图像信息中的前景与背景进行分割，并将分割后的前景图片中包含茶树特征进行提取，并通过区域网络建议对包含茶树特征的图片进行类型检测，获得类型检测结果。
应理解的是，茶树是由茎、叶、芽、花、果实、种子和根等部分组成，茶叶的叶片分特大叶种、大叶种、中叶种、小叶种，由于茶树在采摘时会根据待生产茶叶类型确定采摘的区域和芽数，因此需要对茶树上芽与叶的区域进行确定，因此类型检测结果包括芽、叶两种类型的检测结果，例如：类型检测结果包括嫩芽、嫩叶、老叶等。
具体实现中，由于茶树会因为光照、天气、温度等影响因素导致发育成熟度会存在一定的差别，为了保证茶叶采摘质量，需要先对待生产茶叶对应的目标茶树上的芽与叶的类型进行检测，从而以便于后期进行采摘点的定位。
步骤S30：基于待生产茶叶类型、所述类型检测结果以及预设采摘点定位模型对所述目标茶树对应的采摘点进行标定，获得采摘点标定结果。
需说明的是，所述预设采摘点定位模型是预先基于YOLOv5算法构建的模型。所述预设采摘点定位模型可以是将GhostNet 与 YOLOv5 进行融合后获得的模型，为了解决YOLOv5 中尺度不同所带来的特征图不平衡的问题，在YOLOv5 的基础上添加注意力机制，所述注意力机制应用于通道和空间上，进一步增强特征提取能力，并且YOLOv5算法构建的模型对应的损失函数主要包括置信度损失、分类损失以及矩形框损失，通过对上述三种损失进行加权计算确定目标损失函数，本方案中的预设采摘点定位模型可以通过已标注采摘点的茶叶嫩芽图像集作为训练集训练获得的，其中本方案通过茶叶芽数、拍摄角度以及光照角度作为影响因素构建不同的训练测试集，从而提升模型检测精度。
可理解的是，本方案通过待生产茶叶类型对应的茶叶特征与类型检测结果中包含的茶叶特征进行对比，可以确定待采摘茶树上可以采摘的茶叶叶片以及芽数，并对待采摘的茶叶进行采摘点标定，获得采摘点标定结果，从而实现精准化采茶。
具体实现中，生产不同的茶叶，对采摘的茶叶具有不同的要求，有的茶叶只需要嫩芽，有的即需要嫩芽和老叶，因此为了实现精准化采摘，需要结合待生产茶叶类型和类型检测结果对目标茶树上待采摘的采摘点进行标定，获得采摘点标定结果。
步骤S40：根据所述采摘点标定结果中采摘点坐标以及采摘方向完成茶叶采摘。
需说明的是，采摘点标定结果包括采摘位置点对应的图像坐标，所述采摘方向可以是根据茶叶生长方向以及当前负责采摘的机器位置确定，从而实现更加精准采摘，避免破坏茶树。
具体实现中，通过采摘点标定结果中采摘点坐标以及采摘方向完成茶叶采摘。
进一步地，所述步骤S40还包括：基于预设SGBM立体匹配算法将所述采摘点标定结果中采摘点坐标按照所述预设摄像头对应的内外参数进行坐标转换，获得目标三维坐标；根据所述目标三维坐标以及采摘方向完成茶叶采摘。
需说明的是，预设SGBM立体匹配算法可以是预先设置的用于针对双目摄像头对采摘点定位后需要将坐标转换至机器人所对应的坐标下的算法，以实现自动化采摘，SGBM立体匹配算法作为全局匹配算法，立体匹配效果优于局部匹配算法。
可理解的是，利用 SGBM 立体匹配算法计算得到茶叶的深度图，再根据深度学习测量得到的中心位置从而得到嫩芽到叶片的三维信息，即通过SGBM 立体匹配算法得到图像的视差后，根据双目成像原理就可以计算每个像素的深度值，从而得到三维信息。并根据三维信息控制机械臂按照正向运动学以及逆向运动学确定采摘位姿，从而确定采摘坐标点以及路径，并结合茶树生成方向以及路径确定采摘方向。
具体实现中，通过预设SGBM立体匹配算法将采摘点标定结果中采摘点坐标按照预设摄像头对应的内外参数进行坐标转换，获得目标三维坐标，并根据目标三维坐标以及所述采摘方向完成茶叶采摘。
本实施例通过基于预设形态学算法对预设摄像头采集的多视角茶园图像信息进行预处理，获得茶树图像信息；基于预设小目标检测模型对所述茶树图像信息中目标茶树对应的茶叶类型进行检测，获得类型检测结果，所述预设小目标检测模型是基于MASK R-CNN模型训练获得的模型；基于待生产茶叶类型、所述类型检测结果以及预设采摘点定位模型对所述目标茶树对应的采摘点进行标定，获得采摘点标定结果，所述预设采摘点定位模型是基于YOLOv5算法构建的模型；根据所述采摘点标定结果中采摘点坐标以及采摘方向完成茶叶采摘，本实施例通过小目标检测模型对目标茶树对应的茶叶类型进行检测并通过采摘点定位模型对采摘点进行定位，从而完成茶叶采摘，相较于现有技术中采茶主要依靠人工进行识别，导致分类效果差且采茶效率低，本实施例能够满足多种类型的茶叶分类以及采摘，提升采茶效率以及精确性。
参照图3，图3为本发明采茶方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明采茶方法的第二实施例。
在本实施例中，所述步骤S20，还包括：
步骤S201：基于预设小目标检测模型对所述茶树图像信息进行特征提取，获得茶叶特征集合。
需说明的是，通过小目标检测模型对茶树图像信息进行特征提取，获得茶叶特征集合，所述茶叶特征集合包括芽、叶、果、花等，并对上述各类型的特征进行归一化处理，以获得对应的特征集合。
步骤S202：基于所述茶叶特征集合中的芽尖特征以及叶片特征对目标茶叶对应的芽尖区域以及叶片区域进行标记，获得区域标记结果。
需说明的是，将茶叶特征集合中的芽尖特征以及叶片特征对目标茶叶对应的芽尖区域以及叶片区域进行标记，获得区域标记结果，所述区域标记结果是指针对各目标茶树对应的芽尖区域以及叶片区域的数量以及面积，以便于后期根据待生产茶叶对应的特征进行对比，确定可以采摘的区域。
步骤S203：根据所述区域标记结果确定目标茶树对应的茶叶类型，并根据所述目标茶树对应的茶叶类型确定类型检测结果。
需说明的是，通过区域笔记结果中包含的芽尖区域以及叶片区域可以确定目标茶树上可供采摘的区域以及可供生产出的茶叶类型，从而以便于后期进行相应的采摘，例如：目标茶树对应的茶叶类型可以是需要一芽一叶、一芽两叶、一芽三叶或仅需要嫩芽等的茶叶类型，即乌龙茶对原料的成熟度有一定要求，采摘标准为开面采，即待茶树新梢长到3-5叶将要成熟、顶叶六七成开面时采下2-4叶。同时按照顶芽开面程度的不同，又分小开面、中开面和大开面三种。因此针对不同的茶叶所需采摘的茶叶的芽与叶的数量以及面积大小都不同。
具体实现中，本方案需要针对目标茶树对应的茶叶类型进行标定，其中目标茶树对应的茶叶类型可以是指针对顶芽开面程度以及可供采摘芽数所确定茶叶类型。
在本实施例中，所述步骤S30还包括：
步骤S301：将所述类型检测结果中的茶叶类型与待生产茶叶类型进行对比，获得类型对比结果。
需说明的是，待生产的茶叶类型可以是指待生产的茶叶，例如：乌龙，而本方案根据不同生产的茶对应的所需茶鲜叶标准参数进行相应的采摘，为了实现精准采摘，本方案通过将目标茶树对应的茶叶类型与待生产茶叶类型进行对比，获得类型对比结果。
可理解的是，所述类型对比结果包括茶树符合生产茶叶的类型和不符合生产茶叶的类型两种结果。
步骤S302：根据所述类型对比结果确定所述目标茶树是否为待采摘茶树，根据判断结果对所述目标茶树进行标定，获得茶树标定结果。
需说明的是，若类型对比结果为茶树符合生产茶叶的类型，则判定目标茶树为待采摘茶树，若类型对比结果为茶树不符合生产茶叶的类型，则判定目标茶树不是待采摘茶树。
可理解的是，本方案通过对所有茶树进行统一判断，可以实现快速确定满足需求的目标茶树，进而对目标茶树进行标定，获得茶树标定结果，所述茶树标定结果包括采摘和不采摘两种结果。
具体实现中，相较于通过人工判断茶树是否符合采摘条件，本方案能够快速定位可以进行采摘的茶树，并对该茶树上可以进行采摘的位置进行标定，从而获得采摘点标定结果，若茶树不符合采摘即从采摘列表里排除。
步骤S303：若所述茶树标定结果为待采摘茶树时，则根据预设采摘点定位模型对所述目标茶树对应的采摘点进行标定，获得采摘点标定结果。
需说明的是，若所述茶树标定结果为待采摘茶树时，则根据预设采摘点定位模型对目标茶树对应的采摘点进行标定，获得采摘点标定结果。所述采摘点标定结果包括茶树属性、可供生产茶叶类型以及采摘点坐标信息。
进一步地，所述步骤S303还包括：若所述茶树标定结果为待采摘茶树时，根据所述待采摘茶树的茶树标记结果与预设芽尖类型对应的颜色特征以及形态特征进行对比，获得颜色对比结果以及形态对比结果；根据所述颜色对比结果以及所述形态对比结果判断所述待采摘茶树是否符合预设采摘条件，获得采摘判断结果；根据所述采摘判断结果和预设采摘点定位模型对所述目标茶树对应的采摘点进行标定，获得采摘点标定结果。
需说明的是，颜色特征是用于判断茶鲜叶的成熟程度以及是否存在细菌感染等情况，形态特征适用于判断顶芽开面状态，所述预设芽尖类型可以是预先设置的不同茶叶对应的茶鲜叶在正常采摘情况下颜色以及形态，通过将待采摘茶树的茶树标记结果与预设芽尖类型对应的颜色特征以及形态特征进行对比，获得颜色对比结果以及形态对比结果，所述颜色对比结果和形态对比结果为相似度阈值内时，则判定待采摘茶树达到预设采摘条件，若不在相似度阈值内时，则判定待采摘茶树未达到预设采摘条件，所述预设采摘条件根据待生产茶叶类型所确定。
可理解的是，采摘判断结果包括可摘和不可摘两种结果，在可摘时，通过预设采摘点定位模型对目标茶树对应的采摘点进行标定，获得采摘点标定结果。
进一步地，所述根据所述采摘判断结果和预设采摘点定位模型对所述目标茶树对应的采摘点进行标定，获得采摘点标定结果的步骤，包括：若所述待采摘茶树符合所述预设采摘条件，则根据所述待生产茶叶类型将所述待采摘茶树对应的芽尖区域图像以及叶片区域图像进行归一化处理，获得图像特征集合；基于预设采摘点定位模型对所述图像特征集合进行嫩芽标记以及老叶标记，获得标记结果；根据所述待生产茶叶类型对应的芽数和所述标记结果对所述待采摘茶树对应的采摘点进行标定，获得采摘点标定结果。
需说明的是，若待采摘茶树符合所述预设采摘条件，则根据待生产茶叶类型将所述待采摘茶树对应的芽尖区域图像以及叶片区域图像进行归一化处理，获得图像特征集合；即将可采摘的芽与叶进行归一整理，并打上对应的定位标签，例如：xx茶树对应的芽尖区域图像以及叶片区域图像。
可理解的是，基于预设采摘点定位模型对所述图像特征集合进行嫩芽标记以及老叶标记，获得标记结果；所述标记结果可以是指可供生产的茶叶类型。
具体实现中，根据待生产茶叶类型对应的芽数和所述标记结果对所述待采摘茶树对应的采摘点进行标定，获得采摘点标定结果。
本实施例通过基于预设形态学算法对预设摄像头采集的多视角茶园图像信息进行预处理，获得茶树图像信息；基于预设小目标检测模型对所述茶树图像信息进行特征提取，获得茶叶特征集合；基于所述茶叶特征集合中的芽尖特征以及叶片特征对目标茶叶对应的芽尖区域以及叶片区域进行标记，获得区域标记结果；根据所述区域标记结果确定目标茶树对应的茶叶类型，并根据所述目标茶树对应的茶叶类型确定类型检测结果，所述预设小目标检测模型是基于MASK R-CNN模型训练获得的模型；将所述类型检测结果中的茶叶类型与待生产茶叶类型进行对比，获得类型对比结果；根据所述类型对比结果确定所述目标茶树是否为待采摘茶树，根据判断结果对所述目标茶树进行标定，获得茶树标定结果；若所述茶树标定结果为待采摘茶树时，则根据预设采摘点定位模型对所述目标茶树对应的采摘点进行标定，获得采摘点标定结果，所述预设采摘点定位模型是基于YOLOv5算法构建的模型；根据所述采摘点标定结果中采摘点坐标以及采摘方向完成茶叶采摘，本实施例通过小目标检测模型对目标茶树对应的茶叶类型进行检测并通过采摘点定位模型对采摘点进行定位，从而完成茶叶采摘，相较于现有技术中采茶主要依靠人工进行识别，导致分类效果差且采茶效率低，本实施例能够满足多种类型的茶叶分类以及采摘，提升采茶效率以及精确性。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有采茶程序，所述采茶程序被处理器执行时实现如上文所述的采茶方法的步骤。
参照图4，图4为本发明采茶装置第一实施例的结构框图。
图像预处理模块10，用于基于预设形态学算法对预设摄像头采集的多视角茶园图像信息进行预处理，获得茶树图像信息；
类型确定模块20，用于基于预设小目标检测模型对所述茶树图像信息中目标茶树对应的茶叶类型进行检测，获得类型检测结果，所述预设小目标检测模型是基于MASK R-CNN模型训练获得的模型；
采摘点确定模块30，用于基于待生产茶叶类型、所述类型检测结果以及预设采摘点定位模型对所述目标茶树对应的采摘点进行标定，获得采摘点标定结果，所述预设采摘点定位模型是基于YOLOv5算法构建的模型；
茶叶采摘模块40，用于根据所述采摘点标定结果中采摘点坐标以及采摘方向完成茶叶采摘。
本实施例通过基于预设形态学算法对预设摄像头采集的多视角茶园图像信息进行预处理，获得茶树图像信息；基于预设小目标检测模型对所述茶树图像信息中目标茶树对应的茶叶类型进行检测，获得类型检测结果，所述预设小目标检测模型是基于MASK R-CNN模型训练获得的模型；基于待生产茶叶类型、所述类型检测结果以及预设采摘点定位模型对所述目标茶树对应的采摘点进行标定，获得采摘点标定结果，所述预设采摘点定位模型是基于YOLOv5算法构建的模型；根据所述采摘点标定结果中采摘点坐标以及采摘方向完成茶叶采摘，本实施例通过小目标检测模型对目标茶树对应的茶叶类型进行检测并通过采摘点定位模型对采摘点进行定位，从而完成茶叶采摘，相较于现有技术中采茶主要依靠人工进行识别，导致分类效果差且采茶效率低，本实施例能够满足多种类型的茶叶分类以及采摘，提升采茶效率以及精确性。
进一步地，所述图像预处理模块10还用于对预设摄像头采集的多视角茶园图像信息进行初筛选，获得预设角度的茶园图像信息；基于预设形态学算法从所述预设角度的茶园图像信息中提取包括茶树图像的目标图像信息；对所述目标图像信息进行降噪、膨胀、开运算以及闭运算处理，获得处理后的茶树图像信息。
进一步地，所述类型确定模块20还用于基于预设小目标检测模型对所述茶树图像信息进行特征提取，获得茶叶特征集合；基于所述茶叶特征集合中的芽尖特征以及叶片特征对目标茶叶对应的芽尖区域以及叶片区域进行标记，获得区域标记结果；根据所述区域标记结果确定目标茶树对应的茶叶类型，并根据所述目标茶树对应的茶叶类型确定类型检测结果。
进一步地，所述类型确定模块20还用于将所述类型检测结果中的茶叶类型与待生产茶叶类型进行对比，获得类型对比结果；根据所述类型对比结果确定所述目标茶树是否为待采摘茶树，根据判断结果对所述目标茶树进行标定，获得茶树标定结果；若所述茶树标定结果为待采摘茶树时，则根据预设采摘点定位模型对所述目标茶树对应的采摘点进行标定，获得采摘点标定结果。
进一步地，所述采摘点确定模块30还用于若所述茶树标定结果为待采摘茶树时，根据所述待采摘茶树的茶树标记结果与预设芽尖类型对应的颜色特征以及形态特征进行对比，获得颜色对比结果以及形态对比结果；根据所述颜色对比结果以及所述形态对比结果判断所述待采摘茶树是否符合预设采摘条件，获得采摘判断结果；根据所述采摘判断结果和预设采摘点定位模型对所述目标茶树对应的采摘点进行标定，获得采摘点标定结果。
进一步地，所述采摘点确定模块30还用于若所述待采摘茶树符合所述预设采摘条件，则根据所述待生产茶叶类型将所述待采摘茶树对应的芽尖区域图像以及叶片区域图像进行归一化处理，获得图像特征集合；基于预设采摘点定位模型对所述图像特征集合进行嫩芽标记以及老叶标记，获得标记结果；根据所述待生产茶叶类型对应的芽数和所述标记结果对所述待采摘茶树对应的采摘点进行标定，获得采摘点标定结果。
进一步地，所述茶叶采摘模块40还用于基于预设SGBM立体匹配算法将所述采摘点标定结果中采摘点坐标按照所述预设摄像头对应的内外参数进行坐标转换，获得目标三维坐标；根据所述目标三维坐标以及采摘方向完成茶叶采摘。
本发明采茶装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为名称。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像（Read Only Memory image，ROM）/随机存取存储器（Random AccessMemory，RAM）、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (7)
1.一种采茶方法，其特征在于，所述采茶方法包括以下步骤：
基于预设形态学算法对预设摄像头采集的多视角茶园图像信息进行预处理，获得茶树图像信息；
基于预设小目标检测模型对所述茶树图像信息中目标茶树对应的茶叶类型进行检测，获得类型检测结果，所述预设小目标检测模型是基于MASK R-CNN模型训练获得的模型；
将所述类型检测结果中的茶叶类型与待生产茶叶类型进行对比，获得类型对比结果；
根据所述类型对比结果确定所述目标茶树是否为待采摘茶树，根据判断结果对所述目标茶树进行标定，获得茶树标定结果；
若所述茶树标定结果为待采摘茶树时，根据所述待采摘茶树的茶树标记结果与预设芽尖类型对应的颜色特征以及形态特征进行对比，获得颜色对比结果以及形态对比结果；
根据所述颜色对比结果以及所述形态对比结果判断所述待采摘茶树是否符合预设采摘条件，获得采摘判断结果；
若所述待采摘茶树符合所述预设采摘条件，则根据所述待生产茶叶类型将所述待采摘茶树对应的芽尖区域图像以及叶片区域图像进行归一化处理，获得图像特征集合；
基于预设采摘点定位模型对所述图像特征集合进行嫩芽标记以及老叶标记，获得标记结果；
根据所述待生产茶叶类型对应的芽数和所述标记结果对所述待采摘茶树对应的采摘点进行标定，获得采摘点标定结果，所述预设采摘点定位模型是基于YOLOv5算法构建的模型；
根据所述采摘点标定结果中采摘点坐标以及采摘方向完成茶叶采摘。
2.如权利要求1所述的采茶方法，其特征在于，所述基于预设形态学算法对预设摄像头采集的多视角茶园图像信息进行预处理，获得茶树图像信息的步骤，包括：
对预设摄像头采集的多视角茶园图像信息进行初筛选，获得预设角度的茶园图像信息；
基于预设形态学算法从所述预设角度的茶园图像信息中提取包括茶树图像的目标图像信息；
对所述目标图像信息进行降噪、膨胀、开运算以及闭运算处理，获得处理后的茶树图像信息。
3.如权利要求1所述的采茶方法，其特征在于，所述基于预设小目标检测模型对所述茶树图像信息中目标茶树对应的茶叶类型进行检测，获得类型检测结果的步骤，包括：
基于预设小目标检测模型对所述茶树图像信息进行特征提取，获得茶叶特征集合；
基于所述茶叶特征集合中的芽尖特征以及叶片特征对目标茶叶对应的芽尖区域以及叶片区域进行标记，获得区域标记结果；
根据所述区域标记结果确定目标茶树对应的茶叶类型，并根据所述目标茶树对应的茶叶类型确定类型检测结果。
4.如权利要求1所述的采茶方法，其特征在于，所述根据所述采摘点标定结果中采摘点坐标以及采摘方向完成茶叶采摘的步骤，包括：
基于预设SGBM立体匹配算法将所述采摘点标定结果中采摘点坐标按照所述预设摄像头对应的内外参数进行坐标转换，获得目标三维坐标；
根据所述目标三维坐标以及采摘方向完成茶叶采摘。
5.一种采茶设备，其特征在于，所述采茶设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的采茶程序，所述采茶程序被所述处理器执行时实现如权利要求1至4中任一项所述的采茶方法。
6.一种存储介质，其特征在于，所述存储介质上存储有采茶程序，所述采茶程序被处理器执行时实现如权利要求1至4中任一项所述的采茶方法。
7.一种采茶装置，其特征在于，所述采茶装置包括：
图像预处理模块，用于基于预设形态学算法对预设摄像头采集的多视角茶园图像信息进行预处理，获得茶树图像信息；
类型确定模块，用于基于预设小目标检测模型对所述茶树图像信息中目标茶树对应的茶叶类型进行检测，获得类型检测结果，所述预设小目标检测模型是基于MASK R-CNN模型训练获得的模型；
采摘点确定模块，用于将所述类型检测结果中的茶叶类型与待生产茶叶类型进行对比，获得类型对比结果；根据所述类型对比结果确定所述目标茶树是否为待采摘茶树，根据判断结果对所述目标茶树进行标定，获得茶树标定结果；若所述茶树标定结果为待采摘茶树时，根据所述待采摘茶树的茶树标记结果与预设芽尖类型对应的颜色特征以及形态特征进行对比，获得颜色对比结果以及形态对比结果；根据所述颜色对比结果以及所述形态对比结果判断所述待采摘茶树是否符合预设采摘条件，获得采摘判断结果；若所述待采摘茶树符合所述预设采摘条件，则根据所述待生产茶叶类型将所述待采摘茶树对应的芽尖区域图像以及叶片区域图像进行归一化处理，获得图像特征集合；基于预设采摘点定位模型对所述图像特征集合进行嫩芽标记以及老叶标记，获得标记结果；根据所述待生产茶叶类型对应的芽数和所述标记结果对所述待采摘茶树对应的采摘点进行标定，获得采摘点标定结果，所述预设采摘点定位模型是基于YOLOv5算法构建的模型；
茶叶采摘模块，用于根据所述采摘点标定结果中采摘点坐标以及采摘方向完成茶叶采摘。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311424045.7A CN117152544B (zh) | 2023-10-31 | 2023-10-31 | 采茶方法、设备、存储介质及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311424045.7A CN117152544B (zh) | 2023-10-31 | 2023-10-31 | 采茶方法、设备、存储介质及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117152544A CN117152544A (zh) | 2023-12-01 |
| CN117152544B true CN117152544B (zh) | 2024-03-15 |
Family
ID=88901170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311424045.7A Active CN117152544B (zh) | 2023-10-31 | 2023-10-31 | 采茶方法、设备、存储介质及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117152544B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117616999A (zh) * | 2024-01-08 | 2024-03-01 | 华南农业大学 | 一种智能茶叶采摘执行器、装置及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109997516A (zh) * | 2019-05-14 | 2019-07-12 | 厦门金镒号茶文化有限公司 | 一种智能采茶机器人及应用其采茶的方法 |
| CN114119574A (zh) * | 2021-11-30 | 2022-03-01 | 安徽农业大学 | 一种基于机器视觉的采摘点检测模型构建方法及采摘点定位方法 |
| CN114258781A (zh) * | 2022-01-06 | 2022-04-01 | 重庆邮电大学 | 一种基于形态学与色彩空间的草莓果梗采摘点定位方法 |
| CN114882222A (zh) * | 2022-05-27 | 2022-08-09 | 江苏大学 | 改进YOLOv5目标检测模型构建方法及用于茶嫩芽识别与采摘点定位方法 |
| CN115082815A (zh) * | 2022-07-22 | 2022-09-20 | 山东大学 | 基于机器视觉的茶芽采摘点定位方法、装置及采摘*** |
| CN115588190A (zh) * | 2022-11-07 | 2023-01-10 | 武汉理工大学 | 一种成熟果实识别和采摘点定位方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113997287B (zh) * | 2021-10-29 | 2022-11-15 | 广东技术师范大学 | 一种基于视觉伺服控制机器人的果实采摘方法 |
-
2023
- 2023-10-31 CN CN202311424045.7A patent/CN117152544B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109997516A (zh) * | 2019-05-14 | 2019-07-12 | 厦门金镒号茶文化有限公司 | 一种智能采茶机器人及应用其采茶的方法 |
| CN114119574A (zh) * | 2021-11-30 | 2022-03-01 | 安徽农业大学 | 一种基于机器视觉的采摘点检测模型构建方法及采摘点定位方法 |
| CN114258781A (zh) * | 2022-01-06 | 2022-04-01 | 重庆邮电大学 | 一种基于形态学与色彩空间的草莓果梗采摘点定位方法 |
| CN114882222A (zh) * | 2022-05-27 | 2022-08-09 | 江苏大学 | 改进YOLOv5目标检测模型构建方法及用于茶嫩芽识别与采摘点定位方法 |
| CN115082815A (zh) * | 2022-07-22 | 2022-09-20 | 山东大学 | 基于机器视觉的茶芽采摘点定位方法、装置及采摘*** |
| CN115588190A (zh) * | 2022-11-07 | 2023-01-10 | 武汉理工大学 | 一种成熟果实识别和采摘点定位方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于图像处理的名优茶智能化采摘***的研制;高仁鹏;《中国优秀硕士学位论文全文数据库（信息科技辑）》;第1-65页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117152544A (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108681692B (zh) | 一种基于深度学习的遥感图像内新增建筑识别方法 | |
| CN109146948B (zh) | 基于视觉的作物长势表型参数量化与产量相关性分析方法 | |
| CN105718945B (zh) | 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法 | |
| CN111340141A (zh) | 一种基于深度学习的作物幼苗与杂草检测方法及*** | |
| JP2019520631A (ja) | 自然環境における雑草の認識 | |
| CN117152544B (zh) | 采茶方法、设备、存储介质及装置 | |
| CN104751199A (zh) | 一种棉花裂铃期自动检测方法 | |
| CN114332689A (zh) | 一种柑橘识别定位方法、装置、设备及存储介质 | |
| CN116052222A (zh) | 自然采集牛脸图像的牛脸识别方法 | |
| CN114842337A (zh) | 基于深度学习与多维信息融合聚类的果实采摘点识别方法 | |
| CN115861686A (zh) | 基于边缘深度学习的荔枝关键生长期识别检测方法及*** | |
| Li et al. | A novel approach for the 3D localization of branch picking points based on deep learning applied to longan harvesting UAVs | |
| CN116977960A (zh) | 一种基于实例分割的水稻秧苗行检测方法 | |
| Xiang et al. | PhenoStereo: a high-throughput stereo vision system for field-based plant phenotyping-with an application in sorghum stem diameter estimation | |
| CN117593766B (zh) | 基于无人机拍摄图像处理的野生动物种群数量的调查方法 | |
| Xiang et al. | Measuring stem diameter of sorghum plants in the field using a high-throughput stereo vision system | |
| AHM et al. | A deep convolutional neural network based image processing framework for monitoring the growth of soybean crops | |
| CN112418112A (zh) | 一种果园病虫害监测预警方法及*** | |
| CN116843581A (zh) | 一种多场景图的图像增强方法、***、设备和存储介质 | |
| CN111612797A (zh) | 一种水稻图像信息处理*** | |
| CN113723833B (zh) | 造林实绩质量评价方法、***、终端设备及存储介质 | |
| Sun et al. | A vision system based on TOF 3D imaging technology applied to robotic citrus harvesting | |
| Zhang et al. | Segmentation of apple point clouds based on ROI in RGB images. | |
| CN112115824B (zh) | 果蔬检测方法、装置、电子设备以及计算机可读介质 | |
| CN114700941A (zh) | 一种基于双目视觉的草莓采摘方法、机器人*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |