CN115271200A - 一种用于名优茶的智能连贯采摘*** - Google Patents
一种用于名优茶的智能连贯采摘*** Download PDFInfo
- Publication number
- CN115271200A CN115271200A CN202210876003.6A CN202210876003A CN115271200A CN 115271200 A CN115271200 A CN 115271200A CN 202210876003 A CN202210876003 A CN 202210876003A CN 115271200 A CN115271200 A CN 115271200A
- Authority
- CN
- China
- Prior art keywords
- module
- tea
- picking
- cuboid
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241001122767 Theaceae Species 0.000 title claims abstract description 126
- 230000001427 coherent effect Effects 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 18
- 239000012636 effector Substances 0.000 claims description 17
- 238000010008 shearing Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 7
- 230000002457 bidirectional effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- SMPRZROHMIPVJH-NCOIDOBVSA-N pCpC Chemical compound O=C1N=C(N)C=CN1[C@H]1[C@H](O)[C@H](O)[C@@H](COP(O)(=O)O[C@H]2[C@H]([C@@H](O[C@@H]2COP(O)(O)=O)N2C(N=C(N)C=C2)=O)O)O1 SMPRZROHMIPVJH-NCOIDOBVSA-N 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 101100460157 Drosophila melanogaster nenya gene Proteins 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 230000008602 contraction Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000007786 learning performance Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 230000036544 posture Effects 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 6
- 238000005520 cutting process Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000000513 principal component analysis Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 239000004721 Polyphenylene oxide Substances 0.000 description 3
- 229920006380 polyphenylene oxide Polymers 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
- G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Life Sciences & Earth Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Quality & Reliability (AREA)
- Agronomy & Crop Science (AREA)
- Animal Husbandry (AREA)
- Mining & Mineral Resources (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Marine Sciences & Fisheries (AREA)
- Operations Research (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种用于名优茶的智能连贯采摘***，包括目标识别模块、路径规划模块、采摘执行模块与运算控制模块；运算控制模块分别与目标识别模块、路径规划模块、采摘执行模块通信交互。其中，目标识别模块通过构建茶叶嫩芽图像数据集、进行YoloV5网络模型改进、通过拟合茶叶嫩芽三维点云的最小外接长方体的方式获得采摘点。该***通过视觉识别***实现茶叶嫩芽的精准定位，同时通过采摘机器人实现智能化、机械化的茶叶采摘，无需大量劳动力，采摘效率高、名优茶得率高。
Description
技术领域
本发明涉及茶叶采摘技术领域，具体涉及一种用于名优茶的智能连贯采摘***。
背景技术
近年来，我国大力发展名优茶的种植与生产，从而明显增加茶农的收入。名优茶的采摘主要采用手工或手持式采茶机的方式进行，手工采摘选择性高、采摘准确性强、不易造成茶叶的损坏，但手工采摘会浪费大量的劳动力、且采摘效率低；手持式采摘机成本低、效率高、能够有效节省劳动力，但手持式采茶机大多为“一刀切”的往复切割方式，而茶叶由于光照、温湿度、浇灌方式等影响，茶叶嫩芽的生长高度存在差异，同时茶叶嫩芽的体积小、形态存在差异、空间分布密集，“一刀切”的往复切割方式极易出现漏采、错采、甚至茶叶破损等问题。此外，由于目前手持式采茶机得到的茶叶层次参差不齐，仍需人工进行后续的分类、筛选，增加人力成本与茶叶采摘过程的时间。
发明内容
针对以上现有技术存在的问题，本发明的目的在于提供一种用于名优茶的智能连贯采摘***，该***通过视觉识别***实现茶叶嫩芽的精准定位，同时通过采摘机器人实现智能化、机械化的茶叶采摘，无需大量劳动力，采摘效率高、名优茶得率高。
本发明的目的通过以下技术方案实现：
一种用于名优茶的智能连贯采摘***，其特征在于：包括目标识别模块、路径规划模块、采摘执行模块与运算控制模块；所述运算控制模块分别与目标识别模块、路径规划模块、采摘执行模块通信交互；
所述目标识别模块用于获取茶叶嫩芽的采摘点；
所述路径规划模块用于规划采摘执行模块的行进路径，具体为：运算控制模块将目标识别模块获得的各个采摘点以及当前采摘执行模块的位置输入到路径规划模块，路径规划模块将采摘执行模块的三维坐标与各个采摘点的三维坐标进行拟合，获得最短最优的采摘路径；
所述采摘执行模块包括运动机械臂与末端执行器，所述运动机械臂根据路径规划模块中规划的采摘路径、将末端执行器移动至各个采摘点；所述末端执行器包括剪切部与伸缩部，通过剪切部的闭合实现对茶叶嫩芽的采摘，通过伸缩部的收缩与剪切部的打开实现对茶叶的收集。
作进一步优化，所述目标识别模块获取茶叶嫩芽的采摘点的具体步骤为：
S10、构建茶叶嫩芽图像数据集；S20、在步骤S10的数据集中，通过双向特征金字塔网络(Bi-Directional Feature Pyramid Network，BiFPN)和通道注意力机制(EfficientChannel Attention，ECA)构造语义信息丰富的特征图，实现对YoloV5网络模型的改进、获得改进型YoloV5网络模型，实现小尺寸茶叶嫩芽的检测；S30、基于步骤S20中的改进型YoloV5网络模型的训练结果，获得茶叶三维点云；然后在茶叶三维点云中筛选出茶叶嫩芽三维点云；最后拟合茶叶嫩芽最小外接长方体，获得茶叶嫩芽的精确位置以及采摘点；
所述YoloV5网络模型包括Backbone模块、Neck模块和Head模块；Backbone模块包括用于对图片进行切片操作的Focus模块、SPP模块与CBS模块，及用于增强整个卷积神经网络学习性能CSP模块；Neck模块包括CBS模块与CSP模块；Head模块包括利用基于网格anchor在不同尺度的特征图上进行目标检测的Detect层。
优选的，所述YoloV5网络模型采用模型文件大小最小、特征图的深度与宽度最小的网络模型。
作进一步优化，所述步骤S10具体为：先使用RGB-D相机采集茶叶嫩芽图像数据，获得茶叶嫩芽的彩色图像与深度图像；再采用标注工具对彩色图像进行标注，并进行数据集增强操作、扩充数据集的数量，构建出茶叶嫩芽图像数据集；最后对数据集进行划分，形成训练集、测试集与验证集；
所述步骤S20具体为：
S21、对步骤S10的训练集中的图像进行预处理、统一训练集中所有图像的分辨率；再将预处理后的图像输入到Backbone模块，获得不同尺寸的特征图；S22、将步骤S21中不同尺寸的特征图输入到Neck模块中，并在Neck模块中采用双向特征金字塔网络替代原有的路径聚合网络(Path Aggregation Network，PANet)进行多特征融合；再对特征图依次进行上采样、下采样，及通过通道注意力机制的拼接产生多种尺寸的特征图，并输入到Head模块的Detect层中；S23、结合多种损失函数进行反向传播，对模型中的梯度进行更新调节权重参数；S24、采用步骤S10中的验证集对现有模型进行验证，获得改进型YoloV5网络模型。
优选的，所述标注工具采用Labelimg标注工具。
作进一步优化，所述步骤S30具体为：
S31、根据步骤S20的改进型YoloV5网络模型的结果，获取检测框坐标，生成彩色图像与对应深度图像的感兴趣区域(Region of Interest，ROI)；
S32、根据深度图像的像素坐标与彩色图像的像素坐标之间的映射关系，并通过深度图像的坐标值、像素值和记录距离，来得到对应的映射的彩色图像坐标；
S33、通过彩色图像与深度图像的坐标融合，获得茶叶三维点云，具体为：
式中，
表示三维点云的坐标系；
表示彩色图像的坐标系；D表示深度值、通过深度图像获得；fx、fy表示相机焦距；
S34、由于生成的茶叶三维点云包含茶叶嫩芽及其背景点云，因此通过计算获得茶叶三维点云的平均值，并将该平均值作为距离阈值；之后将大于距离阈值的背景点云进行过滤，得到初步分割的三维点云；采用DBSCAN聚类算法，通过设置参数半径Eps和邻域中要求含有的最低样本个数Mp，将初步分割的三维点云聚为一类，并筛选出茶叶嫩芽三维点云；
S35、根据茶叶嫩芽的生长姿态，采用主成分分析法(Principal ComponentAnalysis，PCA)拟合处茶叶嫩芽的最小外接长方体；计算获得长方体各个顶点坐标；再通过求长方体底面四个顶点平均值获得长方体底面中心点的坐标，并以该点作为茶叶嫩芽的采摘点。
作进一步优化，所述步骤S35具体为：
S351、采用主成分分析法筛选出茶叶嫩芽三维点云的三个主方向，即x、y、z方向，并计算质心、协方差，得到协方差矩阵；具体为：
式中，Pc表示三维点云的质心坐标；n表示三维点云的数目(即点的数量)；(xi,yi,zi)表示第i个点的三维坐标；
式中，Cp表示三维点云的协方差矩阵；
S352、对协方差矩阵进行奇异值分解，获得特征值与特征向量，具体公式为：
式中，Up表示协方差矩阵CpCp T的特征向量矩阵；Dp表示一个对角线上的非0值是CpCp T的非0特征值的平方根的对角阵；
表示一个Cp TCp的特征向量矩阵；
其中，最大特征值对应的特征向量的方向即为长方体的主轴方向；
S353、将坐标点投影到方向向量上，通过计算每个顶点位置坐标Pi与坐标点单位向量的内积获得在每个方向上的最大值与最小值，令a、b、c分别为x、y、z上最大值与最小值的平均值，获得长方体的中心点O与长度L，生成茶叶嫩芽最合适且紧凑的长方体；
具体公式为：
O＝ax+by+cz；
式中，X为坐标点在x方向上的单位向量；Y为坐标点在y方向上的单位向量；Z为坐标点在z方向上的单位向量；Lx、Ly、Lz分别为长方体在x方向、y方向、z方向的长度；
S354、通过判断上述长方体y方向上最小的四个点的坐标，作为长方体底面的四个顶点坐标；最后通过四个顶点坐标的平均值获得长方体底面中心点的坐标、即采摘点。
本发明具有如下技术效果：
本申请通过深度学习方法对大视野下的茶叶嫩芽的小目标进行检查定位，首先通过构建小尺寸茶叶嫩芽的检测模型，同时通过改进型YoloV5网络模型增强图像多个尺度上的语义表达及定位能力，从而使其适用于目标较小、形态之间存在差异且分布空间密集的茶叶嫩芽的判断与识别，从而避免在判断识别茶叶嫩芽过程中、由于茶叶嫩芽的差异性或相互重叠等造成的误判与漏判，提高了识别判断的精确性。同时，本申请通过拟合茶叶嫩芽的最小外接长方体、实现茶叶采摘点的精确定位(即以最小外接长方体底面中心点为茶叶嫩芽的采摘点)，有效避免采摘时对茶叶嫩芽造成的损伤，同时确保最有效、完整的采摘整个茶叶嫩芽，确保茶叶的品质。通过目标识别模块、路径规划模块、采摘执行模块与运算控制模块的配合，能够高效获得最短最优的采摘进给路径，提高采摘效率、简化采摘流程，从而实现自动化、机械化的茶叶采摘，降低劳动力的使用，节约茶叶采摘的时间与成本。
附图说明
图1为本发明实施例中采摘***采摘茶叶时的流程图。
图2为本申请实施例的目标识别模块获得采摘点的流程图。
图3为本申请实施例中采用标注工具对图片进行标注后的示意图。
图4为本发明实施例中基于双向特征金字塔网络结构的多尺度特征融合结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
一种用于名优茶的智能连贯采摘***，其特征在于：包括目标识别模块、路径规划模块、采摘执行模块与运算控制模块；运算控制模块分别与目标识别模块、路径规划模块、采摘执行模块通信交互；
目标识别模块用于获取茶叶嫩芽的采摘点，具体为：
S10、构建茶叶嫩芽图像数据集：先使用RGB-D相机采集茶叶嫩芽图像数据，获得茶叶嫩芽的彩色图像与深度图像；再采用标注工具、例如Labelimg标注工具对彩色图像进行标注(如图1所示)，并进行数据集增强操作(数据集增强操作可采用现有常规技术手段，本领域技术人员能够理解，例如空间转换、颜色转换等手段)、扩充数据集的数量，构建出茶叶嫩芽图像数据集；最后对数据集进行划分，形成训练集、测试集与验证集。
S20、在步骤S10的数据集中，通过双向特征金字塔网络(Bi-Directional FeaturePyramid Network，BiFPN)和通道注意力机制(Efficient Channel Attention，ECA)构造语义信息丰富的特征图，实现对YoloV5网络模型的改进、获得改进型YoloV5网络模型，实现小尺寸茶叶嫩芽的检测；
YoloV5网络模型采用模型文件大小最小、特征图的深度与宽度最小的网络模型，包括Backbone模块、Neck模块和Head模块；Backbone模块包括用于对图片进行切片操作的Focus模块、SPP模块与CBS模块，及用于增强整个卷积神经网络学习性能CSP模块；Neck模块包括CBS模块与CSP模块；Head模块包括利用基于网格anchor在不同尺度的特征图上进行目标检测的Detect层；
该步骤具体为：
S21、对步骤S10中的训练集中的图像进行预处理、统一训练集中所有图像的分辨率；再将预处理后的图像输入到Backbone模块，获得不同尺寸的特征图；
S22、将步骤S21中不同尺寸的特征图输入到Neck模块中，并在Neck模块中采用双向特征金字塔网络替代原有的路径聚合网络(Path Aggregation Network，PANet)进行多特征融合；再对特征图依次进行上采样、下采样，及通过通道注意力机制的拼接产生多种尺寸的特征图，并输入到Head模块的Detect层中；
其中，在YoloV5网络模型中(即现有YoloV5网络结构中)，使用加强特征提取BiFPN，对P5_in进行上采样，上采样后与P4_in进行BiFPN_Concat堆叠获得P4_td；之后对P4_td进行上采样，上采样后与P3_in进行BiFPN_Concat堆叠获得P3_out；之后对P3_out进行下采样，下采样后与P4_td进行BiFPN_Concat堆叠获得P4_out；之后对P4_out进行下采样，下采样后与P5_in进行堆叠获得P5_out。该方法使用高效的双向交叉连接进行特征融合，去掉PANet中对特征融合贡献较小的节点，在同一级别的输入和输出节点之间添加额外的连接，在不增加额外代价的情况下融合了更多的特征，增强多个尺度上的语义表达以及定位能力，如图2所示。
之后，在第9层后添加ECA，模块将输入特征图经过全局平均池化(Global AveragePooling)，特征图从[h,w,c]的矩阵变成[1,1,c]的向量，然后计算得到自适应的一维卷积核大小kernel_size，将kernel_size用于一维卷积中，以获得特征图中每个通道的权重；将归一化权重和原输入特征图进行逐一的通道相乘，生成加权后的特征图。
该注意力机制在全局平均池化层之后使用1x1卷积层，去除了全连接层，避免了维度缩减，有效捕获了跨通道交互，最终提高了判断对象的概率和模型的检测精度；具体公式为：
式中，C表示通道维度；k表示卷积和大小；y、b分别取值2和1；
S23、结合多种损失函数(如分类损失、定位损失、执行损失等)进行反向传播，对模型中的梯度进行更新调节权重参数；
S24、采用步骤S10中的验证集对现有模型进行验证，获得改进型YoloV5网络模型。
S30、基于步骤S20中的改进型YoloV5网络模型的训练结果，获得茶叶三维点云；然后在茶叶三维点云中筛选出茶叶嫩芽三维点云；最后拟合茶叶嫩芽最小外接长方体，获得茶叶嫩芽的精确位置以及采摘点；具体为：
S31、首先，根据步骤S20的改进型YoloV5网络模型的结果，获取检测框坐标，生成彩色图像与对应深度图像的感兴趣区域(Region of Interest，ROI)；
S32、然后，根据深度图像的像素坐标与彩色图像的像素坐标之间的映射关系，并通过深度图像的坐标值、像素值和记录距离，来得到对应的映射的彩色图像坐标；
S33、再通过彩色图像与深度图像的坐标融合，获得茶叶三维点云，具体为：
式中，
表示三维点云的坐标系；
表示彩色图像的坐标系；D表示深度值、通过深度图像获得；fx、fy表示相机焦距；
S34、由于生成的茶叶三维点云包含茶叶嫩芽及其背景点云，因此通过计算获得茶叶三维点云的平均值，并将该平均值作为距离阈值；之后将大于距离阈值的背景点云进行过滤，得到初步分割的三维点云；采用DBSCAN聚类算法，通过设置参数半径Eps和邻域中要求含有的最低样本个数Mp，将初步分割的三维点云聚为一类，并筛选出茶叶嫩芽三维点云；
其中，DBSCAN聚类算法是在空间中随机选择一个数据样本，并通过确定分布在其邻域半径Eps中样本数量是否大于等于最低样本个数Mp阈值个数来确定其是否是核心对象：
若是，则可以将邻域中的所有点划分到同一个簇组中，同时在上面的簇组基础上，通过广度优先搜索可以找到所有的密度可达的样本，划分到该簇组中；
若该数据样本是非核心对象，则将其标记成噪声点去除；
该公式具体为：
NEps(p)＝{q∈D|dist(p,q)≤Eps}；
式中，D表示点云样本集；p、q分别表示样本集汇总的样本点；
对于任意p∈D，若它的Eps所对应的|NEps(p)|至少包含Mp个样本，则p是核心对象；若q在p的Eps内，并且p是核心对象，则成为q由p密度可达；
S35、根据茶叶嫩芽的生长姿态，采用主成分分析法(Principal ComponentAnalysis，PCA)拟合处茶叶嫩芽的最小外接长方体；计算获得长方体各个顶点坐标；再通过求长方体底面四个顶点平均值获得长方体底面中心点的坐标，并以该点作为茶叶嫩芽的采摘点；具体为：
S351、采用主成分分析法筛选出茶叶嫩芽三维点云的三个主方向，即x、y、z方向，并计算质心、协方差，得到协方差矩阵；具体为：
式中，Pc表示三维点云的质心坐标；n表示三维点云的数目(即点的数量)；(xi,yi,zi)表示第i个点的三维坐标；
式中，Cp表示三维点云的协方差矩阵；
S352、对协方差矩阵进行奇异值分解，获得特征值与特征向量，具体公式为：
式中，Up表示协方差矩阵CpCp T的特征向量矩阵；Dp表示一个对角线上的非0值是CpCp T的非0特征值的平方根的对角阵；
表示一个Cp TCp的特征向量矩阵；
其中，最大特征值对应的特征向量的方向即为长方体的主轴方向；
S353、将坐标点投影到方向向量上，通过计算每个顶点位置坐标Pi与坐标点单位向量的内积获得在每个方向上的最大值与最小值，令a、b、c分别为x、y、z上最大值与最小值的平均值，获得长方体的中心点O与长度L，生成茶叶嫩芽最合适且紧凑的长方体；
具体公式为：
O＝ax+by+cz；
式中，X为坐标点在x方向上的单位向量；Y为坐标点在y方向上的单位向量；Z为坐标点在z方向上的单位向量；Lx、Ly、Lz分别为长方体在x方向、y方向、z方向的长度；
S354、通过判断上述长方体y方向上最小的四个点的坐标，作为长方体底面的四个顶点坐标；最后通过四个顶点坐标的平均值获得长方体底面中心点的坐标、即采摘点。
路径规划模块用于规划采摘执行模块的行进路径，具体为：运算控制模块将目标识别模块获得的各个采摘点以及当前采摘执行模块(具体为剪切部)的位置输入到路径规划模块，路径规划模块将采摘执行模块(具体为剪切部)的三维坐标与各个采摘点的三维坐标进行拟合，获得最短最优的采摘路径；
例如：a1、构造采摘执行模块(具体为剪切部)采摘顺序路径目标函数：首先，基于马尔可夫决策过程理论(Markov Decision Processes，MDP)对采摘执行模块(具体为剪切部)的采摘顺序路径规划进行建模；然后，运算控制模块根据收到的目标识别模块中通过上述方法获得的采摘点的三维信息、控制采摘执行模块(具体为剪切部)执行预测动作，然后观测到新的状态并获得奖励，使得目标函数最大化采摘执行模块(具体为剪切部)获得的期望累积奖励；a2、使用仿真设备搭建包含种植茶园与采摘执行模块的仿真环境，将光照强度、相机方位、茶叶嫩芽位置和颜色等物理量作为仿真环境的参数，进行训练；训练过程中，逐渐增加仿真环境的随机性，通过机器人与环境交互采集获取学习难度不断增加的数据，并对数据进行采样；a3、采用近端策略优化算法模块(Proximal Policy Optimization，PPO)、并结合求解器对上述目标函数进行优化，得到采摘执行模块(具体为剪切部)的采摘顺序规划模型。
采摘执行模块包括运动机械臂与末端执行器，运动机械臂根据路径规划模块中规划的采摘路径、将末端执行器移动至各个采摘点，运动机械臂可采用多自由度机械臂、根据实际的采摘情况进行机械臂自由度的选择；并且运动机械臂与末端执行器之间通过运算控制模块实现通信交互。末端执行器包括剪切部与伸缩部，通过剪切部的闭合实现对茶叶嫩芽的采摘，通过伸缩部的收缩与剪切部的打开实现对茶叶的收集。必要时，在运动机械臂上且位于末端执行器设置茶叶收集筐。
运算控制模块可为在边缘计算机上搭建Ubuntu18.04***、同时通过创建基于Pytorch的深度学习运行环境；将目标识别模块与路径规划模块部署到边缘计算机中，协调管理两个神经网络模块的资源调度与网络信号交互；同时在边缘计算机中部署运动机械臂控制***与末端执行器驱动***。
本申请采摘***的进行茶叶采摘的具体方法为：
S001、首先在茶园中对***进行初始化，然后手动控制运动机械臂、使其带动末端执行器运动至预采茶点；
S002、运算控制模块打开目标识别模块与路径规划模块、同时打开相机；
S003、相机将视野传输至目标识别模块，目标识别模块对图像中的茶叶嫩芽进行多目标检测；检测到茶叶嫩芽并拟合出茶叶嫩芽最小外接长方体、获得最小外接长方体底面中心点；之后将最小外接长方体底面的中心点传递至运算控制模块；
S004、运算控制模块将最小外接长方体底面的中心点与末端执行器当前的位置坐标导入路径规划模块的PPO模型中、获得末端执行器采摘的最短最优路径；并将解算得到的路径传递给运算控制模块；
S005、运算控制模块将路径信息传递至采摘执行模块，采摘执行模块通过运动机械臂控制末端执行器达到采摘点、末端执行器实现采摘与收集动作；直至相机当前视野范围内的茶叶嫩芽采摘完毕；
S006、移动采摘***至下一视野范围，继续进行茶叶嫩芽的采摘。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (5)
1.一种用于名优茶的智能连贯采摘***，其特征在于：包括目标识别模块、路径规划模块、采摘执行模块与运算控制模块；所述运算控制模块分别与目标识别模块、路径规划模块、采摘执行模块通信交互；
所述目标识别模块用于获取茶叶嫩芽的采摘点；
所述路径规划模块用于规划采摘执行模块的行进路径，具体为：运算控制模块将目标识别模块获得的各个采摘点以及当前采摘执行模块的位置输入到路径规划模块，路径规划模块将采摘执行模块的三维坐标与各个采摘点的三维坐标进行拟合，获得最短最优的采摘路径；
所述采摘执行模块包括运动机械臂与末端执行器，所述运动机械臂根据路径规划模块中规划的采摘路径、将末端执行器移动至各个采摘点；所述末端执行器包括剪切部与伸缩部，通过剪切部的闭合实现对茶叶嫩芽的采摘，通过伸缩部的收缩与剪切部的打开实现对茶叶的收集。
2.根据权利要求1所述的一种用于名优茶的智能连贯采摘***，其特征在于：所述目标识别模块获取茶叶嫩芽的采摘点的具体步骤为：
S10、构建茶叶嫩芽图像数据集；S20、在步骤S10的数据集中，通过双向特征金字塔网络和通道注意力机制构造语义信息丰富的特征图，实现对YoloV5网络模型的改进、获得改进型YoloV5网络模型，实现小尺寸茶叶嫩芽的检测；S30、基于步骤S20中的改进型YoloV5网络模型的训练结果，获得茶叶三维点云；然后在茶叶三维点云中筛选出茶叶嫩芽三维点云；最后拟合茶叶嫩芽最小外接长方体，获得茶叶嫩芽的精确位置以及采摘点；
所述YoloV5网络模型包括Backbone模块、Neck模块和Head模块；Backbone模块包括用于对图片进行切片操作的Focus模块、SPP模块与CBS模块，及用于增强整个卷积神经网络学习性能CSP模块；Neck模块包括CBS模块与CSP模块；Head模块包括利用基于网格anchor在不同尺度的特征图上进行目标检测的Detect层。
3.根据权利要求1或2所述的一种用于名优茶的智能连贯采摘***，其特征在于：所述步骤S10具体为：先使用RGB-D相机采集茶叶嫩芽图像数据，获得茶叶嫩芽的彩色图像与深度图像；再采用标注工具对彩色图像进行标注，并进行数据集增强操作、扩充数据集的数量，构建出茶叶嫩芽图像数据集；最后对数据集进行划分，形成训练集、测试集与验证集；
所述步骤S20具体为：
S21、对步骤S10的训练集中的图像进行预处理、统一训练集中所有图像的分辨率；再将预处理后的图像输入到Backbone模块，获得不同尺寸的特征图；S22、将步骤S21中不同尺寸的特征图输入到Neck模块中，并在Neck模块中采用双向特征金字塔网络替代原有的路径聚合网络进行多特征融合；再对特征图依次进行上采样、下采样，及通过通道注意力机制的拼接产生多种尺寸的特征图，并输入到Head模块的Detect层中；S23、结合多种损失函数进行反向传播，对模型中的梯度进行更新调节权重参数；S24、采用步骤S10中的验证集对现有模型进行验证，获得改进型YoloV5网络模型。
4.根据权利要求2或3所述的一种用于名优茶的智能连贯采摘***，其特征在于：所述步骤S30具体为：
S31、根据步骤S20的改进型YoloV5网络模型的结果，获取检测框坐标，生成彩色图像与对应深度图像的感兴趣区域；
S32、根据深度图像的像素坐标与彩色图像的像素坐标之间的映射关系，并通过深度图像的坐标值、像素值和记录距离，来得到对应的映射的彩色图像坐标；
S33、通过彩色图像与深度图像的坐标融合，获得茶叶三维点云，具体为：
式中，
表示三维点云的坐标系；
表示彩色图像的坐标系；D表示深度值、通过深度图像获得；fx、fy表示相机焦距；
S34、由于生成的茶叶三维点云包含茶叶嫩芽及其背景点云，因此通过计算获得茶叶三维点云的平均值，并将该平均值作为距离阈值；之后将大于距离阈值的背景点云进行过滤，得到初步分割的三维点云；采用DBSCAN聚类算法，通过设置参数半径Eps和邻域中要求含有的最低样本个数Mp，将初步分割的三维点云聚为一类，并筛选出茶叶嫩芽三维点云；
S35、根据茶叶嫩芽的生长姿态，采用主成分分析法拟合处茶叶嫩芽的最小外接长方体；计算获得长方体各个顶点坐标；再通过求长方体底面四个顶点平均值获得长方体底面中心点的坐标，并以该点作为茶叶嫩芽的采摘点。
5.根据权利要求4所述的一种用于名优茶的智能连贯采摘***，其特征在于：所述步骤S35具体为：
S351、采用主成分分析法筛选出茶叶嫩芽三维点云的三个主方向，即x、y、z方向，并计算质心、协方差，得到协方差矩阵；具体为：
式中，Pc表示三维点云的质心坐标；n表示三维点云的数目(即点的数量)；(xi,yi,zi)表示第i个点的三维坐标；
式中，Cp表示三维点云的协方差矩阵；
S352、对协方差矩阵进行奇异值分解，获得特征值与特征向量，具体公式为：
式中，Up表示协方差矩阵CpCp T的特征向量矩阵；Dp表示一个对角线上的非0值是CpCp T的非0特征值的平方根的对角阵；
表示一个Cp TCp的特征向量矩阵；
其中，最大特征值对应的特征向量的方向即为长方体的主轴方向；
S353、将坐标点投影到方向向量上，通过计算每个顶点位置坐标Pi与坐标点单位向量的内积获得在每个方向上的最大值与最小值，令a、b、c分别为x、y、z上最大值与最小值的平均值，获得长方体的中心点O与长度L，生成茶叶嫩芽最合适且紧凑的长方体；
具体公式为：
O＝ax+by+cz；
式中，X为坐标点在x方向上的单位向量；Y为坐标点在y方向上的单位向量；Z为坐标点在z方向上的单位向量；Lx、Ly、Lz分别为长方体在x方向、y方向、z方向的长度；
S354、通过判断上述长方体y方向上最小的四个点的坐标，作为长方体底面的四个顶点坐标；最后通过四个顶点坐标的平均值获得长方体底面中心点的坐标、即采摘点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210876003.6A CN115271200B (zh) | 2022-07-25 | 2022-07-25 | 一种用于名优茶的智能连贯采摘*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210876003.6A CN115271200B (zh) | 2022-07-25 | 2022-07-25 | 一种用于名优茶的智能连贯采摘*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115271200A true CN115271200A (zh) | 2022-11-01 |
| CN115271200B CN115271200B (zh) | 2023-05-30 |
Family
ID=83770408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210876003.6A Active CN115271200B (zh) | 2022-07-25 | 2022-07-25 | 一种用于名优茶的智能连贯采摘*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115271200B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118096891A (zh) * | 2024-04-24 | 2024-05-28 | 华南农业大学 | 一种基于采摘机器人的茶芽叶位姿估计方法和*** |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108182374A (zh) * | 2016-12-08 | 2018-06-19 | 广州映博智能科技有限公司 | 一种针对果实串的采摘点识别方法 |
| WO2018157286A1 (zh) * | 2017-02-28 | 2018-09-07 | 深圳市大疆创新科技有限公司 | 一种识别方法、设备以及可移动平台 |
| CN111784764A (zh) * | 2020-05-28 | 2020-10-16 | 西南石油大学 | 一种茶叶嫩芽识别与定位算法 |
| CN111914715A (zh) * | 2020-07-24 | 2020-11-10 | 廊坊和易生活网络科技股份有限公司 | 一种基于仿生视觉的智能车目标实时检测与定位方法 |
| CN113674226A (zh) * | 2021-07-31 | 2021-11-19 | 河海大学 | 一种基于深度学习的采茶机茶叶芽尖检测方法 |
| CN113807215A (zh) * | 2021-08-31 | 2021-12-17 | 贵州大学 | 一种结合改进注意力机制和知识蒸馏的茶叶嫩芽分级方法 |
| CN114332697A (zh) * | 2021-12-19 | 2022-04-12 | 西安科技大学 | 输电线路中多类目标故障检测方法、***、设备及介质 |
| CN216626695U (zh) * | 2021-12-17 | 2022-05-31 | 昭平县农业农村局 | 一种野生茶叶采集装置 |
| CN114731840A (zh) * | 2022-04-07 | 2022-07-12 | 仲恺农业工程学院 | 基于机器视觉的双机械臂茶叶采摘机器人 |
-
2022
- 2022-07-25 CN CN202210876003.6A patent/CN115271200B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108182374A (zh) * | 2016-12-08 | 2018-06-19 | 广州映博智能科技有限公司 | 一种针对果实串的采摘点识别方法 |
| WO2018157286A1 (zh) * | 2017-02-28 | 2018-09-07 | 深圳市大疆创新科技有限公司 | 一种识别方法、设备以及可移动平台 |
| CN111784764A (zh) * | 2020-05-28 | 2020-10-16 | 西南石油大学 | 一种茶叶嫩芽识别与定位算法 |
| CN111914715A (zh) * | 2020-07-24 | 2020-11-10 | 廊坊和易生活网络科技股份有限公司 | 一种基于仿生视觉的智能车目标实时检测与定位方法 |
| CN113674226A (zh) * | 2021-07-31 | 2021-11-19 | 河海大学 | 一种基于深度学习的采茶机茶叶芽尖检测方法 |
| CN113807215A (zh) * | 2021-08-31 | 2021-12-17 | 贵州大学 | 一种结合改进注意力机制和知识蒸馏的茶叶嫩芽分级方法 |
| CN216626695U (zh) * | 2021-12-17 | 2022-05-31 | 昭平县农业农村局 | 一种野生茶叶采集装置 |
| CN114332697A (zh) * | 2021-12-19 | 2022-04-12 | 西安科技大学 | 输电线路中多类目标故障检测方法、***、设备及介质 |
| CN114731840A (zh) * | 2022-04-07 | 2022-07-12 | 仲恺农业工程学院 | 基于机器视觉的双机械臂茶叶采摘机器人 |
Non-Patent Citations (7)
| Title |
|---|
| 原艳芳;郑相周;林卫国;: "名优茶采摘机器人路径规划", no. 03 * |
| 吕军;夏华;方梦瑞;周礼赞;: "基于AlexNet的茶叶嫩芽状态智能识别研究", no. 02 * |
| 王海楠;弋景刚;张秀花;: "番茄采摘机器人识别与定位技术研究进展", no. 05 * |
| 罗陆锋: "采摘机器人视觉定位及行为控制的硬件在环虚拟实验***设计", pages 39 * |
| 罗陆锋;邹湘军;叶敏;杨自尚;张丛;朱娜;王成琳;: "基于双目立体视觉的葡萄采摘防碰空间包围体求解与定位", no. 08 * |
| 罗陆锋;邹湘军;程堂灿;杨自尚;张丛;莫宇达;: "采摘机器人视觉定位及行为控制的硬件在环虚拟试验***设计", no. 04, pages 39 * |
| 邵佩迪;吴明晖;: "基于视觉测量的茶叶嫩芽定位方法研究", no. 09 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118096891A (zh) * | 2024-04-24 | 2024-05-28 | 华南农业大学 | 一种基于采摘机器人的茶芽叶位姿估计方法和*** |
| CN118096891B (zh) * | 2024-04-24 | 2024-07-30 | 华南农业大学 | 一种基于采摘机器人的茶芽叶位姿估计方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115271200B (zh) | 2023-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3405845B1 (en) | Object-focused active three-dimensional reconstruction | |
| Montoya-Cavero et al. | Vision systems for harvesting robots: Produce detection and localization | |
| Li et al. | Fast detection and location of longan fruits using UAV images | |
| CN113920474B (zh) | 一种智能监管柑橘种植态势的物联网***及方法 | |
| CN104408760A (zh) | 一种基于双目视觉的高精度虚拟装配***算法 | |
| CN115272791B (zh) | 一种基于YoloV5的茶叶用多目标检测定位方法 | |
| CN115187803B (zh) | 一种用于名优茶嫩芽采摘过程的定位方法 | |
| Li et al. | Development and field evaluation of a robotic harvesting system for plucking high-quality tea | |
| Silwal et al. | Bumblebee: A Path Towards Fully Autonomous Robotic Vine Pruning. | |
| CN111831010A (zh) | 一种基于数字空间切片的无人机避障飞行方法 | |
| CN115271200B (zh) | 一种用于名优茶的智能连贯采摘*** | |
| CN115376125A (zh) | 一种基于多模态数据融合的目标检测方法以及基于目标检测模型的在体果实采摘方法 | |
| CN114689038A (zh) | 基于机器视觉的果实检测定位与果园地图构建方法 | |
| CN116138036B (zh) | 一种用于名优茶嫩芽采摘的二次定位方法 | |
| Mejia et al. | Strawberry localization in a ridge planting with an autonomous rover | |
| CN116704497B (zh) | 一种基于三维点云的油菜表型参数提取方法及*** | |
| Ji et al. | A Comprehensive Review of the Research of the “Eye–Brain–Hand” Harvesting System in Smart Agriculture | |
| CN116740337A (zh) | 一种红花采摘点识别定位方法及采摘*** | |
| CN113723833B (zh) | 造林实绩质量评价方法、***、终端设备及存储介质 | |
| Akhtar et al. | Unlocking plant secrets: A systematic review of 3D imaging in plant phenotyping techniques | |
| Tao et al. | An automatic segmentation and recognition method of apple tree point clouds in the real scene based on the fusion of color and 3d feature | |
| CN116935235B (zh) | 基于采茶无人机的新鲜茶叶识别方法及相关装置 | |
| CN117565065B (zh) | 一种名优茶采摘机器人 | |
| Velasquez | 3D segmentation and localization using visual cues in uncontrolled environments | |
| Montoya Cavero | Sweet pepper recognition and peduncle pose estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |