CN116740337A - 一种红花采摘点识别定位方法及采摘*** - Google Patents

一种红花采摘点识别定位方法及采摘*** Download PDF

Info

Publication number
CN116740337A
CN116740337A CN202310672907.1A CN202310672907A CN116740337A CN 116740337 A CN116740337 A CN 116740337A CN 202310672907 A CN202310672907 A CN 202310672907A CN 116740337 A CN116740337 A CN 116740337A
Authority
CN
China
Prior art keywords
layer
safflower
column node
module
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310672907.1A
Other languages
English (en)
Inventor
张振国
邢振宇
郭辉
赵敏义
杨双平
郭全峰
曾超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjiang Agricultural University
Original Assignee
Xinjiang Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang Agricultural University filed Critical Xinjiang Agricultural University
Priority to CN202310672907.1A priority Critical patent/CN116740337A/zh
Publication of CN116740337A publication Critical patent/CN116740337A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Robotics (AREA)
  • Environmental Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种红花采摘点识别定位方法及采摘***。方法包括：S1、建立红花花丝果球主干识别数据集和红花花丝果球主干分割数据集；S2、基于YOLOv5模型构建SSW‑YOLO模型，获得花丝果球主干识别模型；S3、构建DeepLabV3+SC分割模型，获得红花花丝果球主干分割模型；S4、将待检测红花图像输入花丝果球主干识别模型，获得五个尺度的花丝、果球和主干图像检测结果；S5、将五个尺度的花丝、果球和主干图像检测结果输入花丝果球分割模型，获得语义分割的红花花丝、果球与主干ROI图像；S6、根据红花花丝、果球与主干的感兴趣区域ROI图像，求解红花花丝质心坐标和果球质心坐标，并确定红红花花丝和果球两者之间分界线的采摘点坐标。

Description

一种红花采摘点识别定位方法及采摘***
技术领域
本发明涉及一种红花采摘点识别定位方法及采摘***，属于农业机械技术领域。
背景技术
随着新疆红花种植面积的不断扩大，作物的采收效率低、智能化程度低等问题逐渐突出。与其他作物的种植、生长、环境模式不同，红花种植密度大，同一花簇存在盛开期、谢花期等不同花期形式，且天气、光照、遮挡等环境复杂多变，但红花采摘主要为盛开期花丝，盛开期花丝多表现为花丝完整，展辐宽，缩颈采摘部位裸露，易于识别并采摘。目前大部分研究为机械化限位采收，并且没有智能精准定位红花采摘点，反而增加红花作业劳动量。红花识别定位与采摘点的精准判定是智能化红花机械采摘的关键。“一种红花采摘定位方法”(CN202010851887.0)、“一种三自由度桁架式红花采摘装置”(CN202010307951.9)、“一种直角坐标红花采摘机器人”(CN201910177893.X)等现有专利申请均采用机械定位花丝，且为机械采收，智能化程度不足，导致红花识别精准度差，进而缺少红花采摘点的智能定位。
但是随着精准农业的快速发展，近些年涉及智能化精准识别与定位采摘研究逐渐增多，其主要是结合深度学习模型，开展红花数据集构建方法、红花识别定位模型、红花图像分割模型、红花采摘点的确定研究。
(1)在红花数据集构建方法方面，专利申请“一种红花花丝采收机”(CN201610214505.7)只根据红花花丝颜色特征对花丝进行识别定位，其存在数据构建容量小、类型特征单一、数据增强不足等问题，从而导致复杂背景下对目标特征的干扰严重，识别定位模型训练效率缓慢，影响模型整体检测效果。
(2)在红花识别定位模型方面，专利申请“红花采摘机器人”(CN201710914563.5)是通过双目摄像机与摄像机或投影仪等结合，并根据红花花丝颜色特征，对花丝进行识别定位。当采用Faster R-CNN模型时，对于小目标红花特征预测精度低，训练效率慢；当采用YOLO系列模型时，其检测效率高，速度快，尤其是对于红花等小目标物体，但是如YOLOv3等模型学习特征单一，YOLOv7等模型还存在网络模型参数大，导致小目标漏检、误检多等问题。
(3)在红花图像分割模型方面，专利申请“一种红花花丝识别方法”(CN201710908265.5)采用Otsu分割法进行二值图像的分割，目标红花与背景的灰度易产生较大的重叠，不能准确的将红花与背景分开，忽略了图像的空间信息分配，深浅层红花特征的融合过程将各通道的特征归为一致，导致红花特征信息没有被最大化利用，且分割模型的主干网络参数量大，导致推理时间长，难以兼顾准确性和实时性。
(4)在红花采摘点的确定方面，专利申请“一种盛开期红花花丝图像二维中心点提取方法”(CN201810527616.2)只是对盛开期红花花丝图像求取二维中心点，且二维中心点的确定受红花轮廓不规则、枝叶干扰等因素的影响，判定误差大。同时该方法中并未涉及谢花期红花识别定位，以及采摘点的定位，进而在机器人实际操作时不能为花丝定位并采收。
通过获取模块获取多种类型的红花图像和深度信息，然后采用检测模块检测红花花丝、果球与主干信息，并利用分割模块分割提取红花花丝、果球与主干ROI图像，传入定位模块确定红花采摘点坐标，最后控制采摘模块向机器人发送移动的指令，控制执行对应的采摘指令，采摘目标红花花丝。因此，亟待设计一种红花识别定位检测速度快和采摘点精确判定的方法及采摘***。
发明内容
针对上述技术问题，本发明的目的是提供一种红花采摘点识别定位方法及***，丰富容量小、类型特征单一的红花数据集，降低识别与定位模型参数，提高模型的学习特征多样化，并增加注意力资源的分配，最大化利用红花特征信息，精准预测红花采摘点，采摘***控制执行对应的采摘指令，精准采摘目标红花花丝，以减少红花破损率，提高花丝采摘率。
为了实现上述目的，本发明提供了如下技术方案：
一种红花采摘点识别定位方法，包括如下步骤：
S1、建立红花花丝果球主干识别数据集和红花花丝果球主干分割数据集；
S1.1、采集盛开期和谢花期的不同天气状况、不同时段、不同光照条件、不同遮挡程度、不同拍摄角度和不同拍摄距离的红花图像，通过数据增强方法构建红花盛开期和谢花期多尺度数据增强图像数据集；
S1.2、以红花花丝、果球和主干作为标注目标，对步骤S1.1获得的数据集中的图像进行矩形框标注，并根据红花的盛开期和谢花期对花丝进行分类，获得花丝果球主干识别数据集；将花丝果球主干识别数据集按照一定比例划分为训练集、测试集和验证集；
S1.3、基于步骤S1.1获得的数据集提取花丝、果球和主干的感兴趣区域ROI图像，对花丝、果球和主干分别进行轮廓线标注，获得花丝果球主干分割数据集；将花丝果球主干分割数据集按照一定比例划分为训练集、测试集和验证集；
S2、基于YOLOv5模型构建SSW-YOLO模型，使用步骤S1获得的花丝果球识别数据集的训练集对SSW-YOLO模型进行训练，获得花丝果球主干识别模型；
所述SSW-YOLO模型在YOLOv5模型基础上对Backbone结构、Neck结构和Prediction结构进行改造，获得改造Backone结构、改造Neck结构和改造Prediction结构；
其中，所述改造Backone结构对输入原始红花图像加强特征提取，获取五张不同尺寸不同通道大小的红花特征图；所述改造Backone结构包括轻量级ShuffleNet V2+模块、SPPF模块、3×3Conv卷积模块和MaxPool模块；所述轻量级ShuffleNet V2+模块包括Stage结构和ECA-Net模块；所述Stage结构包括Stage 2结构、Stage 3结构和Stage 4结构；每个Stage结构均由Stride＝1block和Stride＝2block构成；所述3×3Conv卷积模块分为第一3×3Conv卷积模块、第二3×3Conv卷积模块和第三3×3Conv卷积模块；
原始红花图像通过第一3×3Conv卷积模块的卷积核进行卷积运算，产生一层层的红花特征图，层与层之间有若干个卷积核，上一层的每个红花特征图与每个卷积核做卷积，产生下一层的一个红花特征图，进而使用MaxPool做最大池化处理，达到下采样的目的，得到第一尺寸红花特征图后输入至Stage 2结构，经过Stage 2结构的Stride＝2block和Stride＝1block多次重复使用深度可分离卷积与ECA-Net模块进行特征增强，获得第二尺寸红花特征图并输入至Stage 3结构，经过Stage 3结构的Stride＝2block和Stride＝1block多次重复使用深度可分离卷积与ECA-Net模块进行特征增强，获得第三尺寸红花特征图并输入至Stage 4结构，经过Stage 4结构的Stride＝2block和Stride＝1block多次重复使用深度可分离卷积与ECA-Net模块进行特征增强，并通过第二3×3Conv卷积模块的卷积运算，获得第四尺寸红花特征图并传入SPPF模块，通过卷积扩充特征提取通道，有效融合浅层与深层特征信息，丰富特征图的表达能力，再通过第三3×3Conv卷积模块的卷积运算，输出第五尺寸红花特征图；
所述改造Neck结构包括GAM模块、5×5Conv卷积模块和BOCF-FPN模块；所述GAM模块分为第一层GAM模块、第二层GAM模块、第三层GAM模块、第四层GAM模块和第五层GAM模块；所述5×5Conv卷积模块分为第一层5×5Conv卷积模块、第二层5×5Conv卷积模块、第三层5×5Conv卷积模块、第四层5×5Conv卷积模块和第五层5×5Conv卷积模块；所述BOCF-FPN模块包括多个构成一五层七列节点阵的节点，且该五层七列节点阵中缺失第一层和第五层的第二列、第四列和第六列节点；
其中，所述第一层节点由前至后依次包括第一层第一列节点P1_0、第一层第三列节点P1_2、第一层第五列节点P1_4和第一层第七列节点P1_6；所述第五层节点由前至后依次包括第五层第一列节点P5_0、第五层第三列节点P5_2、第五层第五列节点P5_4和第五层第七列节点P5_6；所述第二层节点由前至后依次包括第二层第一列节点P2_0、第二层第二列节点P2_1、第二层第三列节点P2_2、第二层第四列节点P2_3、第二层第五列节点P2_4、第二层第六列节点P2_5和第二层第七列节点P2_6；所述第三层节点由前至后依次包括第三层第一列节点P3_0、第三层第二列节点P3_1、第三层第三列节点P3_2、第三层第四列节点P3_3、第三层第五列节点P3_4、第三层第六列节点P3_5和第三层第七列节点P3_6；所述第四层节点由前至后依次包括第四层第一列节点P4_0、第四层第二列节点P4_1、第四层第三列节点P4_2、第四层第四列节点P4_3、第四层第五列节点P4_4、第四层第六列节点P4_5和第四层第七列节点P4_6；
每层GAM模块均包括通道注意力模块和空间注意力模块；原始红花图像经通道注意力模块学习不同通道的权值，并用权值对不同通道进行多重划分，重新排列图像三维信息，通过多层感知器放大跨维通道空间，之后使用两个卷积层进行空间信息融合，通过空间特征的加权选择性聚焦每个空间的特征，使通道进一步关注空间信息，提取红花特征；
所述第五层GAM模块接收第一尺寸红花特征图并通过第五层5×5Conv卷积模块与第五层第一列节点P5_0连接；所述第四层GAM模块接收第二尺寸红花特征图并通过第四层5×5Conv卷积模块与第四层第一列节点P4_0连接；所述第三层GAM模块接收第三尺寸红花特征图并通过第三层5×5Conv卷积模块与第三层第一列节点P3_0连接；所述第二层GAM模块接收第四尺寸红花特征图并通过第二层5×5Conv卷积模块与第二层第一列节点P2_0连接；所述第一层GAM模块接收第五尺寸红花特征图并通过第一层5×5Conv卷积模块与第一层第一列节点P1_0连接；
所述第一层第一列节点P1_0向上连接第二层第一列节点P2_0，并向后依次连接第一层第三列节点P1_2、第一层第五列节点P1_4、第一层第七列节点P1_6；第一层第一列节点P1_0与第一层第五列节点P1_4、第一层第七列节点P1_6之间分别采用直接连接；第一层第三列节点P1_2上采样操作并连接第二层第三列节点P2_2，第一层第五列节点P1_4上采样操作并连接第二层第五列节点P2_4，第一层第七列节点P1_6上采样操作并连接第二层第七列节点P2_6；
所述第二层第一列节点P2_0向上连接第三层第一列节点P3_0，并向后依次连接第二层第二列节点P2_1、第二层第三列节点P2_2、第二层第四列节点P2_3、第二层第五列节点P2_4、第二层第六列节点P2_5和第二层第七列节点P2_6；第二层第一列节点P2_0与第二层第五列节点P2_4、第二层第七列节点P2_6之间分别采用直接连接；所述第二层第一列节点P2_0与第二层第三列节点P2_2之间、第二层第三列节点P2_2与第二层第五列节点P2_4之间以及第二层第五列节点P2_4与第二层第七列节点P2_6之间均采用跨层连接，上述跨层连接构成三个跨层连接结构，即跨层连接结构重复堆叠3次；所述第二层第二列节点P2_1下采样操作并跨层连接第一层第二列节点P1_2，所述第二层第四列节点P2_3下采样操作并跨层连接第一层第五列节点P1_4，所述第二层第六列节点P2_5下采样操作并跨层连接第一层第七列节点P1_6；所述第二层第三列节点P2_2上采样操作并连接第三层第三列节点P3_2，所述第二层第五列节点P2_4上采样操作并连接第三层第五列节点P3_4，所述第二层第七列节点P2_6上采样操作并连接第三层第七列节点P3_6；
所述第三层第一列节点P3_0向上连接第四层第一列节点P4_0，并向后依次连接第三层第二列节点P3_1、第三层第三列节点P3_2、第三层第四列节点P3_3、第三层第五列节点P3_4、第三层第六列节点P3_5和第三层第七列节点P3_6；第三层第一列节点P3_0与第三层第五列节点P3_4、第三层第七列节点P3_6之间分别采用直接连接；第三层第一列节点P3_0与第三层第三列节点P3_2之间、第三层第三列节点P3_2与第三层第五列节点P3_4之间、第三层第五列节点P3_4与第三层第七列节点P3_6之间均采用跨层连接，上述跨层连接构成三个跨层连接结构，即跨层连接结构重复堆叠3次；所述第三层第二列节点P3_1下采样操作并连接第二层第二列节点P2_1，所述第三层第四列节点节点P3_3下采样操作并连接第二层第四列节点P2_3，所述第三层第六列节点P3_5下采样操作并连接第二层第六列节点P2_5；所述第三层第三列节点P3_2上采样操作并连接第四层第三列节点P4_2，所述第三层第五列节点P3_4上采样操作并连接第四层第五列节点P4_4，所述第三层第七列节点P3_6上采样操作并连接第四层第七列节点P4_6；
所述第四层第一列节点P4_0向上连接第五层第一列节点P5_0，并向后依次连接第四层第二列节点P4_1、第四层第三列节点P4_2、第四层第四列节点P4_3、第四层第五列节点P4_4、第四层第六列节点P4_5和第四层第七列节点P4_6；第四层第一列节点P4_0与第四层第五列节点P4_4、第四层第七列节点P4_6之间分别采用直接连接；第四层第一列节点P4_0与第四层第三列节点P4_2之间、第四层第三列节点P4_2与第四层第五列节点P4_4之间、第四层第五列节点P4_4与第四层第七列节点P4_6之间均采用跨层连接，上述跨层连接构成三个跨层连接结构，即跨层连接结构重复堆叠3次；所述第四层第二列节点P4_1下采样操作并连接第三层第二列节点P3_1，所述第四层第四列节点P4_3下采样操作并连接第三层第四列节点P3_3，所述第四层第六列节点P4_5下采样操作并连接第三层第六列节点P3_5；所述第四层第三列节点P4_2上采样操作并连接第五层第三列节点P5_2，所述第四层第五列节点P4_4上采样操作并连接第五层第五列节点P5_4，所述第四层第七列节点P4_6上采样操作并连接第五层第七列节点P5_6；
所述第五层第一列节点P5_0向后依次经连接第五层第三列节点P5_2、第五层第五列节点P5_4和第五层第七列节点P5_6，并与第五层第五列节点P5_4、第五层第七列节点P5_6之间分别采用直接连接，第五层第一列节点P5_0下采样操作并跨层连接第四层第二列节点P4_1，所述第五层第三列节点P5_2下采样操作并跨层连接第四层第四列节点P4_3，所述第五层第五列节点P5_4下采样操作并跨层连接第四层第六列节点P4_5；
其中，除第一层第一列节点P1_0以外的所有节点通过公式1对输入的红花特征进行加权特征融合；
公式1中，O表示输出特征；i表示融合特征的数量；j表示融合特征的权重数量；Ii表示第i个融合特征；wi是第i个融合特征的权重；wj是第j个融合特征的权重；ε＝10-4；
节点间的直接连接的计算如公式2所示：
公式2中，Pf_m表示BOCF-FPN的结构中第f层第m列节点位置的特征图，其中m＝4或6；Pf_0表示输入经过加权特征融合的第f个节点位置的特征图，其中P1_0未经过特征融合；Pf_m-2表示BOCF-FPN的结构中第f层第m-2列节点位置的特征图；Pf_r表示BOCF-FPN的结构中第f层第r列节点位置的特征图，其中r＝3或5；Pf-1_m表示BOCF-FPN的结构中第f-1层第m列节点位置的特征图；DownSample(P)是下采样函数，在红花试验中使用步长为2的卷积进行下采样；
节点间的跨层连接的计算如公式3所示：
公式3中，Pf_k表示BOCF-FPN的结构中第f层第k列节点位置的特征图，其中k＝2，4，6；Pf_k-2表示BOCF-FPN的结构中第f层第k-2列节点位置的特征图；Pf+1_k-1表示BOCF-FPN的结构中第f+1层第k-1列节点位置的特征图；Pf_k-1表示BOCF-FPN的结构中第f层第k-1列节点位置的特征图；Pf-1_k表示BOCF-FPN的结构中第f-1层第k列节点位置的特征图；Pf_t表示BOCF-FPN的结构中第f层第t列节点位置的特征图，其中t＝1，3，5；Pf_t-1表示BOCF-FPN的结构中第f层第t-1列节点位置的特征图；Pf+1_t-1表示BOCF-FPN的结构中第f+1层第t-1列节点位置的特征图；UpSample(P)是上采样函数，在红花试验中使用缩放因子为2的最近邻上采样；DownSample(P)是下采样函数，在红花试验中使用步长为2的卷积进行下采样；
所述改造Prediction结构包括5×5Conv卷积模块和检测层；改造Neck结构的BOCF-FPN模块连接改造Prediction结构的5×5Conv卷积模块，其中改造Neck结构的BOCF-FPN模块中第五层第七列节点P5_6、第四层第七列节点P4_6、第三层第七列节点P3_6、第二层第七列节点P2_6、第一层第七列节点P1_6分别连接改造Prediction结构的第五层、第四层、第三层、第二层、第一层5×5Conv卷积模块；检测层是基于向上加深Neck结构的深度，对应增加在改造Prediction结构的5×5Conv卷积模块之后，检测输出五个尺度的花丝、果球和主干图像结果；
S3、构建DeepLabV3+SC分割模型，使用步骤S1获得的红花花丝果球主干分割数据集的训练集对DeepLabV3+SC分割模型进行训练，获得红花花丝果球主干分割模型；
所述DeepLabV3+SC分割模型在DeepLabV3+分割模型基础上对编码层和解码层进行改造，获得改造编码层和改造解码层；
其中，所述改造编码层包括轻量级ShuffleNet V2+模块、CBAM模块、N-ASPP模块和1×1Conv卷积模块；所述改造解码层包括1×1、3×3Conv卷积模块、4倍上采样模块和CBAM模块；通过轻量级ShuffleNet V2+模块提取红花图像的浅层特征和深层特征；所述红花图像的深层特征向后传入改造编码层的CBAM模块；所述红花图像的浅层特征直接传入改造解码层的1×1Conv卷积模块；所述红花图像的深层特征通过CBAM模块进行扩张卷积操作，通过N-ASPP模块进行卷积运算，其中扩张卷积操作与N-ASPP模块输入尺寸和个数保持一致；经CBAM模块扩张卷积操作后深层特征进入N-ASPP模块分别与五个设置不同扩张率的空洞卷积层和一个池化层进行卷积和池化，得到五个深层特征图，五个深层特征图融合后再通过改造编码层的1×1卷积运算，获得深层融合特征图，传入改造解码层；深层融合特征图通过改造解码层4倍上采样恢复到红花图像的浅层特征信息的尺寸；深层融合特征与卷积后的红花图像的浅层特征信息进行特征融合，得到深浅层融合特征图，并传入改造解码层的3×3卷积模块，连接使用CBAM模块分配红花图像注意力资源，并通过Dice系数损失函数Diceloss和二分类交叉熵损失函数BCE loss的联合对红花特征边界进行监督，获得红花特征图；使用卷积核微调之后使用4倍上采样恢复特征图至输入图像大小，实现红花图像逐像素分割，获得语义分割的红花花丝、果球与主干的感兴趣区域ROI图像；
其中，Dice系数损失函数Dice loss和二分类交叉熵损失函数BCE loss的联合表达式为：
公式4中，a为红花图像的像素数；N为红花图像像素总数；Pa E指的是模型预测的边界像素点a的预测值；Ga E则为像素点a对应位置的标签真值；红花试验过程中设定超参数α＝1以防止分母为0的情况出现；LEdge1为对前景、背景像素数量差异不敏感的Dice系数损失函数Dice loss；LEdge2为二分类交叉熵损失函数BCE loss；
S4、将待检测红花图像输入步骤S2获得的花丝果球主干识别模型，获得五个尺度的花丝、果球和主干图像检测结果；
S5、将步骤S4获得的五个尺度的花丝、果球和主干图像检测结果输入花丝果球分割模型，获得语义分割的红花花丝、果球与主干ROI图像；
S6、根据步骤S5获得的红花花丝、果球与主干的感兴趣区域ROI图像，求解红花花丝质心坐标和果球质心坐标，并确定红红花花丝和果球两者之间分界线的采摘点坐标；具体包括如下步骤：
S6.1、对红花花丝、果球与主干的感兴趣区域ROI图像进行二值化操作，设置红花花丝、果球与主干轮廓区域像素为1和其余区域设置为0，缩小图像上的孔洞，去除孤立的小斑块，平滑红花花丝、果球与主干轮廓；在平滑红花花丝、果球与主干轮廓上提取最大连通区域作为红花花丝、果球与主干的轮廓，减少图像质心的计算误差；根据所述红花花丝和果球的感兴趣区域ROI图像，根据公式5求取红花花丝质心坐标为P1(x1，y1)和果球质心坐标为P2(x2，y2)；
公式5中，(xb,yb),b＝1,2是红花花丝或果球质心坐标；(x,y)为像素坐标；f(x,y)是二值化图像在点(x,y)处的像素值；
S6.2、对最大连通区域设置左右、上下极值线，得到红花最大连通区域的最小外接矩形，从而得到轮廓最低点坐标(xg，yg)；根据红花花丝质心坐标P1(x1，y1)、果球质心坐标P2(x2，y2)、轮廓最低点坐标(xg，yg)和左右极值线距离，确定红花主干的感兴趣区域ROI；基于改造Canny边缘检测采用非极大值抑制的方法对红花主干的感兴趣区域ROI进行预处理，通过像素梯度统计直方图得到高阈值，大于高阈值的像素点作为边缘点；在低于高阈值的像素点中，与边缘点相邻且像素本身也有较高的梯度值的像素点作为为次高阈值来判断像素点是否是边缘点；以此点为中心，重复上述步骤，将边缘点相连，提取红花主干的感兴趣区域ROI二值化边缘图像；
S6.3、红花主干的感兴趣区域ROI二值化边缘图像采用PPHT进行主干直线检测；定义主干直线检测是检测出红花主干的感兴趣区域ROI二值化边缘图像中红花主干结构所有满足条件的直线段，包括水平直线段、竖直直线段和斜直线段；记录所述红花主干结构所有满足条件的直线段的两个端点坐标Q1(xz1，yz1)和Q2(xz2，yz2)；
其中，两端点的直线方程表达式为：
公式6中，(x,y)为像素坐标；(xz1,yz1)是红花主干结构的直线段第一端点的坐标；(xz2,yz2)是红花主干结构的直线段第二端点的坐标；
S6.4、基于所有满足条件的直线段的两个端点坐标，通过公式7求出每条直线到红花花丝质心和果球质心的距离Lb，并求解红花花丝与果球质心与线距离最小约束函数min(Lb)来确定采摘点所在的距离最小直线段；通过公式8计算获得红花花丝质心和果球质心投影在采摘点所在的距离最小直线段上质心投影点P'b(x'b，y'b)；以取采摘点所在的直线段上的两个质心投影点之间的中点作为采摘点Pc(xc，y c)；
公式7和公式8中，Lb为直线到红花花丝质心或果球质心的距离；(xb,yb)是红花花丝质心坐标或果球质心坐标；(xz1,yz1)是红花主干结构的直线段第一端点的坐标；(xz2,yz2)是红花主干结构的直线段第二端点的坐标；(x’b,y’b)是红花花丝质心坐标或果球质心坐标在采摘点所在的直线段上的质心投影点。
所述步骤S1中，所述天气状况包括晴天、多云和阴天；
所述时段包括上午、中午和下午；
所述光照条件包括顺光、侧光和逆光；
所述遮挡程度按遮挡面积S1占红花花丝面积S2从小到大依次包括无遮挡、枝叶部分遮挡、红花密集重叠遮挡和大视场全遮挡，当S1＝0时，为无遮挡；当时，为枝叶部分遮挡；当/>时，为红花密集重叠遮挡；当/>时为大视场全遮挡；
所述拍摄角度为相机与地面的夹角，包括0°、30°、60°、90°；
所述拍摄距离包括10cm、40cm、70cm、110cm。
所述步骤S1中，所述数据增强方法包括Mosaic数据增强操作和自适应图片缩放数据增强操作；所述Mosaic数据增强操作包括对N，N＝1，4，6，8，张原始红花图像进行随机翻转、裁剪、色域变换和拼接；
所述自适应图片缩放数据增强操作包括随机缩放图像大小和随机粘贴位置，将随机缩放后不同长宽的原始图像随机粘贴放置在一定尺寸模板区域的任意位置并自适应地在图像未覆盖的区域添加黑边。
所述步骤S4具体包括如下步骤：
S4.1、待检测红花图像输入花丝果球主干识别模型，待检测红花图像的高为640、宽为640、通道大小为3，通过改造Backone结构分别获得320×320×64、160×160×128、80×80×256、40×40×512、20×20×1024五张不同尺寸不同通道大小的红花特征图；
S4.2、五张不同尺寸不同通道大小的红花特征图输入到改造Neck结构进行红花特征提取和融合操作，获得五张融合特征图；
S4.3、五张融合红花特征图分别输入到改造Prediction结构，分别获取20×20×75特征图y1、40×40×75特征图y2、80×80×75特征图y3、160×160×75特征图y4、320×320×75特征图y5五个尺度的花丝、果球和主干图像检测结果。
所述步骤S5具体包括如下步骤：
S5.1、将步骤S4的检测结果输入到DeepLabV3+SC分割模型，通过轻量级ShuffleNet V2+模块提取红花图像的浅层特征和深层特征；所述红花图像的深层特征向后传入改造编码层的CBAM模块；所述红花图像的浅层特征直接传入改造解码层的1×1Conv卷积模块；
S5.2、所述红花图像的深层特征通过CBAM模块进行扩张卷积操作，通过N-ASPP模块进行卷积运算，获得深层融合特征图，传入改造解码层；
S5.3、步骤S5.2获得的深层融合特征图通过改造解码层4倍上采样恢复到红花图像的浅层特征信息的尺寸，并与步骤S5.1提取的红花图像的浅层特征进行融合，获得深浅层融合特征图并传入改造解码层的3×3卷积模块，连接使用CBAM模块分配红花图像注意力资源，并通过Dice系数损失函数Dice loss和二分类交叉熵损失函数BCE loss的联合对红花特征边界进行监督，获得红花特征图；
S5.4、步骤S5.3获得的红花特征图使用卷积核微调后，使用4倍上采样恢复特征图至输入图像大小，实现红花图像逐像素分割，获得语义分割的红花花丝、果球与主干的感兴趣区域ROI图像。
一种基于所述的红花采摘点识别定位方法的红花采摘***，包括获取模块、检测模块、分割模块、定位模块和采摘模块；
获取模块，获取多种类型的红花图像和深度信息，采用Mosaic数据增强和自适应图片缩放相结合的新数据增强方法，构建红花盛开期和谢花期多尺度数据增强图像数据集；
检测模块，所述的多种类型的红花图像输入至SSW-YOLO模型中，对YOLOv5模型进行改进并作为模型的训练数据集输入SSW-YOLO模型训练，获取SSW-YOLO模型，检测红花花丝、果球与主干信息；所述SSW-YOLO模型采用轻量级ShuffleNet V2+模块作为Backbone结构，并添加SPPF模块提取有效红花特征，同时改进Neck结构，替换原结构引入BOCF-FPN模块，加强融合和提取红花特征，检测输出红花花丝、果球与主干图像；
分割模块，所述检测出红花花丝、果球与主干图像输入DeepLabV3+SC分割模型，求取红花花丝、果球与主干区域的质心坐标；所述DeepLabV3+SC分割模型编码层的主干网络结构采用轻量级ShuffleNet V2+模块，串联CBAM模块和N-ASPP模块进行卷积操作，获得多尺度红花与果球特征信息；解码层将Conv卷积操作提取的特征与4倍上采样的编码层多尺度红花与果球特征进行特征融合，并传入串联的CBAM模块再次进行卷积操作，进行4倍上采样得到语义分割后的红花花丝、果球与主干ROI图像；
定位模块，基于所述红花花丝、果球与主干区域的ROI信息，进行红花花丝、果球与主干ROI二值化和形态学操作，提取最大连通区域作为红花花丝和果球的轮廓，求解红花花丝和果球质心坐标；根据所述质心像素坐标和深度信息，采用基于改造Canny边缘检测采用非极大值抑制的方法提取红花主干的ROI二值化边缘图像，并使用PPHT检测红花主干直线，结合点线最小距离约束和质心投影点求解的采摘点定位方法，确定红花采摘点坐标；
采摘模块，根据确定的红花采摘点坐标，向机器人发送移动的指令，控制执行对应的采摘指令，采摘目标红花花丝。
与现有技术相比，本发明的有益效果在于：
(1)针对红花数据集类型单一，多样性差，且红花数据集缺失等问题，采用Mosaic数据增强和自适应图片缩放相结合的新数据增强方法，对N(N＝1，4，6，8)张原始红花图像进行随机翻转、裁剪、色域变换和拼接合成新红花图像，同时对不同长宽的原始图像自适应地添加最少的黑边，统一缩放为标准尺寸。两者相结合的新数据增强方法既增强了数据多样性，扩大数据容量，同时对小目标红花的模型检测精度也会获得大幅度地提升。
(2)对于红花识别定位模型参数大，学习的特征单一，小目标花丝漏检、误检多等问题，SSW-YOLO模型主干网络采用轻量级ShuffleNet V2+模块和SPPF模块，降低模型参数，提取有效红花特征；BOCF-FPN双向跨层特征融合方法，不同的跨层加权连接结构用于特征融合，获得更丰富的特征信息，降低小目标漏检、误检。SSW-YOLO模型更有利于减少参数量，有效增强学习特征的表达能力，从而提高小目标红花识别与定位检测精度。
(3)现有红花图像语义分割模型缺少注意力资源的分配，深浅层红花的特征的融合过程将各通道的特征归为一致，导致红花特征信息没有被最大化利用。DeepLabV3+SC分割模型以轻量级ShuffleNet V2+作为主干网络模块，降低模型参数量，提取更多不同感受野大小的红花特征；同时添加N-ASPP结构和CBAM模块，深浅层红花特征的融合过程分配通道、空间两方面的注意力资源，红花特征信息被最大化利用。DeepLabV3+SC分割模型不仅大幅降低运算成本，还兼顾分割精度，提高模型预测红花的能力。
(4)由于花丝定位装置大部分为机械限位，智能精准定位往往受红花轮廓不规则、枝叶干扰等因素的影响，采摘点判定误差大。本专利采用PPHT进行主干直线检测，检测出区域中所有满足条件的直线段，通过红花花丝与果球图像分割分开方法和点线最小距离约束求解相结合的采摘点定位方法，求解红花花丝与果球质心与线距离最小约束函数min(Lb)来确定采摘点所在的直线段，红花花丝与果球质心投影至直线段，取直线段上质心投影点之间的中点作为采摘点Pc(xc，y c)，减少与采摘点求解无关的图像区域对定位造成的干扰，从而提高定位方法的实时性。
(5)目前大部分研究为机械化限位采收，并且没有智能精准定位红花采摘点，反而增加红花作业劳动量。本专利提出一种红花采摘***，通过获取模块获取多种类型的红花图像和深度信息，然后采用检测模块检测红花花丝、果球与主干信息，并利用分割模块分割提取红花花丝、果球与主干ROI图像，传入定位模块确定红花采摘点坐标，最后控制采摘模块向机器人发送移动的指令，控制执行目标红花花丝的采摘，从而智能精准定位红花采摘点，提高采摘效率。
附图说明
图1为本发明实施例利用LabelImg软件标注花丝、果球和主干示意图；
图2为本发明实施例的Labelme软件标注花丝、果球和主干示意图；
图3为本发明的SSW-YOLO模型的结构示意图；
图4为本发明的检测输出红花花丝、果球与主干图像的流程图；
图5为本发明的DeepLabV3+SC分割模型的结构示意图；
图6为本发明的获取语义分割的红花花丝、果球与主干ROI图像的流程图；
图7为本发明的获取红花采摘点坐标的流程图；
图8为本发明的红花采摘点确定结构解析图；
图9为本发明的一种红花采摘***的结构框图。
具体实施方式
下面结合附图和实施例对本发明进行进一步说明。
一种红花采摘点识别定位方法，包括如下步骤：
S1、建立红花花丝果球主干识别数据集和红花花丝果球主干分割数据集；
S1.1、采集盛开期和谢花期的不同天气状况、不同时段、不同光照条件、不同遮挡程度、不同拍摄角度和不同拍摄距离的红花图像，通过数据增强方法构建红花盛开期和谢花期多尺度数据增强图像数据集；
S1.2、以红花花丝、果球和主干作为标注目标，对步骤S1.1获得的数据集中的图像进行矩形框标注，并根据红花的盛开期和谢花期对花丝进行分类，获得花丝果球主干识别数据集；将花丝果球主干识别数据集按照一定比例划分为训练集、测试集和验证集；
S1.3、基于步骤S1.1获得的数据集提取花丝、果球和主干的感兴趣区域(ROI，Region of Interest)图像，对花丝、果球和主干分别进行轮廓线标注，获得花丝果球主干分割数据集；将花丝果球主干分割数据集按照一定比例划分为训练集、测试集和验证集；
在本发明的实施例中采用深度相机设备分别在晴天、多云和阴天等天气状况，早上、中午和傍晚3个时间段，顺光、侧光和逆光等光照条件下采集红花图像，在拍摄时模拟采摘机器人的操作过程，不断变换拍摄角度和拍摄距离，采集到的图像基本包含了不同颜色、姿态、大小、光照、背景以及花丝重叠遮挡等情况，共计得到2120张红花图像，全部裁剪到640×640像素大小，统一保存为.JPG格式。将采集到的图像进行Mosaic数据增强和自适应图片缩放数据增强相结合进行合成新红花图像的增强数据，扩充数据集数量至4240张。以红花花丝、果球和主干作为标注目标，利用LabelImg软件将图像中目标花丝、果球和主干所在区域标注矩形框(如图1所示)，以XML文件格式保存。根据不同生长期分为两类，分别为盛开期(Opening)、谢花期(Flower-shedding)，标记盛开期花丝的类别标签设定为Opening_period，谢花期花丝的类别标签设定为Flower-shedding_period，果球的类别标签设定为Fruit_ball，主干的类别标签设定Main_stem，标注矩形框尽量贴合目标的轮廓，得到含有标注框的图像。将标注后的花丝果球主干识别数据集按照VOC格式生成花丝果球主干目标检测样本库，按7：2：1划分为训练集、验证集、测试集。提取红花的花丝、果球与主干的感兴趣区域ROI图像，采用Labelme软件标记图像中花丝、果球和主干，标注轮廓线尽量贴合花丝、果球与主干轮廓(如图2所示)，生成JSON文件，获得红花的花丝果球主干分割数据集；将花丝果球主干分割数据集按7：2：1划分为训练集、测试集和验证集。
S2、基于YOLOv5模型构建SSW-YOLO模型，使用步骤S1获得的花丝果球识别数据集的训练集对SSW-YOLO模型进行训练，获得花丝果球主干识别模型；
所述SSW-YOLO模型的结构示意图如图3所示，所述SSW-YOLO模型在YOLOv5模型基础上对Backbone结构、Neck结构和Prediction结构进行改造，获得改造Backone结构、改造Neck结构和改造Prediction结构。
其中，所述改造Backone结构对输入原始红花图像加强特征提取，获取五张不同尺寸不同通道大小的红花特征图；所述改造Backone结构包括轻量级ShuffleNet V2+模块、SPPF模块、3×3Conv卷积模块和MaxPool模块；所述轻量级ShuffleNet V2+模块包括Stage结构和ECA-Net模块；所述Stage结构包括Stage 2结构、Stage 3结构和Stage 4结构；每个Stage结构均由Stride＝1block和Stride＝2block构成；所述3×3Conv卷积模块分为第一3×3Conv卷积模块、第二3×3Conv卷积模块和第三3×3Conv卷积模块；
原始红花图像通过第一3×3Conv卷积模块的卷积核进行卷积运算，产生一层层的红花特征图，层与层之间有若干个卷积核，上一层的每个红花特征图与每个卷积核做卷积，产生下一层的一个红花特征图，进而使用MaxPool做最大池化处理，达到下采样的目的，得到第一尺寸红花特征图后输入至Stage 2结构，经过Stage 2结构的Stride＝2block和Stride＝1block多次重复使用深度可分离卷积与ECA-Net模块进行特征增强，获得第二尺寸红花特征图并输入至Stage 3结构，经过Stage 3结构的Stride＝2block和Stride＝1block多次重复使用深度可分离卷积与ECA-Net模块进行特征增强，获得第三尺寸红花特征图并输入至Stage 4结构，经过Stage 4结构的Stride＝2block和Stride＝1block多次重复使用深度可分离卷积与ECA-Net模块进行特征增强，并通过第二3×3Conv卷积模块的卷积运算，获得第四尺寸红花特征图并传入SPPF模块，通过卷积扩充特征提取通道，有效融合浅层与深层特征信息，丰富特征图的表达能力，再通过第三3×3Conv卷积模块的卷积运算，输出第五尺寸红花特征图。
所述改造Neck结构包括GAM(Global Attention Mechanism，全局注意力机制)模块、5×5Conv卷积模块和BOCF-FPN模块。所述GAM模块分为第一层GAM模块、第二层GAM模块、第三层GAM模块、第四层GAM模块和第五层GAM模块；所述5×5Conv卷积模块分为第一层5×5Conv卷积模块、第二层5×5Conv卷积模块、第三层5×5Conv卷积模块、第四层5×5Conv卷积模块和第五层5×5Conv卷积模块；所述BOCF-FPN模块包括多个构成一五层七列节点阵的节点，且该五层七列节点阵中缺失第一层和第五层的第二列、第四列和第六列节点；
其中，所述第一层节点由前至后依次包括第一层第一列节点P1_0、第一层第三列节点P1_2、第一层第五列节点P1_4和第一层第七列节点P1_6；所述第五层节点由前至后依次包括第五层第一列节点P5_0、第五层第三列节点P5_2、第五层第五列节点P5_4和第五层第七列节点P5_6；所述第二层节点由前至后依次包括第二层第一列节点P2_0、第二层第二列节点P2_1、第二层第三列节点P2_2、第二层第四列节点P2_3、第二层第五列节点P2_4、第二层第六列节点P2_5和第二层第七列节点P2_6；所述第三层节点由前至后依次包括第三层第一列节点P3_0、第三层第二列节点P3_1、第三层第三列节点P3_2、第三层第四列节点P3_3、第三层第五列节点P3_4、第三层第六列节点P3_5和第三层第七列节点P3_6；所述第四层节点由前至后依次包括第四层第一列节点P4_0、第四层第二列节点P4_1、第四层第三列节点P4_2、第四层第四列节点P4_3、第四层第五列节点P4_4、第四层第六列节点P4_5和第四层第七列节点P4_6；
每层GAM模块均包括通道注意力模块和空间注意力模块；原始红花图像经通道注意力模块学习不同通道的权值，并用权值对不同通道进行多重划分，重新排列图像三维信息，通过多层感知器放大跨维通道空间，之后使用两个卷积层进行空间信息融合，通过空间特征的加权选择性聚焦每个空间的特征，使通道进一步关注空间信息，提取红花特征。
所述第五层GAM模块接收第一尺寸红花特征图并通过第五层5×5Conv卷积模块与第五层第一列节点P5_0连接；所述第四层GAM模块接收第二尺寸红花特征图并通过第四层5×5Conv卷积模块与第四层第一列节点P4_0连接；所述第三层GAM模块接收第三尺寸红花特征图并通过第三层5×5Conv卷积模块与第三层第一列节点P3_0连接；所述第二层GAM模块接收第四尺寸红花特征图并通过第二层5×5Conv卷积模块与第二层第一列节点P2_0连接；所述第一层GAM模块接收第五尺寸红花特征图并通过第一层5×5Conv卷积模块与第一层第一列节点P1_0连接。
所述第一层第一列节点P1_0向上连接第二层第一列节点P2_0，并向后依次连接第一层第三列节点P1_2、第一层第五列节点P1_4、第一层第七列节点P1_6；第一层第一列节点P1_0与第一层第五列节点P1_4、第一层第七列节点P1_6之间分别采用直接连接；第一层第三列节点P1_2上采样操作并连接第二层第三列节点P2_2，第一层第五列节点P1_4上采样操作并连接第二层第五列节点P2_4，第一层第七列节点P1_6上采样操作并连接第二层第七列节点P2_6。
所述第二层第一列节点P2_0向上连接第三层第一列节点P3_0，并向后依次连接第二层第二列节点P2_1、第二层第三列节点P2_2、第二层第四列节点P2_3、第二层第五列节点P2_4、第二层第六列节点P2_5和第二层第七列节点P2_6；第二层第一列节点P2_0与第二层第五列节点P2_4、第二层第七列节点P2_6之间分别采用直接连接；所述第二层第一列节点P2_0与第二层第三列节点P2_2之间、第二层第三列节点P2_2与第二层第五列节点P2_4之间以及第二层第五列节点P2_4与第二层第七列节点P2_6之间均采用跨层连接，上述跨层连接构成三个跨层连接结构，即跨层连接结构重复堆叠3次；所述第二层第二列节点P2_1下采样操作并跨层连接第一层第二列节点P1_2，所述第二层第四列节点P2_3下采样操作并跨层连接第一层第五列节点P1_4，所述第二层第六列节点P2_5下采样操作并跨层连接第一层第七列节点P1_6；所述第二层第三列节点P2_2上采样操作并连接第三层第三列节点P3_2，所述第二层第五列节点P2_4上采样操作并连接第三层第五列节点P3_4，所述第二层第七列节点P2_6上采样操作并连接第三层第七列节点P3_6。
所述第三层第一列节点P3_0向上连接第四层第一列节点P4_0，并向后依次连接第三层第二列节点P3_1、第三层第三列节点P3_2、第三层第四列节点P3_3、第三层第五列节点P3_4、第三层第六列节点P3_5和第三层第七列节点P3_6；第三层第一列节点P3_0与第三层第五列节点P3_4、第三层第七列节点P3_6之间分别采用直接连接；第三层第一列节点P3_0与第三层第三列节点P3_2之间、第三层第三列节点P3_2与第三层第五列节点P3_4之间、第三层第五列节点P3_4与第三层第七列节点P3_6之间均采用跨层连接，上述跨层连接构成三个跨层连接结构，即跨层连接结构重复堆叠3次；所述第三层第二列节点P3_1下采样操作并连接第二层第二列节点P2_1，所述第三层第四列节点节点P3_3下采样操作并连接第二层第四列节点P2_3，所述第三层第六列节点P3_5下采样操作并连接第二层第六列节点P2_5；所述第三层第三列节点P3_2上采样操作并连接第四层第三列节点P4_2，所述第三层第五列节点P3_4上采样操作并连接第四层第五列节点P4_4，所述第三层第七列节点P3_6上采样操作并连接第四层第七列节点P4_6。
所述第四层第一列节点P4_0向上连接第五层第一列节点P5_0，并向后依次连接第四层第二列节点P4_1、第四层第三列节点P4_2、第四层第四列节点P4_3、第四层第五列节点P4_4、第四层第六列节点P4_5和第四层第七列节点P4_6；第四层第一列节点P4_0与第四层第五列节点P4_4、第四层第七列节点P4_6之间分别采用直接连接；第四层第一列节点P4_0与第四层第三列节点P4_2之间、第四层第三列节点P4_2与第四层第五列节点P4_4之间、第四层第五列节点P4_4与第四层第七列节点P4_6之间均采用跨层连接，上述跨层连接构成三个跨层连接结构，即跨层连接结构重复堆叠3次；所述第四层第二列节点P4_1下采样操作并连接第三层第二列节点P3_1，所述第四层第四列节点P4_3下采样操作并连接第三层第四列节点P3_3，所述第四层第六列节点P4_5下采样操作并连接第三层第六列节点P3_5；所述第四层第三列节点P4_2上采样操作并连接第五层第三列节点P5_2，所述第四层第五列节点P4_4上采样操作并连接第五层第五列节点P5_4，所述第四层第七列节点P4_6上采样操作并连接第五层第七列节点P5_6。
所述第五层第一列节点P5_0向后依次经连接第五层第三列节点P5_2、第五层第五列节点P5_4和第五层第七列节点P5_6，并与第五层第五列节点P5_4、第五层第七列节点P5_6之间分别采用直接连接，第五层第一列节点P5_0下采样操作并跨层连接第四层第二列节点P4_1，所述第五层第三列节点P5_2下采样操作并跨层连接第四层第四列节点P4_3，所述第五层第五列节点P5_4下采样操作并跨层连接第四层第六列节点P4_5。
其中，除第一层第一列节点P1_0以外的所有节点通过公式1对输入的红花特征进行加权特征融合；
公式1中，O表示输出特征；i表示融合特征的数量；j表示融合特征的权重数量；Ii表示第i个融合特征；wi是第i个融合特征的权重；wj是第j个融合特征的权重；ε＝10-4；
节点间的直接连接的计算如公式2所示：
公式2中，Pf_m表示BOCF-FPN的结构中第f层第m列节点位置的特征图，其中m＝4或6；Pf_0表示输入经过加权特征融合的第f个节点位置的特征图，其中P1_0未经过特征融合；Pf_m-2表示BOCF-FPN的结构中第f层第m-2列节点位置的特征图；Pf_r表示BOCF-FPN的结构中第f层第r列节点位置的特征图，其中r＝3或5；Pf-1_m表示BOCF-FPN的结构中第f-1层第m列节点位置的特征图；DownSample(P)是下采样函数，在红花试验中使用步长为2的卷积进行下采样。
节点间的跨层连接的计算如公式3所示：
公式3中，Pf_k表示BOCF-FPN的结构中第f层第k列节点位置的特征图，其中k＝2，4，6；Pf_k-2表示BOCF-FPN的结构中第f层第k-2列节点位置的特征图；Pf+1_k-1表示BOCF-FPN的结构中第f+1层第k-1列节点位置的特征图；Pf_k-1表示BOCF-FPN的结构中第f层第k-1列节点位置的特征图；Pf-1_k表示BOCF-FPN的结构中第f-1层第k列节点位置的特征图；Pf_t表示BOCF-FPN的结构中第f层第t列节点位置的特征图，其中t＝1，3，5；Pf_t-1表示BOCF-FPN的结构中第f层第t-1列节点位置的特征图；Pf+1_t-1表示BOCF-FPN的结构中第f+1层第t-1列节点位置的特征图；UpSample(P)是上采样函数，在红花试验中使用缩放因子为2的最近邻上采样；DownSample(P)是下采样函数，在红花试验中使用步长为2的卷积进行下采样。
所述改造Prediction结构包括5×5Conv卷积模块和检测层。改造Neck结构的BOCF-FPN模块连接改造Prediction结构的5×5Conv卷积模块，其中改造Neck结构的BOCF-FPN模块中第五层第七列节点P5_6、第四层第七列节点P4_6、第三层第七列节点P3_6、第二层第七列节点P2_6、第一层第七列节点P1_6分别连接改造Prediction结构的第五层、第四层、第三层、第二层、第一层5×5Conv卷积模块。检测层是基于向上加深Neck结构的深度，对应增加在改造Prediction结构的5×5Conv卷积模块之后，检测输出五个尺度的花丝、果球和主干图像结果。
S3、构建DeepLabV3+SC分割模型，使用步骤S1获得的红花花丝果球主干分割数据集的训练集对DeepLabV3+SC分割模型进行训练，获得红花花丝果球主干分割模型。
在本实施例中，DeepLabV3+SC分割模型的结构示意图如图5所示。所述DeepLabV3+SC分割模型在DeepLabV3+分割模型基础上对编码层和解码层进行改造，获得改造编码层和改造解码层。
其中，所述改造编码层包括轻量级ShuffleNet V2+模块、CBAM模块、N-ASPP模块和1×1Conv卷积模块。所述改造解码层包括1×1、3×3Conv卷积模块、4倍上采样模块和CBAM模块。通过轻量级ShuffleNet V2+模块提取红花图像的浅层特征和深层特征；所述红花图像的深层特征向后传入改造编码层的CBAM模块；所述红花图像的浅层特征直接传入改造解码层的1×1Conv卷积模块；所述红花图像的深层特征通过CBAM模块进行扩张卷积操作，通过N-ASPP模块进行卷积运算，其中扩张卷积操作与N-ASPP模块输入尺寸和个数保持一致；经CBAM模块扩张卷积操作后深层特征进入N-ASPP模块分别与五个设置不同扩张率的空洞卷积层和一个池化层进行卷积和池化，得到五个深层特征图，五个深层特征图融合后再通过改造编码层的1×1卷积运算，获得深层融合特征图，传入改造解码层；深层融合特征图通过改造解码层4倍上采样恢复到红花图像的浅层特征信息的尺寸；深层融合特征与卷积后的红花图像的浅层特征信息进行特征融合，得到深浅层融合特征图，并传入改造解码层的3×3卷积模块，连接使用CBAM模块分配红花图像注意力资源，并通过Dice系数损失函数Diceloss和二分类交叉熵损失函数BCE loss的联合对红花特征边界进行监督，获得红花特征图；使用卷积核微调之后使用4倍上采样恢复特征图至输入图像大小，实现红花图像逐像素分割，获得语义分割的红花花丝、果球与主干的感兴趣区域ROI图像。
其中，Dice系数损失函数Dice loss和二分类交叉熵损失函数BCE loss的联合表达式为：
公式4中，a为红花图像的像素数；N为红花图像像素总数；Pa E指的是模型预测的边界像素点a的预测值；Ga E则为像素点a对应位置的标签真值；红花试验过程中设定超参数α＝1以防止分母为0的情况出现；LEdge1为对前景、背景像素数量差异不敏感的Dice系数损失函数Dice loss；LEdge2为二分类交叉熵损失函数BCE loss。
S4、将待检测红花图像输入步骤S2获得的花丝果球主干识别模型，获得五个尺度的花丝、果球和主干图像检测结果；如图4所示，具体包括如下步骤：
S4.1、待检测红花图像输入花丝果球主干识别模型，待检测红花图像的高为640、宽为640、通道大小为3，通过改造Backone结构分别获得320×320×64、160×160×128、80×80×256、40×40×512、20×20×1024五张不同尺寸不同通道大小的红花特征图；
S4.2、五张不同尺寸不同通道大小的红花特征图输入到改造Neck结构进行红花特征提取和融合操作，获得五张融合特征图；
S4.3、五张融合红花特征图分别输入到改造Prediction结构，分别获取20×20×75特征图y1、40×40×75特征图y2、80×80×75特征图y3、160×160×75特征图y4、320×320×75特征图y5五个尺度的花丝、果球和主干图像检测结果；
S5、将步骤S4获得的五个尺度的花丝、果球和主干图像检测结果输入花丝果球分割模型，获得语义分割的红花花丝、果球与主干ROI图像；如图6所示，具体包括如下步骤：
S5.1、将步骤S4的检测结果输入到DeepLabV3+SC分割模型，通过轻量级ShuffleNet V2+模块提取红花图像的浅层特征和深层特征；所述红花图像的深层特征向后传入改造编码层的CBAM模块；所述红花图像的浅层特征直接传入改造解码层的1×1Conv卷积模块；
S5.2、所述红花图像的深层特征通过CBAM模块进行扩张卷积操作，通过N-ASPP模块进行卷积运算，获得深层融合特征图，传入改造解码层；
S5.3、步骤S5.2获得的深层融合特征图通过改造解码层4倍上采样恢复到红花图像的浅层特征信息的尺寸，并与步骤S5.1提取的红花图像的浅层特征进行融合，获得深浅层融合特征图并传入改造解码层的3×3卷积模块，连接使用CBAM模块分配红花图像注意力资源，并通过Dice系数损失函数Dice loss和二分类交叉熵损失函数BCE loss的联合对红花特征边界进行监督，获得红花特征图；
S5.4、步骤S5.3获得的红花特征图使用卷积核微调后，使用4倍上采样恢复特征图至输入图像大小，实现红花图像逐像素分割，获得语义分割的红花花丝、果球与主干的感兴趣区域ROI图像。
S6、根据步骤S5获得的红花花丝、果球与主干的感兴趣区域ROI图像，求解红花花丝质心坐标和果球质心坐标，并确定红红花花丝和果球两者之间分界线的采摘点坐标；如图7所示，具体包括如下步骤：
S6.1、对红花花丝、果球与主干的感兴趣区域ROI图像进行二值化操作，设置红花花丝、果球与主干轮廓区域像素为1(白色)和其余区域设置为0(黑色)，缩小图像上的孔洞，去除孤立的小斑块，平滑红花花丝、果球与主干轮廓；在平滑红花花丝、果球与主干轮廓上提取最大连通区域作为红花花丝、果球与主干的轮廓，减少图像质心的计算误差；根据所述红花花丝和果球的感兴趣区域ROI图像，根据公式5求取红花花丝质心坐标为P1(x1，y1)和果球质心坐标为P2(x2，y2)；
公式5中，(xb,yb),b＝1,2是红花花丝或果球质心坐标；(x,y)为像素坐标；f(x,y)是二值化图像在点(x,y)处的像素值；
S6.2、对最大连通区域设置左右、上下极值线，得到红花最大连通区域的最小外接矩形，从而得到轮廓最低点坐标(xg，yg)；根据红花花丝质心坐标P1(x1，y1)、果球质心坐标P2(x2，y2)、轮廓最低点坐标(xg，yg)和左右极值线距离，确定红花主干的感兴趣区域ROI；基于改造Canny边缘检测采用非极大值抑制的方法对红花主干的感兴趣区域ROI进行预处理，通过像素梯度统计直方图得到高阈值，大于高阈值的像素点作为边缘点；在低于高阈值的像素点中，与边缘点相邻且像素本身也有较高的梯度值的像素点作为为次高阈值来判断像素点是否是边缘点；以此点为中心，重复上述步骤，将边缘点相连，提取红花主干的感兴趣区域ROI二值化边缘图像；
S6.3、如图8所示，红花主干的感兴趣区域ROI二值化边缘图像采用PPHT进行主干直线检测；定义主干直线检测是检测出红花主干的感兴趣区域ROI二值化边缘图像中红花主干结构所有满足条件的直线段，包括水平直线段、竖直直线段和斜直线段；记录所述红花主干结构所有满足条件的直线段的两个端点坐标Q1(xz1，yz1)和Q2(xz2，yz2)；
其中，两端点的直线方程表达式为：
公式6中，(x,y)为像素坐标；(xz1,yz1)是红花主干结构的直线段第一端点的坐标；(xz2,yz2)是红花主干结构的直线段第二端点的坐标；
S6.4、基于所有满足条件的直线段的两个端点坐标，通过公式7求出每条直线到红花花丝质心和果球质心的距离Lb，并求解红花花丝与果球质心与线距离最小约束函数min(Lb)来确定采摘点所在的距离最小直线段；通过公式8计算获得红花花丝质心和果球质心投影在采摘点所在的距离最小直线段上质心投影点P'b(x'b，y'b)；以取采摘点所在的直线段上的两个质心投影点之间的中点作为采摘点Pc(xc，y c)；
公式7和公式8中，Lb为直线到红花花丝质心或果球质心的距离；(xb,yb)是红花花丝质心坐标或果球质心坐标；(xz1,yz1)是红花主干结构的直线段第一端点的坐标；(xz2,yz2)是红花主干结构的直线段第二端点的坐标；(x’b,y’b)是红花花丝质心坐标或果球质心坐标在采摘点所在的直线段上的质心投影点。
本实施例提供一种红花采摘***，该***包括：获取模块、检测模块、分割模块、定位模块和采摘模块，如图9所示。
获取模块，获取多种类型的红花图像和深度信息，采用Mosaic数据增强和自适应图片缩放相结合的新数据增强方法，构建红花盛开期和谢花期多尺度数据增强图像数据集。
检测模块，所述的多种类型的红花图像输入至SSW-YOLO模型中，对YOLOv5模型进行改进并作为模型的训练数据集输入SSW-YOLO模型训练，获取SSW-YOLO模型，检测红花花丝、果球与主干信息。所述SSW-YOLO模型采用轻量级ShuffleNet V2+模块作为Backbone结构，并添加SPPF模块提取有效红花特征，同时改进Neck结构，替换原结构引入BOCF-FPN模块，加强融合和提取红花特征，检测输出红花花丝、果球与主干图像。
分割模块，所述检测出红花花丝、果球与主干图像输入DeepLabV3+SC分割模型，求取红花花丝、果球与主干区域的质心坐标。所述DeepLabV3+SC分割模型编码层的主干网络结构采用轻量级ShuffleNet V2+模块，串联CBAM模块和N-ASPP模块进行卷积操作，获得多尺度红花与果球特征信息。解码层将Conv卷积操作提取的特征与4倍上采样的编码层多尺度红花与果球特征进行特征融合，并传入串联的CBAM模块再次进行卷积操作，进行4倍上采样得到语义分割后的红花花丝、果球与主干ROI图像。
定位模块，基于所述红花花丝、果球与主干区域的ROI信息，进行红花花丝、果球与主干ROI二值化和形态学操作，提取最大连通区域作为红花花丝和果球的轮廓，求解红花花丝和果球质心坐标。根据所述质心像素坐标和深度信息，采用基于改造Canny边缘检测采用非极大值抑制的方法提取红花主干的ROI二值化边缘图像，并使用PPHT检测红花主干直线，结合点线最小距离约束和质心投影点求解的采摘点定位方法，确定红花采摘点坐标。
采摘模块，根据确定的红花采摘点坐标，向机器人发送移动的指令，控制执行对应的采摘指令，采摘目标红花花丝。
对于本领域的技术人员而言，根据本发明的教导，在不脱离本发明的原理与精神的情况下，对实施方式所进行的修改、变型仍落入本发明的保护范围之内。

Claims (6)

1.一种红花采摘点识别定位方法，其特征在于，所述方法包括如下步骤：
S1、建立红花花丝果球主干识别数据集和红花花丝果球主干分割数据集；
S1.1、采集盛开期和谢花期的不同天气状况、不同时段、不同光照条件、不同遮挡程度、不同拍摄角度和不同拍摄距离的红花图像，通过数据增强方法构建红花盛开期和谢花期多尺度数据增强图像数据集；
S1.2、以红花花丝、果球和主干作为标注目标，对步骤S1.1获得的数据集中的图像进行矩形框标注，并根据红花的盛开期和谢花期对花丝进行分类，获得花丝果球主干识别数据集；将花丝果球主干识别数据集按照一定比例划分为训练集、测试集和验证集；
S1.3、基于步骤S1.1获得的数据集提取花丝、果球和主干的感兴趣区域ROI图像，对花丝、果球和主干分别进行轮廓线标注，获得花丝果球主干分割数据集；将花丝果球主干分割数据集按照一定比例划分为训练集、测试集和验证集；
S2、基于YOLOv5模型构建SSW-YOLO模型，使用步骤S1获得的花丝果球识别数据集的训练集对SSW-YOLO模型进行训练，获得花丝果球主干识别模型；
所述SSW-YOLO模型在YOLOv5模型基础上对Backbone结构、Neck结构和Prediction结构进行改造，获得改造Backone结构、改造Neck结构和改造Prediction结构；
其中，所述改造Backone结构对输入原始红花图像加强特征提取，获取五张不同尺寸不同通道大小的红花特征图；所述改造Backone结构包括轻量级ShuffleNet V2+模块、SPPF模块、3×3Conv卷积模块和MaxPool模块；所述轻量级ShuffleNet V2+模块包括Stage结构和ECA-Net模块；所述Stage结构包括Stage 2结构、Stage 3结构和Stage 4结构；每个Stage结构均由Stride＝1block和Stride＝2block构成；所述3×3Conv卷积模块分为第一3×3Conv卷积模块、第二3×3Conv卷积模块和第三3×3Conv卷积模块；
原始红花图像通过第一3×3Conv卷积模块的卷积核进行卷积运算，产生一层层的红花特征图，层与层之间有若干个卷积核，上一层的每个红花特征图与每个卷积核做卷积，产生下一层的一个红花特征图，进而使用MaxPool做最大池化处理，达到下采样的目的，得到第一尺寸红花特征图后输入至Stage 2结构，经过Stage 2结构的Stride＝2block和Stride＝1block多次重复使用深度可分离卷积与ECA-Net模块进行特征增强，获得第二尺寸红花特征图并输入至Stage 3结构，经过Stage 3结构的Stride＝2block和Stride＝1block多次重复使用深度可分离卷积与ECA-Net模块进行特征增强，获得第三尺寸红花特征图并输入至Stage 4结构，经过Stage 4结构的Stride＝2block和Stride＝1block多次重复使用深度可分离卷积与ECA-Net模块进行特征增强，并通过第二3×3Conv卷积模块的卷积运算，获得第四尺寸红花特征图并传入SPPF模块，通过卷积扩充特征提取通道，有效融合浅层与深层特征信息，丰富特征图的表达能力，再通过第三3×3Conv卷积模块的卷积运算，输出第五尺寸红花特征图；
所述改造Neck结构包括GAM模块、5×5Conv卷积模块和BOCF-FPN模块；所述GAM模块分为第一层GAM模块、第二层GAM模块、第三层GAM模块、第四层GAM模块和第五层GAM模块；所述5×5Conv卷积模块分为第一层5×5Conv卷积模块、第二层5×5Conv卷积模块、第三层5×5Conv卷积模块、第四层5×5Conv卷积模块和第五层5×5Conv卷积模块；所述BOCF-FPN模块包括多个构成一五层七列节点阵的节点，且该五层七列节点阵中缺失第一层和第五层的第二列、第四列和第六列节点；
其中，所述第一层节点由前至后依次包括第一层第一列节点P1_0、第一层第三列节点P1_2、第一层第五列节点P1_4和第一层第七列节点P1_6；所述第五层节点由前至后依次包括第五层第一列节点P5_0、第五层第三列节点P5_2、第五层第五列节点P5_4和第五层第七列节点P5_6；所述第二层节点由前至后依次包括第二层第一列节点P2_0、第二层第二列节点P2_1、第二层第三列节点P2_2、第二层第四列节点P2_3、第二层第五列节点P2_4、第二层第六列节点P2_5和第二层第七列节点P2_6；所述第三层节点由前至后依次包括第三层第一列节点P3_0、第三层第二列节点P3_1、第三层第三列节点P3_2、第三层第四列节点P3_3、第三层第五列节点P3_4、第三层第六列节点P3_5和第三层第七列节点P3_6；所述第四层节点由前至后依次包括第四层第一列节点P4_0、第四层第二列节点P4_1、第四层第三列节点P4_2、第四层第四列节点P4_3、第四层第五列节点P4_4、第四层第六列节点P4_5和第四层第七列节点P4_6；
每层GAM模块均包括通道注意力模块和空间注意力模块；原始红花图像经通道注意力模块学习不同通道的权值，并用权值对不同通道进行多重划分，重新排列图像三维信息，通过多层感知器放大跨维通道空间，之后使用两个卷积层进行空间信息融合，通过空间特征的加权选择性聚焦每个空间的特征，使通道进一步关注空间信息，提取红花特征；
所述第五层GAM模块接收第一尺寸红花特征图并通过第五层5×5Conv卷积模块与第五层第一列节点P5_0连接；所述第四层GAM模块接收第二尺寸红花特征图并通过第四层5×5Conv卷积模块与第四层第一列节点P4_0连接；所述第三层GAM模块接收第三尺寸红花特征图并通过第三层5×5Conv卷积模块与第三层第一列节点P3_0连接；所述第二层GAM模块接收第四尺寸红花特征图并通过第二层5×5Conv卷积模块与第二层第一列节点P2_0连接；所述第一层GAM模块接收第五尺寸红花特征图并通过第一层5×5Conv卷积模块与第一层第一列节点P1_0连接；
所述第一层第一列节点P1_0向上连接第二层第一列节点P2_0，并向后依次连接第一层第三列节点P1_2、第一层第五列节点P1_4、第一层第七列节点P1_6；第一层第一列节点P1_0与第一层第五列节点P1_4、第一层第七列节点P1_6之间分别采用直接连接；第一层第三列节点P1_2上采样操作并连接第二层第三列节点P2_2，第一层第五列节点P1_4上采样操作并连接第二层第五列节点P2_4，第一层第七列节点P1_6上采样操作并连接第二层第七列节点P2_6；
所述第二层第一列节点P2_0向上连接第三层第一列节点P3_0，并向后依次连接第二层第二列节点P2_1、第二层第三列节点P2_2、第二层第四列节点P2_3、第二层第五列节点P2_4、第二层第六列节点P2_5和第二层第七列节点P2_6；第二层第一列节点P2_0与第二层第五列节点P2_4、第二层第七列节点P2_6之间分别采用直接连接；所述第二层第一列节点P2_0与第二层第三列节点P2_2之间、第二层第三列节点P2_2与第二层第五列节点P2_4之间以及第二层第五列节点P2_4与第二层第七列节点P2_6之间均采用跨层连接，上述跨层连接构成三个跨层连接结构，即跨层连接结构重复堆叠3次；所述第二层第二列节点P2_1下采样操作并跨层连接第一层第二列节点P1_2，所述第二层第四列节点P2_3下采样操作并跨层连接第一层第五列节点P1_4，所述第二层第六列节点P2_5下采样操作并跨层连接第一层第七列节点P1_6；所述第二层第三列节点P2_2上采样操作并连接第三层第三列节点P3_2，所述第二层第五列节点P2_4上采样操作并连接第三层第五列节点P3_4，所述第二层第七列节点P2_6上采样操作并连接第三层第七列节点P3_6；
所述第三层第一列节点P3_0向上连接第四层第一列节点P4_0，并向后依次连接第三层第二列节点P3_1、第三层第三列节点P3_2、第三层第四列节点P3_3、第三层第五列节点P3_4、第三层第六列节点P3_5和第三层第七列节点P3_6；第三层第一列节点P3_0与第三层第五列节点P3_4、第三层第七列节点P3_6之间分别采用直接连接；第三层第一列节点P3_0与第三层第三列节点P3_2之间、第三层第三列节点P3_2与第三层第五列节点P3_4之间、第三层第五列节点P3_4与第三层第七列节点P3_6之间均采用跨层连接，上述跨层连接构成三个跨层连接结构，即跨层连接结构重复堆叠3次；所述第三层第二列节点P3_1下采样操作并连接第二层第二列节点P2_1，所述第三层第四列节点节点P3_3下采样操作并连接第二层第四列节点P2_3，所述第三层第六列节点P3_5下采样操作并连接第二层第六列节点P2_5；所述第三层第三列节点P3_2上采样操作并连接第四层第三列节点P4_2，所述第三层第五列节点P3_4上采样操作并连接第四层第五列节点P4_4，所述第三层第七列节点P3_6上采样操作并连接第四层第七列节点P4_6；
所述第四层第一列节点P4_0向上连接第五层第一列节点P5_0，并向后依次连接第四层第二列节点P4_1、第四层第三列节点P4_2、第四层第四列节点P4_3、第四层第五列节点P4_4、第四层第六列节点P4_5和第四层第七列节点P4_6；第四层第一列节点P4_0与第四层第五列节点P4_4、第四层第七列节点P4_6之间分别采用直接连接；第四层第一列节点P4_0与第四层第三列节点P4_2之间、第四层第三列节点P4_2与第四层第五列节点P4_4之间、第四层第五列节点P4_4与第四层第七列节点P4_6之间均采用跨层连接，上述跨层连接构成三个跨层连接结构，即跨层连接结构重复堆叠3次；所述第四层第二列节点P4_1下采样操作并连接第三层第二列节点P3_1，所述第四层第四列节点P4_3下采样操作并连接第三层第四列节点P3_3，所述第四层第六列节点P4_5下采样操作并连接第三层第六列节点P3_5；所述第四层第三列节点P4_2上采样操作并连接第五层第三列节点P5_2，所述第四层第五列节点P4_4上采样操作并连接第五层第五列节点P5_4，所述第四层第七列节点P4_6上采样操作并连接第五层第七列节点P5_6；
所述第五层第一列节点P5_0向后依次经连接第五层第三列节点P5_2、第五层第五列节点P5_4和第五层第七列节点P5_6，并与第五层第五列节点P5_4、第五层第七列节点P5_6之间分别采用直接连接，第五层第一列节点P5_0下采样操作并跨层连接第四层第二列节点P4_1，所述第五层第三列节点P5_2下采样操作并跨层连接第四层第四列节点P4_3，所述第五层第五列节点P5_4下采样操作并跨层连接第四层第六列节点P4_5；
其中，除第一层第一列节点P1_0以外的所有节点通过公式1对输入的红花特征进行加权特征融合；
公式1中，O表示输出特征；i表示融合特征的数量；j表示融合特征的权重数量；Ii表示第i个融合特征；wi是第i个融合特征的权重；wj是第j个融合特征的权重；ε＝10-4；
节点间的直接连接的计算如公式2所示：
公式2中，Pf_m表示BOCF-FPN的结构中第f层第m列节点位置的特征图，其中m＝4或6；Pf_0表示输入经过加权特征融合的第f个节点位置的特征图，其中P1_0未经过特征融合；Pf_m-2表示BOCF-FPN的结构中第f层第m-2列节点位置的特征图；Pf_r表示BOCF-FPN的结构中第f层第r列节点位置的特征图，其中r＝3或5；Pf-1_m表示BOCF-FPN的结构中第f-1层第m列节点位置的特征图；DownSample(P)是下采样函数，在红花试验中使用步长为2的卷积进行下采样；
节点间的跨层连接的计算如公式3所示：
公式3中，Pf_k表示BOCF-FPN的结构中第f层第k列节点位置的特征图，其中k＝2，4，6；Pf_k-2表示BOCF-FPN的结构中第f层第k-2列节点位置的特征图；Pf+1_k-1表示BOCF-FPN的结构中第f+1层第k-1列节点位置的特征图；Pf_k-1表示BOCF-FPN的结构中第f层第k-1列节点位置的特征图；Pf-1_k表示BOCF-FPN的结构中第f-1层第k列节点位置的特征图；Pf_t表示BOCF-FPN的结构中第f层第t列节点位置的特征图，其中t＝1，3，5；Pf_t-1表示BOCF-FPN的结构中第f层第t-1列节点位置的特征图；Pf+1_t-1表示BOCF-FPN的结构中第f+1层第t-1列节点位置的特征图；UpSample(P)是上采样函数，在红花试验中使用缩放因子为2的最近邻上采样；DownSample(P)是下采样函数，在红花试验中使用步长为2的卷积进行下采样；
所述改造Prediction结构包括5×5Conv卷积模块和检测层；改造Neck结构的BOCF-FPN模块连接改造Prediction结构的5×5Conv卷积模块，其中改造Neck结构的BOCF-FPN模块中第五层第七列节点P5_6、第四层第七列节点P4_6、第三层第七列节点P3_6、第二层第七列节点P2_6、第一层第七列节点P1_6分别连接改造Prediction结构的第五层、第四层、第三层、第二层、第一层5×5Conv卷积模块；检测层是基于向上加深Neck结构的深度，对应增加在改造Prediction结构的5×5Conv卷积模块之后，检测输出五个尺度的花丝、果球和主干图像结果；
S3、构建DeepLabV3+SC分割模型，使用步骤S1获得的红花花丝果球主干分割数据集的训练集对DeepLabV3+SC分割模型进行训练，获得红花花丝果球主干分割模型；
所述DeepLabV3+SC分割模型在DeepLabV3+分割模型基础上对编码层和解码层进行改造，获得改造编码层和改造解码层；
其中，所述改造编码层包括轻量级ShuffleNet V2+模块、CBAM模块、N-ASPP模块和1×1Conv卷积模块；所述改造解码层包括1×1、3×3Conv卷积模块、4倍上采样模块和CBAM模块；通过轻量级ShuffleNet V2+模块提取红花图像的浅层特征和深层特征；所述红花图像的深层特征向后传入改造编码层的CBAM模块；所述红花图像的浅层特征直接传入改造解码层的1×1Conv卷积模块；所述红花图像的深层特征通过CBAM模块进行扩张卷积操作，通过N-ASPP模块进行卷积运算，其中扩张卷积操作与N-ASPP模块输入尺寸和个数保持一致；经CBAM模块扩张卷积操作后深层特征进入N-ASPP模块分别与五个设置不同扩张率的空洞卷积层和一个池化层进行卷积和池化，得到五个深层特征图，五个深层特征图融合后再通过改造编码层的1×1卷积运算，获得深层融合特征图，传入改造解码层；深层融合特征图通过改造解码层4倍上采样恢复到红花图像的浅层特征信息的尺寸；深层融合特征与卷积后的红花图像的浅层特征信息进行特征融合，得到深浅层融合特征图，并传入改造解码层的3×3卷积模块，连接使用CBAM模块分配红花图像注意力资源，并通过Dice系数损失函数Diceloss和二分类交叉熵损失函数BCE loss的联合对红花特征边界进行监督，获得红花特征图；使用卷积核微调之后使用4倍上采样恢复特征图至输入图像大小，实现红花图像逐像素分割，获得语义分割的红花花丝、果球与主干的感兴趣区域ROI图像；
其中，Dice系数损失函数Dice loss和二分类交叉熵损失函数BCE loss的联合表达式为：
公式4中，a为红花图像的像素数；N为红花图像像素总数；Pa E指的是模型预测的边界像素点a的预测值；Ga E则为像素点a对应位置的标签真值；红花试验过程中设定超参数α＝1以防止分母为0的情况出现；LEdge1为对前景、背景像素数量差异不敏感的Dice系数损失函数Dice loss；LEdge2为二分类交叉熵损失函数BCE loss；
S4、将待检测红花图像输入步骤S2获得的花丝果球主干识别模型，获得五个尺度的花丝、果球和主干图像检测结果；
S5、将步骤S4获得的五个尺度的花丝、果球和主干图像检测结果输入花丝果球分割模型，获得语义分割的红花花丝、果球与主干ROI图像；
S6、根据步骤S5获得的红花花丝、果球与主干的感兴趣区域ROI图像，求解红花花丝质心坐标和果球质心坐标，并确定红红花花丝和果球两者之间分界线的采摘点坐标；具体包括如下步骤：
S6.1、对红花花丝、果球与主干的感兴趣区域ROI图像进行二值化操作，设置红花花丝、果球与主干轮廓区域像素为1和其余区域设置为0，缩小图像上的孔洞，去除孤立的小斑块，平滑红花花丝、果球与主干轮廓；在平滑红花花丝、果球与主干轮廓上提取最大连通区域作为红花花丝、果球与主干的轮廓，减少图像质心的计算误差；根据所述红花花丝和果球的感兴趣区域ROI图像，根据公式5求取红花花丝质心坐标为P1(x1，y1)和果球质心坐标为P2(x2，y2)；
公式5中，(xb,yb),b＝1,2是红花花丝或果球质心坐标；(x,y)为像素坐标；f(x,y)是二值化图像在点(x,y)处的像素值；
S6.2、对最大连通区域设置左右、上下极值线，得到红花最大连通区域的最小外接矩形，从而得到轮廓最低点坐标(xg，yg)；根据红花花丝质心坐标P1(x1，y1)、果球质心坐标P2(x2，y2)、轮廓最低点坐标(xg，yg)和左右极值线距离，确定红花主干的感兴趣区域ROI；基于改造Canny边缘检测采用非极大值抑制的方法对红花主干的感兴趣区域ROI进行预处理，通过像素梯度统计直方图得到高阈值，大于高阈值的像素点作为边缘点；在低于高阈值的像素点中，与边缘点相邻且像素本身也有较高的梯度值的像素点作为为次高阈值来判断像素点是否是边缘点；以此点为中心，重复上述步骤，将边缘点相连，提取红花主干的感兴趣区域ROI二值化边缘图像；
S6.3、红花主干的感兴趣区域ROI二值化边缘图像采用PPHT进行主干直线检测；定义主干直线检测是检测出红花主干的感兴趣区域ROI二值化边缘图像中红花主干结构所有满足条件的直线段，包括水平直线段、竖直直线段和斜直线段；记录所述红花主干结构所有满足条件的直线段的两个端点坐标Q1(xz1，yz1)和Q2(xz2，yz2)；
其中，两端点的直线方程表达式为：
公式6中，(x,y)为像素坐标；(xz1,yz1)是红花主干结构的直线段第一端点的坐标；(xz2,yz2)是红花主干结构的直线段第二端点的坐标；
S6.4、基于所有满足条件的直线段的两个端点坐标，通过公式7求出每条直线到红花花丝质心和果球质心的距离Lb，并求解红花花丝与果球质心与线距离最小约束函数min(Lb)来确定采摘点所在的距离最小直线段；通过公式8计算获得红花花丝质心和果球质心投影在采摘点所在的距离最小直线段上质心投影点P'b(x'b，y'b)；以取采摘点所在的直线段上的两个质心投影点之间的中点作为采摘点Pc(xc，y c)；
公式7和公式8中，Lb为直线到红花花丝质心或果球质心的距离；(xb,yb)是红花花丝质心坐标或果球质心坐标；(xz1,yz1)是红花主干结构的直线段第一端点的坐标；(xz2,yz2)是红花主干结构的直线段第二端点的坐标；(x’b,y’b)是红花花丝质心坐标或果球质心坐标在采摘点所在的直线段上的质心投影点。
2.根据权利要求1所述的红花采摘点识别定位方法，其特征在于，所述步骤S1中，所述天气状况包括晴天、多云和阴天；
所述时段包括上午、中午和下午；
所述光照条件包括顺光、侧光和逆光；
所述遮挡程度按遮挡面积S1占红花花丝面积S2从小到大依次包括无遮挡、枝叶部分遮挡、红花密集重叠遮挡和大视场全遮挡，当S1＝0时，为无遮挡；当时，为枝叶部分遮挡；当/>时，为红花密集重叠遮挡；当/>时为大视场全遮挡；
所述拍摄角度为相机与地面的夹角，包括0°、30°、60°、90°；
所述拍摄距离包括10cm、40cm、70cm、110cm。
3.根据权利要求1所述的红花采摘点识别定位方法，其特征在于，所述步骤S1中，所述数据增强方法包括Mosaic数据增强操作和自适应图片缩放数据增强操作；所述Mosaic数据增强操作包括对N，N＝1，4，6，8，张原始红花图像进行随机翻转、裁剪、色域变换和拼接；
所述自适应图片缩放数据增强操作包括随机缩放图像大小和随机粘贴位置，将随机缩放后不同长宽的原始图像随机粘贴放置在一定尺寸模板区域的任意位置并自适应地在图像未覆盖的区域添加黑边。
4.根据权利要求1所述的红花采摘点识别定位方法，其特征在于，所述步骤S4具体包括如下步骤：
S4.1、待检测红花图像输入花丝果球主干识别模型，待检测红花图像的高为640、宽为640、通道大小为3，通过改造Backone结构分别获得320×320×64、160×160×128、80×80×256、40×40×512、20×20×1024五张不同尺寸不同通道大小的红花特征图；
S4.2、五张不同尺寸不同通道大小的红花特征图输入到改造Neck结构进行红花特征提取和融合操作，获得五张融合特征图；
S4.3、五张融合红花特征图分别输入到改造Prediction结构，分别获取20×20×75特征图y1、40×40×75特征图y2、80×80×75特征图y3、160×160×75特征图y4、320×320×75特征图y5五个尺度的花丝、果球和主干图像检测结果。
5.根据权利要求1所述的红花采摘点识别定位方法，其特征在于，所述步骤S5具体包括如下步骤：
S5.1、将步骤S4的检测结果输入到DeepLabV3+SC分割模型，通过轻量级ShuffleNet V2+模块提取红花图像的浅层特征和深层特征；所述红花图像的深层特征向后传入改造编码层的CBAM模块；所述红花图像的浅层特征直接传入改造解码层的1×1Conv卷积模块；
S5.2、所述红花图像的深层特征通过CBAM模块进行扩张卷积操作，通过N-ASPP模块进行卷积运算，获得深层融合特征图，传入改造解码层；
S5.3、步骤S5.2获得的深层融合特征图通过改造解码层4倍上采样恢复到红花图像的浅层特征信息的尺寸，并与步骤S5.1提取的红花图像的浅层特征进行融合，获得深浅层融合特征图并传入改造解码层的3×3卷积模块，连接使用CBAM模块分配红花图像注意力资源，并通过Dice系数损失函数Diceloss和二分类交叉熵损失函数BCEloss的联合对红花特征边界进行监督，获得红花特征图；
S5.4、步骤S5.3获得的红花特征图使用卷积核微调后，使用4倍上采样恢复特征图至输入图像大小，实现红花图像逐像素分割，获得语义分割的红花花丝、果球与主干的感兴趣区域ROI图像。
6.一种基于权利要求1-5任一项所述的红花采摘点识别定位方法的红花采摘***，其特征在于，所述红花采摘***包括获取模块、检测模块、分割模块、定位模块和采摘模块；
获取模块，获取多种类型的红花图像和深度信息，采用Mosaic数据增强和自适应图片缩放相结合的新数据增强方法，构建红花盛开期和谢花期多尺度数据增强图像数据集；
检测模块，所述的多种类型的红花图像输入至SSW-YOLO模型中，对YOLOv5模型进行改进并作为模型的训练数据集输入SSW-YOLO模型训练，获取SSW-YOLO模型，检测红花花丝、果球与主干信息；所述SSW-YOLO模型采用轻量级ShuffleNet V2+模块作为Backbone结构，并添加SPPF模块提取有效红花特征，同时改进Neck结构，替换原结构引入BOCF-FPN模块，加强融合和提取红花特征，检测输出红花花丝、果球与主干图像；
分割模块，所述检测出红花花丝、果球与主干图像输入DeepLabV3+SC分割模型，求取红花花丝、果球与主干区域的质心坐标；所述DeepLabV3+SC分割模型编码层的主干网络结构采用轻量级ShuffleNet V2+模块，串联CBAM模块和N-ASPP模块进行卷积操作，获得多尺度红花与果球特征信息；解码层将Conv卷积操作提取的特征与4倍上采样的编码层多尺度红花与果球特征进行特征融合，并传入串联的CBAM模块再次进行卷积操作，进行4倍上采样得到语义分割后的红花花丝、果球与主干ROI图像；
定位模块，基于所述红花花丝、果球与主干区域的ROI信息，进行红花花丝、果球与主干ROI二值化和形态学操作，提取最大连通区域作为红花花丝和果球的轮廓，求解红花花丝和果球质心坐标；根据所述质心像素坐标和深度信息，采用基于改造Canny边缘检测采用非极大值抑制的方法提取红花主干的ROI二值化边缘图像，并使用PPHT检测红花主干直线，结合点线最小距离约束和质心投影点求解的采摘点定位方法，确定红花采摘点坐标；
采摘模块，根据确定的红花采摘点坐标，向机器人发送移动的指令，控制执行对应的采摘指令，采摘目标红花花丝。
CN202310672907.1A 2023-06-07 2023-06-07 一种红花采摘点识别定位方法及采摘*** Pending CN116740337A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310672907.1A CN116740337A (zh) 2023-06-07 2023-06-07 一种红花采摘点识别定位方法及采摘***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310672907.1A CN116740337A (zh) 2023-06-07 2023-06-07 一种红花采摘点识别定位方法及采摘***

Publications (1)

Publication Number Publication Date
CN116740337A true CN116740337A (zh) 2023-09-12

Family

ID=87912747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310672907.1A Pending CN116740337A (zh) 2023-06-07 2023-06-07 一种红花采摘点识别定位方法及采摘***

Country Status (1)

Country Link
CN (1) CN116740337A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292281A (zh) * 2023-10-11 2023-12-26 南京农业大学 基于无人机图像的露地瓜菜检测方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292281A (zh) * 2023-10-11 2023-12-26 南京农业大学 基于无人机图像的露地瓜菜检测方法、装置、设备及介质
CN117292281B (zh) * 2023-10-11 2024-06-11 南京农业大学 基于无人机图像的露地瓜菜检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
Jia et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot
Fu et al. Fast and accurate detection of kiwifruit in orchard using improved YOLOv3-tiny model
Lu et al. Canopy-attention-YOLOv4-based immature/mature apple fruit detection on dense-foliage tree architectures for early crop load estimation
CN110765916B (zh) 一种基于语义和实例分割的农田苗垄识别方法及***
CN108805070A (zh) 一种基于嵌入式终端的深度学习行人检测方法
Wang et al. YOLOv3‐Litchi Detection Method of Densely Distributed Litchi in Large Vision Scenes
Wang et al. Deep learning approach for apple edge detection to remotely monitor apple growth in orchards
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN110766690B (zh) 基于深度学习点监督思想的麦穗检测和计数方法
CN113657326A (zh) 一种基于多尺度融合模块和特征增强的杂草检测方法
CN113191334B (zh) 一种基于改进CenterNet的植物冠层密集叶片计数方法
CN110334656A (zh) 基于信源概率加权的多源遥感图像水体提取方法及装置
Liu et al. Small unopened cotton boll counting by detection with MRF-YOLO in the wild
CN113223027A (zh) 基于PolarMask的未成熟柿子分割方法及***
CN113065562A (zh) 一种基于语义分割网络的作物垄行提取及主导航线选取方法
CN116740337A (zh) 一种红花采摘点识别定位方法及采摘***
CN110969182A (zh) 基于农田图像的卷积神经网络构建方法及其***
Ferrer-Ferrer et al. Simultaneous fruit detection and size estimation using multitask deep neural networks
CN116977960A (zh) 一种基于实例分割的水稻秧苗行检测方法
Shuai et al. An improved YOLOv5-based method for multi-species tea shoot detection and picking point location in complex backgrounds
CN114120359A (zh) 一种基于堆叠沙漏网络的群养猪体尺测量方法
CN117079125A (zh) 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法
CN109657540A (zh) 枯死树定位方法及***
Hu et al. Automatic detection of pecan fruits based on Faster RCNN with FPN in orchard

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination