CN116267226A - 一种基于机器视觉智能识别成熟度的桑葚采摘方法与装置 - Google Patents

Abstract

本发明涉及桑葚自动采摘领域，其具体公开了一种基于机器视觉智能识别成熟度的桑葚采摘方法与装置。采摘前对果园的桑树进行分组，再采集每组桑树对应的桑葚图像，结合图像处理技术提取桑葚的颜色特征和面积特征，利用预先训练好的多层感知机成熟度检测模型对预先分组的桑树进行成熟度检测，并基于不同的成熟度为参与采摘任务的多台振采装置设置振采参数，再对整个采摘任务进行分配和规划，最终提升了桑葚采摘的效率和质量，减小了采摘过程中对桑树的损伤。

Description

一种基于机器视觉智能识别成熟度的桑葚采摘方法与装置

技术领域

本发明属于桑葚采摘技术领域，具体涉及基于机器视觉智能识别成熟度的桑葚采摘方法与装置。

背景技术

当前，为了提升采摘效率，桑葚采摘多采用机械化方式，主要采用机械振动或者气动式采果机，使果实振摇掉落，由设置在果树下的承接装置接收，并由输送装置输送至运输车上。桑葚成熟度越高，与桑树枝条连接强度越低，此时用比较小的振采强度就能够使得桑葚脱落；反之，桑葚成熟度越低，与桑树枝条连接强度越高，此时用比较大的振采强度才能够使得桑葚脱落，而振采强度越大对桑树的损伤就越大。

现有技术中，在采摘桑葚时通常使用相同的振采强度实现采摘，并未依据成熟度来设置不同的振采强度。究其原因，一方面是桑葚成熟度的智能检测方法还存在诸多实践困难，另一方面是若是以棵为单位进行振采强度的设置，会大幅度降低采摘效率。

目前对桑葚成熟度的检测方法更多应用于采后分类，即采摘以后进行抽样检测并分类；而采摘前的成熟度检测方法相比于采后检测，存在更多的困难，比如采集图像中会存在干扰物遮挡、不同光照不同角度影响成像质量、如何将成熟度检测跟实际采摘任务的效率结合起来。

发明内容

本发明的目的在于克服现有技术中存在的上述技术问题，提供了一种基于机器视觉智能识别成熟度的桑葚采摘方法，该方法首先在采摘任务开始前，采集桑葚图像，结合图像处理技术对果园中的桑葚成熟度进行检测，再根据成熟度对采摘装置进行分类和任务规划，使得采摘任务兼顾效率和质量。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于机器视觉智能识别成熟度的桑葚采摘方法，其特征在于，包括如下步骤：

步骤S1、将果园中的桑树划分成n组；

步骤S2、对每棵所述桑树上的桑葚进行图像采集；

步骤S3、基于预先训练好的多层感知机成熟度检测模型对所述桑葚进行成熟度检测，得到每组所述桑树对应的成熟度；

步骤S4、根据成熟度为该组桑树的振采装置设计振采参数；

步骤S5、按照总采摘时间最短的原则规划采摘路径。

进一步地，所述步骤S1具体为：

将果园中的桑树按照种植位置分为n组，每组包含相同数量的桑树，属于同一组的桑树种植位置连接起来构成一条直线。

进一步地，所述步骤S2具体为：

以桑葚簇为单位，采集同一个桑葚簇对应的多张多视角桑葚簇样本图像；对采集得到的每张桑葚簇样本图像进行编码标记，为来自同一颗桑树的图像设置相同的树标；为来自同一组桑树的图像设置相同的组标，组与组之间用不同的标记区分。

进一步地，所述步骤S3具体为：

对所述多张多视角桑葚簇样本图像进行特征提取，获取颜色特征向量和面积特征向量；

颜色特征向量提取方式为：对所述同一个桑葚簇对应的多张多视角桑葚簇样本图像进行融合处理，得到一张融合桑葚簇样本图像，具体包括：

首先对所述多张多视角桑葚簇样本图像进行彩图分割操作，去除叶片遮挡物，从采集的图像中分割出目标桑葚簇；彩图分割操作采用颜色空间聚类的方式，利用k-均值方法对R、G、B三个颜色空间进行聚类，从而得到保留颜色特征的多张多视角桑葚簇样本图像；

对于分割后的所述多张多视角桑葚簇样本图像，分别在R、G、B三个通道上进行均值处理，以得到一张融合桑葚簇样本图像；融合后的桑葚簇样本图像中，每个通道上某个坐标的像素值等于所述多张多视角桑葚簇图像在对应坐标上该通道对应的像素值相加取平均；

对所述融合桑葚簇样本图像，提取RGB和HSI特征，统计每张所述融合桑葚簇样本图像中的R、G、B每个通道的像素均值和方差，作为该通道的特征值；统计每张所述融合桑葚簇样本图像中的H、S、I分量的均值和方差，作为该分量对应的特征值，将统计出的上述特征值进行拼接，形成所述多张多视角桑葚簇样本图像对应的12维颜色特征向量；

面积特征向量提取方式为：以所述多视角桑葚簇样本图像为基础，首先对所述多视角桑葚簇样本图像进行二值化表示，再进行阈值分割，识别每张图像中包含的多颗桑葚中每一颗；对识别得到的每一颗桑葚，计算其最小外接矩形，并将该外接矩形的长和宽分别作为该颗桑葚的横径和纵径，以横径和纵径的乘积来表示每颗桑葚的面积；预先设置大果、中果、小果分别对应的面积范围，计算桑葚簇中识别得到的每颗桑葚的面积，并统计该桑葚簇中包含的桑葚分别属于大果面积、中果面积以及小果面积的比例，将三个比例分别映射到[0,1]范围区间内，作为面积的三个特征值进行记录，从而得到多角度桑葚簇图像对应的3维面积特征向量；

将获得的所述颜色特征向量和面积特征向量进行融合，形成融合后的特征向量；

将所述融合后的特征向量输入预先训练好的多层感知机成熟度检测模型实现成熟度检测；

根据预先设置的成熟度判断规则确定每组桑树对应的成熟度。

所述成熟度判断规则为：将一张图片中概率最大值对应的成熟度类别作为该张图片的成熟度类别；根据预先对采集的桑葚簇样本图像的编码标记，确定各图片所属的桑树，统计来自同一棵桑树的图片所属类别的概率分布，将一棵桑树中概率最大值对应的成熟度类别作为该棵桑树的成熟度类别；确定各桑树所属的组，统计来自同一组的桑树所属类别的概率分布，将一组桑树中概率最大值对应的成熟度类别作为该组桑树的成熟度类别 。

进一步地，所述步骤S3具体为：

所述多层感知机成熟度检测模型包括一个输入层、一个输出层、5个隐藏层，使用relu作为激活函数，采用交叉熵作为损失函数，求解损失函数的最小值；模型输入为对图片提取的12 维颜色特征以及3维面积特征共15维特征向量，模型输出的是单张图片所包含桑葚分别属于三种成熟度类别的概率向量，三种成熟度类别分别设置为半熟、成熟、全熟。

进一步地，所述步骤S4具体为：

确定参与本次采摘任务的空闲振采装置的数量k，k小于果园桑树的组数n，对k台振采设备进行0、1、2三个值交错编号，最终将k台装置分为3组，每组设备分别认领半熟、成熟和全熟的采摘任务；

为3组设备分别设置半熟和全熟对应的振采参数，包括振采频率和振采幅度。

第二方面，本申请提供一种基于机器视觉智能识别成熟度的桑葚采摘装置，其特征在于，包括如下模块：

分组模块：将果园中的桑树桑树划分成n组；

图像采集模块：对每棵桑树上的桑葚进行图像采集；

成熟度检测模块：基于预先训练好的多层感知机成熟度检测模型对所述桑葚进行成熟度检测，得到每组所述桑树对应的成熟度；

任务规划模块：根据成熟度为该组桑树的振采装置设计振采参数；

路径规划模块：按照总采摘时间最短的原则规划采摘路径。

通过采用上述技术，与现有技术相比，本发明的有益效果是：

本申请在进行桑葚成熟度检测时，结合颜色特征和面积特征，利用多层感知机模型对采摘前的桑葚进行成熟度检测，提升成熟度检测效果和效率。

本申请在桑葚采摘前实现桑葚的成熟度检测，按照不同的成熟度设置不同的振采参数，减小了采摘过程中对桑树的损伤；

本申请在成熟度检测和采摘任务进行之前对桑树进行编组，按组为单位实现成熟度检测，能够兼顾采摘效率；

本申请对多台采摘设备进行任务规划和路径规则，实现了采摘效率的提升。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定， 对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请基于桑葚成熟度的检测和采摘流程图；

图2为本申请桑葚颜色特征向量提取流程图；

图3为本申请桑葚面积特征向量提取流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，本实施例提供一种基于机器视觉智能识别成熟度的桑葚采摘方法，其中，具体过程包括：

步骤S1、将果园中的桑树划分成n组；

步骤S2、对每棵桑树上的桑葚进行图像采集；

步骤S3、基于预先训练好的多层感知机成熟度检测模型对所述桑葚进行成熟度检测，得到每组所述桑树对应的成熟度；

步骤S4、根据成熟度为该组桑树的振采装置设计振采参数；

步骤S5、按照总采摘时间最短的原则规划采摘路径；

具体地，在一种具体实施方式中，步骤S1中，桑树分组方式可以通过下述方法确定：

为了更加便捷高效实现后续采摘任务，本申请首先对同一个果园中的桑树进行分组，为每一棵桑树分配一个序号，并将所有桑树划分为n组，每组中包含的桑树数量尽量均匀，优选方式为使得每组包含相同数量的桑树，更重要的是，划分为同一组的桑树，其种植位置能够连接成一条直线，这是为了后续实现采摘任务时能够以组为单位进行，组内采摘任务进行时能够缩短采摘路径，提升采摘效率。具体的划分方式，可以结合果园桑树的种植分布规律来设计。

具体地，在一种具体实施方式中，步骤S2中，对每棵桑树上的桑葚进行图像采集可以通过下述方法确定：

桑葚果实成熟度和其表皮颜色紧密相关，因此颜色特征是判断桑葚是否成熟的一个重要特征。而桑葚在成熟过程中，其表皮颜色呈现由浅到深的变化，在某个时刻，其可能会存在一半深色、一半浅色的状态。

对果园中的每颗桑树进行图像采集时，考虑上述桑葚本身的特性以及采集过程中不同光照、角度的影响，对同一个桑葚簇尽可能采集多个视角的图像，一方面能够最大限度消除上述因素的影响，另一方面可以扩充样本量。一种多角度采集方式为从正视角、后视角、左视角以及右视角等4个视角进行拍摄，每簇桑葚共采集4张图像；另一种多角度采集方式为以桑葚簇为中心，每旋转36度拍摄一张图像，每簇桑葚共采集10张图像。

由于后续需要以桑树组为单位进行成熟度判断，因此对采集的每张图片进行编码标记，为来自同一颗桑树的图片设置相同的树标；为来自同一组桑树的图片设置相同的组标，组与组之间用不同的标记区分。

具体地，在一种具体实施方式中，如图2所示，步骤S3中，利用预先训练好的成熟度检测模型对所述桑葚果实图像进行成熟度检测可以通过下述方法确定：

对所述桑葚簇样本图像进行特征提取，获取颜色特征向量和面积特征向量。

步骤S301，对采集到的多视角桑葚样本图像进行融合处理。

其中，颜色特征向量提取具体包括：对同一桑葚簇对应的多个视角图像进行融合处理，得到一张融合后样本图像，以消除单一拍摄视角对桑葚颜色信息的误判；

多视角图像融合涉及的具体步骤如下：

首先对所述多张多视角桑葚簇样本图像进行彩图分割操作，去除叶片遮挡物，获得保留颜色特征的桑葚图像。

彩图分割操作采用颜色空间聚类的方式，利用k-均值方法对RGB三个颜色空间进行聚类，从而得到保留颜色特征的多张桑葚图像。

再对多张桑葚图像进行配准，使得每张图像的桑葚区域都位于图片的中心区域，对配准后的图像进行融合处理。

由于融合时需要保留图像的颜色特征，即对于多张桑葚图像，分别在R、G、B三个通道上进行均值处理，以得到一张融合后的桑葚样本图像；融合后的图像每个通道上某个坐标的像素值等于多张桑葚图像在对应坐标上该通道对应的像素值相加取平均。

步骤S302，对融合后的桑葚样本图像提取RGB特征。

具体方式为：对于每张融合后的桑葚样本图像，统计每张融合后的桑葚样本图像中R、G、B三个通道的像素均值和方差，作为该通道的特征值；

步骤S303，对融合后的桑葚样本图像提取HSI特征。

具体方式为：对于每张融合后的桑葚样本图像，统计每张融合后的桑葚样本图像中H、S、I分量的均值和方差，作为该分量对应的特征值。

步骤S304，将RGB特征和HSI特征进行拼接融合得到颜色特征向量。

将统计出的上述RGB和HSI特征值进行拼接，形成该多张多视角桑葚簇样本图像对应的12维颜色特征向量。此时，对于同一个桑葚簇，其得到的颜色特征向量是唯一的，为了跟后续面积特征向量实现融合，将采集的每张原始桑葚簇图像对应的颜色特征向量均取值为融合后桑葚图像对应的颜色特征向量，以得到原始采集的每张多角度桑葚簇样本图像对应的颜色特征向量。

面积特征向量提取具体包括：以原始采集的多视角桑葚簇样本图像为基础，首先对图像进行二值化表示，再进行阈值分割，以提取出桑葚果的轮廓，识别其中包含的多颗桑葚中每一颗的横径和纵径，以横径和纵径的乘积来表示每颗桑葚的面积，从而得到本张图像中桑葚的面积特征向量。

一般来说，桑葚成熟度越高，其对应果实体积越大，而桑葚的形状较为均匀，可以等效为圆柱体，而圆柱体的纵向横截面为矩形，为了简化图像处理流程，提取桑葚的面积特征，也能够反映出桑葚果实的大小，从而作为检测成熟度的特征。

原始采集的多视角桑葚簇样本图像，由于桑葚的形状分布较为均匀，因此拍摄角度对面积特征的影响不大，因此不需要先进行融合操作，还可以起到扩充样本的作用。

在一种具体实施方式中，如图3所示，步骤S311，对采集到的多视角桑葚样本图像阈值分割，提取桑葚轮廓。

首先对原始采集的多视角桑葚簇样本图像进行二值化，再进行阈值分割，以提取出桑葚果的轮廓，识别其中包含的多颗桑葚中每一颗。

步骤S312，确定识别出的每颗桑葚的横径和纵径。

对识别得到的每一颗桑葚，计算其最小外接矩形，并将该外接矩形的长和宽分别作为该颗桑葚的横径和纵径，以横径和纵径的乘积来表示每颗桑葚的面积。

步骤S313，统计每颗桑葚的面积，从而确定整个桑葚簇对应的面积特征。

在提取面积特征时，需要计算的是单颗桑葚的面积，对于桑葚簇来说，其通常包含多颗桑葚，为了降低特征维度，提升计算效率，因此统计每个簇桑葚呈现的面积分布情况，将呈现的面积范围作为该桑葚簇的面积特征。并统计该桑葚簇中包含的桑葚分别属于大果面积、中果面积以及小果面积的比例，将三个比例分别映射到[0,1]范围区间内，作为面积的三个特征值进行记录，作为面积的三个特征值进行记录，从而得到该桑葚图像的面积特征向量。

将获得的所述颜色特征向量和面积特征向量进行融合，形成融合后的特征向量，此处融合操作为将颜色特征向量对应的12个特征值和面积特征向量对应的3个特征值进行拼接操作，最终得到15维融合特征向量。

将融合后的特征向量输入预先训练好的多层感知机成熟度检测模型实现成熟度检测。

具体地，在一种具体实施方式中，训练多层感知机成熟度检测模型可以通过下述方法确定：

设计多层感知机的整体架构，本发明采用如下多层感知机模型，包括一个输入层、一个输出层、5个隐藏层，使用relu作为激活函数，采用交叉熵作为损失函数，求解损失函数的最小值。

采集到的桑葚图片进行人工标记分为半熟、成熟、全熟三类，选取75%数量作为训练集，25%数量作为测试集，按照前述图像处理操作提取特征对训练集进行训练迭代。输入为对图像提取的12 维颜色以及3维面积特征向量共15维特征向量，输出该张图片的桑葚分别属于半熟、成熟、全熟三类的概率向量。

具体地，在一种具体实施方式中，利用训练好的多层感知机成熟度检测模型实现成熟度检测可以通过下述方法确定：

模型输出的是单张图片所包含桑葚分别属于三种成熟度的概率向量，三种类别分别设置为半熟、成熟、全熟；

结合模型输出判断来自同一组桑树的桑葚的成熟度；

成熟度判断规则为：将一张图片中概率最大值对应的成熟度类别作为该张图片的成熟度类别。本申请成熟度检测模型输出的是该张桑葚图片分别属于半熟、成熟、全熟的概率向量，如[0.1,0.1,0.8]，其中全熟对应的概率值0.8最大，于是认为该张图片对应的成熟度为全熟。

根据预先对采集的桑葚簇样本图像的编码标记，确定各图片所属的桑树，统计来自同一棵桑树的图片所属类别的概率分布，将一棵桑树中概率最大值对应的成熟度类别作为该棵桑树的成熟度类别。前面已经统计了每张图片对应的成熟度类别，统计来自同一棵桑树的图片对应的成熟度概率分布，得到该棵桑树分别属于半熟、成熟、全熟的概率向量。例如，该棵桑树共采集100张图片，其中80张图片的类别为全熟，10张图片的类别为成熟，10张图片的类别为半熟，其中全熟对应的概率值最大，于是认为该棵桑树对应的成熟度为全熟。

根据预先对采集的桑葚簇样本图像的编码标记，确定各桑树所属的组，统计来自同一组的桑树所属类别的概率分布，将一组桑树中概率最大值对应的成熟度类别作为该组桑树的成熟度类别 。基于前述相同的方式，对每组桑树对应的成熟度类别进行判断和确定。

具体地，在一种具体实施方式中，根据成熟度为该组桑葚树的振采装置设计振采参数可以通过下述方法确定：

确定参与本次采摘任务的空闲振采装置的数量k，k小于果园桑树的组数n，对k台振采设备进行0、1、2三个值交错编号，最终将k台装置分为3组，每组设备分别认领半熟、成熟、全熟的采摘任务；

为3组设备分别设置半熟、成熟、全熟对应的振采参数，包括振采频率和振采幅度。

具体地，在一种具体实施方式中，采摘路径规划可以通过下述方法确定：

按照不同的振采参数实现不同组桑葚果的采摘，按照总采摘时间最短的原则规划采摘路径。

按照预先对桑树的分组n，将采摘任务对应分为n组，三组振采设备同时出发采集，当某个设备完成当前采摘任务后，为其分配距离最近的其他未开始的属于同个成熟度类别的采摘任务，若同类别的采摘任务已经全部完成，再为其分配其他类别的未开始的采摘任务，调整振采参数后开始任务，直到采摘任务全部完成。

本申请还提供一种基于机器视觉智能识别成熟度的桑葚采摘装置，包括：分组模块、图像采集模块、成熟度检测模块、任务规划模块、路径规划模块，实现如实施例1的一种基于机器视觉智能识别成熟度的桑葚采摘方法。

本实施例还提供一种计算机设备，包括：一个或多个处理器；存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现实施例1的一种基于机器视觉智能识别成熟度的桑葚采摘方法。

本实施例还提供一种计算机可读存储介质，包括：一个或多个处理器；存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现实施例1的一种基于机器视觉智能识别成熟度的桑葚采摘方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、计算机设备或计算机可读存储介质。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (8)

1.一种基于机器视觉智能识别成熟度的桑葚采摘方法，其特征在于，包括如下步骤：

步骤S1、将果园中的桑树划分成n组；

步骤S2、对每棵所述桑树上的桑葚进行图像采集；

步骤S3、基于预先训练好的多层感知机成熟度检测模型对所述桑葚进行成熟度检测，得到每组所述桑树对应的成熟度；

步骤S4、根据成熟度为该组桑树的振采装置设计振采参数；

步骤S5、按照总采摘时间最短的原则规划采摘路径；

其中，步骤S2具体包括：

以桑葚簇为单位，采集同一个桑葚簇对应的多张多视角桑葚簇样本图像；

其中，步骤S3具体包括：

对所述多张多视角桑葚簇样本图像进行特征提取，获取颜色特征向量和面积特征向量；

颜色特征向量提取方式为：对所述同一个桑葚簇对应的多张多视角桑葚簇样本图像进行融合处理，得到一张融合桑葚簇样本图像，具体包括：

首先对所述多张多视角桑葚簇样本图像进行彩图分割操作，去除遮挡物，从采集的图像中分割出目标桑葚簇；彩图分割操作采用颜色空间聚类的方式，利用k-均值方法对R、G、B三个颜色空间进行聚类，从而得到保留颜色特征的多张多视角桑葚簇样本图像；

对于分割后的所述多张多视角桑葚簇样本图像，分别在R、G、B三个通道上进行均值处理，以得到一张融合桑葚簇样本图像；融合后的桑葚簇样本图像中，每个通道上某个坐标的像素值等于所述多张多视角桑葚簇图像在对应坐标上该通道对应的像素值相加取平均；

对所述融合桑葚簇样本图像，提取RGB和HSI特征，统计每张所述融合桑葚簇样本图像中的R、G、B每个通道的像素均值和方差，作为该通道的特征值；统计每张所述融合桑葚簇样本图像中的H、S、I分量的均值和方差，作为该分量对应的特征值，将统计出的上述特征值进行拼接，形成所述多张多视角桑葚簇样本图像对应的12维颜色特征向量；

面积特征向量提取方式为：以所述多视角桑葚簇样本图像为基础，首先对所述多视角桑葚簇样本图像进行二值化表示，再进行阈值分割，识别每张图像中包含的多颗桑葚中每一颗；对识别得到的每一颗桑葚，计算其最小外接矩形，并将该外接矩形的长和宽分别作为该颗桑葚的横径和纵径，以横径和纵径的乘积来表示每颗桑葚的面积；预先设置大果、中果、小果分别对应的面积范围，计算桑葚簇中识别得到的每颗桑葚的面积，并统计该桑葚簇中包含的桑葚分别属于大果面积、中果面积以及小果面积的比例，将三个比例分别映射到[0,1]范围区间内，作为面积的三个特征值进行记录，从而得到多角度桑葚簇图像对应的3维面积特征向量；

将获得的所述颜色特征向量和面积特征向量进行融合，形成融合后的特征向量；

将所述融合后的特征向量输入预先训练好的多层感知机成熟度检测模型实现成熟度检测；

根据预先设置的成熟度判断规则确定所述每组桑树对应的成熟度。

2.如权利要求1所述的一种基于机器视觉智能识别成熟度的桑葚采摘方法，其特征在于，步骤S1具体包括：将所述桑树按照种植位置分为n组，每组包含相同数量的桑树，属于同一组的桑树种植位置连接起来构成一条直线。

3. 如权利要求1所述的一种基于机器视觉智能识别成熟度的桑葚采摘方法， 其特征在于，所述步骤S2具体包括：对采集得到的每张桑葚簇样本图像进行编码标记，为来自同一颗桑树的图像设置相同的树标；为来自同一组桑树的图像设置相同的组标，组与组之间用不同的标记区分。

4.如权利要求1所述的一种基于机器视觉智能识别成熟度的桑葚采摘方法，其特征在于，所述步骤S2具体包括：从正视角、后视角、左视角以及右视角4个视角进行拍摄，每簇桑葚共采集4张图像；或者，以桑葚簇为中心，每旋转36度拍摄一张图像，每簇桑葚共采集10张图像。

5. 如权利要求1所述的一种基于机器视觉智能识别成熟度的桑葚采摘方法，其特征在于，所述步骤S3具体包括：所述多层感知机成熟度检测模型包括一个输入层、一个输出层、5个隐藏层，使用relu作为激活函数，采用交叉熵作为损失函数，求解损失函数的最小值；模型输入为对图片提取的12 维颜色特征以及3维面积特征共15维特征向量，模型输出的是单张图片所包含桑葚分别属于三种成熟度类别的概率向量，三种成熟度类别分别设置为半熟、成熟、全熟。

6. 如权利要求5所述的一种基于机器视觉智能识别成熟度的桑葚采摘方法，其特征在于，步骤S3具体包括：所述成熟度判断规则为：将一张图片中概率最大值对应的成熟度类别作为该张图片的成熟度类别；根据预先对采集的桑葚簇样本图像的编码标记，确定各图片所属的桑树，统计来自同一棵桑树的图片所属成熟度类别的概率分布，将一棵桑树中概率最大值对应的成熟度类别作为该棵桑树的成熟度类别；确定各桑树所属的组，统计来自同一组的桑树所属成熟度类别的概率分布，将一组桑树中概率最大值对应的成熟度类别作为该组桑树的成熟度类别 。

7.如权利要求1所述的一种基于机器视觉智能识别成熟度的桑葚采摘方法，其特征在于，步骤S4具体包括：确定参与本次采摘任务的空闲振采装置的数量k，k小于果园桑树的组数n，对k台振采设备进行0、1、2三个值交错编号，最终将k台装置分为3组，每组设备分别认领半熟、成熟、全熟的采摘任务；为3组设备分别设置半熟、成熟、全熟对应的振采参数，所述振采参数包括振采频率和振采幅度。

8.一种基于机器视觉智能识别成熟度的桑葚采摘装置，其特征在于，包括分组模块、图像采集模块、成熟度检测模块、任务规划模块以及路径规划模块，用于实现如权利要求1-7任一项所述的一种基于机器视觉智能识别成熟度的桑葚采摘方法。

Images