CN116267226A - 一种基于机器视觉智能识别成熟度的桑葚采摘方法与装置 - Google Patents
一种基于机器视觉智能识别成熟度的桑葚采摘方法与装置 Download PDFInfo
- Publication number
- CN116267226A CN116267226A CN202310549469.XA CN202310549469A CN116267226A CN 116267226 A CN116267226 A CN 116267226A CN 202310549469 A CN202310549469 A CN 202310549469A CN 116267226 A CN116267226 A CN 116267226A
- Authority
- CN
- China
- Prior art keywords
- mulberry
- maturity
- picking
- mulberries
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000008708 Morus alba Nutrition 0.000 title claims abstract description 279
- 240000000249 Morus alba Species 0.000 title claims abstract description 183
- 238000000034 method Methods 0.000 title claims abstract description 42
- 241000218231 Moraceae Species 0.000 claims abstract description 84
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 239000002420 orchard Substances 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 52
- 235000013399 edible fruits Nutrition 0.000 claims description 21
- 241000218213 Morus <angiosperm> Species 0.000 claims description 12
- 238000005065 mining Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 8
- 230000004927 fusion Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000003306 harvesting Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
- A01D46/26—Devices for shaking trees or shrubs; Fruit catching devices to be used therewith
- A01D46/264—Devices for beating or vibrating the foliage; Fruit catching devices to be used therewith
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及桑葚自动采摘领域,其具体公开了一种基于机器视觉智能识别成熟度的桑葚采摘方法与装置。采摘前对果园的桑树进行分组,再采集每组桑树对应的桑葚图像,结合图像处理技术提取桑葚的颜色特征和面积特征,利用预先训练好的多层感知机成熟度检测模型对预先分组的桑树进行成熟度检测,并基于不同的成熟度为参与采摘任务的多台振采装置设置振采参数,再对整个采摘任务进行分配和规划,最终提升了桑葚采摘的效率和质量,减小了采摘过程中对桑树的损伤。
Description
技术领域
本发明属于桑葚采摘技术领域,具体涉及基于机器视觉智能识别成熟度的桑葚采摘方法与装置。
背景技术
当前,为了提升采摘效率,桑葚采摘多采用机械化方式,主要采用机械振动或者气动式采果机,使果实振摇掉落,由设置在果树下的承接装置接收,并由输送装置输送至运输车上。桑葚成熟度越高,与桑树枝条连接强度越低,此时用比较小的振采强度就能够使得桑葚脱落;反之,桑葚成熟度越低,与桑树枝条连接强度越高,此时用比较大的振采强度才能够使得桑葚脱落,而振采强度越大对桑树的损伤就越大。
现有技术中,在采摘桑葚时通常使用相同的振采强度实现采摘,并未依据成熟度来设置不同的振采强度。究其原因,一方面是桑葚成熟度的智能检测方法还存在诸多实践困难,另一方面是若是以棵为单位进行振采强度的设置,会大幅度降低采摘效率。
目前对桑葚成熟度的检测方法更多应用于采后分类,即采摘以后进行抽样检测并分类;而采摘前的成熟度检测方法相比于采后检测,存在更多的困难,比如采集图像中会存在干扰物遮挡、不同光照不同角度影响成像质量、如何将成熟度检测跟实际采摘任务的效率结合起来。
发明内容
本发明的目的在于克服现有技术中存在的上述技术问题,提供了一种基于机器视觉智能识别成熟度的桑葚采摘方法,该方法首先在采摘任务开始前,采集桑葚图像,结合图像处理技术对果园中的桑葚成熟度进行检测,再根据成熟度对采摘装置进行分类和任务规划,使得采摘任务兼顾效率和质量。
为了实现上述发明目的,本发明提供了以下技术方案:
一种基于机器视觉智能识别成熟度的桑葚采摘方法,其特征在于,包括如下步骤:
步骤S1、将果园中的桑树划分成n组;
步骤S2、对每棵所述桑树上的桑葚进行图像采集;
步骤S3、基于预先训练好的多层感知机成熟度检测模型对所述桑葚进行成熟度检测,得到每组所述桑树对应的成熟度;
步骤S4、根据成熟度为该组桑树的振采装置设计振采参数;
步骤S5、按照总采摘时间最短的原则规划采摘路径。
进一步地,所述步骤S1具体为:
将果园中的桑树按照种植位置分为n组,每组包含相同数量的桑树,属于同一组的桑树种植位置连接起来构成一条直线。
进一步地,所述步骤S2具体为:
以桑葚簇为单位,采集同一个桑葚簇对应的多张多视角桑葚簇样本图像;对采集得到的每张桑葚簇样本图像进行编码标记,为来自同一颗桑树的图像设置相同的树标;为来自同一组桑树的图像设置相同的组标,组与组之间用不同的标记区分。
进一步地,所述步骤S3具体为:
对所述多张多视角桑葚簇样本图像进行特征提取,获取颜色特征向量和面积特征向量;
颜色特征向量提取方式为:对所述同一个桑葚簇对应的多张多视角桑葚簇样本图像进行融合处理,得到一张融合桑葚簇样本图像,具体包括:
首先对所述多张多视角桑葚簇样本图像进行彩图分割操作,去除叶片遮挡物,从采集的图像中分割出目标桑葚簇;彩图分割操作采用颜色空间聚类的方式,利用k-均值方法对R、G、B三个颜色空间进行聚类,从而得到保留颜色特征的多张多视角桑葚簇样本图像;
对于分割后的所述多张多视角桑葚簇样本图像,分别在R、G、B三个通道上进行均值处理,以得到一张融合桑葚簇样本图像;融合后的桑葚簇样本图像中,每个通道上某个坐标的像素值等于所述多张多视角桑葚簇图像在对应坐标上该通道对应的像素值相加取平均;
对所述融合桑葚簇样本图像,提取RGB和HSI特征,统计每张所述融合桑葚簇样本图像中的R、G、B每个通道的像素均值和方差,作为该通道的特征值;统计每张所述融合桑葚簇样本图像中的H、S、I分量的均值和方差,作为该分量对应的特征值,将统计出的上述特征值进行拼接,形成所述多张多视角桑葚簇样本图像对应的12维颜色特征向量;
面积特征向量提取方式为:以所述多视角桑葚簇样本图像为基础,首先对所述多视角桑葚簇样本图像进行二值化表示,再进行阈值分割,识别每张图像中包含的多颗桑葚中每一颗;对识别得到的每一颗桑葚,计算其最小外接矩形,并将该外接矩形的长和宽分别作为该颗桑葚的横径和纵径,以横径和纵径的乘积来表示每颗桑葚的面积;预先设置大果、中果、小果分别对应的面积范围,计算桑葚簇中识别得到的每颗桑葚的面积,并统计该桑葚簇中包含的桑葚分别属于大果面积、中果面积以及小果面积的比例,将三个比例分别映射到[0,1]范围区间内,作为面积的三个特征值进行记录,从而得到多角度桑葚簇图像对应的3维面积特征向量;
将获得的所述颜色特征向量和面积特征向量进行融合,形成融合后的特征向量;
将所述融合后的特征向量输入预先训练好的多层感知机成熟度检测模型实现成熟度检测;
根据预先设置的成熟度判断规则确定每组桑树对应的成熟度。
所述成熟度判断规则为:将一张图片中概率最大值对应的成熟度类别作为该张图片的成熟度类别;根据预先对采集的桑葚簇样本图像的编码标记,确定各图片所属的桑树,统计来自同一棵桑树的图片所属类别的概率分布,将一棵桑树中概率最大值对应的成熟度类别作为该棵桑树的成熟度类别;确定各桑树所属的组,统计来自同一组的桑树所属类别的概率分布,将一组桑树中概率最大值对应的成熟度类别作为该组桑树的成熟度类别 。
进一步地,所述步骤S3具体为:
所述多层感知机成熟度检测模型包括一个输入层、一个输出层、5个隐藏层,使用relu作为激活函数,采用交叉熵作为损失函数,求解损失函数的最小值;模型输入为对图片提取的12 维颜色特征以及3维面积特征共15维特征向量,模型输出的是单张图片所包含桑葚分别属于三种成熟度类别的概率向量,三种成熟度类别分别设置为半熟、成熟、全熟。
进一步地,所述步骤S4具体为:
确定参与本次采摘任务的空闲振采装置的数量k,k小于果园桑树的组数n,对k台振采设备进行0、1、2三个值交错编号,最终将k台装置分为3组,每组设备分别认领半熟、成熟和全熟的采摘任务;
为3组设备分别设置半熟和全熟对应的振采参数,包括振采频率和振采幅度。
第二方面,本申请提供一种基于机器视觉智能识别成熟度的桑葚采摘装置,其特征在于,包括如下模块:
分组模块:将果园中的桑树桑树划分成n组;
图像采集模块:对每棵桑树上的桑葚进行图像采集;
成熟度检测模块:基于预先训练好的多层感知机成熟度检测模型对所述桑葚进行成熟度检测,得到每组所述桑树对应的成熟度;
任务规划模块:根据成熟度为该组桑树的振采装置设计振采参数;
路径规划模块:按照总采摘时间最短的原则规划采摘路径。
通过采用上述技术,与现有技术相比,本发明的有益效果是:
本申请在进行桑葚成熟度检测时,结合颜色特征和面积特征,利用多层感知机模型对采摘前的桑葚进行成熟度检测,提升成熟度检测效果和效率。
本申请在桑葚采摘前实现桑葚的成熟度检测,按照不同的成熟度设置不同的振采参数,减小了采摘过程中对桑树的损伤;
本申请在成熟度检测和采摘任务进行之前对桑树进行编组,按组为单位实现成熟度检测,能够兼顾采摘效率;
本申请对多台采摘设备进行任务规划和路径规则,实现了采摘效率的提升。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定, 对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请基于桑葚成熟度的检测和采摘流程图;
图2为本申请桑葚颜色特征向量提取流程图;
图3为本申请桑葚面积特征向量提取流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
如图1所示,本实施例提供一种基于机器视觉智能识别成熟度的桑葚采摘方法,其中,具体过程包括:
步骤S1、将果园中的桑树划分成n组;
步骤S2、对每棵桑树上的桑葚进行图像采集;
步骤S3、基于预先训练好的多层感知机成熟度检测模型对所述桑葚进行成熟度检测,得到每组所述桑树对应的成熟度;
步骤S4、根据成熟度为该组桑树的振采装置设计振采参数;
步骤S5、按照总采摘时间最短的原则规划采摘路径;
具体地,在一种具体实施方式中,步骤S1中,桑树分组方式可以通过下述方法确定:
为了更加便捷高效实现后续采摘任务,本申请首先对同一个果园中的桑树进行分组,为每一棵桑树分配一个序号,并将所有桑树划分为n组,每组中包含的桑树数量尽量均匀,优选方式为使得每组包含相同数量的桑树,更重要的是,划分为同一组的桑树,其种植位置能够连接成一条直线,这是为了后续实现采摘任务时能够以组为单位进行,组内采摘任务进行时能够缩短采摘路径,提升采摘效率。具体的划分方式,可以结合果园桑树的种植分布规律来设计。
具体地,在一种具体实施方式中,步骤S2中,对每棵桑树上的桑葚进行图像采集可以通过下述方法确定:
桑葚果实成熟度和其表皮颜色紧密相关,因此颜色特征是判断桑葚是否成熟的一个重要特征。而桑葚在成熟过程中,其表皮颜色呈现由浅到深的变化,在某个时刻,其可能会存在一半深色、一半浅色的状态。
对果园中的每颗桑树进行图像采集时,考虑上述桑葚本身的特性以及采集过程中不同光照、角度的影响,对同一个桑葚簇尽可能采集多个视角的图像,一方面能够最大限度消除上述因素的影响,另一方面可以扩充样本量。一种多角度采集方式为从正视角、后视角、左视角以及右视角等4个视角进行拍摄,每簇桑葚共采集4张图像;另一种多角度采集方式为以桑葚簇为中心,每旋转36度拍摄一张图像,每簇桑葚共采集10张图像。
由于后续需要以桑树组为单位进行成熟度判断,因此对采集的每张图片进行编码标记,为来自同一颗桑树的图片设置相同的树标;为来自同一组桑树的图片设置相同的组标,组与组之间用不同的标记区分。
具体地,在一种具体实施方式中,如图2所示,步骤S3中,利用预先训练好的成熟度检测模型对所述桑葚果实图像进行成熟度检测可以通过下述方法确定:
对所述桑葚簇样本图像进行特征提取,获取颜色特征向量和面积特征向量。
步骤S301,对采集到的多视角桑葚样本图像进行融合处理。
其中,颜色特征向量提取具体包括:对同一桑葚簇对应的多个视角图像进行融合处理,得到一张融合后样本图像,以消除单一拍摄视角对桑葚颜色信息的误判;
多视角图像融合涉及的具体步骤如下:
首先对所述多张多视角桑葚簇样本图像进行彩图分割操作,去除叶片遮挡物,获得保留颜色特征的桑葚图像。
彩图分割操作采用颜色空间聚类的方式,利用k-均值方法对RGB三个颜色空间进行聚类,从而得到保留颜色特征的多张桑葚图像。
再对多张桑葚图像进行配准,使得每张图像的桑葚区域都位于图片的中心区域,对配准后的图像进行融合处理。
由于融合时需要保留图像的颜色特征,即对于多张桑葚图像,分别在R、G、B三个通道上进行均值处理,以得到一张融合后的桑葚样本图像;融合后的图像每个通道上某个坐标的像素值等于多张桑葚图像在对应坐标上该通道对应的像素值相加取平均。
步骤S302,对融合后的桑葚样本图像提取RGB特征。
具体方式为:对于每张融合后的桑葚样本图像,统计每张融合后的桑葚样本图像中R、G、B三个通道的像素均值和方差,作为该通道的特征值;
步骤S303,对融合后的桑葚样本图像提取HSI特征。
具体方式为:对于每张融合后的桑葚样本图像,统计每张融合后的桑葚样本图像中H、S、I分量的均值和方差,作为该分量对应的特征值。
步骤S304,将RGB特征和HSI特征进行拼接融合得到颜色特征向量。
将统计出的上述RGB和HSI特征值进行拼接,形成该多张多视角桑葚簇样本图像对应的12维颜色特征向量。此时,对于同一个桑葚簇,其得到的颜色特征向量是唯一的,为了跟后续面积特征向量实现融合,将采集的每张原始桑葚簇图像对应的颜色特征向量均取值为融合后桑葚图像对应的颜色特征向量,以得到原始采集的每张多角度桑葚簇样本图像对应的颜色特征向量。
面积特征向量提取具体包括:以原始采集的多视角桑葚簇样本图像为基础,首先对图像进行二值化表示,再进行阈值分割,以提取出桑葚果的轮廓,识别其中包含的多颗桑葚中每一颗的横径和纵径,以横径和纵径的乘积来表示每颗桑葚的面积,从而得到本张图像中桑葚的面积特征向量。
一般来说,桑葚成熟度越高,其对应果实体积越大,而桑葚的形状较为均匀,可以等效为圆柱体,而圆柱体的纵向横截面为矩形,为了简化图像处理流程,提取桑葚的面积特征,也能够反映出桑葚果实的大小,从而作为检测成熟度的特征。
原始采集的多视角桑葚簇样本图像,由于桑葚的形状分布较为均匀,因此拍摄角度对面积特征的影响不大,因此不需要先进行融合操作,还可以起到扩充样本的作用。
在一种具体实施方式中,如图3所示,步骤S311,对采集到的多视角桑葚样本图像阈值分割,提取桑葚轮廓。
首先对原始采集的多视角桑葚簇样本图像进行二值化,再进行阈值分割,以提取出桑葚果的轮廓,识别其中包含的多颗桑葚中每一颗。
步骤S312,确定识别出的每颗桑葚的横径和纵径。
对识别得到的每一颗桑葚,计算其最小外接矩形,并将该外接矩形的长和宽分别作为该颗桑葚的横径和纵径,以横径和纵径的乘积来表示每颗桑葚的面积。
步骤S313,统计每颗桑葚的面积,从而确定整个桑葚簇对应的面积特征。
在提取面积特征时,需要计算的是单颗桑葚的面积,对于桑葚簇来说,其通常包含多颗桑葚,为了降低特征维度,提升计算效率,因此统计每个簇桑葚呈现的面积分布情况,将呈现的面积范围作为该桑葚簇的面积特征。并统计该桑葚簇中包含的桑葚分别属于大果面积、中果面积以及小果面积的比例,将三个比例分别映射到[0,1]范围区间内,作为面积的三个特征值进行记录,作为面积的三个特征值进行记录,从而得到该桑葚图像的面积特征向量。
将获得的所述颜色特征向量和面积特征向量进行融合,形成融合后的特征向量,此处融合操作为将颜色特征向量对应的12个特征值和面积特征向量对应的3个特征值进行拼接操作,最终得到15维融合特征向量。
将融合后的特征向量输入预先训练好的多层感知机成熟度检测模型实现成熟度检测。
具体地,在一种具体实施方式中,训练多层感知机成熟度检测模型可以通过下述方法确定:
设计多层感知机的整体架构,本发明采用如下多层感知机模型,包括一个输入层、一个输出层、5个隐藏层,使用relu作为激活函数,采用交叉熵作为损失函数,求解损失函数的最小值。
采集到的桑葚图片进行人工标记分为半熟、成熟、全熟三类,选取75%数量作为训练集,25%数量作为测试集,按照前述图像处理操作提取特征对训练集进行训练迭代。输入为对图像提取的12 维颜色以及3维面积特征向量共15维特征向量,输出该张图片的桑葚分别属于半熟、成熟、全熟三类的概率向量。
具体地,在一种具体实施方式中,利用训练好的多层感知机成熟度检测模型实现成熟度检测可以通过下述方法确定:
模型输出的是单张图片所包含桑葚分别属于三种成熟度的概率向量,三种类别分别设置为半熟、成熟、全熟;
结合模型输出判断来自同一组桑树的桑葚的成熟度;
成熟度判断规则为:将一张图片中概率最大值对应的成熟度类别作为该张图片的成熟度类别。本申请成熟度检测模型输出的是该张桑葚图片分别属于半熟、成熟、全熟的概率向量,如[0.1,0.1,0.8],其中全熟对应的概率值0.8最大,于是认为该张图片对应的成熟度为全熟。
根据预先对采集的桑葚簇样本图像的编码标记,确定各图片所属的桑树,统计来自同一棵桑树的图片所属类别的概率分布,将一棵桑树中概率最大值对应的成熟度类别作为该棵桑树的成熟度类别。前面已经统计了每张图片对应的成熟度类别,统计来自同一棵桑树的图片对应的成熟度概率分布,得到该棵桑树分别属于半熟、成熟、全熟的概率向量。例如,该棵桑树共采集100张图片,其中80张图片的类别为全熟,10张图片的类别为成熟,10张图片的类别为半熟,其中全熟对应的概率值最大,于是认为该棵桑树对应的成熟度为全熟。
根据预先对采集的桑葚簇样本图像的编码标记,确定各桑树所属的组,统计来自同一组的桑树所属类别的概率分布,将一组桑树中概率最大值对应的成熟度类别作为该组桑树的成熟度类别 。基于前述相同的方式,对每组桑树对应的成熟度类别进行判断和确定。
具体地,在一种具体实施方式中,根据成熟度为该组桑葚树的振采装置设计振采参数可以通过下述方法确定:
确定参与本次采摘任务的空闲振采装置的数量k,k小于果园桑树的组数n,对k台振采设备进行0、1、2三个值交错编号,最终将k台装置分为3组,每组设备分别认领半熟、成熟、全熟的采摘任务;
为3组设备分别设置半熟、成熟、全熟对应的振采参数,包括振采频率和振采幅度。
具体地,在一种具体实施方式中,采摘路径规划可以通过下述方法确定:
按照不同的振采参数实现不同组桑葚果的采摘,按照总采摘时间最短的原则规划采摘路径。
按照预先对桑树的分组n,将采摘任务对应分为n组,三组振采设备同时出发采集,当某个设备完成当前采摘任务后,为其分配距离最近的其他未开始的属于同个成熟度类别的采摘任务,若同类别的采摘任务已经全部完成,再为其分配其他类别的未开始的采摘任务,调整振采参数后开始任务,直到采摘任务全部完成。
本申请还提供一种基于机器视觉智能识别成熟度的桑葚采摘装置,包括:分组模块、图像采集模块、成熟度检测模块、任务规划模块、路径规划模块,实现如实施例1的一种基于机器视觉智能识别成熟度的桑葚采摘方法。
本实施例还提供一种计算机设备,包括:一个或多个处理器;存储单元,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,能使得所述一个或多个处理器实现实施例1的一种基于机器视觉智能识别成熟度的桑葚采摘方法。
本实施例还提供一种计算机可读存储介质,包括:一个或多个处理器;存储单元,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,能使得所述一个或多个处理器实现实施例1的一种基于机器视觉智能识别成熟度的桑葚采摘方法。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、计算机设备或计算机可读存储介质。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,依据本发明的技术实质,在本发明的精神和原则之内,对以上实施例所作的任何简单的修改、等同替换与改进等,均仍属于本发明技术方案的保护范围之内。
Claims (8)
1.一种基于机器视觉智能识别成熟度的桑葚采摘方法,其特征在于,包括如下步骤:
步骤S1、将果园中的桑树划分成n组;
步骤S2、对每棵所述桑树上的桑葚进行图像采集;
步骤S3、基于预先训练好的多层感知机成熟度检测模型对所述桑葚进行成熟度检测,得到每组所述桑树对应的成熟度;
步骤S4、根据成熟度为该组桑树的振采装置设计振采参数;
步骤S5、按照总采摘时间最短的原则规划采摘路径;
其中,步骤S2具体包括:
以桑葚簇为单位,采集同一个桑葚簇对应的多张多视角桑葚簇样本图像;
其中,步骤S3具体包括:
对所述多张多视角桑葚簇样本图像进行特征提取,获取颜色特征向量和面积特征向量;
颜色特征向量提取方式为:对所述同一个桑葚簇对应的多张多视角桑葚簇样本图像进行融合处理,得到一张融合桑葚簇样本图像,具体包括:
首先对所述多张多视角桑葚簇样本图像进行彩图分割操作,去除遮挡物,从采集的图像中分割出目标桑葚簇;彩图分割操作采用颜色空间聚类的方式,利用k-均值方法对R、G、B三个颜色空间进行聚类,从而得到保留颜色特征的多张多视角桑葚簇样本图像;
对于分割后的所述多张多视角桑葚簇样本图像,分别在R、G、B三个通道上进行均值处理,以得到一张融合桑葚簇样本图像;融合后的桑葚簇样本图像中,每个通道上某个坐标的像素值等于所述多张多视角桑葚簇图像在对应坐标上该通道对应的像素值相加取平均;
对所述融合桑葚簇样本图像,提取RGB和HSI特征,统计每张所述融合桑葚簇样本图像中的R、G、B每个通道的像素均值和方差,作为该通道的特征值;统计每张所述融合桑葚簇样本图像中的H、S、I分量的均值和方差,作为该分量对应的特征值,将统计出的上述特征值进行拼接,形成所述多张多视角桑葚簇样本图像对应的12维颜色特征向量;
面积特征向量提取方式为:以所述多视角桑葚簇样本图像为基础,首先对所述多视角桑葚簇样本图像进行二值化表示,再进行阈值分割,识别每张图像中包含的多颗桑葚中每一颗;对识别得到的每一颗桑葚,计算其最小外接矩形,并将该外接矩形的长和宽分别作为该颗桑葚的横径和纵径,以横径和纵径的乘积来表示每颗桑葚的面积;预先设置大果、中果、小果分别对应的面积范围,计算桑葚簇中识别得到的每颗桑葚的面积,并统计该桑葚簇中包含的桑葚分别属于大果面积、中果面积以及小果面积的比例,将三个比例分别映射到[0,1]范围区间内,作为面积的三个特征值进行记录,从而得到多角度桑葚簇图像对应的3维面积特征向量;
将获得的所述颜色特征向量和面积特征向量进行融合,形成融合后的特征向量;
将所述融合后的特征向量输入预先训练好的多层感知机成熟度检测模型实现成熟度检测;
根据预先设置的成熟度判断规则确定所述每组桑树对应的成熟度。
2.如权利要求1所述的一种基于机器视觉智能识别成熟度的桑葚采摘方法,其特征在于,步骤S1具体包括:将所述桑树按照种植位置分为n组,每组包含相同数量的桑树,属于同一组的桑树种植位置连接起来构成一条直线。
3. 如权利要求1所述的一种基于机器视觉智能识别成熟度的桑葚采摘方法, 其特征在于,所述步骤S2具体包括:对采集得到的每张桑葚簇样本图像进行编码标记,为来自同一颗桑树的图像设置相同的树标;为来自同一组桑树的图像设置相同的组标,组与组之间用不同的标记区分。
4.如权利要求1所述的一种基于机器视觉智能识别成熟度的桑葚采摘方法,其特征在于,所述步骤S2具体包括:从正视角、后视角、左视角以及右视角4个视角进行拍摄,每簇桑葚共采集4张图像;或者,以桑葚簇为中心,每旋转36度拍摄一张图像,每簇桑葚共采集10张图像。
5. 如权利要求1所述的一种基于机器视觉智能识别成熟度的桑葚采摘方法,其特征在于,所述步骤S3具体包括:所述多层感知机成熟度检测模型包括一个输入层、一个输出层、5个隐藏层,使用relu作为激活函数,采用交叉熵作为损失函数,求解损失函数的最小值;模型输入为对图片提取的12 维颜色特征以及3维面积特征共15维特征向量,模型输出的是单张图片所包含桑葚分别属于三种成熟度类别的概率向量,三种成熟度类别分别设置为半熟、成熟、全熟。
6. 如权利要求5所述的一种基于机器视觉智能识别成熟度的桑葚采摘方法,其特征在于,步骤S3具体包括:所述成熟度判断规则为:将一张图片中概率最大值对应的成熟度类别作为该张图片的成熟度类别;根据预先对采集的桑葚簇样本图像的编码标记,确定各图片所属的桑树,统计来自同一棵桑树的图片所属成熟度类别的概率分布,将一棵桑树中概率最大值对应的成熟度类别作为该棵桑树的成熟度类别;确定各桑树所属的组,统计来自同一组的桑树所属成熟度类别的概率分布,将一组桑树中概率最大值对应的成熟度类别作为该组桑树的成熟度类别 。
7.如权利要求1所述的一种基于机器视觉智能识别成熟度的桑葚采摘方法,其特征在于,步骤S4具体包括:确定参与本次采摘任务的空闲振采装置的数量k,k小于果园桑树的组数n,对k台振采设备进行0、1、2三个值交错编号,最终将k台装置分为3组,每组设备分别认领半熟、成熟、全熟的采摘任务;为3组设备分别设置半熟、成熟、全熟对应的振采参数,所述振采参数包括振采频率和振采幅度。
8.一种基于机器视觉智能识别成熟度的桑葚采摘装置,其特征在于,包括分组模块、图像采集模块、成熟度检测模块、任务规划模块以及路径规划模块,用于实现如权利要求1-7任一项所述的一种基于机器视觉智能识别成熟度的桑葚采摘方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310549469.XA CN116267226B (zh) | 2023-05-16 | 2023-05-16 | 一种基于机器视觉智能识别成熟度的桑葚采摘方法与装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310549469.XA CN116267226B (zh) | 2023-05-16 | 2023-05-16 | 一种基于机器视觉智能识别成熟度的桑葚采摘方法与装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116267226A true CN116267226A (zh) | 2023-06-23 |
CN116267226B CN116267226B (zh) | 2023-07-28 |
Family
ID=86799928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310549469.XA Active CN116267226B (zh) | 2023-05-16 | 2023-05-16 | 一种基于机器视觉智能识别成熟度的桑葚采摘方法与装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116267226B (zh) |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0957353A2 (en) * | 1998-05-15 | 1999-11-17 | Mitsui Mining & Smelting Co., Ltd | Apparatus for measuring the internal quality of an object |
JP2013240299A (ja) * | 2012-05-21 | 2013-12-05 | Tokyo Univ Of Agriculture & Technology | 収穫装置と収穫方法 |
CN105825171A (zh) * | 2016-03-10 | 2016-08-03 | 江苏大学 | 一种基于rgb-d的树上果实快速识别定位方法 |
CN109220226A (zh) * | 2018-10-31 | 2019-01-18 | 哈尔滨理工大学 | 果实自动识别分类及采摘的果园智能化*** |
CN109978822A (zh) * | 2019-02-15 | 2019-07-05 | 仲恺农业工程学院 | 一种基于机器视觉的香蕉成熟度评判建模方法和评判方法 |
CN111929299A (zh) * | 2020-08-10 | 2020-11-13 | 王美华 | 一种基于机器视觉的农产品种植分析管理*** |
CN112329506A (zh) * | 2020-07-15 | 2021-02-05 | 宁夏工商职业技术学院(宁夏化工技工学校、宁夏机电工程学校、宁夏农业机械化学校) | 枸杞采摘机器人的果实识别方法及***、定位方法及*** |
CN112808603A (zh) * | 2020-12-22 | 2021-05-18 | 南京林业大学 | 基于RealSense相机的鲜切花分选装置及方法 |
CN112990063A (zh) * | 2021-03-30 | 2021-06-18 | 北京林业大学 | 一种基于形状与颜色信息的香蕉成熟度分级方法 |
CN113192026A (zh) * | 2021-04-28 | 2021-07-30 | 北京林业大学 | 一种基于可见光图像的核桃成熟度检测与预测方法 |
CN114359546A (zh) * | 2021-12-30 | 2022-04-15 | 太原科技大学 | 一种基于卷积神经网络的黄花菜成熟度识别方法 |
CN114387520A (zh) * | 2022-01-14 | 2022-04-22 | 华南农业大学 | 一种用于机器人采摘的密集李子精准检测方法及其*** |
CN114586546A (zh) * | 2022-03-14 | 2022-06-07 | 西南大学 | 基于电子鼻与图像识别的草莓自动采摘装置及其控制方法 |
CN114842337A (zh) * | 2022-04-27 | 2022-08-02 | 大连理工大学 | 基于深度学习与多维信息融合聚类的果实采摘点识别方法 |
CN115311520A (zh) * | 2022-08-19 | 2022-11-08 | 广西大学 | 一种基于视觉识别的百香果成熟度检测及定位方法 |
CN115861988A (zh) * | 2023-03-01 | 2023-03-28 | 四川省农业机械研究设计院 | 一种基于rgb区分度的茶叶采摘方法和*** |
-
2023
- 2023-05-16 CN CN202310549469.XA patent/CN116267226B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0957353A2 (en) * | 1998-05-15 | 1999-11-17 | Mitsui Mining & Smelting Co., Ltd | Apparatus for measuring the internal quality of an object |
JP2013240299A (ja) * | 2012-05-21 | 2013-12-05 | Tokyo Univ Of Agriculture & Technology | 収穫装置と収穫方法 |
CN105825171A (zh) * | 2016-03-10 | 2016-08-03 | 江苏大学 | 一种基于rgb-d的树上果实快速识别定位方法 |
CN109220226A (zh) * | 2018-10-31 | 2019-01-18 | 哈尔滨理工大学 | 果实自动识别分类及采摘的果园智能化*** |
CN109978822A (zh) * | 2019-02-15 | 2019-07-05 | 仲恺农业工程学院 | 一种基于机器视觉的香蕉成熟度评判建模方法和评判方法 |
CN112329506A (zh) * | 2020-07-15 | 2021-02-05 | 宁夏工商职业技术学院(宁夏化工技工学校、宁夏机电工程学校、宁夏农业机械化学校) | 枸杞采摘机器人的果实识别方法及***、定位方法及*** |
CN111929299A (zh) * | 2020-08-10 | 2020-11-13 | 王美华 | 一种基于机器视觉的农产品种植分析管理*** |
CN112808603A (zh) * | 2020-12-22 | 2021-05-18 | 南京林业大学 | 基于RealSense相机的鲜切花分选装置及方法 |
CN112990063A (zh) * | 2021-03-30 | 2021-06-18 | 北京林业大学 | 一种基于形状与颜色信息的香蕉成熟度分级方法 |
CN113192026A (zh) * | 2021-04-28 | 2021-07-30 | 北京林业大学 | 一种基于可见光图像的核桃成熟度检测与预测方法 |
CN114359546A (zh) * | 2021-12-30 | 2022-04-15 | 太原科技大学 | 一种基于卷积神经网络的黄花菜成熟度识别方法 |
CN114387520A (zh) * | 2022-01-14 | 2022-04-22 | 华南农业大学 | 一种用于机器人采摘的密集李子精准检测方法及其*** |
CN114586546A (zh) * | 2022-03-14 | 2022-06-07 | 西南大学 | 基于电子鼻与图像识别的草莓自动采摘装置及其控制方法 |
CN114842337A (zh) * | 2022-04-27 | 2022-08-02 | 大连理工大学 | 基于深度学习与多维信息融合聚类的果实采摘点识别方法 |
CN115311520A (zh) * | 2022-08-19 | 2022-11-08 | 广西大学 | 一种基于视觉识别的百香果成熟度检测及定位方法 |
CN115861988A (zh) * | 2023-03-01 | 2023-03-28 | 四川省农业机械研究设计院 | 一种基于rgb区分度的茶叶采摘方法和*** |
Non-Patent Citations (5)
Title |
---|
庄子龙;刘英;沈鹭翔;丁奉龙;王争光;: "基于多层感知机的木材颜色分类", 林业机械与木工设备, no. 06 * |
应婧;邱云桥;易文裕;王攀;: "四川桑园机械化发展现状及需求研究", 四川农业与农机, no. 06 * |
王树文, 潘伟, 张长利: "农产品检测与收获以及加工中的机器视觉技术", 农机化研究, no. 03 * |
盛宇明,王志明,汪显跃,潘拱秀,黎竞烈: "红碎茶加工设备调查研究(二)", 茶叶机械杂志, no. 03 * |
赵玲;周桂红;: "基于颜色特征的草莓成熟度识别技术研究", 河北农业大学学报, no. 02 * |
Also Published As
Publication number | Publication date |
---|---|
CN116267226B (zh) | 2023-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105718945B (zh) | 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法 | |
Wu et al. | Detection and counting of banana bunches by integrating deep learning and classic image-processing algorithms | |
CN108562589A (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
CN109800619B (zh) | 成熟期柑橘果实图像识别方法 | |
CN108960011B (zh) | 部分遮挡的柑橘果实图像识别方法 | |
CN106483135A (zh) | 基于机器视觉的复杂背景下玉米粒检测识别装置及方法 | |
CN112233107B (zh) | 基于图像处理技术的葵花籽品级分类方法 | |
CN112990103B (zh) | 一种基于机器视觉的串采二次定位方法 | |
CN113674226A (zh) | 一种基于深度学习的采茶机茶叶芽尖检测方法 | |
CN111274877A (zh) | 一种基于cnn的智能草莓采摘机器人控制*** | |
CN113313692B (zh) | 一种基于航拍可见光图像的香蕉幼株自动识别与计数方法 | |
Chen et al. | A practical solution for ripe tomato recognition and localisation | |
CN115984698A (zh) | 一种基于改进YOLOv5的荔枝果实生长期识别方法 | |
CN115861721B (zh) | 基于图像数据的畜禽养殖喷雾设备状态识别方法 | |
Liu et al. | Development of a machine vision algorithm for recognition of peach fruit in a natural scene | |
CN111161295A (zh) | 一种菜品图像背景剥离方法 | |
CN116363505A (zh) | 一种基于采摘机器人视觉***的目标采摘方法 | |
CN106900601B (zh) | 一种快速精准识别对虾图像虾头点与虾尾点的方法 | |
CN111369497B (zh) | 一种行走式树上果实连续计数方法及装置 | |
CN116267226B (zh) | 一种基于机器视觉智能识别成熟度的桑葚采摘方法与装置 | |
CN113458004A (zh) | 一种基于机器视觉的种子分拣装置及方法 | |
CN112381028A (zh) | 目标物的特征检测方法和装置 | |
CN111353432A (zh) | 一种基于卷积神经网络的金银花药材快速净选方法及*** | |
CN116824624A (zh) | 一种奶牛身份识别方法、***、设备及存储介质 | |
CN115330721A (zh) | 基于形状和颜色信息的香蕉果梳饱满度检测方法与*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |