CN113383642A - 一种瓜菜智能采摘机器人及其采摘方法 - Google Patents

一种瓜菜智能采摘机器人及其采摘方法 Download PDF

Info

Publication number
CN113383642A
CN113383642A CN202110783224.4A CN202110783224A CN113383642A CN 113383642 A CN113383642 A CN 113383642A CN 202110783224 A CN202110783224 A CN 202110783224A CN 113383642 A CN113383642 A CN 113383642A
Authority
CN
China
Prior art keywords
color
fruit
fruits
image
connecting plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110783224.4A
Other languages
English (en)
Other versions
CN113383642B (zh
Inventor
张燕军
葛于杰
吴华昕
缪宏
张善文
葛文军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhou University
Original Assignee
Yangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangzhou University filed Critical Yangzhou University
Priority to CN202110783224.4A priority Critical patent/CN113383642B/zh
Publication of CN113383642A publication Critical patent/CN113383642A/zh
Application granted granted Critical
Publication of CN113383642B publication Critical patent/CN113383642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D46/00Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30Robotic devices for individually picking crops

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种瓜菜智能采摘机器人,其包括行走装置,所述行走装置包括车架,所述车架上侧设有收集框;移动机构,所述移动机构连接在车架上,移动机构包括能左右移动、前后移动且能升降的末端连接板,所述末端连接板朝外的一端固定连接有夹持器,所述夹持机构上方的末端连接板上连接有剪切器,夹持器和剪切器之间的末端连接板上连接有图像采集器;本发明实现黄瓜的自动采摘,省时省力。

Description

一种瓜菜智能采摘机器人及其采摘方法
技术领域
本发明涉及果蔬采摘技术领域,特别是一种瓜菜智能采摘机器人。
背景技术
近几年我国农业现代化高速发展,瓜菜产量逐年升高,因此瓜菜采摘需投入更多的人力、物力、财力。采摘是瓜菜生产中耗时最久,工作量最大的环节,我国对于果实的采摘方式仍然以人工为主,效率较低,且采摘环境普遍较差,工作强度高,尤其在温室大棚内,温度较高,使得采摘人员的体能消耗巨大,采摘人员的身体素质影响着采摘效率,采摘过程中磕碰果实影响出售,造成直接经济损失。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
鉴于上述和/或现有的采摘方式中存在的问题,提出了本发明。
因此,本发明的目的是提供一种瓜菜智能采摘机器人,其采摘效率高,省时省力,降低劳动强度。
为解决上述技术问题,本发明提供如下技术方案:一种瓜菜智能采摘机器人,其包括,
行走装置,所述行走装置包括车架,所述车架上侧设有收集框;
移动机构,所述移动机构连接在车架上,移动机构包括能左右移动、前后移动且能升降的末端连接板,所述末端连接板朝外的一端固定连接有夹持器,所述夹持机构上方的末端连接板上连接有剪切器,夹持器和剪切器之间的末端连接板上连接有图像采集器。
作为本发明所述瓜菜智能采摘机器人的一种优选方案,其中:所述移动机构包括两个固定在车架上侧的第一横梁,两个第一横梁上均可移动地连接有纵梁,两个纵梁之间连接有可在高度方向上移动的升降梁,所述升降梁上连接有第二横梁。
作为本发明所述瓜菜智能采摘机器人的一种优选方案,其中:所述第二横梁可移动地连接在升降梁上,第二横梁的移动方向与纵梁的移动方向平行。
作为本发明所述瓜菜智能采摘机器人的一种优选方案,其中:所述纵梁下侧固定连接有第一滑块,所述第一滑块可沿着第一横梁的长度方向滑动。
作为本发明所述瓜菜智能采摘机器人的一种优选方案,其中:所述升降梁朝向纵梁的一端固定连接有升降块,所述升降块可沿着纵梁上下滑动。
作为本发明所述瓜菜智能采摘机器人的一种优选方案,其中:所述升降梁朝上的一端固定连接有连接块,第二横梁可滑动地连接在连接块上,所述连接块下侧固定连接有第二滑块,所述第二滑块可沿着升降梁的长度方向滑动。
使用瓜菜智能采摘机器人进行采摘的方法,包括以下步骤,
行走装置自动向前行驶,图像采集器将采集到的图像信息发送给上位机,由上位机分析判断是否有果实,若识别出有果实,主控制器控制行走装置停止移动,进行图像处理,得到果实质心相对于图像采集器中点的位姿信息,将果实的质心坐标传输给主控制器,主控制器根据接收到的质心坐标计算出各个梁需要移动的距离;
末端连接板移动到设定位置时,夹持器动作,将果实夹持住,剪切器动作,将对应的果实藤剪断,剪切器复位;
末端连接板朝着收集框所在方向移动,当果实移动至收集框所在位置时,末端连接板停止移动,转动末端连接板,使果实水平,夹持器松开果实,果实落入收集框内。
作为本发明所述采摘方法的一种优选方案,其中:行走装置向前行驶时,若没有识别出果实,上位机将无果实的信号发送给主控制器,主控制器端控制行走装置继续向前移动。
作为本发明所述采摘方法的一种优选方案,其中:识别果实的方法,包括以下步骤,
获取图像采集器拍摄的RGB三通道图像;
对图像进行色彩分割,提取果实背景像素块中的RGB、HIS和Lab这三个色彩空间中的9个色彩成分信息,其中HIS与RGB关系为,
Figure BDA0003157788960000021
Figure BDA0003157788960000031
Figure BDA0003157788960000032
RGB与Lab的关系为,
Figure BDA0003157788960000033
L=116f(Y/Yn)-16
a=500[f(X/Xn)-f(Y/Yn)]
b=200[f(Y/Yn)-f(Z/Zn)];
Figure BDA0003157788960000034
使用最大类间方差法提取G分量,对图像进行分割处理,再使用最大稳定极值区域法进一步滤除背景;
将图像中的果实与背景分割为像素块,使用最近邻值插值算法,将图像放大,针对果实颜色与背景果实叶片颜色接近,使用I-RELIEF特征选择算法得出像素中9种颜色分量权重,将这些颜色分量分别输入到提取权重卷积神经网络框架中以进行权重参数提取,提取权重较大的三个颜色分量,采用基于颜色权重的三通道多路径卷积神经网络特征提取果实轮廓特征,
Hij 1[n]=M(Y[n-1])+Sij 1
Hij 2[n]=W(Y[n-1])+Sij 2
Hij 3[n]=P(Y[n-1])+Sij 3
Uij[n]=(1+β1Hij 1[n])(1+β2Hij 2[n])(1+β3Hij 3[n])+σ
Figure BDA0003157788960000035
Tij[n]=e-αTTij[n-1]+VTYij[n];
将果实图片导入三通道多路径卷积神经网络,对神经网络模型进行训练,区分果实特征和图片背景特征;
将所识别的果实图像导入步骤(4)中已经训练好的神经网络模型中,对果实进行处理,识别出果实轮廓,则若没有识别出果实轮廓,则判断该图像中没有可以采摘的果实;
其中,R、G、B分别为同一像素处彩图的红色、绿色和蓝色三个色彩的分量像素值,H为一种纯色的颜色属性值,I为一种纯色被白光稀释的程度的度量,S为颜色的亮暗程度,L为整张图片的明暗程度,a为红色至绿色的颜色范围,b为黄色至蓝色的颜色范围,Xn为95.074,Yn为100,Zn为108.883,Hij k[n]为第n张图片的外部输入通道,Sij k为第k个权重的外部刺激,Uij[n]为第n张图片的神经元内部活动状态表达项,Tij[n]为第n张图片的动态门限阈值,Yij[n]为第n张图片的二值输出,VT为幅值归一化参数,W、M、P为权值矩阵,α为调整输入平均水平等级参数,σ为神经元内部活动状态误差,β1、β2、β3为权值参数,i和j分别为图片像素点的横坐标和纵坐标。
作为本发明所述采摘方法的一种优选方案,其中:所述步骤(4)中,确定权值参数βi时,动态更新网络中的权重参数,更新公式为,
Figure BDA0003157788960000041
mt=λmt-1+(1-λ)gt
Figure BDA0003157788960000042
Figure BDA0003157788960000043
Figure BDA0003157788960000044
βt+1 i=βt it
其中,gi(t)为t时刻相关权重的参数梯度,f为目标函数,λ为动量因子,取0.9,ε为初始学习率,mt为t时刻的一阶动量,mt为t时刻的一阶动量偏差,vt为t时刻的二阶动量,ηt为t时刻的下降梯度,βt+1 i为t+1时刻的权重参数,βt i为t时刻的权重参数。
本发明的有益效果:本发明通过采摘机器人和果实识别算法的结合,实现果实的准确抓取,抓取结束,自动将果实放置到收集框内;其中,在对果实进行识别时,对权重参数进行实时更新迭代,最终确定用于多路径卷积神经网络中三个权重较大的颜色分量的权重参数,使神经元内部活动状态表达项更为精确,进而使果实图片的二值输出更加准确,更好地区分背景与果实,达到对果实轮廓的精准识别;通过每个通道双层全连接特征的融合分类,避免分类数量的干扰,将叶子和果实区分开,得到更加准确的果实轮廓;尤其适用于采摘黄瓜的工作中。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
图1为本发明中采摘机器人的立体结构图。
图2为本发明中移动机构的立体结构图。
图3为本发明中气动剪切器的气动回路结构图。
图4为本发明中气动夹持器的气动回路结构图。
图5为本发明中黄瓜识别算法流程图。
图6为本发明中多路径卷积神经网络的网络结构模型。
图7为使用本发明中识别黄瓜算法时得到的黄瓜识别图。
图中,1支撑支架,2夹持器,3剪切器,4旋转气缸,500移动机构,501第一横梁,502第一滑块,503从动轮,504连接座,505纵梁,506第二滑块,507连接块,508第二横梁,509升降梁,510升降块,511联轴器,512传动带,513主动轮,514输出轴,515驱动电机,600行走装置,601气泵,602主控制器,603车架,7末端连接板,8第二安全流量开关,9第一安全流量开关,10第一流量开关,11第一减压阀,12第二流量开关,13第二减压阀,14第五流量开关,15第四安全流量开关,16第三安全流量开关,17第三减压阀,18第三流量开关,19第四流量开关,20图像采集器。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
其次,此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例1
参照图1~图4,为本发明的第一个实施例,该实施例提供了一种瓜菜智能采摘机器人,其能自动完成黄瓜的采摘动作,提高采摘效率。
一种瓜菜智能采摘机器人,其包括行走装置600,行走装置600上连接有桁架式移动机构500,移动机构500的末端连接有末端连接板7,末端连接板7上连接有夹持器2,夹持器2上方的末端连接板7上连接有剪切器3,夹持器2和剪切器3之间的末端连接板7上连接有图像采集器20。
进一步的,行走装置600包括车架603,所述车架603上侧设有收集框和气泵601,移动机构500包括两个固定在车架603上侧的第一横梁501,两个第一横梁501上均可移动地连接有竖直设置的纵梁505,纵梁505下侧固定连接有第一滑块502,所述第一滑块502可沿着第一横梁501的长度方向滑动。
进一步的,两个纵梁505之间连接有可在高度方向上移动的升降梁509,升降梁509朝向纵梁505的一端固定连接有升降块510,所述升降块510可沿着纵梁505上下滑动,所述升降梁509上连接有第二横梁508,所述第二横梁508可移动地连接在升降梁509上,升降梁509朝上的一端固定连接有连接块507,第二横梁508可滑动地连接在连接块507上,所述连接块507下侧固定连接有第二滑块506,所述第二滑块506可沿着升降梁509的长度方向滑动,第二横梁508的移动方向与纵梁505的移动方向平行。
进一步的,第二横梁508向外伸出的端部固定有支撑支架1,支撑支架1上固定有旋转气缸4,旋转气缸4与末端连接板7连接,旋转气缸4能驱动末端连接板7转动。
其中,驱动纵梁505移动、升降梁509升降和第二横梁508移动的结构均相同,以驱动纵梁505移动的结构为例进行说明,第一横梁501的一端固定有驱动电机515,驱动电机515上连接有输出轴514,输出轴514上连接有传动轴,传动轴上连接有主动轮513,第一横梁501的另一端固定有连接座504,连接座504上连接有可转动的从动轮503,主动轮513经传动带512与从动轮503连接,传动带512与第一滑块502连接,实现另一个纵梁505的动力端为传动轴,传动轴经联轴器511为驱动另一个纵梁505移动的动力源,实现纵梁505、第二横梁508和升降梁509动作的结构在此不一一赘述;剪切器3为气动剪切结构,夹持器2为气动夹持结构,通过调节气泵601控制夹持器2、剪切器3和旋转气缸4的动作,气泵601与剪切器3的管路之间依次连接有第一流量开关10、第一减压阀11、第一安全流量开关9,第一安全流量开关9和剪切装置之间的管路上还连接有第二流量开关12、第二减压阀13和第二安全流量开关8,给剪切器3充气时,控制第一流量开关10、第一减压阀11和第一安全流量开关9打开,当有气没有抽净时,打开第二流量开关12、减压阀和第二安全流量开关8,达到进一步泄气的目的;气泵601与夹持器2的一个进气端之间的管路上依次连接有第三流量开关18、第三减压阀17、第三安全流量开关16,第三安全流量开关16和夹持器2的一个进气端之间的管路上还连接有第四流量开关19,第四流量开关19的出气口连接有用于排气的管道,第三减压阀17和夹持器2的另一个进气端之间的管路上连接有第四安全流量开关15,第四安全流量开关15和夹持器2的另一个进气端的管路上连接有第五流量开关14,第五流量开关14的出气口连接有用于排气的管道,给夹持器2充气时,控制第三流量开关18、第三减压阀17、第三安全流量开关16打开;给夹持器2停止充气需要使其复位,当有气没有抽净时,控制第四流量开关19和第五流量开关14打开,使夹持器2泄气,快速复位,使夹爪迅速张开;以黄瓜为例进行采摘时,行走装置600自动向前行驶,图像采集器20将采集到的图像信息发送给上位机,由上位机分析判断是否有黄瓜,若识别出有黄瓜,主控制器602控制行走装置600停止移动,进行图像处理,得到黄瓜质心相对于图像采集器20中点的位姿信息,将黄瓜的质心坐标传输给主控制器602,主控制器602根据接收到的质心坐标计算出各个梁需要移动的距离,夹持器2移动至计算设定的位置时,气泵601给夹持器2充气,夹持器2动作,夹持器2上的夹爪由张开逐渐闭合,直至黄瓜被夹持住,气泵601停止给夹持器2充气,控制气泵601给剪切器3充气,将对应的黄瓜藤剪断,打开第二流量开关12和第二减压阀13和第二安全流量开关8,剪切器3复位;气泵601给旋转气缸4充气,使末端连接板7旋转90°,黄瓜由竖直变成水平状态,控制各个梁的动作,使第二横梁508移动至合适的高度且位于收集框所在位置,控制第五流量开关14打开,夹持器2泄气,夹爪将黄瓜松开,黄瓜落入收集框内,实现黄瓜的采摘;若没有识别出黄瓜,上位机将无黄瓜的信号发送给主控制器602,主控制器602端控制行走装置600继续向前移动。
实施例2
参照图5和图6,为本发明的第二个实施例,与第一个实施例的不同之处在于,本实施例公开了使用瓜菜智能采摘机器人进行采摘的方法,以黄瓜为例进行采摘时,包括以下步骤,
行走装置600自动向前行驶,图像采集器20将采集到的图像信息发送给上位机,由上位机分析判断是否有黄瓜,若识别出有黄瓜,主控制器602控制行走装置600停止移动,进行图像处理,得到黄瓜质心相对于图像采集器20中点的位姿信息,将黄瓜的质心坐标传输给主控制器602,主控制器602根据接收到的质心坐标计算出各个梁需要移动的距离,即机器坐标;
根据所获得的黄瓜质心点在水平、竖直及前后方向上相对于双目相机中点的距离,计算出末端连接板7在各个方向上需要移动的距离,进而确定各个驱动电机515的转动圈数,带动各个梁在相应方向上精确移动;
末端连接板7移动到预定位置时,夹持器2动作,将黄瓜夹持住,剪切器3动作,将对应的黄瓜藤剪断,剪切器3复位;
末端连接板7朝着收集框所在方向移动,当黄瓜移动至收集框所在位置时,末端连接板7停止移动,转动末端连接板7,使黄瓜水平,夹持器2松开黄瓜,黄瓜落入收集框内;
若没有识别出黄瓜,上位机将无黄瓜的信号发送给主控制器602,主控制器602端控制行走装置600继续向前移动。
进一步的,识别黄瓜的方法,包括以下步骤,
(1)获取图像采集器20拍摄的RGB三通道图像;
(2)对图像进行色彩分割,提取黄瓜背景像素块中的RGB、HIS和Lab这三个色彩空间中的9个色彩成分信息,其中HIS与RGB关系为,
Figure BDA0003157788960000091
Figure BDA0003157788960000092
Figure BDA0003157788960000093
RGB与Lab的关系为,
Figure BDA0003157788960000094
L=116f(Y/Yn)-16
a=500[f(X/Xn)-f(Y/Yn)]
b=200[f(Y/Yn)-f(Z/Zn)];
Figure BDA0003157788960000095
(3)使用最大类间方差法(OSTU)提取G分量,对图像进行分割处理,再使用最大稳定极值区域法进一步滤除背景;
(4)将图像中的黄瓜与背景分割为像素块,使用最近邻值插值算法,将图像放大,针对黄瓜颜色与背景黄瓜叶片颜色接近,使用I-RELIEF特征选择算法得出像素中9种颜色分量权重,将这些颜色分量分别输入到提取权重卷积神经网络框架中以进行权重参数提取,提取权重较大的三个颜色分量,采用基于颜色权重的三通道多路径卷积神经网络特征提取黄瓜轮廓特征,
Hij 1[n]=M(Y[n-1])+Sij 1
Hij 2[n]=W(Y[n-1])+Sij 2
Hij 3[n]=P(Y[n-1])+Sij 3
Uij[n]=(1+β1Hij 1[n])(1+β2Hij 2[n])(1+β3Hij 3[n])+σ
Figure BDA0003157788960000101
Tij[n]=e-αTTij[n-1]+VTYij[n];
将黄瓜图片导入三通道多路径卷积神经网络,对神经网络模型进行训练,区分黄瓜特征和图片背景特征;
(5)将所识别的黄瓜图像导入步骤(4)中已经训练好的神经网络模型中,结合I-RELIEF颜色成分提取算法、深度学习特征提取算法和SVM特征分类算法对黄瓜进行处理,识别出黄瓜轮廓,则若没有识别出黄瓜轮廓,则判断该图像中没有可以采摘的黄瓜;
其中,R、G、B分别为同一像素处彩图的红色、绿色和蓝色三个色彩的分量像素值,H为一种纯色的颜色属性值,I为一种纯色被白光稀释的程度的度量,S为颜色的亮暗程度,L为整张图片的明暗程度,a为红色至绿色的颜色范围,b为黄色至蓝色的颜色范围,Xn为95.074,Yn为100,Zn为108.883,Hij k[n]为第n张图片的外部输入通道,Sij k为第k个权重的外部刺激,Uij[n]为第n张图片的神经元内部活动状态表达项,Tij[n]为第n张图片的动态门限阈值,Yij[n]为第n张图片的二值输出,VT为幅值归一化参数,W、M、P为权值矩阵,α为调整输入平均水平等级参数,σ为神经元内部活动状态误差,β1、β2、β3为权值参数,i和j分别为图片像素点的横坐标和纵坐标。
进一步的,对于步骤(4)中不断训练的黄瓜识别模型,提取每一个通道倒数第二层的全连接特征进行融合和分类,对于每一个通道提取出来的全连接特征再进行一次全连接特征融合和分类,提取出黄瓜图片三个颜色分量在图片中所占的比重,避免分类数量的干扰,获得黄瓜和背景之间的最大差异信息,得到黄瓜最优神经网络识别模型。
进一步的,所述步骤(4)中,确定权值参数βi时,动态更新网络中的权重参数,更新公式为,
Figure BDA0003157788960000102
mt=λmt-1+(1-λ)gt
Figure BDA0003157788960000103
Figure BDA0003157788960000111
Figure BDA0003157788960000112
βt+1 i=βt it
将不断更新的权重参数和黄瓜图片导入三通道多路径卷积神经网络,对神经网路识别模型进行训练,区分黄瓜特征和图片背景特征。
其中,gi(t)为t时刻相关权重的参数梯度,f为目标函数,λ为动量因子,取0.9,ε为初始学习率,mt为t时刻的一阶动量,mt为t时刻的一阶动量偏差,vt为t时刻的二阶动量,ηt为t时刻的下降梯度,βt+1 i为t+1时刻的权重参数,βt i为t时刻的权重参数,i为权重参数较大的颜色分量,t为迭代时间。
进一步的,定位黄瓜计算黄瓜质心的方法,包括以下步骤,
(S1)进行相机的单目标定,对一块标定板在不同方向进行多次拍照,通过Matlab标定算法,计算获得相机的内参,包括相机的焦距、光心位置、径向畸变和切向畸变;
(S2)进行相机的双目标定,获得相机的旋转向量和平移向量,即相机的外部参数,通过导出的参数对相机进行调参修正;
(S3)为减少无关区域对目标区域采摘点定位的影响,在果实上设置了感兴趣区域,在进行采摘点计算时,只处理感兴趣区域内的图像,提高定位的实时性,由质心矩阵定义知,黄瓜质心坐标计算公式为,
Figure BDA0003157788960000113
(4)通过标定的相机内、外参数,将像素坐标转换成世界坐标,进而确定黄瓜质心三维空间坐标;
其中,i为黄瓜区域内的像素点,n为果实区域内总的像素个数,xi、yi分别为i点的横坐标和纵坐标,(x0,y0)为黄瓜的质心坐标。
通过本发明中以上步骤得到的黄瓜轮廓图参照图7;本发明通过采摘机器人和黄瓜识别算法的结合,实现黄瓜的准确抓取,抓取结束,自动将黄瓜放置到收集框内;其中,在对黄瓜进行识别时,对权重参数进行实时更新迭代,最终确定用于多路径卷积神经网络中三个权重较大的颜色分量的权重参数,使神经元内部活动状态表达项更为精确,进而使黄瓜图片的二值输出更加准确,更好地区分背景与黄瓜,达到对黄瓜轮廓的精准识别;通过每个通道双层全连接特征的融合分类,避免分类数量的干扰,将叶子和黄瓜区分开,得到更加准确的黄瓜轮廓。
重要的是,应注意,在多个不同示例性实施方案中示出的本申请的构造和布置仅是例示性的。尽管在此公开内容中仅详细描述了几个实施方案,但参阅此公开内容的人员应容易理解,在实质上不偏离该申请中所描述的主题的新颖教导和优点的前提下,许多改型是可能的(例如,各种元件的尺寸、尺度、结构、形状和比例、以及参数值(例如,温度、压力等)、安装布置、材料的使用、颜色、定向的变化等)。例如,示出为整体成形的元件可以由多个部分或元件构成,元件的位置可被倒置或以其它方式改变,并且分立元件的性质或数目或位置可被更改或改变。因此,所有这样的改型旨在被包含在本发明的范围内。可以根据替代的实施方案改变或重新排序任何过程或方法步骤的次序或顺序。在权利要求中,任何“装置加功能”的条款都旨在覆盖在本文中所描述的执行所述功能的结构,且不仅是结构等同而且还是等同结构。在不背离本发明的范围的前提下,可以在示例性实施方案的设计、运行状况和布置中做出其他替换、改型、改变和省略。因此,本发明不限制于特定的实施方案,而是扩展至仍落在所附的权利要求书的范围内的多种改型。
此外,为了提供示例性实施方案的简练描述,可以不描述实际实施方案的所有特征(即,与当前考虑的执行本发明的最佳模式不相关的那些特征,或与实现本发明不相关的那些特征)。
应理解的是,在任何实际实施方式的开发过程中,如在任何工程或设计项目中,可做出大量的具体实施方式决定。这样的开发努力可能是复杂的且耗时的,但对于那些得益于此公开内容的普通技术人员来说,不需要过多实验,所述开发努力将是一个设计、制造和生产的常规工作。
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种瓜菜智能采摘机器人,其特征在于:其包括,
行走装置(600),所述行走装置(600)包括车架(603),所述车架(603)上侧设有收集框;
移动机构(500),所述移动机构(500)连接在车架(603)上,移动机构(500)包括能左右移动、前后移动且能升降的末端连接板(7),所述末端连接板(7)朝外的一端固定连接有夹持器(2),所述夹持机构上方的末端连接板(7)上连接有剪切器(3),夹持器(2)和剪切器(3)之间的末端连接板(7)上连接有图像采集器(20)。
2.如权利要求1所述的瓜菜智能采摘机器人,其特征在于:所述移动机构(500)包括两个固定在车架(603)上侧的第一横梁(501),两个第一横梁(501)上均可移动地连接有纵梁(505),两个纵梁(505)之间连接有可在高度方向上移动的升降梁(509),所述升降梁(509)上连接有第二横梁(508)。
3.如权利要求2所述的瓜菜智能采摘机器人,其特征在于:所述第二横梁(508)可移动地连接在升降梁(509)上,第二横梁(508)的移动方向与纵梁(505)的移动方向平行。
4.如权利要求2或3所述的瓜菜智能采摘机器人,其特征在于:所述纵梁(505)下侧固定连接有第一滑块(502),所述第一滑块(502)可沿着第一横梁(501)的长度方向滑动。
5.如权利要求2或3所述的瓜菜智能采摘机器人,其特征在于:所述升降梁(509)朝向纵梁(505)的一端固定连接有升降块(510),所述升降块(510)可沿着纵梁(505)上下滑动。
6.如权利要求3所述的瓜菜智能采摘机器人,其特征在于:所述升降梁(509)朝上的一端固定连接有连接块507,第二横梁(508)可滑动地连接在连接块507上,所述连接块507下侧固定连接有第二滑块(506),所述第二滑块(506)可沿着升降梁(509)的长度方向滑动。
7.使用权利要求1~6任一项所述的瓜菜智能采摘机器人进行采摘的方法,其特征在于:包括以下步骤,
行走装置(600)自动向前行驶,图像采集器(20)将采集到的图像信息发送给上位机,由上位机分析判断是否有果实,若识别出有果实,主控制器(602)控制行走装置(600)停止移动,进行图像处理,得到果实质心相对于图像采集器(20)中点的位姿信息,将果实的质心坐标传输给主控制器(602),主控制器(602)根据接收到的质心坐标计算出各个梁需要移动的距离;
末端连接板(7)移动到设定位置时,夹持器(2)动作,将果实夹持住,剪切器(3)动作,将对应的果实藤剪断,剪切器(3)复位;
末端连接板(7)朝着收集框所在方向移动,当果实移动至收集框所在位置时,末端连接板(7)停止移动,转动末端连接板(7),使果实水平,夹持器(2)松开果实,果实落入收集框内。
8.如权利要求7所述的采摘方法,其特征在于:行走装置(600)向前行驶时,若没有识别出果实,上位机将无果实的信号发送给主控制器(602),主控制器(602)端控制行走装置(600)继续向前移动。
9.如权利要求7所述的采摘方法,其特征在于:识别果实的方法,包括以下步骤,
获取图像采集器(20)拍摄的RGB三通道图像;
对图像进行色彩分割,提取果实背景像素块中的RGB、HIS和Lab这三个色彩空间中的9个色彩成分信息,其中HIS与RGB关系为,
Figure FDA0003157788950000021
Figure FDA0003157788950000022
Figure FDA0003157788950000023
RGB与Lab的关系为,
Figure FDA0003157788950000024
L=116f(Y/Yn)-16
a=500[f(X/Xn)-f(Y/Yn)]
b=200[f(Y/Yn)-f(Z/Zn)];
Figure FDA0003157788950000031
使用最大类间方差法提取G分量,对图像进行分割处理,再使用最大稳定极值区域法进一步滤除背景;
将图像中的果实与背景分割为像素块,使用最近邻值插值算法,将图像放大,针对果实颜色与背景果实叶片颜色接近,使用I-RELIEF特征选择算法得出像素中9种颜色分量权重,将这些颜色分量分别输入到提取权重卷积神经网络框架中以进行权重参数提取,提取权重较大的三个颜色分量,采用基于颜色权重的三通道多路径卷积神经网络特征提取果实轮廓特征,
Hij 1[n]=M(Y[n-1])+Sij 1
Hij 2[n]=W(Y[n-1])+Sij 2
Hij 3[n]=P(Y[n-1])+Sij 3
Uij[n]=(1+β1Hij 1[n])(1+β2Hij 2[n])(1+β3Hij 3[n])+σ
Figure FDA0003157788950000032
Tij[n]=e-αTTij[n-1]+VTYij[n];
将果实图片导入三通道多路径卷积神经网络,对神经网络模型进行训练,区分果实特征和图片背景特征;
将所识别的果实图像导入步骤(4)中已经训练好的神经网络模型中,对果实进行处理,识别出果实轮廓,则若没有识别出果实轮廓,则判断该图像中没有可以采摘的果实;
其中,R、G、B分别为同一像素处彩图的红色、绿色和蓝色三个色彩的分量像素值,H为一种纯色的颜色属性值,I为一种纯色被白光稀释的程度的度量,S为颜色的亮暗程度,L为整张图片的明暗程度,a为红色至绿色的颜色范围,b为黄色至蓝色的颜色范围,Xn为95.074,Yn为100,Zn为108.883,Hij k[n]为第n张图片的外部输入通道,Sij k为第k个权重的外部刺激,Uij[n]为第n张图片的神经元内部活动状态表达项,Tij[n]为第n张图片的动态门限阈值,Yij[n]为第n张图片的二值输出,VT为幅值归一化参数,W、M、P为权值矩阵,α为调整输入平均水平等级参数,σ为神经元内部活动状态误差,β1、β2、β3为权值参数,i和j分别为图片像素点的横坐标和纵坐标。
10.如权利要求9所述的采摘方法,其特征在于:所述步骤(4)中,确定权值参数βi时,动态更新网络中的权重参数,更新公式为,
Figure FDA0003157788950000041
mt=λmt-1+(1-λ)gt
Figure FDA0003157788950000042
Figure FDA0003157788950000043
Figure FDA0003157788950000044
Figure FDA0003157788950000045
其中,gi(t)为t时刻相关权重的参数梯度,f为目标函数,λ为动量因子,取0.9,ε为初始学习率,mt为t时刻的一阶动量,mt为t时刻的一阶动量偏差,vt为t时刻的二阶动量,ηt为t时刻的下降梯度,βt+1 i为t+1时刻的权重参数,βt i为t时刻的权重参数。
CN202110783224.4A 2021-07-12 2021-07-12 一种瓜菜智能采摘方法 Active CN113383642B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110783224.4A CN113383642B (zh) 2021-07-12 2021-07-12 一种瓜菜智能采摘方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110783224.4A CN113383642B (zh) 2021-07-12 2021-07-12 一种瓜菜智能采摘方法

Publications (2)

Publication Number Publication Date
CN113383642A true CN113383642A (zh) 2021-09-14
CN113383642B CN113383642B (zh) 2022-08-05

Family

ID=77625773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110783224.4A Active CN113383642B (zh) 2021-07-12 2021-07-12 一种瓜菜智能采摘方法

Country Status (1)

Country Link
CN (1) CN113383642B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114946407A (zh) * 2022-04-15 2022-08-30 常州机电职业技术学院 一种苹果采摘机器人的采摘装置及其采摘方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008022737A (ja) * 2006-07-19 2008-02-07 Kochi Univ Of Technology 収穫ロボット
CN107743768A (zh) * 2017-10-24 2018-03-02 江苏大学 一种新型草莓采摘移动机器人
CN207399895U (zh) * 2017-11-15 2018-05-25 滁州学院 基于机器视觉的垄作栽培式草莓采摘机器人
CN108377740A (zh) * 2018-04-16 2018-08-10 苏州大学 一种水果自动采摘设备
CN112136505A (zh) * 2020-09-07 2020-12-29 华南农业大学 一种基于视觉选择注意机制的水果采摘顺序规划方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008022737A (ja) * 2006-07-19 2008-02-07 Kochi Univ Of Technology 収穫ロボット
CN107743768A (zh) * 2017-10-24 2018-03-02 江苏大学 一种新型草莓采摘移动机器人
CN207399895U (zh) * 2017-11-15 2018-05-25 滁州学院 基于机器视觉的垄作栽培式草莓采摘机器人
CN108377740A (zh) * 2018-04-16 2018-08-10 苏州大学 一种水果自动采摘设备
CN112136505A (zh) * 2020-09-07 2020-12-29 华南农业大学 一种基于视觉选择注意机制的水果采摘顺序规划方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李大华等: "基于纹理特征与HSI空间的苹果识别与标定", 《图学学报》 *
赵金英等: "西红柿采摘机器人视觉***的目标提取", 《农业机械学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114946407A (zh) * 2022-04-15 2022-08-30 常州机电职业技术学院 一种苹果采摘机器人的采摘装置及其采摘方法

Also Published As

Publication number Publication date
CN113383642B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
Hayashi et al. Robotic harvesting system for eggplants
CN105718945B (zh) 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法
Foglia et al. Agricultural robot for radicchio harvesting
CN111709489A (zh) 一种基于改进YOLOv4的柑橘识别方法
CN111460903B (zh) 基于深度学习的田间西兰花长势监测***及方法
CN107094429A (zh) 一种多轴水果采摘机器人
CN111418349B (zh) 一种水果采摘智能机器人及其实现水果采摘的方法
CN113383642B (zh) 一种瓜菜智能采摘方法
CN107038446A (zh) 一种主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法
CN111860330A (zh) 基于多特征融合和卷积神经网络的苹果叶部病害识别方法
CN106442553A (zh) 一种铜环柱面喷码检测识别装置及方法
CN113569922A (zh) 一种苹果智能无损分拣的方法
CN108764076A (zh) 一种用于多臂采摘机器人的猕猴桃果实群多目标识别方法
CN111462044A (zh) 基于深度学习模型的温室草莓检测与成熟度评价方法
CN116363505A (zh) 一种基于采摘机器人视觉***的目标采摘方法
Ji et al. Research on key technology of truss tomato harvesting robot in greenhouse
CN105844264B (zh) 一种基于受力的油用牡丹果实图像的识别方法
CN116686545A (zh) 基于机器视觉控制的荔枝采摘机器人除遮方法
CN115147638A (zh) 一种基于机器视觉的车厘子采摘分类方法及装置
Xiao et al. Review of research advances in fruit and vegetable harvesting robots
CN109087287A (zh) 基于图像分析评价空间舱室材料表面菌斑清除效果的方法
CN111401121A (zh) 一种基于超像素特征提取实现柑橘分割方法
CN116899896A (zh) 一种基于机器视觉的红果参分拣装置及分拣方法
CN113678692B (zh) 一种基于机器视觉的双孢菇采摘装置
CN115862003A (zh) 一种基于轻量化YOLOv5的在体苹果目标检测和分级方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant