CN114568126A - 一种基于机器视觉的采茶机器人及工作方法 - Google Patents

一种基于机器视觉的采茶机器人及工作方法 Download PDF

Info

Publication number
CN114568126A
CN114568126A CN202210267271.8A CN202210267271A CN114568126A CN 114568126 A CN114568126 A CN 114568126A CN 202210267271 A CN202210267271 A CN 202210267271A CN 114568126 A CN114568126 A CN 114568126A
Authority
CN
China
Prior art keywords
tea
image
tender
gray
picking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210267271.8A
Other languages
English (en)
Inventor
林俊志
席万强
刘涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202210267271.8A priority Critical patent/CN114568126A/zh
Publication of CN114568126A publication Critical patent/CN114568126A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/04—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs of tea
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P60/00—Technologies relating to agriculture, livestock or agroalimentary industries
    • Y02P60/12—Technologies relating to agriculture, livestock or agroalimentary industries using renewable energies, e.g. solar water pumping

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了机器人视觉应用技术领域中一种基于机器视觉的采茶机器人及工作方法，采茶机器人包括四轮行走机构的采茶机本体，所述采茶机本体包括安装在采茶机本体平台下方的两组RGB‑D相机、机械臂、负压收集装置，控制各机构动作的主控板和安装在采茶机本体两侧的蓄电池，采茶机本体两侧还均设有四轮行走机构。本发明采茶机器人从采摘技术层面，克服了目前的采茶机在作业时对采摘面的茶芽不能识别大小老嫩一刀切下的弊端，保证茶叶新梢采摘的完整性和一致性，提高茶叶整体质量及采摘效率；在经济层面上，降低了采摘作业的人工成本，满足了规模化种植的需求。

Description

一种基于机器视觉的采茶机器人及工作方法
技术领域
本发明涉及机器人视觉应用技术领域，具体是一种基于机器视觉的采茶机器人及工作方法。
背景技术
茶叶采摘具有很强的季节性，采摘周期短，劳动强度高，属于劳动密集型作业。目前，我国茶叶采摘和用工的矛盾已经成为茶叶产业发展的瓶颈。由于采摘作业要求较高，因此大部分采摘工作是手工完成，但手工采摘的成本较高、耗时长难以适应规模化种植的需要。
为了提高生产效益、将农民从繁重的采摘作业中解放出来，实现茶叶机械化采摘具有重要意义。目前普遍应用的机械化采茶机采用的是“无差别收割”方式，其缺乏选择性，工作时不分老嫩，一刀切下，使得芽叶大小不一，完整性较差，而且对茶树的机械性损伤较大；同时采摘叶老嫩混杂，老梗老叶和破损叶片含量较高，采摘后仍需人工进行识别挑选，对所采茶叶进行分级,影响了采茶机的推广使用。为此我们提出一种基于机器视觉的采茶机器人及工作方法用于解决上述问题。
发明内容
本发明的目的在于提供一种基于机器视觉的采茶机器人及工作方法，以解决上述背景技术中提出的常规机械化采茶机采用的是“无差别收割”方式，采摘后仍需人工进行识别挑选，对所采茶叶进行分级,影响了采茶机的推广使用问题。
为解决上述技术问题，本发明采用如下技术方案：
一种基于机器视觉的采茶机器人，采茶机器人包括四轮行走机构的采茶机本体，所述采茶机本体包括安装在采茶机本体平台下方的两组RGB-D相机、机械臂、负压收集装置，控制各机构动作的主控板和安装在采茶机本体两侧的蓄电池，采茶机本体两侧还均设有四轮行走机构。
优选地，所述四轮行走机构包括四组升降装置，升降装置下端均设有轮子，升降装置调节轮子高度从而调节采茶机本体平台的高度和水平。
优选地，所述机械臂包括主轴电机、承导连杆、平移杆件、导轨电机、机械夹持器，两组机械臂的主轴电机与采茶机本体平台固定连接，承导连杆设置有导轨电机，导轨电机驱动平移杆件进行往复运动，机械臂为“RPRPR”五杆机构，第一、三、五轴为旋转关节，第二、四轴为平移关节、机械夹持器为夹持面带防滑斜纹的柔性夹爪,。
优选地，所述负压收集装置包括负压风机和收集管道，负压收集装置与收集管道固定连接，收集管道呈直角，收集管道管道口一边朝向茶树，另一边朝向茶叶收纳袋，负压收集装置和采茶机本体平台设有挂钩。
优选地，所述主控板读取RGB-D相机获取的原始图像并进行处理，解析出茶树嫩芽的二维坐标以及深度信息，并且控制机械臂夹取嫩芽。
一种基于机器视觉的采茶机器人的工作方法，所述工作方法包括以下步骤：
步骤一：通过采茶机本体的RGB-D相机获取1280×720分辨率、30fps的茶叶彩色图像和深度图像；
步骤二：对获取到的彩色图像进行图像预处理，将彩色图像在RGB色彩空间进行灰度化处理，并对灰度图使用非线性滤波方法去除噪声；
步骤三：对步骤二中值滤波处理后的图像进性应用自动阈值分割全局分割法进行阈值分割；
步骤四：对步骤三处理后的图像进行形态学处理，依次进行填充孔洞、移除小物体操作识别处茶叶嫩芽，再对识别出的茶叶嫩芽进行形态学分析计算出茶树嫩叶质心坐标，根据茶叶的深度图像，将嫩芽的质心坐标作为输入，得到嫩芽到相机光心的距离，实现嫩芽的三维定位；
步骤五：根据嫩芽的深度距离和质心距离，机械臂开始伸展到合适位置抓取嫩芽并送至收集管道口以使嫩芽被吸入收集管道进入收纳袋。
优选地，所述步骤二具体为将彩色图像中的三分量亮度求平均得到一个灰度图像在像素坐标处的灰度值：
Figure BDA0003552318250000031
得到灰度图像；将灰度图像的每一像素电的灰度值设置为该点3×3窗口内的所有像素点会都值的中值，器原理为：
g(i,j)＝Med{f(i-k,j-l),(k,l)∈W}
其中f(i,j)、g(i，j)分别是原始图像和处理后的图像，W为3×3区域模板。
优选地，所述步骤三具体为根据图像直方图函数h(i)来计算衣服图像中各灰度级出现的概率p，即
Figure BDA0003552318250000032
其中N为灰度级数，i为灰度级，根据各灰度级的概率可以计算茶叶图像直方图的熵：
Figure BDA0003552318250000033
有某一灰度阈值k，将灰度图像分会前景A和背景B两部分，而前景仅包含茶叶嫩芽。此时前景和背景出现的概率分别为P、P(B)：
Figure BDA0003552318250000034
两类的熵等于其中各灰度级熵总和，即：
Figure BDA0003552318250000041
Figure BDA0003552318250000042
通过遍历穷举灰度阈值k，使得HA+HB最大，此时的灰度阈值k最佳，将茶叶嫩芽图像从原始图像分割开来。
优选地，所述步骤四具体为以步骤三阈值分割出来的二值图像边界中背景像素为种子，用前景色填充颗粒外部的背景，接着反转对背景进行填充后的图像，得到用前景色表示的孔洞，再将用前景色表示的孔洞图与二值图像中的孔洞相加即可完成孔洞的填充。紧接着将该二值图像进行形态学开运算，即先腐蚀后膨胀运算，腐蚀运算表达式为：
P0＝and(Pi)
二值图像膨胀运算表达式为：
P0＝or(Pi)
通过先腐蚀后膨胀将小物体移除之后，便获得仅有茶叶嫩芽前景图，将图像看做质点系，图像中的各像素看作质量相同的质点，颗粒的质点代表其中所有像素位置的平均，即：
Figure BDA0003552318250000043
其中，A代表颗粒中所有像素的数量总和，即二值图像中颗粒的面积，如仅对所有像素水平或垂直方向上的位置进行平均，求出质心的x或y坐标，即：
Figure BDA0003552318250000044
根据茶叶的深度图像，将嫩芽的质心坐标作为输入，得到嫩芽到相机光心的距离，获得嫩芽的三维定位。
优选地，所述步骤五具体为由RGB-D相机获取茶叶嫩芽深度信息，机械臂第一轴旋转至茶叶质心方向旋转,旋转角度为：
Figure BDA0003552318250000045
第二轴根据深度信息进行伸展，伸展长度为：
d2＝z-z1
其中z1为第二轴伸展深度预留值；
第三轴根据质心距离进行相应旋转，旋转角度θ2：
Figure BDA0003552318250000051
第四轴根据质心距离进行相应伸展，伸展长度：
Figure BDA0003552318250000052
第五轴旋转角度为-θ2，保证机械夹持器保持水平，待机械臂机械夹持器准确到达茶树嫩芽位置，机械夹持器开始夹持操作，将嫩叶拔下，机械臂伸展至收集管道口，释放嫩芽以便茶叶在负压作用下通过收集管道进入收纳袋。
与现有技术相比，本发明的有益效果在于：
1.本发明采茶机器人从采摘技术层面，克服了目前的采茶机在作业时对采摘面的茶芽不能识别大小老嫩一刀切下的弊端，保证茶叶新梢采摘的完整性和一致性，提高茶叶整体质量及采摘效率。
2.本发明采茶机器人在经济层面上，降低了采摘作业的人工成本，满足了规模化种植的需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明采茶机器人结构示意图；
图2是本发明采茶机器人正视结构示意图；
图3是本发明采茶机器人仰视结构示意图；
图4是本发明采茶机器人部分结构示意图；
图5是本发明图1中A处结构放大示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“开孔”、“上”、“下”、“厚度”、“顶”、“中”、“长度”、“内”、“四周”等指示方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的组件或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本发明的限制。
请参阅图1至图5所示，一种基于机器视觉的采茶机器人，采茶机器人包括四轮行走机构的采茶机本体，采茶机本体包括安装在采茶机本体平台下方的两组RGB-D相机109、机械臂200、负压收集装置，用以各机构动作控制的主控板105和安装在所述采茶机本体两侧的蓄电池103。
采茶机本体的四轮行走机构设置在采茶机本体两侧，四轮行走机构内的四个轮子101均通过升降装置102调节轮子101高度，以保证采茶机本体平台的水平。
RGB-D相机109用以获取茶树嫩叶原始图像，以及各像素元素到相机的深度信息。
机械臂为“RPRPR”五杆机构，第一、三、五轴为旋转关节，第二、四轴为平移关节、机械夹持器205为夹持面带防滑斜纹的柔性夹爪,该机械臂D-H参数如下:
Figure BDA0003552318250000071
theta1、theta3、theta5分别为第一、第三、第五轴转动角度，L3为第二轴与第三轴之间的连杆偏距，L5为第四轴和第五轴之间的连杆偏距，d2、d4为第二轴和第四轴伸缩长度。
机械臂包括主轴电机201、承导连杆202、平移杆件204、导轨电机203、机械夹持器205，两组机械臂的主轴电机201与所述采茶机本体平台固定连接，承导连杆202设置有导轨电机203，导轨电机203驱动平移杆件204进行往复运动。
负压收集装置由负压风机104与收集管道106组成，用以吸取由机械臂抓取的茶叶嫩芽。
负压收集装置和采茶机本体平台共设置有5个挂钩107，用以挂住收纳袋。
负压收集装置104与收集管道106相固定，收集管道106呈直角，管道口一边朝向茶树，一边朝向茶叶收纳袋。
所述主控板用以读取RGB-D相机109获取的原始图像并进行处理，解析出茶树嫩芽的二维坐标以及深度信息，并且控制机械臂夹取嫩芽等操作。
种基于机器视觉的采茶机器人的工作方法，工作方法包括以下步骤：
步骤一：通过采茶机本体的RGB-D相机109获取1280×720分辨率、30fps的茶叶彩色图像和深度图像；
步骤二：对获取到的彩色图像进行图像预处理，将彩色图像在RGB色彩空间进行灰度化处理，并对灰度图使用非线性滤波方法去除噪声；
步骤三：对步骤儿中值滤波处理后的图像进性应用自动阈值分割全局分割法进行阈值分割；
步骤四：对步骤三处理后的图像进行形态学处理，依次进行填充孔洞、移除小物体操作识别处茶叶嫩芽。再对识别出的茶叶嫩芽进行形态学分析计算出茶树嫩叶质心坐标。根据茶叶的深度图像，将嫩芽的质心坐标作为输入，得到嫩芽到相机光心的距离，实现嫩芽的三维定位。
步骤五：根据嫩芽的深度距离和质心距离，机械臂200开始伸展到合适位置抓取嫩芽并送至收集管道106口以使嫩芽被吸入收集管道106进入收纳袋。
对获取到的彩色图像进行图像预处理，将彩色图像在RGB色彩空间进行灰度化处理，对灰度图使用去除噪声，具体为：将彩色图像中的三分量亮度求平均得到一个灰度图像在像素坐标(i，j)处的灰度值：
Figure BDA0003552318250000081
从而得到合理的灰度图像；将该灰度图像的每一像素电的灰度值设置为该点3×3窗口内的所有像素点会都值的中值，以避免图像鼓励噪声点的影响，器原理为
g(i,j)＝Med{f(i-k,j-l),(k,l)∈W}
其中f(i,j)、g(i，j)分别是原始图像和处理后的图像，W为3×3区域模板。
对步骤二中值滤波处理后的图像进性应用自动阈值分割法进行阈值分割，具体为根据图像直方图函数h(i)来计算衣服图像中各灰度级出现的概率p(i)，即
Figure BDA0003552318250000082
其中N为灰度级数，i为灰度级。根据各灰度级的概率可以计算茶叶图像直方图的熵：
Figure BDA0003552318250000091
有某一灰度阈值k，将灰度图像分会前景A和背景B两部分，而前景仅包含茶叶嫩芽。此时前景和背景出现的概率分别为P(A)、P(B)：
Figure BDA0003552318250000092
两类的熵等于其中各灰度级熵总和，即：
Figure BDA0003552318250000093
Figure BDA0003552318250000094
通过遍历穷举灰度阈值k(0-255)，使得HA+HB最大，此时的灰度阈值k最佳，能够将茶叶嫩芽图像从原始图像分割开来。
对预处理后的图像进行形态学处理，依次进行填充孔洞、移除小物体操作识别处茶叶嫩芽，再对识别出的茶叶嫩芽进行颗粒分析计算出每个嫩芽的面积和边界矩形大小，设定面积和边界矩形阈值，去除过小的茶叶嫩芽，提高识别出的茶叶嫩芽质量，具体为以步骤三阈值分割出来的二值图像边界中某一背景像素为种子，依据8连通原则用前景色填充颗粒外部的背景，接着反转对背景进行填充后的图像，得到用前景色表示的孔洞，再将用前景色表示的孔洞图与二值图像中的孔洞相加即可完成孔洞的填充。紧接着将该二值图像进行形态学开运算，即先腐蚀后膨胀运算，腐蚀运算表达式为：
P0＝and(Pi)
二值图像腐蚀运算相当于求与运算。若有任意一个Pi值为0时，二值图像腐蚀运算将P0值置为0；仅当所有P i值均为1时，P0值才为1.消除图像中相对背景亮度较高的孤立像素点，或根据所选结构元素特征，细化目标的轮廓。二值图像膨胀运算表达式为：
P0＝or(Pi)
二值图像膨胀运算相当于求或运算，即若有任意一个Pi值均为1时，二值膨胀运算将P0值置为1。通过先腐蚀后膨胀将小物体移除之后，便获得仅有茶叶嫩芽前景图。进一步的地，将图像看做质点系，则图像中的各像素可以看作质量相同的质点，那么颗粒的质点就代表其中所有像素位置的平均，即：
Figure BDA0003552318250000101
其中，A代表颗粒中所有像素的数量总和，即二值图像中颗粒的面积。如果仅对所有像
素水平或垂直方向上的位置进行平均，就可以求出质心的x或y坐标，即：
Figure BDA0003552318250000102
根据茶叶的深度图像，将嫩芽的质心坐标作为输入，得到嫩芽到相机光心的距离，获得嫩芽的三维定位(x,y,z)。
根据嫩芽的深度距离和质心距离，机械臂200开始伸展到合适位置，具体为由RGB-D相机获取茶叶嫩芽深度信息，机械臂第一轴旋转至茶叶质心方向旋转,旋转角度为：
Figure BDA0003552318250000103
第二轴根据深度信息进行伸展，伸展长度为：
d2＝z-z1
其中z1为第二轴伸展深度预留值；
第三轴根据质心距离进行相应旋转，旋转角度θ2：
Figure BDA0003552318250000104
第四轴根据质心距离进行相应伸展，伸展长度：
Figure BDA0003552318250000105
第五轴旋转角度为-θ2，便能保证机械夹持器205能保持水平，待机械臂机械夹持器205准确到达茶树嫩芽位置，机械夹持器205开始夹持操作，机械夹持器205利用夹持面防滑纹与嫩叶之间的摩擦力，将嫩叶拔下，进一步的，机械臂伸展至收集管道106口，进一步的，释放嫩芽以便茶叶在负压作用下通过收集管道106进入收纳袋。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (10)

1.一种基于机器视觉的采茶机器人，采茶机器人包括四轮行走机构的采茶机本体，其特征在于，所述采茶机本体包括安装在采茶机本体平台下方的两组RGB-D相机(109)、机械臂(200)、负压收集装置，控制各机构动作的主控板(105)和安装在采茶机本体两侧的蓄电池(103)，采茶机本体两侧还均设有四轮行走机构。
2.根据权利要求1所述的一种基于机器视觉的采茶机器人,其特征在于，所述四轮行走机构包括四组升降装置(102)，升降装置(102)下端均设有轮子(101)，升降装置(102)调节轮子(101)高度从而调节采茶机本体平台的高度和水平。
3.根据权利要求1所述的一种基于机器视觉的采茶机器人,其特征在于，所述机械臂(200)包括主轴电机(201)、承导连杆(202)、平移杆件(204)、导轨电机(203)、机械夹持器(205)，两组机械臂的主轴电机(201)与采茶机本体平台固定连接，承导连杆(202)设置有导轨电机(203)，导轨电机(203)驱动平移杆件(204)进行往复运动，机械臂(200)为“RPRPR”五杆机构，第一、三、五轴为旋转关节，第二、四轴为平移关节、机械夹持器(205)为夹持面带防滑斜纹的柔性夹爪,。
4.根据权利要求1所述的一种基于机器视觉的采茶机器人,其特征在于，所述负压收集装置包括负压风机(104)和收集管道(106)，负压收集装置(104)与收集管道(106)固定连接，收集管道(106)呈直角，收集管道(106)管道口一边朝向茶树，另一边朝向茶叶收纳袋，负压收集装置和采茶机本体平台设有挂钩(107)。
5.根据权利要求1所述的一种基于机器视觉的采茶机器人,其特征在于，所述主控板(105)读取RGB-D相机(109)获取的原始图像并进行处理，解析出茶树嫩芽的二维坐标以及深度信息，并且控制机械臂(200)夹取嫩芽。
6.基于权利要求1至5任意一项所述的一种基于机器视觉的采茶机器人的工作方法，其特征在于，所述工作方法包括以下步骤：
步骤一：通过采茶机本体的RGB-D相机(109)获取1280×720分辨率、30fps的茶叶彩色图像和深度图像；
步骤二：对获取到的彩色图像进行图像预处理，将彩色图像在RGB色彩空间进行灰度化处理，并对灰度图使用非线性滤波方法去除噪声；
步骤三：对步骤二中值滤波处理后的图像进性应用自动阈值分割全局分割法进行阈值分割；
步骤四：对步骤三处理后的图像进行形态学处理，依次进行填充孔洞、移除小物体操作识别处茶叶嫩芽，再对识别出的茶叶嫩芽进行形态学分析计算出茶树嫩叶质心坐标，根据茶叶的深度图像，将嫩芽的质心坐标作为输入，得到嫩芽到相机光心的距离，实现嫩芽的三维定位；
步骤五：根据嫩芽的深度距离和质心距离，机械臂(200)开始伸展到合适位置抓取嫩芽并送至收集管道(106)口以使嫩芽被吸入收集管道(106)进入收纳袋。
7.根据权利要求6所述的一种基于机器视觉的采茶机器人的工作方法,其特征在于，所述步骤二具体为将彩色图像中的三分量亮度求平均得到一个灰度图像在像素坐标(i，j)处的灰度值：
Figure FDA0003552318240000021
得到灰度图像；将灰度图像的每一像素电的灰度值设置为该点3×3窗口内的所有像素点会都值的中值，器原理为：
g(i,j)＝Med{f(i-k,j-l),(k,l)∈W}
其中f(i,j)、g(i，j)分别是原始图像和处理后的图像，W为3×3区域模板。
8.根据权利要求6所述的一种基于机器视觉的采茶机器人的工作方法,其特征在于，所述步骤三具体为根据图像直方图函数h(i)来计算衣服图像中各灰度级出现的概率p(i)，即
Figure FDA0003552318240000031
其中N为灰度级数，i为灰度级，根据各灰度级的概率可以计算茶叶图像直方图的熵：
Figure FDA0003552318240000032
有某一灰度阈值k，将灰度图像分会前景A和背景B两部分，而前景仅包含茶叶嫩芽。此时前景和背景出现的概率分别为P(A)、P(B)：
Figure FDA0003552318240000033
两类的熵等于其中各灰度级熵总和，即：
Figure FDA0003552318240000034
Figure FDA0003552318240000035
通过遍历穷举灰度阈值k(0-255)，使得HA+HB最大，此时的灰度阈值k最佳，将茶叶嫩芽图像从原始图像分割开来。
9.根据权利要求6所述的一种基于机器视觉的采茶机器人的工作方法,其特征在于，所述步骤四具体为以步骤三阈值分割出来的二值图像边界中背景像素为种子，用前景色填充颗粒外部的背景，接着反转对背景进行填充后的图像，得到用前景色表示的孔洞，再将用前景色表示的孔洞图与二值图像中的孔洞相加即可完成孔洞的填充。紧接着将该二值图像进行形态学开运算，即先腐蚀后膨胀运算，腐蚀运算表达式为：
P0＝and(Pi)
二值图像膨胀运算表达式为：
P0＝or(Pi)
通过先腐蚀后膨胀将小物体移除之后，便获得仅有茶叶嫩芽前景图，将图像看做质点系，图像中的各像素看作质量相同的质点，颗粒的质点代表其中所有像素位置的平均，即：
Figure FDA0003552318240000041
其中，A代表颗粒中所有像素的数量总和，即二值图像中颗粒的面积，如仅对所有像素水平或垂直方向上的位置进行平均，求出质心的x或y坐标，即：
Figure FDA0003552318240000042
根据茶叶的深度图像，将嫩芽的质心坐标作为输入，得到嫩芽到相机光心的距离，获得嫩芽的三维定位(x,y,z)。
10.根据权利要求6所述的一种基于机器视觉的采茶机器人的工作方法,其特征在于，所述步骤五具体为由RGB-D相机(109)获取茶叶嫩芽深度信息，机械臂(200)第一轴旋转至茶叶质心方向旋转,旋转角度为：
Figure FDA0003552318240000043
第二轴根据深度信息进行伸展，伸展长度为：
d2＝z-z1
其中z1为第二轴伸展深度预留值；
第三轴根据质心距离进行相应旋转，旋转角度θ2：
Figure FDA0003552318240000044
第四轴根据质心距离进行相应伸展，伸展长度：
Figure FDA0003552318240000045
第五轴旋转角度为-θ2，保证机械夹持器(205)保持水平，待机械臂机械夹持器(205)准确到达茶树嫩芽位置，机械夹持器(205)开始夹持操作，将嫩叶拔下，机械臂(200)伸展至收集管道(106)口，释放嫩芽以便茶叶在负压作用下通过收集管道(106)进入收纳袋。
CN202210267271.8A 2022-03-17 2022-03-17 一种基于机器视觉的采茶机器人及工作方法 Pending CN114568126A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210267271.8A CN114568126A (zh) 2022-03-17 2022-03-17 一种基于机器视觉的采茶机器人及工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210267271.8A CN114568126A (zh) 2022-03-17 2022-03-17 一种基于机器视觉的采茶机器人及工作方法

Publications (1)

Publication Number Publication Date
CN114568126A true CN114568126A (zh) 2022-06-03

Family

ID=81781088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210267271.8A Pending CN114568126A (zh) 2022-03-17 2022-03-17 一种基于机器视觉的采茶机器人及工作方法

Country Status (1)

Country Link
CN (1) CN114568126A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114946403A (zh) * 2022-07-06 2022-08-30 青岛科技大学 一种基于无标定视觉伺服的采茶机器人及其采茶控制方法
CN115082815A (zh) * 2022-07-22 2022-09-20 山东大学 基于机器视觉的茶芽采摘点定位方法、装置及采摘***
CN115861988A (zh) * 2023-03-01 2023-03-28 四川省农业机械研究设计院 一种基于rgb区分度的茶叶采摘方法和***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050668A (zh) * 2014-06-17 2014-09-17 安徽农业大学 一种基于双目视觉技术的绿茶嫩芽的目标识别方法
US9462749B1 (en) * 2015-04-24 2016-10-11 Harvest Moon Automation Inc. Selectively harvesting fruits
CN210406254U (zh) * 2019-08-12 2020-04-28 南京林业大学 一种驾乘式并联采茶机器人
CN111165176A (zh) * 2020-03-20 2020-05-19 青岛农业大学 一种茶叶人工智能采摘机器人
CN111527882A (zh) * 2020-05-12 2020-08-14 青岛科技大学 一种并联式自动名优茶采摘机器人
CN112060107A (zh) * 2020-09-16 2020-12-11 山东大学日照智能制造研究院 一种可进行选择性采摘的名优茶采摘机器人及方法
CN112633212A (zh) * 2020-12-29 2021-04-09 长沙湘丰智能装备股份有限公司 一种基于计算机视觉的茶叶嫩芽等级的识别和分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050668A (zh) * 2014-06-17 2014-09-17 安徽农业大学 一种基于双目视觉技术的绿茶嫩芽的目标识别方法
US9462749B1 (en) * 2015-04-24 2016-10-11 Harvest Moon Automation Inc. Selectively harvesting fruits
CN210406254U (zh) * 2019-08-12 2020-04-28 南京林业大学 一种驾乘式并联采茶机器人
CN111165176A (zh) * 2020-03-20 2020-05-19 青岛农业大学 一种茶叶人工智能采摘机器人
CN111527882A (zh) * 2020-05-12 2020-08-14 青岛科技大学 一种并联式自动名优茶采摘机器人
CN112060107A (zh) * 2020-09-16 2020-12-11 山东大学日照智能制造研究院 一种可进行选择性采摘的名优茶采摘机器人及方法
CN112633212A (zh) * 2020-12-29 2021-04-09 长沙湘丰智能装备股份有限公司 一种基于计算机视觉的茶叶嫩芽等级的识别和分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钱炜等: "《第七届上海市大学生机械工程创新大赛获奖案例精选》", 华中科学技术大学出版社, pages: 175 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114946403A (zh) * 2022-07-06 2022-08-30 青岛科技大学 一种基于无标定视觉伺服的采茶机器人及其采茶控制方法
CN115082815A (zh) * 2022-07-22 2022-09-20 山东大学 基于机器视觉的茶芽采摘点定位方法、装置及采摘***
CN115861988A (zh) * 2023-03-01 2023-03-28 四川省农业机械研究设计院 一种基于rgb区分度的茶叶采摘方法和***

Similar Documents

Publication Publication Date Title
CN114568126A (zh) 一种基于机器视觉的采茶机器人及工作方法
WO2021243895A1 (zh) 基于图像识别工作位置的方法、***，机器人及存储介质
CN109821763B (zh) 一种基于机器视觉的水果分拣***及其图像识别方法
CN209120971U (zh) 一种养鸡场取蛋器
CN106823314B (zh) 一种象鼻式的全自动夜间回收高尔夫球机器人
CN113330915B (zh) 双目视觉识别的自适应棉花收获方法及智能机械收获装置
CN115553132A (zh) 一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人
CN113674226A (zh) 一种基于深度学习的采茶机茶叶芽尖检测方法
CN108921132A (zh) 无人机机载电缆探测***
CN116686545B (zh) 基于机器视觉控制的荔枝采摘机器人除遮方法
CN110402683B (zh) 一种智能采棉机及其控制方法
CN115147638A (zh) 一种基于机器视觉的车厘子采摘分类方法及装置
CN117337691B (zh) 基于深度神经网络的火龙果采摘方法及采摘机器人
CN115067074A (zh) 一种恶劣环境下的水果采摘***及方法
CN108669600B (zh) 一种全自动香菇分离装置
CN107527367A (zh) 一种基于双目相机的棉花识别及定位方法
CN111636122A (zh) 一种抓棉杂质除去装置及除去方法
CN112337810B (zh) 一种视觉引导分拣珍珠机器人及其分拣方法
CN111506074A (zh) 一种农作物翻晒吸尘装置机器控制方法
CN113723266B (zh) 一种无刷电机冲片筛选***及方法
CN114600641A (zh) 基于图像识别技术的草莓采摘机及其采摘方法
CN115937314A (zh) 一种油茶果生长姿态检测方法
CN110476599A (zh) 渔场水草自动清理***及其自动清理方法
CN111624948B (zh) 一种智能抓棉管理***
CN206587362U (zh) 一种象鼻式的全自动夜间回收高尔夫球机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220603