CN111923073A - 一种球形果蔬采摘检测智能机器手及机械臂*** - Google Patents

一种球形果蔬采摘检测智能机器手及机械臂*** Download PDF

Info

Publication number
CN111923073A
CN111923073A CN202010540822.4A CN202010540822A CN111923073A CN 111923073 A CN111923073 A CN 111923073A CN 202010540822 A CN202010540822 A CN 202010540822A CN 111923073 A CN111923073 A CN 111923073A
Authority
CN
China
Prior art keywords
vegetables
fruits
mechanical arm
picking
intelligent robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010540822.4A
Other languages
English (en)
Inventor
彭彦昆
赵苗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN202010540822.4A priority Critical patent/CN111923073A/zh
Publication of CN111923073A publication Critical patent/CN111923073A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/02—Gripping heads and other end effectors servo-actuated
    • B25J15/0253—Gripping heads and other end effectors servo-actuated comprising parallel grippers
    • B25J15/026—Gripping heads and other end effectors servo-actuated comprising parallel grippers actuated by gears
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/08—Measuring arrangements characterised by the use of optical techniques for measuring diameters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/251—Colorimeters; Construction thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Environmental Sciences (AREA)
  • Manipulator (AREA)
  • Harvesting Machines For Specific Crops (AREA)

Abstract

本发明涉及一种球形果蔬采摘检测智能机器手及机械臂***，智能机器手包括上安装架、下安装架、夹持机构和近红外光谱检测模块；上安装架为侧壁开口的空心圆柱体；下安装架为切掉部分侧壁的空心圆柱体；近红外光谱检测模块包括光学传感器、遮光罩、光源和微动开关；夹持机构包括两个齿条、齿轮、两个滑块、直线导轨、手指连接件一、手指连接件二和两个软胶手指。机械臂***，包括上述智能机器手，还包括机械臂、机械臂控制器、上位机、单片机和双目相机。本发明抓取和释放果蔬时响应迅速灵敏，不会损伤果蔬表面。可准确快速完成采摘‑检测‑分级装箱操作，具有高效率、便携化、结构紧凑、通用性好、结果准确、多指标检测等特点。

Description

一种球形果蔬采摘检测智能机器手及机械臂***
技术领域
本发明涉及农产品采摘检测技术领域，特别涉及一种球形果蔬采摘检测智能机器手及机械臂***。
背景技术
中国是世界上最大的果蔬生产国，但是果蔬的国际贸易竞争力不足，以苹果为例，苹果是我国的大宗水果，出口量自2013年起持续下滑，出口价格低，我国苹果采摘后经过商品化处理的数量约占总产量的8％，缺乏完善的采后处理环节是制约我国果蔬产业发展的重要因素。分级是将果蔬按一定的标准分为若干等级，是果蔬采后加工处理的重要环节，是进行果蔬商品化必不可少的步骤。分级的意义在于使果蔬在大小、色泽、成熟度等方面获得良好的一致性，为消费者提供整齐一致、级差明显的果蔬产品，剔除有缺陷的产品，减少腐败和霉变的发生，保障果蔬产品后续的运输、贮藏以及销售等环节。目前国内果蔬缺乏采后处理环节、检测分级流程繁琐、成本较高，而研发能够实现采摘-检测-装箱一体化的机械臂***可以有效解决上述问题，提高果蔬产品生产效率，提高我国果蔬商品竞争力。
发明内容
本发明的目的在于提供一种球形果蔬采摘检测智能机器手及机械臂***，解决目前果蔬采摘机械化程度低、缺乏采后处理环节、检测分级流程繁琐等问题，同时精简果蔬的采摘及采后处理流程，提高采摘、检测、分级效率。
为达到以上目的，本发明采取的技术方案是：
一种球形果蔬采摘检测智能机器手，包括上安装架、下安装架、夹持机构和近红外光谱检测模块；
所述上安装架为侧壁开口的空心圆柱体，上端打通，下端有底，底上留有使光纤通过的通孔；上安装架上半部分用于连接机械臂，上安装架的下半部分切掉部分侧壁，用于容纳光学传感器；
所述下安装架为切掉部分侧壁的空心圆柱体，下安装架切去一部分用以安装夹持机构；夹持机构与下安装架之间通过安装板连接，安装板上固定安装步进电机；
所述近红外光谱检测模块包括光学传感器、遮光罩、光源和微动开关；光学传感器下方连接有光纤，光纤尾部连接有光纤探头，光纤与光纤探头位于下安装架内；遮光罩内安装光源和微动开关；
所述夹持机构包括两个齿条、齿轮、两个滑块、直线导轨、手指连接件一、手指连接件二和两个软胶手指；直线导轨安装在安装板上，两个滑块安装在直线导轨上，每个滑块上均安装一个齿条和一个手指连接件，齿轮安装于步进电机的输出轴上；两个手指连接件用螺栓固接在滑块上，两个软胶手指分别安装于两个手指连接件的安装槽中，安装槽外侧封闭，能够保证软胶手指夹持时不会脱出安装槽。
上安装架上半部分设有安装孔，并与机械臂之间通过螺栓固联，安装孔沿上安装架上半部分圆周每隔30°均匀分布，能够调节安装角度；上安装架还设计有出线孔，用于将光源及光学传感器的供电线和数据线导出。
安装板与下安装架之间通过4个螺栓连接定位。
所述遮光罩安装在下安装架下端，并位于手指连接件一和手指连接件二之间；遮光罩用于为光谱采集时提供暗室环境，消除环境光的干扰。
所述光学传感器为海洋光学STS-NIR光学传感器；所述光学传感器用于采集果蔬650～1100纳米波段的光谱信息。
所述软胶手指使用软胶材料，用3D打印方法加工；两个软胶手指采用仿生鱼鳍结构。
所述软胶手指内侧贴有一层橡胶材质的防滑薄片，用于防止果蔬滑动，保证稳定夹持。
所述光源由六只卤钨灯环形排列组成。
一种机械臂***，包括上述智能机器手，还包括机械臂、机械臂控制器、上位机、单片机和双目相机；智能机器手安装于机械臂的端部，上位机分别与单片机、双目相机、机械臂控制器、光学传感器连接；单片机与步进电机、微动开关连接；双目相机与机械臂的底座之间相对固定；
机械臂控制器用于为机械臂供电、接收并转换上位机发送的信号、控制机械臂各轴步进电机运转；双目相机用于采集果蔬的图像并存入上位机；上位机用于控制采摘、检测、分级、装箱流程，对果蔬的品质信息进行分析处理，控制机械臂运动，计算步进电机转角数值并发送给单片机。单片机用于接收步进电机转角数值并控制步进电机转动一定角度，使智能机器手抓取果蔬并将果蔬摘下。
所述机械臂为工业六轴机械臂。
一种球形果蔬采摘-检测-分级一体化方法，应用上述机械臂***，包括以下步骤：
(1)双目相机获取球形果蔬的图像并存入上位机，上位机采用SSD算法计算球形果蔬的颜色、直径大小、有无外部缺陷、坐标位置，根据球形果蔬大小和颜色判断是否成熟，如果成熟则执行下一步采摘程序；
(2)上位机根据球形果蔬坐标位置控制机械臂移动采摘球形果蔬，智能机器手抓取球形果蔬的同时触发微动开关，智能机器手上的近红外光谱检测模块采集球形果蔬光谱数据，代入用多元线性回归方法建立的“光谱数据-可溶性固形物含量”关系预测模型，得到果蔬的可溶性固形物含量作为内部品质信息；
(3)结合球形果蔬的颜色、直径大小和外部缺陷信息为球形果蔬评定等级，上位机控制机械臂将球形果蔬放置到不同等级箱内，完成分级装箱。
步骤(2)中采摘球形果蔬的具体步骤为：上位机将测得的果蔬直径代入公式(1)计算，将步进电机转角数值发送给单片机，单片机控制步进电机转动一定角度抓取果蔬，之后机械臂移动将果蔬摘下；
抓取时的步进电机转动角度θ由以下公式确定：
Figure BDA0002538865300000041
D0:手指张开状态时的距离/mm；
d:果蔬直径/mm；
s:手指压紧距离/mm；
m:齿轮模数；
z:齿轮齿数。
本发明基于机械臂硬件***，利用机器视觉技术与近红外光谱技术，设计了一种球形果蔬采摘-检测-分级一体化方法，并搭建了球形果蔬采摘检测分级机械臂***，实现了对球形果蔬的采摘及内外部品质同时检测，并根据检测结果进行分级装箱。该发明的实现过程分为以下四个方面：
1.设计一种同时具有采摘和检测功能的智能机器手，该智能机器手可以采摘球形果蔬，并且在成功抓取果蔬之后，采集果蔬的内部品质信息。在末端执行器抓取功能的基础上添加检测功能，该智能机器手对抓取球形果蔬应具有良好的适用性。
2.利用机器视觉方法，获取球形果蔬的颜色、直径大小、外部缺陷等外观品质信息。SSD(Single Shot MultiBox Detector)算法是一种准确度高、运算速度快的深度学习算法，用苹果作为采摘对象，利用SSD算法训练苹果识别定位模型，该模型处理含有苹果的图像时可以获取苹果的颜色、直径大小、外部缺陷和位置坐标等信息。苹果的颜色、大小、外部缺陷信息作为分级的外部品质标准，位置坐标由上位机发送给机械臂控制器，控制机械臂移动采摘苹果。
3.利用近红外光谱技术，采集果蔬光谱信息，建立可溶性固形物含量预测模型，能够根据光谱信息预测果蔬可溶性固形物含量，从感官上可溶性固形物含量与甜度密切相关，因此以可溶性固形物含量作为内部品质指标具有重要意义。
4.利用上位机，控制采摘-检测-分级装箱进程，并将分级检测结果实时显示。
本发明的有益效果：
1)本发明球形果蔬采摘检测智能机器手，将其安装于机械臂末端轴上，能够实现采摘、检测和分级装箱功能，具有灵活的移动能力，可以准确快速完成采摘-检测-分级装箱操作。智能机器手具备两个基本功能：(1)能够夹取球形果蔬；(2)能够采集球形果蔬的光谱信息。且智能机器手结构紧凑，体积小，重量轻。
2)本发明智能机器手的夹持机构，可以采摘并稳定夹持球形果蔬，该夹持机构抓取和释放果蔬时具有迅速灵敏的响应，夹持机构与果蔬表面直接接触的零件柔性低损，在夹持果蔬时不会损伤果蔬表面。
3)本发明还包括一种可采集果蔬近红外光谱信息的结构，该结构轻便小巧，可以安装到智能机器手上，该结构使用光学传感器采集果蔬的光谱信息，合理布置光学传感器与光纤的位置，尽可能保证光纤不被弯折，满足在实际工作时避免环境光对光谱采集的影响。
4)本发明还公开了一种从果蔬生长环境中识别定位果实并采集果实外观品质信息的方法，利用机器视觉技术获取果蔬图像，使用深度学习算法将果实从复杂的背景中分割出来，进一步获得果蔬的直径、外部损伤情况、坐标位置等信息，以直径和有无外部损伤作为果蔬外部品质指标，坐标信息用于控制机械臂移动采摘果蔬。
5)本发明还公开了一种综合性的果蔬等级评价方法，根据获得的果蔬内外品质信息评定果蔬等级。以往的果蔬分级指标较单一，该发明利用机器视觉技术获取果蔬的外部品质信息，利用近红外光谱技术获取果蔬的内部品质信息，根据果蔬直径、外部缺陷和可溶性固形物含量等指标综合评定果蔬等级。
本发明的球形果蔬采摘检测分级机械臂***相比于台式检测分级装置具有更加灵活、高自由度的优势，还具备采摘功能，可以在采摘果蔬的同时完成检测分级。可以用极短时间将果蔬从农产品处理为级差明显的商品，最大程度精简果蔬采摘及采后处理流程，实现果蔬去设施化处理。该发明利用机器视觉技术与近红外光谱技术，实现了对果蔬的内外部品质同时检测。基于SSD算法的机器视觉处理模块能够从复杂环境中准确识别定位果蔬，消除背景中干扰物和环境光的影响，比传统图像处理方法更加准确实用。近红外光谱法采集苹果的光谱信息能够准确预测可溶性固形物含量，可以无损快速检测内部品质信息。该装置和方法对于搭建采摘-检测-装箱一体化的球形果蔬采摘处理生产线、提高果蔬产品生产效率、提高我国果蔬商品附加值具有重要意义。
该球形果蔬采摘检测机械臂装置实现了采摘与检测分级装箱一体化进行，具有高效率、便携化、结构紧凑、通用性好、结果准确、多指标检测等特点。
附图说明
本发明有如下附图：
图1本发明智能机器手的结构示意图。
图2本发明智能机器手的夹持机构示意图。
图3本发明的***工作流程图。
图4本发明的机械臂***示意图。
图5本发明智能机器手的***图。
其中，1.安装板 2.手指连接件一 3.防滑薄片 4.光源 5.微动开关 6.软胶手指7.遮光罩 8.手指连接件二 9.滑块 10.齿条 11.步进电机 12.光学传感器 13.齿轮 14.直线导轨 15.上位机 16.双目相机 17.机械臂 18.单片机 19.球形果蔬 20.上安装架21.下安装架
具体实施方式
以下结合附图对本发明作进一步详细说明。
如图1、5所示，一种球形果蔬采摘检测智能机器手，包括上安装架、下安装架、夹持机构和近红外光谱检测模块；
所述上安装架为侧壁开口的空心圆柱体，上端打通，下端有底，底上留有使光纤通过的通孔；上安装架上半部分用于连接机械臂，其上设有安装孔，上安装架上半部分与机械臂之间通过螺栓固联，安装孔沿上安装架上半部分圆周每隔30°均匀分布，可以调节安装角度，并设计有出线孔，方便将光源及光学传感器的供电线和数据线导出；上安装架的下半部分切掉部分侧壁，用于容纳光学传感器12。
所述下安装架为切掉部分侧壁的空心圆柱体，为了减轻智能机器手的重量，将下安装架切去一部分，用以安装夹持机构。夹持机构与下安装架之间通过安装板1连接，安装板1与下安装架之间通过4个螺栓连接定位，安装板1上固定安装步进电机11。
近红外光谱检测模块包括光学传感器12、遮光罩7、光源4和微动开关5；光学传感器12下方连接有光纤，光纤尾部连接有光纤探头，光纤与光纤探头位于下安装架内；遮光罩7安装在下安装架下端，并位于手指连接件一2和手指连接件二8之间；遮光罩7内安装有光源4和微动开关5，光源4由六只卤钨灯环形排列组成。所述光学传感器12用于采集果蔬650～1100纳米波段的光谱信息。
夹持机构如图2所示，所述夹持机构包括两个齿条10、齿轮13、两个滑块9、直线导轨14、手指连接件一2、手指连接件二8和两个软胶手指6，两指的抓取方案既可以稳定夹持球形果蔬，对不是很规则的球形果蔬也有较好的夹持效果，还能够减小智能机器手的体积。步进电机11带动齿轮转动时，两个齿条对向开合。直线导轨14安装在安装板1上，两个滑块9安装在直线导轨14上，每个滑块9上均安装一个齿条10和一个手指连接件，齿轮13安装于步进电机11的输出轴上；两个手指连接件用螺栓固接在滑块9上，两只软胶手指6分别安装于两个手指连接件的安装槽中，安装槽外侧封闭，能够保证软胶手指夹持时不会脱出安装槽。软胶手指6使用软胶材料，用3D打印方法加工，有一定的形变能力，不会损伤果蔬表面，手指形状借鉴了仿生鱼鳍结构，该结构作为智能机器手的手指在抓取物体时能够包裹物体表面，对球形果蔬有较好的适用性。软胶手指内侧贴有一层橡胶材质的防滑薄片3，当软胶手指夹持球形果蔬时，防滑薄片3与果蔬表面直接接触，能够防止果蔬滑动，保证稳定夹持。夹持机构的动力传递路线依次为：步进电机输出轴→齿轮→齿条→滑块→手指连接件→软胶手指。相比于气动和液动的驱动方式，电机驱动具有响应灵敏，安装体积小，结构简单，成本低，工作时噪声小等优点。
选用海洋光学STS-NIR光学传感器采集球形果蔬的光谱信息，光纤与光学传感器相连，光纤尾部连有光纤探头。智能机器手底部是由6只卤钨灯环形排列组成的光源4，当球形果蔬靠近光纤探头时，触发底部的微动开关5，微动开关5由单片机控制，被触发后单片机18向上位机15发送指令，上位机控制光学传感器12完成光谱采集。遮光罩7为光谱采集时提供暗室环境，消除环境光的干扰。上位机将光谱数据代入建好的预测模型，计算可溶性固形物含量预测值。
本发明的机械臂***示意图如图4所示。
一种机械臂***，包括：机械臂17、机械臂控制器、智能机器手、上位机15、单片机18、双目相机16。机械臂17为工业六轴机械臂。智能机器手安装于机械臂17的端部，上位机15分别与单片机18、双目相机16、机械臂控制器、光学传感器12连接；单片机18与步进电机11、微动开关5连接；双目相机与机械臂的底座之间相对固定；
机械臂控制器用于为机械臂17供电、接收并转换上位机发送的信号、控制机械臂各轴步进电机运转。双目相机16用于采集果蔬的图像并存入上位机；上位机用于控制采摘、检测、分级、装箱流程，对果蔬的品质信息进行分析处理，控制机械臂运动，计算步进电机转角数值并发送给单片机。单片机用于接收步进电机转角数值并控制步进电机11转动一定角度，使智能机器手抓取果蔬并将果蔬摘下。
检测功能由近红外光谱检测模块与机器视觉检测模块共同完成。近红外光谱检测模块使用卤钨灯作为光源，使用光学传感器采集果蔬650～1100纳米波段的光谱信息；机器视觉检测模块使用双目相机获取果蔬的图像，用SSD算法训练的模型处理所获得的图像，可以获取球形果蔬19的颜色、直径大小、外部缺陷和位置坐标等信息，为分级提供信息参考，为抓取提供位置坐标；使用工业六轴机械臂带动智能机器手完成采摘、放置等一系列操作。上位机控制采摘及检测装箱流程，使***在合适的时机采集果蔬内外部品质信息，对果蔬的品质信息进行分析处理，并控制机械臂运动完成果蔬的分类装箱。
为得到果蔬的位置及外观品质信息，机器视觉模块使用一台双目相机16获取球形果蔬图像。双目相机与机械臂底座之间相对固定，经过标定可以将相机的图像坐标转换为机械臂坐标。工作时双目相机获取果蔬的图像并存入上位机特定位置，上位机将获取的图像输入训练好的SSD算法训练的模型。SSD算法是一种深度学习目标检测算法，利用深度学习方法可以消除背景环境及光线明暗对果蔬识别的干扰，可以从获取的图像上准确识别定位果蔬，并将其从背景中分割出来，进一步获得位置坐标、颜色、果蔬的直径大小，有无外部缺陷等信息。通过球形果蔬的颜色和直径大小智能判断苹果是否成熟可采，如果球形果蔬成熟，则根据得到的果蔬位置坐标，上位机控制机械臂到达采摘点。智能机器手的步进电机转角与果蔬直径大小有关。抓取时的步进电机转动角度θ由以下公式确定：
Figure BDA0002538865300000121
D0:手指张开状态时的距离/mm；
d:果蔬直径/mm；
s:手指压紧距离/mm；
m:齿轮模数；
z:齿轮齿数。
上位机将测得的果蔬直径代入上式计算，将步进电机转角数值发送给单片机，单片机控制步进电机转动一定角度抓取果蔬，之后机械臂移动可将果蔬摘下。
上位机使用的软件基于Microsoft visual studio开发环境，使用C语言编写，功能主要包括：控制机械臂移动采摘，控制机器视觉模块和近红外检测模块采集果蔬信息，综合果蔬直径大小、外部缺陷与可溶性固形物含量等检测结果评定果蔬的等级，根据等级信息控制机械臂移动到相应位置完成装箱。上位机控制机械臂完成采摘-检测-分级装箱工作循环，然后进入下一工作循环。
如图3所示，机械臂***实现球形果蔬采摘-检测-分级一体化的具体方法为：(1)双目相机获取球形果蔬的图像并存入上位机，上位机采用SSD算法计算球形果蔬的颜色、直径大小、有无外部缺陷、坐标位置等信息，根据球形果蔬大小和颜色判断是否成熟，如果成熟则执行下一步采摘程序，(2)上位机根据球形果蔬坐标控制机械臂移动采摘球形果蔬，机械臂上的智能机器手抓取球形果蔬的同时会触发微动开关，智能机器手上的近红外光谱检测模块采集果蔬光谱数据，代入用多元线性回归方法建立的“光谱数据-可溶性固形物含量”关系预测模型，得到球形果蔬的可溶性固形物含量作为内部品质信息，(3)结合球形果蔬的颜色、直径大小和外部缺陷信息为球形果蔬评定等级，上位机控制机械臂将球形果蔬放置到不同等级箱内，完成分级装箱。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的实质和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的保护范围。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种球形果蔬采摘检测智能机器手，其特征在于，包括：上安装架、下安装架、夹持机构和近红外光谱检测模块；
所述上安装架为侧壁开口的空心圆柱体，上端打通，下端有底，底上留有使光纤通过的通孔；上安装架上半部分用于连接机械臂，上安装架的下半部分切掉部分侧壁，用于容纳光学传感器；
所述下安装架为切掉部分侧壁的空心圆柱体，下安装架切去一部分用以安装夹持机构；夹持机构与下安装架之间通过安装板连接，安装板上固定安装步进电机；
所述近红外光谱检测模块包括光学传感器、遮光罩、光源和微动开关；光学传感器下方连接有光纤，光纤尾部连接有光纤探头，光纤与光纤探头位于下安装架内；遮光罩内安装光源和微动开关；
所述夹持机构包括两个齿条、齿轮、两个滑块、直线导轨、手指连接件一、手指连接件二和两个软胶手指；直线导轨安装在安装板上，两个滑块安装在直线导轨上，每个滑块上均安装一个齿条和一个手指连接件，齿轮安装于步进电机的输出轴上；两个手指连接件用螺栓固接在滑块上，两个软胶手指分别安装于两个手指连接件的安装槽中，安装槽外侧封闭，能够保证软胶手指夹持时不会脱出安装槽。
2.如权利要求1所述的球形果蔬采摘检测智能机器手，其特征在于：上安装架上半部分设有安装孔，并与机械臂之间通过螺栓固联，安装孔沿上安装架上半部分圆周每隔30°均匀分布，能够调节安装角度；上安装架还设计有出线孔，用于将光源及光学传感器的供电线和数据线导出。
3.如权利要求1所述的球形果蔬采摘检测智能机器手，其特征在于：安装板与下安装架之间通过4个螺栓连接定位。
4.如权利要求1所述的球形果蔬采摘检测智能机器手，其特征在于：所述遮光罩安装在下安装架下端，并位于手指连接件一和手指连接件二之间；遮光罩用于为光谱采集时提供暗室环境，消除环境光的干扰；所述光源由六只卤钨灯环形排列组成。
5.如权利要求1所述的球形果蔬采摘检测智能机器手，其特征在于：所述光学传感器为海洋光学STS-NIR光学传感器；所述光学传感器用于采集果蔬650～1100纳米波段的光谱信息。
6.如权利要求1所述的球形果蔬采摘检测智能机器手，其特征在于：所述软胶手指使用软胶材料，用3D打印方法加工；两个软胶手指采用仿生鱼鳍结构。
7.如权利要求1所述的球形果蔬采摘检测智能机器手，其特征在于：所述软胶手指内侧贴有一层橡胶材质的防滑薄片，用于防止果蔬滑动，保证稳定夹持。
8.一种机械臂***，其特征在于：包括权利要求1-7任一所述的球形果蔬采摘检测智能机器手，还包括机械臂、机械臂控制器、上位机、单片机和双目相机；智能机器手安装于机械臂的端部，上位机分别与单片机、双目相机、机械臂控制器、光学传感器连接；单片机与步进电机、微动开关连接；双目相机与机械臂的底座之间相对固定；
机械臂控制器用于为机械臂供电、接收并转换上位机发送的信号、控制机械臂各轴步进电机运转；双目相机用于采集果蔬的图像并存入上位机；上位机用于控制采摘、检测、分级、装箱流程，对果蔬的品质信息进行分析处理，控制机械臂运动，计算步进电机转角数值并发送给单片机；单片机用于接收步进电机转角数值并控制步进电机转动一定角度，使智能机器手抓取果蔬并将果蔬摘下。
9.一种球形果蔬采摘-检测-分级一体化方法，其特征在于：应用权利要求8所述的机械臂***，包括以下步骤：
(1)双目相机获取球形果蔬的图像并存入上位机，上位机采用SSD算法计算球形果蔬的颜色、直径大小、有无外部缺陷、坐标位置，根据球形果蔬大小和颜色判断是否成熟，如果成熟则执行下一步采摘程序；
(2)上位机根据球形果蔬坐标位置控制机械臂移动采摘球形果蔬，智能机器手抓取球形果蔬的同时触发微动开关，智能机器手上的近红外光谱检测模块采集球形果蔬光谱数据，代入用多元线性回归方法建立的“光谱数据-可溶性固形物含量”关系预测模型得到果蔬的可溶性固形物含量作为内部品质信息；
(3)结合球形果蔬的颜色、直径大小和外部缺陷信息为球形果蔬评定等级，上位机控制机械臂将球形果蔬放置到不同等级箱内，完成分级装箱。
10.如权利要求9所述的球形果蔬采摘-检测-分级一体化方法，其特征在于：步骤(2)中采摘球形果蔬的具体步骤为：上位机将测得的果蔬直径代入公式(1)计算，将步进电机转角数值发送给单片机，单片机控制步进电机转动一定角度抓取果蔬，之后机械臂移动将果蔬摘下；
抓取时的步进电机转动角度θ由以下公式确定：
Figure FDA0002538865290000041
D0:手指张开状态时的距离/mm；
d:果蔬直径/mm；
s:手指压紧距离/mm；
m:齿轮模数；
z:齿轮齿数。
CN202010540822.4A 2020-06-15 2020-06-15 一种球形果蔬采摘检测智能机器手及机械臂*** Pending CN111923073A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010540822.4A CN111923073A (zh) 2020-06-15 2020-06-15 一种球形果蔬采摘检测智能机器手及机械臂***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010540822.4A CN111923073A (zh) 2020-06-15 2020-06-15 一种球形果蔬采摘检测智能机器手及机械臂***

Publications (1)

Publication Number Publication Date
CN111923073A true CN111923073A (zh) 2020-11-13

Family

ID=73316201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010540822.4A Pending CN111923073A (zh) 2020-06-15 2020-06-15 一种球形果蔬采摘检测智能机器手及机械臂***

Country Status (1)

Country Link
CN (1) CN111923073A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113001577A (zh) * 2021-03-17 2021-06-22 广东电网有限责任公司计量中心 一种机器人夹爪模组
CN113019969A (zh) * 2021-03-03 2021-06-25 南京农业大学 一种智能苹果分级***
CN113287421A (zh) * 2021-07-02 2021-08-24 王小平 一种茶叶智能采集机
CN113352299A (zh) * 2021-06-25 2021-09-07 安徽机电职业技术学院 一种工业机器人复合夹具
CN113426693A (zh) * 2021-07-26 2021-09-24 四川农业大学 一种果实多级筛分装置及筛分方法
CN113575131A (zh) * 2021-08-23 2021-11-02 河北省科学院应用数学研究所 基于对称多指夹持器的柑橘采摘分拣一体化装置
US20210337733A1 (en) * 2018-05-22 2021-11-04 Octinion Bvba Improved method and apparatus for automatically picking a fruit
CN113639624A (zh) * 2021-10-14 2021-11-12 邳州龙威健康科技有限公司 一种腕力球生产直径检测装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102818777A (zh) * 2012-08-24 2012-12-12 北京农业智能装备技术研究中心 一种基于光谱和颜色测量的水果成熟度评价方法
US20160187361A1 (en) * 2014-12-31 2016-06-30 Ge Energy Oilfield Technology, Inc. System for Handling a Core Sample
CN205380685U (zh) * 2016-03-03 2016-07-13 无锡职业技术学院 一种新型机械手爪
CN108098812A (zh) * 2017-12-26 2018-06-01 重庆英拓机电设备有限公司 环形件抓取机械手
CN108612635A (zh) * 2018-05-15 2018-10-02 东北大学 减速带发电组
CN110420878A (zh) * 2019-07-10 2019-11-08 中国农业大学 一种果蔬分选机械手及***
CN110774303A (zh) * 2019-10-29 2020-02-11 徐州晨晓精密机械制造有限公司 一种精密机械零件抓取机构
CN110815261A (zh) * 2019-11-03 2020-02-21 杭州富阳富创大数据产业创新研究院有限公司 加工中心圆类工件上料机器人
CN110962148A (zh) * 2018-09-30 2020-04-07 湖南三德科技股份有限公司 一种用于样品采制化的机械手
CN110991469A (zh) * 2019-12-30 2020-04-10 西南大学 一种水果可溶性固形物在线检测方法及***
CN210304646U (zh) * 2019-07-10 2020-04-14 中国农业大学 一种果蔬分选机械手

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102818777A (zh) * 2012-08-24 2012-12-12 北京农业智能装备技术研究中心 一种基于光谱和颜色测量的水果成熟度评价方法
US20160187361A1 (en) * 2014-12-31 2016-06-30 Ge Energy Oilfield Technology, Inc. System for Handling a Core Sample
CN205380685U (zh) * 2016-03-03 2016-07-13 无锡职业技术学院 一种新型机械手爪
CN108098812A (zh) * 2017-12-26 2018-06-01 重庆英拓机电设备有限公司 环形件抓取机械手
CN108612635A (zh) * 2018-05-15 2018-10-02 东北大学 减速带发电组
CN110962148A (zh) * 2018-09-30 2020-04-07 湖南三德科技股份有限公司 一种用于样品采制化的机械手
CN110420878A (zh) * 2019-07-10 2019-11-08 中国农业大学 一种果蔬分选机械手及***
CN210304646U (zh) * 2019-07-10 2020-04-14 中国农业大学 一种果蔬分选机械手
CN110774303A (zh) * 2019-10-29 2020-02-11 徐州晨晓精密机械制造有限公司 一种精密机械零件抓取机构
CN110815261A (zh) * 2019-11-03 2020-02-21 杭州富阳富创大数据产业创新研究院有限公司 加工中心圆类工件上料机器人
CN110991469A (zh) * 2019-12-30 2020-04-10 西南大学 一种水果可溶性固形物在线检测方法及***

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210337733A1 (en) * 2018-05-22 2021-11-04 Octinion Bvba Improved method and apparatus for automatically picking a fruit
CN113019969A (zh) * 2021-03-03 2021-06-25 南京农业大学 一种智能苹果分级***
CN113001577A (zh) * 2021-03-17 2021-06-22 广东电网有限责任公司计量中心 一种机器人夹爪模组
CN113352299A (zh) * 2021-06-25 2021-09-07 安徽机电职业技术学院 一种工业机器人复合夹具
CN113287421A (zh) * 2021-07-02 2021-08-24 王小平 一种茶叶智能采集机
CN113426693A (zh) * 2021-07-26 2021-09-24 四川农业大学 一种果实多级筛分装置及筛分方法
CN113575131A (zh) * 2021-08-23 2021-11-02 河北省科学院应用数学研究所 基于对称多指夹持器的柑橘采摘分拣一体化装置
CN113575131B (zh) * 2021-08-23 2022-07-19 河北省科学院应用数学研究所 基于对称多指夹持器的柑橘采摘分拣一体化装置
CN113639624A (zh) * 2021-10-14 2021-11-12 邳州龙威健康科技有限公司 一种腕力球生产直径检测装置

Similar Documents

Publication Publication Date Title
CN111923073A (zh) 一种球形果蔬采摘检测智能机器手及机械臂***
CN207242199U (zh) 一种电感自动测试包装机
CN110420878A (zh) 一种果蔬分选机械手及***
CN110694921B (zh) 蔬菜分拣***及其控制方法
CN103252320A (zh) 一种cob光组件自动测试分选机
CN101920245A (zh) 基于可见近红外光谱的水果糖酸度在线检测与分选生产线
CN101176872A (zh) 基于机器视觉的物料实时检测及异物剔除***
CN108355986B (zh) 一种面向物料检测的双向上料与分拣无人自主智能设备
CN105911069A (zh) 一种机械手连接线自动测试装置
CN210071686U (zh) 基于正交双目机器视觉的水果分级装置
CN113569922A (zh) 一种苹果智能无损分拣的方法
CN112136506A (zh) 具有水果成熟度辨别功能的机器人手臂装置
CN214347989U (zh) 一种对丝螺纹自动检测装置
CN114193487B (zh) 一种用于水果原位品质检测的柔性机械手和检测方法
CN108318494A (zh) 红提果粉的在线视觉检测分级装置及其方法
CN115719451A (zh) 一种软枣猕猴桃成熟度检测方法及***
CN109926348A (zh) 一种基于rgb水果分类方法及分类装置
CN214066914U (zh) 一种椭球形水果的图像和光谱采集装置
CN108204977A (zh) 基于机器视觉的玉米籽粒品质自动检测装置
CN208016381U (zh) 一种果蔬采摘机械
CN210304646U (zh) 一种果蔬分选机械手
CN209167144U (zh) 鲜食葡萄无损采摘品质检测分级装置
CN211437053U (zh) 蔬菜分拣***
CN112775022A (zh) 一种小型水果内部品质智能分级设备
CN218546555U (zh) 一种用于pcb表面元器件识别的自动视觉检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination