CN110694921A - 蔬菜分拣***及其控制方法 - Google Patents

蔬菜分拣***及其控制方法 Download PDF

Info

Publication number
CN110694921A
CN110694921A CN201910840248.1A CN201910840248A CN110694921A CN 110694921 A CN110694921 A CN 110694921A CN 201910840248 A CN201910840248 A CN 201910840248A CN 110694921 A CN110694921 A CN 110694921A
Authority
CN
China
Prior art keywords
vegetable
sorting
vegetables
cylinder
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910840248.1A
Other languages
English (en)
Other versions
CN110694921B (zh
Inventor
林森
郭文忠
王利春
刘玉坤
张磊鑫
文朝武
王少磊
贾冬冬
徐凡
李友丽
陈红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Research Center of Intelligent Equipment for Agriculture
Original Assignee
Beijing Research Center of Intelligent Equipment for Agriculture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Research Center of Intelligent Equipment for Agriculture filed Critical Beijing Research Center of Intelligent Equipment for Agriculture
Priority to CN201910840248.1A priority Critical patent/CN110694921B/zh
Priority claimed from CN201910840248.1A external-priority patent/CN110694921B/zh
Publication of CN110694921A publication Critical patent/CN110694921A/zh
Application granted granted Critical
Publication of CN110694921B publication Critical patent/CN110694921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • AHUMAN NECESSITIES
    • A23FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23NMACHINES OR APPARATUS FOR TREATING HARVESTED FRUIT, VEGETABLES OR FLOWER BULBS IN BULK, NOT OTHERWISE PROVIDED FOR; PEELING VEGETABLES OR FRUIT IN BULK; APPARATUS FOR PREPARING ANIMAL FEEDING- STUFFS
    • A23N15/00Machines or apparatus for other treatment of fruits or vegetables for human purposes; Machines or apparatus for topping or skinning flower bulbs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/02Measures preceding sorting, e.g. arranging articles in a stream orientating
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36Sorting apparatus characterised by the means used for distribution
    • B07C5/361Processing or control devices therefor, e.g. escort memory
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36Sorting apparatus characterised by the means used for distribution
    • B07C5/361Processing or control devices therefor, e.g. escort memory
    • B07C5/362Separating or distributor mechanisms
    • AHUMAN NECESSITIES
    • A23FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23NMACHINES OR APPARATUS FOR TREATING HARVESTED FRUIT, VEGETABLES OR FLOWER BULBS IN BULK, NOT OTHERWISE PROVIDED FOR; PEELING VEGETABLES OR FRUIT IN BULK; APPARATUS FOR PREPARING ANIMAL FEEDING- STUFFS
    • A23N15/00Machines or apparatus for other treatment of fruits or vegetables for human purposes; Machines or apparatus for topping or skinning flower bulbs
    • A23N2015/008Sorting of fruit and vegetables
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0081Sorting of food items
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/009Sorting of fruit

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Polymers & Plastics (AREA)
  • Sorting Of Articles (AREA)

Abstract

本发明涉及蔬菜分拣流水线技术领域,公开了一种蔬菜分拣***及其控制方法,其中蔬菜分拣***包括用于放置蔬菜的传送机构,还包括控制器以及沿传送机构的传送方向依次设置的蔬菜识别机构和分拣机构;蔬菜识别机构包括相互连接的图像采集组件和图像识别处理器,图像采集组件的镜头朝向传送机构,图像识别处理器内置有神经网络模块,以判断图像采集组件获取的图像中的蔬菜是否合格;分拣机构用于选择性地移动蔬菜;分拣机构和图像识别处理器均电连接于控制器。该蔬菜分拣***将机器视觉与机械分拣生产线相结合,适应范围更广,灵活性更高,通过深度学习训练,可以实现对叶菜的自动识别、分级和筛选。

Description

蔬菜分拣***及其控制方法
技术领域
本发明涉及蔬菜分拣流水线技术领域,尤其涉及一种蔬菜分拣***及其控制方法。
背景技术
分拣技术是农产品包装工艺中不可或缺的一个环节,在果蔬行业,挑选出不新鲜产品是至关重要的。一个腐烂的果蔬很容易毁掉整批果蔬,因此会造成严重的经济损失。目前,我国叶菜分拣大都采用人工分拣,为了方便操作,还需要先将果蔬进行初加工,这种人工分拣的方式,不仅费时费力,效率低下,而且分拣的标准因人而异,导致分拣质量不一,分拣人员长时间工作后还会产生疲劳,致使不符合标准的果蔬未被分离出去。另外,随着劳动成本的增加,生产成本进一步提高。随着农业信息化的发展,人们为了提高生产效率,稳定生产质量,开始使用分拣设备。
目前,我国真正在农业蔬菜领域付诸应用的智能分拣***尚处于起步阶段。市场上现有的分拣***大都应用在水果或者果菜分拣领域,因为瓜果类外形较为统一,分拣标准更易指定。由于叶菜外形不规则、特征复杂、结构性较差,传统的视觉和光谱分拣技术只能识别出其中的一个或几个特征,因此分拣误差较大。
发明内容
本发明实施例提供一种蔬菜分拣***及其控制方法,用以解决现有的蔬菜分拣***识别特征单一、分拣误差大的问题,以提高分拣效率和精度。
本发明实施例提供一种蔬菜分拣***,包括用于放置蔬菜的传送机构,还包括控制器以及沿所述传送机构的传送方向依次设置的蔬菜识别机构和分拣机构;所述蔬菜识别机构包括相互连接的图像采集组件和图像识别处理器,所述图像采集组件的镜头朝向位于所述传送机构上的所述蔬菜,所述图像识别处理器内置有神经网络模块,以根据所述图像采集组件获取的蔬菜图像判断所述蔬菜是否合格;所述分拣机构用于选择性地移动所述蔬菜;所述传送机构、所述分拣机构和所述图像识别处理器均电连接于控制器。
其中,所述分拣机构包括第一支架和推动组件,所述第一支架固接于所述传送机构的一侧;所述推动组件包括第一气缸,所述第一气缸的缸体连接于所述第一支架,所述第一气缸的活塞杆朝向位于所述传送机构上的所述蔬菜。
其中,所述第一支架固接有第一转动电机,所述第一转动电机的输出轴连接于所述第一气缸的缸体;所述第一转动电机的输出轴上安装有第一旋转编码器,所述第一转动电机和所述第一旋转编码器均电连接于所述控制器。
其中,所述推动组件还包括第一夹头,所述第一夹头包括第一夹持气缸、第一推板、第一左连杆、第一右连杆、第一左夹指和第一右夹指,所述第一夹持气缸的缸体固接于所述第一气缸的活塞杆,所述第一夹持气缸的活塞杆固接于所述第一推板的中部,所述第一推板的左端、所述第一左连杆和所述第一左夹指依次铰接,所述第一推板的右端、所述第一右连杆和所述第一右夹指依次铰接,所述第一左夹指和所述第一右夹指均铰接在所述第一夹持气缸的缸体上。
其中,所述分拣机构包括第二支架和拉动组件,所述第二支架固接于所述传送机构的一侧;所述拉动组件包括第二气缸和第二夹头,所述第二气缸的缸体连接于所述第二支架,所述第二气缸的活塞杆朝向所述传送机构;所述第二夹头包括第二夹持气缸、第二推板、第二左连杆、第二右连杆、第二左夹指和第二右夹指,所述第二夹持气缸的缸体固接于所述第二气缸的活塞杆,所述第二夹持气缸的活塞杆固接于所述第二推板的中部,所述第二推板的左端、所述第二左连杆和所述第二左夹指依次铰接,所述第二推板的右端、所述第二右连杆和所述第二右夹指依次铰接,所述第二左夹指和所述第二右夹指均铰接在所述第二夹持气缸的缸体上。
其中,所述第二支架固接有第二转动电机,所述第二转动电机的输出轴连接于所述第二气缸的缸体;所述第二转动电机的输出轴上安装有第二旋转编码器,所述第二转动电机和所述第二旋转编码器均电连接于所述控制器。
其中,所述图像采集组件包括固接于所述传送机构上的暗箱以及安装于所述暗箱内的3D点云相机和补光灯,所述3D点云相机电连接于所述图像识别处理器。
其中,所述暗箱沿所述传送方向上的相对的两侧壁上分别开设有可上下移动的滑动门,所述滑动门的驱动组件电连接于所述控制器。
其中,所述传送机构的两侧安装有挡板,所述挡板可沿垂直于所述传送方向的方向在所述传送机构的表面滑动。
其中,所述传送机构包括承载架、传送带和传送电机,所述蔬菜识别机构和所述分拣机构均安装于所述承载架上,所述传送带绕设于所述承载架,所述传送电机用于驱动所述传送带转动。
本发明实施例还提供一种上述蔬菜分拣***的控制方法,包括:
将蔬菜集中放置于传送机构的第一分区,所述图像采集组件依次采集所述蔬菜的图像;
基于神经网络模块内预存的神经网络模型,对所述蔬菜的图像进行识别,获取所述蔬菜的分类结果;
当所述蔬菜的分类结果为不合格时,利用分拣机构将所述蔬菜移动至所述传送机构的第二分区。
其中,所述神经网络模型的训练方法包括:
获取样本的RGB彩色图像和3D点云信息,将所述RGB彩色图像作为第一训练集,对所述第一训练集进行标注;
用YOLOv3对标注后的所述第一训练集进行训练,得到对所述样本的投影面积、叶面色差和质量等级进行分类和识别的第一神经网络模型,并获取二维训练结果;
对所述RGB彩色图像进行分割处理,获取目标检测物及其所在区域,再进行灰度处理并裁剪,获取只包含所述目标检测物及其所在区域的灰度图;
将所述灰度图中的所述目标检测物和所述3D点云信息一一对应,随机选择对应后的点云作为第二训练集;
用PointNet网络对所述二维训练结果和所述第二训练集对进行训练,得到对所述样本的叶菜重量、投影面积、叶面色差和质量等级进行分类和识别的第二神经网络模型。
其中,所述获取样本的RGB彩色图像和3D点云信息,将所述RGB彩色图像作为第一训练集,对所述第一训练集进行标注,进一步包括:
对所述RGB彩色图像进行自适应直方图均衡化预处理;
对预处理后的RGB彩色图像采用随机裁剪、水平翻转和/或随机旋转角度的方式进行数据增广,将增广后的RGB彩色图像作为所述第一训练集。
其中,所述对所述RGB彩色图像进行分割处理,获取目标检测物及其所在区域,再进行灰度处理并裁剪,获取只包含所述目标检测物及其所在区域的灰度图,进一步包括:
利用语义分割算法对所述RGB彩色图像进行分割,分割出所述目标检测物所在区域;
利用二值化算法对获取了所述目标检测物及其所在区域的所述RGB彩色图像进行灰度处理。
本发明实施例提供的蔬菜分拣***及其控制方法,其中蔬菜分拣***包括用于放置蔬菜的传送机构,还包括控制器以及蔬菜识别机构和分拣机构,通过蔬菜识别机构对蔬菜进行图像采集和识别,利用图像识别处理器内置的神经网络模块,判断获取的图像中的蔬菜是否合格。通过分拣机构对蔬菜进行分拣。该蔬菜分拣***将机器视觉与机械分拣生产线相结合,适应范围更广,灵活性更高,通过深度学习训练,可以实现对叶菜的自动识别、分级和筛选,比人工分拣更加精确高效,解决了人工分拣速度慢,分拣质量不稳定的缺点,且容错率更高,节约了人力成本,节省了资源,同时提高了产品质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中的一种蔬菜分拣***的结构示意图;
图2是本发明实施例中的一种蔬菜分拣***的组成示意图;
图3是本发明实施例中的第一夹头的原理示意图;
附图标记说明:
1:传送机构; 11:承载架; 12:传送带;
121:第一分区; 122:第二分区; 13:传送电机;
2:控制器; 21:PLC控制***; 22:人机交互***;
3:蔬菜识别机构; 31:图像采集组件; 311:暗箱;
312:3D点云相机; 313:补光灯; 314:滑动门;
32:图像识别处理器; 321:神经网络模块; 322:信号输出模块;
4:分拣机构; 41:第一支架; 42:推动组件;
421:第一气缸; 422:第一夹头; 423:第一夹持气缸;
424:第一推板; 425:第一左连杆; 426:第一右连杆;
427:第一左夹指; 428:第一右夹指; 43:拉动组件;
5:挡板。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例的描述中,需要说明的是,除非另有明确的规定和限定,术语“第一”“第二”是为了清楚说明产品部件进行的编号,不代表任何实质性区别。“上”“下”“左”“右”的方向均以附图所示方向为准。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明实施例中的具体含义。
需要说明的是,除非另有明确的规定和限定,术语“连接”应做广义理解,例如,可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以具体情况理解上述术语在发明实施例中的具体含义。
图1是本发明实施例中的一种蔬菜分拣***的结构示意图,图2是本发明实施例中的一种蔬菜分拣***的组成示意图,如图1~图2所示,本发明实施例提供的一种蔬菜分拣***,包括用于放置蔬菜的传送机构1,还包括控制器2以及沿传送机构1的传送方向依次设置的蔬菜识别机构3和分拣机构4。
蔬菜识别机构3包括相互连接的图像采集组件31和图像识别处理器32,图像采集组件31的镜头朝向位于传送机构1上的蔬菜,图像识别处理器32内置有神经网络模块321,以根据图像采集组件31获取的蔬菜图像判断蔬菜是否合格。分拣机构4用于选择性地移动蔬菜。传送机构1、分拣机构4和图像识别处理器32均电连接于控制器2。
具体地,图1为本实施例中的蔬菜分拣***的俯视图,传送方向由下至上。传送机构1可以采用传送带结构或者传送辊轮结构。蔬菜可以与栽培容器一起被放置于传送机构1上,既可以保持蔬菜分拣***的整洁,避免水土等杂质的污染,又可以保证传送的稳定,形成统一的背景参照,有利于快速准确地识别叶菜品质。
控制器2是***的控制中枢,可以包括PLC控制***21(下位机)以及人机交互***22(上位机)。PLC控制***21可以采用西门子S7-1200***,包含配套设置的电源、中央处理单元、存储器、输入单元和输出单元。PLC控制***21用于监测传送机构1的运行状态,并控制传送机构1的启停、速度和方向;还用于接收蔬菜识别机构3的识别结果,控制蔬菜识别机构3采集图像;还用于监测分拣机构4的运行状态,并控制分拣机构4对不合格的蔬菜进行分拣操作。人机交互***22可以采用PC端或者移动终端,人机交互***22通过以太网与PLC控制***21相连。操作人员可以在人机交互***22上设置传送机构1和分拣机构4的运行参数,例如传送机构1的传送速度、方向及启停,分拣机构4的退出速度、行程,时间间隔等。同时设置蔬菜识别机构3对采集图像中的叶菜的提取特征参数,例如叶菜的类型、重量和体积系数、质量等级等。PLC控制***21可以接收来自人机交互***22的指令,对传送机构1和分拣机构4进行相应控制,实现分拣动作,将叶菜分类移动到指定位置。另外,控制器2还可以采用其他的集成处理器,只要能实现上述功能即可。
蔬菜识别机构3包括相互连接的图像采集组件31和图像识别处理器32,图像采集组件31用于采集蔬菜的图像,并将图像转化为数字信号发送给图像识别处理器32,图像识别处理器32内置有神经网络模块321,神经网络模块321内预存有预先训练好的神经网络模型,用于对采集到的蔬菜图像信号进行识别和分类。同时图像识别处理器32还内置有与PLC控制***21相连接的信号输出模块322,用于将检测结果发送给控制器2作为分拣操作的输入。
分拣机构4可以安装在传送机构1的侧方,用于选择性地移动蔬菜,根据蔬菜识别机构3的检测结果来执行分拣动作。分拣机构4可以采用推动蔬菜的方式将蔬菜分拣,也可以采用拉动蔬菜的方式。初始时,蔬菜全部放置于传送机构1的第一分区121,并有序地依次通过蔬菜识别机构3,若识别出当前的蔬菜为某一类需要分拣出来蔬菜(例如不合格蔬菜),则可以启动分拣机构4,将该蔬菜从队列中推出或者拉出至第二分区122,实现蔬菜的分拣。
本实施例提供的一种蔬菜分拣***,包括用于放置蔬菜的传送机构,还包括控制器以及蔬菜识别机构和分拣机构,通过蔬菜识别机构对蔬菜进行图像采集和识别,利用图像识别处理器内置的神经网络模块,判断获取的图像中的蔬菜是否合格。通过分拣机构对蔬菜进行分拣。该蔬菜分拣***将机器视觉与机械分拣生产线相结合,适应范围更广,灵活性更高,通过深度学习训练,可以实现对叶菜的自动识别、分级和筛选,比人工分拣更加精确高效,解决了人工分拣速度慢,分拣质量不稳定的缺点,且容错率更高,节约了人力成本,节省了资源,同时提高了产品质量。
进一步地,如图1所示,传送机构1包括承载架11、传送带12和传送电机13,蔬菜识别机构3和分拣机构4均安装于承载架11上,传送带12绕设于承载架11,传送电机13可以通过齿轮或者链条等传动结构连接于传送带12,以驱动传送带12转动。传送带12上设置有位于右侧的第一分区121和位于左侧的第二分区122,分拣前的蔬菜集中在第一分区121传送,然后利用分拣机构4将不合格蔬菜移动至第二分区122,实现蔬菜的分拣。具体地,传送带12宽度为0.5米,长度为1.6米。传送电机13采用伺服电机。
进一步地,如图1所示,分拣机构4包括第一支架41和推动组件42,第一支架41固接于传送机构1的右侧。推动组件42包括第一气缸421,第一气缸421的缸体连接于第一支架41,第一气缸421的活塞杆朝向位于传送机构1上的蔬菜。具体地,第一气缸421的缸体通过进气阀和出气阀连通于外部的压缩气***。进气阀和出气阀均为电动阀或者电磁阀,且均电连接于控制器2,以接收启停信号。通过调节第一气缸421的缸体内的气压,实现对第一气缸421的活塞杆的推拉。更具体地,第一气缸421的活塞杆可以在0~15cm的长度范围内自由调节。
更进一步地,第一支架41固接有第一转动电机(图中未示出),第一转动电机的输出轴连接于第一气缸421的缸体。第一转动电机的输出轴上安装有第一旋转编码器(图中未示出),第一转动电机和第一旋转编码器均电连接于控制器2。具体地,第一转动电机的转速和偏转角度均可发送给控制器2进行监控,便于实现反馈控制。利用第一转动电机可以带动第一气缸421左右摆动,可以实现较大范围内的分拣操作,既能够通过调节对蔬菜的推动角度,避免将盛装蔬菜的栽培容器推倒;又能够适应传送机构1的传送速度,可以快速、及时地执行多次分拣操作,不发生分拣操作的遗漏。更具体地,第一气缸421可以在0~30°的角度范围内自由调节。
进一步地,如图1和图3所示,推动组件42还包括第一夹头422,第一夹头422包括第一夹持气缸423、第一推板424、第一左连杆425、第一右连杆426、第一左夹指427和第一右夹指428。第一夹持气缸423的缸体固接于第一气缸421的活塞杆,因而第一夹头422整体可以随着第一气缸421的活塞杆实现前后移动和左右摆动。第一夹持气缸423的活塞杆固接于第一推板424的中部,第一推板424的左端、第一左连杆425和第一左夹指427依次铰接,第一推板424的右端、第一右连杆426和第一右夹指428依次铰接,第一左夹指427和第一右夹指428均铰接在第一夹持气缸423的缸体上。因而,当第一夹持气缸423的活塞杆前后移动时,第一左夹指427和第一右夹指428可以随之开合,实现对蔬菜的夹持和释放。
具体地,第一夹持气缸423的缸体通过进气阀和出气阀连通于外部的压缩气***。进气阀和出气阀均为电动阀或者电磁阀,且均电连接于控制器2,以接收启停信号。通过调节第一夹持气缸423的缸体内的气压,实现对第一夹持气缸423的活塞杆的推拉,进而实现对第一夹头422的夹持和释放动作的控制。更具体地,第一夹头422朝向蔬菜的一侧还可以设置有感应开关,当感应到已经接触了蔬菜时,控制第一夹头422闭合,夹持蔬菜,并将其推至第二分区122,待推至预设位置后,立刻控制第一夹头422打开,释放蔬菜,第一气缸421的活塞杆及时带动第一夹头422复位,等待下一次分拣。通过设置第一夹头422可以实现对蔬菜的栽培容器的夹持,保证容器不被推倒,污染分拣***。此外,第一夹头422也可以直接采用弧形推板代替。
进一步地,分拣机构4还可以包括第二支架(图中未示出)和拉动组件43,第二支架固接于传送机构的左侧。拉动组件43包括第二气缸和第二夹头(图中均未示出),第二气缸的缸体连接于第二支架,第二气缸的活塞杆朝向传送机构;第二夹头包括第二夹持气缸、第二推板、第二左连杆、第二右连杆、第二左夹指和第二右夹指,第二夹持气缸的缸体固接于第二气缸的活塞杆,第二夹持气缸的活塞杆固接于第二推板的中部,第二推板的左端、第二左连杆和第二左夹指依次铰接,第二推板的右端、第二右连杆和第二右夹指依次铰接,第二左夹指和第二右夹指均铰接在第二夹持气缸的缸体上。
具体地,拉动组件和推动组件的结构和组成类似,不同的是,推动组件42设置在传送机构1靠近第一分区121的一侧,利用第一气缸421的活塞杆带动第一夹头422,将不合格的蔬菜推至第二分区122。而拉动组件43则设置在传送机构1靠近第二分区122的一侧,利用第二气缸的活塞杆带动第二夹头,将不合格的蔬菜拉至第二分区122。
更进一步地,第二支架固接有第二转动电机(图中未示出),第二转动电机的输出轴连接于第二气缸的缸体。第二转动电机的输出轴上安装有第二旋转编码器(图中未示出),第二转动电机和第二旋转编码器均电连接于控制器。具体地,第二转动电机的转速和偏转角度均可发送给控制器2进行监控,便于实现反馈控制。利用第二转动电机可以带动第二气缸的左右摆动,可以实现较大范围内的分拣操作。
进一步地,如图1~图2所示,图像采集组件31包括固接于传送机构1上的暗箱311以及安装于暗箱311内的3D点云相机312和补光灯313,3D点云相机312电连接于图像识别处理器32。具体地,3D点云相机312可以采用图漾科技FM810-IX型号,可以同时获取拍摄物的RGB彩色图像和3D点云信息。补光灯313可以采用环形不可见光光源打光,为3D点云相机312采集图像提供相对单一的光源环境。更具体地,补光灯313的光强和光色可以根据拍摄到的叶菜颜色和亮度进行调节,可以采用人为手动调整,也可以将补光灯313的调节器电连接于控制器2,实现自动调整。
更进一步地,暗箱311沿传送方向上的相对的两侧壁上分别开设有可上下移动的滑动门314,滑动门314的驱动组件电连接于控制器2。通过滑动门314的启闭,可以保证每次拍摄时暗箱311内的光照均稳定相同,减少外界光照的影响。滑动门314可以采用电机和链条的传动结构来实现,滑动门314为现有成熟设备,可直接于市场采购。
进一步地,如图1所示,传送机构1的两侧安装有挡板5,挡板5可沿垂直于传送方向的方向在传送机构1的表面滑动。具体地,挡板5的滑动长度可以根据蔬菜的大小来设计。挡板5可以分为多块竖板,分别安装在蔬菜识别机构3的前端部分,以及安装在蔬菜识别机构3的后端部分且与分拣机构4相对一侧。位于蔬菜识别机构3的前端部分的挡板5可以在传送过程中进行左右移动,将待分拣的蔬菜集中到传送机构1的第一分区121,使其呈顺序排列。更具体地,挡板5可以在0~30cm的长度范围内自由调节。
通过设置挡板5既可以防止叶菜在传送带上传输过程中掉落到装置之外,又可以根据蔬菜的投影面积的大小进行调节,保证蔬菜集中于第一分区121进行传送,便于进行后续的分拣操作。
本发明实施例还提供一种上述蔬菜分拣***的控制方法,包括:
步骤S1:将蔬菜集中放置于传送机构1的第一分区121,图像采集组件31依次采集蔬菜的图像。
具体地,利用挡板5将蔬菜集中到传送带12右侧的第一分区121上,呈顺序排列。在传送带12的带动下依次通过图像采集组件31。
步骤S2:基于神经网络模块321内预存的神经网络模型,对蔬菜的图像进行识别,获取蔬菜的分类结果。
具体地,图像识别处理器32接收到图像采集组件31采集的图像信息,利用预先训练好的神经网络模型对该图像进行识别,输出分类结果给控制器2。
步骤S3:当蔬菜的分类结果为不合格时,利用分拣机构4将蔬菜移动至传送机构1的第二分区122。
具体地,当分类结果为不合格时,控制器2发出控制信号给分拣机构4,控制分拣机构执行分拣动作,将不合格的蔬菜移动至第二分区122。
进一步地,神经网络模型的训练方法包括:
步骤S10:获取样本的RGB彩色图像和3D点云信息,将RGB彩色图像作为第一训练集,对第一训练集进行标注;
步骤S20:用YOLOv3对标注后的第一训练集进行训练,得到对样本的投影面积、叶面色差和质量等级进行分类和识别的第一神经网络模型,并获取二维训练结果;
步骤S30:对RGB彩色图像进行分割处理,获取目标检测物及其所在区域,再进行灰度处理并裁剪,获取只包含目标检测物及其所在区域的灰度图;
步骤S40:将灰度图中的目标检测物和3D点云信息一一对应,随机选择对应后的点云作为第二训练集;
步骤S50:用PointNet网络对二维训练结果和第二训练集对进行训练,得到对样本的叶菜重量、投影面积、叶面色差和质量等级进行分类和识别的第二神经网络模型。
进一步地,步骤S10进一步包括:
步骤S11:对RGB彩色图像进行自适应直方图均衡化预处理;
步骤S12:对预处理后的RGB彩色图像采用随机裁剪、水平翻转和/或随机旋转角度的方式进行数据增广,将增广后的RGB彩色图像作为第一训练集。
进一步地,步骤S30进一步包括:
步骤S31:利用语义分割算法对RGB彩色图像进行分割,分割出目标检测物所在区域;
步骤S32:利用二值化算法对获取了目标检测物及其所在区域的RGB彩色图像进行灰度处理。
通过以上实施例可以看出,本发明提供的蔬菜分拣***及其控制方法,其中蔬菜分拣***包括用于放置蔬菜的传送机构,还包括控制器以及蔬菜识别机构和分拣机构,通过蔬菜识别机构对蔬菜进行图像采集和识别,利用图像识别处理器内置的神经网络模块,判断获取的图像中的蔬菜是否合格。通过分拣机构对不合格的蔬菜进行分拣。该蔬菜分拣***将机器视觉与机械分拣生产线相结合,适应范围更广,灵活性更高,通过深度学习训练,可以实现对叶菜的自动识别、分级和筛选,比人工分拣更加精确高效,解决了人工分拣速度慢,分拣质量不稳定的缺点,且容错率更高。将基于2D和3D结合的非结构目标识别分类技术引入到叶菜分拣中来,与传统的视觉识别和光谱分析技术相比,大大提高了分拣精度和速度,节约了人力成本,节省了资源,同时提高了产品质量,大幅提高了生产效率。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种蔬菜分拣***,包括用于放置蔬菜的传送机构,其特征在于,还包括控制器以及沿所述传送机构的传送方向依次设置的蔬菜识别机构和分拣机构;所述蔬菜识别机构包括相互连接的图像采集组件和图像识别处理器,所述图像采集组件的镜头朝向位于所述传送机构上的所述蔬菜,所述图像识别处理器内置有神经网络模块,以根据所述图像采集组件获取的蔬菜图像判断所述蔬菜是否合格;所述分拣机构用于选择性地移动所述蔬菜;所述传送机构、所述分拣机构和所述图像识别处理器均电连接于控制器。
2.根据权利要求1所述的蔬菜分拣***,其特征在于,所述分拣机构包括第一支架和推动组件,所述第一支架固接于所述传送机构的一侧;所述推动组件包括第一气缸,所述第一气缸的缸体连接于所述第一支架,所述第一气缸的活塞杆朝向位于所述传送机构上的所述蔬菜。
3.根据权利要求2所述的蔬菜分拣***,其特征在于,所述第一支架固接有第一转动电机,所述第一转动电机的输出轴连接于所述第一气缸的缸体;所述第一转动电机的输出轴上安装有第一旋转编码器,所述第一转动电机和所述第一旋转编码器均电连接于所述控制器。
4.根据权利要求2所述的蔬菜分拣***,其特征在于,所述推动组件还包括第一夹头,所述第一夹头包括第一夹持气缸、第一推板、第一左连杆、第一右连杆、第一左夹指和第一右夹指,所述第一夹持气缸的缸体固接于所述第一气缸的活塞杆,所述第一夹持气缸的活塞杆固接于所述第一推板的中部,所述第一推板的左端、所述第一左连杆和所述第一左夹指依次铰接,所述第一推板的右端、所述第一右连杆和所述第一右夹指依次铰接,所述第一左夹指和所述第一右夹指均铰接在所述第一夹持气缸的缸体上。
5.根据权利要求1所述的蔬菜分拣***,其特征在于,所述分拣机构包括第二支架和拉动组件,所述第二支架固接于所述传送机构的一侧;所述拉动组件包括第二气缸和第二夹头,所述第二气缸的缸体连接于所述第二支架,所述第二气缸的活塞杆朝向所述传送机构;
所述第二夹头包括第二夹持气缸、第二推板、第二左连杆、第二右连杆、第二左夹指和第二右夹指,所述第二夹持气缸的缸体固接于所述第二气缸的活塞杆,所述第二夹持气缸的活塞杆固接于所述第二推板的中部,所述第二推板的左端、所述第二左连杆和所述第二左夹指依次铰接,所述第二推板的右端、所述第二右连杆和所述第二右夹指依次铰接,所述第二左夹指和所述第二右夹指均铰接在所述第二夹持气缸的缸体上。
6.根据权利要求5所述的蔬菜分拣***,其特征在于,所述第二支架固接有第二转动电机,所述第二转动电机的输出轴连接于所述第二气缸的缸体;所述第二转动电机的输出轴上安装有第二旋转编码器,所述第二转动电机和所述第二旋转编码器均电连接于所述控制器。
7.根据权利要求1所述的蔬菜分拣***,其特征在于,所述图像采集组件包括固接于所述传送机构上的暗箱以及安装于所述暗箱内的3D点云相机和补光灯,所述3D点云相机电连接于所述图像识别处理器。
8.根据权利要求7所述的蔬菜分拣***,其特征在于,所述暗箱沿所述传送方向上的相对的两侧壁上分别开设有可上下移动的滑动门,所述滑动门的驱动组件电连接于所述控制器。
9.根据权利要求1所述的蔬菜分拣***,其特征在于,所述传送机构的两侧安装有挡板,所述挡板可沿垂直于所述传送方向的方向在所述传送机构的表面滑动。
10.根据权利要求1至9中任一项所述的蔬菜分拣***,其特征在于,所述传送机构包括承载架、传送带和传送电机,所述蔬菜识别机构和所述分拣机构均安装于所述承载架上,所述传送带绕设于所述承载架,所述传送电机用于驱动所述传送带转动。
11.一种如权利要求1至10中任一项所述的蔬菜分拣***的控制方法,其特征在于,包括:
将蔬菜集中放置于传送机构的第一分区,所述图像采集组件依次采集所述蔬菜的图像;
基于神经网络模块内预存的神经网络模型,对所述蔬菜的图像进行识别,获取所述蔬菜的分类结果;
当所述蔬菜的分类结果为不合格时,利用分拣机构将所述蔬菜移动至所述传送机构的第二分区。
12.根据权利要求11所述的控制方法,其特征在于,所述神经网络模型的训练方法包括:
获取样本的RGB彩色图像和3D点云信息,将所述RGB彩色图像作为第一训练集,对所述第一训练集进行标注;
用YOLOv3对标注后的所述第一训练集进行训练,得到对所述样本的投影面积、叶面色差和质量等级进行分类和识别的第一神经网络模型,并获取二维训练结果;
对所述RGB彩色图像进行分割处理,获取目标检测物及其所在区域,再进行灰度处理并裁剪,获取只包含所述目标检测物及其所在区域的灰度图;
将所述灰度图中的所述目标检测物和所述3D点云信息一一对应,随机选择对应后的点云作为第二训练集;
用PointNet网络对所述二维训练结果和所述第二训练集对进行训练,得到对所述样本的叶菜重量、投影面积、叶面色差和质量等级进行分类和识别的第二神经网络模型。
13.根据权利要求12所述的控制方法,其特征在于,所述获取样本的RGB彩色图像和3D点云信息,将所述RGB彩色图像作为第一训练集,对所述第一训练集进行标注,进一步包括:
对所述RGB彩色图像进行自适应直方图均衡化预处理;
对预处理后的RGB彩色图像采用随机裁剪、水平翻转和/或随机旋转角度的方式进行数据增广,将增广后的RGB彩色图像作为所述第一训练集。
14.根据权利要求12所述的控制方法,其特征在于,所述对所述RGB彩色图像进行分割处理,获取目标检测物及其所在区域,再进行灰度处理并裁剪,获取只包含所述目标检测物及其所在区域的灰度图,进一步包括:
利用语义分割算法对所述RGB彩色图像进行分割,分割出所述目标检测物所在区域;
利用二值化算法对获取了所述目标检测物及其所在区域的所述RGB彩色图像进行灰度处理。
CN201910840248.1A 2019-09-06 蔬菜分拣***及其控制方法 Active CN110694921B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910840248.1A CN110694921B (zh) 2019-09-06 蔬菜分拣***及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910840248.1A CN110694921B (zh) 2019-09-06 蔬菜分拣***及其控制方法

Publications (2)

Publication Number Publication Date
CN110694921A true CN110694921A (zh) 2020-01-17
CN110694921B CN110694921B (zh) 2024-07-02

Family

ID=

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111617983A (zh) * 2020-05-16 2020-09-04 安徽昭日农业科技有限公司 一种蔬菜分拣装置
CN112115983A (zh) * 2020-08-28 2020-12-22 浙大城市学院 一种基于深度学习的农作物果实分拣算法
CN112387622A (zh) * 2020-10-15 2021-02-23 湖北三峡职业技术学院 干制蔬菜色选机及色选方法
CN112403948A (zh) * 2020-10-30 2021-02-26 南京鸟百香贸易有限公司 一种基于物联网技术的远程控制分拣装置
CN112547528A (zh) * 2021-03-01 2021-03-26 华鹏飞股份有限公司 基于分类识别的物流分拣方法及***
CN113281114A (zh) * 2021-04-09 2021-08-20 河南中烟工业有限责任公司 一种异形烟叶智能剪切***
CN113281115A (zh) * 2021-04-09 2021-08-20 河南中烟工业有限责任公司 一种烟叶智能剪切的控制方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040206882A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for evaluating image focus
CA2430737A1 (en) * 2003-06-02 2004-12-02 Centre De Recherche Industrielle Du Quebec Method and apparatus for estimating surface moisture content of wood chips
CN101100156A (zh) * 2007-07-20 2008-01-09 苏州苏大维格数码光学有限公司 一种用于卡证的防伪结构及其识别方法
CN105058353A (zh) * 2015-08-17 2015-11-18 苏州速腾电子科技有限公司 一种分拣零件的夹具
CN205289022U (zh) * 2015-12-31 2016-06-08 中国农业大学 一种叶菜类蔬菜自动分级***
CN106373127A (zh) * 2016-09-14 2017-02-01 东北林业大学 用于木材树种及表面缺陷的激光扫描并行检测方法
CN107899966A (zh) * 2017-12-06 2018-04-13 罗凯缤 基于视觉技术的柚子品质分选装置
CN108311411A (zh) * 2018-02-07 2018-07-24 陕西科技大学 一种冬虫夏草智能化分拣***及其使用方法
CN109242951A (zh) * 2018-08-06 2019-01-18 宁波盈芯信息科技有限公司 一种脸部实时三维重建方法
CN208466542U (zh) * 2018-03-14 2019-02-05 浙江大学 一种用于生产的货品分拣装置
CN109590236A (zh) * 2019-01-26 2019-04-09 王弘睿 一种用于校园垃圾分类的分拣机器人及其控制***
CN109759338A (zh) * 2018-11-22 2019-05-17 吴江市格瑞福金属制品有限公司 一种用于仓储的移动型分拣器
CN211437053U (zh) * 2019-09-06 2020-09-08 北京农业智能装备技术研究中心 蔬菜分拣***

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040206882A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for evaluating image focus
CA2430737A1 (en) * 2003-06-02 2004-12-02 Centre De Recherche Industrielle Du Quebec Method and apparatus for estimating surface moisture content of wood chips
CN101100156A (zh) * 2007-07-20 2008-01-09 苏州苏大维格数码光学有限公司 一种用于卡证的防伪结构及其识别方法
CN105058353A (zh) * 2015-08-17 2015-11-18 苏州速腾电子科技有限公司 一种分拣零件的夹具
CN205289022U (zh) * 2015-12-31 2016-06-08 中国农业大学 一种叶菜类蔬菜自动分级***
CN106373127A (zh) * 2016-09-14 2017-02-01 东北林业大学 用于木材树种及表面缺陷的激光扫描并行检测方法
CN107899966A (zh) * 2017-12-06 2018-04-13 罗凯缤 基于视觉技术的柚子品质分选装置
CN108311411A (zh) * 2018-02-07 2018-07-24 陕西科技大学 一种冬虫夏草智能化分拣***及其使用方法
CN208466542U (zh) * 2018-03-14 2019-02-05 浙江大学 一种用于生产的货品分拣装置
CN109242951A (zh) * 2018-08-06 2019-01-18 宁波盈芯信息科技有限公司 一种脸部实时三维重建方法
CN109759338A (zh) * 2018-11-22 2019-05-17 吴江市格瑞福金属制品有限公司 一种用于仓储的移动型分拣器
CN109590236A (zh) * 2019-01-26 2019-04-09 王弘睿 一种用于校园垃圾分类的分拣机器人及其控制***
CN211437053U (zh) * 2019-09-06 2020-09-08 北京农业智能装备技术研究中心 蔬菜分拣***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
史美功等: "工业机器人", vol. 1, 31 March 1987, 上海科学技术出版社, pages: 21 - 23 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111617983A (zh) * 2020-05-16 2020-09-04 安徽昭日农业科技有限公司 一种蔬菜分拣装置
CN112115983A (zh) * 2020-08-28 2020-12-22 浙大城市学院 一种基于深度学习的农作物果实分拣算法
CN112387622A (zh) * 2020-10-15 2021-02-23 湖北三峡职业技术学院 干制蔬菜色选机及色选方法
CN112403948A (zh) * 2020-10-30 2021-02-26 南京鸟百香贸易有限公司 一种基于物联网技术的远程控制分拣装置
CN112547528A (zh) * 2021-03-01 2021-03-26 华鹏飞股份有限公司 基于分类识别的物流分拣方法及***
CN113281114A (zh) * 2021-04-09 2021-08-20 河南中烟工业有限责任公司 一种异形烟叶智能剪切***
CN113281115A (zh) * 2021-04-09 2021-08-20 河南中烟工业有限责任公司 一种烟叶智能剪切的控制方法
CN113281114B (zh) * 2021-04-09 2023-09-15 河南中烟工业有限责任公司 一种异形烟叶智能剪切***
CN113281115B (zh) * 2021-04-09 2023-09-15 河南中烟工业有限责任公司 一种烟叶智能剪切的控制方法

Similar Documents

Publication Publication Date Title
CN107952696B (zh) 一种适用于鲜烟叶的检测分级装置及检测方法
CN101627832B (zh) 烟片在线自动识别分级***
CN102179374B (zh) 禽蛋品质自动检测分选设备及其方法
CN105651782A (zh) 一种发动机缸盖表面缺陷机器视觉自动检测设备
CN103090804A (zh) 成品磁环图像自动检测***及检测方法
CN210059040U (zh) 一种基于rgb水果分类装置
CN103109754A (zh) 血斑蛋在线无损检测分选设备及其方法
CN109030504B (zh) 基于虚实成像相结合的全景马铃薯缺陷检测装置及方法
CN201618694U (zh) 水果分级检测装置
CN108318494B (zh) 红提果粉的在线视觉检测分级装置及其方法
CN113145492A (zh) 一种用于梨外观品质视觉分级方法及分级生产线
WO2012039597A2 (en) Fruit ripeness grading system
CN106203455A (zh) 基于机器视觉的物料排正装置及圆柱形物料特征属性的识别方法
CN111054655A (zh) 一种螃蟹分拣装置及其运用方法
CN202037127U (zh) 一种禽蛋品质自动检测分选设备
CN207222383U (zh) 木板分拣***
CN218835247U (zh) 一种基于机器视觉的螃蟹智能分拣分级***
CN109926348A (zh) 一种基于rgb水果分类方法及分类装置
CN211437053U (zh) 蔬菜分拣***
CN105319166A (zh) 一种大豆实时检测仪器
CN208288480U (zh) 一种基于计算机视觉技术的茶叶外观品质自动分级装置
CN109507204B (zh) 一种基于弯曲度检测的鸡胸肉木质化分级方法及其装置
CN211185838U (zh) 一种基于图像及光谱特征的烟叶快速检测分级装置
CN214682976U (zh) 一种垃圾识别和自动分选装置
CN203069148U (zh) 一种成品磁环图像自动检测***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant