CN111846977A - 基于机器视觉的自动码垛机器人***及其操作方法 - Google Patents
基于机器视觉的自动码垛机器人***及其操作方法 Download PDFInfo
- Publication number
- CN111846977A CN111846977A CN202010698736.6A CN202010698736A CN111846977A CN 111846977 A CN111846977 A CN 111846977A CN 202010698736 A CN202010698736 A CN 202010698736A CN 111846977 A CN111846977 A CN 111846977A
- Authority
- CN
- China
- Prior art keywords
- cigarette
- stacking
- tray
- algorithm
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G61/00—Use of pick-up or transfer devices or of manipulators for stacking or de-stacking articles not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G57/00—Stacking of articles
- B65G57/32—Stacking of articles characterised by stacking during transit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明请求保护一种基于机器视觉的自动码垛机器人***及操作方法,其包括硬件***和软件***,其中硬件***包括:上位机、工业相机、机械臂、末端专用抓手、控制柜、烟包传送机构、烟包矫正机构、托盘自动升降机构和传送机构以及缓冲区;软件***包括:视觉识别程序、上位机程序、PLC控制程序以及机器臂控制程序,控制设备之间的通信方式包括:相机与上位机的USB串口通信;PLC与上位机的RS232通信;PLC与传送机构、翻转机构、矫正机构、升降机构、抓手以及现场总线适配器之间的I/O通信;现场总线适配器与机器臂控制器之间的DeviceNet总线通信,通过相互通信将现场的各个控制设备联系起来并最终实现的码垛功能。
Description
技术领域
本发明属于烟草设备技术领域,具体涉及烟包自动码垛机器人***技术。
背景技术
烟草物流中的烟包码垛中,通常采用人工将包装机打包出来的烟包在托盘 上进行组垛、码垛作业。由于客户订单的不同,包装机出来的烟包数目也不同, 其中每个烟包最多5层,每层最多5条,共有25种烟包。为保证码垛的稳固性, 码垛规则就是每一层烟包都需尽可能整齐码放,即最大化把非5层的烟包组垛 为5层再码垛到托盘,当完成一个订单就运走托盘继续下一个订单。为提高烟 草物流的分拣码垛自动化水平,需实时识别烟包形状和条数,进一步根据烟包 信息完成码垛作业。因此需要设计一套基于机器视觉的烟包自动码垛***,目 前并没有一套完整的基于机器视觉的烟包自动码垛***。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种基于机器视觉的自动码垛 机器人***方法。本发明的技术方案如下:
一种基于机器视觉的自动码垛机器人***,其包括硬件***和软件***, 其中硬件***包括:上位机、工业相机、机械臂、末端专用抓手、控制柜、烟 包传送机构、烟包矫正机构、托盘自动升降机构和传送机构以及缓冲区;上位 机用于将烟包的信息发送给***以及反馈***信息,工业相机用于实时识别烟 包信息,机械臂用于完成烟包的组垛和码垛,末端专用抓手用于抓取烟包,控 制柜用于完成各个***的连接与通信,烟包传送机构用于传送烟包,烟包矫正 机构用于完成烟包位置的矫正,托盘自动升降机构和传送机构用于完成托盘自 动上下升降和传送,缓冲区用于暂时存放烟包的区域。
软件***包括:视觉识别程序、上位机程序、PLC控制程序以及机器臂控制 程序,视觉识别程序对订单烟包的形状信息确认,并把数据传递给上位机;上 位机程序对烟包形状数据进行分析处理,采用预排程算法确定订单序列中每个 烟包需要进行的操作以及摆放位置,烟包组垛过程中设计了一套最优组垛算法 对烟包进行规划,其中包括稳定性最优组垛算法、在线组垛算法、路径最优组 垛算法;PLC程序用于控制翻转机构、烟包矫正机构、烟包传送机构、托盘自动 升降机构和传送机构,实现对烟包的具体操作;机器人程序根据上位机发送来 的路径编码执行针对每个烟包搬运;
控制设备之间的通信方式包括:相机与上位机的USB串口通信;PLC与上位 机的RS232通信;PLC与传送机构、翻转机构、矫正机构、升降机构、抓手以及 现场总线适配器之间的I/O通信;现场总线适配器与机器臂控制器之间的 DeviceNet总线通信,通过相互通信将现场的各个控制设备联系起来并最终实现 的码垛功能。
进一步的,稳定性最优组垛算法中,烟包的组和类型一共有三种,即交错 组合,叠加组合,交错叠加组合,为保证码垛过程中稳定性最佳,防止塌陷, 规定组合后每层条烟数量大于等于3。
进一步的,由图3(a)可知,交错组合是由两个烟包相互交错组合而成,两 个烟包的条数总和要在[23,25]之间,并且两个烟包的层数之和为5,所以交错 组合算法的约束条件为:
其中N1表示下层的烟包条数,N2表示上层的烟包条数,%5表示除以5取余 数,/5表示除以5取整数,下同;
由图3(b)可知,叠加组合是将两个最上层条数大于等于3的烟包叠加组合 起来,并且叠加后为5层,所以叠加组合算法的约束条件为:
其中L1表示下层的烟包层数,L2表示上层的烟包层数,||表示或者,表达式 a==b?c:d表示若a等于b则为c,否则为d,下同;
由图3(c)可知,交错叠加组合是将一个最上层条数大于等于3的烟包和两 个交错叠加的烟包叠加组合而成,叠加后的总层数为5层,所以交错叠加组合 算法的约束条件为:
其中N1表示下层的烟包条数,N2表示中层的烟包条数,N3表示上层的烟包 条数,L1表示下层的烟包层数,L2表示中层的烟包层数,L3表示上层的烟包层数。
进一步的,所述在线组垛算法,即当连续两个烟包满足上文中的稳定性最 优组垛算法中的交错组垛或叠加组垛,便可在传送带的矫正装置处在线完成烟 包组垛。首先把第一个待组垛的烟包抓起一定高度,等到第二个烟包完成矫正 后,再下去完成组和和抓取,最后直接码垛到托盘上;
所述路径最优组垛,通过对缓冲区的位置按照路径由短到长依次顺序编号, 遍历缓冲区中是否有满足组合的烟包,若有则寻找路径最近的一个匹配烟包完 成组垛。
进一步的,码垛算法具体步骤为:①判断烟包是否为5层,若是则执行②, 否则执行③;②判断烟包顶层是否为5条,若是则直接放到托盘上,否则烟包 的缺口朝内码放到托盘;③判断是否只剩托盘顶层烟包,若是码放到托盘,否 则放到缓冲区;④当满足只剩托盘顶层烟包条件,将缓冲区上的烟包全部码放 到托盘,完成整个码垛过程。
一种基于所述***的操作方法,其包括以下步骤:
首先烟包从热缩膜包装机出来的订单包件通过传送带输送到自动码垛*** 的始端,***通过视觉***的烟包形状识别算法判定订单烟包的形状和烟包条 数,接着视觉***把烟包信息发送给码垛***,码垛***根据通过组垛算法和 码垛算法计算出烟包运行路径,并把具体指令发送给传送机构、翻转机构、矫 正机构以及机械臂控制器,最后机械臂根据指示完成烟包组垛和码垛到托盘上, 其中机械臂与抓手对烟包进行操作的运动路径分为四种:校正机构抓取点到托 盘;矫正机构抓取点到缓冲区;矫正机构抓取点到缓冲区匹配后再到托盘;缓 冲区到托盘;整个订单完成后,托盘传送和升降机构自动更换下一个托盘继续 根据订单码垛。
进一步的,整个烟包形状识别过程包括:对图像进行预处理,具体包括: 首先对原图进行灰度化处理,通过滤波减少图像噪声,然后用形态学方法优化 图像,最后利用最大边缘检测提取目标形状轮廓及细化;
建立最优标准模板库,基于形状模板的快速匹配,最后根据匹配结果完成 烟包的组垛、码垛作业。
进一步的,所述建立最优标准模板库具体是基于面积与K均值聚类建立最 优形状模板库方法,具体包括:
定义样本点Xi的面积值Ami表示同一类别m中其他训练样本点Xj的欧式距 离的和的平均值,即
其中Nm表示每一类样本的数目,i=1,2,...,Nm,j=1,2,...,Nm,i≠j;
依次将Ami按照从小到大排序,Ami越小,则表示样本点Xi与其他样本点Xj都 近,在该类别中代表性越强;采用基于面积建立标准库,从原始训练集中每一 类m中选择面积值最小的样本组成标准库,在基于面积的基础上,结合K均值 聚类进行模板训练学习构建最优烟包形状模板库;基于面积与K均值聚类建立 标准库的具体流程为:①输入烟包的训练样本;②通过公式(1)计算输入训练 样本的面积值,并将每一类m中的计算结果按照从小到大顺序排序;③依次选 择每一类m中面积值最小的训练样本,并将该样本作为初始模板添加到标准库 中,统计每一类m中模板数量k;④判断k是否大于1,若大于1则执行步骤⑤, 若为1执行步骤⑥;⑤使用K均值聚类算法,把标准库中每一类m中的当前模 板作为起始聚类中心,计算训练样本与各个聚类中心的距离,并将每个样本分 配到离其最近的聚类中心,通过不断的循环迭代直到聚类中心不再变化,将新 的聚类中心作为标准库中模板;⑥把所有的训练样本通过最近邻分类算法进行 分类识别,并计算其分类正确率Acctrain;⑦判断Acctrain是否为1,若为1则完成标 准库的建立,否则将训练集中出错的样本挑选出来构建新的训练集,返回步骤 ①,通过不断循环学习更新标准模板库,直到全部满足要求,最终完成建立最 优标准模板库。
进一步的,基于形状模板的快速匹配,具体步骤为:
步骤1:设置一个贪婪因子g,将公式Sj<Smin-(n-j)/n (2)转化为:
Sj表示模板图像和目标图像前j个点的内积和、Smin表示模板图像和目标图像的最小 匹配值、n表示图形像素点总数、j表示图像中第j个像素点,若g 为1则代表越贪心,提前终止的概率越大,若g为0则代表所有的图像点都必须 完全满足公式(2);
步骤2:首先通过g选择一部分点进行模板匹配,判断匹配分数达到预定值 δ,若达到预定值则执行步骤3,否则匹配失败;
步骤4:计算剩余的点的匹配分数,若匹配分数满足Smin,则执行步骤5, 否则匹配失败;
进一步的,视觉***完成烟包形状的识别以及烟包条数的确定,并把烟包 信息发送给码垛***,配合组垛算法和码垛算法确定码垛***的执行指令,码 垛***把指定指令发送给传送机构、翻转机构、矫正机构、机械臂控制器以及 托盘传送机构和升降机构;传送机构、翻转机构和矫正机构确定烟包的位姿; 机械臂把烟包组垛和码垛到托盘;当一个订单完成码垛后,托盘传送机构和升 降机构完成托盘的更换和传送。
本发明的优点及有益效果如下:
本发明设计了一套基于机器视觉的烟包自动码垛***。首先在视觉***中采 用面积和K均值聚类建立标准形状模板库,并提出一种基于形状模板快速匹配 算法,实现对传送带上的烟包快速准确识别烟包形状与烟包条数,接着上位机 把烟包数据信息发送给码垛***,配合烟包组垛与码垛预排程算法完成烟包的 自动码垛作业。提高烟草烟包配送的自动化与智能化水平,自动完成烟包的码 垛流水作业。
提出一种基于形状模板快速匹配算法,可以快速准确完成烟包形状和条数信 息识别,烟包形状识别率在99.90%以上,烟包形状匹配时间小于80毫秒。
设计了一套基于稳定性最优的烟包组垛和码垛预排程算法,可以针对各种形 状烟包基于稳定性最优的前提下最快的自动完成烟包组垛和码垛作业。
附图说明
图1是本发明提供优选实施***设备布局图;
图2***设备通信图;
图3烟包组合类型图;
图4码垛烟包示意图;
图5烟包码垛算法流程图;
图6***运行流程图;
图7烟包形状识别流程图;
图8烟包图像预处理;
图9基于面积与K均值聚类建立标准库流程图;
图10标准形状模板库。
图1中,1.缓冲区 2.托盘 3.托盘传送与升降机构 4.码垛机器人 5.机械抓手 6.矫正机构 7传送带 8.翻转机构 9.机器人控制柜 10.PLC控制箱 11.上位机 12.视觉识别区
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、 详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是:
本发明设计一套基于机器视觉的烟包自动码垛机器人***,使得整个码垛 过程更加高效、安全和稳定,提高烟包分拣码垛***的自动化水平。整个*** 设计包括视觉***和码垛***。首先通过工业相机对传送带上的烟包完成采集, 然后利用机器视觉技术实时识别烟包形状和条数信息,接着上位机把烟包的数 据信息发送给码垛***,最终配合组垛算法和码垛算法完成烟包的码垛作业。
硬件***包括:上位机、工业相机、机械臂、末端专用抓手、控制柜、烟 包传送机构、烟包矫正机构、托盘自动升降机构和传送机构以及缓冲区。硬件 设备中末端专用抓手、控制柜、烟包传送机构、烟包矫正机构、托盘自动升降 机构和传送机构是需要加工的。
软件***包括:视觉识别程序、上位机程序、PLC控制程序以及机器臂控制 程序。视觉识别程序对订单烟包的形状信息确认,并把数据传递给上位机;上 位机程序对烟包形状数据进行分析处理,采用预排程算法确定订单序列中每个 烟包需要进行的操作以及摆放位置;PLC程序控制翻转机构、烟包矫正机构、烟 包传送机构、托盘自动升降机构和传送机构,实现对烟包的具体操作;机器人 程序根据上位机发送来的路径编码执行针对每个烟包搬运。
***的控制设备主要包括:上位机、工业相机、PLC、传送机构、翻转机构、矫 正机构、升降机构、抓手以及机器臂控制器。控制设备之间的通信方式包括: 相机与上位机的USB串口通信;PLC与上位机的RS232通信;PLC与传送机构、 翻转机构、矫正机构、升降机构、抓手以及现场总线适配器之间的I/O通信; 现场总线适配器与机器臂控制器之间的DeviceNet总线通信。通过相互通信将 现场的各个控制设备联系起来并最终实现的码垛功能。图2所示为***设备通 信框图。
为了避免烟包在码垛和搬运过程中因挤压碰撞而造成损坏,烟草物流的运 输中规定必须以5层为一个整体,通过减少垛包中的缝隙以增加垛型的稳定性。 在烟包组垛过程中设计了一套最优组垛算法对烟包进行规划,其中包括稳定性 最优组垛、在线组垛、路径最优组垛。
如图3所示为3种烟包组合类型,稳定性最优组垛中,烟包的组和类型一 共有三种,即交错组合,叠加组合,交错叠加组合。为保证码垛过程中稳定性 最佳,防止塌陷,规定组合后每层条烟数量大于等于3。
①交错组合算法的约束条件为:
其中N1表示下层的烟包条数,N2表示上层的烟包条数,%5表示除以5取余 数,/5表示除以5取整数,下同。
②叠加组合算法的约束条件为:
其中L1表示下层的烟包层数,L2表示上层的烟包层数,||表示或者,表达式 a==b?c:d表示若a等于b则为c,否则为d,下同。
③交错叠加组合算法的约束条件为:
其中N1表示下层的烟包条数,N2表示中层的烟包条数,N3表示上层的烟包 条数,L1表示下层的烟包层数,L2表示中层的烟包层数,L3表示上层的烟包层数。
在线组垛,即当连续两个烟包满足上文中的稳定性最优组垛算法中的交错 组垛或叠加组垛,便可在传送带的矫正装置处在线完成烟包组垛。首先把第一 个待组垛的烟包抓起一定高度,等到第二个烟包完成矫正后,再下去完成组和 和抓取,最后直接码垛到托盘上,在线组垛极大提高了码垛效率,同时减少了缓 冲区资源的利用。
路径最优组垛,通过对缓冲区的位置按照路径由短到长依次顺序编号,遍 历缓冲区中是否有满足组合的烟包,若有则寻找路径最近的一个匹配烟包完成 组垛。
保证在托盘的码垛过程中避免塌陷与倾斜,规定每层码垛10个烟包,保证 烟包垛型的整体稳定性,采用奇偶层交错的方式码放,上下层互相扣压,减小 缝隙,避免装运过程中的碰撞。在码垛过程中设计了一套基于稳定性最优码垛 的码垛算法。
图4为码垛烟包示意图
码垛算法具体步骤为:①判断烟包是否为5层,若是则执行②,否则执行 ③;②判断烟包顶层是否为5条,若是则直接放到托盘上,否则烟包的缺口朝 内码放到托盘;③判断是否只剩托盘顶层烟包,若是码放到托盘,否则放到缓 冲区;④当满足只剩托盘顶层烟包条件,将缓冲区上的烟包全部码放到托盘, 完成整个码垛过程。
1.如图6为***整体流程:首先烟包从热缩膜包装机出来的订单包件通过 传送带输送到自动码垛***的始端,***通过视觉***的烟包形状识别算法判 定订单烟包的形状和烟包条数,接着视觉***把烟包信息发送给码垛***,码 垛***根据通过组垛算法和码垛算法计算出烟包运行路径,并把具体指令发送 给传送机构、翻转机构、矫正机构以及机械臂控制器,最后机械臂根据指示完 成烟包组垛和码垛到托盘上,其中机械臂与抓手对烟包进行操作的运动路径分 为四种:校正机构抓取点到托盘;矫正机构抓取点到缓冲区;矫正机构抓取点 到缓冲区匹配后再到托盘;缓冲区到托盘。整个订单完成后,托盘传送和升降 机构自动更换下一个托盘继续根据订单码垛。
2.如图7为烟包形状识别流程图,整个烟包形状识别过程包括:图像的预 处理,建立最优标准模板库,基于形状模板的快速匹配,最后根据匹配结果完 成烟包的组垛、码垛作业。
3.相机最初采集到的烟包图像都有着不同程度的噪声影响,为便于后续图 像识别,需要进行预处理。如图8为预处理流程图,首先对原图进行灰度化处 理,通过滤波减少图像噪声,然后用形态学方法优化图像,最后利用最大边缘 检测提取目标形状轮廓及细化。
4.经过图像的预处理得到烟包的形状轮廓,由于烟包的形状有20多种,因 此需要建立一个标准形状模板库。提出一种基于面积与K均值聚类建立最优形 状模板库方法。图9为基于面积与K均值聚类建立标准库流程图;
定义样本点Xi的面积值Ami表示同一类别m中其他训练样本点Xj的欧式距 离的和的平均值,即
其中Nm表示每一类样本的数目,i=1,2,...,Nm,j=1,2,...,Nm,i≠j。
依次将Ami按照从小到大排序,Ami越小,则表示样本点Xi与其他样本点Xj都 近,在该类别中代表性越强。采用基于面积建立标准库,从原始训练集中每一 类m中选择面积值最小的样本组成标准库,虽然达到缩小训练集规模的目的, 但并没有对样本进行学习训练,并不能达到最具代表性。对此,在基于面积的 基础上,结合K均值聚类进行模板训练学习构建最优烟包形状模板库。基于面 积与K均值聚类建立标准库的具体流程为:①输入烟包的训练样本;②通过公 式(1)计算输入训练样本的面积值,并将每一类m中的计算结果按照从小到大 顺序排序;③依次选择每一类m中面积值最小的训练样本,并将该样本作为初始模板添加到标准库中,统计每一类m中模板数量k;④判断k是否大于1,若 大于1则执行步骤⑤,若为1执行步骤⑥;⑤使用K均值聚类算法,把标准库 中每一类m中的当前模板作为起始聚类中心,计算训练样本与各个聚类中心的 距离,并将每个样本分配到离其最近的聚类中心,通过不断的循环迭代直到聚 类中心不再变化,将新的聚类中心作为标准库中模板;⑥把所有的训练样本通 过最近邻分类算法进行分类识别,并计算其分类正确率Acctrain;⑦判断Acctrain是 否为1,若为1则完成标准库的建立,否则将训练集中出错的样本挑选出来构建 新的训练集,返回步骤①,通过不断循环学习更新标准模板库,直到全部满足 要求,最终完成建立最优标准模板库。
通过基于面积的K均值聚类算法对烟包模板进行训练学习建立的标准模板 库,包含25个形状模板,并依据形状大小按照从小到大的顺序依次编号(01-25), 分别代表对应烟包形状模板的条烟数量,如图10所示。
5.基于已经建立的最优烟包形状模板库,对烟包图像通过基于形状的模板 匹配算法与模板库进行匹配,识别烟包形状与条数。
相似度度量是模板匹配中简单而有效的一种方式,设模板图像的点集为 ti=(ti x,ti y),其单位方向向量为Ti=(Ti x,Ti y),其中i=1,2,...,n,n为模板图像的像素 点数,目标图像的点集为mi=(mi x,mi y),其单位方向向量为Mi=(Mi x,Mi y),其中 i=1,2,...,n,n为目标图像的像素点数。相似度为模板图像与目标图像边缘点的单 位向量的内积为该式中的相似度计算是对单位向量求点积,达 到防止光照变化的影响,若目标图像与模板图像完全匹配时,则相似度度量为1, 一般情况下相似度度量计算的值都小于1。
相似性度量匹配算法所需时间很长,在实际应用中,目标图像与模板图像 之间的点的内积并不需要完全计算出来,只需要匹配分数大于最小的匹配分数 Smin才有可能匹配成功。依据这个阈值Smin可以提前终止无法达到阈值的点。前j 个点的内积和Sj为完成前j个点的内积,若剩余的n-j个点匹 配相似度都为1,则内积为(n-j)/n,该次匹配最高得分为Sj+(n-j)/n。所以当Sj满足公式(2),即模板图像与目标图像的内积和将永远不能满足最小匹配分数 Smin,匹配便可提前终止,极大提高匹配效率。
Sj<Smin-(n-j)/n (2)
但在工业匹配识别中,仍然需要保证准确率的前提下进一步提高搜索速度。 本文提出一种快速形状模板匹配算法。具体步骤为:
步骤1::设置一个贪婪因子g,将公式(2)转化为:
步骤2:首先通过g选择一部分点进行模板匹配,判断匹配分数达到预定值 δ,若达到预定值则执行步骤3,否则匹配失败;
步骤4:计算剩余的点的匹配分数,若匹配分数满足Smin,则执行步骤5, 否则匹配失败;
6.视觉***完成烟包形状的识别以及烟包条数的确定,并把烟包信息发送 给码垛***,配合组垛算法和码垛算法确定码垛***的执行指令,码垛***把 指定指令发送给传送机构、翻转机构、矫正机构、机械臂控制器以及托盘传送 机构和升降机构。传送机构、翻转机构和矫正机构确定烟包的位姿;机械臂把 烟包组垛和码垛到托盘;当一个订单完成码垛后,托盘传送机构和升降机构完 成托盘的更换和传送。
上述实施例阐明的***、装置、模块或单元,具体可以由计算机芯片或实 体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。 具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、 智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制 台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任 何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序 的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、 静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存 取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快 闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD) 或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其 他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定, 计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据 信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖 非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅 包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过 程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包 括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者 设备中还存在另外的相同要素。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范 围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或 修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (10)
1.一种基于机器视觉的自动码垛机器人***,其特征在于,包括硬件***和软件***,其中硬件***包括:上位机、工业相机、机械臂、末端专用抓手、控制柜、烟包传送机构、烟包矫正机构、托盘自动升降机构和传送机构以及缓冲区;其中上位机用于将烟包的信息发送给***以及反馈***信息,工业相机用于实时识别烟包信息,机械臂用于完成烟包的组垛和码垛,末端专用抓手用于抓取烟包,控制柜用于完成各个***的连接与通信,烟包传送机构用于传送烟包,烟包矫正机构用于完成烟包位置的矫正,托盘自动升降机构和传送机构用于完成托盘自动上下升降和传送,缓冲区用于暂时存放烟包的区域。
软件***包括:视觉识别程序、上位机程序、PLC控制程序以及机器臂控制程序,视觉识别程序对订单烟包的形状信息确认,并把数据传递给上位机;上位机程序对烟包形状数据进行分析处理,采用预排程算法确定订单序列中每个烟包需要进行的操作以及摆放位置,烟包组垛过程中设计了一套最优组垛算法对烟包进行规划,其中包括稳定性最优组垛算法、在线组垛算法、路径最优组垛算法;PLC程序用于控制翻转机构、烟包矫正机构、烟包传送机构、托盘自动升降机构和传送机构,实现对烟包的具体操作;机器人程序根据上位机发送来的路径编码执行针对每个烟包搬运;
控制设备之间的通信方式包括:相机与上位机的USB串口通信;PLC与上位机的RS232通信;PLC与传送机构、翻转机构、矫正机构、升降机构、抓手以及现场总线适配器之间的I/O通信;现场总线适配器与机器臂控制器之间的DeviceNet总线通信,通过相互通信将现场的各个控制设备联系起来并最终实现的码垛功能。
2.根据权利要求1所述的一种基于机器视觉的自动码垛机器人***,其特征在于,稳定性最优组垛算法中,烟包的组和类型一共有三种,即交错组合,叠加组合,交错叠加组合,为保证码垛过程中稳定性最佳,防止塌陷,规定组合后每层条烟数量大于等于3。
4.根据权利要求3所述的一种基于机器视觉的自动码垛机器人***,其特征在于,所述在线组垛算法,即当连续两个烟包满足上文中的稳定性最优组垛算法中的交错组垛或叠加组垛,便可在传送带的矫正装置处在线完成烟包组垛。首先把第一个待组垛的烟包抓起一定高度,等到第二个烟包完成矫正后,再下去完成组和和抓取,最后直接码垛到托盘上;
所述路径最优组垛,通过对缓冲区的位置按照路径由短到长依次顺序编号,遍历缓冲区中是否有满足组合的烟包,若有则寻找路径最近的一个匹配烟包完成组垛。
5.根据权利要求4所述的一种基于机器视觉的自动码垛机器人***,其特征在于,码垛算法具体步骤为:①判断烟包是否为5层,若是则执行②,否则执行③;②判断烟包顶层是否为5条,若是则直接放到托盘上,否则烟包的缺口朝内码放到托盘;③判断是否只剩托盘顶层烟包,若是码放到托盘,否则放到缓冲区;④当满足只剩托盘顶层烟包条件,将缓冲区上的烟包全部码放到托盘,完成整个码垛过程。
6.一种基于权利要求1-5之一所述***的操作方法,其特征在于,包括以下步骤:
首先烟包从热缩膜包装机出来的订单包件通过传送带输送到自动码垛***的始端,***通过视觉***的烟包形状识别算法判定订单烟包的形状和烟包条数,接着视觉***把烟包信息发送给码垛***,码垛***根据通过组垛算法和码垛算法计算出烟包运行路径,并把具体指令发送给传送机构、翻转机构、矫正机构以及机械臂控制器,最后机械臂根据指示完成烟包组垛和码垛到托盘上,其中机械臂与抓手对烟包进行操作的运动路径分为四种:校正机构抓取点到托盘;矫正机构抓取点到缓冲区;矫正机构抓取点到缓冲区匹配后再到托盘;缓冲区到托盘;整个订单完成后,托盘传送和升降机构自动更换下一个托盘继续根据订单码垛。
7.根据权利要求6所述的操作方法,其特征在于,整个烟包形状识别过程包括:对图像进行预处理,具体包括:首先对原图进行灰度化处理,通过滤波减少图像噪声,然后用形态学方法优化图像,最后利用最大边缘检测提取目标形状轮廓及细化;
建立最优标准模板库,基于形状模板的快速匹配,最后根据匹配结果完成烟包的组垛、码垛作业。
8.根据权利要求7所述的操作方法,其特征在于,所述建立最优标准模板库具体是基于面积与K均值聚类建立最优形状模板库方法,具体包括:
定义样本点Xi的面积值Ami表示同一类别m中其他训练样本点Xj的欧式距离的和的平均值,即
其中Nm表示每一类样本的数目,i=1,2,...,Nm,j=1,2,...,Nm,i≠j;
依次将Ami按照从小到大排序,Ami越小,则表示样本点Xi与其他样本点Xj都近,在该类别中代表性越强;采用基于面积建立标准库,从原始训练集中每一类m中选择面积值最小的样本组成标准库,在基于面积的基础上,结合K均值聚类进行模板训练学习构建最优烟包形状模板库;基于面积与K均值聚类建立标准库的具体流程为:①输入烟包的训练样本;②通过公式(1)计算输入训练样本的面积值,并将每一类m中的计算结果按照从小到大顺序排序;③依次选择每一类m中面积值最小的训练样本,并将该样本作为初始模板添加到标准库中,统计每一类m中模板数量k;④判断k是否大于1,若大于1则执行步骤⑤,若为1执行步骤⑥;⑤使用K均值聚类算法,把标准库中每一类m中的当前模板作为起始聚类中心,计算训练样本与各个聚类中心的距离,并将每个样本分配到离其最近的聚类中心,通过不断的循环迭代直到聚类中心不再变化,将新的聚类中心作为标准库中模板;⑥把所有的训练样本通过最近邻分类算法进行分类识别,并计算其分类正确率Acctrain;⑦判断Acctrain是否为1,若为1则完成标准库的建立,否则将训练集中出错的样本挑选出来构建新的训练集,返回步骤①,通过不断循环学习更新标准模板库,直到全部满足要求,最终完成建立最优标准模板库。
9.根据权利要求8所述的操作方法,其特征在于,基于形状模板的快速匹配,具体步骤为:
步骤1:设置一个贪婪因子g,将公式Sj<Smin-(n-j)/n(2)转化为:
Sj表示模板图像和目标图像前j个点的内积和、Smin表示模板图像和目标图像的最小匹配值、n表示图形像素点总数、j表示图像中第j个像素点,若g为1则代表越贪心,提前终止的概率越大,若g为0则代表所有的图像点都必须完全满足公式(2);
步骤2:首先通过g选择一部分点进行模板匹配,判断匹配分数达到预定值δ,若达到预定值则执行步骤3,否则匹配失败;
步骤4:计算剩余的点的匹配分数,若匹配分数满足Smin,则执行步骤5,否则匹配失败;
10.根据权利要求9所述的操作方法,其特征在于,视觉***完成烟包形状的识别以及烟包条数的确定,并把烟包信息发送给码垛***,配合组垛算法和码垛算法确定码垛***的执行指令,码垛***把指定指令发送给传送机构、翻转机构、矫正机构、机械臂控制器以及托盘传送机构和升降机构;传送机构、翻转机构和矫正机构确定烟包的位姿;机械臂把烟包组垛和码垛到托盘;当一个订单完成码垛后,托盘传送机构和升降机构完成托盘的更换和传送。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010698736.6A CN111846977B (zh) | 2020-07-20 | 2020-07-20 | 基于机器视觉的自动码垛机器人***及其操作方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010698736.6A CN111846977B (zh) | 2020-07-20 | 2020-07-20 | 基于机器视觉的自动码垛机器人***及其操作方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111846977A true CN111846977A (zh) | 2020-10-30 |
CN111846977B CN111846977B (zh) | 2022-05-03 |
Family
ID=73002432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010698736.6A Active CN111846977B (zh) | 2020-07-20 | 2020-07-20 | 基于机器视觉的自动码垛机器人***及其操作方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111846977B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112959318A (zh) * | 2021-01-11 | 2021-06-15 | 浙江中烟工业有限责任公司 | 基于机器视觉的商标纸全自动抓取装置与方法 |
CN113636353A (zh) * | 2021-08-12 | 2021-11-12 | 创维集团智能装备有限公司 | 一种产品码垛装置及其控制方法 |
CN114275222A (zh) * | 2021-01-19 | 2022-04-05 | 湖北省烟草公司宜昌市公司 | 订单烟条凸轮自动码垛装置及其码垛方法 |
CN114572698A (zh) * | 2022-03-21 | 2022-06-03 | 上海道简机电科技有限公司 | 一种烟包自动码垛设备 |
CN116418624A (zh) * | 2023-02-24 | 2023-07-11 | 埃尔利德(广东)智能科技有限公司 | 基于主从控制的工业设备通信***及通信方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2576005A1 (fr) * | 1985-01-15 | 1986-07-18 | Realisa Indles Et | Procede et dispositif automatique de depalettisation |
CN101710235A (zh) * | 2009-12-11 | 2010-05-19 | 重庆大学 | 一种数控机床在线加工工件的自动识别和监控方法 |
CN106695792A (zh) * | 2017-01-05 | 2017-05-24 | 中国计量大学 | 基于机器视觉的码垛机器人跟踪监控***及方法 |
CN108382815A (zh) * | 2018-01-15 | 2018-08-10 | 湖北众与和智能装备科技有限公司 | 卷烟分拣智能自动码垛*** |
CN108529180A (zh) * | 2018-05-02 | 2018-09-14 | 重庆邮电大学 | 一种基于机器视觉的不规则烟包组合码垛*** |
CN108557491A (zh) * | 2018-04-13 | 2018-09-21 | 重庆邮电大学 | 一种码放不规则烟包到笼车的*** |
CN110936372A (zh) * | 2018-09-21 | 2020-03-31 | 许昌学院 | 一种条烟码垛机器人控制*** |
-
2020
- 2020-07-20 CN CN202010698736.6A patent/CN111846977B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2576005A1 (fr) * | 1985-01-15 | 1986-07-18 | Realisa Indles Et | Procede et dispositif automatique de depalettisation |
CN101710235A (zh) * | 2009-12-11 | 2010-05-19 | 重庆大学 | 一种数控机床在线加工工件的自动识别和监控方法 |
CN106695792A (zh) * | 2017-01-05 | 2017-05-24 | 中国计量大学 | 基于机器视觉的码垛机器人跟踪监控***及方法 |
CN108382815A (zh) * | 2018-01-15 | 2018-08-10 | 湖北众与和智能装备科技有限公司 | 卷烟分拣智能自动码垛*** |
CN108557491A (zh) * | 2018-04-13 | 2018-09-21 | 重庆邮电大学 | 一种码放不规则烟包到笼车的*** |
CN108529180A (zh) * | 2018-05-02 | 2018-09-14 | 重庆邮电大学 | 一种基于机器视觉的不规则烟包组合码垛*** |
CN110936372A (zh) * | 2018-09-21 | 2020-03-31 | 许昌学院 | 一种条烟码垛机器人控制*** |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112959318A (zh) * | 2021-01-11 | 2021-06-15 | 浙江中烟工业有限责任公司 | 基于机器视觉的商标纸全自动抓取装置与方法 |
CN114275222A (zh) * | 2021-01-19 | 2022-04-05 | 湖北省烟草公司宜昌市公司 | 订单烟条凸轮自动码垛装置及其码垛方法 |
CN113636353A (zh) * | 2021-08-12 | 2021-11-12 | 创维集团智能装备有限公司 | 一种产品码垛装置及其控制方法 |
CN114572698A (zh) * | 2022-03-21 | 2022-06-03 | 上海道简机电科技有限公司 | 一种烟包自动码垛设备 |
CN114572698B (zh) * | 2022-03-21 | 2024-01-23 | 上海道简机电科技有限公司 | 一种烟包自动码垛设备 |
CN116418624A (zh) * | 2023-02-24 | 2023-07-11 | 埃尔利德(广东)智能科技有限公司 | 基于主从控制的工业设备通信***及通信方法 |
CN116418624B (zh) * | 2023-02-24 | 2023-11-03 | 埃尔利德(广东)智能科技有限公司 | 基于主从控制的工业设备通信***及通信方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111846977B (zh) | 2022-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111846977B (zh) | 基于机器视觉的自动码垛机器人***及其操作方法 | |
US10953549B2 (en) | Robotic system with error detection and dynamic packing mechanism | |
US10679379B1 (en) | Robotic system with dynamic packing mechanism | |
US20230016733A1 (en) | Robotic system for palletizing packages using real-time placement simulation | |
CN107597600B (zh) | 分拣***和分拣方法 | |
US11591168B2 (en) | Robotic system for processing packages arriving out of sequence | |
CN109513629B (zh) | 包裹分拣方法、装置和计算机可读存储介质 | |
CN112009813A (zh) | 具有打包机制的机器人*** | |
CN112775960A (zh) | 具有基于壁的打包机制的机器人***及其操作方法 | |
JP4655309B2 (ja) | ピッキング順序決定方法、装置及びそのプログラム、並びにピッキングシステム | |
CN112935703B (zh) | 识别动态托盘终端的移动机器人位姿校正方法及*** | |
CN115321090B (zh) | 机场行李自动接取方法、装置、设备、***及介质 | |
WO2019184608A1 (zh) | 运输***和运输方法 | |
CN110705931B (zh) | 一种货物抓取方法、装置、***、设备和存储介质 | |
JP2555824B2 (ja) | 山積み部品の高速ピッキング装置 | |
JPH04244391A (ja) | ロボットを用いた段バラシ装置 | |
RU2597572C1 (ru) | Устройство распознавания адреса, устройство сортировки, интегрированное устройство распознавания адреса и способ распознавания адреса | |
CN114800533B (zh) | 一种用于工业机器人的分拣控制方法及*** | |
JP7126667B1 (ja) | 深さベースの処理メカニズムを伴うロボットシステム及びロボットシステムを操作するための方法 | |
CN111498213B (zh) | 具有动态打包机制的机器人*** | |
CN114881467A (zh) | 一种基于机器视觉的仓储商品货物智能上下货控制管理*** | |
Zhang et al. | Research on cigarette packet recognition and stacking technology based on machine vision | |
CN113247515A (zh) | 一种优化立库托盘运送效率的控制*** | |
CN111559544B (zh) | 具有错误检测和动态打包机制的机器人*** | |
US20240173866A1 (en) | Robotic system with multi-location placement control mechanism |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |