CN104058260B - 基于视觉处理的机器人自动码垛方法 - Google Patents
基于视觉处理的机器人自动码垛方法 Download PDFInfo
- Publication number
- CN104058260B CN104058260B CN201310446030.0A CN201310446030A CN104058260B CN 104058260 B CN104058260 B CN 104058260B CN 201310446030 A CN201310446030 A CN 201310446030A CN 104058260 B CN104058260 B CN 104058260B
- Authority
- CN
- China
- Prior art keywords
- workpiece
- image
- coordinate
- target
- sigma
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种基于视觉处理的机器人自动码垛方法,其采取针对大区域空间的摄像机标定算法进行标定,然后对工件进行图像采集,之后对图像进行分析处理,识别出工件类型和质心位置,由码垛机器人对齐进行分类码垛,本发明为生产自动化提供一种了高效率、智能化的解决方案。本方案将机器视觉引入到工业生产中,实现了无人值守的分拣码垛的任务,节省了大批人力劳动,且能够对工件进行质量检测,且控制精度远远高于人工精度。
Description
技术领域:
本发明涉及一种生产自动化方案,尤其涉及将机器视觉与工业生产相结合的一种高效、智能的码垛设备。
背景技术:
伴随着物流产业的飞速发展,国内外码垛技术实现了跨越式的进步。早期的人工码垛,负载量低,吞吐量小,劳动成本高,搬运效率低,不能够满足自动化生产的需求,在工业生产中,普遍用于自动化生产中的码垛机器人实质上是一种普通的工业搬运机器人,主要负责执行装载和卸载的任务,且一般都采用示教的方法,预先设定好抓起点和摆放点。这种工作方式不能够对生产线的情况分析判断,如不能够区分工件大小,不能够判断工件是否合格,不能够对工件进行分拣,而只是被动的搬运,适应性极差。针对目前的不足,将机器视觉与码垛机器人结合起来,使之具有人眼识别功能,对于保证产品质量、降低劳动成本、优化作业布局、提高生产效率、增长经济效益、实现生产的自动化等方面具有十分重要的意义。
发明内容:
发明目的:本发明提供一种基于视觉处理的机器人自动码垛方法,其目的是解决以往的方式效率低、智能化差的问题。
技术方案:本发明是通过以下技术方案实现的:
一种基于视觉处理的机器人自动码垛方法,其特征在于:该方法包括摄像机标定、图像特征提取匹配、几何中心的计算,抓取码垛几部分,具体步骤如下:
(1)摄像机标定;首先利用改进型角点检测提高了角点定位速度,然后利用最小误差函数提高了角点的检测精度,其次选定标定模板的中心区域参数结果作为初值求取畸变系数,最后用Levenberg-Marquardt算法对全局参数进行优化,从而进一步提高标定精度,为后续的研究工作奠定了良好的基础,缩短了程序开发的周期;
(2)图像特征提取与匹配;首先利用几何不变矩对工件图像进行快速的粗略识别,接着采用Hough变换检测边缘直线,并以直线夹角为参数形成Hough-链码,通过匹配目标与模板的Hough-链码来进一步识别工件。实验证明该算法能够准确,快速的识别工件;
(3)几何中心的计算;首先求取多凸目标轮廓上的角点,然后针对每一个目标所有角点求取x轴向坐标值的最小坐标值、最大坐标值;y轴向坐标的最小坐标值、最大坐标值,这样把一幅图片的工件分割成N个目标块,然后利用一阶矩和零阶矩求取目标的质心坐标就可以分别对于不同目标进行求取质心;
(4)分类码垛;由真空吸盘机械手对抓取的物体进行分类,而后对其进行逐层码垛。
图像的识别和定位方法如下:
(1)Hough-链码流程:
(a)首先检测Hough直线的条数,得到直线的条数和各直线的直线方程;
(b)依据直线方程,计算直线间的交点,判断交点是否在工件图像内,若在图像内,则该交点为多边形的顶点,计算这两条相交直线的夹角,若不在图像内,则该交点不是顶点,无需计算夹角;
(c)将计算得到的夹角作为链码的参数,并将得到的链码转化为差分链码形式,从而得到Hough-链码;
(d)将目标工件的Hough-链码与模板链码进行匹配,从而实现工件识别;
(2)中心定位:首先求取多凸目标轮廓上的角点,分别为:
然后针对每一个目标所有角点求取x轴向坐标值的最小坐标值、最大坐标值;y轴向坐标的最小坐标值、最大坐标值;
这样就可以把一副图像分割为基于N个目标的不同目标块BlockN(i,j);为了计算准确使得外界矩形完全包围目标工件,把坐标范围扩大5像素;每个目标块的x轴坐标范围iN~(imin+5,imax+5),y轴坐标范围jN~(jmin+5,jmax+5)。对应的其(p+q)阶矩定义为:
这样把一幅图片的工件分割成N个目标块就可以分别对于不同目标进行求取质心;公式中:f(i,j)相当于一个像素的质量;Mpq为不同p、q值下的图像的矩。然后用中心矩求取质心,零阶矩M00是区域密度的总和:
一阶矩M10为图像对j轴的惯性矩;M01为图像对i轴的惯性矩:
最后用一阶矩M10和M01分别除以零阶矩M00得到的是物体的质心坐标。
经过试验证明,该算法简单有效。
优点效果:本发明提供一种基于视觉处理的机器人自动码垛方法,其采取针对大区域空间的摄像机标定算法进行标定,然后对工件进行图像采集,之后对图像进行分析处理,识别出工件类型和质心位置,由码垛机器人对齐进行分类码垛,本发明为生产自动化提供一种了高效率、智能化的解决方案。本方案将机器视觉引入到工业生产中,实现了无人值守的分拣码垛的任务,节省了大批人力劳动,且能够对工件进行质量检测,且控制精度远远高于人工精度。
附图说明:
图1***码垛整体流程图;
图2码垛***示意图;
图3码垛***结构流程框图。
具体实施方式:
如图1所示,本发明提供一种基于视觉处理的机器人自动码垛方法,其首先采取针对大区域空间的摄像机标定算法进行标定,然后对工件进行图像采集,之后对图像进行分析处理,识别出工件类型和质心位置,由码垛机器人对齐进行分类码垛。
利用改进型角点检测提高了角点定位速度,然后利用最小误差函数提高了角点的检测精度,其次选定标定模板的中心区域参数结果作为初值求取畸变系数,最后用Levenberg-Marquardt算法对全局参数进行优化,从而进一步提高标定精度。
利用几何不变矩对工件图像进行快速的粗略识别,接着采用Hough变换检测边缘直线,并以直线夹角为参数形成Hough-链码,通过匹配目标与模板的Hough-链码来进一步识别工件。实验证明该算法能够准确,快速的识别工件。
对工件质心坐标计算,求取多凸目标轮廓上的角点,然后针对每一个目标所有角点求取x轴向坐标值的最小坐标值、最大坐标值;y轴向坐标的最小坐标值、最大坐标值,这样把一幅图片的工件分割成N个目标块,然后利用一阶矩和零阶矩求取目标的质心坐标就可以分别对于不同目标进行求取质心。具体步骤如下:
该方法包括摄像机标定、图像特征提取匹配、几何中心的计算,抓取码垛几部分:
(1)摄像机标定;首先利用改进型角点检测提高了角点定位速度,然后利用最小误差函数提高了角点的检测精度,其次选定标定模板的中心区域参数结果作为初值求取畸变系数,最后用Levenberg-Marquardt算法对全局参数进行优化,从而进一步提高标定精度,为后续的研究工作奠定了良好的基础,缩短了程序开发的周期;
(2)图像特征提取与匹配;首先利用几何不变矩对工件图像进行快速的粗略识别,接着采用Hough变换检测边缘直线,并以直线夹角为参数形成Hough-链码,通过匹配目标与模板的Hough-链码来进一步识别工件。实验证明该算法能够准确,快速的识别工件;
(3)几何中心的计算;首先求取多凸目标轮廓上的角点,然后针对每一个目标所有角点求取x轴向坐标值的最小坐标值、最大坐标值;y轴向坐标的最小坐标值、最大坐标值,这样把一幅图片的工件分割成N个目标块,然后利用一阶矩和零阶矩求取目标的质心坐标就可以分别对于不同目标进行求取质心;
(4)分类码垛;由真空吸盘机械手对抓取的物体进行分类,而后对其进行逐层码垛。
图像的识别和定位方法如下:
(2)Hough-链码流程:
(a)首先检测Hough直线的条数,得到直线的条数和各直线的直线方程;
(b)依据直线方程,计算直线间的交点,判断交点是否在工件图像内,若在图像内,则该交点为多边形的顶点,计算这两条相交直线的夹角,若不在图像内,则该交点不是顶点,无需计算夹角;
(c)将计算得到的夹角作为链码的参数,并将得到的链码转化为差分链码形式,从而得到Hough-链码;
(d)将目标工件的Hough-链码与模板链码进行匹配,从而实现工件识别;
(2)中心定位:首先求取多凸目标轮廓上的角点,分别为:
然后针对每一个目标所有角点求取x轴向坐标值的最小坐标值、最大坐标值;y轴向坐标的最小坐标值、最大坐标值;
这样就可以把一副图像分割为基于N个目标的不同目标块BlockN(i,j);为了计算准确使得外界矩形完全包围目标工件,把坐标范围扩大5像素;每个目标块的x轴坐标范围iN~(imin+5,imax+5),y轴坐标范围jN~(jmin+5,jmax+5)。对应的其(p+q)阶矩定义为:
这样把一幅图片的工件分割成N个目标块就可以分别对于不同目标进行求取质心;公式中:f(i,j)相当于一个像素的质量;Mpq为不同p、q值下的图像的矩。然后用中心矩求取质心,零阶矩M00是区域密度的总和:
一阶矩M10为图像对j轴的惯性矩;M01为图像对i轴的惯性矩:
最后用一阶矩M10和M01分别除以零阶矩M00得到的是物体的质心坐标。
经过试验证明,该算法简单有效。
Claims (2)
1.一种基于视觉处理的机器人自动码垛方法,其特征在于:该方法包括摄像机标定、图像特征提取匹配、几何中心的计算,抓取码垛几部分,具体步骤如下:
(1)摄像机标定;首先利用改进型角点检测提高了角点定位速度,然后利用最小误差函数提高了角点的检测精度,其次选定标定模板的中心区域参数结果作为初值求取畸变系数,最后用Levenberg-Marquardt算法对全局参数进行优化;
(2)图像特征提取与匹配;首先利用几何不变矩对工件图像进行快速的粗略识别,接着采用Hough变换检测边缘直线,并以直线夹角为参数形成Hough-链码,通过匹配目标与模板的Hough-链码来进一步识别工件;
(3)几何中心的计算;首先求取多凸目标轮廓上的角点,然后针对每一个目标所有角点求取x轴向坐标值的最小坐标值、最大坐标值;y轴向坐标的最小坐标值、最大坐标值,这样把一幅图片的工件分割成N个目标块,然后利用一阶矩和零阶矩求取目标的质心坐标就可以分别对于不同目标进行求取质心;
(4)分类码垛;由真空吸盘机械手对抓取的物体进行分类,而后对其进行逐层码垛。
2.根据权利要求1所述的基于视觉处理的机器人自动码垛方法,其特征在于:图像的识别和定位方法如下:
(1)Hough-链码流程:
(a)首先检测Hough直线的条数,得到直线的条数和各直线的直线方程;
(b)依据直线方程,计算直线间的交点,判断交点是否在工件图像内,若在图像内,则该交点为多边形的顶点,计算这两条相交直线的夹角,若不在图像内,则该交点不是顶点,无需计算夹角;
(c)将计算得到的夹角作为链码的参数,并将得到的链码转化为差分链码形式,从而得到Hough-链码;
(d)将目标工件的Hough-链码与模板链码进行匹配,从而实现工件识别;
(2)中心定位:首先求取多凸目标轮廓上的角点,分别为:
然后针对每一个目标所有角点求取x轴向坐标值的最小坐标值、最大坐标值;y轴向坐标的最小坐标值、最大坐标值;
这样就可以把一副图像分割为基于N个目标的不同目标块BlockN(i,j);为了计算准确使得外界矩形完全包围目标工件,把坐标范围扩大5像素;每个目标块的x轴坐标范围iN~(imin+5,imax+5),y轴坐标范围jN~(jmin+5,jmax+5);对应的其(p+q)阶矩定义为:
这样把一幅图片的工件分割成N个目标块就可以分别对于不同目标进行求取质心;公式中:f(i,j)相当于一个像素的质量;Mpq为不同p、q值下的图像的矩;然后用中心矩求取质心,零阶矩M00是区域密度的总和:
一阶矩M10为图像对j轴的惯性矩;M01为图像对i轴的惯性矩:
最后用一阶矩M10和M01分别除以零阶矩M00得到的是物体的质心坐标;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310446030.0A CN104058260B (zh) | 2013-09-27 | 2013-09-27 | 基于视觉处理的机器人自动码垛方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310446030.0A CN104058260B (zh) | 2013-09-27 | 2013-09-27 | 基于视觉处理的机器人自动码垛方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104058260A CN104058260A (zh) | 2014-09-24 |
CN104058260B true CN104058260B (zh) | 2016-07-20 |
Family
ID=51546248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310446030.0A Active CN104058260B (zh) | 2013-09-27 | 2013-09-27 | 基于视觉处理的机器人自动码垛方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104058260B (zh) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104331894A (zh) * | 2014-11-19 | 2015-02-04 | 山东省科学院自动化研究所 | 一种基于双目立体视觉的机器人拆垛方法 |
CN104626169B (zh) * | 2014-12-24 | 2017-03-22 | 四川长虹电器股份有限公司 | 基于视觉与机械综合定位的机器人抓取零件的方法 |
CN105173749B (zh) * | 2015-08-27 | 2017-09-26 | 贵州慧联科技有限公司 | 一种异形烟码垛装置及码垛方法 |
CN105225225B (zh) * | 2015-08-31 | 2017-12-22 | 温州城电智能科技有限公司 | 一种基于机器视觉的皮革自动划线方法和装置 |
CN105486231A (zh) * | 2015-12-31 | 2016-04-13 | 苏州紫金港智能制造装备有限公司 | 一种基于机器视觉的大型链轮齿形自动测量装置 |
CN106516798B (zh) * | 2016-11-18 | 2019-05-03 | 山东爱而生智能科技有限公司 | 一种基于装载车的多工位瓷砖转移码放方法 |
CN106778778A (zh) * | 2016-12-01 | 2017-05-31 | 广州亚思信息科技有限责任公司 | 一种高速硬件多目标特征提取方法 |
CN106695792A (zh) * | 2017-01-05 | 2017-05-24 | 中国计量大学 | 基于机器视觉的码垛机器人跟踪监控***及方法 |
CN107563432A (zh) * | 2017-08-29 | 2018-01-09 | 武汉交通职业学院 | 一种基于视觉形状模型的机器人多目标识别方法 |
CN107626608A (zh) * | 2017-10-27 | 2018-01-26 | 无锡大东机械制造有限公司 | 利用视觉成像对包装袋进行识别的码垛控制装置 |
CN108328346A (zh) * | 2017-12-21 | 2018-07-27 | 深圳市鸿益达供应链科技有限公司 | 一种转垛*** |
CN108341273A (zh) * | 2017-12-21 | 2018-07-31 | 深圳市鸿益达供应链科技有限公司 | 全自动拆垛*** |
CN110220549A (zh) * | 2018-03-02 | 2019-09-10 | 北京京东尚科信息技术有限公司 | 一种垛型评估的方法和装置 |
CN109132582A (zh) * | 2018-08-23 | 2019-01-04 | 广州泽亨实业有限公司 | 一种扫码识别的码垛控制方法和装置 |
CN110666801A (zh) * | 2018-11-07 | 2020-01-10 | 宁波赛朗科技有限公司 | 一种复杂工件匹配定位的抓取工业机器人 |
CN109297433A (zh) * | 2018-11-15 | 2019-02-01 | 青岛星晖昌达智能自动化装备有限公司 | 3d视觉引导拆垛测量***及其控制方法 |
CN109697732B (zh) * | 2018-11-27 | 2023-10-13 | 惠州市德赛电池有限公司 | 一种用于电阻焊接区域定位的方法 |
CN109502357B (zh) * | 2018-12-06 | 2024-05-24 | 成都环龙智能机器人有限公司 | 一种码垛机器人工作站和板件码垛方法 |
CN109785317B (zh) * | 2019-01-23 | 2022-11-01 | 辽宁工业大学 | 自动码垛桁架机器人的视觉*** |
CN109665332A (zh) * | 2019-02-25 | 2019-04-23 | 广州达意隆包装机械股份有限公司 | 一种自动装卸产品的装置 |
CN109919095B (zh) * | 2019-03-07 | 2020-12-01 | 北京石油化工学院 | 危化品仓库中码垛的监控方法及电子设备 |
CN112241747A (zh) * | 2019-07-16 | 2021-01-19 | 顺丰科技有限公司 | 物体分拣方法、装置、分拣设备及存储介质 |
CN111015659A (zh) * | 2019-12-20 | 2020-04-17 | 湖南大学 | 一种多功能可识别分类机械手 |
CN110950007A (zh) * | 2019-12-23 | 2020-04-03 | 山东科技大学 | 一种基于机器视觉的煤矿物料码垛装载机器人*** |
CN111571600B (zh) * | 2020-06-02 | 2021-10-29 | 珠海格力智能装备有限公司 | 码垛机器人的控制方法及装置、码垛机器人 |
CN112053339B (zh) * | 2020-08-31 | 2023-01-31 | 中冶赛迪信息技术(重庆)有限公司 | 一种基于机器视觉的棒材成品库行车安全监测方法、装置及设备 |
CN114056920B (zh) * | 2021-09-30 | 2023-05-05 | 江西省通讯终端产业技术研究院有限公司 | 一种基于机器视觉的叠片机及其片料校准方法和控制方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102566577A (zh) * | 2010-12-29 | 2012-07-11 | 沈阳新松机器人自动化股份有限公司 | 一种工业机器人简易标定方法 |
CN202758535U (zh) * | 2012-07-11 | 2013-02-27 | 浙江天煌科技实业有限公司 | 一种工业机器人与机器视觉*** |
CN103192386A (zh) * | 2012-01-06 | 2013-07-10 | 沈阳新松机器人自动化股份有限公司 | 基于图像视觉的洁净机器人自动化标定方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01113628A (ja) * | 1987-10-28 | 1989-05-02 | Electric Power Dev Co Ltd | 堆積石炭の自然発火時期予測方法 |
KR0184068B1 (ko) * | 1995-11-30 | 1999-10-01 | 배순훈 | 불량 밧데리 선별장치 및 그 제어처리 방법 |
JP2000219317A (ja) * | 1999-01-29 | 2000-08-08 | Hitachi Zosen Corp | 荷役仕分け装置 |
-
2013
- 2013-09-27 CN CN201310446030.0A patent/CN104058260B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102566577A (zh) * | 2010-12-29 | 2012-07-11 | 沈阳新松机器人自动化股份有限公司 | 一种工业机器人简易标定方法 |
CN103192386A (zh) * | 2012-01-06 | 2013-07-10 | 沈阳新松机器人自动化股份有限公司 | 基于图像视觉的洁净机器人自动化标定方法 |
CN202758535U (zh) * | 2012-07-11 | 2013-02-27 | 浙江天煌科技实业有限公司 | 一种工业机器人与机器视觉*** |
Also Published As
Publication number | Publication date |
---|---|
CN104058260A (zh) | 2014-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104058260B (zh) | 基于视觉处理的机器人自动码垛方法 | |
CN111537517B (zh) | 一种无人智能化冲压缺陷识别方法 | |
CN111062915A (zh) | 一种基于改进YOLOv3模型的实时钢管缺陷检测方法 | |
KR102056664B1 (ko) | 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템 | |
CN111126174A (zh) | 一种用于机器人抓取零件的视觉检测方法 | |
Bellandi et al. | Roboscan: a combined 2D and 3D vision system for improved speed and flexibility in pick-and-place operation | |
CN113269723A (zh) | 三维视觉定位与机械手协同工作的零部件无序抓取*** | |
Fan et al. | A combined 2D-3D vision system for automatic robot picking | |
Liu et al. | Research of sorting technology based on industrial robot of machine vision | |
CN114474067A (zh) | 一种基于机器视觉的智能工业机器人执行动作精准性分析方法 | |
CN114029951A (zh) | 基于深度相机的机器人自主识别智能抓取方法 | |
Oh et al. | Development of structured light based bin picking system using primitive models | |
Xu et al. | Industrial robot base assembly based on improved Hough transform of circle detection algorithm | |
Fan et al. | An automatic robot unstacking system based on binocular stereo vision | |
Frank et al. | Stereo-vision for autonomous industrial inspection robots | |
Qian et al. | The autonomous detection of sheet metal parts using imageprocessing | |
Kiddee et al. | A geometry based feature detection method of V-groove weld seams for thick plate welding robots | |
Zhang et al. | Research on the identification method of micro assembly part | |
Yu et al. | Design and experiment of distance measuring system with single camera for picking robot | |
Xiang et al. | Classification-design-optimization integrated picking robots: a review | |
CN117532603B (zh) | 一种移动机器人上下料快速定位方法、***及装置 | |
Wang et al. | RGBD object recognition and flat area analysis method for manipulator grasping | |
Wu et al. | The weld extraction algorithm for robotic arc welding based on 3D laser sensor | |
Affes et al. | Detection and location of sheet metal parts for industrial robots | |
Böckenkamp et al. | Automatic robot-based unloading of goods out of dynamic AGVS within logistic environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |