CN111178296A - 多工件视觉定位和识别方法 - Google Patents
多工件视觉定位和识别方法 Download PDFInfo
- Publication number
- CN111178296A CN111178296A CN201911417127.2A CN201911417127A CN111178296A CN 111178296 A CN111178296 A CN 111178296A CN 201911417127 A CN201911417127 A CN 201911417127A CN 111178296 A CN111178296 A CN 111178296A
- Authority
- CN
- China
- Prior art keywords
- workpiece
- coordinate system
- identification method
- camera
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 230000000007 visual effect Effects 0.000 title claims description 15
- 238000003466 welding Methods 0.000 claims abstract description 26
- 239000011159 matrix material Substances 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims abstract description 4
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 238000003708 edge detection Methods 0.000 abstract description 2
- 230000001629 suppression Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- HOWHQWFXSLOJEF-MGZLOUMQSA-N systemin Chemical compound NCCCC[C@H](N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)OC(=O)[C@@H]1CCCN1C(=O)[C@H]1N(C(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCCN=C(N)N)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H]2N(CCC2)C(=O)[C@H]2N(CCC2)C(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](NC(=O)[C@H](C)N)C(C)C)CCC1 HOWHQWFXSLOJEF-MGZLOUMQSA-N 0.000 description 1
- 108010050014 systemin Proteins 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
- G06K7/10712—Fixed beam scanning
- G06K7/10722—Photodetector array or CCD scanning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种多工件视觉定位和识别方法，该方法，视觉传感器采用高精度工业级相机采集机器视觉定位模块图像信息，并对图像进行滤波和噪声抑制，提取边沿特征数据，运用拟合算法将边沿进行拟合，最后再采用Canny边缘检测算法计算提取出工件的平面坐标值并且建立工件坐标系，确定待焊接的工件坐标位置和旋转角度，运用齐次矩阵的算法将工件坐标系与机器人坐标***一到机器人坐标系，从而引导机器人实现自动焊接的过程。本发明可以达到提高焊接质量，提高生产效率，降低劳动成本的优势。
Description
技术领域
本发明涉及机器人焊接定位技术领域。
背景技术
在经济飞速发展的时代，船舶的产量越来越大，不同工件的型号也越来越多，传统的固定平台对应固定工件的方式跟不上产能的需求。国内自动焊接的技术已经在很多领域成熟应用，比如汽车的框架自动焊接最为典型。目前船厂由于工作环境比较恶劣，工件比较大，类型比较多，主要以人工手动焊接的方式为主，存在焊接效率低，成本高，耗时长，质量相对较低的缺点。为了解决一个难题，船舶行业引进了机器视觉的功能，但是由于船厂的现场环境比较恶劣，工件尺寸大，敞开式的工作环境光源及其不稳定对于机器视觉的定位产生非常大的干扰，加上由于工件的特殊性其本身的颜色比较深，通过对平台的背景颜色刷漆增加工件与平台的对比度可以解决这个问题，但是由于上下工件经常对平台背景漆刮花造成反复维修，成本大，施工周期长，严重影响生产效率。
发明内容
本发明的目的在于提供一种多工件视觉定位和识别方法，通过机器视觉快速识别和定位工件，引导机器人实现自动焊接。
本发明的目的可以这样实现，设计一种多工件视觉定位和识别方法，包括以下步骤：
A、设置一个大的焊接工作平台，将工件放到焊接平台上，在工件的外边沿分别摆放机器视觉定位模块；
B、相机通过拍摄标定卡尺，得到像素当量；相机通过拍照机器视觉定位模块，获取到机器视觉定位模块图像信息并进行分析运算，获取边沿上点云的坐标；通过相机扫描二维码，确定工件的型号批量信息；
C、运用齐次矩阵得到算法将相机坐标系的数据进行转换，再将点云进行拟合，确定工件在世界坐标系的坐标并计算得到旋转角度，发送到机器人数据库，引导机器人实现对工件的自动焊接。
进一步地，相机采集的基准图像采用非线性中值滤波算法去除基准视觉图像噪声点。
更进一步地，像素级的特征提取采用Canny算子、LoG算子。
进一步地，将工件上同一轴向上的二维码的点云进行拟合计算得到一条拟合的直线，将X轴与Y轴两条拟合直线相交求得交点的坐标。
更进一步地，假设点是(x1,y1),(x2,y2),...,(xn,yn),那么线性拟合公式的相关系数为
b＝(n(x1y1+x2y2+...+xnyn)-(x1+...+x2)(y1+...+yn))/(n((x1)2+(x2)2+...+(xn)2)-(x1+...+x2)2)，
a＝(y1+...+yn)/n-b*(x1+...+x2)/n。
进一步地，两个坐标系的转换关系用齐次矩阵表示为
式中：s表示sin，c表示cos。
本发明可以达到提高焊接质量，提高生产效率，降低劳动成本的优势，将来可以在船厂焊接行业内进行推广让更多的船厂在焊接领域受益。
附图说明
图1是本发明较佳实施例的流程示意图；
图2是本发明较佳实施例之焊接机器人坐标及ZYX欧拉角的示意图；
图3是本发明较佳实施例的原理示意图。
具体实施方式
以下结合实施例对本发明作进一步的描述。
如图1所示，一种多工件视觉定位和识别方法，包括以下步骤：
A、设置一个大的焊接工作平台，将工件1放到焊接平台上，在工件1的外边沿分别摆放机器视觉定位模块2，如图3所示。需要一个大的工作平台，将不同型号的工件放到焊接平台上。
B、相机4通过拍摄标定卡尺得到像素当量，相机4通过拍照机器视觉定位模块，获取到机器视觉定位模块图像信息并进行分析运算，获取边沿上点云的坐标；通过相机扫描二维码3，确定工件的型号批量信息。相机通过拍摄标定卡尺是指每个相机坐标系标定的一个过程，也就是像素当量的来源。
控制机构7发送指令至工业计算机6，工业计算机6启动图像采集卡5，通过相机4扫描工件上的二维码3采集图像，工业计算机6直接获取到二维码内含的信息，包括工件的型号、规格等信息，同时通过视觉软件算法功能提取二维码边沿线上的点云的坐标。
相机采集的基准图像有时会因为震动、光线、废屑等原因出现高频像素点和噪声。基准边缘理想的轮廓是平滑曲线，因此非线性中值滤波算法特别适用此基准视觉图像噪声点去除。像素级的特征提取比较成熟，采用的Canny算子、LoG算子以较稳定较快速的获得特征，适用于此种静态高精度像素特征提取。从理论上讲，这些算子的边缘定位的最大误差是0.5个像素，两个特征点之间的像素个数可能存在1个像素的误差。
C、运用齐次矩阵得到算法将相机坐标系的数据进行转换，再将点云进行拟合，确定工件在世界坐标系的坐标并计算得到旋转角度，发送到机器人数据库，引导机器人实现对工件的自动焊接。
将工件上同一轴向上的机器视觉定位模块的点云进行拟合计算得到一条拟合的直线，将X轴与Y轴两条拟合直线相交求得交点的坐标。假设点是(x1,y1),(x2,y2),...,(xn,yn),那么线性拟合公式的相关系数为
b＝(n(x1y1+x2y2+...+xnyn)-(x1+...+x2)(y1+...+yn))/(n((x1)2+(x2)2+...+(xn)2)-(x1+...+x2)2)，
a＝(y1+...+yn)/n-b*(x1+...+x2)/n。
如图2(a)所示，机器人坐标系
在坐标系O-xyz下的坐标为[X Y Z A BC]，其实质是表示坐标系O-xyz到机器人坐标系
的齐次变换，转换顺序是先平移后旋转。X、Y、Z表示机器人坐标系
的原点O'在坐标系O-xyz下的位置，单位为mm。A、B、C表示将坐标系O-xyz的原点平移到O'后，从坐标系
到坐标系
经过的ZYX欧拉变换，单位为度。
如图2(b)所示，A表示坐标系
绕
轴的旋转角度，B表示绕旋转后的坐标系
轴的旋转角度，C表示绕再次旋转后的
旋转的角度。
两个坐标系的转换关系用齐次矩阵表示为
式中：s表示sin，c表示cos。
若矩阵从右往左乘，表示各次旋转均绕参考坐标系O的有关轴旋转。即首先绕x旋转角度C，再绕y旋转角度B，最后绕z旋转A角度。
将转换计算的结果发送到机器人数据库，引导机器人实现对工件的自动焊接。
现场环境恶劣对于相机获取工件图像的稳定性与精确性非常困难，本发明通过在工件的外边沿分别摆放机器视觉定位模块和贴合二维码的方法，运用拟合算法，边缘检测算法，齐次矩阵算法的多层复杂算法的纠正，很好完成对工件的定位。
本发明减少了固定工作平台的数量，节约了成本，提高了生产效率。本发明主要应用于船舶船厂大型钢铁工件的焊接领域，通过扫描定位工件坐标引导机器人，实现全自动的焊接方式取代人工手动焊接。
Claims (6)
1.一种多工件视觉定位和识别方法，其特征在于，包括以下步骤：
A、设置一个大的焊接工作平台，将工件放到焊接平台上，在工件的外边沿分别摆放机器视觉定位模块；
B、相机通过拍摄标定卡尺，得到像素当量单位；相机通过拍照机器视觉定位模块，获取到机器视觉定位模块图像信息并进行分析运算，获取边沿上点云的坐标；通过相机扫描二维码，确定工件的型号批量信息；
C、运用齐次矩阵得到算法将相机坐标系的数据进行转换，再将点云进行拟合，确定工件在世界坐标系的坐标并计算得到旋转角度，发送到机器人数据库，引导机器人实现对工件的自动焊接。
2.根据权利要求1所述的多工件视觉定位和识别方法，其特征在于：相机采集的基准图像采用非线性中值滤波算法去除基准视觉图像噪声点。
3.根据权利要求2所述的多工件视觉定位和识别方法，其特征在于：像素级的特征提取采用Canny算子、LoG算子。
4.根据权利要求1所述的多工件视觉定位和识别方法，其特征在于：将工件上同一轴向上的机器视觉定位模块的点云进行拟合计算得到一条拟合的直线，将X轴与Y轴两条拟合直线相交求得交点的坐标。
5.根据权利要求4所述的多工件视觉定位和识别方法，其特征在于：假设点是(x1,y1),(x2,y2),...,(xn,yn),那么线性拟合公式的相关系数为
b＝(n(x1y1+x2y2+...+xnyn)-(x1+...+x2)(y1+...+yn))/(n((x1)2+(x2)2+...+(xn)2)-(x1+...+x2)2)，
a＝(y1+...+yn)/n-b*(x1+...+x2)/n。
6.根据权利要求1所述的多工件视觉定位和识别方法，其特征在于：两个坐标系的转换关系用齐次矩阵表示为
式中：s表示sin，c表示cos。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911417127.2A CN111178296B (zh) | 2019-12-31 | 2019-12-31 | 多工件视觉定位和识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911417127.2A CN111178296B (zh) | 2019-12-31 | 2019-12-31 | 多工件视觉定位和识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111178296A true CN111178296A (zh) | 2020-05-19 |
| CN111178296B CN111178296B (zh) | 2024-03-01 |
Family
ID=70654316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911417127.2A Active CN111178296B (zh) | 2019-12-31 | 2019-12-31 | 多工件视觉定位和识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111178296B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111595266A (zh) * | 2020-06-02 | 2020-08-28 | 西安航天发动机有限公司 | 空间复杂走向导管视觉识别方法 |
| CN113592955A (zh) * | 2021-07-27 | 2021-11-02 | 中国科学院西安光学精密机械研究所 | 一种基于机器视觉的圆形工件平面坐标高精度定位方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080298672A1 (en) * | 2007-05-29 | 2008-12-04 | Cognex Corporation | System and method for locating a three-dimensional object using machine vision |
| CN101949687A (zh) * | 2010-09-19 | 2011-01-19 | 天津大学 | 基于视觉测量的汽车车门的检测方法 |
| US20150209959A1 (en) * | 2009-07-06 | 2015-07-30 | Seiko Epson Corporation | Position control method and robot |
| CN107976147A (zh) * | 2017-12-11 | 2018-05-01 | 西安迈森威自动化科技有限公司 | 一种基于机器视觉的玻璃定位检测装置 |
| CN108550141A (zh) * | 2018-03-29 | 2018-09-18 | 上海大学 | 一种基于深度视觉信息的运动车斗自动识别与定位方法 |
| CN109448054A (zh) * | 2018-09-17 | 2019-03-08 | 深圳大学 | 基于视觉融合的目标分步定位方法、应用、装置及*** |
| CN110110760A (zh) * | 2019-04-17 | 2019-08-09 | 浙江工业大学 | 一种基于机器视觉的工件定位与识别方法 |
| CN110524580A (zh) * | 2019-09-16 | 2019-12-03 | 西安中科光电精密工程有限公司 | 一种焊接机器人视觉组件及其测量方法 |
| CN110599544A (zh) * | 2019-08-08 | 2019-12-20 | 佛山科学技术学院 | 一种基于机器视觉的工件定位方法及装置 |
-
2019
- 2019-12-31 CN CN201911417127.2A patent/CN111178296B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080298672A1 (en) * | 2007-05-29 | 2008-12-04 | Cognex Corporation | System and method for locating a three-dimensional object using machine vision |
| US20150209959A1 (en) * | 2009-07-06 | 2015-07-30 | Seiko Epson Corporation | Position control method and robot |
| CN101949687A (zh) * | 2010-09-19 | 2011-01-19 | 天津大学 | 基于视觉测量的汽车车门的检测方法 |
| CN107976147A (zh) * | 2017-12-11 | 2018-05-01 | 西安迈森威自动化科技有限公司 | 一种基于机器视觉的玻璃定位检测装置 |
| CN108550141A (zh) * | 2018-03-29 | 2018-09-18 | 上海大学 | 一种基于深度视觉信息的运动车斗自动识别与定位方法 |
| CN109448054A (zh) * | 2018-09-17 | 2019-03-08 | 深圳大学 | 基于视觉融合的目标分步定位方法、应用、装置及*** |
| CN110110760A (zh) * | 2019-04-17 | 2019-08-09 | 浙江工业大学 | 一种基于机器视觉的工件定位与识别方法 |
| CN110599544A (zh) * | 2019-08-08 | 2019-12-20 | 佛山科学技术学院 | 一种基于机器视觉的工件定位方法及装置 |
| CN110524580A (zh) * | 2019-09-16 | 2019-12-03 | 西安中科光电精密工程有限公司 | 一种焊接机器人视觉组件及其测量方法 |
Non-Patent Citations (2)
| Title |
|---|
| 赵善政: "基于机器视觉的玻璃在线定位方法" * |
| 郝永平等: "面向视觉测量的像素当量标定方法" * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111595266A (zh) * | 2020-06-02 | 2020-08-28 | 西安航天发动机有限公司 | 空间复杂走向导管视觉识别方法 |
| CN113592955A (zh) * | 2021-07-27 | 2021-11-02 | 中国科学院西安光学精密机械研究所 | 一种基于机器视觉的圆形工件平面坐标高精度定位方法 |
| CN113592955B (zh) * | 2021-07-27 | 2024-04-09 | 中国科学院西安光学精密机械研究所 | 一种基于机器视觉的圆形工件平面坐标高精度定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111178296B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107341802B (zh) | 一种基于曲率与灰度复合的角点亚像素定位方法 | |
| CN109612390A (zh) | 基于机器视觉的大尺寸工件自动测量*** | |
| CN113592955B (zh) | 一种基于机器视觉的圆形工件平面坐标高精度定位方法 | |
| CN113379849B (zh) | 基于深度相机的机器人自主识别智能抓取方法及*** | |
| CN111721259A (zh) | 基于双目视觉的水下机器人回收定位方法 | |
| CN111179233B (zh) | 基于激光切割二维零部件的自适应纠偏方法 | |
| CN109986172A (zh) | 一种焊缝定位方法、设备及*** | |
| CN111784655B (zh) | 一种水下机器人回收定位方法 | |
| CN112037203A (zh) | 基于复杂工件外轮廓配准的侧表面缺陷检测方法及*** | |
| CN112304960B (zh) | 一种基于深度学习的高分辨率图像物体表面缺陷检测方法 | |
| CN111178296A (zh) | 多工件视觉定位和识别方法 | |
| He et al. | A critical review for machining positioning based on computer vision | |
| CN112729112B (zh) | 基于机器人视觉的发动机缸体孔径与孔位检测方法 | |
| CN107160241A (zh) | 一种基于数控机床的视觉定位***及方法 | |
| CN112734720A (zh) | 基于视觉识别的船壳激光清洗在位检测方法及*** | |
| CN110738644A (zh) | 一种基于深度学习的汽车涂装表面缺陷检测方法及*** | |
| CN110956630A (zh) | 平面印刷缺陷检测方法、装置以及*** | |
| CN113822810A (zh) | 一种基于机器视觉的三维空间中工件的定位方法 | |
| CN109671059B (zh) | 一种基于OpenCV的电池盒图像处理方法及*** | |
| CN113538399A (zh) | 一种用于获取工件精准轮廓的方法、机床及存储介质 | |
| CN115283905B (zh) | 一种焊接机器人的焊枪姿态调整方法 | |
| CN115753791B (zh) | 基于机器视觉的缺陷检测方法、装置以及*** | |
| CN116833639A (zh) | 一种自动焊接***及其控制方法、装置、设备及介质 | |
| CN116594351A (zh) | 一种基于机器视觉的数控加工单元*** | |
| CN115770988A (zh) | 一种基于点云环境理解的焊接机器人智能示教方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |