CN106127731B - 基于触控标注与图像处理的焊缝识别方法 - Google Patents
基于触控标注与图像处理的焊缝识别方法 Download PDFInfo
- Publication number
- CN106127731B CN106127731B CN201610409243.XA CN201610409243A CN106127731B CN 106127731 B CN106127731 B CN 106127731B CN 201610409243 A CN201610409243 A CN 201610409243A CN 106127731 B CN106127731 B CN 106127731B
- Authority
- CN
- China
- Prior art keywords
- coordinate
- welding seam
- image processing
- weld
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000003466 welding Methods 0.000 claims abstract description 77
- 238000012545 processing Methods 0.000 claims abstract description 60
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 abstract 2
- 230000001186 cumulative effect Effects 0.000 abstract 1
- 238000012790 confirmation Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开一种基于触控标注与图像处理的焊缝识别方法,其包括如下步骤:步骤1:采集整条焊缝的图像;步骤2:在图像上对焊缝进行标识;步骤3:DSP处理器获得步骤2的标识,将标识的坐标点为(x1,y1)、(x2,y2),然后开始针对当前采集的图像进行识别焊缝,具体包括:步骤31:确定图像处理区域,根据实际屏幕分辨率以及焊接区域划定有效图像处理区域;步骤32:对有效图像处理区域进行索贝尔处理、以及二值化处理;步骤33:通过索贝尔并二值化处理后所得到的H'(x0,y0),将其中的焊缝边界的信息值加强为255,其它值全部清0,然后通过统计相同x坐标下,各个y坐标值的累加和确定焊缝坐标。
Description
技术领域
本发明涉及自动焊接技术领域,具体涉及一种基于触控标注与图像处理的焊缝识别方法。
背景技术
在自动焊接领域,为了进行焊接熔池与焊缝的自动反馈纠偏,常使用基于图像传感器的视觉反馈纠偏***。例如一篇申请号为200710304317.4的发明专利《双DSP处理器嵌入式焊接过程视觉反馈控制***》提出了采用一个DSP处理器进行焊缝熔池的纠偏计算,一个DSP处理器进行控制反馈纠偏。在实际焊接过程中,熔池由于高温、高亮、且形状稳定等特点可以被准确找到,然而焊缝由于受到弧光、飞溅、被焊物件表面污渍等影响,容易出现误识别。针对以上问题,虽然可以进行软件算法方面增加算法复杂度,但是却造成了程序效率的降低,对于DSP处理器的运算能力要求较高。或者可以增加使用激光纠偏的方式进行焊缝位置的寻找,然而激光设备的增加会造成成本上升,且激光设备在测试前需经过严格的硬件结构调整,不易使用。
发明内容
因此,针对上述的问题,本发明提出一种基于人工触控标注与图像处理结合的焊缝识别方式,该方式通过人为标注结合图像处理,来降低运算能力,从而降低了对于DSP处理器等处理器的硬件要求,以解决现有技术之不足。
为了解决上述技术问题,本发明所采用的思路是,基于一种基于人工触控标注与图像处理结合的焊缝识别方式,首先获得焊缝的图像,以人为方式先行标注焊缝的实际位置,由DSP处理器等处理器经过计算转化为像素坐标保存记入。同时,由DSP处理器对于标注点周围区域进行索贝尔、二值化等图像处理寻找焊缝特征,如果寻找到的焊缝像素坐标与人为标注坐标处于误差范围内,则完成焊缝识别。
具体的,本发明的技术方案如下,一种基于触控标注与图像处理的焊缝识别方法,包括如下步骤:
步骤1:通过摄像头采集整条焊缝的图像;
步骤2:在图像上对焊缝进行标识,该标识至少包括两个坐标点;标识的坐标点的选择尽量靠近焊缝的位置;
步骤3:DSP处理器获得步骤2的标识,并将该两个坐标点的二维坐标记为(x1,y1)、(x2,y2),然后开始针对当前采集的图像进行图像处理并识别焊缝,具体包括如下过程:
步骤31:确定图像处理区域,根据实际屏幕分辨率以及焊接区域划定有效图像处理区域,引入有效图像处理区域偏移量(offsetx,offsety),确定坐标:
其中,Xa1,Xa2,Ya1,Ya2由下面的公式计算得到:
步骤32:对有效图像处理区域进行索贝尔处理、进行二值化处理:
在以(Xa1,Ya1),(Xa2,Ya2)为顶点的区域内进行索贝尔运算:由于焊缝相对于整个画面垂直,故寻找焊缝边界时只需做水平索贝尔运算,将索贝尔算子模板与有效图像处理区域内的像素值做相应的平面卷积运算,得到的相应值替换原先的像素值并保存。
设索贝尔模板:
相应的卷积公式:
式中Xa1≤x0≤Xa2,Ya1≤y0≤Ya2。利用式(2-3)对图像求滤波之后得到H(x0,y0)。
针对H(x0,y0)进行二值化处理,设置阈值λ,根据阈值得到H'(x0,y0)。
步骤33:针对有效图像处理区域内做图像索贝尔、二值化处理寻找焊缝的思想,主要基于加权平均值结合概率论的方法。通过索贝尔处理并二值化后所得到的H'(x0,y0),将其中的焊缝边界的信息值被加强为255,其它值全部清0,然后通过统计相同x坐标下,各个y坐标值的累加和确定焊缝坐标,其表达式:
其中,表示y0坐标值求和,x的范围为Xa1<x<Xa2,即在有效图像区域内生成Xa1<n<Xa2。对进行排序,得到最大值的前两位即为焊缝处坐标,其下标值n即为x坐标,通过比较x值的大小,可得较小值xl1为左焊缝,较大值xl2为右焊缝,定左右焊缝的y坐标都为那么经过DSP处理器处理后所得的焊缝坐标即为
进一步的,上述步骤3还包括步骤34:判定DSP处理器处理后所得的焊缝坐标与步骤2标注的坐标是否在预设的误差范围内,如果在该误差范围内则完成焊缝识别;如果不在该误差范围内则返回步骤3重新进行图像处理并识别焊缝。
作为一种简单可行的判断方法:可设定焊缝x坐标误差阈值为Xe,则如果同时满足|xl1-x1|<Xe以及|xl2-x2|<Xe,则表示DSP处理器处理后所得的焊缝坐标与步骤2标注的坐标在预设的误差范围内。
本发明通过上述方案,首先将人为手动标识出离焊缝最近的坐标点,从而缩小了图像的处理范围,并简化了其中的计算。由于在实际焊接中,焊缝是前后连续的坐标点,因此之后的焊缝寻找都可以在上一次的坐标基础上进行寻找。通过本发明方式进行焊缝寻找,只需要引入一次人为确认即可以保证焊缝的寻找位置误差可控,排除所有在误差范围外的弧光、飞溅、焊件污染等干扰,同时缩小了图像处理的区域,降低了对于DSP处理器等处理器的硬件要求。
附图说明
图1为本发明的技术方案的***示意图;
图2为本发明的焊缝识别方法中的标识的示意图;
图3为本发明的焊缝识别方法中的有效图像区域的示意图。
具体实施方式
现结合附图和具体实施方式对本发明进一步说明。
作为一个具体的实施方式,参见图1,本发明的焊缝识别方法包括如下硬件:触控平板、DSP处理器、CCD相机以及被焊物件,触控平板和CCD相机连接至DSP处理器,CCD相机拍摄被焊物件的焊缝图像,然后发送至DSP处理器,DSP处理器将图像同步显示到触控平板上,然后使用触控笔在触控平板上的电容屏,以人为方式先行标注焊缝的实际位置,由DSP处理器等处理器经过计算转化为像素坐标保存记入。同时,由DSP处理器对于标注点周围区域进行索贝尔、二值化等图像处理寻找焊缝特征,如果寻找到的焊缝像素坐标与人为标注坐标处于误差范围内,则在显示器上显示标注线,同时由人进行按钮确认。由于在实际焊接中,焊缝是前后连续的坐标点,因此之后的焊缝寻找都可以在上一次的坐标基础上进行寻找。通过本发明方式进行焊缝寻找,只需要引入一次人为确认即可以保证焊缝的寻找位置误差可控,排除所有在误差范围外的弧光、飞溅、焊件污染等干扰,同时缩小了图像处理的区域,降低了对于DSP处理器等处理器的硬件要求。
具体的,本发明的一种基于触控标注与图像处理的焊缝识别方法,包括如下步骤:
步骤1:通过CCD相机采集被焊物件的焊缝图像;
步骤2:通过触控笔(当然,也可以通过***工具(例如画笔))对焊缝进行标识,该标识可以是坐标点,也可以是焊缝整个区域;
步骤3:DSP处理器获得步骤2的标识,本实施例中,以坐标点为例来阐述,如图2所示,该标识至少包括两个坐标点,将该两个坐标点的二维坐标记为(x1,y1)、(x2,y2),DSP处理器获取两个坐标点的坐标信息后,开始针对当前采集的图像进行图像处理并识别焊缝:
步骤31:确定图像处理区域,根据实际屏幕分辨率以及焊接区域划定有效图像处理区域,引入有效图像处理区域偏移量(offsetx,offsety),确定坐标:
其中,Xa1,Xa2,Ya1,Ya2由下面的公式计算得到:
步骤32:对有效图像处理区域进行索贝尔处理、进行二值化处理:
在以(Xa1,Ya1),(Xa2,Ya2)为顶点的区域内进行索贝尔运算:由于焊缝相对于整个画面垂直,故寻找焊缝边界时只需做水平索贝尔运算,将索贝尔算子模板与有效图像处理区域内的像素值做相应的平面卷积运算,得到的相应值替换原先的像素值并保存。
设索贝尔模板:
相应的卷积公式:
式中Xa1≤x0≤Xa2,Ya1≤y0≤Ya2。利用式(2-3)对图像求滤波之后得到H(x0,y0)。
针对H(x0,y0)进行二值化处理,设置阈值λ,根据阈值得到H'(x0,y0)。
步骤33:针对有效图像处理区域内做图像索贝尔、二值化处理寻找焊缝的思想,主要基于加权平均值结合概率论的方法。通过索贝尔处理并二值化后所得到的H'(x0,y0),其中可能为焊缝边界的信息值被加强为255,其它值全部清0,然后通过统计相同x坐标下,各个y坐标值的累加和确定焊缝坐标,其表达式:
其中,表示y0坐标值求和,x的范围为Xa1<x<Xa2,即在有效图像区域内生成Xa1<n<Xa2。对进行排序,得到最大值的前两位即为焊缝处坐标,其下标值n即为x坐标,通过比较x值的大小,可得较小值xl1为左焊缝,较大值xl2为右焊缝,定左右焊缝的y坐标都为那么经过DSP处理器处理后所得的焊缝坐标即为
步骤34:判定DSP处理器图像处理所得坐标与人为标注坐标是否在误差范围内,并进行正确标注。设定焊缝x坐标误差值为Xe,则如果有|xl1-x1|<Xe且|xl2-x2|<Xe同时满足则进行绿色焊缝标注标示焊缝信息,否则进行对话框提示焊缝标注失败。
具体使用时,首先通过监视器图形触控操作接口(例如触控平板)进入焊缝标注模式,然后用户使用触控笔对监视器上显示焊缝进行触碰标注,触控笔触控触摸屏后,DSP处理器可以准确的计算出所触控点的二维坐标并保留记录为(x1,y1)、(x2,y2),然后DSP处理器获取触控提供的焊缝坐标信息后,根据上述过程开始针对当前捕获图像进行图像处理并识别焊缝。最后,***还可在监视器上显示寻找到的焊缝,由人通过触控确认按钮确认。DSP处理器将与人工标注比对后的焊缝信息显示出来,此时为了确保此标注信息的最终确认,可再次通过人为触控按钮进行最终确认,完成此步骤,则表明焊缝的真实坐标已经得到;如果***显示出来的焊缝信息与实际不符,则表示焊缝标注失败,则重新通过上述步骤进行标注。
尽管结合优选实施方案具体展示和介绍了本发明,但所属领域的技术人员应该明白,在不脱离所附权利要求书所限定的本发明的精神和范围内,在形式上和细节上可以对本发明做出各种变化,均为本发明的保护范围。
Claims (3)
1.一种基于触控标注与图像处理的焊缝识别方法,其特征在于:包括如下步骤:
步骤1:通过摄像头采集整条焊缝的图像;
步骤2:在图像上对焊缝进行标识,该标识至少包括两个坐标点;
步骤3:DSP处理器获得步骤2的标识,并将该两个坐标点的二维坐标分别记为(x1,y1)、(x2,y2),然后开始针对当前采集的图像进行图像处理并识别焊缝,具体包括如下过程:
步骤31:确定图像处理区域,根据实际屏幕分辨率以及焊接区域划定有效图像处理区域,引入有效图像处理区域偏移量(offsetx,offsety),确定坐标:
其中,Xa1,Xa2,Ya1,Ya2由下面的公式计算得到:
步骤32:对有效图像处理区域进行索贝尔处理、以及二值化处理:
在以(Xa1,Ya1),(Xa2,Ya2)为顶点的区域内进行索贝尔运算:
设索贝尔模板:
相应的卷积公式:
式中Xa1≤x0≤Xa2,Ya1≤y0≤Ya2;利用式(2-3)对图像求滤波之后得到H(x0,y0);
针对H(x0,y0)进行二值化处理,设置阈值λ,根据阈值得到H'(x0,y0);
步骤33:通过索贝尔并二值化处理后所得到的H'(x0,y0),将其中的焊缝边界的信息值加强为255,其它值全部清0,然后通过统计相同x坐标下,各个y坐标值的累加和确定焊缝坐标,其表达式:
其中,S(x,y0)表示相同x坐标下的各个y0坐标值,表示y0坐标值求和,x的范围为Xa1<x<Xa2,即在有效图像区域内生成数组,Xa1<n<Xa2;对进行排序,得到最大值的前两位即为焊缝处坐标,其下标值n即为x坐标,通过比较x值的大小,可得较小值xl1为左焊缝,较大值xl2为右焊缝,定左右焊缝的y坐标都为那么经过DSP处理器处理后所得的焊缝坐标即为
2.根据权利要求1所述的焊缝识别方法,其特征在于:上述步骤3还包括步骤34:判定DSP处理器处理后所得的焊缝坐标与步骤2标注的坐标是否在预设的误差范围内,如果在该误差范围内则完成焊缝识别;如果不在该误差范围内则返回步骤3重新进行图像处理并识别焊缝。
3.根据权利要求2所述的焊缝识别方法,其特征在于:所述步骤34中,设定焊缝x坐标误差阈值为Xe,则如果同时满足|xl1-x1|<Xe以及|xl2-x2|<Xe,则表示DSP处理器处理后所得的焊缝坐标与步骤2标注的坐标在预设的误差范围内。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610409243.XA CN106127731B (zh) | 2016-06-12 | 2016-06-12 | 基于触控标注与图像处理的焊缝识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610409243.XA CN106127731B (zh) | 2016-06-12 | 2016-06-12 | 基于触控标注与图像处理的焊缝识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106127731A CN106127731A (zh) | 2016-11-16 |
CN106127731B true CN106127731B (zh) | 2019-03-05 |
Family
ID=57270373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610409243.XA Expired - Fee Related CN106127731B (zh) | 2016-06-12 | 2016-06-12 | 基于触控标注与图像处理的焊缝识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106127731B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111637835A (zh) * | 2020-05-25 | 2020-09-08 | 西咸新区大熊星座智能科技有限公司 | 圆管焊缝位置定位方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101352837A (zh) * | 2008-09-13 | 2009-01-28 | 东方电气集团东方汽轮机有限公司 | 刀具整体铲磨砂轮型线误差的修正方法及装置 |
CN101769714A (zh) * | 2010-02-04 | 2010-07-07 | 西安理工大学 | 差压式流量计孔板检测仪及其检测方法 |
CN103295199A (zh) * | 2013-05-29 | 2013-09-11 | 西安建筑科技大学 | 古壁画的裂缝智能修复辅助*** |
CN103358057A (zh) * | 2012-03-29 | 2013-10-23 | 李文畅 | 基于画线法视觉传感焊缝自动跟踪方法 |
CN103383600A (zh) * | 2012-05-03 | 2013-11-06 | 杨志沅 | 线性度测试装置及方法 |
CN104700395A (zh) * | 2014-11-11 | 2015-06-10 | 长安大学 | 一种构造物外观裂缝检测方法及*** |
-
2016
- 2016-06-12 CN CN201610409243.XA patent/CN106127731B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101352837A (zh) * | 2008-09-13 | 2009-01-28 | 东方电气集团东方汽轮机有限公司 | 刀具整体铲磨砂轮型线误差的修正方法及装置 |
CN101769714A (zh) * | 2010-02-04 | 2010-07-07 | 西安理工大学 | 差压式流量计孔板检测仪及其检测方法 |
CN103358057A (zh) * | 2012-03-29 | 2013-10-23 | 李文畅 | 基于画线法视觉传感焊缝自动跟踪方法 |
CN103383600A (zh) * | 2012-05-03 | 2013-11-06 | 杨志沅 | 线性度测试装置及方法 |
CN103295199A (zh) * | 2013-05-29 | 2013-09-11 | 西安建筑科技大学 | 古壁画的裂缝智能修复辅助*** |
CN104700395A (zh) * | 2014-11-11 | 2015-06-10 | 长安大学 | 一种构造物外观裂缝检测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN106127731A (zh) | 2016-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110163912B (zh) | 二维码位姿标定方法、装置及*** | |
JP5699788B2 (ja) | スクリーン領域検知方法及びシステム | |
CN104978012B (zh) | 一种指向交互方法、装置及*** | |
KR102118809B1 (ko) | 용접 결함의 종류 판단 방법 및 이를 수행하는 단말 장치 | |
CN103345644B (zh) | 在线训练的目标检测方法及装置 | |
TW201510771A (zh) | 指向位置偵測裝置及其方法、程式及電腦可讀取紀錄媒體 | |
CN106326860A (zh) | 基于视觉的手势识别方法 | |
CN109492688B (zh) | 焊缝跟踪方法、装置及计算机可读存储介质 | |
US20150256815A1 (en) | 3d camera calibration | |
JP5791475B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
CN110892255B (zh) | 从图像检测缺陷的图像处理装置、方法和存储介质 | |
TWI499879B (zh) | 工序分析監控系統及其方法 | |
Chen et al. | Automatic weld type classification, tacked spot recognition and weld ROI determination for robotic welding based on modified YOLOv5 | |
CN111784655A (zh) | 一种水下机器人回收定位方法 | |
JP2017117341A (ja) | 物体検出方法、装置、及びプログラム | |
CN108549878A (zh) | 基于深度信息的手部检测方法及*** | |
TWI525500B (zh) | 觸控系統、觸控筆、觸控裝置及其控制方法 | |
CN107895344B (zh) | 视频拼接装置及方法 | |
CN106127731B (zh) | 基于触控标注与图像处理的焊缝识别方法 | |
CN104766332B (zh) | 一种图像处理方法及电子设备 | |
CN113544738A (zh) | 人体测量数据便携式获取设备和收集人体测量数据的方法 | |
CN102023759A (zh) | 一种有源笔书写定位方法 | |
CN110310336B (zh) | 一种触控投影***及图像处理方法 | |
CN106462966A (zh) | 周界检测 | |
CN114842144A (zh) | 双目视觉三维重构方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190305 Termination date: 20210612 |