CN110567963B - 合金分析视觉定位方法、装置及合金分析*** - Google Patents
合金分析视觉定位方法、装置及合金分析*** Download PDFInfo
- Publication number
- CN110567963B CN110567963B CN201911073340.6A CN201911073340A CN110567963B CN 110567963 B CN110567963 B CN 110567963B CN 201911073340 A CN201911073340 A CN 201911073340A CN 110567963 B CN110567963 B CN 110567963B
- Authority
- CN
- China
- Prior art keywords
- sample
- image acquisition
- image
- detected
- acquisition equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000956 alloy Substances 0.000 title claims abstract description 87
- 229910045601 alloy Inorganic materials 0.000 title claims abstract description 87
- 238000004458 analytical method Methods 0.000 title claims abstract description 54
- 230000000007 visual effect Effects 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 83
- 238000012216 screening Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000000691 measurement method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 11
- 238000004364 calculation method Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 abstract description 6
- 239000000523 sample Substances 0.000 description 123
- 238000005259 measurement Methods 0.000 description 6
- 229910000831 Steel Inorganic materials 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000010959 steel Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 235000009508 confectionery Nutrition 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 230000003746 surface roughness Effects 0.000 description 2
- FYYHWMGAXLPEAU-UHFFFAOYSA-N Magnesium Chemical compound [Mg] FYYHWMGAXLPEAU-UHFFFAOYSA-N 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- NINIDFKCEFEMDL-UHFFFAOYSA-N Sulfur Chemical compound [S] NINIDFKCEFEMDL-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012921 fluorescence analysis Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011777 magnesium Substances 0.000 description 1
- 229910052749 magnesium Inorganic materials 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 229910052717 sulfur Inorganic materials 0.000 description 1
- 239000011593 sulfur Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开一种合金分析视觉定位方法、装置及合金分析***,当机器人控制图像采集设备向待测样品移动时,获取图像采集设备与待测样品之间的距离;其中,所述图像采集设备配备有结构光源;如果图像采集设备与待测样品之间的距离等于预设距离,控制所述图像采集设备对待测样品的表面进行拍摄,得到样品图像;从所述样品图像中提取出多条结构光条纹;根据每条结构光条纹的中心点集合,确定最佳检测点,计算所述最佳检测点的三维位置坐标;中心点集合包括结构光条纹中除两侧边缘区域像素点之外的其他像素点。本发明在检测区域只需拍摄一幅样品图像,即可计算出最佳检测点的三维位置坐标,计算量减少,且无需复杂的图像处理过程,计算和定位效率更高。
Description
技术领域
本发明涉及视觉检测技术领域,尤其涉及一种合金分析视觉定位方法、装置及合金分析***。
背景技术
随着光学、计算机及图像处理等技术的发展,光学非接触测量集测量速度快、测量精度高等优点,广泛应用于各个领域。比如,在钢铁行业,由于产品的多样化,其生产水平亦趋于自动化和精细化,为防止不同钢种混号,需要对成品盘条进行合金成份分析。
在进行合金分析时,目前多采用结构光测量***来定位样品表面最佳检测点的位置,结构光测量***主要由结构光投影装置、摄像机、图像采集处理***组成。测量原理是向被测物体投射一定结构的光,如点光源、线光源或光栅,结构光受被测物体表面信息的调制而发生形变,利用摄像机获取变形的结构光条纹图像,从而获得最佳检测点的三维位置信息。
在利用结构光测量***进行最佳检测点定位计算时,目前一般采用相位测量方法,其原理是通过有一定相位差的多幅光栅条纹图像计算图像中每个像素的相位值,然后根据相位值计算物体的三维信息。然而,在实际生产过程中,成品盘条和盘卷的直径变化范围较大,分别为5mm~34mm和1.2m~1.5m,当不同规格的成品盘条和盘卷组合时,就需要拍摄至少三幅光条栅格图像来计算相位值,导致计算量大、定位效率低。
发明内容
为解决上述背景技术中所述的问题,本发明提供一种合金分析视觉定位方法、装置及合金分析***。
第一方面,本发明提供一种合金分析视觉定位方法,所述方法包括:
当机器人控制图像采集设备向待测样品移动时,获取图像采集设备与待测样品之间的距离;其中,所述图像采集设备配备有结构光源;
如果图像采集设备与待测样品之间的距离等于预设距离,控制所述图像采集设备对待测样品的表面进行拍摄,得到样品图像;所述结构光源产生的结构光经所述待测样品的表面反射后,被所述图像采集设备接收,使所述样品图像中包括携带有待测样品表面形变特征的结构光条纹;
从所述样品图像中提取出多条结构光条纹;
根据每条结构光条纹的中心点集合,确定最佳检测点,并计算所述最佳检测点的三维位置坐标;其中,所述中心点集合包括结构光条纹中除两侧边缘区域像素点之外的其他像素点。
可选地,所述从所述样品图像中提取出多条结构光条纹,包括:
获取所述样品图像中像素点的亮度值;
判断所述亮度值是否大于阈值;
如果所述亮度值大于阈值,则所述像素点为目标点;
对所述样品图像中所有的目标点进行提取,得到多条所述结构光条纹。
可选地,所述根据每条结构光条纹的中心点集合,确定最佳检测点,包括:
根据每条结构光条纹的中心点集合,以及结构光受所述待测样品表面的调制而发生形变特性,筛选出所述图像采集设备的拍摄区域内待测样品表面的最凸点;
将所述最凸点作为所述最佳检测点。
可选地,所述筛选出所述图像采集设备的拍摄区域内待测样品表面的最凸点,包括:
对所述中心点集合中各像素点的y坐标进行排序,获取最大y坐标值对应的像素点坐标(xi,yi);其中,i表示结构光条纹的序号,1≦i≦N,N为样品图像中提取出的结构光条纹的数量;
根据所述图像采集设备、所述结构光源与所述待测样品之间的相对位置关系,利用三角测距方法,计算(xi,yi)对应的深度坐标Zi;
从深度坐标Zi中筛选出最小深度坐标,并将所述最小深度坐标对应的像素点作为所述最凸点。
可选地,所述获取所述最佳检测点的三维位置坐标,包括:
获取图像坐标系与世界坐标系的转换关系;
根据所述转换关系,获取所述样品图像中最佳检测点在世界坐标系中对应的坐标(X,Y);
根据所述图像采集设备、所述结构光源与所述待测样品之间的相对位置关系,利用三角测距方法,计算所述最佳检测点的深度坐标Z,得到所述最佳检测点的三维位置坐标(X,Y,Z)。
可选地,所述方法还包括:
设定所述结构光条纹的感兴趣区域,所述感兴趣区域为结构光条纹中除两侧边缘区域之外的条纹区域;
将所述感兴趣区域中包括的像素点组成所述中心点集合。
可选地,所述方法还包括:在所述样品图像中对所述最佳检测点进行标记。
第二方面,本发明还提供一种合金分析视觉定位装置,用于实现如第一方面所述的合金分析视觉定位方法,包括图像采集设备、结构光源、激光测距传感器和控制器,所述合金分析视觉定位装置与机器人连接,所述结构光源、所述机器人、所述图像采集设备和所述激光测距传感器分别与所述控制器电连接;所述激光测距传感器用于检测图像采集设备与待测样品之间的距离;
其中,所述控制器被配置为执行如下程序步骤:
控制所述图像采集设备向待测样品移动;
获取图像采集设备与待测样品之间的距离;
如果图像采集设备与待测样品之间的距离等于预设距离,控制所述图像采集设备对待测样品的表面进行拍摄,得到样品图像;所述结构光源产生的结构光经所述待测样品的表面反射后,被所述图像采集设备接收,使所述样品图像中包括携带有待测样品表面形变特征的结构光条纹;
从所述样品图像中提取出多条结构光条纹;
根据每条结构光条纹的中心点集合,确定最佳检测点,并计算所述最佳检测点的三维位置坐标;其中,所述中心点集合包括结构光条纹中除两侧边缘区域像素点之外的其他像素点。
可选地,所述装置还包括底板和外护罩,所述外护罩的前端面板透明,所述外护罩的后端固定在所述底板上;图像采集设备和结构光源固定在所述底板上,并且图像采集设备和结构光源位于所述外护罩的内部;所述激光测距传感器设置于所述外护罩的顶部。
可选地,所述图像采集设备和结构光源的轴心处于同一竖直平面上。
第三方面,本发明还提供一种合金分析***,包括机器人、支架、合金分析仪以及如第二方面所述的合金分析视觉定位装置,所述机器人与所述合金分析仪通过所述支架连接,所述合金分析视觉定位装置设置在所述支架上,所述合金分析仪和所述合金分析视觉定位装置相邻设置且均朝向待测样品,所述控制器还与所述合金分析仪电连接;
其中,所述控制器被配置为执行如下程序步骤:
控制机器人运动,使所述合金分析仪移动至最佳检测点的三维位置坐标所对应的位置;
控制所述合金分析仪启动,以对所述最佳检测点处进行合金分析。
本发明具备的有益效果如下:当机器人控制图像采集设备向待测样品移动时,获取图像采集设备与待测样品之间的距离,如果该距离等于预设距离时,则可将图像采集器移动到最佳的拍摄位置,以保证结构光条纹的拍摄效果。样品图像中包括背景和结构光条纹,本发明从样品图像中提取出多条结构光条纹,从而将背景与结构光条纹分离,以便后续图像处理时提高最佳检测点定位的准确性和效率。在多条结构光条纹提取后,获取每条结构光条纹中除两侧边缘区域像素点之外的其他像素点的坐标,得到每条结构光条纹的中心点集合,根据每条结构光条纹的中心点集合,结合结构光受所述待测样品表面的调制而发生形变特性,可以确定出待测样品表面的凹凸性,从而筛选出最佳检测点,并最终得到最佳检测点的三维位置坐标,可以利用机器人将合金分析仪的探头移动至该最佳检测点的三维位置坐标对应的位置处,从而完成视觉定位和合金分析过程。本申请在检测区域只需拍摄一幅样品图像,即可计算出最佳检测点的三维位置坐标,计算量减少,且无需复杂的图像处理过程,计算和定位效率更高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例示出的一种合金分析视觉定位方法的流程图;
图2为本发明一实施例示出的具有结构光条纹的样品图像示意图;
图3为本发明一实施例示出的标记最佳检测点后的样品图像示意图;
图4为本发明一实施例示出的最佳检测点的深度坐标Z的检测原理示意图;
图5为本发明另一实施例示出的合金分析视觉定位装置的控制流程图;
图6为本发明另一实施例示出的合金分析视觉定位装置的正面结构示意图;
图7为本发明另一实施例示出的合金分析视觉定位装置的背面结构示意图;
图8为本发明又一实施例示出的合金分析***的结构示意图;
图9为本发明又一实施例示出的支架与合金分析视觉定位装置、合金分析仪的连接结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明一实施例提供一种合金分析视觉定位方法,所述方法包括:
步骤S10,当机器人控制图像采集设备向待测样品移动时,获取图像采集设备与待测样品之间的距离;其中,所述图像采集设备配备有结构光源。
由于本发明采用视觉定位,需要利用图像采集设备拍摄待测样品表面的图像,以便确定最佳检测点,因此可利用机器人控制图像采集设备向待测样品移动,以调节图像采集设备与待测样品之间的相对位置和距离,从而定位图像采集设备的拍摄位置,可以选择测距装置来检测图像采集设备与待测样品之间的距离,比如激光测距仪、光纤测距仪等,本实施例对测距方式不作限定。
本发明中的图像采集设备可选为工业相机,待测样品可以为盘条或盘卷,或者其他需要进行合金分析的样品,本发明对此不作限定。本发明在进行样品表面图像采集时,配备的光源为结构光源,可以产生结构光,基于结构光受待测样品表面的调制而发生形变的特性原理,结构光经待测样品的表面反射后被图像采集设备接收,从而使图像采集设备拍摄到样品图像具有携带样品表面真实形变特征的结构光条纹。
步骤S20,如果图像采集设备与待测样品之间的距离等于预设距离,控制所述图像采集设备对待测样品的表面进行拍摄,得到样品图像。
在进行合金分析之前,可以根据待测样品的特点,预先设定所述预设距离,以保证图像采集设备能够在较佳的拍摄距离处采集样品图像,保证图像拍摄效果。在当机器人控制图像采集设备向待测样品移动的过程中,可以实时获取图像采集设备与待测样品之间的距离,并判断图像采集设备与待测样品之间的距离是否等于预设距离,如果判断结果是不等于,则需要继续控制机器人调节图像采集设备的位置,直至判断结果为等于为止,则图像采集设备的拍摄位置定位完成,可以控制图像采集设备启动并对待测样品表面进行拍摄,从而采集到样品图像,具有结构光条纹的样品图像如图2所示。可选地,样品图像采集后可以保存在一个固定的路径下,这样在后续进行图像处理时,可以直接读取该路径中存储的样品图像。可选地,所述预设距离为200mm~400mm。
步骤S30,从所述样品图像中提取出多条结构光条纹。
由于成像***、传输介质和记录设备等的不完善,数字图像在其形成、传输记录过程中往往会受到多种噪声的污染,为了消除图像中混入的噪声并识别提取图像特征,可选地,采用由一个像素邻域中的灰度级的中值来代替该像素的值的方式进行滤波操作,图像降噪的方式不限于本实施例所述。另外,本领域技术人员还可根据实际处理需求,对样品图像进行其他处理,比如图像增强等,具体可参照现有图像处理方法,本实施例不再赘述。
如图2所示,是以盘条样品为例拍摄的图像,样品图像主要包括两部分,一部分是暗色钢筋的背景(即图中的黑色部分),另一部分是结构光条纹(即图中具有形变的多条白色条纹),由于结构光条纹和黑色背景具有其各自明显的特征,亮度不同,所以可以预设一个阈值T,阈值T用于区分对背景和结构光条纹进行分割,故本发明中需要采集图像中像素点(x,y)处的亮度值f(x,y),并判断亮度值f(x,y)是否大于阈值T,如果f(x,y)大于T,则像素点(x,y)为目标点,所述目标点是组成多条结构光条纹的像素点,否则,像素点(x,y)则为背景点。通过这种方式,可以提取出一系列的目标点,所有目标点可以组成多个结构光条纹,比如图2所示的样品图像中,提取出7个结构光条纹。
步骤S40,根据每条结构光条纹的中心点集合,确定最佳检测点,并计算所述最佳检测点的三维位置坐标;其中,所述中心点集合包括结构光条纹中除两侧边缘区域像素点之外的其他像素点。
参照图2,本发明中每条结构光条纹可以包括两种条纹区域,一种是左右两侧的边缘区域,另一种除左右两侧边缘区域之外的偏中间的条纹区域,最佳检测点一般在偏中间的条纹区域中进行选取。在提取出多条结构光条纹后,根据设定的结构光条纹对应的ROI(region of interest,感兴趣区域),将每条结构光条纹中偏中间的条纹区域圈定为ROI,则ROI中所包括的全部像素点组成所述中心点集合。
申请人在实践中发现,结构光受所述待测样品表面的调制而发生形变特性为:由于待测样品的表面存在凹凸性,会使照射到待测样品表面的结构光发生相位调制,造成待测样品越凸出的部分对应的光条纹像素点越偏下,反之,待测样品越凹进去的部分对应的光条纹像素点越偏上。因此,可以利用样品图像中的结构光条纹信息来解析样品表面的凹凸性,从而确定最佳检测点。本发明是根据每条结构光条纹的中心点集合,并基于上述结构光受所述待测样品表面的调制而发生形变特性,筛选出所述图像采集设备的拍摄区域内待测样品表面的最凸点,并将所述最凸点作为所述最佳检测点。
进一步地,所述筛选出所述图像采集设备的拍摄区域内待测样品表面的最凸点,包括:
步骤(A):对所述中心点集合中各像素点的y坐标进行排序,获取最大y坐标值对应的像素点坐标(xi,yi);其中,i表示结构光条纹的序号,1≦i≦N,N为样品图像中提取出的结构光条纹的数量;
步骤(B):根据所述图像采集设备、所述结构光源与所述待测样品之间的相对位置关系,利用三角测距方法,计算(xi,yi)对应的深度坐标Zi;
步骤(C):从深度坐标Zi中筛选出最小深度坐标,并将所述最小深度坐标对应的像素点作为所述最凸点,该最凸点即为最佳检测点。
在具体实现中,在提取出多条结构光条纹后,获取每条结构光条纹的中心点集合,集中保存在点集PointVector中;针对点集PointVector,按照结构光条纹的数量进行分类,使每条结构光条纹对应一个中心点集合rowVectori,比如图2和图3中,提取出7个结构光条纹,即N=7,则具有7个中心点集合,分别为rowVector1、rowVector2、rowVector3、rowVector4、rowVector5、rowVector6和rowVector7;如图3所示,一般将图像左上角作为原点,建立图像坐标系,对于任一个中心点集合,对集合中各像素点的y坐标进行排序(升序或降序),则可自动筛选出最大y坐标值,然后获取最大y坐标值对应的像素点坐标(xi,yi),(xi,yi)是每条结构光条纹中在y轴方向上位置最偏下的像素点,则可以筛选出到7个像素点坐标,分别为(x1,y1)(x2,y2)、(x3,y3)、(x4,y4)、(x5,y5)、(x6,y6)和(x7,y7)。
然后根据图像采集设备、结构光源与待测样品之间的相对位置关系,利用三角测距方法,计算(xi,yi)对应的深度坐标Zi,分别为Z1、Z2、Z3、Z4、Z5、Z6和Z7,深度坐标计算方法可参照下文以及图4所示;从Z1、Z2、Z3、Z4、Z5、Z6和Z7中筛选出最小深度坐标,比如Z3最小(对应在第三条结构光条纹中),Z3对应的像素点为(x3,y3),则说明(x3,y3)对应的样品表面位置点距离图像采集设备最近,即(x3,y3)为拍摄区域内样品表面的最凸点,将样品表面的最凸点作为最佳检测点,该最佳检测点对应的真实三维位置信息即为合金分析仪探头需要探测的位置点。可选地,如图3所示,可以根据最佳检测点在图像中的像素点坐标(x3,y3),在样品图像中对最佳检测点进行标记,从而为使用者提供参照。
通过样品图像确定的最佳检测点是在图像坐标系中,还需要将最佳检测点对应转换到真实的世界坐标系中,以获取最佳检测点的三维位置坐标,便于通过机器人控制合金分析仪移动到最佳检测点处进行合金分析。具体地,可以根据图像采集设备的成像特性和拍摄位置等相关信息,预先获取图像坐标系与世界坐标系之间的转换关系,当得到最佳检测点在样品图像中的像素点坐标(x,y)后,根据所述转换关系,将最佳检测点转换为适于机器人运动的世界坐标中,从而得到最佳检测点在世界坐标系中对应的坐标(X,Y),即得到三维位置坐标中的X轴坐标和Y轴坐标。如图4所示,根据基准位、以及图像采集设备、结构光源、测距装置与待测样品之间的相对位置参数等几何关系,利用三角测距方法,计算所述最佳检测点的深度坐标Z,即三维位置坐标中的Z轴坐标,从而得到最佳检测点的三维位置坐标(X,Y,Z)。当定位出最佳检测点的三维位置坐标后,控制机器人移动合金分析仪,使合金分析仪的探头抵达最佳检测点的三维位置坐标对应的位置处,然后即可进行合金分析,得到分析结果。本实施例中,所述的三角测距方法为常规的测距方法,具体可参照现有技术的相关描述,本实施例不再赘述。
由本实施例以上技术方案可知,当机器人控制图像采集设备向待测样品移动时,获取图像采集设备与待测样品之间的距离,如果该距离等于预设距离时,则可将图像采集器移动到最佳的拍摄位置,以保证结构光条纹的拍摄效果。样品图像中包括背景和结构光条纹,本发明从样品图像中提取出多条结构光条纹,从而将背景与结构光条纹分离,以便后续图像处理时提高最佳检测点定位的准确性和效率。在多条结构光条纹提取后,获取每条结构光条纹中除两侧边缘区域像素点之外的其他像素点的坐标,得到每条结构光条纹的中心点集合,根据每条结构光条纹的中心点集合,结合结构光受所述待测样品表面的调制而发生形变特性,可以确定出待测样品表面的凹凸性,从而筛选出最佳检测点,并最终得到最佳检测点的三维位置坐标,可以利用机器人将合金分析仪的探头移动至该最佳检测点的三维位置坐标对应的位置处,从而完成视觉定位和合金分析过程。本发明在检测区域只需拍摄一幅样品图像,即可计算出最佳检测点的三维位置坐标,计算量减少,且无需复杂的图像处理过程,计算和定位效率更高。
如图5和图6所示,本发明另一实施例提供一种合金分析视觉定位装置,用于实现前一实施例所述的合金分析视觉定位方法,包括结构光源41、图像采集设备42、激光测距传感器43和控制器5;所述合金分析视觉定位装置与机器人1连接,机器人1与控制器5电连接,控制器5用于对机器人1的运动和启闭进行控制;当控制器5控制机器人1移动时,机器人1会带动结构光源41、图像采集设备42、激光测距传感器43联动;控制器5与结构光源41电连接,可以控制结构光源41的启闭;控制器5与图像采集设备42电连接,控制器5可以图像采集设备42的启闭,图像采集设备42将拍摄的样品图像发送至控制器5,以便由控制器5对样品图像进行处理和计算,确定最佳检测点;控制器5与激光测距传感器43电连接,控制器5可以控制激光测距传感器43的启闭,激光测距传感器43用于检测图像采集设备42与待测样品之间的距离,激光测距传感器43可以将测量信号发送给控制器5,使控制器5获取图像采集设备42与待测样品之间的距离,以定位图像采集设备42的拍摄位置;图像采集设备42和结构光源41的轴心处于同一竖直平面上,可以提高样品图像的拍摄质量,可选地,图像采集设备42和结构光源41之间的距离为70 mm~100mm。
其中,控制器5被配置为执行如下程序步骤:
控制所述图像采集设备向待测样品移动;
获取图像采集设备与待测样品之间的距离;
如果图像采集设备与待测样品之间的距离等于预设距离,控制所述图像采集设备对待测样品的表面进行拍摄,得到样品图像;
从所述样品图像中提取出多条结构光条纹,并计算每条结构光条纹的中心点坐标;
根据每条结构光条纹的中心点集合,确定最佳检测点,并计算所述最佳检测点的三维位置坐标;其中,所述中心点集合包括结构光条纹中除两侧边缘区域像素点之外的其他像素点。
控制器5与机器人1电连接,机器人1与合金分析仪3固定连接,控制器5可根据最佳检测点的三维位置坐标,生成对应的控制指令,并将所述控制指令发送给机器人1;机器人1根据控制指令移动,会带动合金分析仪3联动,从而将合金分析仪3移动至最佳检测点所处的三维位置坐标处,并由合金分析仪3对待测样品进行合金分析。
可选地,控制器5还可被进一步配置为执行如下程序步骤:
获取所述样品图像中像素点的亮度值;
判断所述亮度值是否大于阈值;
如果所述亮度值大于阈值,则所述像素点为目标点;
对所述样品图像中所有的目标点进行提取,得到多条所述结构光条纹。
可选地,控制器5还可被进一步配置为执行如下程序步骤:
根据每条结构光条纹的中心点集合,以及结构光受所述待测样品表面的调制而发生形变特性,筛选出所述图像采集设备的拍摄区域内待测样品表面的最凸点;
将所述最凸点作为所述最佳检测点。
可选地,控制器5还可被进一步配置为执行如下程序步骤:
对所述中心点集合中各像素点的y坐标进行排序,获取最大y坐标值对应的像素点坐标(xi,yi);其中,i表示结构光条纹的序号,1≦i≦N,N为样品图像中提取出的结构光条纹的数量;
根据所述图像采集设备、所述结构光源与所述待测样品之间的相对位置关系,利用三角测距方法,计算(xi,yi)对应的深度坐标Zi;
从深度坐标Zi中筛选出最小深度坐标,并将所述最小深度坐标对应的像素点作为所述最凸点。
可选地,控制器5还可被进一步配置为执行如下程序步骤:
获取图像坐标系与世界坐标系的转换关系;
根据所述转换关系,获取所述样品图像中最佳检测点在世界坐标系中对应的坐标(X,Y);
根据所述图像采集设备、所述结构光源与所述待测样品之间的相对位置关系,利用三角测距方法,计算所述最佳检测点的深度坐标Z,得到所述最佳检测点的三维位置坐标(X,Y,Z)。
可选地,控制器5还可被进一步配置为执行如下程序步骤:
设定所述结构光条纹的感兴趣区域,所述感兴趣区域为结构光条纹中除两侧边缘区域之外的条纹区域;
将所述感兴趣区域中包括的像素点组成所述中心点集合。
可选地,控制器5还可被进一步配置为执行如下程序步骤:在所述样品图像中对所述最佳检测点进行标记。
可选地,如图6和图7所示,所述合金分析视觉定位装置还包括底板44和外护罩45,外护罩45的前端(即正面)面板透明,透明的前端面板可以保证结构光源41发出的结构光能够入射到待测样品的表面,以及保证图像采集设备42能够采集到图像,同时透明的前端面板还能起到防护密封的作用;外护罩45的后端(即背面)固定在底板44上,图像采集设备42和结构光源41固定在底板44上,图像采集设备42和结构光源41位于外护罩45的内部,底板44既用于安装图像采集设备42和结构光源41,还能对装置的后端进行密封防护;激光测距传感器43设置于外护罩45的顶部。
如图7~图9所示,本发明又一实施例提供一种合金分析***,包括机器人1、支架2、合金分析仪3以及前一实施例所述的合金分析视觉定位装置4,机器人1与合金分析仪3通过支架2连接,合金分析视觉定位装置4设置在支架2上,合金分析仪3和合金分析视觉定位装置4相邻设置且均朝向待测样品100,所述控制器还与合金分析仪3电连接;机器人1可选为六轴机器人;可选地,支架2为具有两条边部的L形支架,支架2一边的端部设有法兰21,法兰21用于将支架2与机器人1连接起来,支架2另一边的端部通过安装板22与底板44连接,从而将支架2与合金分析视觉定位装置4连接起来,支架2的两条边部之间通过支撑杆23连接,以强化支架2的支撑结构。
在前述实施例中所述控制器被配置执行的程序的基础上,本实施例中所述控制器还被配置为执行如下程序步骤:
控制机器人运动,使所述合金分析仪移动至最佳检测点的三维位置坐标所对应的位置;
控制所述合金分析仪启动,以对所述最佳检测点处进行合金分析。
本发明各实施例中,可选地,在机器人1上可以设置语音装置,所述语音装置与控制器5电连接,所述语音装置用于播报合金分析仪3对待测样品的检测结果,以使现场人员获知待测样品是否合格。则所述控制器5还可被配置为:根据所述合金分析仪反馈的检测结果,控制所述语音装置播报对应的提示信息,并控制机器人回到起始位。所述提示信息可以预设在语音装置中,提示信息比如可设置为某待测样品检测合格或不合格,提示信息的具体内容不做限定。
本发明各实施例中,合金分析仪是采用X荧光分析技术,能快速、精确无损的分析多种材质;拥有广泛、可自定义牌号库,用户可对现有牌号库进行修改,添加新牌号或创建牌号库,可严格控制轻元素(镁铝硅磷硫)的分析;拥有强大的后台数据管理功能,可按要求定制软件。检测结果和报告可直接下载到U盘,或通过WiFi、USB或网线实现数据的传输。
本发明各实施例中,控制器可选为PLC(Programmable Logic Controller,可编程逻辑控制器),PLC中可配置有控制程序以及图像处理***等功能。可选地,机器人1可选用ABB IRB4600型机器人,激光测距传感器43可选用Panasonic HG-C1050激光传感器,结构光源41选用OPT-SL10B型结构光源,合金分析仪3选用尼通XL2980型合金分析仪,图像采集设备42选用AVT Mako G-192B型工业相机。
本发明各实施例之间相同或相似的内容相互参照即可,相关实施例中不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由所附的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (10)
1.一种合金分析视觉定位方法,其特征在于,所述方法包括:
当机器人控制图像采集设备向待测样品移动时,获取图像采集设备与待测样品之间的距离;其中,所述图像采集设备配备有结构光源;
如果图像采集设备与待测样品之间的距离等于预设距离,控制所述图像采集设备对待测样品的表面进行拍摄,得到样品图像;所述结构光源产生的结构光经所述待测样品的表面反射后,被所述图像采集设备接收,使所述样品图像中包括携带有待测样品表面形变特征的结构光条纹;
从所述样品图像中提取出多条结构光条纹;
根据每条结构光条纹的中心点集合,确定最佳检测点,并计算所述最佳检测点的三维位置坐标;其中,所述中心点集合包括结构光条纹中除两侧边缘区域像素点之外的其他像素点;所述最佳检测点为所述待测样品表面的最凸点。
2.根据权利要求1所述的方法,其特征在于,所述从所述样品图像中提取出多条结构光条纹,包括:
获取所述样品图像中像素点的亮度值;
判断所述亮度值是否大于阈值;
如果所述亮度值大于阈值,则所述像素点为目标点;
对所述样品图像中所有的目标点进行提取,得到多条所述结构光条纹。
3.根据权利要求1所述的方法,其特征在于,所述根据每条结构光条纹的中心点集合,确定最佳检测点,包括:
根据每条结构光条纹的中心点集合,以及结构光受所述待测样品表面的调制而发生形变特性,筛选出所述图像采集设备的拍摄区域内待测样品表面的最凸点;
将所述最凸点作为所述最佳检测点。
4.根据权利要求3所述的方法,其特征在于,所述筛选出所述图像采集设备的拍摄区域内待测样品表面的最凸点,包括:
对所述中心点集合中各像素点的y坐标进行排序,获取最大y坐标值对应的像素点坐标(xi,yi);其中,i表示结构光条纹的序号,1≦i≦N,N为样品图像中提取出的结构光条纹的数量;
根据所述图像采集设备、所述结构光源与所述待测样品之间的相对位置关系,利用三角测距方法,计算(xi,yi)对应的深度坐标Zi;
从深度坐标Zi中筛选出最小深度坐标,并将所述最小深度坐标对应的像素点作为所述最凸点。
5.根据权利要求1所述的方法,其特征在于,所述获取所述最佳检测点的三维位置坐标,包括:
获取图像坐标系与世界坐标系的转换关系;
根据所述转换关系,获取所述样品图像中最佳检测点在世界坐标系中对应的坐标(X,Y);
根据所述图像采集设备、所述结构光源与所述待测样品之间的相对位置关系,利用三角测距方法,计算所述最佳检测点的深度坐标Z,得到所述最佳检测点的三维位置坐标(X,Y,Z)。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
设定所述结构光条纹的感兴趣区域,所述感兴趣区域为结构光条纹中除两侧边缘区域之外的条纹区域;
将所述感兴趣区域中包括的像素点组成所述中心点集合。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:在所述样品图像中对所述最佳检测点进行标记。
8.一种合金分析视觉定位装置,用于实现如权利要求1-7任一项所述的合金分析视觉定位方法,包括图像采集设备和结构光源,其特征在于,还包括激光测距传感器和控制器,所述合金分析视觉定位装置与机器人连接,所述结构光源、所述机器人、所述图像采集设备和所述激光测距传感器分别与所述控制器电连接;所述激光测距传感器用于检测图像采集设备与待测样品之间的距离;
其中,所述控制器被配置为执行如下程序步骤:
控制所述图像采集设备向待测样品移动;
获取图像采集设备与待测样品之间的距离;
如果图像采集设备与待测样品之间的距离等于预设距离,控制所述图像采集设备对待测样品的表面进行拍摄,得到样品图像;所述结构光源产生的结构光经所述待测样品的表面反射后,被所述图像采集设备接收,使所述样品图像中包括携带有待测样品表面形变特征的结构光条纹;
从所述样品图像中提取出多条结构光条纹;
根据每条结构光条纹的中心点集合,确定最佳检测点,并计算所述最佳检测点的三维位置坐标;其中,所述中心点集合包括结构光条纹中除两侧边缘区域像素点之外的其他像素点。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括底板和外护罩,所述外护罩的前端面板透明,所述外护罩的后端固定在所述底板上;图像采集设备和结构光源固定在所述底板上,并且图像采集设备和结构光源位于所述外护罩的内部;所述激光测距传感器设置于所述外护罩的顶部;所述图像采集设备和结构光源的轴心处于同一竖直平面上。
10.一种合金分析***,其特征在于,包括机器人、支架、合金分析仪以及如权利要求8或9所述的合金分析视觉定位装置,所述机器人与所述合金分析仪通过所述支架连接,所述合金分析视觉定位装置设置在所述支架上,所述合金分析仪和所述合金分析视觉定位装置相邻设置且均朝向待测样品,所述控制器还与所述合金分析仪电连接;
其中,所述控制器被配置为执行如下程序步骤:
控制机器人运动,使所述合金分析仪移动至最佳检测点的三维位置坐标所对应的位置;
控制所述合金分析仪启动,以对所述最佳检测点处进行合金分析。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911073340.6A CN110567963B (zh) | 2019-11-06 | 2019-11-06 | 合金分析视觉定位方法、装置及合金分析*** |
PCT/CN2020/070988 WO2021088247A1 (zh) | 2019-11-06 | 2020-01-08 | 合金分析视觉定位方法、装置及合金分析*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911073340.6A CN110567963B (zh) | 2019-11-06 | 2019-11-06 | 合金分析视觉定位方法、装置及合金分析*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110567963A CN110567963A (zh) | 2019-12-13 |
CN110567963B true CN110567963B (zh) | 2020-02-04 |
Family
ID=68786087
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911073340.6A Active CN110567963B (zh) | 2019-11-06 | 2019-11-06 | 合金分析视觉定位方法、装置及合金分析*** |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110567963B (zh) |
WO (1) | WO2021088247A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110567963B (zh) * | 2019-11-06 | 2020-02-04 | 江苏金恒信息科技股份有限公司 | 合金分析视觉定位方法、装置及合金分析*** |
CN111272756B (zh) * | 2020-03-09 | 2022-08-26 | 江苏金恒信息科技股份有限公司 | 一种合金分析*** |
CN111618855B (zh) * | 2020-05-27 | 2021-10-08 | 江苏金恒信息科技股份有限公司 | 一种自动挂牌***及方法 |
CN111562262B (zh) * | 2020-05-27 | 2020-10-13 | 江苏金恒信息科技股份有限公司 | 一种合金分析***及其复检方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102589476A (zh) * | 2012-02-13 | 2012-07-18 | 天津大学 | 高速扫描整体成像三维测量方法 |
CN105931232A (zh) * | 2016-04-18 | 2016-09-07 | 南京航空航天大学 | 结构光光条中心高精度亚像素提取方法 |
CN106312397A (zh) * | 2016-10-12 | 2017-01-11 | 华南理工大学 | 一种激光视觉引导的焊接轨迹自动跟踪***及方法 |
CN106338521A (zh) * | 2016-09-22 | 2017-01-18 | 华中科技大学 | 增材制造表面及内部缺陷与形貌复合检测方法及装置 |
CN107052086A (zh) * | 2017-06-01 | 2017-08-18 | 扬州苏星机器人科技有限公司 | 基于三维视觉的冲压件表面缺陷检测装置及检测方法 |
CN107798698A (zh) * | 2017-09-25 | 2018-03-13 | 西安交通大学 | 基于灰度修正与自适应阈值的结构光条纹中心提取方法 |
CN110160770A (zh) * | 2019-06-25 | 2019-08-23 | 沈阳工业大学 | 高速旋转主轴实时检测装置及其检测方法 |
CN110216662A (zh) * | 2019-07-18 | 2019-09-10 | 江苏金恒信息科技股份有限公司 | 一种工业机器人本体 |
CN110243293A (zh) * | 2019-06-18 | 2019-09-17 | 上海同岩土木工程科技股份有限公司 | 基于结构光和机器视觉的管片错台快速检测装置与方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN204789315U (zh) * | 2015-06-25 | 2015-11-18 | 成都富江机械制造有限公司 | 一种便携式合金分析仪 |
CN105548196B (zh) * | 2015-12-07 | 2018-12-04 | 郑州轻工业学院 | 硬质合金顶锤在线无损检测的方法和装置 |
EP3493924B1 (de) * | 2016-08-04 | 2020-01-22 | Hydro Aluminium Rolled Products GmbH | Vorrichtung und verfahren zur legierungsanalyse von schrottfragmenten aus metall |
CN107291081A (zh) * | 2017-07-18 | 2017-10-24 | 广州松兴电气股份有限公司 | 轨道车辆检修小车 |
CN108469234B (zh) * | 2018-03-02 | 2019-11-08 | 北京科技大学 | 一种在轨航天器表面异常状况智能检测方法及其*** |
CN110103196A (zh) * | 2019-06-19 | 2019-08-09 | 广东电网有限责任公司 | 一种gis的检修机器人和gis的检修*** |
CN110567963B (zh) * | 2019-11-06 | 2020-02-04 | 江苏金恒信息科技股份有限公司 | 合金分析视觉定位方法、装置及合金分析*** |
-
2019
- 2019-11-06 CN CN201911073340.6A patent/CN110567963B/zh active Active
-
2020
- 2020-01-08 WO PCT/CN2020/070988 patent/WO2021088247A1/zh active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102589476A (zh) * | 2012-02-13 | 2012-07-18 | 天津大学 | 高速扫描整体成像三维测量方法 |
CN105931232A (zh) * | 2016-04-18 | 2016-09-07 | 南京航空航天大学 | 结构光光条中心高精度亚像素提取方法 |
CN106338521A (zh) * | 2016-09-22 | 2017-01-18 | 华中科技大学 | 增材制造表面及内部缺陷与形貌复合检测方法及装置 |
CN106312397A (zh) * | 2016-10-12 | 2017-01-11 | 华南理工大学 | 一种激光视觉引导的焊接轨迹自动跟踪***及方法 |
CN107052086A (zh) * | 2017-06-01 | 2017-08-18 | 扬州苏星机器人科技有限公司 | 基于三维视觉的冲压件表面缺陷检测装置及检测方法 |
CN107798698A (zh) * | 2017-09-25 | 2018-03-13 | 西安交通大学 | 基于灰度修正与自适应阈值的结构光条纹中心提取方法 |
CN110243293A (zh) * | 2019-06-18 | 2019-09-17 | 上海同岩土木工程科技股份有限公司 | 基于结构光和机器视觉的管片错台快速检测装置与方法 |
CN110160770A (zh) * | 2019-06-25 | 2019-08-23 | 沈阳工业大学 | 高速旋转主轴实时检测装置及其检测方法 |
CN110216662A (zh) * | 2019-07-18 | 2019-09-10 | 江苏金恒信息科技股份有限公司 | 一种工业机器人本体 |
Also Published As
Publication number | Publication date |
---|---|
WO2021088247A1 (zh) | 2021-05-14 |
CN110567963A (zh) | 2019-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110567963B (zh) | 合金分析视觉定位方法、装置及合金分析*** | |
CN105571502B (zh) | 搅拌摩擦焊接中焊缝间隙的测量方法 | |
JP6745173B2 (ja) | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
US7495758B2 (en) | Apparatus and methods for two-dimensional and three-dimensional inspection of a workpiece | |
KR100382577B1 (ko) | 차륜 측정장치 | |
CN102455171B (zh) | 一种激光拼焊焊缝背面几何形貌检测方法 | |
US10157457B2 (en) | Optical measurement of opening dimensions in a wafer | |
WO2020205998A1 (en) | Non-destructive evaluation and weld-to-weld adaptive control of metal resistance spot welds via topographical data collection and analysis | |
WO2021064893A1 (ja) | ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム | |
CN115601359A (zh) | 一种焊缝检测方法及装置 | |
CN112858351A (zh) | 一种基于机器视觉的x射线无损探伤方法 | |
CN114252449A (zh) | 一种基于线结构光的铝合金焊缝表面质量检测***及方法 | |
EP0686841A2 (en) | System and method for inspecting lenses | |
CN116429768A (zh) | 一种密封钉焊接质量检测方法、***、设备及存储介质 | |
CN111562262B (zh) | 一种合金分析***及其复检方法 | |
US10359613B2 (en) | Optical measurement of step size and plated metal thickness | |
CN111272756B (zh) | 一种合金分析*** | |
US10168524B2 (en) | Optical measurement of bump hieght | |
CN112798608B (zh) | 手机摄像头支架内腔侧壁的光学检测装置及光学检测方法 | |
JPH11118730A (ja) | 被検査面の欠陥検査方法およびその装置 | |
JP2572286B2 (ja) | 3次元形状寸法計測装置 | |
Wang et al. | Quality inspection scheme for automotive laser braze joints | |
JP7469740B2 (ja) | ベルト検査システムおよびベルト検査プログラム | |
JP2024508331A (ja) | マシンビジョンによる検出方法、その検出装置及びその検出システム | |
JP2021189239A (ja) | ベルト検査システムおよびベルト検査プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |