CN106780483A - 多根连铸坯端面视觉识别***及中心坐标求取方法 - Google Patents

Abstract

一种针对连铸坯贴标***利用模式识别图像处理获取连铸坯特征并提取连铸坯中心坐标的方法，为最终建立机器视觉贴标***奠定技术基础，本发明基于机器视觉的连铸坯中心坐标提取方法所采用的硬件包括：CCD相机，LED光源，滤光镜，安装有图像存储与处理程序的计算机，标定板。本方法将视觉理论同工业生产实际相结合，将视觉理论应用于连铸坯生产中，组建了一套自动识别连铸坯，自动提取连铸坯端面中心的自动定位***。不仅有效提高了连铸坯贴标效率、贴标精度，降低了贴标劳动成本，同时推进了视觉***在实际工业生产中的应用。

Description

多根连铸坯端面视觉识别***及中心坐标求取方法

技术领域

本发明涉及一种基于视觉定位的物体中心坐标提取方法，尤其是基于视觉定位的多根连铸坯端面视觉识别***及中心坐标求取方法。

背景技术

钢铁行业是一个国家的支柱型产业，然而“大而不强”一直是我国钢铁企业摘不掉的帽子。究其根本原因，缺乏技术创新，生产技术落后是制约我国钢铁企业竞争力的一个重要因素。连铸坯作为型钢、线材等的原材料在国民生产生活中具有广泛的应用，其具有产品附加值高、产业关联面广等特点。因而提高连铸坯生产效率，降低连铸坯生产成本成为亟待解决的问题。由于连铸坯产品种类众多，各种产品之间差异巨大，采用标签标识可有效区分各种型号连铸坯。但目前钢厂贴标环节普遍采用人工作业，不仅劳动强度大、成本高，而且贴标错误率较高，严重制约着连铸坯生产效率。

随着现代制造业的快速发展，要求贴标***必须具有速度快、精度高、高自动化等特点，这就需要研发一套针对连铸坯的自动贴标***。连铸坯端面中心的提取为自动贴标***贴标提供了重要的位姿信息。机器视觉作为一种新兴的测量手段，具有定位精度高、非接触测量、测量范围广、对测量外部环境要求低等特点。因此将机器视觉应用于连铸坯端面中心提取对连铸坯端面中心提取具有重大意义。尤其在大批量生产的钢铁行业，机器视觉的应用无疑对提高生产率，降低贴错率、提高贴标精度有显著的推动作用。以机器视觉为基础，通过模式识别、图像处理来识别连铸坯端面进而提取连铸坯中心坐标，成为连铸坯自动贴标***定位中心获取的有效方法。由于钢厂现场工作环境中背景光复杂，容易对检测***形成较大干扰，一些***为通过在视觉***中加装光源来突出目标物，但此方法并不能减弱自然光、工作照明光的干扰，故现有贴标视觉定位***均无法有效处理复杂背景光干扰。

发明内容

基于以上目的，本发明提出一种本发明旨在提出一种针对连铸坯贴标***利用模式识别图像处理获取连铸坯特征并提取连铸坯中心坐标的方法，为最终建立机器视觉贴标***奠定技术基础。本发明基于机器视觉的连铸坯中心坐标提取方法所采用的硬件包括：CCD相机，LED光源，滤光镜，安装有图像存储与处理程序的计算机，标定板，其特征在于LED光源为LED单色环形阵列光源，LED光源中心带有可固定放置CCD相机内孔，CCD相机放置于LED光源中心，且正对着连铸坯端面，保证待贴标连铸坯端面在CCD相机拍摄范围内，保证连铸坯端面在CCD相机焦距范围内，滤光镜为可通过本***使用LED光源波长上下偏差15nm范围的窄带通滤光镜，使用螺纹配合旋拧在CCD相机镜头上，安装有图像存储和处理程序的计算机布置在不遮挡CCD相机采集图像的位置，CCD相机和光源分别通过通信电缆与安装有图像存储和处理程序的计算机连接在一起，标定板为圆形阵列靶标，标定板布置在与连铸坯端面对齐的竖直平面上，且保证标定板垂直于水平面。

基于机器视觉的连铸坯端面中心坐标提取方法的步骤：

（1）保证连铸坯端面与CCD相机镜头光轴垂直，采集待采集连铸坯端面图像，并对所得图像进行图像灰度化处理；

（2）对图像采用固定阈值进行图像二值化处理，使灰度图像变为二值图像，突出连铸坯端面的特征；

（3）去除非ROI(region of interest)区域图像，滤掉由于背景内窗户、反光物对连铸坯端面识别带来的影响；

（4）去除ROI(region of interest)区域内面积过小、过大面积图像，使原图像尽量只保留连铸坯端面特征，减小后续运算量；

（5）设计大小为的正方形结构元素，并用此结构元素对得到的图像进行形态学开运算，其中n的大小根据连铸坯尺寸设置；

（6）对处理后的图像特征进行边缘检测；

（7）对所得到的图像边缘利用针对本***设计的管道法角点检测检测连铸坯端面四个角点；

（8）根据图像内特征物体的长宽比判断各个图像区域是单根连铸坯端面还是多跟连铸坯端面，并对所得结果进行标记；

（9）对图像中单根连铸坯端面进行中心坐标拟合计算，对图像中多根连铸坯端面进行中心坐标估计，以及对估计的多跟连铸坯端面中心进行优化处理；

（10）利用Delaunay三角剖分标定法求取连铸坯端面中心图像坐标与世界坐标之间的变换关系，根据所得到的变换关系求取连铸坯端面中心世界坐标，并保存所得到的连铸坯端面中心世界坐标。

本方法将视觉理论同工业生产实际相结合，将视觉理论应用于连铸坯生产中，组建了一套自动识别连铸坯，自动提取连铸坯端面中心的自动定位***。不仅有效提高了连铸坯贴标效率、贴标精度，降低了贴标劳动成本，同时推进了视觉***在实际工业生产中的应用。

附图说明

图1是本发明方法的总体结构示意图；

图2是本发明的方法的提取连铸坯端面中心坐标流程图。

具体实施例

CCD相机、光源、滤光镜、安装有图像存储和图像处理功能的计算机。CCD光源为环形单色光源，相机通过环形光源内孔与光源组合到一起。滤光镜为与光源波段相对应的带通滤光镜，滤光镜为带有螺纹的标准直径滤镜，可通过螺纹配合安装到镜头上。保证光源、滤光镜、CCD相机镜头所在平面相互平行，保证CCD相机光轴与连铸坯端面所在平面垂直，保证光源照射范围覆盖所有连铸坯端面，保证连铸坯端面在CCD相机焦距范围内，保证安装有图像存储和图像处理功能的计算机对CCD采集连铸坯端面图像不产生影响。将光源与安装有图像存储和图像处理功能的计算机通过数据线连接到一起，将CCD相机与安装有图像存储和图像处理功能的计算机通过数据线连接到一起。在整个视觉定位过程中，只需要进行一次标定。标定时，标定板与连铸坯平面在同一平面上，并且保证标定板与光轴垂直，标定结束就可以吧标定板拿走。

1、图像采集以及灰度化

图像采集时，图像格式采用.BMP格式，因为.BMP格式以图像左下角为坐标原点，原点向右水平方向为x正方向，原点向上竖直方向为y轴正方向，图像左下角为坐标原点符合一般数学坐标系，便于后期计算处理。采集一副原始图像，可以发现原始图像中带有大量干扰连铸坯端面识别的背景噪声，因此需要去除背景噪声，以便识别连铸坯端面，进而提取连铸坯中心坐标。采集到的.BMP格式图像为三通道图像，对每个通道选用合适的权重a，b，c将图像处理为单通道灰度图像，其中a+b+c=1。

2、图像二值化

采用固定阈值对灰度图像进行二值化处理。因为***采用了单色LED光源加滤光镜，单色LED光源可有效突出待测连铸坯端面特征而与单色LED光源波长对应的滤光镜可有效滤掉背景杂光对采集到的图像质量的干扰。故本***所得到的图像受外界自然光和照明光的干扰少，采用固定阈值可得到高质量的二值图像并提高***运行速度。

3、去除非ROI区域

ROI即region of interest。ROI区域即感兴趣区域，通过对采集的图像分析可知，连铸坯端面特征集中在图像中心区域，即ROI区域。与图像边缘相连接的亮斑区域为自然光透过窗户或厂房破损处投射出的亮斑。即非ROI区域，由于非ROI区域光源所发出的的光波包含了所有波长波段，滤镜对其强度进行了衰减，但不能完全滤除。识别图像中的非ROI区域，并对每个区域进行标记。将标记的图像区域亮度值置0，滤掉由于自然光透过窗户或厂房破损处投射出的亮斑。

4、去除ROI区域内过大过小区域

本步骤实际上为去除图像中ROI区域内与连铸坯端面不黏连的非连铸坯端面图像区域。由于光源照射，不可避免的引入连铸坯端面周围区域光斑干扰，且不可通过二值化有效消除。通过实验估计连铸坯端面可能占有像素个数N，统计ROI区域每个白色区域像素个数，如果像素个数在范围m内则认为为连铸坯端面，如果像素个数没在范围m内则认为为干扰元素。通过此方法可有效去除ROI呢干扰元素，提高了检测精度、后续处理速度。

5、形态学开运算

形态学开运算是将经上述处理后得到的特征区域先腐蚀再膨胀，从而起到消除小物体、在纤细点处分离物体、平滑较大物体的边界的同时并不明显改变其面积的作用。而通过设置大小为的正方形结构元素，可使得图像中特征元素按结构元素形状进行腐蚀膨胀，从而得到光滑的边界以及去除角点处与特征元素相连的光斑对特征元素角点检测的干扰，提高角点检测精度。

6、边缘检测

利用Canny算子检测已处理的图像中特征边缘。Canny将边缘定义为在梯度方向具有最大梯度值的点，并且引入了非最大抑制概念。非最大抑制梯度通过首先预测一阶导数方向、然后把它近似到45度的倍数、最后在预测的梯度方向比较梯度幅度的方法来实现。通过使用Canny算子可以很好的提取到单像素链接的特征边缘，并达到很好的精度要求。

7、角点检测

通过对水流在管道内运动状态分析可知，当管道沿水流运动方向无变化或变化较小时，水流相对较平稳，而当管道沿水流方向产生剧烈变化时，水流变的杂乱无章并对管道形成一定的冲击，使管道产生震动。管道法角点检测根据管道中水流的特点，当水流对管道产生冲击时将冲击所在点定义为角点。将检测到的连铸坯端面边界以图像像素从左到右从上到下第一个亮点为起点O，沿顺时针方向将闭合边界坐标依次存储。把连铸坯端面边界看做管道中的水流，在边界两边设置平行于连铸坯端面边界宽度相同的对称管道边界，管道宽度，其中h为连铸坯端面边界到管道边界的距离。将O设为“水流”起点，以前n个点拟合方向得到“水流”的初始方向。当“水流”沿初始方向“流动”并产生轻微变化时，“管道”随“水流”的变化而变化，并延迟t个像素单位，而当“水流”剧烈变化并对“管道”边界产生冲击时，则判定为角点。若对“管道”边界产生冲击点的连铸坯端面边界像素为第i个边界像素，则角点为第i-h个边界像素

8、标记是否为单根连铸坯端面

根据求得的四个角点坐标值计算连铸坯端面宽度Wr和高度Hr。根据实际连铸坯端面为正方形的特点，设置方度阈值e，定义。其中Wr为连铸坯端面图像边缘宽度上像素个数，Hr为连铸坯端面图像边缘高度上像素个数。若e接近于1，则证明所求区域为单根连铸坯端面。若e远大于1，则证明有多根连铸坯端面在图像上黏连在一起。并且可根据e的值，求得所求区域连铸坯根数。最后对确定的单根连铸坯端面进行标记。

9、连铸坯端面中心的确定

对于单根连铸坯端面，可利用求得的连铸坯端面四个角点两两对角角点求交点的方法求得单根连铸坯端面中心坐标。对于多根连铸坯端面黏连的情况，根据左端第一根连铸坯端面中心距黏连元素左边缘为，两两连铸坯端面中心水平相距为Wr求得黏连连铸坯端面中每根连铸坯的中心横坐标，并根据连铸坯中心点为左端两端点纵坐标平均值求得黏连连铸坯端面中每根连铸坯中心坐标初值。而由于放置连铸坯的工作台加工安装误差以及相机安装误差，可能导致连铸坯端面在图像上并非水平的。因此首先利用最小二乘法拟合求得多根连铸坯端面底部边缘拟合直线L1，然后过每个连铸坯端面中心作垂直于L1的直线L2，并求得在直线L2上距离L1为的连铸坯端面中心优化坐标。将存储所求得的单根连铸坯端面中心坐标以及优化后的黏连连铸坯端面中心坐标。

10、像素坐标系向世界坐标系的转换

连铸坯端面中心坐标的求取最终是为了获得连铸坯中心实际位置，即连铸坯在世界坐标系下的坐标值。所以在求得连铸坯中心在图像坐标系中的坐标值后，需要将其图像坐标转化为世界坐标，这就需要对所构建的视觉***进行标定。

连铸坯端面在贴标时基本上处于同一个水平面上，因此可把连铸坯端面所在平面定义为Z面，标定时只需标定只需标定图像的坐标与世界坐标系的二维关系。视觉***采用了基于平面阵列圆点的Delaunay三角剖分标定法进行视觉标定。根据局部不畸变原理，求得每个三角形内插值系数mi、ni，根据所求得的内插值系数，利用实际中中心点所在三角形顶点坐标求得中心点世界坐标系下二维坐标。内插值系数计算如下：

（1）

（2）

其中为中心点的像素坐标、、为中心点所在三角形顶点像素坐标。

根据所求得的内插值系数以及中心点所在三角形顶点实际坐标位置，求得中心点实际二维坐标值。实际二维坐标计算如下：

（3）

（4）

其中为中心点世界坐标系下坐标，、、为中心点所在三角形顶点世界坐标系下坐标。

本标定方法步骤如下：

1）本标定方法选用的标定板尺寸为，靶标为7行乘82列半径为的圆形阵列。固定CCD相机的位置保持不变，首先将平面靶标垂直于地面放置，靶标上下两边平行于水平面且保证平面靶标和连铸坯端面位于同一平面内并且能包含所有连铸坯端面。拍摄靶标图像，求得每个圆点圆心图像坐标，利用Delaunay三角剖分划分求得每个三角形内插值系数；

2）定义该平面靶标左上角点的世界坐标的原点，且世界坐标的Z面在平面靶标上，Z轴垂直于左上角；

3）由处理的连铸坯中心像素坐标求取连铸坯中心二维世界坐标。

经验算，将得到的连铸坯端面中心点的世界坐标传输给贴标机器人后，贴标机器人按此世界坐标贴标，能够到达很好的贴标效果，满足要求。

Claims (1)

1.一种针对连铸坯贴标***利用模式识别图像处理获取连铸坯特征并提取连铸坯中心坐标的方法，为最终建立机器视觉贴标***奠定技术基础，本发明基于机器视觉的连铸坯中心坐标提取方法所采用的硬件包括：CCD相机，LED光源，滤光镜，安装有图像存储与处理程序的计算机和标定板，其特征在于LED光源为LED单色环形阵列光源，LED光源中心带有可固定放置CCD相机内孔，CCD相机放置于LED光源中心，且正对着连铸坯端面，保证待贴标连铸坯端面在CCD相机拍摄范围内，保证连铸坯端面在CCD相机焦距范围内，滤光镜为可通过本***使用LED光源波长上下偏差15nm范围的窄带通滤光镜，使用螺纹配合旋拧在CCD相机镜头上，安装有图像存储和处理程序的计算机布置在不遮挡CCD相机采集图像的位置，CCD相机和光源分别通过通信电缆与安装有图像存储和处理程序的计算机连接在一起，标定板为圆形阵列靶标，标定板布置在与连铸坯端面对齐的竖直平面上，且保证标定板垂直于水平面，所述方法包括如下步骤：

（1）保证连铸坯端面与CCD相机镜头光轴垂直，采集待采集连铸坯端面图像，并对所得图像进行图像灰度化处理；

（2）对图像采用固定阈值进行图像二值化处理，使灰度图像变为二值图像，突出连铸坯端面的特征；

（3）去除非ROI(region of interest)区域图像，滤掉由于背景内窗户、反光物对连铸坯端面识别带来的影响；

（4）去除ROI(region of interest)区域内面积过小、过大面积图像，使原图像尽量只保留连铸坯端面特征，减小后续运算量；

（5）设计大小为n×n的正方形结构元素，并用此结构元素对得到的图像进行形态学开运算，其中n的大小根据连铸坯尺寸设置；

（6）对处理后的图像特征进行边缘检测；

（7）对所得到的图像边缘利用针对本***设计的管道法角点检测检测连铸坯端面四个角点；

（8）根据图像内特征物体的长宽比判断各个图像区域是单根连铸坯端面还是多跟连铸坯端面，并对所得结果进行标记；

（9）对图像中单根连铸坯端面进行中心坐标拟合计算，对图像中多根连铸坯端面进行中心坐标估计，以及对估计的多跟连铸坯端面中心进行优化处理；

（10）利用Delaunay三角剖分标定法求取连铸坯端面中心图像坐标与世界坐标之间的变换关系，根据所得到的变换关系求取连铸坯端面中心世界坐标，并保存所得到的连铸坯端面中心世界坐标。