CN109520706B - 一种汽车保险丝盒的螺孔坐标提取方法 - Google Patents

Abstract

本发明公开一种汽车保险丝盒的螺孔坐标提取方法。该方法包括：获取多摄像头视觉采集***采集的图像；对所述图像采用灰度阈值化进行遍历，得到二值图像；提取所述二值图像中的阴影区域；根据所述阴影区域，计算X轴摄像头方向和Y轴摄像头方向在所述阴影区域中的中心位置；计算各所述中心位置和所述图像边缘的距离；根据所述距离，确定扭力扳手的坐标；判断所述坐标是否落在标定的判别区域内；若是，则输出所述坐标；若否，则返回至获取多摄像头视觉采集***采集的图像步骤。采用本发明能够提高汽车保险丝盒的检测精度和检测效率。

Description

一种汽车保险丝盒的螺孔坐标提取方法

技术领域

本发明涉及汽车保险丝盒检测领域，特别是涉及一种汽车保险丝盒的螺孔坐标提取方法。

背景技术

汽车保险丝盒对检测与装配的要求十分严格，而该类产品所需检测的种类多、装配过程复杂，从而使得在当前的生产工艺流程下需要投入大量的工作人员进行产品的质量检测。同时，在该类产品中存在螺丝螺母等连接件，处于不同位置上的不同连接件所需要达到的耦合程度(即螺丝的扭矩)也不相同，导致装配过程中人力劳动强度大、成本高且无法保证较高的可靠性。另一方面，过度依赖人力劳动增加了企业生产成本，降低了生产效率，提升产品质量的空间有限。

近年来，机器视觉已经成为工业自动化***的重要组成部分，广泛的适用于各类产品生产线。现有的汽车保险丝盒检测***与装配***其内部结构均较为复杂，使得其一直为相互独立的两套***，导致了现有***之间配合度低，检查与装配流程分离，占用了宝贵的生产空间，也增加了工厂在设备上的投入成本。且目前市场上使用的检测***由于技术所限对环境的要求较高，需要提供额外的无外界光干扰的检查环境，降低了检测效率。另一方面，目前国外的高端保险丝盒自动生产***虽然已经逐步提供上传检测数据到中心服务器的功能，但依然无法实现与整个生产线互联。与此同时，虽然ManufacturingExecution System与Enterprise Resource Planning***在工厂中已经大量使用，但国内外的检测与装配***，与MES和ERP***无良好的互操作性，使得工厂仍需要通过人工完成生产与管理***之间的数据传递。

虽然汽车保险丝盒自动化生产***近年来得到了快速发展，但由于其技术局限性带来的设备成本较高、对环境要求严苛以及难以与现有信息化***整合的缺点，导致其鲜有在工厂大面积部署。

发明内容

本发明的目的是提供一种汽车保险丝盒的螺孔坐标提取方法，能够提高汽车保险丝盒的检测精度和检测效率。

为实现上述目的，本发明提供了如下方案：

一种汽车保险丝盒的螺孔坐标提取方法，包括：

获取多摄像头视觉采集***采集的图像；

对所述图像采用灰度阈值化进行遍历，得到二值图像；

提取所述二值图像中的阴影区域；

根据所述阴影区域，计算X轴摄像头方向和Y轴摄像头方向在所述阴影区域中的中心位置；

计算各所述中心位置和所述图像边缘的距离；

根据所述距离，确定扭力扳手的坐标；

判断所述坐标是否落在标定的判别区域内；

若是，则输出所述坐标；

若否，则返回至获取多摄像头视觉采集***采集的图像步骤。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供一种汽车保险丝盒的螺孔坐标提取方法，获取多摄像头视觉采集***采集的图像；对所述图像采用灰度阈值化进行遍历，得到二值图像；提取所述二值图像中的阴影区域；根据所述阴影区域，计算X轴摄像头方向和Y轴摄像头方向在所述阴影区域中的中心位置；计算各所述中心位置和所述图像边缘的距离；根据所述距离，确定扭力扳手的坐标；判断所述坐标是否落在标定的判别区域内；若是，则输出所述坐标；若否，则返回至获取多摄像头视觉采集***采集的图像步骤。采用本发明能够提高汽车保险丝盒的检测精度和检测效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例汽车保险丝盒装配检测装置结构示意图；

图2为本发明实施例基于色彩的检测识别方法流程图；

图3为本发明实施例基于字符的检测与识别方法流程图；

图4为本发明实施例螺孔坐标提取方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种汽车保险丝盒的螺孔坐标提取方法，能够提高汽车保险丝盒的检测精度和检测效率。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例汽车保险丝盒装配检测装置结构示意图。如图1所示，一种汽车保险丝盒装配检测装置，包括：检测平台1、多摄像头视觉采集***、程控力矩扭力扳手3和计算机，待测保险丝盒4位于所述检测平台1上，所述多摄像头视觉采集***包括X轴摄像头21、Y轴摄像头22和Z轴摄像头23，所述多摄像头视觉采集***用于从三个角度获取所述待测保险丝盒的RGB24格式视频图像；所述程控力矩扭力扳手3位于所述待测保险丝盒4的上方，所述程控力矩扭力扳手3用于将所述待测保险丝盒上的螺母拧的力度；所述计算机与所述多摄像头视觉采集***和所述程控力矩扭力扳手连接，所述计算机用于接收所述多摄像头视觉采集***采集的图像信息，并根据所述图像信息识别保险丝是否装配正确和调整所述程控力矩扭力扳手的扭力与扭矩将所述待测保险丝盒的螺母拧紧。

保险丝盒装配检测装置，还包括：

光线均匀补偿***5，位于所述待测保险丝盒4的上方，用于为所述多摄像头视觉采集***提供稳定的测试环境。

气动锁紧***6，位于所述待测保险丝盒4和所述检测平台1的之间，用于固定待测保险丝盒4。

所述X轴摄像头21和所述Y轴摄像头22的方位选取并没有在同一水平面上相互垂直，所述Y轴摄像头22向所述检测平台外侧与垂直方向保持30°夹角。

图2为本发明实施例基于色彩的检测识别方法流程图。如图2所示，一种基于色彩的检测识别方法，包括：

步骤101：获取多摄像头视觉采集***采集的待检测图像；

步骤102：将所述待检测图像转换到HSV色彩空间，将不同所述HSV色彩空间中的H分量和S分量进行混合，得到混合之后的像素点；所述H分量为被测像素点的色调，所述S分量为被测像素点的饱和度；

步骤103：对所述像素点进行阈值分割，得到图像中保险丝的颜色比例；

步骤104：选取所述颜色比例中最高的颜色作为保险丝的平均颜色。

不同型号规格的保险丝具有不同的颜色，同时表面也喷有保险丝规格，故可通过检测某区域的保险丝颜色来判断该保险丝是否装配正确。

由于RGB(Red、Green、Blue)颜色模型其色彩变化需计算三个坐标轴各颜色最大分量顶点与YMC(Yellow、Magenta、Cyan)色顶点的连线，直接使用原始的RGB数据将不利于后续的颜色区域分割。而HSV(Hue Saturation Value)颜色模型三个分量分别对应着颜色的类型、深浅和明暗三种信息，将待检测图像转换到HSV色彩空间，通过将不同彩色区域的H与S分量混合之后划定阈值，即可进行简单的分割，能够有效提高颜色提取与分类的精度。

首先，设变量max为被测点的r、g和b分量中的最大值，min为同一点的三分量中最小值。其对应的HSV空间中的(h，s，v)值为：

v＝max

其中h为被测点的色调，取值为0到360°之间；s为被测点的饱和度，取值为0到100％之间；v为被测点的明度，取值为0到max之间。

对被测图像中的每个像素点进行上述处理之后，通过下式对颜色进行阈值分割，从而获得指定图像区域内某种保险丝的颜色所占比例。

dst(1)＝lowerb(I)₀≤src(I)₀≤upperb(I)₀

∧lowerb(I)₁≤src(I)₁≤upperb(I)₁

其中lower和upper分别为各种不同型号保险丝表面颜色的HSV区间的最小值和最大值；dst为经过分割之后的二值图像目标点的值。

通过计算分割之后得到的二值图像中明亮点与全体点的比例可获得指定图像区域内某种保险丝的颜色所占比例，最后取该区域内占比最高的颜色作为该区域的平均颜色，从而根据保险丝颜色与型号的对应表得出该区域所在的保险丝型号。

图3为本发明实施例基于字符的检测与识别方法流程图。如图3所示，一种基于字符的检测与识别方法，包括：

步骤201：获取多摄像头视觉采集***采集的字符图像；

步骤202：对所述图像进行版面分析，得到分析后的字符图像；

步骤203：对所述分析后的字符图像采用行拆分，得到离散字符；

步骤204：对所述离散字符通过分类器进行识别，得到单个字符；

步骤205：对所述单个字符采用马尔可夫模型进行矫正，得到正确完整的字符。

步骤202，具体包括：

通过笔画等宽算法把所述图像中的非笔迹的像素过滤掉，得到过滤图像；

对所述过滤图像使用投影直方图进行分行，得到分析后的字符图像。

所述方法还包括：

对所述图像进行直方图均衡化处理。

由于摄像头的白平衡问题以及检测过程中可能发生的光照条件变化会导致上一步获取到的平均颜色出现偏差，使得少数HSV取值较为相近的保险丝型号的识别出现一定程度上的误判。为了提高保险丝检测精度，降低检测误差，可利用保险丝上标有的险丝型号(一般由数字组成)进一步判断保险丝是否装配正确。

但由于字符提取相对于颜色判别而言，对图片质量要求较高，故需要对被测图像进行预处理，减少外部噪声带来的干扰，从而提高数字提取的效率和精度。

首先，采用直方图均衡化处理，从而使得图像整体色彩分布均匀。提取出RGB图像中的一个分量如R分量构成一个离散的单通道灰度图像{x}，令n_i表示图像{x}中灰度值i出现的次数，那么图像中灰度值为i的像素的出现概率即可通过下式表示。

L为该灰度图像中所有的灰度数，n为图像中的像素总数，P_x(i)即构成像素值为i的图像的直方图。将直方图进行归一化处理，将对应于P_x的累积分布函数cdf_x定义为：

其中，cdf_x(i)为图像的累计归一化直方图。创建一个关于x的映射函数y＝T(x)，对于提取出的灰度图像{x}中的每个点产生一个y，那么y的累计概率函数cdf_y就可以通过下式在取值范围内进行线性化。

cdf_y(i)＝iK

其中K为线性比例常数。根据逆分布函数可知，cdf_y可以做如下变换：

cdf_y(y)＝cdf_y(T(x))＝cdf_x(x)

其中y′为均衡化后的灰度值。为了将均衡化后的灰度值y′射回最初的域，需要如下变换：

y′＝y′·(max{x}-min{x})+min{x}

其中max{x}、min{x}分别为图像{x}中的最大灰度值、最小灰度值，y″为完成直方图均衡化之后的新灰度图像。

将上述单通道图像上的处理方法分别用于图像RGB颜色值的红色、绿色和蓝色分量，即可完成对彩色图像的处理。

通过对原图像进行直方图均衡化，可得到整体色彩分布均匀、无色块、少噪点的图像。

然后，采用伽马变换对过曝光或过暗的图片进行修正：

s＝cr^γ

其中γ为伽马因子，根据γ的不同取值选择性增强或降低灰度区域的对比度；c为归一化比例常数。经过多次重复实验得出γ＝3，得到的图像对比度较高、识别率较好，其处理对比如图图4所示。

对图像中的字符进行识别。第一步为版面分析，通过笔画等宽算法把非笔迹的像素过滤掉，再使用投影直方图进行分行，便于后面按行处理。第二步为行拆分，通过连通域分析将行进行拆分为离散字符。第三部为识别字符，通过训练SVM分类器，将离散字符转化为单个字符。第四步为矫正，通过马尔可夫模型，将前步骤中识别错误的字符进行矫正，从而得到正确的、完整的字符内容。

在具体判断判断保险丝装配是否正确时，首先根据环境光线自适应调整光照强度，当环境光线满足***所设定的阈值后，Z轴摄像头获取保险丝盒正射影像，然后采用提出的两种识别与检测方法获取保险丝装配位置及型号，从而判断保险丝装配是否正确。

图4为本发明实施例螺孔坐标提取方法流程图。如图4所示，一种螺孔坐标提取方法，包括：

步骤301：获取多摄像头视觉采集***采集的图像；

步骤302：对所述图像采用灰度阈值化进行遍历，得到二值图像；

步骤303：提取所述二值图像中的阴影区域；

步骤304：根据所述阴影区域，计算X轴摄像头方向和Y轴摄像头方向在所述阴影区域中的中心位置；

步骤305：计算各所述中心位置和所述图像边缘的距离；

步骤306：根据所述距离，确定扭力扳手的坐标；

步骤307：判断所述坐标是否落在标定的判别区域内；

步骤308：若是，则输出所述坐标；

若否，则返回至获取多摄像头视觉采集***采集的图像步骤。

视觉采集***遵循针孔成像模型，通过将两个摄像头分别放置在X和Y方向，并保持其视觉中心线相交，构成物理学上常用的O-xy坐标系；同时，基于摄像头的上下透视关系建立Z轴，并与上述XY轴合并建立O-xyz立体坐标系。鉴于实际设备需便于工人操作，在Y轴摄像头的方位的选取上没有与X轴在同一水平面上垂直，而是向测试台外侧与垂直方向保持30度的夹角，使得在测试台正面的常规操作不会影响整个***的正常运转。

被测件图像获取：

由于***所获取到的原始图像分辨率为1280*720，图像分辨率过高，包含了大量的无用信息，影响处理速度，因此需要对原图像进行剪裁。由于待测物***于X轴和Y轴的两个摄像头中心线交点处，所以截取图像的水平中心区域共30～100px的条状图像即可。

由于工业生产环境下光照条件复杂多变，导致图像光照强度分布出现不均匀的现象，为了消除背景噪声的干扰，需要对所获取图像进行光照补偿。将硬件光照补偿方法和软件光照补偿方法相结合，有效解决了外部环境光带来的噪声干扰问题。

一方面，在测试区域安装多个光照传感器，通过检测环境光照强度动态调整LED光源光照强度，使得被测区域光照保持稳定状态。

另一方面，采用高斯滤波算法对摄像头传回的数据进行线性平滑滤波，从而消除高斯噪声。

其中σ为标准差，x和y分别为点横纵坐标，h为经过滤波后的点灰度值。

螺孔坐标提取：

由于图像区域的背景为均匀光带，当扭力扳手的接触头放置在识别区域内会将背景中的光源遮挡，使得图像中出现较大的方形阴影区域。

首先采用灰度阈值化遍历图像中的所有像素，将原图像f按照阈值T分割为二值图像g，从而提取图像中的阴影区域。其阈值化公式如下：

其中i和j为对应图像中点的坐标。由于扭力扳手的接触头会同时导致X轴和Y轴方向图像的不同区域出现方形阴影，所以通过分别计算X轴和Y轴方向的阴影水平中心与图像边缘的距离即可确定扭力扳手所在坐标(x,y)。

最后判断所确定的坐标区域是否落在***所标定的判别区域内即可判断扭力扳手所对应的螺孔，从而控制***输出相应的扭矩，实现螺母的装配。

扭力扳手定位实验：

首先手动完成O-xyz坐标系中保险丝螺丝所在坐标的标定工作，然后在不同光照条件下将扭力扳手放置在四个不同的螺丝T1、T2、T3、T4上，根据表1的螺丝参数，检测***所识别出的坐标点号是否正确，从而测试***的能否正确识别扭力扳手所对应的螺丝。

表1测试点结果

对上表中计算得到的测试点坐标信息进行分析，各个点之间坐标间距明显，区分度高，通过结合X与Y轴坐标可正确区分接触点信息，且不易导致误判，能够满足工程应用中的需要。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (1)

1.一种汽车保险丝盒的螺孔坐标提取方法，其特征在于，包括：

获取多摄像头视觉采集***采集的图像；

对所述图像采用灰度阈值化进行遍历，得到二值图像；

提取所述二值图像中的阴影区域；

根据所述阴影区域，计算X轴摄像头方向和Y轴摄像头方向在所述阴影区域中的中心位置；

计算各所述中心位置和所述图像边缘的距离；

根据所述距离，确定扭力扳手的坐标；

判断所述坐标是否落在标定的判别区域内；

若是，则输出所述坐标；

若否，则返回至获取多摄像头视觉采集***采集的图像步骤；

视觉采集***遵循针孔成像模型，通过将两个摄像头分别放置在X和Y方向，并保持其视觉中心线相交，构成物理学上常用的O-xy坐标系；同时，基于摄像头的上下透视关系建立Z轴，并与XY轴合并建立O-xyz立体坐标系，鉴于实际设备需便于工人操作，在Y轴摄像头的方位的选取上没有与X轴在同一水平面上垂直，而是向测试台外侧与垂直方向保持30度的夹角，使得在测试台正面的常规操作不会影响整个***的正常运转；

被测件图像获取：

由于***所获取到的原始图像分辨率为1280*720，图像分辨率过高，包含了大量的无用信息，影响处理速度，因此需要对原图像进行剪裁，由于待测物***于X轴和Y轴的两个摄像头中心线交点处，所以截取图像的水平中心区域共30～100px的条状图像即可；

由于工业生产环境下光照条件复杂多变，导致图像光照强度分布出现不均匀的现象，为了消除背景噪声的干扰，需要对所获取图像进行光照补偿，将硬件光照补偿方法和软件光照补偿方法相结合，有效解决了外部环境光带来的噪声干扰问题；

一方面，在测试区域安装多个光照传感器，通过检测环境光照强度动态调整LED光源光照强度，使得被测区域光照保持稳定状态；

另一方面，采用高斯滤波算法对摄像头传回的数据进行线性平滑滤波，从而消除高斯噪声；

其中，σ为标准差，x和y分别为点横纵坐标，h(x,y)为经过滤波后的点灰度值；

螺孔坐标提取：

由于图像区域的背景为均匀光带，当扭力扳手的接触头放置在识别区域内会将背景中的光源遮挡，使得图像中出现较大的方形阴影区域；

首先采用灰度阈值化遍历图像中的所有像素，将原图像f(i,j)按照阈值T分割为二值图像g(i,j)，从而提取图像中的阴影区域，其阈值化公式如下：

其中i和j为对应图像中点的坐标，由于扭力扳手的接触头会同时导致X轴和Y轴方向图像的不同区域出现方形阴影，所以通过分别计算X轴和Y轴方向的阴影水平中心与图像边缘的距离即可确定扭力扳手所在坐标(x,y)；

最后判断所确定的坐标区域是否落在***所标定的判别区域内即可判断扭力扳手所对应的螺孔，从而控制***输出相应的扭矩，实现螺母的装配。

Images