CN110501339A - 一种复杂环境下的布面定位方法 - Google Patents

Abstract

本发明公开了一种复杂环境下的布面定位方法，包括：步骤1，通过搭建的平台获取织布机实时布匹信息；步骤2，采用高斯滤波，消除噪声影响；步骤3，设计新的最大漫反射色度估计公式，消除不规范光照引起的高光问题；步骤4，提取布匹边缘信息，获取光流场，改进光流不稳定问题，提出新的多帧光流融合算法，结合边缘信息和光流场信息实现布面的运动判断以及准确定位。获取织布机布匹实时图像，对获得的图像进行高斯滤波，消除相机因素造成的噪声。该方法去除不规范环境下的过曝等问题，同时改进光流法结合边缘信息，实现对布面的运动判断以及准确定位。

Description

一种复杂环境下的布面定位方法

技术领域

本发明在双针床织布机上加载工业相机模块，针对智能化生产，提出全新的检测布面的算法及平台。提出新的消除高光的算法，消除复杂作业环境下的过曝问题，同时利用改进的光流算法结合边缘算法定位布面。

背景技术

随着技术的发展，纺织工业的规模飞速增长，已成为我国基础工业的重要经济支柱。随着工业4.0时代的到来，传统工业的转型升级势在必行。准确的定位布面能够提高自动化设备的操作准确性，并且能够降低代替人工的智能检测设备的硬件成本，从而加速产业转型升级。

发明内容

本发明针对传统织布机与先进织布机型号不同，且生产环境不规范，光照，设备安装不统一等造成定位不准确，利用光流结合边缘信息，准确定位布面。

本发明采用的技术方案如下：

包括以下步骤：

步骤1，通过搭建的平台获取织布机实时布匹信息；

步骤2，采用高斯滤波，消除噪声影响；

步骤3，消除不规范光照引起的高光问题；

步骤4，提取布匹边缘信息，获取光流场，结合边缘信息和光流场信息实现布面的运动判断以及准确定位。

进一步，步骤3中所述，在负载光照环境下，消除高光的算法以反射模型为基础，其具体步骤为：

步骤3.1：根据反射模型定理，物体的反射光线可以用漫反射和镜面反射分量表示：

L(P)＝w_d(P)D(P)+w_s(P)S(P) (1)

其中，L＝{L_r，L_g，L_b}是图像的颜色分量；P＝{i，j}表示图像的一个像素点；D(P)代表当前像素的漫反射分量，S(P)代表镜面反射分量；w_d表示当前像素的漫反射权重系数，w_s表示镜面反射权重。

则根据色度的定义公式：

其中，σ是颜色分量色度，λ是漫反射色度，γ是镜面反射色度。根据最大色度定义公式：

其中σ_r(P)，σ_g(P)，σ_b(P)分别为三个通道的颜色分量色度。

定义分别为λ(P)以及γ(P)的最大值。根据漫反射分量求解公式可得：

步骤3.2，根据权利要求1所述的一种复杂环境下的布面定位算法及装置，其特征在于，所述步骤3中，提出了一种新的方法来估计最大漫反射色度λ_c。

令σ_min＝min{σ_r，σ_g，σ_b}；

我们定义新的变量ξ_c估计漫反射色度λ_c：

其中，α是一个超参数，在本发明中，，取值范围为那么最大漫反射角度的预估值可以表示为：

利用求得的最大漫反射色度来表示漫反射分量，通过双色反射模型变换，即可分离镜面反射分量，从而达到去除高光的效果。即将RGB图片用球坐标系表示，在球坐标系内计算色度点和像素点的距离，将之分类，从而能够消除漫反射系数的影响，去除镜面反射。进一步，所述步骤4中提取布匹边缘信息的步骤是：

步骤4.1，对采集到的图像提取Sobel边缘信息，Sobel卷积因子为：

步骤4.2，该算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。如果以f代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像灰度值，其公式如下：

其中f(i，j)表示图像(i，j)点的灰度值。

步骤4.3，图像的每一个像素的横向及纵向灰度值通过以下公式结合，来计算该点灰度的大小：

进一步，所述步骤4中提取光流信息，具体方法为：

步骤4.4，假设原图为f_k(i，j，t)，后两帧图像为 对连续三帧进行处理，分别求得三帧之间的光流矢量：

分别表示第k+2帧与第k+1帧，第k+1帧与第k帧，第k+2帧与第k帧的光流矢量差量；

则新的光流矢量可以定义为：

U_ct＝c₁U₂+c₂(U₁-U₀) (12)

其中c₁+c₂＝1，采用连续三帧提取光流信息，并通过融合，可以消除多余阴影，同时能够强化光流场。

步骤4.5，将光流场与边缘信息映射到二值图上，采用最大连通域准确定位布面信息，具体方法为：

根据布匹运动方向，提取U_ct运动方向光流场V_y，根据公式H(u，v)：

将运动信息映射到二值图上。假设检测的边缘二值图为S(u，v)，对其进行膨胀运算，强化边缘信息，根据公式：

获得新的布面二值图MCD(u，v)，对MCD寻找最大连通域，主要方法为：

(1)找到所有外轮廓及与之对应的内轮廓，并给轮廓上的点标上标号。

(2)遍历标记的图像，如果这个点在原来二值图像上为白色点，且在标记图像上没有标记过，则给它一个标号且等于它左边点的标号。

从而找到并标记所有的轮廓，根据最大连通域获得布面范围。

本发明具有以下技术效果：提出新的漫反射色度，能够有效解决布匹瑕疵检测在复杂环境下产生的过曝问题。提出融合光流法，强化运动场信息，同时能有效滤除背景信息，提升了实时光流场的表述能力。首次提出光流特征与边缘特征融合，用于布面定位检测，针对噪声毛刺，有很强的抑制作用，同时提升算法的鲁棒性。

附图说明

图1为本发明公开的布匹瑕疵检测方法的主要流程。

图2为本发明公开图像采集平台。

图3为本发明公开的部分布匹图片定位效果图，其中图3(a)为织布机最左侧图片，图3(b)为织布机最右侧图片。

图中，1、上辊轴，2、相机固定连杆，3、卷布辊轴，4、布匹，5、布面(边缘半截布面)，6、工业相机，7、牵拉支座。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

如图2所示，为本发明公开图像采集平台。包括1、上辊轴，2、相机固定连杆，3、卷布辊轴，4、布匹，5、布面(边缘半截布面)，6、工业相机，7、牵拉支座。布匹从上滚轴1流出，经下滚轴进入卷布程序，相机固定连杆2平行于布匹4，且与牵拉支座7垂直，并保持10～15公分，已确保对焦准确。工业相机6固定于相机固定连杆2上，镜头与布面保持垂直。

如图1所示，本发明的提出的一种复杂环境下的布面定位算法及装置，采用以下技术方案：

步骤1，采集图像，通过图2所示工业相机采集布匹的实时图像形象，得到初始图像f(x，y)。

步骤2，采用高斯滤波，消除噪声影响；

步骤3，采用高光消除算法消除不规范光照引起的高光问题。

步骤3.1：根据反射模型定理，物体的反射光线可以用漫反射和镜面反射分量表示：

L(P)＝w_d(P)D(P)+w_s(P)S(P) (1)

其中，L＝{L_r，L_g，L_b}是图像的颜色分量；P＝{i，j}表示图像的一个像素点；D(P)代表当前像素的漫反射分量，S(P)代表镜面反射分量；w_d表示当前像素的漫反射权重系数，w_s表示镜面反射权重。

则根据色度的定义公式：

其中，σ是颜色分量色度，λ是漫反射色度，γ是镜面反射色度。根据最大色度定义公式：

其中σ_r(P)，σ_g(P)，σ_b(P)分别为三个通道的颜色分量色度。

定义分别为λ(P)以及γ(P)的最大值。根据漫反射分量求解公式可得：

步骤3.2，根据权利要求1所述的一种复杂环境下的布面定位算法及装置，其特征在于，所述步骤3中，提出了一种新的方法来估计最大漫反射色度λc。

令σ_min＝min{σ_r，σ_g，σ_b}；

我们定义新的变量ξ_c估计漫反射色度λ_c：

其中，α是一个超参数，在本发明中，其取值范围为最大漫反射色度估计值可以表示为：

利用求得的最大漫反射色度来表示漫反射分量，通过双色反射模型变换，即可分离镜面反射分量，从而达到去除高光的效果。即将RGB图片用球坐标系表示，在球坐标系内计算色度点和像素点的距离，将之分类，从而能够消除漫反射系数的影响，去除镜面反射。

步骤4.1，对采集到的图像提取Sobel边缘信息，Sobel卷积因子为：

步骤4.2，该算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。如果以f代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像灰度值，其公式如下：

其中f(i，j)表示图像(i，j)点的灰度值。

步骤4.3，图像的每一个像素的横向及纵向灰度值通过以下公式结合，来计算该点灰度的大小：

进一步，所述步骤4中提取光流信息，具体方法为：

步骤4.4，假设原图为f_k(i，j，t)，后两帧图像为 对连续三帧进行处理，分别求得三帧之间的光流矢量：

分别表示第k+2帧与第k+1帧，第k+1帧与第k帧，第k+2帧与第k帧的光流矢量差量；

则新的光流矢量可以定义为：

U_ct＝c₁U₂+c₂(U₁-U₀) (12)

其中c₁+c₂＝1，采用连续三帧提取光流信息，并通过融合，可以消除多余阴影，同时能够强化光流场。

步骤4.5，将光流场与边缘信息映射到二值图上，采用最大连通域准确定位布面信息，具体方法为：

根据布匹运动方向，提取U_ct运动方向光流场V_y，根据公式H(u，v)：

将运动信息映射到二值图上。假设检测的边缘二值图为S(u，v)，对其进行膨胀运算，强化边缘信息，根据公式：

获得新的布面二值图MCD(u，v)，对MCD寻找最大连通域，主要方法为：

(1)找到所有外轮廓及与之对应的内轮廓，并给轮廓上的点标上标号。

(2)遍历标记的图像，如果这个点在原来二值图像上为白色点，且在标记图像上没有标记过，则给它一个标号且等于它左边点的标号。

从而找到并标记所有的轮廓，根据最大连通域获得布面范围。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (6)

1.一种复杂环境下的布面定位算法，其特征在于，包括以下步骤：

步骤1，通过搭建的平台获取织布机实时布匹信息；

步骤2，采用高斯滤波，消除噪声影响；

步骤3，设计新的最大漫反射色度估计公式，消除不规范光照引起的高光问题；

步骤4，提取布匹边缘信息，获取光流场，改进光流不稳定问题，提出新的多帧光流融合算法，结合边缘信息和光流场信息实现布面的运动判断以及准确定位。

2.根据权利要求1所述的一种复杂环境下的布面定位算法，其特征在于，所述步骤1中的平台采用的是1280×720工业单目相机，高速线扫描成像***基于树莓派。

3.根据权利要求1所述的一种复杂环境下的布面定位算法，其特征在于，所述步骤3具体步骤为：

步骤3.1：根据反射模型定理，物体的反射光线可以用漫反射和镜面反射分量表示：

L(P)＝w_d(P)D(P)+w_s(P)S(P) (1)

其中，L＝{L_r，L_g，L_b}是图像的颜色分量；P＝{i，j}表示图像的一个像素点；D(P)代表当前像素的漫反射分量，S(P)代表镜面反射分量；w_d表示当前像素的漫反射权重系数，w_s表示镜面反射权重，这两个值由当前像素点的空间位置决定。

则根据色度的定义公式：

其中，σ(P)是颜色分量色度，λ(P)是漫反射色度，γ(P)是镜面反射色度，根据最大色度定义公式：

其中σ_r(P)，σ_g(P)，σ_b(P)分别为三个通道的颜色分量色度。

定义分别为λ(P)以及γ(P)的最大值，根据漫反射分量求解公式可得：

步骤3.2，设计新的最大漫反射色度估计为：

令σ_min＝min{σ_r，σ_g，σ_b}；

定义新的变量ξ_c估计漫反射色度λ_c：

其中，α是一个超参数，在本发明中，其取值范围为因此，新的漫反射角度的估计值为：

利用求得的最大漫反射色度来表示漫反射分量，ξ_r，ξ_g，ξ_b为RGB三通道的值，通过双色反射模型变换，即可分离镜面反射分量；即将RGB图片用球坐标系表示，在球坐标系内计算色度点和像素点的距离，将之分类，从而能够消除漫反射系数的影响，去除镜面反射。

4.根据权利要求1所述的一种复杂环境下的布面定位算法，其特征在于，所述步骤4中提取布匹边缘信息的步骤是：

步骤4.1，对采集到的图像提取Sobel边缘信息，Sobel卷积因子为：

步骤4.2，该算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值，如果以f代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像灰度值，其公式如下：

其中f(i，j)表示图像(i，j)点的灰度值；

步骤4.3，图像的每一个像素的横向及纵向灰度值通过以下公式结合，来计算该点灰度的大小：

5.根据权利要求4所述的复杂环境下的布面定位算法，其特征在于，所述步骤4中提出新的多帧光流融合算法，结合边缘信息和光流场信息实现布面的运动判断以及准确定位的具体方法为：

步骤4.4，假设原图为f(i，j，t)，运动后的图像为 表示位移和时移，则两者满足：

进一步可以得到：

记：

写成矩阵形式有：

假设某一个窗口内的像素具有相同的运动，假设窗口大小为w*w，则有w²个像素，所以共有w²个方程：

则方程可变为：

这是一个超定线性方程，采用最小二乘法：

即可得到光流矢量U＝[u v]^T；

假设原图为f_k(i，j)，后两帧图像为 对连续三帧进行处理，分别求得三帧之间的光流矢量：

分别表示第k+2帧与第k+1帧，第k+1帧与第k帧，第k+2帧与第k帧的光流矢量差量；

则新的光流矢量可以定义为：

U_ct＝c₁U₂+c₂(U₁-U₀) (19)

其中c₁+c₂＝1，采用连续三帧提取光流信息，并通过融合，可以消除多余阴影，同时能够强化光流场；

步骤4.5，将光流场与边缘信息映射到二值图上，采用最大连通域准确定位布面信息，具体方法为：

根据布匹运动方向，提取U_ct运动方向光流场V_y(u，v)，根据公式H(u，v)：

将运动信息映射到二值图上，假设检测的边缘二值图为S(u，v)，对其进行膨胀运算，强化边缘信息，根据公式求取布面二值图：

6.根据权利要求5所述的复杂环境下的布面定位算法，其特征在于，获得新的布面二值图MCD(u，v)，对MCD寻找最大连通域，主要方法为：找到所有外轮廓及与之对应的内轮廓，并给轮廓上的点标上标号；遍历标记的图像，如果这个点在原来二值图像上为白色点，且在标记图像上没有标记过，则给它一个标号且等于它左边点的标号，从而找到并标记所有的轮廓，根据最大连通域获得布面范围。