CN110544261B - 一种基于图像处理的高炉风口喷煤状态检测方法 - Google Patents

Abstract

本发明公开了一种基于图像处理的高炉风口喷煤状态检测方法，包括：采用频域滤波与空间域滤波相结合方式对高炉风口图像进行去噪处理得到去噪图像；采用改进的自适应灰度拉伸与幂次变换相结合的图像增强算法对去噪图像进行处理得到清晰图像；采用全局阈值与局部阈值相结合的二值化算法对清晰图像进行处理得到二值化图像；采用最小二乘椭圆拟合方式对二值图像中的风口区域进行拟合，避免因喷煤量过大导致的煤团与炉壁发生“粘连”现象；通过改进的多尺度全卷积神经网络分割清晰图像中的煤枪区域、将二值化图像中的煤枪和煤团的整体连通域与全卷积神经网络检测的煤枪区域做差得到煤团区域；根据获得的煤团区域的面积信息、判断高炉支管喷煤是否发生堵塞异常状态。

Description

一种基于图像处理的高炉风口喷煤状态检测方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于图像处理的高炉风口喷煤状态检测方法。

背景技术

考虑到高炉风口摄像仪长期处在高温、多尘的恶劣工业环境中，滤光片老化问题严重，导致拍摄的风口图像各区域灰度失衡，模糊不清。此外，在图像产生、传输、转化过程中存在噪声的干扰，需要对图像分析，并进行相应的处理。风口图像中的煤枪、煤团以及内壁区域灰度信息相近，采用传统的阈值分割算法难以适用。在实际生产过程中，高炉休风期间需要将煤枪拆卸检修，再次安装可能导致休风前后图像中煤枪位置发生改变。上述特点给煤团区域提取带来困难，且要求检测方法具有自适应性。

在现有的高炉风口喷煤状态检测技术中，温差法主要根据堵塞前后的温度变化进行检测，但由于受到季节、风向等因素的干扰，温差判断准则难以准确归纳。光学检测法要求被测区域透光性能好，被测流体固相浓度适宜，成为其主要应用障碍。基于图像处理的固定背景模板法没有考虑到修风过程中煤枪潜在的位置变化，对检测的准确率带来影响。

发明内容

根据现有技术存在的问题，本发明公开了一种基于图像处理的高炉风口喷煤状态检测方法，具体过程包括：

采用频域滤波与空间域滤波相结合方式对高炉风口图像进行去噪处理得到去噪图像；

采用改进的自适应灰度拉伸与幂次变换相结合的图像增强算法对去噪图像进行处理得到清晰图像；

采用全局阈值与局部阈值相结合的二值化算法对清晰图像进行处理得到二值化图像；

采用最小二乘椭圆拟合方式对二值图像中的风口区域进行拟合，这样可以避免因喷煤量过大而导致风口边缘与煤团发生“粘连”现象；

通过改进的多尺度全卷积神经网络分割清晰图像中的煤枪区域、将二值化图像中的煤枪和煤团的整体连通域与全卷积神经网络检测的煤枪区域做差得到煤团区域；

根据获得的煤团区域的面积信息、判断其是否小于阈值T，若连续k帧均小于阈值T，则判断高炉支管处于堵塞状态，否则仍处于喷煤状态。

进一步的，对高炉风口图像进行去噪处理时首先分析高炉风口图像中存在的噪声类型、其中噪声类型包括水平方向条纹噪声和高斯噪声。

选择频域滤波方法对图像中的条纹噪声进行处理：首先将风口图像进行傅里叶变化得到频谱图F(u,v)，对频谱图F(u,v)分别计算水平方向和竖直方向的累积分布函数，判断竖直方向累积分布函数中点处的函数值是否大于阈值，如果大于阈值则说明图像存在条纹噪声，否则不存在条纹噪声；

如果高炉风口图像存在条纹噪声，则计算水平方向累积分布函数次峰值频率点的横坐标u₀，根据u₀构建自适应二阶Butterworth滤波器H(u,v)进行滤波处理，再对滤波后的频谱图经过傅里叶逆变换得到恢复图像/>

采用中值滤波滤除图像中的光斑和高斯噪声；

采用形态学开闭滤波器消除图像中的数字标号区域。

进一步的，对去噪图像进行增强处理时首先获取图像的累积直方图分布，选取累积直方图中灰度值频数符合设定阈值时所对应的灰度值作为灰度拉伸的窗底b和窗顶c，对图像进行灰度拉伸；分析光晕现象图像的直方图特征，通过幂次变换消除图像中的光晕部分。

进一步的，首先对图像中的像素分类成高灰度区域、中灰度区域、低灰度区域；其次对高灰度区域和低灰度区域采用全局阈值最大类间差分法分割；剩余中灰度区域通过高斯加权局部阈值算法进行判断、从而得到最终的二值化图像。

进一步的，多尺度全卷积神经网络模型是基于全卷积神经网络(FCN)的基础上进行改进，主要由编码-解码全卷积网络和优化网络构成，在编码-解码全卷积网络，考虑到网络的浅层特征主要包括纹理、颜色、和边缘信息，而网络的深层特征包括高层次语义信息，将不同层网络进行级联预测煤***割结果；编码-解码全卷积网络还加入金字塔池化层，从不同的尺度进行特征提取；

优化网络将编码-解码全卷积网络的预测结果作为输入，其中优化网络由六个卷积层构成，其中有两个是空洞卷积，可以对分割结果优化边缘区域。

由于采用了上述技术方案，本发明提供的一种基于图像处理的高炉风口喷煤状态检测方法，该方法通过分析频谱图特征判断图像中是否存在条纹噪声，若存在条纹噪声，通过自适应Butterworth滤波器去除，滤波器的截止频率选择频谱图水平方向累积分布函数的次峰值点所对应的像素数，通过该方法可以很好的去除图像中的条纹噪声；针对滤光片老化所导致的图像灰度失衡，通过累积直方图的自适应灰度拉伸算法处理图像，拉伸的窗底和窗顶分别选择累积分布直方图中累积含量在10％和95％处的灰度值，经过灰度拉伸处理，图像中各区域的对比度明显得到提高，为后续的处理奠定了基础。在图像二值化处理中，考虑到全局阈值法的处理结果可以很好的反映图像整体灰度分布情况，但易忽略图像的细节信息。局部阈值能够反映图像的细节信息，但是在分割时容易受到“噪点”的影响，产生分割不准确的现象。提出全局阈值法与局部阈值法相结合的方法，高灰度和低灰度像素点采用全局阈值处理，其余的像素点采用局部阈值处理，从处理结果看到该方法可以很好的反映图像中的细节信息，且不受“噪点”的影响，处理效果较好。针对煤枪、煤团灰度信息相近，传统的阈值分割算法难以分离二者的现象，且在修风过程中需要对煤枪拆卸检修，再次安装可能会引起休风前后煤枪位置发生改变。通过全卷积神经网络自动分割煤枪区域，将二值化图像中的煤枪和煤团的整体连通域与全卷积神经网络检测的煤枪区域做差得到煤团区域。根据煤团区域的面积信息判断煤枪是否存在堵塞状态。其中，制作了10000张煤枪样本图像数据集，用于对网络进行训练，实验证明该方法提取的煤团区域精度较高，具有自适应性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明高炉风口喷煤支管喷吹状态检测的流程图；

图2为图像去噪算法的流程图；

图3为图像二值化处理的流程图；

图4为喷煤支管正常喷吹检测效果示意图；

图5为喷煤支管堵塞检测效果图；

图6(a)(b)(c)(d)为实施例中去噪后风口图像的示意图；(a)正常喷吹风口图像；(b)去噪后正常喷吹风口图像；(c)煤枪堵塞风口图像；(d)去噪后煤枪堵塞风口图像；

图7(a)(b)(c)(d)为实施例中增强前后风口图像对比示意图；(a)图像增强前正常喷吹风口图像.(b)图像增强后正常喷吹风口图像(c)图像增强前煤枪堵塞风口图像.(b)图像增强后煤枪堵塞风口图像；

图8(a)(b)(c)(d)为风口图像二值化处理前后对比图.(a)二值化处理前正常喷吹风口图像；(b)二值化处理后正常喷吹风口图像；(c)二值化处理前煤枪堵塞风口图像；(d)二值化处理后煤枪堵塞风口图像；·

图9(a)(b)为风口区域拟合结果图；

图10(a)(b)为煤枪区域检测示意图；

图11(a)(b)为煤团区域提取结果示意图；(a)为正常喷吹示意图，(b)为煤枪堵塞示意图；

图12为喷煤流量特征曲线示意图；(a)为正常喷吹示意图，(b)为煤枪堵塞示意图。

图13为多尺度FCN模型结构的示意图。

具体实施方式

为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1所示的一种基于图像处理的高炉风口喷煤状态检测方法，具体包括如下步骤：

步骤1:研究自适应图像去噪算法。针对图像噪声严重的问题，通过分析图像的频谱信息和直方图信息判断图像的噪声类型，主要包括条纹噪声和高斯噪声，并提出改进的频域滤波与空间域滤波相结合的图像去噪算法。在频域上，采用自适应Butterworth滤波器去除条纹噪声；在空间域上，采用中值滤波器去除高斯噪声和光斑，最后采用数学形态学运算消除图像中的数字标号。

步骤1-1：针对图像中的条纹噪声，选择频域滤波方法。将尺寸为240×192风口图像进行傅里叶变化，得到频谱图F(u,v)，对频谱图按照公式(1)和公式(2)分别计算水平方向和竖直方向的累积分布函数，存在条纹噪声的竖直方向累积分布函数中点处的函数值明显大于无条纹噪声的函数值，通过设置阈值T，若大于T则说明图像存在条纹噪声，否则不存在条纹噪声；

步骤1-2：若风口图像存在条纹噪声，计算水平方向累积分布函数次峰值频率点的横坐标u₀，根据u₀构建自适应二阶Butterworth滤波器H(u,v)，运用式(6)进行滤波处理。最后对滤波后的频谱图经过傅里叶逆变换得到恢复图像/>

D₁(u,v)＝[(u-96-u₀)²+(v-120-96)²]^1/2 (3)

D₂(u,v)＝[(u-96+u₀)²+(v-120+96)²]^1/2 (4)

步骤1-3：采用中值滤波滤除图像中的光斑和高斯噪声。

步骤1-4：采用先开运算后闭运算的组合滤波算法消除数字标号区域，其中结构元素选用3×3的矩形卷积核。

步骤2:研究自适应图像增强算法。针对风口摄像仪长期处于多灰尘、高温的复杂恶劣环境，造成拍摄的风口图像质量严重下降，图像存在灰度失衡、模糊不清的现象。此外，炉壁及焦炭颗粒的漫反射现象造成图像边缘存在不同程度的光晕现象，提出改进的自适应灰度拉伸与幂次变换相结合的图像增强算法。

步骤2-1：获取图像累积直方图分布，累积直方图是对直方图中当前像素之前的全部像素个数的连续累加，反映了小于等于当前值的像素比例，如图1所示。选取累积直方图中灰度值频数为0.1与0.95对应的灰度值作为灰度拉伸的窗底b和窗顶c，对图像进行灰度拉伸，如式(8)所示。

式中s为灰度拉伸前的图像，t为拉伸后的图像，b为灰度拉伸的窗底，c为窗顶。

步骤2-2：分析光晕现象图像的直方图特征，通过幂次变换可以消除光晕，幂次变换原理为：

s＝c×I^γ (9)

其中γ>1时，可以降低图像全局灰度值。光晕现象是由强烈光线所致，在图像中表现为灰度值增高、范围变宽，因此可以通过幂次变换对图像的高灰度区域处理，从而对图像中光晕现象进行抑制。

步骤3：通过全局阈值与局部阈值相结合的二值化算法处理图像，得到二值化图像。

步骤3-1：首先采用全局阈值最大类间差分法计算图像的整体阈值T₁

步骤3-2：选用高斯加权局部阈值算法对图像每一个像素计算局部阈值。

步骤3-3：设定常值a，a∈(0,1)，遍历图像像素点，对于图像中的高灰度级区域及低灰度级区域(即f(x,y)>(1+a)×T₁或f(x,y)<(1-a)×T₁，f(x,y)为图像中某像素点)使用全局阈值法最大类间差分法判断；对于剩余区域，通过局部阈值法进行判断，从而获得二值化图像。

步骤4：采用最小二乘椭圆拟合对风口区域进行定位，该方法可以对图像中风口边缘缺失现象进行拟合，可以避免当喷煤量较大时，煤团与炉壁发生“粘连”现象。

步骤4-1：采用canny边缘检测获取风口图像的边缘信息。

步骤4-2：根据获取的风口边缘，通过最小二乘椭圆拟合算法定位风口区域，具体如下所示：

(1)对于椭圆的非标准方程，可以写成以下形式：

x²+Axy+By²+Cx+Dy+E＝0 (10)

(2)对于公式(10)，方程中有5个未知数，分别是A,B,C,D,E。为了求出5个未知数，要求采样点至少为5组。通过最小二乘法对采样点进行椭圆非标准方程拟合。公式如下：

min||x²+Axy+By²+Cx+Dy+E||²＝0 (11)

对其求解，其中N表示采样点个数：

(3)求解式(13)，以为例：

(4)然后将含有A,B,C,D,E的项放置在左侧，其它放在右侧，得到：

∑Ax²y²+∑Bxy³+∑Cx²y+∑Dxy²+∑Exy＝∑-x³y (15)

写成矩阵的形式如下：

类似的，得到并表示成矩阵方程如下：

简化写成：

则最后通过式(18)即得到拟合椭圆参数：

步骤5：考虑风口图像中的煤枪、煤团以及内壁区域灰度信息相近，采用传统的阈值分割算法难以适用。此外，高炉休风需要将煤枪拆卸检修，再次安装可能导致休风前后图像中煤枪位置发生改变。通过改进的多尺度全卷积神经网络对煤枪区域检测，将步骤3中的二值化图像与全卷积神经网络检测的煤枪区域做差即可得到煤团区域。

进一步的，如图13所示，多尺度全卷积神经网络模型是基于全卷积神经网络(FCN)的基础上进行改进，网络包括编码-解码全卷积网络和优化网络两个部分。首先在编码-解码全卷积网络中，考虑到较浅层的网络可以提取纹理、颜色、边缘等细节特征，而深层网络可以学习到高级语义信息等抽象特征，将不同层网络进行级联预测分割结果，可以增强边缘细节信息的学习；其次加入金字塔池化层，从不同的尺度进行特征提取可以提高网络的预测精度；最后，优化网络将编码-解码全卷积网络的预测结果作为输入，其中优化网络是由六个卷积层构成，其中有两个是空洞卷积，可以对分割结果优化边缘区域，提高整体特征学习能力，得到精确的分割结果。

步骤6：将二值化图像与步骤5中的煤枪检测结果做差提取煤团区域。将获取的煤团区域计算其面积信息作为特征值，若连续k帧提取的特征值小于阈值T，则判断为堵塞，否则煤枪仍处于喷煤状态。

实施例：

高炉风口回旋区是高炉操作的重要反应区，堪称高炉的“心脏”，通过向高炉风口喷吹煤粉，可以为高炉提供冶炼所需的热量和能量，对高炉冶炼过程的稳定顺行起着至关重要的作用。近年来，随着高炉喷煤量的不断增加，喷煤的安全性、稳定性的要求也在不断提高。当喷煤支管处于堵塞状态时，不连续的喷吹煤粉将会导致负荷的局部不均匀性，对高炉寿命和冶炼质量产生严重影响。如果能及时检测到喷吹支管发生堵塞，那么高炉操作人员就可以提前采取相应措施，有效地提高和稳定高炉铁水的质量。

风口摄像仪虽已在各大钢厂高炉安装使用，也为风口状态检测提供新的途径，但多尘、高温的恶劣环境导致所拍摄的风口图像模糊不清，人工检测方法异常状态漏判问题严重。我们提出了一种基于图像处理的高炉风口支管堵塞检测方法，并通过某钢厂2 500m³高炉现场采集的图像，验证算法的准确性。下面，我们结合具体过程对实施步骤进行阐述：

步骤1：将获取的风口图像进行去噪处理，得到去噪后风口图像，如图6所示。

步骤2：通过自适应灰度拉伸算法提高各区域对比度，并采用幂次变化去除图像边缘存在的光晕现象，为后续的处理工作奠定较好的基础，结果如图7所示。

步骤3：采用全局阈值最大类间差分法与高斯加权局部阈值算法相结合的二值化处理方法对高灰度、低灰度区域采用全局阈值最大类间差分法处理，剩余像素区域采用高斯加权局部阈值算法处理，从而获得二值化图像，结果如图8所示。

步骤4：考虑到图像中风口所在位置为一近似椭圆形区域。部分图像中因为煤粉喷吹量较大，导致煤团目标与风口炉壁发生“粘连”现象，采用canny边缘检测获取风口区域边缘，再通过最小二乘法拟合风口区域，结果如图9所示。

步骤5：采用训练好的全卷积神经网络分割风口图像中的煤枪区域，网络结构如图13所示，检测结果如图10所示。

步骤6：将二值化风口图像与步骤5中的煤枪检测结果做差提取煤团区域，如图11所示。将提取的煤团区域的面积信息作为特征值，若连续k帧提取的特征值小于阈值T，则判断为堵塞，否则煤枪仍处于喷煤状态。

使用本发明中的检测方法进行检测，在现场采集的50段风口视频中，其中20段视频中煤枪处于堵塞，检测结果均正确，且使用GTX-1080GPU处理时，可以达到工业现场实时性要求,喷煤流量特征曲线如图12所示。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种基于图像处理的高炉风口喷煤状态检测方法，其特征在于包括：

采用频域滤波与空间域滤波相结合方式对高炉风口图像进行去噪处理得到去噪图像；

采用改进的自适应灰度拉伸与幂次变换相结合的图像增强算法对去噪图像进行处理得到清晰图像；

采用全局阈值与局部阈值相结合的二值化算法对清晰图像进行处理得到二值化图像；

采用最小二乘椭圆拟合方式对二值化图像中的风口区域进行拟合处理；

将增强后的清晰图像输入至改进的多尺度全卷积神经网络内、分割出图像中的煤枪区域、将二值化图像中的煤枪和煤团的整体连通域与改进的多尺度全卷积神经网络检测的煤枪区域做差得到煤团区域；

改进的多尺度全卷积神经网络是基于全卷积神经网络的基础上进行改进，由编码-解码全卷积网络和优化网络构成，在编码-解码全卷积网络，考虑到网络的浅层特征包括纹理、颜色和边缘信息，而网络的深层特征包括高层次语义信息，将不同层网络进行级联预测煤***割结果；编码-解码全卷积网络还加入金字塔池化层，从不同的尺度进行特征提取；

优化网络将编码-解码全卷积网络的预测结果作为输入，其中优化网络由六个卷积层构成，其中有两个是空洞卷积，对分割结果优化边缘区域；

根据获得的煤团区域的面积信息、判断其是否小于阈值T，若连续k帧均小于阈值T，则判断高炉支管处于堵塞状态，否则仍处于喷煤状态；

对高炉风口图像进行去噪处理时首先分析高炉风口图像中存在的噪声类型、其中噪声类型包括水平方向条纹噪声和高斯噪声；

选择频域滤波方法对图像中的条纹噪声进行处理：首先将风口图像进行傅里叶变化得到频谱图F(u,v)，对频谱图F(u,v)分别计算频谱图水平方向和竖直方向的累积分布函数，判断竖直方向累积分布函数中点处的函数值是否大于阈值，如果大于阈值则说明图像存在条纹噪声，否则不存在条纹噪声；

如果高炉风口图像存在条纹噪声，则计算水平方向累积分布函数次峰值频率点的横坐标u₀，根据u₀构建自适应二阶Butterworth滤波器H(u,v)进行滤波处理，再对滤波后的频谱图经过傅里叶逆变换得到恢复图像/>

采用中值滤波滤除图像中的光斑和高斯噪声；

采用形态学开闭滤波器消除图像中的数字标号区域；

对去噪图像进行增强处理时首先获取图像的累积直方图分布，选取累积直方图中灰度值频数符合设定阈值时所对应的灰度值作为灰度拉伸的窗底b和窗顶c，对图像进行灰度拉伸；分析光晕现象图像的直方图特征，通过幂次变换消除图像中的光晕部分；

所述二值化图像采用如下方式获取：

首先对图像中的像素分类成高灰度区域、中灰度区域、低灰度区域；其次对高灰度区域和低灰度区域采用全局阈值最大类间差分法分割；剩余中灰度区域通过高斯加权局部阈值算法进行判断、从而得到最终的二值化图像。