CN107204004B - 一种铝电解槽火眼视频动态特征识别方法及*** - Google Patents

Abstract

本发明公开了一种铝电解槽火眼视频动态特征识别方法及***，以提取火眼波动特征，为过热度大小判断提供指导性作用。本方法包括步骤：将待分析的铝电解槽火眼视频分解为若干帧RGB图像，并将每一帧图像进行灰度化处理得到每一帧图像的灰度图像矩阵；根据角点检测算法计算第一帧图像的灰度图像的角点，通过第一帧图像的角点位置运用光流法追踪角点在每一帧图像中的位置，建立角点位置序列；分析未灰度化的任意一帧图像的红色分量值，分割火眼和背景，得到火眼背景二值图像，并将角点分为火眼角点和背景角点两类；根据火眼角点位置序列和背景角点位置序列求得火眼角点的真实波动值，根据火眼角点的真实波动值求得火眼波动的幅度和频率。

Description

一种铝电解槽火眼视频动态特征识别方法及***

技术领域

本发明涉及特征提取领域，尤其涉及一种铝电解槽火眼视频动态特征识别方法及***。

背景技术

铝电解槽电解质的过热度是指电解质温度与初晶温度的差值。过热度直接影响铝电解的电流效率，同时影响电解槽的炉膛形状及稳定性，进而影响电解槽的寿命。因此，有效的检测过热度的大小对于铝电解的生产过程具有很重要的指导作用。长期以来，由于复杂的工业环境过热度难以测量，现场基本通过有经验的工人观察火眼信息来对过热度进行判断，由于人为的随意性和主观性导致电解状态不稳定，难以调节到最优的状态，导致电解效率不高，造成资源浪费。

现有的过热度测量方法需要对电解质温度和初晶温度分别进行测量，电解质温度一般使用热电偶或者红外测温仪进行测量，而初晶温度的测量需要离线进行，首先要对电解质进行取样，放置在测量炉体中加热使其熔化，然后将加热炉整体冷却，同时采集结晶过程的样品温度曲线来获得初晶温度。整个测量过程较为复杂，测量费用高，最重要的是测量时间长无法实时。因此在实际生产过程中多以工人肉眼观察火眼来判别过热度。

发明内容

本发明目的在于提供一种铝电解槽火眼视频动态特征识别方法，以解决过热度测量过程复杂、测量周期长以及无法实时测量的现有技术问题。

为实现上述目的，本发明提供了一种铝电解槽火眼视频动态特征识别方法，包括以下步骤：

将待分析的铝电解槽火眼视频分解为若干帧RGB图像，对每一帧图像进行灰度化处理得到每一帧图像的灰度图像，并计算第一帧图像的灰度图像的角点。

通过第一帧图像的灰度图像的角点位置运用光流法追踪角点在每一帧图像的灰度图像中的位置，建立角点位置序列。

设定任意一帧未灰度化的图像在红色通道上的阀值，根据红色分量阀值将图像分割为火眼和背景，得到火眼背景分割图，并将角点根据火眼背景分割图划分为火眼角点和背景角点两类，确定火眼角点位置序列和背景角点位置序列。

根据火眼角点位置序列和背景角点位置序列求得火眼角点的真实波动值，根据火眼角点的真实波动值求得火眼波动的幅度和频率。

依托上述方法，本发明还提出了一种与上述方法配套的***，包括初始角点选择模块、角点序列建立模块、角点序列分类模块和火眼特征提取模块。

初始角点选择模块用于将待分析的铝电解槽火眼视频分解为若干帧RGB图像，对每一帧图像进行灰度化处理得到每一帧图像的灰度图像，并计算第一帧图像的灰度图像的角点。

角点序列建立模块用于通过第一帧图像的灰度图像的角点位置运用光流法追踪角点在每一帧图像的灰度图像中的位置，建立角点位置序列。

角点序列分类模块用于设定任意一帧未灰度化的图像在红色通道上的阀值，根据红色分量阀值将图像分割为火眼和背景，得到火眼背景分割图，并将角点根据火眼背景分割图划分为火眼角点和背景角点两类，确定火眼角点位置序列和背景角点位置序列。

火眼特征提取模块用于根据火眼角点位置序列和背景角点位置序列求得火眼角点的真实波动值，根据火眼角点的真实波动值求得火眼波动的幅度和频率。

本发明通过分析拍摄的铝电解槽火眼视频，提取火眼波动幅度和频率，通过火眼波动幅度和频率指导对于过热度的判断。本发明提出的方法测量过程简单，测量费用低，测量时间短，具有很好的实时性。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明优选实施例的一种铝电解槽火眼视频动态特征识别方法流程图；

图2是本发明优选实施例的火眼角点和背景角点示意图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

本发明运用计算机视觉模拟人眼分析火眼视频提取电解质波动幅度和频率特征，作为判别过热度大小的依据。

本发明的火眼是为了观察电解质表观特征在铝电解槽上开的一个洞眼，通过火眼可以观察到电解质的颜色、流动性和黏度等，这些特征很好的反映铝电解槽过热度的状况，基于电解质的这些表观特征可以很好地帮助我们判断过热度的大小。

角点是在图像中有具体的坐标，并具有某些数学特征，如局部最大或最小灰度、某些梯度特征等的点。如果某一点在任一方向的一个微小变动都会引起灰度很大的变化，那么我们就把它称之为角点。在本发明中的角点分为两类，一类是火眼角点，另外一类是除火眼外的背景角点。图2是同一火眼角点与同一背景角点在不同帧中位置情况。

本发明实施例首先公开了一种铝电解槽火眼视频动态特征识别方法，如图1所示，包括以下步骤：

S1：将待分析的铝电解槽火眼视频分解为若干帧RGB图像，并将每一帧图像进行灰度化处理得到每一帧图像的灰度图像矩阵。

视频是由一帧帧的图像所构成，将火眼视频分解成若干帧后进行灰度化处理，得到灰度图像矩阵I(x,y)：

I_m×n(x,y)＝0.290R(x,y)+0.587G(x,y)+0.114B(x,y)

其中，mxn表示火眼图像的分辨率，(x，y)表示火眼图像任意像素点的坐标，x＝0，1,2，…，m-1，y＝0，1，2，…，n-1；R(x,y),G(x,y),B(x,y)为火眼原始图像的三个通道的图像矩阵。

对第一帧的图像运用Shi-Tomasi算法进行角点检测。对于灰度图像中的每个像素点分别计算其变化梯度(I_x(x,y),I_y(x,y))：

其中，(x,y)表示图像坐标，p表示当前像素的位置坐标，w表示梯度计算的窗口大小。

计算某一像素点梯度矩阵G的特征值可得到两个特征值λ₁和λ₂，两个特征值分别反映了像素点在X轴和Y轴方向上的变化情况，由于较大的不确定度取决于较小的特征值，因此取较小者予以保留，将全部像素点计算后保留的特征值构成特征集。设定角点阀值、最大角点数量以及角点间的容忍距离，本实施例中角点阀值设为0.3，最大角点数量设为500，容忍距离设为7个像素点。对特征值表排序，从高到低选取大于角点阀值的角点，新选取的角点与已有角点的距离应大于容忍距离，且总的角点数不大于所设定的最大角点数量。当取值到达最大角点数后，剩余的角点直接忽略删除。

S2：通过第一帧图像的灰度图像的角点位置运用光流法追踪角点在每一帧图像的灰度图像中的位置，建立角点位置序列。

确定第一帧图像的角点后，使用LK(Lucas-Kanade)光流法计算第一帧图像里角点的光流值，追踪其在第二帧图像中的位置。首先对第一二帧图像进行金字塔搭建，运用LK光流法计算角点n在第二帧的位置a₂，再根据角点n在第二帧的位置a₂推导角点n在第一帧的位置a₁’，比较a₁和a₁’的距离，若两者之差小于阀值d则追踪有用，将a₂放入角点位置序列中，否则删除。依此类推，得到每一帧图像中的角点位置，构成火眼视频的角点位置序列。本发明将阀值设定为一个像素点。

对于视频长度较长的火眼视频，因为帧数过多，可以每五帧运用Shi-Tomasi算法进行角点检测，若新检测出来的角点与原有角点相比偏差较小，则继续沿用原有角点在当前帧的位置，若偏差较大，则以新检测出来的角点作为新角点加入到角点序列中，并追踪建立位置序列。

S3：设定任意一帧未灰度化的图像在红色通道上的阀值，根据红色分量阀值将图像分割为火眼和背景，得到火眼背景分割图，并将角点根据火眼背景分割图划分为火眼角点和背景角点两类，确定火眼角点位置序列和背景角点位置序列。根据ostu阀值法得到最后一帧未灰度化的图像在红色通道上的阀值，根据红色分量阀值将图像分割为火眼和背景，得到火眼背景分割图，对其进行二值化，对二值图像进行腐蚀和膨胀操作，滤除小块干扰区域，得到最后的分割图。并将角点根据火眼背景分割图划分为火眼角点和背景角点两类，确定火眼角点位置序列和背景角点位置序列。本发明实施例选用的是最后一帧未灰度化的图像来进行火眼角点和背景角点的分割的，使用最后一帧来操作相比较于采用中间帧来操作更加的方便。

S4：根据火眼角点位置序列和背景角点位置序列求得火眼角点的真实波动值，根据火眼角点的真实波动值求得火眼波动的幅度和频率。

由于视频拍摄存在波，因此原本不存在波动的背景角点也出现了波动，而本来就存在波动的火眼角点更出现了二次波动，需要将火眼角点的波动减去背景角点的波动得到的才是火眼角点的真实波动值。

H＝{h|h_t＝γ_t+1-γ_t,t＝0,1,2,...,T-1}

其中，t代表帧数，n表示角点；F为火眼角点的位移向量，H为背景角点波动的位移向量，R为真实的火眼角点位移向量；

Frequency＝{f_r|f_r＝T′(k+1)-T′(k),k＝len(T′)}

表示第n个角点在t帧的位移向量，T′表示火眼角点运动方向改变的帧的集合，Range表示火眼角点两次方向改变的运动距离，即幅度；Frequency表示火眼角点两次方向改变所间隔的时间，即频率。

依此类推即可得到火眼角点在每一帧的位移向量，火眼角点运动方向发生改变的帧的集。火眼角点由于自身的波动容易出现短时间内多次的方向改变，通过其中两次方向的改变之间的运动的距离和运动的时间分析火眼角点波动情况，从而作为指导过热度分析的依据。

本发明方法是通过分析视频拍摄过程中背景角点的运动轨迹得到背景的波动特征，得到视频拍摄过程中摄像机的抖动情况。由于背景角点运动轨迹只与摄像机的抖动情况有关系，因此可以通过很少帧数的分析即可得到背景的波动特征从而得到视频拍摄过程中摄像机的抖动情况。将火眼角点的运动轨迹与摄像机的抖动情况相结合即可获得火眼角点的真实运动轨迹。再对火眼角点的真实运动轨迹进行分析得到火眼角点的波动特征以为过热度指导提供依据，如波动频率高，波动幅度大即过热度也相对较低。

依托上述方法，本发明还提出了一种与上述方法配套的***，包括初始角点选择模块、角点序列建立模块、角点序列分类模块和火眼特征提取模块。

初始角点选择模块用于将待分析的铝电解槽火眼视频分解为若干帧RGB图像，对每一帧图像进行灰度化处理得到每一帧图像的灰度图像，并计算第一帧图像的灰度图像的角点。

角点序列建立模块用于通过第一帧图像的灰度图像的角点位置运用光流法追踪角点在每一帧图像的灰度图像中的位置，建立角点位置序列。

角点序列分类模块用于设定最后一帧未灰度化的图像在红色通道上的阀值，根据红色分量阀值将图像分割为火眼和背景，得到火眼背景分割图，并将角点根据火眼背景分割图划分为火眼角点和背景角点两类，确定火眼角点位置序列和背景角点位置序列。

火眼特征提取模块用于根据火眼角点位置序列和背景角点位置序列求得火眼角点的真实波动值，根据火眼角点的真实波动值求得火眼波动的幅度和频率。

将该***与拍摄火眼视频的摄像头连接，可以根据需求实时计算火眼波动的幅度和频率。可以作为火眼过热判断提供指导性依据。

进一步地，初始角点选择模块计算第一帧图像的灰度图像的角点的具体步骤为：

计算灰度图像每个像素点的变化梯度：

其中，(x,y)表示灰度图像任意像素点的坐标，p表示当前像素的位置坐标，w表示梯度计算的窗口大小；

计算各个像素点的空间梯度矩阵G的特征值，保留各个像素点计算得到的特征值中最小的一个，将各像素的最小特征值建立成特征值表；

设定角点阀值、最大角点数量以及角点间的容忍距离，对特征值表排序，从高到低选取大于阀值的角点，新选取的角点与已有角点的距离应大于容忍距离，且总的角点数不大于所设定的最大角点数量。

初始角点选择模块使用角点检测算法计算得到角点保留了图像的特征信息，又减少了信息的数据量，具有稳定性好、鲁棒性强、准确性高和高效性等优点。

进一步地，角点序列分类模块设定最后一帧未灰度化的图像在红色通道上的阀值，根据红色分量阀值将图像分割为火眼和背景，得到火眼背景分割图是通过ostu阀值分割法求取红色通道的阀值，高于阀值的为火眼，低于阀值的为背景，得到火眼背景的二值图像，对二值图像进行腐蚀和膨胀处理滤除小块的干扰区域，得到火眼背景分割图。

进一步地，火眼特征提取模块根据火眼角点位置序列和背景角点位置序列求得火眼角点的真实波动值，根据火眼角点的真实波动波动值求得火眼波动的幅度和频率的具体步骤为：

根据火眼角点位置序列计算相邻两帧之间火眼角点位移向量，根据背景角点位置序列计算相邻两帧之间的背景角点位移向量，通过火眼角点位移向量和背景角点位移向量计算得到真实火眼角点位移向量：

H＝{h|h_t＝γ_t+1-γ_t,t＝0,1,2,...,T-1}

其中，t代表帧数，n表示角点；F为火眼角点的位移向量，H为背景角点波动的位移向量，R为真实的火眼角点位移向量；

根据真实火眼角点位移向量得到角点波动方向改变的点，计算改变方向的点的距离以及改变方向之间的帧数，得到火眼波动幅度和频率

Frequency＝{f_r|f_r＝T′(k+1)-T′(k),k＝len(T′)}

其中，

表示第n个角点在t帧的位移向量；T′表示角点运动方向改变的时间点的集合；Range表示角点两次方向改变的运动距离，即幅度；Frequency表示角点两次方向改变所间隔的时间，即频率。

进一步地，初始角点选择模块中角点阀值设为0.3，最大角点数量设为500，容忍距离设为7个像素点。

综上可知，本发明通过分析拍摄的铝电解槽火眼视频，提取火眼波动幅度和频率，通过火眼波动幅度和频率指导对于过热度的判断。且本发明提出的方法测量过程简单，测量费用低，测量时间短，具有很好的实时性。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种铝电解槽火眼视频动态特征识别方法，其特征在于，包括以下步骤：

将待分析的铝电解槽火眼视频分解为若干帧RGB图像，对每一帧图像进行灰度化处理得到每一帧图像的灰度图像，并计算第一帧图像的灰度图像的角点；

通过第一帧图像的灰度图像的角点位置运用光流法追踪角点在每一帧图像的灰度图像中的位置，建立角点位置序列；

设定任意一帧未灰度化的图像在红色通道上的阀值为红色分量阀值，根据红色分量阀值将图像分割为火眼和背景，得到火眼背景分割图，并将角点根据火眼背景分割图划分为火眼角点和背景角点两类，确定火眼角点位置序列和背景角点位置序列；

根据火眼角点位置序列和背景角点位置序列求得火眼角点的真实波动值，根据火眼角点的真实波动值求得火眼波动的幅度和频率，所述根据火眼角点位置序列和背景角点位置序列求得火眼角点的真实波动值，根据火眼角点的真实波动波动值求得火眼波动的幅度和频率的具体步骤为：

根据火眼角点位置序列计算相邻两帧之间火眼角点位移向量，根据背景角点位置序列计算相邻两帧之间的背景角点位移向量，通过火眼角点位移向量和背景角点位移向量计算得到真实火眼角点位移向量：

H＝{h|h_t＝γ_t+1-γ_t,t＝0,1,2,...,T-1}

其中，t代表帧数，n表示角点，F为火眼角点的位移向量，H为背景角点波动的位移向量，R为真实的火眼角点位移向量；

根据真实火眼角点位移向量得到角点波动方向改变的点，计算两次发生方向改变的点之间的距离以及两次发生方向改变的点之间的帧数，得到火眼波动幅度和频率：

Frequency＝{f_r|f_r＝T′(k+1)-T′(k),k＝len(T′)}

其中，

表示第n个角点在t帧的位移向量；T′表示角点运动方向改变的帧的集合；Range表示角点两次方向改变的运动距离，即幅度；Frequency表示角点两次方向改变所间隔的时间，即频率。

2.根据权利要求1所述的一种铝电解槽火眼视频动态特征识别方法，其特征在于，所述计算第一帧图像的灰度图像的角点的具体步骤为：

计算灰度图像每个像素点的变化梯度：

其中，(x,y)表示灰度图像任意像素点的坐标，p表示当前像素的位置坐标，w表示梯度计算的窗口大小；

计算各个像素点的空间梯度矩阵G的特征值，保留各个像素点计算得到的特征值中最小的一个，将各像素的最小特征值建立成特征值表；

设定角点阀值、最大角点数量以及角点间的容忍距离，对特征值表排序，从高到低选取大于阀值的角点，新选取的角点与已有角点的距离应大于容忍距离，且总的角点数不大于所设定的最大角点数量。

3.根据权利要求1所述的一种铝电解槽火眼视频动态特征识别方法，其特征在于，所述设定任意一帧未灰度化的图像在红色通道上的阀值为红色分量阀值，根据红色分量阀值将图像分割为火眼和背景，得到火眼背景分割图是通过ostu阀值分割法求取红色通道的阀值，高于阀值的为火眼，低于阀值的为背景，得到火眼背景的二值图像，对二值图像进行腐蚀和膨胀处理滤除小块的干扰区域，得到火眼背景分割图。

4.根据权利要求2所述的一种铝电解槽火眼视频动态特征识别方法，其特征在于，所述角点阀值设为0.3，最大角点数量设为500，容忍距离设为7个像素点。

5.一种铝电解槽火眼视频动态特征识别***，其特征在于，包括初始角点选择模块、角点序列建立模块、角点序列分类模块和火眼特征提取模块，所述初始角点选择模块用于将待分析的铝电解槽火眼视频分解为若干帧RGB图像，对每一帧图像进行灰度化处理得到每一帧图像的灰度图像，并计算第一帧图像的灰度图像的角点；所述角点序列建立模块用于通过第一帧图像的灰度图像的角点位置运用光流法追踪角点在之后每一帧图像的灰度图像中的位置，建立角点位置序列；所述角点序列分类模块用于设定最后一帧未灰度化的图像在红色通道上的阀值，根据红色分量阀值将图像分割为火眼和背景，得到火眼背景分割图，并将角点根据火眼背景分割图划分为火眼角点和背景角点两类，确定火眼角点位置序列和背景角点位置序列；所述火眼特征提取模块用于根据火眼角点位置序列和背景角点位置序列求得火眼角点的真实波动值，根据火眼角点的真实波动值求得火眼波动的幅度和频率，所述火眼特征提取模块根据火眼角点位置序列和背景角点位置序列求得火眼角点的真实波动值，根据火眼角点的真实波动波动值求得火眼波动的幅度和频率的具体步骤为：

根据火眼角点位置序列计算相邻两帧之间火眼角点位移向量，根据背景角点位置序列计算相邻两帧之间的背景角点位移向量，通过火眼角点位移向量和背景角点位移向量计算得到真实火眼角点位移向量：

H＝{h|h_t＝γ_t+1-γ_t,t＝0,1,2,...,T-1}

其中，t代表帧数，n表示角点；F为火眼角点的位移向量，H为背景角点波动的位移向量，R为真实的火眼角点位移向量；

根据真实火眼角点位移向量得到角点波动方向改变的点，计算改变方向的点的距离以及改变方向之间的帧数，得到火眼波动幅度和频率：

Frequency＝{f_r|f_r＝T′(k+1)-T′(k),k＝len(T′)}

其中，

表示第n个角点在t帧的位移向量；T′表示角点运动方向改变的帧的集合；Range表示角点两次方向改变的运动距离，即幅度；Frequency表示角点两次方向改变所间隔的时间，即频率。

6.根据权利要求5所述的一种铝电解槽火眼视频动态特征识别***，其特征在于，所述初始角点选择模块计算第一帧图像的灰度图像的角点的具体步骤为：

计算灰度图像每个像素点的变化梯度：

其中，(x,y)表示灰度图像任意像素点的坐标，p表示当前像素的位置坐标，w表示梯度计算的窗口大小；

计算各个像素点的空间梯度矩阵G的特征值，保留各个像素点计算得到的特征值中最小的一个，将各像素的最小特征值建立成特征值表；

设定角点阀值、最大角点数量以及角点间的容忍距离，对特征值表排序，从高到低选取大于阀值的角点，新选取的角点与已有角点的距离应大于容忍距离，且总的角点数不大于所设定的最大角点数量。

7.根据权利要求5所述的一种铝电解槽火眼视频动态特征识别***，其特征在于，所述角点序列分类模块通过ostu阀值法得到任意一帧未灰度化的图像在红色通道上的阀值，根据红色分量阀值将图像分割为火眼和背景，高于阀值的为火眼，低于阀值的为背景，得到火眼背景的二值图像，对二值图像进行腐蚀和膨胀处理滤除小块的干扰区域，得到火眼背景分割图。

8.根据权利要求6所述的一种铝电解槽火眼视频动态特征识别***，其特征在于，所述初始角点选择模块中角点阀值设为0.3，最大角点数量设为500，容忍距离设为7个像素点。

Images