CN105551014A - 基于具有时空联合信息的信念传播算法的图像序列变化检测方法 - Google Patents

Abstract

基于具有时空联合信息的信念传播算法的图像序列变化检测方法。本发明利用背景像素在时间上的缓变特性，同时计算各像素点的时域相关函数来弥补空间域信息在复杂场景中易受干扰的缺陷。融合了时域和空域联合信息的信念传播算法，同时考虑像素之间的空域相关性和时域相关性，并利用时间矩阵记录背景变化并调整时间域相关函数。通过计算输入的序列图像和参考背景中每个像素所得到的最小信息量，选择信息量最小的像素作为背景像素，通过比较输入的序列图像中像素和背景像素置信度的大小，实现变化目标的检测，本算法可解决诸如动态场景、恶劣环境、尤其是目标与背景颜色相近情况下变化目标的检测。

Description

基于具有时空联合信息的信念传播算法的图像序列变化检测方法

1、技术领域

本发明涉及图像序列或视频中变换目标检测的一种方法。通过信念传播算法实现像素间时间和空间信息的传递和交换，即计算邻域内各像素点之间的空间域相关函数作为信息量，考虑到诸如动态场景、恶劣环境、相机抖动、目标与背景颜色相近等情况，利用背景像素在时间上具有缓变特性，同时计算各像素点的时间域相关函数来弥补空间域信息在复杂场景中容易受到干扰的缺陷，并利用时间矩阵记录背景变化并调整时域信息函数。利用基于时域和空域联合信息置信传播算法，计算输入的序列图像和参考背景中每个像素所得到的最小信息量，选择信息量最小的像素作为背景像素，通过比较输入的序列图像中像素和背景像素置信度的大小，实现变化目标的检测，尤其解决目标与背景颜色相近情况下变化目标的检测。

2、背景技术

图像序列变化检测是对同一场景不同时刻拍摄的序列图像，检测出具有显著变化的像素集合的过程。它是图像处理和计算机视觉中重要基础工作。由于大量重要的视觉信息都包含在运动或变化的目标中，变化检测在异常检测、辅助驾驶、目标跟踪、医学诊断治疗等领域有着广泛应用。

目前变化检测面临三大难题，首先是变化和静止的相对性，极低速度的运动目标可视为静止背景，而静止背景中可能存在局部或微弱的波动，如水面的波动和植物的晃动等；其次是场景的光照变化，图像序列中场景的光照变化要求算法能够不断更新参考背景，若部分背景区域长时间被变化目标遮挡，未能及时更新，一旦变化目标突然离开，将导致该部分背景区域出现虚假变化现象。而且某些场景中的光照变化是非常剧烈的，如室外场景中阳光突然被乌云遮住、室内环境中开关灯或窗帘等情况，若不能迅速重建参考背景，将导致长时间大范围的检测误差。最后是密集的变化目标，密集的变化目标使得某些区域的静态背景无法更新，只能借助于诸如补图技术等其他方法。

图像序列变化检测主要有帧间差分法、背景减除法、光流法以及能量优化法等。帧间差分法使用相邻帧之间差来得到可能包含变化的区域，它易实现且运算速度快，也是很多变化检测算法的基础；背景减除法通过构造背景模型，然后将待检测帧与背景做差分运算，再根据序列图像本身的特征或人为设定得到阈值，最后通过阈值判断得到变化目标。常用的背景模型包括高斯模型、混合高斯模型、码本模型等；光流法通过研究图像灰度在时间上的变化与图像中物体结构及其运动的关系进行变化检测；能量优化法以静止背景和变化前景分割为目标，通过优化目标函数，实现背景和变化目标的最佳分离。通常借助于马尔科夫随机场的先验假设，将静止背景和变化前景分割的最大后验概率估计问题转化为能量最小化问题。常用的能量最小化方法有模拟退火、条件迭代模式、最大流最小切，置信传播和树重加权的置信传播等。以上算法中，背景减除法应用最广，背景建模方式多样，其计算强度优于光流法，检测精准度优于帧间差分法，但背景减除法的一个突出问题是无法适应光照突变，目前基于能量优化的变化检测算法日益受到重视，该方法具有适应性强，能够有效削弱检测过程中生成的残影。

在实际应用中，由于变化目标运动的随机性、应用场景的复杂性、变化和静止的相对性、背景受光照变化、变化物体对背景的遮挡以及各类噪声等因素的影响，变化检测算法可靠性和准确性有待提高，而实时性提高可以满足实际应用场合的要求。

3、发明内容

(1)基于信念传播的能量优化法的变化检测原理

信念传播算法是一种建立在以马尔科夫随机场模型上的能量函数优化方法，用于求解概率图模型中的概率推断问题，信念传播算法利用已知节点的消息，迭代传递给邻近节点，从而计算出各个未知节点的边缘概率分布。

将MRF中的每个节点看作一个信念变量，消息传播过程包含消息传递和消息更新两个步骤，信念传播过程中每个节点都要向其邻域节点传递当前最新消息，邻节点接收到消息后立即更新自身消息直到算法收敛，即节点接收消息后自身信息量不再变化。

定义变量表示第t次迭代从节点i向其邻节点j传递的消息，其值代表的是节点j处于某一状态的概率大小，其中节点i和j互为邻节点，且两者的消息值关系密切。

节点i状态的概率定义为b_i(x_i)，表示节点i处于状态x的概率，也可理解为信念传播过程中节点i的信息量，可由下式表示：

其中N(i)表示节点i的相邻节点集，节点i处于状态x的概率由空间局部证据φ_i(x_i)和所有相邻节点的消息之和构成。每个消息的计算公式如下：

将式(1)代入(2)得到消息更新公式：

式(3)中N(q)\p表示除p节点外q的其他邻域像素，表示第t-1次更新像素q获得的信息量，ψ_i，j和φ_i(x_i)分别表示空域信息和时域信息。

(2)空间域信息量的计算方法

通常背景像素比变化像素更加平滑，背景像素间的相关函数值比背景与变化像素之间的相关函数值要小，根据这一规律可以判断像素归属，实现背景与变化目标分离。将序列图像的背景看成一个马尔科夫随机场，其每个像素对应马尔科夫随机场中相同位置的节点。选取时域和空域相关函数作为信念传播过程中节点间交流的信息，当节点位置固定，节点所对应的值随时间发生变化，这时不同值之间的相关程度可以由时域相关函数表示，节点与其邻域节点的相关程度则由空域相关函数表示。

设空域相关函数用表示，意为t时刻像素点i和像素点j的相关性，其中i≠j。空域相关函数可取像素间的绝对差平方差和相对差作为空域信息函数。

(3)时间域信息量的计算方法

一般在静止背景场景中，某一像素点出现频率越高则认为他属于背景像素的概率越大。当遇到更复杂场景时，即背景像素空域并不那么平滑，相关函数值较大，如动态场景、恶劣环境、相机抖动等情况。此时，仅利用像素之间的空域信息得到的检测结果误差极大，而通过联合像素时域信息可以有效提高检测性能，因为背景中干扰的像素集往往具有一定的周期性和规律，如飘扬的旗帜、波动的水面以及播放中的显示屏等，而背景像素在时间上具有缓变特性，可以用来弥补空域信息在复杂场景中容易受到干扰的缺陷。此类情况下，变化像素的时域相关函数值要大于背景像素的时域相关函数值，所以空域和时域的联合可以提高检测的准确率。

时域相关函数用表示，时域相关函数可取均值平方差中值平方差增量平方差等，其中0＜τ＜1，具体取值根据场景来定，若序列图像连续性较好τ可取较大值。I_med和I′分别表示时间段T内输入的图像序列在像素点i处的均值、中值和增量值。

一般在室外场景中背景容易受到光照、雨雪等天气变化的干扰，背景总是处于不断变化之中，因此仅仅利用局部时间段内的均值等数据计算得到的参考背景是不合适的，因其会导致时间相关函数存在较大误差。由于背景的颜色和灰度具有缓慢变化的特性，背景像素的变化通常是平滑连续的，基于背景像素稳定性特征提出一种新的时间域信息函数。定义t时刻时间矩阵T^t用于度量像素点的时间稳定性，时间矩阵公式如下：

其中c为判断背景像素变化的阈值，d^t＝|I^t-I^t-1|为两帧图像之间的距离，值越大说明像素i越稳定，反之亦然。本发明利用信念传播得到的检测结果作为T^t计算的依据，而不是简单地采用帧差计算d^t。

在t时刻获取背景初始估计估计背景和时间矩阵更新公式如下：

B^t＝I^tM^t+B^t-1(E-M^t)(5)

T^t＝T^t-1(-M^t)+T^t-1(E-M^t)(6)

其中E为单位矩阵，M^t用于记录时间矩阵T^t的符号变化，对时间矩阵进行更新的目的是对稳定区域进行加强，其他区域加入当前帧图像的信息。估计得到的B^t作为当前参考背景，将当前帧实际背景与估计出来的参考背景做差后平方，本发明采用的时间域信息函数公式如下：

其中0＜τ＜1，为像素点i处采用时间矩阵估计得到的背景。

(4)变化目标的分离

信念传播算法在迭代优化过程中令图像各节点相互传递信息，直到像素信息收敛得到近似最优解。序列图像中背景像素的信息量变化相对平滑，一般不存在大幅度波动，而变化目标像素的信息量变动幅度较大，如果当前帧图像像素的信息量b_i远远大于背景像素的信息量b₀，则可将该像素判定为变化目标像素。用公式(8)表示如下：

其中Δb＝|b_t-b₀|，和分别是背景像素信息量的均值和方差，α＞0。

4、附图说明

附图是本发明方法的原理和实现步骤说明

5、具体实施方式

步骤1：计算序列图像中每一个像素点的时域相关函数和相邻像素之间的空间域信息函数

步骤2：初始化所有相邻像素对的信息值，可取任意常数，i和j代表图像中相邻像素对。

步骤3：计算图像序列之间的相对差作为空间域信息函数，并根据公式(7)得到时间域信息函数

步骤4：按公式(3)对各像素传递的信息进行更新，更新之后按照式(1)计算各自更新后的信息量b_i(x_i)。

步骤5：选择信息量最小的像素标记为背景像素i*，按下式选取

步骤6：对比图像中同一位置的待检测像素和背景像素的信息量，按照公式(8)计算得到当前帧变化像素。

步骤7：检测得到当前帧变化像素之后，利用时间矩阵T^t记录时域信息变更情况用于下一时刻的对参考背景的估计。

步骤8：重复步骤3至步骤7，得到序列图像变化目标。

Claims (5)

1.一种基于具有时空联合信息的信念传播算法的图像序列变化检测方法，其特征是

通过信念传播算法实现像素间的时间和空间信息的传递和交换，即计算邻域内各像素点之间的空间域相关函数作为信息量，并利用背景像素在时间上具有缓变特性，计算各像素点的时间域相关函数来弥补空间域信息在复杂场景中容易受到干扰的缺陷，并利用时间矩阵记录背景变化并调整时域信息函数。最后，计算输入的序列图像和参考背景中每个像素所得到的最小信息量，选择信息量最小的像素作为背景像素，通过比较输入的序列图像中像素和背景像素置信度的大小，实现变化目标的检测，尤其解决目标与背景颜色相近情况下变化目标的检测。

2.如权利要求1所述的一种基于具有时空联合信息的信念传播算法的图像序列变化检测方法，其特征是所述以空间域相关函数和时间域相关函数作为信息量

将序列图像的背景看成一个马尔科夫随机场，其每个像素对应马尔科夫随机场中相同位置的节点。选取时域和空域相关函数作为信念传播过程中节点间交流的信息，当节点位置固定，节点所对应的值随时间发生变化，这时不同值之间的相关程度可以由时域相关函数表示，节点与其邻域节点的相关程度则由空域相关函数表示。

设空域相关函数用表示，意为t时刻像素点i和像素点j的相关性，其中i≠j。空域相关函数可取像素间的绝对差平方差和相对差 ${\mathrm{\ψ}}_{i,j}^t(I_i^t,I_j^t)=|I_i^t-I_j^t|/I_j^t$ 作为空域信息函数。

通常背景像素比变化像素更加平滑，背景像素间的相关函数值比背景与变化像素之间的相关函数值要小，根据这一规律可以判断像素归属，实现背景与变化目标分离。一般在静止背景场景中，某一像素点出现频率越高则认为他属于背景像素的概率越大。当遇到更复杂场景时，即背景像素空域并不那么平滑，相关函数值较大，如动态场景、恶劣环境、相机抖动等情况。此时，仅利用像素之间的空域信息得到的检测结果误差极大，而通过联合像素时域信息可以有效提高检测性能，因为背景中干扰的像素集往往具有一定的周期性和规律，如飘扬的旗帜、波动的水面以及播放中的显示屏等，而背景像素在时间上具有缓变特性，可以用来弥补空域信息在复杂场景中容易受到干扰的缺陷。

时域相关函数用表示，时域相关函数可取均值平方差中值平方差增量平方差等，其中0＜τ＜1，具体取值根据场景来定，若序列图像连续性较好τ可取较大值。I_med和I′分别表示时间段T内输入的图像序列在像素点i处的均值、中值和增量值。

此类情况下，变化像素的时域相关函数值要大于背景像素的时域相关函数值，所以空域和时域的联合可以提高检测的准确率。空域和时域信息联合后，利用信念传播算法分离得到的背景像素将同时得到它周围像素点和其他时刻像素点的认可。

3.如权利要求1所述的一种基于具有时空联合信息的信念传播算法的图像序列变化检测方法，其特征是所述的基于背景像素稳定性特征的新的时间域信息函数的计算方法，其特征是：

一般在室外场景中背景容易受到光照、雨雪等天气变化的干扰，背景总是处于不断变化之中，因此仅仅利用局部时间段内的均值等数据计算得到的参考背景是不合适的，因其会导致时间相关函数存在较大误差。由于背景的颜色和灰度具有缓慢变化的特性，背景像素的变化通常是平滑连续的，基于背景像素稳定性特征提出一种新的时间域信息函数。定义t时刻时间矩阵T^t用于度量像素点的时间稳定性，时间矩阵公式如下：

$T^t=\left\{\begin{array}{c}{T}^{t-1}+1,d^t<c\\ T^{t-1}-1,d^t\&GreaterEqual;c\end{array}\right.---\left(1\right)$

其中c为判断背景像素变化的阈值，d^t＝|I^t-I^t-1|为两帧图像之间的距离，T_i ^t值越大说明像素i越稳定，反之亦然。本发明利用信念传播得到的检测结果作为T^t计算的依据，而不是简单地采用帧差计算d^t。

在t时刻获取背景初始估计估计背景和时间矩阵更新公式如下：

B^t＝I^tM^t+B^t-1(E-M^t)(2)

T^t＝T^t-1(-M^t)+T^t-1(Z-M^t)(3)

其中E为单位矩阵， $M^t=\left\{\begin{array}{c}1,T^t<0\\ 0,T^t\&GreaterEqual;0\end{array}\right.,$ M^t用于记录时间矩阵T^t的符号变化，对时间矩阵T_i ^t进行更新的目的是对稳定区域进行加强，其他区域加入当前帧图像的信息。估计得到的B^t作为当前参考背景，将当前帧实际背景与估计出来的参考背景做差后平方，本发明采用的时间域信息函数公式如下：

${\mathrm{\&phi;}}_i^{t,T}=\mathrm{\&tau;}{(I_i^t-B_i^t)}^2---\left(4\right)$

其中0＜τ＜1，B_i ^t为像素点i处采用时间矩阵估计得到的背景。

4.如权利要求1所述的一种基于具有时空联合信息的信念传播算法的图像序列变化检测方法，其特征是所述的信念传播过程中节点信息量的计算方法是：

定义变量表示第t次迭代从节点i向其邻节点j传递的消息，其值代表的是节点j处于某一状态的概率大小，其中节点i和j互为邻节点，且两者的消息值关系密切。

节点i状态的概率定义为b_i(x_t)，表示节点i处于状态x的概率，也可理解为信念传播过程中节点i的信息量，可由下式表示：

$b_i\left(x_i\right)=k\{{\mathrm{\&phi;}}_i\left(x_i\right)+\underset{k\&Element;N\left(i\right)}{\&Sigma;}{m}_{k\&RightArrow;i}\left(x_i\right)\}---\left(5\right)$

其中N(i)表示节点i的相邻节点集，节点i处于状态x的概率由空间局部证据φ_t(x_t)和所有相邻节点的消息之和构成。每个消息的计算公式如下：

$m_{i\&RightArrow;j}^t\left(x_j\right)=\underset{x_i}{min}\{{\mathrm{\&psi;}}_{i,j}+b_i\left(x_i\right)\}---\left(6\right)$

将式(5)代入(6)得到消息更新公式：

$m_{i\&RightArrow;j}^t\left(x_j\right)=\underset{x_i}{min}\{{\mathrm{\&phi;}}_i\left(x_i\right)+{\mathrm{\&psi;}}_{i,j}+\underset{k\&Element;N\left(i\right)\backslash j}{\&Sigma;}{m}_{k\&RightArrow;i}^{t-1}\left(x_i\right)\}---\left(7\right)$

式(7)中N(q)\p表示除p节点外q的其他邻域像素，表示第t-1次更新像素q获得的信息量，ψ_i，j和φ_i(x_i)分别表示空域信息和时域信息。

5.如权利要求1所述的一种基于具有时空联合信息的信念传播算法的图像序列变化检测方法，其特征是所述的变化目标的分离的计算方法是

信念传播算法在迭代优化过程中令图像各节点相互传递信息，直到像素信息收敛得到近似最优解。序列图像中背景像素的信息量变化相对平滑，一般不存在大幅度波动，而变化目标像素的信息量变动幅度较大，如果当前帧图像像素的信息量b_t远远大于背景像素的信息量b₀，则可将该像素判定为变化目标像素。用公式(8)表示如下：

$Cmask=\left\{\begin{array}{c}1,{\mathrm{\&Delta;b}}_i\left(x_i\right)>\stackrel{\&OverBar;}{b_i}+{\mathrm{\&alpha;b}}_i^v\\ 0,{\mathrm{\&Delta;b}}_i\left(x_i\right)\&le;\stackrel{\&OverBar;}{b_i}+{\mathrm{\&alpha;b}}_i^v\end{array}\right.,i\&Element;I---\left(8\right)$

其中Δb＝|b_t-b₀|，和分别是背景像素信息量的均值和方差，α＞0。