CN103077534B - 时空多尺度运动目标检测方法 - Google Patents

Abstract

本发明公开了一种时空多尺度运动目标检测方法，采用多尺度图像分块，以及子块重叠逼近潜在运动目标区大小的思想，寻找适合运动目标的最合适的分块大小和分块位置，来检验和定位不同大小的运动目标的运动区域；针对空间多尺度运动显著性检验所得到的运动区域，对其进行时间多尺度差分处理，由小到大调整帧间差分间隔，搜寻每个运动区域内达到最优运动显著性状态时的帧间间隔，从而实现检测和跟踪出各个运动目标。本发明同时考虑了空间多尺度和时间多尺度，能够检测出复杂背景图象中具有不同位置、尺寸和运动速度的多个运动目标。

Description

时空多尺度运动目标检测方法

技术领域

本发明属于计算机视觉与成像目标自动识别的科学技术领域，具体涉及一种时空多尺度运动目标检测分析方法。

背景技术

在现实的场景中，特别是复杂背景条件下，存在各种大小尺寸的运动对象及各种运动速度的对象需要一并检测和分析。然而，现有的大多数方法和算法是单一时间尺度的，即依据相邻帧的逐帧检测。例如相邻帧的差分，仅能检测快速移动的目标，不具备检测各种运动快慢目标的适应能力，性能不稳定，漏警率和虚警率高。对于不同空间分布和大小的目标，也仅能应对尺度范围固定或较窄的情形。更重要的是，现存的方法缺乏一个处理时间—空间尺度的统一的架构性的解决途径，多为就事论事(ad hoc)，不具备同时检测分析各种空间尺度和各种时间尺度运动对象的适应性和有效性。

采用具有自适应背景更新的背景减法的运动目标检测方法，是目前智能监控***研究的热点。它通过寻找具有自适应性的背景模型，让背景参考图像能适应场景的变化，以改善传统背景减法的检测效果。Stauffer与Grimson利用自适应的高斯混合模型对每个像素用高斯混合分布建模，并且利用在线估计来更新模型，从而可靠地处理了背景混乱运动的干扰等影响。这种像素级的高斯混合模型能有效的描述多峰背景，在一定条件下能随动态背景自适应变化，在运动目标检测中取得了较好的效果，因此受到广泛的关注。但是该方法没有时间多尺度的概念，其背景模型对运动物体的速度变化很敏感，对于长时间停滞物体由背景变成前景运动物体时，存在背景模型更新速度较慢的问题；同时算法也减弱了慢速运动物体对背景模型的影响。事实上，场景中各种运动速度的物体都可能出现，因此背景更新速率与所有运动物体的速度相匹配是不可能的。

发明内容

本发明提供了一种时空多尺度运动目标检测分析方法，该方法考虑了空间多尺度和时间多尺度，能够检测出复杂背景图象中具有不同位置、尺寸和运动速度的多个运动目标。

本发明提供的一种时空多尺度运动目标检测方法，具体为：

(1)确定M个窗口，其尺寸从小到大依次为：

(S_{min_x},S_{min_y}),(S_{min_x}+ΔS_x,S_{min_y}+ΔS_y),…,(S_{min_x}+(M-1)ΔS_x,S_{min_y}+(M-1)ΔS_y)；

(2)利用最小窗口(S_{min_x},S_{min_y})分别对t时刻的帧图像f_t(x,y)和t+Δt时刻的帧图像f_t+Δt(x,y)逐像素点遍历，得到每一像素点(x,y)对应的窗口区域和

(3)计算最小窗口(S_{min_x},S_{min_y})在像素点(x,y)处的覆盖区域Ω_x,y的运动显著性度量值Value_change(x,y)＝Diff_gray(x,y)^1/α×Diff_area(x,y)^1/β，其中， ${\mathrm{Diff}}_{\mathrm{gray}}(x,y)=\frac{\underset{(i,j)\∈{\mathrm{\Ω}}_{x,y}}{\mathrm{\Σ}}|f_t(i,j)-f_{t+\mathrm{\Δt}}(i,j)|}{\underset{(i,j)\∈{\mathrm{\Ω}}_{x,y}}{\mathrm{\Σ}}{\mathrm{MAX}}_{\mathrm{gray}}},$ ${\mathrm{Diff}}_{\mathrm{area}}(x,y)=\frac{\underset{(i,j)\∈{\mathrm{\Ω}}_{x,y}}{\mathrm{\Σ}}(f_t(i,j),f_{t+\mathrm{\Δt}}(i,j))}{{\mathrm{MAX}}_{\mathrm{area}}},$ MAX_gray为帧图像的像素点最大灰度值，MAX_area为最大窗口(S_{min_x}+(M-1)ΔS_x,S_{min_y}+(M-1)ΔS_y)覆盖的图像区域的像素点总数，α和β为大于零的常数， $\mathrm{\δ}(p,q)=\left\{\begin{array}{c}1,p\≠q\\ 0,p=q\end{array}\right.;$

(4)若运动显著性度量值Value_change(x,y)大于等于预定阈值，则认定区域Ω_x,y属于运动显著性区域，否则，区域Ω_x,y不属于运动显著性区域；记属于运动显著性区域Ω_x,y对应的像素点为运动标记像素点(x′,y′)；

(5)利用窗口(S_{min_x}+mΔS_x,S_{min_y}+mS_y),m＝1,…,M-1对图像f_t(x,y)和图像的运动标记像素点(x′,y′)进行遍历，得到每一运动标记像素点对应的窗口区域和

(6)计算窗口(S_{min_x}+mΔS_x,S_{min_y}+mS_y),m＝1,…,M-1在运动标记像素点(x′,y′)处的覆盖区域的运动显著性度量值 ${{\mathrm{Value}}_{\mathrm{change}}}^{{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}(x^{\′},y^{\′})={{\mathrm{Diff}}_{\mathrm{gray}}}^{{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}{(x^{\′},y^{\′})}^{1/\mathrm{\α}}\×{{\mathrm{Diff}}_{\mathrm{area}}}^{{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}{(x^{\′},y^{\′})}^{1/\mathrm{\β}},$ 其中， ${{\mathrm{Diff}}_{\mathrm{area}}}^{{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}(x^{\′},y^{\′})=\frac{\underset{(i,j)\∈{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}{\mathrm{\Σ}}\mathrm{\δ}(f_t(i^{\′},j^{\′}),f_{t+\mathrm{\Δt}}(i^{\′},y^{\′}))}{{\mathrm{MAX}}_{\mathrm{area}}},$ ${{\mathrm{Diff}}_{\mathrm{gray}}}^{{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}(x^{\′},y^{\′})=\frac{\underset{(i,j)\∈{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}{\mathrm{\Σ}}|f_t(i^{\′},j^{\′})-f_{t+\mathrm{\Δt}}(i^{\′},y^{\′})|}{\underset{(i,j)\∈{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}{\mathrm{\Σ}}{\mathrm{MAX}}_{\mathrm{gray}}};$

(7)针对每一运动标记像素点(x′,y′)，从其对应的M个运动显著性度量值即Value_change(x′,y′)和中选取最大值，该最大值对应的覆盖区域即为运动显著性区域，记为ω_x′,y′；

(8)令帧间间隔Δt_x′,y′从最小时间间隔Δt_min向最大时间间隔Δt_max逐渐增大，计算每一运动显著性区域ω_x′,y′的运动显著性强度 $s\left({\mathrm{\Δt}}_{x^{\′},y^{\′}}\right)=\underset{(x^{\′\′},y^{\′\′})\∈{\mathrm{\ω}}_{x^{\′},y^{\′}}}{\mathrm{\Σ}}\mathrm{\δ}(f_t(x^{\′\′},y^{\′\′}),f_{t+{\mathrm{\Δt}}_{x^{\′},y^{\′}}}(x^{\′\′},y^{\′\′}))$ 或 $s\left({\mathrm{\Δt}}_{x^{\′},y^{\′}}\right)=\underset{(x^{\′\′},y^{\′\′})\∈{\mathrm{\ω}}_{x^{\′},y^{\′}}}{\mathrm{\Σ}}\mathrm{\δ}(f_t(x^{\′\′},y^{\′\′}),f_{t-{\mathrm{\Δt}}_{x^{\′},y^{\′}}}(x^{\′\′},y^{\′\′}));$

当Δt_x′,y′到达某一值时，s(Δt_x′,y′)转为收敛状态即s(Δt_x′,y′)的变化率趋近于零，则认定该值为ω_x′,y′的最优时间间隔若Δt_x′,y′在从Δt_min到Δt_max变化范围内，s(Δt_x′,y′)未转为收敛状态，则认定Δt_max为ω_x′,y′的最优时间间隔

(9)对t时刻的帧图像f_t(x,y)与时刻的帧图像或时刻的帧图像的每个运动显著性区域ω_x′,y′间做帧间差分，对差分结果进行连通域标记，从而得到各区域内的运动目标。

本发明的技术效果体现在：

本发明定义了最佳运动显著性区域度量准则，提出了多尺度图像分块，以及子块重叠逼近潜在运动目标区大小的思想，寻找适合运动物体的最合适的分块大小和分块位置，来检验和定位不同大小的运动目标的运动区域；针对空间多尺度运动显著性检验所得到的运动区域，对其进行时间多尺度差分处理，由小到大调整帧间差分间隔，搜寻每个运动区域内达到最优运动显著性状态时的帧间间隔，从而实现检测和跟踪出各个运动目标。通过将这两者结合起来，达到非常好的检测效果。

本发明同时考虑了空间多尺度和时间多尺度，能够检测复杂背景中的具有不同时—空位置、尺寸、运动速度的多个运动目标；能够根据检测结果，给出各运动目标的时—空特征矢量；并且，由于算法一开始就区分了背景和运动区域，并仅对运动区域进行算法处理，故还具有很好的实时性。

附图说明

图1是本发明方法流程图；

图2是四种典型的运动显著性区域分块示意图，其中，图2(a)是窗口区域在目标内部的情况，图2(b)是目标的一部分在窗口区域中的情况，图2(c)是目标在窗口区域内部，窗口区域尺寸比目标大的情况，图2(d)是窗口区域与目标重合的情况。

图3是同一大小窗口区域重叠示意图，其中，3(a)为窗口区域，3(b)为两左右窗口区域重叠，3(c)为上下窗口区域重叠，3(d)为四块上下左右窗口区域重叠；

图4是不同大小窗口区域重叠覆盖示意图；

图5是多目标差分强度与帧间间隔的关系图；

图6是空间多尺度运动显著性检验实例示意图，其中，图6(a)为前第5帧图像；6(b)为当前帧图像；6(c)为后第5帧图像；6(d)为单一空间尺度分块无重叠效果；6(e)为单一空间尺度分块有重叠效果；6(f)为空间多尺度分块效果；

图7是时间多尺度差分检测实例示意图，其中，7(a)为时间段基准图像第15帧；7(b)为空间多尺度运动显著性度量结果；7(c)为运动显著性区域细化结果；7(d)为时间多尺度差分检测结果；7(e)为运动显著性强度与帧间间隔关系图；

图8是动平台运动检测实例的结果示意图，其中8(a)为序列段图像第25帧；8(b)为序列段图像第30帧；8(c)为序列段图像后35帧；8(d)为第25帧相对于当前帧(第30帧)的配准后的图；8(e)为当前帧待检测图；8(f)为第35帧相对于当前帧(第30帧)的配准后的图；8(g)为街道区域运动显著性图；8(h)为街道区域运动检测图；8(i)为时—空多尺度运动检测结果图。

具体实施方式

下面结合附图和实例对本发明作进一步详细的说明。

本发明方法流程如图1所示。对于输入的图像序列，设其中t时刻获取的图像为f_t(x,y)，其时空变尺度运动目标检测分析方法如下：

(1)确定M个窗口，其尺寸从小到大依次为：

(S_{min_x},S_{min_y}),(S_{min_x}+ΔS_x,S_{min_y}+ΔS_y),…,(S_{min_x}+(M-1)ΔS_x,S_{min_y}+(M-1)ΔS_y)最小的分块大小(S_{min_x},S_{min_y})、最大的分块大小(S_{min_x}+(M-1)ΔS_x,S_{min_y}+(M-1)ΔS_y)以及分块的变化步长(ΔS_x,ΔS_y)根据待检测的目标图像的大小尺寸变化范围确定，当目标较小时，S_{min_x},S_{min_y}，ΔS_x,ΔS_y相对较小；当目标较大时，S_{min_x},S_{min_y}，ΔS_x,ΔS_y相对较大，具体取值可根据实验结果调整，例如当目标为行人或者小型车辆时，建议S_{min_x},S_{min_y}取4个像素，ΔS_x,ΔS_y取4个像素，窗口个数M的取值建议在2-4之间。

窗口是为了对图像分块，分块间要互相重叠，这样能够细化对图像的分块以提高检测定位的准确性。图2是四种典型的运动显著性区域分块示意图，图3是同一大小窗口区域重叠示意图，图4是不同大小窗口区域重叠覆盖示意图。

(2)利用最小窗口(S_{min_x},S_{min_y})分别对当前t时刻的帧图像f_t(x,y)和t+Δt时刻的图像帧图像f_t+Δt(x,y)逐像素点遍历，得到每一像素点(x,y)对应的窗口区域和

选取f_t+Δt(x,y)应当考虑靠近f_t(x,y)，Δt的取值需要根据相机的拍摄频率和目标的运动速度确定，一般取3到10之间的整数。

若检测拍摄装置是为动平台，则在遍历前还需将图像f_t(x,y)和f_t+Δt(x,y)进行配准，配准方法可采用先提取surf特征或角点特征再寻找匹配点等方法。

(3)计算最小窗口(S_{min_x},S_{min_y})在像素点(x,y)处的覆盖区域Ω_x,y的运动显著性度量值Value_change(x,y)。

定义函数

${\mathrm{Diff}}_{\mathrm{gray}}(x,y)=\frac{\underset{(i,j)\∈{\mathrm{\Ω}}_{x,y}}{\mathrm{\Σ}}|f_t(i,j)-f_{t+\mathrm{\Δt}}(i,j)|}{\underset{(i,j)\∈{\mathrm{\Ω}}_{x,y}}{\mathrm{\Σ}}{\mathrm{MAX}}_{\mathrm{gray}}},$

${\mathrm{Diff}}_{\mathrm{area}}(x,y)=\frac{\underset{(i,j)\∈{\mathrm{\Ω}}_{x,y}}{\mathrm{\Σ}}(f_t(i,j),f_{t+\mathrm{\Δt}}(i,j))}{{\mathrm{MAX}}_{\mathrm{area}}};$

其中，MAX_gray为帧图像的像素点最大灰度值，MAX_area为最大窗口(S_{min_x}+(M-1)ΔS_x,S_{min_y}+(M-1)ΔS_y)覆盖的图像区域的像素点总数， $\mathrm{\δ}(p,q)=\left\{\begin{array}{c}1,p\≠q\\ 0,p=q\end{array}\right.;$

根据定义，函数Diff_area(x,y)∈[0,1]，其表示区域Ω_x,y内差异像素占总像素的比例，且当区域Ω_x,y包含整个运动物体时，其函数值达到最大值1；函数Diff_gray(x,y)∈[0,1]，表示区域Ω_x,y内差异像素的灰度值变化的程度，只有当区域Ω_x,y包含整个运动物体，且两区域和一个全暗、一个全亮时函数值达到取最大值1。

本发明认为，针对两帧图像的同一位置上的两个窗口区域的运动显著性度量方法应该与这两个函数值成正比。因此，Ω_x,y的运动显著性度量值Value_change(x,y)＝Diff_gray(x,y)^1/α×Diff_area(x,y)^1/β，α和β为大于零的常数。

Value_change(x,y)∈[0,1]，且当函数Diff_area(x,y)和Diff_gray(x,y)同时为1时，Value_change(x,y)才取得最大值1。Value_change(x,y)值越大，说明窗口区域间运动显著性程度越大。

函数Value_change(x,y)定义中的α和β为常数，本发明中称之为比重因子，分别对应函数Diff_area(x,y)和Diff_gray(x,y)。α和β的设置根据具体的应用而有所调整，提高α的值，能够提高Value_change(x,y)对像素面积变化的灵敏度，能检测更小范围内的像素变化；提高β的值，能够提高Value_change(x,y)对区域对比度变化的灵敏度，能够检测对比度很小的运动物体。例如α＝5，β＝5，Value_change(x,y)的阈值设为0.6。

函数Diff_area(x,y)的度量需要运动物体的实际面积大小MAX_area，而运动物体的大小一般在检测前是未知的，故在实际应用中，需要用其他的值来代替。选取的标准是该值要满足函数Diff_area(i,j)的值不大于1，可以用图像多尺度分块中的具有最大尺度分块的面积来代替。

(4)若运动显著性度量值Value_change(x,y)大于等于预定阈值，则认定区域Ω_x,y属于运动显著性区域，否则，区域Ω_x,y不属于运动显著性区域；记属于运动显著性区域Ω_x,y对应的像素点为运动标记像素点(x′,y′)。Value_change(x,y)的预定阈值范围一般设置在0.3到0.6之间。

(5)利用窗口(S_{min_x}+mΔS_x,S_{min_y}+mS_y),m＝1,…,M-1对图像f_t(x,y)和图像的运动标记像素点(x′,y′)进行遍历，得到每一运动标记像素点对应的窗口区域和此步骤是通过调整分块尺度级别，度量不同空间尺度的运动显著性。

(6)计算窗口(S_{min_x}+mΔS_x,S_{min_y}+mS_y),m＝1,…,M-1在运动标记像素点(x′,y′)处的覆盖区域的运动显著性度量值计算方法与步骤(3)相同，具体为：

${{\mathrm{Value}}_{\mathrm{change}}}^{{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}(x^{\′},y^{\′})={{\mathrm{Diff}}_{\mathrm{gray}}}^{{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}{(x^{\′},y^{\′})}^{1/\mathrm{\α}}\×{{\mathrm{Diff}}_{\mathrm{area}}}^{{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}{(x^{\′},y^{\′})}^{1/\mathrm{\β}},$

其中， ${{\mathrm{Diff}}_{\mathrm{area}}}^{{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}(x^{\′},y^{\′})=\frac{\underset{(i,j)\∈{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}{\mathrm{\Σ}}\mathrm{\δ}(f_t(i^{\′},j^{\′}),f_{t+\mathrm{\Δt}}(i^{\′},y^{\′}))}{{\mathrm{MAX}}_{\mathrm{area}}},$ ${{\mathrm{Diff}}_{\mathrm{gray}}}^{{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}(x^{\′},y^{\′})=\frac{\underset{(i,j)\∈{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}{\mathrm{\Σ}}|f_t(i^{\′},j^{\′})-f_{t+\mathrm{\Δt}}(i^{\′},y^{\′})|}{\underset{(i,j)\∈{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}{\mathrm{\Σ}}{\mathrm{MAX}}_{\mathrm{gray}}}$

(7)针对每一运动标记像素点(x′,y′)，从其对应的M个运动显著性度量值即Value_change(x′,y′)和中选取最大值，该最大值对应的覆盖区域即为运动显著性区域，记为ω_x′,y′；

(8)以步骤(7)中得到的运动显著性区域ω_x′,y′为种子，在时间轴上“生长”，得到每个运动显著性区域的最优时间间隔。

对于一个运动显著性区域ω_x′,y′，令时间间隔Δt_x′,y′从最小时间间隔Δt_min向最大时间间隔Δt_max逐渐增大，计算运动显著性强度 $s\left({\mathrm{\Δt}}_{x^{\′},y^{\′}}\right)=\underset{(x^{\′\′},y^{\′\′})\∈{\mathrm{\ω}}_{x^{\′},y^{\′}}}{\mathrm{\Σ}}\mathrm{\δ}(f_t(x^{\′\′},y^{\′\′}),f_{t+{\mathrm{\Δt}}_{x^{\′},y^{\′}}}(x^{\′\′},y^{\′\′}))$ 或 $s\left({\mathrm{\Δt}}_{x^{\′},y^{\′}}\right)=\underset{(x^{\′\′},y^{\′\′})\∈{\mathrm{\ω}}_{x^{\′},y^{\′}}}{\mathrm{\Σ}}\mathrm{\δ}(f_t(x^{\′\′},y^{\′\′}),f_{t-{\mathrm{\Δt}}_{x^{\′},y^{\′}}}(x^{\′\′},y^{\′\′}));$ 当Δt_x′,y′到达某一值时，s(Δt_x′,y′)转为收敛状态即s(Δt_x′,y′)的变化率趋近于零，则认定该值为ω_x′,y′的最优时间间隔若Δt_x′,y′在从Δt_min到Δt_max变化范围内，s(Δt_x′,y′)未转为收敛状态，则认定Δt_max为ω_x′,y′的最优时间间隔

Δt_min，Δt_max的取值与相机拍摄频率和目标运动速度相关，拍摄频率和目标运动速度越快，则Δt_min，Δt_max相对较大，反之，则Δt_min，Δt_max相对较小，具体取值还需根据试验结果进行调整。例如，当相机拍摄频率为每秒50帧左右，目标运动速度为2-5米每秒时，可设Δt_min＝2，Δt_max＝10。

由公式可知，当差分间隔为Δt_x′,y′时，s(Δt_x′,y′)为在指定运动显著性区域内，当前帧图像与前帧或后帧图像差分后的像素变化的总个数，也就是新增或解除的背景区域的面积。

结合前面的分析，在理想状态下，当时，随着Δt_x′,y′的增加，s(Δt_x′,y′)也会增加；当时，s(Δt_x′,y′)达到最大值，即运动物体的面积A；而当时，s(Δt_x′,y′)则会保持不变。在实际情况下，随着Δt_x′,y′的增大，每个目标的s(Δt_x′,y′)也增大并逐渐趋近于物体的实际面积A，并在附近，s(Δt_x′,y′)达到收敛状态，此状态下，s(Δt_x′,y′)的变化率会等于0，如图中收敛点和所示。但在实际应用过程中，s(Δt_x′,y′)很难达到真正的收敛状态，通过分析多次试验结果发现当s(Δt_x′,y′)的变化率小于等于0.01时，就认为其达到收敛状态，同时s(Δt_x′,y′)的值会达到或接近运动物体所在的运动显著性区域的面积

图5是多目标差分强度s(Δt_x′,y′)与帧间间隔Δt_x′,y′的关系图。

(9)对于每个运动显著性区域其最优帧间间隔已在(8)中求出。对每个运动显著性区域取图像对f_t(x,y)与或在两幅图像的区域内做帧间差分，再通过OTSU阈值分割和形态学处理，标记，提取图像中的运动目标，得到运动目标检测结果。

上述步骤(1)～(7)采用多尺度图像分块，以及子块重叠逼近潜在运动目标区大小的思想，寻找适合运动物体的最合适的分块大小和分块位置，来检验和定位不同大小的运动目标的运动显著区域；步骤(8)～(9)针对空间多尺度运动显著性检验所得到的运动区域，对其进行时间多尺度差分处理，由小到大调整帧间差分间隔，搜寻每个运动区域内达到最优运动显著性状态时的帧间间隔，从而实现检测和跟踪出各个运动目标。

下面给出实例：

图6为空间多尺度运动显著性检验例子，其中图6(b)为当前帧图像，图6(a)为当前帧之前的第五帧图像，6(c)为当前帧之后的第五帧图像，6(d)为使用单一空间尺度分块无重叠时的运动显著性区域检测效果，6(e)为使用单一空间尺度分块有重叠时的运动显著性区域检测效果，6(f)为使用空间多尺度分块时的运动显著性区域检测效果，对比可以发现，使用空间多尺度分块能够得到较好的检测结果。

图7是时间多尺度差分检测例子，图7(a)是时间段基准图像第15帧，图7(b)是空间多尺度运动显著性度量结果，图7(c)是运动显著性区域细化结果，图7(d)是时间多尺度差分检测结果，图7(e)是运动显著性强度与帧间间隔关系图。图中可以看出运动显著性区域的运动显著性强度会在一定的帧间间隔之后收敛，运动显著性区域，其收敛时的时间间隔可能不同。

图8是动平台运动检测结果。图8(a)是序列段图像第25帧，图8(b)是序列段图像第30帧，图8(c)是序列段图像后35帧，图8(d)是第25帧相对于当前帧(第30帧)的配准后的图，图8(e)是当前帧待检测图，图8(f)是第35帧相对于当前帧(第30帧)的配准后的图，图8(g)是街道区域运动显著性图，图8(h)是街道区域运动检测图，图8(i)是时—空多尺度运动检测结果图。图中可以看出在动平台下，运动目标极小的情况下，本发明提出的方法仍然有很好的检测效果。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种时空多尺度运动目标检测方法，具体为：

(1)确定M个窗口，其尺寸从小到大依次为：

(S_{min_x},S_{min_y}),(S_{min_x}+ΔS_x,S_{min_y}+ΔS_y),…,(S_{min_x}+(M-1)ΔS_x,S_{min_y}+(M-1)ΔS_y)；

(2)利用最小窗口(S_{min_x},S_{min_y})分别对t时刻的帧图像f_t(x,y)和t+Δt时刻的帧图像f_t+Δt(x,y)逐像素点遍历，得到每一像素点(x,y)对应的窗口区域和

(3)计算最小窗口(S_{min_x},S_{min_y})在像素点(x,y)处的覆盖区域Ω_x,y的运动显著性度量值Value_change(x,y)＝Diff_gray(x,y)^1/α×Diff_area(x,y)^1/β，其中， ${\mathrm{Diff}}_{\mathrm{gray}}(x,y)=\frac{\underset{(i,j)\∈{\mathrm{\Ω}}_{x,y}}{\mathrm{\Σ}}|f_t(i,j)-f_{t+\mathrm{\Δt}}(i,j)|}{\underset{(i,j){\∈\mathrm{\Ω}}_{x,y}}{\mathrm{\Σ}}{\mathrm{MAX}}_{\mathrm{gray}}},$ ${\mathrm{Diff}}_{\mathrm{area}}(x,y)=\frac{\underset{(i,j)\∈{\mathrm{\Ω}}_{x,y}}{\mathrm{\Σ}}\mathrm{\δ}(f_t(i,j),f_{t+\mathrm{\Δt}}(i,j))}{{\mathrm{MAX}}_{\mathrm{area}}},$ MAX_gray为帧图像的像素点最大灰度值，MAX_area为最大窗口(S_{min_x}+(M-1)ΔS_x,S_{min_y}+(M-1)ΔS_y)覆盖的图像区域的像素点总数，α和β为大于零的常数， $\mathrm{\δ}(p,q)=\left\{\begin{array}{c}1,p\≠q\\ 0,p=q\end{array}\right.;$

(4)若运动显著性度量值Value_change(x,y)大于等于预定阈值，则认定区域Ω_x,y属于候选运动显著性区域，否则，区域Ω_x,y不属于候选运动显著性区域；记属于候选运动显著性区域Ω_x,y对应的像素点为运动标记像素点(x′,y′)；

(5)利用窗口(S_{min_x}+mΔS_x,S_{min_y}+mS_y),m＝1,…,M-1对图像f_t(x,y)和图像的运动标记像素点(x′,y′)进行遍历，得到每一运动标记像素点对应的窗口区域和

(6)计算窗口(S_{min_x}+mΔS_x,S_{min_y}+mS_y),m＝1,…,M-1在运动标记像素点(x′,y′)处的覆盖区域的运动显著性度量值 ${{\mathrm{Value}}_{\mathrm{change}}}^{{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}(x^{\′},y^{\′})={{\mathrm{Diff}}_{\mathrm{gray}}}^{{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}{(x^{\′},y^{\′})}^{1/\mathrm{\α}}\×{{\mathrm{Diff}}_{\mathrm{area}}}^{{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}{(x^{\′},y^{\′})}^{1/\mathrm{\β}},$ 其中，

${{\mathrm{Diff}}_{\mathrm{area}}}^{{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}(x^{\′},y^{\′})=\frac{\underset{(i^{\′},j^{\′})\∈{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}{\mathrm{\Σ}}\mathrm{\δ}(f_t(i^{\′},j^{\′}),f_{t+\mathrm{\Δt}}(i^{\′},j^{\′}))}{{\mathrm{MAX}}_{\mathrm{area}}}$

${{\mathrm{Diff}}_{\mathrm{gray}}}^{{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}(x^{\′},y^{\′})=\frac{\underset{(i^{\′},j^{\′})\∈{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}{\mathrm{\Σ}}{|f}_t(i^{\′},j^{\′})-f_{t+\mathrm{\Δt}}(i^{\′},j^{\′})|}{\underset{(i,j)\∈{\mathrm{\Ω}}_{x^{\′},y^{\′}}^m}{\mathrm{\Σ}}{\mathrm{MAX}}_{\mathrm{gray}}};$

(7)针对每一运动标记像素点(x′,y′)，从其对应的M个运动显著性度量值即Value_change(x′,y′)和中选取最大值，该最大值对应的覆盖区域即为运动显著性区域，记为ω_x′,y′；

(8)令帧间间隔Δt_x′,y′从最小时间间隔Δt_min向最大时间间隔Δt_max逐渐增大，计算每一运动显著性区域ω_x′,y′的运动显著性强度 $s\left(\mathrm{\Δ}{t}_{x^{\′},y^{\′}}\right)=\underset{(x^{\′\′},y^{\′\′})\∈{\mathrm{\ω}}_{x^{\′},y^{\′}}}{\mathrm{\Σ}}\mathrm{\δ}(f_t(x^{\′\′},y^{\′\′}),f_{t+\mathrm{\Δ}{t}_{x^{\′},y^{\′}}}(x^{\′\′},y^{\′\′}))$ 或 $s\left(\mathrm{\Δ}{t}_{x^{\′},y^{\′}}\right)=\underset{(x^{\′\′},y^{\′\′})\∈{\mathrm{\ω}}_{x^{\′},y^{\′}}}{\mathrm{\Σ}}\mathrm{\δ}(f_t(x^{\′\′},y^{\′\′}),f_{t+\mathrm{\Δ}{t}_{x^{\′},y^{\′}}}(x^{\′\′},y^{\′\′}));$ 当Δt_x′,y′到达某一值时，s(Δt_x′,y′)转为收敛状态即s(Δt_x′,y′)的变化率趋近于零，则认定该值为ω_x′,y′的最优时间间隔若Δt_x′,y′在从Δt_min到Δt_max变化范围内，s(Δt_x′,y′)未转为收敛状态，则认定Δt_max为ω_x′,y′的最优时间间隔

(9)对t时刻的帧图像ft(x,y)与时刻的帧图像或时刻的帧图像的每个运动显著性区域ω_x′,y′间做帧间差分，对差分结果进行连通域标记，从而得到各区域内的运动目标。

2.根据权利要求1所述的时空多尺度运动目标检测方法，其特征在于，所述步骤(2)将所述图像f_t(x,y)和f_t+Δt(x,y)进行配准后再利用最小窗口遍历。