CN106023259A - 一种运动目标频率检测方法及装置 - Google Patents

Abstract

本发明是关于一种运动目标频率检测方法及装置，通过以第一帧视频图像为基础建立像素值集合形式的背景模型；在后续帧视频图像中根据目标像素点的类型，选择重建或更新背景模型；最后统计所述目标像素点作为相应帧视频图像前景点的出现次数，生成运动目标频率热力图。当背景环境发生扰动时，对应发生扰动的帧视频图像中，背景模型立即采用相应的更新策略进行重建或更新，能够将背景环境的干扰及时纳入背景模型，从而保证运动目标提取的精度，进而提高运动目标频率检测的准确性；而且，所述背景模型是基于第一帧视频图像的邻域像素点像素值建立的像素值集合，无需复杂的数值计算，方便背景模型的构建或更新，从而提高运动目标频率检测的效率。

Description

一种运动目标频率检测方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种运动目标频率检测方法及装置。

背景技术

运动目标频率是指在一定时间跨度上，观察区域内出现运动目标的次数。通过检测所述运动目标频率，可以分析运动目标的行为规律，例如在商场中检测消费者出现在商铺的频率，可以对消费者的购买倾向进行分析，从而方便商场规划商铺分布，当然运动目标频率检测还广泛应用于交通、银行等不同领域，在行业分析中具有重要意义。

运动目标频率检测通常包括以下步骤：视频监控设备以固定视角摄取观察区域内的视频图像，从视频图像中提取运动目标，统计运动目标的出现次数，最终得到运动目标频率。其中，运动目标的提取过程是保证运动目标频率检测准确性的关键，通常使用背景减除法进行运动目标提取。在具体实施时，视频图像由多个连续的帧视频图像组成，每个所述帧视频图像包括前景和背景，所述前景是人们感兴趣的图像区域，运动目标例如人或车等对应前景，所述背景是需要忽略的图像区域，例如货架或车道等对应背景。背景减除法的具体步骤包括：选择一个帧视频图像作为背景图像，所述背景图像中只包括背景，使用当前帧视频图像减去所述背景图像，得到当前帧视频图像对应的前景图像，从而完成运动目标提取。然而，由于外界环境的干扰，例如背景中物体的移入移出、光照的变化等，背景不断发生变化，如果相应的背景图像更新不及时，通过背景减除法可能会将背景作为前景提取出来，从而导致运动目标提取错误，进而造成运动目标频率的检测误差。

发明内容

为克服相关技术中存在的问题，本发明提供一种运动目标频率检测方法及装置。

根据本发明实施例的第一方面，提供一种运动目标频率检测方法，该方法包括以下步骤：

从视频图像序列中获取第一帧视频图像；

在所述第一帧视频图像中，根据目标像素点对应邻域像素点的像素值，建立所述目标像素点的背景模型，所述背景模型为像素值集合；

获取下一帧视频图像，根据当前帧视频图像的目标像素点像素值和目标像素点背景模型，判断所述目标像素点是否为前景点；

如果所述目标像素点为前景点，在当前帧视频图像中，用目标像素点对应邻域像素点的像素值替换所述像素值集合中的全部元素，以重建背景模型；或者，

如果所述目标像素点不为前景点，用当前帧视频图像中目标像素点的像素值随机替换所述像素值集合中的一个元素，以更新背景模型；

在视频图像序列的所有帧视频图像中，统计所述目标像素点作为相应帧视频图像前景点的出现次数；

根据所述出现次数，生成运动目标频率热力图。

可选地，所述根据目标像素点对应邻域像素点的像素值，建立所述目标像素点的背景模型，包括：

当所述目标像素点对应邻域像素点为四邻域像素点，且目标像素点的邻域内存在所有的四邻域像素点时，将像素值集合中相应位置的元素设置为所述四邻域像素点像素值，以建立背景模型；或者，

当目标像素点的邻域内存在部分四邻域像素点时，将像素值集合中缺失四邻域像素点对应位置的元素设置为目标像素点的像素值，将像素集合中存在四邻域像素点对应位置的元素设置为存在四邻域像素点的像素值，以建立背景模型。

可选地，所述目标像素点为背景点，使用当前帧视频图像中目标像素点的像素值随机替换所述像素值集合中的一个元素，以更新所述背景模型，包括：

生成随机数；

根据所述随机数，确定背景模型的更新元素位置；

以当前帧视频图像中目标像素点的像素值替换所述更新元素位置的像素值。

可选地，所述在视频图像序列的所有帧视频图像中，统计所述目标像素点作为相应帧视频图像前景点的出现次数，包括：

建立各个帧视频图像的初始二值图像矩阵，所述初始二值图像矩阵的矩阵元素与帧视频图像的像素点相对应；前景点对应的矩阵元素设置为第一数值，背景点对应的矩阵元素设置为第二数值；

对所述初始二值矩阵进行形态学开操作，得到优化二值图像矩阵；

累加各个优化二值图像矩阵，得到出现次数矩阵，所述出现次数矩阵的矩阵元素与所述出现次数相对应。

可选地，根据所述出现次数，生成运动目标频率热力图，包括：

预设多个次数范围，以及与所述次数范围分别对应的显示颜色；

当所述出现次数与所述次数范围相匹配时，将所述出现次数对应的像素点调整为相应显示颜色。

根据本发明实施例的第二方面，提供一种运动目标频率检测装置，该装置包括：

第一帧视频图像获取模块，用于从视频图像序列中获取第一帧视频图像；

背景模型建立模块，用于在所述第一帧视频图像中，根据目标像素点对应邻域像素点的像素值，建立所述目标像素点的背景模型，所述背景模型为像素值集合；

前景判断模块，用于获取下一帧视频图像，根据当前帧视频图像的目标像素点像素值和目标像素点背景模型，判断所述目标像素点是否为前景点；

背景模型重建模块，用于如果所述目标像素点为前景点，在当前帧视频图像中，用目标像素点对应邻域像素点的像素值替换所述像素值集合中的全部元素，以重建背景模型；

背景模型更新模块，用于如果所述目标像素点为背景点，用当前帧视频图像中目标像素点的像素值随机替换所述像素值集合中的一个元素，以更新背景模型；

统计计算模块，用于在视频图像序列的所有帧视频图像中，统计所述目标像素点作为相应帧视频图像前景点的出现次数；

运动目标频率热力图生成模块，用于根据所述出现次数，生成运动目标频率热力图。

可选地，所述背景模型建立模块包括四邻域背景模型建立模块，用于当所述目标像素点对应邻域像素点为四邻域像素点，且目标像素点的邻域内存在所有的四邻域像素点时，将像素值集合中相应位置的元素设置为所述四邻域像素点像素值，以建立背景模型；或者，当目标像素点的邻域内存在部分四邻域像素点时，将像素值集合中缺失四邻域像素点对应位置的元素设置为目标像素点的像素值，将像素集合中存在四邻域像素点对应位置的元素设置为存在四邻域像素点的像素值，以建立背景模型。

可选地，所述背景模型更新模块包括：

随机数生成模块，用于生成随机数；

更新元素位置确定模块，用于根据所述随机数，确定背景模型的更新元素位置；

像素值替换模块，用于以当前帧视频图像中目标像素点的像素值替换所述更新元素位置的像素值。

可选地，所述统计计算模块包括：

初始二值图像矩阵建立模块，用于建立各个帧视频图像的初始二值图像矩阵，所述初始二值图像矩阵的矩阵元素与帧视频图像的像素点相对应；前景点对应的矩阵元素设置为第一数值，背景点对应的矩阵元素设置为第二数值；

优化二值图像矩阵获得模块，用于对所述初始二值矩阵进行形态学开操作，得到优化二值图像矩阵；

出现次数矩阵获得模块，用于累加各个优化二值图像矩阵，得到出现次数矩阵，所述出现次数矩阵的矩阵元素与所述出现次数相对应。

可选地，所述运动目标频率热力图生成模块包括：

显示预设模块，用于预设多个次数范围，以及与所述次数范围分别对应的显示颜色；

显示模块，用于当所述出现次数与所述次数范围相匹配时，将所述出现次数对应的像素点调整为相应显示颜色。

本发明的实施例提供的技术方案可以包括以下有益效果：

通过从视频图像序列中获取第一帧视频图像，在所述第一帧视频图像中，根据目标像素点对应邻域像素点的像素值，建立所述目标像素点的背景模型，所述背景模型为像素值集合；获取下一帧视频图像，根据当前帧视频图像的目标像素点像素值和目标像素点背景模型，判断所述目标像素点是否为前景点；如果所述目标像素点为前景点，在当前帧视频图像中，使用目标像素点对应邻域像素点的像素值替换所述像素值集合中的全部元素，以重建背景模型；如果所述目标像素点不为前景点，使用当前帧视频图像中目标像素点的像素值随机替换所述像素值集合中的一个元素，以更新背景模型；在视频图像序列的所有帧视频图像中，统计所述目标像素点作为相应帧视频图像前景点的出现次数，最后根据所述出现次数，生成运动目标频率热力图。在整个运动目标频率检测过程中，当背景环境发生扰动时，例如无关物体的移入移出或者光线变化等，在对应发生扰动的帧视频图像中，根据前景点的判断背景模型立即以不同的更新策略进行重建或更新，能够将背景环境的干扰及时纳入背景模型，从而保证运动目标提取的精度，进而提高运动目标频率检测的准确性；而且，所述背景模型是基于第一帧视频图像的邻域像素点像素值建立的像素值集合，无需复杂的数值计算，方便背景模型的构建或更新，从而提高运动目标频率检测的效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为根据一示例性实施例示出的一种运动目标方法的流程示意图；

图2为根据一示例性实施例示出的一种帧视频图像像素点的结构示意图；

图3为根据一示例性实施例示出的一种背景模型更新方法的流程示意图；

图4为根据一示例性实施例示出的一种出现次数统计方法的流程示意图；

图5为根据一示例性实施例示出的一种运动频率热力图生成方法的流程示意图；

图6为根据一示例性实施例示出的一种运动目标频率检测装置的结构示意图；

图7为根据一示例性实施例示出的一种背景更新模块的结构示意图；

图8为根据一示例性实施例示出的一种统计计算模块的结构示意图；

图9为根据一示例性实施例示出的一种运动目标频率热力图生成模块的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种运动目标频率检测方法的流程图，该方法包括以下步骤：

步骤S101：从视频图像序列中获取第一帧视频图像。

在运动目标频率检测过程中，视频监控设备以固定视角拍摄观察区域内的视频图像，记录运动目标在所述观察区域内的运动情况。其中，所述观察区域可以理解为商场商铺的门口区域、超市的货架区域、道路的路口区域以及银行大厅区域等，通过在一定时间内对所述观察区域的视频图像采集，能够获知人或者车等运动目标在所述观察区域的运动情况，从而进一步对人们的消费倾向、车行交通规律以及人们的金融行为进行分析，为行业策略的调整提供重要依据。

在具体实施时，视频监控设备通常采集较长时间跨度的视频图像，例如24小时或者一周的视频图像，为了保证运动目标频率检测的效率，可选地，选择工作或营业时间拍摄的视频图像进行运动目标频率检测。采集到的视频图像是由大量连续的帧视频图像组成的视频图像序列，其中的第一帧视频图像对应在工作或者营业时间开始时刻的场景图像，包含较多的背景和较少的前景，因此从所述视频图像序列中获取第一帧视频图像作为背景模型的建立基础。

步骤S102：在所述第一帧视频图像中，根据目标像素点对应邻域像素点的像素值，建立所述目标像素点的背景模型，所述背景模型为像素值集合。

图2为根据一示例性实施例示出的一种帧视频图像像素点的结构示意图，帧视频图像被分隔成多个小方格，每个小方格称为一个像素点，所述像素点排列成二维阵列；通过设置每个像素点的颜色、亮度等显示属性，根据显示属性显示完整帧视频图像。其中，所述显示属性可以包括像素值，在灰度图像中，所述像素值可以理解为灰度值，所述灰度值取值范围为0到255，用于表征颜色深度，白色对应灰度值为255，黑色对应灰度值为0；在彩色图像中，RGB彩色模式通过分配R(Red，红)、G(Green，绿)和B(Blue，蓝)三个颜色通道的亮度值显示不同颜色，每个颜色通道的亮度值范围为0到255，例如(R＝255，G＝0，B＝0)代表红色，(R＝255，G＝255，B＝255)代表白色等，因此彩色图像中的像素值可以理解为由RGB颜色通道分别对应亮度值组成的亮度值组。

如图2所示，第一帧视频图像由3*3的像素点阵列构成，第一像素点至第九像素点分别对应图2中的编号1至9像素点；所述目标像素点包括所述第一帧视频图像中的所有像素点，即第一像素点至第九像素点总共9个像素点，为所述9个像素点分别建立相应的背景模型。当然，在具体实施时，所述目标像素点可以为所述第一帧视频图像中的运动目标活动区域对应的像素点，所述运动目标活动区域可以理解为商场中的走廊区域或者超市货架之间的过道区域等；仅为所述运动目标活动区域对应的像素点建立相应的背景模型，能够减少背景模型建立的计算量，有效提高背景模型的建立效率。

当建立第五像素点的背景模型时，将第五像素点作为目标像素点；所述第五像素点的邻域内存在包括上邻域像素点、下邻域像素点、左邻域像素点和右邻域像素点的四邻域像素点，其中所述上邻域像素点对应第二像素点，所述下邻域像素点对应第八像素点，所述左邻域像素点对应第四像素点，所述右邻域像素点对应第六像素点。在帧视频图像为灰度图的情况下，在第一帧视频图像中，第二像素点的像素值为第八像素点的像素值为第四像素点的像素值为第六像素点的像素值为可以建立一个包括4个元素的像素值集合，上邻域像素点对应所述像素值集合的第一元素位置，下邻域像素点对应所述像素值集合的第二元素位置，左邻域像素点对应所述像素值结合的第三元素位置，右邻域像素点对应所述像素值集合的第四元素位置，将上述四邻域像素点对应的像素值分别填入所述像素值集合的相应位置得到像素值集合所述像素值集合即为第五像素点的背景模型。在帧视频图像为彩色图像的情况下，在第一帧视频图像中，所述第二像素点的像素值为所述第八像素点的像素值为所述第四像素点的像素值为所述第六像素点的像素值为则第五像素点对应邻域像素点的像素值构建成像素值集合所述像素值集合即为第五像素点的背景模型。

当建立第一像素点的背景模型时，将第一像素点作为目标像素点；所述第一像素点的邻域内存在右邻域像素点和下邻域像素点，所述右邻域像素点对应第二像素点，所述下邻域像素点对应第四像素点；所述第一像素点的邻域内缺失上邻域像素点和左邻域像素点。在帧视频图像为灰度图的情况下，在第一帧视频图像中，第一像素点的像素值为第二像素点的像素值为第四像素点的像素值为缺失上邻域像素点对应像素值集合中的第一元素位置，将所述像素值集合中的第一元素设置为缺失左邻域像素点对应像素值集合的第三元素位置，将所述像素值集合中的第三元素也设置为存在下邻域像素点对应像素值集合的第二元素位置，将所述像素值集合中的第二元素设置为按照上邻存在右邻域像素点对应像素值集合的第四元素位置，将所述像素值集合中的第二元素设置为从而得到像素值集合将所述像素值集合作为第一像素点的背景模型。在帧视频图像为彩色图像的情况下，在第一帧视频图像中，第一像素点对应的像素值为第二像素点的像素值为第四像素点的像素值为同样可以得到像素值集合并将所述像素值集合作为第一像素点的背景模型。

按照上述方法，对其他像素点建立相应的背景模型。另外，需要说明的是，在本发明的实施例中，所述像素值集合中元素位置与四邻域像素点的对应关系并不局限于上面实施例的描述，例如所述第一元素位置可以对应左邻域像素点等。

当然，在具体实施时，目标像素点对应的邻域像素点还可以为八邻域像素点，根据所述八邻域像素点的像素值，建立目标像素点的背景模型，详细过程可以参考上述根据四邻域像素点建立背景模型的过程，在此不再赘述。

步骤S103：获取下一帧视频图像，根据当前帧视频图像的目标像素点像素值和目标像素点背景模型，判断所述目标像素点是否为前景点。

从视频图像序列中，按照时间顺序依次获取第一帧视频图像之后的帧视频图像，例如第二帧视频图像。

计算当前帧视频图像中目标像素点像素值与目标像素点对应背景模型的标准差，并通过所述标准差判断所述目标像素点是否为前景点。具体地，在所述下一帧视频图像中，由于运动目标的移动或者背景环境的变化，各个像素点的像素值可能发生变化，通过以下公式计算所述标准差：

${\mathrm{\σ}}^{\left(N\right)}=\frac{\sqrt{{(P^{\left(N\right)}-P_1)}^2+{(P^{\left(N\right)}-P_2)}^2+{(P^{\left(N\right)}-P_3)}^2+{(P^{\left(N\right)}-P_4)}^2}}{2}$

其中，σ^(N)为第N帧视频图像中目标像素点的标准差，P^(N)为第N帧视频图像中目标像素点的像素值，P₁、P₂、P₃以及P₄均为目标像素点背景模型{P₁，P₂，P₃，P₄}中的元素。

在本发明的实施例中，以第二帧视频图像为例进行详细描述。

在所述第二帧视频图像中，所述目标像素点包括所有的像素点，分别计算每个像素点的当前像素值与相应的背景模型的标准差。

同样参见图2，计算第五像素点对应的标准差，则将所述第五像素点作为目标像素点。在第二帧视频图像为灰度图时，第五像素点的像素值为在步骤S102中得出所述第五像素点的背景模型为则所述第五像素点对应的标准差为

在第二帧视频图像为彩色图像的情况下，第五像素点的像素值为在步骤S102中得出所述第五像素点的背景模型为所述标准差可以表示为标准差组，所述标准差组中的元素分别对应RGB三个颜色通道的标准差。具体地，第五像素点的标准差其中，第五像素点R颜色通道的标准差分量，第五像素点G颜色通道的标准差分量，第五像素点B颜色通道的标准差分量，公式如下：

${\mathrm{\σR}}_5^{\left(2\right)}=\frac{\sqrt{{(R_5^{\left(2\right)}-R_2^{\left(1\right)})}^2+{(R_5^{\left(2\right)}-R_8^{\left(1\right)})}^2+{(R_5^{\left(2\right)}-R_4^{\left(1\right)})}^2+{(R_5^{\left(2\right)}-R_6^{\left(1\right)})}^2}}{2}$

${\mathrm{\σG}}_5^{\left(2\right)}=\frac{\sqrt{{(G_5^{\left(2\right)}-G_2^{\left(1\right)})}^2+{(G_5^{\left(2\right)}-G_8^{\left(1\right)})}^2+{(G_5^{\left(2\right)}-G_4^{\left(1\right)})}^2+{(G_5^{\left(2\right)}-G_6^{\left(1\right)})}^2}}{2}$

${\mathrm{\σB}}_5^{\left(2\right)}=\frac{\sqrt{{(B_5^{\left(2\right)}-B_2^{\left(1\right)})}^2+{(B_5^{\left(2\right)}-B_8^{\left(1\right)})}^2+{(B_5^{\left(2\right)}-B_4^{\left(1\right)})}^2+{(B_5^{\left(2\right)}-B_6^{\left(1\right)})}^2}}{2}$

以同样的上述方式可以计算得出第二帧视频图像中，所有目标像素点对应的标准差。

如果所述标准差大于或等于预设的误差阈值，则表示所述目标像素点与上一帧视频图像中所述目标像素点邻近的像素点具有很大区别，则所述目标像素点为前景点；如果所述标准差小于所述误差阈值，则表示所述目标像素点与上一帧视频图像中所述目标像素点邻近的像素点具有较小区别，则所述目标像素点为背景点。在具体实施时，例如在第二帧视频图像为灰度图的情况下，第五像素点对应的标准差大于或等于误差阈值，所述第五像素点为前景点，否则所述第五像素点为背景点；在第二帧视频图像为彩色图像的情况下，第五像素点对应的标准差当三个颜色通道的标准差分量均大于或等于误差阈值时，即以及均大于或等于误差阈值时，将所述第五像素点判断为前景点，否则所述第五像素点为背景点。

另外，为了保证前景点判断的准确性，所述误差阈值可以为动态调整的误差阈值。在具体实施时，本发明根据一示例性实施例提供一种误差阈值调整方法，该方法包括以下步骤：计算当前帧视频图像的像素值均值，所述像素值均值为当前帧视频图像所有目标像素点对应像素值的算术平均值；预设第一阈值和第二阈值，且所述第一阈值大于所述第二阈值；如果所述像素值均值大于或等于所述第一阈值，增加所述误差阈值；如果所述像素值均值小于或等于所述第二阈值，减小所述误差阈值。

步骤S104：如果所述目标像素点为前景点，在当前帧视频图像中，用目标像素点对应邻域像素点的像素值替换所述像素值集合中的全部元素，以重建背景模型。

在所述目标像素点为前景点的情况下，在当前帧视频图像中，用目标像素点对应邻域像素点的像素值重建背景模型，同样以第二帧视频图像为例的对本步骤进行详细说明。

如果第五像素点为前景点，所述第五像素点的邻域内存在上邻域像素点、下邻域像素点、左邻域像素点和右邻域像素点，其中所述上邻域像素点对应第二像素点，所述下邻域像素点对应第八像素点，所述左邻域像素点对应第四像素点，所述右邻域像素点对应第六像素点。

在第二帧视频图像为灰度图的情况下，在第二帧视频图像中，第五像素点对应的上邻域像素点的像素值、下邻域像素点的像素值、左邻域像素点的像素值以及右邻域像素点的像素值分别为和替换第五像素点背景模型的像素值集合中的像素值，得到重建后第五像素点的背景模型为

在第二帧视频图像为彩色图像的情况下，在第二帧视频图像中，第五像素点对应的四邻域像素点的像素值分别为和替换第五像素点背景模型对应像素值集合的所有像素值，重建后第五像素点的背景模型为

如果第一像素点为前景点，所述第一像素点的邻域内存在右邻域像素点和下邻域像素点，所述右邻域像素点对应第二像素点，所述下邻域像素点对应第四像素点；所述第一像素点的邻域内缺失上邻域像素点和左邻域像素点。

在第二帧视频图像为灰度图的情况下，在第二帧视频图像中，将像素值集合中第一元素和第三元素均替换为第一像素点在第二帧视频图像中的像素值将像素值集合中第二元素替换为以及将像素值集合中第四元素替换为得到重建后第一像素点的背景模型

在第二帧视频图像为彩色图像的情况下，将像素值集合中第一元素和第三元素均替换为第一像素点在第二帧视频图像中的像素值将像素值集合中第二元素替换为以及将像素值集合中第四元素替换为得到重建后第一像素点的背景模型

步骤S105：如果所述目标像素点不为前景点，用当前帧视频图像中目标像素点的像素值随机替换所述像素值集合中的一个元素，以更新背景模型。

通过步骤S103的判断，当目标像素点的标准差小于所述误差阈值时，所述目标像素点为背景点，使用当前帧视频图像中目标像素点的像素值随机替换所述像素值集合中的一个元素，以更新背景模型。参见图3，为根据一示例性实施例示出的一种背景模型更新方法的流程示意图，该方法包括以下步骤：

步骤S1051：生成随机数。

生成一个随机数，例如可以生成范围1至4内的整数随机数。

步骤S1052：根据所述随机数，确定背景模型的更新元素位置。

在一个具体实施例中，如果步骤S1051产生的随机数为3，则在目标像素点对应的背景模型中，将第3个元素所在位置作为所述更新元素位置。

步骤S1053：以当前帧视频图像中目标像素点的像素值替换所述更新元素位置的像素值。

根据步骤S1052的确定结果，例如如果确定第3个元素位置为所述更新元素位置，则将背景模型中的第三元素像素值替换为目标像素点在当前帧视频图像中的像素值。

同样以第二帧视频图像为例对本步骤进行详细说明，在第二帧视频图像中，第五像素点为背景点。

在第二帧视频图像为灰度图的情况下，在步骤S1051中生成随机数4；根据所述随机数4，确定第五像素点对应背景模型中的第4元素位置为更新元素位置；第五像素点在第二帧视频图像中的当前像素值为将第五像素点背景模型中的第四元素替换为从而得到更新后的背景模型

在第二帧视频图像为彩色图像的情况下，在第二帧视频图像中，第五像素点的像素值为通过上述步骤确定需要更新第五像素点对应背景模型中第四元素位置的像素值，则将所述背景模型中的原第四元素替换为得到更新后的背景模型

以上述方式，遍历第二帧视频图像中的所有作为背景点的目标像素点，对所述目标像素点对应的背景模型分别进行更新。

步骤S106：在视频图像序列的所有帧视频图像中，统计所述目标像素点作为相应帧视频图像前景点的出现次数。

将第一帧视频图像中的目标像素点均初始化为背景点，在视频图像的摄取过程中，运动目标可能从一个位置移动到另一个位置或者环境背景中灯光发生闪动，一个目标像素点在不同帧视频图像中可能对应为前景点或者背景点，例如目标像素点在第二帧视频图像中可能为前景点，在第三帧视频图像中就变为背景点，在视频帧数列中，统计所述目标像素点作为相应帧视频前景点的出现次数。

参见图4，为根据一示例性实施例示出的一种出现次数统计方法的流程示意图，该方法包括：

步骤S1061：建立各个帧视频图像的初始二值图像矩阵，所述初始二值图像矩阵的矩阵元素与帧视频图像的像素点相对应；前景点对应的矩阵元素设置为第一数值，背景点对应的矩阵元素设置为第二数值。

在本发明的具体实施例中，例如视频图像序列中包括3个帧视频图像，每个帧视频图像包括3*3的像素点阵列，则分别建立第一帧视频图像、第二帧视频图像以及第三帧视频图像的初始二值图像矩阵；所述初始二值图像矩阵也为3*3为矩阵，且所述初始二值图像矩阵的第1至9矩阵元素分别对应第一像素点至第九像素点。

第一帧视频图像的所有像素点初始化为背景点，则第一帧视频图像的初始二值图像矩阵中，每个矩阵元素均设置为第二数值，所述第二数值可以为0；第二帧视频图像中的目标像素点通过步骤S103的判断，如果所述目标像素点为前景点，则将所述前景点对应矩阵元素设置为第一数值，所述第一数值可以为1，如果所述目标像素点为背景点，相应设置所述背景点对应矩阵元素为第二数值0，得到第二帧视频图像的初始二值图像矩阵；同样，按照上述方式建立第三帧视频图像的初始二值图像矩阵。

步骤S1062：对所述初始二值矩阵进行形态学开操作，得到优化二值图像矩阵。

对所述初始二值图像矩阵进行形态学开操作，所述形态学开操作包括腐蚀和膨胀两个过程，得到优化二值图像矩阵；所述形态学开操作使得优化二值图像矩阵对应的图像具有更光滑的轮廓，从而更好表征运动目标的有效运动。

步骤S1063：累加各个优化二值图像矩阵，得到出现次数矩阵，所述出现次数矩阵的矩阵元素与所述出现次数相对应。

累加第一帧视频图像、第二帧视频图像以及第三帧视频图像的优化二值图像矩阵，从而得到出现次数矩阵。所述出现次数矩阵的矩阵元素与所述出现次数相对应，具体地，如果所述出现次数矩阵的第一矩阵元素为3，则在整个视频图像序列中，所述第一像素点均是前景点且相应的出现次数为3；如果所述出现次数矩阵的第五矩阵元素为2，则在整个视频图像序列中，所述第五像素点的前景点出现次数为2；如果所述出现次数矩阵的第三矩阵元素为0，则在整个视频图像序列中，所述第三像素点均是背景点且相应的出现次数为0。

步骤S107：根据所述出现次数，获得运动目标频率检测结果。

所述出现次数表征相应的像素点在整个视频图像序列中作为前景点的次数，即由前景点组成的运动目标在相应像素点位置上显示的次数，通过所述出现次数，能够得到运动频率热力图，将所述运动频率热力图作为所述运动目标频率检测结果从而更直观地标识运动目标频率。

参见图5，为根据一示例性实施例示出的一种运动频率热力图生成方法的流程示意图，该方法包括以下步骤：

步骤S1071：预设多个次数范围，以及与所述次数范围分别对应的显示颜色。

预设三个次数范围，例如设置第一次数范围为0至20，第二次数范围为21至50，第三次数范围为50-100；设置第一次数范围对应的显示颜色为蓝色，第二次数范围对应的显示颜色为黄色，第三次数范围对应的显示颜色为红色。

步骤S1072：当所述出现次数与所述次数范围相匹配时，在所述出现次数对应的像素点位置以相应显示颜色显示。

如果第一像素点对应的出现次数为10，所述出现次数与第一次数范围相匹配，则调整第一像素点的显示颜色为蓝色；如果第五像素点对应的出现次数为45，所述出现次数与第二次数范围相匹配，则调整第五像素点的显示颜色为黄色；如果第六像素点对应的出现次数为80，则所述出现次数与第三次数范围相匹配，则调整第六像素点的显示颜色为红色。在具体实施时，可以以所述视频图像序列中的任意一个帧视频图像为基础，通过上述过程匹配设置每个像素点的显示颜色，从而得到所述下运动频率热力图。

当然，在具体实施时，也可以根据目标像素点对应出现次数的比例设置所述目标像素点的显示颜色，其中所述比例可以理解为在出现次数矩阵中，所述目标像素点对应出现次数与所述出现次数矩阵元素和的比值。根据所述比例的高低，设置不同的显示颜色。

通过上述实施例的描述，本发明提供的运动目标频率检测方法通过从视频图像序列中获取第一帧视频图像，在所述第一帧视频图像中，根据目标像素点对应邻域像素点的像素值，建立所述目标像素点的背景模型，所述背景模型为像素值集合；获取下一帧视频图像，根据当前帧视频图像的目标像素点像素值和目标像素点背景模型，判断所述目标像素点是否为前景点；如果所述目标像素点为前景点，在当前帧视频图像中，使用目标像素点对应邻域像素点的像素值替换所述像素值集合中的全部元素，以重建背景模型；如果所述目标像素点不为前景点，使用当前帧视频图像中目标像素点的像素值随机替换所述像素值集合中的一个元素，以更新背景模型；在视频图像序列的所有帧视频图像中，统计所述目标像素点作为相应帧视频图像前景点的出现次数，最后根据所述出现次数，生成运动目标频率热力图。在整个运动目标频率检测过程中，当背景环境发生扰动时，例如无关物体的移入移出或者光线变化等，在对应发生扰动的帧视频图像中，根据前景点的判断背景模型立即以不同的更新策略进行重建或更新，能够将背景环境的干扰及时纳入背景模型，从而保证运动目标提取的精度，进而提高运动目标频率检测的准确性；而且，所述背景模型是基于第一帧视频图像的邻域像素点像素值建立的像素值集合，无需复杂的数值计算，方便背景模型的构建或更新，从而提高运动目标频率检测的效率。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图6为根据一示例性实施例示出的一种运动目标频率检测装置的结构示意图，该装置包括：

第一帧视频图像获取模块11，用于从视频图像序列中获取第一帧视频图像；

背景模型建立模块12，用于在所述第一帧视频图像中，根据目标像素点对应邻域像素点的像素值，建立所述目标像素点的背景模型，所述背景模型为像素值集合；

前景判断模块13，用于获取下一帧视频图像，根据当前帧视频图像的目标像素点像素值和目标像素点背景模型，判断所述目标像素点是否为前景点；

背景模型重建模块14，用于如果所述目标像素点为前景点，在当前帧视频图像中，用目标像素点对应邻域像素点的像素值替换所述像素值集合中的全部元素，以重建背景模型；

背景模型更新模块15，用于如果所述目标像素点为背景点，用当前帧视频图像中目标像素点的像素值随机替换所述像素值集合中的一个元素，以更新背景模型；

统计计算模块16，用于在视频图像序列的所有帧视频图像中，统计所述目标像素点作为相应帧视频图像前景点的出现次数；

运动目标频率热力图生成模块17，用于根据所述出现次数，生成运动目标频率热力图。

可选地，所述背景模型建立模块12包括四邻域背景模型建立模块，用于当所述目标像素点对应邻域像素点为四邻域像素点，且目标像素点的邻域内存在所有的四邻域像素点时，将像素值集合中相应位置的元素设置为所述四邻域像素点像素值，以建立背景模型；或者，当目标像素点的邻域内存在部分四邻域像素点时，将像素值集合中缺失四邻域像素点对应位置的元素设置为目标像素点的像素值，将像素集合中存在四邻域像素点对应位置的元素设置为存在四邻域像素点的像素值，以建立背景模型。当然，所述背景模型建立模块还可以包括八邻域背景模型建立模块，用于根据目标像素点对应的八邻域像素点建立所述背景模型。

参见图7，为根据一示例性实施例示出的背景更新模块的结构示意图，可选地，所述背景更新模块15包括：

随机数生成模块151，用于生成随机数；

更新元素位置确定模块152，用于根据所述随机数，确定背景模型的更新元素位置；

像素值替换模块153，用于以当前帧视频图像中目标像素点的像素值替换所述更新元素位置的像素值。

参见图8，为根据一示例性实施例示出的统计计算模块的结构示意图，可选地，统计计算模块16包括：

初始二值图像矩阵建立模块161，用于建立各个帧视频图像的初始二值图像矩阵，所述初始二值图像矩阵的矩阵元素与帧视频图像的像素点相对应；前景点对应的矩阵元素设置为第一数值，背景点对应的矩阵元素设置为第二数值；

优化二值图像矩阵获得模块162，用于对所述初始二值矩阵进行形态学开操作，得到优化二值图像矩阵；

出现次数矩阵获得模块163，用于累加各个优化二值图像矩阵，得到出现次数矩阵，所述出现次数矩阵的矩阵元素与所述出现次数相对应。

参见图9，为根据一示例性实施例示出的运动目标频率热力图生成模块的结构示意图，可选地，所述运动目标频率热力图生成模块17包括：

显示预设模块171，用于预设多个次数范围，以及与所述次数范围分别对应的显示颜色；

显示模块172，用于当所述出现次数与所述次数范围相匹配时，将所述出现次数对应的像素点调整为相应显示颜色。

通过上述实施例的描述，本发明提供的运动目标频率检测装置通过从视频图像序列中获取第一帧视频图像，在所述第一帧视频图像中，根据目标像素点对应邻域像素点的像素值，建立所述目标像素点的背景模型，所述背景模型为像素值集合；获取下一帧视频图像，根据当前帧视频图像的目标像素点像素值和目标像素点背景模型，判断所述目标像素点是否为前景点；如果所述目标像素点为前景点，在当前帧视频图像中，使用目标像素点对应邻域像素点的像素值替换所述像素值集合中的全部元素，以重建背景模型；如果所述目标像素点不为前景点，使用当前帧视频图像中目标像素点的像素值随机替换所述像素值集合中的一个元素，以更新背景模型；在视频图像序列的所有帧视频图像中，统计所述目标像素点作为相应帧视频图像前景点的出现次数，最后根据所述出现次数，生成运动目标频率热力图。在整个运动目标频率检测过程中，当背景环境发生扰动时，例如无关物体的移入移出或者光线变化等，在对应发生扰动的帧视频图像中，根据前景点的判断背景模型立即以不同的更新策略进行重建或更新，能够将背景环境的干扰及时纳入背景模型，从而保证运动目标提取的精度，进而提高运动目标频率检测的准确性；而且，所述背景模型是基于第一帧视频图像的邻域像素点像素值建立的像素值集合，无需复杂的数值计算，方便背景模型的构建或更新，从而提高运动目标频率检测的效率

本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种运动目标频率检测方法，其特征在于，包括：

从视频图像序列中获取第一帧视频图像；

在所述第一帧视频图像中，根据目标像素点对应邻域像素点的像素值，建立所述目标像素点的背景模型，所述背景模型为像素值集合；

获取下一帧视频图像，根据当前帧视频图像的目标像素点像素值和目标像素点背景模型，判断所述目标像素点是否为前景点；

如果所述目标像素点为前景点，在当前帧视频图像中，用目标像素点对应邻域像素点的像素值替换所述像素值集合中的全部元素，以重建背景模型；或者，

如果所述目标像素点不为前景点，用当前帧视频图像中目标像素点的像素值随机替换所述像素值集合中的一个元素，以更新背景模型；

在视频图像序列的所有帧视频图像中，统计所述目标像素点作为相应帧视频图像前景点的出现次数；

根据所述出现次数，生成运动目标频率热力图。

2.根据权利要求1所述的运动目标频率检测方法，其特征在于，所述根据目标像素点对应邻域像素点的像素值，建立所述目标像素点的背景模型，包括：

当所述目标像素点对应邻域像素点为四邻域像素点，且目标像素点的邻域内存在所有的四邻域像素点时，将像素值集合中相应位置的元素设置为所述四邻域像素点像素值，以建立背景模型；或者，

当目标像素点的邻域内存在部分四邻域像素点时，将像素值集合中缺失四邻域像素点对应位置的元素设置为目标像素点的像素值，将像素集合中存在四邻域像素点对应位置的元素设置为存在四邻域像素点的像素值，以建立背景模型。

3.根据权利要求1所述的运动目标频率检测方法，其特征在于，所述目标像素点为背景点，使用当前帧视频图像中目标像素点的像素值随机替换所述像素值集合中的一个元素，以更新所述背景模型，包括：

生成随机数；

根据所述随机数，确定背景模型的更新元素位置；

以当前帧视频图像中目标像素点的像素值替换所述更新元素位置的像素值。

4.根据权利要求1所述的运动目标频率检测方法，其特征在于，所述在视频图像序列的所有帧视频图像中，统计所述目标像素点作为相应帧视频图像前景点的出现次数，包括：

建立各个帧视频图像的初始二值图像矩阵，所述初始二值图像矩阵的矩阵元素与帧视频图像的像素点相对应；前景点对应的矩阵元素设置为第一数值，背景点对应的矩阵元素设置为第二数值；

对所述初始二值矩阵进行形态学开操作，得到优化二值图像矩阵；

累加各个优化二值图像矩阵，得到出现次数矩阵，所述出现次数矩阵的矩阵元素与所述出现次数相对应。

5.根据权利要求1所述的运动目标频率检测方法，其特征在于，根据所述出现次数，生成运动目标频率热力图，包括：

预设多个次数范围，以及与所述次数范围分别对应的显示颜色；

当所述出现次数与所述次数范围相匹配时，将所述出现次数对应的像素点调整为相应显示颜色。

6.一种运动目标频率检测装置，其特征在于，包括：

第一帧视频图像获取模块，用于从视频图像序列中获取第一帧视频图像；

背景模型建立模块，用于在所述第一帧视频图像中，根据目标像素点对应邻域像素点的像素值，建立所述目标像素点的背景模型，所述背景模型为像素值集合；

前景判断模块，用于获取下一帧视频图像，根据当前帧视频图像的目标像素点像素值和目标像素点背景模型，判断所述目标像素点是否为前景点；

背景模型重建模块，用于如果所述目标像素点为前景点，在当前帧视频图像中，用目标像素点对应邻域像素点的像素值替换所述像素值集合中的全部元素，以重建背景模型；

背景模型更新模块，用于如果所述目标像素点为背景点，用当前帧视频图像中目标像素点的像素值随机替换所述像素值集合中的一个元素，以更新背景模型；

统计计算模块，用于在视频图像序列的所有帧视频图像中，统计所述目标像素点作为相应帧视频图像前景点的出现次数；

运动目标频率热力图生成模块，用于根据所述出现次数，生成运动目标频率热力图。

7.根据权利要求6所述的运动目标频率检测装置，其特征在于，

所述背景模型建立模块包括四邻域背景模型建立模块，用于当所述目标像素点对应邻域像素点为四邻域像素点，且目标像素点的邻域内存在所有的四邻域像素点时，将像素值集合中相应位置的元素设置为所述四邻域像素点像素值，以建立背景模型；或者，当目标像素点的邻域内存在部分四邻域像素点时，将像素值集合中缺失四邻域像素点对应位置的元素设置为目标像素点的像素值，将像素集合中存在四邻域像素点对应位置的元素设置为存在四邻域像素点的像素值，以建立背景模型。

8.根据权利要求6所述的运动目标频率检测装置，其特征在于，所述背景模型更新模块包括：

随机数生成模块，用于生成随机数；

更新元素位置确定模块，用于根据所述随机数，确定背景模型的更新元素位置；

像素值替换模块，用于以当前帧视频图像中目标像素点的像素值替换所述更新元素位置的像素值。

9.根据权利要求6所述的运动目标频率检测装置，其特征在于，所述统计计算模块包括：

初始二值图像矩阵建立模块，用于建立各个帧视频图像的初始二值图像矩阵，所述初始二值图像矩阵的矩阵元素与帧视频图像的像素点相对应；前景点对应的矩阵元素设置为第一数值，背景点对应的矩阵元素设置为第二数值；

优化二值图像矩阵获得模块，用于对所述初始二值矩阵进行形态学开操作，得到优化二值图像矩阵；

出现次数矩阵获得模块，用于累加各个优化二值图像矩阵，得到出现次数矩阵，所述出现次数矩阵的矩阵元素与所述出现次数相对应。

10.根据权利要求6所述的运动目标频率检测装置，其特征在于，所述运动目标频率热力图生成模块包括：

显示预设模块，用于预设多个次数范围，以及与所述次数范围分别对应的显示颜色；

显示模块，用于当所述出现次数与所述次数范围相匹配时，将所述出现次数对应的像素点调整为相应显示颜色。