CN105740814B - 一种使用视频分析确定固废危废存放状态的方法 - Google Patents

Abstract

本发明公开了一种使用视频分析确定固废危废存放状态的方法，通过该方法对固危废存放场地的实时视频进行分析，一旦有遗弃物在堆放区域之外，对遗弃物与堆放区内的危废物品进行比对，立即生成报警信息，通过工作人员对异常进行干预；检测堆放区域内的危废物品转移行为，一旦有转移行为发生，记录转移时间，立即发出转移信号，以便监控人员对转移行为进行核对监督；对堆放区域进行边界检测，一旦堆放越界，生成越界信号，提示危废品需要进行转移。

Description

一种使用视频分析确定固废危废存放状态的方法

技术领域

本发明涉及一种视频分析方法。

背景技术

传统固危废存放检测主要是通过视频监控与红外监控相结合的方式，其特点主要是需要工作人员通过紧盯屏幕的方式对监控画面进行监视，否则就需出了环保事故后再去回看监控录像查找线索，无法预防环保事故的发生。同时由于监控点数量巨大，不可能让有限的监控人员及显示设备同时关注所有的监控点，大多采用轮询播放的方式，在大部分情况下，监控点的视频画面并没有被监控人员看到，很可能在这些时间内就有值得注意的异常现象出现。而由于监控人员并未当场发现，而错过了及时处理的机会。还有监控人员注意力不能长时间集中，面对如此多的监控图像，往往由于监控人员的一个疏忽就错过了将事故消除在萌芽阶段的时机。

发明内容

本发明的目的是提供一种使用视频分析确定固废危废存放状态的方法。

为了实现上述目的，采用以下技术方案：

一种使用视频分析确定固废危废存放状态的方法，其特征在于：所述方法包括对物体进行遗留检测，其步骤如下：

(1)利用一定更新速率的混合高斯背景建模提取二值前景目标S(x,y)，具体建模要求为：当有遗留物遗留在场景中时，遗留物缓慢融入背景，遗留物在前景图像中滞留一段时间；

(2)进行频率统计分析；使用一个与图像大小相同的矩阵M(x,y)，矩阵初始化为零矩阵，当前景中某个位置像素为255时就在矩阵的相同位置加1，若前景中的某个位置的像素值为零，则在矩阵的相同位置减去某个大于1的数值，若出现负数，则该位置的元素置为零；若在某个时刻出现遗留物，随着时间的更新遗留物会逐渐融入背景中，体现在前景图像上的特征为出现一段时间后逐渐消失，体现在矩阵M(x,y)的特点为遗留物对应矩阵位置的元素从0开始增大，然后减小到零的过程，这一过程中的会出现一个最大值，如果背景更新率不变，这一最大值会稳定在一个很小的范围内，计算这一范围内的均值与方差σ，称均值为遗留物停留在前景中最大频率，成为遗留物在前景中的最大频带，在此频带内的对应的像素点即为疑似遗留物；

若更新速率不变，一旦通过某次遗留物测试得到了σ，下次就不必重新计算σ，只需计算统计矩阵M(x,y)然后进行判断就可以获取可疑遗留物的全部位置,具体判断方法如下：

若在某个时刻统计矩阵M(x,y)中的元素大于的数量超过一定的阈值，此时矩阵中所有不小于值的元素对应的位置就是可疑遗留物的位置，同时将矩阵对应位置的值置为零，现在转到下面一步；

(3)在第2步中获取了可疑遗留物的遗留位置的同时，截取当前图像中遗留图像，该目标即为可疑遗留物，然后对可疑遗留物进行跟踪或者匹配；若在接下的一定时间内跟踪失败，或者目标匹配失败，则说明遗留物离开了，不能算是固废遗留在场景中；若在一定时间内遗留物跟踪成功或者遗留物与当前视频图像匹配成功，则视为物品遗失在场景之中。

所述方法还包括对物体转移检测，其步骤如下：

(1)获取不同更新速率下的两张前景图；在做遗留物检测时通过混合高斯背景建模已经得到了一个前景图像S₁(x,y)，先再通获取一个前景图像：利用慢速滑动平均背景建模得到前景图像，要求背景更新速率要比混合高斯背景建模要慢，该前景图像的生成方式为，背景图像与当前图像做差，并取绝对值，如果差值小于某一值，在前景中置为零，否则取背景图中的像素值，然后再得到的图像进行二值化，大于指定值的取255，小于等于指定值的像素置为0，得到前景图S₂(x,y)；

(2)提出可疑转移物；在S₁(x,y)中像素值为0并且在S₂(x,y)中像素值为255的点为可疑转移物的像素点，并在一张空白图像T(x,y)上记录这些位置，并随着图像的更新统计每张T(x,y)中可疑转移物像素点的数量，记为时间序列{P(t),t＝0,1,2,…}；

(3)模拟物体转移状态，确认是否有物品转移；对于序列

P(t)＝{p₁,p₂,…,p_s},

建立一个s-1的空序列，K(n),n＝1,2,…,s-1,

接下来统计1个数N₁与0的个数N₀，统计先减后增的数量，即0-1的数量N_0-1，满足如下要求即可判定为物品转移，即：

N₀>N₁

N_0-1<<N₁

其中N₀>N₁表示先剧烈增大，然后缓慢减小，N_0-1<<N₁表示序列中先减后增的数量要远远小于增大的数量。

所述方法还包括对物品堆放越界分析的步骤：

设固危废的应堆放区域为D，B为缓冲区域，S为非堆放区域，其中堆放物可以临时存放在缓冲区域内，通过遗留物分析，取得了遗留的位置，设第i个遗留物的图像为L_i，掩码为M_i，在监控图像中的位置为(x,y,h,w)，其中(x,y)为遗留物区域的左上坐标，h为遗留物区域在图像中的高度，w为遗留物区域在图像中的宽度，通过(x,y,h,w)计算出矩形区域的四个定点坐标p_i(i＝1,2,3,4)，若p_i∈D∪B，堆放未越界，并将L标准化为64×64的子图像并计算其Hu特征H_Li，H_Li表示第i个遗留的Hu特征，将L_i的非掩码区域复制到一张判读越界区域的监视图像Y中；若L_i的的四个定点只要有一个定点在S中，则堆放越界，发出越界警示，同时计算L_i标准化之后Hu特征，并与堆放区域内的遗留物进行特征比对，若与堆放区域内的特征相近，则视为疑似危废物堆放在边界之外，发出需要人为干预的警告；

监视图像Y，若堆放区域的面积达到一定比例，或者堆放区域的图像溢出边界超过一定的阈值，或者堆放在缓冲区域到达一定比例，则堆放超过一定规模，需要转移，发出转移信号。

所述方法还包括物品转移分析与转移密度检测步骤：

通过转移检测能检测到固废物转移的时间，并记录时间，统计一定时间内的转移次数，若该时间段内转移的次数超过规定次数，视为大规模转移，上传转移时间，若转移次数小于阈值，视为可疑转移，上传监控视频与状态，实施人工干预，并且对比当前图像中(D∪S)区域的Hu特征，若还有遗留特征，说明固废未完成转移，若堆放区D无遗留特征则将监视图像Y的堆放区清零，若非堆放区S无遗留特征则将监视图像Y的堆放区清零，，若缓冲区域B无Hu特征，则将监视图像Y的缓冲区域清零。

本发明通过该方法对固危废存放场地的实时视频进行分析一旦有遗弃物在堆放区域之外，对遗弃物与堆放区内的危废物品进行比对，立即生成报警信息，通过工作人员对异常进行干预；检测堆放区域内的危废物品转移行为，一旦有转移行为发生，记录转移时间，立即发出转移信号，以便监控人员对转移行为进行核对监督；对堆放区域进行边界检测，一旦堆放越界，生成越界信号，提示危废品需要进行转移。

附图说明

图1为本方法的流程图；

图2为堆放区域D，缓冲区域B，非堆放区域S示意图。

具体实施方式

为了方便说明问题，约定如下符号体系：

F(x,y)-----当前视频图像(x,y)处的像素值为F(x,y)；

B(x,y)------背景图像(x,y)处的像素值为B(x,y)；

S(x,y)------二值前景,通过背景图像与当前视频图像进行差分之后二值化得到；

下面结合附图和具体实施例对本发明做进一步的说明。

如图1所示，本发明包括下列步骤：

(一)遗留物检测

注：这里处理的所有图像均为8位间的灰度图像，灰度值的范围是0～255.

传统的遗留物检测采取方法是：通过适当的背景建模方法(滑动平均背景建模，码本背景建模法，混合高斯背景建模法)建立两个不同背景更新速率的背景，与当前视频帧做差分，得到两个不同背景更新速率的前景图像并二值化，然后进行像素级比较，如果通过快速更新背景得到前景像素为0，同时慢速背景更新得到的前景像素为1，则将此像素点视为遗留物。该方法的好处是能及时发现遗留物，但这种方法是有很大局限性的，具体而言有如下原因：①受制于通过背景建模得到前景往往不是真实前景的全体，也就是说得到的前景图像一般不完整，那么通过前景之间的比较得到遗留物图像也不完整；②通过背景不断更新，遗留在场景中的物品迟早会融入背景之中，利用传统方法前提是，快速背景中遗留物已经融入了背景，而慢速背景中的遗留物还未融入背景，这样会造成两个问题，一是难以确定背景更新的速率，二是很难把握提取遗留物的时机，具体原因是视频在不断更新，遗留物在不断融入背景中，这一过程中，等遗留物完全融入快速背景之后，才能提取，理想的提取时机就是遗留物刚融入背景之时，显然这个时刻是难以把控的，同时慢速背景中的遗留物也在融入背景中，得到的前景图像可能就不完整。

鉴于此，提出了一种基于慢更新速率的单背景频率统计分析与模板匹配的遗留物检测方法，该方法分为三个步骤，下面进行逐项分析：

1.利用慢更新背景建模提取二值前景目标S(x,y)。该发明中采取了目前比较成熟混合高斯建模提取前景目标，其背景更新速率只要满足当遗留物出现在场景中时在前景中能停留一个满足要求的时间即可，具体而言就是要求大多数满足运动目标(这里的运动目标只要是指将固危废遗留在场景中的人)离开后还能看见遗留物，慢更新背景的主要目的就是防遮挡。

2.进行频率统计分析。由于背景更新遗留在场景中的目标会逐渐融入背景中，现在用一个与图像大小相同的矩阵M(x,y)来记录这一过程，矩阵初始化为零矩阵，当前景中某个位置像素为255时就在矩阵的相同位置加1，若前景中的某个位置的像素值为零，则在矩阵的相同位置减去10(其实不一定减去10，这样目的就是抗随机干扰)，若出现负数，则该位置的元素置为零。由于随着视频图像的不断更新，遗留物会持续出现在前景一段时间，在矩阵M(x,y)体现为遗留区域的值不断增大，并且同一遗留区域对应的值相差很小，在同一范围内。记录遗留物从出现到消失，也就是遗留区域对应的矩阵位置的元素从0开始增大，到变为零这一过程中的一个最大值，如果背景更新率不变，这一最大值会稳定在一个很小的范围内，并计算这一范围内的均值与方差σ，不妨称均值为遗留物停留在前景中最大频率，成为遗留物在前景中的最大频带，在此频带内的对应的像素点即为遗留物。

若更新速率不变，一旦通过某次遗留物测试得到了σ，下次就不必重新计算σ，只需计算统计矩阵M(x,y)，一旦矩阵内某位置的值在就视为遗留物，同时将该位置的值置为零，现在转到下面一步。

3.通过第2步获取了遗留物，但该遗留物有可能是运动的目标(如人或者车辆等物品)暂时静止在场景中，并非固危废，而非固危废的物品会在短暂的停留之后离开场景的，现在任务就是对第2步中得到遗留物进行跟踪或者不断匹配。具体方法是：在第2步中获取了遗留物的遗留的位置的同时，截取当前图像中遗留图像，该目标即为可疑遗留物，然后对遗留物进行跟踪或者匹配。若在接下的的一定时间内跟踪失败，或者目标匹配失败，则说明遗留物离开了，不能算是固废遗留在场景中；若在一定时间内遗留物跟踪成功或者遗留物与当前视频图像匹配成功，则视为物品遗失在场景之中。用到的跟踪方法是camShift。当然常规图像匹配很费时，不适合实时分析，该方法对匹配方法进行了调整，每次都匹配遗留区域的所在的位置，减小内存开销与时间开销，为了使匹配效果有效，采用了Hu不变矩进行匹配，能抗一定程度的干扰。Hu特征是图像特征提取中常用特征，在很多关于图像处理方面的书籍杂志中都有涉及，如在《Feature Extraction&Image Processing》中就有关于Hu不变矩的详细论述。

对该遗留物检测方法的分析与评价：只建立了一个背景模型，有效降低了时间复杂度与空间复杂度，通过遗留物在前景中的最大频带分析检测，能有效检测出先后遗留在场景中的遗留物，有效防止漏检与重复检测，同时对可疑遗留物进行跟踪或者匹配，能有效确认是否为遗留物。

(二)物品转移检测

物品转移检测的最基本思想就是对比背景与当前图像，背景图像中有的物品，而在当前图像中没有，该物品就视为物品被转移了。传统的处理方法是有三种：一种方式的原理是假设转移物周围的像素与物品取走之后相似，通过直方图对比判断是否为遗失物，但这种方法只适用于背景较为简单的场景之中，而固废堆放的环境常常是很复杂的，因此该方法在固废转移检测中不试用；第二种方式是，通过对背景与当前图像进行轮廓匹配的方式来确定物品转移，具体实现方法是对当前图像(剔除当前运动目标)与背景图像进行轮廓检测，在背景中有的轮廓而在当前视频中没有与之匹配的轮廓视为物品转移行为发生，这种方法适用与光照稳定的环境中，同时要对两张图像进行轮廓检测，与匹配计算量变大，不利于实时分析。还有一种方法是建立两个不同更新速率的双背景模型，得到两个不同前景，当有物品转移时，快速背景很快将物品转移之后的区域更新到背景中，而慢速背景还没有更新完成或者说物品还在背景之中，物品转移通过两背景得到的二值前景具体表现为，慢速更新机制下得到的前景中像素为1，而慢速背景中像素为0。

本发明对第三种方式进行了改进，具体实现过程为：

①获取不同更新速率下的前景图。在做遗留物检测时通过混合高斯背景建模(通过Opencv视觉库中的混合高斯背景建模得到)得到了一个前景图像S₁(x,y)，为了提高效率，利用慢速滑动平均背景建模得到前景图像，该前景图像的生成方式为，背景图像与当前图像做差，并取绝对值，如果差值小于某一值(本发明中设定为30)，在前景中置为零，否则取背景图中的像素值，然后再得到的图像进行二值化，大于10的取255，小于等于10的像素置为0，得到前景图S₂(x,y)，这样目的突出转移区域；

②提出可疑转移物。在S₁(x,y)中像素值为0并且在S₂(x,y)中像素值为255的点为可疑转移物的像素点，并在一张空白图像T(x,y)上记录这些位置，并随着图像的更新统计每张T(x,y)中可疑转移物像素点的数量，显然这是一个时间序列，记为{P(t),t＝0,1,2,…}。

③模拟物体转移状态，确认是否有物品转移。对于一个具体的物体而言，要么未转移，要么转移了。若在某个时刻物品发生了转移，随着图像更新，则P(t)体现为突然增大，然后逐渐减小到零，如：P(t)＝{0，89，153，423，427，569，513，464，416，368，337，306，274，249，222，188，106，54，0}.通过不断试验发现物体发现转移时，都满足这样一个由小突然增大，然后逐渐减小到0的过程，现在通过得到的P(t)来判断是否有物品发生了转移。实现的方法，对于一段序列

P(t)＝{p₁,p₂,…,p_s},

建立一个s-1的空序列，K(n),n＝1,2,…,s-1,

接下来统计1个数N₁与0的个数N₀，统计先减后增的数量，即0-1的数量N_0-1，满足如下要求即可判定为物品转移，即：

N₀>N₁

N_0-1<<N₁

其中N₀>N₁表示先剧烈增大，然后缓慢减小，N_0-1<<N₁表示序列中先减后增的数量要远远小于增大的数量。

对该转移检测算法的分析与评价：通过大量试验，获取了物品转移在背景与前景中出现与消失的过程与机制，该方法结合了混合高斯背景建模与滑动平均背景建模，混合高斯背景建模利用了遗留物检测中的结果，而滑动平均建模时间复杂度与空间复杂度均比较低。通过对物品转移过程的背景前景分析，获取了可疑转移物的时间序列，对时间序列进行分析建模确认是否构成物品转移的条件，该算法与传统转移检测相比较准确度高，抗随机干扰的能力强，鲁棒性优越。

(三)堆放越界分析与特征比对

设固危废的应堆放区域为D，B为缓冲区域，S为非堆放区域，其中堆放物可疑临时在缓冲区域内，三者的关系见图2：

通过遗留物分析，取得了遗留的位置，设第i个遗留物的图像为L_i，掩码为M_i，在监控图像中的位置为(x,y,h,w)，其中(x,y)为遗留物区域的左上坐标，h为遗留物区域在图像中的高度，w为遗留物区域在图像中的宽度，显然得到的区域是一个矩形区域，通过(x,y,h,w)计算出矩形区域的四个定点坐标p_i(i＝1,2,3,4)，若p_i∈D∪S，堆放未越界，并将L标准化为64×64的子图像并计算其Hu特征H_Li(表示第i个遗留的Hu特征)，将L_i的非掩码区域复制到一张判读越界区域的图像Y中；若L_i的的四个定点只要有一个定点在S中，则堆放越界，发出越界警示，同时计算L_i标准化之后Hu特征，并与堆放区域内的遗留物进行特征比对，若与堆放区域内的特征相近，则视为疑似危废物堆放在边界之外，这时发出需要人为干预的警告。

监视图像Y，若堆放区域的面积达到一定比例(算法中设为堆放区域的9/10)，或者堆放区域的图像溢出边界超过一定的阈值(本发明中阈值设为边界的1/10)，则堆放超过一定规模，需要转移，发出转移信号。

(四)转移分析与转移密度检测

通过转移检测能检测到固废物转移的时间，并记录时间，统计一定时间内的转移次数，本发明设定的时间段为5分钟，若该时间段内转移的次数超过一定次数(本发明设定为20)，视为大规模转移，上传转移时间，若转移次数小于阈值，视为可疑转移，上传监控视频与状态，实施人工干预，并且对比监控图像中的堆放区域、缓冲区域、非堆放区域的的遗留物Hu特征，若还有遗留特征，说明固废转移未完成，提示需要继续转移，若相应的区域内无遗留物特征则将监视图像Y的相应区域清零。

Claims (4)

1.一种使用视频分析确定固废危废存放状态的方法，其特征在于：所述方法包括对物体进行遗留检测，其步骤如下：

(1)利用一定更新速率的混合高斯背景建模提取二值前景目标S(x，y)，具体建模要求为：当有遗留物遗留在场景中时，遗留物缓慢融入背景，遗留物在前景图像中滞留一段时间；

(2)进行频率统计分析；使用一个与图像大小相同的矩阵M(x，y)，矩阵初始化为零矩阵，当前景中某个位置像素为255时就在矩阵的相同位置加1，若前景中的某个位置的像素值为零，则在矩阵的相同位置减去某个大于1的数值，若出现负数，则该位置的元素置为零；若在某个时刻出现遗留物，随着时间的更新遗留物会逐渐融入背景中，体现在前景图像上的特征为出现一段时间后逐渐消失，体现在矩阵M(x，y)的特点为遗留物对应矩阵位置的元素从0开始增大，然后减小到零的过程，这一过程中会出现一个最大值，如果背景更新率不变，这一最大值会稳定在一个很小的范围内，计算这一范围内的均值与方差σ，称均值为遗留物停留在前景中最大频率，成为遗留物在前景中的最大频带，在此频带内的对应的像素点即为疑似遗留物；

若更新速率不变，一旦通过某次遗留物测试得到了σ，下次就不必重新计算σ，只需计算统计矩阵M(x，y)然后进行判断就可以获取可疑遗留物的全部位置，具体判断方法如下：

若在某个时刻统计矩阵M(x，y)中的元素大于的数量超过一定的阈值，此时矩阵中所有不小于值的元素对应的位置就是可疑遗留物的位置，同时将矩阵对应位置的值置为零，现在转到下面一步；

(3)在第(2)步中获取了可疑遗留物的遗留位置的同时，截取当前图像中遗留图像，该目标即为可疑遗留物，然后对可疑遗留物进行跟踪或者匹配；若在接下的一定时间内跟踪失败，或者目标匹配失败，则说明遗留物离开了，不能算是固废遗留在场景中；若在一定时间内遗留物跟踪成功或者遗留物与当前视频图像匹配成功，则视为物品遗失在场景之中。

2.如权利要求1所述的使用视频分析确定固废危废存放状态的方法，其特征在于：所述方法还包括对物体转移检测，其步骤如下：

(1)获取不同更新速率下的两张前景图；在做遗留物检测时通过混合高斯背景建模已经得到了一个前景图像S₁(x，y)，再获取一个前景图像：利用慢速滑动平均背景建模得到前景图像，规定背景更新速率比混合高斯背景建模速率慢，该前景图像的生成方式为，背景图像与当前图像做差，并取绝对值，如果差值小于某一值，在前景中置为零，否则取背景图中的像素值，然后再得到的图像进行二值化，大于指定值的取255，小于等于指定值的像素置为0，得到前景图S₂(x，y)；

(2)提出可疑转移物；在S₁(x，y)中像素值为0并且在S₂(x，y)中像素值为255的点为可疑转移物的像素点，并在一张空白图像T(x，y)上记录这些位置，并随着图像的更新统计每张T(x，y)中可疑转移物像素点的数量，记为时间序列{P(t)，t＝0，1，2，...}；

(3)模拟物体转移状态，确认是否有物品转移；对于序列

P(t)＝{p₁，p₂，...，p_s}，

建立一个s-1的空序列，K(n)，n＝1，2，...，s-1，

接下来统计1的个数N₁与0的个数N₀，统计先减后增的数量，即0-1的数量N_0-1，满足如下要求即可判定为物品转移，即：

N₀＞N₁

N_0-1＜＜N₁

其中N₀＞N₁表示先剧烈增大，然后缓慢减小，N_0-1＜＜N₁表示序列中先减后增的数量要远远小于增大的数量。

3.如权利要求2所述的使用视频分析确定固废危废存放状态的方法，其特征在于：所述方法还包括对物品堆放越界分析的步骤：

设固危废的应堆放区域为D，B为缓冲区域，S为非堆放区域，其中堆放物可以临时存放在缓冲区域内，通过遗留物分析，取得了遗留的位置，设第i个遗留物的图像为L_i，掩码为M_i，在监控图像中的位置为(x，y，h，w)，其中(x，y)为遗留物区域的左上坐标，h为遗留物区域在图像中的高度，w为遗留物区域在图像中的宽度，通过(x，y，h，w)计算出矩形区域的四个定点坐标p_i(i＝1，2，3，4)，若p_i∈D∪B，堆放未越界，并将L标准化为64×64的子图像并计算其Hu特征H_Li，H_Li表示第i个遗留的Hu特征，将L_i的非掩码区域复制到一张判读越界区域的监视图像Y中；若L_i的的四个定点只要有一个定点在S中，则堆放越界，发出越界警示，同时计算L_i标准化之后Hu特征，并与堆放区域内的遗留物进行特征比对，若与堆放区域内的特征相近，则视为疑似危废物堆放在边界之外，发出需要人为干预的警告；

监视图像Y，若堆放区域的面积达到一定比例，或者堆放区域的图像溢出边界超过一定的阈值，或者堆放在缓冲区域到达一定比例，则堆放超过一定规模，需要转移，发出转移信号。

4.如权利要求3所述的使用视频分析确定固废危废存放状态的方法，其特征在于：所述方法还包括物品转移分析与转移密度检测步骤：

通过转移检测能检测到固废物转移的时间，并记录时间，统计一定时间内的转移次数，若该时间段内转移的次数超过规定次数，视为大规模转移，上传转移时间，若转移次数小于阈值，视为可疑转移，上传监控视频与状态，实施人工干预，并且对比当前图像中(D∪S)区域的Hu特征，若还有遗留特征，说明固废未完成转移，若堆放区D无遗留特征则将监视图像Y的堆放区清零，若非堆放区S无遗留特征则将监视图像Y的堆放区清零，若缓冲区域B无Hu特征，则将监视图像Y的缓冲区域清零。