CN103226712A

CN103226712A - 一种基于有限状态机的遗留物检测方法

Info

Publication number: CN103226712A
Application number: CN2013101841955A
Authority: CN
Inventors: 廖峰
Original assignee: NANJING XINFANGXIANG INTELLIGENT TECHNOLOGY Co Ltd
Current assignee: NANJING XINFANGXIANG INTELLIGENT TECHNOLOGY Co Ltd
Priority date: 2013-05-19
Filing date: 2013-05-19
Publication date: 2013-07-31
Anticipated expiration: 2033-05-19
Also published as: CN103226712B

Abstract

本发明公开了一种基于有限状态机的遗留物检测方法，首先建立高斯混合背景模型，根据不同学习速率分别建立短时背景模型和长时背景模型；然后对每个像素建立有限状态机，根据两个不同更新速度的背景模型检测得到的结果作为输入，有限状态机输出像素分类结果为二值图像，接着对得到的二值图像进行联通区域分析，使用区域生长法得到遗留物的形状和轮廓，计算出包围遗留物的矩形盒；最后对得到的遗留物矩形盒计时，达到门限即检测出遗留物并报警。本发明在遗留物被两个背景吸收的情况下，可以根据像素历史仍然检测出遗留物，在实际场景中虚警和误警较少，因为不依赖于跟踪信息，在密集人流的场合下也能取得好的检测效果。

Description

一种基于有限状态机的遗留物检测方法

技术领域

本发明涉及一种视频遗留物检测方法，更具体地涉及一种基于双背景模型对图像每个像素建立扩展有限状态机进行分类从而检测遗留物的方法。

背景技术

近年来，随着***的蔓延，国内外公共安全事件多发，特别是公共场所***物造成重大伤亡的情况时有发生。视频遗留物检测就是针对犯罪分子在航站、火车站等公共场所趁人不备放置危险品时能迅速发出报警的一种技术手段。同时，遗留物检测也可以在交通场景中用于检测停车事件。

目前视频遗留物检测方法主要通过背景减法检测遗留物。对静止摄像机视频图像中每个像素建立高斯模型得到背景，背景需要不断学习以适应光照和场景缓慢的变化。使用两个不同更新速度的背景模型来检测遗留物。其中，更新快的模型是短时模型，遗留物很快就融入到背景模型；更新慢的是长时模型，遗留物要过一段时间才融入模型。在遗留物融入短时背景模型，还没有融入到长时背景模型时，两个背景的差就是遗留物。

在现有方法中，遗留物在一段时间后，也会被长时背景模型吸收，这时遗留物就不能再被检测到。另外，如果有物体从场景中被移开，会被当做遗留物被检测到。现有方法解决这些问题，需要有选择地使用已检测的遗留物更新长时背景模型，并保持对遗留物的跟踪。然而不正确的更新策略会导致不正确的检测，甚至导致光照变化被检测为遗留物。特别在实际密集人流的场合，运动的人流对遗留物形成遮挡和阴影，难以初始化和保持对遗留物的跟踪，现有方法的虚警和漏警率很高，难以实用。

本质上，现有的方法需要跟踪遗留物检测的结果来干预背景模型，防止遗留物被背景模型吸收。在简单场景下，因为对物体的跟踪比较简单，因而检测遗留物比较可靠。一旦场景中目标较多，相互遮挡和阴影的影响，遗留物的跟踪出现错误，就会干挠背景模型，并且难以恢复，出现虚警和误警。

发明内容

本发明所要解决的技术问题是针对背景技术的缺陷，提出一种基于状态机的遗留物检测方法，对每个像素建立有限状态机，定义在给定状态下，根据两个不同更新速度的背景模型可以得到的结果。这个方法在遗留物被两个背景吸收的情况下，可以根据像素历史仍然检测出遗留物。因为不依赖于跟踪信息，在解决密集人流的场合下也能取得好的检测效果。

本发明为解决上述技术问题采用以下技术方案：

一种基于有限状态机的遗留物检测方法，包括以下步骤：

步骤1：建立视频图像的高斯混合背景模型，根据不同学习速率分别建立短时背景模型和长时背景模型；

步骤2：实时采集视频流，对于采集到的每一帧视频图像，进行以下处理：

201，根据步骤1建立的短时背景模型、长时背景模型分别提取该帧视频图像的前景图像，对于该帧视频图像中的每个像素进行分类，如果像素属于前景，则将其记为1，否则记为0，得到每个像素分别对应于短时背景模型和长时背景模型的二元分类结果（X,Y），作为有限状态机的输入字母表；其中X为像素在长时背景模型中的分类结果，Y为像素在短时背景模型中的分类结果，X=0或1，Y=0或1；

202，为每个像素建立一个有限状态机（I，Q，Z，δ，ω），将每个像素分别在短时背景模型和长时背景模型的二元分类结果作为有限状态机的输入I={（0,0）,（0,1）,（1,0）,（1,1）}，根据有限状态机的状态集Q及其状态转移函数δ得到每个像素当前帧对应的状态，Z={0,1，...，|Q|}是输出字母表，ω={0,1}是输出函数；

203，将每个像素当前帧对应状态机的状态号作为输出字母表进行分类映射：Z->ω，分类结果形成二值图像，对应这个图像值为1的像素属于遗留物；

步骤3:对步骤2得到的二值图像进行联通区域分析，使用区域生长法得到遗留物的形状和轮廓，计算出包围遗留物的矩形盒；

步骤4：循环执行步骤2-3，对得到的遗留物矩形盒计时，当达到门限时即检测出遗留物并报警。

优选的，本发明的一种基于有限状态机的遗留物检测方法，所述有限状态机由输入字母表、状态集、输出字母表、状态转移函数和输出函数构成，具体如下：

输入字母表：是长时背景模型和短时背景模型对像素分类结果构成的集{（0,0），（0,1），（1,0）（1,1）}，其中0表示背景，1表示前景；

状态集及其转移函数具体如下：

状态0-像素是背景；当输入是（0,0）时，状态保持不变；当输入是（1,1）时，转移至状态1；当输入是（0,1）时，转移至状态3；当输入是（1,0）时，转移至状态7；

状态1-像素是运动物体，当输入是（0,0）时，返回状态0；当输入是（0,1）时，转移至状态8；当输入为（1,0）时，转移至状态2；当输入为（1,1）时，状态保持不变；

状态2-像素属于一个物体，已经被短时背景模型吸收，还没被长时背景模型吸收，这个物体当前是短暂静止；当输入为（0,0）时，转移至状态4；当输入为（0,1）时，转移至状态3；当输入为（1,1）时，转移至状态6；当输入为（1,0）时，状态保持不变；

状态3-像素是刚被短暂静止的物体遮挡过的背景；当输入是（0,0）时，转移至状态0，将确定这是场景背景；当输入是（1,0）时，转移至状态2，说明像素是物体；当输入是（1,1）时，转移至状态6；当输入是（0,1）时，状态保持不变；

状态4-像素被两个背景模型吸收，是长时静止的物体；当输入是（1,1）时，转移至状态5；当输入是（1,0）时，转移至状态6；当输入是（0,1）时，转移至状态10；当输入是（0,0）时，状态保持不变；

状态5-不可区分，混沌状态；当输入为（1,1）时，状态保持不变；当输入为（0,0）时，转移至状态4；当输入为（1,0）或（0,1）时，转移至状态6；

状态6-定义一个使能函数f：通过记住这个像素最近未被物体遮挡时的像素值，与当前像素值比较，具体是将RGB空间的差值平方和后再开平方，得到像素值差值，差值在20以内的认为是背景，f值为1，反之是前景，f值为0；在输入相同的情况下，不同的使能函数值转移到不同状态；当输入为（0,1）且f=0时，转移至状态10；当输入为（0,1）且f=1时，转移至状态3；当输入为（1,0）且f=0时，转移至状态9；当输入为（1,0）且f=1时，转移至状态7；当输入为（0,0）且f=0时，转移至状态4；当输入为（0,0）且f=1时，转移至状态0；其它输入状态保持不变；

状态7-短时模型区分为背景，长时模型区分为前景，经验证为场景的背景像素；当输入是（0,0）时，转移至状态0，将确定这是场景背景；当输入是（0,1）时，转移至状态8；当输入是（1,1）时，转移至状态6；当输入是（1, 0）时，状态保持不变；

状态8-长时静止物体被拿开时，像素是场景背景像素；当输入是（0,0）时，转移至状态4，说明遗留物遮挡了另一遗留物；当输入为（1,1）时，转移至状态6；当输入是（1,0）时，转移至状态7；当输入是（0, 1）时，状态保持不变；

状态9-像素是一个短时静止物体遮挡一个长时静止物体；当输入为（0,0）时，转移至状态4，说明短时静止物体被移开，长时静止物体又被显示出来；当输入为（0,1）或（1,1）时，转移至状态6；当输入是（1,0）时，状态保持不变；

状态10-像素是短时静止物体遮挡一个长时静止物体后，拿开短时静止物体，像素当前是长时静止物体；当下一个输入是（0,0）时转移至状态4，将确定这是遗留物；当输入为（1,0）或（1,1）时，转移至状态6；当输入是（0, 1）时，状态保持不变；

输出字母表Z为{0,1，...，N}，即状态机的状态值，N为状态集中的状态个数；

输出函数将Z映射为{0,1}，其中{4}映射为{1}，Z中其余值映射为{0}；

将每帧像素状态机输出得到的二值图像，作为遗留物检测的依据。

优选的，本发明的一种基于有限状态机的遗留物检测方法，所述状态集还包括如下状态：

状态11-复制状态8的中间状态：当输入为（1,0）时，转移至状态12；当输入为（0,0）时，转移至状态4；当输入为（1,1）时，转移至状态13；当输入为（0,1）时，状态保持不变；

状态12-复制状态3的中间状态：当输入为（0,0）时，转移至状态0；当输入为（1,1）时，转移至状态6；当输入为（0,1）时，转移至状态11；当输入为（1,0）时，状态保持不变；

状态13-复制状态1的中间状态：当输入为（0,0）时，转移至状态6；当输入为（0,1）时，转移至状态11；当输入为（1,0）时，转移至状态14；当输入为（1,1）时，状态保持不变；

状态14-复制状态2的中间状态：当输入为（0,1）或（1,1）时，转移至状态6；当输入为（0,0）时，转移至状态4；当输入为（1,0）时，状态保持不变；

状态15-复制状态1的中间状态：当输入为（0,1）时，转移至状态3；当输入为（1,0）时，转移至状态2；当输入为（0,0）时，转移至状态6；当输入为（1,1）时，状态保持不变。

优选的，本发明的一种基于有限状态机的遗留物检测方法，为增加***对噪声抗干挠能力，下面的状态转移函数需要输入保持连续5帧不变才进行转移：状态0转移至状态7，状态0转移至状态3，状态15转移至状态6，状态13转移至状态6，状态4转移至状态6，状态4转移至状态10。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明是基于双背景模型对每个像素建立扩展有限状态机，可以对场景中复杂事件进行过滤，如物体被遗留后又被移走或场景中物体被移走，并且可以任意增加状态适应场景的物体相互遮挡、物体投影等复杂情况。

本发明针对复杂的场景遗留物检测建立通用处理框架，当遗留物被背景模型吸收时无需干预背景模型，减少了***设计的复杂性，增加了***的可靠性，在实际场景中虚警和误警较少，达到了实用的目的。

附图说明

图1是状态机转移图。

图2是增加状态的有限状态机转移图。

图3是本发明的流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

如图3所示，本发明的具体流程如下：

步骤1：建立高斯混合背景模型，根据不同学习速率建立短时和长时模型。提取视频图像的前景和背景，如果像素属于前景，记为1，否则为0。这样得到两个值，作为有限状态机的转移条件；

步骤2：每个像素建立一个有限状态机，用于分类像素的类型。两个背景模型每个像素分类作为转移条件，推动状态机状态改变，状态机详述如下：

状态机由输入、状态集、输出、状态转移函数构成。

输入是长时背景模型和短时背景模型对像素分类结果构成的2进制数集{（0,0），（0,1），（1,0），（1,1）}，0为背景，1为前景。

如图1所示，状态描述像素处于实际场景的情形，每个像素必定处于其中一种情形，有如下状态：

状态0，像素是场景背景，这是状态机的初始状态。输入是（0,0）时状态不变，输入是（1,1）时，转移至状态1，输入是（0,1）时，转移至状态3；输入是（1,0）时，转移至状态7。

状态1，像素属于运动物体，从背景状态0转移而来。由于背景模型噪声的影响，这个状态可能是错误判断，所以需要在这个状态上观察连续多个输入，选择连续3帧。如果后续3帧输入有（0,0），说明该状态是噪声，返回状态0；如果后续3帧输入有（0,1），状态转移到状态8；如果后续超过3帧输入全为（1,0），状态转移到状态2；当输入为（1,1）时，状态保持不变。

状态2，像素属于一个物体，已经被短时模型吸收，还没被长时模型吸收，这个物体当前是短暂静止。为排除噪声的影响，在这个状态上观察连续多个输入，选择连续5帧，超过5帧输入全为（0,0），状态转移到状态4。否则，后续3帧输入有（0,1），状态转移到状态3；输入有（1,1），状态转移到状态6；当输入为（1,0）时，状态保持不变。

状态3，像素是刚被短暂静止的物体遮挡过的背景。这是一个过渡状态，如果下一个输入是（0,0），将确定这是场景背景；如果输入是（1,0），状态转移到状态2，说明像素是物体；如果输入是（1,1），状态转移到状态6；当输入是（0,1）时，状态保持不变。

状态4，像素被两个背景模型吸收，是长时静止的物体，这个状态就是遗留物所在状态；

当输入是（1,1）时，转移至状态5；当输入是（1,0）时，转移至状态6；当输入是（0,1）时，转移至状态10；当输入是（0,0）时，状态保持不变。

状态5，不可区分，混沌状态，输入为（1,1），保持该状态；输入为（0,0），转移到状态4；输入为（1,0）或（0,1）时，转移到状态6。

状态6，短时模型区分为背景，长时模型区分为前景。即物体被移开，但不确定当前像素是场景背景的一种状态。如短暂停留的物体遮挡长时停留的物体或只是遮挡背景，短暂停留的物体此时移开。观察到状态6的状态转移还需要额外的信息，这是因为此时不能确定哪一个背景模型更好地描述了实际场景的背景。有些状态转移函数需要知道状态转移链路的历史信息，这个状态光靠像素历史和背景模型的输入不能确定转移方向，还要比较这个像素上一次背景的值；所以在这个状态使用了类似扩展有限状态机的技术，具体如下：

定义一个使能函数f：通过记住这个像素最近未被物体遮挡时的像素值，与当前像素值比较，具体是将RGB空间的差值平方和后再开平方，得到像素值差值，差值在20以内的认为是背景，f值为1，反之是前景，f值为0；在输入相同的情况下，不同的使能函数值转移到不同状态；当输入为（0,1）且f=0时，转移至状态10；当输入为（0,1）且f=1时，转移至状态3；当输入为（1,0）且f=0时，转移至状态9；当输入为（1,0）且f=1时，转移至状态7；当输入为（0,0）且f=0时，转移至状态4；当输入为（0,0）且f=1时，转移至状态0；其它输入状态保持不变。

状态7，短时模型区分为背景，长时模型区分为前景，可能是场景的背景像素。是一个过渡状态，如果输入是（0,0），将确定这是场景背景，转移至状态0；如果输入是（1,0），状态转移到状态8；如果输入是（1,1），状态转移到状态6；当输入是（1, 0）时，状态保持不变。

状态8，长时静止物体被拿开时，像素可能是场景背景像素，也可能是遗留物体。如果输入是（0,0），状态转移到状态4，说明遗留物遮挡了另一遗留物；如果输入为（1,1），转移到状态6；如果输入是（1,0），状态转移到状态7；当输入是（0, 1）时，状态保持不变。

状态9，像素是一个短时静止物体遮挡一个长时静止物体。如果输入为（0,0），说明短时静止物体被移开，长时静止物体又被显示出来，状态转移到状态4；如果输入为（0,1）或（1,1），状态转移到状态6；当输入是（1,0）时，状态保持不变。

状态10，像素是短时静止物体遮挡一个长时静止物体后，拿开短时静止物体，像素当前是可能是长时静止物体。这是一个过渡状态，如果下一个输入是（0,0），将确定这是遗留物，状态转移到状态4；如果输入为（1,0）或（1,1），状态转移到状态6；当输入是（0, 1）时，状态保持不变。

因为状态6中使能函数会导致额外计算代价，可以通过增加中间状态，减少一些情况下状态机进入状态6，达到更好的计算性能。如图2所示，我们需要扩展上述状态机，增加五个状态：

状态11，像素可能是场景背景像素，这是状态8的类似状态，增加这个状态使状态1转移到状态8的状态转换独立出来，使之转换到状态11。这个状态输入为（1,0）时，状态转移到状态12；输入为（0,0）时，状态转换到状态4；输入为（1,1）时，状态转换到状态13；当输入为（0,1）时，状态保持不变。

状态12，可能是移开物体后的背景像素，是状态3的类似状态。输入为（0,0）时，状态转移到状态0，确认是背景像素；输入为（1,1）时，状态转换到状态6；输入为（0,1）时，状态转换到状态11；当输入为（1,0）时，状态保持不变。

状态13，像素是运动物体，这是状态1的类似状态。输入为（0,0）时，状态转移到状态6；输入为（0,1）时，状态转换到状态11；输入为（1,0）时，状态转换到状态14；当输入为（1,1）时，状态保持不变。

状态14，像素被短时模型吸收，物体当前是短暂静止。这是状态2的类似状态。输入为（0,1）或（1,1）时，状态转移到状态6；输入为（0,0）时，状态转换到状态4；当输入为（1,0）时，状态保持不变。

状态15，像素是运动物体，这是状态1的类似状态。输入为（0,1）时，状态转移到状态3；输入为（1,0）时，状态转换到状态2；输入为（0,0）时，状态转换到状态6；当输入为（1,1）时，状态保持不变。

将每帧像素状态为“状态4”输出为1，表示遗留物，其余状态输出为0，得到二值图像。

为增加***对噪声抗干挠能力，下面的状态转移函数需要输入保持连续5帧不变才进行转移：状态0转移至状态7，状态0转移至状态3，状态15转移至状态6，状态13转移至状态6，状态4转移至状态6，状态4转移至状态10，其实质相当于在这些状态之间增加了4个串行的隐含状态。

步骤4：对得到的遗留物矩形盒计时，达到门限即检测出遗留物并报警。

本发明在遗留物被两个背景吸收的情况下，可以根据像素历史仍然检测出遗留物，在实际场景中虚警和误警较少，因为不依赖于跟踪信息，在密集人流的场合下也能取得好的检测效果。

Claims

1. 一种基于有限状态机的遗留物检测方法，其特征在于，包括以下步骤：

步骤2：实时采集视频流，对于采集到的每一帧视频图像，依次进行以下处理：

201，根据步骤1建立的短时背景模型、长时背景模型分别提取该帧视频图像的前景图像，对于该帧视频图像中的每个像素进行分类，如果像素属于前景，则将其记为1，否则记为0，得到每个像素分别对应于长时背景模型和短时背景模型的二元分类结果（X,Y），作为有限状态机的输入字母表；其中X为像素在长时背景模型中的分类结果，Y为像素在短时背景模型中的分类结果，X=0或1，Y=0或1；

202，为每个像素建立一个有限状态机（I，Q，Z，δ，ω），将每个像素分别在长时背景模型和短时背景模型的二元分类结果作为有限状态机的输入I={（0,0）,（0,1）,（1,0）,（1,1）}，根据有限状态机的状态集Q及其状态转移函数δ得到每个像素当前帧对应的状态，Z={0,1，...，|Q|}是输出字母表，ω={0,1}是输出函数；

2. 根据权利要求1所述的一种基于有限状态机的遗留物检测方法，其特征在于，所述有限状态机由输入字母表、状态集、输出字母表、状态转移函数和输出函数构成，具体如下：

状态集及其转移函数具体如下：

3. 根据权利要求2所述的一种基于有限状态机的遗留物检测方法，其特征在于，所述状态集还包括如下状态：

4. 根据权利要求2所述的一种基于有限状态机的遗留物检测方法，其特征在于，以下状态转移函数需要输入保持连续5帧不变才进行转移：状态0转移至状态7，状态0转移至状态3，状态4转移至状态6，状态4转移至状态10。

5. 根据权利要求3所述的一种基于有限状态机的遗留物检测方法，其特征在于，以下状态转移函数需要输入保持连续5帧不变才进行转移：状态15转移至状态6，状态13转移至状态6。