CN106683077A - 一种扶梯口楼层板上大件物滞留检测方法 - Google Patents

Abstract

本发明公开了一种扶梯口楼层板上大件物滞留检测方法，该方法基于Surendra背景更新，采用新颖的快、慢背景差分策略，包括初始化背景和查询表；对视频图像的灰度化，减少检测耗时；基于Surendra背景更新的快、慢背景更新策略，采用快、慢两种更新速度系数α₁、α₂，分别得到快、慢两种背景对快、慢背景图像进行差分操作；结合二值化阈值、形态学运算，以及候选滞留物中心点坐标与查询表的匹配，最后利用帧数自加器N和累计帧数阈值Thresh4之间的比较，进行最终的大件物滞留判断。本发明公开的方法，可以很好的实现对“进入视野中后滞留下来”的大件物的检测。可应用于扶梯监控***中，能减少人的看护工作、提高检测的实时性和准确率，很好的保证扶梯的顺畅运行。

Description

一种扶梯口楼层板上大件物滞留检测方法

技术领域

本发明涉及扶梯安全监控以及图像处理的技术领域，尤其是指一种扶梯口楼层板上大件物滞留检测方法。

背景技术

随着我国经济的快速发展，以及人们对快捷生活方式的不断追求，使得扶梯的应用越来越普及，尤其是大型商场、地铁站等公共场所。但是，在扶梯给我们生活带来便捷的同时，一些影响扶梯载客顺畅的问题也值得我们关注，像扶梯口楼层板上的大件物滞留，容易造成扶梯载客不顺畅现象，因此对扶梯口处进行实时的大件物滞留检测，就显得很有必要。

针对上述问题，目前的常见应对方法：安排人员，定点现场看护。但这种方法存在人力成本高、很难保证实时性等弊端。因此，利用图像处理知识，来实现智能监控和实时检测，不失为一种更为有效的方法。

目前，基于图像处理知识来进行物品滞留检测的应用研究，存在实时性不好、检测准确率不足等问题，同时，物品滞留检测的应用场景也比较局限，没有涉及到像扶梯口楼层板等相对复杂的场合。本发明基于扶梯口楼层板应用场景，对扶梯口楼层板处大件物滞留进行异常检测，提出一种基于Surendra背景更新的新的检测方法，能快速、高效的检测出乘客将大件物品滞留在监控区域的行为，进而发出“大件物滞留”报警，提醒工作人员及时的移开大件滞留物，保证扶梯的顺畅工作。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种新的扶梯口楼层板上大件物滞留检测方法，该方法基于Surendra背景更新的快慢背景差分策略，实现对扶梯口楼层板上大件物滞留的智能检测，可以应用于扶梯监控***中，配合扶梯控制器通讯，可以减少人的看护工作，很好的保证商场或地铁站等场所扶梯的顺畅运行。

为实现上述目的，本发明所提供的技术方案为：一种扶梯口楼层板上大件物滞留检测方法，该方法基于Surendra背景更新的快慢背景差分策略，包括以下步骤：

1)视频图像采集，具体是通过固定在天花板上垂直楼层板向下拍摄的360°可旋转半球摄像头获取的；

2)初始化背景和查询表

采用视频图像第1帧I₀作为初始背景分别是快、慢两种初始背景，所述查询表用于存储检测到的大件滞留物的中心点坐标信息，并将每帧图像中检测到的候选大件滞留物中心点坐标，与查询表中的信息进行匹配，以确认是否为同一目标；

3)对采集到的视频图像进行灰度化处理，以减少算法的耗时，如下：

I(x,y)＝Gray(Image(x,y))

其中，Image(x,y)是原始采集到的图像，I(x,y)是经灰度化后的图像；

4)基于Surendra背景更新的快、慢背景更新策略

利用Surendra背景更新算法的核心思想：通过帧差法找到有物体运动的区域，对运动区域内的背景保持不变，而非运动区域的背景用当前帧进行替换和更新。同时，选取快、慢两种更新速度的系数α₁、α₂，分别得到快、慢两种背景具体如下：

4.1)将视频图像第1帧I₀作为初始背景

4.2)选取阈值T，迭代次数初始化为m＝1，最大迭代次数为M；

4.3)求当前帧的帧间差分图像

其中，I_j、I_j-1分别为当前帧和上一帧图像；

4.4)将二值图像DB更新快、慢背景图像

式中，α₁、α₂分别是快、慢两种更新系数，均在[0,1]范围内，且α₁＞α₂，阈值常量，分别为快背景、慢背景图像，I_j为输入的当前帧图像；

4.5)迭代次数m加1，返回步骤4.3)，当m＝M时，迭代结束。

5)对快、慢背景图像进行差分操作，并结合二值化阈值Thresh1，得到滞留物检测结果R_j(x,y)，具体如下：

6)对上述滞留物检测结果R_j进行形态学处理，先进行腐蚀运算、接着进行膨胀运算，其中采用disk结构元素进行腐蚀膨胀运算。

7)设置两个连通域面积阈值Thresh2和Thresh3，对R_j中面积大小在[Thresh2,Thresh3]范围内的连通域进行矩形分割，并记录矩形框的对角点信息(x₁,y₁)、(x₂,y₂)，用于求取检测到的候选大件滞留物的中心点C(x_c,y_c)坐标信息，如下所示：

上述中Thresh2和Thresh3的选取，是为了避免非大件滞留物的干扰，以及防止外界光照突然变化而带来的误检操作。

8)对候选大件滞留物的中心点C(x_c,y_c)坐标信息，与查询表中的在中心点坐标信息C₀(x₀,y₀)进行匹配，情况如下：

8.1)如果查询表里中心点坐标信息为空，则将C(x_c,y_c)坐标信息更新到查询表C₀(x₀,y₀)，将用于阈值判断的帧数自加器N清零，并跳出中心点匹配操作，转到步骤4)，进入下一帧图像检测。

8.2)如果查询表里中心点坐标信息不为空，则进行中心点匹配操作，匹配公式如下：

其中，Match为每一帧匹配结果，ε₀为匹配允许偏离阈值范围。

8.3)如果公式(a)中Match结果为false，则将中心点C(x_c,y_c)坐标信息更新到查询表C₀(x₀,y₀)，将用于阈值判断的帧数自加器N清零，转到步骤4)，进入下一帧图像检测。

8.4)如果公式(a)中Match结果为true，则将用于阈值判断的帧数自加器N加1，转到步骤9)。

9)设置累计帧数阈值Thresh4，用于判断帧数自加器N是否达到阈值上限，是否达到将“候选大件滞留物”确定为“大件物滞留”，达到报警的要求。即

式中，Result结果代表是否进行“大件物滞留”报警。

①如果Result为false，转到步骤4)，进入下一帧图像检测。

②如果Result为true，则进行“大件物滞留”报警提醒，并将帧数自加器N清零，在等待用于工作人员移除大件滞留物所需时间t后，转到步骤2)，重新进入下一次的“大件物滞留”报警检测***中。

本发明与现有技术相比，具有如下优点与有益效果：

1、运用图像处理和机器视觉知识，来进行对扶梯口楼层板上大件物滞留的的智能检测，该解决方案尚未有人研究，足够新颖。

2、提出的基于Surendra背景更新的快慢背景差分策略的检测方法，因为是对部分背景进行更新学习，所以可以在一定程度上提高背景更新速度，提升检测时效性；充分利用快慢背景更新学习速度的不同，来实现对“进入视野中后滞留下来”的大件物检测，使得检测准确率增加。

3、应用于扶梯监控***中，配合扶梯控制器通讯，很好的减少了扶梯运行的人工看护任务，降低人工成本，并做到对扶梯口楼层板上大件物滞留检测的实时性，可以很好的保证商场或地铁站等场所扶梯的顺畅运行。

4、可扩展性，本发明阐述的方法是针对视野中只出现一个大件滞留物的情况，如果想检测多个滞留物的情况，只需对查询表进行适当调整即可。

附图说明

图1为本发明的检测方法整体流程图。其中Surendra快背景更新B1即文中Surendra快背景更新B2即文中

图2为本发明的检测方法中摄像头安装示意图。

图3为从扶梯侧看摄像头的示意图。

图4为本发明检测方法的检测过程及检测效果图。其中视频行为是“乘客携带大件物进入楼层板，然后将大件物滞留在楼层板上后离开”。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本实施例提供的扶梯口楼层板上大件物滞留的检测方法，基于Surendra背景更新，采用快慢背景差分策略，实现对扶梯口楼层板上大件物滞留的智能检测，如图1所示，包括以下步骤：

1)视频图像采集

如图2和图3所示，具体是通过固定在天花板上垂直楼层板向下拍摄的360°可旋转半球摄像头1获取的，天花板2用于安装固定摄像头1，扶梯口楼层板3是摄像头1的拍摄对象，用于对扶梯口楼层板进行监控，4为模拟大件滞留物。摄像头1距离扶梯口楼层板3高度，优选4米。

2)初始化背景和查询表，其中采用视频图像第1帧I₀作为初始背景分别是快、慢两种初始背景，查询表用于存储检测到的大件滞留物的中心点坐标信息，并将每帧图像中检测到的候选大件滞留物中心点坐标，与查询表中的信息进行匹配，以确认是否为同一目标；

3)对采集到的视频图像进行灰度化处理，以减少算法的耗时，如下：

I(x,y)＝Gray(Image(x,y))

其中，Image(x,y)是原始采集到的图像，I(x,y)是经灰度化后的图像；

4)基于Surendra背景更新的快、慢背景更新策略

利用Surendra背景更新算法的核心思想：通过帧差法找到有物体运动的区域，对运动区域内的背景保持不变，而非运动区域的背景用当前帧进行替换和更新。同时，选取快、慢两种更新速度的系数α₁、α₂，分别得到快、慢两种背景具体如下：

4.1)将视频图像第1帧I₀作为初始背景

4.2)选取阈值T，迭代次数初始化为m＝1，最大迭代次数为M；

4.3)求当前帧的帧间差分图像

其中，I_j、I_j-1分别为当前帧和上一帧图像；

4.4)将二值图像DB更新快、慢背景图像

式中，α₁、α₂分别是快、慢两种更新系数，均为在[0,1]范围内的阈值常量，且α₁＞α₂，本实施例的应用场景，α₁在[0.8,0.9]范围，α₂在[0.1,0.2]范围内， 分别为快背景、慢背景图像，I_j为输入的当前帧图像；

4.5)迭代次数m加1，返回步骤4.3)，当m＝M时，迭代结束。

5)对快、慢背景图像进行差分操作，并结合二值化阈值Thresh1，此处选取Thresh1＝0.1得到滞留物检测结果R_j(x,y)，具体如下：

6)对上述滞留物检测结果R_j进行形态学处理，先进行腐蚀运算、接着进行膨胀运算，本发明采用disk结构元素进行腐蚀膨胀运算。

7)设置两个连通域面积阈值Thresh2和Thresh3，本实施例中分别取值为输入帧图像大小的1/20和1/5，对R_j中面积大小在[Thresh2,Thresh3]范围内的连通域进行矩形分割，并记录矩形框的对角点信息(x₁,y₁)、(x₂,y₂)，用于求取检测到的候选大件滞留物的中心点C(x_c,y_c)坐标信息，如下所示：

上述中Thresh2和Thresh3的选取，是为了避免非大件滞留物的干扰，以及防止外界光照突然变化而带来的误检操作。其中面积区间下限是避免非大件滞留物的检测干扰，对未达到一定体积的检测目标视作非大件滞留物，而面积区间的上限则是在一定程度上，避免因监控场景中，外界光照的突然变化而引起的误检测为“整个监控区域”的大件滞留物误的存在。利用面积阈值判断，在一定程度上提高了该检测方法的检测准确率，增强了该检测方法的鲁棒性。

8)对候选大件滞留物的中心点C(x_c,y_c)坐标信息，与查询表中的在中心点坐标信息C₀(x₀,y₀)进行匹配，情况如下：

8.1)如果查询表里中心点坐标信息为空，则将C(x_c,y_c)坐标信息更新到查询表C₀(x₀,y₀)，将用于阈值判断的帧数自加器N清零，并跳出中心点匹配操作，转到步骤4)，进入下一帧图像检测。

8.2)如果查询表里中心点坐标信息不为空，则进行中心点匹配操作，匹配公式如下：

其中，Match为每一帧匹配结果，ε₀为匹配允许偏离阈值范围。

8.3)如果公式(6)中Match结果为false，则将中心点C(x_c,y_c)坐标信息更新到查询表C₀(x₀,y₀)，将用于阈值判断的帧数自加器N清零，转到4)，进入下一帧图像检测。

8.4)如果公式(6)中Match结果为true，则将用于阈值判断的帧数自加器N加1，转到步骤9)。

9)设置累计帧数阈值Thresh4，用于判断帧数自加器N是否达到阈值上限，是否达到将“候选大件滞留物”确定为“大件物滞留”，达到报警的要求。即

式中，摄像机帧率为25帧/s的情况下，帧数阈值Thresh4优选50帧，Result结果代表是否进行“大件物滞留”报警。

①如果Result为false，转到步骤4)，进入下一帧图像检测。

②如果Result为true，则进行“大件物滞留”报警提醒，并将帧数自加器N清零，在等待用于工作人员移除大件滞留物所需时间t后，转到步骤2)，重新进入下一次的“大件物滞留”报警检测***中。

至此，即可实现对扶梯口楼层板上大件物滞留的智能检测。

利用上述检测方法，完成对大件物滞留的检测，检测效果如图4所示。图中乘客行为是“携带大件物进入楼层板，然后将大件物滞留在楼层板上后离开”。根据Surendra背景更新思想，由于乘客处在运动状态，所以其对背景的变化没有影响，而其携带的大件物则由运动状态变为静止状态，快背景更新将其学习进入背景，如图4中快背景更新B1，慢背景更新则在一定时间内依旧近似为无大件物的背景状态，如图4中慢背景更新B2。二者做差分，并结合6)形态学处理，完成对大件物滞留的检测，如图4中大件物滞留检测结果。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (1)

1.一种扶梯口楼层板上大件物滞留的检测方法，其特征在于，包括以下步骤：

1)视频图像采集：通过固定在天花板上垂直楼层板向下拍摄的360⁰可旋转半球摄像头获取的；

2)初始化背景和查询表

采用视频图像第1帧I₀作为初始背景 分别是快、慢两种初始背景；所述查询表用于存储检测到的大件滞留物的中心点坐标信息，并将每帧图像中检测到的候选大件滞留物中心点坐标，与查询表中的信息进行匹配，以确认是否为同一目标；

3)对采集到的视频图像进行灰度化处理，以减少算法的耗时，如下：

I(x,y)＝Gray(Image(x,y))

其中，Image(x,y)是原始采集到的图像，I(x,y)是经灰度化后的图像；

4)基于Surendra背景更新的快、慢背景更新策略

利用Surendra背景更新算法的核心思想：通过帧差法找到有物体运动的区域，对运动区域内的背景保持不变，而非运动区域的背景用当前帧进行替换和更新；同时，选取快、慢两种更新速度的系数α₁、α₂，分别得到快、慢两种背景具体如下：

4.1)将视频图像第1帧I₀作为初始背景

4.2)选取阈值T，迭代次数初始化为m＝1，最大迭代次数为M；

4.3)求当前帧的帧间差分图像

$DB=\left\{\begin{array}{c}1,|I_j-I_{j-1}|\&GreaterEqual;T\\ 0,|I_j-I_{j-1}|<T\end{array}\right.---\left(1\right)$

其中，I_j、I_j-1分别为当前帧和上一帧图像；

4.4)将二值图像DB更新快、慢背景图像

$B_j^f(x,y)=\left\{\begin{array}{cc}{B}_{j-1}^f(x,y),& DB(x,y)=1\\ {\mathrm{\&alpha;}}_1{I}_j+(1-{\mathrm{\&alpha;}}_1)B_{j-1}^f(x,y),& DB(x,y)=0\end{array}\right.---\left(2\right)$

$B_j^s(x,y)=\left\{\begin{array}{cc}{B}_{j-1}^f(x,y),& DB(x,y)=1\\ {\mathrm{\&alpha;}}_2{I}_j+(1-{\mathrm{\&alpha;}}_2)B_{j-1}^f(x,y),& DB(x,y)=0\end{array}\right.---\left(3\right)$

式中，α₁、α₂分别是快、慢两种更新系数，均为在[0,1]范围内的阈值常量，且α₁＞α₂，分别为快背景、慢背景图像，I_j为输入的当前帧图像；

4.5)迭代次数m加1，返回步骤4.3)，当m＝M时，迭代结束；

5)对快、慢背景图像进行差分操作，并结合二值化阈值Thresh1，得到滞留物检测结果R_j(x,y)，具体如下：

$R_j\left(x,y\right)=\left\{\begin{array}{cc}255,& |B_j^f\left(x,y\right)-B_j^s\left(x,y\right)|\&GreaterEqual;Thresh1\\ 0,& |B_j^f\left(x,y\right)-B_j^s\left(x,y\right)|<Thresh1\end{array}\right.---\left(4\right)$

6)对上述滞留物检测结果R_j进行形态学处理，先进行腐蚀运算、接着进行膨胀运算，其中采用disk结构元素进行腐蚀膨胀运算；

7)设置两个连通域面积阈值Thresh2和Thresh3，对R_j中面积大小在[Thresh2,Thresh3]范围内的连通域进行矩形分割，并记录矩形框的对角点信息(x₁,y₁)、(x₂,y₂)，用于求取检测到的候选大件滞留物的中心点C(x_c,y_c)坐标信息，如下所示：

$\left\{\begin{array}{c}{x}_c=\frac{(x_1+x_2)}{2}\\ y_c=\frac{(y_1+y_2)}{2}\end{array}\right.---\left(5\right)$

上述中Thresh2和Thresh3的选取，是为了避免非大件滞留物的干扰，以及防止外界光照突然变化而带来的误检操作；其中面积区间下限是避免非大件滞留物的检测干扰，对未达到一定体积的检测目标视作非大件滞留物，而面积区间的上限则是在一定程度上，避免因监控场景中，外界光照的突然变化而引起的误检测为“整个监控区域”的大件滞留物误的存在；利用面积阈值判断，在一定程度上提高了该检测方法的检测准确率，增强了该检测方法的鲁棒性；

8)对候选大件滞留物的中心点C(x_c,y_c)坐标信息，与查询表中的在中心点坐标信息C₀(x₀,y₀)进行匹配，情况如下：

8.1)如果查询表里中心点坐标信息为空，则将C(x_c,y_c)坐标信息更新到查询表C₀(x₀,y₀)，将用于阈值判断的帧数自加器N清零，并跳出中心点匹配操作，转到上面步骤4)，进入下一帧图像检测；

8.2)如果查询表里中心点坐标信息不为空，则进行中心点匹配操作，匹配公式如下：

$Match=\left\{\begin{array}{cc}true,& |x_0-x_c|\&le;{\mathrm{\&epsiv;}}_{0}AND|y_0-y_c|\&le;{\mathrm{\&epsiv;}}_0\\ false,& others\end{array}\right.---\left(6\right)$

其中，Match为每一帧匹配结果，ε₀为匹配允许偏离阈值范围；

8.3)如果公式(6)中Match结果为false，则将中心点C(x_c,y_c)坐标信息更新到查询表C₀(x₀,y₀)，将用于阈值判断的帧数自加器N清零，转到上面步骤4)，进入下一帧图像检测；

8.4)如果公式(6)中Match结果为true，则将用于阈值判断的帧数自加器N加1，转到下面步骤9)；

9)设置累计帧数阈值Thresh4，用于判断帧数自加器N是否达到阈值上限，是否达到将“候选大件滞留物”确定为“大件物滞留”，达到报警的要求，即

$\mathrm{Re}sult=\left\{\begin{array}{c}true,N\&GreaterEqual;Thresh4\\ false,N<Thresh4\end{array}\right.---\left(7\right)$

式中，Result结果代表是否进行“大件物滞留”报警；

①如果Result为false，转到上面步骤4)，进入下一帧图像检测；

②如果Result为true，则进行“大件物滞留”报警提醒，并将帧数自加器N清零，在等待用于工作人员移除大件滞留物所需时间t后，转到上面步骤2)，重新进入下一次的“大件物滞留”报警检测***中；

至此，即可实现对扶梯口楼层板上大件物滞留的智能检测。