CN101540891A

CN101540891A - 基于监控视频的行李传送仓人体检测***

Info

Publication number: CN101540891A
Application number: CN200910048986A
Authority: CN
Inventors: 路红; 张文强; 宋元征; 薛向阳
Original assignee: Fudan University
Current assignee: Fudan University
Priority date: 2009-04-09
Filing date: 2009-04-09
Publication date: 2009-09-23

Abstract

一种基于监控视频的行李传送仓人体检测***，涉及一种视频监控技术，具体地说，涉及一种数字视频与图像的处理与应用。其应用例如，行李传送仓作为机场客运、货运***当中的重点安全区域，有必要对进入仓体的人进行实时检测。本发明利用自主创新的计算机视觉特征构建实时视频监控检测模块，自动检测传送仓中出现的人体。该模块降低了对入侵人体检测的人力资源的消耗，避免了现有检测技术的种种弊端，利用监控视频，实现自动智能检测，从而提高了监控质量。

Description

基于监控视频的行李传送仓人体检测***

技术领域

本发明涉及一种视频监控技术，具体地说，涉及一种数字视频与图像的处理与应用技术。

背景技术

行李传送仓是客运、货运***当中专供行李传送的通道，在大多数运输机构的规章制度当中，禁止有人进入传送仓内。以往的运营工作表明，有为达到盗窃、逃票或者偷渡目的的不法分子，甚至***，会利用各种手段进入行李传送仓，很容易造成对旅客生命及物质财产的危害。

因此，对行李传送仓进行人体检测，以防止有人进入仓体，是十分必要的。现有的针对行李传送仓的人体检测方法分为两大类。第一类采用完全的人工检测，即安排工作人员于传送仓口，或者监控屏幕前进行监管。这类方法的主要缺陷在于耗费大量人力资源，无法避免人的主观因素所可能导致的错误，例如工作人员因疲劳造成误检及漏检，甚至与犯罪分子私通等十分严重的潜在问题；第二类采用自动检测，在现有方法当中，多数采用利用人体与行李热量差别的红外线热感应技术。实际经验表明，这种方法在冬季的效果较好，但在夏季，由于环境温度升高，经过阳光直射的行李很容易被误检为人体。

发明内容

基于对上述现有技术的分析，本发明的目的在于避免上述缺陷，提供一种基于监控视频的行李传送仓人体检测***；其基于行李传送仓内的监控视频，利用数字视频与图像处理技术，采用计算机视觉特征提取算法，搭建针对行李传送仓的自动人体检测***。

本发明的技术方案如下：

根据本发明的一种基于监控视频的行李传送仓人体检测***，包括安装在行李传送仓内的监控摄像头，由该监控摄像头送出的模拟信号，再传送到位于观察室中的显示屏，其向安保人员显示该摄像头所拍摄的实时图像，所述模拟信号经由转换器转换成数字视频信号，之后，由自动监控模块中的基于规则的人体检测模块进行人体信息检测，并向安保人员提供报警信号，进行安保处理，特点是，该基于规则的人体检测模块未检测出人体信息的数字视频信号，再送基于计算机视觉特征的人体检测模块进行人体检测。

所述的基于规则的人体检测模块包括建模子模块，接收数字视频信号，将其转化成带有语义的数字模型；用户定制规则子模块，其提供简单的判定视频信号中的人体信息；分别接收建模子模块和用户定制规则子模块的输出信息的基于规则的人体检测子模块；以及连接人体检测子模块的判定检测到人体信息的输出子模块。

所述的用户定制规则子模块系人为制定规则的子模块。

所述的人为制定规则的定制子模块，其内容在形式上为一张人为规则列表。

所述的规则列表包括：a.面积过小的前景区不可能为人体；b.行李不可能位于传送带以外；c.行李的运动方向不可能与传送带的运动方向相反。

所述的基于计算机视觉特征的人体检测模块，其包括依次以数据流联结的视觉特征计算子模块、分类器。其中，视觉特征计算子模块连接该判定人体信息的输出子模块，进行对人体信息的二次检测，通过检测判定丢弃或送报警模块报警。

所述的视觉特征计算子模块以当前视频前景图像作为输入，包括依次以数据流联结的低阈值下的Canny边缘检测子模块、分块计算子模块、各块边缘密度计算子模块、各块边缘密度排序子模块、二次提取子模块，用于检测人体的计算机视觉特征向量。

所述的监控摄像头选用分辨率为100000像素以上，拍摄视频每秒15帧以上的任意彩色摄像头，拍摄角度固定，并伴有照明设施或所述的监控摄像头选用三枚摄头，在传送带垂直上方架设第一只监控摄像头，其拍摄角度与传送带呈45°；在传送带正左右两侧各设第二、第三枚摄像头，该摄像头均为分辨率大于100000像素，拍摄视频每秒最高15帧以上的任意彩色摄像头，并相应配设照明设备。

本发明的优点是：克服了现有技术的缺点，明显提高了工作效率，节省人力及物质成本、开销；特别是使用计算机的视觉特征识别方式，来克服使用红外检测方式导致的夏季难以区分人体与行李的问题，从而达到快速可靠地检测行李传送仓中的人体，保证了运营安全。

附图说明

图1是本发明的***结构图。

图2是本发明的自动监控模块的子模块结构示意图。

图3是本发明的基于计算机视觉特征的人体检测模块的二次检测结构示意图。

图4是本发明中单监控摄像头的实施例侧视示意图。

图5(1)是本发明中安装三枚监控摄像头的实施例侧视示意图。

图5(2)是本发明中安装三枚监控摄像头的实施例顶视示意图。

具体实施方式

下面根据图1-图5给出本发明的较好实施例，并予以详细说明，使能更好地理解本发明而不是用来限制本发明的范围。

***以及***组成部分结构如图1所示，首先由安装在行李传送仓内的监控摄像头拍摄实时监控画面，监控画面以模拟信号的形式在线路上传送至监控室屏幕以及信号转换器，信号转换器将模拟视频信号转化为数字视频信号，并作为自动监控模块的输入。模块采用两层架构对输入的视频信号进行智能分析，并对检测到的传送仓内的人体进行报警，报警之后由相应的***模块对相应的视频数据进行存贮，记录等操作。相关安保人员接收到报警信号之后采取相关操作。

图1中各个部分的释义及功能如下：

监控摄像头1：安装在行李传送仓内，拍摄仓体内的实时视频。

模拟信号2：由监控摄像头1拍摄的模拟信号视频流。

转换器3：将模拟视频信号2转化为数字视频信号4。

数字视频信号4：由数字信号编码的视频流。

自动监控模块5：接收数字视频信号4，并基于数字视频信号4进行一系列分析来判断传送仓内是否有人存在，分为两层架构：

基于规则的人体检测模块51：第一层模块，基于预先定义好的规则来进行分析与检测。

基于计算机视觉特征人体检测模块52：第二层模块，基于计算机视觉特征来进行分析与检测。

报警模块6：根据监控模块的输出进行报警。

监控室屏幕7：监控室原有的监控屏幕，播放实时的监控视频。

安保工作人员8：根据报警信号6采取相关行动。

图1中编号为5的自动监控模块为本发明中的主要组成部分，其对数字视频的处理如图2所示。

首先将数字视频信号4进行建模，从而使之转化为带有语义信息的数学模型。根据该数学模型，可以对监控视频制定一组人为的，简单的规则，来对监控视频进行初步的分析与检测。这个过程当中，规则是可以根据不同的行李仓特点由用户人为制定，只要规则内容符合客观事实即可。根据该规则，即可检测到一部分判断起来相对简单的人体，即为图中的基于规则的人体检测模块51。

上述识别的是一部分判断起来相对简单的人体，但是还有一部分人会伪装成行李，或者从行为、姿态和轮廓上难以通过简单的规则进行检测。对于这一类人体，没有相对固定的姿态和轮廓，其位置和运动特征都与行李相近，基于特定姿态的人体检测技术无法提供有效的检测方法。因此采用自主创新的计算机视觉特征，以提取前景图像的细节特征，并通过模式识别分类器来判断其是否为人体，即为图中的基于视觉特征的人体检测模块52。

图2中各个部分的释义及功能如下：

数字视频信号4：其为由数字信号编码的视频流。

基于规则的人体检测模块51：的第一层模块，基于预先定义好的规则来进行分析与检测。

建模子模块511：建模的目的是使数字视频转化为带有语义信息的数学模型。首先对每一帧视频画面进行前景区域的提取。提取算法基于对背景的高斯建模。将每一帧当中的前景区域建模为三个数字或者向量，分别是：区域面积、位置信息以及运动轨迹。其中区域面积采用前景像素点数量表示，位置信息采用前景区域的像素坐标均值来表示，而运动轨迹则由一组数据当中前景区域的运动轨迹表示，首先由当前图像与之前的连续k帧组成一组图像。先计算各图像的前景像素坐标均值，然后将k+1对均值在水平和垂直两个方向上前后两两计算差值，最后计算差值的均值。k的取值应当体现短时间内(2秒以内)的仓内运动物体的运动特点，但是同时不得超过计算机的处理能力。

检测子模块512：根据建模子模块得到的数学模型以及人为制定的一组规则，来检测视频中的人体。

用户定制规则子模块513：此处用户定制规则子模块513是指根据数学模型制定的一组人为的，简单的规则，来对监控视频进行初步的分析与检测。这个过程当中，规则可以根据不同的行李传送仓特点来制定，只要规则内容符合客观事实即可。其要点在于描述清楚行李的体积、运动方向、速度等特点。

基于计算机视觉特征的人体检测模块52：其为监控模块5中的第二层结构，基于计算机视觉特征来进行分析与检测。用于检测基于规则监控模块所检测不到的判断起来相对复杂的人体。

视觉特征计算子模块521：该模块基于暂存器中的当前的视频图像，提取出用于计算机操作的数字向量，在计算机图像处理领域，称该向量为视觉特征。此处用到的视觉特征及其提取算法为自主创新内容，也是整个监控模块5的核心内容。具体的视觉特征提取过程将结合图3进行详细阐述。

分类器522：分类器是指采用计算机模式识别领域的相关理论，是基于上述视觉特征进行判断的一组算法。在本发明中分类器522的作用是根据视觉特征判断当前视频画面中是否有人存在。

自动监控模块5当中，核心部分是自主创新的计算机视觉特征。该特征的提取进程如图3所示。首先在之前得到的当前视频图像的前景区域上进行低阈值下的基于Canny算子的边缘检测子模块，得到二值边缘图像。分块之后计算每一个块的边缘图像密度，得到一个向量，在该向量中，靠近前端的若干维体现了对图像中细节的描述。然后采用基于前景区域面积对该向量进行二次提取与降维。

二次提取过程如下：

设初始向量为：

X＝{x₁，x₂，...，x_m}

最终的视觉特征为：

Y＝{y₁，y₂，...，y_n}(n＜m)

由X得到Y的公式是：

其中，X_N表示图像当中前景像素点的个数，B是一个控制提取元素疏密程度的常量，其取值应接近于在视频当中有人的情况下图像中可能出现的最少前景像素点个数。上式的得到的是与形状，轮廓，前景面积均无关，主要反映前景细节差异的视觉特征向量。具体的算法参数将结合实施例给出。

检测效果与仓内环境以及架设方案有关，具体数字将在具体实施例中给出。

在此列举两个具体的实施例，其中实施例1为最低成本实施例，实施例2为较高成本实施例。

实施例1：

目的：于机场行李传送仓安装本发明监控检测***，对进入传送仓的人进行自动检测，如有人进入进行报警。

在行李传送仓内，于传送带10垂直上方架设监控摄像头1，摄像头1拍摄角度与传送带呈45度角，如图4所示。图4为传送仓内侧视图，其中各个部分释义如下：

进货仓门9：行李入口。

传送带10：行李经传送带运送。

监控摄像头1选用分辨率100000像素以上，拍摄视频每秒最高15帧以上的任意彩色摄像头，拍摄角度固定。同时沿摄像头1拍摄角度安装照明设施，要求电压稳定，照明级别与一般房屋室内照明相近即可，安装点可置于摄像头周围，不出现于拍摄画面中即可。摄像头1的线路连接至监控室屏幕，以及模拟/数字信号转换器(若摄像头即为数字摄像头，可将转换器省去)。转换器输出的数字视频信号接入处理计算机，计算机上安装上述自动监控模块，报警装置可以依需求而定，例如灯光报警或者声音报警。计算机要求cpu主频2.0MHz以上，内存512m以上，预装windows 2000或更新版本操作***。

模块当中，首先对输入的数字视频信号中的每一帧视频画面进行前景区域的提取。提取算法基于对背景的高斯建模。

对视频图像建模过程如下：将每一帧当中的前景区域建模为三个数字或者向量，分别是：区域面积、位置信息以及运动轨迹。其中区域面积采用前景像素点数量表示，未知信息采用前景区域的像素坐标均值来表示，而运动轨迹则由一组数据当中前景区域的运动轨迹表示，首先由当前图像与之前的连续4帧组成一组图像。先计算各图像的前景像素坐标均值，然后将5对均值在水平和垂直两个方向上前后两两计算差值，最后计算差值的均值(对于性能更好的计算机，可以适当提高一组的图像数量，但最多不可超过20)。

制定规则由人为完成，结合仓体与传送带特点制定。例如：

(1)面积过小的前景区域不可能为人体；

(2)行李不会出现在传送带以外；

(3)行李的运动方向不可能与传送带的运送方向相反。

编号为51的基于规则监控模块根据上述3条规则，即可滤除过小的前景区域；将出现在传送带以外的前景区域判定为人体；将运动方向与传送带传送方向的夹角过大的前景区域判定为人体。其中传送带在监控视频中的区域范围和方向使用人工标记。

随后编号为52的基于计算机视觉特征的人体检测模块将继续检测通过规则所难以检测的可能存在的人体。

首先在之前得到的前景区域上进行低阈值下的基于Canny算子的边缘检测算法，得到二值边缘图像。基于Canny算子的边缘检测算法在高阈值下可以很好地提取细节边缘图像，从而得到二值边缘图像，其中每一个像素以0或1来表示。

得到边缘二值图像后，对其进行分块。本例设所拍摄图像尺寸为352x288，按16x16为一个块将其划分为396个块。计算每一个块的边缘密度，边缘密度用一个块当中边缘像素点占总面积的比例来表示。对其按进行由大到小快速排序，得到一个由大至小的396维向量。由上述二次提取算法公式将其降维至40维，即公式中参数n为396，m为40，B取值1000。

分类器采用k近邻分类器。

在上述条件下，检测结果可以达到漏报率小于3％，误报率小于7％。

实施例2：

目的：于机场行李传送仓安装本***，对进入传送仓的人进行自动检测，如有人进入进行报警。

在行李传送仓内，于传送带垂直上方架设监控摄像头，摄像头拍摄角度与传送带呈45度角，如图5(1)所示。另外于传送带正左右两侧各设置一摄像头，如图5(2)所示。安装过程应注意的是三枚摄像头所拍摄画面范围应当尽可能相同。图5为传送仓内侧视图以及顶视图，其中各个部分释义如下：

监控摄像头11-13：安装在行李传送仓内，拍摄仓体内的实时视频。

进货仓门9：行李入口。

传送带10：行李经传送带10运送。

监控摄像头11-13选用分辨率100000像素以上，拍摄视频每秒最高15帧以上的任意彩色摄像头，拍摄角度固定。沿摄像头拍摄角度分别安装照明设施，要求电压稳定，照明级别与一般房屋室内照明相近即可，安装点可置于摄像头周围，不出现于拍摄画面中即可。摄像头线路连接至监控室屏幕，以及模拟/数字信号转换器(若摄像头即为数字摄像头，可将转换器省去)。转换器输出的数字视频信号接入处理计算机，计算机上安装上述监控模块，报警装置可以依需求而定，例如灯光或者声音。计算机要求cpu主频4.0MHz以上，内存2G以上，预装windows 2000或更新版本操作***。

处理过程同实施例1，区别在于，三路视频数据分别设置进程单独处理，在基于规则监控模块当中，三者互不相关，只要有一组数据满足规则中对人体的定义即可判定为人体。在基于视觉特征监控模块中，将三组数据计算获得的视觉特征向量罗列成为一个120维向量。

在上述条件下，检测结果可以达到漏报率小于1％，误报率小于5％。

Claims

1.一种基于监控视频的行李传送仓人体检测***，包括安装在行李传送仓内的监控摄像头(1)，由该监控摄像头(1)送出的模拟信号(2)，再传送到位于观察室中的显示屏(7)，其向安保人员(8)显示该摄像头(1)所拍摄的实时图像，所述模拟信号(2)经由转换器(3)转换成数字视频信号(4)，由自动监控模块(5)进行人体检测，特征在于，由自动监控模块(5)中的基于规则的人体检测模块(51)进行人体信息检测，该基于规则的人体检测模块(51)未检测出人体信息的数字视频信号，再送基于计算机视觉特征人体检测模块(52)进行人体检测。

2.根据权利要求1所述的基于监控视频的行李传送仓人体检测***，其特征在于，所述的基于规则的人体检测模块(51)包括建模子模块(511)，接收数字视频信号(4)，将其转化成带有语义的数字模型；用户定制子模块(513)，其由用户提供简单的规则判定视频信号中的人体信息；分别接收建模子模块(511)和用户定制规则子模块(513)的输出信息的基于规则的人体检测子模块(512)。

3.根据权利要求2所述的基于监控视频的行李传送仓人体检测***，其特征在于，所述的用户定制规则子模块(513)系人为制定规则的定制子模块。

4.根据权利要求3所述的基于监控视频的行李传送仓人体检测***，其特征在于，所述的人为制定规则的定制子模块(513)，其内容在形式上为一张人为规则列表。

5.根据权利要求4所述的基于监控视频的行李传送仓人体检测***，其特征在于，所述的规则列表包括：a.面积过小的前景区不可能为人体；b.行李不可能位于传送带以外；c.行李的运动方向不可能与传送带的运动方向相反。

6.根据权利要求1或2所述的基于监控视频的行李传送仓人体检测***，其特征在于，所述的基于计算机视觉特征的人体检测模块(52)，其包括依次以数据流联结的视觉特征计算子模块(521)以及分类器(522)，其中，视觉特征计算子模块(521)连接基于规则的人体检测子模块(512)，进行对人体信息的二次检测，从而判定丢弃或需要报警。

7.根据权利要求6所述的基于监控视频的行李传送仓人体检测***，其特征在于，所述的视觉特征计算子模块(521)以当前视频前景图像作为输入(5211)，包括依次以数据流联结的低阈值下的Canny边缘检测子模块(5212)、分块计算子模块(5213)、各块边缘密度计算子模块(5214)、各块边缘密度排序子模块(5215)、二次提取子模块(5216)，最终得到用于检测人体的计算机视觉特征向量(5217)。

8.根据权利要求1所述的基于监控视频的行李传送仓人体检测***，其特征在于，所述的监控摄像头(1)选用分辨率为100000像素以上，拍摄视频每秒15帧以上的任意彩色摄像头，拍摄角度固定，并伴有照明设施。

9.根据权利要求1所述的基于监控视频的行李传送仓人体检测***，其特征在于，所述的监控摄像头(1)选用三枚摄头(11，12，13)，在传送带垂直上方架设监控摄像头(11)，其拍摄角度与传送带(10)呈45°；在传送带正左右两侧各设摄像头(12)，(13)，该摄像头(11，12，13)均为分辨率大于100000像素，拍摄视频每秒最高15帧以上的任意彩色摄像头，并相应配设照明设备。