CN101477626B - 一种在复杂场景的视频中进行人体头肩检测的方法 - Google Patents
一种在复杂场景的视频中进行人体头肩检测的方法 Download PDFInfo
- Publication number
- CN101477626B CN101477626B CN200910077108XA CN200910077108A CN101477626B CN 101477626 B CN101477626 B CN 101477626B CN 200910077108X A CN200910077108X A CN 200910077108XA CN 200910077108 A CN200910077108 A CN 200910077108A CN 101477626 B CN101477626 B CN 101477626B
- Authority
- CN
- China
- Prior art keywords
- window
- gradient
- vector
- picture
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 239000013598 vector Substances 0.000 claims abstract description 61
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 238000012706 support-vector machine Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 230000036541 health Effects 0.000 claims description 9
- 230000008901 benefit Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 5
- 238000005065 mining Methods 0.000 abstract 1
- PICXIOQBANWBIZ-UHFFFAOYSA-N zinc;1-oxidopyridine-2-thione Chemical class [Zn+2].[O-]N1C=CC=CC1=S.[O-]N1C=CC=CC1=S PICXIOQBANWBIZ-UHFFFAOYSA-N 0.000 abstract 1
- 238000005352 clarification Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种在复杂场景的视频中进行人体头肩检测的方法,属于计算机信息挖掘技术领域。从视频的各帧中人工标定头肩图片、背景图片和身体其他部分的图片作为正负样本,镜像这些图片;提取正负样本的梯度向量,对第一级分类器训练;用头肩图片作为新正样本,用身体其他部分的图片作为新负样本;提取正负样本的梯度向量,对第二级分类器训练。确定待检测视频的一帧中一个待检测窗口的位置和大小,提取该窗口的梯度向量;将它通过第一级分类器,若分类为负,则结束检测,若第一级分类为正,则将它通过第二级分类器;若分类为正,则确认该窗口包含头肩。改变窗口的位置和大小,对新窗口进行同样的检测。本发明可以提高准确率,同时提高检测速度。
Description
技术领域
本发明属于计算机信息挖掘技术领域,特别涉及一种在复杂场景的图片中对人体的头肩检测的方法,尤其涉及在真实世界的监控视频的帧中行人的头肩检测。
背景技术
近年来,在计算机视频分析领域,在视频中对人体的检测是一个热门的研究方向。在人体检测的各种方法中,通过检测身体的各部分来检测人体是一个重要辅助手段。而对这些身体各部分,头肩区域是一个非常显著的特征。由于视频中的经常会出现人体被部分遮挡的情况,导致检测困难,而此时头肩还有很高的概率被检测出来,所以检测头肩对检测人体很好的辅助作用。同时,在视频事件检测领域,人在头肩附近的许多动作往往包含一些隐含的事件信息,比如挥手或者打电话等。所以,复杂背景下的头肩检测具有重要的意义。
头肩检测属于目标检测,而在目标检测领域,方法可以分为两类,一是做背景提取或分割,分离出的前景目标作为检测结果。二是在图像中直接搜索目标。在视频中用背景提取的方法只能应用于静态摄像机,对于场景中静止不动的目标,检测非常困难,这限制了它的应用范围。所以现在一般采用在图像中直接搜索目标的方法。这些方法一般使用分类器根据目标的特征对目标进行分类。目标的特征是目标本身包含的特征信息,比如目标图像区域的颜色直方图,纹理,梯度等。提取目标的特征之后,分类器根据目标的特征对目标的类别进行判断。目前国际通用的分类器主要是支持向量机(以下简称SVM),但是目前的单级SVM分类器往往由于只进行一次分类,准确率不高。
发明内容
本发明的目的是为克服已有技术的不足之处,提出一种在复杂场景的视频中进行人体头肩检测的方法,以梯度方向直方图作为描述目标的特征。采用两级的SVM作为分类器,可以提高准确率,同时提高检测速度。
本发明是将一定数量的头肩图片和背景图片作为正负样本集,训练SVM作为第一级分类器。用头肩图片和身体非头肩部分的图片作为正负样本,训练SVM作为第二级分类器。这样就构成了一个两级的级联分类器。检测区域依次经过这两级SVM检测,以此检测结果作为最终结果。
本发明中使用的SVM是目前在国际比较流行的LibSVM分类器,不对它进行修改。
本发明提出的在复杂场景的视频中进行人体头肩检测的方法,主要包括以下步骤:
(1)从待检测的一类视频中选择一个视频。从该视频的各帧中人工标定一定数量(至少1000张)的头肩图片、一定数量(至少1000张)背景图片和一定数量(至少1000张)的身体其他部分的图片,其中要求这些图片的边长至少1厘米。以头肩图片作为正样本图片,以背景图片作为负样本图片;;
(2)将得到的正负样本图片进行左右镜像,增加样本的数量;
(3)提取得到的正负样本图片的梯度方向直方图,并将梯度方向直方图转化为向量的形式,作为样本图片的梯度向量;
(4)用从正负样本中提取出的梯度向量对第一级支持向量机(SVM)进行训练,生成一个用于分类的第一级模型;
(5)用所述头肩图片作为新正样本,用所述身体其他部分的图片代替所述背景图片作为新负样本;
(6)提取所述新正负样本图片的梯度方向直方图,并将梯度方向直方图转化为1乘N的向量的形式,N为正整数,作为新样本的梯度向量;
(7)用从新的正负样本中提取出的梯度向量对第二级支持向量机(SVM)进行训练,生成一个用于分类的第二级模型;
(8)读入一个待检测视频,提取该视频的一帧图像;
(9)确定该帧图像上某一个待检测窗口的位置和大小,采用步骤(3)的方法提取该窗口的梯度方向直方图,并得到该窗口的梯度向量;
(10)将该梯度向量通过第一级分类器进行分类检测,如果分类结果为负(即此窗口不包含头肩头像),则结束该窗口的检测,转步骤(11);如果第一级分类结果为正(即第一级分类器判定此窗口包含头肩头像),则将该梯度向量通过第二级分类器进行分类检测;如果第二级分类结果为负,转步骤(11),如果分类结果为正,则确认该窗口包含头肩,将窗口的坐标保存下来,作为该窗口的检测结果;
(11)改变窗口的位置和大小,采用步骤(3)的方法提取该窗口的梯度方向直方图,并得到该窗口的梯度向量,转步骤(10)进行该窗口的分类检测,最终得到各窗口的检测结果。
上述方法的步骤(3)具体包括如下步骤:
(31)将每一个样本图片作为一个窗口,将窗口分为MxN的块,块之间有30%-50%的重叠,M、N均为正整数;
(32)该每个块平分成多个单元;
(33)对该每个单元内的像素计算梯度方向和大小;
(34)将每个单元内的像素的梯度按方向统计成一个直方图,并将梯度方向直方图转化为向量的形式,作为该单元的梯度向量;
(35)将各个单元的梯度向量连接成一个长向量,作为该块的梯度向量;
(36)将窗口内各个块的梯度向量连接成一个长向量,作为该窗口的梯度向量;
(37)将该窗口的梯度向量进行归一化,作为该样本图片的梯度向量;
上述方法的步骤(11)改变窗口的位置和大小,进行该窗口的分类检测,具体包括如下步骤:
(111)移动该窗口的坐标,并保持30%-80%重叠度,进行该窗口的分类检测;
(112)改变窗口的尺寸大小(根据视频中头肩的大小确定取值范围),并且依次移动窗口的位置,进行该窗口的分类检测。
本发明的特点及效果:
本发明提出的在复杂场景的视频中进行人体头肩检测的方法,用于对真实世界里的监控视频中的人进行头肩检测。选用了梯度方向直方图作为头肩的特征表示。梯度方向直方图最近几年开始用于目标检测领域,选用它表示头肩图像,能够保存目标的边缘走向特征,实验已经证明,它是一种鲁棒的特征,能提高检测的性能。同时,使用不同的样本训练两个支持向量机,将它们构成级联分类器。在检测过程中,第一级分类器去掉明显不含头肩的区域,通过第一级分类器的窗口再由第二级分类器进行检测。这样,由于采用两级分类器,可以提高准确率,同时提高了检测速度。在视频中将人的头肩检测出来,可以用于人体跟踪、事件检测,对于实现自动监控具有重要意义。
具体实施方式
本发明提出的一种在复杂场景的视频中进行人体头肩检测的方法,结合实施例详细说明如下:
在视频中进行人体的头肩检测,实质方法仍是在图片上进行检测,本实施例采用直接在图片上搜索的方法,具体包括以下步骤:
(1)从待检测的一类视频中选择一个视频;从该视频的各帧中人工标定一定数量(至少1000张)的头肩图片、一定数量(至少1000张)背景图片和一定数量(至少1000张)的身体其他部分的图片,其中要求这些图片的边长至少1厘米;以头肩图片作为正样本图片,以背景图片作为负样本图片;
(2)将得到的正负样本图片进行左右镜像,增加样本的数量;
(3)提取得到的正负样本图片的梯度方向直方图,并将梯度方向直方图转化为向量的形式,作为样本图片的梯度向量;具体包括:
(31)将一个每个图片看作一个窗口,将该窗口划分为3×3的小块,小块之间有50%的重叠;
(32)该每个小块又被平分为四个小单元;
(33)对该每个单元内的像素计算梯度方向和大小,本实施例的梯度值采用模板[-1,0,1]的方法来计算,方向为:
大小为:
其中,grad(x,y)是该像素点的梯度方向。I(x,y)是该像素点的亮度值。Value(x,y)是该像素点的梯度的值;
(34)将单元内各像素的梯度值按照梯度方向统计成颜色直方图,以向量的形式保存,将该向量作为该单元的梯度向量;
(35)将各单元的梯度向量连接起来,每个小块用一个归一化的4×9=36维的向量来表示,作为该块的梯度向量;
(36)将各块的梯度向量连接起来,每个窗口的梯度方向直方图就可以用一个9×36=324维的向量来表示,作为该窗口的梯度向量;
(4)用从正负样本中提取出的梯度向量对第一级支持向量机(LibSVM)进行训练,生成一个用于分类的第一级模型;
(5)用所述头肩图片作为新正样本,用所述身体其他部分的图片代替所述背景图片作为新负样本;
(6)提取得到的新正负样本图片的梯度方向直方图,并将梯度方向直方图转化为1乘324的向量的形式,作为新样本的梯度向量;
(7)用从新的正负样本中提取出的梯度向量对第二级支持向量机(LibSVM)进行训练,生成一个用于分类的第二级模型;
(8)调用openCV库读入一个待检测视频,解析出该视频上的一帧;
(9)确定该帧图像上某一个待检测窗口的位置和大小,采用步骤(31)到步骤(37)的方法提取该窗口的梯度方向直方图,并得到该窗口的梯度向量;
(10)将该梯度向量通过第一级LibSVM分类器进行分类检测,如果分类结果为负(即此窗口不包含头肩头像),则结束该窗口的检测,则转步骤(13);如果第一级分类结果为正(即第一级分类器判定此窗口包含头肩头像),则将该梯度向量通过第二级LibSVM分类器进行分类检测;如果第二级分类结果为负,转步骤(13),如果分类结果为正,则确认该窗口包含头肩,将窗口的坐标保存下来,作为该窗口的检测结果;
(11)移动该窗口的坐标,并保持30%-80%重叠度,对该待检测窗口进行检测;
(12)改变窗口的尺寸大小(根据视频中头肩的大小确定取值范围),并且依次移动窗口的位置,进行该窗口的分类检测,最终得到各窗口的检测结果。
Claims (3)
1.一种复杂场景的视频中进行人体头肩检测的方法,其特征在于,主要包括以下步骤:
(1)从待检测的一类视频中选择一个视频;从该视频的各帧中人工标定一定数量的头肩图片、一定数量背景图片和一定数量的身体其他部分的图片,其中要求这些图片的边长至少1厘米;以头肩图片作为正样本图片,以背景图片作为负样本图片;
(2)将得到的正负样本图片进行左右镜像,增加样本的数量;
(3)提取得到的正负样本图片的梯度方向直方图,并将梯度方向直方图转化为向量的形式,作为样本图片的梯度向量;
(4)用从正负样本中提取出的梯度向量对第一级支持向量机进行训练,生成一个用于分类的第一级模型;
(5)用所述头肩图片作为新正样本,用所述身体其他部分的图片代替所述背景图片作为新负样本;
(6)提取所述新正负样本图片的梯度方向直方图,并将梯度方向直方图转化为1乘N的向量的形式,N为正整数,作为新样本的梯度向量;
(7)用从新的正负样本中提取出的梯度向量对第二级支持向量机进行训练,生成一个用于分类的第二级模型;
(8)读入一个待检测视频,提取该视频的一帧图像;
(9)确定该帧图像上某一个待检测窗口的位置和大小,采用步骤(3)的方法提取该窗口的梯度方向直方图,并得到该窗口的梯度向量;
(10)将该梯度向量通过第一级分类器进行分类检测,如果分类结果为负,则结束该窗口的检测,转步骤(11);如果第一级分类结果为正,则将该梯度向量通过第二级分类器进行分类检测;如果第二级分类结果为负,转步骤(11),如果分类结果为正,则确认该窗口包含头肩,将窗口的坐标保存下来,作为该窗口的检测结果;
(11)改变窗口的位置和大小,采用步骤(3)的方法提取该窗口的梯度方向直方图,并得到该窗口的梯度向量,转步骤(10)进行该窗口的分类检测,最终得到各窗口的检测结果。
2.如权利要求1所述方法,其特征在于,所述方法的步骤(3)具体包括如下步骤:
(31)将每一个样本图片作为一个窗口,将窗口分为M x N的块,块之间有30%-50%的重叠,M、N均为正整数;
(32)该每个块平分成多个单元;
(33)对该每个单元内的像素计算梯度方向和大小;
(34)将每个单元内的像素的梯度按方向统计成一个直方图,并将梯度方向直方图转化为向量的形式,作为该单元的梯度向量;
(35)将各个单元的梯度向量连接成一个长向量,作为该块的梯度向量;
(36)将窗口内各个块的梯度向量连接成一个长向量,作为该窗口的梯度向量;
(37)将该窗口的梯度向量进行归一化,作为该样本图片的梯度向量。
3.如权利要求1所述方法,其特征在于,所述方法的步骤(11)改变窗口的位置和大小,进行该窗口的分类检测,具体包括如下步骤:
(111)移动该窗口的坐标,并保持30%-80%重叠度,进行该窗口的分类检测;
(112)改变窗口的尺寸大小,并且依次移动窗口的位置,进行该窗口的分类检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910077108XA CN101477626B (zh) | 2009-01-16 | 2009-01-16 | 一种在复杂场景的视频中进行人体头肩检测的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910077108XA CN101477626B (zh) | 2009-01-16 | 2009-01-16 | 一种在复杂场景的视频中进行人体头肩检测的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101477626A CN101477626A (zh) | 2009-07-08 |
CN101477626B true CN101477626B (zh) | 2010-08-25 |
Family
ID=40838335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200910077108XA Active CN101477626B (zh) | 2009-01-16 | 2009-01-16 | 一种在复杂场景的视频中进行人体头肩检测的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101477626B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102411783A (zh) * | 2010-10-14 | 2012-04-11 | 微软公司 | 在视频聊天应用中自动跟踪用户移动 |
CN102982598A (zh) * | 2012-11-14 | 2013-03-20 | 三峡大学 | 基于单个摄像头场景配置的视频人数统计方法和*** |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102831442A (zh) * | 2011-06-13 | 2012-12-19 | 索尼公司 | 异常行为检测设备和方法及生成该检测设备的设备和方法 |
CN102243706B (zh) * | 2011-08-18 | 2014-12-10 | 杭州海康威视数字技术股份有限公司 | 基于目标边缘方向的目标分类方法和*** |
CN102567998A (zh) * | 2012-01-06 | 2012-07-11 | 西安理工大学 | 基于双模板匹配和边缘细化的头肩序列图像分割方法 |
CN103021059A (zh) * | 2012-12-12 | 2013-04-03 | 天津大学 | 一种基于视频监控的公交客流计数方法 |
CN103310194B (zh) * | 2013-06-07 | 2016-05-25 | 太原理工大学 | 视频中基于头顶像素点梯度方向的行人头肩部检测方法 |
CN103632146B (zh) * | 2013-12-05 | 2017-01-04 | 南京理工大学 | 一种基于头肩距的人体检测方法 |
CN104021605A (zh) * | 2014-04-16 | 2014-09-03 | 湖州朗讯信息科技有限公司 | 一种公交客流实时统计***及其统计方法 |
CN103971135A (zh) * | 2014-05-05 | 2014-08-06 | 中国民航大学 | 基于头肩深度信息特征的人体目标检测方法 |
CN104268593B (zh) * | 2014-09-22 | 2017-10-17 | 华东交通大学 | 一种小样本情况下多稀疏表示的人脸识别方法 |
CN105809183A (zh) * | 2014-12-31 | 2016-07-27 | 深圳中兴力维技术有限公司 | 基于视频的人头跟踪方法及其装置 |
CN104881675A (zh) * | 2015-05-04 | 2015-09-02 | 北京奇艺世纪科技有限公司 | 一种视频场景的识别方法和装置 |
CN108021925B (zh) * | 2016-10-31 | 2022-02-25 | 北京君正集成电路股份有限公司 | 一种检测方法及设备 |
CN107103279B (zh) * | 2017-03-09 | 2020-06-05 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种在垂直视角下基于深度学习的客流计数方法 |
CN108388883A (zh) * | 2018-03-16 | 2018-08-10 | 广西师范大学 | 一种基于hog+svm的视频人数统计方法 |
-
2009
- 2009-01-16 CN CN200910077108XA patent/CN101477626B/zh active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102411783A (zh) * | 2010-10-14 | 2012-04-11 | 微软公司 | 在视频聊天应用中自动跟踪用户移动 |
US9628755B2 (en) | 2010-10-14 | 2017-04-18 | Microsoft Technology Licensing, Llc | Automatically tracking user movement in a video chat application |
CN102982598A (zh) * | 2012-11-14 | 2013-03-20 | 三峡大学 | 基于单个摄像头场景配置的视频人数统计方法和*** |
CN102982598B (zh) * | 2012-11-14 | 2015-05-20 | 三峡大学 | 基于单个摄像头场景配置的视频人数统计方法和*** |
Also Published As
Publication number | Publication date |
---|---|
CN101477626A (zh) | 2009-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101477626B (zh) | 一种在复杂场景的视频中进行人体头肩检测的方法 | |
CN108830252B (zh) | 一种融合全局时空特征的卷积神经网络人体动作识别方法 | |
CN106446930B (zh) | 基于深层卷积神经网络的机器人工作场景识别方法 | |
CN102542289B (zh) | 一种基于多高斯计数模型的人流量统计方法 | |
CN107844785B (zh) | 一种基于尺度估计的人脸检测方法 | |
CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
CN109919981A (zh) | 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法 | |
CN102214309B (zh) | 一种基于头肩模型的特定人体识别方法 | |
CN110070074A (zh) | 一种构建行人检测模型的方法 | |
CN106886216A (zh) | 基于rgbd人脸检测的机器人自动跟踪方法和*** | |
CN109886245A (zh) | 一种基于深度学习级联神经网络的行人检测识别方法 | |
CN102201059A (zh) | 一种行人检测方法及装置 | |
CN105608446A (zh) | 一种视频流异常事件的检测方法及装置 | |
CN102722698A (zh) | 多姿态人脸检测与跟踪方法及*** | |
CN103605986A (zh) | 一种基于局部特征的人体动作识别方法 | |
CN102768726B (zh) | 一种预防行人碰撞的行人检测方法 | |
CN105160317A (zh) | 一种基于区域分块行人性别识别方法 | |
CN107909027A (zh) | 一种具有遮挡处理的快速人体目标检测方法 | |
CN104268514A (zh) | 一种基于多特征融合的手势检测方法 | |
CN101196991A (zh) | 密集客流计数和行人步行速度自动检测方法及*** | |
CN104123543A (zh) | 一种基于人脸识别的眼球运动识别方法 | |
CN108074234A (zh) | 一种基于目标跟踪和多特征融合的大空间火焰检测方法 | |
CN109766868A (zh) | 一种基于身体关键点检测的真实场景遮挡行人检测网络及其检测方法 | |
CN103530892A (zh) | 一种基于Kinect传感器的双手跟踪方法与装置 | |
CN102509104A (zh) | 基于置信度图的增强现实场景虚拟对象判别和检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |