CN106709432B - 基于双目立体视觉的人头检测计数方法 - Google Patents

基于双目立体视觉的人头检测计数方法 Download PDF

Info

Publication number
CN106709432B
CN106709432B CN201611108304.5A CN201611108304A CN106709432B CN 106709432 B CN106709432 B CN 106709432B CN 201611108304 A CN201611108304 A CN 201611108304A CN 106709432 B CN106709432 B CN 106709432B
Authority
CN
China
Prior art keywords
image
head
contour
human head
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611108304.5A
Other languages
English (en)
Other versions
CN106709432A (zh
Inventor
周剑
龙学军
姜艾佳
谷瑞翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Topplusvision Science & Technology Co ltd
Original Assignee
Chengdu Topplusvision Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Topplusvision Science & Technology Co ltd filed Critical Chengdu Topplusvision Science & Technology Co ltd
Priority to CN201611108304.5A priority Critical patent/CN106709432B/zh
Publication of CN106709432A publication Critical patent/CN106709432A/zh
Application granted granted Critical
Publication of CN106709432B publication Critical patent/CN106709432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉技术领域,其公开了一种基于双目立体视觉的人头检测计数方法,解决传统技术中人头检测计数方案存在的计算量大、计数不准确、精度不高的问题。该方法包括:步骤a.标定双目图像采集***;步骤b.利用标定好的双目图像采集***进行监控区域图像采集,获取客流场景图像;步骤c.对获取的客流场景图像进行预处理;步骤d.获取图像的深度图;步骤e.利用等值线查找法检测深度图中不同深度的人头;步骤f.跟踪检测到的人头;步骤g.在新的视频帧里检测新的人头,并更新人头数量;步骤h.输出当前人头数量。本发明适用于客流场景的人头检测计数。

Description

基于双目立体视觉的人头检测计数方法
技术领域
本发明涉及计算机视觉技术领域,具体涉及一种基于双目立体视觉的人头检测计数方法。
背景技术
随着人口的增长和人们出行的频繁,无论是各类交通***,还是会场、商场、展馆、机场码头等地方都涌动着数量巨大的人,无论是从商业角度还是安全角度来看,人数统计的工作都十分重要。然而采用人工计数是一件很困难的事情,且这些大型人流量场所的客流是人工不可能数的过来的。因此,对自动人数统计的研究具有重大的意义。
目前已提出的自动人数统计主要有基于主动红外感应、被动红外感应、踏板压力传感、视频图像处理等方法。基于主动红外感应的***,该技术成熟,抗干扰能力强,但无论是采用单束还是多束红外光,都不能有效解决拥挤人群的计数;被动式红外计数技术通过检测人体发出的热红外进行计数,可区分有生命和无生命的对象,但易受到人的着装、环境温度等的影响,也无法适应拥挤人群的计数。基于踏板压力传感器的人数计数方法通常用于公交车场合,但要求乘客依次上下车、不可拥挤,并且无法较好的判别客流的进出方向。
基于视频图像处理技术的方法目前是最新发展的计数方法,分为基于单目和双目摄像两类。前一种方法利用目标的灰度、色度信息进行运动目标的分割,但对计数场景中光线的变化及其敏感,阴影和干扰物对运动目标提取的影响也非常大,难以准确地进行计数;后一种方法利用了运动目标的三维信息,可以较好地解决前一种方法存在的光照变化和阴影的问题,但计算量较大,基于人头圆的检测不够精确,使得复杂场景下的人头统计精度低。
发明内容
本发明所要解决的技术问题是:提出一种基于双目立体视觉的人头检测计数方法,解决传统技术中人头检测计数方案存在的计算量大、计数不准确、精度不高的问题。
本发明解决上述技术问题所采用的方案是:
基于双目立体视觉的人头检测计数方法,包括以下步骤:
步骤a.标定双目图像采集***;
步骤b.利用标定好的双目图像采集***进行监控区域图像采集,获取客流场景图像;
步骤c.对获取的客流场景图像进行预处理;
步骤d.获取图像的深度图;
步骤e.利用等值线查找法检测深度图中不同深度的人头;
步骤f.跟踪检测到的人头;
步骤g.在新的视频帧里检测新的人头,并更新人头数量;
步骤h.输出当前人头数量。
作为进一步优化,步骤d具体包括:
d1、对左、右图像的特征点进行提取和匹配;
d2、提取匹配后左右图像序列的亚像素坐标;
d3、利用视差原理结合标定参数得到图像的三维坐标:
左图像像素坐标(xl,yl)、右图像像素坐标(xr,yr)与三维空间坐标(XW,YW,ZW)的关系如下式所示:
Figure BDA0001171913790000021
其中,xl和xr表示左右图像匹配点对在像素坐标系下的横坐标,yl表示左图像中匹配点在像素坐标系下的纵坐标;B表示左右相机间的基线距离,f表示左相机焦距;B和f根据相机标定得到。
作为进一步优化,步骤e具体包括:
e1、将离散的深度图像数据网格化;
e2、在网格数据的基础上通过不同颜色来填充不同等值线,生成等值填充图;
e3、在等值填充图的基础上生成等值线图;
e4、在等值线图中检测圆;
e5、基于对圆的检测实现人头检测。
作为进一步优化,步骤e1中,采用插值的方式对深度图像数据进行网格化处理,插值后形成规则的网格结构。
作为进一步优化,步骤e2具体包括:
e21、取得网格化数据深度值Z的极大值Zmax、极小值Zmin以及等值线间距ΔZ,等值线步长k;
e22、根据等值线间距ΔZ、网格化数据的密度确定欲形成的填充等值线的图像大小,并采用双线性插值的方法加密网格数据:
根据P1(x1,y1,z1),P2(x2,y2,z2),P3(x3,y3,z3),P4(x4,y4,z4)点的值z1,z2,z3,z4,结合下式求得加密点P的Z值:
Figure BDA0001171913790000031
Figure BDA0001171913790000032
Figure BDA0001171913790000033
e23、建立Z值区间与颜色区间的映射:f:Z->C(Z∈{Zmin,Zmax},C∈{c1,c2,…,cn}),确定颜色变量C的值域,利用
Figure BDA0001171913790000034
求得颜色变量C的个数,并选定相应的n个颜色值Color(n);则
Figure BDA0001171913790000035
其中,ΔZ为等值间距,[]为取整符号;
e24、对于加密后的网格数据,根据映射f:Z_>C进行图形颜色填充即可生成等值填充图像。
作为进一步优化,步骤e3具体包括:
e31、等值线边界判别:设定2*2的等值线判别模板,用此模板对等值线填充图进行卷积判别,如满足模板条件,即2P(i,j)≠P(i,j+1)+P(i+1,j+1)可设该像素点为等值线上的值点,否则该像素点为等值区域内点;
e32、等值线色值的设置:将等值点的颜色设为255,等值内点的颜色像素值按一定幅度适当减小,设置好整张图像的等值线颜色后,对图像进行二值化,二值化准则为:如果点P(i,j)的像素Zij=255,则改该点的像素保持不变,否则该点的像素设为0,即Zij=0。
作为进一步优化,步骤e4具体包括:
e41、检测深度图像等值线图中等值线边缘轮廓点,并保存其坐标位置,设置角度θ的变化范围和步长,半径r的变化范围和步长;
e42、坐标变换:利用公式x=a+rcos(θ),y=b+r sin(θ),求出a和b的值;如果a和b的值在合理范围之内,则合理位置数量加1;
e43、合理位置数量累加完毕后,寻找半径最大值,求出圆心坐标和半径;其中,半径最大值确定方式为:找出在合理范围内点数最多的参数空间h(a,b,r),在此参数空间内,找出最大的r,以及r对应的圆心(a,b),记为(a,b,maxr),此时即可得到以(a,b)为圆心,以maxr为半径的圆;以此,即可检测到值线图中的所有圆;
e44、绘制检测到的圆,记录圆的位置信息。
作为进一步优化,步骤e5中,假设人头标准尺寸为以rman为半径的圆,该步骤具体包括:
e51、如果在某一簇同心圆中的最大的圆的半径Rmaxi∈U(rman,δ)(δ为半径偏差值),则说明检测到的该同心圆即是一个人头,则对人头数量累加1;
e52、如果
Figure BDA0001171913790000041
则对该同心圆群按一定比例进行缩放,如果按一定比例缩放后,Rmaxi还是不能满足条件Rmaxi∈U(rman,δ),则说明该同心圆群不是人头。
作为进一步优化,步骤f中,所述跟踪检测到的人头的具体方法为:
设在当前帧深度图像检测到的人头A的中心位置为(xa,ya,za),若在监控视频深度图像当前帧的后一帧图像中检测到相同大小的一个人头B,且该人头中心位置(xb,yb,zb)在(xa,ya,za)的某一领域内,即B∈U(A,σ),σ为邻域半径,取σ=vt,其中v为人头移动速度,t为两张视频帧之间的时间间隔;则判定人头B就是人头A,如此迭代,直到人头A消失于摄像头视野,以此方法,跟踪完检测到的所有人头。
作为进一步优化,步骤g中,所述在新的视频帧里检测新的人头,并更新人头数量的具体方法包括:
设在当前帧深度图像检测到的人头A的中心位置为(xa,ya,za),若在监控视频深度图像当前帧的后一帧图像中检测到相同大小的一个人头B,且
Figure BDA0001171913790000051
σ为邻域半径,取σ=vt,其中v为人流移动速度,t为两张视频帧之间的时间间隔;则判定人头B是区别于上一帧中的检测到的人头A的人头;
按照该方式,将人头B与上一帧图像检测到的相同大小的人头匹配,若匹配均失败,则判定人头B是一个新出现的人头,此时检测的人头数量N=N+1,如此迭代,直到不再检测到新的人头。
本发明的有益效果是:
1、利用双目图像采集***监控人头数量,一方面,能够获得人头的精准尺寸信息,另一方面避免了光照、发型等因素对人头检测的影响;
2、在深度图中以一个固定的步长作为等值线间距,降低了等值线查找的复杂度;
3、由深度图建立等值线图,利用等值线查找法检测不同身高的人的人头,利用图像缩放检测不同大小的圆从而检测人头,大大提高了人头检测识别的准确率,提高人头计数精度;
4、跟踪人头,通过在人头同心圆圆心的一定邻域内判定视频帧里检测到的人头是否已被计数,提高了人头计数的准确率;
5、在人头检测邻域的使用中考虑了人流移动速度,提高了判别效率。
附图说明
图1为本发明基于双目立体视觉的人头检测计数方法流程图;
图2为利用等值线查找法检测深度图中不同深度的人头的流程图;
图3为将离散的深度图像数据网格化的结果;
图4为对网格数据采用双线性插值的方法加密结果;
图5为等值填充图边界像素点;
图6为等值线判别模板示意图。
具体实施方式
本发明旨在提出一种基于双目立体视觉的人头检测计数方法,解决传统技术中人头检测计数方案存在的计算量大、计数不准确、精度不高的问题。
下面将结合附图对本发明的技术方案进行更加清楚、完整地描述;很显然,下文所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例,并不用以限制本发明的保护范围。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明中的基于双目立体视觉的人头检测计数方法包括:
步骤1、标定双目图像采集***:
首先,搭建双目立体视觉硬件***:将两台相同型号的摄像机以一定的基线距离固定在光学平台上,保证观测目标在两台摄像机成像范围之内,搭建完成后两相机之间的相对位置即固定不变。
然后,拍摄标定板图像组:将棋盘格标定板放置于双目平台前方,使标定板在两个相机中完整成像。通过旋转、平移标定板等方式拍摄多组不同姿态下的标定板图像。
步骤2、获取人头场景图像:用标定好的双目图像采集***拍摄监控区域视频图像。为了能够减少人头遮挡,检测摄像机的安装位置为客流入口或出口正上方,使其拍摄监控区的角度为俯视角。其中,左图像采集***采集的图像为原始左图像,右图像采集***采集的图像为原始右图像。根据标定参数对左、右图像进行消除畸变和极线校正处理,使消除畸变后的两幅图像严格地对应。
步骤3、图像预处理:对原始左、右图像进行降噪、增强预处理。
步骤4、获取图像深度图:
本步骤中主要目标为计算图像的三维坐标。具体为:
步骤4.1、分别提取左、右图像的特征;
步骤4.2、匹配左、右图像特征点;
步骤4.3、利用双目立体视觉测量模型求出图像的三维坐标,得到多组的匹配点对以后,根据匹配点对在左、右图像中对应的像素坐标即可实现像素坐标到世界坐标系的转换,完成图像的三维坐标测量。具体如下:
步骤4.3.1、提取匹配后左右图像序列的亚像素坐标。在图像的空间定位中,图像测量距离较远,像素坐标的一个微小变化也会引起巨大测量误差,本发明选择在图像序列点匹配完成后再提取亚像素坐标使得像素的三维测量结果更加精确。
步骤4.3.2、利用视差原理结合标定参数得到图像的三维坐标。左图像像素坐标(xl,yl)、右图像像素坐标(xr,yr)与三维空间坐标(XW,YW,ZW)的关系如下式所示:
Figure BDA0001171913790000071
其中,xl和xr表示左右图像匹配点对在像素坐标系下的横坐标,yl表示左图像中匹配点在像素坐标系下的纵坐标。B表示左右相机间的基线距离,f表示左相机焦距。B和f根据相机标定得到。由此就得到了图像的三维坐标,其中的Z就是深度图。
步骤5、利用等值线查找法,找到不同深度的人头:因为深度图表示的是目标与感应***的距离,不同距离的目标对应有不同的深度值,因此,可首先绘制深度图像的等值线,然后利用hough变换检测出形状为圆的等值线,如果圆的直径在人头大小范围内,则被认定是人头,过大或过小的圆都不是人头。具体过程如图2所示:
步骤5.1、将离散的深度图像数据网格化:对离散数据的网格化即是对离散数据区域的位置区域按某种原则进行插值形成规则的矩形网格数据区域。插值后形成如图3所示的规则网络结构,每个网格的单位横边长为dx,纵边长为dy。网格点坐标为xij=j*dx,yij=i*dy。
步骤5.2、等值填充图的生成:等值填充图即是用不同颜色来填充不同等值线形成的图。在网格数据的基础上,通过如下的算法步骤形成等值填充图:
步骤5.2.1、取得网格化数据的Z的极大值极小值Zmax,Zmin以及等值线间距ΔZ,等值线步长k,等值间距ΔZ的值由实验不断手动调节得到最优的取值。
步骤5.2.2、加密网格:为了保证所成的等值线图形的精度,根据等值线间距ΔZ、网格化数据的密度确定欲形成的填充等值线的图像大小,并采用双线性插值的方法加密网格数据;如图4所示,根据P1(x1,y1,z1),P2(x2,y2,z2),P3(x3,y3,z3),P4(x4,y4,z4)点的值z1,z2,z3,z4,结合下式求得加密点P的Z值:
Figure BDA0001171913790000081
Figure BDA0001171913790000082
Figure BDA0001171913790000083
步骤5.2.3、建立Z值区间与颜色区间的映射:f:Z_>C(Z∈{Zmin,Zmax},C∈{c1,c2,…,cn}),确定颜色变量C的值域,利用
Figure BDA0001171913790000084
求得颜色变量C的个数,并选定相应的n个颜色值Color(n)。则
Figure BDA0001171913790000085
其中,ΔZ为等值间距,[]为取整符号。
步骤5.2.4、对于加密后的网格数据,根据映射f:Z_>C进行图形颜色填充即可生成等值填充图像。
步骤5.3、等值线图的生成:在求得等值填充图像的基础上生成等值线图的过程即是选取合适的图像边缘检测模板进行图像处理的过程,因此需要进行等值线边界判别及等值线色值的设置。如下:
步骤5.3.1、等值线边界判别:通过上述等值填充方法的深度图像在不同的Z值区间具有明显的图像边界,因此对于图像中的任一点,如果满足图5所示情况即可判定为等值线边界。因此,设定如图6所示的2*2的等值线判别模板。用此模板对等值线填充图进行卷积判别,如满足模板条件,即2P(i,j)≠P(i,j+1)+P(i+1,j+1)可设该像素点为等值线上的值点,否则该像素点为等值区域内点。
步骤5.3.2、等值线色值的设置:将等值点的颜色设为255,等值内点的颜色像素值按一定幅度适当减小,减小的目的是为了让内点的颜色像素值更好地区别于边界点的像素值。设置好整张图像的等值线颜色后,对图像进行二值化,二值化准则为:如果点P(i,j)的像素Zij=255,则改该点的像素保持不变,否则该点的像素设为0,即Zij=0。
步骤5.4、由于等值线图是深度图边缘线图,则利用hough变换在等值线图中检测圆。具体为:
步骤5.4.1、检测深度图像等值线图中等值线边缘轮廓点,并保存其坐标位置。设置角度θ的变化范围和步长,半径r的变化范围和步长。
步骤5.4.2、坐标变换:利用公式x=a+r cos(θ),y=b+r sin(θ),求出a和b的值。如果a和b的值在合理范围之内,则合理位置数量加1。
步骤5.4.3、合理位置数量累加完毕后,寻找半径最大值,求出圆心坐标和半径。半径最大值确定方式为:找出在合理范围内点数最多的参数空间h(a,b,r),在此参数空间内,找出最大的r,以及r对应的圆心(a,b),记为(a,b,maxr),此时即可得到以(a,b)为圆心,以maxr为半径的圆。这就是hough变换检测到的圆。以此,即可检测到值线图中的所有圆。
步骤5.4.4、绘制检测到的圆,记录圆的位置信息。
步骤5.5、人头检测。由于监测***的摄像角度为俯视,那么,拍到的人头深度图对应的等值线图的形状为一个或多个同心圆,即为人头的深度特征。因为现实中的人头大小,对应的深度图等值线图中检测到的圆(同心圆)的的大小也不一致,为此将深度图的等值线图进行适当的缩放,能够检测到不同大小的人头,减小人头遗漏率,提高客流检测精度。具体为:假设人头标准尺寸为以rman为半径的圆。
步骤5.5.1、如果在某一簇同心圆中的最大的圆的半径Rmaxi∈U(rman,δ)(δ为半径偏差值),则说明检测到的该同心圆即是一个人头,人头数量N+1。
步骤5.5.2、如果
Figure BDA0001171913790000091
则对该同心圆群按一定比例进行缩放,如果按一定比例缩放后,Rmaxi还是不能满足条件Rmaxi∈U(rman,δ),则说明该同心圆群不是人头。
步骤6、跟踪人头:利用步骤3到步骤5人头检测方法,在后面的视频帧中检测人头,当在后面的视频帧检测到的人头的中心位置跟当前帧检测到的人头的中心位置位置距离在一定范围内的时候,则认为这两帧图像检测到的人头是同一个,如此迭代,直到检测到该人头消失于摄像机视野内。具体为:在当前帧深度图像检测到的人头A的中心位置为(xa,ya,za),在监控视频深度图像当前帧的后一帧图像中检测到相同大小的一个人头B,且该人头中心位置(xb,yb,zb)在(xa,ya,za)的某一领域内,即B∈U(A,σ),σ为邻域半径,取σ=vt,其中v为人头移动速度,t为两张视频帧之间的时间间隔。此时,则认为人头B就是人头A。如此迭代,直到人头A消失于摄像头视野。以此方法,跟踪完检测到的所有人头。
步骤7、在新的视频帧里检测新的人头,更新人头数量。如果后面的在视频帧里检测到一个人头,且这个人头的中心位置在上一帧的视频帧检测到的人头的中心位置的一定范围之外,则认为是有新的人头出现,此时,更新人头数量N=N+1。具体描述为:设当前帧深度图像检测到的人头A的中心位置为(xa,ya,za),在监控视频深度图像当前帧的后一帧图像中检测到相同大小的一个人头B,且
Figure BDA0001171913790000101
σ为邻域半径,取σ=vt,其中v为人流移动速度,t为两张视频帧之间的时间间隔。此时,则认为人头B是区别于上一帧中的检测到的人头A的新的人头。将人头B与上一帧图像检测到的相同(或近似)大小的人头匹配,匹配方法如与A匹配一样,如果都匹配失败,则说明B是一个新出现的人头,此时N=N+1。如此迭代,直到不再检测到新的人头。
步骤8、输出当前人头数数量N,则通过以上步骤可以完成客流场景下的人头数目检测,从而检测客流量。

Claims (7)

1.基于双目立体视觉的人头检测计数方法,其特征在于,包括以下步骤:
步骤a.标定双目图像采集***;
步骤b.利用标定好的双目图像采集***进行监控区域图像采集,获取客流场景图像;
步骤c.对获取的客流场景图像进行预处理;
步骤d.获取图像的深度图;
步骤e.利用等值线查找法检测深度图中不同深度的人头;
步骤f.跟踪检测到的人头:
设在当前帧深度图像检测到的人头A的中心位置为(xa,ya,za),若在监控视频深度图像当前帧的后一帧图像中检测到相同大小的一个人头B,且该人头中心位置(xb,yb,zb)在(xa,ya,za)的某一领域内,即B∈U(A,σ),σ为邻域半径,取σ=vt,其中v为人头移动速度,t为两张视频帧之间的时间间隔;则判定人头B就是人头A,如此迭代,直到人头A消失于摄像头视野,以此方法,跟踪完检测到的所有人头;
步骤g.在新的视频帧里检测新的人头,并更新人头数量;
步骤h.输出当前人头数量;
步骤e具体包括:
e1、将离散的深度图像数据网格化;
e2、在网格数据的基础上通过不同颜色来填充不同等值线,生成等值填充图;
e3、在等值填充图的基础上生成等值线图;
e4、在等值线图中检测圆;
e5、基于对圆的检测实现人头检测;
步骤e2具体包括:
e21、取得网格化数据深度值Z的极大值Zmax、极小值Zmin以及等值线间距△Z,等值线步长k;
e22、根据等值线间距△Z、网格化数据的密度确定欲形成的填充等值线的图像大小,并采用双线性插值的方法加密网格数据:
根据P1(x1,y1,z1),P2(x2,y2,z2),P3(x3,y3,z3),P4(x4,y4,z4)点的值z1,z2,z3,z4,结合下式求得加密点P的Z值:
Figure FDA0002457608980000021
Figure FDA0002457608980000022
Figure FDA0002457608980000023
e23、建立Z值区间与颜色区间的映射:f:Z>C,Z∈[Zmin,Zmax],C∈{c1,c2,...,cn},确定颜色变量C的值域,利用
Figure FDA0002457608980000024
求得颜色变量C的个数,并选定相应的n个颜色值Color(n);则
Figure FDA0002457608980000025
其中,ΔZ为等值间距,[]为取整符号;
e24、对于加密后的网格数据,根据映射f:Z>C进行图形颜色填充即可生成等值填充图像。
2.如权利要求1所述的基于双目立体视觉的人头检测计数方法,其特征在于,步骤d具体包括:
d1、对左、右图像的特征点进行提取和匹配;
d2、提取匹配后左右图像序列的亚像素坐标;
d3、利用视差原理结合标定参数得到图像的三维坐标:
左图像像素坐标(xl,yl)、右图像像素坐标(xr,yr)与三维空间坐标(XW,YW,ZW)的关系如下式所示:
Figure FDA0002457608980000026
其中,xl和xr表示左右图像匹配点对在像素坐标系下的横坐标,yl表示左图像中匹配点在像素坐标系下的纵坐标;B表示左右相机间的基线距离,f表示左相机焦距;B和f根据相机标定得到。
3.如权利要求1所述的基于双目立体视觉的人头检测计数方法,其特征在于,步骤e1中,采用插值的方式对深度图像数据进行网格化处理,插值后形成规则的网格结构。
4.如权利要求3所述的基于双目立体视觉的人头检测计数方法,其特征在于,步骤e3具体包括:
e31、等值线边界判别:设定2*2的等值线判别模板,用此模板对等值线填充图进行卷积判别,如满足模板条件,即2P(i,j)≠P(i,j+1)+P(i+1,j+1)可设该像素点为等值线上的值点,否则该像素点为等值区域内点;
e32、等值线色值的设置:将等值点的颜色设为255,等值内点的颜色像素值按一定幅度适当减小,设置好整张图像的等值线颜色后,对图像进行二值化,二值化准则为:如果点P(i,j)的像素Zij=255,则该点的像素保持不变,否则该点的像素设为0,即Zij=0。
5.如权利要求4所述的基于双目立体视觉的人头检测计数方法,其特征在于,步骤e4具体包括:
e41、检测深度图像等值线图中等值线边缘轮廓点,并保存其坐标位置,设置角度θ的变化范围和步长,半径r的变化范围和步长;
e42、坐标变换:利用公式x=a+rcos(θ),y=b+rsin(θ),求出a和b的值;如果a和b的值在合理范围之内,则合理位置数量加1;
e43、合理位置数量累加完毕后,寻找半径最大值,求出圆心坐标和半径;其中,半径最大值确定方式为:找出在合理范围内点数最多的参数空间h(a,b,r),在此参数空间内,找出最大的r,以及r对应的圆心(a,b),记为(a,b,maxr),此时即可得到以(a,b)为圆心,以maxr为半径的圆;以此,即可检测到值线图中的所有圆;
e44、绘制检测到的圆,记录圆的位置信息。
6.如权利要求5所述的基于双目立体视觉的人头检测计数方法,其特征在于,步骤e5中,假设人头标准尺寸为以rman为半径的圆,该步骤具体包括:
e51、如果在某一簇同心圆中的最大的圆的半径Rmaxi∈U(rman,δ),δ为半径偏差值,则说明检测到的该同心圆即是一个人头,则对人头数量累加1;
e52、如果
Figure FDA0002457608980000041
则对该同心圆群按一定比例进行缩放,如果按一定比例缩放后,Rmaxi还是不能满足条件Rmaxi∈U(rman,δ),则说明该同心圆群不是人头。
7.如权利要求6所述的基于双目立体视觉的人头检测计数方法,其特征在于,步骤g中,所述在新的视频帧里检测新的人头,并更新人头数量的具体方法包括:
设在当前帧深度图像检测到的人头A的中心位置为(xa,ya,za),若在监控视频深度图像当前帧的后一帧图像中检测到相同大小的一个人头B,且
Figure FDA0002457608980000042
σ为邻域半径,取σ=vt,其中v为人流移动速度,t为两张视频帧之间的时间间隔;则判定人头B是区别于上一帧中的检测到的人头A的人头;
按照该方式,将人头B与上一帧图像检测到的相同大小的人头匹配,若匹配均失败,则判定人头B是一个新出现的人头,此时检测的人头数量N=N+1,如此迭代,直到不再检测到新的人头。
CN201611108304.5A 2016-12-06 2016-12-06 基于双目立体视觉的人头检测计数方法 Active CN106709432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611108304.5A CN106709432B (zh) 2016-12-06 2016-12-06 基于双目立体视觉的人头检测计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611108304.5A CN106709432B (zh) 2016-12-06 2016-12-06 基于双目立体视觉的人头检测计数方法

Publications (2)

Publication Number Publication Date
CN106709432A CN106709432A (zh) 2017-05-24
CN106709432B true CN106709432B (zh) 2020-09-11

Family

ID=58935963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611108304.5A Active CN106709432B (zh) 2016-12-06 2016-12-06 基于双目立体视觉的人头检测计数方法

Country Status (1)

Country Link
CN (1) CN106709432B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986064B (zh) * 2017-05-31 2022-05-06 杭州海康威视数字技术股份有限公司 一种人流量统计方法、设备及***
CN109426786A (zh) * 2017-08-31 2019-03-05 爱唯秀股份有限公司 人数检测***与人数检测方法
CN110555419B (zh) * 2019-09-09 2023-05-26 江苏慧眼数据科技股份有限公司 基于双目立体视觉的客流计数方法
CN112633096A (zh) * 2020-12-14 2021-04-09 深圳云天励飞技术股份有限公司 客流的监测方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129709A (zh) * 2009-11-12 2011-07-20 微软公司 可视化深度
CN104185857A (zh) * 2011-10-10 2014-12-03 皇家飞利浦有限公司 深度图处理
CN104331897A (zh) * 2014-11-21 2015-02-04 天津工业大学 基于极线校正的亚像素级相位立体匹配方法
CN105096259A (zh) * 2014-05-09 2015-11-25 株式会社理光 深度图像的深度值恢复方法和***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129709A (zh) * 2009-11-12 2011-07-20 微软公司 可视化深度
CN104185857A (zh) * 2011-10-10 2014-12-03 皇家飞利浦有限公司 深度图处理
CN105096259A (zh) * 2014-05-09 2015-11-25 株式会社理光 深度图像的深度值恢复方法和***
CN104331897A (zh) * 2014-11-21 2015-02-04 天津工业大学 基于极线校正的亚像素级相位立体匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于立体视觉的人头检测与统计方法研究;张华;《万方学位论文数据库》;20151228;摘要,第1,14,42-43,48页 *
张华.基于立体视觉的人头检测与统计方法研究.《万方学位论文数据库》.2015, *

Also Published As

Publication number Publication date
CN106709432A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
CN110415342B (zh) 一种基于多融合传感器的三维点云重建装置与方法
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN107463918B (zh) 基于激光点云与影像数据融合的车道线提取方法
CN110349221A (zh) 一种三维激光雷达与双目可见光传感器的融合标定方法
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN111460922A (zh) 共享车辆停放区域三维模型图像识别停放是否合理的***
CN106709432B (zh) 基于双目立体视觉的人头检测计数方法
CN107392929B (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN112801074B (zh) 一种基于交通摄像头的深度图估计方法
CN107862735B (zh) 一种基于结构信息的rgbd三维场景重建方法
CN102176243A (zh) 一种基于可见光和红外摄像机的目标测距方法
WO2015096507A1 (zh) 一种利用山体轮廓区域约束识别定位建筑物的方法
CN109087323A (zh) 一种基于精细cad模型的图像车辆三维姿态估计方法
CN112818925A (zh) 一种城市建筑和树冠识别方法
CN113221648B (zh) 一种基于移动测量***的融合点云序列影像路牌检测方法
WO2023060632A1 (zh) 基于点云数据的街景地物多维度提取方法和***
CN113050074B (zh) 无人驾驶环境感知中相机与激光雷达标定***及标定方法
CN104517095A (zh) 一种基于深度图像的人头分割方法
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN113034586B (zh) 道路倾角检测方法和检测***
CN113920183A (zh) 基于单目视觉的车前障碍物测距方法
Li et al. Automatic parking slot detection based on around view monitor (AVM) systems
CN111723778A (zh) 基于MobileNet-SSD的车辆测距***及方法
CN115909025A (zh) 一种小天体表面采样点地形视觉自主检测识别方法
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant