CN104637058B - 一种基于图像信息的客流量识别统计方法 - Google Patents

一种基于图像信息的客流量识别统计方法 Download PDF

Info

Publication number
CN104637058B
CN104637058B CN201510063946.7A CN201510063946A CN104637058B CN 104637058 B CN104637058 B CN 104637058B CN 201510063946 A CN201510063946 A CN 201510063946A CN 104637058 B CN104637058 B CN 104637058B
Authority
CN
China
Prior art keywords
target
image
point
gray
kth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510063946.7A
Other languages
English (en)
Other versions
CN104637058A (zh
Inventor
方康玲
何鹏
付晓薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei liangpinpu Supply Chain Technology Co., Ltd
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN201510063946.7A priority Critical patent/CN104637058B/zh
Publication of CN104637058A publication Critical patent/CN104637058A/zh
Application granted granted Critical
Publication of CN104637058B publication Critical patent/CN104637058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种基于图像信息的客流量识别统计方法，该方法利用一种改进的自适应运动目标检测方法，在目标识别区域检测出有运动目标存在后，再对存在运动目标的图像序列按如下步骤处理：首先，基于Kalman滤波预测目标图像的搜索区域；然后，根据改进的代价函数对目标进行匹配，并建立目标链，确定目标图像间的对应关系；最后，根据每帧图像之间目标的关联匹配关系，确定目标是进入还是离开识别区域，或者静止、在目标识别区域内外连续运动，以此达到客流量识别统计的目的。本发明具有实时性强、识别率高、统计数据全面、硬件要求低等特点。

Description

一种基于图像信息的客流量识别统计方法
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于图像信息的客流量识别统计方法。
背景技术
客流量一直都是商场、机场、公交车站、地铁站等公共场所进行管理和决策不可或缺的重要数据，随着我国经济与科技的发展，许多行业对客流量统计的需求也日益见长。传统的人工统计方法费时费力，且时效性不强，后续数据处理繁琐，不能提供实时的统计数据，因此开发出一种实时的客流量智能统计***具有十分重要的意义。
传统的红外光电检测客流量统计***原理简单，应用比较广泛，但有明显的缺陷：主动式受温度、光照等自然条件影响较大，可靠性较差；被动式可靠性较强，但价格昂贵，且受场地限制。基于图像信息的客流量识别统计具有成本低、安装维护简单等优点，还能与原有的监控***相连接，不需另购设备。
该***设计主要解决动态图像中多目标的识别与跟踪计数问题，目前已提出多种基于动态图像的客流量统计计数方法，具有代表性的主要有以下三种方法：
(1)建立行人真实轨迹的数学统计模型。如结合利用背景建模方法和先验假设算法得到前景模块，再对轨迹模型滤波以排除非行人轨迹。该算法比直接检测行人节省了时间，但对轨迹数学模型要求较高，且依赖于前景块识别的准确度。
(2)基于遗传算法。如“基于遗传算法的客流量分析***研究”通过将遗传算法引入到了客流量的统计***中提高了客流量的准确性，但是由于是通过人体识别，当客流量较大时遮挡面积的增多导致识别难度增大。
(3)数学形态学算法。如“基于改进特征跟踪的客流量统计”提出了一种基于数学形态学的客流量统计方法，首先对进行数学形态学处理后的目标连通域进行分析，采用向前搜索原则确定目标的新位置，通过划定计数线进行计数。该方法实现简单，但是容易与其它非人运动目标混淆，影响统计的准确性。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于图像信息的客流量识别统计方法。
本发明解决其技术问题所采用的技术方案是：一种基于图像信息的客流量识别统计方法，包括以下步骤：
1)确定目标检测区域；设置目标图像检测区域ROI的四个参数：ROI.X代表检测区域ROI左上角点的x轴坐标，ROI.Y代表检测区域ROI左上角点的y轴坐标，ROI.Width代表检测区域ROI的宽度，ROI.Height代表检测区域ROI的高度；
2)确定目标检测区域没有待检测目标存在时的背景图像；采用多幅图像平均法，对10～20帧原始图像叠加求取平均值，获取目标不存在时视频图像的背景图像，记为I0；
3)对采集的视频图像的每帧图像进行处理，将存在运动目标图像帧按顺序存入数组中；
将采集到的视频图像的第i帧图像进行分块处理，记为当前帧图像，然后选定目标图像检测区域ROI；
对当前帧图像进行二值化后、距离变换后，再通过均值滤波或亚取样，得到当前帧图像的增强图像；然后与经过1)～3)步处理过的第i-1帧图像进行差分，将选定的目标图像检测区域ROI的差值记为NZ；
将运动检测差值NZ与设定的报警最小元素数量限定值N0作比较：若NZ＜N0，则没有运动存在，自动采集第i+1帧原始图像，返回第3)步；若NZ≥N0，则保存当前帧图像，记为I1；
对当前帧图像和背景图像I0进行差分，将选定的目标图像检测区域ROI的差值记为NB；
将目标检测差值NB与设定的报警最小元素数量限定值N0’作比较：若NB＜N0’，则没有待检测目标存在；若NB≥N0’，则报警存在运动的目标，然后将存在运动目标的当前帧图像存入数组MovingImages[i][j]中；
4)根据图像帧是否连续，对数组中的图像帧进行分块；
(1)将目标图像检测区域ROI的横坐标的最小值和最大值分别保存到对应的变量xin和xout中，然后读取数组MovingImages[i][j]中的第一帧原始图像序列，记为多目标跟踪统计计数的当前帧目标图像；
(2)定义计数变量PersonIn和PersonOut，分别记录进入和离开的目标数量，初始化设置为0，并规定沿X方向为进，逆X方向为出；
(3)对当前帧目标图像进行基于差分法的自适应背景分割，将获得的运动区域图像进行二值化，用(与头部大小相称的)2×2结构算子对目标图像的二值图像进行形态学腐蚀，以去除伪目标(即非头部图像)，再通过形态学膨胀还原实际目标的大小，获得只含有运动目标连通域的二值图像；
(4)遍历只含有运动目标连通域的二值图像，获取各个目标连通域Area[n][i]的特征值，存入相应的链表中，其参数包括：图像索引Num，目标索引Index，目标质心的横坐标X和纵坐标Y，对应原图像目标区域的灰度平均值Gray，目标区域矩形包围窗口的长度Length和宽度Width，目标区域的面积大小Space；
(5)根据获得的目标连通域Area[n][i]的特征值，用Kalman滤波来预测下一帧图像中目标连通域Area[n+1][i]的质心运动位置p(xi，yi)的搜索区域；
(6)采集下一帧图像，对其进行步骤(2)的操作；
(7)同步骤(3)；
(8)根据改进的代价函数，在当前帧图像的Kalman预测搜素区域匹配下一帧图像各目标连通域，计算当前帧目标连通域Area[n][i]与下一帧图像对应搜索区域内所有目标连通域的代价函数值，并找出其中最小值(假设与下一帧目标Area[n+1][j]代价函数值最小)；
(9)计算目标连通域Area[n][i]和Area[n+1][j]的质心距离d，并与质心距离限定值d0作比较。若d≤d0，则目标连通域Area[n+1][j]为目标连通域Area[n][i]的后续，用目标连通域Area[n+1][j]的特征值替代目标连通域Area[n][i]的值，并对目标连通域Area[n+1][j]做标记，建立目标链；
(10)若d＞d0，则目标连通域Area[n][i]在下一帧中没有后续，目标连通域Area[n][i]可能离开图像观测窗口或者暂时静止，需判断目标连通域Area[n][i]的质心坐标X的位置：
5)对分块后的图像帧进行统计计数；
具体如下：
5.1)将目标图像检测区域ROI的横坐标的最小值和最大值分别保存到对应的变量xin和xout中，然后读取数组MovingImages[i][j]中的第一帧原始图像序列，记为多目标跟踪统计计数的当前帧目标图像；
5.2)定义计数变量PersonIn和PersonOut，分别记录进入和离开的目标数量，初始化设置为0，并规定沿X轴正方向为进，逆X轴正方向为出；
5.3)对目标连通域Area[n][i]的质心坐标X的位置：
当X≤xin时，如果目标连通域Area[n][i]的运动轨迹的第一个质心横坐标X1≤xin，则说明该目标一直在预留区内徘徊，任何计数器不动作；如果X1>xin，则说明目标离开跟踪窗口，方向为出，出计数器PersonOut加1，并清除目标连通域Area[n][i]的目标链；
当X>xout时，如果目标连通域Area[n][i]的运动轨迹第一个质心坐标横坐标X1≥xout，则说明该目标一直在预留区内徘徊，任何计数器不动作；如果X1<xout，则说明目标进入跟踪窗口，方向为进，进计数器PersonIn加1，并清除目标连通域Area[n][i]的目标链；
当xin<X<xout，则说明目标连通域Area[n][i]在检测区内运动，其最后的运动方向不明，保留其特征值，等待下一帧中该目标的跟踪；若下一帧中有匹配目标，则按上述步骤建立目标链，否则作为干扰，丢弃；
5.4)跟踪窗口中的所有目标连通域进行匹配后，验证当前帧中所有目标是否被跟踪；若存在未被跟踪的目标，则判断其质心横坐标是否满足X≤xin和X>xout中的任意一个，满足则表示有新目标出现，为其建立新的目标链，获取并记录特征值，转入步骤4中的(3)；不满足则判断为干扰，丢弃；
5.5)当前帧图像中所有目标识别计数结束后，计算当前进计数器PersonIn和出计数器的差值PersonOut的差值，记为当前客流量CustomCounting，当前帧图像的目标识别计数结束；
5.6)依次对图像数组MovingImages[i][j]中每帧图像的目标连通域进行识别和自动计数，直到图像数组MovingImages[i][j]中的图像序列全部处理完毕，则整个目标识别计数结束。
按上述方案，所述采用目标链代价函数对多目标进行跟踪匹配，步骤是：
1)获取第k帧图像中多个目标的三个特征值：目标质心坐标、平均灰度和目标区域的面积，其中目标i的特征值分别记为：Point[k][i]、Gray[k][i]和Space[k][i]；
2)利用Kalman滤波预测第k帧图像中目标i在第k+1帧图像中的搜索区域，遍历目标i在第k+1帧图像中的搜索区域，发现n个目标对象，获取他们的特征值，其中目标j的特征值分别记为：Point[k+1][j]、Gray[k+1][j]和Space[k+1][j]；
3)分别求取第t+1帧图像目标i的搜索区域中n个目标对象与第t帧图像中目标i的3个特征值的变化程度，求取最大值分别记为MaxPoint、MaxGray和MaxSpace，具体计算公式如下：
MaxPoint[i]＝Max(sqrt((Point[k][i].x-Point[k+1][m].x)*(Point[k][i].x-Point[k+1][m].x)+(Point[k][i].y-Point[k+1][m].y)*(Point[k][i].y-Point[k+1][m].y)))
MaxGray[i]＝Max(sqrt((Gray[k][i]-Gray[k+1][m])*(Gray[k][i]-Gray[k+1][m])))
MaxSpace[i]＝Max(sqrt((Space[k][i]-Space[k+1][m])*(Space[k][i]-Space[k+1][m])))
其中，1≤m≤n，表示目标i的搜索区域中n个目标中任意一个；其中sqrt为开平方根运算；
4)求取第t帧图像中目标i和第t+1帧图像中目标j的质心距离大小D[i][j]、灰度变化程度H[i][j]和面积变化程度S[i][j]，相应的计算公式如下：
D[i][j]＝sqrt((Point[k][i].x-Point[k+1][j].x)*(Point[k][i].x-Poin t[k+1][j].x)+(Point[k][i].y-Point[k+1][j].y)*(Point[k][i].y-Point[k+1][j].y))/MaxPoint[i]；
H[i][j]＝sqrt((Gray[k][i]-Gray[k+1][j])*(Gray[k][i]-Gray[k+1][j]))/MaxGray[i]；
S[i][j]＝sqrt((Space[k][i]-Space[k+1][j])*(Space[k][i]-Space[k+1][j]))/MaxSpace[i]
5)代价函数V[i][j]可由步骤4.5.4)所求三个特征值变化量求得：
V[i][j]＝αD[i][j]+βH[i][j]+γS[i][j]；
其中α、β、γ三个参数系数表示三个特征值的影响因子，可按照实际情况调整。
按上述方案，所述采用Kalman滤波预测搜索区域的具体步骤是：
1)假设图像中各目标质心的运动为匀速运动，包围窗口面积基本不变，初始化目标在x方向的运动速度Vx，在y方向上的运动速度Vy，包围窗口长宽的变化速度Vt，图像采样步长T(即每帧图像序列之间的时间间隔)；
2)基于第k-1帧图像中的目标i，获取第k帧图像中对应目标i的特征值的最优估算结果：质心位置X坐标Point[k][i].x和Y坐标Point[k][i].y、包围窗口的长度Win[k][i].length和宽度Win[k][i].width、两特征量的偏差估计P[k][i]；
3)基于第2)步获得的结果，计算第k+1帧图像中目标i的特征值预测值和偏差估计，具体的计算公式如下：
Point[k+1][i].x＝Point[k][i].x+Vx*T；
Point[k+1][i].y＝Point[k][i].y+Vy*T；
Win[k+1][i].length＝Win[k][i].length+Vt*T；
Win[k+1][i].width＝Win[k][i].width+Vt*T；
P[k+1][i]＝P[k][i]+Q；
4)根据第k+1帧图像中目标i的特征值预测值和偏差估计，计算对应的Kalman增益：
Kg[k+1][i]＝P[k][i]/(P[k][i]+R)
计算第k+1帧图像中目标i的各个特征值和偏差估计的最优估计值，并更新他们的预测值：
Point[k+1][i].x＝Point[k+1][i].x+Kg[k+1][i]*(Z[k+1][i].x-Point[k+1][i].x)；Point[k+1][i].y＝Point[k+1][i].y+Kg[k+1][i]*(Z[k+1][i].y-Point[k+1][i].y)；
Win[k+1][i].length＝Win[k+1][i].length+Kg[k+1][i]*(Z[k+1][i].length-Win[k+1][i].length)；
Win[k+1][i].width＝Win[k+1][i].width+Kg[k+1][i]*(Z[k+1][i].width-Win[k+1][i].width)；
P[k+1][i]＝(1-Kg[K+1][i])*P[k][i]；
5)由此可得第k帧图像中目标i在第k+1帧中的预测搜索区域(X，Y)为：
Point[k+1][i].x-1.5*Win[k+1][i].length/2≤X≤Point[k+1][i].x+1.5*Win[k+1][i].l ength/2；
Point[k+1][i].y-1.5*Win[k+1][i].width/2≤Y≤Point[k+1][i].y+1.5*Win[k+1][i].w idth/2。
按上述方案，所述步骤4的(8)中目标链中目标的关联匹配和数据关联的算法的实现步骤是：
在目标链的关联匹配中，若出现第k帧图像中目标i与第k+1帧图像中目标i的预测搜索区域中第j个目标和第m个目标的代价函数值相等，且同时为最小，则此时目标的跟踪匹配会发生冲突，则采用以下改进算法，完成目标的正确跟踪匹配；
计算第k帧图像中目标i和第k+1帧图像中目标j和m的代价函数，若代价函数值相等且为最小，则将上述3个目标的灰度特征值分别记为Gray[k][i]、Gray[k+1][j]、Gray[k+1][m]；
分别求取第k帧图像中目标i和第k+1帧图像中目标j、m的平均灰度变化大小，计算公式为：
Value1＝sqrt((Gray[k][i]-Gray[k+1][j])*(Gray[k][i]-Gray[k+1][j]))；
Value2＝sqrt((Gray[k][i]-Gray[k+1][m])*(Gray[k][i]-Gray[k+1][m]))；
若Value1<Value2，则第k+1帧图像中的目标j为第k帧图像中目标i的后续，用第k+1帧图像中的目标j的特征值代替第k帧图像中目标i的特征值，更新目标链，反之，则第k+1帧图像中的目标m为第k帧图像中目标i的后续；
与第k帧图像中的目标i没有匹配成功的可与第k帧图像中的其他目标匹配，或者保留等待下一帧中找到匹配目标。
本发明产生的有益效果是：本发明提供的基于图像信息的客流量识别统计方法为此类多目标识别与跟踪计数问题，提供了一种可供参考的解决途径,该方法实时性强、鲁棒性好、智能性高、稳定性强。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为图像采集现场硬件安装示意图；
图2为本发明某次实验的现场背景图像及检测区域ROI设置；
图3为图1背景下目标进入检测区域图像；
图4为运动目标存在检测阶段的差分图像；
图5为人头部目标识别和特征提取结果图像；
图6为人头部目标识别结果在原图中显示；
图7为一组动态图像的目标特征量表；
图8为图6中该类多目标的质心运动轨迹；
图9为图6中该类多目标建立的跟踪窗口；
图10为本发明的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图10所示，一种基于图像信息的客流量识别统计方法。
某商场入口处1的顶端安装摄像头2，PC主机通过图像采集卡3与摄像头2进行通信，将采集的图像信息经处理后在显示器5上显示，利用人顶部的图像识别和统计人员的流量，现场硬件安装示意图如图1所示。
第一步、运动目标的检测识别
实验采用的图像分辨率为600×560。为了减少图像处理量，对图像进行分块处理，图像的大小为150×140。摄像头采集图像的速度为：4帧/s。具体步骤如下：
1)设置目标图像检测ROI区域的四个参数：ROI.X代表ROI区域左上角点x轴坐标，ROI.Y代表ROI区域左上角点y轴坐标，ROI.Width代表ROI区域宽度，ROI.Height代表ROI区域高度。本例中，设置：ROI.X＝40，ROI.Y＝50，ROI.Width＝50，ROI.Height＝60。
2)采用多幅图像平均法，对M帧图像叠加求取平均值，获取某段视频图像在没有目标存在时的背景图像，如图2。
3)将采集到的该视频图像的第i帧图像进行分块处理，记为当前帧参数确定图像，并选定目标图像检测ROI区域，如图3所示。
4)对当前帧图像进行二值化后，再通过距离变换和均值滤波或亚取样，得到当前帧图像的增强图像；然后与经过1)～3)步处理过的第i-1帧图像进行差分，将选定ROI区域的差值记为NZ。
5)将NZ与设定的报警最小元素数量限定值N0作比较：若NZ＜N0，则没有运动存在，自动采集i+1帧图像，返回第2)步重新开始；若NZ≥N0，则保存第i帧图像，记为I1。
6)对第i帧图像I1和背景图像I0进行基于差分法的自适应背景分割，再将得到的图像二值化，并进行形态学腐蚀，将选定ROI区域的差值记为NB，差值图像如图4所示。
7)将NB与设定的报警最小元素数量限定值N′0作比较：若NB＜N′0，则没有待检测目标存在，自动采集i+1帧图像，返回第2)步重新开始；若NB≥N′0，则报警存在运动的目标，并将该图像帧存入数组MovingImages[i][j]中，以准备做后续的图像识别与处理。
第二步、多目标的跟踪与统计计数
根据读取的视频图像，设定好ROI检测区域，将其横坐标的最小和最大值保存到变量xin和xout中，并选择有运动目标出现的连续图像帧，依次保存在数组MovingImages[i][j]中，读取该数组中的图像序列的第一帧目标图像，将其记为多目标跟踪统计计数的当前帧图像，然后按照以下步骤根据人头顶的视频图像进行客流量的在线识别计数，将计数结果存储到计数变量PersonIn和PersonOut中，分别记录进入和离开的目标数量，计数变量初始值设为0。本例中，设置xin＝40，xout＝100。
1)启动进出两个计数器，并规定沿x正方向为进，x反方向为出。
2)对获得的当前帧目标图像二值化后，选用合适的结构算子对其进行形态学腐蚀，以去除伪目标(即非头部图像)，取得只含有运动目标连通区域的二值图像。
3)遍历该二值图像，获取各个目标连通域Area[n][i]的特征值，并存入相应的链表中，其参数包括：图像和目标索引Num和Index，目标质心的横坐标X，纵坐标Y，对应原图像目标区域的灰度平均值Gray，目标区域矩形包围窗口的长度Length和宽度Width，目标区域的面积大小Space，如图4所示，两个目标的质心坐标分别为：(83.8530，90.2874)、(118.8503,33.7245)；平均灰度分别为：85.9029、77.204；目标包围窗口分别为：30*29、34*27；目标区域面积大小分别为：762、755。
4)根据获得的目标Area[n][i]特征值，基于Kalman滤波预测下一帧图像中目标连通域Area[n+1][i]的质心运动位置p(xi，yi)和区域。
5)采集下一帧图像，对其进行步骤1)的操作。
6)同第二步的步骤2)。
7)根据改进的代价函数，在当前帧图像的Kalman预测搜素区域匹配下一帧图像各目标连通域，计算当前帧目标Area[n][i]与下一帧图像对应搜索区域内所有目标的代价函数值，并找出其中最小值(假设与下一帧目标Area[n+1][j]代价函数值最小)。
8)计算目标Area[n][i]和Area[n+1][j]的质心距离d，并与距离限定值d0作比较。若d≤d0，则目标Area[n+1][j]为目标Area[n][i]的后续，用目标Area[n+1][j]的特征值替代目标Area[n][i]的值，并对该目标Area[n+1][j]做标记，建立目标链。
9)若d＞d0，则目标Area[n][i]在下一帧中没有后续目标，该目标可能离开图像观测窗口或者暂时静止，需判断目标Area[n][i]的质心坐标：
当X≤xin时，如果该目标Area[n][i]运动轨迹的第一个质心横坐标X1≤xin，则说明该目标一直在预留区内徘徊，任何计数器不计数；如果X1>xin，则说明目标离开跟踪窗口，方向为出，出计数器PersonOut加1，并清除目标链Area[n][i]。
当X>xout时，如果该运动目标轨迹第一个质心坐标横坐标X1≥xout，任何计数器不计数；如果X1<xout，则说明该目标进入跟踪窗口，方向为进，进计数器PersonIn加1，并清除目标链Area[n][i]；
当xin<X<xout，则说明目标Area[n][i]在检测区内运动，其最后运动的方向不明，保留其特征值，等待下一帧中该目标的跟踪。若下一帧中有匹配目标，则按上述步骤建立目标链，否则作为干扰，丢弃。
10)所有被跟踪目标进行匹配后，验证当前帧中所有目标是否被跟踪。若存在未被跟踪的目标，则判断其质心横坐标是否满足：X≤xin或者X>xout，满足则是有新目标出现，为其建立新的目标链，设置特征值；不满足则可能为干扰，丢弃，如图5所示。本例中，两目标在下一帧中匹配目标的特征值：质心坐标分别为：(80.7355，91.3539)、(116.1797，34.5599)；平均灰度分别为：86.9632、77.7487；目标包围窗口分别为：31*29、35*28；目标区域面积大小分别为：760、768。
11)每帧图像中所有目标识别计数结束后，即可计算当前进计数器PersonIn和出计数器的差值PersonOut的差值，赋给变量CustomCounting，即为当前客流量的统计结果。本例中当前帧的PersonIn＝2，PersonOut＝0，CustomCounting＝2-0＝1。
识别匹配结果在原图中显示，如图6所示，当前帧图像的目标识别计数结束。
按照步骤1)～10)依次对每帧的目标进行识别和自动计数，直到该图像数组MovingImages[i][j]中的图像全部处理完毕，将各时刻两个计数器PersonIn和PersonOut的值及其差值CustomCounting存入数据库，即可对客流量进行统计分析。本例中，最终客流量统计值为CustomCounting＝572，所用的一段视频中，识别计数过程中某两目标在检测区域各帧图像中的特征量如图7所示，根据识别得到的数据重现该两目标质心和目标包围窗口运动轨迹分别如图8和图9。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种基于图像信息的客流量识别统计方法，其特征在于，包括以下步骤：
1)确定目标检测区域；设置目标图像检测区域ROI的四个参数：ROI.X代表检测区域ROI左上角点的x轴坐标，ROI.Y代表检测区域ROI左上角点的y轴坐标，ROI.Width代表检测区域ROI的宽度，ROI.Height代表检测区域ROI的高度；
2)确定目标检测区域没有待检测目标存在时的背景图像；
3)对采集的视频图像的每帧图像进行处理，将存在运动目标的图像帧按顺序存入数组中；
4)判断数组中的图像帧是否连续，根据判断结果对数组中的图像帧进行分块；
所述步骤4)中判断数组中的图像帧是否连续采用以下方法：
4.1)从数组中依次取帧图像，对当前帧目标图像进行基于差分法的自适应背景分割，将获得的运动区域图像进行二值化，用2×2结构算子对目标图像的二值图像进行形态学腐蚀，以去除伪目标，再通过形态学膨胀还原实际目标的大小，获得只含有运动目标连通域的二值图像；
4.2)遍历只含有运动目标连通域的二值图像，获取各个目标连通域Area[n][i]的特征值，存入相应的链表中；其中，特征值包括以下参数：图像索引Num，目标索引Index，目标质心的横坐标X和纵坐标Y，对应原图像目标区域的灰度平均值Gray，目标区域矩形包围窗口的长度Length和宽度Width，目标区域的面积大小Space；
4.3)根据获得的目标连通域Area[n][i]的特征值，用Kalman滤波来预测下一帧图像中目标连通域Area[n+1][i]的质心运动位置p(xi，yi)的搜索区域；
4.4)计算下一帧图像的目标连通域Area[n+1][i]的特征值；
4.5)在当前帧图像的Kalman预测搜素区域匹配下一帧图像各目标连通域，计算当前帧目标连通域Area[n][i]与下一帧图像对应搜索区域内所有目标连通域的代价函数值，并找出其中最小值；
4.6)计算目标连通域Area[n][i]和下一帧图像对应搜索区域任一目标连通域Area[n+1][j]的质心距离d，并与质心距离限定值d0作比较：
若d≤d0，则目标连通域Area[n+1][j]为目标连通域Area[n][i]的后续，用目标连通域Area[n+1][j]的特征值替代目标连通域Area[n][i]的特征值，并对目标连通域Area[n+1][j]做标记，建立目标链；
若d＞d0，则目标连通域Area[n][i]在下一帧中没有后续；
4.7)根据判断结果对数组中的图像帧进行分块；
5)对分块后的图像帧进行统计计数，确定进出的客流量。
2.根据权利要求1所述的客流量识别统计方法，其特征在于，所述步骤2)中确定背景图像的方法为：采用多幅图像平均法，对多帧原始图像叠加求取平均值，获取目标不存在时视频图像的背景图像。
3.根据权利要求1所述的客流量识别统计方法，其特征在于，所述步骤3)中对采集的视频图像的每帧图像进行处理为增强图像处理，具体为：对帧图像进行二值化和距离变换后，再通过均值滤波或亚取样，得到当前帧图像的增强图像。
4.根据权利要求3所述的客流量识别统计方法，其特征在于，所述步骤3)中采集的视频图像的每帧图像是否存在运动目标的判定方法如下：
3.1)将采集到的视频图像的帧图像进行分块处理，将第i帧图像记为当前帧图像，然后选定目标图像检测区域ROI；
3.2)将第i帧图像与处理过的第i-1帧图像进行差分，将选定的目标图像检测区域ROI的差值记为NZ；
3.3)将运动检测差值NZ与设定的运动检测报警最小元素数量限定值N0作比较：若NZ＜N0，则没有运动存在；若NZ≥N0，则有运动存在，保留当前帧图像；
3.4)对当前帧图像和背景图像进行差分，将选定的目标图像检测区域ROI的差值记为NB；将背景图像记为I0；
3.5)将目标检测差值NB与设定的目标检测报警最小元素数量限定值N0’作比较：若NB＜N0’，则没有待检测目标存在；若NB≥N0’，则报警存在运动的目标，然后将存在运动目标的当前帧图像存入数组MovingImages[i][j]中；
3.6)遍历所有帧图像，按顺序保存所有有运动目标存在的帧图像，存入数组MovingImages[i][j]中。
5.根据权利要求1所述的客流量识别统计方法，其特征在于，所述步骤5)中，对分块后的图像帧进行统计计数，具体方法如下：
5.1)将目标图像检测区域ROI的横坐标的最小值和最大值分别保存到对应的变量xin和xout中，然后读取数组MovingImages[i][j]中的第一帧原始图像序列，记为多目标跟踪统计计数的当前帧目标图像；
5.2)定义计数变量进计数器PersonIn和出计数器PersonOut，分别记录进入和离开的目标数量，初始化设置为0，并规定沿X轴正方向为进，逆X轴正方向为出；
5.3)对目标连通域Area[n][i]的质心横坐标X的位置：
当X≤xin时，如果目标连通域Area[n][i]的运动轨迹的第一个质心横坐标X1≤xin，则说明该目标连通域Area[n][i]一直在预留区内徘徊，任何计数器不动作；如果X1>xin，则说明该目标连通域Area[n][i]离开跟踪窗口，方向为出，出计数器PersonOut加1，并清除目标连通域Area[n][i]的目标链；所述第一个质心横坐标为目标最开始进入跟踪窗口的质心横坐标，即在跟踪窗口捕捉到的该目标第一个质心横坐标；
当X>xout时，如果目标连通域Area[n][i]的运动轨迹第一个质心坐标横坐标X1≥xout，则说明该目标连通域Area[n][i]一直在预留区内徘徊，任何计数器不动作；如果X1<xout，则说明该目标连通域Area[n][i]进入跟踪窗口，方向为进，进计数器PersonIn加1，并清除目标连通域Area[n][i]的目标链；
当xin<X<xout，则说明目标连通域Area[n][i]在检测区内运动，其最后的运动方向不明，保留其特征值，等待下一帧中该目标连通域Area[n][i]的跟踪；若下一帧中有匹配目标，则按上述步骤4.3)～4.6)建立目标链，否则作为干扰，丢弃；
5.4)跟踪窗口中的所有目标连通域进行匹配后，验证当前帧中所有目标是否被跟踪；若存在未被跟踪的目标，则判断其质心横坐标是否满足X≤xin和X>xout中的任意一个，满足则表示有新目标出现，为其建立新的目标链，获取并记录特征值，转入步骤4.3)；不满足则判断为干扰，丢弃；
5.5)当前帧图像中所有目标识别计数结束后，计算当前进计数器PersonIn和出计数器PersonOut的差值，记为当前客流量CustomCounting，当前帧图像的目标识别计数结束；
5.6)依次对图像数组MovingImages[i][j]中每帧图像的目标连通域进行识别和自动计数，直到图像数组MovingImages[i][j]中的图像序列全部处理完毕，则整个目标识别计数结束。
6.根据权利要求1所述的客流量识别统计方法，其特征在于，所述步骤4.5)中采用改进的目标链代价函数对多目标进行跟踪匹配，步骤是：
4.5.1)获取第k帧图像中多个目标的三个特征值：目标质心坐标、平均灰度和目标区域的面积，其中目标i的特征值分别记为：目标质心坐标Point[k][i]、平均灰度Gray[k][i]和目标区域的面积Space[k][i]；
4.5.2)利用Kalman滤波预测第k帧图像中目标i在第k+1帧图像中的搜索区域，遍历目标i在第k+1帧图像中的搜索区域，发现n个目标对象，获取他们的特征值，其中目标j的特征值分别记为：Point[k+1][j]、Gray[k+1][j]和Space[k+1][j]；
4.5.3)分别求取第k+1帧图像目标i的搜索区域中n个目标对象与第k帧图像中目标i的3个特征值的变化程度，求取最大值分别记为：质心坐标的最大值MaxPoint、平均灰度的最大值MaxGray和目标区域面积变化的最大值MaxSpace，具体计算公式如下：
MaxPoint[i]＝Max(sqrt((Point[k][i].x-Point[k+1][m].x)*(Point[k][i].x-Point[k+1][m].x)+(Point[k][i].y-Point[k+1][m].y)
*(Point[k][i].y-Point[k+1][m].y)))
MaxGray[i]＝Max(sqrt((Gray[k][i]-Gray[k+1][m])*(Gray[k][i]-Gray[k+1][m])))
MaxSpace[i]＝Max(sqrt((Space[k][i]-Space[k+1][m])*(Space[k][i]-Space[k+1][m])))
其中，1≤m≤n，表示目标i的搜索区域中n个目标中任意一个；其中sqrt为开平方根运算；
4.5.4)求取第k帧图像中目标i和第k+1帧图像中目标j的质心距离大小D[i][j]、灰度变化程度H[i][j]和面积变化程度S[i][j]，相应的计算公式如下：
D[i][j]＝sqrt((Point[k][i].x-Point[k+1][j].x)*(Point[k][i].x-Point[k+1][j].x)+(Point[k][i].y-Point[k+1][j].y)*(Point[k][i].y-Point[k+1][j].y))/MaxPoint[i]；
H[i][j]＝sqrt((Gray[k][i]-Gray[k+1][j])*(Gray[k][i]-Gray[k+1][j]))/MaxGray[i]；
S[i][j]＝sqrt((Space[k][i]-Space[k+1][j])*(Space[k][i]-Space[k+1][j]))/MaxSpace[i]；
4.5.5)代价函数V[i][j]可由步骤4.5.4)所求三个特征值变化量求得：
V[i][j]＝αD[i][j]+βH[i][j]+γS[i][j]；
其中α、β、γ三个参数系数表示三个特征值的影响因子，按照实际情况调整。
7.根据权利要求1所述的客流量识别统计方法，其特征在于，所述步骤4.3)采用Kalman滤波预测搜索区域的具体步骤是：
4.3.1)假设图像中各目标质心的运动为匀速运动，包围窗口面积不变，初始化目标在x方向的运动速度Vx，在y方向上的运动速度Vy，包围窗口长宽的变化速度Vt，图像采样步长T；
4.3.2)基于第k-1帧图像中的目标i，获取第k帧图像中对应目标i的特征值的最优估算结果：质心位置X坐标Point[k][i].x和Y坐标Point[k][i].y、包围窗口的长度Win[k][i].length和宽度Win[k][i].width、质心位置坐标和包围窗口的长度宽度两特征量的偏差估计；P[k][i]质心位置坐标Point[k][i]即为质心运动位置坐标p(xi，yi)；
4.3.3)基于第4.3.2)步获得的结果，计算第k+1帧图像中目标i的特征值预测值和偏差估计，具体的计算公式如下：
Point[k+1][i].x＝Point[k][i].x+Vx*T；
Point[k+1][i].y＝Point[k][i].y+Vy*T；
Win[k+1][i].length＝Win[k][i].length+Vt*T；
Win[k+1][i].width＝Win[k][i].width+Vt*T；
P[k+1][i]＝P[k][i]+Q；
4.3.4)根据第k+1帧图像中目标i的特征值预测值和偏差估计，计算对应的Kalman增益：
Kg[k+1][i]＝P[k][i]/(P[k][i]+R)
计算第k+1帧图像中目标i的各个特征值和偏差估计的最优估计值，并更新他们的预测值：
Point[k+1][i].x＝Point[k+1][i].x+Kg[k+1][i]*(Z[k+1][i].x-Point[k+1][i].x)；
Point[k+1][i].y＝Point[k+1][i].y+Kg[k+1][i]*(Z[k+1][i].y-Point[k+1][i].y)；
Win[k+1][i].length＝Win[k+1][i].length+Kg[k+1][i]*(Z[k+1][i].length-Win[k+1][i].length)；
Win[k+1][i].width＝Win[k+1][i].width+Kg[k+1][i]*(Z[k+1][i].width-Win[k+1][i].width)；
P[k+1][i]＝(1-Kg[K+1][i])*P[k][i]；
4.3.5)由此可得第k帧图像中目标i在第k+1帧中的预测搜索区域(X，Y)为：
Point[k+1][i].x-1.5*Win[k+1][i].length/2≤X≤Point[k+1][i].x+1.5*Win[k+1][i].length/2；
Point[k+1][i].y-1.5*Win[k+1][i].width/2≤Y≤Point[k+1][i].y+1.5*Win[k+1][i].width/2。
8.根据权利要求1所述的客流量识别统计方法，其特征在于，所述步骤4.5)中目标的关联匹配和数据关联的算法的实现步骤是：
在目标的关联匹配中，若出现第k帧图像中目标i与第k+1帧图像中目标i的预测搜索区域中第j个目标和第m个目标的代价函数值相等，且同时为最小，则此时目标的跟踪匹配会发生冲突，则采用以下改进算法，完成目标的正确跟踪匹配；
计算第k帧图像中目标i和第k+1帧图像中目标j和m的代价函数，若代价函数值相等且为最小，则将上述3个目标的灰度特征值分别记为Gray[k][i]、Gray[k+1][j]、Gray[k+1][m]；
分别求取第k帧图像中目标i和第k+1帧图像中目标j、m的平均灰度变化大小，计算公式为：
Value1＝sqrt((Gray[k][i]-Gray[k+1][j])*(Gray[k][i]-Gray[k+1][j]))；
Value2＝sqrt((Gray[k][i]-Gray[k+1][m])*(Gray[k][i]-Gray[k+1][m]))；
若Value1<Value2，则第k+1帧图像中的目标j为第k帧图像中目标i的后续，用第k+1帧图像中的目标j的特征值代替第k帧图像中目标i的特征值，更新目标链，反之，则第k+1帧图像中的目标m为第k帧图像中目标i的后续；
与第k帧图像中的目标i没有匹配成功的与第k帧图像中的其他目标匹配，或者保留等待下一帧中找到匹配目标。
CN201510063946.7A 2015-02-06 2015-02-06 一种基于图像信息的客流量识别统计方法 Active CN104637058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510063946.7A CN104637058B (zh) 2015-02-06 2015-02-06 一种基于图像信息的客流量识别统计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510063946.7A CN104637058B (zh) 2015-02-06 2015-02-06 一种基于图像信息的客流量识别统计方法

Publications (2)

Publication Number Publication Date
CN104637058A CN104637058A (zh) 2015-05-20
CN104637058B true CN104637058B (zh) 2017-11-17

Family

ID=53215764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510063946.7A Active CN104637058B (zh) 2015-02-06 2015-02-06 一种基于图像信息的客流量识别统计方法

Country Status (1)

Country Link
CN (1) CN104637058B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355682B (zh) * 2015-07-08 2018-09-07 北京文安智能技术股份有限公司 一种视频分析方法、装置及***
CN106408080B (zh) * 2015-07-31 2019-01-01 富士通株式会社 运动物体的计数装置及方法
CN105957108A (zh) * 2016-04-28 2016-09-21 成都达元科技有限公司 基于人脸检测及跟踪的客流量统计***
CN106127137A (zh) * 2016-06-21 2016-11-16 长安大学 一种基于3d轨迹分析的目标检测识别算法
CN106204633B (zh) * 2016-06-22 2020-02-07 广州市保伦电子有限公司 一种基于计算机视觉的学生跟踪方法和装置
CN106127812B (zh) * 2016-06-28 2018-10-12 中山大学 一种基于视频监控的客运站非出入口区域的客流统计方法
CN106127292B (zh) * 2016-06-29 2019-05-07 上海小蚁科技有限公司 流量计数方法和设备
CN106778675B (zh) * 2016-12-31 2019-11-08 歌尔科技有限公司 一种视频图像中目标对象的识别方法和装置
CN107909081B (zh) * 2017-10-27 2022-04-08 东南大学 一种深度学习中图像数据集的快速获取和快速标定方法
CN109204106B (zh) * 2018-08-27 2020-08-07 浙江大丰实业股份有限公司 舞台设备移动***
CN109272535B (zh) * 2018-09-07 2022-06-21 广东珺桦能源科技有限公司 一种基于图像识别的配电房安全区预警方法
CN110334569B (zh) * 2019-03-30 2022-09-16 深圳市晓舟科技有限公司 客流量进出识别方法、装置、设备及存储介质
CN110838134B (zh) * 2019-10-10 2020-09-29 北京海益同展信息科技有限公司 目标对象的统计方法、装置、计算机设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103986910A (zh) * 2014-05-20 2014-08-13 中国科学院自动化研究所 一种基于智能分析摄像机的客流统计方法和***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8335348B2 (en) * 2009-12-14 2012-12-18 Indian Institute Of Technology Bombay Visual object tracking with scale and orientation adaptation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103986910A (zh) * 2014-05-20 2014-08-13 中国科学院自动化研究所 一种基于智能分析摄像机的客流统计方法和***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Application of Kalman Filter to Rebuild Targets Movement from Radar Images of Marine Traffic in Tokyo Bay;NGUYEN Minh Duc等;《Proceedings of Asia Navigation Conference 2008》;20081101;第288-296页 *
一种基于动态图像的多目标识别计数方法;付晓薇;《中国优秀博硕士学位论文全文数据库 (硕士) 信息科技辑》;20040315(第01期);第17-48页 *
铁路客运枢纽客流图像识别***设计与开发;左美琳;《中国优秀硕士学位论文全文数据库 信息科技辑》;20101115(第11期);第35-52页 *

Also Published As

Publication number Publication date
CN104637058A (zh) 2015-05-20

Similar Documents

Publication Publication Date Title
CN104637058B (zh) 一种基于图像信息的客流量识别统计方法
CN113034548B (zh) 一种适用于嵌入式终端的多目标跟踪方法及其***
CN102542289B (zh) 一种基于多高斯计数模型的人流量统计方法
CN105373135B (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及***
CN201255897Y (zh) 一种公交车人流量监测装置
CN113947731B (zh) 一种基于接触网安全巡检的异物识别方法及***
CN108549864A (zh) 面向车载热成像行人检测的感兴趣区域过滤方法和装置
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及***
CN108447091A (zh) 目标定位方法、装置、电子设备及存储介质
CN101847265A (zh) 一种在公交客流统计***中使用的运动目标提取及多目标分割方法
Pan et al. Traffic surveillance system for vehicle flow detection
CN109145708A (zh) 一种基于rgb和d信息融合的人流量统计方法
CN107978110A (zh) 基于图像匹配的电子围栏智能在位识别***及识别方法
CN107845264A (zh) 一种基于视频监控的交通量采集***及方法
CN106570490B (zh) 一种基于快速聚类的行人实时跟踪方法
CN101094413A (zh) 用于视频监控的实时运动检测方法
CN106203237A (zh) 集装箱拖车编号的识别方法和装置
CN107452015A (zh) 一种具有重检测机制的目标跟踪***
CN103593679A (zh) 一种基于在线机器学习的视觉人手跟踪方法
CN110633671A (zh) 基于深度图像的公交车客流实时统计方法
CN103413149B (zh) 复杂背景中实现静态目标检测和识别的方法
CN110728252A (zh) 一种应用于区域人员运动轨迹监控的人脸检测方法
Cheng et al. Image segmentation technology and its application in digital image processing
CN107808524A (zh) 一种基于无人机的道路交叉口车辆检测方法
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190513

Address after: 430000 8 East and West Lake District, Wuhan, Hubei

Patentee after: Hubei Liangpin Puzi Logistics Co., Ltd.

Address before: 430081 Peace Avenue 947 Qingshan District, Wuhan City, Hubei Province

Patentee before: Wuhan University of Science and Technology

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 430000 8 East and West Lake District, Wuhan, Hubei

Patentee after: Hubei liangpinpu Supply Chain Technology Co., Ltd

Address before: 430000 8 East and West Lake District, Wuhan, Hubei

Patentee before: Hubei Liangpin Puzi Logistics Co.,Ltd.