CN108446611A - 一种车门状态关联的双目图像公交客流计算方法 - Google Patents

一种车门状态关联的双目图像公交客流计算方法 Download PDF

Info

Publication number
CN108446611A
CN108446611A CN201810183178.2A CN201810183178A CN108446611A CN 108446611 A CN108446611 A CN 108446611A CN 201810183178 A CN201810183178 A CN 201810183178A CN 108446611 A CN108446611 A CN 108446611A
Authority
CN
China
Prior art keywords
region
people
parallax
image
passenger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810183178.2A
Other languages
English (en)
Inventor
张少锋
刘传华
秦勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tumin Intelligent Video Ltd By Share Ltd
Original Assignee
Shenzhen Tumin Intelligent Video Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tumin Intelligent Video Ltd By Share Ltd filed Critical Shenzhen Tumin Intelligent Video Ltd By Share Ltd
Priority to CN201810183178.2A priority Critical patent/CN108446611A/zh
Publication of CN108446611A publication Critical patent/CN108446611A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于图像处理技术领域，特别涉及一种车门状态关联的双目图像公交客流计算方法，通过采用车门联动进行开、关门背景下的双背景消除、车门开关状态联动运动轨迹追踪方法的基础上，对双目摄像机采集得到的双目图像进行深度估计，为双目图像中的每个像素确定视差；并根据视差制作的深度图进行判断，将疑似头部进行人头特征匹配以及运动轨迹追踪，对符合条件的人头区域进行上下车计数。本发明在原有的双目图像公交客流计算方法的基础上通过结合车门联动进行开、关门背景下的双背景消除处理技术，减少了公交车门开关带来的客流多计误差；通过采用车门状态关联的运动轨迹追踪方法，减少了在图像识别区域附近来回晃动造成的上/下客流多计误差。

Description

一种车门状态关联的双目图像公交客流计算方法
技术领域
本发明属于图像处理技术领域，特别涉及一种车门状态关联的双目图像公交客流计算方法。
背景技术
公交车是人们出行的重要公共交通工具。通过对其客流量的统计，我们可以了解到每个时间段、每路公交车、每个车站等的人流量，利用这些数据进行智能调度，让公共资源得到更充分的利用，客流统计的精确度直接影响到智能交通***的运作和公交运营效益。通过显示当前乘客人数状态及变化情况，公交站场可以对人数较多的情况采取预防突发事件的措施等等。
现有的客流统计技术主要手段有称重统计、单目图像统计和双目图像统计，其中双目图像技术由于其在单目二维图像的基础上增加了立体高度(距离)信息而最为准确，但双目客流在公交应用中仍存在一些问题，致使其客流统计准确率仍有一些误差。
现有的基于双目图像识别的客流统计技术，其算法在公交应用上时一般存在如下问题：
(1)开门时，背景环境中已存在的较高物体(如车门)，乘客识别时被误识别成人头，容易被误判为和人头移动一样，导致上下客流误计。
(2)车内乘客在识别区域晃动会造成上/下车误判，容易引起误计。
(3)拥挤状况下可能存在某乘客刚上车还没有发生位移时车门就关闭的情况，出现上车漏记。
发明内容
针对以上问题，本发明旨在提供一种环境适应性强，公交车门开关带来的客流计数误差小的车门状态关联的双目图像公交客流计算方法。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种车门状态关联的双目图像公交客流计算方法，包括如下步骤：
S1、获取背景图像，所述背景图像为在车门打开或关闭以及无乘客时采集的图像；
S2、获取双目原始图像，根据背景图像对双目原始图像进行图像预处理得到双目图像；所述图像预处理至少包括通过车门联动进行开、关门背景下的双背景消除；
S3、对预处理后的双目图像进行视差深度估计，得到深度图；
S4、提取深度图中符合人头特征的区域，并将其作为疑似人头区域；
S5、将疑似人头区域进行人头特征匹配和车门状态关联的运动轨迹追踪，将符合条件的疑似人头区域确定为人头区域，并对人头区域对应的乘客进行上下车计数。
进一步的，步骤2中所述“通过车门联动进行开、关门背景下的双背景消除”具体包括：先判断车门开关状态；如果车门状态为开门，则调用开门状态下的背景图像深度图进行背景消除；如果车门状态为关门，则调用关门下的背景图像深度图进行背景消除。
更进一步的，所述步骤S5中“将疑似人头区域进行人头特征匹配和车门状态关联的运动轨迹追踪，将符合条件的疑似人头区域确定为人头区域”具体包括如下步骤：
S51、选取当前帧的某个疑似人头区域，结合前一帧进行分析，判断前一帧中是否存在同一匹配的疑似人头区域，如果存在，则进入步骤S53，如果不存在，则进入步骤S52；
S52、将疑似人头区域确定为新增人头区域，并记录该新增人头区域对应乘客的乘客信息；
S53、将疑似人头区域确定为人头区域，并将前一帧人头区域所记录的乘客信息赋予当前帧人头区域对应的乘客；
S54、计算步骤S53中所述乘客前一帧与当前帧的位移，并判断是否符合上车或下车条件，如果符合则进入步骤S55，如果不符合则进入步骤S56；
S55、记录并更新乘客上车或下车信息；
S56、继续分析当前帧其它疑似人头区域。
作为一种改进，所述步骤S54中上车条件具体如下：乘客上车行为发起在车外；在开门状态下第一次出现的乘客可以判定为上车；进一步的，乘客需要满足从车外到车内的位移条件，并越过预设的判定线；最终，该乘客需要至少存在N帧，少于N帧的判定为噪声。
作为一种改进，所述步骤S54中下车条件具体如下：乘客下车行为是发起在车内；并且下车行为发生在车门打开的状态下，车门关闭时不进行下车判定；进一步的，乘客需要满足从车内到车外的位移条件并彻底消失；最终，该乘客需要至少存在N帧，少于N帧的判定为噪声。
作为进一步的改进，在上车的判定过程中采用关门延时计数法，所述关门延时计数法具体为在判断车门状态为关门后，在预设时间内继续对乘客进行运动轨迹追踪，超过预设时间后停止；在预设时间内若符合条件后判定为上车并进行计数；其中所述车门状态通过与门磁开关进行关联获取。
具体的，所述深度估计步骤包括：采用基于图割的全局匹配算法和亮度边缘分割方法，对双目图像中的每个像素确定视差，并根据视差得到深度图，具体包括如下步骤：
S31、采用基于图割的视差估计算法将视差深度估计转换为最小全局匹配误差的求解；
S32、为每个像素设置一个最小视差值作为初值；
S33、循环遍历所有的视差值，每次循环进行一次图割，将所有像素分为两部分，一部分维持原视差不变，一部分赋予新的视差；
S34、对每个像素进行计算，如果原视差下的匹配误差小于赋予新视差后的匹配误差，则将该像素的视差更新为新视差，反之则维持原视差不变；
S35、提取图像边缘，依据边缘图像对平滑函数进行修正，之后根据图割结果再次更新像素视差，降低平滑误差；
S36、重复步骤S32—S35，直到所有视差值都遍历完毕；得到最优视差向量，为每个像素分配合适的视差。
进一步的，所述步骤S4中“提取深度图中符合人头特征的区域”具体包括如下步骤：
S41、第一次遍历深度图，判断是否存在视差高于预设阈值的区域，若存在则进入步骤S44，若不存在则进入步骤S42；
S42、第二次遍历深度图，判断是否存在视差明显高于周围像素的区域，若存在则进入步骤S44，若不存在则进入步骤S43；
S43、利用灰度图优化方法确定人头区域的形状，将亮度存在明显突变的区域舍弃；
S44、判断步骤S41和步骤S42中所述区域是否符合人头特征，若如何则进入步骤S47，若不符合则进入步骤S45；
S45、将步骤S43剩下的区域和步骤S44中标记的的怀疑区域进行重新确认，判断是否存在亮度变化均匀的黑色区域，如果存在则进入步骤S46，如果不存在进入步骤S48；
S46、判断步骤S45中所述区域是否符合人头特征，如果存在则进入步骤S47，如果不存在，则进入步骤S48；
S47、将步骤S44和步骤S46中所述区域定为疑似人头区域，并记录相关信息；
S48、将步骤S45和步骤S46中所述区域确定为非目标区域。
再者，计算疑似人头区域大小和形状，并与现实人头特征进行匹配，将面积过大、过小或形状非类圆形的不相符区域进行舍弃。
具体的，所述图像预处理步骤还包括对双目原始图像进行双目校正、下采样、无效区域裁剪和降低对比度处理中的一种或几种
本发明一种车门状态关联的双目图像公交客流计算方法，通过对双目摄像机采集得到的双目图像进行深度估计，采用基于图割的全局匹配算法和亮度边缘分割技术，为双目图像中的每个像素确定视差；并根据视差制作的深度图进行判断，首先将局部视差较大的区域和大于某一绝对阈值的区域作为疑似头部区域，然后将疑似头部进行人头特征匹配以及运动轨迹追踪，对符合条件的人头区域进行上下车计数。
本发明在原有的双目图像公交客流计算方法的基础上通过结合车门联动进行开、关门背景下的双背景消除处理技术，减少了公交车门开关带来的客流多计误差；通过采用车门状态关联的运动轨迹追踪方法，减少了在图像识别区域附近来回晃动造成的上/下客流多计误差。
本发明方法环境适应性明显增强，减少了公交车门开关带来的客流计数误差；并且对较矮乘客和拥挤人群状况提高识别的准确率；同时还保证了公交移动客流的识别准确性，大大的提高客流统计的准确率，具有较高的实用价值，适合广泛推广。
附图说明
图1为一种车门状态关联的双目图像公交客流计算方法整体流程示意图；
图2为一种车门状态关联的双目图像公交客流计算方法步骤S3的流程示意图；
图3为一种车门状态关联的双目图像公交客流计算方法步骤S4的流程示意图；
图4为一种车门状态关联的双目图像公交客流计算方法步骤S5的流程示意图。
具体实施方式
以下结合图1至图4具体说明本发明提供的一种车门状态关联的双目图像公交客流计算方法和装置。
如图1所示，本发明提供一种车门状态关联的双目图像公交客流计算方法，包括如下步骤：
S1、获取背景图像，所述背景图像为在车门打开或关闭以及无乘客时采集的图像；其中还包括对背景图像进行深度估计得到各点视差，记录下背景环境中已存在的较高物体(如车门)，避免环境物体在乘客识别时被误识别成人头。
S2、获取双目原始图像，所述双目原始图像为双目摄像机拍摄的没有经过处理的图像；根据背景图像对双目原始图像进行图像预处理得到双目图像；所述图像预处理步骤包括对双目原始图像进行双背景消除、双目校正、下采样、无效区域裁剪和降低对比度处理中的一种或几种。
其中，所述双背景消除是指通过车门联动进行开、关门背景下的双背景消除。
具体包括：分别采集车门打开和关闭、且无乘客经过的情况下的背景视差图像，并保存；判断车门开关状态；如果车门状态为开门，则调用开门状态下的背景图像深度图进行背景消除；如果车门状态为关门，则调用关门下的背景图像深度图进行背景消除，从而得到更准确的视差图。
S3、对预处理后的双目图像进行视差深度估计，得到深度图；具体的，通过采用基于图割的全局匹配算法和亮度边缘分割方法，对双目图像中的每个像素确定视差，并根据视差得到深度图。
如图2所示，所述步骤S3具体包括：
S31、采用基于图割的视差估计算法将视差深度估计转换为最小全局匹配误差的求解；
具体推算过程如下，利用基于图割的视差估计算法将视差估计问题转换为某匹配准则与约束条件下求解最小全局匹配误差的问题：
Dopt＝argmin{Ed+λEs}
D为由当前视图中所有像素的视差组成的向量,Dopt表示最优视差向量。Ed表示所有像素匹配误差的总和：
Mi(di)为第i个像素在视差为di时的匹配误差，通常表示为：
Mi(di)＝|IL(x,y)-IR(x-di,y)|
其中，IL(x,y)和IR(x-di,y)表示左视图和右视图中相应像素点的亮度值。罚函数Es代表平滑误差，
|di-dj|为相邻两像素之间视差的差异,λ为该罚函数的系数。
S32、为每个像素设置一个最小视差值作为初值；
S33、循环遍历所有的视差值，每次循环进行一次图割，将所有像素分为两部分，一部分维持原视差不变，一部分赋予新的视差；像素是否被赋予新的视差取决于像素匹配误差Ed和平滑误差Es的计算结果。
S34、对每个像素进行计算，如果原视差下的匹配误差小于赋予新视差后的匹配误差，则将该像素的视差更新为新视差，反之则维持原视差不变。
S35、提取图像边缘，依据边缘图像对平滑函数进行修正，之后根据图割结果再次更新像素视差，降低平滑误差；
S36、重复步骤S32—S35，直到所有视差值都遍历完毕；得到最优视差向量，为每个像素分配合适的视差。
S4、提取深度图中符合人头特征的区域，并将其作为疑似人头区域；
如图3所示，所述步骤S4具体包括如下步骤：
S41、第一次遍历深度图，判断是否存在视差高于预设阈值的区域，若存在则进入步骤S44，若不存在则进入步骤S42；即首先把高度明显较高乘客筛选出来，即将视差大于某阈值的区域选出来作为疑似人头区域；
S42、第二次遍历深度图，判断是否存在视差明显高于周围像素的区域，若存在则进入步骤S44，若不存在则进入步骤S43；由于单一阈值难以准确筛选出各种身高的乘客，对某些身高较矮的乘客，可能在图中显示的视差较小，但该乘客的头部仍然应该在局部区域属于较高的物体(高于地面以及该乘客自己的肩部)，所以将局部视差较大的区域也筛选出来作为疑似的人头区域。
S43、利用灰度图优化方法确定人头区域的形状，将亮度存在明显突变的区域舍弃；
S44、判断步骤S41和步骤S42中所述区域是否符合人头特征，若如何则进入步骤S47，若不符合则进入步骤S45；
S45、将步骤S43剩下的区域和步骤S44中标记的的怀疑区域进行重新确认，判断是否存在亮度变化均匀的黑色区域，如果存在则进入步骤S46，如果不存在进入步骤S48；
S46、判断步骤S45中所述区域是否符合人头特征，如果存在则进入步骤S47，如果不存在，则进入步骤S48；
S47、将步骤S44和步骤S46中所述区域定为疑似人头区域，并记录相关信息；
S48、将步骤S45和步骤S46中所述区域确定为非目标区域。
进一步，计算疑似人头区域大小和形状，并与现实人头特征进行匹配，将面积过大、过小或形状非类圆形的不相符区域进行舍弃。由于某些区域面积过大可能是由于多个人头挤在一起未能良好区分而导致的，所以对因为面积过大而被排除掉的区域，需要再进行一轮筛选，如果该区域的亮度值中存在符合人头特征的黑色圆形区域，也将该区域重新确认为人头区域。
S5、将疑似人头区域进行人头特征匹配和车门状态关联的运动轨迹追踪，将符合条件的疑似人头区域确定为人头区域，并对人头区域对应的乘客进行上下车计数。
如图4所示，具体包括如下步骤：
S51、选取当前帧的某个疑似人头区域，结合前一帧进行分析，判断前一帧中是否存在同一匹配的疑似人头区域，如果存在，则进入步骤S53，如果不存在，则进入步骤S52；之所以对当前帧的每个人头，从前一帧中找到与之匹配的头部区域，由于两帧之间时间间隔非常短，因此找寻匹配人头时以距离最近作为主要判定标准，另外以形状、面积、平均亮度作为辅助标准；
S52、将疑似人头区域确定为新增人头区域，并记录该新增人头区域对应乘客的乘客信息；对新增人头区域，记录其第一次出现时的位置信息。对出现在车外的乘客，只进行上车判定，对出现在车内的乘客，只进行下车判定；
S53、将疑似人头区域确定为人头区域，并将前一帧人头区域所记录的乘客信息赋予当前帧人头区域对应的乘客；
S54、计算步骤S53中所述乘客前一帧与当前帧的位移，并判断是否符合上车或下车条件，如果符合则进入步骤S55，如果不符合则进入步骤S56；对匹配到的之前存在过的头，记录其运行轨迹，当其越过上/下车判定线时进行上/下车判定；
整个上/下车的判定过程，需要算法与门磁开关紧密配合，结合乘客识别结果和车门开关情况共同判定。另外，为了避免对上/下车行为的误判，只有当乘客的运动同时符合下列多个条件时才能正式判定为上/下车。
由于本发明方法与门磁开关紧密配合，即开门开始识别计数，关门结束识别计数，但为了避免拥挤状况下可能存在某乘客刚上车还没有发生位移时车门就关闭的情况；因此本发明在上车的判定过程中采用关门延时计数法，所述关门延时计数法具体为在判断车门状态为关门后，在预设时间内继续对乘客进行运动轨迹追踪，超过预设时间后停止；在预设时间内若符合条件后判定为上车并进行计数；其中所述车门状态通过与门磁开关进行关联获取。
其中，所述步骤S54中上车条件具体如下：乘客上车行为一定是发起在车外；并且只有在开门状态下第一次出现的乘客可以判定为上车；进一步的，乘客需要满足从车外到车内的位移条件，并越过预设的判定线；最终，该乘客需要至少存在N帧，少于N帧的判定为噪声。
其中，所述步骤S54中下车条件具体如下：乘客下车行为是发起在车内；并且下车行为发生在车门打开的状态下，车门关闭时不进行下车判定；进一步的，乘客需要满足从车内到车外的位移条件并彻底消失；最终，该乘客需要至少存在N帧，少于N帧的判定为噪声。
S55、记录并更新乘客上车或下车信息；
S56、继续分析当前帧其它疑似人头区域。
本发明经上车实际测试结果表明，本发明对乘客上下车行为的总体识别准确率能稳定在90％以上。当客流稀疏、乘客有秩序上下车时，识别率在95％以上；当高峰时段、乘客拥挤时，识别率仍能够保持在85％以上。乘客光头、戴帽子或扎鞭子等情况对识别结果没有影响。
本发明在现有技术的基础上主要采用车门联动进行开、关门背景下的双背景消除、车门开关状态联动运动轨迹追踪和关门延时计数等方法。其中，
1)结合车门联动进行开、关门背景下的双背景消除处理技术，即分别采集车门打开和关闭、且无乘客经过的情况下的背景视差图像，并保存。开门后，开始获取双目图像视差图后根据车门的开关状态进行不同背景消除，从而得到更准确的视差图；该方法减少了公交车门开关带来的客流多计误差。
2)采用车门状态关联的运动轨迹追踪方法，在轨迹跟踪和乘客识别计数过程中需要结合车门的开关状态区分真正的上下车乘客；该方法减少了在图像识别区域附近来回晃动造成的上/下客流多计误差。
3)通过采用关门后延时计数处理技术，即关门后，延时一段时间的乘客轨迹跟踪，再结束乘客上下车统计；修正了刚上车还没有发生位移时车门就关闭的情况，减少了拥挤状况下的上车客流统计漏计误差。
本发明一种车门状态关联的双目图像公交客流计算方法，通过采用车门联动进行开、关门背景下的双背景消除、车门开关状态联动运动轨迹追踪方法的基础上，对双目摄像机采集得到的双目图像进行深度估计，为双目图像中的每个像素确定视差；并根据视差制作的深度图进行判断，首先将局部视差较大的区域和大于某一绝对阈值的区域作为疑似头部区域，然后将疑似头部进行人头特征匹配以及运动轨迹追踪，对符合条件的人头区域进行上下车计数。
本发明在原有的双目图像公交客流计算方法的基础上通过结合车门联动进行开、关门背景下的双背景消除处理技术，减少了公交车门开关带来的客流多计误差；通过采用车门状态关联的运动轨迹追踪方法，减少了在图像识别区域附近来回晃动造成的上/下客流多计误差。
本发明方法环境适应性明显增强，减少了公交车门开关带来的客流计数误差；并且对较矮乘客和拥挤人群状况提高识别的准确率；同时还保证了公交移动客流的识别准确性，大大的提高客流统计的准确率，具有较高的实用价值，适合广泛推广。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种车门状态关联的双目图像公交客流计算方法，其特征在于，包括如下步骤：
S1、获取背景图像，所述背景图像为在车门打开或关闭以及无乘客时采集的图像；
S2、获取双目原始图像，根据背景图像对双目原始图像进行图像预处理得到双目图像；所述图像预处理至少包括通过车门联动进行开、关门背景下的双背景消除；
S3、对预处理后的双目图像进行视差深度估计，得到深度图；
S4、提取深度图中符合人头特征的区域，并将其作为疑似人头区域；
S5、将疑似人头区域进行人头特征匹配和车门状态关联的运动轨迹追踪，将符合条件的疑似人头区域确定为人头区域，并对人头区域对应的乘客进行上下车计数。
2.如权利要求1所述的车门状态关联的双目图像公交客流计算方法，其特征在于，步骤2中所述“通过车门联动进行开、关门背景下的双背景消除”具体包括：判断车门开关状态；如果车门状态为开门，则调用开门状态下的背景图像深度图进行背景消除；如果车门状态为关门，则调用关门下的背景图像深度图进行背景消除。
3.如权利要求1所述的车门状态关联的双目图像公交客流计算方法，其特征在于，所述步骤S5中“将疑似人头区域进行人头特征匹配和车门状态关联的运动轨迹追踪，将符合条件的疑似人头区域确定为人头区域”具体包括如下步骤：
S51、选取当前帧的某个疑似人头区域，结合前一帧进行分析，判断前一帧中是否存在同一匹配的疑似人头区域，如果存在，则进入步骤S53，如果不存在，则进入步骤S52；
S52、将疑似人头区域确定为新增人头区域，并记录该新增人头区域对应乘客的乘客信息；
S53、将疑似人头区域确定为人头区域，并将前一帧人头区域所记录的乘客信息赋予当前帧人头区域对应的乘客；
S54、计算步骤S53中所述乘客前一帧与当前帧的位移，并判断是否符合上车或下车条件，如果符合则进入步骤S55，如果不符合则进入步骤S56；
S55、记录并更新乘客上车或下车信息；
S56、继续分析当前帧其它疑似人头区域。
4.如权利要求3所述的车门状态关联的双目图像公交客流计算方法，其特征在于，所述步骤S54中上车条件具体如下：乘客上车行为发起在车外，并且在开门状态下第一次出现的乘客可以判定为上车；进一步的，乘客需要满足从车外到车内的位移条件，并越过预设的判定线；最终，该乘客需要至少存在N帧，少于N帧的判定为噪声。
5.如权利要求3所述的车门状态关联的双目图像公交客流计算方法，其特征在于，所述步骤S54中下车条件具体如下：乘客下车行为是发起在车内；并且下车行为发生在车门打开的状态下，车门关闭时不进行下车判定；进一步的，乘客需要满足从车内到车外的位移条件并彻底消失；最终，该乘客需要至少存在N帧，少于N帧的判定为噪声。
6.如权利要求4所述的车门状态关联的双目图像公交客流计算方法，其特征在于，在上车的判定过程中采用关门延时计数法，所述关门延时计数法具体为在判断车门状态为关门后，在预设时间内继续对乘客进行运动轨迹追踪，超过预设时间后停止；在预设时间内若符合条件则判定为上车并进行计数；其中所述车门状态通过与门磁开关进行关联获取。
7.如权利要求1所述的车门状态关联的双目图像公交客流计算方法，其特征在于，所述深度估计步骤包括：采用基于图割的全局匹配算法和亮度边缘分割方法，对双目图像中的每个像素确定视差，并根据视差得到深度图，具体包括如下步骤：
S31、采用基于图割的视差估计算法将视差深度估计转换为最小全局匹配误差的求解；
S32、为每个像素设置一个最小视差值作为初值；
S33、循环遍历所有的视差值，每次循环进行一次图割，将所有像素分为两部分，一部分维持原视差不变，一部分赋予新的视差；
S34、对每个像素进行计算，如果原视差下的匹配误差小于赋予新视差后的匹配误差，则将该像素的视差更新为新视差，反之则维持原视差不变；
S35、提取图像边缘，依据边缘图像对平滑函数进行修正，之后根据图割结果再次更新像素视差，降低平滑误差；
S36、重复步骤S32—S35，直到所有视差值都遍历完毕；得到最优视差向量，为每个像素分配合适的视差。
8.如权利要求1所述的车门状态关联的双目图像公交客流计算方法，其特征在于，所述步骤S4中“提取深度图中符合人头特征的区域”具体包括如下步骤：
S41、第一次遍历深度图，判断是否存在视差高于预设阈值的区域，若存在则进入步骤S44，若不存在则进入步骤S42；
S42、第二次遍历深度图，判断是否存在视差明显高于周围像素的区域，若存在则进入步骤S44，若不存在则进入步骤S43；
S43、利用灰度图优化方法确定人头区域的形状，将亮度存在明显突变的区域舍弃；
S44、判断步骤S41和步骤S42中所述区域是否符合人头特征，若如何则进入步骤S47，若不符合则进入步骤S45；
S45、将步骤S43剩下的区域和步骤S44中标记的的怀疑区域进行重新确认，判断是否存在亮度变化均匀的黑色区域，如果存在则进入步骤S46，如果不存在进入步骤S48；
S46、判断步骤S45中所述区域是否符合人头特征，如果存在则进入步骤S47，如果不存在，则进入步骤S48；
S47、将步骤S44和步骤S46中所述区域定为疑似人头区域，并记录相关信息；
S48、将步骤S45和步骤S46中所述区域确定为非目标区域。
9.如权利要求8所述的车门状态关联的双目图像公交客流计算方法，其特征在于，计算疑似人头区域大小和形状，并与现实人头特征进行匹配，将面积过大、过小或形状非类圆形的不相符区域进行舍弃。
10.如权利要求1所述的车门状态关联的双目图像公交客流计算方法，其特征在于，所述图像预处理步骤还包括对双目原始图像进行双目校正、下采样、无效区域裁剪和降低对比度处理中的一种或几种。
CN201810183178.2A 2018-03-06 2018-03-06 一种车门状态关联的双目图像公交客流计算方法 Withdrawn CN108446611A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810183178.2A CN108446611A (zh) 2018-03-06 2018-03-06 一种车门状态关联的双目图像公交客流计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810183178.2A CN108446611A (zh) 2018-03-06 2018-03-06 一种车门状态关联的双目图像公交客流计算方法

Publications (1)

Publication Number Publication Date
CN108446611A true CN108446611A (zh) 2018-08-24

Family

ID=63193716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810183178.2A Withdrawn CN108446611A (zh) 2018-03-06 2018-03-06 一种车门状态关联的双目图像公交客流计算方法

Country Status (1)

Country Link
CN (1) CN108446611A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389543A (zh) * 2018-09-11 2019-02-26 深圳大学 公交运营数据统计方法、***、计算设备及存储介质
CN110555419A (zh) * 2019-09-09 2019-12-10 江苏慧眼数据科技股份有限公司 基于双目立体视觉的客流计数方法
CN112614155A (zh) * 2020-12-16 2021-04-06 深圳市图敏智能视频股份有限公司 一种客流的跟踪方法
CN112991399A (zh) * 2021-03-23 2021-06-18 上海工程技术大学 一种基于rfs的公交车人数检测***
CN113052058A (zh) * 2021-03-19 2021-06-29 深圳市点创科技有限公司 一种车载客流统计方法、装置及存储介质
CN114332184A (zh) * 2021-11-30 2022-04-12 南京行者易智能交通科技有限公司 一种基于单目深度估计的乘客统计识别的方法及装置
WO2022127181A1 (zh) * 2020-12-14 2022-06-23 深圳云天励飞技术股份有限公司 客流的监测方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877058A (zh) * 2010-02-10 2010-11-03 杭州海康威视软件有限公司 人流量统计的方法及***
CN104268506A (zh) * 2014-09-15 2015-01-07 郑州天迈科技股份有限公司 基于深度图像的客流计数检测方法
CN105205900A (zh) * 2015-10-23 2015-12-30 华录智达科技有限公司 基于视频识别的动态自适应公交客流统计装置
CN105844229A (zh) * 2016-03-18 2016-08-10 深圳大学 一种乘客拥挤度的计算方法及其***
US20170068863A1 (en) * 2015-09-04 2017-03-09 Qualcomm Incorporated Occupancy detection using computer vision

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877058A (zh) * 2010-02-10 2010-11-03 杭州海康威视软件有限公司 人流量统计的方法及***
CN104268506A (zh) * 2014-09-15 2015-01-07 郑州天迈科技股份有限公司 基于深度图像的客流计数检测方法
US20170068863A1 (en) * 2015-09-04 2017-03-09 Qualcomm Incorporated Occupancy detection using computer vision
CN105205900A (zh) * 2015-10-23 2015-12-30 华录智达科技有限公司 基于视频识别的动态自适应公交客流统计装置
CN105844229A (zh) * 2016-03-18 2016-08-10 深圳大学 一种乘客拥挤度的计算方法及其***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHAO-HO (THOU-HO) CHEN等: "People Counting System for Getting In/Out of a Bus Based on Video Processing", 《EIGHTH INTERNATIONAL CONFERENCE ON INTELLIGENT SYSTEMS DESIGN AND APPLICATIONS》 *
郭志鑫: "智能公交***中客流统计和公交专用道识别算法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389543A (zh) * 2018-09-11 2019-02-26 深圳大学 公交运营数据统计方法、***、计算设备及存储介质
CN110555419A (zh) * 2019-09-09 2019-12-10 江苏慧眼数据科技股份有限公司 基于双目立体视觉的客流计数方法
CN110555419B (zh) * 2019-09-09 2023-05-26 江苏慧眼数据科技股份有限公司 基于双目立体视觉的客流计数方法
WO2022127181A1 (zh) * 2020-12-14 2022-06-23 深圳云天励飞技术股份有限公司 客流的监测方法、装置、电子设备及存储介质
CN112614155A (zh) * 2020-12-16 2021-04-06 深圳市图敏智能视频股份有限公司 一种客流的跟踪方法
CN112614155B (zh) * 2020-12-16 2022-07-26 深圳市图敏智能视频股份有限公司 一种客流的跟踪方法
CN113052058A (zh) * 2021-03-19 2021-06-29 深圳市点创科技有限公司 一种车载客流统计方法、装置及存储介质
CN113052058B (zh) * 2021-03-19 2022-04-19 深圳市点创科技有限公司 一种车载客流统计方法、装置及存储介质
CN112991399A (zh) * 2021-03-23 2021-06-18 上海工程技术大学 一种基于rfs的公交车人数检测***
CN114332184A (zh) * 2021-11-30 2022-04-12 南京行者易智能交通科技有限公司 一种基于单目深度估计的乘客统计识别的方法及装置
CN114332184B (zh) * 2021-11-30 2023-05-02 南京行者易智能交通科技有限公司 一种基于单目深度估计的乘客统计识别的方法及装置

Similar Documents

Publication Publication Date Title
CN108446611A (zh) 一种车门状态关联的双目图像公交客流计算方法
JP6549797B2 (ja) 通行人の頭部識別方法及びシステム
CN109829403B (zh) 一种基于深度学习的车辆防碰撞预警方法及***
CN110517288B (zh) 基于全景多路4k视频图像的实时目标检测跟踪方法
CN113011367B (zh) 一种基于目标轨迹的异常行为分析方法
CN105139425B (zh) 一种人数统计方法及装置
CN101877058B (zh) 人流量统计的方法及***
CN106600625A (zh) 检测小型生物的图像处理方法及装置
CN102542289B (zh) 一种基于多高斯计数模型的人流量统计方法
CN108596129A (zh) 一种基于智能视频分析技术的车辆越线检测方法
CN102289948B (zh) 高速公路场景下一种多特征融合的多车辆视频跟踪方法
CN101847265A (zh) 一种在公交客流统计***中使用的运动目标提取及多目标分割方法
CN106652465A (zh) 一种道路异常驾驶行为的识别方法及***
CN110322438A (zh) 结核分枝杆菌自动检测模型的训练方法及自动检测***
CN102521565A (zh) 低分辨率视频的服装识别方法及***
CN102496058B (zh) 客流密度检测方法
CN107491720A (zh) 一种基于改进型卷积神经网络的车型识别方法
CN105488456A (zh) 基于自适应阈值调整拒识子空间学习的人脸检测方法
CN110619300A (zh) 一种多人脸同时识别的纠正方法
CN108898042B (zh) 一种应用于atm机舱内用户异常行为的检测方法
CN108460790A (zh) 一种基于一致性预测器模型的视觉跟踪方法
CN107230219A (zh) 一种单目机器人上的目标人发现与跟随方法
CN106845325A (zh) 一种信息检测方法及装置
CN103400120A (zh) 基于视频分析的银行自助服务区域推入行为检测方法
CN109063630B (zh) 一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180824