CN112700473B - 一种基于图像识别进行车厢拥挤度判断*** - Google Patents

一种基于图像识别进行车厢拥挤度判断*** Download PDF

Info

Publication number
CN112700473B
CN112700473B CN202011632965.4A CN202011632965A CN112700473B CN 112700473 B CN112700473 B CN 112700473B CN 202011632965 A CN202011632965 A CN 202011632965A CN 112700473 B CN112700473 B CN 112700473B
Authority
CN
China
Prior art keywords
tracking
target
congestion degree
data
carriage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011632965.4A
Other languages
English (en)
Other versions
CN112700473A (zh
Inventor
张世强
赵岩
唐兆华
刘华
李�雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hualu Zhida Technology Co Ltd
Original Assignee
Hualu Zhida Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hualu Zhida Technology Co Ltd filed Critical Hualu Zhida Technology Co Ltd
Priority to CN202011632965.4A priority Critical patent/CN112700473B/zh
Publication of CN112700473A publication Critical patent/CN112700473A/zh
Application granted granted Critical
Publication of CN112700473B publication Critical patent/CN112700473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于图像识别进行车厢拥挤度判断***，包括：客流采集单元，其在采集周期内采集每个停靠站点的客流情况数据；车厢目标图像采集单元，其在采集周期内采集车厢内的视频图像数据；目标跟踪单元，其能标识跟踪目标并获取每一被标识的跟踪目标对应的跟踪图像数据；目标建模单元，其能为每一被标识的跟踪目标创建对应的三维跟踪模型；单个拥挤度判断单元，其能获取每一被标识的跟踪目标在给定跟踪框范围内与其他被标识的跟踪目标的重叠程度数据；车厢拥挤度判断单元，其能获取车厢拥挤度数据并下发至用户端。本发明能够应用于车内实时拥挤度分析、线路实时调度监控、线路历史运行营运特征分析等调度业务场景。

Description

一种基于图像识别进行车厢拥挤度判断***
技术领域
本发明涉及公共交通线路调度技术领域，尤其涉及一种基于图像识别进行车厢拥挤度判断***。
背景技术
公共交通作为市民出行主要的途径，发布公交的拥挤度是改善公交服务质量、提高公交出行吸引力的重要途径。随着公共交通网络化进程不断深入，客可选择的公共交通方式和线路逐渐增多，车内拥挤程度不同所带来的出行舒适性差异将在很大程度上影响乘客对公交线路的选择。
现有传统的识别方法存在如下问题：1、人工调查方式，其存在工作量大，时间久，需要人工配置普查的问题；2、刷卡数据识别方式，数据准确度与乘客乘车习惯密切相关，需要训练，引导乘客乘车习惯，而且需要保证刷卡数据传输实时性；客流设备识别，准确度与实现客流设备技术相关，不仅需要额外增加设备，而且车厢是否拥挤是基于直观的图像识别技术，其准确度与实际的舒适度差异较大。
发明内容
基于此，为解决在时存在的不足，特提出了一种基于图像识别进行车厢拥挤度判断***，该***能够应用于车内实时拥挤度分析、线路实时调度监控、线路历史运行营运特征分析等调度业务场景。
为了是想上述目的，本发明的技术方案是：
一种基于图像识别进行车厢拥挤度判断***，包括：
客流采集单元，该单元用于在采集周期内采集每个停靠站点的客流情况数据；
车厢目标图像采集单元，该单元用于在采集周期内采集车厢内的视频图像数据；
目标跟踪单元，该单元用于标识跟踪目标并获取每一被标识的跟踪目标对应的跟踪图像数据，所述跟踪图像数据自所述视频图像数据中选取；
目标建模单元，该单元用于为每一被标识的跟踪目标创建对应的三维跟踪模型；
单个拥挤度判断单元，该单元用于获取每一被标识的跟踪目标在给定跟踪框范围内与其他被标识的跟踪目标的重叠程度数据；
车厢拥挤度判断单元，该单元用于获取车厢拥挤度数据并通过通信单元下发至用户端。
可选的，在其中一个实施例中，所述客流采集单元包括：
上车客流信息采集端，其配置在前车门附近，其用于采集每个停靠站点的上车乘客的客流情况数据；
下车客流信息采集端，其配置在后车门附近，其用于采集每个停靠站点的下车乘客的客流情况数据；
客流统计模块，该模块用于统计每个停靠站点的上下车客流情况并实时向远程控制上位机反馈。
可选的，在其中一个实施例中，所述车厢目标图像采集单元，该单元包括多个分布在车厢内不同采集位置的图像采集器，所述图像采集器能够采集所在采集位置对应范围的车厢内的视频图像数据。
可选的，在其中一个实施例中，所述目标跟踪单元，该单元包括跟踪目标标识模块、跟踪图像获取模块；
跟踪目标标识模块，该模块用于自所述视频图像数据分类出车厢内的静态目标以及动态目标，以所分类的动态目标作为跟踪目标进行标识，所述跟踪目标的标识过程为通过人脸识别技术对该动态目标进行人像特征提取并该人像特征作为识别编号进行标识；
跟踪图像获取模块，该模块用于自所述视频图像数据中选取跟踪图像数据，所述跟踪图像数据的选取规则为自述视频图像数据中获取被标识的跟踪目标对应的图像数据。
可选的，在其中一个实施例中，所述跟踪目标标识模块中通过人脸识别技术对该动态目标进行人像特征提取过程，对应的人脸识别计算模型为
Figure BDA0002880518130000031
其中，t表示某一帧人脸图像的某个特征点，f表示后一帧人脸图像的特征点， M表示前M个最大的特征值。
可选的，在其中一个实施例中，所述目标建模单元，该单元用于为每一被标识的跟踪目标创建对应的三维跟踪模型，所述三维跟踪模型是指以该跟踪目标的中心点为基准点进行三维空间建模。
可选的，在其中一个实施例中，所述单个拥挤度判断单元，该单元用于获取每一被标识的跟踪目标在给定跟踪框内与其他被标识的跟踪目标的重叠程度数据，所述重叠程度数据是指给定跟踪框内某一跟踪目标对应的空间模型与其他跟踪目标对应的空间模型的空间重叠度；所述空间重叠度的计算公式为
Figure BDA0002880518130000032
E＝(Cx-Bx)×(Cy-By)×(Hx-Hy)
F＝(Cx-Ax)×(Cy-Ay)×(Hx-Hy)+(Dx-Bx)×(Dy-By)×(Hx-Hy) -(Cx-Bx)×(Cy-By)×(Hx-Hy)
其中，x、y分别表示横坐标和纵坐标，A为跟踪目标的跟踪框的第一顶点的坐标，B为其他跟踪目标的跟踪框的第一顶点的坐标，C为跟踪目标的跟踪框的第二顶点的坐标，D为其他跟踪目标的跟踪框的第二顶点的坐标，b为跟踪目标的跟踪框的中心点，bgt为其他跟踪目标的跟踪框的中心点，ρ为b和bgt的欧氏距离，所述第一顶点与第二顶点在跟踪框内呈中心对称布置；
同时若其他跟踪目标数量为多个，则分别计算各自对应的空间重叠度后计算其算数平均值作为跟踪目标的空间重叠度I。
可选的，在其中一个实施例中，所述车厢拥挤度判断单元，该单元用于获取车厢拥挤度数据并下发至用户端；所述车厢拥挤度数据通过第一计算模型对车厢内各单个拥挤度进行统计计算获取整体的拥挤度计算值，所述拥挤度计算过程为：首先，选择出对应的空间重叠度I超过给定阈值IH的跟踪目标组成第一样本集合；其次基于下述公式获取整体的拥挤度计算值，对应的公式为：
Figure BDA0002880518130000041
其中，i表示第一样本集合中某一跟踪目标，N表示第一样本集合内的样本个数，Ii表示第i个跟踪目标的空间重叠度I占全部跟踪目标的空间重叠度I 总和的比重。
可选的，在其中一个实施例中，所述车厢拥挤度判断单元，该单元用于获取车厢拥挤度数据并下发至用户端；所述车厢拥挤度数据通过第二计算模型获取车厢内整体的拥挤度计算值，所述拥挤度计算公式为：
Figure BDA0002880518130000042
A(n)表示跟踪图像数据第n帧的拥挤程度，P(n)表示第n帧的平均置信度，r(n)表示跟踪图像数据中检测到的跟踪目标数量，m表示车厢的最大人数限制。
可选的，在其中一个实施例中，所述***还包括报警单元，同时当单个拥挤度超过阈值或者保持一定时间确定该跟踪目标需要进行视频录像存储以及报警预警。
此外，为解决传统技术在面对时存在的不足，还提出了一种计算机可读存储介质，包括计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行所述的方法。
实施本发明实施例，将具有如下有益效果：
采用了上述技术之后，本发明能够对车厢客流量进行有效监控并对用户进行出行提醒，间接最大程度上促使车厢客流量均匀化，提高公交车空间利用率，进而提升乘客的出行满意度与对公交服务水平的评价。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为一个实施例中实施本发明所述***对应的结构示意图；
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明。可以理解，本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一元件称为第二元件，且类似地，可将第二元件为第一元件。第一元件和第二元件两者都是元件，但其不是同一元件。
由于出行舒适性在公交乘客出行选择行为中不能被忽略不计，考虑到这一可能存在的影响，为了有效查看各车次各站点的拥挤度，在本实施例中，在影响因素中加入了车内拥挤程度指标，以此来衡量车内舒适性对乘客出行选择行为的影响，以更直观全面展示公交在站点间拥挤度、运行变化趋势、各车次拥挤度以及便于市民做出出行等待决策等，特提出了一种基于图像识别进行车厢拥挤度判断***，如图1所示，其包括：
客流采集单元，该单元用于在采集周期内采集每个停靠站点的客流情况数据；
车厢目标图像采集单元，该单元用于在采集周期内采集车厢内的视频图像数据；
目标跟踪单元，该单元用于标识跟踪目标并获取每一被标识的跟踪目标对应的跟踪图像数据，所述跟踪图像数据自所述视频图像数据中选取；
目标建模单元，该单元用于为每一被标识的跟踪目标创建对应的三维跟踪模型；
单个拥挤度判断单元，该单元用于获取每一被标识的跟踪目标在给定跟踪框范围内与其他被标识的跟踪目标的重叠程度数据；
车厢拥挤度判断单元，该单元用于获取车厢拥挤度数据并通过通信单元下发至用户端(乘客与公交上位机侧)。
基于上述方案可知，本案适用于公交线路全日运行数据查询与分析，其通过对车内图像数据进行特征提取分析、跟踪识别建模以及分析计算等处理方法，能够快速分析当前拥挤度，具有高经济性，高可靠性和高效性，客观对车厢客流量进行有效监控并获取拥挤度分析数据，其结果更接近真实情况，使得市民可提前知道公交车内拥挤度识别是否等待或换乘，提高市民出行质量；从而诱导候车乘客选择乘坐较为空闲的车辆，提高公交车空间利用率，提升乘客的出行满意度与对公交服务水平的评价结果。
在一些具体的实施例中，所述客流采集单元包括：上车客流信息采集端，其配置在前车门附近，其用于采集每个停靠站点的上车乘客的客流情况数据；下车客流信息采集端，其配置在后车门附近，其用于采集每个停靠站点的下车乘客的客流情况数据；客流统计模块，该模块用于统计每个停靠站点的上下车客流情况并实时向远程控制上位机反馈。其中，客流情况数据的采集可通过红外传感器反馈的信息进行检测统计或者基于图像识别技术进行检测统计，具体如下表所示的上车乘客的客流情况数据，
线路 站点 车上人数
1 1 0
1 2 8
1 3 11
1 4 11
1 5 31
1 6 41
1 7 45
1 8 60
1 9 62
1 10 62
1 11 80
1 12 83
1 13 79
1 14 77
1 15 77
1 16 70
在一些具体的实施例中，所述车厢目标图像采集单元，该单元包括多个分布在车厢内不同采集位置的图像采集器，所述图像采集器能够采集所在采集位置对应范围的车厢内的视频图像数据，所述图像采集器采用高清摄像头。
在一些具体的实施例中，目标跟踪单元中的跟踪目标标识模块用于自所述视频图像数据分类出车厢内的静态目标以及动态目标，以所分类的动态目标作为跟踪目标进行标识，所述跟踪目标的标识过程为通过人脸识别技术对该动态目标进行人像特征提取并该人像特征作为识别编号进行标识；优选的，所述静态目标以及动态目标分类原理为由于视频图像数据中的跟踪目标处于相对运动过程，即目标的影像在不同图像帧中的位置不同；通过对时间上连续的两帧或三帧图像进行差分运算，不同帧对应的像素点差异区分静态目标以及动态目标，从而实现目标的检测功能。同时，车厢内座位上的乘客可以作为静态目标进行分类识别；
目标跟踪单元中的跟踪图像获取模块用于自所述视频图像数据中选取跟踪图像数据，所述跟踪图像数据的选取规则为自述视频图像数据中获取被标识的跟踪目标对应的图像数据即以具有动态目标的视频图像数据作为被标识的跟踪目标对应的图像数据。
在一些具体的实施例中，所述跟踪目标标识模块中通过人脸识别技术对该动态目标进行人像特征提取过程，其可以采现有的图像识别技术完成也可以采用下述技术方案实现，具体的，基于所述人脸识别技术，进行用户图像采集并获取该图像的全局图像特征以及多个局部特征点和进行相似度比对，
对应的相似度计算模型为
Figure BDA0002880518130000081
其中，t表示某一帧人脸图像的某个特征点，f表示后一帧人脸图像的特征点，M表示前M个最大的特征值通常为128或者256。如给定一个相似度阈值比如0.98，超过该相似度阈值则确定为同一人。
在一些具体的实施例中，所述目标建模单元，该单元用于为每一被标识的跟踪目标创建对应的三维跟踪模型，所述三维跟踪模型是指以该跟踪目标的中心点为基准点进行三维空间建模，其可以采用现有三维虚拟空间建模技术完成，如所述三维空间建模过程包括获取相机拍摄的三维空间的全景图像(在空间中的两个不同位置分别拍摄)的多个平面切图；通过图像处理方法(对图片进行特征点提取，然后将同一组位置图片进行特征点融合得到该位置的位置特征点，进获取相机位置及跟踪目标位置)根据各所述平面切图，确定跟踪目标与所述相机之间的相对位置关系，包括相对的空间坐标信息(对应的空间坐标轴即为三维柱体的径向距离、方位角、高度构成，设置高度z轴上点即为深度H)以跟踪目标的中心点(如跟踪目标身体的中心(身高的一半)，若人员较多，也可以以头部为中心)为基准点进行构造跟踪目标所占用的虚拟空间(如圆柱体)即三维结构化建模，以确定所述跟踪目标的虚拟的外部轮廓模型；同时需要逐一给定标准的模型边界即各个坐标边界值。
在一些具体的实施例中，所述单个拥挤度判断单元，该单元用于获取每一被标识的跟踪目标在给定跟踪框内与其他被标识的跟踪目标的重叠程度数据，所述重叠程度数据是指给定跟踪框内某一跟踪目标对应的空间模型与其他跟踪目标对应的空间模型的空间重叠度；所述空间重叠度的计算公式为
Figure BDA0002880518130000091
E＝(Cx-Bx)×(Cy-By)×(Hx-Hy)
F＝(Cx-Ax)×(Cy-Ay)×(Hx-Hy)+(Dx-Bx)×(Dy-By)×(Hx-Hy) -(Cx-Bx)×(Cy-By)×(Hx-Hy)
其中，x、y分别表示横坐标和纵坐标，A为跟踪目标的跟踪框的第一顶点的坐标，B为其他跟踪目标的跟踪框的第一顶点的坐标，C为跟踪目标的跟踪框的第二顶点的坐标，D为其他跟踪目标的跟踪框的第二顶点的坐标，b为跟踪目标的跟踪框的中心点，bgt为其他跟踪目标的跟踪框的中心点，ρ为b和bgt的欧氏距离，所述第一顶点与第二顶点在跟踪框内呈中心对称布置；H是跟踪框内跟踪目标与其他跟踪目标的重叠深度；所述跟踪框即各跟踪目标各自对应的三维结构化模型边界。
同时若其他跟踪目标数量为多个，则分别计算各自对应的空间重叠度后计算其算数平均值作为跟踪目标的空间重叠度I。
在一些具体的实施例中，所述***还包括报警单元，同时当单个拥挤度超过报警阈值或者保持一定时间确定该跟踪目标需要进行视频录像存储以及报警预警。设置报警单元的目的是对于可能存在异常跟踪点(如尾随某些乘客可能进行违法行为时)进行筛查以及视频录像存储等。
在一些具体的实施例中，所述车厢拥挤度判断单元，该单元用于获取车厢拥挤度数据并下发至用户端；所述车厢拥挤度数据通过第一计算模型对车厢内各单个拥挤度进行统计计算获取整体的拥挤度计算值，所述拥挤度计算过程为：首先，选择出对应的空间重叠度I超过给定阈值IH的跟踪目标组成第一样本集合；其次基于下述公式获取整体的拥挤度计算值，对应的公式为：
Figure BDA0002880518130000092
其中，i表示第一样本集合中某一跟踪目标，N表示第一样本集合内的样本个数，Ii表示第i个跟踪目标的空间重叠度I占全部跟踪目标的空间重叠度I 总和的比重。
在一些具体的实施例中，所述车厢拥挤度判断单元，该单元用于获取车厢拥挤度数据并下发至用户端；所述车厢拥挤度数据通过第二计算模型获取车厢内整体的拥挤度计算值，所述拥挤度计算公式为：
Figure BDA0002880518130000101
A(n)表示跟踪图像数据第n帧的拥挤程度，P(n)表示第n帧的平均置信度，r(n)表示跟踪图像数据中检测到的跟踪目标数量，m表示车厢的最大人数限制。
在一些具体的实施例中，所述***还包括乘客咨询显示单元，该单元用于实时向乘客展示其所查询的站点或者路线的拥挤度程度统计数据并显示当前站的拥挤度程度，提高市民出行体验度。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种基于图像识别进行车厢拥挤度判断***，其特征在于，包括：
客流采集单元，该单元用于在采集周期内采集每个停靠站点的客流情况数据；
车厢目标图像采集单元，该单元用于在采集周期内采集车厢内的视频图像数据；
目标跟踪单元，该单元用于标识跟踪目标并获取每一被标识的跟踪目标对应的跟踪图像数据，所述跟踪图像数据自所述视频图像数据中选取；
目标建模单元，该单元用于为每一被标识的跟踪目标创建对应的三维跟踪模型；
单个拥挤度判断单元，该单元用于获取每一被标识的跟踪目标在给定跟踪框范围内与其他被标识的跟踪目标的重叠程度数据；
车厢拥挤度判断单元，该单元用于获取车厢拥挤度数据并通过通信单元下发至用户端；
所述目标跟踪单元，该单元包括跟踪目标标识模块、跟踪图像获取模块；
跟踪目标标识模块，该模块用于自所述视频图像数据分类出车厢内的静态目标以及动态目标，以所分类的动态目标作为跟踪目标进行标识，所述跟踪目标的标识过程为通过人脸识别技术对该动态目标进行人像特征提取并该人像特征作为识别编号进行标识；
跟踪图像获取模块，该模块用于自所述视频图像数据中选取跟踪图像数据，所述跟踪图像数据的选取规则为自述视频图像数据中获取被标识的跟踪目标对应的图像数据；
所述跟踪目标标识模块中通过人脸识别技术对该动态目标进行人像特征提取过程，对应的计算模型为
Figure FDA0003281621360000021
其中，t表示人脸图像的某一参考特征，f表示人脸图像实际提取的特征，M表示前M个最大的特征值；
所述目标建模单元，该单元用于为每一被标识的跟踪目标创建对应的三维跟踪模型，所述三维跟踪模型是指以该跟踪目标的中心点为基准点进行三维空间建模；
所述单个拥挤度判断单元，该单元用于获取每一被标识的跟踪目标在给定跟踪框内与其他被标识的跟踪目标的重叠程度数据，所述重叠程度数据是指给定跟踪框内某一跟踪目标对应的空间模型与其他跟踪目标对应的空间模型的空间重叠度；所述空间重叠度的计算公式为
Figure FDA0003281621360000022
E＝(Cx-Bx)×(Cy-By)×(Hx-Hy)
F＝(Cx-Ax)×(Cy-Ay)×(Hx-Hy)+(Dx-Bx)×(Dy-By)×(Hx-Hy)-(Cx-Bx)×(Cy-By)×(Hx-Hy)
其中，x、y分别表示横坐标和纵坐标，A为跟踪目标的跟踪框的第一顶点的坐标，B为其他跟踪目标的跟踪框的第一顶点的坐标，C为跟踪目标的跟踪框的第二顶点的坐标，D为其他跟踪目标的跟踪框的第二顶点的坐标，b为跟踪目标的跟踪框的中心点，bgt为其他跟踪目标的跟踪框的中心点，ρ为b和bgt的欧氏距离，所述第一顶点与第二顶点在跟踪框内呈中心对称布置；
同时若其他跟踪目标数量为多个，则分别计算各自对应的空间重叠度后计算其算数平均值作为跟踪目标的空间重叠度I；
所述车厢拥挤度判断单元，该单元用于获取车厢拥挤度数据并下发至用户端；所述车厢拥挤度数据通过第一计算模型对车厢内各单个拥挤度进行统计计算获取整体的拥挤度计算值，所述拥挤度计算过程为：首先，选择出对应的空间重叠度I超过给定阈值IH的跟踪目标组成第一样本集合；其次基于下述公式获取整体的拥挤度计算值，对应的公式为：
Figure FDA0003281621360000031
其中，i表示第一样本集合中某一跟踪目标，N表示第一样本集合内的样本个数，Ii表示第i个跟踪目标的空间重叠度I占全部跟踪目标的空间重叠度I总和的比重。
2.根据权利要求1所述的***，其特征在于，所述客流采集单元包括：
上车客流信息采集端，其配置在前车门附近，其用于采集每个停靠站点的上车乘客的客流情况数据；
下车客流信息采集端，其配置在后车门附近，其用于采集每个停靠站点的下车乘客的客流情况数据；
客流统计模块，该模块用于统计每个停靠站点的上下车客流情况并实时向远程控制上位机反馈。
3.根据权利要求1所述的***，其特征在于，所述车厢目标图像采集单元，该单元包括多个分布在车厢内不同采集位置的图像采集器，所述图像采集器能够采集所在采集位置对应范围的车厢内的视频图像数据。
4.根据权利要求1所述的***，其特征在于，所述车厢拥挤度判断单元，该单元用于获取车厢拥挤度数据并下发至用户端；所述车厢拥挤度数据通过第二计算模型获取车厢内整体的拥挤度计算值，所述拥挤度计算公式为：
Figure FDA0003281621360000032
A(n)表示跟踪图像数据第n帧的拥挤程度，P(n)表示第n帧的平均置信度，r(n)表示跟踪图像数据中检测到的跟踪目标数量，m表示车厢的最大人数限制。
5.根据权利要求1所述的***，其特征在于，所述***还包括报警单元，同时当单个拥挤度超过阈值或者保持一定时间确定该跟踪目标需要进行视频录像存储以及报警预警。
CN202011632965.4A 2020-12-31 2020-12-31 一种基于图像识别进行车厢拥挤度判断*** Active CN112700473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011632965.4A CN112700473B (zh) 2020-12-31 2020-12-31 一种基于图像识别进行车厢拥挤度判断***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011632965.4A CN112700473B (zh) 2020-12-31 2020-12-31 一种基于图像识别进行车厢拥挤度判断***

Publications (2)

Publication Number Publication Date
CN112700473A CN112700473A (zh) 2021-04-23
CN112700473B true CN112700473B (zh) 2021-12-10

Family

ID=75513610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011632965.4A Active CN112700473B (zh) 2020-12-31 2020-12-31 一种基于图像识别进行车厢拥挤度判断***

Country Status (1)

Country Link
CN (1) CN112700473B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538956B (zh) * 2021-06-22 2022-10-21 华录智达科技股份有限公司 一种公交智能电子站牌信息显示控制***
CN114299746B (zh) * 2021-12-30 2023-04-14 武汉长飞智慧网络技术有限公司 基于图像识别的公交车辆调度方法、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013100008A (ja) * 2011-11-08 2013-05-23 Nippon Signal Co Ltd:The 車両ドア開閉の検知装置および検知方法
CN105844229A (zh) * 2016-03-18 2016-08-10 深圳大学 一种乘客拥挤度的计算方法及其***
CN109359536A (zh) * 2018-09-14 2019-02-19 华南理工大学 基于机器视觉的乘客行为监控方法
CN110688884A (zh) * 2019-02-28 2020-01-14 成都通甲优博科技有限责任公司 客流统计方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376331A (zh) * 2014-11-19 2015-02-25 天津工业大学 基于lc特征和统计特征的车辆拥挤度检测方法
CN108268849A (zh) * 2018-01-23 2018-07-10 杭州律橙电子科技有限公司 基于ai技术的公交车载视觉智能感知***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013100008A (ja) * 2011-11-08 2013-05-23 Nippon Signal Co Ltd:The 車両ドア開閉の検知装置および検知方法
CN105844229A (zh) * 2016-03-18 2016-08-10 深圳大学 一种乘客拥挤度的计算方法及其***
CN109359536A (zh) * 2018-09-14 2019-02-19 华南理工大学 基于机器视觉的乘客行为监控方法
CN110688884A (zh) * 2019-02-28 2020-01-14 成都通甲优博科技有限责任公司 客流统计方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Passenger flow counting in buses based on deep learning using surveillance video;Ya-Wen Hsu et al.;《Optik》;20191104;1-13 *
公交车乘客拥挤程度自动检测技术研究;黄颖;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》;20180315;C034-980 *

Also Published As

Publication number Publication date
CN112700473A (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
CN108216252B (zh) 一种地铁司机车载驾驶行为分析方法、车载终端及***
CN110176139B (zh) 一种基于dbscan+的道路拥堵识别可视化方法
JP6570731B2 (ja) 乗客の混雑度の算出方法及びそのシステム
CN109034036B (zh) 一种视频分析方法、教学质量评估方法及***、计算机可读存储介质
CN106541968B (zh) 基于视觉分析的地铁车厢实时提示***的识别方法
CN109285376A (zh) 一种基于深度学习的公交车客流统计分析***
CN109935080B (zh) 一种交通线路上的车流量实时计算的监测***及方法
CN112700473B (zh) 一种基于图像识别进行车厢拥挤度判断***
US20100177963A1 (en) Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus
CN104504377B (zh) 一种公交车乘客拥挤程度识别***及方法
Nakashima et al. Passenger counter based on random forest regressor using drive recorder and sensors in buses
CN109145708A (zh) 一种基于rgb和d信息融合的人流量统计方法
CN112287827A (zh) 基于智慧灯杆的复杂环境行人口罩佩戴检测方法及***
CN111898491B (zh) 一种车辆逆向行驶的识别方法、装置及电子设备
CN111460938A (zh) 一种车辆行驶行为实时监测方法及装置
CN103985182A (zh) 一种公交客流自动计数方法及自动计数***
CN108804987B (zh) 门开闭状态检测方法和装置、以及人流检测***
CN102254428A (zh) 一种基于视频处理的交通拥塞检测方法
CN110717408B (zh) 一种基于tof相机的人流计数方法
CN110490103B (zh) 轨道交通客流密度检测方法及装置
CN112132071A (zh) 识别交通拥堵的处理方法、装置、设备及存储介质
CN113034378B (zh) 一种区分电动汽车与燃油汽车的方法
CN109858456A (zh) 一种铁路车辆状态故障分析***
CN111950499A (zh) 一种检测车载人员统计信息的方法
CN111339927B (zh) 一种电力营业厅人员工作状态智能识别***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 14 / F, Hualu building, 717 Huangpu Road, Dalian hi tech Industrial Park, Liaoning 116000

Applicant after: Hualu Zhida Technology Co.,Ltd.

Address before: No. 717, Huangpu Road, high tech park, Dalian, Liaoning 116000

Applicant before: HUALU ZHIDA TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 14 / F, Hualu building, 717 Huangpu Road, Dalian hi tech Industrial Park, Liaoning 116000

Patentee after: Hualu Zhida Technology Co.,Ltd.

Address before: 14 / F, Hualu building, 717 Huangpu Road, Dalian hi tech Industrial Park, Liaoning 116000

Patentee before: Hualu Zhida Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder