CN111582171A - 一种行人闯红灯监测方法、装置、***及可读存储介质 - Google Patents
一种行人闯红灯监测方法、装置、***及可读存储介质 Download PDFInfo
- Publication number
- CN111582171A CN111582171A CN202010382657.4A CN202010382657A CN111582171A CN 111582171 A CN111582171 A CN 111582171A CN 202010382657 A CN202010382657 A CN 202010382657A CN 111582171 A CN111582171 A CN 111582171A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- detected
- image
- human body
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012544 monitoring process Methods 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 claims description 100
- 241000283070 Equus zebra Species 0.000 claims description 35
- 210000000746 body region Anatomy 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 24
- 238000012806 monitoring device Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 230000001502 supplementing effect Effects 0.000 claims description 7
- 230000009469 supplementation Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000032683 aging Effects 0.000 abstract 1
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种行人闯红灯监测方法、装置、***及计算机可读存储介质，方法包括：根据人体待检测区域框和人脸待检测区域框从行人场景图像中获取人体待检测区域图像和人脸待检测区域图像；确定人体目标、人脸目标在行人场景图像中的位置；根据属于同一行人的人体目标和人脸目标获取行人的运行轨迹；根据运行轨迹、信号灯状态判断行人是否闯红灯。本申请公开的上述技术方案，由于人体待检测区域框位于行人场景图像上部分区域，人脸待检测区域框位于上述图像下部分区域，相当于远处关注人体、近处关注人脸，因此，可以通过获取并结合多帧行人场景图像中的人体目标和人脸目标来得到行人完整的运行轨迹，从而提高行人闯红灯判定的准确性和时效性。
Description
技术领域
本申请涉及智能交通技术领域，更具体地说，涉及一种行人闯红灯监测方法、装置、***及计算机可读存储介质。
背景技术
行人闯红灯监测作为智能交通实现中的一个组成部分受到越来越多的关注，通过对行人闯红灯进行监测可以对闯红灯行人起到发现、提醒等作用。其中，在行人闯红灯监测时，为了保证大部分斑马线区域进入监测画面，因此，则不可能将远处的画面拉的太近。
目前，存在通过人脸目标监测来进行行人闯红灯监测，具体地，深度智能相机(具有深度学习能力的智能相机)在前端进行图像拍摄，并对拍摄的整个图像进行处理，以获取人脸目标，并根据图像实现人脸目标的检测和跟踪，且根据信号灯信息来判断行人是否构成闯红灯行为。但是，由于行人刚进入画面或刚踏入最远处斑马线时距离深度智能相机很远，行人人脸比较小，且中间拍摄时会因行人数量、走路状态(重叠、交叉等)等影响而出现抓拍不稳定的情况，因此，则会导致跟踪中断，没法形成完整的证据链，从而会降低行人闯红灯行为判定的准确性。另外，由于其是对整个图像进行处理和检测，因此，则会降低行人闯红灯判定的时效性。
综上所述，如何提高行人闯红灯判定的准确性和时效性，是目前本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本申请的目的是提供一种行人闯红灯监测方法、装置、***及计算机可读存储介质，用于提高行人闯红灯判定的准确性和时效性。
为了实现上述目的，本申请提供如下技术方案：
一种行人闯红灯监测方法，包括：
获取斑马线上的行人场景图像，并根据预设的人体待检测区域框和人脸待检测区域框从所述行人场景图像中获取人体待检测区域图像和人脸待检测区域图像；其中，所述人体待检测区域框位于所述行人场景图像的上部分区域，所述人脸待检测区域框位于所述行人场景图像的下部分区域，且所述人体待检测区域框和所述人脸待检测区域框存在重叠区域；
确定所述人体待检测区域图像中的人体目标在所述行人场景图像中的位置，并确定所述人脸待检测区域图像中的人脸目标在所述行人场景图像中的位置；
确定属于同一行人的人体目标和人脸目标，并根据属于同一行人的所述人体目标和所述人脸目标获取所述行人的坐标位置，且根据所述行人在多帧所述行人场景图像中的坐标位置获取所述行人的运行轨迹；
根据所述运行轨迹、信号灯状态判断所述行人是否闯红灯。
优选的，确定所述人体待检测区域图像中的人体目标在所述行人场景图像中的位置，并确定所述人脸待检测区域图像中的人脸目标在所述行人场景图像中的位置，包括：
将所述人体待检测区域图像输入到预先训练得到的人体检测模型中，以得到人体目标及其在所述人体待检测区域图像中的位置，并将所述人脸待检测区域图像输入到预先训练得到的人脸检测模型中，以得到人脸目标及其在所述人脸待检测区域图像中的位置；
将所述人体目标及其在所述人体待检测区域图像中的位置转换到所述行人场景图像中，以确定所述人体目标在所述行人场景图像中的位置，并将所述人脸目标及其在所述人脸待检测区域中的位置转换到所述行人场景图像中，以确定所述人脸目标在所述行人场景图像中的位置。
优选的，在将所述人体待检测区域图像输入到预先训练得到的人体检测模型中之前，还包括：
根据所述人体检测模型对输入图像宽高比例的要求对所述人体待检测区域图像进行补边，以使得补边后的所述人体待检测区域图像的宽高比例满足所述人体检测模型对输入图像宽高比例的要求且不会使得所述人体待检测区域图像中的内容发生扭曲变形；
在将所述人脸待检测区域图像输入到预先训练得到的人脸检测模型中之前，还包括：
根据所述人脸检测模型对输入图像宽高比例的要求对所述人脸待检测区域图像进行补边，以使得补边后的所述人脸待检测区域图像的宽高比例满足所述人脸检测模型对输入图像宽高比例的要求且不会使得所述人脸待检测区域图像中的内容发生扭曲变形。
优选的，所述人体待检测区域框和所述人脸待检测区域框的设置过程为：
预先根据智能相机的拍摄参数确定人脸待检测区域框上边界线、人体待检测区域框下边界线；其中，所述智能相机用于获取斑马线上的行人场景图像，所述拍摄参数包括所述智能相机所能检测到的人脸尺寸的下限值，所述人体待检测区域框下边界线位于所述人脸待检测区域框上边界线的下方且与所述人脸待检测区域框上边界线相距预设距离；
根据所述人脸待检测区域框上边界线、所述智能相机采集的图像的下边界线及预先划设的斑马线边界线确定所述人脸待检测区域框；
根据所述人体待检测区域框下边界线、所述智能相机采集的图像的上边界线及所述斑马线边界线确定所述人体待检测区域框。
优选的，在确定所述行人闯红灯时，还包括：
将所述行人的人脸目标发送至后端服务器，由所述后端服务器对所述人脸目标进行显示，并根据所述人脸目标识别所述行人的身份信息且进行保存。
优选的，还包括：
预先接收相机Web端或相机配置终端发送的在所述行人图像上设置的多条拌线；其中，所述多条拌线在所述行人场景图像中由远及近依次设置；
相应地，根据所述运行轨迹、信号灯状态判断所述行人是否闯红灯，包括：
根据所述运行轨迹与所述多条拌线相交时的信号灯状态判断所述行人是否闯红灯。
优选的，还包括：
若根据所述行人场景图像确定行人在所述信号灯状态为红灯状态时跨越第一条拌线，则向所述后端服务器发送可能有行人闯红灯的信号，以使所述后端服务器发出预警，若所述行人在所述信号灯状态为红灯状态时连续跨越所设置的所有所述拌线，则向所述后端服务器发送有行人闯红灯的信号，并执行所述将所述行人的人脸目标发送至后端服务器的步骤。
一种行人闯红灯监测装置，包括：
获取模块，用于获取斑马线上的行人场景图像，并根据预设的人体待检测区域框和人脸待检测区域框从所述行人场景图像中获取人体待检测区域图像和人脸待检测区域图像；其中，所述人体待检测区域框位于所述行人场景图像的上部分区域，所述人脸待检测区域框位于所述行人场景图像的下部分区域，且所述人体待检测区域框和所述人脸待检测区域框存在重叠区域；
第一确定模块，用于确定所述人体待检测区域图像中的人体目标在所述行人场景图像中的位置，并确定所述人脸待检测区域图像中的人脸目标在所述行人场景图像中的位置；
第二确定模块，用于确定属于同一行人的人体目标和人脸目标，并根据属于同一行人的所述人体目标和所述人脸目标获取所述行人的坐标位置，并根据所述行人在多帧所述行人场景图像中的坐标位置获取所述行人的运行轨迹；
判断模块，用于根据所述运行轨迹、信号灯状态判断所述行人是否闯红灯。
一种行人闯红灯监测***，包括智能相机、与所述智能相机相连的后端服务器，其中：
所述智能相机，用于获取斑马线上的行人场景图像，并根据预设的人体待检测区域框和人脸待检测区域框从所述行人场景图像中获取人体待检测区域图像和人脸待检测区域图像；其中，所述人体待检测区域框位于所述行人场景图像的上部分区域，所述人脸待检测区域框位于所述行人场景图像的下部分区域，且所述人体待检测区域框和所述人脸待检测区域框存在重叠区域；确定所述人体待检测区域图像中的人体目标在所述行人场景图像中的位置，并确定所述人脸待检测区域图像中的人脸目标在所述行人场景图像中的位置；确定属于同一行人的人体目标和人脸目标，并根据属于同一行人的所述人体目标和所述人脸目标获取所述行人的坐标位置，且根据所述行人在多帧所述行人场景图像中的坐标位置获取所述行人的运行轨迹；根据所述运行轨迹、信号灯状态判断所述行人是否闯红灯；
所述后端服务器，用于检测信号灯状态，并将所述信号灯状态发送给所述智能相机。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的行人闯红灯监测方法的步骤。
本申请提供的一种行人闯红灯监测方法、装置、***及计算机可读存储介质，其中，该方法包括：获取斑马线上的行人场景图像，并根据预设的人体待检测区域框和人脸待检测区域框从行人场景图像中获取人体待检测区域图像和人脸待检测区域图像；其中，人体待检测区域框位于行人场景图像的上部分区域，人脸待检测区域框位于行人场景图像的下部分区域，且人体待检测区域框和人脸待检测区域框存在重叠区域；确定人体待检测区域图像中的人体目标在行人场景图像中的位置，并确定人脸待检测区域图像中的人脸目标在行人场景图像中的位置；确定属于同一行人的人体目标和人脸目标，并根据属于同一行人的人体目标和人脸目标获取行人的坐标位置，且根据行人在多帧行人场景图像中的坐标位置获取行人的运行轨迹；根据运行轨迹、信号灯状态判断行人是否闯红灯。
本申请公开的上述技术方案，在行人场景图像的上部分区域设置人体待检测区域框、下部分区域设置人脸待检测区域框，且两个待检测区域框之间存在重叠区域，在根据上述两个待检测区域框从行人场景图像中对应获取人体待检测区域图像和人脸待检测区域图像时，相当于在远处关注人体、在近处关注人脸，后续通过人体待检测区域图像中的人体目标及人脸待检测区域图像中的人脸目标在行人场景图像中的位置来确定属于同一行人的人体目标和人脸目标，并根据所确定出的人体目标和人脸目标获取行人的坐标位置进而获取运行轨迹且根据该运行轨迹并结合信号灯状态判定行人是否闯红灯，相较于目前仅通过人脸目标监测会出现证据链中断的问题，本申请通过获取行人在远处时的人体目标和在近处时的人脸目标，并依据二者信息融合而得到该行人完整的运行轨迹，从而提高行人闯红灯判定的准确性，而且由于本申请是通过设置待检测区域来实现对对应图像的获取和检测，而非对整个行人场景图像进行检测，因此，可以降低目标检测的计算量，从而提高行人闯红灯判定的时效性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种行人闯红灯监测方法的流程图；
图2为本申请实施例提供的人体待检测区域框和人脸待检测区域框的设置流程图；
图3为本申请实施例提供的一种行人闯红灯监测装置的结构示意图；
图4为本申请实施例提供的一种行人闯红灯监测***的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，其示出了本申请实施例提供的一种行人闯红灯监测方法的流程图，本申请实施例提供的一种行人闯红灯监测方法，可以包括：
S11：获取斑马线上的行人场景图像，并根据预设的人体待检测区域框和人脸待检测区域框从行人场景图像中获取人体待检测区域图像和人脸待检测区域图像。
其中，人体待检测区域框位于行人场景图像的上部分区域，人脸待检测区域框位于行人场景图像的下部分区域，且人体待检测区域框和人脸待检测区域框存在重叠区域。
在行人闯红灯监测时，预先在斑马线一侧安装智能相机，并对智能相机的俯仰角、焦距等参数进行调整，以使场景工勘满足行人闯红灯标准工勘。在安装完智能相机之后可以预先根据智能相机的拍摄参数、拍摄的图像设定人体的有效检测区域(即人体待检测区域框)和人脸的有效检测区域(即人脸待检测区域框)，其中，考虑到在智能相机所拍摄的图像中位于远处的行人的人脸比较小，位于近处的行人的人脸比较大，则人体待检测区域框对应智能相机所拍摄的图像的远处画面(即人体待检测区域框位于行人场景图像的上部分区域)，人脸待检测区域框对应智能相机所拍摄的图像的近处画面(即人脸待检测区域框位于行人场景图像的下部分区域)，且人体待检测区域框和人脸待检测区域框之间存在重叠区域。
在行人闯红灯监测时，可以利用智能相机实时采集并获取斑马线上的行人场景图像，当然，也可以通过其他方式获取行人场景图像。在获取行人场景图像之后，可以根据预设的人体待检测区域框和人脸待检测区域框从每个行人场景图像中获取人体待检测区域图像、人脸待检测区域图像。其中，在获取行人场景图像的同时可以实时接收后端服务器发送的信号灯状态，以便于根据行人的运行轨迹及信号灯状态判断行人是否闯红灯。
上述根据预设的人体待检测区域框从行人场景图像中获取人体待检测区域图像、根据预设的人脸待检测区域框从行人场景图像中获取人脸待检测区域图像的方式不仅可以使所需的有效区域均被包含在内，而且可以缩小图像的处理区域，以减少智能相机的计算量，提高***的运行效率，便于提高行人闯红灯判定的时效性。
S12：确定人体待检测区域图像中的人体目标在行人场景图像中的位置，并确定人脸待检测区域图像中的人脸目标在行人场景图像中的位置。
在获取到人体待检测区域图像和人脸待检测区域图像之后，可以确定人体待检测区域图像中的人体目标在行人场景图像的位置，并确定人脸待检测区域图像中的人脸目标在行人场景图像中的位置，以便于根据人体目标在行人场景图像中的位置和人脸目标在行人场景图像中的位置确定是否存在属于同一行人的人体目标和人脸目标。
其中，在执行上述步骤的同时，可以给人体待检测区域图像中所包含的每个人体目标分配人体序号，并可以给人脸待检测区域图像中所包含的每个人脸目标分配人脸序号，以便于通过对应的序号对行人进行确定。
另外，在获取到人体目标和人脸目标之后，这两类目标均是基于MOT(MultipleObject Tracking，多目标跟踪)跟踪框进行跟踪，只是人体目标较人脸目标要大很多，因此，跟踪的部分参数在实际操作中会有所调整。
S13：确定属于同一行人的人体目标和人脸目标，并根据属于同一行人的人体目标和人脸目标获取行人的坐标位置，且根据行人在多帧行人场景图像中的坐标位置获取行人的运行轨迹。
在执行完步骤S12之后，可以依据人体待检测区域图像中的人体目标在行人场景图像中的位置、人脸待检测区域图像中的人脸目标在行人场景图像中的位置确定属于同一行人的人体目标和人脸目标(具体可以通过人脸目标是否处于人体目标的预设区域内来进行确定)之后，则可以根据上述属于同一行人的人体目标及人脸目标获取该行人在行人场景图像中的坐标位置，并可以通过多目标跟踪且根据行人在多帧行人场景图像中的坐标位置获取该行人的运行轨迹，具体可以根据行人的脚在这些行人场景图像中的坐标位置来确定行人的运行轨迹，其中，在对应人脸目标时可以沿人脸目标下移预设长度，以得到行人的脚部，然后，再根据行人的脚部确定行人的运行轨迹。当然，除了通过脚部获取运行轨迹之外，也可以根据行人人体目标某个固定的点在多帧行人场景图像中所构成的连线来获取该行人的运行轨迹。
其中，在确定属于同一行人的人体目标和人脸目标时，若在某帧行人场景图像中确定人体目标和人脸目标属于同一行人之后，为了提高确定的准确性，则可以对上述帧行人场景图像的前后多帧行人场景图像均进行判断，以确定上述人体目标和上述人脸目标是否在多帧行人场景图像中均属于同一行人，若是，则可以确定上述人体目标和上述人脸目标的确属于上述行人，也就是说，若上述人脸目标在多帧行人场景图像中均位于上述人体目标的预设区域内，则可以确定上述人体目标和上述人脸目标属于上述行人。
需要说明的是，无论行人场景图像中有多少行人，均可以通过人体目标和人脸目标在行人场景图像中的位置来判断和确定，并在确定出多个行人之后，均可以按照上述方式而根据各行人对应的人体目标和人脸目标获取各行人对应的行人图像，并根据各行人对应的行人图像获取各自的运行轨迹。
S14：根据运行轨迹、信号灯状态判断行人是否闯红灯。
在获取行人的运行轨迹之后，可以根据运行轨迹及信号灯状态判断行人是否闯红灯，其中，该信号灯状态可以由后端服务器中的信号灯检测器进行实时检测和发送而获取，以便于根据实时接收到的信号灯状态来提高行人闯红灯判定的准确性。
相较于现有技术中仅通过人脸目标检测、跟踪会因远处人脸比较小、中间拍摄会出现抓拍不稳定而导致无法形成完整的证据链的问题，本申请可以通过人体待检测区域图像和人脸待检测区域图像的获取、处理、判定和结合而得到行人完整的运行轨迹，从而便于形成完整的证据链，进而可以提高行人闯红灯判定的准确性。另外，相较于现有技术中对整个图像进行检测，本申请可以通过预先设定人体待检测区域框和人脸待检测区域框而缩小目标检测区域，从而降低目标检测的计算开销，提高检测效率和行人闯红灯判定的时效性。
本申请公开的上述技术方案，在行人场景图像的上部分区域设置人体待检测区域框、下部分区域设置人脸待检测区域框，且两个待检测区域框之间存在重叠区域，在根据上述两个待检测区域框从行人场景图像中对应获取人体待检测区域图像和人脸待检测区域图像时，相当于在远处关注人体、在近处关注人脸，后续通过人体待检测区域图像中的人体目标及人脸待检测区域图像中的人脸目标在行人场景图像中的位置来确定属于同一行人的人体目标和人脸目标，并根据所确定出的人体目标和人脸目标获取行人的坐标位置进而获取运行轨迹且根据该运行轨迹并结合信号灯状态判定行人是否闯红灯，相较于目前仅通过人脸目标监测会出现证据链中断的问题，本申请通过获取行人在远处时的人体目标和在近处时的人脸目标，并依据二者信息融合而得到该行人完整的运行轨迹，从而提高行人闯红灯判定的准确性，而且由于本申请是通过设置待检测区域来实现对对应图像的获取和检测，而非对整个行人场景图像进行检测，因此，可以降低目标检测的计算量，从而提高行人闯红灯判定的时效性。
本申请实施例提供的一种行人闯红灯监测方法，确定人体待检测区域图像中的人体目标在行人场景图像中的位置，并确定人脸待检测区域图像中的人脸目标在行人场景图像中的位置，包括：
将人体待检测区域图像输入到预先训练得到的人体检测模型中，以得到人体目标及其在人体待检测区域图像中的位置，并将人脸待检测区域图像输入到预先训练得到的人脸检测模型中，以得到人脸目标及其在人脸待检测区域图像中的位置；
将人体目标及其在人体待检测区域图像中的位置转换到行人场景图像中，以确定人体目标在行人场景图像中的位置，并将人脸目标及其在人脸待检测区域中的位置转换到行人场景图像中，以确定人脸目标在行人场景图像中的位置。
在得到人体待检测区域图像和人脸待检测区域图像之后，可以将人体待检测区域图像输入到预先训练得到的人体检测模型中，以通过预先训练得到的人体检测模型得到人体待检测区域图像中的人体目标以及人体目标在人体待检测区域图像中的位置(具体可以指人体目标在人体待检测区域图像中的坐标)，并将人脸待检测区域图像输入到预先训练得到的人脸检测模型中，以通过预先训练得到的人脸检测模型得到人脸待检测区域图像中的人脸目标和人脸目标在人脸待检测区域图像中的位置(具体可以指人脸目标在人脸待检测区域图像中的坐标)，然后，将人体目标在人体待检测区域图像中的位置、人脸目标在人脸待检测区域图像中的位置逆向回归到原来的行人场景图像中，以确定人体待检测区域图像中的人体目标在行人场景图像中的位置，并确定人脸待检测区域图像中的人脸目标在行人场景图像中的位置。
具体可以预先基于RFCN(Object Detection via Region-based FullyConvolutionalNetworks，一种用于目标检测的全卷积深度学习网络架构)训练得到人体检测模型和人脸检测模型，之后，可以将人体待检测区域图像输入到预先基于RFCN训练得到的人体检测模型中，并将人脸待检测区域图像输入到预先基于RFCN训练得到的人体检测模型中，以进行人体目标及其坐标和人脸目标及其坐标的确定。
本申请实施例提供的一种行人闯红灯监测方法，在将人体待检测区域图像输入到预先训练得到的人体检测模型中之前，还可以包括：
根据人体检测模型对输入图像宽高比例的要求对人体待检测区域图像进行补边，以使得补边后的人体待检测区域图像的宽高比例满足人体检测模型对输入图像宽高比例的要求且不会使得人体待检测区域图像中的内容发生扭曲变形；
在将人脸待检测区域图像输入到预先训练得到的人脸检测模型中之前，还可以包括：
根据人脸检测模型对输入图像宽高比例的要求对人脸待检测区域图像进行补边，以使得补边后的人脸待检测区域图像的宽高比例满足人脸检测模型对输入图像宽高比例的要求且不会使得人脸待检测区域图像中的内容发生扭曲变形。
考虑到人体检测模型及人脸检测模型均对输入图像的宽高比例有一定的要求，因此，为了避免在利用检测模型对输入的图像进行检测时因输入的图像的宽高比例不符合要求而造成目标发生扭曲变形，则可以在将人体待检测区域图像输入到预先训练得到的人体检测模型中之前根据人体检测模型对输入图像宽高比例的要求而对人体待检测区域图像进行补边，具体地，可以根据人体检测模型对输入图像宽高比例的要求而沿人体待检测区域图像的长度方向和/或宽度方向对其进行补边(具体可以补黑边)，以使得补边后的人体待检测区域图像的宽高比例满足人体检测模型对输入图像宽高比例的要求，与此类似的，可以在将人脸待检测区域图像输入到预先训练得到的人脸检测模型中之前根据人脸检测模型对输入图像宽高比例的要求而对人脸待检测区域图像进行补边，以使得补边后的人脸待检测区域图像的宽高比例满足人脸检测模型对输入图像宽高比例的要求，从而提升目标检测的有效率，并减少因目标扭曲而出现的漏检测问题。
参见图2，其示出了本申请实施例提供的人体待检测区域框和人脸待检测区域框的设置流程图。本申请实施例提供的一种行人闯红灯监测方法，人体待检测区域框和人脸待检测区域框的设置过程可以为：
S21：预先根据智能相机的拍摄参数确定人脸待检测区域框上边界线、人体待检测区域框下边界线；其中，智能相机用于获取斑马线上的行人场景图像，拍摄参数包括智能相机所能检测到的人脸尺寸的下限值，人体待检测区域框下边界线位于人脸待检测区域框上边界线的下方且与人脸待检测区域框上边界线相距预设距离；
S22：根据人脸待检测区域框上边界线、智能相机采集的图像的下边界线及预先划设的斑马线边界线确定人脸待检测区域框；
S23：根据人体待检测区域框下边界线、智能相机采集的图像的上边界线及斑马线边界线确定人体待检测区域框。
具体可以通过如下方式预先设置人体待检测区域框和人脸待检测区域框：
预先根据智能相机的拍摄参数确定人脸待检测区域框上边界线、人体待检测区域框下边界线，其中，智能相机用于实时获取斑马线上的行人场景图像，拍摄参数包括智能相机在当前分辨率下能够稳定检测的人脸尺寸的下限值h(该下限值在不同分辨率下并不相同)，即取成人站在画面中人脸尺寸达到大概h时所在的位置，然后，以人头顶作水平线L1，并以此水平线L1作为人脸待检测区域框上边界线，以人脸下巴作水平线L2(其中，L1和L2之间相距的距离为h)，取人腰部位置(大概从L1往下移5个h的大小，或者根据实际情况而设定其它数量个h的大小)作水平线L3，以此水平线L3作为人体待检测区域框下边界线；
在确定人脸待检测区域框上边界线之后，考虑到近处的人脸比较清楚，因此，则根据人脸待检测区域框上边界线、智能相机采集的图像的下边界线以及客户根据需要预先通过相机Web端或相机配置终端输入的斑马线边界线L4和L5(其中，L4和L5分别位于斑马线的左右两侧)确定人脸待检测区域框，即人脸待检测区域框为由上述边界线所围成的区域框；
考虑到远处的人脸不太清楚，因此，则可以将远处区域设定为人体待检测区域框，具体地，根据确定出的人体待检测区域框下边界线、智能采集预先采集的图像的上边界线以及客户根据需要预先通过相机Web端或相机配置终端输入的斑马线边界线确定人体待检测区域框，即人体待检测区域框为由上述边界线所围成的区域框。
通过上述设置方法不仅可以便于将斑马线上的行人信息包含在内，而且可以将斑马线以外的区域排除在外，以减少计算量，提高处理效率。
本申请实施例提供的一种行人闯红灯监测方法，在确定行人闯红灯时，还可以包括：
将行人的人脸目标发送至后端服务器，由后端服务器对所述人脸目标进行显示，并根据人脸目标识别行人的身份信息且进行保存。
在根据运行轨迹、信号灯状态确定行人闯红灯时，可以获取该行人的人脸目标，在获取该行人的人脸目标时具体可以获取清晰度及质量均比较高的人脸目标，之后，可以将行人的人脸目标发送至后端服务器，由后端服务器对行人的人脸目标进行显示，以便于对该行人起到警示、提醒的作用，同时后端服务器可以将行人的人脸目标与人脸比对库进行比对，以识别获取行人的身份信息，并对行人的身份信息进行保存，同时可以对行人闯红灯时所对应的行人图像进行保存，以便于后续对该行人进行处罚、教育等。
通过上述过程不仅可以确定行人是否闯红灯，而且可以通过闯红灯行人的人脸目标的获取和闯红灯行人身份信息的识别来准确地定位到闯红灯行人。
本申请实施例提供的一种行人闯红灯监测方法，还可以包括：
预先接收相机Web端或相机配置终端发送的在行人场景图像上设置的多条拌线；其中，多条拌线在行人场景图像中由远及近依次设置；
相应地，根据运行轨迹、信号灯状态判断行人是否闯红灯，可以包括：
根据运行轨迹与多条拌线相交时的信号灯状态判断行人是否闯红灯。
在行人闯红灯监测时，客户可以预先根据斑马线的实际情况等而通过相机Web端或相机配置终端设置多条拌线，其中，这多条拌线在行人场景图像中由远及近依次设置且这多条拌线均大致与斑马线平行，相应地，在判断行人是否闯红灯时，可以根据行人的运行轨迹与预先设定的多条拌线相交的情况以及在相交时的信号灯状态来判断行人是否闯红灯，以提高行人闯红灯判定的准确性。例如：可以预先设置三条拌线，若根据行人的运行轨迹确定行人在信号灯状态为红灯状态时跨越三条拌线，则确定行人闯红灯。
对于上述过程，可以在行人到达各拌线时生成与当时信号灯状态及行人对应的标识，如：在红灯状态时生成与行人对应的标识1，在其他信号灯状态时生成行人对应的标识0，后续可以提取与所设置的多条拌线对应的标识，并根据标识判断行人是否闯红灯，从而提高行人闯红灯判断的便利性和准确性。
本申请实施例提供的一种行人闯红灯监测方法，还可以包括：
若根据行人场景图像确定行人在信号灯状态为红灯状态时跨越第一条拌线，则向后端服务器发送可能有行人闯红灯的信号，以使后端服务器发出预警，若行人在信号灯状态为红灯状态时连续跨越所设置的所有拌线，则向后端服务器发送有行人闯红灯的信号，并执行将行人的人脸目标发送至后端服务器的步骤。
在行人闯红灯监测中，若根据行人场景图像确定行人在信号灯状态为红灯状态时跨越第一条拌线，则智能相机可以向后端服务器发送可能有行人闯红灯的信号，此时，后端服务器可以通过音响等预警装置进行预警提示并劝阻闯红灯行人返回到路边，若此行人在信号灯状态为红灯状态时连续跨越所设置的所有拌线，则判定此行人存在闯红灯行为，此时，智能相机可以向后端服务器发送有行人闯红灯的信号，并执行将行人的人脸目标发送至后端服务器的步骤，以由后端服务器对该行人的人脸目标进行显示等处理。
本申请实施例还提供了一种行人闯红灯监测装置，参见图3，其示出了本申请实施例提供的一种行人闯红灯监测装置的结构示意图，可以包括：
获取模块31，用于获取斑马线上的行人场景图像，并根据预设的人体待检测区域框和人脸待检测区域框从行人场景图像中获取人体待检测区域图像和人脸待检测区域图像；
第一确定模块32，用于确定人体待检测区域图像中的人体目标在行人场景图像中的位置，并确定人脸待检测区域图像中的人脸目标在行人场景图像中的位置；
第二确定模块33，用于确定属于同一行人的人体目标和人脸目标，并根据属于同一行人的人体目标和人脸目标获取行人的坐标位置，且根据行人在多帧行人场景图像中的坐标位置获取行人的运行轨迹；
判断模块34，用于根据运行轨迹、信号灯状态判断行人是否闯红灯。
本申请实施例提供的一种行人闯红灯监测装置，第一确定模块32可以包括：
获取单元，用于将人体待检测区域图像输入到预先训练得到的人体检测模型中，以得到人体目标及其在人体待检测区域图像中的位置，并将人脸待检测区域图像输入到预先训练得到的人脸检测模型中，以得到人脸目标及其在人脸待检测区域图像中的位置；
转换单元，用于将人体目标及其在人体待检测区域图像中的位置转换到行人场景图像中，以得到人体目标在行人场景图像中的位置，并将人脸目标及其在人脸待检测区域中的位置转换到行人场景图像中，以得到人脸目标在行人场景图像中的位置。
本申请实施例提供的一种行人闯红灯监测装置，第一确定模块32还可以包括：
第一调整单元，用于在将人体待检测区域图像输入到预先训练得到的人体检测模型中之前，根据人体检测模型对输入图像宽高比例的要求对人体待检测区域图像进行补边，以使得补边后的人体待检测区域图像的宽高比例满足人体检测模型对输入图像宽高比例的要求且不会使得人体待检测区域图像中的内容发生扭曲变形；
第二调整单元，用于在将人脸待检测区域图像输入到预先训练得到的人脸检测模型中之前，根据人脸检测模型对输入图像宽高比例的要求对人脸待检测区域图像进行补边，以使得补边后的人脸待检测区域图像的宽高比例满足人脸检测模型对输入图像宽高比例的要求且不会使得人脸待检测区域图像中的内容发生扭曲变形。
本申请实施例提供的一种行人闯红灯监测装置，包括用于预设人体待检测区域框和人脸待检测区域框的预设模块，预设模块可以包括：
第一确定单元，用于预先根据智能相机的拍摄参数确定人脸待检测区域框上边界线、人体待检测区域框下边界线；其中，智能相机用于获取斑马线上的行人场景图像，拍摄参数包括智能相机所能检测到的人脸尺寸的下限值，人体待检测区域框下边界线位于人脸待检测区域框上边界线的下方且与人脸待检测区域框上边界线相距预设距离；
第二确定单元，用于根据人脸待检测区域框上边界线、智能相机采集的图像的下边界线及预先划设的斑马线边界线确定人脸待检测区域框；
第三确定单元，用于根据人体待检测区域框下边界线、智能相机采集的图像的上边界线及斑马线边界线确定人体待检测区域框。
本申请实施例提供的一种行人闯红灯监测装置，还可以包括：
第一发送模块，用于在确定行人闯红灯时，将行人的人脸目标发送至后端服务器，由后端服务器对人脸目标进行显示，并根据人脸目标识别行人的身份信息且进行保存。
本申请实施例提供的一种行人闯红灯监测装置，还可以包括：
接收模块，用于预先接收相机Web端或相机配置终端发送的在行人图像上设置的多条拌线；其中，多条拌线在行人场景图像中由远及近依次设置；
相应地，判断模块34可以包括：
判断单元，用于根据运行轨迹与多条拌线相交时的信号灯状态判断行人是否闯红灯。
本申请实施例提供的一种行人闯红灯监测装置，还可以包括：
第二发送模块，用于若根据行人场景图像确定行人在信号灯状态为红灯状态时跨越第一条拌线，则向后端服务器发送可能有行人闯红灯的信号，以使后端服务器发出预警，若行人在所述信号灯状态为红灯状态时连续跨越所设置的所有拌线，则向后端服务器发送有行人闯红灯的信号，并执行将行人的人脸目标发送至后端服务器的步骤。
本申请实施例还提供了一种行人闯红灯监测***，参见图4，其示出了本申请实施例提供的一种行人闯红灯监测***的结构示意图，可以包括智能相机41、与智能相机41相连的后端服务器42，其中：
智能相机41，用于获取斑马线上的行人场景图像，并根据预设的人体待检测区域框和人脸待检测区域框从行人场景图像中获取人体待检测区域图像和人脸待检测区域图像；其中，人体待检测区域框位于行人场景图像的上部分区域，人脸待检测区域框位于行人场景图像的下部分区域，且人体待检测区域框和人脸待检测区域框存在重叠区域；确定人体待检测区域图像中的人体目标在行人场景图像中的位置，并确定人脸待检测区域图像中的人脸目标在行人场景图像中的位置；确定属于同一行人的人体目标和人脸目标，并根据属于同一行人的人体目标和人脸目标获取行人的坐标位置，且根据行人在多帧行人场景图像中的坐标位置获取行人的运行轨迹；根据运行轨迹、信号灯状态判断行人是否闯红灯；
后端服务器42，用于检测信号灯状态，并将信号灯状态发送给智能相机。
在本申请实施例所提供的行人闯红灯监测***中，后端服务器42可以包括处理器，与处理器相连的信号灯检测器、预警装置、显示器、存储器、人脸识别装置、人机交互界面，处理器与智能相机相连，其中：
信号灯检测器，用于检测信号灯状态，并当信号灯状态为红灯时向智能相机发送高电平，当信号灯状态为绿灯时向智能相机发送低电平，以帮助智能相机判断行人是否违规；
预警装置，用于在智能相机判断行人在红灯状态跨越第一条拌线时，进行预警和提醒；其中，预警模块具体可以为音响等；
显示器，用于在智能相机判断出行人闯红灯时对闯红灯行人的人脸目标进行显示，当然，也可以对闯红灯行人闯红灯时的证据链图像(即行人闯红灯时所对应的行人图像)、身份信息进行显示，用于警示违规行人及其他行人；
存储器，用于对闯红灯行人的证据链图像、闯红灯行人的人脸目标、身份信息进行存储和归档，以便于相关部门进行查阅和取用；
人脸识别装置，用于将闯红灯行人的人脸目标与人口比对库进行比对，以获取该行人的身份信息，并获取该行人历次闯红灯的记录等；
人机交互界面，用于供客户随时更改部分参数。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下步骤：
获取斑马线上的行人场景图像，并根据预设的人体待检测区域框和人脸待检测区域框从行人场景图像中获取人体待检测区域图像和人脸待检测区域图像；其中，人体待检测区域框位于行人场景图像的上部分区域，人脸待检测区域框位于行人场景图像的下部分区域，且人体待检测区域框和人脸待检测区域框存在重叠区域；确定人体待检测区域图像中的人体目标在行人场景图像中的位置，并确定人脸待检测区域图像中的人脸目标在行人场景图像中的位置；确定属于同一行人的人体目标和人脸目标，并根据属于同一行人的人体目标和人脸目标获取行人的坐标位置，且根据行人在多帧行人场景图像中的坐标位置获取行人的运行轨迹；根据运行轨迹、信号灯状态判断行人是否闯红灯。
本申请实施例提供的一种行人闯红灯监测装置、行人闯红灯监测***及计算机可读存储介质中相关部分的说明可以参见本申请实施例提供的一种行人闯红灯监测方法中对应部分的详细说明，在此不再赘述。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种行人闯红灯监测方法，其特征在于，包括：
获取斑马线上的行人场景图像，并根据预设的人体待检测区域框和人脸待检测区域框从所述行人场景图像中获取人体待检测区域图像和人脸待检测区域图像；其中，所述人体待检测区域框位于所述行人场景图像的上部分区域，所述人脸待检测区域框位于所述行人场景图像的下部分区域，且所述人体待检测区域框和所述人脸待检测区域框存在重叠区域；
确定所述人体待检测区域图像中的人体目标在所述行人场景图像中的位置，并确定所述人脸待检测区域图像中的人脸目标在所述行人场景图像中的位置；
确定属于同一行人的人体目标和人脸目标，并根据属于同一行人的所述人体目标和所述人脸目标获取所述行人的坐标位置，且根据所述行人在多帧所述行人场景图像中的坐标位置获取所述行人的运行轨迹；
根据所述运行轨迹、信号灯状态判断所述行人是否闯红灯。
2.根据权利要求1所述的行人闯红灯监测方法，其特征在于，确定所述人体待检测区域图像中的人体目标在所述行人场景图像中的位置，并确定所述人脸待检测区域图像中的人脸目标在所述行人场景图像中的位置，包括：
将所述人体待检测区域图像输入到预先训练得到的人体检测模型中，以得到人体目标及其在所述人体待检测区域图像中的位置，并将所述人脸待检测区域图像输入到预先训练得到的人脸检测模型中，以得到人脸目标及其在所述人脸待检测区域图像中的位置；
将所述人体目标及其在所述人体待检测区域图像中的位置转换到所述行人场景图像中，以确定所述人体目标在所述行人场景图像中的位置，并将所述人脸目标及其在所述人脸待检测区域中的位置转换到所述行人场景图像中，以确定所述人脸目标在所述行人场景图像中的位置。
3.根据权利要求2所述的行人闯红灯监测方法，其特征在于，在将所述人体待检测区域图像输入到预先训练得到的人体检测模型中之前，还包括：
根据所述人体检测模型对输入图像宽高比例的要求对所述人体待检测区域图像进行补边，以使得补边后的所述人体待检测区域图像的宽高比例满足所述人体检测模型对输入图像宽高比例的要求且不会使得所述人体待检测区域图像中的内容发生扭曲变形；
在将所述人脸待检测区域图像输入到预先训练得到的人脸检测模型中之前，还包括：
根据所述人脸检测模型对输入图像宽高比例的要求对所述人脸待检测区域图像进行补边，以使得补边后的所述人脸待检测区域图像的宽高比例满足所述人脸检测模型对输入图像宽高比例的要求且不会使得所述人脸待检测区域图像中的内容发生扭曲变形。
4.根据权利要求1所述的行人闯红灯监测方法，其特征在于，所述人体待检测区域框和所述人脸待检测区域框的设置过程为：
预先根据智能相机的拍摄参数确定人脸待检测区域框上边界线、人体待检测区域框下边界线；其中，所述智能相机用于获取斑马线上的行人场景图像，所述拍摄参数包括所述智能相机所能检测到的人脸尺寸的下限值，所述人体待检测区域框下边界线位于所述人脸待检测区域框上边界线的下方且与所述人脸待检测区域框上边界线相距预设距离；
根据所述人脸待检测区域框上边界线、所述智能相机采集的图像的下边界线及预先划设的斑马线边界线确定所述人脸待检测区域框；
根据所述人体待检测区域框下边界线、所述智能相机采集的图像的上边界线及所述斑马线边界线确定所述人体待检测区域框。
5.根据权利要求1至4任一项所述的行人闯红灯监测方法，其特征在于，在确定所述行人闯红灯时，还包括：
将所述行人的人脸目标发送至后端服务器，由所述后端服务器对所述人脸目标进行显示，并根据所述人脸目标识别所述行人的身份信息且进行保存。
6.根据权利要求5所述的行人闯红灯监测方法，其特征在于，还包括：
预先接收相机Web端或相机配置终端发送的在所述行人场景图像上设置的多条拌线；其中，所述多条拌线在所述行人场景图像中由远及近依次设置；
相应地，根据所述运行轨迹、信号灯状态判断所述行人是否闯红灯，包括：
根据所述运行轨迹与所述多条拌线相交时的信号灯状态判断所述行人是否闯红灯。
7.根据权利要求6所述的行人闯红灯监测方法，其特征在于，还包括：
若根据所述行人场景图像确定行人在所述信号灯状态为红灯状态时跨越第一条拌线，则向所述后端服务器发送可能有行人闯红灯的信号，以使所述后端服务器发出预警，若所述行人在所述信号灯状态为红灯状态时连续跨越所设置的所有所述拌线，则向所述后端服务器发送有行人闯红灯的信号，并执行所述将所述行人的人脸目标发送至后端服务器的步骤。
8.一种行人闯红灯监测装置，其特征在于，包括：
获取模块，用于获取斑马线上的行人场景图像，并根据预设的人体待检测区域框和人脸待检测区域框从所述行人场景图像中获取人体待检测区域图像和人脸待检测区域图像；其中，所述人体待检测区域框位于所述行人场景图像的上部分区域，所述人脸待检测区域框位于所述行人场景图像的下部分区域，且所述人体待检测区域框和所述人脸待检测区域框存在重叠区域；
第一确定模块，用于确定所述人体待检测区域图像中的人体目标在所述行人场景图像中的位置，并确定所述人脸待检测区域图像中的人脸目标在所述行人场景图像中的位置；
第二确定模块，用于确定属于同一行人的人体目标和人脸目标，并根据所述人体目标和所述人脸目标获取所述行人的坐标位置，且根据所述行人在多帧所述行人场景图像中的坐标位置获取所述行人的运行轨迹；
判断模块，用于根据所述运行轨迹、信号灯状态判断所述行人是否闯红灯。
9.一种行人闯红灯监测***，其特征在于，包括智能相机、与所述智能相机相连的后端服务器，其中：
所述智能相机，用于获取斑马线上的行人场景图像，并根据预设的人体待检测区域框和人脸待检测区域框从所述行人场景图像中获取人体待检测区域图像和人脸待检测区域图像；其中，所述人体待检测区域框位于所述行人场景图像的上部分区域，所述人脸待检测区域框位于所述行人场景图像的下部分区域，且所述人体待检测区域框和所述人脸待检测区域框存在重叠区域；确定所述人体待检测区域图像中的人体目标在所述行人场景图像中的位置，并确定所述人脸待检测区域图像中的人脸目标在所述行人场景图像中的位置；确定属于同一行人的人体目标和人脸目标，并根据属于同一行人的所述人体目标和所述人脸目标获取所述行人的坐标位置，且根据所述行人在多帧所述行人场景图像中的坐标位置获取所述行人的运行轨迹；根据所述运行轨迹、信号灯状态判断所述行人是否闯红灯；
所述后端服务器，用于检测信号灯状态，并将所述信号灯状态发送给所述智能相机。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的行人闯红灯监测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010382657.4A CN111582171B (zh) | 2020-05-08 | 2020-05-08 | 一种行人闯红灯监测方法、装置、***及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010382657.4A CN111582171B (zh) | 2020-05-08 | 2020-05-08 | 一种行人闯红灯监测方法、装置、***及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111582171A true CN111582171A (zh) | 2020-08-25 |
| CN111582171B CN111582171B (zh) | 2024-04-09 |
Family
ID=72124782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010382657.4A Active CN111582171B (zh) | 2020-05-08 | 2020-05-08 | 一种行人闯红灯监测方法、装置、***及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111582171B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113470109A (zh) * | 2021-06-09 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种客流统计方法、电子设备和计算机存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007089105A (ja) * | 2005-09-20 | 2007-04-05 | Ara Software:Kk | 歩行監視システム |
| JP2007145225A (ja) * | 2005-11-29 | 2007-06-14 | Denso Corp | 自動車用ユーザーもてなしシステム |
| CN105323920A (zh) * | 2015-09-19 | 2016-02-10 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于人体及其位置检测的照明控制***及方法 |
| WO2017016516A1 (zh) * | 2015-07-24 | 2017-02-02 | 上海依图网络科技有限公司 | 一种复杂场景下基于人脸识别的视频人像跟踪方法 |
| CN108376246A (zh) * | 2018-02-05 | 2018-08-07 | 南京蓝泰交通设施有限责任公司 | 一种多人脸识别及跟踪***及方法 |
| WO2018228467A1 (zh) * | 2017-06-16 | 2018-12-20 | Oppo广东移动通信有限公司 | 图像曝光方法、装置、摄像设备及存储介质 |
| CN109754602A (zh) * | 2019-01-15 | 2019-05-14 | 珠海格力电器股份有限公司 | 行人闯红灯防误判的方法和装置 |
| CN110609920A (zh) * | 2019-08-05 | 2019-12-24 | 华中科技大学 | 一种视频监控场景下的行人混合搜索方法及*** |
| CN110688987A (zh) * | 2019-10-16 | 2020-01-14 | 山东建筑大学 | 一种行人位置检测与跟踪方法及*** |
| CN110991224A (zh) * | 2019-10-18 | 2020-04-10 | 平安科技（深圳）有限公司 | 基于图像识别的行人闯红灯检测方法、装置及相关设备 |
| CN111047864A (zh) * | 2019-12-17 | 2020-04-21 | 浙江大华技术股份有限公司 | 闯红灯的警告方法、警告设备及计算机存储介质 |
-
2020
- 2020-05-08 CN CN202010382657.4A patent/CN111582171B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007089105A (ja) * | 2005-09-20 | 2007-04-05 | Ara Software:Kk | 歩行監視システム |
| JP2007145225A (ja) * | 2005-11-29 | 2007-06-14 | Denso Corp | 自動車用ユーザーもてなしシステム |
| WO2017016516A1 (zh) * | 2015-07-24 | 2017-02-02 | 上海依图网络科技有限公司 | 一种复杂场景下基于人脸识别的视频人像跟踪方法 |
| CN105323920A (zh) * | 2015-09-19 | 2016-02-10 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于人体及其位置检测的照明控制***及方法 |
| WO2018228467A1 (zh) * | 2017-06-16 | 2018-12-20 | Oppo广东移动通信有限公司 | 图像曝光方法、装置、摄像设备及存储介质 |
| CN108376246A (zh) * | 2018-02-05 | 2018-08-07 | 南京蓝泰交通设施有限责任公司 | 一种多人脸识别及跟踪***及方法 |
| CN109754602A (zh) * | 2019-01-15 | 2019-05-14 | 珠海格力电器股份有限公司 | 行人闯红灯防误判的方法和装置 |
| CN110609920A (zh) * | 2019-08-05 | 2019-12-24 | 华中科技大学 | 一种视频监控场景下的行人混合搜索方法及*** |
| CN110688987A (zh) * | 2019-10-16 | 2020-01-14 | 山东建筑大学 | 一种行人位置检测与跟踪方法及*** |
| CN110991224A (zh) * | 2019-10-18 | 2020-04-10 | 平安科技（深圳）有限公司 | 基于图像识别的行人闯红灯检测方法、装置及相关设备 |
| CN111047864A (zh) * | 2019-12-17 | 2020-04-21 | 浙江大华技术股份有限公司 | 闯红灯的警告方法、警告设备及计算机存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 闫秋芳;: "基于行人再识别的轨迹重现", no. 04, pages 52 - 55 * |
| 陈永;: "人脸识别技术打造平安社会", no. 04, pages 62 - 64 * |
| 韦勇;万旭;徐海黎;沈标;: "基于人脸跟踪与识别的行人闯红灯取证***的设计与实现", no. 19, pages 44 - 47 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113470109A (zh) * | 2021-06-09 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种客流统计方法、电子设备和计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111582171B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108053427B (zh) | 一种基于KCF与Kalman的改进型多目标跟踪方法、***及装置 | |
| CN111784857A (zh) | 一种停车位管理方法、装置以及计算机存储介质 | |
| US7936926B2 (en) | Apparatus, method, and program for face feature point detection | |
| CN106647776B (zh) | 车辆变道趋势的判断方法、判断装置和计算机存储介质 | |
| US9070023B2 (en) | System and method of alerting a driver that visual perception of pedestrian may be difficult | |
| US20130120125A1 (en) | Method and system for lane departure warning | |
| CN110738150B (zh) | 相机联动抓拍方法、装置以及计算机存储介质 | |
| CN112419733B (zh) | 一种用户不规范停车的检测方法、装置、设备和存储介质 | |
| CN103235938A (zh) | 车牌检测与识别的方法及*** | |
| CN103824452A (zh) | 一种轻量级的基于全景视觉的违章停车检测装置 | |
| CN100435160C (zh) | 一种用于交通信息实时采集的视频图像处理方法及*** | |
| CN103824066A (zh) | 一种基于视频流的车牌识别方法 | |
| CN104966304A (zh) | 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法 | |
| JP2006329776A (ja) | 車両位置検出方法、並びに車両速度検出方法及び装置 | |
| KR101246120B1 (ko) | 전후면 번호판 영상 기반 차량번호 인식 시스템 | |
| US20230015771A1 (en) | Methods for detecting phantom projection attacks against computer vision algorithms | |
| KR20150002038A (ko) | 하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법 | |
| CN112733703A (zh) | 一种车辆停放状态检测方法及*** | |
| CN111985373A (zh) | 基于交通路口识别的安全预警方法、装置及电子设备 | |
| CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
| CN112528924A (zh) | 一种车辆掉头检测方法、装置、设备及存储介质 | |
| CN102610104A (zh) | 一种车载的前方车辆检测方法 | |
| CN111582171A (zh) | 一种行人闯红灯监测方法、装置、***及可读存储介质 | |
| CN113076851A (zh) | 一种车辆违章数据的采集方法、装置以及计算机设备 | |
| Sala et al. | Measuring traffic lane‐changing by converting video into space–time still images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |