CN113011331B - 机动车是否礼让行人的检测方法、装置、电子设备及介质 - Google Patents
机动车是否礼让行人的检测方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN113011331B CN113011331B CN202110295491.7A CN202110295491A CN113011331B CN 113011331 B CN113011331 B CN 113011331B CN 202110295491 A CN202110295491 A CN 202110295491A CN 113011331 B CN113011331 B CN 113011331B
- Authority
- CN
- China
- Prior art keywords
- frame
- target element
- target
- pedestrian crossing
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000001514 detection method Methods 0.000 claims abstract description 248
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 75
- 230000006399 behavior Effects 0.000 claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000021184 main course Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于智慧交通技术领域，提供了一种机动车是否礼让行人的检测方法、装置、电子设备及存储介质，该方法包括：通过使用训练好的目标识别网络对采集到的视频帧进行目标元素识别，得到目标元素集合，使用预设的目标跟踪算法跟踪所述目标元素集合中的目标元素的运动轨迹，基于已识别出的主人行横道线和跟踪到的所述目标元素的运动轨迹，使用预设的违规行为检测算法检测当前视频帧中是否存在机动车不礼让行人的违规行为，从而提高了机动车不礼让行人的检测准确性。
Description
技术领域
本发明属于智慧交通技术领域，尤其涉及一种机动车是否礼让行人的检测方法、装置、电子设备及存储介质。
背景技术
智慧交通是电子、计算机、自动化等技术发展到一定程度的必然产物，近年来我国密集出台多项政策用以支持智慧交通的发展。世界发达国家如美国、欧洲等地区已普遍将智慧交通应用于其交通建设领域。随着我国机动车保有量的趋于饱和，运用智能交通***提升人、车、路的密切配合从而提升交通运输效率，缓解交通阻塞，提高路网通过能力，减少交通事故已成为我国交通管理部门急需解决的问题。传统的交通违章检测主要通过摄像头抓拍的车辆信息，由多轮人工反复审核、验证的方式，确认车辆行为是否违反交通规则。该方法耗费大量时间成本与人工成本，且人工审核的方式掺杂了审核员疲劳、情绪等诸多主观因素，使得审核效率低，结果缺乏公正性与准确性。
即使当今诸多城市高速推进交通智慧化，闯红灯、压线、占非机动车道等简单违规行为的检测监督得以自动化，如何在更加节约人工、设备、技术成本的前提下，实现对复杂的礼让行人行为的高效、快速、准确、公正的自动化检测，仍然成为亟待解决的问题。
发明内容
本发明的目的在于提供一种机动车是否礼让行人的检测方法、装置、电子设备及存储介质，旨在解决由于现有技术中对机动车是否礼让行人的检测准确性不够高的问题。
一方面，本发明提供一种机动车是否礼让行人的检测方法，所述方法包括下述步骤：
使用训练好的目标识别网络对采集到的视频帧进行目标元素识别，得到目标元素集合；
使用预设的目标跟踪算法跟踪所述目标元素集合中的目标元素的运动轨迹；
基于已识别出的主人行横道线和跟踪到的所述目标元素的运动轨迹，使用预设的违规行为检测算法检测当前视频帧中是否存在机动车不礼让行人的违规行为。
优选地，所述目标识别网络为SSD MobileNet-v2网络。
优选地，所述使用训练好的目标识别网络对采集到的视频帧进行目标元素识别的步骤之前，还包括：
若满足预设的人行横道线识别条件，则识别所述主人行横道线，其中，所述人行横道线识别条件包括当前视频帧为视频首帧，或当前视频帧为预设的人行横道线识别周期对应的视频帧，和/或当前视频帧与前一该识别而未识别出人行横道线的视频帧的帧间隔等于预设的第一间隔阈值。
优选地，所述第一间隔阈值为10。
优选地，所述识别所述主人行横道线的步骤，还包括：
使用训练好的分割网络对当前视频帧进行人行横道线实例分割，获得至少一个粗定位人行横道检测框；
基于所有的所述粗定位人行横道检测框精定位所述主人行横道线。
优选地，所述分割网络为Mask R-CNN网络，对所述Mask R-CNN网络进行训练的步骤，包括：
获取车道线数据集；
若所述车道线数据集中的车道线标记仅包含车道线的侧边轮廓，则对所述车道线进行预处理，得到预处理后的车道线数据集，其中，所述车道线包括人行横道线，预处理后的车道线的标记包含分割掩模；
将所述预处理后的车道线数据集输入到所述Mask R-CNN网络进行训练，得到训练好的Mask R-CNN网络。
优选地，所述对所述车道线数据集中的车道线进行预处理的步骤，还包括：
若所述车道线的标记仅包含一条线，则以该线为轴心在两边各扩散预设的像素宽度；
若所述车道线的标记包含两条直线，则将所述两条线的首端和末端分别进行连接，形成四边形闭合区域，并按照所述车道线的类别对所述四边形闭合区域进行填充。
优选地，所述像素宽度为5个像素宽度。
优选地，所述基于所有的所述粗定位人行横道检测框精定位所述主人行横道线的步骤，包括：
基于每个所述粗定位人行横道检测框的置信度，采用预设的条件打分算法从所有的所述粗定位人行横道检测框中筛选所述主人行横道线，其中，所述条件打分算法结合了所述粗定位人行横道检测框在视频帧中的位置和/或所述粗定位人行横道检测框相对于视频帧的比例。
优选地，所述采用预设的条件打分算法从所有的所述粗定位人行横道检测框中筛选所述主人行横道线的步骤，包括：
采用预设的条件打分算法对每个所述粗定位人行横道检测框进行打分，得到每个所述粗定位人行横道检测框的条件总分；
获取条件总分最高的粗定位人行横道检测框，将所述条件总分最高的粗定位人行横道检测框作为主人行横道线检测框。
优选地，所述条件打分算法使用的公式如下：
其中，
表示第i个所述粗定位人行横道检测框的条件总分，
分别表示第i个所述粗定位人行横道检测框的左上角相对当前视频帧左上角在水平方向和垂直方向的距离，
分别表示第i个所述粗定位人行横道检测框的宽度和高度，heightIMG表示视频帧的高度，
表示第i个所述粗定位人行横道检测框的置信度，I()为指示函数，(R1t/h，R2t/h)表示第一预设区间，(R1w/h，R2w/h)表示第二预设区间，s1表示第一预设固定值，s2表示第二预设固定值。
优选地，所述第一预设区间为(0.4，0.6)，所述第一预设固定值为0.4，所述第二预设区间为(0.07，0.14)，所述第二预设固定值为0.14。
优选地，所述获取条件总分最高的粗定位人行横道检测框的步骤之后，还包括：
判断所述条件总分最高的粗定位人行横道检测框与视频帧的宽度比是否小于预设的宽度比阈值；
若小于，则将所述条件总分最高的粗定位人行横道检测框向两侧等距离扩展，以使所述条件总分最高的粗定位人行横道检测框与视频帧的宽度比达到所述宽度比阈值，将扩展后的所述条件总分最高的粗定位人行横道检测框作为所述主人行横道线检测框；
若不小于，则将所述条件总分最高的粗定位人行横道检测框作为所述主人行横道线检测框。
优选地，所述宽度比阈值为0.85。
优选地，所述目标元素集合包括每个目标元素的类别和检测框，所述目标跟踪算法为最大交并比筛选法，所述使用预设的目标跟踪算法跟踪所述目标元素集合中的目标元素的运动轨迹的步骤，包括：
对于所述目标元素集合中的每个所述目标元素，根据当前所有的跟踪路径序列框列表获得第一序列框列表集合，其中，所述第一序列框列表集合中包含所有与所述目标元素的类别相同的跟踪路径序列框列表，每个所述跟踪路径序列框列表中包含跟踪到的目标元素的类别以及按时间顺序排列的该目标元素的检测框，每个所述跟踪路径序列框列表对应一个目标元素的运动轨迹；
计算所述目标元素的检测框与所述第一序列框列表集合中每个跟踪路径序列框列表的最末检测框的交并比；
判断是否存在交并比目标框，所述交并比目标框为交并比大于预设的交并比阈值的最末检测框；
若存在，则确定跟踪到所述目标元素的运动轨迹，并将所述目标元素的检测框添加到交并比最大的最末检测框所在的跟踪路径序列框列表中；
若不存在，则确定所述目标元素为新出现的元素，并根据所述目标元素的检测框和类别新建一个跟踪路径序列框列表。
优选地，所述交并比阈值为0.75。
优选地，所述根据当前所有的跟踪路径序列框列表获得第一序列框列表集合的步骤之前，还包括：
获取当前视频帧与当前每个所述跟踪路径序列框列表中的最末检测框对应的视频帧的第二帧间隔；
丢弃第二帧间隔不小于预设的第二间隔阈值的跟踪路径序列框列表。
优选地，所述第二间隔阈值为5。
优选地，所述判断是否存在交并比大于预设的交并比阈值的最末检测框的步骤之后，还包括：
若存在所述交并比目标框，则将最大交并比与次大交并比进行取对数检验；
若通过取对数检验，则确定跟踪到所述目标元素的运动轨迹；
若未通过所述取对数检验，则采用预设的余弦距离比对法跟踪所述目标元素的运动轨迹；
所述取对数检验的使用公式为：
(log2IoUmax-log2IoUsecond_max)＜ε
其中，IoUmax表示最大交并比，IoUsecond_max表示次大交并比，ε为常数，表示为预设的对数检验阈值。
优选地，所述采用预设的余弦距离比对法跟踪所述目标元素的运动轨迹的步骤，包括：
获取当前视频帧中所述目标元素的最新特征图，以及第二序列框列表集合中每个所述跟踪路径序列框列表的最末检测框和次末检测框分别对应的第一特征图和第二特征图，其中，所述第二序列框列表集合中包含所有的所述交并比目标框所在的跟踪路径序列框列表；
对所述最新特征图以及所有的所述第一特征图和第二特征图进行归一化处理，得到统一大小的特征图；
分别计算经归一化处理后的最新特征图与每个所述第一特征图和每个所述第二特征图的第一余弦距离和第二余弦距离；
对每个所述第一余弦距离和每个所述第二余弦距离，分别取对数后得到对应的第一特征相似因子和第二特征相似因子；
对每个所述第一特征相似因子和与每个所述第一特征相似因子对应的第二特征相似因子进行线性加权计算，得到最小加权特征相似因子；
将与所述最小加权特征相似因子对应的跟踪路径序列框列表所对应的运动轨迹作为所述目标元素的运动轨迹，并将所述目标元素的检测框添加到与所述最小加权特征相似因子对应的跟踪路径序列框列表中。
优选地，所述预设的违规行为检测算法为违规警示点算法，使用预设的违规行为检测算法检测当前视频帧中是否存在机动车不礼让行人的违规行为的步骤，包括：
根据所述主人行横道线上每个行人的运动轨迹预测出当前视频帧中的违规警示点；
判断所述违规警示点是否处于识别出的任一机动车的最末检测框的上半部区域内；
若处于，则确定在当前视频帧中检测出所述违规行为。
优选地，所述违规警示点的计算方式为：
其中，xwp、ywp分别表示所述违规警示点的坐标，
分别表示行人的跟踪路径序列框列表中第m个检测框中心点的坐标，c表示行人的跟踪路径序列框列表中检测框的个数。
优选地，所述根据所述主人行横道线上每个行人的运动轨迹预测出当前视频帧中的违规警示点的步骤之前，包括：
判断当前视频帧中的每个行人是否处于所述主人行横道线上；
所述判断当前视频帧中的每个行人是否处于所述主人行横道线上的步骤，包括：
判断所述行人的行人检测框下边缘中心点是否处于人行横道检测框内；
若处于所述人行横道检测框内，则判定所述行人处于所述人行横道线上。
优选地，所述使用预设的违规行为检测算法检测当前视频帧中是否存在机动车不礼让行人的违规行为的步骤之后，还包括：
若检测到所述违规行为，则使用预设的车牌识别算法识别发生所述违规行为的机动车的车牌；
可视化显示所述车牌、所述违规行为和/或所述违规行为发生的时间。
另一方面，本发明提供了一种机动车是否礼让行人的检测装置，所述装置包括：
目标元素识别单元，用于使用训练好的目标识别网络对采集到的视频帧进行目标元素识别，得到目标元素集合；
运动轨迹跟踪单元，用于使用预设的目标跟踪算法跟踪所述目标元素集合中的目标元素的运动轨迹；以及
违规行为识别单元，用于基于已识别出的主人行横道线和跟踪到的所述目标元素的运动轨迹，使用预设的违规行为检测算法检测当前视频帧中是否存在机动车不礼让行人的违规行为。
另一方面，本发明还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
本发明通过使用训练好的目标识别网络对采集到的视频帧进行目标元素识别，得到目标元素集合，使用预设的目标跟踪算法跟踪该目标元素集合中的目标元素的运动轨迹，基于已识别出的主人行横道线和跟踪到的目标元素的运动轨迹，使用预设的违规行为检测算法检测当前视频帧中是否存在机动车不礼让行人的违规行为，从而提高了机动车不礼让行人的检测准确性。
附图说明
图1A是本发明实施例一提供的机动车是否礼让行人的检测方法的实现流程图；
图1B是本发明实施例一提供的对采集到的视频帧进行目标元素识别的示例效果图；
图2是本发明实施例二提供的识别主人行横道线的实现流程图；
图3是本发明实施例三提供的训练Mask R-CNN网络的实现流程图；
图4是本发明实施例四提供的使用最大交并比筛选法跟踪目标元素的运动轨迹的实现流程图；以及
图5是本发明实施例五提供的采用余弦距离比对法跟踪目标元素的运动轨迹的实现流程图。
图6A是本发明实施例六提供的使用违规警示点算法检测机动车不礼让行人的违规行为的实现流程图；
图6B是本发明实施例六提供的使用违规警示点算法检测当前视频帧中是否存在机动车不礼让行人的违规行为的示例图；
图7是本发明实施例七提供的机动车是否礼让行人的检测装置的结构示意图；以及
图8是本发明实施例五提供的电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1A示出了本发明实施例一提供的机动车是否礼让行人的检测方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，使用训练好的目标识别网络对采集到的视频帧进行目标元素识别，得到目标元素集合。
本发明实施例适用电子设备，具体地，可适用于监控摄像头或与监控摄像头连接的硬盘录像机或电脑、服务器等电子设备。在本发明实施例中，通过设置于路口处的摄像头采集路口处视频，该目标元素可以包括机动车、行人和交通信号灯，目标元素集合可包括识别出的每个目标元素的类别和检测框等。
目标识别网络可以是R-CNN、Fast R-CNN、Faster R-CNN、Yolo或SSD等网络，优选地，该目标识别网络SSD MobileNet-v2网络，以提高目标元素的识别速度。在使用训练好的目标识别网络对采集到的视频帧进行目标元素识别，得到目标元素集合时，具体地，可使用训练好的目标识别网络对采集到的视频帧进行前向传播，在每一组不为背景类别的锚点特征图组中筛选出置信度最高的特征图，获取与筛选出的特征图对应的目标元素的类别和检测框，根据该目标元素的类别和检测框形成目标元素集合。
在使用训练好的目标识别网络对采集到的视频帧进行目标元素识别之前，可使用目标识别数据集对该目标识别网络进行训练，得到训练好的目标识别网络。其中，该目标识别数据集中的目标物可包括行人、交通信号灯和机动车等，该机动车可以进一步包括机动车、行人、信号灯、卡车、公交车或摩托车等类别。
在使用训练好的目标识别网络对采集到的视频帧进行目标元素识别的步骤之前，可以对每个视频帧进行人行横道线检测，基于摄像头负责的区域内可能存在多个人行横道线，而每个摄像头通常负责一个区域，因此可识别每个视频帧的主人行横道线，基于人行横道线在每个视频帧中的位置区域并非都有变化，且摄像头的视角通常固定，优选地，若满足预设的人行横道线识别条件，则识别主人行横道线，以在不浪费计算资源的前提下，及时对因摄像头位置、道路线更新等外界因素导致主人行横道线位置变化予以矫正。其中，人行横道线识别条件包括当前视频帧为视频首帧，或当前视频帧为预设的人行横道线识别周期对应的视频帧，和/或当前视频帧与前一该识别而未识别出人行横道线的视频帧的帧间隔等于预设的第一间隔阈值。进一步优选地，该第一间隔阈值为10，以在降低计算资源的前提下，满足实际检测需要。
具体地，可预先设置一人行横道线识别周期，在当前视频帧为视频的首帧时，进行主人行横道线识别，之后按照设置的人行横道线识别周期周期性地进行主人行横道线识别，在周期性识别过程中，若当前视频帧与前一该识别而未识别出人行横道线的视频帧的帧间隔等于第一间隔阈值(例如10)，则对当前视频帧进行人行横道线识别。其中，前一该识别而未识别出人行横道线的视频帧可以理解为需要进行人行横道线但未识别出人行横道线的视频帧，该人行横道线识别周期可以由用户设定，例如每隔10秒进行一次人行横道线识别，或每隔30帧进行一次人行横道线识别，当然，该人行横道线识别周期可以由获取到的当前摄像头的类型、巡航路径和/或巡航周期综合确定。例如，对于固定枪机等不含云台的摄像头，基于该摄像头拍摄区域通常不变，可设置一相对较大的人行横道线识别周期；又如，对于球机等含云台的摄像头，基于该摄像头可旋转而导致拍摄区域发生变化，若该摄像头启动了自动巡航，则可根据巡航时间和巡航路径综合确定人行横道线识别周期。
图1B为对采集到的视频帧进行目标元素识别的示例图，图1B中识别出的目标元素包括识别出的行人的检测框及置信度、识别出的机动车的检测框及置信度以及已经识别出的主人行横道检测框。
在步骤S102中，使用预设的目标跟踪算法跟踪该目标元素集合中的目标元素的运动轨迹。
在本发明实施例中，目标跟踪算法可以使用行人、车辆重识别的相关算法，例如ReID算法、SOTA算法、PROVID算法等，对于识别出的当前视频帧中的每个目标元素，优选地，使用预设的最大交并比筛选法跟踪该目标元素集合中的目标元素的运动轨迹，通过线性时间复杂度的计算量，省去了重定位算法前向传播需要的庞大计算量，显著提高了检测效率，并进一步提高了检测的准确性。使用预设的最大交并比筛选法跟踪每个目标元素集合中的目标元素的运动轨迹的具体实现方式可参考实施例四的相关描述。
在步骤S103中，基于已识别出的主人行横道线和跟踪到的目标元素的运动轨迹，使用预设的违规行为检测算法检测当前视频帧中是否存在机动车不礼让行人的违规行为。
在本发明实施例中，该违规行为检测算法可以是通过判断行人与机动车的路径是否相交的相关算法，通过该违规行为检测算法算法来检测当前视频帧中是否存在机动车不礼让行人的违规行为，优选地，该违规行为检测算法为违规警示点算法，以通过违规警示点来检测当前视频帧中是否存在机动车不礼让行人的违规行为。使用违规警示点算法检测机动车不礼让行人的违规行为的具体实现方式可参考实施例六的相关描述，在此不再赘述。
在检测当前视频帧中是否存在机动车不礼让行人的违规行为之后，优选地，若检测到该违规行为，则使用预设的车牌识别算法识别发生该违规行为的机动车的车牌，可视化显示该车牌、该违规行为和/或该违规行为发生的时间，以通过可视化方式呈现违规行为。其中，预设的车牌识别算法可以采用HyperLPR等车牌识别算法。
在本发明实施例中，使用训练好的目标识别网络对采集到的视频帧进行目标元素识别，得到目标元素集合，使用预设的目标跟踪算法跟踪该目标元素集合中的目标元素的运动轨迹，基于已识别出的主人行横道线和跟踪到的目标元素的运动轨迹，检测当前视频帧中是否存在机动车不礼让行人的违规行为，
实施例二：
图2示出了本发明实施例二提供的识别主人行横道线的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S201中，使用训练好的分割网络对当前视频帧进行人行横道线实例分割，获得至少一个粗定位人行横道检测框。
在本发明实施例中，使用训练好的分割网络对当前视频帧进行人行横道线实例分割，获得至少一个粗定位人行横道检测框。上述分割网络可以为R-CNN、Fast R-CNN或Faster R-CNN等网络，优选地，该分割网络为Mask R-CNN网络，以在对图像中的目标进行检测时，给出高质量的分割结果。训练Mask R-CNN网络的具体实现方式可对应参考实施例三的相关描述。
基于摄像头视角固定和道路线具有相对稳定性的先验知识，在Mask R-CNN网络初始化时运行一次，在运行结果中，筛选并保存所有的粗定位人行横道检测框。进一步地，还可以获得每个粗定位人行横道检测框的置信度。每个粗定位人行横道检测框的数据格式示例如下：
crossdata＝[{"roi":{"rois":[400,300,240,50],"class_ids":1},"score":0.85,″index″：0}，{″roi″：{″rois″：[800，100，1000，150]，″class_ids″：1}，″score″：0.65，″index″：1}]
在步骤S202中，基于所有的粗定位人行横道检测框精定位主人行横道线。
在本发明实施例中，可以根据每个粗定位人行横道检测框的置信度对所有的粗定位人行横道检测框进行排序，将置信度最高的人行横道检测框作为主人行横道检测框，优选地，基于每个粗定位人行横道检测框的置信度，采用预设的条件打分算法从所有的粗定位人行横道检测框中筛选主人行横道线，其中，条件打分算法结合了粗定位人行横道检测框在视频帧中的位置和/或粗定位人行横道检测框相对于视频帧的比例，以通过条件打分算法更准确地筛选出主人行横道线。
在采用预设的条件打分算法从所有的粗定位人行横道检测框中筛选主人行横道线时，优选地，采用预设的条件打分算法对每个粗定位人行横道检测框进行打分，得到每个粗定位人行横道检测框的条件总分，获取条件总分最高的粗定位人行横道检测框，将条件总分最高的粗定位人行横道检测框作为主人行横道线检测框，条件打分算法使用的公式如下：
其中，
表示第i个粗定位人行横道检测框的条件总分，
分别表示第i个粗定位人行横道检测框的左上角相对当前视频帧左上角在水平方向和垂直方向的距离，
分别表示第i个粗定位人行横道检测框的宽度和高度，widthIMG、heightIMG分别表示视频帧的宽度和高度，
表示第i个粗定位人行横道检测框的置信度，I()为指示函数，(R1t/h，R2t/h)表示第一预设区间，(R1w/h，R2w/h)表示第二预设区间，s1表示第一预设固定值，s2表示第二预设固定值。
具体地，若粗定位人行横道检测框的上边缘到视频帧上边缘的距离与视频帧高度比值在第一预设区间内，则粗定位人行横道检测框的条件总分为粗定位人行横道检测框的置信度加上第一预设固定值，若粗定位人行横道检测框的高度与视频帧的高度的比值在第二预设区间内，则粗定位人行横道线边界框的条件总分为粗定位人行横道线边界框的置信度加上第二预设固定值，若同时满足上述两个条件，则粗定位人行横道线边界框的条件总分为粗定位人行横道线边界框的置信度加上第一预设固定值和第二预设固定值。
进一步优选地，该第一预设区间为(0.4，0.6)，该第一预设固定值为0.4，该第二预设区间为(0.07，0.14)，该第二预设固定值为0.14，以根据实验结果设定相关数值，进而进一步提高了主人行横道定位的准确性。
在获取条件总分最高的粗定位人行横道检测框的之后，优选地，判断条件总分最高的粗定位人行横道检测框与视频帧的宽度比是否小于预设的宽度比阈值，若小于，则将条件总分最高的粗定位人行横道检测框向两侧等距离扩展，以使条件总分最高的粗定位人行横道检测框与视频帧的宽度比达到宽度比阈值，将扩展后的条件总分最高的粗定位人行横道检测框作为主人行横道线检测框，若不小于，则将条件总分最高的粗定位人行横道检测框作为主人行横道线检测框，通过扩展主行人横道检测框以便于后续更准确地根据人行横道线上的行人预测违规警示点。进一步优选地，该宽度比阈值为0.85，以根据实验结果进行设定，进而进一步提高了违规警示点预测的准确性。
在本发明实施例中，使用训练好的分割网络对当前视频帧进行人行横道线实例分割，获得至少一个粗定位人行横道检测框，基于所有的粗定位人行横道检测框精定位主人行横道线，在精定位主人行横道线时，根据每个粗定位人行横道检测框的置信度对所有的粗定位人行横道检测框进行排序，采用预设的条件打分算法从所有的粗定位人行横道检测框中筛选主人行横道线，从而通过条件打分算法更准确地筛选出主人行横道线。
实施例三：
图3示出了本发明实施例三提供的训练Mask R-CNN网络的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S301中，获取车道线数据集。
在本发明实施例中，该车道线数据集中的车道线包括人行横道线，该车道线数据集可以采用BDD100K等车道线数据集。
在步骤S302中，若该车道线数据集中的车道线标记仅包含车道线的侧边轮廓，则对车道线进行预处理，得到预处理后的车道线数据集，其中，预处理后的车道线的标记包含分割掩模。
在本发明实施例中，基于Mask R-CNN训练的标记掩模需包含对象内部的像素，因此，对该Mask R-CNN网络进行训练时，若该车道线数据集中的车道线标记仅包含车道线的侧边轮廓，则对车道线进行预处理，得到预处理后的车道线数据集，将该预处理后的车道线数据集输入到Mask R-CNN网络进行训练，得到训练好的Mask R-CNN网络，以满足Mask R-CNN网络的训练要求。
在对该车道线数据集中的车道线进行预处理时，优选地，若该车道线的标记仅包含一条线，则以该线为轴心在两边各扩散预设的像素宽度，若该车道线的标记包含两条直线，则将该两条线的首端和末端分别进行连接，形成四边形闭合区域，并按照该车道线的类别对该四边形闭合区域进行填充，以使预处理后的车道线的标记掩模包含对象内部的像素。
进一步优选地，该像素宽度为5个像素宽度，以根据实际试验结果设定像素宽度。
在步骤S103中，将预处理后的车道线数据集输入到Mask R-CNN网络进行训练，得到训练好的Mask R-CNN网络。
实施例四：
图4示出了本发明实施例四提供的使用最大交并比筛选法跟踪目标元素的运动轨迹的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
在步骤S401中，根据当前所有的跟踪路径序列框列表获得第一序列框列表集合。
在本发明实施例中，该第一序列框列表集合中包含所有与该目标元素的类别相同的跟踪路径序列框列表，每个跟踪路径序列框列表中包含跟踪到的目标元素的类别以及按时间顺序排列的该目标元素的检测框，每个跟踪路径序列框列表对应一个目标元素的运动轨迹，换言之，每个跟踪路径序列框列表中所有的检测框构成一个目标元素的运动轨迹。
由于目标检测算法中，某个目标在某帧中可能会被漏检，这样在该帧对应时刻将不会有新框加入到该对象对应的边界框序列内，但若后续帧内又检测到了该对象，会导致同一目标的跟踪中断，也有可能该目标消失导致有效帧丢失，从而优选地，在根据当前所有的跟踪路径序列框列表获得第一序列框列表集合之前，获取当前视频帧与当前每个跟踪路径序列框列表中的最末检测框对应的视频帧的第二帧间隔，丢弃第二帧间隔不小于预设的第二间隔阈值的跟踪路径序列框列表。具体地，可对每一个跟踪路径序列框列表额外记录其最末检测框被检测到时对应视频帧的帧编号，并将此帧称为最末有效帧，将没有漏检、成功检测到目标元素的视频帧称为有效帧，并且设定一个第二间隔阈值，计算当前视频帧与每个跟踪路径序列框列表的最末有效帧的帧编号差，若当前视频帧与最末有效帧的帧编号差在帧阈值内，则仍然对该跟踪路径序列框列表予以保留，否则认为该目标已经不存在于视频中，对跟踪路径序列框列表予以舍弃。
优选地，该第二间隔阈值为5，以根据实验结果进行第二间隔阈值的设定，进而提高检测的准确性。
在步骤S402中，计算该目标元素的检测框与第一序列框列表集合中每个跟踪路径序列框列表的最末检测框的交并比。
在本发明实施例中，交并比计算公式为：
其中，boxcur表示目标元素的检测框，q表示第一序列框列表中跟踪路径序列框列表的总数量，boxj表示第一序列框列表中第j个跟踪路径序列框列表的最末检测框，Area表示求检测框面积。
在步骤S403中，判断是否存在交并比目标框，若存在，则执行步骤S404，否则执行步骤S405。
在本发明实施例中，该交并比目标框为交并比大于预设的交并比阈值的最末检测框，优选地，该交并比阈值为0.75。
对于两个以及多个相同类别目标向相同方向或相近方向运动，导致一目标的最新帧与其他目标最末有效帧距离过近，采用最大交并比不能很有效地将这两个或多个目标的轨迹区分开的情况，在判断是否存在交并比大于预设的交并比阈值的最末检测框之后，优选地，若存在该交并比目标框，则将最大交并比与次大交并比进行取对数检验，若通过取对数检验，则执行步骤S404，否则可采用相似度等其他算法进一步跟踪该目标元素的运动轨迹。
取对数检验的使用公式为：
(log2IoUmax-log2IoUsecond_max)＜ε
其中，IoUmax表示最大交并比，IoUsecond_max表示次大交并比，ε为常数，表示预设的对数检验阈值。
优选地，采用预设的余弦距离比对法跟踪该目标元素的运动轨迹，以通过余弦距离跟踪目标元素的运动轨迹，采用预设的余弦距离比对法跟踪该目标元素的运动轨迹的具体实现方式可参考实施例五的相关描述。
在步骤S404中，确定跟踪到该目标元素的运动轨迹，并将该目标元素的检测框添加到交并比最大的最末检测框所在的跟踪路径序列框列表中。
在步骤S405中，确定该目标元素为新出现的元素，并根据该目标元素的检测框和类别新建一个跟踪路径序列框列表。
实施例五：
本发明实施例基于实施例四，图5示出了本发明实施例五提供的采用余弦距离比对法跟踪目标元素的运动轨迹的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
在步骤S501中，获取当前视频帧中该目标元素的最新特征图，以及第二序列框列表集合中每个该跟踪路径序列框列表的最末检测框和次末检测框分别对应的第一特征图和第二特征图。
在本发明实施例中，获取当前视频帧中当前跟踪的目标元素的特征图，为便于说明，用最新特征图来表示当前视频帧中该目标元素(待跟踪的目标元素)的特征图，并获取第二序列框列表集合中每个跟踪路径序列框列表的最末检测框和次末检测框分别对应的特征图，为便于说明，分别用第一特征图和第二特征图来表示每个跟踪路径序列框列表的最末检测框和次末检测框对应的特征图，该第一特征图和第二特征图是指在对应的有效帧中的特征图，其中，该第二序列框列表集合中包含所有的交并比目标框所在的跟踪路径序列框列表，换言之，该第二序列框列表集合中包含所有的交并比大于预设的交并比阈值的最末检测框所在的跟踪路径序列框列表。
在步骤S502中，对该最新特征图以及所有的第一特征图和第二特征图进行归一化处理，得到统一大小的特征图。
在步骤S503中，分别计算经归一化处理后的最新特征图与每个第一特征图和每个第二特征图的第一余弦距离和第二余弦距离。
在本发明实施例中，余弦距离计算公式为：
其中，t表示第三序列框列表中跟踪路径序列框列表的数量，A表示归一化处理后的最新特征图；Bk1表示第三序列框列表中第k个跟踪路径序列框列表的最末检测框对应的归一化处理后的第一特征图，即，Bk1表示第k个归一化处理后的第一特征图；Bk2表示第三序列框列表中第k个跟踪路径序列框列表的次末检测框对应的归一化处理后的第二特征图，即，Bk2表示第k个归一化处理后的第二特征图，cos(θ)k1表示最新特征图与第k个归一化处理后的第一特征图的余弦距离，cos(θ)k2表示最新特征图与第k个归一化处理后的第二特征图的余弦距离。
在步骤S504中，对每个第一余弦距离和每个第二余弦距离，分别取对数后得到对应的第一特征相似因子和第二特征相似因子。
在本发明实施例中，特征相似因子计算公式为：
其中，
表示第k个第一特征相似因子，
表示第k个第二特征相似因子。
在步骤S505中，对每个第一特征相似因子和与每个第一特征相似因子对应的第二特征相似因子进行线性加权计算，得到最小加权特征相似因子。
在本发明实施例中，加权最小特征相似因子计算公式为：
其中，a表示第一特征相似因子的权重，b表示第二特征相似因子的权重，且第一特征相似因子的权重大于第二特征相似因子的权重，即a＞b。
在步骤S506中，将与该最小加权特征相似因子对应的跟踪路径序列框列表所对应的运动轨迹作为该目标元素的运动轨迹，并将该目标元素的检测框添加到与该最小加权特征相似因子对应的跟踪路径序列框列表中。
在本发明实施例中，与该最小加权特征相似因子对应的跟踪路径序列框列表所形成的运动轨迹即为该目标元素的运动轨迹。
实施例六：
图6A示出了本发明实施例六提供的使用违规警示点算法检测机动车不礼让行人的违规行为的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
在步骤S601中，根据主人行横道线上每个行人的运动轨迹预测出当前视频帧中的违规警示点。
在本发明实施例中，可基于每个行人的运动轨迹预测每个行人在下一视频帧中的位置，以根据预测出的行人的位置确定违规警示点，进一步地，可结合时间因素对行人下一帧出现的位置进行预测，即离当前帧越近，在预测中所起到的作用越大，更进一步地，可采用取对数的方式对每一个预测因子进行放大，从而使时间因素对预测结果的作用更加明显，最终将计算结果点(xwp，ywp)设为违规警示点。从而优选地，违规警示点的计算方式为：
其中，xwp、ywp分别表示违规警示点的坐标，
分别表示行人的跟踪路径序列框列表中第m个检测框中心点的坐标，c表示行人的跟踪路径序列框列表中检测框的个数。
具体实现中，可根据每个行人的运动轨迹预测一个违规警示点，即当前视频帧中可能存在多个违规警示点。
在根据主人行横道线上每个行人的运动轨迹预测出当前视频帧中的违规警示点之前，优选地，判断当前视频帧中的每个行人是否处于主人行横道线上，在判断当前视频帧中的每个行人是否处于主人行横道线上时，可根据行人检测框与人行横道检测框的交并比来计算，若交并比大于零，则确定该首次出现的行人处于人行横道线上，优选地，判断行人检测框下边缘中心点是否处于人行横道检测框内，以进一步减小判断过程中的运算量。判断行人检测框的下边缘中心点是否处于人行横道线检测框内使用的公式为：
其中，(xp，yp)表示行人检测框的左上角的坐标，widthp、heightp分别表示行人检测框的宽度和高度，leftpc、toppc分别表示主人行横道检测框的左上角相对当前视频帧左上角在水平方向和垂直方向的距离，widthpc、heightpc分别表示主人行横道检测框的宽度和高度，F(x)表示预测结果，F(x)的值为0或1，当F(x)＝0时，表示行人检测框下边缘中心点处于人行横道线检测框内，当F(x)＝1时，表示行人检测框下边缘中心点不处于人行横道线检测框内。
在步骤S602中，判断违规警示点是否处于识别出的任一机动车的最末检测框的上半部区域内，若处于，则执行步骤S603，若不处于，则执行步骤S604。
在步骤S603中，确定在当前视频帧中检测出违规行为。
在步骤S604中，确定在当前视频帧中未检测出违规行为。
图6B示出了使用违规警示点算法检测当前视频帧中是否存在机动车不礼让行人的违规行为的示例图，图6B中，违规警示点不处于机动车的最末检测框的上半部区域内，即，图6B中不存在机动车不礼让行人的违规行为。
在本发明实施例中，通过预测出的当前视频帧中的违规警示点来检测当前视频帧中是否存在机动车不礼让行人的违规行为，相对于判断机动车与行人前进路径是否有遮挡的算法，本方法还可以适用于行人静止、行人已通过的情况，从而进一步提高了违规行为识别精度及场景泛化能力。
实施例七：
图7示出了本发明实施例七提供的机动车是否礼让行人的检测装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
目标元素识别单元71，用于使用训练好的目标识别网络对采集到的视频帧进行目标元素识别，得到目标元素集合；
运动轨迹跟踪单元72，用于使用预设的目标跟踪算法跟踪该目标元素集合中的目标元素的运动轨迹；以及
违规行为识别单元73，用于基于已识别出的主人行横道线和跟踪到的目标元素的运动轨迹，使用预设的违规行为检测算法检测当前视频帧中是否存在机动车不礼让行人的违规行为。
优选地，该装置包括：
人行横道识别单元，用于若满足预设的人行横道线识别条件，则识别主人行横道线，其中，人行横道线识别条件包括当前视频帧为视频首帧，或当前视频帧为预设的人行横道线识别周期对应的视频帧，和/或当前视频帧与前一该识别而未识别出人行横道线的视频帧的帧间隔等于预设的第一间隔阈值。
优选地，该人行横道识别单元还包括：
人行横道分割单元，用于使用训练好的分割网络对当前视频帧进行人行横道线实例分割，获得至少一个粗定位人行横道检测框；以及
精定位单元，用于基于所有的粗定位人行横道检测框精定位主人行横道线。
优选地，该精定位单元还包括：
精定位子单元，用于基于每个粗定位人行横道检测框的置信度，采用预设的条件打分算法从所有的粗定位人行横道检测框中筛选主人行横道线，其中，该条件打分算法结合了粗定位人行横道检测框在视频帧中的位置和/或粗定位人行横道检测框相对于视频帧的比例。
优选地，该精定位子单元还包括：
条件总分计算单元，用于采用预设的条件打分算法对每个粗定位人行横道检测框进行打分，得到每个粗定位人行横道检测框的条件总分；以及
主横道确定单元，用于获取条件总分最高的粗定位人行横道检测框，将条件总分最高的粗定位人行横道检测框作为主人行横道线检测框。
优选地，该主横道确定单元还包括：
宽度比判断单元，用于判断该条件总分最高的粗定位人行横道检测框与视频帧的宽度比是否小于预设的宽度比阈值；
第一确定子单元，用于若小于宽度比阈值，则将条件总分最高的粗定位人行横道检测框向两侧等距离扩展，以使条件总分最高的粗定位人行横道检测框与视频帧的宽度比达到宽度比阈值，将扩展后的条件总分最高的粗定位人行横道检测框作为主人行横道线检测框；以及
第二确定子单元，用于若不小于宽度比阈值，则将条件总分最高的粗定位人行横道检测框作为主人行横道线检测框。
优选地，该宽度比阈值为0.85。
优选地，该目标元素集合包括每个目标元素的类别和检测框，该目标跟踪算法为最大交并比筛选法，该运动轨迹跟踪单元还包括：
第一集合获取单元，用于对于该目标元素集合中的每个目标元素，根据当前所有的跟踪路径序列框列表获得第一序列框列表集合，其中，该第一序列框列表集合中包含所有与该目标元素的类别相同的跟踪路径序列框列表，每个跟踪路径序列框列表中包含跟踪到的目标元素的类别以及按时间顺序排列的该目标元素的检测框，每个跟踪路径序列框列表对应一个目标元素的运动轨迹；
交并比计算单元，用于计算该目标元素的检测框与第一序列框列表集合中每个跟踪路径序列框列表的最末检测框的交并比；
第一判断单元，用于判断是否存在交并比目标框，该交并比目标框为交并比大于预设的交并比阈值的最末检测框；
轨迹确定单元，用于若存在交并比目标框，则确定跟踪到该目标元素的运动轨迹，并将该目标元素的检测框添加到交并比最大的最末检测框所在的跟踪路径序列框列表中；
新元素发现单元，用于若不存在交并比目标框，则确定该目标元素为新出现的元素，并根据该目标元素的检测框和类别新建一个跟踪路径序列框列表。
优选地，该交并比阈值为0.75。
优选地，该运动轨迹跟踪单元还包括：
第二帧间隔获取单元，用于获取当前视频帧与当前每个跟踪路径序列框列表中的最末检测框对应的视频帧的第二帧间隔；
列表丢弃单元，用于丢弃第二帧间隔不小于预设的第二间隔阈值的跟踪路径序列框列表。
优选地，该第二间隔阈值为5。
优选地，该运动轨迹跟踪单元还包括：
交并比检验单元，用于若存在该交并比目标框，则将最大交并比与次大交并比进行取对数检验；
检验结果确定单元，用于若通过取对数检验，则确定跟踪到该目标元素的运动轨迹；以及
跟踪子单元，用于若未通过取对数检验，则采用预设的余弦距离比对法跟踪该目标元素的运动轨迹。
优选地，该跟踪子单元还包括：
特征图获取单元，用于获取当前视频帧中该目标元素的最新特征图，以及第二序列框列表集合中每个跟踪路径序列框列表的最末检测框和次末检测框分别对应的第一特征图和第二特征图，其中，该第二序列框列表集合中包含所有的交并比目标框所在的跟踪路径序列框列表；
归一化处理单元，用于对该最新特征图以及所有的第一特征图和第二特征图进行归一化处理，得到统一大小的特征图；
余弦距离计算单元，用于分别计算经归一化处理后的最新特征图与每个第一特征图和每个第二特征图的第一余弦距离和第二余弦距离；
相似因子计算单元，用于对每个第一余弦距离和每个第二余弦距离，分别取对数后得到对应的第一特征相似因子和第二特征相似因子；
加权计算单元，用于对每个第一特征相似因子和与每个第一特征相似因子对应的第二特征相似因子进行线性加权计算，得到最小加权特征相似因子；以及
轨迹确定子单元，用于将与该最小加权特征相似因子对应的跟踪路径序列框列表所对应的运动轨迹作为该目标元素的运动轨迹，并将该目标元素的检测框添加到与该最小加权特征相似因子对应的跟踪路径序列框列表中。
优选地，该预设的违规行为检测算法为违规警示点算法，违规行为识别单元还包括：
警示点预测单元，用于根据主人行横道线上每个行人的运动轨迹预测出当前视频帧中的违规警示点；
位置关系判断单元，用于判断违规警示点是否处于识别出的任一机动车的最末检测框的上半部区域内；
违规行为确定单元，用于若违规警示点处于当前视频帧中的任一机动车检测框的上半部区域内，则确定在当前视频帧中检测出违规行为。
优选地，该违规行为识别单元还包括：
行人位置判断单元，用于判断当前视频帧中的每个行人是否处于主人行横道线上；
该行人位置判断单元还包括：
判断该行人的行人检测框下边缘中心点是否处于人行横道检测框内；以及
行人位置确定单元，用于若处于该人行横道检测框内，则判定该行人处于该人行横道线上。
在本发明实施例中，机动车是否礼让行人的检测装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。机动车是否礼让行人的检测装置的各单元的具体实施方式可参考前述方法实施例的描述，在此不再赘述。
实施例八：
图8示出了本发明实施例五提供的电子设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的电子设备8包括处理器80、存储器81以及存储在存储器81中并可在处理器80上运行的计算机程序82。该处理器80执行计算机程序82时实现上述各方法实施例中的步骤，例如图1所示的步骤S101至S103。或者，处理器80执行计算机程序82时实现上述各装置实施例中各单元的功能，例如图7所示单元71至73的功能。
实施例九：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如，图1所示的步骤S101至S103。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图7所示单元71至73的功能。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种机动车是否礼让行人的检测方法，其特征在于，所述方法包括下述步骤：
使用训练好的目标识别网络对采集到的视频帧进行目标元素识别，得到目标元素集合；
使用预设的目标跟踪算法跟踪所述目标元素集合中的目标元素的运动轨迹；
基于已识别出的主人行横道线和跟踪到的所述目标元素的运动轨迹，使用预设的违规行为检测算法检测当前视频帧中是否存在机动车不礼让行人的违规行为；
所述目标元素集合包括每个目标元素的类别和检测框，所述目标跟踪算法为最大交并比筛选法，所述使用预设的目标跟踪算法跟踪所述目标元素集合中的目标元素的运动轨迹的步骤，包括：
对于所述目标元素集合中的每个所述目标元素，根据当前所有的跟踪路径序列框列表获得第一序列框列表集合，其中，所述第一序列框列表集合中包含所有与所述目标元素的类别相同的跟踪路径序列框列表，每个所述跟踪路径序列框列表中包含跟踪到的目标元素的类别以及按时间顺序排列的该目标元素的检测框，每个所述跟踪路径序列框列表对应一个目标元素的运动轨迹；
计算所述目标元素的检测框与所述第一序列框列表集合中每个跟踪路径序列框列表的最末检测框的交并比；
判断是否存在交并比目标框，所述交并比目标框为交并比大于预设的交并比阈值的最末检测框；
若不存在所述交并比目标框，则确定所述目标元素为新出现的元素，并根据所述目标元素的检测框和类别新建一个跟踪路径序列框列表；
若存在所述交并比目标框，则将最大交并比与次大交并比进行取对数检验；
若通过取对数检验，则确定跟踪到所述目标元素的运动轨迹，并将所述目标元素的检测框添加到交并比最大的最末检测框所在的跟踪路径序列框列表中；
若未通过所述取对数检验，则获取当前视频帧中所述目标元素的最新特征图，以及第二序列框列表集合中每个所述跟踪路径序列框列表的最末检测框和次末检测框分别对应的第一特征图和第二特征图，其中，所述第二序列框列表集合中包含所有的所述交并比目标框所在的跟踪路径序列框列表；
对所述最新特征图以及所有的所述第一特征图和第二特征图进行归一化处理，得到统一大小的特征图；
分别计算经归一化处理后的最新特征图与每个所述第一特征图和每个所述第二特征图的第一余弦距离和第二余弦距离；
对每个所述第一余弦距离和每个所述第二余弦距离，分别取对数后得到对应的第一特征相似因子和第二特征相似因子；
对每个所述第一特征相似因子和与每个所述第一特征相似因子对应的第二特征相似因子进行线性加权计算，得到最小加权特征相似因子；
将与所述最小加权特征相似因子对应的跟踪路径序列框列表所对应的运动轨迹作为所述目标元素的运动轨迹，并将所述目标元素的检测框添加到与所述最小加权特征相似因子对应的跟踪路径序列框列表中。
2.如权利要求1所述的方法，其特征在于，所述使用训练好的目标识别网络对采集到的视频帧进行目标元素识别的步骤之前，还包括：
若满足预设的人行横道线识别条件，则识别所述主人行横道线，其中，所述人行横道线识别条件包括当前视频帧为视频首帧，或当前视频帧为预设的人行横道线识别周期对应的视频帧，和/或当前视频帧与前一该识别而未识别出人行横道线的视频帧的帧间隔等于预设的第一间隔阈值；
所述识别所述主人行横道线的步骤，还包括：
使用训练好的分割网络对当前视频帧进行人行横道线实例分割，获得至少一个粗定位人行横道检测框；
基于所有的所述粗定位人行横道检测框精定位所述主人行横道线；
所述分割网络为Mask R-CNN网络，对所述Mask R-CNN网络进行训练的步骤，包括：
获取车道线数据集；
若所述车道线数据集中的车道线标记仅包含车道线的侧边轮廓，则对所述车道线进行预处理，得到预处理后的车道线数据集，其中，所述车道线包括人行横道线，预处理后的车道线的标记包含分割掩模；
将所述预处理后的车道线数据集输入到所述Mask R-CNN网络进行训练，得到训练好的Mask R-CNN网络；
所述对所述车道线数据集中的车道线进行预处理的步骤，还包括：
若所述车道线的标记仅包含一条线，则以该线为轴心在两边各扩散预设的像素宽度，其中，所述像素宽度为5个像素宽度；
若所述车道线的标记包含两条直线，则将所述两条直 线的首端和末端分别进行连接，形成四边形闭合区域，并按照所述车道线的类别对所述四边形闭合区域进行填充。
3.如权利要求2所述的方法，其特征在于，所述基于所有的所述粗定位人行横道检测框精定位所述主人行横道线的步骤，包括：
基于每个所述粗定位人行横道检测框的置信度，采用预设的条件打分算法从所有的所述粗定位人行横道检测框中筛选所述主人行横道线，其中，所述条件打分算法结合了所述粗定位人行横道检测框在视频帧中的位置和/或所述粗定位人行横道检测框相对于视频帧的比例；
所述采用预设的条件打分算法从所有的所述粗定位人行横道检测框中筛选所述主人行横道线的步骤，包括：
采用预设的条件打分算法对每个所述粗定位人行横道检测框进行打分，得到每个所述粗定位人行横道检测框的条件总分；
获取条件总分最高的粗定位人行横道检测框，将所述条件总分最高的粗定位人行横道检测框作为主人行横道线检测框；
所述条件打分算法使用的公式如下：
其中，
表示第i个所述粗定位人行横道检测框的条件总分，
分别表示第i个所述粗定位人行横道检测框的左上角相对当前视频帧左上角在水平方向和垂直方向的距离，
分别表示第i个所述粗定位人行横道检测框的宽度和高度，heightIMG表示视频帧的高度，
表示第i个所述粗定位人行横道检测框的置信度，I()为指示函数，(R1t/h,R2t/h)表示第一预设区间，(R1w/h,R2w/h)表示第二预设区间，s1表示第一预设固定值，s2表示第二预设固定值；
所述获取条件总分最高的粗定位人行横道检测框的步骤之后，还包括：
判断所述条件总分最高的粗定位人行横道检测框与视频帧的宽度比是否小于预设的宽度比阈值；
若小于，则将所述条件总分最高的粗定位人行横道检测框向两侧等距离扩展，以使所述条件总分最高的粗定位人行横道检测框与视频帧的宽度比达到所述宽度比阈值，将扩展后的所述条件总分最高的粗定位人行横道检测框作为所述主人行横道线检测框；
若不小于，则将所述条件总分最高的粗定位人行横道检测框作为所述主人行横道线检测框。
4.如权利要求3所述的方法，其特征在于，所述目标识别网络为SSD MobileNet-v2网络，所述第一间隔阈值为10，所述第一预设区间为(0.4，0.6)，所述第一预设固定值为0.4，所述第二预设区间为(0.07，0.14)，所述第二预设固定值为0.14，所述宽度比阈值为0.85。
5.如权利要求1所述的方法，其特征在于，所述交并比阈值为0.75，
所述根据当前所有的跟踪路径序列框列表获得第一序列框列表集合的步骤之前，还包括：
获取当前视频帧与当前每个所述跟踪路径序列框列表中的最末检测框对应的视频帧的第二帧间隔；
丢弃第二帧间隔不小于预设的第二间隔阈值的跟踪路径序列框列表，其中，所述第二间隔阈值为5。
6.如权利要求1所述的方法，其特征在于，
所述取对数检验的使用公式为：
(log2IoUmax-log2IoUsecond_max)＜ε
其中，IoUmax表示最大交并比，IoUsecond_max表示次大交并比，ε为常数，表示预设的对数检验阈值。
7.如权利要求1所述的方法，其特征在于，所述预设的违规行为检测算法为违规警示点算法，使用预设的违规行为检测算法检测当前视频帧中是否存在机动车不礼让行人的违规行为的步骤，包括：
根据所述主人行横道线上每个行人的运动轨迹预测出当前视频帧中的违规警示点；
判断所述违规警示点是否处于识别出的任一机动车的最末检测框的上半部区域内；
若处于，则确定在当前视频帧中检测出所述违规行为；
所述违规警示点的计算方式为：
其中，xwp、ywp分别表示所述违规警示点的坐标，
分别表示行人的跟踪路径序列框列表中第m个检测框中心点的坐标，c表示行人的跟踪路径序列框列表中检测框的个数；
所述根据所述主人行横道线上每个行人的运动轨迹预测出当前视频帧中的违规警示点的步骤之前，包括：
判断当前视频帧中的每个行人是否处于所述主人行横道线上；
所述判断当前视频帧中的每个行人是否处于所述主人行横道线上的步骤，包括：
判断所述行人的行人检测框下边缘中心点是否处于人行横道检测框内；
若处于所述人行横道检测框内，则判定所述行人处于所述人行横道线上；
所述使用预设的违规行为检测算法检测当前视频帧中是否存在机动车不礼让行人的违规行为的步骤之后，还包括：
若检测到所述违规行为，则使用预设的车牌识别算法识别发生所述违规行为的机动车的车牌；
可视化显示所述车牌、所述违规行为和/或所述违规行为发生的时间。
8.一种机动车是否礼让行人的检测装置，其特征在于，所述装置包括：
目标元素识别单元，用于使用训练好的目标识别网络对采集到的视频帧进行目标元素识别，得到目标元素集合；
运动轨迹跟踪单元，用于使用预设的目标跟踪算法跟踪所述目标元素集合中的目标元素的运动轨迹；以及
违规行为识别单元，用于基于已识别出的主人行横道线和跟踪到的所述目标元素的运动轨迹，使用预设的违规行为检测算法检测当前视频帧中是否存在机动车不礼让行人的违规行为；
所述目标元素集合包括每个目标元素的类别和检测框，所述目标跟踪算法为最大交并比筛选法，所述运动轨迹跟踪单元还包括：
第一集合获取单元，用于对于所述目标元素集合中的每个所述目标元素，根据当前所有的跟踪路径序列框列表获得第一序列框列表集合，其中，所述第一序列框列表集合中包含所有与所述目标元素的类别相同的跟踪路径序列框列表，每个所述跟踪路径序列框列表中包含跟踪到的目标元素的类别以及按时间顺序排列的该目标元素的检测框，每个所述跟踪路径序列框列表对应一个目标元素的运动轨迹；
交并比计算单元，用于计算所述目标元素的检测框与所述第一序列框列表集合中每个跟踪路径序列框列表的最末检测框的交并比；
第一判断单元，用于判断是否存在交并比目标框，所述交并比目标框为交并比大于预设的交并比阈值的最末检测框；
新元素发现单元，用于若不存在所述交并比目标框，则确定所述目标元素为新出现的元素，并根据所述目标元素的检测框和类别新建一个跟踪路径序列框列表；
轨迹确定单元，用于若存在所述交并比目标框，则确定跟踪到所述目标元素的运动轨迹，并将所述目标元素的检测框添加到交并比最大的最末检测框所在的跟踪路径序列框列表中；
所述运动轨迹跟踪单元还包括：
交并比检验单元，用于若存在所述交并比目标框，则将最大交并比与次大交并比进行取对数检验；
检验结果确定单元，用于若通过取对数检验，则确定跟踪到所述目标元素的运动轨迹；
跟踪子单元，用于若未通过取对数检验，则采用预设的余弦距离比对法跟踪所述目标元素的运动轨迹；
所述跟踪子单元还包括：
特征图获取单元，用于获取当前视频帧中所述目标元素的最新特征图，以及第二序列框列表集合中每个所述跟踪路径序列框列表的最末检测框和次末检测框分别对应的第一特征图和第二特征图，其中，所述第二序列框列表集合中包含所有的所述交并比目标框所在的跟踪路径序列框列表；
归一化处理单元，用于对所述最新特征图以及所有的所述第一特征图和第二特征图进行归一化处理，得到统一大小的特征图；
余弦距离计算单元，用于分别计算经归一化处理后的最新特征图与每个所述第一特征图和每个所述第二特征图的第一余弦距离和第二余弦距离；
相似因子计算单元，用于对每个所述第一余弦距离和每个所述第二余弦距离，分别取对数后得到对应的第一特征相似因子和第二特征相似因子；
加权计算单元，用于对每个所述第一特征相似因子和与每个所述第一特征相似因子对应的第二特征相似因子进行线性加权计算，得到最小加权特征相似因子；以及
轨迹确定子单元，用于将与所述最小加权特征相似因子对应的跟踪路径序列框列表所对应的运动轨迹作为所述目标元素的运动轨迹，并将所述目标元素的检测框添加到与所述最小加权特征相似因子对应的跟踪路径序列框列表中。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110295491.7A CN113011331B (zh) | 2021-03-19 | 2021-03-19 | 机动车是否礼让行人的检测方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110295491.7A CN113011331B (zh) | 2021-03-19 | 2021-03-19 | 机动车是否礼让行人的检测方法、装置、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113011331A CN113011331A (zh) | 2021-06-22 |
| CN113011331B true CN113011331B (zh) | 2021-11-09 |
Family
ID=76403086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110295491.7A Expired - Fee Related CN113011331B (zh) | 2021-03-19 | 2021-03-19 | 机动车是否礼让行人的检测方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113011331B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI787990B (zh) * | 2021-09-07 | 2022-12-21 | 中華電信股份有限公司 | 監視未禮讓行人之車輛的系統和方法 |
| CN115546192B (zh) * | 2022-11-03 | 2023-03-21 | 中国平安财产保险股份有限公司 | 牲畜数量识别方法、装置、设备及存储介质 |
| CN117037045B (zh) * | 2023-10-08 | 2024-04-26 | 成都考拉悠然科技有限公司 | 基于融合聚类与深度学习的异常检测*** |
| CN117392621B (zh) * | 2023-11-07 | 2024-06-07 | 西南交通大学 | 一种机动车右转不礼让行人行为识别方法及*** |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104361747A (zh) * | 2014-11-11 | 2015-02-18 | 杭州新迪数字工程***有限公司 | 机动车斑马线未礼让行人自动抓拍***与识别方法 |
| CN107730906A (zh) * | 2017-07-11 | 2018-02-23 | 银江股份有限公司 | 斑马线车辆不礼让行人行为的视觉检测*** |
| US9946960B1 (en) * | 2017-10-13 | 2018-04-17 | StradVision, Inc. | Method for acquiring bounding box corresponding to an object in an image by using convolutional neural network including tracking network and computing device using the same |
| CN109493609A (zh) * | 2018-12-11 | 2019-03-19 | 杭州炬视科技有限公司 | 一种便携式未礼让行人自动识别抓拍的装置和方法 |
| CN110232370A (zh) * | 2019-06-21 | 2019-09-13 | 华北电力大学（保定） | 一种改进ssd模型的输电线路航拍图像金具检测方法 |
| CN110689724A (zh) * | 2018-12-31 | 2020-01-14 | 上海眼控科技股份有限公司 | 一种基于深度学习的机动车斑马线礼让行人自动审核方法 |
| CN111524161A (zh) * | 2019-02-01 | 2020-08-11 | 杭州海康威视数字技术股份有限公司 | 提取轨迹的方法和装置 |
| CN111986228A (zh) * | 2020-09-02 | 2020-11-24 | 华侨大学 | 一种基于lstm模型扶梯场景下的行人跟踪方法、装置和介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030126622A1 (en) * | 2001-12-27 | 2003-07-03 | Koninklijke Philips Electronics N.V. | Method for efficiently storing the trajectory of tracked objects in video |
| US9275286B2 (en) * | 2014-05-15 | 2016-03-01 | Xerox Corporation | Short-time stopping detection from red light camera videos |
| CN110060274A (zh) * | 2019-04-12 | 2019-07-26 | 北京影谱科技股份有限公司 | 基于深度稠密连接的神经网络的视觉目标跟踪方法和装置 |
| CN110378259A (zh) * | 2019-07-05 | 2019-10-25 | 桂林电子科技大学 | 一种面向监控视频的多目标行为识别方法及*** |
| CN111460926B (zh) * | 2020-03-16 | 2022-10-14 | 华中科技大学 | 一种融合多目标跟踪线索的视频行人检测方法 |
-
2021
- 2021-03-19 CN CN202110295491.7A patent/CN113011331B/zh not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104361747A (zh) * | 2014-11-11 | 2015-02-18 | 杭州新迪数字工程***有限公司 | 机动车斑马线未礼让行人自动抓拍***与识别方法 |
| CN107730906A (zh) * | 2017-07-11 | 2018-02-23 | 银江股份有限公司 | 斑马线车辆不礼让行人行为的视觉检测*** |
| US9946960B1 (en) * | 2017-10-13 | 2018-04-17 | StradVision, Inc. | Method for acquiring bounding box corresponding to an object in an image by using convolutional neural network including tracking network and computing device using the same |
| CN109493609A (zh) * | 2018-12-11 | 2019-03-19 | 杭州炬视科技有限公司 | 一种便携式未礼让行人自动识别抓拍的装置和方法 |
| CN110689724A (zh) * | 2018-12-31 | 2020-01-14 | 上海眼控科技股份有限公司 | 一种基于深度学习的机动车斑马线礼让行人自动审核方法 |
| CN111524161A (zh) * | 2019-02-01 | 2020-08-11 | 杭州海康威视数字技术股份有限公司 | 提取轨迹的方法和装置 |
| CN110232370A (zh) * | 2019-06-21 | 2019-09-13 | 华北电力大学（保定） | 一种改进ssd模型的输电线路航拍图像金具检测方法 |
| CN111986228A (zh) * | 2020-09-02 | 2020-11-24 | 华侨大学 | 一种基于lstm模型扶梯场景下的行人跟踪方法、装置和介质 |
Non-Patent Citations (2)
| Title |
|---|
| Multiple Object Tracking: A Literature Review;Wenhan Luo等;《arxiv》;20170522;第1-18页 * |
| 武汉市智能交通***路口检测子***的设计与实现;郑凯;《中国硕士学位论文全文数据库信息科技辑》;20190115;第2019年卷(第1期);I138-2319 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113011331A (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113011331B (zh) | 机动车是否礼让行人的检测方法、装置、电子设备及介质 | |
| CN103824452B (zh) | 一种轻量级的基于全景视觉的违章停车检测装置 | |
| CN109284674B (zh) | 一种确定车道线的方法及装置 | |
| US11380104B2 (en) | Method and device for detecting illegal parking, and electronic device | |
| CN109977782B (zh) | 基于目标位置信息推理的跨店经营行为检测方法 | |
| CN105702048B (zh) | 基于行车记录仪的高速公路前车违法占道识别***及方法 | |
| CN100452110C (zh) | 一种车辆视频识别测速方法 | |
| CN102903239B (zh) | 交通路口车辆左右违章转向检测方法和*** | |
| CN112016605B (zh) | 一种基于边界框角点对齐和边界匹配的目标检测方法 | |
| CN106446150A (zh) | 一种车辆精确检索的方法及装置 | |
| CN112651293B (zh) | 一种公路违法设摊事件视频检测方法 | |
| CN107644206A (zh) | 一种道路异常行为动作检测装置 | |
| CN107705577B (zh) | 一种基于车道线标定车辆违章变道的实时检测方法及*** | |
| CN111126323A (zh) | 服务于交通违规检测的卡口元素识别与分析方法、*** | |
| CN111554105A (zh) | 一种复杂交通路口的智能流量识别与统计方法 | |
| JP6678552B2 (ja) | 車種判別装置および車種判別方法 | |
| CN111898491A (zh) | 一种车辆逆向行驶的识别方法、装置及电子设备 | |
| CN105184291A (zh) | 一种多类型车牌检测方法及*** | |
| CN111369801A (zh) | 车辆识别方法、装置、设备和存储介质 | |
| Suttiponpisarn et al. | Detection of wrong direction vehicles on two-way traffic | |
| CN111524350A (zh) | 车路协同异常行驶状况检测方法、***、终端设备及介质 | |
| CN112447060A (zh) | 识别车道的方法、装置及计算设备 | |
| Coronado et al. | Detection and classification of road signs for automatic inventory systems using computer vision | |
| CN114693722B (zh) | 一种车辆行驶行为检测方法、检测装置及检测设备 | |
| KR20130095578A (ko) | 도로 영역 및 기하학적 정보를 이용한 차로 인식 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211109 |