CN117475389B - 一种人行横道信号灯的控制方法、***、设备和存储介质 - Google Patents

一种人行横道信号灯的控制方法、***、设备和存储介质 Download PDF

Info

Publication number
CN117475389B
CN117475389B CN202311809930.7A CN202311809930A CN117475389B CN 117475389 B CN117475389 B CN 117475389B CN 202311809930 A CN202311809930 A CN 202311809930A CN 117475389 B CN117475389 B CN 117475389B
Authority
CN
China
Prior art keywords
detection frame
interest
region
feature
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311809930.7A
Other languages
English (en)
Other versions
CN117475389A (zh
Inventor
张有磊
潘晓东
于洋
于晰廷
初明超
姜再超
宫行磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Hairun Shuju Technology Co ltd
Original Assignee
Shandong Hairun Shuju Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Hairun Shuju Technology Co ltd filed Critical Shandong Hairun Shuju Technology Co ltd
Priority to CN202311809930.7A priority Critical patent/CN117475389B/zh
Publication of CN117475389A publication Critical patent/CN117475389A/zh
Application granted granted Critical
Publication of CN117475389B publication Critical patent/CN117475389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像数据处理技术领域，具体为一种人行横道信号灯的控制方法、***、设备和存储介质，该控制方法将人行横道图像进行语义特征提取和特征融合，得到的融合特征图经检测框预测和分类后，根据交并比值和分类概率进行检测框筛选，留下可靠性强的检测框用于统计斑马线区域行人数和等待区域行人数，最后根据斑马线区域行人数和等待区域行人数，灵活控制人行横道信号灯显示情况，可合理安排行人过街道，避免交通安全事故的发生。

Description

一种人行横道信号灯的控制方法、***、设备和存储介质
技术领域
本发明涉及图像数据处理技术领域，具体为一种人行横道信号灯的控制方法、***、设备和存储介质。
背景技术
早晚高峰期间，行人及来往车辆较多，人行横道信号灯若是显示不科学，容易造成人行横道拥挤，发生行人碰撞事件，甚至会影响后续车辆通行，加剧交通堵塞。
现有的人行横道信号灯，主要是通过控制信号灯的固定时长，来控制通行时间。但是，当行人数量较多时，信号灯切换时间相对较短，容易造成人行通道拥堵；当行人数量较少时，信号灯切换时间相对较长，容易出现行人闯红灯现象，易造成交通安全事故发生。
发明内容
本发明的目的是提供一种基于行人识别结果的人行横道信号灯的控制方法、***、设备和存储介质。
本发明技术方案如下：
一种人行横道信号灯的控制方法，包括如下操作：
S1、获取人行横道图像，所述人行横道图像经卷积处理，得到第一特征图；所述人行横道图像依次经第一语义特征提取和第二语义特征提取，得到第二特征图；所述第一特征图和第二特征图经特征融合处理，得到融合特征图；
S2、所述融合特征图经检测框预测处理和分类处理，得到感兴趣区域检测框集；
获取所述感兴趣区域检测框集中，同一感兴趣区域内，与真实框的交并比值大于第一阈值的对应预测框，得到感兴趣区域优化检测框集；
获取所述感兴趣区域优化检测框集中，同一感兴趣区域内，分类概率最大值对应的检测框，得到感兴趣区域分类框集；
S3、获取所述感兴趣区域分类框集中，分类结果为行人的检测框，得到行人检测框集；
所述行人检测框集经位置特征匹配处理，得到斑马线区域行人数和等待区域行人数；
S4、基于所述斑马线区域行人数和等待区域行人数，得到人行横道信号灯结果。
所述S1中第一语义特征提取的操作具体为：所述人行横道图像依次经特征卷积和局部特征聚合，得到的局部聚合特征图，用于执行所述第二语义特征提取的操作；所述局部特征聚合的操作具体为：将经特征卷积处理过的卷积输入，进行多次特征卷积处理后，得到卷积聚合图；所述卷积聚合图与卷积输入经特征融合处理，得到所述局部聚合特征图。
所述第二语义特征提取的操作具体为：所述局部聚合特征图经卷积处理，得到优化局部聚合图；所述优化局部聚合图经特征校准处理，得到校准聚合特征图；所述校准聚合特征图与优化局部聚合图经特征融合处理，得到所述第二特征图。
所述特征校准处理的操作具体为：所述优化局部聚合图经平均池化处理，得到池化局部聚合图；所述优化局部聚合图依次经平均池化处理和标准池化处理，得到标准局部聚合图；所述池化局部聚合图和标准局部聚合图经特征融合，得到初始校准聚合图；所述初始校准聚合图依次经线性处理、批量归一化处理和非线性处理，得到所述校准聚合特征图。
所述S3中得到感兴趣区域检测框集的操作具体为：所述融合特征图经边界框回归处理，得到由每个感兴趣区域内多个检测框形成的检测框集；所述检测框集中，每个检测框经特征提取后，与标准数据库进行匹配，得到的匹配度最大值与对应类别，分别作为对应检测框的分类概率值和分类结果；每个检测框，以及对应分类概率值和分类结果，形成了所述感兴趣区域检测框集。
所述S3中位置特征匹配处理的操作具体为：将所述行人检测框集中，每个行人检测框的底部中心位置点，分别与斑马线区域位置范围和等待区域位置范围进行匹配；若行人检测框的底部中心位置点处于斑马线区域位置范围内，对应行人检测框为斑马线区域行人检测框，统计所有斑马线区域行人检测框的数量，得到所述斑马线区域行人数；若行人检测框的底部中心位置点处于等待区域位置范围内，对应行人检测框为等待区域行人检测框，统计所有等待区域行人检测框的数量，得到所述等待区域行人数。
所述S4的操作具体为：当所述斑马线区域行人数不为0时，所述人行横道信号灯结果为通行；当所述斑马线区域行人数为0时，等待区域行人数超过第二阈值，或等待区域行人数对应的等待时间超过第三阈值，所述人行横道信号灯结果为通行。
一种人行横道信号灯的控制***，包括：
融合特征图生成模块，用于获取人行横道图像，所述人行横道图像经卷积处理，得到第一特征图；所述人行横道图像依次经第一语义特征提取和第二语义特征提取，得到第二特征图；所述第一特征图和第二特征图经特征融合处理，得到融合特征图；
感兴趣区域分类框集生成模块，用于所述融合特征图经检测框预测处理和分类处理，得到感兴趣区域检测框集；获取所述感兴趣区域检测框集中，同一感兴趣区域内，与真实框的交并比值大于第一阈值的对应预测框，得到感兴趣区域优化检测框集；获取所述感兴趣区域优化检测框集中，同一感兴趣区域内，分类概率最大值对应的检测框，得到感兴趣区域分类框集；
斑马线区域行人数和等待区域行人数生成模块，用于获取所述感兴趣区域分类框集中，分类结果为行人的检测框，得到行人检测框集；所述行人检测框集经位置特征匹配处理，得到斑马线区域行人数和等待区域行人数；
人行横道信号灯结果生成模块，用于基于所述斑马线区域行人数和等待区域行人数，得到人行横道信号灯结果。
一种人行横道信号灯的控制设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现上述的人行横道信号灯的控制方法。
一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现上述的人行横道信号灯的控制方法。
本发明的有益效果在于：
本发明提供的一种人行横道信号灯的控制方法，将人行横道图像进行语义特征提取和特征融合，得到的融合特征图经检测框预测和分类后，根据交并比值和分类概率进行检测框筛选，留下可靠性强的检测框用于统计斑马线区域行人数和等待区域行人数，最后根据斑马线区域行人数和等待区域行人数，灵活控制人行横道信号灯显示情况，合理安排行人过马路，避免交通安全事故的发生。
具体实施方式
本实施例提供了一种人行横道信号灯的控制方法，包括如下操作：
S1、获取人行横道图像，所述人行横道图像经卷积处理，得到第一特征图；所述人行横道图像依次经第一语义特征提取和第二语义特征提取，得到第二特征图；所述第一特征图和第二特征图经特征融合处理，得到融合特征图；
S2、所述融合特征图经检测框预测处理和分类处理，得到感兴趣区域检测框集；获取所述感兴趣区域检测框集中，同一感兴趣区域内，与真实框的交并比值大于第一阈值的对应预测框，得到感兴趣区域优化检测框集；获取所述感兴趣区域优化检测框集中，同一感兴趣区域内，分类概率最大值对应的检测框，得到感兴趣区域分类框集；
S3、获取所述感兴趣区域分类框集中，分类结果为行人的检测框，得到行人检测框集；所述行人检测框集经位置特征匹配处理，得到斑马线区域行人数和等待区域行人数；
S4、基于所述斑马线区域行人数和等待区域行人数，得到人行横道信号灯结果。
S1、获取人行横道图像，人行横道图像经卷积处理，得到第一特征图；人行横道图像依次经第一语义特征提取和第二语义特征提取，得到第二特征图；第一特征图和第二特征图经特征融合处理，得到融合特征图。
获取人行横道图像。使用网线连接正对人行横道的摄像头和工控机，拉取出RTSP视频流后，利用opencv-python库进行抽帧，得到待检的人行横道图像。
第一语义特征提取的操作为：人行横道图像依次经特征卷积和局部特征聚合，得到的局部聚合特征图用于执行第二语义特征提取的操作；局部特征聚合的操作具体为：将经特征卷积处理过的卷积输入，进行多次特征卷积处理后，得到卷积聚合图；卷积聚合图与卷积输入经特征融合处理，得到局部聚合特征图。特征卷积包括：3×3普通卷积、批量归一化和线性处理（可通过Leaky relu激活函数实现）。
第二语义特征提取的操作具体为：局部聚合特征图经卷积处理，得到优化局部聚合图；优化局部聚合图经特征校准处理，得到校准聚合特征图；校准聚合特征图与优化局部聚合图经特征融合处理，得到第二特征图。
特征校准处理的操作为：优化局部聚合图经平均池化处理，得到池化局部聚合图；优化局部聚合图依次经平均池化处理和标准池化处理，得到标准局部聚合图；池化局部聚合图和标准局部聚合图经特征融合，得到初始校准聚合图；初始校准聚合图依次经线性处理、批量归一化处理和非线性处理（可通过sigmoid激活函数实现），得到校准聚合特征图。
其中，平均池化处理的操作可通过如下公式实现：
，
μ nc 为池化局部聚合图，x nc 为优化局部聚合图，H为优化局部聚合图的高，W为优化局部聚合图的宽。
标准池化处理的操作可通过如下公式实现：
，
σ nc 为标准局部聚合图，x nc 为优化局部聚合图，μ nc 为池化局部聚合图，H为优化局部聚合图的高，W为优化局部聚合图的宽。
为提升融合特征图的空间语义表达能力，提升检测结果的准确性，融合特征图经多空间尺度特征处理，得到优化融合特征图；优化融合特征图用于执行S2中的操作。
多空间尺度特征处理的操作为：融合特征图经图像多空间转化处理，得到多个不同空间大小的空间特征图；所有空间特征图分别经多通道特征提取处理，得到的所有通道特征图经加权处理，得到优化融合特征图。
多通道特征提取处理的操作为：将空间特征图经图像多通道转化处理，得到多个不同通道大小的初始通道特征图；所有初始通道特征图分别依次进行卷积处理、归一化处理和非线性处理，得到的所有优化通道特征图与各自对应的学习参数相乘后，再进行求和处理，得到优化融合特征图。以单个初始通道特征图为例，初始通道特征图依次进行卷积处理、归一化处理和非线性处理，得到优化通道特征图特征，以此类推，得到的所有优化通道特征图，与各自对应的学习参数相乘后，再进行求和处理，得到优化融合特征图。
S2、融合特征图或优化融合特征图经检测框预测处理和分类处理，得到感兴趣区域检测框集；获取感兴趣区域检测框集中，同一感兴趣区域内，与真实框的交并比值大于第一阈值的对应预测框，得到感兴趣区域优化检测框集；获取感兴趣区域优化检测框集中，同一感兴趣区域内，分类概率最大值对应的检测框，得到感兴趣区域分类框集。
得到感兴趣区域检测框集的操作为：融合特征图或优化融合特征图经边界框回归处理，得到由每个感兴趣区域内多个检测框形成的检测框集；检测框集中，每个检测框经特征提取后，与标准数据库进行匹配，得到的匹配度最大值与对应类别，分别作为对应检测框的分类概率值和分类结果；每个检测框，以及对应分类概率值和分类结果，形成了感兴趣区域检测框集。
具体为，根据融合特征图的像素分布特点，进行边界框回归处理（边界框回归处理为现有技术，为节省篇幅，不再此过多叙述），使融合特征图上同一块感兴趣区域内分布多个检测框；接着，对同一个感兴趣区域内，每个检测框进行卷积和池化处理来实现上述的特征提取，根据特征提取后的图像中的地物语义信息，与标准数据库中的标准分类图像进行语义特征匹配，输出匹配度为最大值的对应标准分类图像的类别，作为该检测框的分类结果，而匹配度最大值则作为对应检测框的分类概率值，也就是分类结果与真实结果之间的相似度，由此得到检测框的分类概率值和分类结果；所有检测框，以及它们分别对应的分类概率值和分类结果，形成了感兴趣区域检测框集。
为进一步缩小检测框的数量，提高计算效率，将上述感兴趣区域检测框集中，同一感兴趣区域内，与真实框的交并比值大于第一阈值的对应预测框保留，作为与真实结果更接近的优化检测框，删除其他检测框，由此得到的由不同感兴趣区域所有优化检测框形成的感兴趣区域优化检测框集。其中，交并比值的计算公式为：交并比（Intersection overUnion，IOU）=检测框与真实框相交面积/检测框与真实框的相并面积。
最后，提取感兴趣区域优化检测框集中，同一感兴趣区域内，分类概率最大值对应的检测框，作为最终的分类的结果，得到感兴趣区域分类框集。
为提升感兴趣区域分类框集的准确度，当感兴趣区域检测框集与真实框集的特征损失熵小于损失阈值时，输出当前感兴趣区域检测框，作为检测框。
特征损失熵由分类损失熵、置信度损失熵和交并比损失熵进行求和处理得到。
分类损失熵可通过如下公式得到：
，
L cla 为分类损失熵，N为预测框的总数，y i 为第i个预测框的分类真实值，p(y i)为第i个预测框的分类预测值。
置信度损失熵可通过如下公式得到：
，
L con 为置信度损失熵，N为预测框的总数，x i 为第i个预测框与真实框的真实相似度，p(y i)为第i个预测框与真实框的预测相似度。
交并比损失熵可通过如下公式实现：
，
L CIoU 为交并比损失熵，IoU为预测框与真实框的重叠程度，ρ为预测框与真实框的中心点距离，c为预测框的对角线长度，v为预测框与真实框宽高比相似度，α第一相关系数。
其中，v的计算公式为：
，
w A 为预测框的宽度，h A 为预测框的高度，w B 为真实框的宽度，h B 为真实框的高，，分别为预测框、真实框的宽高比。
S3、获取感兴趣区域分类框集中，分类结果为行人的检测框，得到行人检测框集；行人检测框集经位置特征匹配处理，得到斑马线区域行人数和等待区域行人数。
位置特征匹配处理的操作具体为：将行人检测框集中，每个行人检测框的底部中心位置点，分别与斑马线区域位置范围和等待区域位置范围进行匹配；若行人检测框的底部中心位置点处于斑马线区域位置范围内，对应行人检测框为斑马线区域行人检测框，统计所有斑马线区域行人检测框的数量，得到斑马线区域行人数；若行人检测框的底部中心位置点处于等待区域位置范围内，对应行人检测框为等待区域行人检测框，统计所有等待区域行人检测框的数量，得到等待区域行人数。
S4、基于斑马线区域行人数和等待区域行人数，得到人行横道信号灯结果。
当斑马线区域行人数不为0时，人行横道信号灯结果为通行；当斑马线区域行人数为0时，等待区域行人数超过第二阈值（可设置为5人），或等待区域行人数对应的等待时间超过第三阈值（可设置为60s），人行横道信号灯结果为通行。
具体为，当斑马线区域上有人时，人行横道信号灯亮绿灯，示意行人通行；当斑马线区域上没有人时，但等待区域行人数超过了5人，此人行横道信号灯亮绿灯，示意行人通行；或者等待区域行人数不超过5人，但是有行人等待的时间超过了60s，此人行横道信号灯亮绿灯，示意行人通行。行人的等待时间，可通过将目标行人首次进入等待区域的时刻，与当前人行横道图像的时刻作差得到。
本实施例中，选择使用工控机将斑马线区域行人数和等待和等待区域行人数通过串口实时传递给信号灯***，单片机串口接收到数据后会判断是否进行信号灯的切换。为了避免数据的干扰，进行头数据尾进行发送，比如发送数据如“aabb0100ccdd”，“aabb”是帧头“ccdd”是帧尾，斑马线区域行人数和等待和等待区域行人数分别对应01、00这两个16进制位数，如此可保证了单片机接受信号是稳定和可靠的。
本实施例还提供一种人行横道信号灯的控制***，包括：
融合特征图生成模块，用于获取人行横道图像，人行横道图像经卷积处理，得到第一特征图；人行横道图像依次经第一语义特征提取和第二语义特征提取，得到第二特征图；第一特征图和第二特征图经特征融合处理，得到融合特征图；
感兴趣区域分类框集生成模块，用于融合特征图经检测框预测处理和分类处理，得到感兴趣区域检测框集；获取感兴趣区域检测框集中，同一感兴趣区域内，与真实框的交并比值大于第一阈值的对应预测框，得到感兴趣区域优化检测框集；获取感兴趣区域优化检测框集中，同一感兴趣区域内，分类概率最大值对应的检测框，得到感兴趣区域分类框集；
斑马线区域行人数和等待区域行人数生成模块，用于获取感兴趣区域分类框集中，分类结果为行人的检测框，得到行人检测框集；行人检测框集经位置特征匹配处理，得到斑马线区域行人数和等待区域行人数；
人行横道信号灯结果生成模块，用于基于斑马线区域行人数和等待区域行人数，得到人行横道信号灯结果。
本实施例还提供一种人行横道信号灯的控制设备，包括处理器和存储器，其中，处理器执行存储器中保存的计算机程序时实现上述的人行横道信号灯的控制方法。
本实施例还提供一种计算机可读存储介质，用于存储计算机程序，其中，计算机程序被处理器执行时实现上述的人行横道信号灯的控制方法。
本实施例提供的一种人行横道信号灯的控制方法，将人行横道图像进行语义特征提取和特征融合，得到的融合特征图经检测框预测和分类后，根据交并比值和分类概率进行检测框筛选，留下可靠性强的检测框用于统计斑马线区域行人数和等待区域行人数，最后根据斑马线区域行人数和等待区域行人数，灵活控制人行横道信号灯显示情况，合理安排行人过马路，避免交通安全事故的发生。

Claims (8)

1.一种人行横道信号灯的控制方法，其特征在于，包括如下操作：
S1、获取人行横道图像，所述人行横道图像经卷积处理，得到第一特征图；所述人行横道图像依次经第一语义特征提取和第二语义特征提取，得到第二特征图；所述第一特征图和第二特征图经特征融合处理，得到融合特征图；
S2、所述融合特征图经检测框预测处理和分类处理，得到感兴趣区域检测框集；所述得到感兴趣区域检测框集的操作具体为：所述融合特征图经边界框回归处理，得到由每个感兴趣区域内多个检测框形成的检测框集；所述检测框集中，每个检测框经特征提取后，与标准数据库进行匹配，得到的匹配度最大值与对应类别，分别作为对应检测框的分类概率值和分类结果；每个检测框，以及对应分类概率值和分类结果，形成了所述感兴趣区域检测框集；
获取所述感兴趣区域检测框集中，同一感兴趣区域内，与真实框的交并比值大于第一阈值的对应预测框，得到感兴趣区域优化检测框集；
获取所述感兴趣区域优化检测框集中，同一感兴趣区域内，分类概率最大值对应的检测框，得到感兴趣区域分类框集；
S3、获取所述感兴趣区域分类框集中，分类结果为行人的检测框，得到行人检测框集；
所述行人检测框集经位置特征匹配处理，得到斑马线区域行人数和等待区域行人数；
S4、基于所述斑马线区域行人数和等待区域行人数，得到人行横道信号灯结果；具体为：当所述斑马线区域行人数不为0时，所述人行横道信号灯结果为通行；当所述斑马线区域行人数为0时，等待区域行人数超过第二阈值，或等待区域行人数对应的等待时间超过第三阈值，所述人行横道信号灯结果为通行。
2.根据权利要求1所述的人行横道信号灯的控制方法，其特征在于，所述S1中第一语义特征提取的操作具体为：
所述人行横道图像依次经特征卷积和局部特征聚合，得到的局部聚合特征图，用于执行所述第二语义特征提取的操作；
所述局部特征聚合的操作具体为：将经特征卷积处理过的卷积输入，进行多次特征卷积处理后，得到卷积聚合图；所述卷积聚合图与卷积输入经特征融合处理，得到所述局部聚合特征图。
3.根据权利要求2所述的人行横道信号灯的控制方法，其特征在于，所述第二语义特征提取的操作具体为：
所述局部聚合特征图经卷积处理，得到优化局部聚合图；
所述优化局部聚合图经特征校准处理，得到校准聚合特征图；
所述校准聚合特征图与优化局部聚合图经特征融合处理，得到所述第二特征图。
4.根据权利要求3所述的人行横道信号灯的控制方法，其特征在于，所述特征校准处理的操作具体为：
所述优化局部聚合图经平均池化处理，得到池化局部聚合图；
所述优化局部聚合图依次经平均池化处理和标准池化处理，得到标准局部聚合图；
所述池化局部聚合图和标准局部聚合图经特征融合，得到初始校准聚合图；
所述初始校准聚合图依次经线性处理、批量归一化处理和非线性处理，得到所述校准聚合特征图。
5.根据权利要求1所述的人行横道信号灯的控制方法，其特征在于，所述S3中位置特征匹配处理的操作具体为：
将所述行人检测框集中，每个行人检测框的底部中心位置点，分别与斑马线区域位置范围和等待区域位置范围进行匹配；
若行人检测框的底部中心位置点处于斑马线区域位置范围内，对应行人检测框为斑马线区域行人检测框，统计所有斑马线区域行人检测框的数量，得到所述斑马线区域行人数；
若行人检测框的底部中心位置点处于等待区域位置范围内，对应行人检测框为等待区域行人检测框，统计所有等待区域行人检测框的数量，得到所述等待区域行人数。
6.一种人行横道信号灯的控制***，其特征在于，包括：
融合特征图生成模块，用于获取人行横道图像，所述人行横道图像经卷积处理，得到第一特征图；所述人行横道图像依次经第一语义特征提取和第二语义特征提取，得到第二特征图；所述第一特征图和第二特征图经特征融合处理，得到融合特征图；
感兴趣区域分类框集生成模块，用于所述融合特征图经检测框预测处理和分类处理，得到感兴趣区域检测框集；所述得到感兴趣区域检测框集的操作具体为：所述融合特征图经边界框回归处理，得到由每个感兴趣区域内多个检测框形成的检测框集；所述检测框集中，每个检测框经特征提取后，与标准数据库进行匹配，得到的匹配度最大值与对应类别，分别作为对应检测框的分类概率值和分类结果；每个检测框，以及对应分类概率值和分类结果，形成了所述感兴趣区域检测框集；获取所述感兴趣区域检测框集中，同一感兴趣区域内，与真实框的交并比值大于第一阈值的对应预测框，得到感兴趣区域优化检测框集；获取所述感兴趣区域优化检测框集中，同一感兴趣区域内，分类概率最大值对应的检测框，得到感兴趣区域分类框集；
斑马线区域行人数和等待区域行人数生成模块，用于获取所述感兴趣区域分类框集中，分类结果为行人的检测框，得到行人检测框集；所述行人检测框集经位置特征匹配处理，得到斑马线区域行人数和等待区域行人数；
人行横道信号灯结果生成模块，用于基于所述斑马线区域行人数和等待区域行人数，得到人行横道信号灯结果；具体为：当所述斑马线区域行人数不为0时，所述人行横道信号灯结果为通行；当所述斑马线区域行人数为0时，等待区域行人数超过第二阈值，或等待区域行人数对应的等待时间超过第三阈值，所述人行横道信号灯结果为通行。
7.一种人行横道信号灯的控制设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1-5任一项所述的人行横道信号灯的控制方法。
8.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的人行横道信号灯的控制方法。
CN202311809930.7A 2023-12-27 2023-12-27 一种人行横道信号灯的控制方法、***、设备和存储介质 Active CN117475389B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311809930.7A CN117475389B (zh) 2023-12-27 2023-12-27 一种人行横道信号灯的控制方法、***、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311809930.7A CN117475389B (zh) 2023-12-27 2023-12-27 一种人行横道信号灯的控制方法、***、设备和存储介质

Publications (2)

Publication Number Publication Date
CN117475389A CN117475389A (zh) 2024-01-30
CN117475389B true CN117475389B (zh) 2024-03-15

Family

ID=89627777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311809930.7A Active CN117475389B (zh) 2023-12-27 2023-12-27 一种人行横道信号灯的控制方法、***、设备和存储介质

Country Status (1)

Country Link
CN (1) CN117475389B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893895A (zh) * 2024-03-15 2024-04-16 山东省海洋资源与环境研究院(山东省海洋环境监测中心、山东省水产品质量检验中心) 一种三疣梭子蟹的识别方法、***、设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966401A (zh) * 2015-06-30 2015-10-07 广州市高科通信技术股份有限公司 基于视频检测行人过街的道路交通信号控制方法及***
CN110781744A (zh) * 2019-09-23 2020-02-11 杭州电子科技大学 一种基于多层次特征融合的小尺度行人检测方法
CN111027493A (zh) * 2019-12-13 2020-04-17 电子科技大学 一种基于深度学习多网络软融合的行人检测方法
CN112052787A (zh) * 2020-09-03 2020-12-08 腾讯科技（深圳）有限公司 基于人工智能的目标检测方法、装置及电子设备
CN112446231A (zh) * 2019-08-27 2021-03-05 丰图科技(深圳)有限公司 一种人行横道检测方法、装置、计算机设备及存储介质
CN112674998A (zh) * 2020-12-23 2021-04-20 北京工业大学 基于快速深度神经网络和移动智能设备的盲人交通路口辅助方法
CN113313943A (zh) * 2021-05-27 2021-08-27 中国科学院合肥物质科学研究院 一种基于路侧感知的路口通行实时调度方法与***
WO2022104774A1 (zh) * 2020-11-23 2022-05-27 华为技术有限公司 目标检测方法和装置
KR102453096B1 (ko) * 2022-06-24 2022-10-11 유에프엠시스템즈 주식회사 스마트 횡단보도 신호 제어시스템
WO2023005258A1 (zh) * 2021-07-26 2023-02-02 上海商汤智能科技有限公司 交通路口检测方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830205B (zh) * 2018-06-04 2019-06-14 江南大学 基于改进全卷积网络的多尺度感知行人检测方法
CN110472627B (zh) * 2019-07-02 2022-11-08 五邑大学 一种端到端的sar图像识别方法、装置及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966401A (zh) * 2015-06-30 2015-10-07 广州市高科通信技术股份有限公司 基于视频检测行人过街的道路交通信号控制方法及***
CN112446231A (zh) * 2019-08-27 2021-03-05 丰图科技(深圳)有限公司 一种人行横道检测方法、装置、计算机设备及存储介质
CN110781744A (zh) * 2019-09-23 2020-02-11 杭州电子科技大学 一种基于多层次特征融合的小尺度行人检测方法
CN111027493A (zh) * 2019-12-13 2020-04-17 电子科技大学 一种基于深度学习多网络软融合的行人检测方法
CN112052787A (zh) * 2020-09-03 2020-12-08 腾讯科技（深圳）有限公司 基于人工智能的目标检测方法、装置及电子设备
WO2022104774A1 (zh) * 2020-11-23 2022-05-27 华为技术有限公司 目标检测方法和装置
CN112674998A (zh) * 2020-12-23 2021-04-20 北京工业大学 基于快速深度神经网络和移动智能设备的盲人交通路口辅助方法
CN113313943A (zh) * 2021-05-27 2021-08-27 中国科学院合肥物质科学研究院 一种基于路侧感知的路口通行实时调度方法与***
WO2023005258A1 (zh) * 2021-07-26 2023-02-02 上海商汤智能科技有限公司 交通路口检测方法、装置、电子设备及存储介质
KR102453096B1 (ko) * 2022-06-24 2022-10-11 유에프엠시스템즈 주식회사 스마트 횡단보도 신호 제어시스템

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"礼让斑马线"对无信号控制人行横道处通行能力影响研究;周云月;李红伟;刘海平;钟馨;;贵州大学学报(自然科学版);20200315(02);118-123 *
《基于深度学习的行人检测与重识别算法研究与应用》;孙鹏炎;中国矿业大学;20221013;20-39 *
基于NVIDIA Jetson TX2的实时交通信号灯检测算法;刘影;姚振鑫;;农业装备与车辆工程;20200710(07);53-57+69 *
基于特征通道和空间联合注意机制的遮挡行人检测方法;陈勇;刘曦;刘焕淋;;电子与信息学报;20200615(06);187-194 *

Also Published As

Publication number Publication date
CN117475389A (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN117475389B (zh) 一种人行横道信号灯的控制方法、***、设备和存储介质
CN111310773B (zh) 一种高效的卷积神经网络的车牌定位方法
CN110119726B (zh) 一种基于YOLOv3模型的车辆品牌多角度识别方法
CN112507844B (zh) 基于视频分析的交通拥堵检测方法
US11024042B2 (en) Moving object detection apparatus and moving object detection method
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
CN107689157B (zh) 基于深度学习的交通路口可通行道路规划方法
CN111291826A (zh) 基于相关性融合网络的多源遥感图像的逐像素分类方法
Wang et al. A hybrid method of vehicle detection based on computer vision for intelligent transportation system
CN114580541A (zh) 一种基于时空域双通道火灾视频烟雾识别方法
KR100413382B1 (ko) 통신망을 이용한 감시 카메라의 통합 원격 제어 시스템 및방법과 이를 이용한 영상 데이터 처리 방법
CN112818853A (zh) 一种交通要素识别方法、装置、设备及储存介质
CN103927875A (zh) 基于视频的交通溢流状态识别方法
Shankaran et al. Real-time adaptive traffic control system for smart cities
CN112907992A (zh) 交通信号灯的控制方法、装置、设备及存储介质
CN113920585A (zh) 行为识别方法及装置、设备和存储介质
CN109816003A (zh) 一种基于改进hog-lbp特征的智能车辆前方多目标分类方法
CN111339834B (zh) 车辆行驶方向的识别方法、计算机设备及存储介质
CN111062311B (zh) 一种基于深度级可分离卷积网络的行人手势识别与交互方法
CN112215188A (zh) 交警姿态识别方法、装置、设备及存储介质
KR102656881B1 (ko) AIoT 기반 교통안전 통합 관리시스템
Anagnostopoulos et al. Intelligent traffic management through MPEG-7 vehicle flow surveillance
bin Che Mansor et al. Emergency vehicle type classification using convolutional neural network
JP2011081614A (ja) 認識装置、認識方法及びプログラム
CN114495058A (zh) 交通标志检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant