CN113011251B - 一种基于交通灯几何属性的行人交通灯识别方法 - Google Patents
一种基于交通灯几何属性的行人交通灯识别方法 Download PDFInfo
- Publication number
- CN113011251B CN113011251B CN202110147603.4A CN202110147603A CN113011251B CN 113011251 B CN113011251 B CN 113011251B CN 202110147603 A CN202110147603 A CN 202110147603A CN 113011251 B CN113011251 B CN 113011251B
- Authority
- CN
- China
- Prior art keywords
- traffic light
- traffic
- shape
- frame image
- dynamic state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000003860 storage Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000001771 impaired effect Effects 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000006386 neutralization reaction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于交通灯几何属性的行人交通灯识别方法,所述方法包括:获取交通灯帧图像;根据所述交通灯帧图像,识别交通灯的形状;根据所述交通灯帧图像和所述形状,识别交通灯的动态状态。本发明通过交通灯帧图像和识别的交通灯的形状,来识别出交通灯的动态状态,以实现为视障人士提供更加精准的指引。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及的是一种基于交通灯几何属性的行人交通灯识别方法。
背景技术
交通灯检测旨在识别出交叉路口的交通灯状态,主要广泛应用在以视觉为基础的自动驾驶,盲人导航等领域。交通灯可以分为车辆交通灯和行人交通灯,其中车辆交通灯识别主要应用于自动驾驶,行人交通灯主要应用于视障人士辅助。现有技术中的交通灯识别方法受背景颜色的影响较大,准确率有待提高,而基于机器学习的交通灯识别算法,缺少有效区分行人交通灯、车辆交通灯和熄灭的交通灯的算法,并且对交通灯的动态状态变化缺少合理的分析。
因此,现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种基于交通灯几何属性的行人交通灯识别方法,旨在解决现有技术中交通灯识别方法受背景颜色的影响较大,准确率有待提高,而基于机器学习的交通灯识别算法,缺少有效区分行人交通灯、车辆交通灯和熄灭的交通灯的算法,并且对交通灯的动态状态变化缺少合理的分析的问题。
本发明解决问题所采用的技术方案如下:
第一方面,本发明实施例提供一种基于交通灯几何属性的行人交通灯识别方法,其中,所述方法包括:
获取交通灯帧图像;
根据所述交通灯帧图像,识别交通灯的形状;
根据所述交通灯帧图像和所述形状,识别交通灯的动态状态。
在一种实现方式中,其中,所述根据所述交通灯帧图像,识别交通灯的形状包括:
将所述交通灯帧图像进行灰度转换,得到灰度图;
根据所述交通灯帧图像,得到掩膜区域;
根据所述灰度图和所述掩膜区域,得到交通灯的形状。
在一种实现方式中,其中,所述根据所述交通灯帧图像,得到掩膜区域包括:
基于HSV颜色空间,提取所述交通灯帧图像中的红色区域和绿色区域;
将所述红色区域与所述绿色区域进行或操作,得到掩膜区域。
在一种实现方式中,其中,所述根据所述灰度图和所述掩膜区域,得到交通灯的形状包括:
将所述灰度图乘以所述掩膜区域,得到交通灯的形状。
在一种实现方式中,其中,所述根据所述交通灯帧图像,识别交通灯的形状还包括:
获取所述形状的高度和宽度;
根据所述高度和所述宽度,得到形状的高宽比;
根据所述高宽比来区分行人交通灯、车辆交通灯,熄灭的行人交通灯以及熄灭的车辆交通灯,以实现对所述交通灯的形状识别。
在一种实现方式中,其中,所述根据所述交通灯帧图像和所述形状,识别交通灯的动态状态包括:
当根据所述形状确定出交通灯为行人交通灯或者熄灭的行人交通灯时,记录每帧所述交通灯帧图像中的交通灯状态标识;
计算当前帧的交通灯状态标识与当前帧的前若干帧的交通灯状态标识的均值;
根据所述均值和所述当前帧的交通灯状态标识,得到交通灯的动态状态。
在一种实现方式中,其中,所述根据所述均值和所述当前帧的交通灯状态标识,得到交通灯的动态状态包括:
当所述均值为-1时,交通灯的动态状态为持续红灯;
当所述均值为1时,交通灯的动态状态为持续绿灯;
当所述均值为0.6时,交通灯的动态状态为闪烁中;
当所述均值为0且所述当前帧的交通灯状态标识为1时,交通灯的动态状态为红灯转绿灯;
当所述均值为0且所述当前帧的交通灯状态标识为-1时,交通灯的动态状态为绿灯转红灯;
当所述均值为0且所述当前帧的交通灯状态标识为0时,交通灯的动态状态为没有红绿灯;
当所述均值不是上述-1,1,0.6和0时,交通灯的动态状态为等待中。
在一种实现方式中,其中,所述根据所述交通灯帧图像和所述形状,识别交通灯的动态状态还包括:
根据所述交通灯的动态状态,确定与所述交通灯的动态状态对应的提示语音。
第二方面,本发明实施例还提供一种基于交通灯几何属性的行人交通灯识别装置,其中,所述装置包括:
帧图像获取单元,用于获取交通灯帧图像;
交通灯的形状识别单元,用于根据所述交通灯帧图像,识别交通灯的形状;
交通灯的动态状态识别单元,用于根据所述交通灯帧图像和所述形状,识别交通灯的动态状态。
第三方面,本发明实施例还提供一种智能终端,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如上述任意一项所述的基于交通灯几何属性的行人交通灯识别方法。
第四方面,本发明实施例还提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如上述中任意一项所述的基于交通灯几何属性的行人交通灯识别方法。
本发明的有益效果:本发明实施例首先获取交通灯帧图像;然后根据所述交通灯帧图像,识别交通灯的形状;最后根据所述交通灯帧图像和所述形状,识别交通灯的动态状态。可见,本发明实施例中通过交通灯帧图像和识别的交通灯的形状,来识别出交通灯的动态状态,以实现为视障人士提供更加精准的指引。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于交通灯几何属性的行人交通灯识别方法流程示意图。
图2为本发明实施例提供的交通灯识别整体框架图。
图3为本发明实施例提供的不同交通灯的几何属性示意图。
图4为本发明实施例提供的交通灯不同状态变化示意图。
图5为本发明实施例提供的交通灯动态状态分析算法示意图。
图6为本发明实施例提供的基于交通灯几何属性的行人交通灯识别装置的原理框图。
图7为本发明实施例提供的智能终端的内部结构原理框图。
具体实施方式
本发明公开了基于交通灯几何属性的行人交通灯识别方法,为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
由于现有技术中,交通灯检测旨在识别出交叉路口的交通灯状态,主要广泛应用在以视觉为基础的自动驾驶,盲人导航等领域。交通灯可以分为车辆交通灯和行人交通灯,其中车辆交通灯识别主要应用于自动驾驶,行人交通灯主要应用于视障人士辅助。目前的交通灯识别方法,主要是基于交通灯的颜色、大小、形状等特征。主要基于地平线搜索、图像匹配、颜色滤波、相似度估计、机器学习等方法。
基于地平面搜索和图像匹配的方法,根据移动手机内置的加速度估计重力方向并计算地平线的位置之后,使用预设的交通灯模板在地平线附近进行卷积操作,获取得分较高的候选区域,最后通过对候选区域的形状进行分析来提取交通灯区域。基于颜色滤波的方法,对输入图像进行颜色滤波,提取图像中的红色和绿色的连通区域,然后通过面积、位置、形状等特征提取行人交通灯区域。上诉算法的基本思路,是先利用交通灯显著的特征从图像中提取候选区域,然后通过图像匹配、相似度估计等方法提取交通灯区域。这类算法受背景颜色的影响较大,准确率有待提高。随着机器学习算法的快速发展,越来越多的学者提出了基于机器学习的交通灯识别算法。常用的机器学习算法有Adaboost、Faster R-CNN、SSD和YOLOv2等算法。这些算法通过数据的训练来拟合交通灯的位置和类别,在场景中存在交通灯的情况下,有很好的效果,但是现有的算法缺少有效区分行人交通灯、车辆交通灯和熄灭的交通灯的算法,并且对交通灯的动态状态变化缺少合理的分析。为了解决现有技术的问题,本实施例提供了一种基于交通灯几何属性的行人交通灯识别方法,通过上述方法可以交通灯帧图像和识别的交通灯的形状,来识别出交通灯的动态状态,以实现为视障人士提供更加精准的指引。具体实施时,首先获取交通灯帧图像,为后续识别交通灯的形状做准备;然后根据所述交通灯帧图像,识别交通灯的形状,用于识别交通灯的动态状态;最后根据所述交通灯帧图像和所述形状,识别交通灯的动态状态。这样,当交通灯的动态状态被识别出来后,再通过语音播报的方式为视障人士提供更加精准的指引。
举例说明
视障人士走到十字路口,十字路口有行人通道和车辆通道,视障人士看不到交通灯的实际情况,会有危险,因此,本发明就是为了解决上述问题,通过识别出是行人通道还是车辆通道,比如根据交通灯亮灯区域是圆形确定是车辆通道,根据交通灯亮灯区域是人形就能确定是行人通道,让视障人士沿着行人通道通行,然后根据行人通道的交通灯特点识别出交通灯的形状和交通灯的动态状态,比如,识别出行人交通灯是持续绿灯或红灯转绿灯,就可以通过语音播报的方式,通知视障人士通过行人通道;识别出行人交通灯是红灯或绿灯转红灯,则通知视障人士等待;识别出行人交通灯是绿灯闪烁,则通知视障人士绿灯即将结束,建议等待;识别出行人交通灯没有红绿灯则不发通知提示音。
示例性方法
本实施例提供一种基于交通灯几何属性的行人交通灯识别方法,该方法可以应用于智能交通领域的智能终端。具体如图1所示,所述方法包括:
步骤S100、获取交通灯帧图像;
具体地,可以获取摄像头拍摄的交通灯帧图像,或者从网络上下载交通灯帧图像,为后续识别交通灯的形状和交通灯的动态状态做准备。
得到交通灯帧图像后,就执行如图1所示的步骤S200、根据所述交通灯帧图像,识别交通灯的形状;
实际中,由于交通灯分为行人交通灯和车辆交通灯,行人交通灯的形状是人形,而车辆交通灯的形状是圆形,通过分析出车辆交通灯的形状可以判断是行人通道还是车辆通道。此外,还有一种情形,就是行人交通灯和车辆交通灯熄灭的情况,这个特殊情况也需要归类到交通灯的形状中。
为了得到交通灯的形状,所述根据所述交通灯帧图像,识别交通灯的形状包括如下步骤:
步骤S201、将所述交通灯帧图像进行灰度转换,得到灰度图;
步骤S202、根据所述交通灯帧图像,得到掩膜区域;
步骤S203、根据所述灰度图和所述掩膜区域,得到交通灯的形状。
具体地,可以通过检测方法将所述交通灯帧图像进行灰度转换,得到灰度图,如使用目标检测模型对输入帧图像进行检测,将检测结果作为候选区域如图2(b)是有色图,候选区域中交通灯的颜色是实际中的颜色,对候选区域分别进行灰度变换,得到灰度图。图2(d)是HSV图,也是有色图,图2(d)中交通灯的颜色和交通灯其余区域的颜色区分开来。然后根据所述交通灯帧图像,得到掩膜区域。相应的,为了得到膜区域,所述根据所述交通灯帧图像,得到掩膜区域包括如下步骤:基于HSV颜色空间,提取所述交通灯帧图像中的红色区域和绿色区域;将所述红色区域与所述绿色区域进行或操作,得到掩膜区域。具体地,在本实施例中掩膜区域用mask表示,基于HSV颜色空间,进行HSV颜色空间变换,提取所述交通灯帧图像中的红色区域和绿色区域的过程为在HSV颜色图中,根据HSV颜色空间表,首先将HSV三个通道的范围分别设置为[0,34],[20,255],[200,255]和[156,180],[20,255],[200,255],使用该范围可以提取HSV颜色空间的红色区域。然后将HSV三个通道的范围分别设置为[35,99],[20,255],[180,255],使用该范围可以提取HSV颜色空间的绿色区域。接着将红色和绿色区域进行或操作,结果用mask表示,也就得到掩膜区域。
灰度图和掩膜区域都得到后,可以根据所述灰度图和所述掩膜区域,得到交通灯的形状。相应的,所述根据所述灰度图和所述掩膜区域,得到交通灯的形状包括如下步骤:将所述灰度图乘以所述掩膜区域,得到交通灯的形状。具体地,使用mask与灰度图相乘,得到输入帧图像中交通灯的形状。
此外,所述根据所述交通灯帧图像,识别交通灯的形状还包括:获取所述形状的高度和宽度;根据所述高度和所述宽度,得到形状的高宽比;根据所述高宽比来区分行人交通灯、车辆交通灯,熄灭的行人交通灯以及熄灭的车辆交通灯,以实现对所述交通灯的形状识别。在本实施例中,图2(a)为输入帧;图2(b)为候选区域;图2(c)为灰度图;图2(d)为HSV图;图2(e)为mask;图2(f)为交通灯形状,根据图2(f)所示,计算交通灯形状的最小外接矩形框的高宽比AspectRatio:
由于交通灯的制作标准相差不大,根据图3的结果,本发明将高宽比阈值设为1.35,高于该阈值的交通灯为行人交通灯,低于或等于该阈值的交通灯为车辆交通灯,特殊情况下,若交通灯的高宽比为0,则该交通灯为熄灭的交通灯,熄灭的交通灯根据识别出的是行人交通灯还是车辆交通灯可以确定是熄灭的行人交通灯还是熄灭的车辆交通灯,这样,最后根据高宽比,可以确定出行人交通灯、车辆交通灯,熄灭的行人交通灯以及熄灭的车辆交通灯。
得到交通灯帧图像和交通灯的形状后,可以执行如图1所示的步骤S300、根据所述交通灯帧图像和所述形状,识别交通灯的动态状态。
具体地,此时获取连续的交通灯帧图像,通过对交通灯的连续多帧图像进行分析,以及根据前述的交通灯的形状可以确定出交通灯的动态状态。
为了识别交通灯的动态状态,所述根据所述交通灯帧图像和所述形状,识别交通灯的动态状态包括如下步骤:
步骤S301、当根据所述形状确定出交通灯为行人交通灯或者熄灭的行人交通灯时,记录每帧所述交通灯帧图像中的交通灯状态标识;
步骤S302、计算当前帧的交通灯状态标识与当前帧的前若干帧的交通灯状态标识的均值;
步骤S303、根据所述均值和所述当前帧的交通灯状态标识,得到交通灯的动态状态。
在本实施例中,当根据所述形状确定出交通灯为行人交通灯或者熄灭的行人交通灯时,将连续帧图像中的每帧交通灯的帧图像中的交通灯状态标识记录下来,其中,所述交通灯的状态标识为交通灯为红灯、绿灯或者或者熄灭时所代表的状态值,例如,交通灯状态为红灯时,flag为-1;为绿灯时,flag为1;没有交通灯时(或者交通灯处于熄灭状态),flag为0,其中,flag为状态标识。
然后,计算当前帧的交通灯状态标识与当前帧的前若干帧的交通灯状态标识的均值,在本实施例中,图4例举了一些交通灯可能的状态变换,为了保证分析结果的准确性,假设一帧图像中出现了多个交通灯的检测结果,其中,检测结果包含了目标的边缘框坐标x,y,w,h(bounding box)、该目标的分类(label)、以及每个类别的置信度(score),只取其中置信度最高的结果,以保证一帧图像中有且只有一个flag。基于图4(a)所示的flag变化图,本发明提出了基于均值的交通灯状态分析算法。即计算当前帧与前N-1帧中flag的均值avg,结果如图4(b)所示。基于图4(a)所示的flag变化图,本发明提出了基于均值的交通灯状态分析算法。即计算当前帧与前N-1帧中flag的均值avg,结果如图4(b)所示。根据图中avg的4个值(分别为-1、0、0.6、1),其中,avg在±0.05的误差范围内。即4条绿色虚线与avg的交点,可以分析当前帧交通灯的动态状态。
得到所述均值和所述当前帧的交通灯状态标识后,就可以根据所述均值和所述当前帧的交通灯状态标识,得到交通灯的动态状态。相应的,为了得到交通灯的动态状态,所述根据所述均值和所述当前帧的交通灯状态标识,得到交通灯的动态状态包括如下步骤:当所述均值为-1时,交通灯的动态状态为持续红灯;当所述均值为1时,交通灯的动态状态为持续绿灯;当所述均值为0.6时,交通灯的动态状态为闪烁中;当所述均值为0且所述当前帧的交通灯状态标识为1时,交通灯的动态状态为红灯转绿灯;当所述均值为0且所述当前帧的交通灯状态标识为-1时,交通灯的动态状态为绿灯转红灯;当所述均值为0且所述当前帧的交通灯状态标识为0时,交通灯的动态状态为没有红绿灯;当所述均值不是上述-1,1,0.6和0时,交通灯的动态状态为等待中。具体分析算法如图5所示,一共可以识别七种状态:持续红灯、持续绿灯、红灯转绿灯、绿灯转红灯、没有红绿灯、闪烁中和等待中。由于利用了N帧数据,可以有效减少某几帧误检或漏检带来的影响,但是分析的结果与实际结果会存在时延,在一定范围内,N越小,时延越小,交通灯闪烁时avg的波动越大;N越大,时延越大,交通灯闪烁时avg的波动越小。其中,N为时间阈值。对于30帧率的相机来说,N=60情况下,若avg=-1,说明两秒时间内交通灯的状态保持在红灯状态。根据实验结果来看,跟N=30和N=90相比,N取60较为均衡,此时时延在1秒以内(交通灯状态发生变换时才有时延)。
由于视障人士而言,需要语音提示来指引其通行行人通道,故所述根据所述交通灯帧图像和所述形状,识别交通灯的动态状态还包括如下步骤:根据所述交通灯的动态状态,确定与所述交通灯的动态状态对应的提示语音。具体地,根据识别得到的七种状态,会给出不同的提示音:持续红灯:“红灯,请等待”;持续绿灯:“绿灯,请直行”;红灯转绿灯:“绿灯,请通行”;绿灯转红灯:“红灯,请等待”;闪烁中:“绿灯即将结束,建议等待”;没有红绿灯或等待中:没有提示音。
在另一种实施方式中,可以根据本方案进行变形,如识别出车辆交通灯和熄灭的车辆交通灯时,可以根据交通灯的颜色,如红色,黄色,绿色和熄灭的状态来确定交通灯状态的值,并由此记录连续帧的车辆交通灯的帧图像的交通灯的状态标识,计算出当前帧和当前帧前的若干帧的状态标识的均值,根据均值得到车辆交通灯的动态状态,这样就可以根据动态状态指引以视觉为基础的自动驾驶车辆的自动驾驶通行。
示例性设备
如图6中所示,本发明实施例提供一种基于交通灯几何属性的行人交通灯识别装置,所述装置包括:帧图像获取单元401,交通灯的形状识别单元402,交通灯的动态状态识别单元403,其中:
帧图像获取单元401,用于获取交通灯帧图像;
交通灯的形状识别单元402,用于根据所述交通灯帧图像,识别交通灯的形状;
交通灯的动态状态识别单元403,用于根据所述交通灯帧图像和所述形状,识别交通灯的动态状态。
基于上述实施例,本发明还提供了一种智能终端,其原理框图可以如图7所示。该智能终端包括通过***总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中,该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于交通灯几何属性的行人交通灯识别方法。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏,该智能终端的温度传感器是预先在智能终端内部设置,用于检测内部设备的运行温度。
本领域技术人员可以理解,图7中的原理图,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的智能终端的限定,具体的智能终端可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种智能终端,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
获取交通灯帧图像;
根据所述交通灯帧图像,识别交通灯的形状;
根据所述交通灯帧图像和所述形状,识别交通灯的动态状态。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述,本发明公开了一种基于交通灯几何属性的行人交通灯识别方法,所述方法包括:获取交通灯帧图像;根据所述交通灯帧图像,识别交通灯的形状;根据所述交通灯帧图像和所述形状,识别交通灯的动态状态。本发明通过交通灯帧图像和识别的交通灯的形状,来识别出交通灯的动态状态,以实现为视障人士提供更加精准的指引。
应当理解的是,本发明公开了一种基于交通灯几何属性的行人交通灯识别方法,应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (6)
1.一种基于交通灯几何属性的行人交通灯识别方法,其特征在于,所述方法包括:
获取交通灯帧图像;
根据所述交通灯帧图像,识别交通灯的形状;
根据所述交通灯帧图像和所述形状,识别交通灯的动态状态;
所述根据所述交通灯帧图像,识别交通灯的形状包括:
将所述交通灯帧图像进行灰度转换,得到灰度图;
根据所述交通灯帧图像,得到掩膜区域;
根据所述灰度图和所述掩膜区域,得到交通灯的形状;
所述根据所述交通灯帧图像,识别交通灯的形状还包括:
获取所述形状的高度和宽度;
根据所述高度和所述宽度,得到形状的高宽比;
根据所述高宽比来区分行人交通灯、车辆交通灯,熄灭的行人交通灯以及熄灭的车辆交通灯,以实现对所述交通灯的形状识别;
所述根据所述交通灯帧图像和所述形状,识别交通灯的动态状态包括:
当根据所述形状确定出交通灯为行人交通灯或者熄灭的行人交通灯时,记录每帧所述交通灯帧图像中的交通灯状态标识;
计算当前帧的交通灯状态标识与当前帧的前若干帧的交通灯状态标识的均值;
根据所述均值和所述当前帧的交通灯状态标识,得到交通灯的动态状态;
所述根据所述均值和所述当前帧的交通灯状态标识,得到交通灯的动态状态包括:
当所述均值为-1时,交通灯的动态状态为持续红灯;
当所述均值为1时,交通灯的动态状态为持续绿灯;
当所述均值为0.6时,交通灯的动态状态为闪烁中;
当所述均值为0且所述当前帧的交通灯状态标识为1时,交通灯的动态状态为红灯转绿灯;
当所述均值为0且所述当前帧的交通灯状态标识为-1时,交通灯的动态状态为绿灯转红灯;
当所述均值为0且所述当前帧的交通灯状态标识为0时,交通灯的动态状态为没有红绿灯;
当所述均值不是上述-1,1,0.6和0时,交通灯的动态状态为等待中。
2.根据权利要求1所述的基于交通灯几何属性的行人交通灯识别方法,其特征在于,所述根据所述交通灯帧图像,得到掩膜区域包括:
基于HSV颜色空间,提取所述交通灯帧图像中的红色区域和绿色区域;
将所述红色区域与所述绿色区域进行或操作,得到掩膜区域。
3.根据权利要求1所述的基于交通灯几何属性的行人交通灯识别方法,其特征在于,所述根据所述灰度图和所述掩膜区域,得到交通灯的形状包括:
将所述灰度图乘以所述掩膜区域,得到交通灯的形状。
4.根据权利要求1所述的基于交通灯几何属性的行人交通灯识别方法,其特征在于,所述根据所述交通灯帧图像和所述形状,识别交通灯的动态状态还包括:
根据所述交通灯的动态状态,确定与所述交通灯的动态状态对应的提示语音。
5.一种智能终端,其特征在于,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1-4中任意一项所述的方法。
6.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1-4中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110147603.4A CN113011251B (zh) | 2021-02-03 | 2021-02-03 | 一种基于交通灯几何属性的行人交通灯识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110147603.4A CN113011251B (zh) | 2021-02-03 | 2021-02-03 | 一种基于交通灯几何属性的行人交通灯识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113011251A CN113011251A (zh) | 2021-06-22 |
CN113011251B true CN113011251B (zh) | 2024-06-04 |
Family
ID=76384978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110147603.4A Active CN113011251B (zh) | 2021-02-03 | 2021-02-03 | 一种基于交通灯几何属性的行人交通灯识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113011251B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102542260A (zh) * | 2011-12-30 | 2012-07-04 | 中南大学 | 一种面向无人驾驶车的道路交通标志识别方法 |
CN106874945A (zh) * | 2017-01-25 | 2017-06-20 | 杭州视氪科技有限公司 | 一种用于视障人士的人行道交通灯检测***和方法 |
CN107679508A (zh) * | 2017-10-17 | 2018-02-09 | 广州汽车集团股份有限公司 | 交通标志检测识别方法、装置及*** |
CN108304813A (zh) * | 2018-02-08 | 2018-07-20 | 长安大学 | 一种智能识别圆形交通信号灯状态的方法 |
CN110660254A (zh) * | 2018-06-29 | 2020-01-07 | 北京市商汤科技开发有限公司 | 交通信号灯检测及智能驾驶方法和装置、车辆、电子设备 |
-
2021
- 2021-02-03 CN CN202110147603.4A patent/CN113011251B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102542260A (zh) * | 2011-12-30 | 2012-07-04 | 中南大学 | 一种面向无人驾驶车的道路交通标志识别方法 |
CN106874945A (zh) * | 2017-01-25 | 2017-06-20 | 杭州视氪科技有限公司 | 一种用于视障人士的人行道交通灯检测***和方法 |
CN107679508A (zh) * | 2017-10-17 | 2018-02-09 | 广州汽车集团股份有限公司 | 交通标志检测识别方法、装置及*** |
CN108304813A (zh) * | 2018-02-08 | 2018-07-20 | 长安大学 | 一种智能识别圆形交通信号灯状态的方法 |
CN110660254A (zh) * | 2018-06-29 | 2020-01-07 | 北京市商汤科技开发有限公司 | 交通信号灯检测及智能驾驶方法和装置、车辆、电子设备 |
Non-Patent Citations (2)
Title |
---|
基于图像处理的交通信号灯识别方法;武莹;张小宁;何斌;;交通信息与安全;20110620(第03期);全文 * |
基于色度方向角的离线城市红绿灯识别算法;宋永超;巨永锋;杜凯;韩宜轩;;北京交通大学学报;20190415(第02期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113011251A (zh) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3806064B1 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
US11003941B2 (en) | Character identification method and device | |
CN108765443B (zh) | 一种自适应颜色阈值分割的标志增强处理方法 | |
CN108268867B (zh) | 一种车牌定位方法及装置 | |
CN110222764A (zh) | 遮挡目标检测方法、***、设备及存储介质 | |
CN101599175B (zh) | 确定拍摄背景发生改变的检测方法及图像处理设备 | |
WO2017171659A1 (en) | Signal light detection | |
CN109033955B (zh) | 一种人脸跟踪方法和*** | |
CN108205649B (zh) | 驾驶员开车接打电话的状态识别方法及装置 | |
CN111553214B (zh) | 一种驾驶员吸烟行为检测方法及*** | |
CN109344864B (zh) | 用于密集物体的图像处理方法及装置 | |
CN106570439B (zh) | 一种车辆检测方法及装置 | |
CN103093212A (zh) | 基于人脸检测和跟踪截取人脸图像的方法和装置 | |
CN111507324B (zh) | 卡片边框识别方法、装置、设备和计算机存储介质 | |
CN112396044B (zh) | 车道线属性信息检测模型训练、车道线属性信息检测方法 | |
CN111435437A (zh) | 一种pcb行人重识别模型训练方法及pcb行人重识别方法 | |
CN112232368A (zh) | 目标识别模型训练方法、目标识别方法及其相关装置 | |
KR101343623B1 (ko) | 적응적 피부색 검출 방법, 그리고 이를 이용한 얼굴 검출 방법 및 그 장치 | |
CN113011251B (zh) | 一种基于交通灯几何属性的行人交通灯识别方法 | |
CN117475353A (zh) | 基于视频的异常烟雾识别方法及*** | |
CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
CN111723695A (zh) | 基于改进的Yolov3驾驶员关键子区域识别和定位方法 | |
CN116259021A (zh) | 一种车道线检测方法、存储介质和电子设备 | |
CN106920398A (zh) | 一种智能车牌识别*** | |
CN111402185A (zh) | 一种图像检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |