CN111723625A - 交通灯图像识别处理方法、装置、辅助通行***及存储介质 - Google Patents

交通灯图像识别处理方法、装置、辅助通行***及存储介质 Download PDF

Info

Publication number
CN111723625A
CN111723625A CN201910222479.6A CN201910222479A CN111723625A CN 111723625 A CN111723625 A CN 111723625A CN 201910222479 A CN201910222479 A CN 201910222479A CN 111723625 A CN111723625 A CN 111723625A
Authority
CN
China
Prior art keywords
image
traffic light
template
information
template library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910222479.6A
Other languages
English (en)
Other versions
CN111723625B (zh
Inventor
张旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hella Shanghai Electronics Co Ltd
Original Assignee
Hella Shanghai Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hella Shanghai Electronics Co Ltd filed Critical Hella Shanghai Electronics Co Ltd
Priority to CN201910222479.6A priority Critical patent/CN111723625B/zh
Publication of CN111723625A publication Critical patent/CN111723625A/zh
Application granted granted Critical
Publication of CN111723625B publication Critical patent/CN111723625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种交通灯图像识别处理方法，包括如下步骤：S100：获取包含深度信息和颜色信息的图像并进行预处理；S200：对图像中的交通灯背景框进行定位；S300：对所述背景框内的交通灯的类型和颜色进行识别；S400：对交通灯进行目标追踪，并在目标追踪的结果满足预设条件时，输出交通灯的状态信息和距离信息。本发明还提供了一种交通灯图像识别处理装置、一种辅助通行***和一种计算机可读存储介质。采用上述技术方案后，能够准确识别交通灯，显著降低误报风险，为驾驶人员的通行提供有效辅助。

Description

交通灯图像识别处理方法、装置、辅助通行***及存储介质
技术领域
本发明涉及辅助通行技术领域，尤其涉及一种交通灯图像识别处理方法、装置、辅助通行***及存储介质。
背景技术
现有技术中，路口辅助通行***通常包括设置在汽车前挡风玻璃上部中央的摄像头，摄像头通过导线与车内的控制器相连，控制器上通过导线还连接有语音报警器，控制器通过摄像头获取前方红绿灯的图像，并对红绿灯的颜色进行识别，然后根据识别的颜色控制语音报警器发出相应的语音指令。
然而，现有技术中对红绿灯目标的处理一般只限于识别，即摄像头采集到包含路口路况的图像，车载的嵌入式处理器对采集到的单帧图像进行处理，进而做出预警判别，根据判别结果给用户发送预警信息，以此作为辅助驾驶汽车的手段。可是这种方法存在明显的误报风险，对诸如红绿灯颜色切换、汽车快速远离路口等复杂情况没有较好的解决方案。而且大部分***都要结合安装在路***通灯上的信号发生装置，在车辆经过路口时由此装置发送交通灯状态信息给本车，本车获得此信息后再结合车速等自身状态数据进行判别处理，实现预警功能，这无疑增加了方案实施的复杂度。
因此，需要开发一种能够准确识别交通灯、降低误报风险的交通灯图像识别处理方法、装置、辅助通行***及存储介质。
发明内容
为了克服上述技术缺陷，本发明的目的在于提供一种能够准确识别交通灯、降低误报风险的交通灯图像识别处理方法、装置、辅助通行***及存储介质。
本发明公开了一种用于交通灯的图像识别处理方法，包括如下步骤：
S100：获取包含深度信息和颜色信息的图像并进行预处理；
S200：对图像中的交通灯背景框进行定位；
S300：对所述背景框内的交通灯的类型和颜色进行识别；
S400：对交通灯进行目标追踪，并在目标追踪的结果满足预设条件时，输出交通灯的状态信息和距离信息。
优选地，所述步骤S400包括：
S401：对经过步骤S100～S300后的第一帧图像进行解析，提取特征向量，并作为模板存入模板库；
S402：对经过步骤S100～S300后的后续帧中的图像提取特征向量，然后匹配模板库；
S403：根据匹配的结果对模板库进行更新；
S404：在连续匹配成功的帧数超过设定帧数时，输出交通灯的状态信息和距离信息。
优选地，所述步骤S401具体包括：
对第一帧的图像进行解析，获得特征点附近预设范围内灰度值的均值、方差、周围特征点的分布信息；
根据解析的信息建立特征点的属性向量，并作为模板存入模板库；
所述步骤S402具体包括：
对后续帧中的图像，进行解析并建立特征点的属性向量，然后与模板库中的模板进行匹配，比较相似程度；
所述步骤S403具体包括：
当后续帧中图像特征点的属性向量与模板库中任一模板完全相同时，对模板库中的模板进行覆盖；当后续帧中图像特征点的属性向量与模板库的模板均不完全相同时，作为新模板存入模板库；
根据模板的使用频率来定义模板的可靠性权值，在新模板存入模板库时，根据可靠性权值对模板库中的模板进行更新；
所述步骤S404具体包括：
将后续帧中图像特征点的属性向量与模板库的可靠性权值阈值做比较，当后续帧中图像特征点的属性向量大于模板库的可靠性权值阈值时，判定匹配成功；
连续匹配成功的帧数超过设定帧数时，输出当前帧交通灯的状态信息和距离信息；
当所述交通灯为圆形交通灯时，所述状态信息为交通灯的颜色；当所述交通灯为箭头交通灯时，所述状态信息为箭头的方向、颜色；
所述距离信息为图像上交通灯区域的深度信息。
优选地，所述属性向量为：
V＝(m1，m2，μ，σ，p0，p1，…，p8，)
m1为在特征点周围预设范围内其他特征点分布最多处的距离；m2为在特征点周围预设范围内其他特征点分布次多处的距离；μ为特征点周围9个像素点的灰度方差，σ为特征点周围9个像素点的灰度标准差，p0，p1，...，p8为特征点周围9个像素点按灰度由大到小的排列。
优选地，模板库中的模板在t时刻的可靠性权值定义为：
Figure BDA0002004076460000031
U(.)是单位阶跃函数；β是系数向量，为特征点的属性向量与模板使用频率的乘积；βi是第i个模板对应的系数，由系数向量通过余弦定理求得；N为模板的总数；
所述模板库的可靠性权值阈值为模版库中模板可靠性权值的均值与一预设系数的乘积；
根据可靠性权值对模板库中的模板进行更新，具体包括：在模板库中的模板数量未达到总数N时，在新模板存入模板库时删除可靠性权值低于模板库的可靠性权值阈值的模板；在模板库中的模板数量达到总数N且存在相似度有低于模板库的可靠性权值阈值的模板时，在新模板存入模板库时删除可靠性权值低于模板库的可靠性权值阈值的模板；在模板库中的模板数量达到总数N且模板相似度均高于模板库的可靠性权值阈值时，对可靠性权值高于模板库的可靠性权值阈值的模板随机抽取一个进行更新。
优选地，所述步骤S400之后还包括如下步骤：
S500：获取车辆的行驶信息，并在车辆的行驶信息、输出的交通灯的颜色和距离满足预设条件时，发出提醒信息；
所述行驶信息包括：车速信息、转向灯信息、雨刮信息、档位信息中的一种或多种；
所述提醒信息包括：语音提醒、灯光提醒、震动提醒中的一种或多种。
本发明还公开了一种交通灯图像识别处理装置，包括：
获取模块，用于获取包含深度信息和颜色信息的图像并进行预处理；
定位模块，用于对图像中的交通灯背景框进行定位；
识别模块，用于对所述背景框内的交通灯的类型和颜色进行识别；
追踪模块，用于对交通灯进行目标追踪，并在目标追踪的结果满足预设条件时，输出交通灯的状态信息和距离信息。
本发明还公开了一种辅助通行***，包括：
图像采集模块，用于获取包含深度信息和颜色信息的图像；
整车通信模块，与车身CAN网络进行通信，用于获取车辆的行驶信息；
数据处理模块，与所述图像采集模块、整车通信模块通信连接，所述数据处理模块包括处理器、存储器和I/O端口，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述的图像识别处理方法；
提示预警模块，与整车通信模块通过车身CAN网络进行通信，用于发出提醒信息。
优选地，所述图像采集模块包括3D摄像头，所述3D摄像头具有结合了TOF的CMOS图像传感器；
所述提示预警模块包括扬声器、偏心电动机、报警灯中的一种或多种。
本发明还公开了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令在被处理器执行时使所述处理器执行上述的图像识别处理方法。
采用了上述技术方案后，与现有技术相比，具有以下有益效果：
1.能够准确识别交通灯并显著降低误报风险；
2.模板匹配过程中的搜索空间不会随着图像大小和模板大小的增加而明显增大，降低了算法计算的复杂度，提高了目标跟踪的效率。
3.在匹配新一帧图像前加入目标重构，对目标可能出现的区域做出预测，缩小了搜索的范围，一定程度上降低了跟踪运算的迭代次数，提高了***的实时性。
附图说明
图1为本发明一实施例中图像识别处理方法的流程图；
图2为本发明一实施例中图像识别处理方法的流程图
图3为本发明一实施例中辅助通行***的结构示意图。
附图标记：
100-图像采集模块，120-数据处理模块，130-整车通信模块，140-提示预警模块。
具体实施方式
以下结合附图与具体实施例进一步阐述本发明的优点。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
参见附图1，本发明提供了一种交通灯图像识别处理方法，包括如下步骤：
S100：获取包含深度信息和颜色信息的图像并进行预处理。
具体地，所述步骤S100包括：
S101：通过设置在车辆上的图像采集模块获取包含深度信息和颜色信息的图像。所述图像采集模块可以为设置在车辆上的3D摄像头。优选地，3D摄像头内设置有结合了TOF(Time of Flight)的CMOS(Complementary Metal Oxide Semiconductor)图像传感器，该图像传感器可以同时获得深度图像和普通RGB彩色图像，该传感器中每个像素单元包含1个Z像素(用于产生深度图像)和8个RGB像素(用于产生RGB彩色图像)，在使用同一组光学镜片时，该CMOS传感器几乎同时产生一幅RGB彩色图像和一幅深度图像。
S102：对基于彩色图像进行直方图均衡化操作。通过直方图均衡化操作，使得图像的颜色色调增强，从而有利于颜色的识别。优选地，在步骤S102之前，还包括图像提取的步骤，对步骤S101获取的图像，提取其中部1/3～1/2左右的区域进行步骤S102。通过这样的处理，可以减少图像处理的感兴趣区域，减少处理的数据量，还能减少一部分其它光源(如部分汽车尾灯等)带来的影响。
S103：对步骤S102获得的图像进行去噪。优选地，采用高斯滤波进行去噪。
S104：采用形态学处理的方法滤除掉步骤S103获得的图像中大块区域的颜色，保留亮的小块部分的色彩。此时，获得的图像完成预处理。
步骤S100完成之后，进行步骤：
S200：对图像中的交通灯背景框进行定位。
具体地，步骤S200包括：
S201：将步骤S100获得的图像，转化为HSV色彩空间，利用红、绿、黄三种颜色的特性对图像进行分割，得到具有红、绿、黄颜色特性的目标分割图像。
S202：分析S201中图像的深度信息，提取设定深度范围内的目标区域，并对其做形态学处理。由于获取的图像包含深度信息和颜色信息，即图像中的每一个像素单元都有一个距离信息，根据预设深度阈值范围进行适当筛选，可以排除一些干扰区域。而该预设深度阈值范围的一种可能的设定方式是：根据《GB 14886-2006道路交通信号灯设置与安装规范》，图像中太近或太远的目标区域则为干扰区域，在适当范围内(如50～200m范围内)的区域则为需要提取出来目标图像区域。同时，也可结合图像采集模块(如3D摄像头)的安装角度，排出图像中角度过大或过小的区域。对提取出来的目标图像区域进行形态学处理，去除图像中的噪声干扰。例如，对目标图像进行形态学开运算处理，以去除图像中细小的突出物(如交通灯背景框和交通灯灯杆之间的连接等)。
S203：对S202中获得的图像进行背景检测，检测矩形度或长宽比在预设范围之内的长方形黑框。矩形度R的值在0～1之间。当物体为矩形时，R取得最大值1。可以设定矩形度阈值(例如0.9)，即背景区域的矩形度大于所设置的矩形度阈值时，则认为背景区域是矩形背景框，对于不满足矩形度阈值的区域可以排除。从而，实现了交通灯背景框的定位。
步骤S200完成之后，进行步骤：
S300：对所述背景框内的交通灯的类型和颜色进行识别。
具体地，步骤S300中，首先根据交通灯背景框内交通灯的形状来判断交通灯的类型。分割出交通灯背景框内的候选区域，并检测其长宽比。如圆形交通灯的长宽比理想情况下应该是1：1，如果在分割后的图像中的候选区的长和宽比例相差很大，可以确定此区域不是圆形交通灯。我们设置其长宽比为0.7～1.4之间，若在此区域则认为该区域是圆形交通灯，进行步骤S310；若不在此区域则认为该区域不是圆形交通灯，则作为箭头交通灯进行识别，进行步骤S320。
S310：圆形交通灯识别，包含以下步骤：
S311：采用Otsu(最大类间方差法)对基于步骤300获得的图像进行二值化处理；
S312：将包含交通灯背景框区域的彩色图像由RGB色彩空间转换Lab色彩空间，然后利用Lab色彩空间中L、a、b三个分量的特性与步骤S311获得的图像的信息进行分割，得到初始分割图像，并且通过基于a和b的红绿灯颜色的选择范围来判断颜色类型。示例地，圆形交通灯所有可能的灯光颜色是红、绿和黄。其中，绿色的阈值范围为：-50<a<-8并且15<b<80；红色的阈值范围为:15<a<110并且15<b<60；黄色的阈值范围为:1<a<16并且25<b<60。从而在本步骤中，可以判断出交通灯的颜色。
S313：分析S312获得的图像的深度信息，提取设定深度范围内的目标区域，并对其做形态学处理，排除不符合要求的区域。本步骤与步骤S202类似，这里不再赘述。
S314：通过对感兴趣区域进行计算，获取感兴趣区域的最小外接矩形。感兴趣区域是指从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域。在图像处理中，通常先通过算子和函数来求得图像的感兴趣区域(Region of Interest，ROI)，缩小计算范围，再进行图像的下一步处理。这个区域是你的图像分析所关注的重点。圈定该区域以便进行进一步处理。使用ROI圈定你想读的目标，可以减少处理时间，增加精度。这里的感兴趣区域是指交通灯背景框内长宽比符合圆形交通灯要求的区域。
S315：利用Hu不变矩的七个函数求出圆形交通灯的模板以及感兴趣区域图像的Hu特征，然后用求出的模板特征值对各个感兴趣区域的特征值进行匹配，如果得出的值越小，说明它们越相似。当相似度的值在预设范围内时，判断为圆形灯。这里模板是指模板库中各种类型交通灯的模板。本步骤是为了对圆形交通灯进行精确识别。
S320：箭头交通灯识别，包含以下步骤：
S321：将步骤S310获得的图像转化为HSV色彩空间。利用红、绿、黄三种颜色的特性对图像进行分割，得到具有红、绿、黄颜色特性的目标分割图像；
S322：对交通灯背景框部分图像进行灰度化处理；
S323：对得到的灰度图像进行二值化处理，结合颜色分割图像对得到的灰度图像进行分区域自动阈值二值化处理，分离出箭头交通灯；
S324：对得到的二值化图像进行闭运算；
S325：提取最小箭头目标区域，并做归一化处理；
S326：利用箭头交通信号灯本身的特性进行箭头类型识别。交通灯信号灯本身的特性即箭头的对称性。例如，在所述箭头交通灯关于所述水平方向对称轴对称，且不关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头指向为向左或向右:对比位于所述垂直方向对称轴两侧的目标点数量；若位于所述垂直方向对称轴左侧的目标点(目标点为组成所述箭头交通灯的像素点)数量大于位于所述垂直方向对称轴右侧的目标点数量，则确定所述箭头交通灯的箭头类型为向左直行；若位于所述垂直方向对称轴左侧的目标点数量小于位于所述垂直方向对称轴右侧的目标点数量，则确定所述箭头交通灯的箭头类型为向右直行。在本步骤中的可以对箭头交通灯的箭头方向信息进行确定，再结合颜色分割的结果，可以得到箭头交通灯的灯光颜色。
S400：对交通灯进行目标追踪，并在目标追踪的结果满足预设条件时，输出交通灯的状态信息和距离信息。
具体地，S400包括如下步骤：
S401：对经过步骤S100～S300后的第一帧图像进行解析，提取特征向量，并作为模板存入模板库。
通过图像获取模块(例如3D摄像头)可以获得连续多帧的图像，均进行步骤S100～S300。对经过步骤S100～S300后第一帧的图像进行解析，获得特征点附近预设范围内灰度值的均值、方差、周围特征点的分布信息；根据解析的信息建立特征点的属性向量，并作为模板存入模板库。
图像处理中，特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。图像特征点在基于特征点的图像匹配算法中有着十分重要的作用。图像特征点能够反映图像本质特征，能够标识图像中目标物体。通过特征点的匹配能够完成图像的匹配。
具体的，特征点的属性向量
V＝(m1，m2，μ，σ，p0，p1，…，p8，)
m1为在特征点周围预设范围内其他特征点分布最多处的距离；m2为在特征点周围预设范围内其他特征点分布次多处的距离；μ为特征点周围9个像素点的灰度方差，σ为特征点周围9个像素点的灰度标准差，p0，p1，...，p8为特征点周围9个像素点按灰度由大到小的排列。
S402：对经过步骤S100～S300后的后续帧中的图像提取特征向量，然后匹配模板库。
对经过步骤S100～S300的后续帧中的图像，进行解析并建立特征点的属性向量V，然后与模板库中的模板进行匹配，比较相似程度。进一步地，在本步骤中，分析目标中心点的坐标和追踪区域的边界之间的关系，判定目标物体是趋于静止而导致的无法追踪还是目标己经脱离追踪区域而导致的停止追踪，如果目标中心点位于追踪区域内，则我们则调用模板匹配进行搜索，对每一帧，估计从开始跟踪到当前的一个观测序列。
S403：根据匹配的结果对模板库进行更新。
具体地，当后续帧中图像特征点的属性向量与模板库中任一模板完全相同时，对模板库中的模板进行覆盖；当后续帧中图像特征点的属性向量与模板库的模板均不完全相同时，作为新模板存入模板库。
对于模板库中的模板，根据模板的使用频率来定义其可靠性权值。模板的使用频率是指单位时间内模板库中的相应模板被新模板覆盖的次数。模板在t时刻的可靠性权值定义为
Figure BDA0002004076460000091
其中U(.)是单位阶跃函数；β是系数向量，为特征点的属性向量与模板使用频率的乘积；βi是第i个模板对应的系数，由系数向量通过余弦定理求得；N为模板的总数。模板系数是一种数学距离，可以用来衡量两个系数向量之间的相似程度，模板系数与系数向量之间的关系可由余弦定理获得。如：
cos(A)＝(b1c1+b2c2+…bncn)/sqrt[(b1 2+b2 2+…+bn 2)(c1 2+c2 2+…+cn 2)]
其中分子表示两个向量的内积，分母表示两个向量的模相乘。
为了保证模板的多样性，在新模板存入模板库时，可以对可靠性权值高于设定阈值的模板随机抽取一个进行更新，也可以删除可靠性权值低于设定阈值的模板。这里所说的设定阈值是指模板库的可靠性权值阈值。模板库的可靠性权值阈值可以由模板库中模板可靠性权值的均值乘以一预设系数获得，所述预设系数小于1，优选为3/5。由公式可知，可靠性权值在模板库被更新后就会随之变化，相应的，可靠性权值的阈值也随之变化。优选地，在模板库中的模板数量未达到总数N时，在新模板存入模板库时删除可靠性权值低于设定阈值的模板；在模板库中的模板数量达到总数N且存在相似度有低于设定阈值的模板时，在新模板存入模板库时删除可靠性权值低于设定阈值的模板；在模板库中的模板数量达到总数N且模板相似度均高于设定阈值时，对可靠性权值高于设定阈值的模板随机抽取一个进行更新。
S404：在连续匹配成功的帧数超过设定帧数时，输出交通灯的状态信息和距离信息。
将后续帧中图像特征点的属性向量与模板库的可靠性权值阈值做比较，当后续帧中图像特征点的属性向量大于模板库的可靠性权值阈值时，判定匹配成功。
当连续匹配成功的帧数超过设定帧数时，优选地，设定帧数为10帧，输出当前帧交通灯的状态信息和距离信息。当所述交通灯为圆形交通灯时，所述状态信息为交通灯的颜色；当所述交通灯为箭头交通灯时，所述状态信息为箭头的方向、颜色；所述距离信息为图像上交通灯区域的深度信息，也即交通灯到图像采集模块(例如3D摄像头)的距离信息。所述交通灯的状态信息在步骤S300中获得，所述距离信息通过图像采集模块获取的深度图像可以直接获得。交通灯的状态信息和距离信息可以输出到外部，也可以输出到后续程序中进行处理。当连续匹配成功的帧数不满足预设帧数时，不输出交通灯的状态信息和距离信息。
参见附图2，优选地，步骤S400之后还包括步骤:
S500：获取车辆的行驶信息，并在车辆的行驶信息、输出的交通灯的颜色和距离满足预设条件时，发出提醒信息；所述行驶信息包括：车速信息、转向灯信息、雨刮信息、档位信息中的一种或多种；所述提醒信息包括：语音提醒、灯光提醒、震动提醒中的一种或多种。
具体地，通过车身CAN网络获取路口辅助判别所需的车辆行驶信息，即整车的实时数据，例如车速信息，转向灯信息，雨刮信息，档位信息中的一种或多种。然后结合步骤S400输出的交通灯的状态信息和距离信息进行判定。
例如，若汽车直行，且处在低速行驶状态，交通灯的状态为红灯(红色箭头或红色圆灯)，交通灯的深度信息(即车辆到交通灯的距离)小于预先设定的低速报警阈值时，则发送预警报文信号给整车CAN网络，安装在方向盘内的机械马达发出低频震动，车内的报警灯常亮，内置扬声器播放报警语音，以此提醒驾驶员。
若汽车直行，且处在高速行驶状态，交通灯的状态为红灯(红色箭头或红色圆灯)，交通灯的深度信息(即车辆到交通灯的距离)小于预先设定的高速报警阈值时，则发送预警报文信号给整车CAN网络，由整车发出控制指令，安装在方向盘内的机械马达发出高频震动，报警灯闪烁；内置扬声器播放报警语音，以此提醒驾驶员。
若汽车开启左转向灯，交通灯的状态为红灯(红色左转向箭头或红色圆灯)10帧及以上，交通灯的深度信息(即车辆到交通灯的距离)小于预先设定的低速报警阈值时，则发送预警报文信号给整车CAN网络，安装在方向盘内的机械马达发出高频震动，车内产生报警语音提示。
若汽车直行，交通灯的状态为黄灯(红色箭头或圆灯)闪烁，则微发送预警报文信号给整车CAN网络，报警灯闪烁。
优选地，当获取到雨刮打开超过预设时间时，则认为天气为雨天，对报警阈值的值做适当调整以适应天气。
上述仅为几种优选的判断规则和提醒方式，具体地可以根据需要灵活设置。
本发明的技术方案，通过对交通灯进行目标追踪，在交通灯图像与模板库中的模板匹配成功预设帧数后才输出交通的状态信息和距离信息进行后续处理，提高了交通灯识别的准确度，显著降低了误报的风险。同时，由于是对交通灯背景框内的交通灯进行目标追踪，所以模板匹配过程中的搜索空间不会随着图像大小和模板大小的增加而明显增大，降低了算法计算的复杂度，提高了目标跟踪的效率。同时，在匹配新一帧图像前加入目标重构，对目标可能出现的区域做出预测，缩小了搜索的范围，一定程度上降低了跟踪运算的迭代次数，提高了***的实时性。
本发明还提供了一种交通灯图像识别处理装置，包括：
获取模块，用于获取包含深度信息和颜色信息的图像并进行预处理；
定位模块，用于对图像中的交通灯背景框进行定位；
识别模块，用于对所述背景框内的交通灯的类型和颜色进行识别；
追踪模块，用于对交通灯进行目标追踪，并在目标追踪的结果满足预设条件时，输出交通灯的状态信息和距离信息。
优选地，所述图像识别处理装置还包括：
判断提醒模块，用于获取车辆的行驶信息，并在车辆的行驶信息、输出的交通灯的颜色和距离满足预设条件时，发出提醒信息。
参见附图3，本发明还提供了一种辅助通行***，包括：
-图像采集模块110
用于获取包含深度信息和颜色信息的图像。所述图像采集模块110优选地，包括3D摄像头。所述3D摄像头内具有结合TOF(Time of Flight)的CMOS(Complementary MetalOxide Semiconductor)图像传感器，可以同时获得深度图像和普通RGB彩色图像，该传感器中每个像素单元包含1个Z像素(用于产生深度图像)和8个RGB像素(用于产生RGB彩色图像)，在使用同一组光学镜片时，该CMOS传感器几乎同时产生一幅RGB彩色图像和一幅深度图像。所述图像采集模块110安装于车辆上，用于拍摄车辆前方道路实时路况的图像。
-整车通信模块130
与车身CAN网络进行通信，用于获取车辆的行驶信息；
-数据处理模块120
与所述图像采集模块110、整车通信模块130通信连接，所述数据处理模块120包括处理器、存储器和I/O端口，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述的图像识别处理方法。具体地，所述处理器为嵌入式微处理器，所述存储器包括完成对***加电自检、各功能模块的初始化、对***的输入/输出的驱动进行操作和引导的只读存储器和可随时读写、用于存储运行程序中临时数据的随机存储器。所述计算机程序存储在只读存储器中。所述I/O端口能够进行信息格式的转换，设置中断和DMA(Direct Memory Access)控制逻辑，以中断方式实现DSP(Digital Signal Processing)与外设之间信息交换。
-提示预警模块140
与整车通信模块130通过车身CAN网络进行通信，用于发出提醒信息。具体地，所述提示预警模块140包括扬声器、偏心电动机、报警灯中的一种或多种。扬声器用于播放语音，以此提醒驾驶员；偏心电动机安装在方向盘内，用于产生震动提醒驾驶员；报警灯用于以闪烁或常亮的方式提醒驾驶员。所述数据处理模块120发出预警报文信号通过整车通信模块130给整车CAN网络(CAN总线)；提示预警模块140通过车身CAN网络接收该预警报文信号，并根据该预警报文信号发出相应的提醒。
本发明还提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令在被处理器执行时使所述处理器执行上述的图像识别处理方法。所述计算机可读存储介质可以是只读存储器、磁盘或光盘等。
应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种交通灯图像识别处理方法，包括如下步骤：
S100：获取包含深度信息和颜色信息的图像并进行预处理；
S200：对图像中的交通灯背景框进行定位；
S300：对所述背景框内的交通灯的类型和颜色进行识别；
其特征在于，还包括如下步骤，
S400：对交通灯进行目标追踪，并在目标追踪的结果满足预设条件时，输出交通灯的状态信息和距离信息。
2.如权利要求1所述的图像识别处理方法，其特征在于，
所述步骤S400包括：
S401：对经过步骤S100～S300后的第一帧图像进行解析，提取特征向量，并作为模板存入模板库；
S402：对经过步骤S100～S300后的后续帧中的图像提取特征向量，然后匹配模板库；
S403：根据匹配的结果对模板库进行更新；
S404：在连续匹配成功的帧数超过设定帧数时，输出交通灯的状态信息和距离信息。
3.如权利要求2所述的图像识别处理方法，其特征在于，
所述步骤S401具体包括：
对第一帧的图像进行解析，获得特征点附近预设范围内灰度值的均值、方差、周围特征点的分布信息；
根据解析的信息建立特征点的属性向量，并作为模板存入模板库；
所述步骤S402具体包括：
对后续帧中的图像，进行解析并建立特征点的属性向量，然后与模板库中的模板进行匹配，比较相似程度；
所述步骤S403具体包括：
当后续帧中图像特征点的属性向量与模板库中任一模板完全相同时，对模板库中的模板进行覆盖；当后续帧中图像特征点的属性向量与模板库的模板均不完全相同时，作为新模板存入模板库；
根据模板的使用频率来定义模板的可靠性权值，在新模板存入模板库时，根据可靠性权值对模板库中的模板进行更新；
所述步骤S404具体包括：
将后续帧中图像特征点的属性向量与模板库的可靠性权值阈值做比较，当后续帧中图像特征点的属性向量大于模板库的可靠性权值阈值时，判定匹配成功；
连续匹配成功的帧数超过设定帧数时，输出当前帧的交通灯的状态信息和距离信息；
当所述交通灯为圆形交通灯时，所述状态信息为交通灯的颜色；当所述交通灯为箭头交通灯时，所述状态信息为箭头的方向、颜色；
所述距离信息为图像上交通灯区域的深度信息。
4.如权利要求3所述的图像识别处理方法，其特征在于，
所述属性向量为：
V＝(m1，m2，μ，σ，p0，p1，...，p8，)
m1为在特征点周围预设范围内其他特征点分布最多处的距离；m2为在特征点周围预设范围内其他特征点分布次多处的距离；μ为特征点周围9个像素点的灰度方差，σ为特征点周围9个像素点的灰度标准差，p0，p1，...，p8为特征点周围9个像素点按灰度由大到小的排列。
5.如权利要求3所述的图像识别处理方法，其特征在于，
模板库中的模板在t时刻的可靠性权值定义为：
Figure FDA0002004076450000021
U(.)是单位阶跃函数；β是系数向量，为特征点的属性向量与模板使用频率的乘积；βi是第i个模板对应的系数，由系数向量通过余弦定理求得；N为模板的总数；
所述模板库的可靠性权值阈值为模版库中模板可靠性权值的均值与预设系数的乘积；
根据可靠性权值对模板库中的模板进行更新，具体包括：在模板库中的模板数量未达到总数N时，在新模板存入模板库时删除可靠性权值低于模板库的可靠性权值阈值的模板；在模板库中的模板数量达到总数N且存在相似度有低于模板库的可靠性权值阈值的模板时，在新模板存入模板库时删除可靠性权值低于模板库的可靠性权值阈值的模板；在模板库中的模板数量达到总数N且模板相似度均高于模板库的可靠性权值阈值时，对可靠性权值高于模板库的可靠性权值阈值的模板随机抽取一个进行更新。
6.如权利要求1所述的图像识别处理方法，其特征在于，
所述步骤S400之后还包括如下步骤：
S500：获取车辆的行驶信息，并在车辆的行驶信息、输出的交通灯的颜色和距离满足预设条件时，发出提醒信息；
所述行驶信息包括：车速信息、转向灯信息、雨刮信息、档位信息中的一种或多种；
所述提醒信息包括：语音提醒、灯光提醒、震动提醒中的一种或多种。
7.一种交通灯图像识别处理装置，其特征在于，包括：
获取模块，用于获取包含深度信息和颜色信息的图像并进行预处理；
定位模块，用于对图像中的交通灯背景框进行定位；
识别模块，用于对所述背景框内的交通灯的类型和颜色进行识别；
追踪模块，用于对交通灯进行目标追踪，并在目标追踪的结果满足预设条件时，输出交通灯的状态信息和距离信息。
8.一种辅助通行***，其特征在于，包括：
图像采集模块，用于获取包含深度信息和颜色信息的图像；
整车通信模块，与车身CAN网络进行通信，用于获取车辆的行驶信息；
数据处理模块，与所述图像采集模块、整车通信模块通信连接，所述数据处理模块包括处理器、存储器和I/O端口，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-6任一项所述的方法；
提示预警模块，与整车通信模块通过车身CAN网络进行通信，用于发出提醒信息。
9.如权利要求8所述的辅助通行***，其特征在于，
所述图像采集模块包括3D摄像头，所述3D摄像头具有结合了TOF的CMOS图像传感器；
所述提示预警模块包括扬声器、偏心电动机、报警灯中的一种或多种。
10.一种计算机可读存储介质，其特征在于，
所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令在被处理器执行时使所述处理器执行如权利要求1-6任一项所述的方法。
CN201910222479.6A 2019-03-22 2019-03-22 交通灯图像识别处理方法、装置、辅助通行***及存储介质 Active CN111723625B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910222479.6A CN111723625B (zh) 2019-03-22 2019-03-22 交通灯图像识别处理方法、装置、辅助通行***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910222479.6A CN111723625B (zh) 2019-03-22 2019-03-22 交通灯图像识别处理方法、装置、辅助通行***及存储介质

Publications (2)

Publication Number Publication Date
CN111723625A true CN111723625A (zh) 2020-09-29
CN111723625B CN111723625B (zh) 2023-08-08

Family

ID=72562802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910222479.6A Active CN111723625B (zh) 2019-03-22 2019-03-22 交通灯图像识别处理方法、装置、辅助通行***及存储介质

Country Status (1)

Country Link
CN (1) CN111723625B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150364A (zh) * 2020-10-10 2020-12-29 厦门理工学院 一种箭形交通信号灯分体式候选图像区域的配对拼接方法
CN112528794A (zh) * 2020-12-03 2021-03-19 北京百度网讯科技有限公司 信号灯的故障识别方法、装置及路侧设备
CN113053152A (zh) * 2021-03-08 2021-06-29 江铃汽车股份有限公司 一种车载交通标识实时显示方法及***
CN113052190A (zh) * 2021-04-01 2021-06-29 威海职业学院(威海市技术学院) 一种基于图像处理的视觉辅助***及方法
CN113989774A (zh) * 2021-10-27 2022-01-28 广州小鹏自动驾驶科技有限公司 一种交通灯检测方法、装置、车辆和可读存储介质
CN116152784A (zh) * 2023-04-21 2023-05-23 深圳市夜行人科技有限公司 一种基于图像处理的信号灯预警方法及***

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070074913A (ko) * 2006-01-11 2007-07-18 주식회사 현대오토넷 영상인식을 이용한 신호등 변경 통보 시스템 및 방법
KR101096806B1 (ko) * 2010-10-13 2011-12-22 한국전자통신연구원 교통 신호 통과 구간 안내 시스템
CN102800109A (zh) * 2012-07-16 2012-11-28 刘怡光 基于粒子滤波的机车信号灯跟踪方法
CN102819728A (zh) * 2012-07-17 2012-12-12 中国航天科工集团第三研究院第八三五七研究所 一种基于分类模板匹配的交通标志检测方法
DE102013101175A1 (de) * 2012-02-13 2013-08-14 Toyota Motor Engineering & Manufacturing North America Inc. System und Verfahren zur Erkennung von Verkehrssignalen
CN105185140A (zh) * 2015-09-30 2015-12-23 上海修源网络科技有限公司 一种辅助驾驶方法和***
CN105469124A (zh) * 2015-11-20 2016-04-06 厦门雅迅网络股份有限公司 一种交通标志分类方法
JP2017004295A (ja) * 2015-06-11 2017-01-05 株式会社ミツバ 信号機認識装置及び信号機認識方法
CN106408592A (zh) * 2016-09-09 2017-02-15 南京航空航天大学 一种基于目标模板更新的目标跟踪方法
CN107527511A (zh) * 2016-06-22 2017-12-29 杭州海康威视数字技术股份有限公司 一种智能车辆行车提醒方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070074913A (ko) * 2006-01-11 2007-07-18 주식회사 현대오토넷 영상인식을 이용한 신호등 변경 통보 시스템 및 방법
KR101096806B1 (ko) * 2010-10-13 2011-12-22 한국전자통신연구원 교통 신호 통과 구간 안내 시스템
DE102013101175A1 (de) * 2012-02-13 2013-08-14 Toyota Motor Engineering & Manufacturing North America Inc. System und Verfahren zur Erkennung von Verkehrssignalen
US20130211682A1 (en) * 2012-02-13 2013-08-15 Toyota Motor Engin. & Manufact. N.A.(TEMA) System and method for traffic signal recognition
CN102800109A (zh) * 2012-07-16 2012-11-28 刘怡光 基于粒子滤波的机车信号灯跟踪方法
CN102819728A (zh) * 2012-07-17 2012-12-12 中国航天科工集团第三研究院第八三五七研究所 一种基于分类模板匹配的交通标志检测方法
JP2017004295A (ja) * 2015-06-11 2017-01-05 株式会社ミツバ 信号機認識装置及び信号機認識方法
CN105185140A (zh) * 2015-09-30 2015-12-23 上海修源网络科技有限公司 一种辅助驾驶方法和***
CN105469124A (zh) * 2015-11-20 2016-04-06 厦门雅迅网络股份有限公司 一种交通标志分类方法
CN107527511A (zh) * 2016-06-22 2017-12-29 杭州海康威视数字技术股份有限公司 一种智能车辆行车提醒方法及装置
CN106408592A (zh) * 2016-09-09 2017-02-15 南京航空航天大学 一种基于目标模板更新的目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李维维等: "《基于特征学习与特征记忆模板更新机制的粒子滤波跟踪》", 《中国科学技术大学学报》, pages 292 - 302 *
武莹;张小宁;何斌;: "基于图像处理的交通信号灯识别方法", 交通信息与安全, no. 03 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150364A (zh) * 2020-10-10 2020-12-29 厦门理工学院 一种箭形交通信号灯分体式候选图像区域的配对拼接方法
CN112150364B (zh) * 2020-10-10 2022-06-07 厦门理工学院 一种箭形交通信号灯分体式候选图像区域的配对拼接方法
CN112528794A (zh) * 2020-12-03 2021-03-19 北京百度网讯科技有限公司 信号灯的故障识别方法、装置及路侧设备
CN113053152A (zh) * 2021-03-08 2021-06-29 江铃汽车股份有限公司 一种车载交通标识实时显示方法及***
CN113052190A (zh) * 2021-04-01 2021-06-29 威海职业学院(威海市技术学院) 一种基于图像处理的视觉辅助***及方法
CN113052190B (zh) * 2021-04-01 2022-05-31 威海职业学院(威海市技术学院) 一种基于图像处理的视觉辅助***及方法
CN113989774A (zh) * 2021-10-27 2022-01-28 广州小鹏自动驾驶科技有限公司 一种交通灯检测方法、装置、车辆和可读存储介质
CN116152784A (zh) * 2023-04-21 2023-05-23 深圳市夜行人科技有限公司 一种基于图像处理的信号灯预警方法及***

Also Published As

Publication number Publication date
CN111723625B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN111723625B (zh) 交通灯图像识别处理方法、装置、辅助通行***及存储介质
US11694430B2 (en) Brake light detection
US10650257B2 (en) Method and device for identifying the signaling state of at least one signaling device
CN103984950B (zh) 一种适应白天检测的运动车辆刹车灯状态识别方法
Huang et al. Vehicle detection and inter-vehicle distance estimation using single-lens video camera on urban/suburb roads
KR101982298B1 (ko) 차량에서의 돌발적으로 출현한 이동 객체를 탐지하는 방법 및 장치
CN110929655B (zh) 一种行驶过程中车道线识别方法、终端设备及存储介质
JP2002083297A (ja) 物体認識方法および物体認識装置
CN107886034B (zh) 行车提醒方法、装置及车辆
CN113297881B (zh) 一种目标检测方法及相关装置
CN112677977B (zh) 行车状态识别方法、装置、电子设备和转向灯控制方法
CN110458050B (zh) 基于车载视频的车辆切入检测方法及装置
CN110991264A (zh) 前方车辆检测方法和装置
CN113255444A (zh) 图像识别模型的训练方法、图像识别方法和装置
CN113989772A (zh) 一种交通灯检测方法、装置、车辆和可读存储介质
CN111332306A (zh) 一种基于机器视觉的交通道路感知辅助驾驶预警装置
CN114842432A (zh) 一种基于深度学习汽车灯光控制方法及***
CN113361299A (zh) 一种异常停车的检测方法、装置、存储介质及电子设备
CN111275981A (zh) 一种高速公路车辆开启制动灯和双闪灯的识别方法
Ben Romdhane et al. A lane detection and tracking method for driver assistance system
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
CN110414357B (zh) 一种基于车辆类型识别的前方车辆定位方法
CN113715827A (zh) 行车提醒方法、装置、电子设备及存储介质
CN112989956A (zh) 基于感兴趣区域的红绿灯识别方法、***及存储介质
Hammami et al. An improved lane detection and tracking method for lane departure warning systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant