CN106803064B - 一种交通灯快速识别方法 - Google Patents

一种交通灯快速识别方法 Download PDF

Info

Publication number
CN106803064B
CN106803064B CN201611214259.1A CN201611214259A CN106803064B CN 106803064 B CN106803064 B CN 106803064B CN 201611214259 A CN201611214259 A CN 201611214259A CN 106803064 B CN106803064 B CN 106803064B
Authority
CN
China
Prior art keywords
traffic light
image
steps
arrow
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611214259.1A
Other languages
English (en)
Other versions
CN106803064A (zh
Inventor
黄文恺
朱静
李儒国
陈文达
莫国志
李嘉锐
韩晓英
姚佳岷
温泉河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN201611214259.1A priority Critical patent/CN106803064B/zh
Publication of CN106803064A publication Critical patent/CN106803064A/zh
Application granted granted Critical
Publication of CN106803064B publication Critical patent/CN106803064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种交通灯快速识别方法，包括获取车辆前方道路图像；快速定位交通灯所在的位置；对图像进行去噪处理；分割图像区域；对图像进行筛选；采用“十字验证”方法确认交通灯所在位置；然后进一步识别交通灯为圆形还是箭头。本发明通过多次验证，准确度率高；计算量小，识别速度快，能够识别圆形以及箭头形交通灯，受环境因素影响小，便于应用于无人驾驶汽车、车辆辅助驾驶***。

Description

一种交通灯快速识别方法
技术领域
本发明涉及车辆主动安全***领域，具体涉及一种交通灯快速识别方法。
背景技术
如今，现有交通灯识别技术大多数使用的是计算机图形处理技术、计算机学习、神经网络等技术。一般使用的是直接使用模板匹配的算法或基于SVM支持向量机的交通灯识别算法。由于模板匹配的算法存在识别正确率低、识别速率慢等缺陷；而用SVM支持向量机的交通灯识别算法，需要根据不同的环境(如白天、夜晚、阴天、反光等)进行大量的样本训练，还需要根据不同的道路交通路口位置进行训练，运算量大，识别速度慢，受环境影响较大。
发明内容
为了解决现有技术所存在的技术问题，本发明提供一种交通灯快速识别方法，该方法运算量少、识别速度快、识别准确率高、受环境因素影响小，便于应用于无人驾驶汽车、车辆辅助驾驶***。
本发明的交通灯快速识别方法，包括以下步骤：
一：获取车辆前方道路信息图像；
二：从获取的前方道路信息图像中，根据交通灯颜色对交通灯图片进行快速跳步定位，获取交通灯初步位置；
三：对快速跳步定位得到的交通灯初步位置进行区域划分，分为RGB三个通道；分别对交通灯的颜色进行分离，将分离结果二值化；进行均值去噪处理；
四：对步骤三处理后图像的连续像素点区域进行分割；
五：使用width/height≈1.0的方法筛选分割后的图像，大致确认交通灯位置，并记录交通灯位置在原图的位置，其中width指分割后图像的宽度，height指分割后图像的高度；
六：利用“十字验证”方法进一步确认，检测某个区域是否为交通灯所在的位置；
所述“十字验证”方法以步骤五所筛选图像为中心位置，沿该中心位置的上、下、左、右四个方向分别延伸出一个与其大小相同的正方形，对四个方向的正方形进行检测运算；如果检测到某一个方向为定义的交通灯颜色占比达到85％或以上，则判断中心位置为交通灯所在的位置；
七：对所确认交通灯位置的区域进行检测，是否为圆形，若否则执行步骤八；
八：使用canny获取图像的轮廓，计算图像HU矩，与标准箭头HU矩进行匹配；若与标准箭头HU矩匹配不成功则执行步骤九；
九：将图片传送给SVM分类器进行分类识别。
与现有技术相比，本发明具有如下优点和有益效果：
1、本发明首先通过快速跳步进行可疑区域的定位，大大减少了对图像处理的计算量。例如在步骤S3中需要对图像进行二值化处理，若不进行可疑区域定位则需要对图像所有的像素点进行计算，现只需进行对可疑区域进行处理，从而缩短了计算时间。
2、分割图像后，采用十字验证法对交通灯位置进行确认，提高了算法的准确率。
3、对交通灯进行识别时，充分使用规则几何图形进行辅助性识别，当遇到圆形交通信号灯时，可不进行HU矩计算，也无需使用SVM分类器，缩短了图像处理的时间。
4、引入HU矩进行匹配，能有效识别箭头型的交通信号灯；使用SVM分类器提高了图像不清晰时候的识别率。
附图说明
图1是本发明交通灯快速识别方法的流程示意图；
图2是进行交通灯颜色分离后的图片；
图3是对图2进行图像分割并筛选的交通灯信号图片之一；
图4是对图2进行图像分割并筛选的交通灯信号图片之二。
具体实施方式
下面将结合附图和具体实施方式对本发明做进一步的说明，但本发明的实施方式不限于此。
实施例
参见图1，本发明的一种交通灯快速识别方法，包括以下步骤：
S1：利用摄像头获取车辆前方道路信息图像。
S2：从获取的前方道路信息图像中，对交通灯图片进行快速跳步定位，获取交通灯初步位置。快速跳步是通过检测交通灯颜色以确定交通灯可疑区域，可以选择(5x,5y)的方式，即以5个像素为单位进行快速跳步定位，读取图像信息快速预定位交通灯可疑区域，以达到减少处理图像信息加快处理速度的目的。其中，交通灯颜色包括红、黄、绿及黑色。
S3：对快速跳步定位得到的交通灯初步位置进行区域划分，并将该区域分为RGB三个通道，分别对交通灯的颜色进行分离，将分离结果二值化，使每一个通道仅存在0与255的值；进行均值去噪处理，将零散的像素点清除掉。结果如图2所示。对交通灯的颜色进行分离时，主要是通过RGB三个通道的计算并与预设的阈值进行比较。
S4：对步骤S3处理后图像的连续像素点区域进行分割。本步骤首先计算图像连续区域，然后将每一个图像连续区域分成独立的一小块图像。当分割出两个图像部分存在重复部分时，将两个图像部分合并，取其长宽最大值。
S5：使用width/height≈1.0的方法筛选分割后的图像，以去掉图像边缘比较独立的像素，大致确认交通灯位置，并记录交通灯位置在原图的位置，并且给每一个符合条件的图像标记2R＝width，其中width指分割后图像的宽度，height指分割后图像的高度。无论交通灯是箭头还是圆形，均可采用本步骤进行处理，箭头交通灯的结果如图3所示，圆形交通灯的结果如图4所示。
S6：利用“十字验证”方法进一步确认，检测某个区域是否为交通灯所在的位置。
本发明主要是应用于无人驾驶机动车在道路上的启停、转向等时对交通灯的快速识别，由于指示车辆启停、转向类型的交通灯一般都是三个以上，且三个交通灯横向设置或竖向设置，因此某一交通灯的上、下、左、右四个方向一般至少有一个方向是存在相邻交通灯的。本步骤“十字验证法”，正是基于这一前提来实现的。
由于步骤S5中筛选的图像高度与宽带比接近1:1，“十字验证”方法以待检测区域为中心位置，沿该中心位置的上、下、左、右四个方向分别延伸出边长为2R的正方形，即在步骤S5所筛选图像的上、下、左、右分别取一个与其大小相同的区域，对四个方向的正方形进行检测运算。如果检测到某一个方向为定义的交通灯颜色(交通灯为红色、黄色、绿色或黑色)占比达到85％或以上，则认为中心位置为交通灯信号；也就是说，延伸出来的正方形区域内，若交通灯颜色占比达到85％以上，则判断中心位置为交通灯所在的位置。
S7：据观察统计，大部分的交通灯面板外面均有白色铁圈，因而本发明还可进一步检测“十字验证”方法所确定的交通灯位置，是否存在白色铁圈，从而最终确认交通灯位置。若没有计算出交通灯面板外的白色铁圈，则转入步骤S8。
本步骤不是必要的。通过步骤S6已经大致确认了交通灯所在位置，在该位置周围进一步检测是否存在白色区域，可进一步确定交通灯位置。若周围存在白色区域，则沿着白色区域检测，当白色区域闭合并包围着步骤S6采用“十字验证”方法所检测的交通灯所在位置时则认为白色铁圈存在。
S8：对所确认交通灯位置的区域进行检测，是否为圆形。本步骤检测所确认交通灯位置的区域是否为圆形时，所用方法为：计算图形面积S，计算图像周长C，由于圆形的面积、周长有以下特征：
S/C＝(πR2)/(2πR)＝R/2
如果此时S/C＝(width+height)/8则认为该形状为圆形。若检测结果为圆形则转入步骤S11，否则执行步骤S9。
S9：使用canny获取图像的轮廓，计算图像HU矩，与标准箭头HU矩进行匹配；若与标准箭头HU矩匹配成功则转入步骤S11，否则执行步骤S10。
在步骤S9中，计算图形的HU矩所用的公式为：
I1＝y20+y02
I2＝(y20+y02)2+4y11 2
I3＝(y30+3y)2+(3y21-y03)2
I4＝(y30+y12)2+(y21+y03)2
I5＝(y30-y12)(y30-y12)[(y30+y12)2-3(y21+y03)2]+(3y21-y03)(y21+y30)[3(y30+y12)2-(y21+y03)2]
I6＝(y20-y02)[(y30+y12)2-(y21+y03)2]+4y11(y30+y12)(y21+y03)
I7＝(3y21+y03)(y30+y12)[(y30+y12)2-3(y21+y03)2]+9y30-3y12)(y21+y30)[3(y30+y12)2-(y21+y03)2]
其中，Ik为不变矩，ypq为(p+q)阶归一化中心矩，k、q及p均为整数，且1≤k≤7,0≤p≤3，0≤q≤3。上述七个不变矩是由二阶和三阶中心矩构造的，无论所得到的箭头是哪一个方向，或者检测到的箭头大小不一致，它的HU矩都不会发生变化，所以能够达到快速检测的目的。
S10：将图片传送给SVM分类器进行分类识别。其中，SVM分类器需进行训练。训练时，采用SVM分类器提取图片的特征，形成多维向量特征，然后人工标记样本为左、右、前进箭头，最后SVM分类器将人工识别结果储存到特征库。
S11：将运算结果通过串口发送出去。
由于步骤S8、步骤S9、步骤S10是逐层进入的，所以大部分的结果能够在运算量较少的步骤S8、步骤S9完成，减少识别时间。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.一种交通灯快速识别方法，其特征在于，包括以下步骤：
一：获取车辆前方道路信息图像；
二：从获取的前方道路信息图像中，根据交通灯颜色对交通灯图片进行快速跳步定位，获取交通灯初步位置；
三：对快速跳步定位得到的交通灯初步位置进行区域划分，分为RGB三个通道；分别对交通灯的颜色进行分离，将分离结果二值化；进行均值去噪处理；
四：对步骤三处理后图像的连续像素点区域进行分割；
五：使用width/height≈1.0的方法筛选分割后的图像，大致确认交通灯位置，并记录交通灯位置在原图的位置，其中width指分割后图像的宽度，height指分割后图像的高度；
六：利用“十字验证”方法进一步确认，检测某个区域是否为交通灯所在的位置；
所述“十字验证”方法以步骤五所筛选图像为中心位置，沿该中心位置的上、下、左、右四个方向分别延伸出一个与其大小相同的正方形，对四个方向的正方形进行检测运算；如果检测到某一个方向为定义的交通灯颜色占比达到85％或以上，则判断中心位置为交通灯所在的位置；
七：对所确认交通灯位置的区域进行检测，是否为圆形，若否则执行步骤八；
八：使用canny获取图像的轮廓，计算图像HU矩，与标准箭头HU矩进行匹配；若与标准箭头HU矩匹配不成功则执行步骤九；
九：将图片传送给SVM分类器进行分类识别。
2.根据权利要求1所述的交通灯快速识别方法，其特征在于，所述步骤九SVM分类器需进行训练；训练时，采用SVM分类器提取图片的特征，形成多维向量特征，然后人工标记样本为左、右、前进箭头，最后SVM分类器将人工识别结果储存到特征库。
3.根据权利要求1所述的交通灯快速识别方法，其特征在于，所述步骤六与步骤七之间还执行：
检测“十字验证”方法所确定的交通灯位置的周围是否存在白色区域；若周围存在白色区域，则沿着白色区域检测，当白色区域闭合并包围着采用“十字验证”方法所检测的交通灯所在位置时则认为白色铁圈存在。
CN201611214259.1A 2016-12-26 2016-12-26 一种交通灯快速识别方法 Active CN106803064B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611214259.1A CN106803064B (zh) 2016-12-26 2016-12-26 一种交通灯快速识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611214259.1A CN106803064B (zh) 2016-12-26 2016-12-26 一种交通灯快速识别方法

Publications (2)

Publication Number Publication Date
CN106803064A CN106803064A (zh) 2017-06-06
CN106803064B true CN106803064B (zh) 2020-05-19

Family

ID=58984236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611214259.1A Active CN106803064B (zh) 2016-12-26 2016-12-26 一种交通灯快速识别方法

Country Status (1)

Country Link
CN (1) CN106803064B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563301A (zh) * 2017-08-09 2018-01-09 上海炬宏信息技术有限公司 基于图像处理技术的红灯信号检测方法
CN109635640B (zh) * 2018-10-31 2020-12-08 百度在线网络技术（北京）有限公司 基于点云的交通灯识别方法、装置、设备及存储介质
CN110021176B (zh) * 2018-12-21 2021-06-15 文远知行有限公司 交通灯决策方法、装置、计算机设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011216051A (ja) * 2010-04-02 2011-10-27 Institute Of National Colleges Of Technology Japan 信号灯識別プログラムおよび信号灯識別装置
CN102819263A (zh) * 2012-07-30 2012-12-12 中国航天科工集团第三研究院第八三五七研究所 多摄像头无人车视觉感知***
CN103996017A (zh) * 2014-02-24 2014-08-20 航天恒星科技有限公司 一种基于Hu不变矩和支持向量机的舰船检测方法
CN104021378A (zh) * 2014-06-07 2014-09-03 北京联合大学 基于时空关联与先验知识的交通信号灯实时识别方法
CN104574960A (zh) * 2014-12-25 2015-04-29 宁波中国科学院信息技术应用研究院 一种交通灯识别方法
CN104766046A (zh) * 2015-02-06 2015-07-08 哈尔滨工业大学深圳研究生院 一种利用交通标识颜色及形状特征进行检测与识别算法
CN104791113A (zh) * 2015-03-20 2015-07-22 武汉理工大学 基于行驶路况的发动机自动启停智能触发方法及***
CN104851288A (zh) * 2015-04-16 2015-08-19 宁波中国科学院信息技术应用研究院 一种交通灯定位方法
US9442487B1 (en) * 2014-08-15 2016-09-13 Google Inc. Classifier hierarchies for traffic light and traffic indicator detection
CN106023623A (zh) * 2016-07-28 2016-10-12 南京理工大学 基于机器视觉的车载交通信号与标志的识别及预警方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011216051A (ja) * 2010-04-02 2011-10-27 Institute Of National Colleges Of Technology Japan 信号灯識別プログラムおよび信号灯識別装置
CN102819263A (zh) * 2012-07-30 2012-12-12 中国航天科工集团第三研究院第八三五七研究所 多摄像头无人车视觉感知***
CN103996017A (zh) * 2014-02-24 2014-08-20 航天恒星科技有限公司 一种基于Hu不变矩和支持向量机的舰船检测方法
CN104021378A (zh) * 2014-06-07 2014-09-03 北京联合大学 基于时空关联与先验知识的交通信号灯实时识别方法
US9442487B1 (en) * 2014-08-15 2016-09-13 Google Inc. Classifier hierarchies for traffic light and traffic indicator detection
CN104574960A (zh) * 2014-12-25 2015-04-29 宁波中国科学院信息技术应用研究院 一种交通灯识别方法
CN104766046A (zh) * 2015-02-06 2015-07-08 哈尔滨工业大学深圳研究生院 一种利用交通标识颜色及形状特征进行检测与识别算法
CN104791113A (zh) * 2015-03-20 2015-07-22 武汉理工大学 基于行驶路况的发动机自动启停智能触发方法及***
CN104851288A (zh) * 2015-04-16 2015-08-19 宁波中国科学院信息技术应用研究院 一种交通灯定位方法
CN106023623A (zh) * 2016-07-28 2016-10-12 南京理工大学 基于机器视觉的车载交通信号与标志的识别及预警方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Real time recognition of traffic light and their signal count-down timings;Sathiya 等;《International Conference on Information Communication & Embedded Systems IEEE》;20151231;全文 *
智能车交通灯识别;李广亮 等;《杭州电子科技大学学报》;20140531;第80-82页 *

Also Published As

Publication number Publication date
CN106803064A (zh) 2017-06-06

Similar Documents

Publication Publication Date Title
CN111212772B (zh) 用于确定车辆的驾驶策略的方法和设备
US10133941B2 (en) Method, apparatus and device for detecting lane boundary
Siogkas et al. Traffic lights detection in adverse conditions using color, symmetry and spatiotemporal information
CN109190523B (zh) 一种基于视觉的车辆检测跟踪预警方法
Gomez et al. Traffic lights detection and state estimation using hidden markov models
Chen et al. Nighttime brake-light detection by Nakagami imaging
CN107978165A (zh) 基于计算机视觉的交叉口标志标线与信号灯智能感知方法
KR101094752B1 (ko) 에이치에스아이 색정보의 통계적 모델을 이용한 차선 분류방법
CN102298693B (zh) 基于计算机视觉的高速公路弯道检测方法
CN107316486A (zh) 基于双摄像头的无人驾驶汽车视觉识别***
CN107886034B (zh) 行车提醒方法、装置及车辆
CN108090459B (zh) 一种适用于车载视觉***的交通标志检测识别方法
CN101369312B (zh) 检测图像中交叉口的方法和设备
CN106803064B (zh) 一种交通灯快速识别方法
KR101922852B1 (ko) 영상 기반 색상정보를 이용한 초지 경계 검출 방법
JP6527013B2 (ja) 交通標識から英数字を抽出／認識するコンピュータ実施システムおよび方法
CN109886168B (zh) 一种基于层阶的地面交通标志识别方法
CN110688907A (zh) 基于夜间道路光源识别物体的方法及装置
CN106022268A (zh) 一种限速标识的识别方法和装置
Devane et al. Lane detection techniques using image processing
CN107025796A (zh) 汽车辅助驾驶视觉预警***及其预警方法
CN112115800A (zh) 一种基于深度学习目标检测的车辆组合识别***及方法
KR101787292B1 (ko) 영상을 이용한 차선 인식 성능 향상 방법
CN110889342A (zh) 一种减速带的识别方法
KR20140104516A (ko) 차선 인식 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant