CN112183427B - 一种箭形交通信号灯候选图像区域的快速提取方法 - Google Patents
一种箭形交通信号灯候选图像区域的快速提取方法 Download PDFInfo
- Publication number
- CN112183427B CN112183427B CN202011080209.5A CN202011080209A CN112183427B CN 112183427 B CN112183427 B CN 112183427B CN 202011080209 A CN202011080209 A CN 202011080209A CN 112183427 B CN112183427 B CN 112183427B
- Authority
- CN
- China
- Prior art keywords
- arrow
- image
- candidate image
- traffic signal
- signal lamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 25
- 230000008859 change Effects 0.000 claims abstract description 17
- 238000003709 image segmentation Methods 0.000 claims abstract description 6
- 230000001131 transforming effect Effects 0.000 claims abstract description 3
- 238000009826 distribution Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 34
- 239000013598 vector Substances 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000012706 support-vector machine Methods 0.000 claims description 9
- 239000003086 colorant Substances 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 8
- 235000013290 Sagittaria latifolia Nutrition 0.000 description 6
- 235000015246 common arrowhead Nutrition 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 229920002430 Fibre-reinforced plastic Polymers 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011151 fibre-reinforced plastic Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000269913 Pseudopleuronectes americanus Species 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种箭形交通信号灯候选图像区域的快速提取方法，包括如下步骤：将待识别的原始图像从RGB色彩模式变换到HSV色彩模式；基于HSV阈值的候选灯体图像分割；基于几何形状变化阈值的候选灯体图像分割；分离箭头灯图像配对拼接。本发明利用颜色阈值与几何特征双重提取箭形交通信号灯候选图像区域的方式，不但可达到快速提取的目的，并且由于充分考虑到箭头灯实际图像可能为分体式图像，因此可以大大提高图像识别的准确性。
Description
技术领域
本发明涉及车辆的智能驾驶辅助及无人驾驶技术领域，更具体地，涉及一种能够从交通环境视频图像中快速提取箭形交通信号灯候选图像区域的方法。
背景技术
红绿灯自动识别技术，尤其是红灯的自动识别技术，是车辆安全驾驶辅助和无人驾驶的关键支撑技术之一，是车辆交通环境感知的重要组成部分。根据所采用的技术方案不同，现有识别方案主要分为基于车路通信、基于周边车辆状态感知、基于GPS导航和基于车辆视觉四大类。尽管多方案融合是未来发展的趋势，但基于车载视觉的识别技术仍是学术界和企业界研究的热点，已成为智能交通***的热点研究领域。其中，由于红灯表示禁止标志，对于交通次序和安全具有更为重要的意义，因此，能够快速实时、准确可靠的从交通环境视频图像中检测出红灯是工程应用的基本要求。
现有红灯图像自动检测技术主要分为传统图像识别和基于深度学习的红灯识别两大类。前者多基于红灯的颜色、几何等特征提取红灯的候选图像区域，实时性较好，但由于车辆运行过程中相对于红灯灯体可能存在随机变化的侧倾、俯仰和横摆等位置变化，对于这些特征的具体参数如何界定缺乏依据，准确率不高。后者需要大量的图像样本进行模型的训练，准确率好，但由于训练好的神经网络模型的参数数量往往很庞大，对硬件处理速度提出了较高要求，不利于部署在车辆上，实时性也较差。这些直接制约着基于车载视觉的红灯自动检测技术在智能驾驶辅助和无人驾驶技术中的应用。
事实上，我国关于交通红绿灯的制作、设置和安装都分别在国标GB14886-2006《道路交通信号灯设置与安装规范》、国标GB14886-2016《道路交通信号灯设置与安装规范》、GB14887-2011《道路交通信号灯》和GB14887-2016《道路交通信号灯》等标准内做出了详细的规定。根据这些标准，常见的箭形交通信号灯主要有箭头朝左的禁止左转方向指示灯和箭头朝上的禁止直行方向指示灯两种，如图1所示。
理想情况下，箭形交通信号灯在视频图像中为如图1所示的分体形式，其包括“指向箭头”和“尾部直线”两个独立部分。然而在现实中可能由于光晕、距离过远等原因，其图像成为一体形式，如图2所示。在现有研究中，部分学者并未考虑到箭头灯实际上是由分离的两部分组成，这种分离现象尤其在近距离成像时特别明显；部分学者虽然考虑到了此问题，但大多采用形态学方法进行合并操作，在处理不同距离、不同角度以及复杂多变背景下成像的分离灯体时如何选取形态学内核大小一直没有好的方案。因此对于图像的识别存在限制性。
此外，现实中还由于车辆运行过程中相对于红灯灯体可能存在随机变化的侧倾、俯仰和横摆等位置变化，使得箭形交通信号灯的图像发生各类变形。这些因素都使得检测的复杂性和难度大幅上升。
参考文献(References)：
[1]Kim K T.STVC:Secure Traffic-light to Vehicle Communication[C].International Congress on Ultra-Modern Telecommunications and ControlSystems and Workshops,St.Petersburg Russia,2012:96-104。
[2]Iglesias I,Isasi L,Larburu M,et al.I2V Communication DrivingAssistance System:On-Board Traffic Light Assistant[C].Vehicular TechnologyConference,Calgary Canada,2008:1-5。
[3]Campbell J,Amor H B,Ang M H,et al.Traffic light status detectionusing movement patterns of vehicles[C].Proceedings of the IEEE InternationalConference on Intelligent Transportation Systems,Rio de Janeiro Brazil,2016:283-288。
[4]Campbell J,Tuncali C E,Liu P,et al.Modeling concurrency andreconfiguration in vehicular systems:A π-calculus approach[C].IEEEInternational Conference on Automation Science and Engineering,Texas USA,2016。
[5]Fairfield N,Urmson C.Traffic light mapping and detection[C].IEEEInternational Conference on Robotics and Automation,Shanghai China,2011:5421-5426。
[6]LevinsonJ,Askeland J,Dolson J,et al.Traffic light mapping,localization,and state detection for autonomous vehicles[C].IEEEInternational Conference on Robotics and Automation,Shanghai China,2011:5784-5791。
[7]Jang C,Cho S,Jeong S,et al.Traffic light recognition exploitingmap and localization at every stage[J].Expert Systems with Applications,2017,88:290-304。
[8]周宣汝,袁家政,刘宏哲,等.基于HOG特征的交通信号灯实时识别算法研究[J].计算机科学,2014,41(7):313-317。
[9]Shi Z,Zou Z,Zhang C.Real-time traffic light detection withadaptive background suppression filter[J].IEEE Transactions on IntelligentTransportation Systems,2015,17(3):690-700。
[10]Salarian M,Manavella A,Ansari R.A vision based system for trafficlights recognition[C]//2015 SAI Intelligent Systems Conference(IntelliSys).IEEE,2015:747-753。
[11]Saini S,Nikhil S,Konda K R,et al.An efficient vision-basedtraffic light detection and state recognition for autonomous vehicles[C]//2017 IEEE Intelligent Vehicles Symposium(IV).IEEE,2017:606-611。
[12]武莹,张小宁,何斌.基于图像处理的交通信号灯识别方法[J].交通信息与安全,2011,29(3):51-54。
[13]谷明琴,蔡自兴,李仪.应用圆形度和颜色直方图的交通信号灯识别[J].计算机工程与设计,2012,33(1):243-247。
[14]李宗鑫,秦勃,王梦倩.基于时空关系模型的交通信号灯的实时检测与识别[J].计算机科学,2018,45(06):314-319.
[15]佀君淑,朱文兴,沙永贺.复杂背景下的交通信号灯综合识别方法[J].山东大学学报(工学版),2013,44(2):64-68。
[16]吴泽峰,张重阳,许明文.基于投影特征值的交通信号灯检测与识别方法[J].现代电子技术,2016,39(09):160-163。
[17]彭祖胜.交通标志和信号灯实时检测与识别技术研究[D].重庆大学,2012。
[18]金涛,王春香,王冰,等.基于级联滤波的交通信号灯识别方法[J].上海交通大学学报,2012,46(09):1355-1360。
[19]Yu C,Huang C,Lang Y.Traffic light detection during day and nightconditions by a camera[C]，IEEE 10th International Conference on SignalProcessing Proceedings.IEEE,2010:821-824。
[20]Diaz-Cabrera M,Cerri P,Sanchez-Medina J.Suspended traffic lightsdetection and distance estimation using color features[C]//2012 15thInternational IEEE Conference on Intelligent Transportation Systems.IEEE,2012:1315-1320。
[21]吴国庆,王星星,张旭东,等.基于图像处理的交通灯检测技术[J].现代电子技术,2017,40(8):103-106。
[22]Wonghabut P,Kumphong J,Ung-arunyawee R,et al.Traffic Light ColorIdentification for Automatic Traffic Light Violation Detection System[C]//2018 International Conference on Engineering,Applied Sciences,and Technology(ICEAST).IEEE,2018:1-4。
[23]朱永珍,孟庆虎,普杰信.基于HSV色彩空间与形状特征的交通灯自动识别[J].电视技术,2015,39(5):150-154。
[24]Chen Z,Huang X.Accurate and reliable detection of traffic lightsusing multiclass learning and multiobject tracking[J].IEEE IntelligentTransportation Systems Magazine,2016,8(4):28-42。
[25]Mu G,Xinyu Z,Deyi L,et al.Traffic light detection and recognitionfor autonomous vehicles[J].The Journal of China Universities of Posts andTelecommunications,2015,22(1):50-56。
[26]Gong J,Jiang Y,Xiong G,et al.The recognition and tracking oftraffic lights based on color segmentation and camshift for intelligentvehicles[C]//2010 IEEE Intelligent Vehicles Symposium.Ieee,2010:431-435。
[27]许明文,张重阳.基于显著性特征的交通信号灯检测和识别[J].计算机与数字工程,2017,45(07):1397-1401。
[28]Almagambetov A,Velipasalar S,Baitassova A.Mobile standards-basedtraffic light detection in assistive devices for individuals with color-vision deficiency[J].IEEE Transactions on Intelligent Transportation Systems,2014,16(3):1305-1320。
[29]隗海林,包翠竹,王涵,等.基于图像识别的信号灯路口辅助驾驶方法[J].浙江大学学报:工学版,2017(6):1090-1096。
[30]谷明琴,蔡自兴,黄振威,等.城市环境中箭头型交通信号灯的实时识别算法[J].中南大学学报(自然科学版),2013,44(04):1403-1408。
[31]Li X,Ma H,Wang X,et al.Traffic light recognition for complexscene with fusion detections[J].IEEE Transactions on IntelligentTransportation Systems,2017,19(1):199-208。
[32]许明文.基于无人驾驶平台的交通灯及数字检测与识别***[D].江苏:南京理工大学,2016。
[33]Yu G,Lei A,Li H,et al.A Real-Time Traffic Light DetectionAlgorithm Based on Adaptive Edge Information[R].SAE Technical Paper,2018。
[34]Jensen M B,Nasrollahi K,Moeslund T B.Evaluating state-of-the-artobject detector on challenging traffic light data[C]//Proceedings of the IEEEConference on Computer Vision and Pattern Recognition Workshops.2017:9-15。
[35]钱弘毅,王丽华,牟宏磊.基于深度学习的交通信号灯快速检测与识别[J].计算机科学,2019,46(12):272-278。
[36]熊辉,郭宇昂,陈超义,等.基于遗传优化与深度学习的交通信号灯检测[J].汽车工程,2019,41(08):960-966。
[37]潘卫国,陈英昊,刘博,等.基于Faster-RCNN的交通信号灯检测与识别[J].传感器与微***,2019,38(09):147-149+160。
发明内容
本发明所要解决的技术问题在于提供一种箭形交通信号灯候选图像区域的快速提取方法，其基于颜色与特定几何特征，并充分考虑分体式箭头灯的实际图像，达到快速、准确的目的。
本发明所要解决的另一技术问题在于提供一种合理颜色特征阈值或合理几何形状特征阈值的获得方法，以降低丢失率和干扰率。
为解决上述技术问题，本发明的技术解决方案是：
一种箭形交通信号灯候选图像区域的快速提取方法，包括如下步骤：
第一步，图像预处理：对待识别的原始图像SrcImage进行预处理，包括将图像从RGB色彩模式变换到HSV色彩模式；
第二步，基于HSV阈值的候选灯体图像分割：根据事先设定的HSV颜色阈值分割出预处理后图像SrcImage中的所有箭形交通信号灯的二值化候选图像区域BinaryROIs，HSV颜色阈值，包括色度H、饱和度S和亮度V的设定概率分布区间；
第三步，事先设定箭形交通信号灯的几何形状变化阈值：包括(1)整体箭形交通信号灯的外接矩形R0的宽高比为μ0的变化范围；(2)分体成像时，指向箭头的外接矩形R1的宽高比μ1的变化范围、外接矩形R1的面积与整体箭形交通信号灯的外接矩形R0的面积的比值λ10的变化范围、外接矩形R1的周长与整体箭形交通信号灯的外接矩形R0的周长的比值ρ10的变化范围；(3)分体成像时，尾部直线的外接矩形R2的宽高比μ2的变化范围、外接矩形R2的面积与整体箭形交通信号灯的外接矩形R0的面积的比值λ20的变化范围、外接矩形R2的周长与整体箭形交通信号灯的外接矩形R0的周长的比值ρ20的变化范围；
第四步，以阈值μ0、μ1、μ2的变化范围划分候选图像：提取二值化候选图像区域BinaryROIs中的所有最外层轮廓线，计算每条外轮廓线的外接矩形，计算这些外接矩形的宽高比μ，分别根据第三步的μ0、μ1、μ2的变化范围将这些BinaryROIs进一步划分为箭形交通信号灯候选图像集合BinaryLights、箭形交通信号灯的指向箭头候选图像集合BinaryArrows和箭形交通信号灯的尾部直线候选图像集合BinaryLines；
第五步，分离箭头灯图像配对拼接：将指向箭头候选图像集合BinaryArrows和尾部直线候选图像集合BinaryLines中的可能配对图像进行拼接，将拼接后的分离式箭形交通信号灯候选图像添加合并到箭形交通信号灯候选图像集合BinaryLights之中，最终获得的集合BinaryLights即为从一个原始图像SrcImage中分割出所有箭形交通信号灯的候选图像区域；其中配对流程为：
(1)计算其中一个指向箭头候选图像的外接矩形R1k和其中一个尾部直线候选图像的外接矩形R2k，以及两者的联合图像区域的外接矩形R0k；
(2)根据以下约束条件判断二者是否配对构成一个箭形交通信号灯，当且仅当所有约束条件都满足时判定配对成功：
约束条件1：R1k与R2k的交集不能为空；
约束条件2：R2k有且仅有两个顶点位于R1k内部，且这两个顶点的连线是R2k的较短边；
约束条件3：R1k的面积与R0k的面积的比值必须位于设定的λ10的变化范围之间；R1k的周长与R0k的周长的比值必须位于设定的ρ10的变化范围之间；
约束条件4：R2k的面积与R0k的面积的比值必须位于设定的λ20的变化范围之间；R2k的周长与R0k的周长的比值必须位于设定的ρ20的变化范围之间；
(3)如果R1k和R2k配对成功，则二者是一个箭形交通信号灯的两个独立部分，将与R1k、R2k分别对应的轮廓线合并作为一个箭形交通信号灯候选图像区域并入到集合BinaryLights中；
(4)返回(1)，选取下一组未配对成功的指向箭头候选图像和尾部直线候选图像，直至集合BinaryArrows和BinaryLines中的所有元素都进行过配对尝试为止。
优选地，所述第二步HSV颜色阈值的获得方法为：事先采集含有箭形交通信号灯的若干交通图像，人为分割出每个图像中的箭形交通信号灯图像区域R，将图像集R从RGB色彩模式变换到HSV色彩模式，按颜色统计所有图像区域R的色度H、饱和度S和亮度V的分布曲线并进行正态分布概率曲线拟合，基于标准差准则按颜色分别计算出色度H、饱和度S和亮度V在相应概率的分布区间，从而获得HSV颜色阈值。
优选地，所述标准差准则采用3倍标准差准则，计算色度H、饱和度S和亮度V在99.75％概率下的分布区间。
优选地，所述第三步箭形交通信号灯几何形状变化阈值的获得方法为：设车辆内摄像头安装位置为原点O，交通信号灯中心坐标为(x,y,z)，车辆摄像头轴心线相对于过交通信号灯表面中心的垂直线的侧倾角为δ、俯仰角为
横摆角为ω，再根据交通信号灯标准尺寸，通过空间坐标变换求得各类箭形交通信号灯的几何特征参数μ0、μ1、μ2、λ10、λ20、ρ10、ρ20的变化公式；之后在覆盖多数车辆行驶条件即给定x、y、z、δ、/>
及ω的约束条件下，获得各类灯体的特征参数变化区间，从而得到箭形交通信号灯的几何形状变化阈值。
优选地，所述的约束条件为：
其中，
并且满足：/>
优选地，所述第一步在进行色彩模式变换之前，对过大的图像进行像素缩小，之后原图像进行高斯平滑。
优选地，进一步包括第六步，对候选图像集合BinaryLights中的图像进行验证及判断类型；包括：(1)将集合BinaryLights中每个二值化候选图像区域分割成若干子块，提取每个子块的像素密度特征，利用预训练好的一级支持向量机判断是否为灯体及其类别；(2)经过步骤(1)筛选的集合BinaryLights中每个二值化候选图像区域，先按一定延展系数进行扩展，依据该扩展的候选图像区域，从原始图像SrcImage中切割出同一区域，提取HOG特征，并利用预训练好的二级支持向量机进一步验证。
优选地，所述一级支持向量机和二级支持向量机中的样本图像，均通过人工标记其所属类别，并分为5类，分别为伪灯体、朝左、朝右、朝上及朝下箭头灯；并基于相应特征和类别构建训练样本。
优选地，所述步骤(2)中，候选图像区域扩展方式为：以候选图像区域外接矩形中心为基点，在宽度和高度方向进行延展，延展系数为2.1，得到扩展的候选图像区域。
优选地，所述HOG特征向量的提取过程如下：(1)将候选灯体图像缩放到40*40像素大小；(2)进行Gamma校正；(3)计算图像每个像素的梯度；(4)将5*5个像素划分为一个单元；(5)计算每个单元的梯度直方图；(6)将2*2个单元组成一个块，计算每个块的HOG特征并串联，最终共可获得1764维向量。
采用上述方案后，本发明先利用HSV颜色阈值分割提取出其中红、黄、绿的二值化(即黑白两色)的候选图像区域；之后针对上述提取出来的二值化候选图像区域，再利用形状特征参数进行过滤，删除一些明显不属于灯体或灯体独立组成部分的目标，保留下来的任何一个目标可能是完整的灯体图像或者是箭头灯的箭头或者是箭头灯的尾部；再对可能的分离箭头灯进行拼接，最后，获得一系列可能为完整箭头灯的候选。本发明利用颜色阈值与几何特征双重提取箭形交通信号灯候选图像区域的方式，不但可达到快速提取的目的，并且由于充分考虑到箭头灯实际图像可能为分体式图像，因此可以大大提高图像识别的准确性。
此外，本发明还基于统计学特性给出颜色图像区域的快速分割阈值，基于空间变换给出箭形交通信号灯的几何特征参数范围，最后综合给出一种静态图像中的箭形交通信号灯候选图像区域快速提取方法，既可用于提高箭形交通信号灯的传统图像识别方法的准确性，也可用于提高基于深度学习的箭形交通信号灯识别方案的实时性。
另外，本发明可进一步通过二级向量机对候选灯体图像进行验证及类别判断，其中一级向量机所处理的图像为二值化图像，运算效率很高，并且通过其筛选之后的图像才进行二级向量机进一步判断，可减少后续需进行高维特征提取的图像数目，从而减少总耗时；而二级向量机验证采用提取原始彩色图像的HOG特征的方式，从而可以提高判断准确率。
本发明的箭形交通信号灯候选区域图像的快速提取方法，可为当前的箭形交通信号灯的传统识别和深度学习识别提供素材，其作用类似于一个预处理过滤器，在大幅缩小待处理图像数据量的同时，保持着良好的实时性、鲁棒性和适应能力，具有良好的应用价值。而且本发明方法对于箭形红灯、箭形黄灯、绿灯均适用。尤其是针对红绿灯的识别要求很强的实时性，越少的候选对象对提高实时性越有利，这也是这个过滤算法的初衷。
附图说明
图1是两种典型的分离式箭形交通信号灯图像；
图2是两种典型的箭形交通信号灯实际成为连体式图像；
图3(a)是本发明箭形红灯图像区域的色度值分布图；
图3(b)是本发明箭形红灯图像区域的色度的低值区域及正态分布拟合图；
图3(c)是本发明箭形红灯图像区域的色度的高值区域及正态分布拟合图；
图3(d)是本发明箭形红灯图像区域的饱和度值分布及正态分布拟合图；
图3(e)是本发明箭形红灯图像区域的亮度值分布及正态分布拟合图；
图4是《道路交通信号灯/GB14887-2011》中左转箭头灯尺寸参数图；
图5是理想情况下的车-灯位置关系图；
图6是车辆行驶过程中的车身姿态示意图；
图7是车辆行驶过程中的车-灯位置关系图；
图8是本发明所述提取方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详述。
本发明所揭示的是一种箭形交通信号灯候选图像区域的快速提取方法，如图8所示，包括下述步骤：
第一步，图像预处理：
对待识别的原始图像SrcImage进行图像预处理，预处理包括如下方式：对于一些过大的图片可以缩小到宽不超过1280像素、高不超过720像素；对图像进行适当高斯平滑；将图像从RGB色彩模式变换到HSV色彩模式。
第二步，基于HSV阈值的候选灯体图像分割：以事先设定的HSV颜色阈值分割出预处理后图像SrcImage中的所有箭形交通信号灯的二值化候选图像区域BinaryROIs，HSV颜色阈值，包括色度H、饱和度S和亮度V的设定概率分布区间。
利用本步骤可以快速分割提取出红灯集、黄灯集及绿灯集，并得取二值化(即黑白两色)的候选图像区域，为后续的快速处理做准备。
所述HSV颜色特征阈值可以从现有技术中获得，例如背景技术中的参考论文等。本发明为提高准确率，采用如下方法确定。
大量采集各种情况下含有箭形交通信号灯的交通图像，人为分割出每个图像中的箭形交通信号灯图像区域，按信号灯颜色获得各颜色的箭形交通信号灯图像集R，将各颜色的箭形交通信号灯图像集R从RGB色彩模式变换到HSV色彩模式，然后按颜色统计所有箭形交通信号灯图像集R的色度H、饱和度S和亮度V的分布曲线并进行正态分布概率曲线拟合，如图3所示(图3是以红色交通信号灯为例)。随后，基于标准差准则(本发明优选采用3倍标准差准则)，分别计算出色度H、饱和度S和亮度V在相应概率(本发明采用3倍标准差准则，概率为99.75％)下的分布区间，该分布区间即为所述的设定概率分布区间。
更为具体的，包括如下步骤：
Step1.大量采集含有箭形交通信号灯的交通图像，获得交通图像集P12，并记当前处理的第i幅图像为P12(i)；
Step2.人工框选出每一幅图像中的信号灯图像的外接矩形区域，将非灯体区域的像素值设置为0，如此可获得图像P12(i)中的红灯集R(i)、黄灯集Y(i)和绿灯集G(i)，各集合中的信号灯图像区域元素个数分别为r(i)、y(i)、和g(i)；
Step3.分别将R(i)、Y(i)和G(i)从RGB色彩模式转换为HSV色彩模式，将H通道、S通道、V通道的像素值域范围分别线性映射为[0,180]、[0,255]和[0,255]；
Step4.分别叠加计算所有红灯、黄灯和绿灯图像的HSV像素总数，以红灯图像为例(绿灯、黄灯统计原理一样，公式只需把集合R(j,l)换成Y(j,l)和G(j,l)，求和上限从r(j)换成y(j)和g(j))，计算公式为：
其中，RH(i)[h]、RS(i)[s]和RV(i)[v]分别表示统计至第i幅图像时所有红灯图像的H、S、V通道分别取值为h、s、v值时的像素个数的总和，R(j,l)表示第j幅图像中的红灯集r(j)中的第l个红灯图像区域元素；
Step5.计算RH(i)[h]、RS(i)[s]和RV(i)[v]各自的出现次数的比例rRH(i)[h]、rRS(i)[s]和rRV(i)[v]；
Step6.当i取值足够大时，拟合出rRH(i)[h]、rRS(i)[s]和rRV(i)[v]的分布曲线，如图3各图所示，其中横坐标表示像素值大小、纵坐标表示概率密度；
从图3可以看出，当统计图像数量达到一定规模且不同时段下各种天气图像比例相对均衡时，红灯图像的H、S、V通道像素值分布呈现出一定的统计学规律，其中H通道为双峰分布如图3(a)(b)(c)、S通道和V通道为正态分布分别如图3(d)和图3(e)。
Step7.根据正态分布拟合求得H、S、V各通道的分布概率函数，基于3σ原则分别计算出99.75％概率下的分布区间；
根据上述步骤，最终可求得图像集P12下所有红灯、黄灯和绿灯图像在HSV色彩空间下的99.75％分布范围，由于正态分布在区间[μ-3σ,μ+3σ]之外的分布概率不到0.3％，几乎不可能发生，因此可将相对应的H、S、V的像素值作为各颜色灯体的参数阈值，左界向下取整、右界向上取整后的具体阈值如表1所示.
表1灯体图像的HSV阈值
在利用颜色特征分割提取红绿灯图像时，颜色阈值的选取直接影响着目标丢失量和干扰量，一般情况下，阈值区间越大则丢失量越少，但干扰量可能随之加大。分别定义丢失率loss和干扰率jam如下：
loss＝(N-M)/N
jam＝(S-N)/N
其中，N为指定类别灯体在图像集中的客观存在总数，M为经过颜色阈值过滤后存在的对应类别灯体的总数，S为经过颜色阈值过滤后存在的独立候选图像区域总数。从交通安全的角度考虑，loss值应越低越好。从算法的实时性角度考虑，干扰率jam应越小越好。一般情况下，loss越低则jam越大。表2给出了在图像集P12下几种公开阈值下条件的处理统计结果。
表2不同颜色阈值下的红绿灯图像分割结果
从表2结果可以看出，本发明采用的HSV阈值在分割提取灯体图像时具有最低的loss值0.49％，jam为次低值44.3，能够同时兼顾丢失率和干扰率。灯体丢失的主要原因是灯体偏暗或颜色失真导致。
第三步，事先设定箭形交通信号灯的几何形状变化阈值，包括(1)整体箭形交通信号灯的外接矩形R0的宽高比为μ0的变化范围；(2)分体成像时，指向箭头的外接矩形R1的宽高比μ1的变化范围、外接矩形R1的面积与整体箭形交通信号灯的外接矩形R0的面积的比值λ10的变化范围、外接矩形R1的周长与整体箭形交通信号灯的外接矩形R0的周长的比值ρ10的变化范围；(3)分体成像时，尾部直线的外接矩形R2的宽高比μ2的变化范围、外接矩形R2的面积与整体箭形交通信号灯的外接矩形R0的面积的比值λ20的变化范围、外接矩形R2的周长与整体箭形交通信号灯的外接矩形R0的周长的比值ρ20的变化范围。
上述的几何形状变化阈值可以从现有技术中获得，例如背景技术中的参考论文等。本发明为提高准确率，采用如下方法确定。
对于国家或者国际标准来说，道路交通信号灯的尺寸都有一定的标准。以《道路交通信号灯/GB14887-2011》中关于箭头灯的各具体尺寸规定为依据，其分别对箭头灯、圆形灯(也叫全屏灯)和叉形灯的形状和尺寸都进行了详细规定。以图4的左箭头灯为例，对点亮区域的宽度l0、灯体整体高度h0与宽度w0、灯体的两个组成部分头部“<”和尾部“-”各自的高度h1与h2和宽度w1与w2都有明确指定尺寸。
对于标准灯体尺寸来说，上述几何参数μ0、μ1、μ2、λ10、λ20、ρ10、ρ20均为定值，但是在实际照片中，由于信号灯灯体中心与摄像头实际位置的方位与距离变化，导致上述几何参数在一定范围内变化，本步骤正是要获得一个合理的变化范围，即箭形交通信号灯的几何形状变化阈值。
在理想情况时，如图5所示，交通信号灯中心位于车辆行驶方向Z轴，且灯体平面与X-Y平面平行，设原点为摄像头安装位置且成像镜头的光轴与Z轴平行，此时信号灯XY轴坐标均为0，其与车辆的距离z仅影响信号灯成像的大小，而不会改变信号灯的几何形状。此时，可求得左箭头灯各个几何形状特征参数如表3所示。
表3理想情况下左转箭头灯形状特征参数
然而，现实中信号灯的位置并不处在Z轴上，将相对于Z轴发生平移，而且在车辆实际行驶过程中，还应进一步考虑由于各种原因引起的车辆与信号灯间存在随机的侧倾(车身绕Z轴旋转)、俯仰(车身绕X轴旋转)和横摆(车身绕Y轴旋转)的情况，如图6所示。此时，车辆与信号灯的位置关系可由图7简单表达。
同样的，设原点O为摄像头安装位置，此时信号灯中心坐标为(x,y,z)。假设车载摄像头安装角度大概为朝车身水平正前方，此时摄像头安装时的角度偏差可以耦合到车身相对信号灯存在的侧倾角、俯仰角和横摆角，因此不必特别考虑。最后，通过空间坐标变换可以求得左箭头灯的各个几何形状特征参数相对于车身侧倾角δ、俯仰角
和横摆角ω的计算公式如表4所示。
表4真实情况下左转箭头灯形状特征算法
其中，
并且满足：
同理可求得右箭头灯、上箭头灯、下箭头的几何特征参数变化公式。圆形灯和叉形灯由于几何对称性算法相对简单，同样可以获得计算公式。这些计算公式与箭形交通信号灯中心坐标(x,y,z)有关，还与车辆摄像头相对箭形交通信号灯的侧倾角δ、俯仰角
和横摆角ω有关，还与箭形交通信号灯的具体型号尺寸有关。
最后，给出一组在条件
时(该约束条件覆盖了大部分车辆行驶条件下的空间变换范围)，各类灯体的特征参数变化区间，如表5所示。
表5条件θ下信号灯几何形状特征的区间阈值
以Φ300型箭头灯为例说明，对于表示禁止左转的朝左箭形红灯，可依据以下公式计算：
对于表示禁止直行的朝上箭形红灯，计算公式为：
其中，δ、
ω分别为车辆摄像头轴心线相对于过箭形红灯表面中心的垂直线的侧倾角、俯仰角、横摆角；/>
和/>
分别为由于箭形红灯表面中心相对于车辆摄像头存在位置偏移量(x,y,z)而产生的水平压缩系数和垂直压缩系数。
在δ≤30°、ω≤45°、
0.8≤k1≤1、0.8≤k2≤1、k1cosω≥0.7、/>
条件约束下(该约束条件覆盖了大部分车辆行驶条件下的空间变换范围)，对于禁止左转的朝左箭形红灯和禁止右转的朝右箭形红灯：μ0变化范围为[0.576，1.917]、μ1变化范围为[0.418，1.575]、μ2变化范围为[0.787，6.854]、λ10变化范围为[0.668，0.893]、λ20变化范围为[0.096，0.303]、ρ10变化范围为[0.782，0.961]、ρ20变化范围为[0.326，0.581]。对于禁止直行的朝上箭形红灯和禁止前方通行的朝下箭形红灯：μ0变化范围为[0.522，1.736]、μ1变化范围为[0.635，2.393]、μ2变化范围为[0.146，1.270]、λ10变化范围为[0.668，0.893]、λ20变化范围为[0.096，0.303]、ρ10变化范围为[0.782，0.961]、ρ20变化范围为[0.326，0.581]。
在现有研究中，部分学者并未考虑到箭头灯实际上是由分离的两部分组成，这种分离现象尤其在近距离成像时特别明显，仅采用了特征参数μ0作为红绿灯候选图像对象删选的依据；部分学者虽然考虑到了此问题，但大多采用形态学方法进行合并操作，在处理不同距离、不同角度以及复杂多变背景下的分离灯体图像时如何选取合适的形态学内核大小一直没有好的方案；部分学者分别在μ0参数基础上进行增减或放缩来确定灯体的几何形状特征阈值，这种做法的有效性有待验证；也有一些学者通过大量统计图像集中的灯体的几何形状特征的分布范围来给定阈值，但受限于摄像头安装角度以及图像集本身的分布并不一定具有广泛代表性，因此阈值不具有广泛参考性。
为验证上述几何形状特征阈值的有效性，在图像集P12基础上对红绿候选灯体的删选过滤，结果如表6所示，表中一并给出了现有公开阈值条件下的过滤结果作为对比参考。
表6不同几何特征阈值下的红绿灯图像过滤结果
表6结果表明，利用本明给出的形状特征阈值过滤灯体图像时loss为最低值0.13％，优于现有研究取得的效果，jam为次低值22.7，与现有的最低值22.4差距甚微。
第四步，以阈值μ0、μ1、μ2的变化范围划分候选图像：提取BinaryROIs的所有最外层轮廓线，遍历所有外轮廓线，计算每条外轮廓线的外接矩形，计算这些外接矩形的宽高比μ，分别根据第三步获得的μ0、μ1、μ2的变化范围将这些BinaryROIs进一步划分为箭形交通信号灯候选图像集合BinaryLights、箭形交通信号灯的指向箭头候选图像集合BinaryArrows和箭形交通信号灯的尾部直线候选图像集合BinaryLines。
通过本步骤可以删除一些明显不属于灯体或灯体独立组成部分的目标，而保留下来的任何一个目标可能是完整的灯体图像或者是箭头灯的箭头或者是箭头灯的尾部，由于同一图像可以同时是多种可能，从而可以尽量避免漏检。
第五步，分离箭头灯图像配对拼接：遍历寻找指向箭头候选图像集合BinaryArrows和尾部直线候选图像集合BinaryLines中的可能配对，构造分离式箭形交通信号灯候选图像并添加合并到箭形交通信号灯候选图像集合BinaryLights之中。配对流程为：
(1)计算指向箭头候选图像集合BinaryArrows中的一个指向箭头候选图像的外接矩形R1k和尾部直线候选图像集合BinaryLines中的一个尾部直线候选图像的外接矩形R2k，以及两者的联合图像区域的外接矩形R0k；
(2)根据以下约束条件判断二者是否配对构成一个箭形交通信号灯，当且仅当所有约束条件都满足时判定配对成功：
约束条件1：R1k与R2k的交集不能为空；
约束条件2：R2k有且仅有两个顶点位于R1k内部，且这两个顶点的连线是R2k的较短边；
约束条件3：R1k的面积与R0k的面积的比值必须位于第三步设定的λ10的变化范围之间；R1k的周长与R0k的周长的比值必须位于第三步设定的ρ10的变化范围之间；
约束条件4：R2k的面积与R0k的面积的比值必须位于第三步设定的λ20的变化范围之间；R2k的周长与R0k的周长的比值必须位于第三步设定的ρ20的变化范围之间；
(3)如果R1k和R2k配对成功，则二者是一个箭形交通信号灯的两个独立部分，将与R1k、R2k分别对应的轮廓线合并作为一个箭形交通信号灯候选图像区域并入到集合BinaryLights中；
(4)返回步骤(1)，选取下一组未配对成功的指向箭头候选图像和尾部直线候选图像，直至集合BinaryArrows和BinaryLines中的所有元素都进行过配对尝试为止。
本步骤是本发明的关键技术之一，充分考虑了分体式箭头灯可能出现的成像现象，对分体成像的箭头灯的两部分进行配对拼接，从而避免漏检。
到此，集合BinaryLights即为从一个原始图像SrcImage中分割出所有箭形交通信号灯的候选图像区域。值得一提的是，本发明提取分割的箭形交通信号灯的候选图像区域，仅仅是一种候选而不一定就是信号灯本身，其有利于后续箭形信号灯的进一步快速判断确认。也可以理解为发明是提供一种过滤器的过滤算法，以更快的速度和更好的准确率从图像中筛选出疑似箭形交通信号灯的目标图像，以便为后续的红绿灯识别做准备。当然，本发明所识别的集合BinaryLights中的图像本身也可能就是红绿灯本身，可以直接做为识别器使用。
第六步，对候选图像集合BinaryLights中的图像进一步验证及类别判断。
由于整体箭头灯和箭头或尾部的几何参数也就是μ0、μ1、μ2的变化范围存在交集，因此对于任何一个候选图像区域，只要其本身的几何参数落入哪个区间就把它复制到对应的集合中，也就是一个图像候选区域可能同时为多种可能的灯体或灯体独立部分，被同时放入到不同的集合内，这样做的目的是为了避免漏检，因为漏检比误检带来更严重的影响。此外，左右、上下灯型的这些几何参数是相同的。因此，箭形交通信号灯候选图像集合BinaryLights中存在不是完整灯形的情况，灯的类型也需要进一步判断，这些都需要对箭形交通信号灯候选图像集合BinaryLights中的图像进一步验证及判断。为此，本发明后续可以再利用支持向量机进行判断，可以采用两级向量机，一级向量机利用二值化(即黑白图)候选灯体图像的低维像素密度特征判断与否灯体以及灯体类别，二级向量机利用原始彩色图中的扩展图像区域的高维HOG特征进一步验证确认，进一步降低错检和误解。
具体步骤如下：
Step1.利用Ⅰ级SVM1判断候选灯体图像是否为一个完整灯体以及灯体类型。
遍历箭形交通信号灯候选图像集合BinaryLights中的每一个元素，基于其外接矩形的宽度和高度进行若干等分，分割成若干个子块(子块数目与样本图像相同)。计算各子块的像素密度，据此构造N维特征向量，然后作为Ⅰ级SVM1的输入用以判断候选灯体图像是否为一个完整灯体及其朝向类型，判断为非灯体的给予删除。
SVM1本身是二分类器，其样本集具有5个类别，即类别0为伪灯体，类别1至4分别为朝左、朝右、朝上、朝下箭头灯。本发明基于OVR即“一对多”法来实现多目标分类，即每次训练时把某一类当作正样本，剩余其它类当作负样本，迭代进行。为了解决正负样本比例不对称问题引入较大的惩罚因子。
其中，本发明I级SVM1的训练样本集可以采用如下方式：(1)大量采集各种情况下含有箭形交通信号灯的交通图像，提取各图像中所有交通信号灯候选图像，可以采用本发明上述方法提取，获得二值化的信号灯样本图像集合C0，并人工标记C0中每个样本图像C0(i)所属类别T0(i)，T0(i)＝0～4，即共分为5类，其中类别0为伪灯体，类别1至4分别为朝左、朝右、朝上、朝下箭头灯。(2)将样本图像C0(i)分割成n*m个子块，分割子块数目可根据实际情况而定，本发明分割成3*3子块，计算每一子块的像素密度，提取C0(i)的9维像素密度特征向量f0(i)。(3)基于f0(i)和T0(i)构建训练样本。(4)基于训练样本进行I级向量机SVM1的训练，直至收敛。
由于该步骤所处理的图像为二值图，因此运算效率很高。此外，只有判断合格的候选对象才会被后续处理，可以有效减少后续需进行高维特征提取的图像数目，从而减少总耗时。
Step2.利用II级SVM2进行验证。
经过I级SVM1筛选后的候选灯体图像集合BinaryLights中的每一个图像元素，以其外接矩形R0(i)中心为基点，在宽度w0(i)和高度h0(i)方向进行适当延展获得矩形R′0(i)，基于R′0(i)从原始图像SrcImage中分割提取出同一区域图像C′0(i)，其中：矩形R′0(i)的宽度w′0(i)＝(1+α)w0(i)，高度h′0(i)＝(1+β)h0(i)，α和β为延展系数。延展图像的目的在于使得候选图像包含灯体点亮区域***的黑色背板，以充分利用红绿灯***的固有特征。经过对比，延展系数优选α＝2.1，β＝2.1效果最佳。之后提取C′0(i)的HOG特征向量f′0(i)，并利用II级SVM进行灯体类别验证。
该HOG特征向量的提取过程可以采用如下方式：(1)将C′0(i)缩放到40*40像素大小；(2)进行Gamma校正；(3)计算图像每个像素的梯度；(4)将5*5个像素划分为一个单元；(5)计算每个单元的梯度直方图；(6)将2*2个单元组成一个块，计算每个块的HOG特征并串联，最终共可获得1764维向量。上述步骤中具体参数数值以及维数向量，均非唯一选择，但经过对比采用上述参数效果较好。
II级SVM的预训练样本集构造如下：(1)大量采集各种情况下含有箭形交通信号灯的交通图像，提取各图像中所有交通信号灯候选图像，可以采用本发明上述方法提取，获得二值化信号灯样本图像集合C0，将C0中的每个图像元素C0(i)适当延展，基于该延展的C0(i)从原始彩色图像中提取同一区域图像C′0(i)，并人工标记C′0(i)所属类别T′0(i)；同样的T′0(i)＝0～4，即共分为5类，其中类别0为伪灯体，类别1至4分别为朝左、朝右、朝上、朝下箭头灯。(2)如上，提取特征向量f′0(i)。(3)基于f′0(i)和T′0(i)构建训练样本。(4)基于训练样本进行II级向量机SVM2的训练，直至收敛。
Step3.最后采取判断识别准则为：当且仅当信号灯候选图像能够通过两级SVM验证，且两级SVM的分类结果一致，将该候选图像判断为真并给定灯体类别。
以上所述，仅是本发明的较佳实施例而已，并非对本发明的技术范围作任何限制，故但凡依本发明的权利要求和说明书所做的变化或修饰，皆应属于本发明专利涵盖的范围之内。
Claims (10)
1.一种箭形交通信号灯候选图像区域的快速提取方法，其特征在于包括如下步骤：
第一步，图像预处理：对待识别的原始图像SrcImage进行预处理，包括将图像从RGB色彩模式变换到HSV色彩模式；
第二步，基于HSV阈值的候选灯体图像分割：根据事先设定的HSV颜色阈值分割出预处理后图像SrcImage中的所有箭形交通信号灯的二值化候选图像区域BinaryROIs，HSV颜色阈值，包括色度H、饱和度S和亮度V的设定概率分布区间；
第三步，事先设定箭形交通信号灯的几何形状变化阈值：包括(1)整体箭形交通信号灯的外接矩形R0的宽高比为μ0的变化范围；(2)分体成像时，指向箭头的外接矩形R1的宽高比μ1的变化范围、外接矩形R1的面积与整体箭形交通信号灯的外接矩形R0的面积的比值λ10的变化范围、外接矩形R1的周长与整体箭形交通信号灯的外接矩形R0的周长的比值ρ10的变化范围；(3)分体成像时，尾部直线的外接矩形R2的宽高比μ2的变化范围、外接矩形R2的面积与整体箭形交通信号灯的外接矩形R0的面积的比值λ20的变化范围、外接矩形R2的周长与整体箭形交通信号灯的外接矩形R0的周长的比值ρ20的变化范围；
第四步，以阈值μ0、μ1、μ2的变化范围划分候选图像：提取二值化候选图像区域BinaryROIs中的所有最外层轮廓线，计算每条外轮廓线的外接矩形，计算这些外接矩形的宽高比μ，分别根据第三步的μ0、μ1、μ2的变化范围将这些BinaryROIs进一步划分为箭形交通信号灯候选图像集合BinaryLights、箭形交通信号灯的指向箭头候选图像集合BinaryArrows和箭形交通信号灯的尾部直线候选图像集合BinaryLines；
第五步，分离箭头灯图像配对拼接：将指向箭头候选图像集合BinaryArrows和尾部直线候选图像集合BinaryLines中的可能配对图像进行拼接，将拼接后的分离式箭形交通信号灯候选图像添加合并到箭形交通信号灯候选图像集合BinaryLights之中，最终获得的集合BinaryLights即为从一个原始图像SrcImage中分割出所有箭形交通信号灯的候选图像区域；其中配对流程为：
(1)计算其中一个指向箭头候选图像的外接矩形R1k和其中一个尾部直线候选图像的外接矩形R2k，以及两者的联合图像区域的外接矩形R0k；
(2)根据以下约束条件判断二者是否配对构成一个箭形交通信号灯，当且仅当所有约束条件都满足时判定配对成功：
约束条件1：R1k与R2k的交集不能为空；
约束条件2：R2k有且仅有两个顶点位于R1k内部，且这两个顶点的连线是R2k的短边；
约束条件3：R1k的面积与R0k的面积的比值必须位于设定的λ10的变化范围之间；R1k的周长与R0k的周长的比值必须位于设定的ρ10的变化范围之间；
约束条件4：R2k的面积与R0k的面积的比值必须位于设定的λ20的变化范围之间；R2k的周长与R0k的周长的比值必须位于设定的ρ20的变化范围之间；
(3)如果R1k和R2k配对成功，则二者是一个箭形交通信号灯的两个独立部分，将与R1k、R2k分别对应的轮廓线合并作为一个箭形交通信号灯候选图像区域并入到集合BinaryLights中；
(4)返回(1)，选取下一组未配对成功的指向箭头候选图像和尾部直线候选图像，直至集合BinaryArrows和BinaryLines中的所有元素都进行过配对尝试为止。
2.根据权利要求1所述的一种箭形交通信号灯候选图像区域的快速提取方法，其特征在于第二步HSV颜色阈值的获得方法为：事先采集含有箭形交通信号灯的若干交通图像，人为分割出每个图像中的箭形交通信号灯图像区域R，将图像集R从RGB色彩模式变换到HSV色彩模式，按颜色统计所有图像区域R的色度H、饱和度S和亮度V的分布曲线并进行正态分布概率曲线拟合，基于标准差准则按颜色分别计算出色度H、饱和度S和亮度V在相应概率的分布区间，从而获得HSV颜色阈值。
3.根据权利要求1所述的一种箭形交通信号灯候选图像区域的快速提取方法，其特征在于：标准差准则采用3倍标准差准则，计算色度H、饱和度S和亮度V在99.75％概率下的分布区间。
4.根据权利要求1所述的一种箭形交通信号灯候选图像区域的快速提取方法，其特征在于第三步箭形交通信号灯几何形状变化阈值的获得方法为：设车辆内摄像头安装位置为原点O，交通信号灯中心坐标为(x,y,z)，车辆摄像头轴心线相对于过交通信号灯表面中心的垂直线的侧倾角为δ、俯仰角为
横摆角为ω，再根据交通信号灯标准尺寸，通过空间坐标变换求得各类箭形交通信号灯的几何特征参数μ0、μ1、μ2、λ10、λ20、ρ10、ρ20的变化公式；之后在覆盖多数车辆行驶条件即给定x、y、z、δ、/>
及ω的约束条件下，获得各类灯体的特征参数变化区间，从而得到箭形交通信号灯的几何形状变化阈值。
5.根据权利要求4所述的一种箭形交通信号灯候选图像区域的快速提取方法，其特征在于所述的约束条件为：
其中，
并且满足：/>
6.根据权利要求1所述的一种箭形交通信号灯候选图像区域的快速提取方法，其特征在于：所述第一步在进行色彩模式变换之前，对过大的图像进行像素缩小，之后原图像进行高斯平滑。
7.根据权利要求1所述的一种箭形交通信号灯候选图像区域的快速提取方法，其特征在于：进一步包括第六步，对候选图像集合BinaryLights中的图像进行验证及判断类型；包括：(1)将集合BinaryLights中每个二值化候选图像区域分割成若干子块，提取每个子块的像素密度特征，利用预训练好的一级支持向量机判断是否为灯体及其类别；(2)经过步骤(1)筛选的集合BinaryLights中每个二值化候选图像区域，先按一定延展系数进行扩展，依据该扩展的候选图像区域，从原始图像SrcImage中切割出同一区域，提取HOG特征，并利用预训练好的二级支持向量机进一步验证。
8.根据权利要求7所述的一种箭形交通信号灯候选图像区域的快速提取方法，其特征在于：所述一级支持向量机和二级支持向量机中的样本图像，均通过人工标记其所属类别，并分为5类，分别为伪灯体、朝左、朝右、朝上及朝下箭头灯；并基于相应特征和类别构建训练样本。
9.根据权利要求7所述的一种箭形交通信号灯候选图像区域的快速提取方法，其特征在于步骤(2)中，候选图像区域扩展方式为：以候选图像区域外接矩形中心为基点，在宽度和高度方向进行延展，延展系数为2.1，得到扩展的候选图像区域。
10.根据权利要求7所述的一种箭形交通信号灯候选图像区域的快速提取方法，其特征在于：HOG特征向量的提取过程如下：(1)将候选灯体图像缩放到40*40像素大小；(2)进行Gamma校正；(3)计算图像每个像素的梯度；(4)将5*5个像素划分为一个单元；(5)计算每个单元的梯度直方图；(6)将2*2个单元组成一个块，计算每个块的HOG特征并串联，最终共可获得1764维向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011080209.5A CN112183427B (zh) | 2020-10-10 | 2020-10-10 | 一种箭形交通信号灯候选图像区域的快速提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011080209.5A CN112183427B (zh) | 2020-10-10 | 2020-10-10 | 一种箭形交通信号灯候选图像区域的快速提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112183427A CN112183427A (zh) | 2021-01-05 |
| CN112183427B true CN112183427B (zh) | 2023-05-30 |
Family
ID=73947512
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011080209.5A Active CN112183427B (zh) | 2020-10-10 | 2020-10-10 | 一种箭形交通信号灯候选图像区域的快速提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112183427B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113158976B (zh) * | 2021-05-13 | 2024-04-02 | 北京纵目安驰智能科技有限公司 | 地面箭头的识别方法、***、终端及计算机可读存储介质 |
| CN114241438B (zh) * | 2021-11-26 | 2023-05-16 | 电子科技大学 | 一种基于先验信息的交通信号灯快速精确的识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408424A (zh) * | 2014-11-26 | 2015-03-11 | 浙江大学 | 一种基于图像处理的多信号灯识别方法 |
| CN104574960A (zh) * | 2014-12-25 | 2015-04-29 | 宁波中国科学院信息技术应用研究院 | 一种交通灯识别方法 |
| CN104769652A (zh) * | 2012-11-20 | 2015-07-08 | 哈曼国际工业有限公司 | 用于检测交通灯的方法和*** |
| CN105913041A (zh) * | 2016-04-27 | 2016-08-31 | 浙江工业大学 | 一种基于预先标定的信号灯识别方法 |
| WO2016181519A1 (ja) * | 2015-05-13 | 2016-11-17 | 日産自動車株式会社 | 矢印信号機検出装置及び矢印信号機検出方法 |
-
2020
- 2020-10-10 CN CN202011080209.5A patent/CN112183427B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104769652A (zh) * | 2012-11-20 | 2015-07-08 | 哈曼国际工业有限公司 | 用于检测交通灯的方法和*** |
| CN104408424A (zh) * | 2014-11-26 | 2015-03-11 | 浙江大学 | 一种基于图像处理的多信号灯识别方法 |
| CN104574960A (zh) * | 2014-12-25 | 2015-04-29 | 宁波中国科学院信息技术应用研究院 | 一种交通灯识别方法 |
| WO2016181519A1 (ja) * | 2015-05-13 | 2016-11-17 | 日産自動車株式会社 | 矢印信号機検出装置及び矢印信号機検出方法 |
| CN105913041A (zh) * | 2016-04-27 | 2016-08-31 | 浙江工业大学 | 一种基于预先标定的信号灯识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 《基于车载视觉的交通红绿灯自动识别及语义解析》;汤世福;《中国优秀硕士学位论文全文数据库（工程科技Ⅱ辑）》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112183427A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fleyeh et al. | Eigen-based traffic sign recognition | |
| CN105825203B (zh) | 基于点对匹配和几何结构匹配的地面箭头标志检测与识别方法 | |
| CN109190523B (zh) | 一种基于视觉的车辆检测跟踪预警方法 | |
| CN111582216A (zh) | 一种无人驾驶车载交通信号灯识别***及方法 | |
| CN111626217A (zh) | 一种基于二维图片和三维点云融合的目标检测和追踪方法 | |
| CN109726717B (zh) | 一种车辆综合信息检测*** | |
| CN108090459B (zh) | 一种适用于车载视觉***的交通标志检测识别方法 | |
| Qingsong et al. | A detection and recognition method for prohibition traffic signs | |
| CN112183427B (zh) | 一种箭形交通信号灯候选图像区域的快速提取方法 | |
| CN102509098A (zh) | 一种鱼眼图像车辆识别方法 | |
| CN104050447A (zh) | 一种交通信号灯识别方法和装置 | |
| KR20120032897A (ko) | 개체 검출 방법 및 시스템 | |
| CN105205785A (zh) | 一种可定位的大型车辆运行管理***及其运行方法 | |
| CN105184301B (zh) | 一种利用四轴飞行器判别车辆方位的方法 | |
| Cai et al. | Real-time arrow traffic light recognition system for intelligent vehicle | |
| CN111860509A (zh) | 一种由粗到精的两阶段非约束车牌区域精准提取方法 | |
| CN107918775B (zh) | 一种辅助车辆安全驾驶的斑马线检测方法及*** | |
| CN104217206A (zh) | 基于高清视频的实时上座率统计方法 | |
| CN112464731A (zh) | 一种基于图像处理的交通标志检测识别方法 | |
| CN115424217A (zh) | 基于ai视觉的车辆智能识别方法、装置和电子设备 | |
| Ghahremannezhad et al. | Robust road region extraction in video under various illumination and weather conditions | |
| CN112150364B (zh) | 一种箭形交通信号灯分体式候选图像区域的配对拼接方法 | |
| CN112053407B (zh) | 一种交通执法影像中基于ai技术的车道线自动检测方法 | |
| CN112528994A (zh) | 一种自由角度车牌检测方法、车牌识别方法和识别*** | |
| CN109325487B (zh) | 一种基于目标检测的全种类车牌识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |