CN112150364B - 一种箭形交通信号灯分体式候选图像区域的配对拼接方法 - Google Patents
一种箭形交通信号灯分体式候选图像区域的配对拼接方法 Download PDFInfo
- Publication number
- CN112150364B CN112150364B CN202011079511.9A CN202011079511A CN112150364B CN 112150364 B CN112150364 B CN 112150364B CN 202011079511 A CN202011079511 A CN 202011079511A CN 112150364 B CN112150364 B CN 112150364B
- Authority
- CN
- China
- Prior art keywords
- arrow
- candidate image
- traffic signal
- signal lamp
- lamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000008859 change Effects 0.000 claims abstract description 20
- 239000013598 vector Substances 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 238000012706 support-vector machine Methods 0.000 claims description 9
- 238000009434 installation Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 10
- 238000001914 filtration Methods 0.000 description 6
- 235000013290 Sagittaria latifolia Nutrition 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 235000015246 common arrowhead Nutrition 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 241000269913 Pseudopleuronectes americanus Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种箭形交通信号灯分体式候选图像区域的配对拼接方法，该候选图像区域包括箭形交通信号灯的指向箭头候选图像集合BinaryArrows和尾部直线候选图像集合BinaryLines；针对BinaryArrows和BinaryLines中的各图像相互一一进行配对，设BinaryArrows中配对图像的外接矩形为R1k，BinaryLines中配对图像的外接矩形为R2k，配对的约束条件为：R1k与R2k的交集不能为空；R2k有且仅有两个顶点位于R1k内部，且这两个顶点的连线是R2k的较短边；R1k、R2k的面积和周长与两者并集的面积和周长的比值分别位于设定的变化范围阈值内；上述约束条件均满足则配对成功，将配对成功的两个图像拼接作为一个灯体候选图像区域。本发明充分考虑分体式箭头灯的实际图像，大大提高图像识别的准确性。
Description
技术领域
本发明涉及车辆的智能驾驶辅助及无人驾驶技术领域，更具体地，涉及一种分体成像的箭形交通信号灯候选图像区域的配对拼接方法。
背景技术
红绿灯自动识别技术，尤其是红灯的自动识别技术，是车辆安全驾驶辅助和无人驾驶的关键支撑技术之一，是车辆交通环境感知的重要组成部分。根据所采用的技术方案不同，现有识别方案主要分为基于车路通信、基于周边车辆状态感知、基于GPS导航和基于车辆视觉四大类。尽管多方案融合是未来发展的趋势，但基于车载视觉的识别技术仍是学术界和企业界研究的热点，已成为智能交通***的热点研究领域。其中，由于红灯表示禁止标志，对于交通次序和安全具有更为重要的意义，因此，能够快速实时、准确可靠的从交通环境视频图像中检测出红灯是工程应用的基本要求。
现有红灯图像自动检测技术主要分为传统图像识别和基于深度学习的红灯识别两大类。前者多基于红灯的颜色、几何等特征提取红灯的候选图像区域，实时性较好。后者需要大量的图像样本进行模型的训练，准确率好，但由于训练好的神经网络模型的参数数量往往很庞大，对硬件处理速度提出了较高要求，不利于部署在车辆上，实时性也较差。这些直接制约着基于车载视觉的红灯自动检测技术在智能驾驶辅助和无人驾驶技术中的应用。
而针对图像识别的红绿灯图像提取技术，由于箭形交通信号灯实际的分体式结构，使其在实际识别时存在如下不足：
事实上，我国关于交通红绿灯的制作、设置和安装都分别在国标GB14886-2006《道路交通信号灯设置与安装规范》、国标GB14886-2016《道路交通信号灯设置与安装规范》、GB14887-2011《道路交通信号灯》和GB14887-2016《道路交通信号灯》等标准内做出了详细的规定。根据这些标准，常见的箭形交通信号灯主要有箭头朝左的禁止左转方向指示灯和箭头朝上的禁止直行方向指示灯两种，如图1所示。
理想情况下，箭形交通信号灯在视频图像中为如图1所示的分体形式，其包括“指向箭头”和“尾部直线”两个独立部分。然而在现实中可能由于光晕、距离过远等原因，其图像成为一体形式，如图2所示。在现有研究中，部分学者并未考虑到箭头灯实际上是由分离的两部分组成，这种分离现象尤其在近距离成像时特别明显；部分学者虽然考虑到了此问题，但大多采用形态学方法进行合并操作，在处理不同距离、不同角度以及复杂多变背景下成像的分离灯体时如何选取形态学内核大小一直没有好的方案。因此对于图像的识别存在限制性。
此外，现实中还由于车辆运行过程中相对于红灯灯体可能存在随机变化的侧倾、俯仰和横摆等位置变化，使得箭形交通信号灯的图像发生各类变形。对于这些特征的具体参数如何界定缺乏依据，准确率不高。
参考文献(References)：
[1]Kim K T.STVC:Secure Traffic-light to Vehicle Communication[C].International Congress on Ultra-Modern Telecommunications and ControlSystems and Workshops,St.Petersburg Russia,2012:96-104。
[2]Iglesias I,Isasi L,Larburu M,et al.I2V Communication DrivingAssistance System:On-Board Traffic Light Assistant[C].Vehicular TechnologyConference,Calgary Canada,2008:1-5。
[3]Campbell J,Amor H B,Ang M H,et al.Traffic light status detectionusing movement patterns of vehicles[C].Proceedings of the IEEE InternationalConference on Intelligent Transportation Systems,Rio de Janeiro Brazil,2016:283-288。
[4]Campbell J,Tuncali C E,Liu P,et al.Modeling concurrency andreconfiguration in vehicular systems:A π-calculus approach[C].IEEEInternational Conference on Automation Science and Engineering,Texas USA,2016。
[5]Fairfield N,Urmson C.Traffic light mapping and detection[C].IEEEInternational Conference on Robotics and Automation,Shanghai China,2011:5421-5426。
[6]LevinsonJ,Askeland J,Dolson J,et al.Traffic light mapping,localization,and state detection for autonomous vehicles[C].IEEEInternational Conference on Robotics and Automation,Shanghai China,2011:5784-5791。
[7]Jang C,Cho S,Jeong S,et al.Traffic light recognition exploitingmap and localization at every stage[J].Expert Systems with Applications,2017,88:290-304。
[8]周宣汝,袁家政,刘宏哲,等.基于HOG特征的交通信号灯实时识别算法研究[J].计算机科学,2014,41(7):313-317。
[9]Shi Z,Zou Z,Zhang C.Real-time traffic light detection withadaptive background suppression filter[J].IEEE Transactions on IntelligentTransportation Systems,2015,17(3):690-700。
[10]Salarian M,Manavella A,Ansari R.A vision based system for trafficlights recognition[C]//2015 SAI Intelligent Systems Conference(IntelliSys).IEEE,2015:747-753。
[11]Saini S,Nikhil S,Konda K R,et al.An efficient vision-basedtraffic light detection and state recognition for autonomous vehicles[C]//2017 IEEE Intelligent Vehicles Symposium(IV).IEEE,2017:606-611。
[12]武莹,张小宁,何斌.基于图像处理的交通信号灯识别方法[J].交通信息与安全,2011,29(3):51-54。
[13]谷明琴,蔡自兴,李仪.应用圆形度和颜色直方图的交通信号灯识别[J].计算机工程与设计,2012,33(1):243-247。
[14]李宗鑫,秦勃,王梦倩.基于时空关系模型的交通信号灯的实时检测与识别[J].计算机科学,2018,45(06):314-319.
[15]佀君淑,朱文兴,沙永贺.复杂背景下的交通信号灯综合识别方法[J].山东大学学报(工学版),2013,44(2):64-68。
[16]吴泽峰,张重阳,许明文.基于投影特征值的交通信号灯检测与识别方法[J].现代电子技术,2016,39(09):160-163。
[17]彭祖胜.交通标志和信号灯实时检测与识别技术研究[D].重庆大学,2012。
[18]金涛,王春香,王冰,等.基于级联滤波的交通信号灯识别方法[J].上海交通大学学报,2012,46(09):1355-1360。
[19]Yu C,Huang C,Lang Y.Traffic light detection during day and nightconditions by a camera[C]，IEEE 10th International Conference on SignalProcessing Proceedings.IEEE,2010:821-824。
[20]Diaz-Cabrera M,Cerri P,Sanchez-Medina J.Suspended traffic lightsdetection and distance estimation using color features[C]//2012 15thInternational IEEE Conference on Intelligent Transportation Systems.IEEE,2012:1315-1320。
[21]吴国庆,王星星,张旭东,等.基于图像处理的交通灯检测技术[J].现代电子技术,2017,40(8):103-106。
[22]Wonghabut P,Kumphong J,Ung-arunyawee R,et al.Traffic Light ColorIdentification for Automatic Traffic Light Violation Detection System[C]//2018 International Conference on Engineering,Applied Sciences,and Technology(ICEAST).IEEE,2018:1-4。
[23]朱永珍,孟庆虎,普杰信.基于HSV色彩空间与形状特征的交通灯自动识别[J].电视技术,2015,39(5):150-154。
[24]Chen Z,Huang X.Accurate and reliable detection of traffic lightsusing multiclass learning and multiobject tracking[J].IEEE IntelligentTransportation Systems Magazine,2016,8(4):28-42。
[25]Mu G,Xinyu Z,Deyi L,et al.Traffic light detection and recognitionfor autonomous vehicles[J].The Journal of China Universities of Posts andTelecommunications,2015,22(1):50-56。
[26]Gong J,Jiang Y,Xiong G,et al.The recognition and tracking oftraffic lights based on color segmentation and camshift for intelligentvehicles[C]//2010 IEEE Intelligent Vehicles Symposium.Ieee,2010:431-435。
[27]许明文,张重阳.基于显著性特征的交通信号灯检测和识别[J].计算机与数字工程,2017,45(07):1397-1401。
[28]Almagambetov A,Velipasalar S,Baitassova A.Mobile standards-basedtraffic light detection in assistive devices for individuals with color-vision deficiency[J].IEEE Transactions on Intelligent Transportation Systems,2014,16(3):1305-1320。
[29]隗海林,包翠竹,王涵,等.基于图像识别的信号灯路口辅助驾驶方法[J].浙江大学学报:工学版,2017(6):1090-1096。
[30]谷明琴,蔡自兴,黄振威,等.城市环境中箭头型交通信号灯的实时识别算法[J].中南大学学报(自然科学版),2013,44(04):1403-1408。
[31]Li X,Ma H,Wang X,et al.Traffic light recognition for complexscene with fusion detections[J].IEEE Transactions on IntelligentTransportation Systems,2017,19(1):199-208。
[32]许明文.基于无人驾驶平台的交通灯及数字检测与识别***[D].江苏:南京理工大学,2016。
[33]Yu G,Lei A,Li H,et al.A Real-Time Traffic Light DetectionAlgorithm Based on Adaptive Edge Information[R].SAE Technical Paper,2018。
[34]Jensen M B,Nasrollahi K,Moeslund T B.Evaluating state-of-the-artobject detector on challenging traffic light data[C]//Proceedings of the IEEEConference on Computer Vision and Pattern Recognition Workshops.2017:9-15。
[35]钱弘毅,王丽华,牟宏磊.基于深度学习的交通信号灯快速检测与识别[J].计算机科学,2019,46(12):272-278。
[36]熊辉,郭宇昂,陈超义,等.基于遗传优化与深度学习的交通信号灯检测[J].汽车工程,2019,41(08):960-966。
[37]潘卫国,陈英昊,刘博,等.基于Faster-RCNN的交通信号灯检测与识别[J].传感器与微***,2019,38(09):147-149+160。
发明内容
本发明所要解决的技术问题在于充分考虑分体式箭头灯的实际图像，提供一种箭形交通信号灯分体式候选图像区域的配对拼接方法。
本发明所要解决的另一技术问题在于提供一种合理几何形状特征阈值的获得方法，考虑可能存在随机变化的侧倾、俯仰和横摆等位置变化，以降低丢失率和干扰率。
为解决上述技术问题，本发明的技术解决方案是：
一种箭形交通信号灯分体式候选图像区域的配对拼接方法，该候选图像区域包括箭形交通信号灯的指向箭头候选图像集合BinaryArrows和尾部直线候选图像集合BinaryLines；针对集合BinaryArrows和集合BinaryLines中的各图像相互一一进行配对，设集合BinaryArrows中的配对图像的外接矩形为R1k，集合BinaryLines中的配对图像的外接矩形为R2k，配对的约束条件为：R1k与R2k的交集不能为空；R2k有且仅有两个顶点位于R1k内部，且这两个顶点的连线是R2k的较短边；R1k、R2k的面积和周长与两者并集的面积和周长的比值分别位于设定的变化范围阈值内；上述约束条件均满足则配对成功，否则配对不成功进行下一组配对，直到均配对完成；将配对成功的两个图像拼接作为一个灯体候选图像添加到箭形交通信号灯候选图像集合BinaryLights中。
优选地，所述候选图像区域的提取方法为：提取待识别的原始图像中所有跟箭形交通信号灯点亮区域有关的外轮廓线，计算这些外接矩形的宽高比，根据设定的宽高比变化阈值将图像划分为箭形交通信号灯候选图像集合BinaryLights、箭形交通信号灯的指向箭头候选图像集合BinaryArrows和箭形交通信号灯的尾部直线候选图像集合BinaryLines。
优选地，所述阈值的获得方法为：设车辆内摄像头安装位置为原点O，交通信号灯中心坐标为(x,y,z)，车辆摄像头轴心线相对于过交通信号灯表面中心的垂直线的侧倾角为δ、俯仰角为
横摆角为ω，再根据交通信号灯标准尺寸，通过空间坐标变换求得各类箭形交通信号灯的相应面积比、周长比或者宽高比几何特征参数的变化公式；之后在覆盖多数车辆行驶条件即给定x、y、z、δ、
及ω的约束条件下，获得各类灯体的特征参数变化区间，从而得到上述阈值。
优选地，所述的约束条件为：
优选地，对所述的候选图像集合BinaryLights中的图像进一步进行验证及判断类型；包括：(1)将集合BinaryLights中每个候选图像区域二值化处理，之后分割成若干子块，提取每个子块的像素密度特征，利用预训练好的一级支持向量机判断是否为灯体及其类别；(2)经过步骤(1)筛选的集合BinaryLights中每个二值化候选图像区域，先按一定延展系数进行扩展，依据该扩展的候选图像区域，从原始图像SrcImage中切割出同一区域，提取HOG特征，并利用预训练好的二级支持向量机进一步验证。
优选地，所述一级支持向量机和二级支持向量机中的样本图像，均通过人工标记其所属类别，并分为5类，分别为伪灯体、朝左、朝右、朝上及朝下箭头灯；并基于相应特征和类别构建训练样本。
优选地，所述步骤(2)中，候选图像区域扩展方式为：以候选图像区域外接矩形中心为基点，在宽度和高度方向进行延展，延展系数为2.1，得到扩展的候选图像区域。
优选地，所述HOG特征向量的提取过程如下：(1)将候选灯体图像缩放到40*40像素大小；(2)进行Gamma校正；(3)计算图像每个像素的梯度；(4)将5*5个像素划分为一个单元；(5)计算每个单元的梯度直方图；(6)将2*2个单元组成一个块，计算每个块的HOG特征并串联，最终共可获得1764维向量。
采用上述方案后，本发明充分考虑到箭头灯实际上是由分离的两部分组成，这种分离现象尤其在近距离成像时特别明显，本发明提出了针对这种分体式成像图像配对并拼接的方法，因此可以大大提高图像识别的准确性。
此外，本发明还充分考虑了灯体可能存在随机变化的侧倾、俯仰和横摆等位置变化，基于空间变换给出箭形交通信号灯的几何特征参数范围，最后综合给出一种静态图像中的箭形交通信号灯候选图像区域快速提取方法，既可用于提高箭形交通信号灯的传统图像识别方法的准确性，也可用于提高基于深度学习的箭形交通信号灯识别方案的实时性。
另外，本发明可进一步通过二级向量机对候选灯体图像进行验证及类别判断，其中一级向量机所处理的图像为二值化图像，运算效率很高，并且通过其筛选之后的图像才进行二级向量机进一步判断，可减少后续需进行高维特征提取的图像数目，从而减少总耗时；而二级向量机验证采用提取原始彩色图像的HOG特征的方式，从而可以提高判断准确率。
本发明最终所获得的箭形交通信号灯候选区域图像，可为当前的箭形交通信号灯的传统识别和深度学习识别提供素材，其作用类似于一个预处理过滤器，在大幅缩小待处理图像数据量的同时，保持着良好的实时性、鲁棒性和适应能力，具有良好的应用价值。而且本发明方法对于箭形红灯、箭形黄灯、绿灯均适用。尤其是针对红绿灯的识别要求很强的实时性，越少的候选对象对提高实时性越有利，这也是这个过滤算法的初衷。
附图说明
图1是两种典型的分离式箭形交通信号灯图像；
图2是两种典型的箭形交通信号灯实际成为连体式图像；
图3是《道路交通信号灯/GB14887-2011》中左转箭头灯尺寸参数图；
图4是理想情况下的车-灯位置关系图；
图5是车辆行驶过程中的车身姿态示意图；
图6是车辆行驶过程中的车-灯位置关系图；
图7是本发明箭形交通信号灯候选图像区域提取方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详述。
本发明所揭示的是一种箭形交通信号灯分体式候选图像区域的配对拼接方法，已经提取的候选图像区域包括箭形交通信号灯的指向箭头候选图像集合BinaryArrows和尾部直线候选图像集合BinaryLines；针对集合BinaryArrows和集合BinaryLines中的各图像相互一一进行配对，设集合BinaryArrows中的配对图像的外接矩形为R1k，集合BinaryLines中的配对图像的外接矩形为R2k，配对的约束条件为：R1k与R2k的交集不能为空；R2k有且仅有两个顶点位于R1k内部，且这两个顶点的连线是R2k的较短边；R1k、R2k的面积和周长与两者并集的面积和周长的比值分别位于设定的变化范围阈值内；上述约束条件均满足则配对成功，否则配对不成功进行下一组配对，直到均配对完成；将配对成功的两个图像拼接作为一个灯体候选图像添加到箭形交通信号灯候选图像集合BinaryLights中。
事实上，本发明所述方法可以是箭形交通信号灯候选图像区域提取方法的其中一个或者某些步骤，为方便说明，有必要将本发明所述方法融入到所述提取方法中。而所述的提取方法(配合图7所示)可以包括下述步骤：
第一步，图像预处理：
对待识别的原始图像SrcImage进行图像预处理，预处理包括如下方式：对于一些过大的图片可以缩小到宽不超过1280像素、高不超过720像素；对图像进行适当高斯平滑。
第二步，事先设定箭形交通信号灯的几何形状变化阈值，包括(1)整体箭形交通信号灯的外接矩形R0的宽高比为μ0的变化范围；(2)分体成像时，指向箭头的外接矩形R1的宽高比μ1的变化范围、外接矩形R1的面积与整体箭形交通信号灯的外接矩形R0的面积的比值λ10的变化范围、外接矩形R1的周长与整体箭形交通信号灯的外接矩形R0的周长的比值ρ10的变化范围；(3)分体成像时，尾部直线的外接矩形R2的宽高比μ2的变化范围、外接矩形R2的面积与整体箭形交通信号灯的外接矩形R0的面积的比值λ20的变化范围、外接矩形R2的周长与整体箭形交通信号灯的外接矩形R0的周长的比值ρ20的变化范围。
上述的几何形状变化阈值可以从现有技术中获得，例如背景技术中的参考论文等。本发明为提高准确率，采用如下方法确定。
对于国家或者国际标准来说，道路交通信号灯的尺寸都有一定的标准。以《道路交通信号灯/GB14887-2011》中关于箭头灯的各具体尺寸规定为依据，其分别对箭头灯、圆形灯(也叫全屏灯)和叉形灯的形状和尺寸都进行了详细规定。以图3的左箭头灯为例，对点亮区域的宽度l0、灯体整体高度h0与宽度w0、灯体的两个组成部分头部“<”和尾部“-”各自的高度h1与h2和宽度w1与w2都有明确指定尺寸。
对于标准灯体尺寸来说，上述几何参数μ0、μ1、μ2、λ10、λ20、ρ10、ρ20均为定值，但是在实际照片中，由于信号灯灯体中心与摄像头实际位置的方位与距离变化，导致上述几何参数在一定范围内变化，本步骤正是要获得一个合理的变化范围，即箭形交通信号灯的几何形状变化阈值。
在理想情况时，如图4所示，交通信号灯中心位于车辆行驶方向Z轴，且灯体平面与X-Y平面平行，设原点为摄像头安装位置且成像镜头的光轴与Z轴平行，此时信号灯XY轴坐标均为0，其与车辆的距离z仅影响信号灯成像的大小，而不会改变信号灯的几何形状。此时，可求得左箭头灯各个几何形状特征参数如表3所示。
表3理想情况下左转箭头灯形状特征参数
然而，现实中信号灯的位置并不处在Z轴上，将相对于Z轴发生平移，而且在车辆实际行驶过程中，还应进一步考虑由于各种原因引起的车辆与信号灯间存在随机的侧倾(车身绕Z轴旋转)、俯仰(车身绕X轴旋转)和横摆(车身绕Y轴旋转)的情况，如图5所示。此时，车辆与信号灯的位置关系可由图6简单表达。
同样的，设原点O为摄像头安装位置，此时信号灯中心坐标为(x,y,z)。假设车载摄像头安装角度大概为朝车身水平正前方，此时摄像头安装时的角度偏差可以耦合到车身相对信号灯存在的侧倾角、俯仰角和横摆角，因此不必特别考虑。最后，通过空间坐标变换可以求得左箭头灯的各个几何形状特征参数相对于车身侧倾角δ、俯仰角
和横摆角ω的计算公式如表4所示。
表4真实情况下左转箭头灯形状特征算法
其中，
并且满足：
同理可求得右箭头灯、上箭头灯、下箭头的几何特征参数变化公式。圆形灯和叉形灯由于几何对称性算法相对简单，同样可以获得计算公式。这些计算公式与箭形交通信号灯中心坐标(x,y,z)有关，还与车辆摄像头相对箭形交通信号灯的侧倾角δ、俯仰角
和横摆角ω有关，还与箭形交通信号灯的具体型号尺寸有关。
最后，给出一组在条件
时(该约束条件覆盖了大部分车辆行驶条件下的空间变换范围)，各类灯体的特征参数变化区间，如表5所示。
表5条件θ下信号灯几何形状特征的区间阈值
以Φ300型箭头灯为例说明，对于表示禁止左转的朝左箭形红灯，可依据以下公式计算：
对于表示禁止直行的朝上箭形红灯，计算公式为：
其中，δ、
ω分别为车辆摄像头轴心线相对于过箭形红灯表面中心的垂直线的侧倾角、俯仰角、横摆角；
和
分别为由于箭形红灯表面中心相对于车辆摄像头存在位置偏移量(x,y,z)而产生的水平压缩系数和垂直压缩系数。
在δ≤30°、ω≤45°、
0.8≤k1≤1、0.8≤k2≤1、k1cosω≥0.7、
条件约束下(该约束条件覆盖了大部分车辆行驶条件下的空间变换范围)，对于禁止左转的朝左箭形红灯和禁止右转的朝右箭形红灯：μ0变化范围为[0.576，1.917]、μ1变化范围为[0.418，1.575]、μ2变化范围为[0.787，6.854]、λ10变化范围为[0.668，0.893]、λ20变化范围为[0.096，0.303]、ρ10变化范围为[0.782，0.961]、ρ20变化范围为[0.326，0.581]。对于禁止直行的朝上箭形红灯和禁止前方通行的朝下箭形红灯：μ0变化范围为[0.522，1.736]、μ1变化范围为[0.635，2.393]、μ2变化范围为[0.146，1.270]、λ10变化范围为[0.668，0.893]、λ20变化范围为[0.096，0.303]、ρ10变化范围为[0.782，0.961]、ρ20变化范围为[0.326，0.581]。
在现有研究中，部分学者并未考虑到箭头灯实际上是由分离的两部分组成，这种分离现象尤其在近距离成像时特别明显，仅采用了特征参数μ0作为红绿灯候选图像对象删选的依据；部分学者虽然考虑到了此问题，但大多采用形态学方法进行合并操作，在处理不同距离、不同角度以及复杂多变背景下的分离灯体图像时如何选取合适的形态学内核大小一直没有好的方案；部分学者分别在μ0参数基础上进行增减或放缩来确定灯体的几何形状特征阈值，这种做法的有效性有待验证；也有一些学者通过大量统计图像集中的灯体的几何形状特征的分布范围来给定阈值，但受限于摄像头安装角度以及图像集本身的分布并不一定具有广泛代表性，因此阈值不具有广泛参考性。
为验证上述几何形状特征阈值的有效性，在图像集P12基础上对红绿候选灯体的删选过滤，结果如表6所示，表中一并给出了现有公开阈值条件下的过滤结果作为对比参考。
表6不同几何特征阈值下的红绿灯图像过滤结果
表6结果表明，利用本明给出的形状特征阈值过滤灯体图像时loss为最低值0.13％，优于现有研究取得的效果，jam为次低值22.7，与现有的最低值22.4差距甚微。
第三步，以阈值μ0、μ1、μ2的变化范围划分候选图像：提取BinaryROIs的所有最外层轮廓线，遍历所有外轮廓线，计算每条外轮廓线的外接矩形，计算这些外接矩形的宽高比μ，分别根据第三步获得的μ0、μ1、μ2的变化范围将这些BinaryROIs进一步划分为箭形交通信号灯候选图像集合BinaryLights、箭形交通信号灯的指向箭头候选图像集合BinaryArrows和箭形交通信号灯的尾部直线候选图像集合BinaryLines。
通过本步骤可以删除一些明显不属于灯体或灯体独立组成部分的目标，而保留下来的任何一个目标可能是完整的灯体图像或者是箭头灯的箭头或者是箭头灯的尾部，由于同一图像可以同时是多种可能，从而可以尽量避免漏检。
以上步骤，可以认为是对一个待识别的原始图像SrcImage进行初步的候选图像区域的筛选，筛选出的图像区域除了有整体的信号灯图像区域以外，由于信号灯分体特性，还包含箭头候选图像集合BinaryArrows和尾部直线候选图像集合BinaryLines。当然，本发明并不局限上述方法获得箭头候选图像集合BinaryArrows和尾部直线候选图像集合BinaryLines。
第四步，分离箭头灯图像配对拼接：遍历寻找指向箭头候选图像集合BinaryArrows和尾部直线候选图像集合BinaryLines中的可能配对，构造分离式箭形交通信号灯候选图像并添加合并到箭形交通信号灯候选图像集合BinaryLights之中。配对流程为：
(1)计算指向箭头候选图像集合BinaryArrows中的一个指向箭头候选图像的外接矩形R1k和尾部直线候选图像集合BinaryLines中的一个尾部直线候选图像的外接矩形R2k，以及两者的联合图像区域的外接矩形R0k；
(2)根据以下约束条件判断二者是否配对构成一个箭形交通信号灯，当且仅当所有约束条件都满足时判定配对成功：
约束条件1：R1k与R2k的交集不能为空；
约束条件2：R2k有且仅有两个顶点位于R1k内部，且这两个顶点的连线是R2k的较短边；
约束条件3：R1k的面积与R0k的面积的比值必须位于第三步设定的λ10的变化范围之间；R1k的周长与R0k的周长的比值必须位于第三步设定的ρ10的变化范围之间；
约束条件4：R2k的面积与R0k的面积的比值必须位于第三步设定的λ20的变化范围之间；R2k的周长与R0k的周长的比值必须位于第三步设定的ρ20的变化范围之间；
(3)如果R1k和R2k配对成功，则二者是一个箭形交通信号灯的两个独立部分，将与R1k、R2k分别对应的轮廓线合并作为一个箭形交通信号灯候选图像区域并入到集合BinaryLights中；
(4)返回步骤(1)，选取下一组未配对成功的指向箭头候选图像和尾部直线候选图像，直至集合BinaryArrows和BinaryLines中的所有元素都进行过配对尝试为止。
本步骤是本发明的关键技术之一，充分考虑了分体式箭头灯可能出现的成像现象，对分体成像的箭头灯的两部分进行配对拼接，从而避免漏检。
到此，集合BinaryLights即为从一个原始图像SrcImage中分割出所有箭形交通信号灯的候选图像区域。值得一提的是，本发明提取分割的箭形交通信号灯的候选图像区域，仅仅是一种候选而不一定就是信号灯本身，其有利于后续箭形信号灯的进一步快速判断确认。也可以理解为发明是提供一种过滤器的过滤算法，以更快的速度和更好的准确率从图像中筛选出疑似箭形交通信号灯的目标图像，以便为后续的红绿灯识别做准备。当然，本发明所识别的集合BinaryLights中的图像本身也可能就是红绿灯本身，可以直接做为识别器使用。
第五步，对候选图像集合BinaryLights中的图像进一步验证及类别判断。
由于整体箭头灯和箭头或尾部的几何参数也就是μ0、μ1、μ2的变化范围存在交集，因此对于任何一个候选图像区域，只要其本身的几何参数落入哪个区间就把它复制到对应的集合中，也就是一个图像候选区域可能同时为多种可能的灯体或灯体独立部分，被同时放入到不同的集合内，这样做的目的是为了避免漏检，因为漏检比误检带来更严重的影响。此外，左右、上下灯型的这些几何参数是相同的。因此，箭形交通信号灯候选图像集合BinaryLights中存在不是完整灯形的情况，灯的类型也需要进一步判断，这些都需要对箭形交通信号灯候选图像集合BinaryLights中的图像进一步验证及判断。为此，本发明后续可以再利用支持向量机进行判断，可以采用两级向量机，一级向量机利用二值化(即黑白图)候选灯体图像的低维像素密度特征判断与否灯体以及灯体类别，二级向量机利用原始彩色图中的扩展图像区域的高维HOG特征进一步验证确认，进一步降低错检和误解。
具体步骤如下：
Step1.利用Ⅰ级SVM1判断候选灯体图像是否为一个完整灯体以及灯体类型。
遍历箭形交通信号灯候选图像集合BinaryLights中的每一个元素，基于其外接矩形的宽度和高度进行若干等分，分割成若干个子块(子块数目与样本图像相同)。计算各子块的像素密度，据此构造N维特征向量，然后作为Ⅰ级SVM1的输入用以判断候选灯体图像是否为一个完整灯体及其朝向类型，判断为非灯体的给予删除。
SVM1本身是二分类器，其样本集具有5个类别，即类别0为伪灯体，类别1至4分别为朝左、朝右、朝上、朝下箭头灯。本发明基于OVR即“一对多”法来实现多目标分类，即每次训练时把某一类当作正样本，剩余其它类当作负样本，迭代进行。为了解决正负样本比例不对称问题引入较大的惩罚因子。
其中，本发明Ⅰ级SVM1的训练样本集可以采用如下方式：(1)大量采集各种情况下含有箭形交通信号灯的交通图像，提取各图像中所有交通信号灯候选图像，可以采用本发明上述方法提取，获得二值化信号灯样本图像集合C0，并人工标记C0中每个样本图像C0(i)所属类别T0(i)，T0(i)＝0～4，即共分为5类，其中类别0为伪灯体，类别1至4分别为朝左、朝右、朝上、朝下箭头灯。(2)将样本图像C0(i)分割成n*m个子块，分割子块数目可根据实际情况而定，本发明分割成3*3子块，计算每一子块的像素密度，提取C0(i)的9维像素密度特征向量f0(i)。(3)基于f0(i)和T0(i)构建训练样本。(3)基于训练样本进行Ⅰ级向量机SVM1的训练，直至收敛。
为了提高运算效率，在进行本步骤之前，可以先对预处理的图像元素进行二值化处理。此外，只有判断合格的候选对象才会被后续处理，可以有效减少后续需进行高维特征提取的图像数目，从而减少总耗时。
Step2.利用Ⅱ级SVM2进行验证。
经过Ⅰ级SVM1筛选后的候选灯体图像集合BinaryLights中的每一个图像元素，以其外接矩形R0(i)中心为基点，在宽度w0(i)和高度h0(i)方向进行适当延展获得矩形R′0(i)，基于R′0(i)从原始图像SrcImage中分割提取出同一区域图像C′0(i)，其中：矩形R′0(i)的宽度w′0(i)＝(1+α)w0(i)，高度h′0(i)＝(1+β)h0(i)，α和β为延展系数。延展图像的目的在于使得候选图像包含灯体点亮区域***的黑色背板，以充分利用红绿灯***的固有特征。经过对比，延展系数优选α＝2.1，β＝2.1效果最佳。之后提取C′0(i)的HOG特征向量f′0(i)，并利用Ⅱ级SVM进行灯体类别验证。
该HOG特征向量的提取过程可以采用如下方式：(1)将C′0(i)缩放到40*40像素大小；(2)进行Gamma校正；(3)计算图像每个像素的梯度；(4)将5*5个像素划分为一个单元；(5)计算每个单元的梯度直方图；(6)将2*2个单元组成一个块，计算每个块的HOG特征并串联，最终共可获得1764维向量。上述步骤中具体参数数值以及维数向量，均非唯一选择，但经过对比采用上述参数效果较好。
Ⅱ级SVM的预训练样本集构造如下：(1)大量采集各种情况下含有箭形交通信号灯的交通图像，提取各图像中所有交通信号灯候选图像，可以采用本发明上述方法提取，获得二值化信号灯样本图像集合C0，将C0中的每个图像元素C0(i)适当延展，基于该延展的C0(i)从原始彩色图像中提取同一区域图像C′0(i)，并人工标记C′0(i)所属类别T′0(i)；同样的T′0(i)＝0～4，即共分为5类，其中类别0为伪灯体，类别1至4分别为朝左、朝右、朝上、朝下箭头灯。(2)如上，提取特征向量f′0(i)。(3)基于f′0(i)和T′0(i)构建训练样本。(4)基于训练样本进行Ⅱ级向量机SVM2的训练，直至收敛。
Step3.最后采取判断识别准则为：当且仅当信号灯候选图像能够通过两级SVM验证，且两级SVM的分类结果一致，将该候选图像判断为真并给定灯体类别。
以上所述，仅是本发明的较佳实施例而已，并非对本发明的技术范围作任何限制，故但凡依本发明的权利要求和说明书所做的变化或修饰，皆应属于本发明专利涵盖的范围之内。
Claims (8)
1.一种箭形交通信号灯分体式候选图像区域的配对拼接方法，其特征在于：该候选图像区域包括箭形交通信号灯的指向箭头候选图像集合BinaryArrows和尾部直线候选图像集合BinaryLines；针对集合BinaryArrows和集合BinaryLines中的各图像相互一一进行配对，设集合BinaryArrows中的配对图像的外接矩形为R1k，集合BinaryLines中的配对图像的外接矩形为R2k，配对的约束条件为：R1k与R2k的交集不能为空；R2k有且仅有两个顶点位于R1k内部，且这两个顶点的连线是R2k的短边；R1k、R2k的面积和周长与两者并集的面积和周长的比值分别位于设定的变化范围阈值内；上述约束条件均满足则配对成功，否则配对不成功进行下一组配对，直到均配对完成；将配对成功的两个图像拼接作为一个灯体候选图像添加到箭形交通信号灯候选图像集合BinaryLights中。
2.根据权利要求1所述的一种箭形交通信号灯分体式候选图像区域的配对拼接方法，其特征在于所述候选图像区域的提取方法为：提取待识别的原始图像中所有跟箭形交通信号灯点亮区域有关的外轮廓线，计算这些外接矩形的宽高比，根据设定的宽高比变化阈值将图像划分为箭形交通信号灯候选图像集合BinaryLights、箭形交通信号灯的指向箭头候选图像集合BinaryArrows和箭形交通信号灯的尾部直线候选图像集合BinaryLines。
3.根据权利要求1或2所述的一种箭形交通信号灯分体式候选图像区域的配对拼接方法，其特征在于所述阈值的获得方法为：设车辆内摄像头安装位置为原点O，交通信号灯中心坐标为(x,y,z)，车辆摄像头轴心线相对于过交通信号灯表面中心的垂直线的侧倾角为δ、俯仰角为
横摆角为ω，再根据交通信号灯标准尺寸，通过空间坐标变换求得各类箭形交通信号灯的相应面积比、周长比或者宽高比几何特征参数的变化公式；之后在覆盖多数车辆行驶条件即给定x、y、z、δ、
及ω的约束条件下，获得各类灯体的特征参数变化区间，从而得到上述阈值。
4.根据权利要求3所述的一种箭形交通信号灯分体式候选图像区域的配对拼接方法，其特征在于所述的约束条件为：
5.根据权利要求1、2或4所述的一种箭形交通信号灯分体式候选图像区域的配对拼接方法，其特征在于：对所述的候选图像集合BinaryLights中的图像进一步进行验证及判断类型；包括：(1)将集合BinaryLights中每个候选图像区域二值化处理，之后分割成若干子块，提取每个子块的像素密度特征，利用预训练好的一级支持向量机判断是否为灯体及其类别；(2)经过步骤(1)筛选的集合BinaryLights中每个二值化候选图像区域，先按一定延展系数进行扩展，依据该扩展的候选图像区域，从原始图像SrcImage中切割出同一区域，提取HOG特征向量，并利用预训练好的二级支持向量机进一步验证。
6.根据权利要求5所述的一种箭形交通信号灯分体式候选图像区域的配对拼接方法，其特征在于：所述一级支持向量机和二级支持向量机中的样本图像，均通过人工标记其所属类别，并分为5类，分别为伪灯体、朝左、朝右、朝上及朝下箭头灯；并基于相应特征和类别构建训练样本。
7.根据权利要求5所述的一种箭形交通信号灯分体式候选图像区域的配对拼接方法，其特征在于：所述步骤(2)中，候选图像区域扩展方式为：以候选图像区域外接矩形中心为基点，在宽度和高度方向进行延展，延展系数为2.1，得到扩展的候选图像区域。
8.根据权利要求5所述的一种箭形交通信号灯分体式候选图像区域的配对拼接方法，其特征在于：所述HOG特征向量的提取过程如下：(1)将候选灯体图像缩放到40*40像素大小；(2)进行Gamma校正；(3)计算图像每个像素的梯度；(4)将5*5个像素划分为一个单元；(5)计算每个单元的梯度直方图；(6)将2*2个单元组成一个块，计算每个块的HOG特征并串联，最终共可获得1764维向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011079511.9A CN112150364B (zh) | 2020-10-10 | 2020-10-10 | 一种箭形交通信号灯分体式候选图像区域的配对拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011079511.9A CN112150364B (zh) | 2020-10-10 | 2020-10-10 | 一种箭形交通信号灯分体式候选图像区域的配对拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112150364A CN112150364A (zh) | 2020-12-29 |
| CN112150364B true CN112150364B (zh) | 2022-06-07 |
Family
ID=73952938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011079511.9A Active CN112150364B (zh) | 2020-10-10 | 2020-10-10 | 一种箭形交通信号灯分体式候选图像区域的配对拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112150364B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117496486B (zh) * | 2023-12-27 | 2024-03-26 | 安徽蔚来智驾科技有限公司 | 红绿灯形状识别方法、可读存储介质及智能设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009244946A (ja) * | 2008-03-28 | 2009-10-22 | Fujitsu Ltd | 信号機認識装置，信号機認識方法および信号機認識プログラム |
| CN104021378A (zh) * | 2014-06-07 | 2014-09-03 | 北京联合大学 | 基于时空关联与先验知识的交通信号灯实时识别方法 |
| CN104408424A (zh) * | 2014-11-26 | 2015-03-11 | 浙江大学 | 一种基于图像处理的多信号灯识别方法 |
| CN105893971A (zh) * | 2016-04-01 | 2016-08-24 | 上海理工大学 | 一种基于Gabor和稀疏表示的交通信号灯识别方法 |
| CN111723625A (zh) * | 2019-03-22 | 2020-09-29 | 上海海拉电子有限公司 | 交通灯图像识别处理方法、装置、辅助通行***及存储介质 |
-
2020
- 2020-10-10 CN CN202011079511.9A patent/CN112150364B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009244946A (ja) * | 2008-03-28 | 2009-10-22 | Fujitsu Ltd | 信号機認識装置，信号機認識方法および信号機認識プログラム |
| CN104021378A (zh) * | 2014-06-07 | 2014-09-03 | 北京联合大学 | 基于时空关联与先验知识的交通信号灯实时识别方法 |
| CN104408424A (zh) * | 2014-11-26 | 2015-03-11 | 浙江大学 | 一种基于图像处理的多信号灯识别方法 |
| CN105893971A (zh) * | 2016-04-01 | 2016-08-24 | 上海理工大学 | 一种基于Gabor和稀疏表示的交通信号灯识别方法 |
| CN111723625A (zh) * | 2019-03-22 | 2020-09-29 | 上海海拉电子有限公司 | 交通灯图像识别处理方法、装置、辅助通行***及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Traffic lights detection and recognition based on multi-feature fusion;Wenhao Wang et al.;《Multimedia Tools and Applications》;20161213;第76卷;全文 * |
| 城市环境中箭头型交通信号灯的实时识别算法;谷明琴等;《中南大学学报(自然科学版)》;20130426;第44卷(第04期);全文 * |
| 基于显著性特征的交通信号灯检测和识别;许明文等;《计算机与数字工程》;20170720;第45卷(第07期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112150364A (zh) | 2020-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110069986B (zh) | 一种基于混合模型的交通信号灯识别方法及*** | |
| CN110969160B (zh) | 一种基于深度学习的车牌图像校正、识别方法及*** | |
| Mi et al. | Research on regional clustering and two-stage SVM method for container truck recognition | |
| US9467645B2 (en) | System and method for recognizing parking space line markings for vehicle | |
| CN111626217A (zh) | 一种基于二维图片和三维点云融合的目标检测和追踪方法 | |
| CN101937508B (zh) | 一种基于高清图像的车牌定位与识别方法 | |
| CN109726717B (zh) | 一种车辆综合信息检测*** | |
| CN108090459B (zh) | 一种适用于车载视觉***的交通标志检测识别方法 | |
| CN111178236A (zh) | 一种基于深度学习的车位检测方法 | |
| CN106326810B (zh) | 道路场景识别方法及设备 | |
| CN105740886B (zh) | 一种基于机器学习的车标识别方法 | |
| CN109190523A (zh) | 一种基于视觉的车辆检测跟踪预警方法 | |
| CN105184301B (zh) | 一种利用四轴飞行器判别车辆方位的方法 | |
| CN112183427B (zh) | 一种箭形交通信号灯候选图像区域的快速提取方法 | |
| CN107918775B (zh) | 一种辅助车辆安全驾驶的斑马线检测方法及*** | |
| CN111860509A (zh) | 一种由粗到精的两阶段非约束车牌区域精准提取方法 | |
| CN112150364B (zh) | 一种箭形交通信号灯分体式候选图像区域的配对拼接方法 | |
| CN107220632B (zh) | 一种基于法向特征的路面图像分割方法 | |
| Coronado et al. | Detection and classification of road signs for automatic inventory systems using computer vision | |
| CN107392115B (zh) | 一种基于分层特征提取的交通标志识别方法 | |
| CN107992788B (zh) | 识别交通灯的方法、装置及车辆 | |
| CN111339823A (zh) | 基于机器视觉和反向投影算法的打谷晒场检测方法 | |
| CN109271905B (zh) | 一种基于单帧图像的黑烟车检测方法 | |
| CN114863695B (zh) | 一种基于车载激光和摄像机的超标车辆检测***和方法 | |
| Jain et al. | Number plate detection using drone surveillance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |