CN111582216A - 一种无人驾驶车载交通信号灯识别***及方法 - Google Patents
一种无人驾驶车载交通信号灯识别***及方法 Download PDFInfo
- Publication number
- CN111582216A CN111582216A CN202010416680.0A CN202010416680A CN111582216A CN 111582216 A CN111582216 A CN 111582216A CN 202010416680 A CN202010416680 A CN 202010416680A CN 111582216 A CN111582216 A CN 111582216A
- Authority
- CN
- China
- Prior art keywords
- signal lamp
- color
- image
- module
- traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种无人驾驶车载交通信号灯识别***,包括用于对交通信号灯图片进行颜色和形状组合分析的检测识别模块;用于对摄像头组件拍摄的动态视频构建基于运动模型的交通信号灯变换预测模块;利用GPS***对检测识别模块和变换预测模块的数据分析结果附加基于概率模型的地理位置信息的GIS模块,其识别方法为:通过对红绿灯的颜色和形状特征提取从摄像模块获取的图像中取出候选区域;采用图像下采样算法,降低候选区域的图像分辨率,得到低分辨率像素组;再通过线性色彩分类器为低分辨率像素组的每个像素赋予色彩类别标签,随后采用图像分隔算法处理获得不同色彩类别的信号灯候选区域,从物理和算法结构上极大提高了信号灯的识别效率。
Description
技术领域
本发明实施例涉及无人驾驶技术领域,具体涉及一种无人驾驶车载交通信号灯识别***及方法。
背景技术
交通信号灯识别技术作为无人驾驶汽车技术的一个重要组成部分,有着很广阔的应用范围。随着社会经济的发展与科学技术的进步,汽车成为人们一个重要的代步工具。汽车极大地方便了人们的生活,使得大规模的城市成为可能,并极大地拉近了城市间的距离。通过技术手段,能够让车辆在比人眼可视距离更远的距离上,识别出交通信号灯的指示信息,提醒驾驶员前方路口的通行规则。
交通信号灯的主要特征包括颜色特征,形态特征和位置特征。其中位置特征主要用于减少运算量,由于交通信号灯安装位置较高,通常只对图像的上半部分进行处理识别。颜色特征和形态特征则是交通信号灯识别的主要依据。针对颜色特征,在不同的颜色空间中分析颜色的分布特征,设置相应的筛选条件,将具有固定颜色特征(红绿黄)的交通信号灯从原图像中分割出来。当图像中存在颜色与交通信号灯相近的物体,即非交通信号灯图像同样满足筛选条件时,易产生误识别的问题。
RGB空间是最常见的颜色空间,但是也存在着易受光照条件的问题。Masako等对RGB空间进行归一化处理,并设置了阈值,对红色和绿色的区域进行了筛选提取,作为候选区域。提取图像的边缘信息,使用Hough变换搜索其中的圆形的轮廓,统计Hough变换搜索到的圆形轮廓所包含颜色像素数量,进行计数,计数值最高的认为是交通信号灯。该方法结合了颜色和圆形形态特征,但是Hough变换运算量较大,且对形变敏感,易出现无法识别的问题。
交通信号灯的识别主要从其自身的颜色、形态、位置等特征入手,通过针对不同特征的识别方法,特征识别的顺序以及各个环节结果的融合,对图像中的交通信号灯图像进行识别提取,但是图像中如果存在颜色与形状均与交通信号灯类似的物体,在识别过程中能够满足筛选要求,则难以分辨正确的交通信号灯。
发明内容
为此,本发明实施例提供一种无人驾驶车载交通信号灯识别***及方法,有效的解决了传统信号灯识别过程中对于图像的处理、算法的架构以及图像识别中的存在较多的干扰项的问题。
为了实现上述目的,本发明的实施方式提供如下技术方案:
一种无人驾驶车载交通信号灯识别***,包括:
检测识别模块,用于对摄像头组件拍摄的静态交通信号灯图片以物理结构降低分辨率,并进行裁切、模糊分类以及坐标投影操作后,以颜色和形状匹配组合方式分析图片中的信号灯像素因子;
算法处理模块,包括对信号灯像素因子进行分类的像素分类器,以及存储的日间交通灯算法和夜间交通灯算法;
日间交通灯算法对一定数量的信号灯像素因子进行颜色空间分布特征提取,夜间交通灯算法对一定数量的信号灯像素因子进行RG空间阈值中光晕图像提取筛选,将筛选结果二值化,通过区域包围零点数量筛选和局部区域取反操作,消除光晕,提取出完整的交通灯轮廓,然后通过区域形态特征方法识别,还包括结合日间交通灯算法和夜间交通灯算法的对信号灯像素因子进行明暗区域同步识别的中间算法;
变换预测模块,基于汽车运动的速度和位置的数据,对摄像头组件拍摄的信号灯动态视频进行连续多帧的信号灯像素因子的变换预测,并以信号灯连续多帧的动态视频中***骤变状态为截取点,对经过处理模块处理后的信号灯像素因子进行契合度匹配;
GIS模块,利用GPS***对检测识别模块和变换预测模块的数据分析的结果附加基于概率模型的地理位置信息。
作为本发明的一种优选方案,所述的检测识别模块内设置有用于对摄像头组件拍摄的佳通信号灯图片进行裁切的裁切器,以及对裁切器裁切的图片进行图像颜色特征筛选的模糊分类器,以及对模糊分类器分类的图片数据进行坐标投影分析的投影分析器。
作为本发明的一种优选方案,所述变换预测模块通过连接汽车的 MCU获取汽车运动状态,并通过GPS***获取汽车到信号灯的地理坐标位置,同时估算信号灯在摄像头组件拍摄的交通信号灯动态视频中相对运动状态,进而构建运动模型;在该运动模型下,变换预测模块利用连续多帧的交通信号灯动态视频的检测识别分析。
作为本发明的一种优选方案,所述变换预测模块利用连续多帧的交通信号灯动态视频的检测识别分析具体的参数包括基于车道方向的信号灯位置、高度和朝向。
作为本发明的一种优选方案,所述检测识别模块还包括安装壳体,和嵌装在安装壳体上的主摄像头组件、副摄像头组件以及色彩传感器,所述安装壳体的四周设置有用于在物理上缩小和放大主摄像头组件拍摄图片像素的图像分隔机构;
所述图像分隔机构包括设置在安装壳体四周,且沿主摄像头组件的拍摄方向上伸缩的柔性遮挡条,所述安装壳体的前表面的四个拐角处设置有供柔性遮挡条伸出的弧形导向槽孔,所述柔性遮挡条的一端连接有驱动装置。
作为本发明的一种优选方案,其中一个所述柔性遮挡条中间设置有镀膜透明板,且所述柔性遮挡条在完全伸出时,柔性遮挡条的前端正好能够伸入与其正相对的弧形导向槽孔中。
本发明提供了一种无人驾驶车载交通信号灯识别方法,包括步骤:
S100、通过对红绿灯的颜色和形状特征提取从摄像模块获取的图像中取出候选区域;
S200、采用图像下采样算法,降低候选区域的图像分辨率,得到低分辨率像素组;
S300、再通过线性色彩分类器为低分辨率像素组的每个像素赋予色彩类别标签,随后采用图像分隔算法处理获得不同色彩类别的信号灯候选区域;
S400、将摄像模块获取的前几帧图像的不同色彩类别的信号灯候选区作为先验信息,预测下一帧交通信号灯在图像中的位置,重复步骤S200 和S300输出信号灯识别结果。
作为本发明的一种优选方案,线性色彩分类器为基于HSV色彩空间的分类器,线性色彩分类器低分辨率像素组的每个像素赋予色彩类别标签的具体包括红色、黄色、绿色以及其他颜色四类;
在S300中、采用图像下采样算法处理得到低分辨率像素组存储在灰度图中,以不同的灰度值标记不同的色彩类别标签。
作为本发明的一种优选方案,在S400中,利用连续多帧的先验信息,基于概率模型实时估计信号灯所在图像位置分布,并附加基于GPS打点技术的信号灯位置以及车道朝向参数,打包存入具有离线数据提取和在线数据提取两部分的GIS模块,并在下一次通过同一路口时,从GIS模块中提取,作为先验信息。
作为本发明的一种优选方案,在S400、对预测下一帧交通信号灯在图像中的位置处理成另一组摄像模块进行聚焦高清拍摄的触发信号,并根据不同色彩类别的信号灯候选区域的长宽比例和尺寸大小进行匹配,将符合匹配结果的不同色彩类别的信号灯候选区域中同一色彩标签的像素用矩形框连接,作为输出结果。
本发明的实施方式具有如下优点:
本发明从物理结构和软件算法上有效的实现了无人驾驶中的信号灯位置的识别,检测追踪以及数据存储,可以预测下一帧的目标位置,提高检测与识别的效率;变换预测模块将同一目标在连续若干帧中的信息联系起来,使得在做决策时不仅可以利用当前帧的信息,也可综合前几帧的信息,做出最优的决策,减少了***算法的负担,降低了算法失效的可能性;将每一个交通信号灯的位置和朝向都存储下来,将它们的集合作为先验知识构成能够在后期实时调用的先验知识数据库。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明实施方式中无人驾驶车载交通信号灯识别***结构框图;
图2为本发明实施方式中识别***的GIS模块结构示意图;
图3为本发明实施方式中无人驾驶车载交通信号灯识别方法结构框图;
图4为本发明实施方式中夜间交通灯炫光现象所导致的光晕设计的识别方法流程图;
图5为本发明实施方式中一种具体的检测识别模块剖面结构示意图;
图6为本发明实施方式中一种具体的检测识别模块的主视图结构示意图。
图中:
1-安装壳体;2-主摄像头组件;3-图像分隔机构;4-色彩传感器;5- 透明罩;6-蜂窝状凸起;7-虹膜快门机构;8-副摄像头组件;
301-柔性遮挡条;302-弧形导向槽孔;303-镀膜透明板;304-微型驱动电机;305-丝杠输出轴。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1和图2所示,本发明提供了一种无人驾驶车载交通信号灯识别***,包括:
检测识别模块,用于对摄像头组件拍摄的静态交通信号灯图片以物理结构降低分辨率,并进行裁切、模糊分类以及坐标投影操作后,以颜色和形状匹配组合方式分析图片中的信号灯像素因子;
算法处理模块,包括对信号灯像素因子进行分类的像素分类器,以及存储的日间交通灯算法和夜间交通灯算法;
日间交通灯算法对一定数量的信号灯像素因子进行颜色空间分布特征提取,夜间交通灯算法对一定数量的信号灯像素因子进行RG空间阈值中光晕图像提取筛选,将筛选结果二值化,通过区域包围零点数量筛选和局部区域取反操作,消除光晕,提取出完整的交通灯轮廓,然后通过区域形态特征方法识别,还包括结合日间交通灯算法和夜间交通灯算法的对信号灯像素因子进行明暗区域同步识别的中间算法;
变换预测模块,基于汽车运动的速度和位置的数据,对摄像头组件拍摄的信号灯动态视频进行连续多帧的信号灯像素因子的变换预测,并以信号灯连续多帧的动态视频中***骤变状态为截取点,对经过处理模块处理后的信号灯像素因子进行契合度匹配;
GIS模块,利用GPS***对检测识别模块和变换预测模块的数据分析的结果附加基于概率模型的地理位置信息。
检测识别模块内设置有用于对摄像头组件拍摄的佳通信号灯图片进行裁切的裁切器,以及对裁切器裁切的图片进行图像颜色特征筛选的模糊分类器,以及对模糊分类器分类的图片数据进行坐标投影分析的投影分析器。
变换预测模块通过连接汽车的MCU获取汽车运动状态,并通过GPS ***获取汽车到信号灯的地理坐标位置,同时估算信号灯在摄像头组件拍摄的交通信号灯动态视频中相对运动状态,进而构建运动模型;在该运动模型下,变换预测模块利用连续多帧的交通信号灯动态视频的检测识别分析,其作用表现在:
一方面,变换预测模块可以预测下一帧的目标位置,提高检测与识别的效率;
另一方面,变换预测模块将同一目标在连续若干帧中的信息联系起来,使得在做决策时不仅可以利用当前帧的信息,也可综合前几帧的信息,做出最优的决策。
在交通信号灯识别***中引入跟踪的模块,减小检测器的感兴趣区域并关联多帧的检测结果,一旦某个信号灯被锁定,变换预测模块就能为下一帧的检测提供预先的信息。
以前几帧的位置作为先验信息,预测出下一帧交通信号灯在图像中出现的位置。换言之,如果预先获得信号灯的一些信息,例如位置,那么在检测、识别的阶段,利用这些先验的信息,就能有针对性地进行处理。
这样,一方面减少了算法的负担,另一方面也降低了算法失效的可能性。将每一个交通信号灯的位置和朝向都存储下来,将它们的集合作为先验知识,构成先验知识数据库。
但如何获取这样的先验数据库是这个方法遇到的第一个问题。如此庞大的数据库,如果仍然通过人工测绘、标注的方法获取,显然是不可行的。
所以,这一过程被分为离线与在线两个部分,离线地获取这些数据,在线运行时直接调取数据。
变换预测模块利用连续多帧的交通信号灯动态视频的检测识别分析具体的参数包括基于车道方向的信号灯位置、高度和朝向。
如图5和图6所示,检测识别模块的物理结构部分具体包括安装壳体1,和嵌装在安装壳体1上的主摄像头组件2、副摄像头组件8以及色彩传感器4,安装壳体1的四周设置有用于在物理上缩小和放大主摄像头组件2拍摄图片像素的图像分隔机构3。
图像分隔机构3包括设置在安装壳体1四周,且沿主摄像头组件2 的拍摄方向上伸缩的柔性遮挡条301,安装壳体1的前表面的四个拐角处设置有供柔性遮挡条301伸出的弧形导向槽孔302,柔性遮挡条301的一端连接有驱动装置4。
交通信号灯的主要特征包括颜色特征,形态特征和位置特征。其中位置特征主要用于减少运算量,由于交通信号灯安装位置较高,通常只对图像的上半部分进行处理识别。颜色特征和形态特征则是交通信号灯识别的主要依据。针对颜色特征,在不同的颜色空间中分析颜色的分布特征,设置相应的筛选条件,将具有固定颜色特征的交通信号灯从原图像中分割出来。当图像中存在颜色与交通信号灯相近的物体,即非交通信号灯图像同样满足筛选条件时,易产生误识别的问题。
利用颜色特征可以有效的去除图像中大量的无关物体,常作为交通信号灯图像识别处理的第一步。交通信号灯的形态特征,包括矩形的交通信号灯框体,以及圆形或箭头形的交通信号灯灯体。
也就是利用各种特征从获取的图像中提取出候选区域。这一步骤是交通灯识别***的基础,是不可替换的一个模块。
从性能上,要求检测识别器有低漏检率和低误检率,同时要求检测识别器有很高的效率与实时性。但是,这中间存在两对矛盾。对于一个确定结构的检测识别器,利用有限特征无法正确分类所有样本,所以要降低误检率,就必须要缩小分类区域,而要降低漏检率,就必须扩大分类区域,这就造成了一对矛盾。另一方面,为同时达到低漏检率和低误检率,就需要设计一个比较复杂的分类器,而这又与实时性的要求相矛盾。
本发明通过色彩传感器4对红绿灯在现实空间中的位置进行初步的定位,其中色彩传感器4设定的识别标准为红(R)、绿(G)、蓝(B)3 个分量的相关性的组合,来抵抗外界其他光线的干扰,适宜用来进行图像红绿灯定位。
再通过图像分隔机构3对摄像机拍摄的最终图片进行物理上的分隔,具体的分隔原理是:当色彩传感器4定位到红绿灯后,根据其形状判断是纵向排列的红绿灯还是横向排列的红绿灯,并根据判断的结果驱动位于安装壳体1的左、右两组柔性遮挡条301或者上、下两组柔性遮挡条 301伸出,进而对主摄像头组件2的拍摄画面进行物理像素切割。
同时相对于RGB颜色模型,HSI(色相、饱和度和亮度)颜色模型更适合人类的视觉特性,并且图像所有的色彩信息都包含在H分量中,便于进行初步的红绿灯定位操作,由***内的处理器对图像中的红绿灯进行将交通灯定位裁剪到其最小外接矩形,副摄像头组件8根据裁剪的结果,对空间中的红绿灯进行聚焦拍摄,聚焦的过程由虹膜快门机构7进行拍摄光圈的控制,进而缩小红绿灯中每个灯的显示像素信息,并与主摄像头组件拍摄的图片进行叠加分析,提高识别的精确度。
以减少处理器***在处理图片分辨率,以减少***在处理高清相机拍摄的高清图片的处理速度,尽可能的减少拍摄相机拍摄的图片中其他灯体的干扰,极大的提高了红绿灯识别的精确度。
当投射进主摄像头组件中的杂光光线较强是,通过其中一个柔性遮挡条301中间设置有镀膜透明板302,进行滤光。
且柔性遮挡条301在完全伸出时,柔性遮挡条301的前端正好能够伸入与其正相对的弧形导向槽孔302中。
安装壳体1的前端设置有透明罩5,且透明罩5的表面设置有蜂窝状凸起6,且蜂窝状凸起6的高度从透明罩边缘向中心递减。
驱动装置4包括微型驱动电机304以及丝杠输出轴305,微型驱动电机304通过驱动丝杠输出轴转动带动柔性遮挡条301做直线运动。
色彩传感器4采用型号为TCS3200D的颜色传感器。
如图3和图4所示,本发明提供了一种无人驾驶车载交通信号灯识别方法,包括步骤:
S100、通过对红绿灯的颜色和形状特征提取从摄像模块获取的图像中取出候选区域;
S200、采用图像下采样算法,降低候选区域的图像分辨率,得到低分辨率像素组;
S300、再通过线性色彩分类器为低分辨率像素组的每个像素赋予色彩类别标签,随后采用图像分隔算法处理获得不同色彩类别的信号灯候选区域;
S400、将摄像模块获取的前几帧图像的不同色彩类别的信号灯候选区作为先验信息,预测下一帧交通信号灯在图像中的位置,重复步骤S200 和S300输出信号灯识别结果。
本发明通过对摄像模块拍摄的信号灯图像,进行结合颜色和形态特征实现交通信号灯的识别,采用相机的分辨率为六百万(2736×2192)。由于信号灯的安装位置处于地平线之上较高的位置,而且相机水平安装,所以在实际使用中,图像的感兴趣区域为图像的上半部分,约为三百万像素(2736×1096)。
摄像模块拍摄的信号灯图像根据裁切部分的像素灰度,调节快门开闭时间,控制进光量,以保证图像质量。
通过一个模糊分类器,对图像颜色特征进行筛选,比常用的颜色阈值方法精度和鲁棒性更好,结合交通信号灯的周长面积比和连续帧图像的追踪,判断对象是否为交通信号灯。
颜色识别:
首先将交通灯定位裁剪到其最小外接矩形。其次转换彩色空间,RGB 彩色模型是一种常用的彩色模型,该模型下的3个分量红(R)、绿(G)、蓝 (B)相关性较高,抗外界干扰性较差,不适宜用来进行图像分割。
相对于RGB颜色模型,HSI(色相、饱和度和亮度)颜色模型更适合人类的视觉特性。并且图像所有的色彩信息都包含在H分量中,便于操作,根据H分量识别颜色设置H。
形状识别,形状识别方法信号灯类型具有多样性,箭头灯包含颜色及方向信息,圆形灯仅包含颜色信息。
为实现对圆形及箭头形信号灯的灵活识别,提出坐标投影分析方法。通过对比标准箭头和圆形坐标投影,识别出形状。
对光源区域的二值图像做横坐标投影实质上是计算光源区域在行方向上的面积,而纵坐标投影则是列方积,在实际使用时,用横坐标投影就可以进行识别。
为了便于比较,应该进行压缩、拉伸,统一图像大小。在这里统一压缩拉伸为20×20大小的图像。
在进行比较之前首先要设定标准圆形和箭头。
线性色彩分类器为基于HSV色彩空间的分类器,线性色彩分类器低分辨率像素组的每个像素赋予色彩类别标签的具体包括红色、黄色、绿色以及其他颜色四类;
在S200中,采用图像下采样算法,对于日间交通的识别算法,具体为:通过采集交通信号灯样本图像,提取交通信号灯区域的像素,对一定数量的点进行统计分析,可以得到该颜色在对应的颜色空间内的分布特征。
常见的颜色空间有RGB,YCbCr,HSV等颜色空间。
它们分别代表了三类颜色空间:以基色混合比例表征的颜色空间 (RGB空间),以亮度及色差表征的颜色空间(YCbCr空间)和以饱和度色调明度参数表征的颜色空间(HSV空间),它们彼此存在相互的转换关系。将原图由RGB空间分别转换到YCbCr空间和HSV空间,对其像素值的分布进行分析。
设置相应的筛选阈值。RGB空间是最常见的颜色空间,图像采集和显示设备多使用RGB空间。RGB空间的三个分量分别表示红色、绿色和蓝色的数值,三个分量的值均与其灰度有关。
RGB空间是一个正方体,三个坐标轴即为RGB分量。
经过对一定数量像素的取值分析,设置红色和绿色的筛选条件如式所示。
R-G≥70and R-B≥70,
G-R≥70and G-B≥0,
进而获取YCbCr空间和RGB空间的变换关系。
与RGB空间类似,YCbCr空间是一个正方体,YCbCr分别是三个坐标轴。
YCbCr空间以Cb和Cr的值表征颜色特征,Y分量可以表征灰度值,因此只对Cb和Cr的值设置阈值,YCbCr空间内的红色及绿色的阈值条件如式所示
80≤Cb≤135and155≤Cr,
95≤Cb≤165and Cr≤115。
针对夜间交通灯炫光现象所导致的光晕设计的识别方法
首先通过RGB空间阈值筛选,提取出图像中的光晕,将筛选结果二值化,通过区域包围零点数量筛选以及局部区域取反操作,消除光晕,提取出完整的交通灯轮廓,然后通过区域形态特征方法进一步识别。
用RGB空间阈值筛选方法,夜间样本进行阈值筛选,以验证RGB 空间阈值筛选方法能否满足提取交通信号灯候选区域的需要。
夜间的红色及绿色在RGB空间中的分布基本与日间相同。
为了保证尽量完整地获取夜间交通信号灯所在的区域,将RGB空间阈值筛选条件放宽,夜间红色交通信号灯颜色筛选条件如下公式所示,绿色交通信号灯筛选筛选条件如下公式所示:
R-G≥60and R-B≥30,
G-R≥30and G-B≥0,
使用该公式对样本进行颜色阈值筛选。
在S300中、采用图像下采样算法处理得到低分辨率像素组存储在灰度图中,以不同的灰度值标记不同的色彩类别标签。
在S400中,利用连续多帧的先验信息,基于概率模型实时估计信号灯所在图像位置分布,并附加基于GPS打点技术的信号灯位置以及车道朝向参数,打包存入具有离线数据提取和在线数据提取两部分的GIS模块,并在下一次通过同一路口时,从GIS模块中提取,作为先验信息。
在S400、对预测下一帧交通信号灯在图像中的位置处理成另一组摄像模块进行聚焦高清拍摄的触发信号,并根据不同色彩类别的信号灯候选区域的长宽比例和尺寸大小进行匹配,将符合匹配结果的不同色彩类别的信号灯候选区域中同一色彩标签的像素用矩形框连接,作为输出结果。
虽然,上文中已经用一般性说明及具体实施例对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。
Claims (10)
1.一种无人驾驶车载交通信号灯识别***,其特征在于,包括:
检测识别模块,用于对摄像头组件拍摄的静态交通信号灯图片以物理结构降低分辨率,并进行裁切、模糊分类以及坐标投影操作后,以颜色和形状匹配组合方式分析图片中的信号灯像素因子;
算法处理模块,包括对信号灯像素因子进行分类的像素分类器,以及存储的日间交通灯算法和夜间交通灯算法;
日间交通灯算法对一定数量的信号灯像素因子进行颜色空间分布特征提取,夜间交通灯算法对一定数量的信号灯像素因子进行RG空间阈值中光晕图像提取筛选,将筛选结果二值化,通过区域包围零点数量筛选和局部区域取反操作,消除光晕,提取出完整的交通灯轮廓,然后通过区域形态特征方法识别,还包括结合日间交通灯算法和夜间交通灯算法的对信号灯像素因子进行明暗区域同步识别的中间算法;
变换预测模块,基于汽车运动的速度和位置的数据,对摄像头组件拍摄的信号灯动态视频进行连续多帧的信号灯像素因子的变换预测,并以信号灯连续多帧的动态视频中***骤变状态为截取点,对经过处理模块处理后的信号灯像素因子进行契合度匹配;
GIS模块,利用GPS***对检测识别模块和变换预测模块的数据分析的结果附加基于概率模型的地理位置信息。
2.根据权利要求1所述的一种无人驾驶车载交通信号灯识别***,其特征在于,所述的检测识别模块内设置有用于对摄像头组件拍摄的佳通信号灯图片进行裁切的裁切器,以及对裁切器裁切的图片进行图像颜色特征筛选的模糊分类器,以及对模糊分类器分类的图片数据进行坐标投影分析的投影分析器。
3.根据权利要求1所述的一种无人驾驶车载交通信号灯识别***,其特征在于,所述变换预测模块通过连接汽车的MCU获取汽车运动状态,并通过GPS***获取汽车到信号灯的地理坐标位置,同时估算信号灯在摄像头组件拍摄的交通信号灯动态视频中相对运动状态,进而构建运动模型;在该运动模型下,变换预测模块利用连续多帧的交通信号灯动态视频的检测识别分析。
4.根据权利要求3所述的一种无人驾驶车载交通信号灯识别***,其特征在于,所述变换预测模块利用连续多帧的交通信号灯动态视频的检测识别分析具体的参数包括基于车道方向的信号灯位置、高度和朝向以及用于安装信号灯。
5.根据权利要求1所述的一种无人驾驶车载交通信号灯识别***,其特征在于,所述检测识别模块还包括安装壳体(1),和嵌装在安装壳体(1)上的主摄像头组件(2)、副摄像头组件(8)以及色彩传感器(4),所述安装壳体(1)的四周设置有用于在物理上缩小和放大主摄像头组件(2)拍摄图片像素的图像分隔机构(3);
所述图像分隔机构(3)包括设置在安装壳体(1)四周,且沿主摄像头组件(2)的拍摄方向上伸缩的柔性遮挡条(301),所述安装壳体(1)的前表面的四个拐角处设置有供柔性遮挡条(301)伸出的弧形导向槽孔(302),所述柔性遮挡条(301)的一端连接有驱动装置(4)。
6.根据权利要求5所述的一种无人驾驶车载交通信号灯识别***,其特征在于,其中一个所述柔性遮挡条(301)中间设置有镀膜透明板(303),且所述柔性遮挡条(301)在完全伸出时,柔性遮挡条(301)的前端正好能够伸入与其正相对的弧形导向槽孔(302)中。
7.一种根据权利要求1-6所述的无人驾驶车载交通信号灯识别方法,其特征在于,包括步骤:
S100、通过对红绿灯的颜色和形状特征提取从摄像模块获取的图像中取出候选区域;
S200、采用图像下采样算法,降低候选区域的图像分辨率,得到低分辨率像素组;
S300、再通过线性色彩分类器为低分辨率像素组的每个像素赋予色彩类别标签,随后采用图像分隔算法处理获得不同色彩类别的信号灯候选区域;
S400、将摄像模块获取的前几帧图像的不同色彩类别的信号灯候选区作为先验信息,预测下一帧交通信号灯在图像中的位置,重复步骤S200和S300输出信号灯识别结果。
8.根据权利要求7所述的一种无人驾驶车载交通信号灯识别方法,其特征在于,线性色彩分类器为基于HSV色彩空间的分类器,线性色彩分类器低分辨率像素组的每个像素赋予色彩类别标签的具体包括红色、黄色、绿色以及其他颜色四类;
在S300中、采用图像下采样算法处理得到低分辨率像素组存储在灰度图中,以不同的灰度值标记不同的色彩类别标签。
9.根据权利要求7所述的一种无人驾驶车载交通信号灯识别方法,其特征在于,在S400中,利用连续多帧的先验信息,基于概率模型实时估计信号灯所在图像位置分布,并附加基于GPS打点技术的信号灯位置以及车道朝向参数,打包存入具有离线数据提取和在线数据提取两部分的GIS模块,并在下一次通过同一路口时,从GIS模块中提取,作为先验信息。
10.根据权利要求9所述的一种无人驾驶车载交通信号灯识别方法,其特征在于,在S400、对预测下一帧交通信号灯在图像中的位置处理成另一组摄像模块进行聚焦高清拍摄的触发信号,并根据不同色彩类别的信号灯候选区域的长宽比例和尺寸大小进行匹配,将符合匹配结果的不同色彩类别的信号灯候选区域中同一色彩标签的像素用矩形框连接,作为输出结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010416680.0A CN111582216B (zh) | 2020-05-15 | 2020-05-15 | 一种无人驾驶车载交通信号灯识别***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010416680.0A CN111582216B (zh) | 2020-05-15 | 2020-05-15 | 一种无人驾驶车载交通信号灯识别***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111582216A true CN111582216A (zh) | 2020-08-25 |
CN111582216B CN111582216B (zh) | 2023-08-04 |
Family
ID=72118925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010416680.0A Active CN111582216B (zh) | 2020-05-15 | 2020-05-15 | 一种无人驾驶车载交通信号灯识别***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111582216B (zh) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112233415A (zh) * | 2020-09-04 | 2021-01-15 | 南京航空航天大学 | 一种无人驾驶用交通信号灯识别装置 |
CN113065466A (zh) * | 2021-04-01 | 2021-07-02 | 安徽嘻哈网络技术有限公司 | 一种基于深度学习的驾培用红绿灯检测*** |
CN113642521A (zh) * | 2021-09-01 | 2021-11-12 | 东软睿驰汽车技术(沈阳)有限公司 | 红绿灯识别质量的评价方法、装置和电子设备 |
CN113989771A (zh) * | 2021-10-26 | 2022-01-28 | 中国人民解放***箭军工程大学 | 一种基于数字图像处理的交通信号灯识别方法 |
US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
CN116152784A (zh) * | 2023-04-21 | 2023-05-23 | 深圳市夜行人科技有限公司 | 一种基于图像处理的信号灯预警方法及*** |
US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11790664B2 (en) | 2019-02-19 | 2023-10-17 | Tesla, Inc. | Estimating object properties using visual image data |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11841434B2 (en) | 2018-07-20 | 2023-12-12 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11893774B2 (en) | 2018-10-11 | 2024-02-06 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US12014553B2 (en) | 2019-02-01 | 2024-06-18 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105913041A (zh) * | 2016-04-27 | 2016-08-31 | 浙江工业大学 | 一种基于预先标定的信号灯识别方法 |
WO2016203616A1 (ja) * | 2015-06-18 | 2016-12-22 | 日産自動車株式会社 | 信号機検出装置及び信号機検出方法 |
CN108492601A (zh) * | 2018-04-13 | 2018-09-04 | 济南浪潮高新科技投资发展有限公司 | 一种车辆辅助驾驶***及方法 |
-
2020
- 2020-05-15 CN CN202010416680.0A patent/CN111582216B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016203616A1 (ja) * | 2015-06-18 | 2016-12-22 | 日産自動車株式会社 | 信号機検出装置及び信号機検出方法 |
CN105913041A (zh) * | 2016-04-27 | 2016-08-31 | 浙江工业大学 | 一种基于预先标定的信号灯识别方法 |
CN108492601A (zh) * | 2018-04-13 | 2018-09-04 | 济南浪潮高新科技投资发展有限公司 | 一种车辆辅助驾驶***及方法 |
Non-Patent Citations (1)
Title |
---|
付强: "智能汽车交通灯识别方法研究" * |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
US12020476B2 (en) | 2017-03-23 | 2024-06-25 | Tesla, Inc. | Data synthesis for autonomous control systems |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11797304B2 (en) | 2018-02-01 | 2023-10-24 | Tesla, Inc. | Instruction set architecture for a vector computational unit |
US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11841434B2 (en) | 2018-07-20 | 2023-12-12 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11983630B2 (en) | 2018-09-03 | 2024-05-14 | Tesla, Inc. | Neural networks for embedded devices |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
US11893774B2 (en) | 2018-10-11 | 2024-02-06 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11908171B2 (en) | 2018-12-04 | 2024-02-20 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US12014553B2 (en) | 2019-02-01 | 2024-06-18 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US11790664B2 (en) | 2019-02-19 | 2023-10-17 | Tesla, Inc. | Estimating object properties using visual image data |
CN112233415A (zh) * | 2020-09-04 | 2021-01-15 | 南京航空航天大学 | 一种无人驾驶用交通信号灯识别装置 |
CN113065466B (zh) * | 2021-04-01 | 2024-06-04 | 安徽嘻哈网络技术有限公司 | 一种基于深度学习的驾培用红绿灯检测*** |
CN113065466A (zh) * | 2021-04-01 | 2021-07-02 | 安徽嘻哈网络技术有限公司 | 一种基于深度学习的驾培用红绿灯检测*** |
CN113642521B (zh) * | 2021-09-01 | 2024-02-09 | 东软睿驰汽车技术(沈阳)有限公司 | 红绿灯识别质量的评价方法、装置和电子设备 |
CN113642521A (zh) * | 2021-09-01 | 2021-11-12 | 东软睿驰汽车技术(沈阳)有限公司 | 红绿灯识别质量的评价方法、装置和电子设备 |
CN113989771A (zh) * | 2021-10-26 | 2022-01-28 | 中国人民解放***箭军工程大学 | 一种基于数字图像处理的交通信号灯识别方法 |
CN113989771B (zh) * | 2021-10-26 | 2024-07-19 | 中国人民解放***箭军工程大学 | 一种基于数字图像处理的交通信号灯识别方法 |
CN116152784A (zh) * | 2023-04-21 | 2023-05-23 | 深圳市夜行人科技有限公司 | 一种基于图像处理的信号灯预警方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN111582216B (zh) | 2023-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111582216A (zh) | 一种无人驾驶车载交通信号灯识别***及方法 | |
CN107729801B (zh) | 一种基于多任务深度卷积神经网络的车辆颜色识别*** | |
CN109740478B (zh) | 车辆检测及识别方法、装置、计算机设备及可读存储介质 | |
CN108108761B (zh) | 一种基于深度特征学习的快速交通信号灯检测方法 | |
CN107506763B (zh) | 一种基于卷积神经网络的多尺度车牌精准定位方法 | |
Lafuente-Arroyo et al. | Traffic sign shape classification evaluation I: SVM using distance to borders | |
CN107622502B (zh) | 复杂光照条件下视觉导引***的路径提取与识别方法 | |
Rotaru et al. | Color image segmentation in HSI space for automotive applications | |
CN103093249B (zh) | 一种基于高清视频的出租车识别方法及*** | |
Romdhane et al. | An improved traffic signs recognition and tracking method for driver assistance system | |
Nandi et al. | Traffic sign detection based on color segmentation of obscure image candidates: a comprehensive study | |
Le et al. | Real time traffic sign detection using color and shape-based features | |
CN111027475A (zh) | 一种基于视觉的实时交通信号灯识别方法 | |
CN112464731B (zh) | 一种基于图像处理的交通标志检测识别方法 | |
Maldonado-Bascon et al. | Traffic sign recognition system for inventory purposes | |
CN111860509A (zh) | 一种由粗到精的两阶段非约束车牌区域精准提取方法 | |
Yao et al. | Coupled multivehicle detection and classification with prior objectness measure | |
CN115424217A (zh) | 基于ai视觉的车辆智能识别方法、装置和电子设备 | |
CN105975949A (zh) | 一种基于视觉信息的汽车识别方法 | |
Flores-Calero et al. | Ecuadorian traffic sign detection through color information and a convolutional neural network | |
CN112183427B (zh) | 一种箭形交通信号灯候选图像区域的快速提取方法 | |
CN116704490B (zh) | 车牌识别方法、装置和计算机设备 | |
Kim | Detection of traffic signs based on eigen-color model and saliency model in driver assistance systems | |
Tilakaratna et al. | Image analysis algorithms for vehicle color recognition | |
Gerhardt et al. | Neural network-based traffic sign recognition in 360° images for semi-automatic road maintenance inventory |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |