CN107886033B - 识别圆形交通灯的方法、装置及车辆 - Google Patents

识别圆形交通灯的方法、装置及车辆 Download PDF

Info

Publication number
CN107886033B
CN107886033B CN201610874308.8A CN201610874308A CN107886033B CN 107886033 B CN107886033 B CN 107886033B CN 201610874308 A CN201610874308 A CN 201610874308A CN 107886033 B CN107886033 B CN 107886033B
Authority
CN
China
Prior art keywords
image
circular
traffic light
area
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610874308.8A
Other languages
English (en)
Other versions
CN107886033A (zh
Inventor
高上添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BYD Co Ltd
Original Assignee
BYD Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BYD Co Ltd filed Critical BYD Co Ltd
Priority to CN201610874308.8A priority Critical patent/CN107886033B/zh
Publication of CN107886033A publication Critical patent/CN107886033A/zh
Application granted granted Critical
Publication of CN107886033B publication Critical patent/CN107886033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种识别圆形交通灯的方法、装置及车辆。该方法基于3D摄像头采集到的具有深度信息的图像,对圆形交通灯进行识别。由于3D摄像头的深度成像原理不受自然光照影响,所以在识别圆形交通灯的过程中,对于白天、夜晚等不同光照情况下的识别会更加准确。并且,由于深度信息是由3D摄像头直接输出的,无需额外处理,因此在一定程度上可以减少图像处理的复杂度,提升识别效率。此外,3D摄像头对深度信息与颜色信息的输出在时间轴上几乎是一致的,这样使得在结合两者对圆形交通灯进行识别时,识别结果更加准确。无需采集样本以及机器学习,简化了识别圆形交通灯的过程,提高了识别圆形交通灯的效率和准确度。

Description

识别圆形交通灯的方法、装置及车辆
技术领域
本公开涉及图像处理技术领域,具体地,涉及一种识别圆形交通灯的方法、装置及车辆。
背景技术
随着科学技术的不断发展,车辆驾驶智能化已经从想象逐渐变成了现实,基于交通信号灯的检测、识别与跟踪算法,为机动车驾驶甚至无人驾驶的实现提供了很大的帮助。
当前的交通信号灯识别方法都是采用单个2D摄像头来获取图像,再利用模式匹配和机器学习等图像处理技术来实现识别。要想获得准确的识别结果,除了对图像质量要求特别高之外,对算法的复杂度要求也很苛刻,同时识别结果也不尽人意,主要原因在于2D摄像头采集到的图像本身的图像质量有一定局限,且图像质量受外界干扰影响比较大,这些都会对识别结果产生直接的影响。
发明内容
本公开的目的是提供一种识别圆形交通灯的方法、装置及车辆,以简化识别圆形交通灯的过程,提高识别圆形交通灯的效率和准确度。
为了实现上述目的,本公开提供一种识别圆形交通灯的方法,所述方法包括:
从3D摄像头采集到的具有深度信息的图像中分割出具有红、绿或黄任一种颜色特性的圆形目标区域;
从3D摄像头采集到的具有深度信息的图像中提取出满足预设深度阈值范围的目标深度图像;
对比所述圆形目标区域和所述目标深度图像,以从所述目标深度图像中定位出矩形背景框;
根据所述矩形背景框的面积与所述矩形背景框包含的圆形目标区域的面积之间的大小关系,确定所述矩形背景框包含的圆形目标区域为圆形交通灯;
结合所述圆形交通灯的颜色特性,确定所述圆形交通灯的类型。
可选地,根据所述矩形背景框的面积与所述矩形背景框包含的圆形目标区域的面积之间的大小关系,确定所述矩形背景框包含的圆形目标区域为圆形交通灯,包括:
确定所述矩形背景框的面积与所述矩形背景框包含的圆形目标区域的面积之比;
若比值符合预设范围,则所述矩形背景框为圆形交通灯背景框,所述矩形背景框包含的圆形目标区域为圆形交通灯。
可选地,从3D摄像头采集到的具有深度信息的图像中分割出具有红、绿或黄任一种颜色特性的圆形目标区域,包括:
从3D摄像头采集到的具有深度信息的图像中分割出具有红、绿或黄任一种颜色特性的目标区域;
根据所述目标区域的长宽比,滤除非圆形区域;
判断滤除后的目标区域的Hu特征与圆形交通灯模板的Hu特征是否匹配;
从所述滤除后的目标区域中提取出匹配成功的区域。
可选地,所述方法还包括:
对3D摄像头采集到的具有深度信息的图像进行直方图均衡化;
对经直方图均衡化后的图像进行降噪处理;
对经降噪处理后的图像进行形态学处理;
所述从3D摄像头采集到的具有深度信息的图像中分割出具有红、绿或黄任一种颜色特性的目标区域,包括:
对所述3D摄像头采集到的具有深度信息的图像进行颜色分割;
对比经形态学处理后的图像以及经颜色分割后的图像,以获得所述目标区域。
可选地,对比所述圆形目标区域和所述目标深度图像,以从所述目标深度图像中定位出矩形背景框,包括:
对比所述圆形目标区域和所述目标深度图像,以从所述目标深度图像中提取包含所述圆形目标区域的背景区域;
根据所述背景区域的矩形度,从背景区域中定位出矩形背景框。
本公开还提供一种识别圆形交通灯的装置,所述装置包括:
圆形目标区域分割模块,用于从3D摄像头采集到的具有深度信息的图像中分割出具有红、绿或黄任一种颜色特性的圆形目标区域;
目标深度图像提取模块,用于从3D摄像头采集到的具有深度信息的图像中提取出满足预设深度阈值范围的目标深度图像;
矩形背景框定位模块,用于对比所述圆形目标区域和所述目标深度图像,以从所述目标深度图像中定位出矩形背景框;
圆形交通灯确定模块,用于根据所述矩形背景框的面积与所述矩形背景框包含的圆形目标区域的面积之间的大小关系,确定所述矩形背景框包含的圆形目标区域为圆形交通灯;
圆形交通灯类型确定模块,用于结合所述圆形交通灯的颜色特性,确定所述圆形交通灯的类型。
可选地,所述圆形交通灯确定模块包括:
面积比确定子模块,用于确定所述矩形背景框的面积与所述矩形背景框包含的圆形目标区域的面积之比;
圆形交通灯确定子模块,用于若比值符合预设范围,则所述矩形背景框为圆形交通灯背景框,所述矩形背景框包含的圆形目标区域为圆形交通灯。
可选地,所述圆形目标区域分割模块包括:目标区域确定子模块,用于从3D摄像头采集到的具有深度信息的图像中分割出面积小于预设阈值且具有红、绿或黄任一种颜色特性的目标区域;
滤除子模块,用于根据所述目标区域的长宽比,滤除非圆形区域;
判断子模块,用于判断滤除后的目标区域的Hu特征与圆形交通灯模板的Hu特征是否匹配;
第一提取子模块,用于从所述滤除后的目标区域中提取出匹配成功的区域。
可选地,所述装置还包括:直方图均衡化模块,用于对3D摄像头采集到的具有深度信息的图像进行直方图均衡化;
降噪模块,用于对经直方图均衡化后的图像进行降噪处理;
形态学处理模块,用于对经降噪处理后的图像进行形态学处理;
所述目标区域确定子模块包括:
分割子模块,用于对所述3D摄像头采集到的具有深度信息的图像进行颜色分割;
对比子模块,用于对比经形态学处理后的图像以及经颜色分割后的图像,以获得所述目标区域。
可选地,所述矩形背景框定位模块包括:
背景区域提取子模块,用于对比所述圆形目标区域和所述目标深度图像,以从所述目标深度图像中提取包含所述圆形目标区域的背景区域;
矩形背景框定位子模块,用于根据所述背景区域的矩形度,从背景区域中定位出矩形背景框。
本公开还提供了一种车辆,所述车辆包括:
3D摄像头,用于采集具有深度信息的图像;以及
根据本公开所提供的识别圆形交通灯的装置。
本公开中,基于3D摄像头采集到的具有深度信息的图像,对圆形交通灯进行识别。由于3D摄像头的深度成像原理不受自然光照影响,所以在识别圆形交通灯的过程中,对于白天、夜晚等不同光照情况下的识别会更加准确。并且,由于深度信息是由3D摄像头直接输出的,无需额外处理,因此在一定程度上可以减少图像处理的复杂度,提升识别效率。此外,3D摄像头对深度信息与颜色信息的输出在时间轴上几乎是一致的,这样使得在结合两者对圆形交通灯进行识别时,识别结果更加准确。无需采集样本以及机器学习,简化了识别圆形交通灯的过程,提高了识别圆形交通灯的效率和准确度。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据一示例性实施例示出的一种识别圆形交通灯的方法的流程图。
图2是根据一示例性实施例示出的进行Hu特征匹配的示意图。
图3为按照Hu特征匹配的方法确定出来的圆形的示意图。
图4为根据一示例性实施例示出的提取目标深度图像的示意图。
图5是根据一示例性实施例示出的一种识别圆形交通灯的装置的示意图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
相关技术中,基于2D摄像头采集到的图像对圆形交通灯进行识别,由于2D摄像头采集到的图像本身的图像质量有一定局限,且图像质量受外界干扰影响比较大,再加上算法复杂度的影响,导致识别圆形交通灯的效率和准确度不高。为解决该技术问题,本公开提供一种识别圆形交通灯的方法、装置及车辆,以简化识别圆形交通灯的过程,提高识别圆形交通灯的效率和准确度。下面分别对本公开提供的识别圆形交通灯的方法、装置及车辆进行说明。
请参考图1,图1是根据一示例性实施例示出的一种识别圆形交通灯的方法的流程图。如图1所示,该方法包括以下步骤:
步骤S11:从3D摄像头采集到的具有深度信息的图像中分割出具有红、绿或黄任一种颜色特性的圆形目标区域;
步骤S12:从3D摄像头采集到的具有深度信息的图像中提取出满足预设深度阈值范围的目标深度图像;
步骤S13:对比所述圆形目标区域和所述目标深度图像,以从所述目标深度图像中定位出矩形背景框;
步骤S14:根据所述矩形背景框的面积与所述矩形背景框包含的圆形目标区域的面积之间的大小关系,确定所述矩形背景框包含的圆形目标区域为圆形交通灯;
步骤S15:结合所述圆形交通灯的颜色特性,确定所述圆形交通灯的类型。
本公开提出基于3D摄像头采集到具有深度信息的图像,对圆形交通灯进行识别。由于3D摄像头的深度成像原理不受自然光照影响,所以在识别圆形交通灯的过程中,对于白天、夜晚等不同光照情况下的识别会更加准确。并且,由于深度信息是由3D摄像头直接输出的,无需额外处理,因此在一定程度上可以减少图像处理的复杂度,提升识别效率。此外,3D摄像头对深度信息与颜色信息的输出在时间轴上几乎是一致的,这样使得在结合两者对圆形交通灯进行识别时,识别结果更加准确。
在实际应用中,3D摄像头可以安装在汽车的车身上,一种可能的安装方式是:将图像采集装置安装在车身的前挡风玻璃上且与车内后视镜相对。这样,在汽车行进的过程中,可以通过3D摄像头实时采集彩色图像和深度图像,并实时识别圆形交通灯,以为驾驶员规划行车路线和行车速度提供参考,并保障驾驶员的行车安全。
可选地,3D摄像头向上或向下旋转的角度可以根据3D摄像头实时采集到的图像进行标定。以便于在图像处理过程中,可以减少图像处理的区域和数据量,还能减少一部分其它光源(例如:部分汽车尾灯等)带来的影响。
本公开中,可以对3D摄像头采集到的整张图像进行处理,也可以选取3D摄像头采集到的整张图像的位置偏上的区域进行处理(例如:整张图像的上
Figure DEST_PATH_GDA0001178085750000071
区域),以减少图像处理的区域和数据量。
对3D摄像头采集到的具有深度信息的图像的处理包括对颜色信息的处理以及对深度信息的处理,两者是两个相对独立的过程,因此,两者的执行顺序不分先后,可以先后执行或者并行执行。
一方面,通过执行步骤S11,对3D摄像头采集到的具有深度信息的图像中的颜色信息进行处理。包括:
从3D摄像头采集到的具有深度信息的图像中分割出具有红、绿或黄任一种颜色特性的目标区域;
根据所述目标区域的长宽比,滤除非圆形区域;
判断滤除后的目标区域的Hu特征与圆形交通灯模板的Hu特征是否匹配;
从所述滤除后的目标区域中提取出匹配成功的区域。
其中,得到目标区域有多种可能的实施方式,下面分别进行说明。
得到目标区域的第一种可能的实施方式是:采用Lab色彩空间进行图像分割。首先将D摄像头采集到的具有深度信息的图像转换到Lab色彩空间,然后以圆形交通灯所有可能的灯光颜色的a值和b值为阈值,在阈值范围内的则可能是圆形交通灯,这样就可以将3D摄像头采集到的具有深度信息的图像分成两部分:可能是圆形交通灯的区域以及背景区域,其中,可能是圆形交通灯的区域内的像素点的a值和b值在上述阈值范围内。
示例地,圆形交通灯所有可能的灯光颜色是红、绿和黄。其中,绿色的阈值范围为:-50<a<-8并且15<b<80;红色的阈值范围为:15<a<110并且15<b<60;黄色的阈值范围为:1<a<16并且25<b<60。如何确定红、绿和黄三种颜色的a值和b值的范围,可参考相关技术,在此就不再赘述。
得到目标区域的第二种可能的实施方式是:为减少太阳光等光照条件对图像处理结果的影响,利用像素点的色调值进行颜色分割。以圆形交通灯所有可能的灯光颜色的色调值为阈值,在阈值范围内的则可能是圆形交通灯,这样就可以将圆形交通灯的背景框区域分成两部分:可能是圆形交通灯的区域以及背景区域,其中,可能是圆形交通灯的区域内的像素点的色调值在上述阈值范围内。
示例地,圆形交通的所有可能的灯光颜色是红、绿和黄。其中,红色的色调值范围是小于6或大于244;绿色的色调值范围是81至130之间,黄色的色调值范围是21至46之间。如何确定红、绿和黄三种颜色的色调值范围,可参考相关技术,在此就不再赘述。
考虑到HSV色彩空间中H(色调)与V(明度)具有无关性,可以将3D摄像头采集到的具有深度信息的图像转换到HSV色彩空间,进而利用上述色调值范围得到目标区域。
可选地,得到目标区域的第三种可能的实施方式包括以下步骤:
对3D摄像头采集到的具有深度信息的图像进行直方图均衡化;
对经直方图均衡化后的图像进行降噪处理;
对经降噪处理后的图像进行形态学处理;
对所述3D摄像头采集到的具有深度信息的图像进行颜色分割;
对比经形态学处理后的图像以及经颜色分割后的图像,以获得所述目标区域。
本公开中,为了对3D摄像头采集到的具有深度信息的图像中的颜色信息进行增强,进而突出圆形交通灯的颜色,可以对3D摄像头采集到的具有深度信息的图像进行直方图均衡化。
经过直方图均衡化后,3D摄像头采集到的具有深度信息的图像中的颜色信息更加丰富,但是有可能放大了图像中的噪声,所以可以对经直方图均衡化后的图像进行降噪处理。或者,考虑到3D摄像头采集到的具有深度信息的图像本身含有噪声,也可以对3D摄像头采集到的具有深度信息的图像进行降噪处理。
为保留3D摄像头采集到的具有深度信息的图像的总体特征,可以采用高斯平滑方法进行去噪,经过降噪处理后,3D摄像头采集到的具有深度信息的图像的总体特征保存得更加完整。
考虑到圆形交通灯的面积较小,而且与周围其他区域的色差较大,所以可以将3D摄像头采集到的具有深度信息的图像、经直方图均衡化后的图像或经降噪处理后的图像分别首先转换为灰度图,然后对得到的灰度图进行形态学处理,例如礼帽操作或顶帽操作(TopHat),以滤除颜色相同或相近的大块区域和较暗的区域,保留较亮的小块区域。这样,彩色信息中的大量背景信息都被充分得滤除掉,可以为后续的颜色分割操作节省计算量。
经过形态学处理后,可以采用OTSU(最大类间方差法)计算二值化阈值,然后使用计算出来的二值化阈值进行二值化处理,进而将可能是圆形交通灯的区域分离出来。
在实际应用中,上述直方图均衡化的步骤、降噪处理的步骤以及二值化处理的步骤是可选的,可以择一执行、择两者执行、全部执行或者全部都不执行,是否执行可以根据识别效率和准确度的需求进行选择。
上述对3D摄像头采集到的具有深度信息的图像进行颜色分割,可以参考获取目标区域的第一种实施方式或第二种实施方式,以及其他可能的实施方式,无论采用何种实施方式,能将圆形交通灯所有可能的灯光颜色所覆盖的区域从3D摄像头采集到的具有深度信息的图像中分离出来即可。
为进一步确定圆形交通灯所在的区域,排除不可能是圆形交通灯的区域,可以对比经形态学处理后的图像以及经颜色分割后的图像,将颜色和面积都符合圆形交通灯的特性的区域(即目标区域)从经形态学处理后的图像中分离出来,排除面积符合但颜色不符合圆形交通灯的区域。接着,对包含分离出来的区域且经形态学处理后的图像进行二值化处理。
当然,如果还对经形态学处理后的图像进行了二值化处理,则对比经二值化处理后的图像以及经颜色分割后的图像,以从经二值化处理后的图像中分离出颜色和面积都符合圆形交通灯的特性的区域(即目标区域)。
在得到目标区域后,根据圆形交通灯的形状特征(例如:长宽比)对目标区域进行进一步筛选。圆形交通灯的长宽比理想情况下应该是1∶1,如果目标区域的长和宽比例相差很大,则可以确定目标区域不是圆形交通灯。在实际应用中,可以设置长宽比阈值范围,例如:0.7至1.4,若目标区域的长宽比超出该阈值范围,则认为该区域不是圆形灯,可以滤除。
在对目标区域进行滤除后,对形状特征符合圆形交通灯的目标区域,采用Hu特征匹配的方法进行进一步筛选,以提取出圆形目标区域。请参考图2,图2是根据一示例性实施例示出的进行Hu特征匹配的示意图。匹配过程如下:
首先,计算圆形交通灯模板的Hu特征,如图2所示,编号为(a)的图形为圆形交通灯模板。
然后,对于形状特征符合圆形交通灯的目标区域,用最小外接矩形进行框定。计算出该区域的上下左右边界值,以此作为框定的边界,进而得到该区域的最小外接矩形。如图2所示,编号为(b)和(c)的图形分别为形状特征符合圆形交通灯的目标区域的最小外接矩形。
接着,计算最小外接矩形的Hu特征,并与圆形交通灯模板的Hu特征的进行匹配,根据匹配程度确定形状特征符合圆形交通灯的目标区域是否为圆形。请参考图3,图3为按照Hu特征匹配的方法确定出来的圆形的示意图。
上述为通过执行步骤S11,对3D摄像头采集到的具有深度信息的图像中的颜色信息进行处理,进而确定圆形目标区域的过程。下面说明执行步骤S12的过程,即对3D摄像头采集到的具有深度信息的图像中的深度信息进行处理,进而确定目标深度图像的过程。
利用3D摄像头采集图像,可以获取图像的深度信息,即图像中的每一个像素点都有一个距离信息,根据预设深度阈值范围进行适当筛选,可以排除一些干扰区域。而该预设深度阈值范围的一种可能的设定方式是:根据《GB 14886-2006道路交通信号灯设置与安装规范》,图像中太近或太远的目标区域则为干扰区域,在适当范围内(如50~200m范围内)的区域则为需要提取出来的目标深度图像。可选地,可以将满足预设深度阈值范围的像素点设置为白色,且将超出预设深度阈值范围的像素点设置为黑色。
可选地,为便于区分3D摄像头拍摄到的不同的物体,可以将预设范围分级。请参考图4,图4为根据一示例性实施例示出的提取目标深度图像的示意图。示例地,选择5~100m为预设深度阈值范围,将深度值在5~100m的像素点设置为白色,且将深度值超出5~100m的像素点设置为黑色。在5~100m之间按预设距离(例如:5m、10m等)一个单位进行分级,将相同级的深度置于同一个灰度级中(在图4中,我们都用白色来表示,但是用数字来表示不同深度值的区域),如图4中的3、4代表前后的两辆轿车。其中,预设距离可以根据车辆的长度进行设置,以便于对比图3和图4,继而排除车灯带来的干扰。
可选地,考虑到提取出的目标深度图像中存在一些细小的突出物(如交通灯背景框和交通灯灯杆之间的连接等),使得交通灯背景框周围存在噪声干扰。为消除噪声干扰,使得交通灯背景框的轮廓变得平滑,可以对目标深度图像进行形态学开运算处理,以去除细小的突出物。如图4所示,用X号表示形态学开运算处理后交通灯背景框与交通灯灯杆分离,去除交通灯灯杆部分。
在确定圆形目标区域且确定目标深度图像后,执行步骤S13以及步骤S14。
其中,步骤S13包括:对比所述圆形目标区域和所述目标深度图像,以从所述目标深度图像中提取包含所述圆形目标区域的背景区域;根据所述背景区域的矩形度,从背景区域中定位出矩形背景框。
将圆形目标区域对应至目标深度图像中,如果目标深度图像中没有与圆形目标区域对应的区域,则认为是干扰物体(比如:路标、没有开车灯的轿车等),排除干扰物体后,得到背景区域。如图4所示,可以将图4中标号为5和6的区域排除。
接下来计算背景区域的矩形度R,通常R的值在0~1之间。当物体为矩形时,R取得最大值1。可以设定矩形度阈值(例如0.9),即背景区域的矩形度大于所设置的矩形度阈值时,则认为背景区域是矩形背景框。对于不满足矩形度阈值的区域可以排除,例如图4中标号为3的区域。
在定位出矩形背景框后,可以执行步骤S14。步骤S14包括:确定所述矩形背景框的面积与所述矩形背景框包含的圆形目标区域的面积之比;若比值符合预设范围,则所述矩形背景框为圆形交通灯背景框,所述矩形背景框包含的圆形目标区域为圆形交通灯。
一方面,计算圆形目标区域的最小外接矩形的面积AMER,另一方面计算矩形背景框的面积AO,然后计算AO与AMER比为K,用如下公式表示:
Figure DEST_PATH_GDA0001178085750000131
考虑到圆形交通灯背景框内正常情况有3个或4个圆形交通灯,所以K应该在3~4.5之间。这样可以排除路灯(如图4中标号为1的区域),汽车(如如图3中标号为4和5的区域,因为图3中标号为4和5的区域的面积相对于图4中标号为4的区域的面积较小,不可能是圆形交通灯)等。
因此,可以将预设范围设置为3~4.5,如果比值在预设范围内,则矩形背景框为圆形交通灯背景框,同时,矩形背景框内的圆形目标区域为圆形交通灯。采用该方法,既可以定位出圆形交通灯背景框,又可以定位出圆形交通灯。
在定位出圆形交通灯后,结合颜色分割的结果,即可确定圆形交通灯的灯光颜色,进而确定圆形交通灯的类型。
本公开还提供一种识别圆形交通灯的装置。请参考图5,图5是根据一示例性实施例示出的一种识别圆形交通灯的装置的示意图。如图5所示,该装置500包括:
圆形目标区域分割模块501,用于从3D摄像头采集到的具有深度信息的图像中分割出具有红、绿或黄任一种颜色特性的圆形目标区域;
目标深度图像提取模块502,用于从3D摄像头采集到的具有深度信息的图像中提取出满足预设深度阈值范围的目标深度图像;
矩形背景框定位模块503,用于对比所述圆形目标区域和所述目标深度图像,以从所述目标深度图像中定位出矩形背景框;
圆形交通灯确定模块504,用于根据所述矩形背景框的面积与所述矩形背景框包含的圆形目标区域的面积之间的大小关系,确定所述矩形背景框包含的圆形目标区域为圆形交通灯;
圆形交通灯类型确定模块505,用于结合所述圆形交通灯的颜色特性,确定所述圆形交通灯的类型。
可选地,所述圆形交通灯确定模块包括:
面积比确定子模块,用于确定所述矩形背景框的面积与所述矩形背景框包含的圆形目标区域的面积之比;
圆形交通灯确定子模块,用于若比值符合预设范围,则所述矩形背景框为圆形交通灯背景框,所述矩形背景框包含的圆形目标区域为圆形交通灯。
可选地,所述圆形目标区域分割模块包括:目标区域确定子模块,用于从3D摄像头采集到的具有深度信息的图像中分割出面积小于预设阈值且具有红、绿或黄任一种颜色特性的目标区域;
滤除子模块,用于根据所述目标区域的长宽比,滤除非圆形区域;
判断子模块,用于判断滤除后的目标区域的Hu特征与圆形交通灯模板的Hu特征是否匹配;
第一提取子模块,用于从所述滤除后的目标区域中提取出匹配成功的区域。
可选地,所述装置还包括:直方图均衡化模块,用于对3D摄像头采集到的具有深度信息的图像进行直方图均衡化;
降噪模块,用于对经直方图均衡化后的图像进行降噪处理;
形态学处理模块,用于对经降噪处理后的图像进行形态学处理;
所述目标区域确定子模块包括:
分割子模块,用于对所述3D摄像头采集到的具有深度信息的图像进行颜色分割;
对比子模块,用于对比经形态学处理后的图像以及经颜色分割后的图像,以获得所述目标区域。
可选地,所述矩形背景框定位模块包括:
背景区域提取子模块,用于对比所述圆形目标区域和所述目标深度图像,以从所述目标深度图像中提取包含所述圆形目标区域的背景区域;
矩形背景框定位子模块,用于根据所述背景区域的矩形度,从背景区域中定位出矩形背景框。
关于上述实施例中的装置,其中各个模块及单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
此外,本发明还提供一种车辆,该车辆可以包括3D摄像头,用于采集具有深度信息的图像;以及根据本公开所提供的识别圆形交通灯的装置。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

Claims (9)

1.一种识别圆形交通灯的方法,其特征在于,所述方法包括:
从3D摄像头采集到的具有深度信息的图像中分割出具有红、绿或黄任一种颜色特性的圆形目标区域;
从3D摄像头采集到的具有深度信息的图像中提取出满足预设深度阈值范围的目标深度图像;
对比所述圆形目标区域和所述目标深度图像,以从所述目标深度图像中定位出矩形背景框;
根据所述矩形背景框的面积与所述矩形背景框包含的圆形目标区域的面积之间的大小关系,确定所述矩形背景框包含的圆形目标区域为圆形交通灯;
结合所述圆形交通灯的颜色特性,确定所述圆形交通灯的类型;
其中,对比所述圆形目标区域和所述目标深度图像,以从所述目标深度图像中定位出矩形背景框,包括:
对比所述圆形目标区域和所述目标深度图像,以从所述目标深度图像中提取包含所述圆形目标区域的背景区域;
根据所述背景区域的矩形度,从背景区域中定位出矩形背景框。
2.根据权利要求1所述的方法,其特征在于,根据所述矩形背景框的面积与所述矩形背景框包含的圆形目标区域的面积之间的大小关系,确定所述矩形背景框包含的圆形目标区域为圆形交通灯,包括:
确定所述矩形背景框的面积与所述矩形背景框包含的圆形目标区域的面积之比;
若比值符合预设范围,则所述矩形背景框为圆形交通灯背景框,所述矩形背景框包含的圆形目标区域为圆形交通灯。
3.根据权利要求1所述的方法,其特征在于,从3D摄像头采集到的具有深度信息的图像中分割出具有红、绿或黄任一种颜色特性的圆形目标区域,包括:
从3D摄像头采集到的具有深度信息的图像中分割出具有红、绿或黄任一种颜色特性的目标区域;
根据所述目标区域的长宽比,滤除非圆形区域;
判断滤除后的目标区域的Hu特征与圆形交通灯模板的Hu特征是否匹配;
从所述滤除后的目标区域中提取出匹配成功的区域。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
对3D摄像头采集到的具有深度信息的图像进行直方图均衡化;
对经直方图均衡化后的图像进行降噪处理;
对经降噪处理后的图像进行形态学处理;
所述从3D摄像头采集到的具有深度信息的图像中分割出具有红、绿或黄任一种颜色特性的目标区域,包括:
对所述3D摄像头采集到的具有深度信息的图像进行颜色分割;
对比经形态学处理后的图像以及经颜色分割后的图像,以获得所述目标区域。
5.一种识别圆形交通灯的装置,其特征在于,所述装置包括:
圆形目标区域分割模块,用于从3D摄像头采集到的具有深度信息的图像中分割出具有红、绿或黄任一种颜色特性的圆形目标区域;
目标深度图像提取模块,用于从3D摄像头采集到的具有深度信息的图像中提取出满足预设深度阈值范围的目标深度图像;
矩形背景框定位模块,用于对比所述圆形目标区域和所述目标深度图像,以从所述目标深度图像中定位出矩形背景框;
圆形交通灯确定模块,用于根据所述矩形背景框的面积与所述矩形背景框包含的圆形目标区域的面积之间的大小关系,确定所述矩形背景框包含的圆形目标区域为圆形交通灯;
圆形交通灯类型确定模块,用于结合所述圆形交通灯的颜色特性,确定所述圆形交通灯的类型;
所述矩形背景框定位模块包括:
背景区域提取子模块,用于对比所述圆形目标区域和所述目标深度图像,以从所述目标深度图像中提取包含所述圆形目标区域的背景区域;
矩形背景框定位子模块,用于根据所述背景区域的矩形度,从背景区域中定位出矩形背景框。
6.根据权利要求5所述的装置,其特征在于,所述圆形交通灯确定模块包括:
面积比确定子模块,用于确定所述矩形背景框的面积与所述矩形背景框包含的圆形目标区域的面积之比;
圆形交通灯确定子模块,用于若比值符合预设范围,则所述矩形背景框为圆形交通灯背景框,所述矩形背景框包含的圆形目标区域为圆形交通灯。
7.根据权利要求5所述的装置,其特征在于,所述圆形目标区域分割模块包括:
目标区域确定子模块,用于从3D摄像头采集到的具有深度信息的图像中分割出面积小于预设阈值且具有红、绿或黄任一种颜色特性的目标区域;
滤除子模块,用于根据所述目标区域的长宽比,滤除非圆形区域;
判断子模块,用于判断滤除后的目标区域的Hu特征与圆形交通灯模板的Hu特征是否匹配;
第一提取子模块,用于从所述滤除后的目标区域中提取出匹配成功的区域。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
直方图均衡化模块,用于对3D摄像头采集到的具有深度信息的图像进行直方图均衡化;
降噪模块,用于对经直方图均衡化后的图像进行降噪处理;
形态学处理模块,用于对经降噪处理后的图像进行形态学处理;
所述目标区域确定子模块包括:
分割子模块,用于对所述3D摄像头采集到的具有深度信息的图像进行颜色分割;
对比子模块,用于对比经形态学处理后的图像以及经颜色分割后的图像,以获得所述目标区域。
9.一种车辆,其特征在于,所述车辆包括:
3D摄像头,用于采集具有深度信息的图像;以及
根据权利要求5-8任一项所述的识别圆形交通灯的装置。
CN201610874308.8A 2016-09-30 2016-09-30 识别圆形交通灯的方法、装置及车辆 Active CN107886033B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610874308.8A CN107886033B (zh) 2016-09-30 2016-09-30 识别圆形交通灯的方法、装置及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610874308.8A CN107886033B (zh) 2016-09-30 2016-09-30 识别圆形交通灯的方法、装置及车辆

Publications (2)

Publication Number Publication Date
CN107886033A CN107886033A (zh) 2018-04-06
CN107886033B true CN107886033B (zh) 2021-04-20

Family

ID=61769598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610874308.8A Active CN107886033B (zh) 2016-09-30 2016-09-30 识别圆形交通灯的方法、装置及车辆

Country Status (1)

Country Link
CN (1) CN107886033B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445511B (zh) * 2020-03-24 2022-08-05 杭州东信北邮信息技术有限公司 一种图像中圆的检测方法
CN113761967A (zh) * 2020-06-01 2021-12-07 中移(苏州)软件技术有限公司 一种识别方法及装置
CN111967370B (zh) * 2020-08-12 2021-12-07 广州小鹏自动驾驶科技有限公司 一种交通灯识别的方法和装置
CN112201117B (zh) * 2020-09-29 2022-08-02 深圳市优必选科技股份有限公司 一种逻辑板识别方法、装置及终端设备
CN112528794A (zh) * 2020-12-03 2021-03-19 北京百度网讯科技有限公司 信号灯的故障识别方法、装置及路侧设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101395645A (zh) * 2006-03-06 2009-03-25 丰田自动车株式会社 图像处理***及方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110229023A1 (en) * 2002-11-01 2011-09-22 Tenebraex Corporation Technique for enabling color blind persons to distinguish between various colors
CN102176287B (zh) * 2011-02-28 2013-11-20 无锡中星微电子有限公司 一种交通信号灯识别***和方法
CN102354457B (zh) * 2011-10-24 2013-10-16 复旦大学 基于广义霍夫变换的交通信号灯位置检测方法
CN103177256B (zh) * 2013-04-02 2016-12-28 上海理工大学 交通信号灯显示状态识别方法
CN103489324B (zh) * 2013-09-22 2015-09-09 北京联合大学 一种基于无人驾驶的实时动态红绿灯检测识别方法
CN104050447A (zh) * 2014-06-05 2014-09-17 奇瑞汽车股份有限公司 一种交通信号灯识别方法和装置
CN104021378B (zh) * 2014-06-07 2017-06-30 北京联合大学 基于时空关联与先验知识的交通信号灯实时识别方法
CN104766046B (zh) * 2015-02-06 2018-02-16 哈尔滨工业大学深圳研究生院 一种利用交通标识颜色及形状特征进行检测与识别方法
CN105913041B (zh) * 2016-04-27 2019-05-24 浙江工业大学 一种基于预先标定的信号灯识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101395645A (zh) * 2006-03-06 2009-03-25 丰田自动车株式会社 图像处理***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于图像处理的交通信号灯识别方法";武莹等;《交通信息与安全》;20111231;第29卷(第3期);第51-53页第1-4节 *

Also Published As

Publication number Publication date
CN107886033A (zh) 2018-04-06

Similar Documents

Publication Publication Date Title
CN107886033B (zh) 识别圆形交通灯的方法、装置及车辆
CN106909937B (zh) 交通信号灯识别方法、车辆控制方法、装置及车辆
US10592754B2 (en) Shadow removing method for color image and application
KR101409340B1 (ko) 교통 표지 인식 방법 및 그 시스템
EP2575077B1 (en) Road sign detecting method and road sign detecting apparatus
CN102509098B (zh) 一种鱼眼图像车辆识别方法
Gomez et al. Traffic lights detection and state estimation using hidden markov models
US9911051B2 (en) Method and apparatus for confirmation of relevant white inner circle in environment of circular traffic sign recognition
CN104715252B (zh) 一种动态模板结合像素点的车牌字符分割方法
CN107506760A (zh) 基于gps定位与视觉图像处理的交通信号检测方法及***
JP2011216051A (ja) 信号灯識別プログラムおよび信号灯識別装置
CN107886034B (zh) 行车提醒方法、装置及车辆
CN109215364B (zh) 交通信号识别方法、***、设备和存储介质
JP2018063680A (ja) 交通信号認識方法および交通信号認識装置
Wu et al. Raindrop detection and removal using salient visual features
CN106709412B (zh) 交通标志检测方法和装置
CN110688907A (zh) 基于夜间道路光源识别物体的方法及装置
CN109886168B (zh) 一种基于层阶的地面交通标志识别方法
CN111046741A (zh) 车道线识别的方法和装置
CN105787475A (zh) 一种复杂环境下的交通标志检测与识别方法
CN107886035B (zh) 识别箭头交通灯的方法、装置及车辆
CN113989771A (zh) 一种基于数字图像处理的交通信号灯识别方法
CN107992788B (zh) 识别交通灯的方法、装置及车辆
CN107886029B (zh) 定位交通灯背景框的方法、装置及车辆
KR20150146374A (ko) 주변 환경 정보를 이용한 차선 인식 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant