CN115690717A - 红绿灯检测方法、装置、计算设备和存储介质 - Google Patents
红绿灯检测方法、装置、计算设备和存储介质 Download PDFInfo
- Publication number
- CN115690717A CN115690717A CN202110857128.XA CN202110857128A CN115690717A CN 115690717 A CN115690717 A CN 115690717A CN 202110857128 A CN202110857128 A CN 202110857128A CN 115690717 A CN115690717 A CN 115690717A
- Authority
- CN
- China
- Prior art keywords
- traffic light
- target
- lane
- traffic
- view image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 9
- 230000006399 behavior Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种红绿灯检测方法、装置、计算机设备和存储介质,该方法包括:识别在前方视野图像中的目标红绿灯;根据定位信息和高精度地图,获取当前所在车道;根据所述当前所在车道,在所述前方视野图像中的目标红绿灯中确定所述车道对应的关注目标灯,根据所述关注目标灯获得所述当前所在车道的交通指示。该方法通过将智能行驶设备所在车道与关注目标灯对应起来,在多个红绿灯中只关注对应的红绿灯,能够对行驶行为需要关注的红绿灯进行准确的定位,直接给出智能驾驶相关的交通指示,避免出现多个红绿灯需要关注的情况,提高了处理效率。
Description
技术领域
本申请涉及自动驾驶技术领域,特别是涉及一种红绿灯检测方法、装置、计算机设备和存储介质。
背景技术
对于自动驾驶技术而言,准确地识别路口的红绿灯及其交通指示,能够为自动驾驶控制做出正确决策提供了基础,确保车辆以及行人安全。因此,能够准确识别红绿灯及其交通指示至关重要。
传统的红绿灯检测方法利用定位确认车辆在地图中的当前位置后,找出对应的红绿灯位置,根据地图确定的红绿灯位置,将其投影车辆拍摄的前方图像中,确定一个红绿灯的感兴趣区域,对前方图像的红绿灯感兴趣区域进行识别,检测红绿灯。
然而,采用该方法可能能够识别到多个红绿灯,对于车辆而言,并不能够直接根据红绿灯识别结果得出交通指示。即该方法存在效率低的技术问题。
发明内容
根据本申请的内容,提供一种红绿灯检测方法、装置、计算设备和存储介质。
一种红绿灯检测方法,包括:
识别在前方视野图像中的目标红绿灯;
根据定位信息和高精度地图,获取当前所在车道;
根据所述当前所在车道,在所述前方视野图像中的目标红绿灯中确定所述车道对应的关注目标灯,根据所述关注目标灯获得所述当前所在车道的交通指示。
一种红绿灯检测装置,其特征在于,包括:
识别模块,用于识别在前方视野图像中的目标红绿灯;
车道定位模块,用于根据定位信息和高精度地图,获取当前所在车道;
关注灯确定模块,用于根据所述当前所在车道,在所述前方视野图像中的目标红绿灯中确定所述车道对应的关注目标灯,根据所述关注目标灯获得所述当前所在车道的交通指示。
一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如上述各实施例所述方法的步骤。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上述各实施例所述方法的步骤。
上述的红绿灯检测方法、装置、计算机设备和存储介质,通过将智能行驶设备所在车道与关注目标灯对应起来,在多个红绿灯中只关注对应的红绿灯,能够对行驶行为需要关注的红绿灯进行准确的定位,直接给出智能驾驶相关的交通指示,避免出现多个红绿灯需要关注的情况,提高了处理效率。
附图说明
图1为一个实施例中红绿灯检测方法的应用环境示意图;
图2为一个实施例中红绿灯检测方法的流程示意图;
图3为另一个实施例中红绿灯检测方法的流程示意图;
图4为一个实施例中红绿灯检测装置的结构示意图;
图5为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的红绿灯检测方法,可应用于如图1所示的应用环境中。如图1所示,包括:智能行驶设备101、以及搭载在智能行驶设备101上的定位设备102、照相机103和车辆控制器104,车辆控制器104内置有高精度地图105。智能行驶设备101在公路上行驶,定位设备102实时进行定位,照相机103采集前方图像,车辆控制器根据定位实时加载高精度地图,根据定位、高精度地图以及图像进行红绿灯检测。其中,智能行驶设备包括但不限于自动驾驶车辆、行走机器人和其他行驶设备。
在一个实施例中,如图2所示,提供一种红绿灯检测方法,以该方法应用于图1中的车辆控制器为例进行说明,包括以下步骤:
S202,识别在前方视野图像中的目标红绿灯。
其中,前方视野图像指是的智能行驶设备在目标行驶方向的前方视野图像,是智能行驶设备所搭载的照相机所拍摄的其视野范围内的图像,例如行驶设备正向行驶时,所采集的行驶方向的前方视野图像,又如,行驶设备倒车时,所采集的行驶方向的前方视野图像。可以理解的是,前方视野图像的视野范围与照相机的安装位置有关,为了具有一个较好的视野范围,通常将照相机安装在智能行驶设备的顶部。
智能行驶设备在行驶过程中不间断的拍摄前方视野图像,车辆控制器获取前方视野图像进行识别,识别视野范围内是否有红绿灯,以及红绿灯的交通指示信息,其中,交通指示信息包括灯亮信息和指示方向。一般来说,红绿灯识别结果包括:前方视野图像是否存在红绿灯,以及存在红绿灯时红绿灯的坐标信息、灯亮信息和指示方向。其中,指示方向为指示车辆直行、右转或左转对应的指示方向。灯亮信息包括灯的颜色以及灯亮状态,灯的颜色包括红灯、绿灯和黄灯。灯亮状态包括灯亮和灯灭两种状态。例如,一个红绿灯出现直行指示且为绿色时,表示当前可直行。可以理解的是,各地的红绿灯并不是统一的,各地略有差异,但通常来说,通过识别灯亮信息和指示信息,能够得出交通指示信息。
其中,目标红绿灯可以为一个,是对于智能行驶设备当前行驶路径而言所要关注的红绿灯,通常为距离智能行驶设备最近的红绿灯。目标红绿灯还可以为多个,在前方视野图像中,对于复杂的路口能够拍摄到多个红绿灯,目标红绿灯为距离当前定位在预设范围内的红绿灯,即与当前定位的距离超出预设范围的红绿灯排除在关注范围,减少数据处理量,且符合驾驶习惯。
其中,可基于高精度地图确定目标红绿灯,结合对前方视野图像进行图像识别,得到的红绿灯识别结果,将二者进行匹配,识别在前方视野图像中的目标红绿灯。高精度地图相比传统地图,高精度道路导航地图具有更加丰富细致的道路信息,可以更加精准地反映道路的真实情况。高精度地图中标注了车道线,交叉路口、变道路口等马路类型,以及红绿灯路口红绿灯的相对几何位置等。
S204,根据定位信息和高精度地图,获取当前所在车道。
高精度地图中标注了车道线,交叉路口、变道路口等马路类型,以及红绿灯路口红绿灯的相对几何位置等。根据定位,找到当前智能行驶设备在高精度地图中的位置,通过该位置确定当前智能行驶设备在高精地图中的车道线位置。
车道按行走方向分,可分为可右转车道、可直行车道和可左转车道。不同车道的作用通常已标注在了高精度地图当中。一些车道中,车道为单一功能车道,如一个车道只能右转,走行或左转。一些车道可具有两种功能,例如直行右转车道和直行左转车道,是一条车道可以混和两种行车控制的车道,如在直行右转车道,可以直行,也可以右转。智能行驶设备根据路径规划,行驶在相应的车道上,右在路口即将右转,行驶在右转车道,或是直行右转车道上。
S206,根据所述当前所在车道,在所述前方视野图像中的目标红绿灯中确定所述车道对应的关注目标灯,根据所述关注目标灯获得所述当前所在车道的交通指示。
关注目标灯与车道对应。在一个路口,根据道路情况可能存在多种红绿灯的组和,例如,在十字路口,通常在四个方向分别设置有红绿灯,每个方向分别设置有三个红绿对,以对该方向上的车辆做出交通指示。一个方向上的红绿灯包括右转车道对应的红绿灯,对右转行为做出交通指示,包括左转车道对应的红绿灯,对左转行为做出交通指示,还包括直行车道对应的红绿灯,对直行行为做出交通指示。
在传统的红绿灯识别方法中,红绿灯检测主要采用ROI(感兴趣区域)的方式,这种方式中,由于红绿灯感兴趣区域是从图像中分割出来的,可能出现一个ROI内存在多个红绿灯(红绿灯较小,挨得近)的情况,这个时候难以判断,不知道应该以哪个灯为它当前所需注意的灯,导致***不断跳跃选择ROI框内的这几个灯而识别失败。
本实施例中,通过将智能行驶设备所在车道与关注目标灯对应起来,在多个红绿灯中只关注对应的红绿灯,能够使关注目标明确,能够避免ROI框内有多个红绿灯而导致红绿灯检测失败的情况,使得智能行驶设备能够根据所在车道确定匹配的关注目标灯。从而,对于智能行驶设备而言,提取关注目标灯的检测结果,得到灯亮信息和指示方向,即获得交通指示。在确定了关注目标灯后,根据关注目标灯的坐标信息,跟踪关注目标灯的交通指示信息,对智能行驶设备的行驶控制提供决策依据。
上述的红绿灯检测方法,通过将智能行驶设备所在车道与关注目标灯对应起来,在多个红绿灯中只关注对应的红绿灯,能够对行驶行为需要关注的红绿灯进行准确的定位,直接给出智能驾驶相关的交通指示,避免出现多个红绿灯需要关注的情况,提高了处理效率。
在另一个实施例中,识别在前方视野图像中的目标红绿灯,包括:在高精度地图中,根据定位信息确定对应的目标红绿灯在高精度地图中的坐标信息;对前方视野图像进行识别,得到红绿灯检测结果,所述红绿灯检测结果包括所述前方视野图像中存在的红绿灯的坐标信息;将所述目标红绿灯在高精度地图中的坐标信息,投影至所述前方视野图像中,得到所述目标红绿灯在所述前方视野图像的投影坐标信息;将所述目标红绿灯在所述前方视野图像的投影坐标信息与所述前方视野图像中存在的红绿灯的坐标信息进行匹配,确定所述目标红绿灯在所述前方视野图像中的坐标信息。
传统的红绿灯识别方法中,由于红绿灯感兴趣区域是从图像中分割出来的,在这个切割的图像区域对红绿灯进行检测虽然可以节省运算资源,但是容易出现当前的感兴趣区域没有红绿灯图像的情况,这种情况下无法从红绿灯感兴趣区域识别出红绿灯。
本实施例中,如图3所示,在高精度地图中确定目标红绿灯的坐标信息,与对图像进行红绿灯识别的操作可同步进行。一方面,基于高精地图定位信息,确定目标红绿灯在高精度中的坐标信息,目标红绿灯与定位信息相关。也就是说,根据定位信息,确定目标红绿灯。目标红绿灯可以是距离当前定位预设距离的红绿灯。如,当前定位在一个十字路口,在十字路口的四个方向的路口分别有三个红绿灯,也就是在该十字路口,具有12个红绿灯。通过设置距离阈值,能够排除距离当前定位较远的一些红绿灯,将其作为目标红绿灯,从而降低后续的数据处理量,提高处理效率。
另一方面,获取对前方视野图像进行识别,得到红绿灯检测结果,所述红绿灯检测结果包括所述前方视野图像中存在的红绿灯的坐标信息。一种实施方式中利用训练好的红绿灯识别模型,对前方视野图像进行识别,得到红绿灯识别结果。一种实施方式中,还可以根据红绿灯的外部特征,利用图像识别技术对前方视野图像进行识别,得到红绿灯识别结果。
如图3所示,对于红绿灯检测而言,最重要的是能够实时检测到行驶路径上所需要关注的红绿灯的交通指示信息,如颜色和指示方向。智能行驶设备通常是利用照相机实时采集视野前方图像,通过识别视野前方图像进行识别,获取红绿灯的情况。而实际上前方视野图像中能够采集到的红绿灯有多个,或是没有。在有多个的情况时,利用高精度地图确定的目标红绿灯,可结合红绿灯检测结果进一步确定需要关注的红绿灯。而对前方视野图像中检测到没有结绿灯的情况,若采用传统方案,不经过图像检测,直接将高精度地图的目标红绿灯投影至前方视野图像中定位在前方视野图像中的目标红绿灯,可能会出现定位到的目标红绿灯区域并不是真正的感兴趣区域的情况(无红绿灯)。而本申请通过事先进行图像检测,能够避免这个问题。
具体地,将所述目标红绿灯在高精度地图中的坐标信息,投影至所述前方视野图像中,得到所述目标红绿灯在所述前方视野图像的投影坐标信息。在实际应用中,预先标定了高精度地图坐标系至图像坐标系的标定参数,通过标定参数将目标红绿灯在高精度地图中的坐标信息,投影至所述前方视野图像中,此投影用一个笛卡尔坐标系来表示目标红绿灯在图像中的位置。
也就是说,投影后的目标红绿灯的投影坐标信息位于与前方视野图像相同的坐标系下。进一步地,利用利用匈牙利匹配算法对投影到图像中高精度地图中的目标红绿灯坐标与对前方视野图像检测出的红绿灯中心坐标进行全局匹配,匹配距离尺度为欧氏距离,即将高精度地图确定的目标红绿灯,与前方视野图像的红绿灯检测结果进行匹配,定位目标红绿灯在前方视野图像中的坐标信息。也就是说,匹配结果匹配到的目标红绿灯在前方视频图像中的坐标信息,是基于前方视野图像中存在的红绿灯与高精度地图的目标红绿灯匹配的情况确定的,以前方视野图像中已识别到存在的红绿灯为前提,从而能够避免目标红绿灯区域并不是真正的感兴趣区域的情况(无红绿灯)。
本实施例中,根据智能行驶设备当前定位在高精度地图中确定目标红绿灯的坐标信息,同时对前方视野图像进行识别,定位前方视野图像中的红绿灯的坐标信息,将目标红绿灯在高精度地图中的坐标信息投影至前方视野图像中,将其与前方视野图像中的红绿灯信息进行匹配,能够在前方视野图像中定位到目标红绿灯的坐标信息。相比将高精度地图中红绿灯位置根据坐标参数关系往图像中投影,得到一个ROI框(也就是真正感兴趣的图像区域)进行红绿灯检测的方式而言,通过增加前方视野图像的红绿灯检测,再根据检测结果与投影后的目标红绿灯进行匹配的步骤,能够准确地定至到前方视野图像中的红绿灯,避免ROI框没框住红绿灯的问题,也能够避免框住多个红绿灯的问题。
在另一个实施例中,在高精度地图中,根据定位信息确定对应的目标红绿灯在高精度地图中的坐标信息,包括:基于高精度地图和定位信息,获取距离当前定位在预设距离范围内的红绿灯,得到目标红绿灯在高精度地图中的坐标信息。
本实施例中,通过距离阈值确定目标红绿灯。当智能驾驶设备行驶到具有红绿灯的路口时,根据当前定位的结果搜索距离当前定位在预设范围内的所有红绿灯(可能存在多个),并找到相应红绿灯的坐标,将搜索结果作为目标红绿灯。采用该方法,减少了目标红绿灯数量,提高后续处理效率。
在另一个实施例中,在高精度地图中,根据定位信息确定对应的目标红绿灯在高精度地图中的坐标信息,包括:基于所述高精度地图和定位信息,获取距离当前定位最近的红绿灯确定为目标红绿灯;获取所述目标红绿灯在高精度地图中的坐标信息。
根据驾驶习惯,驾驶时需要关注的红绿灯通常关注距离最近的红绿灯。本实施例中,将距离当前定位最近的红绿灯确定为目标红绿灯,符合驾驶习惯,减少了目标红绿灯数量,提高后续处理效率。
在另一个实施例中,根据所述当前所在车道,在所述前方视野图像中的目标红绿灯中确定所述当前所在车道对应的关注目标灯,包括:若所述当前所在车道为可右转车道,则在所述前方视野图像中的目标红绿灯中确定与所述可右转车道对应的关注目标灯,所述关注目标灯包括右转指示红绿灯;若所述当前所在车道为可左转车道,则在所述前方视野图像中的目标红绿灯中确定与所述可左转车道对应的关注目标灯,所述关注目标灯包括左转指示红绿灯;若所述当前所在车道为可直行车道,则在所述前方视野图像中的目标红绿灯中确定与所述可直行车道对应的关注目标灯,所述关注目标灯包括直行指示红绿灯。
具体地,车道按行走方向分,可分为可右转车道、可直行车道和可左转车道。不同车道的作用通常已标注在了高精度地图当中。
若当前车道为可右转车道,如在右转车道,或是在右转直行车道上,则根据所在车道,可结合行驶路径,确定关注目标灯,对于可右转车道而言,关注目标灯通常为前方最右侧的红绿灯。具体地,高精度地图标注了每个红绿灯的功能,可结合高精度地图的信息,确定关注目标灯。
若当前车道为可左转车道,如在大区转车道,或是在左转直行车道上,则根据所在车道,可结合行行驶路径,确定关注目标灯,对于可左转车道而言,关注目标灯通常为前方最左侧的红绿灯。具体地,高精度地图标注了每个红绿灯的功能,可结合高精度地图的信息,确定关注目标灯。
若当前车道为可直行车道,如在直行车道,或是在右转直行车道,左转直行车道上,则根据所在车道,可结合行行驶路径,确定关注目标灯,对于可直行车道而言,关注目标灯通常为中间位置的红绿灯。具体地,高精度地图标注了每个红绿灯的功能,可结合高精度地图的信息,确定关注目标灯。
本实施例中,当智能行驶设备行驶到到一个路口但有多个红绿灯情况下,通过根据当前所在车道确定关注灯,能够从多个关注对象变为一个关注对象,比如行驶在左转车道时,关注左转灯的结果而不是直行灯的结果,从而提高了识别效率。
在另一个实施例中,所述对前方视野图像进行识别,得到红绿灯检测结果,包括:利用预先训练好的红绿灯检测模型,识别所述前方视野图像中的红绿灯,得到红绿灯检测结果;其中,所述红绿灯检测模型基于标注了红绿灯信息的样本图像,对神经网络模型进行训练得到。
本实施例中,利用预先训练好的红绿灯检测模型,识别前方视频图像的红绿灯。其中,红绿灯检测模型是预先训练好的神经网络模型,可采用卷积神经网络(CNN)进行训练得到。红绿灯检测模型采用了大量标注了红绿灯信息的样本图像进行训练得到。
具体地,训练所述红绿灯检测模型的方式,包括:获取待训练的样本图像,所述样本图像标注了红绿灯信息;将所述样本图像输入至待训练的红绿灯检测模型,得到预测的红绿灯信息;若通过预测的红绿灯信息和标注的红绿灯信息的差异,确定预测错误,则将对应的所述样本图像重新作为待训练样本图像;基于所述预测的红绿灯信息和标注的红绿灯信息的差异,调整所述红绿灯检测模型的参数;当满足训练停止的迭代条件时,得到训练好的红绿灯检测模型。
其中,大量采集武汉,深圳,杭州,南京等代表性区域的红绿灯图像,这些地区的红绿灯形状差异较大,可代表中国大部分地区红绿灯现状。样本图像涵盖当地的城市及乡村路口,白天及夜晚,雨雾雪霾等天气下采集的各类红绿灯数据,且视角差异齐全,总共六万帧图像,保证样本充足。其中,样本图像标注了红绿灯在图像中的位置以及交通指示信息。将所述样本图像输入至待训练的红绿灯检测模型,得到预测的红绿灯信息。具体的,预测的红绿灯信息包括了各像素点是否为红绿灯像素点的概率。通常而言,若概率值大于0.5,则认为预设的该像素点为红绿灯像素点,即表示像素点属于红绿灯的像素点。将预测的红绿灯信息于标注的红绿灯信息进行比较,若预测与标注信息相同,则表明预测正确,若预测与标注信息相反,则表明预测错误。模型训练是不断根据预测和标注的差异,调整模型参数的过程。当模型稳定后,停止迭代训练,得到训练好的红绿灯检测模型。
本实施例中,可在根据预测错误时,将对应的样本图像重新作为待训练的样本图像,即采用havd negative mining/soft negative mining的方法将训练过程中难以检测的物体重复放进模型中训练(越难的知识点越需要反复学反复训练),从而保证检测模型的鲁棒性,使得模型在全图检测的效果下在测试集得到较好的训练效果。本实施例中,由于对难以识别的红绿灯样本进行了多次挖掘再训练,使得红绿灯模型更加稳定,满足容易场景和困难场景下的使用要求。
图2-3为一个实施例中红绿灯检测方法的流程示意图。应该理解的是,虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
一种红绿灯检测装置,如图4所示,包括:
识别模块402,用于识别在前方视野图像中的目标红绿灯。
车道定位模块404,用于根据定位信息和高精度地图,获取当前所在车道。
关注灯确定模块406,用于根据所述当前所在车道,在所述前方视野图像中的目标红绿灯中确定所述车道对应的关注目标灯,根据所述关注目标灯获得所述当前所在车道的交通指示。
上述的红绿灯检测装置,通过将智能行驶设备所在车道与关注目标灯对应起来,在多个红绿灯中只关注对应的红绿灯,能够对行驶行为需要关注的红绿灯进行准确的定位,直接给出智能驾驶相关的交通指示,避免出现多个红绿灯需要关注的情况,提高了处理效率。
在另一个实施例中,识别模块,包括:
高精度地图识别模块,用于在高精度地图中,确定所述定位信息对应的目标红绿灯在高精度地图中的坐标信息;
图像识别模块,用于对前方视野图像进行识别,得到红绿灯检测结果,所述红绿灯检测结果包括所述前方视野图像中存在的红绿灯的坐标信息;
投影模块,用于将所述目标红绿灯在高精度地图中的坐标信息,投影至所述前方视野图像中,得到所述目标红绿灯在所述前方视野图像的投影坐标信息;
匹配模块,用于将所述目标红绿灯在所述前方视野图像的投影坐标信息与所述前方视野图像中存在的红绿灯的坐标信息进行匹配,确定所述目标红绿灯在所述前方视野图像中的坐标信息。
在另一个实施例中,高精度地图识别模块,用于基于所述高精度地图和定位信息,获取距离当前定位在预设距离范围内的红绿灯,得到目标红绿灯在高精度地图中的坐标信息。
在另一个实施例中,高精度地图识别模块,用于基于所述高精度地图和定位信息,获取距离当前定位最近的红绿灯确定为目标红绿灯。
在另一个实施例中,关注灯确定模块,用于若所述当前所在车道为可右转车道,则在所述前方视野图像中的目标红绿灯中确定与所述可右转车道对应的关注目标灯,所述关注目标灯包括右转指示红绿灯;若所述当前所在车道为可左转车道,则在所述前方视野图像中的目标红绿灯中确定与所述可左转车道对应的关注目标灯,所述关注目标灯包括左转指示红绿灯;若所述当前所在车道为可直行车道,则在所述前方视野图像中的目标红绿灯中确定与所述可直行车道对应的关注目标灯,所述关注目标灯包括直行指示红绿灯。
在另一个实施例中,图像识别模块,用于利用预先训练好的红绿灯检测模型,识别所述前方视野图像中的红绿灯,得到红绿灯检测结果;其中,所述红绿灯检测模型基于标注了红绿灯信息的样本图像,对神经网络模型进行训练得到。
在另一个实施例中,还包括训练模块,用于获取待训练的样本图像,所述样本图像标注了红绿灯信息;将所述样本图像输入至待训练的红绿灯检测模型,得到预测的红绿灯信息;若通过预测的红绿灯信息和标注的红绿灯信息的差异,确定预测错误,则将对应的所述样本图像重新作为待训练样本图像;基于所述预测的红绿灯信息和标注的红绿灯信息的差异,调整所述红绿灯检测模型的参数;当满足训练停止的迭代条件时,得到训练好的红绿灯检测模型。
图4示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的智能驾驶控制器。如图4所示,该计算机设备包括该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作***,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现红绿灯检测方法。
本领域技术人员可以理解,图4中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的红绿灯检测装置可以实现为一种计算机程序的形式,计算机程序可在如图4所示的计算机设备上运行。计算机设备的存储器中可存储组成该红绿灯检测装置的各个程序模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的红绿灯检测方法中的步骤。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述红绿灯检测方法的步骤。此处红绿灯检测方法的步骤可以是上述各个实施例的红绿灯检测方法中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述红绿灯检测方法的步骤。此处红绿灯检测方法的步骤可以是上述各个实施例的红绿灯检测方法中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种红绿灯检测方法,其特征在于,包括:
识别在前方视野图像中的目标红绿灯;
根据定位信息和高精度地图,获取当前所在车道;
根据所述当前所在车道,在所述前方视野图像中的目标红绿灯中确定所述车道对应的关注目标灯,根据所述关注目标灯获得所述当前所在车道的交通指示。
2.根据权利要求1所述的方法,其特征在于,所述识别在前方视野图像中的目标红绿灯,包括:
在高精度地图中,根据定位信息确定对应的目标红绿灯在高精度地图中的坐标信息;
对前方视野图像进行识别,得到红绿灯检测结果,所述红绿灯检测结果包括所述前方视野图像中存在的红绿灯的坐标信息;
将所述目标红绿灯在高精度地图中的坐标信息,投影至所述前方视野图像中,得到所述目标红绿灯在所述前方视野图像的投影坐标信息;
将所述目标红绿灯在所述前方视野图像的投影坐标信息与所述前方视野图像中存在的红绿灯的坐标信息进行匹配,确定所述目标红绿灯在所述前方视野图像中的坐标信息。
3.根据权利要求2所述的方法,其特征在于,在高精度地图中,根据定位信息确定对应的目标红绿灯在高精度地图中的坐标信息,包括:
基于高精度地图和定位信息,获取距离当前定位在预设距离范围内的红绿灯,得到目标红绿灯在高精度地图中的坐标信息。
4.根据权利要求2所述的方法,其特征在于,在高精度地图中,根据定位信息确定对应的目标红绿灯在高精度地图中的坐标信息,包括:
基于所述高精度地图和定位信息,获取距离当前定位最近的红绿灯确定为目标红绿灯;
获取所述目标红绿灯在高精度地图中的坐标信息。
5.根据权利要求1所述的方法,其特征在于,根据所述当前所在车道,在所述前方视野图像中的目标红绿灯中确定所述当前所在车道对应的关注目标灯,包括:
若所述当前所在车道为可右转车道,则在所述前方视野图像中的目标红绿灯中确定与所述可右转车道对应的关注目标灯,所述关注目标灯包括右转指示红绿灯;
若所述当前所在车道为可左转车道,则在所述前方视野图像中的目标红绿灯中确定与所述可左转车道对应的关注目标灯,所述关注目标灯包括左转指示红绿灯;
若所述当前所在车道为可直行车道,则在所述前方视野图像中的目标红绿灯中确定与所述可直行车道对应的关注目标灯,所述关注目标灯包括直行指示红绿灯。
6.根据权利要求2所述的方法,其特征在于,所述对前方视野图像进行识别,得到红绿灯检测结果,包括:
利用预先训练好的红绿灯检测模型,识别所述前方视野图像中的红绿灯,得到红绿灯检测结果;其中,所述红绿灯检测模型基于标注了红绿灯信息的样本图像,对神经网络模型进行训练得到。
7.根据权利要求6所述的方法,其特征在于,训练所述红绿灯检测模型的方式,包括:
获取待训练的样本图像,所述样本图像标注了红绿灯信息;
将所述样本图像输入至待训练的红绿灯检测模型,得到预测的红绿灯信息;
若通过预测的红绿灯信息和标注的红绿灯信息的差异,确定预测错误,则将对应的所述样本图像重新作为待训练样本图像;
基于所述预测的红绿灯信息和标注的红绿灯信息的差异,调整所述红绿灯检测模型的参数;
当满足训练停止的迭代条件时,得到训练好的红绿灯检测模型。
8.一种红绿灯检测装置,其特征在于,包括:
识别模块,用于识别在前方视野图像中的目标红绿灯;
车道定位模块,用于根据定位信息和高精度地图,获取当前所在车道;
关注灯确定模块,用于根据所述当前所在车道,在所述前方视野图像中的目标红绿灯中确定所述车道对应的关注目标灯,根据所述关注目标灯获得所述当前所在车道的交通指示。
9.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110857128.XA CN115690717A (zh) | 2021-07-28 | 2021-07-28 | 红绿灯检测方法、装置、计算设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110857128.XA CN115690717A (zh) | 2021-07-28 | 2021-07-28 | 红绿灯检测方法、装置、计算设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115690717A true CN115690717A (zh) | 2023-02-03 |
Family
ID=85058483
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110857128.XA Pending CN115690717A (zh) | 2021-07-28 | 2021-07-28 | 红绿灯检测方法、装置、计算设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115690717A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116824895A (zh) * | 2023-08-29 | 2023-09-29 | 成都通广网联科技有限公司 | 一种控制自动驾驶车辆进入路口待行区的网联***及方法 |
-
2021
- 2021-07-28 CN CN202110857128.XA patent/CN115690717A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116824895A (zh) * | 2023-08-29 | 2023-09-29 | 成都通广网联科技有限公司 | 一种控制自动驾驶车辆进入路口待行区的网联***及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11294392B2 (en) | Method and apparatus for determining road line | |
CN109670376B (zh) | 车道线识别方法及*** | |
US8890951B2 (en) | Clear path detection with patch smoothing approach | |
US8487991B2 (en) | Clear path detection using a vanishing point | |
US11386674B2 (en) | Class labeling system for autonomous driving | |
Paz et al. | Probabilistic semantic mapping for urban autonomous driving applications | |
Kim et al. | Deep traffic light detection for self-driving cars from a large-scale dataset | |
US20230358533A1 (en) | Instance segmentation imaging system | |
CN107909012B (zh) | 一种基于视差图的实时车辆跟踪检测方法与装置 | |
CN110175507B (zh) | 模型评估方法、装置、计算机设备和存储介质 | |
CN109903574B (zh) | 路***通信息的获取方法和装置 | |
CN110986945B (zh) | 基于语义高度地图的局部导航方法和*** | |
JP7115502B2 (ja) | 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 | |
US20220114888A1 (en) | System and Method for Intersection Navigation | |
WO2023124442A1 (zh) | 积水深度检测方法及装置 | |
JP2022016460A (ja) | 劣化地物特定装置、劣化地物特定システム、劣化地物特定方法、劣化地物特定プログラム及び劣化地物特定プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP7226368B2 (ja) | 物体状態識別装置 | |
Vachmanus et al. | Semantic segmentation for road surface detection in snowy environment | |
Kühnl et al. | Visual ego-vehicle lane assignment using spatial ray features | |
CN112037268A (zh) | 一种动态场景下的基于概率传递模型的环境感知方法 | |
CN115690717A (zh) | 红绿灯检测方法、装置、计算设备和存储介质 | |
CN115294545A (zh) | 一种基于深度学习的复杂路面车道识别方法及芯片 | |
US20240020964A1 (en) | Method and device for improving object recognition rate of self-driving car | |
CN117935083A (zh) | 高速公路场景下一种基于无人机影像的违法行为识别*** | |
CN118323198A (zh) | 自动驾驶车辆中决策模型的训练和使用方法、装置及车辆 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |