CN112989956A - 基于感兴趣区域的红绿灯识别方法、***及存储介质 - Google Patents

基于感兴趣区域的红绿灯识别方法、***及存储介质 Download PDF

Info

Publication number
CN112989956A
CN112989956A CN202110193164.0A CN202110193164A CN112989956A CN 112989956 A CN112989956 A CN 112989956A CN 202110193164 A CN202110193164 A CN 202110193164A CN 112989956 A CN112989956 A CN 112989956A
Authority
CN
China
Prior art keywords
traffic light
interest
region
light identification
vanishing point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110193164.0A
Other languages
English (en)
Inventor
吕轩轩
苑鑫鑫
孙凯信
杨焕利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weichai Intelligent Technology Co ltd
Weichai Power Co Ltd
Original Assignee
Weichai Intelligent Technology Co ltd
Weichai Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weichai Intelligent Technology Co ltd, Weichai Power Co Ltd filed Critical Weichai Intelligent Technology Co ltd
Priority to CN202110193164.0A priority Critical patent/CN112989956A/zh
Publication of CN112989956A publication Critical patent/CN112989956A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于感兴趣区域的红绿灯识别方法、***及存储介质，获取红绿灯原始图像，进行灰度化处理，得到灰度化图像；根据灰度化图像，进行消失点检测，确定消失点位置；根据消失点所在的水平线以上的区域，确定为感兴趣区域；将感兴趣区域输入目标检测神经网络，得到红绿灯识别结果。本申请通过将消失点所在水平线以上的部分确定为红绿灯识别的感兴趣区域，在感兴趣区域基础上进行红绿灯识别检测，大大降低了红绿灯的误检率，避免了将前车的后车灯识别成红灯等误检、漏检的现象，进而进一步避免了出现安全事故的几率。

Description

基于感兴趣区域的红绿灯识别方法、***及存储介质
技术领域
本申请属于自动驾驶技术领域，具体地，涉及一种基于感兴趣区域的红绿灯识别方法、***及存储介质。
背景技术
随着智能技术的应用越来越广，自动驾驶技术应运而生，而自动驾驶时，对红绿灯的识别对于车辆自动驾驶有着非常重要的影响。
高级驾驶辅助***是利用安装在车上的传感器，例如毫米波雷达、激光雷达、摄像头以及卫星导航，在汽车行驶过程中感知周围环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行***的运算与分析，从而让驾驶员提前预知可能发生的危险，有效增加安全性。目前，基于视觉的城市红绿灯识别一直是辅助驾驶研究的核心内容之一，一般根据交通灯图像的某些特征，例如颜色、形状等来检测识别红绿灯状态，但通过这些算法进行红绿灯检测，非常容易产生误检、漏检的现象；其中，很容易将前车的后车灯识别成红灯，导致辅助驾驶***错误的决策以及控制，例如不必要的刹车行为，甚至会造成严重的安全事故。
因此，亟需一种应用于安全驾驶领域的红绿灯识别技术，可以准确识别红绿灯状态来保证自动驾驶的安全。
发明内容
本发明提出了一种基于感兴趣区域的红绿灯识别方法、***及存储介质，旨在解决现有利用颜色、形状等特征识别红绿灯，容易产生误检、漏检的现象，进而造成严重的安全事故的问题。
根据本申请实施例的第一个方面，提供了一种基于感兴趣区域的红绿灯识别方法，具体包括以下步骤：
获取红绿灯原始图像，进行灰度化处理，得到灰度化图像；
根据灰度化图像，进行消失点检测，确定消失点位置；
根据消失点所在的水平线以上的区域，确定为感兴趣区域；
将感兴趣区域输入目标检测神经网络，得到红绿灯识别结果。
在本申请一些实施方式中，根据灰度化图像，进行消失点检测，确定消失点位置，具体包括：
根据灰度化图像，识别出多条道路线；
根据多条道路线，得到多条道路线的相交点位置，即消失点位置。
在本申请一些实施方式中，根据灰度化图像，识别出多条道路线，具体包括：通过Sobel边缘检测以及霍夫变换算法，拟合出灰度化图像中的多条车道线。
在本申请一些实施方式中，根据多条道路线，得到多条道路线的相交点位置，即消失点位置，包括根据左车道线以及右车道线，得到两条道路线的相交点位置，即消失点位置。
在本申请一些实施方式中，根据左车道线以及右车道线，得到两条道路线的相交点位置，具体步骤包括：
通过Hough变换，得到左车道线图像坐标公式：
y＝klx+bl；
以及右车道线图像坐标公式：
y＝krx+br；
根据以上公式，得到左车道线与右车道线的交点坐标为(x，
Figure BDA0002945946360000021
)，即消失点位置；
其中，(x，y)为车道线上各个点的坐标；(kl,bl)为左车道线的直线坐标参数；(kr,br)为右车道线的直线坐标参数
在本申请一些实施方式中，根据消失点所在的水平线以上的区域，确定为感兴趣区域，具体包括：
确定消失点所在的水平线坐标为：
Figure BDA0002945946360000022
确定感兴趣区域为：
Figure BDA0002945946360000023
在本申请一些实施方式中，目标检测神经网络为SqueezeDet全卷积神经网络。
根据本申请实施例的第二个方面，提供了一种基于感兴趣区域的红绿灯识别***，具体包括：
灰度化图像模块：用于获取红绿灯原始图像，进行灰度化处理，得到灰度化图像；
消失点检测模块：用于根据灰度化图像，进行消失点检测，确定消失点位置；
感兴趣区域模块：用于根据消失点所在的水平线以上的区域，确定为感兴趣区域；
红绿灯识别模块：用于将感兴趣区域输入目标检测神经网络，得到红绿灯识别结果。
根据本申请实施例的第三个方面，提供了一种基于感兴趣区域的红绿灯识别设备，包括：
存储器：用于存储可执行指令；以及
处理器:用于与存储器连接以执行可执行指令从而完成基于感兴趣区域的红绿灯识别方法。
根据本申请实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现基于感兴趣区域的红绿灯识别方法。
采用本申请实施例中的基于感兴趣区域的红绿灯识别方法、***及存储介质，获取红绿灯原始图像，进行灰度化处理，得到灰度化图像；根据灰度化图像，进行消失点检测，确定消失点位置；根据消失点所在的水平线以上的区域，确定为感兴趣区域；将感兴趣区域输入目标检测神经网络，得到红绿灯识别结果。本申请通过将消失点所在水平线以上的部分确定为红绿灯识别的感兴趣区域，在感兴趣区域基础上进行红绿灯识别检测，大大降低了红绿灯的误检率，避免了将前车的后车灯识别成红灯等误检、漏检的现象，进而进一步避免了安全事故的几率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1中示出了根据本申请实施例的基于感兴趣区域的红绿灯识别方法的步骤示意图；
图2中示出了根据本申请实施例的基于感兴趣区域的红绿灯识别方法的流程示意图；
图3中示出了根据本申请实施例的红绿灯识别方法中感兴趣区域确定的示意图；
图4中示出了根据本申请实施例的红绿灯识别方法中在现实场景中的感兴趣区域确定示意图；
图5中示出了根据本申请实施例的基于感兴趣区域的红绿灯识别***的结构示意图；
图6中示出了根据本申请实施例的基于感兴趣区域的红绿灯识别设备的结构示意图。
具体实施方式
在实现本申请的过程中，发明人发现现有智能驾驶在识别红绿灯时，大多利用红绿灯的颜色、形状等特征识别，容易出现将前车的后车灯识别成红灯等误检、漏检的现象，进而造成严重的安全事故的问题。
本申请考虑到红绿灯位置一般在识别图像的上半部分，因此基于消失点检测，将消失点所在水平线以上的部分确定为红绿灯识别的感兴趣区域，在感兴趣区域基础上进行红绿灯识别检测，可大大降低红绿灯的误检率。
基于此，本申请的基于感兴趣区域的红绿灯识别方法、***及存储介质，获取红绿灯原始图像，进行灰度化处理，得到灰度化图像；根据灰度化图像，进行消失点检测，确定消失点位置；根据消失点所在的水平线以上的区域，确定为感兴趣区域；将感兴趣区域输入目标检测神经网络，得到红绿灯识别结果。
本申请首先基于边缘检测和霍夫变换确定图像消失点所在位置，消失点所在的水平线以上的区域为红绿灯识别的感兴趣区域，然后利用squeezedet检测网络识别交通灯，实现了低功耗检测。
本申请通过将消失点所在水平线以上的部分确定为红绿灯识别的感兴趣区域，在感兴趣区域基础上进行红绿灯识别检测，大大降低了红绿灯的误检率，避免了将前车的后车灯识别成红灯等误检、漏检的现象，避免不必要的刹车，进一步避免了安全事故的几率，同时，增加了辅助驾驶的安全性，提高用户体验。
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1
图1中示出了根据本申请实施例的基于感兴趣区域的红绿灯识别方法的步骤示意图。图2中示出了根据本申请实施例的基于感兴趣区域的红绿灯识别方法的流程示意图。
如图1、图2所示，本申请实施例的基于感兴趣区域的红绿灯识别方法，具体包括以下步骤：
S101：获取红绿灯原始图像，进行灰度化处理，得到灰度化图像。
具体的，将获取的红绿灯原始图像进行灰度化处理，得到的灰度图包含很多噪声，本申请使用中值滤波算法对其进行平滑降噪，可减少后续处理的干扰信息。
S102：根据灰度化图像，进行消失点检测，确定消失点位置。
S103：根据消失点所在的水平线以上的区域，确定为感兴趣区域。
具体的，首先，根据灰度化图像，识别出多条道路线；然后，根据多条道路线，得到多条道路线的相交点位置，即消失点位置。
其中，根据灰度化图像，识别出多条道路线，具体包括：通过Sobel边缘检测以及霍夫变换算法，拟合出灰度化图像中的多条车道线。
本申请对灰度化后的图像进行Sobel边缘检测，然后利用霍夫变换算法(Hough)进行直线检测，拟合出道路图像上的车道线；Hough变换算法能将图像坐标系中的直线转换为参数坐标系中的一个点，参数坐标系的方程为：ρ＝xcosθ+ysinθ。
由于所有车道线都会相交于消失点，消失点位置确定后，其所在的水平线以上的位置即为红绿灯识别的感兴趣区域。
理论上，两条直线即可确定一个相交点，而多条车道线中至少包括一条左车道线以及一条右车道线。因此，本申请以左、右两条车道线进一步说明本申请感兴趣区域ROI(region of interest)的确定过程。
图3中示出了根据本申请实施例的红绿灯识别方法中感兴趣区域确定的示意图。图4中示出了根据本申请实施例的红绿灯识别方法中在现实场景中的感兴趣区域确定示意图。
如图3及图4所示，根据左车道线A以及右车道线B，计算得到两条道路线的相交点O的位置，即消失点位置。进而根据消失点所在水平线，确定感兴趣区域ROI(region ofinterest)。
具体步骤包括：
1)通过Hough变换，得到左车道线A图像坐标公式(1)：
y＝klx+bl； 公式(1)
以及右车道线B图像坐标公式(2)：
y＝krx+br； 公式(2)
根据以上公式(1)和(2)，得到左车道线与右车道线的交点O的坐标为(x，
Figure BDA0002945946360000051
)，即消失点位置；
其中，(x，y)为车道线上各个点的坐标；(kl,bl)为左车道线的直线坐标参数；(kr,br)为右车道线的直线坐标参数。
2)根据消失点所在的水平线以上的区域，确定为感兴趣区域，具体包括：
确定消失点O所在的水平线坐标为：
Figure BDA0002945946360000061
确定感兴趣区域ROI的范围为：
Figure BDA0002945946360000062
S104：将感兴趣区域输入目标检测神经网络，得到红绿灯识别结果。
具体的，目标检测神经网络为SqueezeDet全卷积神经网络。
SqueezeDet是一种应用于自动驾驶领域的实时目标检测的小型、低功耗的全卷积神经网络。确定图像感兴趣区域后，将图像传送到SqueezeDet目标检测网络，进行红绿灯的检测。
采用本申请实施例中的基于感兴趣区域的红绿灯识别方法，获取红绿灯原始图像，进行灰度化处理，得到灰度化图像；根据灰度化图像，进行消失点检测，确定消失点位置；根据消失点所在的水平线以上的区域，确定为感兴趣区域；将感兴趣区域输入目标检测神经网络，得到红绿灯识别结果。
本申请首先基于边缘检测和霍夫变换确定图像消失点所在位置，消失点所在的水平线以上的区域为红绿灯识别的感兴趣区域，然后利用squeezedet检测网络识别交通灯，实现了低功耗检测。
本申请通过将消失点所在水平线以上的部分确定为红绿灯识别的感兴趣区域，在感兴趣区域基础上进行红绿灯识别检测，大大降低了红绿灯的误检率，避免了将前车的后车灯识别成红灯等误检、漏检的现象，避免不必要的刹车，进一步避免了安全事故的几率，同时，增加了辅助驾驶的安全性，提高用户体验。
实施例2
本实施例提供了一种基于感兴趣区域的红绿灯识别***，对于本实施例的基于感兴趣区域的红绿灯识别***中未披露的细节，请参照其它实施例中的基于感兴趣区域的红绿灯识别方法的具体实施内容。
图5中示出了根据本申请实施例的基于感兴趣区域的红绿灯识别***的结构示意图。
如图5所示，本申请实施例的基于感兴趣区域的红绿灯识别***，具体包括灰度化图像模块10、消失点检测模块20、感兴趣区域模块30以及红绿灯识别模块40。
具体的，
灰度化图像模块10：用于获取红绿灯原始图像，进行灰度化处理，得到灰度化图像。
具体的，将获取的红绿灯原始图像进行灰度化处理，得到的灰度图包含很多噪声，本申请使用中值滤波算法对其进行平滑降噪，可减少后续处理的干扰信息。
消失点检测模块20：用于根据灰度化图像，进行消失点检测，确定消失点位置。
感兴趣区域模块30：用于根据消失点所在的水平线以上的区域，确定为感兴趣区域。
具体的，首先，根据灰度化图像，识别出多条道路线；然后，根据多条道路线，得到多条道路线的相交点位置，即消失点位置。
其中，根据灰度化图像，识别出多条道路线，具体包括：通过Sobel边缘检测以及霍夫变换算法，拟合出灰度化图像中的多条车道线。
本申请对灰度化后的图像进行Sobel边缘检测，然后利用霍夫变换算法(Hough)进行直线检测，拟合出道路图像上的车道线；Hough变换算法能将图像坐标系中的直线转换为参数坐标系中的一个点，参数坐标系的方程为：ρ＝x cosθ+y sinθ。
理论上，两条直线即可确定一个相交点，而多条车道线中至少包括一条左车道线以及一条右车道线。因此，本申请以左、右两条车道线进一步说明本申请感兴趣区域ROI(region of interest)的确定过程。
如图3及图4所示，根据左车道线A以及右车道线B，计算得到两条道路线的相交点O的位置，即消失点位置。进而根据消失点所在水平线，确定感兴趣区域ROI(region ofinterest)。
具体步骤包括：
1)通过Hough变换，得到左车道线A图像坐标公式(1)：
y＝klx+bl； 公式(1)
以及右车道线B图像坐标公式(2)：
y＝krx+br； 公式(2)
根据以上公式(1)和(2)，得到左车道线与右车道线的交点O的坐标为(x，
Figure BDA0002945946360000071
)，即消失点位置。
其中，(x，y)为车道线上各个点的坐标；(kl,bl)为左车道线的直线坐标参数；(kr,br)为右车道线的直线坐标参数。
2)根据消失点所在的水平线以上的区域，确定为感兴趣区域，具体包括：
确定消失点O所在的水平线坐标为：
Figure BDA0002945946360000072
确定感兴趣区域ROI的范围为：
Figure BDA0002945946360000081
红绿灯识别模块40：用于将感兴趣区域输入目标检测神经网络，得到红绿灯识别结果。
具体的，目标检测神经网络为SqueezeDet全卷积神经网络。
SqueezeDet是一种应用于自动驾驶领域的实时目标检测的小型、低功耗的全卷积神经网络。确定图像感兴趣区域后，将图像传送到SqueezeDet目标检测网络，进行红绿灯的检测。
采用本申请实施例中的基于感兴趣区域的红绿灯识别方法，灰度化图像模块10获取红绿灯原始图像，进行灰度化处理，得到灰度化图像；消失点检测模块20根据灰度化图像，进行消失点检测，确定消失点位置；感兴趣区域模块30根据消失点所在的水平线以上的区域，确定为感兴趣区域；红绿灯识别模块40将感兴趣区域输入目标检测神经网络，得到红绿灯识别结果。
本申请首先基于边缘检测和霍夫变换确定图像消失点所在位置，消失点所在的水平线以上的区域为红绿灯识别的感兴趣区域，然后利用squeezedet检测网络识别交通灯，实现了低功耗检测。
本申请通过将消失点所在水平线以上的部分确定为红绿灯识别的感兴趣区域，在感兴趣区域基础上进行红绿灯识别检测，大大降低了红绿灯的误检率，避免了将前车的后车灯识别成红灯等误检、漏检的现象，避免不必要的刹车，进一步避免了安全事故的几率，同时，增加了辅助驾驶的安全性，提高用户体验。
实施例3
本实施例提供了一种基于感兴趣区域的红绿灯识别设备，对于本实施例的基于感兴趣区域的红绿灯识别设备中未披露的细节，请参照其它实施例中的基于感兴趣区域的红绿灯识别方法或***具体的实施内容。
图3中示出了根据本申请实施例的基于感兴趣区域的红绿灯识别设备400的结构示意图。
如图3所示，基于感兴趣区域的红绿灯识别设备400，包括：
存储器402：用于存储可执行指令；以及
处理器401:用于与存储器402连接以执行可执行指令从而完成运动矢量预测方法。
本领域技术人员可以理解，示意图3仅仅是红绿灯识别设备400的示例，并不构成对红绿灯识别设备400的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如红绿灯识别设备400还可以包括输入输出设备、网络接入设备、总线等。
所称处理器401(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器401也可以是任何常规的处理器等，处理器401是红绿灯识别设备400的控制中心，利用各种接口和线路连接整个红绿灯识别设备400的各个部分。
存储器402可用于存储计算机可读指令，处理器401通过运行或执行存储在存储器402内的计算机可读指令或模块，以及调用存储在存储器402内的数据，实现红绿灯识别设备400的各种功能。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据红绿灯识别设备400使用所创建的数据等。此外，存储器402可以包括硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)或其他非易失性/易失性存储器件。
红绿灯识别设备400集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。
实施例4
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现其他实施例中的基于感兴趣区域的红绿灯识别方法。
本申请实施例中的基于感兴趣区域的红绿灯识别设备及计算机存储介质，获取红绿灯原始图像，进行灰度化处理，得到灰度化图像；根据灰度化图像，进行消失点检测，确定消失点位置；根据消失点所在的水平线以上的区域，确定为感兴趣区域；将感兴趣区域输入目标检测神经网络，得到红绿灯识别结果。
本申请首先基于边缘检测和霍夫变换确定图像消失点所在位置，消失点所在的水平线以上的区域为红绿灯识别的感兴趣区域，然后利用squeezedet检测网络识别交通灯，实现了低功耗检测。
本申请通过将消失点所在水平线以上的部分确定为红绿灯识别的感兴趣区域，在感兴趣区域基础上进行红绿灯识别检测，大大降低了红绿灯的误检率，避免了将前车的后车灯识别成红灯等误检、漏检的现象，避免不必要的刹车，进一步避免了安全事故的几率，同时，增加了辅助驾驶的安全性，提高用户体验。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种基于感兴趣区域的红绿灯识别方法，具体包括以下步骤：
获取红绿灯原始图像，进行灰度化处理，得到灰度化图像；
根据所述灰度化图像，进行消失点检测，确定消失点位置；
根据所述消失点所在的水平线以上的区域，确定为感兴趣区域；
将所述感兴趣区域输入目标检测神经网络，得到红绿灯识别结果。
2.根据权利要求1所述的基于感兴趣区域的红绿灯识别方法，其特征在于，所述根据所述灰度化图像，进行消失点检测，确定消失点位置，具体包括：
根据灰度化图像，识别出多条道路线；
根据所述多条道路线，得到所述多条道路线的相交点位置，即消失点位置。
3.根据权利要求2所述的基于感兴趣区域的红绿灯识别方法，其特征在于，所述根据灰度化图像，识别出多条道路线，具体包括：通过Sobel边缘检测以及霍夫变换算法，拟合出所述灰度化图像中的多条车道线。
4.根据权利要求2所述的基于感兴趣区域的红绿灯识别方法，其特征在于，所述根据所述多条道路线，得到所述多条道路线的相交点位置，即消失点位置，包括根据左车道线以及右车道线，得到所述两条道路线的相交点位置，即消失点位置。
5.根据权利要求4所述的基于感兴趣区域的红绿灯识别方法，其特征在于，所述根据左车道线以及右车道线，得到所述两条道路线的相交点位置，具体步骤包括：
通过Hough变换，得到左车道线图像坐标公式：
y＝klx+bl；
以及右车道线图像坐标公式：
y＝krx+br；
根据以上公式，得到左车道线与右车道线的交点坐标为
Figure FDA0002945946350000011
即消失点位置；
其中，(x，y)为车道线上各个点的坐标；(kl,bl)为左车道线的直线坐标参数；(kr,br)为右车道线的直线坐标参数。
6.根据权利要求5所述的基于感兴趣区域的红绿灯识别方法，其特征在于，所述根据所述消失点所在的水平线以上的区域，确定为感兴趣区域，具体包括：
确定消失点所在的水平线坐标为：
Figure FDA0002945946350000021
确定感兴趣区域为：
Figure FDA0002945946350000022
7.根据权利要求1所述的基于感兴趣区域的红绿灯识别方法，其特征在于，所述目标检测神经网络为SqueezeDet全卷积神经网络。
8.一种基于感兴趣区域的红绿灯识别***，其特征在于，具体包括：
灰度化图像模块：用于获取红绿灯原始图像，进行灰度化处理，得到灰度化图像；
消失点检测模块：用于根据所述灰度化图像，进行消失点检测，确定消失点位置；
感兴趣区域模块：用于根据所述消失点所在的水平线以上的区域，确定为感兴趣区域；
红绿灯识别模块：用于将所述感兴趣区域输入目标检测神经网络，得到红绿灯识别结果。
9.一种基于感兴趣区域的红绿灯识别设备，其特征在于，包括：
存储器：用于存储可执行指令；以及
处理器:用于与所述存储器连接以执行所述可执行指令从而完成权利要求1-7任一项所述的基于感兴趣区域的红绿灯识别方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；计算机程序被处理器执行以实现如权利要求1-7任一项所述的基于感兴趣区域的红绿灯识别方法。
CN202110193164.0A 2021-02-20 2021-02-20 基于感兴趣区域的红绿灯识别方法、***及存储介质 Pending CN112989956A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110193164.0A CN112989956A (zh) 2021-02-20 2021-02-20 基于感兴趣区域的红绿灯识别方法、***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110193164.0A CN112989956A (zh) 2021-02-20 2021-02-20 基于感兴趣区域的红绿灯识别方法、***及存储介质

Publications (1)

Publication Number Publication Date
CN112989956A true CN112989956A (zh) 2021-06-18

Family

ID=76393761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110193164.0A Pending CN112989956A (zh) 2021-02-20 2021-02-20 基于感兴趣区域的红绿灯识别方法、***及存储介质

Country Status (1)

Country Link
CN (1) CN112989956A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361453A (zh) * 2021-06-25 2021-09-07 东风汽车集团股份有限公司 一种视觉模糊场景下红绿灯识别***及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310006A (zh) * 2013-06-28 2013-09-18 电子科技大学 一种车辆辅助驾驶***中的感兴趣区域提取方法
CN103617412A (zh) * 2013-10-31 2014-03-05 电子科技大学 实时车道线检测方法
CN111191482A (zh) * 2018-11-14 2020-05-22 杭州海康威视数字技术股份有限公司 一种刹车灯识别方法、装置及电子设备
CN111428663A (zh) * 2020-03-30 2020-07-17 北京百度网讯科技有限公司 红绿灯状态的识别方法、装置、电子设备和存储介质
CN111950491A (zh) * 2020-08-19 2020-11-17 成都飞英思特科技有限公司 一种人员密度的监控方法、装置及计算机可读存储介质
CN112150560A (zh) * 2020-09-27 2020-12-29 上海高德威智能交通***有限公司 确定消失点的方法、装置及计算机存储介质
CN112364869A (zh) * 2021-01-14 2021-02-12 北京经纬恒润科技股份有限公司 一种车道线识别方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310006A (zh) * 2013-06-28 2013-09-18 电子科技大学 一种车辆辅助驾驶***中的感兴趣区域提取方法
CN103617412A (zh) * 2013-10-31 2014-03-05 电子科技大学 实时车道线检测方法
CN111191482A (zh) * 2018-11-14 2020-05-22 杭州海康威视数字技术股份有限公司 一种刹车灯识别方法、装置及电子设备
CN111428663A (zh) * 2020-03-30 2020-07-17 北京百度网讯科技有限公司 红绿灯状态的识别方法、装置、电子设备和存储介质
CN111950491A (zh) * 2020-08-19 2020-11-17 成都飞英思特科技有限公司 一种人员密度的监控方法、装置及计算机可读存储介质
CN112150560A (zh) * 2020-09-27 2020-12-29 上海高德威智能交通***有限公司 确定消失点的方法、装置及计算机存储介质
CN112364869A (zh) * 2021-01-14 2021-02-12 北京经纬恒润科技股份有限公司 一种车道线识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BICHEN WU等: "SqueezeDet: Unified, Small, Low Power Fully Convolutional Neural Networks for Real-Time Object Detection for Autonomous Driving", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》 *
上海市交通电子行业协会编: "《上海交通电子产业创新研究》", 31 August 2016 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361453A (zh) * 2021-06-25 2021-09-07 东风汽车集团股份有限公司 一种视觉模糊场景下红绿灯识别***及方法

Similar Documents

Publication Publication Date Title
Andrade et al. A novel strategy for road lane detection and tracking based on a vehicle’s forward monocular camera
Suhr et al. Automatic parking space detection and tracking for underground and indoor environments
Rezaei et al. Robust vehicle detection and distance estimation under challenging lighting conditions
JP5690688B2 (ja) 外界認識方法，装置，および車両システム
Suhr et al. Sensor fusion-based vacant parking slot detection and tracking
CN113744560B (zh) 停车场自动泊车方法、装置、服务器和机器可读存储介质
US8184159B2 (en) Forward looking sensor system
US20150161796A1 (en) Method and device for recognizing pedestrian and vehicle supporting the same
US20130211682A1 (en) System and method for traffic signal recognition
CN110929655B (zh) 一种行驶过程中车道线识别方法、终端设备及存储介质
US8050460B2 (en) Method for recognition of an object
JP2024023319A (ja) 緊急車両の検出
US20230184560A1 (en) Visual interface display method and apparatus, electronic device, and storage medium
Em et al. Vision-based lane departure warning framework
CN112989956A (zh) 基于感兴趣区域的红绿灯识别方法、***及存储介质
CN114684062A (zh) 约束设备定位
Kim et al. An intelligent and integrated driver assistance system for increased safety and convenience based on all-around sensing
EP4113377A1 (en) Use of dbscan for lane detection
CN113920490A (zh) 车辆障碍检测方法、装置及设备
JP2015001966A (ja) 物体検出装置
CN113787997A (zh) 紧急制动控制方法、电子设备及存储介质
KR20180069282A (ko) 자율주행을 위한 차선검출 방법.
Yusuf et al. GPU Implementation for Automatic Lane Tracking in Self-Driving Cars
JP6861911B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2011216012A (ja) 画像認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination