CN108550274A - 一种基于Faster RCNN的红绿灯无人驾驶辅助装置及方法 - Google Patents

Abstract

一种基于Faster RCNN的红绿灯无人驾驶辅助装置及方法主要包括主控树莓派3B+、广角摄像头、蜂鸣器提示模块和液晶屏显示屏模块。树莓派3B+搭载深度学习框架TensorFlow，运行RCNN区域卷积神经网络模型。广角摄像头实时采集当前的道路图像，使用深度学习模型定位红绿灯具***置，得到其外接矩。OpenCV根据外接矩裁剪出红绿灯的ROI感兴趣区域，较少计算量，经过传统的滤波等预处理手段后，将图像从BGR颜色空间转换到Lab颜色空间，单独提取出a通道并根据连通域面积的占比识别红绿灯。最终结果会通过蜂鸣器模块和显示屏模块进行提示。本发明有利于减少交通事故，提高驾驶的安全系数。

Description

一种基于Faster RCNN的红绿灯无人驾驶辅助装置及方法

技术领域

本发明专利涉及无人驾驶、辅助驾驶领域，尤其涉及一种基于RCNN的红绿灯识别方案设计。

背景技术

近些年，无人驾驶方向的技术创新不断涌现，众多智能化设备和***已经在实际道路上得到广泛实践，并可以完成一定程度的自动或辅助驾驶。红绿灯的有效识别便是其中一项非常重要的研究课题，如果能够将当前的红绿灯信息及时准确地传达给驾驶员或者自动驾驶***，将非常有利于减少交通事故，提高驾驶的安全系数。

现实生活中的红绿灯交通标识复杂多样，除去常见的机动车信号灯的圆形之外，还有人行信号灯、方向指示信号灯等。另外，采用摄像头采集图像时，白天、夜晚、阴雨天等不同天气情况下拍摄的样张色彩表现多样。传统的BGR或HSV图像处理方法很难做出泛化能力很强的***，因此使用深度学习结合传统图像处理手段势在必行。发明(申请公布号CN107169421A)发明设计了利用RCNN识别汽车驾驶场景的目标检测算法，发明(申请公布号CN107665336A)也发明了使用RCNN来进行冰箱内物体的检测方法。

发明内容

鉴于上述现有的技术和背景，本发明的目的在于提供一套基于RCNN区域卷积神经网络的红绿灯自动识别提示装置和方法，以提高无人驾驶或辅助驾驶的安全性和可靠性。

实现本发明的技术解决方案为：一种基于Faster RCNN的红绿灯无人驾驶辅助装置及方法。该***包括塑料的装置外壳、可旋转的摄像头支架、广角摄像头、显示屏和蜂鸣器提醒模块、树莓派3B+主控。其中，所述的摄像头和支架部分，可以进行360旋转和一定程度的弯曲，便于更好地在车内安装本装置。装置外壳的左侧留有USB接口，内置电池的Micro-USB充电接口和开机按钮。

本发明的树莓派主控主要完成如下步骤：

1.***启动，加载神经网络模型并确保蜂鸣器、显示屏、广角摄像头等正常工作。如果出现异常情况，则进行语音提示，进行报警；

2.开启广角摄像头，并实时采集图像；

3.对采集后的图像进行图像预处理、图像中红绿灯位置定位、红绿灯最终结果识别。识别的结果通过显示屏、树莓派扬声器和蜂鸣器模块进行提示。

一种基于Faster RCNN的红绿灯无人驾驶辅助装置及方法，具有如下的有益效果：

第一、可自由旋转和弯曲的摄像头支架能够大大扩充装置的安装场景，避免装置因不利的安装而损坏。

第二、基于轻量级的深度学习框架和模型编写的程序，能够在保证识别速度的前提下，大大提高识别稳定性，即使是在阴雨天和夜晚。

第三、广角摄像头的拍摄角度，有利于识别左转或右转的红绿灯。

附图说明

图1是本专利的装置结构示意图

图2是本专利的***设计示意图

具体实施方式

为了使本技术领域的人员更好地理解本发明的技术方案，下面结合实例及附图对本发明产品作进一步详细地说明。

如图1的结构示意图所示，本发明一种基于Faster RCNN的红绿灯无人驾驶辅助装置及方法，包括所述的广角摄像头模块(1)安装在装置的顶部，摄像头旋转支架(2)连接摄像头与主控，安装在装置中间，(3)为装置主体塑料外壳，树莓派主控、蜂鸣器和内置电池(4)及显示屏(5)位于装置内部，预留的接口(6)位于机身左侧。

所述的树莓派主控通过装置左侧的开机按钮启动，引出一个USB接口，便于设备维护和数据的导出、调试。内置的树莓派电池需要单独提供Micro-USB充电接口。

所述的广角摄像头采集的图像原始分辨率为640×480，***首先用OpenCV(Python版)将原始图像的分辨率缩小一半至320×240，然后用3×3高斯核进行滤波，用于平滑图像，这些步骤统称为图像预处理，主要用于消除噪点的干扰，减少后续的计算量。

进一步的，预处理后的图像进入红绿灯定位程序，使用预先加载的‘faster_rcnn_inception_mscoco’网络模型将图像进行区域卷积神经网络处理，生成红绿灯的可能候选区域(外接矩Bounding Box)。为了去除干扰，将面积小于10×10和位置位于图像四个角落的候选区域排除掉。

接下来，将筛选后的候选区域单***剪出来，对每一块区域都进行OpenCV图像处理：从BGR转换到Lab颜色空间，单独提取出a通道，在a通道上使用Otsu算法自动阈值分割。通过计算Biob在整幅候选区域中的面积占比来区分红灯和绿灯。红灯会是很亮的区域，阈值分割后面积占比很小，而绿灯则是很暗的区域，面积占比很大。

其中主要涉及的Faster RCNN和图像处理算法包括：

1)深度网络搭建：原始由TensorFlow框架提供的RCNN模型使用的是ImageNet数据集，网络结构为5层的ZF网络和16层的VGG-16网络。但本发明使用的是MSCOCO数据集，为了便于超参数调优，搭建Inception网络结构，它可以将1×1，3×3，5×5等卷积核的卷积层、池化层进行叠加。

2)图像缩放和滤波：滤波即平滑图像，通过3×3的高斯卷积核实现。有效地去除目标和背景中的噪声，同时保护图像目标的形状、大小及特定的几何和拓扑结构特征。而且，缩小图片的分辨率可以大大减少后续的计算量。本发明所用的图像处理算法均通过OpenCV实现。

3)Lab颜色模型：OpenCV默认读入的图片是BGR颜色通道顺序。而Lab颜色模型是基于人对颜色的感觉，尤其是其中的a通道，它的取值范围是-128～127，代表了颜色从绿色到洋红色的变化，因此，很适合用来进行红绿灯的识别。

应当理解的是，以上所述仅为本发明的示例性描述，并非对本发明任何形式上的限制。在不脱离本发明设计构思的前提下，本领域普通技术人员对本发明的技术方案做出的各种变型和改进，均应属于本发明所附权利要求的保护。

Claims (6)

1.一种基于Faster RCNN的红绿灯无人驾驶辅助装置及方法，包括塑料装置外壳、广角摄像头、显示屏(蜂鸣器)提醒模块、运行图像处理和红绿灯识别主程序的树莓派3B+。其特征在于：基于可旋转的机械结构设计的广角摄像头，实时采集完图像后，经过内置深度学习***的树莓派主控进行处理，得到的红绿灯结果通过显示屏和语音进行提示。

2.根据权利要求1所述的装置设计，其特征在于：所述的装置摄像头支架可以进行360°旋转和弯曲，便于不同位置的安装。装置外壳的左侧留有内置电池充电口、USB接口和开关机的开孔，外壳的正面留出液晶显示屏的开孔。为了防止显示屏损坏，显示屏正面附有一层透明玻璃。

3.根据权利要求1所述的广角摄像头，其特征在于：摄像头拍摄的水平可视角度在120°以上，可以观测到车前更广阔的场景。摄像头分辨率在640×480和1280×960之间，帧率不低于25fps，采用标准USB接口连接主控，UVC协议，免驱动安装。

4.根据权利要求1所述的显示屏和蜂鸣器提示模块，其特征在于：所述OLED显示屏尺寸为1.3寸，可以使用I2C或SPI接口通信，分辨率为128×64，工作电压为3.3V。所述蜂鸣器内部自带震荡源。

5.根据权利要求1所述的主控版，其特征在于：所述的主控板采用树莓派Model 3B+，搭载官方最新的Raspbian操作***。装置内部放置一块3.7V 3800mAh的mini电池，用于给树莓派供电，最大输出电流1.4A，持续使用可以保证8小时左右的续航。

6.一种基于RCNN的红绿灯自动识别方法，其包括以下步骤：

a.开启装置时，自动启动树莓派上运行的基于TensorFlow框架的Python识别程序，程序会加载预先训练好的Faster RCNN神经网络模型，等待模型加载完毕后，会自动打开摄像头。

b.当摄像头开始采集图像时，***开始稳定运行。摄像头采集的图像需要进行预处理操作来加快处理速度和减少耗时，预处理操作包括将图片统一缩放到320×240的分辨率，并用3×3的高斯核进行滤波平滑处理，预处理后的图片送入深度神经网路。

c.当使用RCNN深度神经网络处理图像时，RCNN会对图像中的红绿灯位置进行定位，并返回红绿灯区域外接矩BB(Bounding Box)的四个坐标点。为了防止误判，通过外接矩的面积、在图像中的位置进行二次筛选，排除掉一定的负样本。通过这些坐标点，从原图中裁剪出可能的红绿灯区域，进行最后的确定与识别。

d.当使用Lab颜色空间进行红绿灯识别时，将剪切后的图像从BGR颜色空间转到Lab颜色空间后，单独提取出a通道，红灯的a通道将会是一块很亮的区域，而绿灯的a通道则是很暗的区域，如果没有很亮或很暗的区域，则说明不是红绿灯区域。这样就可以识别最终的红绿灯结果。