CN113506244A - 基于深度学习指示灯检测及颜色识别泛化能力提升算法 - Google Patents

Abstract

本发明公开了基于深度学习指示灯检测及颜色识别泛化能力提升算法，该算法包括以下步骤：收集需要识别的指示灯照片，并通过预先配置的标注方法对照片中指示灯的位置进行标注，保存标注结果；搭建深度学习神经网络，对已标注的照片进行特征提取得到标注数据，且对损失函数进行构建，并通过标注数据及损失函数对搭建的网络进行训练及方向推导，保存训练的模型；利用训练好的模型对需要识别的照片进行识别和检测，并将检测得到的色域与预先设定的颜色区域进行比较筛选和处理，得到指示灯颜色识别结果。有益效果：本发明识别速度更快，识别更为准确，对照片拍摄设备、指示灯、拍摄条件要求低，降低了算法算力要求，节省算法部署调试的时间。

Description

基于深度学习指示灯检测及颜色识别泛化能力提升算法

技术领域

本发明涉及视觉技术和图像处理技术领域，具体来说，涉及基于深度学习指示灯检测及颜色识别泛化能力提升算法。

背景技术

传统的指示灯检测及颜色识别方法一般有以下几种方法：

1.目测法，这种识别方法只适用于人眼实时观察，在缺乏人力及无人情况下无法完成任务，且人力成本相对较高。

2.基于传统图像算法的指示灯检测及颜色识别的识别方法，这种识别方法识别速度较慢，且对图像的质量要求较高，算法鲁棒性较低，存在较多误检、漏检，对于指示灯曝光及指示灯中心泛白泛黄的情况不能准确识别颜色。

3.基于纯深度学习的指示灯检测及颜色识别的识别方法，这种方法对各个颜色的知识灯数据量要求较高，且数据标注成本大，指示灯颜色标注过程中人眼不好界定，导致训练出的深度学习模型效果不佳。

因此，现设计基于深度学习指示灯检测及颜色识别泛化能力提升算法，解决上述问题。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出基于深度学习指示灯检测及颜色识别泛化能力提升算法，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

基于深度学习指示灯检测及颜色识别泛化能力提升算法，该算法包括以下步骤：

S1、收集需要识别的指示灯照片，并通过预先配置的标注方法对照片中指示灯的位置进行标注，保存标注结果；

S2、搭建深度学习神经网络，对已标注的照片进行特征提取得到标注数据，且对损失函数进行构建，并通过标注数据及损失函数对搭建的网络进行训练及方向推导，保存训练的模型；

S3、利用训练好的模型对需要识别的照片进行识别和检测，并将检测得到的色域与预先设定的颜色区域进行比较筛选和处理，得到指示灯颜色识别结果。

进一步的，所述S1中收集需要识别的指示灯照片，并通过预先配置的标注方法对照片中指示灯的位置进行标注，保存标注结果包括以下步骤：

S11、收集需要识别的指示灯照片，并对照片中指示灯的位置进行标注，标注内容包括指示灯的位置x1、y1、x2、y2，分别对应指示灯左上角的横纵坐标及指示灯右下角的横纵坐标；

S12、将标注结果保存为xml格式的文件，且每个xml文件与照片一一对应。

进一步的，所述S2中搭建深度学习神经网络，对已标注的照片进行特征提取得到标注数据，且对损失函数进行构建，并通过标注数据及损失函数对搭建的网络进行训练及方向推导，保存训练的模型包括以下步骤：

S21、搭建深度学习神经网络，并对已标注的照片进行特征提取得到标注数据；

S22、基于指示灯分类损失及指示灯框回归损失构建损失函数；

S23、通过标注数据及损失函数对搭建的网络进行训练及方向推导，训练过程中，采用包括但不限于Mosaic、Random Scale数据增强方法提高模型的泛化能力。

进一步的，所述S21中搭建深度学习神经网络包括配置Backbone、Neck及Head。

进一步的，所述配置Backbone包括以下步骤：

采用CSPNet实现跨阶段部分连接，实现在不同图像细粒度上聚合并形成图像特征，且减少网络的深度及网络的通道数，并采用Swish激活函数训练神经网络；

其中，所述Swish激活函数的函数表达式为f(x)＝x*sigmoid(x)。

进一步的，所述配置Neck包括以下步骤：

采用BiFPN生成图像金字塔，同时混合并组合图像特征。

进一步的，所述BiFPN的结构来自主干网络的level3-7的特征{P3，P4，P5，P6，P7}，并重复应用自上而下和自下而上的双向特征融合，具体公式如下：

Pout7＝Conv(Pin7)

Pout6＝Conv(Pin6+Resize(Pout7))

...

Pout3＝Conv(Pin3+Resize(Pout4))，其中，Conv为卷积操作，Resize为特征图上采样或下采样操作，用于保证不同level的特征图具有相同的分辨率。

进一步的，所述配置Head包括以下步骤：

输出4个stage，下采样率分别为4、8、16、32，分别对应极小、小、中、大的指示灯；

输出通道中的数值分别对应指示灯的置信度及位置坐标值。

进一步的，所述S22中损失函数的具体公式如下：

L＝Lobj(pi,pi*)+λ1pi*Lbox(ti,ti*)，其中，Lobj为指示灯分类损失，采用二分类的softmax损失，pi表示预测anchor为指示灯的概率，pi*表示真值，正样本为1，负样本为0，Lbox为指示灯框回归损失，采用smooth L1回归函数，ti和ti*表示正样本对应的预测框位置和真实标注框的位置，λ1的值分别为0.25。

进一步的，所述S3中利用训练好的模型对需要识别的照片进行识别和检测，并将检测得到的色域与预先设定的颜色区域进行比较筛选和处理，得到指示灯颜色识别结果包括以下步骤：

S31、利用训练好的深度学习神经网络模型对需要识别的照片进行识别，并检测出指示灯的位置；

S32、将图片中检测到的指示灯区域从RGB色域转换至HSV色域，并将目标区域的HSV值与预先设定好的HSV颜色区间进行比较筛选，得到目标区域在各颜色区间下的二值图；

S33、将得到的二值图进行一次膨胀处理，提取二值图中满足条件区域的外轮廓，且统计外轮廓的面积，并取统计值最大颜色区间二值图对应的颜色作为指示灯颜色识别结果；

其中，预先设定好的HSV颜色区包含HSV三个通道的上限值及下限值。

本发明的有益效果为：

(1)本发明的技术方案采用速度更快的神经网络，可在边缘设备上基于CPU事实运行，对指示灯的识别效率大大增加。

(2)本发明的技术方案对指示灯的检测和颜色的识别更为准确，对斜着拍摄的照片，以及畸变较大的相机拍摄出的照片依然有较好的识别效果，可以对指示灯的位置进行矫正，对于一些畸变较大的相机，和一些拍摄角度不好的照片同样可以进行指示灯识别，并在准确率上大大提高，这样就使得不用每次拍摄指示灯的时候正对着拍摄，较少照片拍摄的次数，提高识别效率，即使是图片边缘的指示灯也能识别出来，对相机的畸变要求不高，降低购买相机的成本。

(3)本发明的技术方案对需要识别的指示灯类型没有要求，不用为了识别指示灯而特意更换指定的指示灯；且对需要识别的指示灯的图像拍摄条件要求较低，可以在不同的光线亮度及色彩的条件下进行识别。

(4)本发明的技术方案可以解决指示灯中心颜色过亮导致的颜色误差问题，提高指示灯的识别精度。

(5)本发明的技术方案在识别精度提升的同时，降低了算法算力要求，在算力不高的边缘设备上可以达到实时检测的效果，可以适当节省计算设备的成本；在图像质量较低的情况也可实现指示灯的准确识别，不需要在图像处理时循环往复的调节适应图片质量的参数，节省算法部署调试的时间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的基于深度学习指示灯检测及颜色识别泛化能力提升算法的流程图；

图2是CSPNet的基本结构图；

图3是BiFPN的结构图。

具体实施方式

为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

根据本发明的实施例，提供了基于深度学习指示灯检测及颜色识别泛化能力提升算法，原理采用深度学习神经网络在相机拍摄的照片中提取指示灯特征并确定指示灯的位置，将检测到的指示灯区域的RGB色域图片转为HSV色域，并根据预先设定好的颜色阈值统计各个颜色区间的占比确定指示灯的颜色。本发明可用于各种需要指示灯检测及识别的场所，可实时检测指示灯的状态，并在指示灯状态异常后出发告警信息。本发明的技术方案依据已标注的图片中采集标注部分的特征进行训练，并把训练结果保存成模型，模型的质量与图片的标注质量和标注图片的数量有关，标注的越准确，标注的指示灯类型越多，已经训练的图片越多，模型的质量就越高，识别效果就越好。

现结合附图和具体实施方式对本发明进一步说明，如图1-3所示，根据本发明实施例的基于深度学习指示灯检测及颜色识别泛化能力提升算法，该算法包括以下步骤：

S1、收集需要识别的指示灯照片，并通过预先配置的标注方法对照片中指示灯的位置进行标注，保存标注结果：

收集大量需要识别的指示灯的照片，对照片中的指示灯的位置进行标注，标注内容包括指示灯的位置x1、y1、x2、y2，分别对应指示灯左上角的横纵坐标及指示灯右下角的横纵坐标，最后将标注结果保存为xml文件，每个xml文件与图片一一对应。照片数量越多，标注的位置越准确越好，指示灯种类越多，识别的鲁棒性越强。

S2、搭建深度学习神经网络，对已标注的照片进行特征提取得到标注数据，且对损失函数进行构建，并通过标注数据及损失函数对搭建的网络进行训练及方向推导，保存训练的模型(搭建深度学习神经网络，对已标注的照片进行特征提取，保存训练的模型)：

分网络搭建、损失函数构建及反向推导训练三个大步骤；

其中，网络搭建分Backbone、Neck及Head3个部分：

网络的Backbone部分采用CSPNet(Cross Stage Partial Network)实现跨阶段部分连接，CSPNet可以提升CNN的学***滑且非单调，可以训练出比Relu更深的神经网络。

Neck部分采用BiFPN(金字塔网络)用于生成图像金字塔，混合并组合图像特征，其中BiFPN的结构如图3所示，BiFPN接受来自主干网络的level3-7的特征{P3，P4，P5，P6，P7}，并重复应用自上而下和自下而上的双向特征融合，具体公式如下：

Pout7＝Conv(Pin7)

Pout6＝Conv(Pin6+Resize(Pout7))

...

Pout3＝Conv(Pin3+Resize(Pout4))

其中Conv为卷积操作，Resize为特征图上采样或下采样操作，用于保证不同level的特征图具有相同的分辨率。

Head部分输出4个stage，下采样率分别为4、8、16、32，分别对应极小、小、中、大的指示灯，在stride32上一个feature map对应原图的32*32的感受野，可以用来检测较大的指示灯区域，同理stride16下16*16的感受野用来检测中等大小的指示灯，stride8下8*8的感受野用来检测较小的指示灯，stride4下4*4的感受野用来检测极小的指示灯。输出通道中的数值分别对应指示灯的置信度、位置坐标值。

损失函数构建：

损失函数部分基于objectness score(指示灯分类损失)，bounding boxregression score(指示灯框回归损失)。具体函数如下：

L＝Lobj(pi,pi*)+λ1pi*Lbox(ti,ti*).

其中Lobj为指示灯分类损失，采用二分类的softmax损失，pi表示预测anchor为指示灯的概率，pi*表示真值，正样本为1，负样本为0。Lbox为指示灯框回归损失，采用smoothL1回归函数，ti和ti*表示正样本对应的预测框位置和真实标注框的位置。λ1的值分别为0.25。

使用标注好的数据对搭建的网络进行训练，采用上述损失函数对搭建好的网络参数进行反向推导：

训练过程中，采用Mosaic、Random Scale等多种数据增强方法以此提高模型的泛化能力。

S3、利用训练好的模型对需要识别的照片进行识别和检测，并将检测得到的色域与预先设定的颜色区域进行比较筛选和处理，得到指示灯颜色识别结果：

利用训练好的深度学习神经网络模型对需要识别的图片进行识别，检测出指示灯的位置，将图片中检测到的指示灯区域从RGB色域转换至HSV色域，将目标区域的HSV值与预先设定好的HSV颜色区间(包括红、橙、黄、绿、蓝、紫、白色)进行比较筛选，其中预设的颜色区间包含HSV三个通道的上限值及下限值，筛选后得到目标区域在各颜色区间下的二值图，将得到的二值图进行一次膨胀处理，随后提取二值图中满足条件区域外轮廓并统计外轮廓的面积，取统计值最大颜色区间二值图对应的颜色作为指示灯颜色识别结果。

综上所述，本发明的技术方案采用速度更快的神经网络，可在边缘设备上基于CPU事实运行，对指示灯的识别效率大大增加。本发明的技术方案对指示灯的检测和颜色的识别更为准确，对斜着拍摄的照片，以及畸变较大的相机拍摄出的照片依然有较好的识别效果，可以对指示灯的位置进行矫正，对于一些畸变较大的相机，和一些拍摄角度不好的照片同样可以进行指示灯识别，并在准确率上大大提高，这样就使得不用每次拍摄指示灯的时候正对着拍摄，较少照片拍摄的次数，提高识别效率，即使是图片边缘的指示灯也能识别出来，对相机的畸变要求不高，降低购买相机的成本。本发明的技术方案对需要识别的指示灯类型没有要求，不用为了识别指示灯而特意更换指定的指示灯；且对需要识别的指示灯的图像拍摄条件要求较低，可以在不同的光线亮度及色彩的条件下进行识别。本发明的技术方案可以解决指示灯中心颜色过亮导致的颜色误差问题，提高指示灯的识别精度。本发明的技术方案在识别精度提升的同时，降低了算法算力要求，在算力不高的边缘设备上可以达到实时检测的效果，可以适当节省计算设备的成本；在图像质量较低的情况也可实现指示灯的准确识别，不需要在图像处理时循环往复的调节适应图片质量的参数，节省算法部署调试的时间。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于深度学习指示灯检测及颜色识别泛化能力提升算法，其特征在于，该算法包括以下步骤：

S1、收集需要识别的指示灯照片，并通过预先配置的标注方法对照片中指示灯的位置进行标注，保存标注结果；

S2、搭建深度学习神经网络，对已标注的照片进行特征提取得到标注数据，且对损失函数进行构建，并通过标注数据及损失函数对搭建的网络进行训练及方向推导，保存训练的模型；

S3、利用训练好的模型对需要识别的照片进行识别和检测，并将检测得到的色域与预先设定的颜色区域进行比较筛选和处理，得到指示灯颜色识别结果。

2.根据权利要求1所述的基于深度学习指示灯检测及颜色识别泛化能力提升算法，其特征在于，所述S1中收集需要识别的指示灯照片，并通过预先配置的标注方法对照片中指示灯的位置进行标注，保存标注结果包括以下步骤：

S11、收集需要识别的指示灯照片，并对照片中指示灯的位置进行标注，标注内容包括指示灯的位置x1、y1、x2、y2，分别对应指示灯左上角的横纵坐标及指示灯右下角的横纵坐标；

S12、将标注结果保存为xml格式的文件，且每个xml文件与照片一一对应。

3.根据权利要求1所述的基于深度学习指示灯检测及颜色识别泛化能力提升算法，其特征在于，所述S2中搭建深度学习神经网络，对已标注的照片进行特征提取得到标注数据，且对损失函数进行构建，并通过标注数据及损失函数对搭建的网络进行训练及方向推导，保存训练的模型包括以下步骤：

S21、搭建深度学习神经网络，并对已标注的照片进行特征提取得到标注数据；

S22、基于指示灯分类损失及指示灯框回归损失构建损失函数；

S23、通过标注数据及损失函数对搭建的网络进行训练及方向推导，训练过程中，采用包括但不限于Mosaic、Random Scale数据增强方法提高模型的泛化能力。

4.根据权利要求3所述的基于深度学习指示灯检测及颜色识别泛化能力提升算法，其特征在于，所述S21中搭建深度学习神经网络包括配置Backbone、Neck及Head。

5.根据权利要求4所述的基于深度学习指示灯检测及颜色识别泛化能力提升算法，其特征在于，所述配置Backbone包括以下步骤：

采用CSPNet实现跨阶段部分连接，实现在不同图像细粒度上聚合并形成图像特征，且减少网络的深度及网络的通道数，并采用Swish激活函数训练神经网络；

其中，所述Swish激活函数的函数表达式为f(x)＝x*sigmoid(x)。

6.根据权利要求4所述的基于深度学习指示灯检测及颜色识别泛化能力提升算法，其特征在于，所述配置Neck包括以下步骤：

采用BiFPN生成图像金字塔，同时混合并组合图像特征。

7.根据权利要求6所述的基于深度学习指示灯检测及颜色识别泛化能力提升算法，其特征在于，所述BiFPN的结构来自主干网络的level3-7的特征{P3，P4，P5，P6，P7}，并重复应用自上而下和自下而上的双向特征融合，具体公式如下：

Pout7＝Conv(Pin7)

Pout6＝Conv(Pin6+Resize(Pout7))

...

Pout3＝Conv(Pin3+Resize(Pout4))，其中，Conv为卷积操作，Resize为特征图上采样或下采样操作，用于保证不同level的特征图具有相同的分辨率。

8.根据权利要求4所述的基于深度学习指示灯检测及颜色识别泛化能力提升算法，其特征在于，所述配置Head包括以下步骤：

输出4个stage，下采样率分别为4、8、16、32，分别对应极小、小、中、大的指示灯；

输出通道中的数值分别对应指示灯的置信度及位置坐标值。

9.根据权利要求3所述的基于深度学习指示灯检测及颜色识别泛化能力提升算法，其特征在于，所述S22中损失函数的具体公式如下：

L＝Lobj(pi,pi*)+λ1pi*Lbox(ti,ti*)，其中，Lobj为指示灯分类损失，采用二分类的softmax损失，pi表示预测anchor为指示灯的概率，pi*表示真值，正样本为1，负样本为0，Lbox为指示灯框回归损失，采用smooth L1回归函数，ti和ti*表示正样本对应的预测框位置和真实标注框的位置，λ1的值分别为0.25。

10.根据权利要求1所述的基于深度学习指示灯检测及颜色识别泛化能力提升算法，其特征在于，所述S3中利用训练好的模型对需要识别的照片进行识别和检测，并将检测得到的色域与预先设定的颜色区域进行比较筛选和处理，得到指示灯颜色识别结果包括以下步骤：

S31、利用训练好的深度学习神经网络模型对需要识别的照片进行识别，并检测出指示灯的位置；

S32、将图片中检测到的指示灯区域从RGB色域转换至HSV色域，并将目标区域的HSV值与预先设定好的HSV颜色区间进行比较筛选，得到目标区域在各颜色区间下的二值图；

S33、将得到的二值图进行一次膨胀处理，提取二值图中满足条件区域的外轮廓，且统计外轮廓的面积，并取统计值最大颜色区间二值图对应的颜色作为指示灯颜色识别结果；

其中，预先设定好的HSV颜色区包含HSV三个通道的上限值及下限值。

Images