CN110163166A - 一种公路隧道led照明灯具的鲁棒检测方法 - Google Patents

Abstract

本发明公开了一种公路隧道LED照明灯具的鲁棒检测方法。以实际工作真实视频序列作为输入，围绕隧道洞内道路环境的内装设计几何结构展开分析。首先完成基于LSD算子的线段提取以及车前消隐点的鲁棒检测。其次以车前消隐点为原点构建新坐标系，准确地分割出隧道顶部深色区域。以此为基础，采用一种自适应直方图分析方法合理选择最优分割阈值，实现LED灯具区域的二值化鲁棒分割。最后，基于隧道LED灯具的共线假设，采用随机采样一致性算法鲁棒地拟合隧道洞内左右两侧LED灯具排列而成的两条直线，这不但在屏蔽高亮干扰方面起到尤为突出的作用，而且充分获取了LED灯具区域的排列顺序，中心点坐标以及面积大小。本发明可以对公路隧道洞内复杂条件下的缺失LED照明灯具进行鲁棒地检测，对隧道照明高效交工验收以及日常养护具有重要意义。

Description

一种公路隧道LED照明灯具的鲁棒检测方法

技术领域

本发明属于隧道工程安全防护技术领域，利用计算机视频智能处理技术自动分析公路隧道LED照明灯具的车载视频数据，针对隧道内部复杂场景实现LED灯具的鲁棒检测，切实为隧道照明***高效验收以及日常养护提供新的基础技术手段。

背景技术

公路隧道照明***是保障隧道内行车安全性和舒适性的重要基础设施。与金属卤化物灯、高压钠灯等传统光源类型相比，发光二极管(Light-emitting Diode，LED)灯具具有连续可调、色温可选、显色性更佳，以及节能、环保、寿命长、体积小、维护成本低等特点，能够充分满足隧道洞内创造良好光环境以及有效营运管理的要求。

在隧道LED照明***交工验收及运营养护中，LED照明灯具的缺失无疑对于构造隧道洞内良好光环境存在重要影响。但是，由于隧道照明验收及养护技术落后，不可避免存在人力投入成本过高等问题。当前交工验收只是针对隧道内选定的少数路面区域进行简单一次性照度测量。在对公路隧道LED灯具进行日常养护过程中，更多是采用人工巡检与登记的方式进行。只能由检测员按照步行速度进行，检测员的工作强度巨大。通过车载视频***快速采集大范围公路区域隧道LED照明灯具实际工作的真实影像，并利用计算机视频智能处理技术自动进行分析，能够有效提高隧道LED照明灯具交工验收及运营养护的效率。

获取LED灯具区域的准确位置以及面积大小是完成隧道照明灯具缺失分析与检测的根本，这需要使用视频图像智能处理技术，实现LED照明灯具区域的自动分割。根据隧道内装设计与施工工艺要求，隧道内部全断面喷涂深色防火涂料。同时，为确保墙面反射率，隧道侧墙3米高度范围内涂刷乳白色墙面漆。占有足够大面积的隧道顶部区域全部呈现深色(但非全黑色)。LED照明灯具按照既定规则排列在上述隧道顶部深色区域内，各LED灯具正常发光而形成高亮区域。作为前景的LED灯具高亮区域与隧道顶部深色背景区域之间存在较大的灰度差异性。但是，公路隧道的内部环境比较复杂，包括动态可变标志，电子指示牌，用于数码摄像机抓拍补光的LED频闪灯以及周围行驶的其他车辆尾灯等呈现高亮的监控与安全设施。因此仅仅使用简单的图像阈值分割方法，很难实现LED灯具区域的准确检测以及定位。

发明内容

本发明的目的在于克服公路隧道洞内复杂场景的多种高亮干扰，提供一种适用于公路隧道LED照明灯具的车载视频数据智能分析技术，围绕隧道洞内道路环境的几何结构，快速准确检测LED照明灯具区域的鲁棒方法，切实为隧道照明***高效验收以及日常养护提供了新的基础技术手段。

为实现上述目的，本发明具体采用了以下技术方案：以来自车载视频***快速采集的隧道LED照明灯具实际工作真实视频序列作为输入，围绕隧道洞内道路环境的内装设计几何结构展开分析。首先完成基于LSD(Line Segment Detector)算子的线段提取以及车前消隐点的鲁棒检测。在使用LSD算子得到反映隧道内部各组成结构几何信息的线段特征之后，经过简单筛选提取出汇聚于主体车辆前方消隐点的有效平行线集合。以此为基础，采用M估计采样和一致性算法(M-estimator SAmple and Consensus，MSAC)实现主体车辆前方消隐点的鲁棒检测。其次以车前消隐点为原点构建新坐标系，检测到隧道顶部深色区域与白色墙面的左右两条关键分界线，准确地分割出隧道顶部深色区域。本发明采用一种自适应直方图分析方法合理选择最优分割阈值，实现LED灯具区域的二值化鲁棒分割。最后，以车前消隐点为基础分析隧道LED灯具的共线假设，采用随机采样一致性算法(RANdomSAmple Consensus，RANSAC)鲁棒地拟合隧道洞内左右两侧LED灯具排列而成的两条直线，这不但在屏蔽高亮干扰方面起到尤为突出的作用，而且充分获取了LED灯具区域的排列顺序，中心点坐标以及面积大小。

一种公路隧道LED照明灯具的鲁棒检测方法，其特征在于包括如下步骤：

步骤1：车前消隐点的鲁棒检测。

步骤1.1：基于LSD算子的线段检测。

作为一种有效的图像低级特征，线段能够提供有关图像几何内容的重要信息。公路隧道作为人造物的，内部环境主体上呈现出规则的几何结构，主要包括前方道路路面、道路两侧的白色侧墙内壁以及顶部深色区域等组成部分。在该场景中存在着大量线段特征，主要体现在各组成部分之间的分界线上，从而提供了隧道内部场景的几何结构信息(各组成部分所对应的平面结构)。

采用LSD算法，从隧道LED照明原始图像中提取表征公路隧道内部环境主体几何结构信息的线段集合H，其中，s为H中的线段，s由两端点a₁和a₂来定义

s＝{a₁,a₂}＝{(x₁,y₁),(x₂,y₂)}

其中，a₁＝(x₁,y₁)和a₂＝(x₂,y₂)分别表示s的起点和终点(以像素坐标表示)。

步骤1.2：有效平行线段集合的筛选。

隧道环境中存在多组平行线。由主体车辆前方的基本道路、白色侧墙内壁以及隧道顶部深色区域等组成结构之间的分割边界线，与道路路面上的车道线一起形成一组有效平行线，在图像平面上相交形成了车前消隐点v＝(x_v,y_v)。为了避免干扰线段所造成的负面影响，本发明需要对LSD检测线段进行简单筛选，去除前方道路空间以及其它车辆尾部的横向平行线，从而提取出对应有效平行线的LSD线段集合M(有效平行线段集合)。设α为线段s的倾角，β为线段s的长度，分别计算如下：

属于M的有效平行线段需要同时满足如下两个条件。首先，s需要具备较大的倾角

α_min＜α＜α_max

其中，α_min和α_max限定了有效平行线段的倾角有合适的取值范围。其次，s需要足够的长度

β＞β_min

步骤1.3：车前消隐点的鲁棒估计。

令a₁＝(x₁,y₁,1)^T，a₂＝(x₂,y₂,1)^T分别为点a₁和a₂的齐次坐标，由线段s定义的直线为s＝a₁×a₂＝(s₁,s₂,s₃)^T，设车前消隐点v的齐次坐标为v＝(x_v,y_v,1)^T，直线z＝(z₁,z₂,z₃)^T连接了消隐点v和线段s上的参考点r，r一般取为线段s的中点，即r＝(a₁+a₂)/2，车前消隐点v到线段s的距离d(s,v)可以定义为直线s与直线z之间夹角θ正弦值的绝对值：

构建优化目标函数采用MSAC方法迭代求解，当满足如下条件时，鲁棒地估计得到车前消隐点

步骤2：隧道顶部深色区域分割及LED灯具候选区域检测。

步骤2.1：基于车前消隐点的隧道顶部深色区域分割。

实现隧道顶部深色区域准确分割的关键是鲁棒地提取到该深色区域与白色侧壁区域的左右两条关键分界线b_r和b_l。基于车前消隐点v的检测结果，b_r和b_l之间的结构关系被突显出来：b_r和b_l分别位于车前消隐点v的左右两侧，并相交于该车前消隐点v。

针对b_r和b_l的检测过程分为以下两步骤。首先，以车前消隐点v为原点，在图像空间中建立坐标系XOY。属于集合M的有效平行线段可以按照下式转换到该坐标系XOY：

{a₁,a₂}和分别是有效平行线段s坐标变换前后的两个端点。在新坐标系XOY中，各条有效平行线段s都只会落入一个单独的象限：b_r只会落入第四象限，而b_l只会落入第三象限。其次，在有效平行线段集合M中，b_r和b_l需要同时满足如下的一系列条件：

1)b_l和b_r的两端点的纵坐标都小于0，b_l的两端点的横坐标都小于0，而b_r刚好相反；

2)b_l倾角属于范围{0,90}，而b_r的倾角属于范围{90,180}；

3)b_l或b_r都应该是各自象限中具有最大长度的LSD检测线段。

一旦提取到两条关键分界线b_r和b_l，可分别将其一端(靠近车前消隐点v)直接延伸到车前消隐点v，而将其另一端(远离车前消隐点v)向外延展到与图像空间边沿相交，并分别设交点为v₅,v₂。定义图像空间左上边沿为v₄，右上边沿为v₃，并将车前消隐点v重新表示为v₁。由{v₁,v₂,v₃,v₄,v₅}五点首尾依次相连组成多边形R，这就是隧道顶部深色区域的检测结果。

步骤2.2：LED灯具候选区域检测。

因为作为前景的LED灯具高亮区域与隧道顶部深色背景区域的像素规模分布严重不均匀，本发明设计了一种根据图像灰度直方图进行自适应阈值分析的方法。该方法认为灰度直方图h₀(t)的各峰值对应于图像的不同均匀区域，并且在相邻两峰之间存在山谷谷底。该谷底灰度值就是区分不同区域的最优阈值。针对原始灰度直方图h₀(t)存在波动的问题，为了找到合适的峰值和谷底，该算法首先使用高斯核函数g(u)对h₀(t)进行平滑处理

其中，[·]表示整数截断操作。W≥3是高斯核函数g(u)的窗口大小，决定了平滑的程度。高斯核函数的窗口越大，所得平滑曲线h₁(t)越平坦。然后，从最高灰度值255(肯定为峰值)开始向灰度值更小的方向遍历灰度值，直到h₁(t)再次增加

h₁(T₁)＜h₁(T₁-1)and h₁(T₁)＜h₁(T₁+1)

由此得到的谷底灰度值T₁就是有效检测LED灯具的灰度阈值。

将隧道顶部深色区域R各像素灰度值与T₁相比较，能够将R分为两部分：高灰度值区域Rh和低灰度值区域R^l，分别定义为：

R^h＝{(x,y)∈M|I(x,y)≥T₁}

R^l＝{(x,y)∈M|other}

其中，R^h就反映了R内LED照明灯具检测结果。针对R^h经过连通分量分析，LED灯具候选区域就可描述为：

Ψ⁽¹⁾＝{R₁,R₂,…,R_L}

其中R_j是高灰度值区域R^h的一个连通集，j＝1,2,…,L。

步骤2.3：LED灯具候选区域过滤

对于任意候选区域R_j，进行基于尺寸大小和宽高比两项条件的区域过滤，以便有效屏蔽复杂隧道场景的很多高亮干扰；

所述的区域过滤方法具体如下：

首先，剔除小于给定面积阈值σ_min的LED灯具区域，并且使用最大可能的面积阈值σ_max进行限制，即LED灯具候选区域的尺寸大小可限制为

σ_min＜σ_j＜σ_max

其中，σ_j是LED灯具区域R_j的面积，具体表示为R_j所含像素的数目；

其次，按照最小外接旋转矩形进行计算给定LED灯具候选区域R_j的宽度W_j和高度H_j，从而将宽高比W_j/H_j限制为

ω_min＜W_j/H_j＜ω_max

其中，ω_min和ω_max为两个提前设定的参数，并且ω_minω_max＝1；

步骤3：隧道LED灯具共线假设分析以及LED灯具排列直线拟合。

是否共线是LED灯具需要满足的一项重要条件。根据隧道照明灯具施工规范，LED灯具的安装位置需要符合一定的要求，一般需要根据道路线型(直线线型或曲线线型)进行相应设置。LED灯具会呈现直线或曲线的形状。只考虑距离主体车辆最近的那些LED灯具，它们不但在图像中具有最高的分辨率，而且满足直线线型的假设。即使对于曲线线型的道路而言也是如此。

隧道LED照明灯具一般分左右两侧整齐排列，形成左右两条直线k_l和k_r，分别紧邻两条关键分界线b_l和b_r。针对前文的LED照明灯具自适应检测及区域过滤结果，本发明采用随机采样一致性算法(RANSAC)鲁棒地拟合这两条直线k_l和k_r。定义κ_l和κ_r分别是直线k_l和k_r的斜率。在RANSAC算法随机选择前景点估计初始拟合直线时，本发明限制直线斜率κ_l和κ_r必须满足一定的取值范围，以此屏蔽掉很多高亮干扰：

κ_1min＜κ_l＜κ_1max

κ_2min＜κ_r＜κ_2max

而且RANSAC算法计算了支撑集数目大小，这有利于所拟合的直线k_l和k_r穿过LED灯具区域的中心点。

根据计算机图形学的基本图形扫描转换算法，沿着左右两条拟合直线k_l和k_r依次确定图像空间各像素的集合，并记录所经过的LED灯具检测区域，由此得到各LED灯具在k_l和k_r上的安装排列顺序。在沿着k_l和k_r进行像素扫描转换时，需要按照事先固定的顺序进行。对于k_l而言，需要选用由左上到右下的顺序。对于k_r而言，需要选用由右上到左下的顺序。从而保证所有LED灯具检测结果在各自拟合直线(k_l或k_r)上都按照由近及远的顺序(相对于主体车辆)依序排列，其具体可以表示为

Ψ⁽²⁾＝{Q₁,Q₂,…,Q_N}

其中，Q_i＝{i,c_i,σ_i}是一个三元组，i＝1,2,…,N。三元组Q_i各元素依次为LED灯具区域的排列顺序i，中心点坐标c_i以及面积大小σ_i。

与现有技术相比，本发明具有以下明显优势：

(1)本发明提出了一种采用车载视频数据快速准确检测LED照明灯具区域的鲁棒方法，对隧道照明高效交工验收以及日常养护具有重要意义。

(2)本发明采用基于LSD线段的车前消隐点以及隧道顶部深色区域鲁棒检测方法，不但避免干扰线段所造成的负面影响，而且充分围绕隧道洞内道路环境的几何结构展开分析。针对公路隧道洞内复杂场景的多种高亮干扰，提高了LED灯具区域的检测性能。

(3)本发明采用一种自适应直方图分析方法合理选择最优分割阈值，实现LED灯具高亮区域的二值化鲁棒分割，解决了LED灯具前景与背景区域的像素数量分布严重不均匀情况下LED灯具区域的准确检测以及定位问题。

(4)本发明以车前消隐点为基础分析隧道LED灯具的共线假设，采用随机采样一致性算法鲁棒地拟合隧道洞内左右两侧LED灯具排列而成的两条直线，这不但在屏蔽高亮干扰方面起到尤为突出的作用，而且充分获取了LED灯具区域的排列顺序，中心点坐标以及面积大小。

附图说明

图1本发明所涉及方法的总体框图；

图2a-2f青岛胶州湾海底隧道LED照明车载视频及隧道内部复杂环境：(a)入口加强段；(b)入口段；(c)过渡段；(d)中间段；(e)洞内道路通行电子指示牌；(f)用于数码摄像机抓拍补光的LED频闪灯；

图3a-3c基于LSD线段的车前消隐点检测：(a)车载视频前方道路原始图像；(b)LSD线段；(c)有效平行线段及车前消隐点；

图4基于车辆前方消隐点的新坐标系及四象限分布；

图5a-5c隧道顶部深色区域鲁棒检测：(a)隧道顶部深色区域与白色侧壁区域之间两条关键分界线；(b)隧道顶部深色区域的多边形范围；(c)隧道顶部深色区域；

图6a-6e基于自适应阈值分割的LED灯具候选区域检测：(a)隧道顶部深色区域；(b)基于Otsu经典方法；(c)本发明所提出的方法；(d)原始灰度直方图；(e)原始直方图的一次高斯平滑；

图7a-7d基于RANSAC的LED灯具排列直线拟合：(a)LED灯具候选区域；(b)基于RANSAC的直线拟合；(c)LED灯具区域的过滤结果；

图8利用RANSAC算法拟合LED灯具排列所成直线的斜率直方图：

图9隧道LED照明灯具缺失检测过程及相应结果：(a)车辆前方的有效平行线段集合以及车前消隐点；(b)隧道顶部深色区域；(c)基于自适应阈值分割的LED灯具候选区域；(d)LED灯具候选区域的后处理及直线拟合；(e)LED灯具分割结果。

具体实施方式

下面结合附图和实施例对本发明具体做进一步说明。

本发明实施例在安装VC2013和OpenCV3.4的PC机上实现，总体框图如图1所示。本发明实施例所用隧道LED照明车载视频拍摄于2017年7月，是拍摄者乘车途径青岛胶州湾海底隧道时利用智能手机拍摄的，如图2所示。该视频记录了主体车辆在隧道内的完整行车过程，不但能够观察到车辆前方较远处的道路情况，而且包括隧道顶部左右两侧排列的LED照明灯具。青岛胶州湾海底隧道为双向6车道设计，日均通行量高达5.3万辆(2016年统计数据)。该隧道全长7800米，洞内照明分为多个照明段，具体包括入口加强段(见图2a)，入口段(见图2b)，过渡段(见图2c)以及中间段(见图2d)。本发明主要针对中间照明段进行LED灯具的鲁棒检测。因为中间照明段占据隧道内部最长的距离，安装了最多的LED照明灯具(单洞单侧大约有3000盏)，车辆需要花费较长时间才能通过。而且在中间照明段LED灯具并不需要排列得很密集，在图像上很容易对每个LED灯具进行有效分割。该视频的帧率是每秒25帧，图像分辨率为720×404，总时长达到8分钟48秒。可以看到，公路隧道的内部环境比较复杂，包括动态可变信息标志(发布警告信息)，电子指示牌等呈现高亮的监控及安全设施，如图2e和图2f所示。在乘车通过隧道时正值交通高峰期，周围正在行驶的其它车辆的前后车灯同样会造成比较严重的影响。

本发明实施例方法具体包括以下步骤：

步骤1：车前消隐点的鲁棒检测

图3表示了车前消隐点v的鲁棒检测过程。图3a为隧道照明车载视频原始图像。图3b为基于LSD算子的隧道内部线段检测结果(由红色细线条所示)。在筛选车辆前方的有效平行线段集合M时，倾角α取值范围设定为[π/60,π/3]，从而有效剔除横向平行干扰线段。α以弧度(rad)为单位。长度β取值范围为[30,∞)，单位为像素。图3c表示了经过筛选的有效平行线段集合(由红色粗线条所示)。可以清楚地看到，M主要体现在隧道内装设计各组成部分之间的分界线上。图3c也表示了车辆前方消隐点v的检测结果，由各图像处于中间位置的红底黑点所示。

步骤2：隧道顶部深色区域分割及LED灯具候选区域检测。

图4表示了以车前消隐点v为原点，在图像空间中建立新坐标系XOY。其中，箭头方向表示了坐标轴的正方向。很明显，在新坐标系XOY中，各条有效平行线段s都只会落入一个单独的象限，而且在隧道顶部深色区域与白色侧壁墙面之间的左右两条关键分界线中，b_r只会落入第四象限，而b_l只会落入第三象限。在新坐标系XOY中，经过一系列简单的条件，从有效平行线段集合M中，可以准确提取出两条关键分界线b_r和b_l，如图5a中的蓝色粗线条所示。图5b表示了由两条关键分界线b_r和b_l得到隧道顶部深色区域的多边形范围。相应地，图5c表示了隧道顶部深色区域的检测结果。

图6表示了使用自适应阈值分割算法检测LED灯具候选区域的过程。针对图6a所示的隧道顶部深色区域R，本发明实施例首先尝试了基于最优阈值提取的Otsu经典分割方法。但是基于Otsu分割方法的LED灯具检测效果并不理想(见图6b)。这是因为LED灯具区域与隧道顶部深色背景区域的像素规模分布严重不均匀，见图6d所示的隧道顶部深色区域R的灰度直方图h₀(t)。h₀(t)具体表示原始图像R中属于灰度值t(横坐标)的像素个数(纵坐标)，其中t＝0,1,…,255。高亮LED灯具区域属于h₀(t)中靠近最大灰度值255的区域，并且在t＝255处形成一个峰值。随着灰度值t不断降低，h₀(t)快速减小，直至h₀(t)再次增大，在较长一段灰度范围内h₀(t)都比较低。这反映了LED灯具高亮区域与隧道顶部深色背景区域之间存在较大的灰度间隔。图6c表示了使用所设计的自适应阈值分析方法得到的LED照明灯具检测结果，已经能够实现LED灯具区域的准确检测。在这种基于自适应阈值的图像分割算法中，针对原始灰度直方图h₀(t)存在波动的问题，该算法使用高斯核函数g(u)对h₀(t)进行平滑处理。高斯核函数的窗口越大，所得平滑直方图曲线h₁(t)就越平坦，如图6e所示。高斯核函数g(u)的窗口大小W取为3，g(u)具体为g(-1)＝0.2261,g(0)＝0.5478,g(1)＝0.2261。基于自适应阈值分割算法得到的T₁在不断变化，取值范围为[240,249]。选取出LED灯具候选区域之后，需要对任意候选区域R_j进行基于尺寸大小和宽高比两项条件的区域过滤，以便有效屏蔽复杂隧道场景的很多高亮干扰。本实施例中，σ_j的取值范围是[30,1000]，宽高比W_j/H_j限制为[1/3,3]。

步骤3：隧道LED灯具共线假设分析以及LED灯具排列直线拟合

本发明所强调的LED灯具共线假设不但能够得到切实满足，而且在针对隧道洞内的各种复杂情况屏蔽高亮干扰方面所起作用尤为突出。为了准确提取公路隧道LED照明灯具，针对LED候选区域(见图7a)，本发明利用RANSAC算法拟合隧道洞内左右两侧排列的LED灯具区域所形成的直线(k_l和k_r)，如图7b中两条绿色线段所示。在RANSAC算法随机选择前景点估计初始拟合直线时，本发明限制直线斜率κ_l和κ_r必须满足一定的取值范围，以此屏蔽掉隧道内部复杂场景很多高亮干扰(见图7c)。

针对待拟合直线的斜率范围限制不能简单地依赖经验(通过多次试验进行观察)而定。针对LED灯具候选区域，利用RANSAC算法可以拟合出多条直线，这些直线的斜率往往有较大变化，对于存在强烈干扰的情况更是如此。本发明统计了通过RANSAC算法得到的所有拟合直线斜率的分布规律，如图8所示的斜率直方图。其中，选取了100个容器，待拟合直线的斜率范围为[-1,2.5]。不难看出，所有待拟合直线的斜率成多峰分布，正负斜率范围内的两峰值(分别对应[1.15,1.8)和[-0.76,0.5)两个范围)正是LED灯具沿着左右两侧顺序排列而形成直线的真实反映，而0斜率附近则是横向平行线所造成的干扰。

图9显示了隧道LED灯具自动检测的处理过程及相应结果。依列序而言，各列表示了隧道内部中间照明段的典型场景，分别是一般情况(见第一列)以及实际复杂情况(见其它两列)。依行序而言，图9a表示了经过简单筛选的车辆前方有效平行线段集合M(由红色线段表示)以及车前消隐点v检测结果(由各图像处于中间位置的红底黑点所示)。各图像同时也表示了隧道顶部深色区域与白色侧壁区域的两条关键分界线(由蓝色线段表示)。图9b表示了隧道顶部深色区域的鲁棒检测结果，这有效限制了检测LED灯具的图像范围，大大减少后续处理的复杂程度。图9c表示了基于自适应阈值分割的LED灯具候选区域检测结果。可以看到，隧道内部各种电子监控及安全设备造成的高亮干扰已对LED灯具的准确检测造成严重的影响。图9d表示了针对LED灯具候选区域的直线拟合结果。两条绿色直线表示针对LED灯具前景区域进行直线拟合的结果。这些直线较好地穿过了LED区域的中心点。经过是否共线的判断，复杂隧道场景的很多高亮干扰得以彻底屏蔽。只有隧道洞内左右两侧依序排列的距离主体车辆较近并且具有较高分辨率的LED灯具区域才能最终保留下来。图9e表示了LED灯具分割结果。即使是发光面积很小的LED灯具，本发明方法仍然能够实现准确检测。

本发明工作使用了一台拥有8核英特尔至强CPU(主频为3.30GHz)和16GB内存的64位计算机。每帧图像的平均处理时间约为21.49毫秒。各步骤所使用的算法实现并没有专门进行性能优化。最为耗费时间的步骤主要有车前消隐点检测和基于RANSAC的直线拟合。

最后应说明的是：以上示例仅用以说明本发明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的示例对本发明已进行了详细的说明，但是本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种公路隧道LED照明灯具的鲁棒检测方法，其特征在于包括如下步骤：

步骤1：车前消隐点的鲁棒检测

步骤1.1：基于LSD算子的线段检测

采用LSD算法，从隧道LED照明原始图像中提取表征公路隧道内部环境主体几何结构信息的线段集合H，其中，s为H中的线段，s由两端点a₁和a₂来定义，

s＝{a₁,a₂}＝{(x₁,y₁),(x₂,y₂)}

其中，a₁＝(x₁,y₁)和a₂＝(x₂,y₂)分别表示s的起点和终点，以像素坐标表示；

步骤1.2：有效平行线段集合的筛选

对LSD检测线段进行简单筛选，消除干扰线段所造成的负面影响，提取有效平行线的LSD线段集合M，具体提取方法如下：

设α为线段s的倾角，β为线段s的长度，分别计算如下：

属于M的有效平行线段需要同时满足如下两个条件：首先，s需要具备较大的倾角

α_min＜α＜α_max

其中，α_min和α_max限定了有效平行线段的倾角有合适的取值范围，其次，s需要足够的长度β＞β_min

步骤1.3：车前消隐点的鲁棒估计

令a₁＝(x₁,y₁,1)^T，a₂＝(x₂,y₂,1)^T分别为点a₁和a₂的齐次坐标，由线段s定义的直线为s＝a₁×a₂＝(s₁,s₂,s₃)^T，设车前消隐点v的齐次坐标为v＝(x_v,y_v,1)^T，直线z＝(z₁,z₂,z₃)^T连接了消隐点v和线段s上的参考点r，r一般取为线段s的中点，即r＝(a₁+a₂)/2，车前消隐点v到线段s的距离d(s,v)可以定义为直线s与直线z之间夹角θ正弦值的绝对值：

构建优化目标函数采用MSAC方法迭代求解，当满足如下条件时，鲁棒地估计得到车前消隐点

步骤2：隧道顶部深色区域分割及LED灯具候选区域检测

步骤2.1：基于车前消隐点的隧道顶部深色区域分割

隧道顶部深色区域与白色侧壁区域的左右两条分界线分别为b_r和b_l，且b_r和b_l分别位于车前消隐点v的左右两侧，并相交于该车前消隐点v；

针对b_r和b_l的检测过程分为以下两步骤，首先，以车前消隐点v为原点，在图像空间中建立坐标系XOY，属于集合M的有效平行线段可以按照下式转换到该坐标系XOY：

{a₁,a₂}和分别是有效平行线段s坐标变换前后的两个端点；在新坐标系XOY中，各条有效平行线段s都只会落入一个单独的象限：b_r只会落入第四象限，而b_l只会落入第三象限。其次，在有效平行线段集合M中，b_r和b_l需要同时满足如下的一系列条件：

1)b_l和b_r的两端点的纵坐标都小于0，b_l的两端点的横坐标都小于0，而b_r刚好相反；

2)b_l倾角属于范围{0,90}，而b_r的倾角属于范围{90,180}；

3)b_l或b_r是各自象限中具有最大长度的LSD检测线段；

一旦提取到两条关键分界线b_r和b_l，分别将靠近车前消隐点v的一端直接延伸到车前消隐点v，而将远离车前消隐点的一端向外延展到与图像空间边沿相交，并分别设交点为v₅,v₂；定义图像空间左上边沿为v₄，右上边沿为v₃，并将车前消隐点v重新表示为v₁；由{v₁,v₂,v₃,v₄,v₅}五点首尾依次相连组成多边形R就是隧道顶部深色区域的检测结果；

步骤2.2：LED灯具候选区域检测

对隧道顶部深色区域的检测结果R，采用图像灰度直方图进行自适应阈值分析，提取LED灯具候选区域，其中，所述的灰度直方图h₀(t)的各峰值对应于检测结果R中的不同均匀区域，并且在相邻两峰之间存在山谷谷底，该谷底灰度值就是区分不同区域的最优阈值；

所述的自适应阈值分析方法具体如下：

首先，使用高斯核函数g(u)对检测结果R的原始灰度直方图h₀(t)进行平滑处理，得到平滑后的灰度直方图h₁(t)，公式如下：

其中，[·]表示整数截断操作，W≥3是高斯核函数g(u)的窗口大小，决定了平滑的程度，高斯核函数的窗口越大，所得平滑曲线h₁(t)越平坦；

然后，从最高灰度值开始向灰度值小的方向对h₁(t)遍历灰度值，直到h₁(t)再次增加，

h₁(T₁)＜h₁(T₁-1)and h₁(T₁)＜h₁(T₁+1)

其中，T₁表示谷底灰度值，即有效检测LED灯具的灰度阈值；

最后，将隧道顶部深色区域R各像素灰度值与T₁相比较，将R分为两部分：高灰度值区域R^h和低灰度值区域R^l，分别定义为：

R^h＝{(x,y)∈M|I(x,y)≥T₁}

R^l＝{(x,y)∈M|other}

其中，R^h代表R内LED照明灯具检测结果，I(x，y)表示像素(x，y)的灰度值，针对R^h经过连通分量分析，LED灯具候选区域就可描述为：

Ψ⁽¹⁾＝{R₁,R₂,…,R_L}

其中R_j是高灰度值区域R^h的一个连通集，j＝1,2,…,L；

步骤2.3：LED灯具候选区域过滤

对于任意候选区域R_j，进行基于尺寸大小和宽高比两项条件的区域过滤，以便有效屏蔽复杂隧道场景的很多高亮干扰；

所述的区域过滤方法具体如下：

首先，剔除小于给定面积阈值σ_min的LED灯具区域，并且使用最大可能的面积阈值σ_max进行限制，即LED灯具候选区域的尺寸大小可限制为σ_min＜σ_j＜σ_max

其中，σ_j是LED灯具区域R_j的面积，具体表示为R_j所含像素的数目；

其次，按照最小外接旋转矩形计算给定LED灯具候选区域R_j的宽度W_j和高度H_j，从而将宽高比W_j/H_j限制为

ω_min＜W_j/H_j＜ω_max

其中，ω_min和ω_max为两个提前设定的参数，并且ω_min·ω_max＝1；

步骤3：隧道LED灯具排列直线拟合

在满足隧道LED灯具共线假设的基础上，基于车前消隐点v，对LED灯具的排列进行直线拟合，具体如下：

隧道LED照明灯具的排列形成左右两条直线k_l和k_r，分别紧邻两条关键分界线b_l和b_r，针对前文的LED照明灯具自适应检测及区域过滤结果，采用随机采样一致性算法RANSAC鲁棒地拟合这两条直线k_l和k_r，定义κ_l和κ_r分别是直线k_l和k_r的斜率，在RANSAC算法随机选择前景点估计初始拟合直线时，限制直线斜率κ_l和κ_r必须满足以下条件：

κ_1min＜κ_l＜κ_1max

κ_2min＜κ_r＜κ_2max

根据计算机图形学的基本图形扫描转换算法，沿着左右两条拟合直线k_l和k_r依次确定图像空间各像素的集合，并记录所经过的LED灯具检测区域，由此得到各LED灯具在k_l和k_r上的安装排列顺序；在沿着k_l和k_r进行像素扫描转换时，需要按照事先固定的顺序进行，对于k_l而言，需要选用由左上到右下的顺序，对于k_r而言，需要选用由右上到左下的顺序，从而保证所有LED灯具检测结果在各自拟合直线k_l或k_r上都按照相对于主体车辆由近及远的顺序依序排列，其具体可以表示为

Ψ⁽²⁾＝{Q₁,Q₂,…,Q_N}

其中，Q_i＝{i,c_i,σ_i}是一个三元组，i＝1,2,…,N，三元组Q_i各元素依次为LED灯具区域的排列顺序i，中心点坐标c_i以及面积大小σ_i。