CN105844595B - 基于大气反射-散射原理构建模型复原夜间交通视频车灯的方法 - Google Patents
基于大气反射-散射原理构建模型复原夜间交通视频车灯的方法 Download PDFInfo
- Publication number
- CN105844595B CN105844595B CN201610146282.5A CN201610146282A CN105844595B CN 105844595 B CN105844595 B CN 105844595B CN 201610146282 A CN201610146282 A CN 201610146282A CN 105844595 B CN105844595 B CN 105844595B
- Authority
- CN
- China
- Prior art keywords
- light
- image
- car light
- atmospheric
- reflection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000011084 recovery Methods 0.000 title description 5
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000002834 transmittance Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 8
- 230000001629 suppression Effects 0.000 claims description 8
- 125000001475 halogen functional group Chemical group 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 230000002829 reductive effect Effects 0.000 claims description 3
- 230000004438 eyesight Effects 0.000 claims description 2
- 230000001788 irregular Effects 0.000 claims description 2
- 238000007670 refining Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 55
- 238000005286 illumination Methods 0.000 abstract description 11
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000002474 experimental method Methods 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000002401 inhibitory effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000003595 mist Substances 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明涉及的是基于大气反射‑散射原理构建复原模型，提取夜间交通视频中车灯的方法。首先根据漫反射原理抑制路面的漫反射光，应用暗原色先验理论估计环境光和透射率，得到只含有车灯与路面强反射光的复原图像，对复原图像再利用暗原色先验理论重新估计环境光，进一步抑制其中的强光光晕，最后根据车灯的几何特征筛选出复原图像中的车灯，有效检测车灯。验证实验结果表明，本方法能够适应多种复杂光照下的车灯检测，能够用于挡风玻璃较暗且前灯照明功率过大这类特殊情况下的车灯提取，能够有效降低路面强反射光区域以及车身镜面反射对车灯检测造成的影响。
Description
技术领域
本发明涉及的是基于大气反射-散射原理构建复原模型，提取夜间交通视频中车灯的方法。首先根据漫反射原理抑制路面漫反射光，在构建了复原模型之后，估计模型中的大气光，再根据暗原色先验理论估计模型中的环境光，定义模型中的透射率，从而得到了只含有车灯及反射区域的复原图像。为了进一步抑制该复原图像中的强光光晕，再次利用暗原色先验理论重新估计环境光，得到最终的复原图像。最后对复原图像中的所有亮斑根据四类几何特征逐步筛选，排除视野中的非车灯。
背景技术
据美国国家公路交通安全管理局统计，48％的意外交通事故发生在夜间。因此夜间交通视频的智能监控算法研究越来越受到重视，以期有效降低夜间交通事故发生率，确保车辆及人身安全。由于车前灯在夜间车辆特征信息中最为可靠、稳定并且容易获取，因此目前夜间车辆检测的主流研究大多以车前灯作为主要特征，其检测的准确度直接影响到车辆的有效配对与追踪。然而，车前灯的提取受夜间环境及天气因素影响较大，特别是来自路面的强反射光干扰极难处理，导致了较高的车前灯分割错误率，成为夜间交通视频研究中的难点。
夜间交通视频智能监控中的车灯检测算法研究可分为基于几何特征的方法、基于物理模型的方法和基于机器学习的方法三大类。基于几何特征的车灯检测方法一般是通过几何形状区分车头灯与反射区域，设定合适的阈值逐步分离车灯。这类方法大多需要不断调整阈值，应用起来受限制较大。基于物理模型的车灯检测方法将车头灯看作点光源，利用了光的Bouguer衰减模型，抑制路面强反射光，从而得到车灯。其检测结果中有大量的车身反射光存在，路面白色车道线也很难得到有效抑制，并且在挡风玻璃较暗及前灯照明功率很大时，不能检测到车灯。基于机器学习的车灯检测方法分离线和在线两块，先通过离线训练AdaBoost分类器区分前灯与非前灯，以及场景模型，再通过在线进行实时检测、配对和追踪。这类方法因对模型进行训练，需要大量的样本，并且耗时较多，多用于对视频图像中重点关注的区域内的车灯进行处理，忽略了远处的车灯，丢失了这部分车辆的重要信息。
本方法针对以上问题，提出了基于大气反射-散射原理构建的复原模型，检测夜间交通视频车灯的方法。首先根据漫反射原理抑制路面的漫反光，应用暗原色先验理论估计环境光和透射率，得到只含有车灯与路面强反射光的复原图像，对复原图像再利用暗原色先验理论重新估计环境光，进一步抑制其中的强光光晕，最后根据车灯的几何特征筛选出复原图像中的车灯，有效检测车灯，相比于同类先进方法，本方法具有更高的检测率。
发明内容
本方法为了从复杂光照的环境下提取到车灯，在分析复杂环境光组成的基础上，构建了复原模型。主要内容有：夜间交通视频中光照构成的分析，构建模型的规则，路面漫反射光抑制，构建模型以及模型中三个重要参数的估计，复原图像的获取和车灯筛选。
夜间交通，除了车前灯、尾灯等有用信息之外，还有路灯、交通信号灯以及广告牌灯的干扰，以及不同天气情况下路面的强反射光及车身的镜面反射，进入监控摄像机的光源复杂，如图1所示。其中环境光主要指路灯灯光、交通信号灯光以及广告牌、街牌装饰灯光等。大气光主要是由大气中的粒子对环境光的散射形成。路面漫反射是由路面材质的颜色及入射光的强度决定。可以将模型中光照的影响分为两个部分。第一部分，虽然夜间大气光与太阳无关，但月亮、星星及大气层的辉光构成了大气光。晴朗或昏暗的夜，这部分光对成像的贡献也不同。第二部分是环境光照射到路面产生的漫反射光。这部分光是造成路面整体较亮的主要原因。由于路灯、广告牌灯及街牌装饰灯的位置是固定不变的，而路面材质也不会发生变化，这样，路面漫反射光的照度就不会随着入射角的变化而变化，无论从哪个角度观察，这部分光照强度是不会发生变化的。第三部分是由车灯光源形成的直射光，车头灯光的路面反射区到达摄像头的反射光，和车身反射等类光源形成的散射光，这部分光在传播过程中，受到大气微粒的散射作用，产生了一定的衰减。随着景深及入射角的变化，监控摄像机最终接收到的光照度也是变化的，变化规律符合Bouguer衰减。
按照以下规则构建模型：a.夜间环境光大于大气光的影响；b.虽然大气光对光源的散射能力相对很弱，也要考虑在内；c.无论是光源还是反射区，在监控成像时随着距离的增加其照度按指数规律递减；d.光源在大气传播过程中，无可避免的受到环境光和大气光的影响，环境光增强了其照度，大气光衰减了其照度；e.晴朗夜间，路面的反射光主要是漫反射，雨天或者雪天，路面反射光主要是漫反射和镜面反射。
拟以光学成像原理，从获得的夜间图像中抑制所有干扰车灯光源成像的其他光源，获取夜间车灯光源成像的复原图。
1、抑制漫反射
根据上述模型，由环境光引起的路面漫反射光在监控摄像机成像时占了主导地位，因此首先考虑抑制路面漫反射光。彩色图像I(x)的最大漫反射色度图D(x)可表示为：
其中，是最大漫反射色度，dr(x)、dg(x)、db(x)分别是R、G、B三个颜色通道中的漫反射分量。Ir(x)，Ig(x)，Ib(x)是I(x)中的三个颜色通道，令E(x)＝I(x)-D(x)。
2、构建模型
计算机视觉及计算机图形学领域广泛采用的大气散射模型如公式(2)：
E(x)＝R(x)t(x)+E∞(x)(1-t(x)) (2)
其中，t(x)＝e-βd(x)为透射率(β是散射系数，d(x)是场景点x的深度值)，E∞(x)是参与成像的大气光，R(x)是清晰图像，E(x)是经过漫反射抑制后图像中点x的亮度。等号右端第一项为衰减项，第二项为天空光。由建立的大气反射-散射模型可知，参与成像的不仅含有大气光，而且还有环境光，改进后的公式(2)如式(3)：
E(x)＝R(x)t(x)+(E∞(x)+A(x))(1-t(x)) (3)
其中，E(x)是监控摄像机拍摄到的图像，R(x)是复原后的图像，A(x)是参与成像的环境光，t(x)是透射率，E∞(x)是参与成像的大气光。
3、估计参量
夜间交通视频图像中，各类光源众多且相互干扰。对于晴朗的夜间，空气颗粒对光源的散射作用主要表现为单次散射，因此本文主要考虑点光源的单次散射。根据公式(3)计算时，需要对未知参量t(x)、E∞(x)和A(x)进行估计：首先根据暗原色先验理论估计环境光A(x)，然后根据大气反射-散射模型重新定义透射率t(x)并估计大气光E∞(x)。暗原色先验理论是基于户外无雾图像数据库的统计规律得到的，即绝大多数的户外无雾图像的每个局部区域都存在着至少一个颜色通道强度很低的像素。该理论最初针对图像去雾，可直接估计雾的浓度并且得到高质量的去雾图像。基于大气反射-散射，应用暗色先验理论，认为在漫反射抑制图中，每个局部区域都存在着至少一个颜色通道的强度很低的像素。夜间交通视频中各种环境光及薄雾的影响是造成视频远景中车灯难以检测的主要因素，这些影响因素可以利用去雾原理加以最大限度的抑制，从而得到复原图像。图像E的暗通道Edark定义如公式(4)：
其中，x是当前像素点，y是邻域变量，c是颜色通道变量，r、g、b分别代表红、绿、蓝三个颜色通道，Ω(x)是以x为中心的邻域，这里取15x15，Ec代表E的某个颜色通道。
1)环境光A(x)可以借助暗通道图估计，求解过程如下：图2(a)经公式(1)处理得到图2(b)，即漫反射抑制图，对其取暗通道得图2(c)，对图2(c)中像素点的亮度值按从大到小顺序排列，取前0.5％最亮的像素点，对应于图2(a)中最大亮度值的矩形区域，用来估计环境光A(x)。
2)夜间大气光强度已经降的很低，大气光E∞(x)接近于0。
3)本模型中的透射指点x的反射光经过传输、衰减，最终到达监控摄像机的反射光。透射率为环境光占所有成像光源的比例，如公式(5)所示。
t(x)＝ω*A(x)/E(x) (5)
其中，ω是调节系数，防止得到的复原图像远景区域变模糊。通过不同条件下大量的实验调试验证，当ω取0.95时，得到的复原图像最理想。透射率成像结果如图2(d)所示，图中有明显的块状效应，用导向滤波器平滑处理得到图2(e)，保留了边缘信息，消除了块状效应。
4.对t(x)应用导向滤波平滑处理；
5.复原图像
有了大气光E∞(x)、环境光A(x)以及透射率t(x)之后，由公式(3)可以得到复原后的图像R(x)如公式(6)所示：
其中，t0为防止分母为零而设，这里取0.01。
6.抑制强光光晕
为了抑制R(x)图中产生的强光光晕，利用公式(4)，对R(x)遍历取15*15的暗通道，重新估计环境光A(x)，并假定同一场景中的透射率t(x)不变；
7.用公式(6)去掉光晕，得到最终的复原图R’(x)；
复原流程如图3所示。
8.车灯筛选
复原图R’(x)中不仅存在车头灯和路面强反射区，还有车身反射光。为了筛选车头灯，需要结合几何特征进一步去除干扰亮斑。根据所拍摄的视频，车头灯的形状大致分为以下四类：(1)圆形车灯；(2)椭圆形车灯；(3)近似圆形车灯；(4)方形车灯。
针对上述四类车灯的几何特征，对每帧图像的所有亮斑进行筛选：首先根据面积大小和长宽比例，去除面积较大且形状不规则的反射光区域。将面积小于阈值Th的亮斑保留，这里Th取300个像素。一般车灯近似圆形，这里取长宽比的范围在(0.8，1.2)。然后根据亮斑周长去除明显小亮斑。去除大面积反射区域以后，取每一帧视频中亮斑周长P的平均值Pmean，如果P＜0.5Pmean，这类亮斑将被抑制掉。最后根据亮斑圆度M作进一步细化处理。由于车头灯的M大多近似为1，通过公式(7)定义圆度偏心率temp，如果|1-M|＜temp，说明亮斑近似圆形，将被保留。
其中，N是当前图像中总车灯数，mean(|1-Mi|)表示取|1-Mi|的均值。车头灯筛选结果如图2(h)所示。
附图说明
图1光源基本组成框架示意图
图2车灯提取(a)原图像 (b)漫反射抑制图 (c)15*15暗通道 (d)透射率成像 (e)导向滤波平滑结果 (f)复原图R(x) (g)复原图R’(x) (h)车灯筛选结果
图3车灯检测算法流程
图4车灯形状(a)圆形 (b)椭圆形 (c)近似圆形 (d)方形
图5 Bouguer+LoG算法检测结果与本方法检测结果对比(a)第1帧(b)第50帧(c)第100帧(d)第150帧
图6相同条件下、同一视频特殊情况检测结果对比(a)车身整体较暗 (b)车前灯功率较大 (c)前挡风玻璃较暗 (d)车身及前挡风玻璃较暗
图7相同条件下、不同视频特殊情况检测结果对比(a)车灯功率较大 (b)车身整体较暗 (c)车身较暗且车灯功率较大 (d)单车灯功率较大
图8高密度情况下Azimuthally-Blur算法检测结果与本方法检测结果对比(a)第1帧(b)第150帧(c)第300帧(d)第450帧
图9雪后情况下Azimuthally-Blur算法检测结果与本方法检测结果对比(a)第1帧(b)第50帧(c)第100帧(d)第150帧
图10雨后情况下Azimuthally-Blur算法检测结果与本方法检测结果对比(a)第1帧(b)第300帧(c)第600帧(d)第900帧
图11高速情况下Azimuthally-Blur算法检测结果与本方法检测结果对比(a)第1帧 (b)第100帧 (c)第200帧 (d)第300帧
具体实施方式
本方法共测试了9段视频序列，包括高密度、雪后、雨后和高速四种特殊情况，序列1到9的视频分别为：1244，1187，812，915，2049，6615，1152，4993，1852帧。所用视频均由索尼HDR-550d摄像机在夜模式下拍摄，相机架设于天津市过街天桥上，拍摄角度与水平方向呈45～60度，帧率为25帧每秒，每帧图像大小为240×320。采用Jaccard系数评估算法性能，其中检测率E＝TP/(FP+TP+FN)，误检率FPR＝FP/(FP+TP+FN)，漏检率FNR＝FN/(FP+TP+FN)，这里，TP表示正确检测数，FP表示错误检测数，FN表示漏检数。
图5是Bouguer+LoG算法车灯检测结果(第二行)与所提方法的检测结果(第三行)的对比，(a)图是第一帧，(b)-(d)图分别是间隔50帧截取的视频图像。其中，(a)图是对细条状的车道线干扰的处理结果，(b)图是对车身反射光干扰的处理结果，(c)、(d)图是对车身轮廓线及路面长条状强反射区域干扰的处理结果。通过图中矩形框标记部分的处理结果对比看出，本方法对车身反射光以及路面长条状强反射光抑制能力更强。表1是两种方法用于车灯检测的数据统计结果，可以看出，所提方法的车灯检测率较高，误检数要比Bouguer+LoG算法低。
表1 Bouguer+LoG算法检测结果与本方法检测结果对比
图6、7是在车灯检测结果未做膨胀运算、静止路灯未被抑制的条件下，本方法与Azimuthally-Blur算法在几种特殊情况下车灯检测结果的对比图。图6是在同一视频中的车灯检测结果对比，第一行为原视频图像，第二行为Azimuthally-Blur算法的检测结果，第三行为本方法的检测结果。由于大气反射-散射模型能够有效抑制各类环境光及薄雾霾对车灯检测的影响，在复原图像中得到亮度值最大的区域，而车灯的亮度值最大且最稳定，因此在(a)图中，当车身整体较暗时(如右下方车辆)，本方法明显优于Azimuthally-Blur算法；(b)-(d)图中，当车灯功率比较大，车身整体较暗以及前挡风玻璃比较暗时，本方法不受邻域像素点亮度值的影响，其检测结果比Azimuthally-Blur算法有很大的提高，能够克服其算法的不足。
图7是不同视频上述几种特殊情况下的车灯检测结果对比，第一行为原视频图像，第二行为Azimuthally-Blur算法车灯检测结果，第三行为本方法检测结果。(a)-(c)图是车灯功率较大、车身整体较暗的情况，(d)图是存在单车灯照明功率很大及车身整体较暗的情况。由图中矩形框标记部分的处理结果对比可以看出，大气反射-散射模型表现出很好的检测性能。
图8～11例举了高密度(1244帧)、雪后(915帧)、雨后(2049帧)、高速(1152帧)4种特殊视频图像的检测结果，并与Azimuthally-Blur算法检测结果对比。(a)图是第一帧，(b)-(d)图是视频序列中取相同帧间隔截取的图像，根据视频长短，4段视频序列的间隔帧数分别为150、50、300、100。图8～11的第一行均为原视频帧图像，第二行为Azimuthally-Blur算法的检测结果，第三行为本方法的检测结果。基于本方法所提模型，不仅能够稳定检测近景处的车灯并保持其几何特征不变，而且对于远景处的车灯能够准确定位，检测效果较好。如在图8高密度车流情况，尽管有些车灯功率较大以及车身整体较暗，本方法所提方法依然能够稳定检测车灯；在图9的雪后情况，漫反射抑制算法有效抑制了冰雪路面对车灯的强反射光；在图10的雨后情况，除有效抑制积水路面的强反射光之外，还利用暗原色先验理论抑制了雨后空气中的水雾；在图11的高速情况(右侧车道)下，车辆在快速行进的过程中，虽然车灯信息较为稳定，但是路面强反射区域快速变化，对车灯检测造成强烈的干扰，本文算法对这种情况也有较好的检测效果。
表2是图8～11中本方法与Azimuthally-Blur算法在四种情况下车灯检测结果的数据统计结果。高密度情况下，最高检测率达95.65％，比Azimuthally-Blur算法最高检测率高出9.29％。雨后情况下，最高检测率可达100％，由于存在前灯照明功率较大、车身整体较暗的情况，导致Azimuthally-Blur算法的检测率相对较低。复杂高速情况下，本方法的检测率仍然高于Azimuthally-Blur算法，平均高出5.44％。雪后情况下，路面反射主要是镜面反射和漫反射，其反射光强度明显高于其它路面情况，致使远处车灯与路面强反射光连成一片，极难区分，因此这种情况下的检测率较低。
表2 四种特殊情况下车灯检测结果
应用本方法对9段视频序列中共449辆车进行检测的数据统计及与Azimuthally-Blur算法的对比结果如表3所示。可以看出，本算法最高检测率达94.87％，比Azimuthally-Blur算法的结果高出1.47％，最高漏检率低1.37％，最高误检率低4.2％。
表3 车灯检测结果
Claims (1)
1.一种根据大气反射-散射原理构建复原模型，提取夜间交通视频车灯的方法，所述方法包括以下步骤：
A.抑制漫反射
输入的彩***图像为原图像I(x)，其最大漫反射色度图D(x)可表示为：
其中，是最大漫反射色度，dr(x)、dg(x)、db(x)分别是R、G、B三个颜色通道中的漫反射分量，Ir(x)，Ig(x)，Ib(x)是I(x)中的三个颜色通道，Ig(x)，Ib(x)}，令E(x)＝I(x)-D(x)；
B.构建模型
计算机视觉及计算机图形学领域广泛采用的大气散射模型表示为：
E(x)＝R(x)t(x)+E∞(x)(1-t(x)) (2)
其中，t(x)＝e-βd(x)为透射率，β是散射系数，d(x)是场景点x的深度值，E∞(x)是参与成像的大气光，R(x)是清晰图像，E(x)是经过漫反射抑制后图像中点x的亮度，等号右端第一项为衰减项，第二项为天空光；由于参与成像的不仅含有大气光，而且还有环境光，将公式(2)扩展成式(3)：
E(x)＝R(x)t(x)+(E∞(x)+A(x))(1-t(x)) (3)
其中，A(x)是参与成像的环境光，E∞(x)是参与成像的大气光；
C.估计参量
公式(3)复原R(x)时，需要对未知参量t(x)、E∞(x)和A(x)进行估计：首先根据暗原色先验理论估计环境光A(x)，然后根据大气反射-散射模型重新定义透射率t(x)并估计大气光E∞(x)；
①图像E的暗通道Edark定义如公式(4)：
其中，y是邻域变量，c是颜色通道变量，r、g、b分别代表红、绿、蓝三个颜色通道，Ω(x)是以x为中心的邻域，这里取15*15邻域，Ec代表E的某个颜色通道；
环境光A(x)可以借助暗通道图估计，求解过程如下：Step1原图像I(x)应用漫反射抑制，得到漫反射抑制图E(x)；Step2对漫反射抑制图E(x)取暗通道Edark；Step3将暗通道处理后的图像Edark中像素的亮度值按从大到小顺序排列，取前0.5％最亮的像素点，这些点对应于原图像I(x)中最大亮度值区域，用它们在原图像I(x)中的灰度估计环境光A(x)；
②由于夜间大气光强度已经降的很低，认为大气光E∞(x)接近于0；
③透射率为环境光占所有成像光源的比例，可表示为：
t(x)＝ω*A(x)/E(x) (5)
其中，ω是调节系数，防止得到的复原图像远景区域变模糊；
D.对t(x)应用导向滤波平滑处理；
E.复原图像
由公式(3)可以得到复原后的图像R(x)如公式(6)所示：
其中，t0为防止分母为零而设；
F.为了抑制R(x)图中产生的强光光晕，利用公式(4)，对R(x)遍历取15*15的暗通道，重新估计环境光A(x)，并假定同一场景中的透射率t(x)不变；
G.用公式(6)去掉光晕，得到最终的复原图R’(x)；
H.车灯筛选
复原图R’(x)中存在非车灯噪声，需要进一步滤除，具体方法如下：根据所拍摄的视频，车头灯的形状分为以下四类：(1)圆形车灯(2)椭圆形车灯(3)近似圆形车灯(4)方形车灯
首先根据亮斑面积大小和长宽比例，去除面积较大且形状不规则的反射光区域：将面积小于阈值Th的亮斑保留，这里Th取300个像素，车灯近似圆形，这里取长宽比的范围在(0.8，1.2)；
然后根据亮斑周长去除明显小亮斑：去除大面积反射区域以后，取每一帧视频中亮斑周长P的平均值Pmean，如果P＜0.5Pmean，这类亮斑将被抑制掉；
最后根据亮斑圆度Mi作进一步细化处理：由于车头灯的Mi近似为1，通过公式(7)定义圆度偏心率temp，如果|1-Mi|＜temp，说明亮斑近似圆形，将被保留；
其中，temp是圆度偏心率，N是当前图像中总车灯数，Mi是第i个亮斑的圆度，mean(|1-Mi|)表示取|1-Mi|的均值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610146282.5A CN105844595B (zh) | 2016-03-14 | 2016-03-14 | 基于大气反射-散射原理构建模型复原夜间交通视频车灯的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610146282.5A CN105844595B (zh) | 2016-03-14 | 2016-03-14 | 基于大气反射-散射原理构建模型复原夜间交通视频车灯的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105844595A CN105844595A (zh) | 2016-08-10 |
| CN105844595B true CN105844595B (zh) | 2018-09-04 |
Family
ID=56587453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610146282.5A Expired - Fee Related CN105844595B (zh) | 2016-03-14 | 2016-03-14 | 基于大气反射-散射原理构建模型复原夜间交通视频车灯的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105844595B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651939B (zh) * | 2016-09-14 | 2019-07-09 | 天津工业大学 | 基于大气散射原理构建模型检测夜间交通视频多景深车灯的方法 |
| CN106651822A (zh) * | 2016-12-20 | 2017-05-10 | 宇龙计算机通信科技(深圳)有限公司 | 图片复原方法及装置 |
| CN108734189A (zh) * | 2017-04-20 | 2018-11-02 | 天津工业大学 | 浓雾天气下基于大气散射模型和深度学习的车牌识别*** |
| CN108734670B (zh) * | 2017-04-20 | 2021-05-18 | 天津工业大学 | 单幅夜间弱照度雾霾图像的复原方法 |
| CN110378857B (zh) * | 2019-07-22 | 2023-11-28 | 重庆优擎科技有限公司 | 一种用于移除夜间车载视频中挡风玻璃上反射层的方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020948A (zh) * | 2011-09-28 | 2013-04-03 | 中国航天科工集团第二研究院二○七所 | 智能车载防撞预警***中的夜间图像特征提取方法 |
| CN104134194A (zh) * | 2014-07-23 | 2014-11-05 | 中国科学院深圳先进技术研究院 | 图像去雾方法和*** |
| CN104766286A (zh) * | 2015-04-30 | 2015-07-08 | 河海大学常州校区 | 基于无人驾驶汽车的图像去雾装置及去雾方法 |
-
2016
- 2016-03-14 CN CN201610146282.5A patent/CN105844595B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020948A (zh) * | 2011-09-28 | 2013-04-03 | 中国航天科工集团第二研究院二○七所 | 智能车载防撞预警***中的夜间图像特征提取方法 |
| CN104134194A (zh) * | 2014-07-23 | 2014-11-05 | 中国科学院深圳先进技术研究院 | 图像去雾方法和*** |
| CN104766286A (zh) * | 2015-04-30 | 2015-07-08 | 河海大学常州校区 | 基于无人驾驶汽车的图像去雾装置及去雾方法 |
Non-Patent Citations (4)
| Title |
|---|
| Robust Nighttime Vehicle Detection by Tracking and Grouping Headlights;Qi Zou 等;《IEEE Transactions on Intelligent Transportation Systems》;20151031;第16卷(第5期);2833-2849 * |
| Single Image Haze Removal Using Dark Channel Prior;Kaiming He 等;《IEEE Transactions on Pattern Analysis and Machine Intelligence 》;20100909;第33卷(第12期);2341-2353 * |
| 复杂环境下的夜间视频车辆检测;吴海涛 等;《计算机应用研究》;20071231;第24卷(第12期);386-389 * |
| 多重虚拟曝光夜视图像对比度增强算法研究;陈萌;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160215(第2期);I138-I855 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105844595A (zh) | 2016-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105844595B (zh) | 基于大气反射-散射原理构建模型复原夜间交通视频车灯的方法 | |
| US10967793B2 (en) | Systems and methods for detecting obstructions in a camera field of view | |
| CN107862290B (zh) | 车道线检测方法及*** | |
| Gallen et al. | Towards night fog detection through use of in-vehicle multipurpose cameras | |
| CN108734670B (zh) | 单幅夜间弱照度雾霾图像的复原方法 | |
| TW201716266A (zh) | 影像修補系統及其方法 | |
| CN107103591A (zh) | 一种基于图像雾霾浓度估计的单幅图像去雾方法 | |
| CN104182943B (zh) | 一种融合人眼视觉特性的单幅图像去雾方法 | |
| CN109584176B (zh) | 机动车驾驶视觉增强*** | |
| CN104063853A (zh) | 一种基于暗通道技术的提高交通视频图像清晰度方法 | |
| CN111860120A (zh) | 车载相机自动遮挡检测方法和装置 | |
| CN104766286A (zh) | 基于无人驾驶汽车的图像去雾装置及去雾方法 | |
| CN111619324A (zh) | 一种视线追踪汽车智能防炫目方法及*** | |
| CN111563852A (zh) | 一种基于低复杂度mf的暗通道先验去雾方法 | |
| CN106780362B (zh) | 基于双色反射模型与双边滤波的道路视频去雾方法 | |
| CN104992160B (zh) | 一种重型卡车夜间前方车辆检测方法 | |
| CN106780390A (zh) | 基于边缘分类加权融合的单幅图像去雾方法 | |
| CN109118450A (zh) | 一种沙尘天气条件下的低质图像增强方法 | |
| CN110349113B (zh) | 一种基于暗原色先验改进的自适应图像去雾方法 | |
| CN111598814A (zh) | 基于极端散射通道的单图像去雾方法 | |
| CN109949239B (zh) | 一种适用于多浓度多场景雾霾图像的自适应清晰化方法 | |
| CN107085830A (zh) | 基于传播滤波的单幅图像去雾方法 | |
| CN107977941A (zh) | 一种明亮区域色彩保真及对比度增强的图像去雾方法 | |
| CN106651939B (zh) | 基于大气散射原理构建模型检测夜间交通视频多景深车灯的方法 | |
| CN113743226B (zh) | 一种日间前车灯语识别及预警方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180904 Termination date: 20200314 |