CN112308799A - 基于多传感器海上道路复杂环境能见度优化屏幕显示方法 - Google Patents

基于多传感器海上道路复杂环境能见度优化屏幕显示方法 Download PDF

Info

Publication number
CN112308799A
CN112308799A CN202011220770.9A CN202011220770A CN112308799A CN 112308799 A CN112308799 A CN 112308799A CN 202011220770 A CN202011220770 A CN 202011220770A CN 112308799 A CN112308799 A CN 112308799A
Authority
CN
China
Prior art keywords
image
foggy
night
images
visibility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011220770.9A
Other languages
English (en)
Inventor
陈梅
王秋铖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jiaotong University
Original Assignee
Shandong Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jiaotong University filed Critical Shandong Jiaotong University
Priority to CN202011220770.9A priority Critical patent/CN112308799A/zh
Publication of CN112308799A publication Critical patent/CN112308799A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

基于多传感器海上道路复杂环境能见度优化屏幕显示方法，属于智能安全辅助驾驶技术领域，包括步骤一、建立复杂天气环境图像分类器并进行图像分类，步骤二、建立昏黄雾天低能见度海上道路图像恢复模型，步骤三、建立夜间雨天低能见度海上道路图像增强模型，步骤四、构建雾天夜间低能见度海上道路图像增强模型，步骤五、自适应视觉增强开启车载显示屏显示，步骤六、构建危险目标检测模型及防碰撞预警策略。本发明同时适用于海上和道路环境，可以将昏黄雾天、夜间雨天、雾天夜间图像增强，并通过自适应视野增强装置采用最佳的图像恢复方法，改善当前视觉环境，达到视觉增强的效果。

Description

基于多传感器海上道路复杂环境能见度优化屏幕显示方法
技术领域
本发明属于智能安全辅助驾驶技术领域，特别是涉及到一种基于多传感器海上道路复杂环境能见度优化屏幕显示方法。
背景技术
研究表明，夜间驾驶比白天危险性高，影响夜间行车安全的主要原因包括远光灯眩目，汽车灯存在照射范围有限、存在盲区，夜间环境驾驶人的视野受限，视距比较短，易产生疲劳，能见度低、夜间行车车辆灯光照射范围小，驾驶人不利于观察道路交通情况，同时驾驶人驾驶熟练程度、驾驶人心理状态也会导致驾驶人对驾驶环境的误判。所以，对复杂环境能见度优化及危险预警是十分有必要的，已经成为国内外研究热点。
目前，航道拥挤程度的提高、船舶的大型化、以及超高速船舶的出现给船舶在复杂低能见度环境下的航行安全提出了严峻的挑战。在复杂海上和道路环境中，尤其在夜间行驶环境，灯光复杂，会出现包括黄色灯路，红色汽车尾灯，来自对面车道的汽车近光灯、远光灯，测速灯以及道路周边干扰灯光等。而且雨天在海面或者路面会出现灯光的大范围反射区域，都会影响驾驶人对道路环境信息作出错误判断，从而不能很好的控制车速，可能导致事故发生。因此，亟待一种海上道路复杂环境能见度优化方法，改善由于复杂环境能见度低，导致驾驶人看到的范围有限的现象，使得汽车和船舶驾驶员能够迅速地获取准确的信息，及时地做出驾驶决策。本专利考虑的天气环境包括昏黄雾天、夜间雨天、雾天夜间这三种复杂低能见度情况。
本专利提出利用多传感器进行海上道路复杂环境能见度优化以及实现自适应屏幕显示，该方法是车辆船舶低能见度下行驶安全预警的重要组成部分，在低能见度下，对行驶安全性能起着决定性作用。由于当前针对复杂环境的能见度优化技术研究不成熟，难以实现实时性，因此，有必要针对海上道路复杂环境能见度优化以及屏幕显示方法进行全面深入研究，对提高驾驶人夜间驾驶安全具有十分重要的意义。
发明内容
本发明所要解决的技术问题是：提供基于多传感器海上道路复杂环境能见度优化屏幕显示方法，同时适用于海上和道路环境，可以将昏黄雾天、夜间雨天、雾天夜间图像增强，并通过自适应视野增强装置采用最佳的图像恢复方法，改善当前视觉环境，达到视觉增强的效果。
基于多传感器海上道路复杂环境能见度优化屏幕显示方法，其特征是：包括以下步骤，且以下步骤顺次进行，
步骤一、建立复杂天气环境图像分类器并进行图像分类
工业摄像机单元采集图像，传输到不利视觉环境图像感知分类器模块，建立不利视觉环境图像训练库，利用低能见度环境图像感知高斯混合模型GMM分类器和低能见度环境图像支持向量机SVM分类器分别对昏黄雾天、夜间雨天、雾天夜间图像分类，并将低能见度图像高斯混合模型GMM分类器分类出的昏黄雾天、夜间雨天、雾天夜间图像与支持向量机SVM分类器分类出的昏黄雾天、夜间雨天、雾天夜间图像取并集，分别得到低能见度环境昏黄雾天图像、夜间雨天图像、雾天夜间图像；
步骤二、建立昏黄雾天低能见度海上道路图像恢复模型
将步骤一获得的昏黄雾天图像分解为RGB三个颜色通道，对每个通道的图像进行对数转换，通过环绕函数与原图像的卷积进行图像增强后，合并RGB三个颜色通道，利用DCP方法进行图像信息恢复操作；
将信息恢复前后同一内容的图像对比，以每一行灰度值连续下降间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，获得出图像所有行灰度变化率的均值，该均值超过给定阈值，重复进行图像信息恢复过程；该均值小于等于阈值，清晰度评价完成，将信息恢复后的清晰图像存入车载显示屏的缓存中；
步骤三、建立夜间雨天低能见度海上道路图像增强模型
采用McCann99算法进行图像增强，使用图像金字塔的方式逐层选取像素，将原图像变换到对数域，通过像素比较获得增强后的图像，通过指数函数转换输出增项后图像，将增项后图像与原图像对比，以每一行灰度值连续上升间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，获得出图像所有行灰度变化率的均值，均值小于等于阈值，重复进行夜间雨天图像增强过程；均值超过给定阈值，完成夜间增强质量评价，并将增强后的清晰图像存入车载显示屏的缓存中；
步骤四、构建雾天夜间低能见度海上道路图像增强模型
将雾天夜间图像分解为RGB三个颜色空间，将RGB颜色空间转换到LMS颜色空间，
Figure BDA0002761944290000031
其中，R为RGB色彩空间中红色通道、G为RGB色彩空间中绿色通道、B为RGB色彩空间中蓝色通道，L表示亮度分量，色度分量M通道表示黄一蓝通道的光谱变化，色度分量S通道表示红一绿通道光谱变化；
分别对LMS颜色空间取对数，限制转换数据范围，转换到lαβ颜色空间，对目标图像和原图像的lαβ每个通道计算获得全局平均值和方差，通过计算将图像lαβ转换为RGB输出图像，
Figure BDA0002761944290000032
将雾天夜间图像信息恢复前后同一内容的图像对比，以每一行灰度值连续上升间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，获得出图像所有行灰度变化率的均值，均值超过给定阈值，再次进行昏暗雾天图像信息恢复过程；均值小于等于阈值，完成雾天夜间信息恢复质量评价，并将信息恢复后的清晰图像存入车载显示屏的缓存中；
步骤五、自适应视觉增强开启车载显示屏显示
车载显示屏设置有图像信息恢复功能键，当前低能见度环境影响驾驶人驾驶时，驾驶人按下装置开关，开启自适应视野增强能见度改善装置，当检测到当前环境是低能见度昏黄雾天、夜间雨天、雾天夜间时，将所述步骤二～步骤四恢复的缓存在车载显示屏的图像通过自适应视野增强能见度改善装置根据环境类别采用最佳的图像信息恢复方法，改善当前视觉环境；
步骤六、构建危险目标检测模型及防碰撞预警策略
①取经过步骤二～步骤四夜间增强后的道路图像，将增强后的道路图像进行候选区域的提取；
②利用深度学习中的卷积神经网络RCNN网络结构模型，提取候选区域的特征向量，进行预训练；
③利用SVM向量进行分类，输入层为提取特征向量，输出层是判定目标是否属于车辆；
④检测出驾驶前方出现车辆或船只，预警装置发出语音警告，并且红色报警灯闪烁；如果驾驶侧方出现车辆或船只，预警装置发出语音警告，并且黄色报警灯闪烁；如果是前方和侧方车辆或船只解除，预警装置发出语音警告，报警灯停止闪烁。
所述步骤一复杂天气环境图像分类器的建立和进行图像分类具体包括以下步骤，
一、建立低能见度图像训练库
工业摄像机采集N张低能见度图像和晴朗天气图像，对低能见度图像和晴朗天气图像分类，并获得低能见度图像特征，低能见度道路图像神经网络分类器建立完成；
二、建立不同复杂天气环境图像分类器
①工业摄像机采集A张昏黄雾天图像，B张夜间雨天图像和C张雾天夜间图像，并将采集到的图像传输到不利视觉环境图像感知分类器模块，其中包括A1张昏黄雾天图像和A2张非雾天图像，B1张夜间雨天图像和B2张非夜间雨天图像，C1张雾天夜间图像和C2张非雾天夜间图像，A、A1、A2、B、B1、B2、C、C1、C1均为自然数，在不利视觉环境图像感知分类器模块中建立低能见度环境图像感知分类器的图像训练库；
②通过不利视觉环境图像感知分类器的图像训练库离线训练高斯混合模型GMM分类器，高斯混合模型GMM分类器提取能代表雾天图像特征的暗通道比例数、透射率均值、平均梯度特征，熵值特征，对比度特征，边缘强度特征，对昏黄雾天和非昏黄雾天道路图像分类，并获得昏黄雾天图像特征，对雾天夜间和非雾天夜间道路图像分类，并获得雾天夜间图像特征，低能见度环境图像感知高斯混合模型GMM分类器建立完成；
③通过不利视觉环境图像感知分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据能代表夜间图像的HSV颜色空间的明度特征、图像功率频谱图幅值特征、图像平均梯度，对比度，边缘强度特征，对对夜间雨天和非夜间雨天道路图像分类，并获得夜间雨天图像特征，对雾天夜间和非雾天夜间道路图像分类，并获得雾天夜间图像特征，低能见度环境图像支持向量机SVM分类器建立完成；
将不同复杂天气环境图像高斯混合模型GMM分类器分类出的雾天夜间与支持向量机SVM分类器分类出的雾天夜间图像取并集，分别得到低能见度环境昏黄雾天、夜间雨天、雾天夜间图像样本库；
三、实时图像分类
①工业摄像机I4，工业摄像机II5，工业摄像机III6，工业摄像机IV19分别实时采集船只或车辆前方、后方、左方、右方的周围环境图像；
②利用不利视觉环境图像感知分类器模块分类，得到低能见度图像；
③利用低能见度环境图像感知高斯混合模型GMM分类器和低能见度环境图像支持向量机SVM分类器分别对处理后的昏黄雾天、夜间雨天、雾天夜间图像分类，并将低能见度图像高斯混合模型GMM分类器分类出的雾天夜间图像与支持向量机SVM分类器分类出的雾天夜间图像取并集，分别得到低能见度环境昏黄雾天图像、夜间雨天图像、雾天夜间图像。
四、制定置信度评价标准
置信度评价标准采用基于L2范数的相对错误评价标准，该标准是将得到的实时道路图像与图像样本库中道路图像样本的对应像素值相减，并对所得的差值求平方和，然后再对结果求平方根；用得到的平方根值除以图像像素总数，得到平均误差值；取阈值为0.5，平均误差值小于0.5，则实时图像为道路图像。
所述步骤二昏黄雾天低能见度海上道路图像恢复模型的建立包括以下步骤，
①将原始的昏黄雾天图像分解为RGB三个颜色通道，Retinex算法模型，形式为：
Ii(x,y)＝Ri(x,y)*Li(x,y)；
其中，Ii(x,y)表示待增强的低能见度夜间道路图像分布函数，即实际采集图像在(x,y)点的图像灰度，Li(x,y)代表入射光分量，Ri(x,y)代表反射光分量，*是卷积算子，i表示第i个颜色通道(i取值为1、2、3)；
②将每个通道的图像进行对数转换，转换到对数域进行处理，为求取入射光分量，采用对数变换法，得出：
logIi(x,y)＝logRi(x,y)+logLi(x,y)；
③采用环绕函数与原图像的卷积改善原图像的亮度，环绕函数形式如下：
F(x,y)＝keps-(x2+y2)/c2；
其中，k为归一化因子，环绕函数服从∫∫F(x,y)dxdy＝1，c为尺度参数，c取值决定最终SSR算法的增强效果，
④输入高斯模型的尺度大小c，尺度参数c取值为110，合并三个颜色通道，采用增强算法进行增强后的输出图像形式如下：
R'i(x,y)＝logIi(x,y)-log(Ii(x,y)*F(x,y))；
⑤昏黄雾天图像批量信息恢复
步骤①～④为单幅昏黄雾天道路图像增强过程，视频序列的昏黄雾天图像信息恢复为摄像机实时采集的视频每隔60帧，对昏黄雾天单帧图像进行一次信息恢复处理；
⑥将信息恢复前后同一内容的图像对比，以每一行灰度值连续下降间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，获得出图像所有行灰度变化率的均值，该均值超过给定阈值，则再次进行图像信息恢复过程；该均值小于等于阈值，则完成清晰度评价，并将信息恢复后的清晰图像存入车载显示屏的缓存中。
所述步骤三夜间雨天低能见度海上道路图像增强模型的建立包括以下步骤，
①前期转换过程：McCann99算法使用图像金字塔的方式逐层选取像素，对图像进行下采样，最顶层的图像分辨率最低，底层的最高，将原图像变换到对数域，彩色图像对各通道都进行对数变换，由于原图三通道灰度值范围在[0,255]之间，需要经log对数转换到[0,1]范围，假设原图大小为rows·2n×cols·2n，金字塔层数为n，金字塔顶层大小为rows×cols，其中[rows,cols]∈[1,5]；
②像素比较过程：初始化常数图像矩阵R0(x，y)，从顶层开始让每一个像素点与其8个相邻的像素进行比较，估计反射率分量R，前一层计算结束之后对估计的反射率分量进行插值运算，即第n层运算结束后对第n层的运算结果Rn(x，y)进行插值，变成原来的两倍，与n+1层大小相同，使上一层估计的结果R的图像与金字塔下一层图像尺寸相同，并再一次进行相同的比较运算；最终，对金字塔最底层原始图像进行8邻域的比较结束后就能得到最终的结果Rm(x，y)，即增强后的图像；
③转换输出过程：将增强后获得的图像，经指数函数转换回灰度值在[0,255]之间，输出增强后的图像；
④夜间雨天图像批量增强
所述步骤①～③为单幅图像的增强过程，视频序列的夜间雨天图像信息增强为摄像机实时采集的视频每隔60帧，对夜间雨天单帧图像进行一次增强处理；
⑤将夜间雨天图像增强前后同一内容的图像对比，以每一行灰度值连续上升间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，获得出图像所有行灰度变化率的均值，该均值小于等于阈值，则再次进行夜间雨天图像增强过程；该均值超过给定阈值，则完成夜间增强质量评价，并将增强后的清晰图像存入车载显示屏的缓存中。
所述步骤四雾天夜间低能见度海上道路图像增强模型的建立包括以下步骤，
①首先进行颜色空间转换，将RGB颜色空间转换到LMS颜色空间，公式如下所示：
Figure BDA0002761944290000081
②颜色空间的数据存在分散倾向，因此分别对LMS空间取对数，限制转换数据范围，进而转换到lαβ颜色空间，形式如下所示：
Figure BDA0002761944290000082
Figure BDA0002761944290000083
其中，正交基的均匀色彩空间lαβ中，l表示亮度分量，色度分量α表示黄一蓝通道，色度分量β表示红一绿通道；
③分别对目标图像和源图像的lαβ每个通道，每行对图像的每一个像素进行计算求平均，用每行的和除以宽度
Figure BDA0002761944290000084
Figure BDA0002761944290000085
Figure BDA0002761944290000086
其中，w表示图像列向量,即图像宽度，w＝0,1,2,…W
④上述公式除以高度，得到全局平均值，计算全局均值和方差：均值和标准差共6个值，lαβ每个通道，计算完所有行除宽度的值的和后，将两图像RGB转换为LAB颜色模型，使目标图像和源图像在lαβ空间有相同的均值和方差，均值方差形式如下：
Figure BDA0002761944290000091
Figure BDA0002761944290000092
Figure BDA0002761944290000093
Figure BDA0002761944290000094
Figure BDA0002761944290000095
Figure BDA0002761944290000096
⑤源图像l空间的数据减去源图像的均值，将数据按比例缩放，经变换后在加上三通道的均值
Figure BDA0002761944290000097
Figure BDA0002761944290000098
Figure BDA0002761944290000099
其中，
Figure BDA00027619442900000910
表示源图像l空间的数据减去源图像的均值。σl dst/σl src表示缩放比例，其为目标图像与源图像方差的比值，
Figure BDA00027619442900000911
表示目标图像的l空间的平均值。
⑥将结果图像lαβ转换为RGB获得输出的图像，形式如下：
Figure BDA00027619442900000912
Figure BDA0002761944290000101
Figure BDA0002761944290000102
⑦雾天夜间图像批量信息恢复
所述步骤①～⑥基于颜色迁移的雾天夜间图像信息恢复算法为单幅图像处理方法，视频序列的雾天夜间图像信息恢复为摄像机实时采集的视频每隔60帧，对雾天夜间单帧图像进行一次信息恢复处理；
⑧将雾天夜间图像信息恢复前后同一内容的图像对比，以每一行灰度值连续上升间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，获得出图像所有行灰度变化率的均值，该均值超过给定阈值，则再次进行雾天夜间图像信息恢复过程；该均值小于等于阈值，则完成雾天夜间信息恢复质量评价，并将信息恢复后的清晰图像存入车载显示屏的缓存中。
通过上述设计方案，本发明可以带来如下有益效果：基于多传感器海上道路复杂环境能见度优化屏幕显示方法，同时适用于海上和道路环境，可以将昏黄雾天、夜间雨天、雾天夜间图像增强，并通过自适应视野增强装置采用最佳的图像恢复方法，改善当前视觉环境，达到视觉增强的效果，配合危险目标检测模型可以降低车左右方换到风险，船低能见度危险预测，减少因为在大雾条件下，船停航次数，提高驾驶和航海安全性。
附图说明
以下结合附图和具体实施方式对本发明作进一步的说明：
图1为本发明基于多传感器海上道路复杂环境能见度优化屏幕显示方法流程示意图。
图2为本发明基于多传感器海上道路复杂环境能见度优化屏幕显示方法采用装置示意图。
图3为本发明基于多传感器海上道路复杂环境能见度优化屏幕显示方法采用的自适应视野增强能见度改善装置示意图。
图中1-蓄电池、2-正弦波逆变器、3-图像采集卡、4-工业摄像机Ⅰ、5-工业摄像机Ⅱ、6-工业摄像机Ⅲ、7-电控单元模块、8-不利视觉环境图像感知分类器模块、9-昏黄雾天低能见度海上道路图像恢复模块、10-夜间雨天低能见度海上道路图像增强模块、11-雾天夜间低能见度海上道路图像增强模块、12-危险目标检测模块、13-预警模块、14-投影设备、15-显示设备扩展屏幕、16-提示灯设备、17-设备本身音响、18-扬声器、19-工业摄像机Ⅳ、20-图像质量评价模块。
具体实施方式
基于多传感器海上道路复杂环境能见度优化屏幕显示方法，如图1所示，包括以下步骤，
步骤一、建立复杂天气环境图像分类器并进行图像分类
工业摄像机单元采集图像，传输到不利视觉环境图像感知分类器模块8，建立不利视觉环境图像训练库，利用低能见度环境图像感知高斯混合模型GMM分类器和低能见度环境图像支持向量机SVM分类器分别对昏黄雾天、夜间雨天、雾天夜间图像分类，并将低能见度图像高斯混合模型GMM分类器分类出的昏黄雾天、夜间雨天、雾天夜间图像与支持向量机SVM分类器分类出的昏黄雾天、夜间雨天、雾天夜间图像取并集，分别得到低能见度环境昏黄雾天图像、夜间雨天图像、雾天夜间图像；
具体包括以下步骤，
一、建立低能见度图像训练库
工业摄像机采集N张低能见度图像和晴朗天气图像，对低能见度图像和晴朗天气图像分类，并获得低能见度图像特征，低能见度道路图像概率神经网络分类器建立完成；
二、建立不同复杂天气环境图像分类器
①工业摄像机采集A张昏黄雾天图像，B张夜间雨天图像和C张雾天夜间图像，并将采集到的图像传输到不利视觉环境图像感知分类器模块8，其中包括A1张昏黄雾天图像和A2张非雾天图像，B1张夜间雨天图像和B2张非夜间雨天图像，C1张雾天夜间图像和C2张非雾天夜间图像，A、A1、A2、B、B1、B2、C、C1、C1均为自然数，在不利视觉环境图像感知分类器模块8中建立低能见度环境图像感知分类器的图像训练库；
②通过不利视觉环境图像感知分类器的图像训练库离线训练高斯混合模型GMM分类器，高斯混合模型GMM分类器提取能代表雾天图像特征的暗通道比例数、透射率均值、平均梯度特征，熵值特征，对比度特征，边缘强度特征，对昏黄雾天和非昏黄雾天道路图像分类，并获得昏黄雾天图像特征，对雾天夜间和非雾天夜间道路图像分类，并获得雾天夜间图像特征，低能见度环境图像感知高斯混合模型GMM分类器建立完成；
③通过不利视觉环境图像感知分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据能代表夜间图像的HSV颜色空间的明度特征、图像功率频谱图幅值特征、图像平均梯度，对比度，边缘强度特征，对对夜间雨天和非夜间雨天道路图像分类，并获得夜间雨天图像特征，对雾天夜间和非雾天夜间道路图像分类，并获得雾天夜间图像特征，低能见度环境图像支持向量机SVM分类器建立完成；
将不同复杂天气环境图像高斯混合模型GMM分类器分类出的雾天夜间与支持向量机SVM分类器分类出的雾天夜间图像取并集，分别得到低能见度环境昏黄雾天、夜间雨天、雾天夜间图像样本库；
三、实时图像分类
①工业摄像机I4，工业摄像机II5，工业摄像机III6，工业摄像机IV19分别实时采集船只或车辆前方、后方、左方、右方的周围环境图像；
②利用不利视觉环境图像感知分类器模块8分类，得到低能见度图像；
③利用低能见度环境图像感知高斯混合模型GMM分类器和低能见度环境图像支持向量机SVM分类器分别对处理后的昏黄雾天、夜间雨天、雾天夜间图像分类，并将低能见度图像高斯混合模型GMM分类器分类出的雾天夜间图像与支持向量机SVM分类器分类出的雾天夜间图像取并集，分别得到低能见度环境昏黄雾天图像、夜间雨天图像、雾天夜间图像。
四、制定置信度评价标准
置信度评价标准采用基于L2范数的相对错误评价标准，该标准是将得到的实时道路图像与图像样本库中道路图像样本的对应像素值相减，并对所得的差值求平方和，然后再对结果求平方根；用得到的平方根值除以图像像素总数，得到平均误差值；取阈值为0.5，平均误差值小于0.5，则实时图像为道路图像。
步骤二、建立昏黄雾天低能见度海上道路图像恢复模型
将步骤一获得的昏黄雾天图像分解为RGB三个颜色通道，对每个通道的图像进行对数转换，通过环绕函数与原图像的卷积进行图像增强后，合并RGB三个颜色通道，利用DCP方法进行图像信息恢复操作；
将信息恢复前后同一内容的图像对比，以每一行灰度值连续下降间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，获得出图像所有行灰度变化率的均值，该均值超过给定阈值，重复进行图像信息恢复过程；该均值小于等于阈值，清晰度评价完成，将信息恢复后的清晰图像存入车载显示屏的缓存中；
具体包括以下步骤，
①将原始的昏黄雾天图像分解为RGB三个颜色通道，Retinex算法模型，形式为：
Ii(x,y)＝Ri(x,y)*Li(x,y)；
其中，Ii(x,y)表示待增强的低能见度夜间道路图像分布函数，即实际采集图像在(x,y)点的图像灰度，Li(x,y)代表入射光分量，Ri(x,y)代表反射光分量，*是卷积算子，i表示第i个颜色通道(i取值为1、2、3)；
②将每个通道的图像进行对数转换，转换到对数域进行处理，为求取入射光分量，采用对数变换法，得出：
logIi(x,y)＝logRi(x,y)+logLi(x,y)；
③采用环绕函数与原图像的卷积改善原图像的亮度，环绕函数形式如下：
F(x,y)＝keps-(x2+y2)/c2；
其中，k为归一化因子，环绕函数服从∫∫F(x,y)dxdy＝1，c为尺度参数，c取值决定最终SSR算法的增强效果，
④输入高斯模型的尺度大小c，尺度参数c取值为110，合并三个颜色通道，采用增强算法进行增强后的输出图像形式如下：
R'i(x,y)＝logIi(x,y)-log(Ii(x,y)*F(x,y))；
⑤昏黄雾天图像批量信息恢复
步骤①～④为单幅昏黄雾天道路图像增强过程，视频序列的昏黄雾天图像信息恢复为摄像机实时采集的视频每隔60帧，对昏黄雾天单帧图像进行一次信息恢复处理；
⑥将信息恢复前后同一内容的图像对比，以每一行灰度值连续下降间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，获得出图像所有行灰度变化率的均值，该均值超过给定阈值，则再次进行图像信息恢复过程；该均值小于等于阈值，则完成清晰度评价，并将信息恢复后的清晰图像存入车载显示屏的缓存中。
步骤三、建立夜间雨天低能见度海上道路图像增强模型
采用McCann99算法进行图像增强，使用图像金字塔的方式逐层选取像素，将原图像变换到对数域，通过像素比较获得增强后的图像，通过指数函数转换输出增项后图像，将增项后图像与原图像对比，以每一行灰度值连续上升间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，获得出图像所有行灰度变化率的均值，均值小于等于阈值，重复进行夜间雨天图像增强过程；均值超过给定阈值，完成夜间增强质量评价，并将增强后的清晰图像存入车载显示屏的缓存中；
具体包括以下步骤，
①前期转换过程：McCann99算法使用图像金字塔的方式逐层选取像素，对图像进行下采样，最顶层的图像分辨率最低，底层的最高，将原图像变换到对数域，彩色图像对各通道都进行对数变换，由于原图三通道灰度值范围在[0,255]之间，需要经log对数转换到[0,1]范围，假设原图大小为rows·2n×cols·2n，金字塔层数为n，金字塔顶层大小为rows×cols，其中[rows,cols]∈[1,5]；
②像素比较过程：初始化常数图像矩阵R0(x，y)，从顶层开始让每一个像素点与其8个相邻的像素进行比较，估计反射率分量R，前一层计算结束之后对估计的反射率分量进行插值运算，即第n层运算结束后对第n层的运算结果Rn(x，y)进行插值，变成原来的两倍，与n+1层大小相同，使上一层估计的结果R的图像与金字塔下一层图像尺寸相同，并再一次进行相同的比较运算；最终，对金字塔最底层原始图像进行8邻域的比较结束后就能得到最终的结果Rm(x，y)，即增强后的图像；
③转换输出过程：将增强后获得的图像，经指数函数转换回灰度值在[0,255]之间，输出增强后的图像；
④夜间雨天图像批量增强
所述步骤①～③为单幅图像的增强过程，视频序列的夜间雨天图像信息增强为摄像机实时采集的视频每隔60帧，对夜间雨天单帧图像进行一次增强处理；
⑤将夜间雨天图像增强前后同一内容的图像对比，以每一行灰度值连续上升间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，获得出图像所有行灰度变化率的均值，该均值小于等于阈值，则再次进行夜间雨天图像增强过程；该均值超过给定阈值，则完成夜间增强质量评价，并将增强后的清晰图像存入车载显示屏的缓存中。
步骤四、构建雾天夜间低能见度海上道路图像增强模型将雾天夜间图像分解为RGB三个颜色空间，将RGB颜色空间转换到LMS颜色空间，
Figure BDA0002761944290000151
R、G、B是RGB色彩空间中，红、绿、蓝三个通道。L表示亮度分量，色度分量M通道表示黄一蓝通道的光谱变化，色度分量S通道表示红一绿通道光谱变化)
分别对LMS颜色空间取对数，限制转换数据范围，转换到lαβ颜色空间，对目标图像和原图像的lαβ每个通道计算获得全局平均值和方差，通过计算将图像lαβ转换为RGB输出图像，
Figure BDA0002761944290000161
具体计算过程如下，①首先进行颜色空间转换，将RGB颜色空间转换到LMS颜色空间，公式如下所示：
Figure BDA0002761944290000162
②颜色空间的数据存在分散倾向，因此分别对LMS空间取对数，限制转换数据范围，进而转换到lαβ颜色空间，形式如下所示：
Figure BDA0002761944290000163
Figure BDA0002761944290000164
正交基的均匀色彩空间lαβ中，l表示亮度分量，色度分量α表示黄一蓝通道，色度分量β表示红一绿通道；
③分别对目标图像和源图像的lαβ每个通道，每行对图像的每一个像素进行计算求平均，用每行的和除以宽度
Figure BDA0002761944290000165
Figure BDA0002761944290000166
Figure BDA0002761944290000167
w表示图像列向量，即图像宽度，w＝0,1,2,…W
④上述公式除以高度，得到全局平均值，计算全局均值和方差：均值和标准差共6个值，lαβ每个通道，计算完所有行除宽度的值的和后，将两图像RGB转换为LAB颜色模型，使目标图像和源图像在lαβ空间有相同的均值和方差，均值方差形式如下：
Figure BDA0002761944290000171
Figure BDA0002761944290000172
Figure BDA0002761944290000173
Figure BDA0002761944290000174
Figure BDA0002761944290000175
Figure BDA0002761944290000176
⑤源图像l空间的数据减去源图像的均值，将数据按比例缩放，经变换后在加上三通道的均值
Figure BDA0002761944290000177
Figure BDA0002761944290000178
Figure BDA0002761944290000179
其中，
Figure BDA00027619442900001710
表示源图像l空间的数据减去源图像的均值。σl dst/σl src表示缩放比例，其为目标图像与源图像方差的比值，
Figure BDA00027619442900001711
表示目标图像的l空间的平均值。
⑥将结果图像lαβ转换为RGB获得输出的图像，形式如下：
Figure BDA0002761944290000181
Figure BDA0002761944290000182
Figure BDA0002761944290000183
⑦雾天夜间图像批量信息恢复
所述步骤①～⑥基于颜色迁移的雾天夜间图像信息恢复算法为单幅图像处理方法，视频序列的雾天夜间图像信息恢复为摄像机实时采集的视频每隔60帧，对雾天夜间单帧图像进行一次信息恢复处理；
⑧将雾天夜间图像信息恢复前后同一内容的图像对比，以每一行灰度值连续上升间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，获得出图像所有行灰度变化率的均值，该均值超过给定阈值，则再次进行雾天夜间图像信息恢复过程；该均值小于等于阈值，则完成雾天夜间信息恢复质量评价，并将信息恢复后的清晰图像存入车载显示屏的缓存中。
步骤五、自适应视觉增强开启车载显示屏显示
车载显示屏设置有图像信息恢复功能键，当前低能见度环境影响驾驶人驾驶时，驾驶人按下装置开关，开启自适应视野增强能见度改善装置，当检测到当前环境是低能见度昏黄雾天、夜间雨天、雾天夜间时，将所述步骤二～步骤四恢复的缓存在车载显示屏的图像通过自适应视野增强能见度改善装置根据环境类别采用最佳的图像信息恢复方法，改善当前视觉环境；
步骤六、构建危险目标检测模型及防碰撞预警策略
①取经过步骤二～步骤四夜间增强后的道路图像，将增强后的道路图像进行候选区域的提取；
②利用深度学习中的卷积神经网络RCNN网络结构模型，提取候选区域的特征向量，进行预训练；
③利用SVM向量进行分类，输入层为提取特征向量，输出层是判定目标是否属于车辆；
④检测出驾驶前方出现车辆或船只，预警装置发出语音警告，并且红色报警灯闪烁；如果驾驶侧方出现车辆或船只，预警装置发出语音警告，并且黄色报警灯闪烁；如果是前方和侧方车辆或船只解除，预警装置发出语音警告，报警灯停止闪烁。
如图2所示的本发明基于多传感器海上道路复杂环境能见度优化屏幕显示方法采用的装置包括蓄电池1、正弦波逆变器2、图像采集卡3、工业摄像机Ⅰ4、工业摄像机Ⅱ5、工业摄像机Ⅲ6、工业摄像机Ⅳ19、电控单元模块7、投影设备14、显示设备扩展屏幕15、提示灯设备16、设备本身音响17以及扬声器18，蓄电池1通过正弦波逆变器2与图像采集卡3连接，图像采集卡3与工业摄像机Ⅰ4、工业摄像机Ⅱ5、工业摄像机Ⅲ6、工业摄像机Ⅳ19连接，所述电控单元模块7包括不利视觉环境图像感知分类器模块8、昏黄雾天低能见度海上道路图像恢复模块9、夜间雨天低能见度海上道路图像增强模块10、雾天夜间低能见度海上道路图像增强模块11、危险目标检测模块12、图像质量评价模块20以及预警模块13，不利视觉环境图像感知分类器模块8的一端与工业摄像机Ⅰ4、工业摄像机Ⅱ5、工业摄像机Ⅲ6、工业摄像机Ⅳ19通过导线连接，另一端与昏黄雾天低能见度海上道路图像恢复模块9、夜间雨天低能见度海上道路图像增强模块10、雾天夜间低能见度海上道路图像增强模块11连接，所述图像质量评价模块20一端与昏黄雾天低能见度海上道路图像恢复模块9、夜间雨天低能见度海上道路图像增强模块10、雾天夜间低能见度海上道路图像增强模块11连接，另一端与危险目标检测模块12连接，危险目标检测模块12与预警模块13连接；投影设备14一端通过导线与图像质量评价模块20连接，另一端与显示设备扩展屏幕15连接，所述设备本身音响17一端与预警模块13连接，另一端与扬声器连接，所述提示灯设备16与预警模块13连接。
如图3所示的，自适应视野增强能见度改善装置包括为微处理器，由外壳和内置主板、增强算法集成ECU，装置内板嵌入微处理器组成。外接插口包括电源接口，投影***模块接口，***内板上插有视频采集卡，将相机信号传入电脑中，通过四个千兆网卡接口连接四台工业摄像机。
低能见度自适应视野增强装置采用集成化设计，减少装置由于连接线路问题导致的异常，具有成本低，使用方便，安全性高，便于维护的优点。
该装置版四周的插口包括：电源接口，由外部给整个装置供电、视频采集卡的四个千兆网卡接口，两个USB3.0接口，可对软件***进行升级更新以及未来功能的扩展使用、VGA和HDMI四视频接口，用于外接显示器或者连接外部投影设备投影到扩展屏幕上、存储设备，外存固态硬盘用于存储采集、处理的视频等信息，装置内部还有内存处理器、在主板上有红、绿两指示灯、装置内部有插接件用于内部器件的连接、散热装置、装置面板控制开关接口连接该装置的开关。
该装置可以放在前挡风玻璃的后方，通过角度调整，将增强后的图像投影在驾驶人方便观察的挡风玻璃相应位置，同时驾驶人可以扩大或者缩小投影到屏幕的图像大小，驾驶人可以根据当前低能见度需要不定时的观察，屏幕上的前方信息。驾驶人可根据自适应视野增强能见度改善装置按钮，自主选择恢复整体周围环境或者只增强道路(海上)区域，不恢复增强天空部分，以缩短处理时间。
自适应视野增强能见度改善装置根据本车(本船)速度计算更新图像频率，不同船型使用，根据船速不同，视频图像更新频率不同，为了高效化的提高图像信息增强效果，每行驶10米更新一次。
远洋捕鱼船航行船速一般在10-12节左右(18.52km/h-22.22km/h)，视频图像更新频率7Hz,即每秒更新7次。
远洋杂货船船速约为14节-18节(25.92km/h-33.34km/h)，视频图像更新频率10Hz,即每秒更新10次。
客滚船(上层是客舱，下层是装运车辆的货舱)船速一般是18-22节(34km/h-40.74km/h)视频图像更新频率15Hz,即每秒更新15次。
远洋客轮航速一般为25-30节(约46.3km/h-55.56km/h)，视频图像更新频率20Hz,即每秒更新20次。
同理，当汽车快速行车，即车速在60km/h以上时，视频图像更新频率25Hz,即每秒更新25次。中速行车，即车速在50km/h左右时，视频图像更新频率20Hz,即每秒更新20次。低速行车，即车速在40km/h以下时，视频图像更新频率15Hz,即每秒更新15次。当车速在20km/h以下时，视频图像更新频率10Hz,即每秒更新10次。

Claims (5)

1.基于多传感器海上道路复杂环境能见度优化屏幕显示方法，其特征是：包括以下步骤，且以下步骤顺次进行，
步骤一、建立复杂天气环境图像分类器并进行图像分类
工业摄像机单元采集图像，传输到不利视觉环境图像感知分类器模块(8)，建立不利视觉环境图像训练库，利用低能见度环境图像感知高斯混合模型GMM分类器和低能见度环境图像支持向量机SVM分类器分别对昏黄雾天、夜间雨天、雾天夜间图像分类，并将低能见度图像高斯混合模型GMM分类器分类出的昏黄雾天、夜间雨天、雾天夜间图像与支持向量机SVM分类器分类出的昏黄雾天、夜间雨天、雾天夜间图像取并集，分别得到低能见度环境昏黄雾天图像、夜间雨天图像、雾天夜间图像；
步骤二、建立昏黄雾天低能见度海上道路图像恢复模型
将步骤一获得的昏黄雾天图像分解为RGB三个颜色通道，对每个通道的图像进行对数转换，通过环绕函数与原图像的卷积进行图像增强后，合并RGB三个颜色通道，利用DCP方法进行图像信息恢复操作；
将信息恢复前后同一内容的图像对比，以每一行灰度值连续下降间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，获得出图像所有行灰度变化率的均值，该均值超过给定阈值，重复进行图像信息恢复过程；该均值小于等于阈值，清晰度评价完成，将信息恢复后的清晰图像存入车载显示屏的缓存中；
步骤三、建立夜间雨天低能见度海上道路图像增强模型
采用McCann99算法进行图像增强，使用图像金字塔的方式逐层选取像素，将原图像变换到对数域，通过像素比较获得增强后的图像，通过指数函数转换输出增项后图像，将增项后图像与原图像对比，以每一行灰度值连续上升间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，获得出图像所有行灰度变化率的均值，均值小于等于阈值，重复进行夜间雨天图像增强过程；均值超过给定阈值，完成夜间增强质量评价，并将增强后的清晰图像存入车载显示屏的缓存中；
步骤四、构建雾天夜间低能见度海上道路图像增强模型
将雾天夜间图像分解为RGB三个颜色空间，将RGB颜色空间转换到LMS颜色空间，
Figure FDA0002761944280000021
其中，R为RGB色彩空间中红色通道、G为RGB色彩空间中绿色通道、B为RGB色彩空间中蓝色通道，L表示亮度分量，色度分量M通道表示黄一蓝通道的光谱变化，色度分量S通道表示红一绿通道光谱变化；
分别对LMS颜色空间取对数，限制转换数据范围，转换到lαβ颜色空间，对目标图像和原图像的lαβ每个通道计算获得全局平均值和方差，通过计算将图像lαβ转换为RGB输出图像，
Figure FDA0002761944280000022
将雾天夜间图像信息恢复前后同一内容的图像对比，以每一行灰度值连续上升间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，获得出图像所有行灰度变化率的均值，均值超过给定阈值，再次进行昏暗雾天图像信息恢复过程；均值小于等于阈值，完成雾天夜间信息恢复质量评价，并将信息恢复后的清晰图像存入车载显示屏的缓存中；
步骤五、自适应视觉增强开启车载显示屏显示
车载显示屏设置有图像信息恢复功能键，当前低能见度环境影响驾驶人驾驶时，驾驶人按下装置开关，开启自适应视野增强能见度改善装置，当检测到当前环境是低能见度昏黄雾天、夜间雨天、雾天夜间时，将所述步骤二～步骤四恢复的缓存在车载显示屏的图像通过自适应视野增强能见度改善装置根据环境类别采用最佳的图像信息恢复方法，改善当前视觉环境；
步骤六、构建危险目标检测模型及防碰撞预警策略
①取经过步骤二～步骤四夜间增强后的道路图像，将增强后的道路图像进行候选区域的提取；
②利用深度学习中的卷积神经网络RCNN网络结构模型，提取候选区域的特征向量，进行预训练；
③利用SVM向量进行分类，输入层为提取特征向量，输出层是判定目标是否属于车辆；
④检测出驾驶前方出现车辆或船只，预警装置发出语音警告，并且红色报警灯闪烁；如果驾驶侧方出现车辆或船只，预警装置发出语音警告，并且黄色报警灯闪烁；如果是前方和侧方车辆或船只解除，预警装置发出语音警告，报警灯停止闪烁。
2.基于多传感器海上道路复杂环境能见度优化屏幕显示方法，其特征是：所述步骤一复杂天气环境图像分类器的建立和进行图像分类具体包括以下步骤，
一、建立低能见度图像训练库
工业摄像机采集N张低能见度图像和晴朗天气图像，对低能见度图像和晴朗天气图像分类，并获得低能见度图像特征，低能见度道路图像神经网络分类器建立完成；
二、建立不同复杂天气环境图像分类器
①工业摄像机采集A张昏黄雾天图像，B张夜间雨天图像和C张雾天夜间图像，并将采集到的图像传输到不利视觉环境图像感知分类器模块(8)，其中包括A1张昏黄雾天图像和A2张非雾天图像，B1张夜间雨天图像和B2张非夜间雨天图像，C1张雾天夜间图像和C2张非雾天夜间图像，A、A1、A2、B、B1、B2、C、C1、C1均为自然数，在不利视觉环境图像感知分类器模块(8)中建立低能见度环境图像感知分类器的图像训练库；
②通过不利视觉环境图像感知分类器的图像训练库离线训练高斯混合模型GMM分类器，高斯混合模型GMM分类器提取能代表雾天图像特征的暗通道比例数、透射率均值、平均梯度特征，熵值特征，对比度特征，边缘强度特征，对昏黄雾天和非昏黄雾天道路图像分类，并获得昏黄雾天图像特征，对雾天夜间和非雾天夜间道路图像分类，并获得雾天夜间图像特征，低能见度环境图像感知高斯混合模型GMM分类器建立完成；
③通过不利视觉环境图像感知分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据能代表夜间图像的HSV颜色空间的明度特征、图像功率频谱图幅值特征、图像平均梯度，对比度，边缘强度特征，对对夜间雨天和非夜间雨天道路图像分类，并获得夜间雨天图像特征，对雾天夜间和非雾天夜间道路图像分类，并获得雾天夜间图像特征，低能见度环境图像支持向量机SVM分类器建立完成；
将不同复杂天气环境图像高斯混合模型GMM分类器分类出的雾天夜间与支持向量机SVM分类器分类出的雾天夜间图像取并集，分别得到低能见度环境昏黄雾天、夜间雨天、雾天夜间图像样本库；
三、实时图像分类
①工业摄像机I(4)，工业摄像机II(5)，工业摄像机III(6)，工业摄像机IV(19)分别实时采集船只或车辆前方、后方、左方、右方的周围环境图像；
②利用不利视觉环境图像感知分类器模块(8)分类，得到低能见度图像；
③利用低能见度环境图像感知高斯混合模型GMM分类器和低能见度环境图像支持向量机SVM分类器分别对处理后的昏黄雾天、夜间雨天、雾天夜间图像分类，并将低能见度图像高斯混合模型GMM分类器分类出的雾天夜间图像与支持向量机SVM分类器分类出的雾天夜间图像取并集，分别得到低能见度环境昏黄雾天图像、夜间雨天图像、雾天夜间图像。
四、制定置信度评价标准
置信度评价标准采用基于L2范数的相对错误评价标准，该标准是将得到的实时道路图像与图像样本库中道路图像样本的对应像素值相减，并对所得的差值求平方和，然后再对结果求平方根；用得到的平方根值除以图像像素总数，得到平均误差值；取阈值为0.5，平均误差值小于0.5，则实时图像为道路图像。
3.基于多传感器海上道路复杂环境能见度优化屏幕显示方法，其特征是：所述步骤二昏黄雾天低能见度海上道路图像恢复模型的建立包括以下步骤，
①将原始的昏黄雾天图像分解为RGB三个颜色通道，Retinex算法模型，形式为：
Ii(x,y)＝Ri(x,y)*Li(x,y)；
其中，Ii(x,y)表示待增强的低能见度夜间道路图像分布函数，即实际采集图像在(x,y)点的图像灰度，Li(x,y)代表入射光分量，Ri(x,y)代表反射光分量，*是卷积算子，i表示第i个颜色通道(i取值为1、2、3)；
②将每个通道的图像进行对数转换，转换到对数域进行处理，为求取入射光分量，采用对数变换法，得出：
logIi(x,y)＝logRi(x,y)+logLi(x,y)；
③采用环绕函数与原图像的卷积改善原图像的亮度，环绕函数形式如下：
F(x,y)＝keps-(x2+y2)/c2；
其中，k为归一化因子，环绕函数服从∫∫F(x,y)dxdy＝1，c为尺度参数，c取值决定最终SSR算法的增强效果，
④输入高斯模型的尺度大小c，尺度参数c取值为110，合并三个颜色通道，采用增强算法进行增强后的输出图像形式如下：
R'i(x,y)＝logIi(x,y)-log(Ii(x,y)*F(x,y))；
⑤昏黄雾天图像批量信息恢复
步骤①～④为单幅昏黄雾天道路图像增强过程，视频序列的昏黄雾天图像信息恢复为摄像机实时采集的视频每隔60帧，对昏黄雾天单帧图像进行一次信息恢复处理；
⑥将信息恢复前后同一内容的图像对比，以每一行灰度值连续下降间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，获得出图像所有行灰度变化率的均值，该均值超过给定阈值，则再次进行图像信息恢复过程；该均值小于等于阈值，则完成清晰度评价，并将信息恢复后的清晰图像存入车载显示屏的缓存中。
4.基于多传感器海上道路复杂环境能见度优化屏幕显示方法，其特征是：所述步骤三夜间雨天低能见度海上道路图像增强模型的建立包括以下步骤，
①前期转换过程：McCann99算法使用图像金字塔的方式逐层选取像素，对图像进行下采样，最顶层的图像分辨率最低，底层的最高，将原图像变换到对数域，彩色图像对各通道都进行对数变换，由于原图三通道灰度值范围在[0,255]之间，需要经log对数转换到[0,1]范围，假设原图大小为rows·2n×cols·2n，金字塔层数为n，金字塔顶层大小为rows×cols，其中[rows,cols]∈[1,5]；
②像素比较过程：初始化常数图像矩阵R0(x，y)，从顶层开始让每一个像素点与其8个相邻的像素进行比较，估计反射率分量R，前一层计算结束之后对估计的反射率分量进行插值运算，即第n层运算结束后对第n层的运算结果Rn(x，y)进行插值，变成原来的两倍，与n+1层大小相同，使上一层估计的结果R的图像与金字塔下一层图像尺寸相同，并再一次进行相同的比较运算；最终，对金字塔最底层原始图像进行8邻域的比较结束后就能得到最终的结果Rm(x，y)，即增强后的图像；
③转换输出过程：将增强后获得的图像，经指数函数转换回灰度值在[0,255]之间，输出增强后的图像；
④夜间雨天图像批量增强
所述步骤①～③为单幅图像的增强过程，视频序列的夜间雨天图像信息增强为摄像机实时采集的视频每隔60帧，对夜间雨天单帧图像进行一次增强处理；
⑤将夜间雨天图像增强前后同一内容的图像对比，以每一行灰度值连续上升间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，获得出图像所有行灰度变化率的均值，该均值小于等于阈值，则再次进行夜间雨天图像增强过程；该均值超过给定阈值，则完成夜间增强质量评价，并将增强后的清晰图像存入车载显示屏的缓存中。
5.基于多传感器海上道路复杂环境能见度优化屏幕显示方法，其特征是：所述步骤四雾天夜间低能见度海上道路图像增强模型的建立包括以下步骤，
①首先进行颜色空间转换，将RGB颜色空间转换到LMS颜色空间，公式如下所示：
Figure FDA0002761944280000061
②颜色空间的数据存在分散倾向，因此分别对LMS空间取对数，限制转换数据范围，进而转换到lαβ颜色空间，形式如下所示：
Figure FDA0002761944280000071
Figure FDA0002761944280000072
其中，正交基的均匀色彩空间lαβ中，l表示亮度分量，色度分量α表示黄一蓝通道，色度分量β表示红一绿通道；
③分别对目标图像和源图像的lαβ每个通道，每行对图像的每一个像素进行计算求平均，用每行的和除以宽度
Figure FDA0002761944280000073
Figure FDA0002761944280000074
Figure FDA0002761944280000075
其中，w表示图像列向量,即图像宽度，w＝0,1,2,…W
④上述公式除以高度，得到全局平均值，计算全局均值和方差：均值和标准差共6个值，lαβ每个通道，计算完所有行除宽度的值的和后，将两图像RGB转换为LAB颜色模型，使目标图像和源图像在lαβ空间有相同的均值和方差，均值方差形式如下：
Figure FDA0002761944280000076
Figure FDA0002761944280000077
Figure FDA0002761944280000078
Figure FDA0002761944280000081
Figure FDA0002761944280000082
Figure FDA0002761944280000083
⑤源图像l空间的数据减去源图像的均值，将数据按比例缩放，经变换后在加上三通道的均值
Figure FDA0002761944280000084
Figure FDA0002761944280000085
Figure FDA0002761944280000086
其中，
Figure FDA0002761944280000087
表示源图像l空间的数据减去源图像的均值。σl dst/σl src表示缩放比例，其为目标图像与源图像方差的比值，
Figure FDA0002761944280000088
表示目标图像的l空间的平均值。
⑥将结果图像lαβ转换为RGB获得输出的图像，形式如下：
Figure FDA0002761944280000089
Figure FDA00027619442800000810
Figure FDA00027619442800000811
⑦雾天夜间图像批量信息恢复
所述步骤①～⑥基于颜色迁移的雾天夜间图像信息恢复算法为单幅图像处理方法，视频序列的雾天夜间图像信息恢复为摄像机实时采集的视频每隔60帧，对雾天夜间单帧图像进行一次信息恢复处理；
⑧将雾天夜间图像信息恢复前后同一内容的图像对比，以每一行灰度值连续上升间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，获得出图像所有行灰度变化率的均值，该均值超过给定阈值，则再次进行雾天夜间图像信息恢复过程；该均值小于等于阈值，则完成雾天夜间信息恢复质量评价，并将信息恢复后的清晰图像存入车载显示屏的缓存中。
CN202011220770.9A 2020-11-05 2020-11-05 基于多传感器海上道路复杂环境能见度优化屏幕显示方法 Withdrawn CN112308799A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011220770.9A CN112308799A (zh) 2020-11-05 2020-11-05 基于多传感器海上道路复杂环境能见度优化屏幕显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011220770.9A CN112308799A (zh) 2020-11-05 2020-11-05 基于多传感器海上道路复杂环境能见度优化屏幕显示方法

Publications (1)

Publication Number Publication Date
CN112308799A true CN112308799A (zh) 2021-02-02

Family

ID=74324996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011220770.9A Withdrawn CN112308799A (zh) 2020-11-05 2020-11-05 基于多传感器海上道路复杂环境能见度优化屏幕显示方法

Country Status (1)

Country Link
CN (1) CN112308799A (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907485A (zh) * 2021-03-18 2021-06-04 国家海洋信息中心 一种基于lαβ空间色彩映射的遥感影像批量调色方法
CN113255644A (zh) * 2021-05-10 2021-08-13 青岛海信移动通信技术股份有限公司 显示设备及其图像识别方法
CN113408415A (zh) * 2021-06-18 2021-09-17 中国民用航空大连空中交通管理站 基于图像识别技术机场能见度与跑道视程的探测与显示***
CN113792793A (zh) * 2021-09-15 2021-12-14 河北雄安京德高速公路有限公司 一种不良气象环境下道路视频监测提升方法
CN114152253A (zh) * 2021-12-06 2022-03-08 华东师范大学 基于深度学习和大数据的全天候徒步旅行辅助***及方法
CN114399495A (zh) * 2022-01-14 2022-04-26 平安普惠企业管理有限公司 图像清晰度的计算方法、装置、设备及存储介质
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
CN117392009A (zh) * 2023-12-06 2024-01-12 国网山东省电力公司淄博供电公司 图像自动透雾处理方法、***、终端及存储介质
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
WO2024051997A1 (en) * 2022-09-08 2024-03-14 Arriver Software Ab Image sensor with red-clear-clear-green (rccg) color filter array (cfa) for vehicle sensing applications
CN117764993A (zh) * 2024-02-22 2024-03-26 上海科泽智慧环境科技有限公司 一种基于图像分析的水质在线监测***及方法
CN117953445A (zh) * 2024-03-26 2024-04-30 南京大学 基于交通监控相机雨天道路能见度测定方法、***及介质
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12020476B2 (en) 2017-03-23 2024-06-25 Tesla, Inc. Data synthesis for autonomous control systems
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11797304B2 (en) 2018-02-01 2023-10-24 Tesla, Inc. Instruction set architecture for a vector computational unit
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11983630B2 (en) 2018-09-03 2024-05-14 Tesla, Inc. Neural networks for embedded devices
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11908171B2 (en) 2018-12-04 2024-02-20 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
CN112907485A (zh) * 2021-03-18 2021-06-04 国家海洋信息中心 一种基于lαβ空间色彩映射的遥感影像批量调色方法
CN113255644A (zh) * 2021-05-10 2021-08-13 青岛海信移动通信技术股份有限公司 显示设备及其图像识别方法
CN113408415B (zh) * 2021-06-18 2024-02-02 中国民用航空大连空中交通管理站 基于图像识别技术机场能见度与跑道视程的探测与显示方法
CN113408415A (zh) * 2021-06-18 2021-09-17 中国民用航空大连空中交通管理站 基于图像识别技术机场能见度与跑道视程的探测与显示***
CN113792793A (zh) * 2021-09-15 2021-12-14 河北雄安京德高速公路有限公司 一种不良气象环境下道路视频监测提升方法
CN113792793B (zh) * 2021-09-15 2024-01-23 河北雄安京德高速公路有限公司 一种不良气象环境下道路视频监测提升方法
CN114152253A (zh) * 2021-12-06 2022-03-08 华东师范大学 基于深度学习和大数据的全天候徒步旅行辅助***及方法
CN114152253B (zh) * 2021-12-06 2024-05-17 华东师范大学 基于深度学习和大数据的全天候徒步旅行辅助***及方法
CN114399495A (zh) * 2022-01-14 2022-04-26 平安普惠企业管理有限公司 图像清晰度的计算方法、装置、设备及存储介质
WO2024051997A1 (en) * 2022-09-08 2024-03-14 Arriver Software Ab Image sensor with red-clear-clear-green (rccg) color filter array (cfa) for vehicle sensing applications
CN117392009B (zh) * 2023-12-06 2024-03-19 国网山东省电力公司淄博供电公司 图像自动透雾处理方法、***、终端及存储介质
CN117392009A (zh) * 2023-12-06 2024-01-12 国网山东省电力公司淄博供电公司 图像自动透雾处理方法、***、终端及存储介质
CN117764993B (zh) * 2024-02-22 2024-04-23 上海科泽智慧环境科技有限公司 一种基于图像分析的水质在线监测***及方法
CN117764993A (zh) * 2024-02-22 2024-03-26 上海科泽智慧环境科技有限公司 一种基于图像分析的水质在线监测***及方法
CN117953445A (zh) * 2024-03-26 2024-04-30 南京大学 基于交通监控相机雨天道路能见度测定方法、***及介质
CN117953445B (zh) * 2024-03-26 2024-05-28 南京大学 基于交通监控相机雨天道路能见度测定方法、***及介质

Similar Documents

Publication Publication Date Title
CN112308799A (zh) 基于多传感器海上道路复杂环境能见度优化屏幕显示方法
US11386673B2 (en) Brake light detection
US11195258B2 (en) Device and method for automatic image enhancement in vehicles
CN111626290B (zh) 一种复杂海面环境下的红外舰船目标检测识别方法
US10037597B2 (en) Image inpainting system and method for using the same
US9384401B2 (en) Method for fog detection
CN105512623A (zh) 基于多传感器雾天行车视觉增强与能见度预警***及方法
CN109409186B (zh) 用于对象检测和通知的驾驶员辅助***和方法
CN112287861A (zh) 基于夜间环境感知的道路信息增强与驾驶预警方法
CN110781718B (zh) 一种驾驶室红外视觉***及驾驶员注意力分析方法
CN106407951B (zh) 一种基于单目视觉的夜间前方车辆检测方法
CN104766071A (zh) 一种应用于无人驾驶汽车的交通灯快速检测算法
CN110060221B (zh) 一种基于无人机航拍图像的桥梁车辆检测方法
CN105893970A (zh) 基于亮度方差特征的夜间道路车辆检测方法
JP6847709B2 (ja) カメラ装置、検出装置、検出システムおよび移動体
JP6789151B2 (ja) カメラ装置、検出装置、検出システムおよび移動体
CN112330559B (zh) 恶劣雾天道路图像信息恢复及车道保持预警方法
CN111062231B (zh) 车辆侦测方法、基于光强度动态的夜间车辆侦测方法及其***
Zheng et al. Research on environmental feature recognition algorithm of emergency braking system for autonomous vehicles
CN109190577B (zh) 一种结合头枕和人脸特征的出租车副驾座异常的图像信号检测方法
Hautière et al. Free Space Detection for Autonomous Navigation in Daytime Foggy Weather.
CN113792793B (zh) 一种不良气象环境下道路视频监测提升方法
CN117994625B (zh) 基于毫米波雷达的特征融合能见度评估方法及***
CN114494063A (zh) 一种基于生物视觉机制的夜间交通图像增强方法
CN112329622A (zh) 夜间能见度检测与能见度等级划分预警方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210202

WW01 Invention patent application withdrawn after publication