CN111428752B - 一种基于红外图像的能见度检测方法 - Google Patents
一种基于红外图像的能见度检测方法 Download PDFInfo
- Publication number
- CN111428752B CN111428752B CN202010115517.0A CN202010115517A CN111428752B CN 111428752 B CN111428752 B CN 111428752B CN 202010115517 A CN202010115517 A CN 202010115517A CN 111428752 B CN111428752 B CN 111428752B
- Authority
- CN
- China
- Prior art keywords
- visibility
- layer
- infrared image
- infrared
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 claims abstract description 4
- 238000011176 pooling Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000013178 mathematical model Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 abstract description 7
- 238000012360 testing method Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013097 stability assessment Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于红外图像的能见度检测方法,包括如下步骤:步骤1)利用红外摄像机采集红外图像作为“能见度检测网络模型”的输入图像信号,并且建立红外图像能见度训练数据集;步骤2)建立“能见度检测网络模型”,利用红外图像数据集训练网络,获取神经网络权值参数;步骤3)利用训练完毕的“能见度检测网络模型”对待测的红外图像的能见度等级进行分类。采用本发明方法,能够有效地利用卷积神经网络提取浓雾天气下的红外图像特征,克服传统可见光图像在浓雾条件下纹理特征消失的问题,进而显著提高不同程度雾霾天气下能见度检测的准确性与稳定性。
Description
技术领域
本发明涉及基于图像/视频的能见度等级分类、检测技术,尤其涉及一种利用红外图像作为输入信号,通过深度卷积神经网络提取不同天气条件下的红外图像特征,进而对能见度等级进行分类和检测的方法。
背景技术
雾、霾等恶劣天气是严重影响道路行车安全的因素,每年由低能见度原因造成的交通拥塞甚至恶性事故频频发生,据统计发生在恶劣天气下的交通事故占总交通事故的24%。因此,及时、准确、有效地对雾天道路能见度进行监测和预警意义重大。传统的能见度监测仪器价格昂贵,体积较大,且无法密集布设。因此,研究基于图像处理的能见度检测算法已成为一种新的主流方向。
目前,常见的基于图像的能见度检测方法可以归为两类:第一类,基于统计模型的能见度检测方法,如“双亮度差法”:在图像中寻找距离不同的两个目标,然后通过目标与背景的相对亮度比估计能见度值。该方法需要设置人工辅助目标物,操作复杂。再如“暗通道法”:利用暗通道先验知识求取大气消光系数,在利用韦伯定律求取大气能见度。该方法精度较低,且受到ROI区域检测效果影响较大。第二类,基于深度学习的能见度检测方法,如“CNN+RGB法”:利用卷积神经网络,对输入可见光彩色图像的能见度等级进行分类,该方法性能受到训练样本的质量和数量的影响。
综上所述,现有基于图像的能见度检测方法仅仅局限于面向可见光彩色图像的研究,即通过可见光彩色图像的内容和色彩信息估计能见度的等级、或者能见度距离。然而,在低能见度条件下(浓雾,或重霾)可见光图像的R、G、B通道均表现为模糊一片,有效的纹理特征全部消失,因此,对于重度雾霾天气图像的能见度估计造成一定的影响。
发明内容
发明目的:为了解决上述问题,本发明的主要目的在于提供一种基于红外图像的能见度检测方法,其先进性表现为:一、红外图像由于其成像原理不同,对不同程度的雾霾天气表现出的图像特征显著不同,因此,相对于可见光图像可以提供更加丰富而有效的特征信息。二、通过设计卷积神经网络结构,可以有效地将红外图像在不同天气下的特征进行有效地提取,能够显著提高能见度的检测准确度和稳定性。
技术方案:为达到上述目的,本发明的技术方案是:一种基于红外图像的能见度检测方法,该方法包括:
步骤1)利用红外摄像机采集红外图像作为“能见度检测网络模型”的输入图像信号,并且建立红外图像能见度训练数据集;
所述的步骤1)的具体内容为:
首先,在红外摄像头的旁边同时放置能见度检测仪,采集数据时,同时保存红外图像IIR(t)和记录相对应的能见度值Vis(t);
其次,将红外摄像机采集的N张图像命名并组成红外图像数据集合SIR={IIR(t),t∈[1,N]};同时,利用相对应的能见度值Vis(t)进行标注;
再次,将图像集合SIR根据其标注的能见度Vis(t)的范围分成M类:SIR={S′IR(j),j∈[1,M]},其中,S′IR(j)为第j类能见度的红外图像子集合;同时,制作S′IR(j)子集合对应种类的标签yj=j,j∈[1,M];
最后,获得能见度检测数据集合,包括图像SIR={S′IR(j),j∈[1,M]}和对应的标签集合YIR={yj,j∈[1,M]};
步骤2)建立“能见度检测网络模型”,利用红外图像数据集训练网络,获取神经网络权值参数;
步骤3)利用训练完毕的“能见度检测网络模型”对待测的红外图像的能见度等级进行分类;
根据步骤1)所述预处理内容,将待测红外图像归一化为227x227x3。然后,将其作为“能见度检测网络模型”输入;经过特征提取网络的特征提取后,4096维度的特征向量送入softmax层获取各个能见度的等级的概率。
进一步的,所述的步骤2)的具体内容为:
本发明提出的能见度检测网络模型共有14层,分别是输入层(227x227x3)、卷积层1(96个11x11卷积核)、最大池化层1(3x3)、卷积层2(256个5x5卷积核)、最大池化层2(3x3)、卷积层3(384个3x3卷积核)、卷积层4(384个3x3卷积核)、卷积层5(256个3x3卷积核)、最大池化层3(3x3)、全连接层1(4096维)、dropout层1(4096维)、全连接层2(4096维)、dropout层2(4096维)、softmax输出层(M)。M为能见度检测的等级。
网络训练过程如下:将红外训练图像集合SIR中的图像IIR利用imresize函数改变为分辨率为227x227x3的灰度图像作为“能见度检测网络模型”的输入信号;将对应的标签y作为训练的输出值;然后,利用“梯度下降法”求取“能见度检测网络模型”中的每个权值;训练结束后,保存权值矩阵作为“能见度检测网络模型”的数学模型。
有益效果:采用本发明方法,能够有效利用红外图像的特征,显著提高重度雾霾条件下的卷积神经网络能见度检测的准确性和稳定性。
附图说明
图1为本发明能见度检测方法的流程图;
图2为不同天气情况下能见度检测红外、可见光测试图像实例;
图3为本发明提出的“能见度检测网络模型”结构的示意图;
图4为本发明的方法与传统可见光图像结合深度学习方法在小样本条件下能见度检测的准确性比较结果实例。
具体实施方式
下面结合本发明所提供的附图对本发明的技术作进一步说明:
如图1所示,一种基于红外图像的能见度检测方法,包括如下步骤:
步骤1:利用红外摄像机采集红外图像作为“能见度检测网络模型”的输入图像信号,并且建立红外图像能见度训练数据集;的具体内容为:
首先,在红外摄像头的旁边同时放置能见度检测仪,采集数据时,同时保存红外图像IIR(t)和记录相对应的能见度值Vis(t)。其次,将红外摄像机采集的N张图像命名并组成红外图像数据集合SIR={IIR(t),t∈[1,N]}。同时,利用相对应的能见度值Vis(t)进行标注。再次,将图像集合SIR根据其标注的能见度Vis(t)的范围分成M类:SIR={S′IR(j),j∈[1,M]},其中,S′IR(j)为第j类能见度的红外图像子集合。同时,制作S′IR(j)子集合对应种类的标签yj=j,j∈[1,M]。最后,获得能见度检测数据集合,包括图像SIR={S′IR(j),j∈[1,M]}和对应的标签集合YIR={yj,j∈[1,M]}。
步骤2:建立“能见度检测网络模型”,利用红外图像数据集训练网络,获取神经网络权值参数;的具体内容为:
本发明提出的能见度检测网络模型共有14层,分别是输入层(227x227x3)、卷积层1(96个11x11卷积核)、最大池化层1(3x3)、卷积层2(256个5x5卷积核)、最大池化层2(3x3)、卷积层3(384个3x3卷积核)、卷积层4(384个3x3卷积核)、卷积层5(256个3x3卷积核)、最大池化层3(3x3)、全连接层1(4096维)、dropout层1(4096维)、全连接层2(4096维)、dropout层2(4096维)、softmax输出层(M)。M为能见度检测的等级。
网络训练过程如下:将红外训练图像集合SIR中的图像IIR利用imresize函数改变为分辨率为227x227x3的灰度图像作为“能见度检测网络模型”的输入信号;将对应的标签y作为训练的输出值。然后,利用“梯度下降法”求取“能见度检测网络模型”中的每个权值。训练结束后,保存权值矩阵作为“能见度检测网络模型”的数学模型。
步骤3:利用训练完毕的“能见度检测网络模型”对待测的红外图像的能见度等级进行分类;的具体内容为:
根据步骤1)所述预处理内容,将待测红外图像归一化为227x227x3。然后,将其作为“能见度检测网络模型”输入;经过特征提取网络的特征提取后,4096维度的特征向量送入softmax层获取各个能见度的等级的概率。
下面结合具体示例对本发明的技术方案作进一步详细说明。
实例1
实验小样本数据如图3所示:7类能见度等级,每个等级200幅图像。其中,50%训练,50%测试。两种比较方法:可见光图像+AlexNet、远红外图像+AlexNet、实验过程如下:AlexNet卷积神经网络结构如图2所示,训练时随机设置网络初始权值。两种方法5次随机训练、测试的结果如图4所示。两种方法5次训练测试结果的平均准确率及其方差如表1所示。
表1:小样本7类能见度等级测试准确性和稳定性评价
经过对比可以清楚的看出:本发明的方法平均准确率高达到82.3%,明显高于传统方法的77.1%,相反,本发明的方法检测浮动方差0.0008明显低于传统方法的0.003457。这说明本发明的能见度检测方法无论在准确性和稳定性上均明显优于传统基于可见光图像的能见度检测深度学习方法。其原因如下:传统方法中的可见光图像在重度雾霾条件下不能提供有效的纹理特征,而本发明提出的方法可以通过卷积神经网络从红外图像中提取不同程度雾霾天气的有效特征,从而显著提高能见度检测的性能。
本发明的技术内容及技术特征已揭示如上,然而熟悉本领域的技术人员仍可能基于本发明的揭示而作种种不背离本发明精神的替换及修饰,因此,本发明保护范围应不限于实施例所揭示的内容,而应包括各种不背离本发明的替换及修饰,并为本专利申请权利要求所涵盖。
Claims (1)
1.一种基于红外图像的能见度检测方法,其特征在于:包括如下步骤:步骤1)利用红外摄像机采集红外图像作为“能见度检测网络模型”的输入图像信号,并且建立红外图像能见度训练数据集;
首先,在红外摄像头的旁边同时放置能见度检测仪,采集数据时,同时保存红外图像IIR(t)和记录相对应的能见度值Vis(t);
其次,将红外摄像机采集的N张图像命名并组成红外图像数据集合SIR={IIR(t),t∈[1,N]};同时,利用相对应的能见度值Vis(t)进行标注;
再次,将图像集合SIR根据其标注的能见度Vis(t)的范围分成M类:SIR={SI′R(j),j∈[1,M]},其中,SI′R(j)为第j类能见度的红外图像子集合;同时,制作SI′R(j)子集合对应种类的标签yj=j,j∈[1,M];
最后,获得能见度检测数据集合,包括图像SIR={SI′R(j),j∈[1,M]}和对应的标签集合YIR={yj,j∈[1,M]};
步骤2)建立“能见度检测网络模型”,利用红外图像数据集训练网络,获取神经网络权值参数;
步骤3)利用训练完毕的“能见度检测网络模型”对待测的红外图像的能见度等级进行分类;
根据步骤1)预处理内容,将待测红外图像归一化为227x227x3,然后,将其作为“能见度检测网络模型”输入;经过特征提取网络的特征提取后,4096维度的特征向量送入softmax层获取各个能见度的等级的概率;
所述步骤2)的具体内容为:
所述的能见度检测网络模型共有14层,分别是输入层:227x227x3、卷积层1:96个11x11卷积核、最大池化层1:3x3、卷积层2:256个5x5卷积核、最大池化层2:3x3、卷积层3:384个3x3卷积核、卷积层4:384个3x3卷积核、卷积层5:256个3x3卷积核、最大池化层3:3x3、全连接层1:4096维、dropout层1:4096维、全连接层2:4096维、dropout层2:4096维、softmax输出层M;M为能见度检测的等级;
网络训练过程如下:将红外训练图像集合SIR中的图像IIR利用imresize函数改变为分辨率为227x227x3的灰度图像作为“能见度检测网络模型”的输入信号;将对应的标签y作为训练的输出值;然后,利用“梯度下降法”求取“能见度检测网络模型”中的每个权值;训练结束后,保存权值矩阵作为“能见度检测网络模型”的数学模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010115517.0A CN111428752B (zh) | 2020-02-25 | 2020-02-25 | 一种基于红外图像的能见度检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010115517.0A CN111428752B (zh) | 2020-02-25 | 2020-02-25 | 一种基于红外图像的能见度检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111428752A CN111428752A (zh) | 2020-07-17 |
CN111428752B true CN111428752B (zh) | 2023-10-31 |
Family
ID=71547223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010115517.0A Active CN111428752B (zh) | 2020-02-25 | 2020-02-25 | 一种基于红外图像的能见度检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111428752B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112017243B (zh) * | 2020-08-26 | 2024-05-03 | 大连信维科技有限公司 | 一种介质能见度识别方法 |
CN114563203B (zh) * | 2022-03-11 | 2023-08-15 | 中国煤炭科工集团太原研究院有限公司 | 一种模拟井下低能见度环境的方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9979934B1 (en) * | 2015-01-06 | 2018-05-22 | Rockwell Collins, Inc. | Automated weather sensing system and method using cameras |
CN109407177A (zh) * | 2018-10-16 | 2019-03-01 | 象谱信息产业有限公司 | 基于机器学习与常规气象观测的大雾识别***和应用方法 |
CN110619747A (zh) * | 2019-09-27 | 2019-12-27 | 山东奥邦交通设施工程有限公司 | 一种高速公路道路智能监控方法及*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2721662C (en) * | 2008-04-16 | 2016-06-07 | Elbit Systems Ltd. | Multispectral enhanced vision system and method for aircraft landing in inclement weather conditions |
-
2020
- 2020-02-25 CN CN202010115517.0A patent/CN111428752B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9979934B1 (en) * | 2015-01-06 | 2018-05-22 | Rockwell Collins, Inc. | Automated weather sensing system and method using cameras |
CN109407177A (zh) * | 2018-10-16 | 2019-03-01 | 象谱信息产业有限公司 | 基于机器学习与常规气象观测的大雾识别***和应用方法 |
CN110619747A (zh) * | 2019-09-27 | 2019-12-27 | 山东奥邦交通设施工程有限公司 | 一种高速公路道路智能监控方法及*** |
Non-Patent Citations (2)
Title |
---|
张伟康等.基于SBDART和BP的夜间雾遥感检测和能见度反演.《解放军理工大学学报(自然科学版)》.2014,第15卷(第2卷),第197-202页. * |
赵晓莉等.能见度自动观测仪与人工观测资料对比分析.计算技术与自动化.2013,第32卷(第04期),第138-141页. * |
Also Published As
Publication number | Publication date |
---|---|
CN111428752A (zh) | 2020-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106650731B (zh) | 一种鲁棒的车牌、车标识别方法 | |
CN110889398B (zh) | 一种基于相似度网络的多模态图像能见度检测方法 | |
CN109684922B (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
CN110910378B (zh) | 一种基于深度融合网络的双模态图像能见度检测方法 | |
CN109376591B (zh) | 深度学习特征与视觉特征联合训练的船只目标检测方法 | |
CN107122776A (zh) | 一种基于卷积神经网络的交通标志检测与识别方法 | |
CN111160249A (zh) | 基于跨尺度特征融合的光学遥感图像多类目标检测方法 | |
CN108009518A (zh) | 一种基于快速二分卷积神经网络的层次化交通标识识别方法 | |
CN109918971B (zh) | 监控视频中人数检测方法及装置 | |
CN106408030A (zh) | 基于中层语义属性和卷积神经网络的sar图像分类方法 | |
CN112818905B (zh) | 一种基于注意力和时空信息的有限像素车辆目标检测方法 | |
CN111428752B (zh) | 一种基于红外图像的能见度检测方法 | |
CN113435407B (zh) | 一种输电***的小目标识别方法及装置 | |
CN110598613A (zh) | 一种高速公路团雾监测方法 | |
CN108509950A (zh) | 基于概率特征加权融合的铁路接触网支柱号牌检测识别法 | |
CN111368742A (zh) | 基于视频分析的双黄交通标线的重建识别方法及*** | |
CN111105398A (zh) | 一种基于可见光图像数据的输电线路部件裂纹检测方法 | |
CN108596244A (zh) | 一种基于光谱角度密度峰值的高光谱图像标签噪声检测方法 | |
CN112884795A (zh) | 一种基于多特征显著性融合的输电线路巡检前景与背景分割方法 | |
CN112884741B (zh) | 一种基于图像相似性对比的印刷表观缺陷检测方法 | |
CN110765900B (zh) | 一种基于dssd的自动检测违章建筑方法及*** | |
CN110910497B (zh) | 实现增强现实地图的方法和*** | |
CN111832463A (zh) | 一种基于深度学习的交通标志检测方法 | |
CN112036246B (zh) | 遥感影像分类模型的构建方法,遥感影像分类方法及*** | |
CN111402223B (zh) | 一种利用变电站视频图像的变电站缺陷问题检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |