CN115456886A - 一种基于深度学习和光照模型的航空遥感影像阴影去除方法 - Google Patents
一种基于深度学习和光照模型的航空遥感影像阴影去除方法 Download PDFInfo
- Publication number
- CN115456886A CN115456886A CN202210956781.6A CN202210956781A CN115456886A CN 115456886 A CN115456886 A CN 115456886A CN 202210956781 A CN202210956781 A CN 202210956781A CN 115456886 A CN115456886 A CN 115456886A
- Authority
- CN
- China
- Prior art keywords
- shadow
- light intensity
- penumbra
- pixel
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000005286 illumination Methods 0.000 title claims abstract description 33
- 238000013135 deep learning Methods 0.000 title claims description 6
- 240000007509 Phytolacca dioica Species 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000011084 recovery Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 230000005855 radiation Effects 0.000 claims description 3
- 238000002310 reflectometry Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims 2
- 238000005530 etching Methods 0.000 claims 1
- 238000005457 optimization Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 235000005811 Viola adunca Nutrition 0.000 description 1
- 240000009038 Viola odorata Species 0.000 description 1
- 235000013487 Viola odorata Nutrition 0.000 description 1
- 235000002254 Viola papilionacea Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明属于遥感影像处理的应用技术领域，涉及一种航空遥感影像阴影去除方法，本发明还包括该航空遥感影像阴影去除方法的应用。本发明首先获取航空遥感影像阴影数据集，组合YCbCr空间的阴影指数与原始图像提升阴影特征；然后利用一个CGAN网络对阴影进行提取；接着基于阴影提取结果，改进了基于光照模型的阴影信息恢复与边缘优化方法，并最终实现航空遥感影像的阴影有效去除。本发明的方法提升了阴影检测精度，有效的实现半影补偿同时提升了本影补偿精度，可以高效去除大尺度高分辨遥感影像的阴影。
Description
技术领域
本发明属于遥感影像处理的应用技术领域，涉及一种航空遥感影像阴影去除方法，本发明还包括该方法的应用。
背景技术
当光线被地面上的物体(如建筑物、高架构筑物、植被)遮挡时，物体的侧面和地面就会形成阴影。阴影在遥感图像中很常见，会造成信息丢失，尤其在建筑物密集的城市地区。如果能够准确提取阴影，阴影信息不仅可以用于建筑物的3D重建，还可以作为阴影恢复的重要信息来源。此外，阴影区域的准确信息恢复能够极大地促进遥感图像的进一步应用，特别是在城市遥感的地物分类和信息反演方面。
阴影提取的相关的方法可主要分为基于模型的方法、基于特征的方法和机器学习方法：
(1)基于模型的方法通常需要许多先决条件，包括传感器参数、太阳高度和方位角，才能确定阴影的位，其中最常用的是数字表面模型。然而，这些先决条件往往难以获得，因此这类方法并不适合大多数阴影检测场景。
(2)基于特征的方法涉及特征分类和分割，但这类方法的鲁棒性不高，在不同数据上的应用差异大。
(3)机器学习方法在过去几年取得了较大进展，在阴影提取领域也得到了广泛的应用。但目前的数据集大多基于单阴影场景，不太适用于复杂背景下的大尺度遥感图像。此外，已开发的网络在发现更多隐藏特征和提取精细阴影方面需要改进。
对于阴影信息补偿，传统方法大多是基于单个阴影的信息恢复，首先将阴影和非阴影区分开来，通过数学和物理模型从非阴影区域补偿阴影区域的信息，可分为传统阴影信息补偿方法，包括梯度校正法，直方图均衡法，线性相关校正法，以及机器学习相关方法：
(1)梯度校正通过计算从非阴影区域到阴影区域的梯度变化来修正阴影区域的梯信息。
(2)直方图均衡法通过将非阴影区域的直方图信息均衡到阴影区域来补偿阴影。
(3)线性相关校正法应用线性相关函数来重建阴影区域，并根据相应的非阴影区域的统计特征，通过调整阴影像素的强度来补偿阴影区域。
但是传统阴影补偿大部分仅适用于简单的单阴影影像，对复杂场景的大尺度遥感影像难以应用，且在信息补偿时往往将阴影边缘与阴影做同等处理，导致阴影边缘过渡补偿。
(4)机器学习方法，模型具有很强的泛化能力，可以通过迁移学习在多个场景中进行阴影信息恢复。但由于遥感影像无法获得阴影/无阴影影像对作为数据集，目前基于机器学习的阴影补偿方法还未能在遥感影像上得到有效应用。
综上所述，目前遥感影像的阴影提取与信息补偿方法仍存在不足，特别是大尺度遥感影像的阴影有效补偿，仍处于研究初期。
发明内容
本发明要解决的技术问题是航空遥感影像受到阴影影响严重，已有阴影提取方法对细小和复杂背景的阴影提取效果有限，且目前阴影信息补偿方法对大尺度遥感影像不适用。
为了解决上述技术问题，本发明提供了一种基于深度学习和光照模型的遥感影像阴影去除方法，包括如下步骤：
(1)数据集准备：获取航空影像阴影数据集，包括原始包含阴影的影像和人工绘制的阴影掩膜，然后将原始影像从RGB空间转换到YCbCr空间，并在此空间计算阴影指数SI以增强阴影的特征，将SI与原始影像结合构成网络的输入数据。
(2)基于步骤(1)制作的数据集，使用CGAN网络来训练生成提取阴影。
(3)对于步骤(2)生成的提取阴影，统计阴影影像半影所占像元宽度，利用形态学处理方法生成的提取阴影划分本影、半影和非阴影。
(4)分离本影区域和非阴影区域，在光照模型基础上，采用一种修正的直射光强和环境光强比值法对提取阴影区域进行信息补偿。
(5)对于步骤(3)获得的半影区域，以单像元宽度作为步长，在半影范围内，计算单像元宽度内环直射光强与环境光强比值，利用一种动态比值法对半影区域进行信息补偿。
优选的，获取航空影像阴影数据集包括通过航空影像采集设备获取或者收集航空影像电子数据获取的航空影像阴影数据。
优选的，步骤(1)数据集预处理包括：
(1)获取航空影像阴影数据集，包含阴影和阴影掩膜影像对，将阴影影像从RGB空间转化到YCbCr空间，所述YCbCr空间的定义如下：
式中，Y为亮度分量，Cb和Cr为蓝差和红差色度分量，相当于HSI空间中的强度(Intensity，I)、饱和度(Saturation，S)和色度(Hue，H)，HIS由三者英文名称缩写构成。
(2)将YCbCr空间中的阴影通过阴影指数(shadow index,SI)进行增强，所述SI的具体定义如下：
(3)将SI与原始阴影影像组合成四波段的影像作为预处理后的数据集
优选的，步骤(2)使用CGAN网络来训练生成提取阴影：
优选的，所述CGAN网络包括生成器G和鉴别器D，其中G用于生成与参考阴影掩膜接近的影像，D用于区分生成的提取阴影与参考阴影掩膜的差异。
所述CGAN网络的目标函数：
式中，原始阴影影像c1和阴影指数c2组成的约束条件c(c1，c2)为CGAN网络的输入，生成提取阴影为
x为生成提取阴影对应的参考阴影掩膜。
优选的，所述CGAN网络的损失函数为L1 loss。
优选的，步骤(3)利用生成的提取阴影划分本影、半影和非阴影。
根据光照条件不同，阴影可以分为本影和半影。本影由太阳直射光强被完全遮挡产生，而半影由太阳直射光强被部分遮挡形成。半影一般位于阴影到非阴影的过渡地带，从本影区到非阴影区域，太阳直射光强逐渐增加，阴影强度逐渐减弱。根据以上理论，统计半影的宽度可知半影一般在5个像元宽度范围内，所获得的提取阴影一般包含大部分半影，而小部分阴影强度过低的半影则不会被检测到。
对于步骤(2)获得的提取阴影Rmask，将其向内腐蚀3个像元的宽度，得到腐蚀后提取阴影Rumbra作为本影区域；将Rmask向外膨胀2个像元的宽度得到Rdilate，则半影Rpen定义为Rpen＝Rumbra∩Rdilate，非阴影区域Runshadow定位为，Runshadow＝1-Rdilate
优选的，步骤(4)采用一种修正的直射光强和环境光强比值法对提取阴影进行信息补偿。
优选的，根据图像形成理论，对于影像中任意一个像素点i的值Ii可表示为该像素点的光照强度Li与该点反射率Ri的乘积：I＝Li·Ri。
光照强度，以下简称光强，包括直接照度和环境照度，其中直接照度来自太阳直接辐射，环境光强来自天空散射。
优选的，阴影区域由环境光强和部分或无直接照度形成的，而非阴影区域由直接光强及环境光强组成。则任何像素的值i可以表示为：
式中，对于像素i，
为环境光强，
为直接光强，α为直接照度的衰减因子。其中，α＝1表示该像素位于非阴影区域；α＝0表示该像素位于本影中；α∈(0，1)表示该像素位于半影中。
根据公式(4)的理论，本影区域的信息补偿过程具体如下：
(1)分别计算波段b，b∈{R，G，B}本影区域和非阴影区域的均值
(2)计算各波段环境光强和直接光强的比值rb，公式如下：
(3)对于提取阴影Rmask区域的任意一个像素i，对其所在各波段进行信息补偿过程如下：
式中，
为提取阴影区域像素i在波段b补偿后的值，Rmask，i为本影区域素i在波段b的值。
优选的，步骤(5)利用一种动态比值法对半影区域进行信息补偿。
根据步骤(3)定义，半影区域为从本影到非阴影一个直射光强逐渐增强，阴影强度逐渐减弱的过渡地带，占据5个像元的宽度。
假设从本影到非阴影，直射光强以一个像元宽度为步长逐渐增强，即认为半影区域单步长范围内直射光强衰减的比例是一致的。因此，对于半影补偿，从本影到非阴影，以单个像元宽度作为最小处理单元，动态进行信息补偿。具体过程如下：
(1)将本影Rmask设为Rdilate，0，设step＝1，将Rdilate，0向外膨胀一个像元宽度得到Rdilate，step并与本影Rumbra做交集得到单像元宽度半影区域Rpen，step。
(2)分别计算波段b，b∈{R，G，B}半影区域和非阴影区域的均值
(3)计算各波段环境光强和直接光强的比值rb，公式如下：
(4)对于Rpen，step内的任意一个像素i，对其所在各波段进行信息补偿过程如下：
式中，
为Rpen，step内像素i在波段b补偿后的值，Rpen，step，i为该步长半影区域内像素i在波段b的值。
(5)step＝step+1，循环步骤(1)到步骤(4)，直到step＝5。
本发明的航空遥感影像阴影去除方法可以应用于对大尺度遥感影像去除阴影。所述的应用包括但不限于：
指导网络发现隐藏阴影特征，提升阴影检测精度；
在阴影信息补偿部分，使用基于光照强度比值法的阴影信息补偿方法，应用本影和非阴影区域值计算直射光强与环境光强比值，提升了本影补偿精度；
在半影补偿部分，使用动态比值法对半影区域进行信息恢复，通过计算本影区域每个像元步长范围内直射光强与环境光强的比值，实现半影补偿。
本发明优点在于：
(1)在阴影检测部分，将阴影影像转化到YCbCr空间，在此空间发展了阴影指数SI，在CGAN网络输入层加入SI，指导网络发现更多隐藏阴影特征，提升阴影检测精度。
(2)在阴影信息补偿部分，发展了一种修正的基于光照强度比值法的阴影信息补偿方法。区别于传统方法直接利用阴影检测结果计算直射光强与环境光强比值，此方法忽略了半影区域中包含的部分直射光强，从而导致阴影补偿比例偏低。本发明明确了本影、半影和非阴影的范围，应用本影和非阴影区域值计算直射光强与环境光强比值，提升了本影补偿精度。
(3)在半影补偿部分，发展了一种动态比值法对半影区域进行信息恢复，该方法设定从本影到非阴影区域，在每个像元步长范围内，直射光强的增加程度是一定的，进而通过计算本影区域每个像元步长范围内直射光强与环境光强的比值，最终实现半影补偿，通过实施例验证该方法可以有效补偿半影。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的每一幅附图针对本申请的部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是一种基于深度学习和光照模型的遥感影像阴影去除方法的流程图。
图2是从RGB空间转化到YCbCr空间以及SI指数对阴影增强效果示意图。
图3是本发明所用CGAN网络的生成器和鉴别器具体结构和参数。
图4是本发明半影补偿的计算过程示意图。
图5是本发明实施例阴影去除结果示意图，(a)为原始影像，(b)为阴影提取结果，(c)为提取阴影区域信息补偿结果，(d)为半影补偿结果。
具体实施方式
为了解决航空遥感影像受到阴影严重，已有阴影提取方法对细小和复杂背景的阴影提取效果有限，且目前阴影信息补偿方法对大尺度遥感影像不适用的问题。本发明提供了一种基于深度学习和光照模型的遥感影像阴影去除方法。本发明首先获取航空遥感影像阴影数据集，组合YCbCr空间的阴影指数与原始图像提升阴影特征；然后利用一个CGAN网络对阴影进行提取；接着基于阴影提取结果，改进了基于光照模型的阴影信息恢复与边缘优化方法，并最终实现航空遥感影像的阴影有效去除。本发明的方法可以实现大尺度高分辨遥感影像阴影的高效去除。
下面将通过本申请的实施例对技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分优选实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动所获得的所有其他实施例，都属于本申请的保护范围。
实施例1数据集预处理
(1)所获取航空影像阴影数据集来自网站：https://github.com/RSrscoder/AISD，包含阴影影像(包含R,G,B三个波段)和阴影掩膜(二值影像，阴影区域像素值为1，非阴影区域像素值为0)影像对，其中包含训练集412对，验证集51对，测试集51对。将数据集中所有阴影影像从RGB空间转化到YCbCr空间，所述YCbCr空间的定义如下：
式中，Y为亮度分量，Cb和Cr为蓝差和红差色度分量，相当于HSI空间中的强度(Intensity，I)、饱和度(Saturation，S)和色度(Hue，H)。与非阴影区域相比，阴影区域自太阳的电磁辐射被阻止，所以具有较低的强度I。同时，由于大气散射的瑞利效应，阴影区域蓝紫色波长短，饱和度S较高。因此，阴影区域像素具有较高的Cb和较低的Y。如图2所示，YCbCr空间中从(a)到(b)阴影区域变为绿色，这表明阴影区域Cb分量增强，Y显着减弱。
(2)将YCbCr空间中的阴影通过阴影指数(shadow index,SI)进行增强，所述SI的具体定义如下：
式中SI对阴影增强效果的示意图如图2(c)所示。
(3)将SI与原始阴影影像组合成数据对，将同时作为阴影提取网络的输入。
实施例2训练CGAN网络生成提取阴影
对于步骤(1)预处理完的数据集，筛选80％的数据作为训练集，剩余20％的数据作为测试集。所述CGAN网络由一个生成器G和一个鉴别器D构成，其中G用于生成与参考阴影掩膜接近的提取影像，D用于区分生成的提取阴影与参考阴影掩膜的差异。
所述CGAN网络的目标函数：
式中，原始阴影影像c1和阴影指数c2组成的约束条件c(c1，c2)为CGAN网络的输入，生成提取阴影为
x为生成提取阴影对应的参考阴影掩膜。所述CGAN网络的损失函数为L1 loss。
生成器和鉴别器各层的参数如图3(a)所示，图3(a)中的每个模块两端的宽箭头分别表示卷积层的输入通道和输出通道；×3表示该模块被执行了三次。虚线箭头表示反卷积层与卷积层的串联图3(b)中每个模块两端的宽箭头分别表示鉴别器卷积层的输入通道和输出通道。
该网络通过从标准差为0.2的零均值正态分布中采样来初始化阴影检测网络的所有权重。其它参数的设置如下，kernel size为4×4，stride为2，padding为1，optimizer为Adam，learning rate为0.0002，batch为40，训练次数为1000个epoch。该网络的训练基于PyTorch框架，在包含四个NVIDIARTX3090GPU的服务器集群上进行。
训练后，用训练得到的参数测试剩余20％的数据，得到测试集的阴影检测结果，此部分训练集和对应的阴影检测结果将应用于后续信息补偿的测试。
实施例3利用生成的提取阴影划分本影、半影和非阴影
根据光照条件不同阴影可以分为本影和半影。本影由太阳直射光强被完全遮挡产生，而半影由太阳直射光强被部分遮挡形成。半影一般位于阴影到非阴影的过渡地带，从本影区到非阴影区域，太阳直射光强逐渐增加，阴影强度逐渐减弱。根据以上理论，统计半影的宽度可知半影一般在5个像元宽度范围内，所获得的提取阴影一般包含大部分半影，而小部分阴影强度过低的半影则不会被检测到。
对于步骤(2)获得的提取阴影Rmask，将其向内腐蚀3个像元的宽度，得到腐蚀后提取阴影Rumbra作为本影区域；将Rmask向外膨胀2个像元的宽度得到Rdilate，则半影Rpen定义为Rpen＝Rumbra∩Rdilate，非阴影区域Runshadow定位以为，Runshadow＝1-Rdilate。
实施例4采用一种修正的直射光强和环境光强比值法对提取阴影进行信息补偿
根据图像形成理论，对于影像中任意一个像素点i的值Ii可表示为该像素点的光照强度Li与该点反射率Ri的乘积：I＝Li·Ri。光照强度，以下简称光强，包括直接照度和环境照度，其中直接照度来自太阳直接辐射，环境光强来自天空散射。阴影区域由环境光强和部分或无直接照度形成的，而非阴影区域由直接光强及环境光强组成。则任何像素的值i可以表示为：
式中，对于像素i，
为环境光强，
为直接光强，α为直接照度的衰减因子。其中，α＝1表示该像素位于非阴影区域；α＝0表示该像素位于本影中；α∈(0，1)表示该像素位于半影中。
根据公式(4)的理论，本影区域的信息补偿过程具体如下：
(4)分别计算波段b，b∈{R，G，B}本影区域和非阴影区域的均值
(5)计算各波段环境光强和直接光强的比值rb，公式如下：
(6)对于提取阴影Rmask区域的任意一个像素i，对其所在各波段进行信息补偿过程如下：
式中，
为提取阴影区域像素i在波段b补偿后的值，Rmask，i为本影区域素i在波段b的值。
实施例5利用一种动态比值法对半影区域进行信息补偿
根据步骤(3)定义，半影区域为从本影到非阴影一个直射光强逐渐增强，阴影强度逐渐减弱的过渡地带，占据5个像元的宽度。假设从本影到非阴影，直射光强以一个像元宽度为步长逐渐增强，即认为半影区域单步长范围内直射光强衰减的比例是一致的。因此，对于半影补偿，从本影到非阴影，以单个像元宽度作为最小处理单元，动态进行信息补偿，具体过程如下：
(1)将本影Rmask设为Rdilate，0，设step＝1，将Railate，0向外膨胀一个像元宽度得到Rdilate，step并与本影Rumbra做交集得到单像元宽度半影区域Rpen，step。
(2)分别计算波段b，b∈{R，G，B}半影区域和非阴影区域的均值
(3)计算各波段环境光强和直接光强的比值rb，公式如下：
(4)对于Rpen，step内的任意一个像素i，对其所在各波段进行信息补偿过程如下：
式中，
为Rpen，step内像素i在波段b补偿后的值，Rpen，step，i为该步长半影区域内像素i在波段b的值。
(5)step＝step+1，循环步骤(1)到步骤(4)，直到step＝5。
以上所述的实施例仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本领域技术的技术人员在本申请公开的技术范围内，可以不通过创造性劳动即能够联想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以本申请中权利要求的保护范围为准。
Claims (10)
1.一种航空遥感影像阴影去除方法，其特征在于，该航空遥感影像阴影去除方法基于基于深度学习和光照模型,包括以下步骤：
步骤1，数据集准备：获取航空影像阴影数据集，包含阴影的原始阴影影像和阴影掩膜；然后将原始影像从RGB空间转换到YCbCr空间，并在此空间计算阴影指数SI以增强阴影的特征，将SI与原始影像结合构成网络的输入数据；
步骤2，基于步骤1制作的数据集，使用CGAN网络来训练生成阴影提取结果；
步骤3，对于步骤2提取的阴影，统计阴影影像半影所占像元宽度，利用生成的提取阴影划分本影、半影和非阴影；
步骤4，分离本影区域和非阴影区域，在光照模型基础上，采用直射光强和环境光强比值法对提取阴影区域进行信息补偿；
步骤5，对于步骤3获得的半影区域，以单像元宽度作为步长，在半影范围内，计算单像元宽度内直射光强与环境光强比值，利用动态比值法对半影区域进行信息补偿。
2.根据权利要求1所述的航空遥感影像阴影去除方法，其特征在于，步骤1中获取航空影像阴影数据集，包括通过航空影像采集设备获取或者收集航空影像电子数据获取的航空影像阴影数据；
步骤1包括将阴影从RGB空间转化到YCbCr空间，并利用阴影指数SI对阴影特征进行增强，并将SI与原始影像一起组成网络的输入；或者包括以下步骤1.1-1.3：
步骤1.1，获取航空影像阴影数据集，其中包含阴影和阴影掩膜影像对，将阴影影像从RGB空间转化到YCbCr空间，所述YCbCr空间的定义如下：
其中，Y为亮度分量，Cb和Cr为蓝差和红差色度分量；
步骤1.2，将YCbCr空间中的阴影通过阴影指数SI进行增强，所述SI的具体定义如下：
步骤1.3，将SI与原始阴影影像组合成四波段的影像作为预处理后的数据集。
3.根据权利要求1所述的航空遥感影像阴影去除方法，其特征在于，步骤2中使用CGAN网络训练生成提取的阴影：
所述CGAN网络由生成器G和鉴别器D构成，其中G用于生成与参考阴影掩膜接近的阴影提取结果，D用于区分生成的提取阴影与参考阴影掩膜的差异；
所述CGAN网络的目标函数：
其中，原始阴影影像c1和阴影指数c2组成的约束条件c(c1,c2)为CGAN网络的输入，生成阴影为
x为生成提取阴影对应的参考阴影掩膜；
所述CGAN网络所用的损失函数为L1 loss。
4.根据权利要求1所述的航空遥感影像阴影去除方法，其特征在于，步骤3中应用形态学处理方法生成的提取阴影划分本影、半影和非阴影；或者
步骤3包括：
步骤3.1、对于步骤(2)获得的提取阴影Rmask，应用形态学处理方法将其向内腐蚀3个像元的宽度，得到腐蚀后提取阴影Rumbra作为本影区域；
步骤3.2、通过将Rmask向外膨胀2个像元的宽度得到Rdilate，再将Rdilate与本影取交集得到半影Rpen，优选为，Rpen＝Rumbra∩Rdilate；
步骤3.3、所示非阴影区域Runshadow由整个影像区域减去半影区域再减去本影区域得到，优选为，Runshadow＝1-Rdilate。
5.根据权利要求4所述的航空遥感影像阴影去除方法，其特征在于，根据光照条件不同，阴影分为本影和半影：本影由太阳直射光强被完全遮挡产生，而半影由太阳直射光强被部分遮挡形成；半影一般位于阴影到非阴影的过渡地带，从本影区到非阴影区域，太阳直射光强逐渐增加，阴影强度逐渐减弱；或者
半影在5个像元宽度范围内，所获得的提取阴影含大部分半影，而阴影强度过低的半影则不会被阴影检测方法检测到。
6.根据权利要求1所述的航空遥感影像阴影去除方法，其特征在于，步骤4采用一种修正的直射光强和环境光强比值法对提取阴影进行信息补偿；或者
步骤4包括：
对于影像中任意一个像素点i的值Ii表示为该像素点的光照强度Li与该点反射率Ri的乘积：I＝Li·Ri；
像素的值I表示为：
其中，对于像素i，
为环境光强，
为直接光强，α为直接照度的衰减因子；
α＝1表示该像素位于非阴影区域；
α＝0表示该像素位于本影中；
α∈(0,1)表示该像素位于半影中；
提取的阴影信息补偿过程具体如下：
步骤4.1，分别计算波段b，b∈{R,G,B}本影区域和非阴影区域的均值
步骤4.2，计算各波段环境光强和直接光强的比值rb，公式如下：
步骤4.3，对于提取阴影Rmask区域的任意一个像素i，对其所在各波段进行信息补偿过程如下：
其中，
为提取阴影区域像素i在波段b补偿后的值，Rmask,i为本影区域素i在波段b的值。
7.根据权利要求6所述的航空遥感影像阴影去除方法，其特征在于，光照强度或者光强，包括直接照度和环境照度，其中直接照度来自太阳直接辐射，环境光强来自天空散射；阴影区域由环境光强及部分或无直接光强形成，而非阴影区域由直接光强及环境光强组成。
8.根据权利要求1所述的航空遥感影像阴影去除方法，其特征在于，步骤5利用一种动态比值法对半影区域进行信息补偿；或者
步骤5包括：
对于半影补偿，从本影到非阴影，以单个像元宽度作为最小处理单元，动态进行信息补偿，具体过程如下：
步骤5.1，将本影Rmask设为Rdilate,0，设step＝1，将Rdilate,0向外膨胀一个像元宽度得到Rdilate,step并与本影Rumbra做交集得到单像元宽度半影区域Rpen,step；
步骤5.2，分别计算波段b，b∈{R,G,B}半影区域和非阴影区域的均值
步骤5.3，计算各波段环境光强和直接光强的比值rb，公式如下：
步骤5.4，对于Rpen,step内的任意一个像素i，对其所在各波段进行信息补偿过程如下：
式中，
为Rpen,step内像素i在波段b补偿后的值，Rpen,step,i为该步长半影区域内像素i在波段b的值；
步骤5.5，step＝step+1，循环步骤1到步骤4，直到step＝5。
9.权利要求1所述的航空遥感影像阴影去除方法的应用，其特征在于，所述的航空遥感影像阴影去除方法用于对大尺度遥感影像去除阴影。
10.根据权利要求9所述的应用，其特征在于，所述的应用包括但不限于：
指导网络发现隐藏阴影特征，提升阴影检测精度；
在阴影信息补偿部分，使用基于光照强度比值法的阴影信息补偿方法，应用本影和非阴影区域值计算直射光强与环境光强比值，提升了本影补偿精度；
在半影补偿部分，使用动态比值法对半影区域进行信息恢复，通过计算半影区域每个像元步长范围内直射光强与环境光强的比值，实现半影补偿。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210956781.6A CN115456886A (zh) | 2022-08-10 | 2022-08-10 | 一种基于深度学习和光照模型的航空遥感影像阴影去除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210956781.6A CN115456886A (zh) | 2022-08-10 | 2022-08-10 | 一种基于深度学习和光照模型的航空遥感影像阴影去除方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115456886A true CN115456886A (zh) | 2022-12-09 |
Family
ID=84298148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210956781.6A Pending CN115456886A (zh) | 2022-08-10 | 2022-08-10 | 一种基于深度学习和光照模型的航空遥感影像阴影去除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115456886A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117252789A (zh) * | 2023-11-10 | 2023-12-19 | 中国科学院空天信息创新研究院 | 高分辨率遥感影像阴影重建方法、装置及电子设备 |
-
2022
- 2022-08-10 CN CN202210956781.6A patent/CN115456886A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117252789A (zh) * | 2023-11-10 | 2023-12-19 | 中国科学院空天信息创新研究院 | 高分辨率遥感影像阴影重建方法、装置及电子设备 |
| CN117252789B (zh) * | 2023-11-10 | 2024-02-02 | 中国科学院空天信息创新研究院 | 高分辨率遥感影像阴影重建方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Single image dehazing based on the physical model and MSRCR algorithm | |
| Huang et al. | Building extraction from multi-source remote sensing images via deep deconvolution neural networks | |
| CN102622738B (zh) | 一种Landsat TM/ETM+图像中山体阴影区的光谱信息恢复方法 | |
| CN107358585B (zh) | 基于分数阶微分及暗原色先验的雾天图像增强方法 | |
| CN109978848B (zh) | 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法 | |
| CN107808138B (zh) | 一种基于FasterR-CNN的通信信号识别方法 | |
| CN114118144A (zh) | 抗干扰的航空遥感图像阴影精准检测方法 | |
| CN106294705A (zh) | 一种批量遥感影像预处理方法 | |
| CN109389569B (zh) | 基于改进DehazeNet的监控视频实时去雾方法 | |
| CN111626951B (zh) | 一种基于内容感知信息的图像阴影消除方法 | |
| CN112215085A (zh) | 一种基于孪生网络的输电走廊异物检测方法及*** | |
| CN114862698B (zh) | 一种基于通道引导的真实过曝光图像校正方法与装置 | |
| Kang et al. | Fog model-based hyperspectral image defogging | |
| CN112419196B (zh) | 一种基于深度学习的无人机遥感影像阴影去除方法 | |
| Attarzadeh et al. | Object-based building extraction from high resolution satellite imagery | |
| CN107506769A (zh) | 一种城市水体信息的提取方法及*** | |
| CN110852207A (zh) | 基于面向对象影像分类技术的蓝色屋顶建筑物提取方法 | |
| CN115205713A (zh) | 一种无人机遥感图像阴影区景物颜色与纹理细节恢复方法 | |
| CN111310566A (zh) | 一种静动态多特征融合的山火检测方法及*** | |
| CN106875407A (zh) | 一种结合形态学和标记控制的无人机影像林冠分割方法 | |
| CN115456886A (zh) | 一种基于深度学习和光照模型的航空遥感影像阴影去除方法 | |
| CN108711160A (zh) | 一种基于hsi增强性模型的目标分割方法 | |
| CN112883823A (zh) | 一种基于多源遥感数据融合的土地覆盖类别亚像素定位方法 | |
| CN116883303A (zh) | 基于特征差分补偿与融合的红外与可见光图像融合方法 | |
| CN115526795A (zh) | 一种基于区域匹配和颜色迁移的无人机图像阴影补偿方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |