CN115861833A - 一种基于双分支结构的实时遥感图像云检测方法 - Google Patents
一种基于双分支结构的实时遥感图像云检测方法 Download PDFInfo
- Publication number
- CN115861833A CN115861833A CN202211435047.1A CN202211435047A CN115861833A CN 115861833 A CN115861833 A CN 115861833A CN 202211435047 A CN202211435047 A CN 202211435047A CN 115861833 A CN115861833 A CN 115861833A
- Authority
- CN
- China
- Prior art keywords
- module
- image
- remote sensing
- output
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于双分支结构的实时遥感图像云检测方法，提出了以PyTorch组件基于编码器‑解码器的遥感图像云检测网络，在编码器中采用细节分支以及语义分支的双分支网络结构，同时提取细节和语义信息。在细节分支中使用了卷积因子分解和边缘损失，设计出了轻量化的云检测网络。之后对构建好的遥感图像云检测网络按照边缘损失和主要损失组成的总损失下降的方向进行训练，将训练好的遥感图像云检测网络从PyTorch组件格式转化为通用模型交换格式再转化为TensorRT引擎格式；将最优的遥感图像云检测网络进行加速部署，可以保证在部署环境中有足够的速度处理数据，达到任务的轻量化要求。
Description
技术领域
本发明属于图像处理和深度学习技术，具体涉及一种基于双分支结构的实时遥感图像云检测方法。
背景技术
随着遥感技术的飞速发展，遥感图像被广泛应用于各种领域。越来越多的遥感数据被用于农业、环境保护、城市发展、军事、土地变化监测、水文等。由于大气密度和云层变化对遥感过程的重要影响，大多数遥感图像遭遇不同程度的云污染。来自国际卫星云气候学项目的全球云数据显示，超过66％的地球表面区域经常被云覆盖，包括厚云和薄云。云造成的一些图像信息的衰减甚至丢失，不仅大大降低了遥感数据的质量和利用率，也给遥感图像的分析和应用带来了困难。厚云的下垫面无法从影像中得知，毫无疑问，遥感影像中云层覆盖的区域是无效信息。薄云虽然不能完全覆盖地面特征，但与下垫面混合时，仍然不能完全知道薄云下的地面特征，因此，薄云和厚云是同样的无效信息。为了提高遥感图像的可用性，在卫星图像可用于进一步分析之前，正确和有效地对云进行分类是至关重要的预处理步骤，在任何特定任务的遥感分析之前进行云检测是必不可少的。
目前遥感图像云检测较为常用方案是在深度学习基础上建立语义分割方法，从而根据语义分割方法对遥感图像云进行检测。在这些语义分割方法中较多常用方法如下：
FCN算法，FCN算法是图像语义分割算法开山之作，通过对全卷积神经网络进行端对端训练，将图像级的分类拓展到像素级分类，实现语义分割，之后再使用该算法进行遥感图像云检测；Deeplab算法，Deeplab算法通过在FCN网络中引入空洞卷积，扩大感受野，提取更多空间特征，丰富网络特征表达，但空洞卷积会导致云层部分细节信息丢失，影响局部一致性，使得遥感图像云检测的准确性下降；Unet算法，Unet算法使用跳跃连接将编码解码网络相连接，解决FCN算法生成掩膜粗糙的问题，使用基于主干网络预训练的Unet算法进行遥感云检测，利用迁移学习将不同类型图像共有特征属性迁移至遥感云检测的特征提取步骤，加强网络特征提取能力；Cloud-AttU算法，Cloud-AttU算法在Unet网络中添加空间注意力机制，通过跳跃层连接学习更有效的特征信息表达。
上述方案虽然都对语义分割准确性有所提升，但是在实时性上有所欠缺。而对于实时语义分割网络，许多研究人员设计出具有令人满意的分割精度的低延迟、高效率的CNN模型。例如，ENet使用ResNet作为主干来执行有效的推理。然而，在U形结构中，对高分辨率特征图的操作消耗大量时间。DFANet采用了轻量级主干来降低计算成本，并设计了跨层特征聚合模块来提高性能。DFNet利用“偏序剪枝”算法来获得轻量级主干和高效解码器。ICNet设计了多尺度图像级联，以实现良好的速度和精度的平衡。BiSeNet提出了一种附加的下采样路径，该路径在上采样之前与更精细分辨率的主网络融合。BiSeNetV2通过提供两个分支的更精细融合和来自中间层的额外预测头来扩展BiSeNet，以促进训练。但是这些方案聚焦在如何提升语义分割网络性能上，然而在实际应用中对实时遥感检测的实时性较差，实时检测的基本需求需要达到30FPS，因此如何对实时遥感图像进行快速检测，以达到实时性要求是亟待解决的技术问题。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于双分支结构的实时遥感图像云检测方法。本发明要解决的技术问题通过以下技术方案实现：
本发明提供的一种基于双分支结构的实时遥感图像云检测方法包括：
步骤1：从样本数据库中获取遥感四通道图像，并将所述遥感四通道图像处理为与计算机相匹配的数据格式，获得处理后的训练样本图像集；
步骤2：以PyTorch组件构建基于轻量化的遥感图像云检测网络；
其中，所述遥感云检测网络包括编码器以及解码器，所述编码器基于双分支结构构建的，所述编码器用于以分离卷积形式提取输入图像的细节信息，以双层金字塔按照不同的扩张率提取多尺度语义信息，并将细节信息以及多尺度语义信息按照多层融合，之后输入至解码器中；所述解码器用于执行每层融合结果进行上采样，以输出输入图像的云检测图像；
步骤3：利用所述训练样本图像集迭代训练所述遥感图像云检测网络，在训练过程中以边缘损失函数与真实损失组成的交叉熵损失作为总损失函数，以总损失函数下降的方向训练所述遥感图像云检测网络直至准确率达到条件，获得训练好的遥感图像云检测网络；
步骤4：将训练好的遥感图像云检测网络从PyTorch组件格式转化为通用模型交换格式，并将所述通用模型交换格式模型转化为TensorRT引擎格式；
步骤5：将TensorRT引擎格式的遥感图像检测网络部署到硬件上，并启动检测程序以实现对实时遥感图像云的检测。
本发明提供了一种基于双分支结构的实时遥感图像云检测方法，提出了以PyTorch组件基于编码器-解码器的遥感图像云检测网络，在编码器中采用细节分支以及语义分支的双分支网络结构，同时提取细节和语义信息。在细节分支中使用了卷积因子分解和边缘损失，设计出了轻量化的云检测网络。之后对构建好的遥感图像云检测网络按照边缘损失和主要损失组成的总损失下降的方向进行训练，将训练好的遥感图像云检测网络从PyTorch组件格式转化为通用模型交换格式再转化为TensorRT引擎格式；将最优的遥感图像云检测网络进行加速部署，可以保证在部署环境中有足够的速度处理数据，达到任务的轻量化要求。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于双分支结构的实时遥感图像云检测方法的流程示意图；
图2是本发明实施例提供的基于轻量化的遥感图像云检测网络的整体网络示意图；
图3是普通卷积与本发明的可分离卷积的对比图；
图4是本发明的特征融合模块FM的示意图；
图5是本发明包含标注遥感图像的云位置的输出图像。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
如图1所示，本发明提供的一种基于双分支结构的实时遥感图像云检测方法包括：
步骤1：从样本数据库中获取遥感四通道图像，并将所述遥感四通道图像处理为与计算机相匹配的数据格式，获得处理后的训练样本图像集；
本发明可以将遥感图像四通道图像进行数字化处理为计算机能够处理的数据格式，构建遥感图像云检测样本图像集。本发明在实际时可以采用GF-1WFV卫星图像数据集。该数据集包含108张带有像素级注释的图像，其中86张用于训练，另外22张用于测试。这些图像的尺寸约为17000×16000，包含三个可见波段和一个近红外(NIR)波段。在实验中所有的图像和注释图像都被裁剪成512×512的大小。同时，删除了训练集中所有只包含黑色像素的图像，这对训练没有意义。最后，训练集包括61125张遥感图像，该测试集包含21,251张遥感图像。
步骤2：以PyTorch组件构建基于轻量化的遥感图像云检测网络；
其中，所述遥感云检测网络包括编码器以及解码器，所述编码器基于双分支结构构建的，所述编码器用于以分离卷积形式提取输入图像的细节信息，以双层金字塔按照不同的扩张率提取多尺度语义信息，并将细节信息以及多尺度语义信息按照多层融合，之后输入至解码器中；所述解码器用于执行每层融合结果进行上采样，以输出输入图像的云检测图像；
本发明采用编码器解码器网络，提出了一种新的双分支云检测网络。本发明可以针对嵌入式设备的轻量化的遥感图像云检测方法，将训练好的模型在嵌入式设备使用TensorRT进行加速推理。
如图2所示，如图2所示为本发明的基于轻量化的遥感图像云检测网络的整体网络示意图。
从图2中可以得出所述编码器包括细节分支结构、语义分支结构以及三个特征聚合模块；所述细节分支结构包括依次连接的3个可分离卷积层，每个可分离卷积层包括依次连接的一个n×1的卷积层以及一个1×n的卷积层，所述语义分支结构包括依次连接的下采样模块、第一金字塔模块以及第二金字塔模块；所述解码器包括三个上采样模块；
其中，输入图像分别输入细节分支结构以及语义分支结构，第1个1×n的卷积层的输出连接至第1个特征聚合模块，第2个1×n的卷积层的输出连接至第2个特征聚合模块，第3个1×n的卷积层的输出连接至第3个特征聚合模块和Canny处理模块，Canny处理模块用于输出边缘图像，并计算边缘图像与真实标注图像的边缘损失，下采样模块的输出分别连接至第1个特征聚合模块的输入以及第一金字塔模块的输入，第一金字塔模块的输出分别连接至第2个特征聚合模块的输入以及第二金字塔模块的输入，第二金字塔的输出连接至第3个特征聚合模块的输入，第i个特征聚合模块的输出连接至第i个上采样模块的输入，第i个上采样模块的输入还连接至第i+1个上采样模块的输出，第1个上采样模块输出检测输入图像的检测结果；
其中，i的取值从1至3。
所述细节分支结构，用于通过三个可分离卷积层，以可分离卷积的形式提取输入图像的细节特征，之后再通过Canny处理模块从细节特征中提取云的边缘，获得细节信息；
其中，第一个1×n的卷积层的输出为256×256×32大小的特征图，第二个1×n的卷积层的输出为128×128×64大小的特征图，第三个1×n的卷积层的输出为64×64×128大小的特征图；所述Canny处理模块用于利用高斯滤波器对输入的特征图进行平滑滤波，再采用非极值抑制技术进行处理得到最后的边缘图像，计算边缘图像与真实标注图像的边缘损失。
值得说明的是：本发明的编码器网络按照BiSeNet结构重新设计，采用双分支结构，细节分支仅堆叠三个卷积层来生成原图大小1/8的特征图，而语义分支包括两个金字塔模块(Pyramid module)来细化特征和捕捉上下文信息。由于两条路径生成的特征在特征表示层次上是不同的，本发明进一步设计了一个特征聚合模块(Fusion Module)来融合这些特征。
细节分支目的是使用计算复杂度很低的操作提取细节信息，采用的卷积网络是卷积因子分解网络，以降低计算复杂度。可分离卷积的特点是乘法次数减少，计算复杂度降低，网络速度更快。将标准卷积分解为几个步骤，以降低计算复杂度，将一个2D卷积分解为两个1D卷积(例如，将n×n卷积分解为1×n和n×1)，从而使网络模型轻量化，我们用1×3和3×1卷积来替代3×3卷积，减少计算成本。第一层输出是256×256×32大小的特征图，第二层输出是128×128×64大小的特征图，第三层输出是64×64×128大小的特征图。由于细节分支只关注低层次的细节，这一分支的小步幅的浅结构就足够了。
如图3所示，图3为普通卷积与可分离卷积的对比图。可以看出普通的3×3卷积在一个5×5的feature map上的计算需要9×9次乘法，空间可分离卷积先使用3×1的卷积，计算量为15×3,再使用1×3的卷积，计算量为9×3，总共需要72次，小于普通卷积的81次乘法。
进一步地，由于连续的下采样操作导致图像的分辨率大幅度下降，从而损失原始信息，且在上采样过程中难以恢复，为了减少分辨率的损失同时由于云边缘区域的检测效果通常较差，本发明引入边缘损失函数，提取云的边缘，使网络更关注于云的边缘区域，有效地提高了云检测精度。
本发明使用Canny算法来提取云的边界，Canny算法的基本思想是首先对图像选择一定的高斯滤波器进行平滑滤波，然后采用非极值抑制技术进行处理得到最后的边缘图像。边缘损失在推理阶段被丢弃。
另一条分支是语义分支，提取语义信息。由于语义分割的性能在很大程度上依赖于丰富的上下文信息，大量的努力被倾注到解决这个问题上。在语义分支中，我们考虑如何以非常有效的方式为高级功能提供像素级的注意力。在实时语义分割的场景中，金字塔结构已经在多个网格尺度上用于抽象特征，其中扩展卷积通常使用不同大小的滤波器核来执行。在像素水平上有效地增加了感受野。采用了金字塔模块，由于云的大小不一，采用不同的扩张率从而得到多样化的感受野，有助于提取多尺度语义信息。经过一个下采样模块后，我们采用了两层金字塔模块。金字塔结构由4条平行路径组成。在每个卷积组中，扩张率为1，2，5，7。然后将结果连接起来，并添加一个输入跳跃连接。具有不同感受野的重复使用的特征以较少的参数和计算成本使输出特征图语义信息更丰富。
本发明的第一金字塔模块以及第二金字塔模块均由4条平行路径组成，在每个金字塔模块中每个平行路径对应一个扩展卷积层，扩展卷积层的扩张率不同，四个扩展卷积的输出连接一个跳跃层。
如图4所示，如图4所示为特征融合模块(FM)示意图。在图4中，三个特征聚合模块均包括加法模块、倍数模块、拼接模块以及一个1*1卷积层；
其中，每个特征融合模块中的加法模块与倍数模块的输入交叉连接，倍数模块以及加法模块的输出均连接至拼接模块，拼接模块的输出连接至1*1卷积层，细节分支结构中第1个1×n的卷积层的输出图像以及语义分支结构中下采样模块的输出图像均输入至第1个特征聚合模块中的加法模块和倍数模块，第一金字塔的输出图像均以及第2个1×n的卷积层的输出图像均输入第2个特征聚合模块中的加法模块和倍数模块；第二金字塔的输出图像均以及第3个1×n的卷积层的输出图像均输入第3个特征聚合模块中的加法模块和倍数模块；
所述加法模块，用于对输入的两个图像进行加法操作，并输出至拼接模块；
所述倍数模块，用于对输入的两个图像进行乘法操作，并输出至拼接模块；
所述拼接模块，用于对输入的多张图像进行拼接操作，并输出至1*1卷积层；
所述卷积层，用于对输入的图像进行卷积，并输出至对应的上采样模块。
值得说明的是：本发明设计了特征融合模块，细节分支和语义分支的输出通过融合模块进行融合。在融合模块阶段，细节分支和语义分支的特征表示是互补的，但是在不同的域中(即，细节分支生成低级和详细的特征，而语义分支获得高级和语义特征)。因此，简单的融合方案，不是融合信息的适当方式。相比之下，我们设计了一个特征聚合模块(Fusion Module)来合并两种类型的特征表示，同时考虑到准确性和效率。
其中，第3个上采样模块以步长为2对第3个特征融合模块的输出图像进行上采样，之后将上采样结果传输至第2个上采样模块；第2个上采样模块对第2个融合模块的输出图像以及第3个上采样模块的上采样结果进行采样连接操作，之后将采样结果传输至第1个上采样模块；第1个上采样模块，对第1个融合模块的输出图像以及第2个上采样模块的上采样结果进行采样连接操作，获得网络的输出图像。
其中，输出图像中标注出输入的遥感图像中的云所在。
首先以第3个上采样模块对第3个特征融合模块的输出图像进行上采样。然后输出与第二融合块的输出连接。然后，以步长2进一步上采样连接操作的特征图。最后，上采样的输出与第一级融合块的输出连接。结果将被调整到与输入图像相同的大小。
步骤3：利用所述训练样本图像集迭代训练所述遥感图像云检测网络，在训练过程中以边缘损失函数与真实损失组成的交叉熵损失作为总损失函数，以总损失函数下降的方向训练所述遥感图像云检测网络直至准确率达到条件，获得训练好的遥感图像云检测网络；
遥感图像云检测语义分割网络的训练。对实时遥感图像云检测网络进行训练，训练时利用损失函数来优化最终的结果，我们使用二值交叉熵损失函数，保存训练好的网络模型用于嵌入式设备推理加速。除了主损失函数来监控整个网络的输出，我们在细节分支上利用边缘损失函数来提升模型性能。我们选择交叉熵损失作为主要损失。
二值交叉熵损失函数的公式为：
其中，ys是网络的输出特征图，gs是GroundTruth。
因此，网络的损失函数包括两部分，一是主要损失Loss1,二是边缘损失Loss2，两者都是交叉熵损失。
因此本发明的总损失函数表示为：
其中，网络的总损失如上式所示，网络的损失函数包括两部分，一是主要损失Loss1,二是边缘损失Loss2，两者都是交叉熵损失。ys是标注遥感图像中云位置的输出图像，xs是由Canny算法提取得到的云边界图像，gs是遥感图像真实的标注结果，gb是边缘损失相应的标注结果，l代表所有的像素点，H和W是输入图像的高度和宽度。
本发明训练的batch为4，momentum为0.9，权重衰减为1×10-6，总迭代为2×105。采用随机梯度下降(SGD)算法进行优化，将学习速率设置为1×10-4，并通过“poly”策略进行更新。所有实验均在Ubuntu 16.04上使用PyTorch框架编程和实现，并使用NVIDIA RTX2080Ti GPU进行训练。
评估指标：根据以下公式计算准确率(Accuracy),F1-score,kappa和mIOU:
其中TP表示真阳性结果，FP表示假阳性结果，TN表示真阴性结果，FN表示假阴性结果。此外，p0＝(TP+FP)/(P+N)，pe＝(P(TP+FP)+N(TN+FN))/(P+N)2，其中P和N分别表示地面实况中的云像素和非云像素的数量。
实验结果如表1所示，可以看出我们提出遥感图像云检测网络在GF-1WFV数据测试集中达到了97.2％的准确率，93.3％的F1-score，91.6％的Kappa以及92.0％的mIOU，从实验结果可以看出本发明提出的遥感图像云检测结构取得了很好的结果。
表1实验结果
| Acc | F1 | Kappa | mIOU |
| 97.2 | 93.3 | 91.6 | 92.0 |
步骤4：将训练好的遥感图像云检测网络从PyTorch组件格式转化为通用模型交换格式，并将所述通用模型交换格式模型转化为TensorRT引擎格式；
我们的整个网络以PyTorch中的简单组件为特色，不使用复杂的结构或特别定制的操作，因为这些通常与转换到ONNX或NVIDIA TensorRT不兼容，导致推理时间较慢。TensorRT可以看做一个“深度学***台和指定的其他配置参数，构建一个优化的TensorRT引擎。最后一步是向TensorRT引擎提供输入数据以执行推理。使用TensorRT在NVIDIA Jetson嵌入式硬件对精度最高的云检测模型进行推理部署，将训练好的模型转换为ONNX模型，使用TensorRT对ONNX模型进行加速，并且量化到FP32,FP16和INT8类型，实现实时遥感图像云检测。
步骤5：将TensorRT引擎格式的遥感图像检测网络部署到硬件上，并启动检测程序以实现对实时遥感图像云的检测。
本发明在实际应用中面向Jetson TX2和Jetson Xavier NX进行模型部署。
表2为Jetson TX2的推理结果，表3为Jetson Xavier NX的推理结果。从表2和表3我们可以看出我们的推理速度至少为0.147(s/张)，达到了实时图像检测的需求，并且仍保持了较好的云检测性能，可以看出我们在保持模型性能的同时实现了在嵌入式设备上的实时遥感图像云检测。
表2 Jetson TX2的推理结果
| Jetson TX2 | Acc | 推理速度(s/张) |
| FP32 | 96.2 | 0.147 |
| FP16 | 96.1 | 0.125 |
表3 Jetson Xavier NX的推理结果
| Jetson Xavier NX | Acc | 推理速度(s/张) |
| FP32 | 96.2 | 0.139 |
| FP16 | 96.1 | 0.104 |
| INT8 | 95.5 | 0.078 |
下图5中(a)图为遥感图像红，绿，蓝波段标准真彩色合成图像以及遥感图像云检测的检测图像，(b)图为云真实标注图像，(c)(d)(e)图分为FP32，FP16,INT8格式下可视化结果。
本发明提供了一种基于双分支结构的实时遥感图像云检测方法，提出了以PyTorch组件基于编码器-解码器的遥感图像云检测网络，在编码器中采用细节分支以及语义分支的双分支网络结构，同时提取细节和语义信息。在细节分支中使用了卷积因子分解和边缘损失，设计出了轻量化的云检测网络。之后对构建好的遥感图像云检测网络按照边缘损失和主要损失组成的总损失下降的方向进行训练，将训练好的遥感图像云检测网络从PyTorch组件格式转化为通用模型交换格式再转化为TensorRT引擎格式；将最优的遥感图像云检测网络进行加速部署，可以保证在部署环境中有足够的速度处理数据，达到任务的轻量化要求。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (7)
1.一种基于双分支结构的实时遥感图像云检测方法，其特征在于，包括：
步骤1：从样本数据库中获取遥感四通道图像，并将所述遥感四通道图像处理为与计算机相匹配的数据格式，获得处理后的训练样本图像集；
步骤2：以PyTorch组件构建基于轻量化的遥感图像云检测网络；
其中，所述遥感云检测网络包括编码器以及解码器，所述编码器基于双分支结构构建的，所述编码器用于以分离卷积形式提取输入图像的细节信息，以双层金字塔按照不同的扩张率提取多尺度语义信息，并将细节信息以及多尺度语义信息按照多层融合，之后输入至解码器中；所述解码器用于执行每层融合结果进行上采样，以输出输入图像的云检测图像；
步骤3：利用所述训练样本图像集迭代训练所述遥感图像云检测网络，在训练过程中以边缘损失函数与真实损失组成的交叉熵损失作为总损失函数，以总损失函数下降的方向训练所述遥感图像云检测网络直至准确率达到条件，获得训练好的遥感图像云检测网络；
步骤4：将训练好的遥感图像云检测网络从PyTorch组件格式转化为通用模型交换格式，并将所述通用模型交换格式模型转化为TensorRT引擎格式；
步骤5：将TensorRT引擎格式的遥感图像检测网络部署到硬件上，并启动检测程序以实现对实时遥感图像云的检测。
2.根据权利要求1所述的一种基于双分支结构的实时遥感图像云检测方法，其特征在于，所述编码器包括细节分支结构、语义分支结构以及三个特征聚合模块；所述细节分支结构包括依次连接的3个可分离卷积层，每个可分离卷积层包括依次连接的一个n×1的卷积层以及一个1×n的卷积层，所述语义分支结构包括依次连接的下采样模块、第一金字塔模块以及第二金字塔模块；所述解码器包括三个上采样模块；
其中，输入图像分别输入细节分支结构以及语义分支结构，第1个1×n的卷积层的输出连接至第1个特征聚合模块，第2个1×n的卷积层的输出连接至第2个特征聚合模块，第3个1×n的卷积层的输出连接至第3个特征聚合模块和Canny处理模块，Canny处理模块用于输出边缘图像，并计算边缘图像与真实标注图像的边缘损失，下采样模块的输出分别连接至第1个特征聚合模块的输入以及第一金字塔模块的输入，第一金字塔模块的输出分别连接至第2个特征聚合模块的输入以及第二金字塔模块的输入，第二金字塔的输出连接至第3个特征聚合模块的输入，第i个特征聚合模块的输出连接至第i个上采样模块的输入，第i个上采样模块的输入还连接至第i+1个上采样模块的输出，第1个上采样模块输出检测输入图像的检测结果；
其中，i的取值从1至3。
3.根据权利要求2所述的一种基于双分支结构的实时遥感图像云检测方法，其特征在于，所述细节分支结构，用于通过三个可分离卷积层，以可分离卷积的形式提取输入图像的细节特征，之后再通过Canny处理模块从细节特征中提取云的边缘，获得细节信息；
其中，第一个1×n的卷积层的输出为256×256×32大小的特征图，第二个1×n的卷积层的输出为128×128×64大小的特征图，第三个1×n的卷积层的输出为64×64×128大小的特征图；所述Canny处理模块用于利用高斯滤波器对输入的特征图进行平滑滤波，再采用非极值抑制技术进行处理得到最后的边缘图像，计算边缘图像与真实标注图像的边缘损失。
4.根据权利要求2所述的一种基于双分支结构的实时遥感图像云检测方法，其特征在于，所述第一金字塔模块以及第二金字塔模块均由4条平行路径组成，在每个金字塔模块中每个平行路径对应一个扩展卷积层，扩展卷积层的扩张率不同，四个扩展卷积的输出连接一个跳跃层。
5.根据权利要求3所述的一种基于双分支结构的实时遥感图像云检测方法，其特征在于，三个特征聚合模块均包括加法模块、倍数模块、拼接模块以及一个1*1卷积层；
其中，每个特征融合模块中的加法模块与倍数模块的输入交叉连接，倍数模块以及加法模块的输出均连接至拼接模块，拼接模块的输出连接至1*1卷积层，细节分支结构中第1个1×n的卷积层的输出图像以及语义分支结构中下采样模块的输出图像均输入至第1个特征聚合模块中的加法模块和倍数模块，第一金字塔的输出图像均以及第2个1×n的卷积层的输出图像均输入第2个特征聚合模块中的加法模块和倍数模块；第二金字塔的输出图像均以及第3个1×n的卷积层的输出图像均输入第3个特征聚合模块中的加法模块和倍数模块；
所述加法模块，用于对输入的两个图像进行加法操作，并输出至拼接模块；
所述倍数模块，用于对输入的两个图像进行乘法操作，并输出至拼接模块；
所述拼接模块，用于对输入的多张图像进行拼接操作，并输出至1*1卷积层；
所述卷积层，用于对输入的图像进行卷积，并输出至对应的上采样模块。
6.根据权利要求5所述的一种基于双分支结构的实时遥感图像云检测方法，其特征在于，第3个上采样模块以步长为2对第3个特征融合模块的输出图像进行上采样，之后将上采样结果传输至第2个上采样模块；第2个上采样模块对第2个融合模块的输出图像以及第3个上采样模块的上采样结果进行采样连接操作，之后将采样结果传输至第1个上采样模块；第1个上采样模块，对第1个融合模块的输出图像以及第2个上采样模块的上采样结果进行采样连接操作，获得标注遥感图像中云位置的输出图像。
7.根据权利要求5所述的一种基于双分支结构的实时遥感图像云检测方法，其特征在于，所述总损失函数表示为：
其中，ys是标注遥感图像中云位置的输出图像，xs是由Canny算法提取得到的云边界图像，gs是遥感图像真实的标注结果，gb是边缘损失相应的标注结果，l代表所有的像素点，H和W是输入图像的高度和宽度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211435047.1A CN115861833A (zh) | 2022-11-16 | 2022-11-16 | 一种基于双分支结构的实时遥感图像云检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211435047.1A CN115861833A (zh) | 2022-11-16 | 2022-11-16 | 一种基于双分支结构的实时遥感图像云检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115861833A true CN115861833A (zh) | 2023-03-28 |
Family
ID=85663770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211435047.1A Pending CN115861833A (zh) | 2022-11-16 | 2022-11-16 | 一种基于双分支结构的实时遥感图像云检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115861833A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197902A (zh) * | 2023-11-07 | 2023-12-08 | 华南农业大学 | 一种母猪分娩智能预测***及方法 |
| CN117197002A (zh) * | 2023-11-07 | 2023-12-08 | 松立控股集团股份有限公司 | 一种基于感知扩散的图像复原方法 |
| CN117409205A (zh) * | 2023-12-13 | 2024-01-16 | 国网山东省电力公司济南供电公司 | 一种用于电力设备的异物搭挂检测和分割方法及*** |
-
2022
- 2022-11-16 CN CN202211435047.1A patent/CN115861833A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197902A (zh) * | 2023-11-07 | 2023-12-08 | 华南农业大学 | 一种母猪分娩智能预测***及方法 |
| CN117197002A (zh) * | 2023-11-07 | 2023-12-08 | 松立控股集团股份有限公司 | 一种基于感知扩散的图像复原方法 |
| CN117197902B (zh) * | 2023-11-07 | 2024-01-30 | 华南农业大学 | 一种母猪分娩智能预测***及方法 |
| CN117197002B (zh) * | 2023-11-07 | 2024-02-02 | 松立控股集团股份有限公司 | 一种基于感知扩散的图像复原方法 |
| CN117409205A (zh) * | 2023-12-13 | 2024-01-16 | 国网山东省电力公司济南供电公司 | 一种用于电力设备的异物搭挂检测和分割方法及*** |
| CN117409205B (zh) * | 2023-12-13 | 2024-04-05 | 国网山东省电力公司济南供电公司 | 一种用于电力设备的异物搭挂检测和分割方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563508B (zh) | 一种基于空间信息融合的语义分割方法 | |
| CN113065558B (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| Song et al. | Spatiotemporal satellite image fusion using deep convolutional neural networks | |
| Liu et al. | Multiscale U-shaped CNN building instance extraction framework with edge constraint for high-spatial-resolution remote sensing imagery | |
| CN115861833A (zh) | 一种基于双分支结构的实时遥感图像云检测方法 | |
| CN111325165B (zh) | 考虑空间关系信息的城市遥感影像场景分类方法 | |
| Wang et al. | A deep-learning-based sea search and rescue algorithm by UAV remote sensing | |
| CN103679674B (zh) | 一种无人飞行器实时图像拼接方法及*** | |
| Gao et al. | MLNet: Multichannel feature fusion lozenge network for land segmentation | |
| CN108549893A (zh) | 一种任意形状的场景文本端到端识别方法 | |
| CN111079739B (zh) | 一种多尺度注意力特征检测方法 | |
| CN110796009A (zh) | 基于多尺度卷积神经网络模型的海上船只检测方法及*** | |
| CN113312993B (zh) | 一种基于PSPNet的遥感数据土地覆盖分类方法 | |
| CN112365434A (zh) | 一种基于双掩膜图像分割的无人机狭窄通道检测方法 | |
| CN115908442B (zh) | 一种无人机海洋监测用图像全景分割方法及模型搭建方法 | |
| CN114299111B (zh) | 一种基于半监督孪生网络的红外弱小目标跟踪方法 | |
| CN113066089B (zh) | 一种基于注意力引导机制的实时图像语义分割方法 | |
| Chen et al. | Change detection of remote sensing images based on attention mechanism | |
| CN113052106A (zh) | 一种基于PSPNet网络的飞机起降跑道识别方法 | |
| CN111476133A (zh) | 面向无人驾驶的前背景编解码器网络目标提取方法 | |
| CN112750125A (zh) | 一种基于端到端关键点检测的玻璃绝缘子片定位方法 | |
| CN110598746A (zh) | 一种基于ode求解器自适应的场景分类方法 | |
| CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
| Chen et al. | Multiscale attention feature aggregation network for cloud and cloud shadow segmentation | |
| CN115601236A (zh) | 一种基于特征信息蒸馏网络的遥感图像超分辨重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |