CN114943835B - 一种黄河冰凌无人机航拍图像实时语义分割方法 - Google Patents
一种黄河冰凌无人机航拍图像实时语义分割方法 Download PDFInfo
- Publication number
- CN114943835B CN114943835B CN202210415977.4A CN202210415977A CN114943835B CN 114943835 B CN114943835 B CN 114943835B CN 202210415977 A CN202210415977 A CN 202210415977A CN 114943835 B CN114943835 B CN 114943835B
- Authority
- CN
- China
- Prior art keywords
- module
- feature map
- output
- convolution
- channels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000004927 fusion Effects 0.000 claims description 26
- 238000011176 pooling Methods 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 abstract description 6
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基黄河冰凌无人机航拍图像实时语义分割方法，根据收集的无人机航拍冰凌图像构造黄河冰凌语义分割数据集，数据集包含黄河无人机航拍冰凌图像以及标签数据；再利用构建的黄河冰凌语义分割数据集对分割网络FastICENet进行训练，得到最终的语义分割模型。即使图像中冰凌大小形态各异，本发明的检测结果依然精确；本发明的语义分割网络在精度与其他网络相近时，分割速度远胜于其他语义分割网络。
Description
技术领域
本发明属于模式识别技术领域，具体涉及一种航拍图像实时语义分割方法。
背景技术
语义分割是计算机视觉中十分重要的领域，它是指像素级别的识别图像，即标注出图像中每个像素所属的对象类别，其目标是预测出图像中每一个像素的类标签。河流冰情监测对航运业的河流管理具有重要意义。精确的冰分割是冰情监测研究中最重要的技术之一。这其中轻量化语义分割在冰情监测中尤为重要。需要快速的解析输入图像，辅助***和外界环境进行及时的交互。具体来说，就是将输入的黄河冰凌图像进行快速准确的分割，实时监测河流中冰凌情况并及时做出预警。因此设计一个实时准确的轻量化语义分割网络是非常必要的。
早期的冰凌语义分割方法，多用于解决现有冰凌检测方法准确度差的技术问题。比如构建分割网络结构，网络包含浅层分支和深层分支，在深层分支加入通道注意力模块；在浅层分支加入位置注意力模块；融合模块用于浅层分支和深层分支的融合。将训练集中数据分批次放入网络中，并采用交叉熵损失和RMSprop优化器对构建的神经网络进行训练。最后输入待测试的图像，使用训练好的模型进行测试。这种方法能够有选择得进行多层级和多尺度的特征融合，并且基于注意力机制捕捉上下文信息，获得更高分辨率的特征图，得到了较好的分割效果。但存在分割速度较慢的问题，不能够在低功耗的设备上实时运行分割网络，难以满足黄河冰凌分割实际的落地需求。
发明内容
为了克服现有技术的不足，本发明提供了一种基黄河冰凌无人机航拍图像实时语义分割方法，根据收集的无人机航拍冰凌图像构造黄河冰凌语义分割数据集，数据集包含黄河无人机航拍冰凌图像以及标签数据；再利用构建的黄河冰凌语义分割数据集对分割网络FastICENet进行训练，得到最终的语义分割模型。即使图像中冰凌大小形态各异，本发明的检测结果依然精确；本发明的语义分割网络在精度与其他网络相近时，分割速度远胜于其他语义分割网络。
本发明解决其技术问题所采用的技术方案包括如下步骤：
步骤1：根据收集的无人机航拍冰凌图像构造黄河冰凌语义分割数据集，所述数据集包含黄河无人机航拍冰凌图像以及标签数据；将数据集划分为训练集、验证集和测试集；
步骤2：构建语义分割模型FastICENet；
所述语义分割模型FastICENet包括浅层细节分支、深层语义分支和融合上采样模块；所述浅层细节分支用于提取冰凌图像的低层次细节信息，深层语义分支用于提取冰凌图像深层语义信息，最后通过融合上采样模块将深层语义分支和浅层细节分支融合并上采样，得到与原始图像大小相同的语义分割结果；
步骤2-1：所述浅层细节分支具体为：将大小为h×w的输入图像，h和w分别为图像高度和宽度，依次通过卷积模块一、卷积模块二和卷积模块二，经过三个卷积模块之后，特征图的分辨率为h/8×w/8；
步骤2-2：所述深层语义分支具体为：
步骤2-2-1：将大小为h×w的输入图像依次通过下采样模块一、下采样模块二和下采样模块三，经过三个下采样模块之后，得到特征图，分辨率为h/8×w/8；
步骤2-2-2：将步骤2-2-1得到的特征图输入基于幻影特征图的密集连接模块一，输出的特征图分辨率仍为h/8×w/8；
步骤2-2-3：将步骤2-2-2得到的特征图输入到下采样模块四，输出的特征图的分辨率为h/16×w/16；
步骤2-2-4：将步骤2-2-3得到的特征图输入基于幻影特征图的密集连接模块二，输出的特征图分别输入到注意力细化模块一和平均池化模块；再将注意力细化模块一的输出和平均池化模块的输出结果按通道堆叠，得到的特征图作为步骤2-2-4的输出；
步骤2-2-5：将步骤2-2-4中得到的特征图通过上采样模块一，输出的特征图大小为h/8×w/8；
步骤2-2-6：将步骤2-2-2和步骤2-2-5的输出联合输入到注意力模块二中，输出特征图的分辨率为h/8×w/8；
步骤2-3：融合上采样模块具体为：将浅层细节分支和深层语义分支的输出联合输入特征融合模块，输出特征图大小为h/8×w/8；将特征融合模块的输出经过上采样模块二恢复到原来的大小h×w，预测分割结果；
步骤3：利用训练集和验证集，训练语义分割模型FastICENet，得到最终的语义分割模型，再通过测试集测试最终的语义分割模型的性能。
优选地，所述步骤1具体为：
步骤1-1：收集多时段多地域的无人机航拍黄河冰凌图像；
步骤1-2：将收集的图像裁剪成1600×640大小的图像，每张图像通过人工逐像素标记出三个分类标签：冰、水和河岸；
步骤1-3：通过步骤1-2得到黄河冰凌图像及其分类标签，并按3∶1∶1的比例划分为训练集、验证集和测试集。
优选地，所述卷积模块一的卷积核大小7×7，步长为2，填充大小为3；卷积核之后连接批处理正则化以及ReLU的组合；卷积模块二和卷积模块三的卷积核大小3×3，步长为2，填充大小为1，后面连接批处理正则化以及ReLU的组合。
优选地，所述下采样模块一、下采样模块二、下采样模块三和下采样模块四均采用如下结构：
假设下采样模块中特征图的输入通道数、输出通道数和卷积层输出通道数分别为Win、Wout和Wconv；
在下采样模块中，当Wout＞Win时，输入特征图首先并行经过卷积核大小为3×3的卷积层和2×2最大池化层，卷积层和最大池化层两层的步长均为2，卷积层输出特征图的通道数Wconv＝Wout-Win，最大池化层的输出特征图的通道数为Win；然后，卷积层和最大池化层的输出被通道堆叠、批处理正则化，并由Relu激活，实现特征图的2倍下采样；
在下采样模块中，当Wout＜Win时，输入特征图仅经过卷积核大小为3×3，步长为2的卷积层，然后进行批处理正则化和Relu激活，通过卷积的方式实现特征图的2倍下采样；
其中下采样模块一的输入特征图通道数为3，输出特征图的通道数为15；下采样模块二的输入特征图通道数为15，输出特征图的通道数为30；下采样模块三的输入特征图通道数为30，输出特征图的通道数为60；下采样模块四的输入特征图通道数为160，输出特征图的通道数为160。
优选地，所述基于幻影特征图的密集连接模块一和基于幻影特征图的密集连接模块二的结构相同，定义如下：
定义幻影模块：使用以下公式一次卷积生成m个原始特征图Y′∈Rh×w×m：
Y′＝X*f′
其中，Y′是卷积层输出的特征图，X是卷积层的输入，*是卷积操作，f′∈Rc×k×k×m是使用的卷积核，m≤n，n为网络模型中实际需要的特征图的层数；
对Y′中的每个原始特征图应用一系列线性运算，以生成s个幻影特征图：
其中y′i是Y′中第i个原始特征图，Φi，j是第j个线性运算，用于生成第j个幻影特征图yij；
通过使用线性操作，获得n＝m·s个特征图Y＝[y11，y12，...，yij，...，yms]作为幻影模块的输出数据；最后将原始特征图和幻影特征图进行通道叠加，叠加结果作为幻影模块的输出；
将多个幻影模块使用密集连接模式，即每一个幻影模块的输入是第一个初密集连接模块输入特征图和之前所有幻影模块的输出的特征图的通道叠加；
基于幻影特征图的密集连接模块一输入特征图通道数为60，输出特征图通道数为160，使用了5个幻影模块进行密集连接；
基于幻影特征图的密集连接模块二输入特征图通道数为160，输出特征图通道数为320，使用了8个幻影模块进行密集连接；
上述13个幻影模块，每一个均是通过卷积层增加10个通道，通过线性操作增加10个通道，因此每个幻影模块的输出通道数相对其输入均增加20个通道。
优选地，所述注意力模块一和注意力模块二的实现方式如下：将输入的特征图依次经过全局平均池化，1×1的卷积，批处理正则化，最后通过sigmoid，得到通道注意力向量，然后将通道注意力向量和输入特征图的对应位相乘，并将相乘结果与输入的特征图相加得到通道加权特征图。
优选地，所述上采样模块一和上采样模块二的结构相同，实现方式如下：假设输入特征图的大小为其中，/>和/>为特征图的高和宽，C为特征图的通道数，将输入特征图通过一个有N个1×1大小卷积核的卷积层，产生一个大小为/>的新的特征图；然后将新的特征图重塑为大小为/>的输出特征图；上采样模块一采用2作为上采样倍数，新型上采样模块二采用8作为上采样倍数。
优选地，所述特征融合模块的结构如下：①、特征融合模块将浅层细节分支和深层语义分支输出的特征图通道堆叠，经过一个步长为1，大小为1×1的卷积核，再经过批处理正则化和relu激活函数；②、将①中的输出经过全局池化，接着通过一个步长为1，大小为1×1的卷积，然后通过relu激活函数，再通过一个步长为1，大小为1×1的卷积，最后通过sigmoid激活函数，再将此输出与①中的输出对应位相乘；③、将②中相乘结果与①中的输出相加并输出，作为特征融合模块的输出。
本发明的有益效果如下：
1)本发明提出了一个双分支轻量级语义分割网络，用于黄河冰凌实时语义分割；
2)待分割的图像中冰凌大小形态各异，本发明的检测结果依然精确；
3)本发明的语义分割网络在精度与其他网络相近时，分割速度远胜于其他语义分割网络。
附图说明
图1是本发明语义分割模型结构图。
图2是本发明下采样模块结构图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明的目的在于提供一种黄河冰凌实时语义分割方法，通过双分支结构提高分割模型的精确度，同时采用轻量级的模块，以解决所述分割速度较慢的问题。
一种基黄河冰凌无人机航拍图像实时语义分割方法，包括如下步骤：
步骤1：根据收集的无人机航拍冰凌图像构造黄河冰凌语义分割数据集，所述数据集包含黄河无人机航拍冰凌图像以及标签数据；
步骤1-1：收集多时段多地域的无人机航拍黄河冰凌图像，从这些图像中选取光照充足，清晰地图像；
步骤1-2：将收集的图像裁剪成1600×640大小的图像，每张图像通过人工逐像素标记出三个分类标签：冰、水和河岸；
步骤1-3：通过步骤1-2得到黄河冰凌图像及其分类标签，并按3：1：1的比例划分为训练集、验证集和测试集。
步骤2：构建语义分割模型FastICENet；
所述语义分割模型FastICENet包括浅层细节分支、深层语义分支和融合上采样模块；所述浅层细节分支用于提取冰凌图像的低层次细节信息和纹理信息，深层语义分支用于提取冰凌图像深层语义信息，最后通过融合上采样模块将深层语义分支和浅层细节分支融合并上采样，得到与原始图像大小相同的语义分割结果；
步骤2-1：所述浅层细节分支具体为：将大小为h×w的输入图像，h和w分别为图像高度和宽度，依次通过卷积模块一、卷积模块二和卷积模块二，经过三个卷积模块之后，特征图的分辨率为h/8×w/8；
步骤2-2：所述深层语义分支具体为：
步骤2-2-1：将大小为h×w的输入图像依次通过下采样模块一、下采样模块二和下采样模块三，经过三个下采样模块之后，得到特征图，分辨率为h/8×w/8；
步骤2-2-2：将步骤2-2-1得到的特征图输入基于幻影特征图的密集连接模块一，输出的特征图分辨率仍为h/8×w/8；
步骤2-2-3：将步骤2-2-2得到的特征图输入到下采样模块四，输出的特征图的分辨率为h/16×w/16；
步骤2-2-4：将步骤2-2-3得到的特征图输入基于幻影特征图的密集连接模块二，输出的特征图分别输入到注意力细化模块一和平均池化模块；再将注意力细化模块一的输出和平均池化模块的输出结果按通道堆叠，得到的特征图作为步骤2-2-4的输出；
步骤2-2-5：将步骤2-2-4中得到的特征图通过上采样模块一，输出的特征图大小为h/8×w/8；
步骤2-2-6：将步骤2-2-2和步骤2-2-5的输出联合输入到注意力模块二中，输出特征图的分辨率为h/8×w/8；
步骤2-3：融合上采样模块具体为：将浅层细节分支和深层语义分支的输出联合输入特征融合模块，输出特征图大小为h/8×w/8；将特征融合模块的输出经过上采样模块二恢复到原来的大小h×w，预测分割结果；
步骤3：利用训练集和验证集，训练语义分割模型FastICENet，得到最终的语义分割模型，再通过测试集测试最终的语义分割模型的性能。
优选地，所述卷积模块一的卷积核大小7×7，步长为2，填充大小为3；卷积核之后连接批处理正则化以及ReLU的组合；卷积模块二和卷积模块三的卷积核大小3×3，步长为2，填充大小为1，后面连接批处理正则化以及ReLU的组合。
优选地，所述下采样模块一、下采样模块二、下采样模块三和下采样模块四均采用如下结构：
假设下采样模块中特征图的输入通道数、输出通道数和卷积层输出通道数分别为Win、Wout和Wconv；
在下采样模块中，当Wout＞Win时，输入特征图首先并行经过卷积核大小为3×3的卷积层和2×2最大池化层，卷积层和最大池化层两层的步长均为2，卷积层输出特征图的通道数Wconv＝Wout-Win，最大池化层的输出特征图的通道数为Win；然后，卷积层和最大池化层的输出被通道堆叠、批处理正则化，并由Relu激活，实现特征图的2倍下采样；
在下采样模块中，当Wout＜Win时，输入特征图仅经过卷积核大小为3×3，步长为2的卷积层，然后进行批处理正则化和Relu激活，通过卷积的方式实现特征图的2倍下采样；
其中下采样模块一的输入特征图通道数为3，输出特征图的通道数为15；下采样模块二的输入特征图通道数为15，输出特征图的通道数为30；下采样模块三的输入特征图通道数为30，输出特征图的通道数为60；下采样模块四的输入特征图通道数为160，输出特征图的通道数为160。
优选地，所述基于幻影特征图的密集连接模块一和基于幻影特征图的密集连接模块二的结构相同，定义如下：
定义幻影模块：使用以下公式一次卷积生成m个原始特征图Y′∈Rh×w×m：
Y′＝X*f′
其中，Y′是卷积层输出的特征图，X是卷积层的输入，*是卷积操作，f′∈Rc×k×k×m是使用的卷积核，m≤n，n为网络模型中实际需要的特征图的层数，为简单起见，这里省略了偏差项；超参数即卷积核大小，步长，填充与普通卷积中的超参数相同，以保持输出特征图的空间大小(即h′和w′)保持一致。
对Y′中的每个原始特征图应用一系列线性运算，以生成s个幻影特征图：
其中y′i是Y′中第i个原始特征图，Φi，j是第j个线性运算，用于生成第j个幻影特征图yij；
通过使用线性操作，获得n＝m·s个特征图Y＝[y11，y12，...，yij，...，yms]作为幻影模块的输出数据；本发明中卷积层使用的卷积核大小为1×1，线性操作Φ是对原始特征图Y′进行深度卷积(depth wise convolution)来生成幻影特征图，最后将原始特征图和幻影特征图进行通道叠加，叠加结果作为幻影模块的输出；
将多个幻影模块使用密集连接模式，即每一个幻影模块的输入是第一个初密集连接模块输入特征图和之前所有幻影模块的输出的特征图的通道叠加；
基于幻影特征图的密集连接模块一输入特征图通道数为60，输出特征图通道数为160，使用了5个幻影模块进行密集连接；
基于幻影特征图的密集连接模块二输入特征图通道数为160，输出特征图通道数为320，使用了8个幻影模块进行密集连接；
上述13个幻影模块，每一个均是通过卷积层增加10个通道，通过线性操作增加10个通道，因此每个幻影模块的输出通道数相对其输入均增加20个通道。
优选地，所述注意力模块一和注意力模块二的实现方式如下：将输入的特征图依次经过全局平均池化，1×1的卷积，批处理正则化，最后通过sigmoid，得到通道注意力向量，然后将通道注意力向量和输入特征图的对应位相乘，并将相乘结果与输入的特征图相加得到通道加权特征图。
优选地，所述上采样模块一和上采样模块二的结构相同，实现方式如下：假设输入特征图的大小为其中，/>和/>为特征图的高和宽，C为特征图的通道数，将输入特征图通过一个有N个1×1大小卷积核的卷积层，产生一个大小为/>的新的特征图；然后将新的特征图重塑为大小为/>的输出特征图；上采样模块一采用2作为上采样倍数，新型上采样模块二采用8作为上采样倍数。
优选地，所述特征融合模块的结构如下：①、特征融合模块将浅层细节分支和深层语义分支输出的特征图通道堆叠，经过一个步长为1，大小为1×1的卷积核，再经过批处理正则化和relu激活函数；②、将①中的输出经过全局池化，接着通过一个步长为1，大小为1×1的卷积，然后通过relu激活函数，再通过一个步长为1，大小为1×1的卷积，最后通过sigmoid激活函数，再将此输出与①中的输出对应位相乘；③、将②中相乘结果与①中的输出相加并输出，作为特征融合模块的输出。
具体实施例：
为了验证和说明本方法的有效性，通过与现有四种中深度学习方法进行了对比，表1为本发明方法与其他基于深度学习方法的性能(精度和速度)比较。
表1本发明方法与另外四种深度学习方法的对比
从表1可以看出，本发明方法在精度mIoU与其他四种方法相近时，速度FPS大幅领先其他方法达到了94.840FPS。
Claims (7)
1.一种基黄河冰凌无人机航拍图像实时语义分割方法，其特征在于，包括如下步骤：
步骤1：根据收集的无人机航拍冰凌图像构造黄河冰凌语义分割数据集，所述数据集包含黄河无人机航拍冰凌图像以及标签数据；将数据集划分为训练集、验证集和测试集；
步骤2：构建语义分割模型FastICENet；
所述语义分割模型FastICENet包括浅层细节分支、深层语义分支和融合上采样模块；所述浅层细节分支用于提取冰凌图像的低层次细节信息，深层语义分支用于提取冰凌图像深层语义信息，最后通过融合上采样模块将深层语义分支和浅层细节分支融合并上采样，得到与原始图像大小相同的语义分割结果；
步骤2-1：所述浅层细节分支具体为：将大小为h×w的输入图像，h和w分别为图像高度和宽度，依次通过卷积模块一、卷积模块二和卷积模块三，经过三个卷积模块之后，特征图的分辨率为h/8×w/8；
步骤2-2：所述深层语义分支具体为：
步骤2-2-1：将大小为h×w的输入图像依次通过下采样模块一、下采样模块二和下采样模块三，经过三个下采样模块之后，得到特征图，分辨率为h/8×w/8；
步骤2-2-2：将步骤2-2-1得到的特征图输入基于幻影特征图的密集连接模块一，输出的特征图分辨率仍为h/8×w/8；
步骤2-2-3：将步骤2-2-2得到的特征图输入到下采样模块四，输出的特征图的分辨率为h/16×w/16；
步骤2-2-4：将步骤2-2-3得到的特征图输入基于幻影特征图的密集连接模块二，输出的特征图分别输入到注意力细化模块一和平均池化模块；再将注意力细化模块一的输出和平均池化模块的输出结果按通道堆叠，得到的特征图作为步骤2-2-4的输出；
所述基于幻影特征图的密集连接模块一和基于幻影特征图的密集连接模块二的结构相同，定义如下：
定义幻影模块：使用以下公式一次卷积生成m个原始特征图Y′∈Rh′×w′×m:
Y′＝X*f′
其中，Y′是卷积层输出的特征图，X是卷积层的输入，*是卷积操作，f′∈Rc×k×k×m是使用的卷积核，m≤n，n为网络模型中实际需要的特征图的层数；
对Y′中的每个原始特征图应用一系列线性运算，以生成s个幻影特征图：
其中y′i是Y′中第i个原始特征图，Φi,j是第j个线性运算，用于生成第j个幻影特征图yij；
通过使用线性操作，获得n＝m·s个特征图Y＝[y11,y12,...,yij,...,yms]作为幻影模块的输出数据；最后将原始特征图和幻影特征图进行通道叠加，叠加结果作为幻影模块的输出；
将多个幻影模块使用密集连接模式，即每一个幻影模块的输入是第一个初密集连接模块输入特征图和之前所有幻影模块的输出的特征图的通道叠加；
基于幻影特征图的密集连接模块一输入特征图通道数为60，输出特征图通道数为160，使用了5个幻影模块进行密集连接；
基于幻影特征图的密集连接模块二输入特征图通道数为160，输出特征图通道数为320，使用了8个幻影模块进行密集连接；
上述13个幻影模块，每一个均是通过卷积层增加10个通道，通过线性操作增加10个通道，因此每个幻影模块的输出通道数相对其输入均增加20个通道；
步骤2-2-5：将步骤2-2-4中得到的特征图通过上采样模块一，输出的特征图大小为h/8×w/8；
步骤2-2-6：将步骤2-2-2和步骤2-2-5的输出联合输入到注意力模块二中，输出特征图的分辨率为h/8×w/8；
步骤2-3：融合上采样模块具体为：将浅层细节分支和深层语义分支的输出联合输入特征融合模块，输出特征图大小为h/8×w/8；将特征融合模块的输出经过上采样模块二恢复到原来的大小h×w，预测分割结果；
步骤3：利用训练集和验证集，训练语义分割模型FastICENet，得到最终的语义分割模型，再通过测试集测试最终的语义分割模型的性能。
2.根据权利要求1所述的一种基黄河冰凌无人机航拍图像实时语义分割方法，其特征在于，所述步骤1具体为：
步骤1-1：收集多时段多地域的无人机航拍黄河冰凌图像；
步骤1-2：将收集的图像裁剪成1600×640大小的图像，每张图像通过人工逐像素标记出三个分类标签：冰、水和河岸；
步骤1-3：通过步骤1-2得到黄河冰凌图像及其分类标签，并按3：1：1的比例划分为训练集、验证集和测试集。
3.根据权利要求1所述的一种基黄河冰凌无人机航拍图像实时语义分割方法，其特征在于，所述卷积模块一的卷积核大小7×7，步长为2，填充大小为3；卷积核之后连接批处理正则化以及ReLU的组合；卷积模块二和卷积模块三的卷积核大小3×3，步长为2，填充大小为1，后面连接批处理正则化以及ReLU的组合。
4.根据权利要求1所述的一种基黄河冰凌无人机航拍图像实时语义分割方法，其特征在于，所述下采样模块一、下采样模块二、下采样模块三和下采样模块四均采用如下结构：
假设下采样模块中特征图的输入通道数、输出通道数和卷积层输出通道数分别为Win、Wout和Wconv；
在下采样模块中，当Wout＞Win时，输入特征图首先并行经过卷积核大小为3×3的卷积层和2×2最大池化层，卷积层和最大池化层两层的步长均为2，卷积层输出特征图的通道数Wconv＝Wout-Win，最大池化层的输出特征图的通道数为Win；然后，卷积层和最大池化层的输出被通道堆叠、批处理正则化，并由Relu激活，实现特征图的2倍下采样；
在下采样模块中，当Wout＜Win时，输入特征图仅经过卷积核大小为3×3，步长为2的卷积层，然后进行批处理正则化和Relu激活，通过卷积的方式实现特征图的2倍下采样；
其中下采样模块一的输入特征图通道数为3，输出特征图的通道数为15；下采样模块二的输入特征图通道数为15，输出特征图的通道数为30；下采样模块三的输入特征图通道数为30，输出特征图的通道数为60；下采样模块四的输入特征图通道数为160，输出特征图的通道数为160。
5.根据权利要求1所述的一种基黄河冰凌无人机航拍图像实时语义分割方法，其特征在于，所述注意力模块一和注意力模块二的实现方式如下：将输入的特征图依次经过全局平均池化，1×1的卷积，批处理正则化，最后通过sigmoid，得到通道注意力向量，然后将通道注意力向量和输入特征图的对应位相乘，并将相乘结果与输入的特征图相加得到通道加权特征图。
6.根据权利要求1所述的一种基黄河冰凌无人机航拍图像实时语义分割方法，其特征在于，所述上采样模块一和上采样模块二的结构相同，实现方式如下：假设输入特征图的大小为其中，/>和/>为特征图的高和宽，C为特征图的通道数，将输入特征图通过一个有N个1×1大小卷积核的卷积层，产生一个大小为/>的新的特征图；然后将新的特征图重塑为大小为/>的输出特征图；上采样模块一采用2作为上采样倍数，新型上采样模块二采用8作为上采样倍数。
7.根据权利要求1所述的一种基黄河冰凌无人机航拍图像实时语义分割方法，其特征在于，所述特征融合模块的结构如下：①、特征融合模块将浅层细节分支和深层语义分支输出的特征图通道堆叠，经过一个步长为1，大小为1×1的卷积核，再经过批处理正则化和relu激活函数；②、将①中的输出经过全局池化，接着通过一个步长为1，大小为1×1的卷积，然后通过relu激活函数，再通过一个步长为1，大小为1×1的卷积，最后通过sigmoid激活函数，再将此输出与①中的输出对应位相乘；③、将②中相乘结果与①中的输出相加并输出，作为特征融合模块的输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210415977.4A CN114943835B (zh) | 2022-04-20 | 2022-04-20 | 一种黄河冰凌无人机航拍图像实时语义分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210415977.4A CN114943835B (zh) | 2022-04-20 | 2022-04-20 | 一种黄河冰凌无人机航拍图像实时语义分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114943835A CN114943835A (zh) | 2022-08-26 |
| CN114943835B true CN114943835B (zh) | 2024-03-12 |
Family
ID=82908048
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210415977.4A Active CN114943835B (zh) | 2022-04-20 | 2022-04-20 | 一种黄河冰凌无人机航拍图像实时语义分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114943835B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118212423B (zh) * | 2024-05-22 | 2024-07-12 | 河海大学 | 一种有监督的纹理敏感河道冰情图像语义分割方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108710863A (zh) * | 2018-05-24 | 2018-10-26 | 东北大学 | 基于深度学习的无人机航拍场景语义分割方法及*** |
| CN111160311A (zh) * | 2020-01-02 | 2020-05-15 | 西北工业大学 | 基于多注意力机制双流融合网络的黄河冰凌语义分割方法 |
| WO2020101448A1 (en) * | 2018-08-28 | 2020-05-22 | Samsung Electronics Co., Ltd. | Method and apparatus for image segmentation |
| CN111259898A (zh) * | 2020-01-08 | 2020-06-09 | 西安电子科技大学 | 基于无人机航拍图像的农作物分割方法 |
| WO2020215236A1 (zh) * | 2019-04-24 | 2020-10-29 | 哈尔滨工业大学（深圳） | 图像语义分割方法和*** |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN113361373A (zh) * | 2021-06-02 | 2021-09-07 | 武汉理工大学 | 一种农业场景下的航拍图像实时语义分割方法 |
| CN113658189A (zh) * | 2021-09-01 | 2021-11-16 | 北京航空航天大学 | 一种跨尺度特征融合的实时语义分割方法和*** |
-
2022
- 2022-04-20 CN CN202210415977.4A patent/CN114943835B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108710863A (zh) * | 2018-05-24 | 2018-10-26 | 东北大学 | 基于深度学习的无人机航拍场景语义分割方法及*** |
| WO2020101448A1 (en) * | 2018-08-28 | 2020-05-22 | Samsung Electronics Co., Ltd. | Method and apparatus for image segmentation |
| WO2020215236A1 (zh) * | 2019-04-24 | 2020-10-29 | 哈尔滨工业大学（深圳） | 图像语义分割方法和*** |
| CN111160311A (zh) * | 2020-01-02 | 2020-05-15 | 西北工业大学 | 基于多注意力机制双流融合网络的黄河冰凌语义分割方法 |
| CN111259898A (zh) * | 2020-01-08 | 2020-06-09 | 西安电子科技大学 | 基于无人机航拍图像的农作物分割方法 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN113361373A (zh) * | 2021-06-02 | 2021-09-07 | 武汉理工大学 | 一种农业场景下的航拍图像实时语义分割方法 |
| CN113658189A (zh) * | 2021-09-01 | 2021-11-16 | 北京航空航天大学 | 一种跨尺度特征融合的实时语义分割方法和*** |
Non-Patent Citations (3)
| Title |
|---|
| 基于下采样的特征融合遥感图像语义分割;李帅;郭艳艳;卫霞;;测试技术学报;20201231(04);61-67 * |
| 基于神经网络的遥感图像海陆语义分割方法;熊伟;蔡咪;吕亚飞;裴家正;;计算机工程与应用;20201231(15);227-233 * |
| 深度卷积神经网络图像语义分割研究进展;青晨;禹晶;肖创柏;段娟;;中国图象图形学报;20200616(06);32-33 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114943835A (zh) | 2022-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111160311B (zh) | 基于多注意力机制双流融合网络的黄河冰凌语义分割方法 | |
| CN112488210A (zh) | 一种基于图卷积神经网络的三维点云自动分类方法 | |
| CN112651973A (zh) | 基于特征金字塔注意力和混合注意力级联的语义分割方法 | |
| CN110046671A (zh) | 一种基于胶囊网络的文本分类方法 | |
| CN110569738B (zh) | 基于密集连接网络的自然场景文本检测方法、设备和介质 | |
| CN112069868A (zh) | 一种基于卷积神经网络的无人机实时车辆检测方法 | |
| CN113780211A (zh) | 一种基于改进型Yolov4-tiny的轻量级飞机检测方法 | |
| CN110599502B (zh) | 一种基于深度学习的皮肤病变分割方法 | |
| CN110490849A (zh) | 基于深度卷积神经网络的钢板表面缺陷分类方法及装置 | |
| CN112766283B (zh) | 一种基于多尺度卷积网络的两相流流型识别方法 | |
| CN103646256A (zh) | 一种基于图像特征稀疏重构的图像分类方法 | |
| CN115966010A (zh) | 一种基于注意力和多尺度特征融合的表情识别方法 | |
| CN113378792A (zh) | 融合全局和局部信息的弱监督宫颈细胞图像分析方法 | |
| CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
| CN116704431A (zh) | 水污染的在线监测***及其方法 | |
| CN112257741A (zh) | 一种基于复数神经网络的生成性对抗虚假图片的检测方法 | |
| CN114943835B (zh) | 一种黄河冰凌无人机航拍图像实时语义分割方法 | |
| CN112861970A (zh) | 一种基于特征融合的细粒度图像分类方法 | |
| CN113870160A (zh) | 一种基于变换器神经网络的点云数据处理方法 | |
| CN114626476A (zh) | 基于Transformer与部件特征融合的鸟类细粒度图像识别方法及装置 | |
| CN112149612A (zh) | 一种基于深度神经网络的海洋生物识别***及识别方法 | |
| CN112084897A (zh) | 一种gs-ssd的交通大场景车辆目标快速检测方法 | |
| CN114780767A (zh) | 一种基于深度卷积神经网络的大规模图像检索方法及*** | |
| CN114357372A (zh) | 一种基于多传感器数据驱动的飞机故障诊断模型生成方法 | |
| CN117079099A (zh) | 一种基于改进YOLOv8n的违规行为检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |