CN115984644A

CN115984644A - 一种基于迁移学习的红外图像障碍物无监督标注方法

Info

Publication number: CN115984644A
Application number: CN202211621979.5A
Authority: CN
Inventors: 谢子心; 张弓; 方政; 胡文
Original assignee: Shenzhen Research Institute Of Nanjing University Of Aeronautics And Astronautics; Nanjing University of Aeronautics and Astronautics
Current assignee: Shenzhen Research Institute Of Nanjing University Of Aeronautics And Astronautics; Nanjing University of Aeronautics and Astronautics
Priority date: 2022-12-16
Filing date: 2022-12-16
Publication date: 2023-04-18

Abstract

本发明公开了一种基于迁移学习的红外图像障碍物无监督标注方法，扩充源域光学图像中塔架等障碍物的数据集，对UNet网络进行训练，并保存权重；调整UNet网络结构，去除深层特征提取层，同时增添特征融合模块，提出优于提取红外图像特征的语义分割网络IR‑UNet；然后冻结网络下采样的前4层和上采样的前4层结构，使用红外图像对最后两层卷积层进行微调，实现红外图像的无监督标注；用红外图像样本分别对IR‑UNet和UNet训练，得到训练权重后，网络再对大量无标注的红外图像输入样本进行测试。本文基于计算机视觉技术和迁移学习方法，研究如何将光学图像障碍物检测的信息和知识“迁移”到红外图像的标注中，提出了IR‑UNet网络，实现红外图像训练数据的无监督标注。

Description

一种基于迁移学习的红外图像障碍物无监督标注方法

技术领域

本发明涉及图像处理和迁移学习领域，尤其涉及一种基于迁移学习的红外图像障碍物无监督标注方法。

背景技术

直升机自从发明以来，因为其具有灵活、速度快等优异的飞行性能，一直在军用和民用领域被广泛应用。但直升机经常需要执行低空飞行任务，因此碰撞高压塔架和高压线等低空障碍物而导致的坠毁事故经常发生，直升机的低空飞行安全问题日益突出。

而如今可见光图像分辨率高，能够提供检测对象丰富的颜色、纹理及边缘等信息细节，红外图像在夜间或能见度差的环境中依然能保持高检测率的优势，因此融合可见光和红外的多源传感器检测塔架和高压线的方法渐渐发展起来。但由于红外图像相对于可见光图像存在成像质量差、分辨率低、信息单一等问题，导致红外图像标注过程中出现许多难点问题。

迁移学习是一种机器学习方法，把源域的知识迁移到目标域，使得目标领域能够取得更好的学习效果。通常，源域数据量充足，而目标域数据量较小，这种场景就很适合做迁移学习。本发明中由于塔架、线等低空障碍物在光学和红外图像中表现出的基本结构特征如点、线等具有相似性，因此便可将光学图像障碍物检测的信息和知识“迁移”到红外图像的标注中，实现训练数据的无监督标注。

发明内容

发明目的：本发明所要解决的技术问题在于，提供一种基于迁移学习的红外图像障碍物无监督标注方法，解决了红外图像标注困难等许多难点问题。

技术方案：本发明提供了一种基于迁移学习的红外图像障碍物无监督标注方法，具体包括以下步骤：

(1)扩充源域光学图像中塔架等障碍物的数据集，对UNet网络进行训练，并保存权重；

(2)调整UNet网络结构，去除深层特征提取层，同时增添特征融合模块，提出优于提取红外图像特征的语义分割网络IR-UNet；

(3)分别对IR-UNet和UNet训练，得到训练权重后，网络再对大量无标注的红外图像输入样本进行测试，实现红外图像障碍物的无监督标注。

进一步地，步骤(1)所述扩充源域光学图像中塔架等障碍物的数据集实现过程如下：

对原有的光学图像进行上下翻转和左右镜像翻转，数据集扩大为原来的四倍；

对光学图像中的障碍物进行不同范围、不同背景的截取，增加样本多样性。

进一步地，步骤(2)中所述的语义分割网络IR-UNe为：

将UNet网络深度从五层调整为四层，即编码部分只进行三次下采样操作之后便进行上采样，解码部分从四次上采样减少为三次；冻结IR-UNet网络下采样的前4层和上采样的前4层结构，保留部分训练参数以减少网络训练时间，并使用红外图像对最后两层卷积层进行微调，实现红外图像的无监督标注。

进一步地，步骤(2)所述特征融合模块有三种不同尺度的特征提取层，从浅到深分别是conv_64、conv_128、conv_256；将浅层特征与深层特征进行融合，将浅层特征层conv_64经过下采样后与特征层conv_128进行拼接，然后将conv_128经过下采样后与特征层conv_256进行拼接。

进一步地，所述步骤(3)实现过程如下：

(35)用已扩充的光学图像中塔架等障碍物的数据集对UNet网络进行训练100个epochs，并保存权重；

(36)将预先训练好的UNet网络调整为IR-UNet网络；

(37)标注少量目标域红外图像样本，分别对预先已训练好的UNet网络和IR-UNet网络训练100个epochs；

IR-UNet网络和UNet网络得到各自的训练权重后，对大量未被标注的红外图像进行测试，并将测试结果与人工标注进行比对。

有益效果：与现有技术相比，本发明的有益效果：本发明利用迁移学习方法，扩充光学图像障碍物样本并对UNet语义分割网络训练，同时改进UNet网络，增添特征融合模块，提出优于提取红外图像特征的语义分割网络IR-UNet；然后冻结网络下采样的前4层和上采样的前4层结构，使用红外图像对最后两层卷积层进行微调，实现红外图像的无监督标注；实验结果表明，本方法获得的红外图像障碍物标注精度可以达到人工标注的88.6％，减轻了红外图像大批量数据标注的压力，实现训练数据的无监督标注。

附图说明

图1为扩充的光学图像样本；其中，(a)为原始光学图像，(b)为将原始图像进行上下翻转之后的图，(c)和(d)为对光学图像中塔架等障碍物进行不同范围、不同背景的截取图；

图2为训练好的UNet网络对光学图像的测试效果；

图3为使用红外图像对网络进行微调的示意图；

图4为本发明提出的IR-UNet语义分割网络的示意图；

图5为两个对比实验的流程图；

图6为第一种天空背景下UNet、IR-UNet网络对输入红外图像的测试结果和人工标注的对比示意图；其中，(a)为待标记的红外图像，(b)为人工标记的真值图，(c)为IR-UNet所输出的标记结果，(d)为UNet所输出的标记结果；

图7为第二种天空背景下UNet、IR-UNet网络对输入红外图像的测试结果和人工标注的对比示意图；其中，(a)为待标记的红外图像，(b)为人工标记的真值图，(c)为IR-UNet所输出的标记结果，(d)为UNet所输出的标记结果；

图8为第三种天空背景下UNet、IR-UNet网络对输入红外图像的测试结果和人工标注的对比示意图；其中，(a)为待标记的红外图像，(b)为人工标记的真值图，(c)为IR-UNet所输出的标记结果，(d)为UNet所输出的标记结果；

图9为第四种天空背景下UNet、IR-UNet网络对输入红外图像的测试结果和人工标注的对比示意图；其中，(a)为待标记的红外图像，(b)为人工标记的真值图，(c)为IR-UNet所输出的标记结果，(d)为UNet所输出的标记结果。

具体实施方式

下面结合附图对本发明做进一步详细说明。

本发明提出一种基于迁移学习的红外图像障碍物无监督标注方法，包括如下步骤：

步骤1：扩充源域光学图像中塔架等障碍物的数据集，对UNet网络进行训练，并保存权重。

对原有的光学图像进行上下翻转和左右镜像翻转，数据集扩大为原来的四倍；对光学图像中塔架等障碍物进行不同范围、不同背景的截取，增加样本多样性。

如图1所示，(a)为原始的光学图像，(b)为光学图像经过上下翻转之后的效果图，(c)和(d)均是从原图所随机截取的塔架，这样一来，塔架样本的多样性与丰富性便大大提高。随后将扩充后的光学图像数据集对UNet网络训练100个epochs，如图2所示，(a)为待检测的光学图像，(b)为训练后的网络对光学图像的测试效果，塔架均被检测出且形状较为完整。

步骤2：调整UNet网络结构，去除深层特征提取层，同时增添特征融合模块，提出优于提取红外图像特征的语义分割网络IR-UNet。

调整UNet网络结构，去除深层特征提取层，同时增添特征融合模块，提出优于提取红外图像特征的语义分割网络IR-UNet；然后冻结网络下采样的前4层和上采样的前4层结构，使用红外图像对最后两层卷积层进行微调，实现红外图像的无监督标注。

由于红外图像与光学图像相比存在成像质量差、分辨率低、特征抽象等问题，在训练红外图像时，不必再进行多次特征提取，因此本发明将UNet网络进行改进，同时增添特征融合模块以充分利用含有较多细节信息的浅层网络特征，提出适合于提取红外图像特征的语义分割网络IR-UNet，结构图如图4所示。具体表述为：将UNet网络深度从五层调整为四层，即编码部分只进行三次下采样操作之后便进行上采样，解码部分从四次上采样减少为三次。特征融合模块具体可表述为：为了充分利用含有较多细节信息的浅层网络特征，增强网络的特征融合性能，在神经网络进行特征预测之前，本发明将浅层特征融合到深层特征。微调之后的网络有三种不同尺度的特征提取层，从浅到深分别是conv_64、conv_128、conv_256。本发明将浅层特征与深层特征进行融合，首先将浅层特征层conv_64经过下采样后与特征层conv_128进行拼接，然后将conv_128经过下采样后与特征层conv_256进行拼接。由此一来增强了浅层特征与深层特征之间的关联，可以更加有效更有针对性地提取红外图像中塔架、高压线等障碍物的特征信息。

最后冻结网络下采样的前4层和上采样的前4层结构，保留部分训练参数以减少网络训练时间并使用红外图像对最后两层卷积层进行微调，如图3所示，如此便可实现红外图像的无监督标注。

步骤3：分别对IR-UNet和UNet训练，得到训练权重后，网络再对大量无标注的红外图像输入样本进行测试，实现红外图像障碍物的无监督标注。

本发明进行了两个对比实验。实验的流程图如图5所示。具体步骤可表述为：首先标注少量目标域红外图像样本；然后将光学图像在UNet网络中训练好的权重参数迁移过来，即获得一个预训练好的模型；接着将UNet网络调整为IR-UNet网络并用已标注好的少量红外样本分别对预先训练好的UNet网络和IR-UNet网络训练100个epochs；最后IR-UNet网络和UNet网络得到各自的训练权重后，对大量未被标注的红外图像进行测试，并将测试结果与人工标注进行比对。

测试结果如图6、7、8、9所示。从测试图结果可以看出IR-UNet网络相较于UNet网络来说输出的塔架形状更为完整，高压线更为连续。总的来说，微调后的IR-UNet网络较UNet网络来说，对红外图像中塔架等障碍物的检测精度提高了。

表1为UNet、IR-UNet网络对输入红外图像的测试结果的精度对比表

精度(PA)	三层UNet	四层UNet
			第一种天空背景下	0.951	0.913
第二种天空背景下	0.874	0.828
			第三种天空背景下	0.820	0.717
第四种天空背景下	0.899	0.775
			平均	0.886	0.808

表1为UNet、IR-UNet网络对输入红外图像的测试结果的精度，结果表明，IR-UNet网络所输出的测试结果能达到人工标注精度的88.6％，很大程度上减轻了红外图像的标注压力，实现了训练数据的无监督标注。

Claims

1.一种基于迁移学习的红外图像障碍物无监督标注方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于迁移学习的红外图像障碍物无监督标注方法，其特征在于，步骤(1)所述扩充源域光学图像中塔架等障碍物的数据集实现过程如下：

3.根据权利要求1所述的基于迁移学习的红外图像障碍物无监督标注方法，其特征在于，步骤(2)中所述的语义分割网络IR-UNe为：

4.根据权利要求1所述的基于迁移学习的红外图像障碍物无监督标注方法，其特征在于，步骤(2)所述特征融合模块有三种不同尺度的特征提取层，从浅到深分别是conv_64、conv_128、conv_256；将浅层特征与深层特征进行融合，将浅层特征层conv_64经过下采样后与特征层conv_128进行拼接，然后将conv_128经过下采样后与特征层conv_256进行拼接。

5.如权利要求1所述的基于迁移学习的红外图像障碍物无监督标注方法，其特征在于，所述步骤(3)实现过程如下：

(31)用已扩充的光学图像中塔架等障碍物的数据集对UNet网络进行训练100个epochs，并保存权重；

(32)将预先训练好的UNet网络调整为IR-UNet网络；

(33)标注少量目标域红外图像样本，分别对预先已训练好的UNet网络和IR-UNet网络训练100个epochs；

(34)IR-UNet网络和UNet网络得到各自的训练权重后，对大量未被标注的红外图像进行测试，并将测试结果与人工标注进行比对。