CN116029947A - 一种用于恶劣环境的复杂光学图像增强方法、装置和介质 - Google Patents

Abstract

本发明公开了一种用于恶劣环境的复杂光学图像增强方法、装置和介质，该方法具体为：首先利用不同光照因素下的图像形成实验数据集；然后构建多种注意力模块提升图像纹理细节；其次构建特征‑图像匹配融合模块增强特征表征能力，增强模型全局感知能力；再搭建多尺度神经网络模型实现对复杂恶劣光照场景下的图像增强；然后使用数据样本训练生成对抗网络，构建对抗增强网络模型并输出增强后的图像；最后将预训练后的模型部署在TVM的设备上，根据特定设备和工作负载自动调整优化模型并获得最佳性能，在计算资源不足的设备中依旧可以提供快速且准确的推理模型。本发明能够对复杂光照因素引起的图像失真模糊进行重构增强，提高图像的增强效果。

Description

一种用于恶劣环境的复杂光学图像增强方法、装置和介质

技术领域

本发明涉及复杂光照场景下的图像处理领域，尤其涉及一种用于恶劣环境的复杂光学图像增强方法、装置和介质。

背景技术

随着科技的进步和人类的发展，大量边缘设备及服务平台利用视觉技术指导作业，通过图像做出分析与决策。但由于实地环境复杂，例如水中包含着大量的悬浮粒子与泥沙，自然光在水中发生散射现象，获取的图像阴霾化。同时受到地形的限制，大部分设备无法近距离拍摄目标，或者因为拍摄设备或目标物体的快速移动，导致图像某些感兴趣区域分辨率低，图像缺少细节，进而影响相应作业。因此，原始拍摄的图像在使用之前需要进行包括去噪、去模糊和颜色校正等图像增强处理。

现有的实现图像增强的方法可分为三类：非基于模型的方法、基于模型的方法和基于深度学习的方法。相比于传统图像处理的方法，基于深度学习的方法具有简单，快速等优点。但是，现有的基于深度学习的方法中大多数只是针对某一问题而设计的，例如图像颜色校正，图像去噪等，能够同时处理多项任务的方法较少。此外，基于深度学习的方法需要大量的运算，对边缘设备造成大量的计算负荷，尤其是在一些恶劣环境中，当无法部署足够计算资源的设备时，一些部署在设备端的模型也无法取得作用。无论是从计算成本还是时间成本，对于恶劣场景环境下的图像增强任务都是一种巨大的挑战。

发明内容

本发明的目的在于针对现有技术的不足，提供一种用于恶劣环境的复杂光学图像增强方法、装置和介质。

本发明的目的是通过以下技术方案来实现的：本发明实施例第一方面提供了一种用于恶劣环境的复杂光学图像增强方法，包括以下步骤：

（1）采集恶劣环境中的不同光照条件和不同拍摄条件下的图像作为图像样本；

（2）对所述步骤（1）采集的图像样本进行预处理，以获取参考图像；

（3）构建多尺度图像增强网络中的注意力模块，以提取原始的图像的纹理信息，其中，所述注意力模块包括跨尺度融合注意力模块、通道注意力模块和空间注意力模块；

（4）构建特征-图像匹配融合模块，并根据注意力模块和特征-图像匹配融合模块构建适用于恶劣环境的对抗性图像增强架构模型，其中，对抗性图像增强架构模型包括用于图像增强的生成器网络和用于判别图像的判别器网络；

（5）根据所述步骤（1）采集到的原始的图像和所述步骤（2）获取的参考图像训练对抗性图像增强架构模型，并利用生成器网络和判别器网络各自的目标损失函数反向传播进行优化，以获取收敛的对抗性图像增强架构模型；

（6）将所述步骤（5）获取的收敛的对抗性图像增强架构模型中的卷积算子替换为MEC算子以优化对抗性图像增强架构模型，将对抗性图像增强架构模型读入TVM编译器后进行再编译，并传输至服务器或边缘设备中以进一步优化对抗性图像增强架构模型；

（7）将真实图像样本输入到所述步骤（6）中优化后的对抗性图像增强架构模型，以获取复杂光学图像对应的增强图像。

可选地，所述步骤（2）包括以下子步骤：

（2.1）将所述步骤（1）采集的所有原始的图像样本使用基于物理的增强方法，通过图像内部固有的数学联系进行增强，以获取第一增强图像；

（2.2）将所述步骤（1）采集的所有原始的图像样本放入基于深度学习的方法中进行增强，以达到在没有场景约束的情况下获得视觉传达效果的最佳性能，以获取第二增强图像；

（2.3）将第一增强图像和第二增强图像进行人工比对，依据人类视觉感知效果精选出适用于与原始的图像相配对的参考图像。

可选地，所述步骤（3）包括以下子步骤：

（3.1）构建自上而下-自下而上的跨尺度融合注意力模块，其中，跨尺度融合注意力模块包括编码器和解码器，编码器将不同层次的特征进行聚合以获取中间聚合特征，将中间聚合特征传输给解码器，将高级特征和中间聚合特征级联，以获取多尺度融合特征；

（3.2）构建通道注意力模块，采用1×1、3×3卷积提取编码器网络中的层次化属性特征以增强特征表示，并采用ReLU激活函数以纠正梯度消失，最后使用1×1卷积对通道注意力模块进行降维，以提取高级属性特征；

（3.3）构建空间注意力模块，通过池化连接对局部特征进行加权，以提取图像的背景信息和纹理信息。

可选地，所述步骤（4）包括以下子步骤：

（4.1）构建特征-图像匹配融合模块，将不同深度的编码特征与变换尺寸大小的原始输入图像进行拼接，以完成特征-图像匹配融合；

（4.2）基于CNN嵌入跨尺度融合注意力模块、通道注意力模块、空间注意力模块和特征-图像匹配融合模块，以构建端到端的U型编码器-解码器图像增强网络，通过编码器提取图像特征，再利用解码器恢复成清晰图像；

（4.3）将U型编码器-解码器图像增强网络作为图像增强的生成器网络，并搭载PatchGAN网络中的判别器网络，以构建对抗性图像增强架构模型。

可选地，所述步骤（5）包括以下子步骤：

（5.1）生成器网络训练过程：将步骤（1）采集到的原始的图像与步骤（2）获取的参考图像输入生成器网络中，以生成新的图像，并利用对应的损失函数反向传播进行优化，以获取收敛的生成器网络；

（5.2）判别器网络训练过程：将生成器网络生成的图像与步骤（2）获取的参考图像输入判别器网络中，以判断图像的真假，并利用对应的损失函数反向传播进行优化，以获取收敛的判别器网络。

可选地，所述损失函数包括Charbonnier损失函数、Adversarial损失函数和Perceptual损失函数。

可选地，所述步骤（6）包括以下子步骤：

（6.1）将所述步骤（5）获取的收敛的对抗性图像增强架构模型中的卷积算子替换为MEC算子，将卷积重新配置为稀疏的矩阵乘，并采用块压缩稀疏行，以优化对抗性图像增强架构模型；

（6.2）在服务器或边缘设备中部署对抗性图像增强架构模型，将所述步骤（6.1）优化后的对抗性图像增强架构模型转换为ONNX格式，读入TVM编译器后进行再编译，以优化对抗性图像增强架构模型；

（6.3）在Nvidia V100平台上部署所述步骤（6.2）优化后的对抗性图像增强架构模型，调整高性能卷积网络以进一步优化对抗性图像增强架构模型。

可选地，所述步骤（6.3）中的调整高性能卷积网络具体为：使用TVM编译器中的Auto_TVM进行设备的自动调整，并使用TVM编译器中的Auto_Scheduler调整高性能卷积网络。

本发明实施例第二方面提供了一种用于恶劣环境的复杂光学图像增强装置，包括一个或多个处理器，用于实现上述的用于恶劣环境的复杂光学图像增强方法。

本发明实施例第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，用于实现上述的用于恶劣环境的复杂光学图像增强方法。

本发明的有益效果是，本发明利用对抗性图像增强网络，并且采用多种注意力模块和融合模块促使图像生成器生成更加优质的图像；生成器网络采用深层跨层次输入结构，使用图像融合技术将图像与特征图层进行级联，并嵌入多种注意力模块以提高增强结果；在模型推理阶段，基于TVM编译器，通过改进普通卷积算子加快推理速度，利用TVM编译器中的Auto_TVM和Auto_Scheduler来优化卷积神经网络，在设备计算资源不足的情况下能够快速有效的生成增强图像；相比于其他深度学习方法，本发明能够快速的大批量处理图像，在恶劣场景环境中表现优异。

附图说明

图1是本发明的用于恶劣环境的复杂光学图像增强方法的工作流程图；

图2是本实施例的编码器特征生成中间多尺度融合特征；

图3是本实施例的解码器特征融合中间多尺度特征；

图4是本实施例的搭建的通道注意力模块；

图5是本实施例的搭建的空间注意力模块；

图6是本实施例的搭建的特征-图像匹配融合模块；

图7是本实施例的搭建的图像增强神经网络模型；

图8是本实施例的判别器网络的构成结构及卷积参数图；

图9是本发明的用于恶劣环境的复杂光学图像增强装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的用于恶劣环境的复杂光学图像增强方法，如图1所示，包括以下步骤：

（1）采集恶劣环境中的不同光照条件和不同拍摄条件下的图像作为图像样本。

需要说明的是，恶劣环境包括海域和陆地场景，采集包括海域和陆地场景中的不同光照条件和不同拍摄条件下的图像作为图像样本。

（2）对步骤（1）采集的图像样本进行预处理，以获取参考图像。

（2.1）将步骤（1）采集的所有原始的图像样本使用基于物理的增强方法，通过图像内部固有的数学联系进行增强，以获取第一增强图像。

具体地，对于采集到的所有原始的图像样本，使用基于物理的增强方法，通过图像内部固有的数学联系进行增强，例如可以采用小波变换和同态滤波等变换域方法进行局部图像增强；通过主成分分析法计算暗通道先验算法的参数增强降质图像，进而利用高斯算子的二阶微分运算使高斯-拉普拉斯算子计算出边缘细节更饱满的图像，即可获取第一增强图像。

应当理解的是，主成分分析法把给定的一组相关变量通过线性变换转成另一组不相关的变量，这些新的变量按照方差依次递减的顺序排列，这是一种常见的数学变换的方法，在此不再赘述。

（2.2）将步骤（1）采集的所有原始的图像样本放入基于深度学习的方法中进行增强，以达到在没有场景约束的情况下获得视觉传达效果的最佳性能，以获取第二增强图像。

具体地，将图像样本输送至目前最佳性能的水下图像增强网络模型如Waterganugan中，并得到不同神经网络模型的增质图像。

应当理解的是，视觉传达效果的最佳性能可以用uiqm和uciqe这两个评价指标进行判断，uiqm和uciqe通常专用于水下视觉效果的评估。

（2.3）将第一增强图像和第二增强图像进行人工比对，依据人类视觉感知效果精选出适用于与原始的图像相配对的参考图像。

（3）构建多尺度图像增强网络中的注意力模块，以提取原始的图像的纹理信息，其中，所述注意力模块包括跨尺度融合注意力模块、通道注意力模块和空间注意力模块。

本实施例中的三种注意力模块在模型推理时可以更有效提取纹理信息，能够在复杂场景中有效去除由光线、晃动及成像引起的干扰，增强图像的全局感知能力。

应当理解的是，提取原始图像中的纹理信息，如此才可以进行增强处理。

（3.1）构建自上而下-自下而上的跨尺度融合注意力模块，其中，跨尺度融合注意力模块包括编码器和解码器，编码器将不同层次的特征进行聚合以获取中间聚合特征，将中间聚合特征传输给解码器，将高级特征和中间聚合特征级联，以获取多尺度融合特征。

具体地，针对传统基于卷积神经网络设计的端到端的图像编码器和解码器特征交互不便利、信息无法有效流通的问题，构建用于恶劣场景环境的图像增强网络中的自上而下-自下而上的跨尺度融合注意力模块，将不同层次的特征聚合起来，并将其作用在模型解码器中，其工作原理可以表述为：

其中，代表网络中位于第i层的中间聚合特征，代表第i层编码器的输出特征，代表第j层编码器的输出特征，代表第k层编码器的输出特征，和分别代表对特征图层进行上采样及下采样，代表卷积操作。采用级联的方式将不同的特征进行融合，并使用卷积操作将融合后的特征改变为与原始编码层的特征图层相一致的分辨率，具体流程如图2所示。将聚合特征传输给解码器时，解码器不仅会接受高级特征还会将中间汇聚特征级联，充分理解网络模型中的高级特征和低级属性：

其中，表示解码器网络中第i层的输出特征。

为了缓解过重的网络计算负担，并没有将低级特征级联，为生成清晰图像，解码器融合中间特征具体流程如图3所示，在瓶颈块后依旧会与原始图像结合。

（3.2）构建通道注意力模块，采用1×1、3×3卷积提取编码器网络中的层次化属性特征以增强特征表示，并采用ReLU激活函数以纠正梯度消失，最后使用1×1卷积对通道注意力模块进行降维，以提取高级属性特征。

本实施例中，为了构建通道间的相互依赖关系，使用通道注意力模块强调特征，选择高级的特征信息用以抑制无效的特征，其流程如图4所示。通过提取网络金字塔中的自适应属性表示来增强特征表示，并采用ReLU激活函数来纠正梯度消失的问题。在该模块中，采用1×1、3×3卷积提取网络中的特征，级联了两个结构相似的通道基本块：

其中，y代表输出特征，x代表输入通道基本块的网络特征，代表逐元素相加，代表逐元素相乘，代表sigmoid激活函数。最后使用1×1卷积对模型进行降维，避免大量冗余计算的同时完成跨通道的信息交互。

应当理解的是，提取编码器网络中的层次化属性特征即提取网络金字塔中的自适应属性，目的是提取整体的神经网络模型中的编码器解码器的每一层的特征，因为分辨率不同，所以称其为金字塔特征。

（3.3）构建空间注意力模块，通过池化连接对局部特征进行加权，以提取图像的背景信息和纹理信息。

本实施例中，构建图像增强网络的空间注意力模块，在网络中并不是所有的特征区域对恢复清晰图像的帮助是等同的，所以构建空间注意力模块来强调局部区域对恢复清晰图像的贡献，该模块流程如图5所示。设计空间注意力模块对区分图像不同区域的贡献，帮助模型处理图像颜色扰动较大的局部范围，在特征提取时会受到邻域的限制，导致方差变大或者均值偏移。在空间注意力模块中，特征流通过程为：

其中，代表均值池化层，代表最大值池化层。空间注意力模块通过有效的池化连接，在进行局部特征加权过程中，能够更多的保留图像的背景信息和纹理信息，为后续网络提供真实的初级监督信号，将更有价值的信息传递给深层网络。

（4）构建特征-图像匹配融合模块，并根据注意力模块和特征-图像匹配融合模块构建适用于恶劣环境的对抗性图像增强架构模型，其中，对抗性图像增强架构模型包括用于图像增强的生成器网络和用于判别图像的判别器网络。

应当理解的是，生成器网络用于图像增强，可以生成清晰的图像。

（4.1）构建特征-图像匹配融合模块，将不同深度的编码特征与变换尺寸大小的原始输入图像进行拼接，以完成特征-图像匹配融合。

本实施例中，构建特征-图像匹配融合模块，将不同深度的编码特征与变换尺寸大小的原始输入图像进行拼接。图像分辨率为3*640*480，其中3代表RGB通道，640*480代表图像尺寸。输入图像通过卷积等操作在网络第二层中生成了64*320*240分辨率的特征图层。首先使用pytorch中的torch.nn.functional.interpolate()函数降低图像分辨率，其中input参数代表输入图像，scale_factor参数代表缩放因子，当scale_factor为0.5时，图像尺寸由640*480变为320*240，即图像尺寸变为原先的0.5倍。再将缩放后的图像通过3×3和1×1卷积提取特征，特征图层的通道数由3变为61，并与图像在通道级别进行级联，高度和宽度不变，使得特征图层变为64通道。采用通道注意力模块提取生成的特征图层的高级属性，附加了ReLU激活函数增加网络非线性，避免梯度消失。此时两个特征图层分辨率均为64*320*240，将编码网络中的编码特征map0与图像特征map1进行逐元素相乘融合得到新的特征图层map2，紧接着将map2与map0进行逐元素相加，完成特征-图像匹配融合，如图6所示。特征-图像匹配融合模块可以显著提高网络的增强性能，可以通过下式进行说明：

其中，I代表降低分辨率后的输入图像，B代表基础卷积块。

（4.2）基于CNN（卷积神经网络）嵌入跨尺度融合注意力模块、通道注意力模块、空间注意力模块和特征-图像匹配融合模块，以构建端到端的U型编码器-解码器图像增强网络，通过编码器提取图像特征，再利用解码器恢复成清晰图像。

具体地，在构建端到端的U型编码器-解码器图像增强网络中，通过编码器提取图像特征，再利用解码网络恢复成清晰图像。在该图像增强网络中，嵌入构建的特征-图像匹配融合模块、跨尺度融合注意力模块、通道注意力模块和空间注意力模块。在该图像增强网络中含有多种不同尺寸的卷积核，包括1×1、3×3和5×5卷积运算，不同大小的感受野可以提取出图像中更多的信息，大的卷积核可以同时收集更多特征信息，但是计算量也更大。利用多种卷积核提取更加丰富的特征信息，并将特征图层进行级联融合，有利于提高最终增强图像的视觉质量。

（4.3）将U型编码器-解码器图像增强网络作为图像增强的生成器网络，并搭载PatchGAN网络中的判别器网络，以构建对抗性图像增强架构模型。

具体地，将U型编码器-解码器图像增强网络作为对抗性图像增强架构模型的生成器网络，通过搭载PatchGAN网络中的判别器，组成适用于多恶劣环境下的对抗图像增强网络架构，详细架构见图7。PatchGAN会将输入的图像进行切块划分，将输入图像映射为N*N的矩阵，能够关注更多的图像局部信息，判别器详细流程如图所示8。图像在判别器经过四次3×3卷积来减少图像的分辨率，利用torrch.nn.zeropad2d()进行零填充，零填充的目的是调整卷积后特征图的分辨率，最后再经过3×3卷积得到patch。

（5）根据步骤（1）采集到的原始的图像和步骤（2）获取的参考图像训练对抗性图像增强架构模型，并利用目标损失函数反向传播以优化模型，并获取收敛的对抗性图像增强架构模型。

本实施例中，根据步骤（1）采集到的原始的图像和步骤（2）获取的参考图像对对抗性图像增强架构模型进行训练。将生成器网络生成的图像与参考图像同时输入判别器网络，其结构如图8所示，判别器网络会判断出图像的真假；然后利用各自的目标损失函数反向传播训练网络，从而使得图像增强。本实施例中，使用Adam优化器的默认参数对对抗性图像增强架构模型进行优化，batch的大小设置为16，初始学习率设置为0.001，总训练次数为1000次，使用模拟退火算法调整学习速率，直到模型收敛，最终可以得到收敛的对抗性图像增强架构模型。

（5.1）生成器网络训练过程：将步骤（1）采集到的原始的图像与步骤（2）获取的参考图像输入生成器网络中，经过生成器网络处理生成新的图像，然后利用其对应的损失函数通过反向传播训练生成器网络，可以获取收敛的生成器网络。本实施例中，生成器网络使用了常见的三种损失函数对模型进行监督训练，分别是Charbonnier损失函数、Adversarial损失函数和Perceptual损失函数。通过损失函数即可获取对应的损失，损失函数的值越小越好。求损失函数对权重矩阵的每一维参数的偏导数，就可以算出这一维参数对损失函数变化的影响效率。

（5.2）判别器网络训练过程：将生成器网络生成的图像与参考图像同时输入判别器网络，可以判别图像的真假。其中，生成的图像进入判别器网络后经过卷积后的张量，将其与数值由0组成的张量计算均方误差。参考图像进入判别器网络后经过卷积变为张量与数值由1组成的张量计算均方误差。然后将两张图像计算出的均方误差相加，通过反向传播训练判别器。

其中，反向传播的训练过程就是通过常用的一些损失函数来实现的，例如Charbonnier损失函数和Perceptual损失函数等。得到损失函数之后，损失函数的值越小越好。求损失函数对权重矩阵的每一维参数的偏导数，就可以算出这一维参数对损失函数变化的影响效率。

（6）将步骤（5）获取的收敛的对抗性图像增强架构模型中的卷积算子替换为MEC算子以优化对抗性图像增强架构模型，将对抗性图像增强架构模型读入TVM编译器后进行再编译，并传输至服务器或边缘设备中以进一步优化对抗性图像增强架构模型。

为了在恶劣环境下的设备中部署对抗性图像增强架构模型并进行图像推理，需尽量减小模型参数和运算资源。具体地，可以优化卷积算子以改进对抗性图像增强架构模型的推理效率，降低计算开支。将预训练的对抗性图像增强架构模型读入TVM编译器后进行再编译，并传输至边缘设备中进行对抗性图像增强架构模型优化并进行相关图像推理。

（6.1）在步骤（5）获取的收敛的对抗性图像增强架构模型中存在大量的卷积操作，将传统的卷积算子替换为MEC算子可以令卷积核计算时大量减少访存次数，便于对抗性图像增强架构模型部署。此外，在对抗性图像增强架构模型推理时，特征图层中含有大量的零元素的稀疏矩阵，将卷积重新配置为稀疏的GEMM（General Matrix Multiplication，矩阵乘），并且采用块压缩稀疏行的方式来更有效地表示和存储稀疏矩阵。

本实施例中，MEC算子是一种内存利用率高且速度较快的卷积计算方法。目前卷积大多采用间接计算的方式，虽然执行效率不错但是内存占用过高。而MEC算子能够将计算矩阵拆分，使得需要存储的中间矩阵减小，在内存占用和计算速度上有较大提升。

（6.2）在服务器或边缘设备中部署对抗性图像增强架构模型时，首先将步骤（6.1）优化后的对抗性图像增强架构模型转换为ONNX格式，使用其中的relay.frontend.from_onnx()函数读取该ONNX格式的对抗性图像增强架构模型，采用relay.build()函数进行流程编译，并进行一些图级优化。再将算子注册到TVM编译器中生成TVM模块库。通过RPC机制，在TVM中建立本机与目标设备之间的通讯，进一步使用upload()函数将编译好的对抗性图像增强架构模型上传至目标设备，并进行对抗性图像增强架构模型部署加载。

应当理解的是，relay.frontend.from_onnx()函数、relay.build()函数和upload()函数均是基础的算子库内的函数。

（6.3）在Nvidia V100平台上部署步骤（6.2）获取的优化后的对抗性图像增强架构模型后调整高性能卷积网络，使用TVM编译器中的Auto_TVM进行设备的自动调整，在调校选项tuning_option{}中将tuner设为xgb算法，n_trial设为1500，使用tune_and_evaluate()函数来启动调优作业并评估端到端模型的性能。采用auto_scheduler.extract_tasks()函数在网络中提取搜索任务和权重，将网络的端到端延迟近似为任务的延迟与权重的乘积，使用run_tuning()函数进行对抗性图像增强架构模型调优，针对特定设备和工作负载的对对抗性图像增强架构模型进行自动调整，在设备计算资源不足的情况下能够快速有效的进行对抗性图像增强架构模型的推理计算。

应当理解的是，tune_and_evaluate()函数是一种常用的调整和评估函数，本实施例中可以用于启动调优作业并评估端到端模型的性能；auto_scheduler.extract_tasks()函数是一种常用的自动调度程序、提取任务的函数，本实施例中可以用于在网络中提取搜索任务和权重；run_tuning()函数是一种常用的运行调优函数，本实施例中可以用于对抗性图像增强架构模型的调优，针对特定设备和工作负载的对对抗性图像增强架构模型进行自动调整。

（7）将真实图像样本输入到步骤（6）中优化后的对抗性图像增强架构模型，以获取复杂光学图像对应的增强图像，最终可以输出清晰的图像。为了验证增强后图像的质量，选取了其他方法生成的增强图像进行对比。测算图像的峰值信噪比（PSNR）和结构相似性（SSIM），定量比较图像的优异。

本实施例能够提高相关设备的作业性能，增强作业效率。本实施例通过利用一个对抗增强架构实现图像的增强，并且采用多种注意力模块和融合模块提升图像质量。通过改善网络结构，减少模型训练参数。在网络模型中运用跨层次图像输入技术，提升网络性能。基于TVM平台基础，使用优化算子替代普通卷积算子，通过改善访存结构及数据格式，加快模型推理能力。基于AotoTVM优化卷积神经网络，在设备计算资源不足的情况下能够快速有效的对图像增强模型进行推理计算。与传统方法相比，该网络实现简单，泛化能力强，能够快速大批量的处理图像，在恶劣环境中表现依旧优异。

与前述用于恶劣环境的复杂光学图像增强方法的实施例相对应，本发明还提供了用于恶劣环境的复杂光学图像增强装置的实施例。

参见图9，本发明实施例提供的一种用于恶劣环境的复杂光学图像增强装置，包括一个或多个处理器，用于实现上述实施例中的用于恶劣环境的复杂光学图像增强方法。

本发明用于恶劣环境的复杂光学图像增强装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图9所示，为本发明用于恶劣环境的复杂光学图像增强装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图9所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的用于恶劣环境的复杂光学图像增强方法。

所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种用于恶劣环境的复杂光学图像增强方法，其特征在于，包括以下步骤：

（1）采集恶劣环境中的不同光照条件和不同拍摄条件下的图像作为图像样本；

（2）对所述步骤（1）采集的图像样本进行预处理，以获取参考图像；

（3）构建多尺度图像增强网络中的注意力模块，以提取原始的图像的纹理信息，其中，所述注意力模块包括跨尺度融合注意力模块、通道注意力模块和空间注意力模块；

（4）构建特征-图像匹配融合模块，并根据注意力模块和特征-图像匹配融合模块构建适用于恶劣环境的对抗性图像增强架构模型，其中，对抗性图像增强架构模型包括用于图像增强的生成器网络和用于判别图像的判别器网络；

（5）根据所述步骤（1）采集到的原始的图像和所述步骤（2）获取的参考图像训练对抗性图像增强架构模型，并利用生成器网络和判别器网络各自的目标损失函数反向传播进行优化，以获取收敛的对抗性图像增强架构模型；

（6）将所述步骤（5）获取的收敛的对抗性图像增强架构模型中的卷积算子替换为MEC算子以优化对抗性图像增强架构模型，将对抗性图像增强架构模型读入TVM编译器后进行再编译，并传输至服务器或边缘设备中以进一步优化对抗性图像增强架构模型；

（7）将真实图像样本输入到所述步骤（6）中优化后的对抗性图像增强架构模型，以获取复杂光学图像对应的增强图像。

2.根据权利要求1所述的用于恶劣环境的复杂光学图像增强方法，其特征在于，所述步骤（2）包括以下子步骤：

（2.1）将所述步骤（1）采集的所有原始的图像样本使用基于物理的增强方法，通过图像内部固有的数学联系进行增强，以获取第一增强图像；

（2.2）将所述步骤（1）采集的所有原始的图像样本放入基于深度学习的方法中进行增强，以达到在没有场景约束的情况下获得视觉传达效果的最佳性能，以获取第二增强图像；

（2.3）将第一增强图像和第二增强图像进行人工比对，依据人类视觉感知效果精选出适用于与原始的图像相配对的参考图像。

3.根据权利要求1所述的用于恶劣环境的复杂光学图像增强方法，其特征在于，所述步骤（3）包括以下子步骤：

（3.1）构建自上而下-自下而上的跨尺度融合注意力模块，其中，跨尺度融合注意力模块包括编码器和解码器，编码器将不同层次的特征进行聚合以获取中间聚合特征，将中间聚合特征传输给解码器，将高级特征和中间聚合特征级联，以获取多尺度融合特征；

（3.2）构建通道注意力模块，采用1×1、3×3卷积提取编码器网络中的层次化属性特征以增强特征表示，并采用ReLU激活函数以纠正梯度消失，最后使用1×1卷积对通道注意力模块进行降维，以提取高级属性特征；

（3.3）构建空间注意力模块，通过池化连接对局部特征进行加权，以提取图像的背景信息和纹理信息。

4.根据权利要求1所述的用于恶劣环境的复杂光学图像增强方法，其特征在于，所述步骤（4）包括以下子步骤：

（4.1）构建特征-图像匹配融合模块，将不同深度的编码特征与变换尺寸大小的原始输入图像进行拼接，以完成特征-图像匹配融合；

（4.2）基于CNN嵌入跨尺度融合注意力模块、通道注意力模块、空间注意力模块和特征-图像匹配融合模块，以构建端到端的U型编码器-解码器图像增强网络，通过编码器提取图像特征，再利用解码器恢复成清晰图像；

（4.3）将U型编码器-解码器图像增强网络作为图像增强的生成器网络，并搭载PatchGAN网络中的判别器网络，以构建对抗性图像增强架构模型。

5.根据权利要求1所述的用于恶劣环境的复杂光学图像增强方法，其特征在于，所述步骤（5）包括以下子步骤：

（5.1）生成器网络训练过程：将步骤（1）采集到的原始的图像与步骤（2）获取的参考图像输入生成器网络中，以生成新的图像，并利用对应的损失函数反向传播进行优化，以获取收敛的生成器网络；

（5.2）判别器网络训练过程：将生成器网络生成的图像与步骤（2）获取的参考图像输入判别器网络中，以判断图像的真假，并利用对应的损失函数反向传播进行优化，以获取收敛的判别器网络。

6.根据权利要求5所述的用于恶劣环境的复杂光学图像增强方法，其特征在于，所述损失函数包括Charbonnier损失函数、Adversarial损失函数和Perceptual损失函数。

7.根据权利要求1所述的用于恶劣环境的复杂光学图像增强方法，其特征在于，所述步骤（6）包括以下子步骤：

（6.1）将所述步骤（5）获取的收敛的对抗性图像增强架构模型中的卷积算子替换为MEC算子，将卷积重新配置为稀疏的矩阵乘，并采用块压缩稀疏行，以优化对抗性图像增强架构模型；

（6.2）在服务器或边缘设备中部署对抗性图像增强架构模型，将所述步骤（6.1）优化后的对抗性图像增强架构模型转换为ONNX格式，读入TVM编译器后进行再编译，以优化对抗性图像增强架构模型；

（6.3）在Nvidia V100平台上部署所述步骤（6.2）优化后的对抗性图像增强架构模型，调整高性能卷积网络以进一步优化对抗性图像增强架构模型。

8.根据权利要求7所述的用于恶劣环境的复杂光学图像增强方法，其特征在于，所述步骤（6.3）中的调整高性能卷积网络具体为：使用TVM编译器中的Auto_TVM进行设备的自动调整，并使用TVM编译器中的Auto_Scheduler调整高性能卷积网络。

9.一种用于恶劣环境的复杂光学图像增强装置，其特征在于，包括一个或多个处理器，用于实现权利要求1-8中任一项所述的用于恶劣环境的复杂光学图像增强方法。

10.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，用于实现权利要求1-8中任一项所述的用于恶劣环境的复杂光学图像增强方法。

Images