CN115861380B - 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置 - Google Patents
雾天低照度场景下端到端无人机视觉目标跟踪方法及装置 Download PDFInfo
- Publication number
- CN115861380B CN115861380B CN202310124284.4A CN202310124284A CN115861380B CN 115861380 B CN115861380 B CN 115861380B CN 202310124284 A CN202310124284 A CN 202310124284A CN 115861380 B CN115861380 B CN 115861380B
- Authority
- CN
- China
- Prior art keywords
- convolution
- image
- feature
- representing
- image features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 203
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000000007 visual effect Effects 0.000 title claims abstract description 36
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 75
- 230000002776 aggregation Effects 0.000 claims description 56
- 238000004220 aggregation Methods 0.000 claims description 56
- 230000007613 environmental effect Effects 0.000 claims description 54
- 238000011176 pooling Methods 0.000 claims description 40
- 238000005728 strengthening Methods 0.000 claims description 39
- 230000000750 progressive effect Effects 0.000 claims description 32
- 230000010354 integration Effects 0.000 claims description 24
- 241000282326 Felis catus Species 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000008447 perception Effects 0.000 claims description 14
- 230000002787 reinforcement Effects 0.000 claims description 12
- 230000000875 corresponding effect Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 8
- 238000007906 compression Methods 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 8
- 230000005284 excitation Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 238000007499 fusion processing Methods 0.000 claims description 5
- 238000005096 rolling process Methods 0.000 claims description 4
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 15
- 238000009826 distribution Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000003321 amplification Effects 0.000 description 8
- 238000003199 nucleic acid amplification method Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000047 product Substances 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及无人机目标跟踪技术领域，揭露了一种雾天低照度场景下端到端无人机视觉目标跟踪方法及装置，该方法包括：获取雾天低照度无人机图像，利用去雾增强框架对雾天低照度无人机图像进行特征提取，得到无人机图像特征；对无人机图像特征进行图像增强，得到高清全彩增强图像特征；从高清全彩增强图像特征中选取跟踪目标和搜索区域进行特征提取和增强，得到鲁棒搜索区域目标特征；对鲁棒搜索区域目标特征进行分类回归，得到无人机目标跟踪位置与尺度信息。本发明可高效部署于工业级无人机边缘智能视觉相机，解决雾天低照度场景下无人机目标跟踪性能差的问题，提高无人机雾天低照度场景下进行目标跟踪时获得目标位置与尺度的准确性及鲁棒性。
Description
技术领域
本发明涉及无人机目标跟踪技术领域，尤其涉及一种雾天低照度场景下端到端无人机视觉目标跟踪方法及装置。
背景技术
近年来随着技术的发展进步，推动着工业技术的变革，无人机的应用范围越来越广，如无人机表演，无人机巡逻，无人机获取电网信息等。尽管无人机应用范围较广，现阶段无人机的应用主要是依赖于人机自身，由于无人机受限续航、性能的限制，当无人机执行任务时，受限于无人机平台的起飞重量，且机载算力相对较低、可利用内存资源相对较少。同时，有别于其他机器人平台，无人机平台往往具有机动性强等特点，这使得对算法部署的实时性能要求严苛。由于无人机视角下拍摄的雾天低照度复杂动态图像极易受到雾气散射作用和人造光源的影响，亮度降低，对比度下降，具有严重的颜色失真、曝光过度等问题，且含有的物体尺寸分布不齐，且点光源和块光源较多，同时高噪声也会破坏图像纹理细节，进一步降低跟踪性能，雾天低照度场景下不稳定的跟踪性能严重阻碍了无人机应用的拓展，因此有效提取和增强目标特征，最终得到准确的目标位置预测结果显得尤为重要。
与现有前沿雾天低照度场景下无人机视觉目标跟踪方法相比，本发明能够有效提取增强无人机雾天低照度复杂动态环境下的高清全彩图像特征，解决现有方法能见度低，雾气放大、颜色失真、曝光过度、点光源干扰等问题，在基于无人机雾天低照度场景视觉目标跟踪任务提供清晰的目标图像时，有效提取搜索区域目标特征，得到准确的目标位置预测结果。综上所述，现有技术中存在无人机雾天低照度场景下进行目标跟踪时获得目标位置准确性低、去雾图像颜色失真和边缘不清晰、低照度增强图像噪声放大和过曝光的问题。
发明内容
本发明提供一种雾天低照度场景下端到端无人机视觉目标跟踪方法及装置，其主要目的在于解决无人机雾天低照度场景下进行目标跟踪时获得目标位置准确性低、去雾图像颜色失真和边缘不清晰、低照度增强图像噪声放大和过曝光的问题。
为实现上述目的，本发明提供的一种雾天低照度场景下端到端无人机视觉目标跟踪方法，包括：获取雾天低照度无人机图像，利用预设的大规模图像数据集构建的渐进式无人机雾天低照度复杂动态图像去雾增强框架对雾天低照度无人机图像进行特征提取，得到无人机图像特征；对无人机图像特征进行图像特征去雾和低照度增强，得到高清全彩增强图像特征；从高清全彩增强图像特征中选取跟踪目标和搜索区域，对跟踪目标和搜索区域进行特征提取和增强，得到鲁棒搜索区域目标特征；对鲁棒搜索区域目标特征进行分类回归，得到无人机目标跟踪位置与尺度信息。
本发明还提供一种雾天场景下端到端无人机视觉目标跟踪装置，包括特征提取模块，用于获取雾天低照度无人机图像，利用预设的大规模图像数据集构建的渐进式无人机雾天低照度复杂动态图像去雾增强框架对雾天低照度无人机图像进行特征提取，得到无人机图像特征；图像特征去雾和低照度增强模块，用于对无人机图像特征进行图像特征去雾和低照度增强，得到高清全彩增强图像特征；跟踪目标选取模块，用于从高清全彩增强图像特征中选取跟踪目标和搜索区域，对跟踪目标和搜索区域进行特征提取和增强，得到鲁棒搜索区域目标特征；分类回归模块，用于对鲁棒搜索区域目标特征进行分类回归，得到无人机目标跟踪位置与尺度信息。
与现有技术相比，本发明的有益效果为：通过渐进式无人机雾天低照度复杂动态图像去雾增强框架对雾天低照度无人机图像进行特征提取，能够使得提取的无人机图像特征更加准确；通过对无人机图像特征进行图像特征去雾和低照度增强，得到高清全彩增强图像特征，能够提升无人机雾天低照度复杂动态环境下的图像能见度，解决雾气放大、颜色失真、曝光过度、点光源干扰等问题，并在高清全彩增强图像特征上形成更加有效的细节纹理信息和语义信息，从而为无人机雾天低照度场景视觉目标跟踪任务提供清晰的目标图像，并有效提取和增强目标特征；通过从高清全彩增强图像特征中选取跟踪目标和搜索区域，对跟踪目标和搜索区域进行特征提取和增强，能够更加精确得到鲁棒搜索区域目标特征；通过对鲁棒搜索区域目标特征进行分类回归，能够准确得到无人机目标跟踪位置与尺度信息。
附图说明
图1为本发明一实施例提供的雾天低照度场景下端到端无人机视觉目标跟踪方法的流程示意图；
图2为本发明一实施例提供的级联式稀疏连接骨干网络的残差式特征融合模块的结构示意图；
图3为本发明一实施例提供的残差式特征融合模块中的残差式结构重参数化卷积的结构示意图；
图4为本发明一实施例提供的多层级特征聚合瓶颈模块中的残差式空间金字塔平均池化模块的结构示意图；
图5为本发明一实施例提供的细节信息感知特征增强网络的细节信息聚合模块的结构示意图；
图6为本发明一实施例提供的深度自相关去雾头的结构示意图；
图7为本发明一实施例提供的多分支低照度增强头的结构示意图；
图8为本发明一实施例提供的深度自相关去雾头中的深度自相关注意力的结构示意图；
图9为本发明一实施例提供的特征整合块的结构示意图；
图10为本发明一实施例提供的残差式压缩激励模块的结构示意图；
图11为本发明一实施例提供的多分支低照度增强头中的非对称空间注意力的结构示意图；
图12为本发明一实施例提供的环境感知鲁棒跟踪头中的环境感知注意力的结构示意图；
图13为本发明一实施例提供的环境感知鲁棒跟踪头的结构示意图；
图14为本发明一实施例提供的雾天低照度场景下端到端无人机视觉目标跟踪方法的结构示意图；
图15为本发明一实施例提供的雾天低照度场景下端到端无人机视觉目标跟踪装置的功能模块图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为解决现有技术中提供的雾天低照度场景下端到端无人机视觉目标跟踪方法在无人机雾天低照度场景下进行目标跟踪时获得目标位置的准确性较低、去雾图像颜色失真和边缘不清晰、低照度增强图像噪声放大和过曝光的问题，本发明一实施例提供了一种雾天低照度场景下端到端无人机视觉目标跟踪方法，利用该方法通过大规模图像数据集构建的渐进式无人机雾天低照度复杂动态图像去雾增强框架对雾天低照度无人机图像进行特征提取，得到无人机图像特征；再对无人机图像特征进行图像特征去雾和低照度增强，得到高清全彩增强图像特征；从而从高清全彩增强图像特征中选取跟踪目标和搜索区域，对跟踪目标和搜索区域进行特征提取和增强，得到鲁棒搜索区域目标特征；对鲁棒搜索区域目标特征进行分类回归，得到无人机目标跟踪位置与尺度信息，最终能够提高无人机雾天低照度场景下进行目标跟踪时获得目标位置的准确性、去雾图像颜色失真和边缘的清晰度及降低低照度增强图像噪声及过曝光。
图1为本发明一实施例提供的雾天低照度场景下端到端无人机视觉目标跟踪方法的流程示意图。在本实施例中，雾天低照度场景下端到端无人机视觉目标跟踪方法包括：
S1、获取雾天低照度无人机图像，利用预设的大规模图像数据集构建的渐进式无人机雾天低照度复杂动态图像去雾增强框架对雾天低照度无人机图像进行特征提取，得到无人机图像特征。
在一个实施例中，雾天低照度无人机图像指的是无人机视角下拍摄的雾天低照度复杂动态图像。
在一个实施例中，预设的大规模图像数据集构建的渐进式无人机雾天低照度复杂动态图像去雾增强框架包括级联式稀疏连接骨干网络、多层级特征聚合瓶颈模块、深度自相关去雾头、多分支低照度增强头及环境感知鲁棒跟踪头。
在一个实施例中，级联式稀疏连接骨干网络（Cascaded Sparse ConnectionBackbone, CSCB）可以充分利用浅层特征与深层特征间信息的交互性，从而高效提取无人机雾天低照度复杂动态图像的鲁棒特征，以更好地表征无人机雾天低照度复杂动态图像中雾气分布状态及明暗区域变化，显著突出图像中亟需有效去雾和全彩增强的关键兴趣区域。
在一个实施例中，残差式特征融合模块（Residual Feature Fusion Module,RFFM）可以充分融合无人机雾天低照度复杂动态图像浅层特征中的细节纹理信息和深层特征中的语义信息，得到进一步增强后的鲁棒特征，充分关注图像中的小目标、点光源和块光源等局部区域，以实现雾天低照度复杂动态图像的精确去雾和全彩增强效果，防止图像色彩失真。
在一个实施例中，多层级特征聚合瓶颈模块（Multi-Level Feature AggregationNeck，MFAN）可以有效强化骨干网络对无人机低照度复杂动态图像提取到的图像特征的鲁棒性，利用多尺度特征池化操作和多层级特征增强方法，以补充深层特征的图像信息，并基于强化特征进行雾气分布和照度分布的信息建模，实现无人机雾天低照度复杂动态环境下的待增强区域的准确定位。
在一个实施例中，深度自相关去雾头（Deep Auto-Correlation Dehazing Head,DADH）可以将增强后的鲁棒图像特征利用注意力机制对无人机低照度复杂动态图像中含雾部分与周围环境信息进行相关性建模，从而在有效实现去雾的同时保证色彩和对比度等表观信息正常，可高效处理无人机雾天低照度复杂动态图像中雾气颗粒影响图像质量等问题。
在一个实施例中，多分支低照度增强头（Multi-Branch Low-IlluminanceEnhancement Head, MLEH）可以将去雾后的低照度复杂动态图像特征利用反射分支、光照分支和噪声分支，有效实现调整照明和完全消除噪声，以防止噪声在对比度拉伸后被放大，同时可根据光照分布重点估计较暗区域的噪声，从而高效增强无人机雾天低照度复杂动态图像色彩和纹理细节并进行针对性的去噪。
在一个实施例中，环境感知鲁棒跟踪头（Environment-Perception RobustTracking Head, ERTH）可以将无人机雾天低照度复杂动态图像全彩去雾增强后的图像特征进行跟踪目标的特征提取与融合，并与目标周围背景特征进行交互，基于图像特征进行快速分类回归，实现雾天低照度复杂动态场景下的无人机跟踪目标准确定位。
本发明实施例中，利用预设的大规模图像数据集构建的渐进式无人机雾天低照度复杂动态图像去雾增强框架对雾天低照度无人机图像进行特征提取，得到无人机图像特征，包括：利用渐进式无人机雾天低照度复杂动态图像去雾增强框架中的级联式稀疏连接骨干网络的卷积层对雾天低照度无人机图像进行卷积处理，得到浅层图像特征；根据渐进式无人机雾天低照度复杂动态图像去雾增强框架中的级联式稀疏连接骨干网络的卷积层提取雾天低照度无人机图像的输出特征；利用残差式特征融合模块对浅层图像特征及输出特征进行特征融合处理，得到无人机图像特征。
在一个实施例中，级联式稀疏连接骨干网络首先包含一层步长为1的卷积层初步提取浅层图像特征，级联式稀疏连接骨干网络后续由多个单元组成，其中，每个单元由卷积层及残差式特征融合模块（Residual Feature Fusion Module, RFFM）构成，且除最后一个单元外，每个单元后有一层残差组防止网络过深导致的原始图像细节信息丢失，上述单元可表示为：
其中，F 3表示无人机图像特征，F 1表示雾天低照度无人机图像，F 2表示浅层图像特征，F 0表示输出特征，Conv表示级联式稀疏连接骨干网络的卷积层，RFFM表示级联式稀疏连接骨干网络的残差式特征融合模块。
在一个实施例中，级联式稀疏连接骨干网络的残差式特征融合模块的具体结构如图2所示，该模块可以更好地融合浅层特征及深层特征不同感受野提取的图像特征信息；具体地，浅层特征含有丰富的雾天低照度图像中物体纹理细节信息，更容易关注到小目标；深层特征含有丰富的语义信息，更容易关注到较大尺寸的目标，残差式特征融合模块可以更清晰地增强雾天低照度复杂动态图像的纹理特征和语义特征，充分保留原始图像信息；其中，Conv表示1×1卷积，Downsample表示下采样，RSRConv表示残差式结构重参数化卷积，Upsample表示上采样。
在一个实施例中，利用残差式特征融合模块对浅层图像特征及输出特征进行特征融合处理，得到无人机图像特征，包括：对浅层图像特征进行卷积和下采样处理，得到深层图像特征；利用预设的第一公式对浅层图像特征进行求解，得到深层图像特征，第一公式表示为：
其中，F 4表示深层图像特征，F 2表示浅层图像特征，RSRConv表示残差式结构重参数化卷积，Conv表示1×1卷积，Downsample表示下采样；对深层图像特征及输出特征进行卷积和上采样处理，得到上采样图像特征；利用预设的第二公式对深层图像特征进行求解，得到上采样图像特征，第二公式表示为：
其中，F 5表示上采样图像特征，F 0表示输出特征，F 4表示深层图像特征，RSRConv表示残差式结构重参数化卷积，Upsample表示上采样，Conv表示1×1卷积；对浅层图像特征及上采样图像特征进行加和计算，得到无人机图像特征；利用预设的第三公式对浅层图像特征及上采样图像特征进行加和计算，得到无人机图像特征，第三公式表示为：
其中，F 3表示无人机图像特征，F 2表示浅层图像特征，F 5表示上采样图像特征。
在一个实施例中，残差式特征融合模块包含两种卷积，一种是1×1卷积，一种是残差式结构重参数化卷积（Residual Structural Re-Parameterization Convolution,RSRConv）。残差式特征融合模块中的残差式结构重参数化卷积的具体结构如图3所示，残差式结构重参数化卷积是由于在神经网络模型架构设计之初，充分考虑边缘部署平台的独有特点，将模型轻量化设计作为一个重要的出发点，以降低模型参数量为主要手段，尽可能降低运行时的计算负载，以适应无人机平台有限的算力资源，为了在尽可能不影响模型性能的前提下减少模型参数量，提高其运行效率，进而适应无人机平台计算资源有限的场景；其中，残差式结构重参数化卷积包含在一个卷积层中结合3×3卷积（RepConv, 重参数化卷积），1×1卷积（Conv）及恒等映射（DWConv, 深度可分离卷积），能够保持参数的统一性，并利用残差结构减少低维特征信息的损失，最后通过卷积操作整合特征信息。
在一个实施例中，对于任一输入张量经过残差式结构重参数化卷积映射为输出张量，例如，将浅层图像特征输入残差式结构重参数化卷积后输出深层图像特征，残差式结构重参数化卷积具体可表示为：
其中，F 4表示深层图像特征，F 2表示浅层图像特征，RepConv表示重参数化卷积，Conv表示1×1卷积，DWConv表示深度可分离卷积。
在一个实施例中，由于无人机视角下拍摄的雾天低照度复杂动态图像含有的物体尺寸分布不齐，且点光源和块光源较多，因此通过一种级联式稀疏连接骨干网络（CSCB）对不同深度的图像特征进行纵向特征交互，充分利用不同大小感受野获得的不同图像信息，提取多尺度目标的鲁棒特征，显著关注到雾气分布情况以及点光源和块光源在雾天低照度图像中导致的光照异常值，级联式稀疏连接骨干网络的单元个数N可根据雾天低照度场景下无人机视觉目标跟踪具体任务环境的雾气浓度和光照强度自适应调整，从而在雾天低照度复杂动态图像提取出鲁棒特征用于后续的特征增强。
S2、对无人机图像特征进行图像特征去雾和低照度增强，得到高清全彩增强图像特征。
在一个实施例中，对无人机图像特征进行图像特征去雾和低照度增强，得到高清全彩增强图像特征，包括：利用渐进式无人机雾天低照度复杂动态图像去雾增强框架中的多层级特征聚合瓶颈模块对无人机图像特征进行池化处理，得到池化图像特征；从无人机图像特征中选取第一输出特征及第二输出特征，利用多层级特征聚合瓶颈模块对池化图像特征、第一输出特征及第二输出特征进行细节特征增强处理，得到细节图像特征；利用渐进式无人机雾天低照度复杂动态图像去雾增强框架中的深度自相关去雾头对细节图像特征进行去雾处理，得到去雾图像特征；利用渐进式无人机雾天低照度复杂动态图像去雾增强框架中的多分支低照度增强头对去雾图像特征进行全彩增强处理，得到高清全彩增强图像特征。
在一个实施例中，多层级特征聚合瓶颈模块包含残差式空间金字塔平均池化（Residual Spatial Pyramid Average Pooling, RSPAP）模块和细节信息感知特征增强网络（Detail-Aware Feature Enhancement Network, DFENet），其中，RSPAP利用不同感受野的平均池化操作增强雾天低照度无人机复杂动态图像多尺度局部雾气浓度和光照分布，利用残差结构充分保留原始特征信息；DFENet进一步增强图像细节特征，并引入骨干网络中的浅层特征，防止网络过深导致的图像细节纹理信息丢失，同时增强图像特征语义信息，多层级特征聚合瓶颈模块具体可表示为：
其中，F 9表示细节图像特征，F 3表示无人机图像特征，F 6表示池化图像特征，F 7表示第一输出特征，F 8表示第二输出特征，RSPAP表示残差式空间金字塔平均池化，DFENet表示细节信息感知特征增强网络。
在一个实施例中，第一输出特征及第二输出特征分别是经过级联式稀疏连接骨干网络倒数第二层残差组的输出特征及最后一层残差组的输出特征。
在一个实施例中，残差式空间金字塔平均池化模块（RSPAP）具体结构如图4所示，是为了在不同尺寸上增强特征，关注雾天低照度无人机复杂动态图像多尺度目标及点光源和块光源，用于对输入特征进行多感受野信息整合。具体地，利用残差式结构重参数化卷积RSRConv代替传统卷积，降低参数量，在实现轻量化的同时由于参数的统一性提高性能，利用平均池化关注雾天低照度无人机复杂动态图像特征全局雾气浓度和光照强度，使得生成的增强图像特征更加利于后续的去雾和低照度增强过程，其中，RSRConv表示残差式结构重参数化卷积，Avgpool表示平均池化，Cat表示通道维度上连接操作， Conv表示1×1卷积。
在一个实施例中，对无人机图像特征进行池化处理，得到池化图像特征，包括：对无人机图像特征进行残差式结构重参数化卷积处理，得到卷积图像特征；利用预设的第四公式对无人机图像特征进行求解，得到卷积图像特征，第四公式表示为：
其中，
表示卷积图像特征，F 3表示无人机图像特征，RSRConv表示残差式结构重参数化卷积；对卷积图像特征进行平均池化处理，得到第一卷积图像特征、第二卷积图像特征及第三卷积图像特征；利用预设的第五公式对卷积图像特征进行求解，得到第一卷积图像特征、第二卷积图像特征及第三卷积图像特征，第五公式表示为：
其中，
表示卷积图像特征，/>
表示第一卷积图像特征，/>
表示第二卷积图像特征，/>
表示第三卷积图像特征，Avgpool表示平均池化；对第一卷积图像特征、第二卷积图像特征及第三卷积图像特征进行连接操作，得到连接图像特征；对连接图像特征进行卷积处理，得到第四卷积图像特征；对第四卷积图像特征及卷积图像特征进行乘法计算，得到第五卷积图像特征；利用预设的第六公式对第一卷积图像特征、第二卷积图像特征及第三卷积图像特征进行求解，得到第五卷积图像特征，第六公式表示为：
其中，
表示卷积图像特征，/>
表示第一卷积图像特征，/>
表示第二卷积图像特征，/>
表示第三卷积图像特征，/>
表示第五卷积图像特征，Cat表示通道维度上连接操作，Conv表示1×1卷积；对第五卷积图像特征进行残差式结构重参数化卷积处理，得到目标卷积图像特征；对目标卷积图像特征及无人机图像特征进行加和计算，得到池化图像特征；利用预设的第七公式对第五卷积图像特征进行求解，得到池化图像特征，第七公式表示为：
其中，F 6表示池化图像特征，F 3表示无人机图像特征，
表示第五卷积图像特征，RSRConv表示残差式结构重参数化卷积。
在一个实施例中，利用多层级特征聚合瓶颈模块对池化图像特征、第一输出特征及第二输出特征进行细节特征增强处理，得到细节图像特征，包括：获取多层级特征聚合瓶颈模块中的细节信息感知特征增强网络；利用细节信息感知特征增强网络中的细节信息聚合模块对浅层图像特征及池化图像特征进行融合，得到强化特征；利用细节信息感知特征增强网络中的细节信息聚合模块对强化特征进行残差式结构重参数化卷积处理，得到第一卷积强化特征；利用预设的第八公式对强化特征进行求解，得到第一卷积强化特征，第八公式表示为：
其中，F 10表示强化特征，F 11表示第一卷积强化特征，RSRConv表示残差式结构重参数化卷积；利用细节信息聚合模块对卷积强化特征及第一输出特征或第二输出特征进行通道连接及卷积处理，得到第一连接强化特征；利用预设的第九公式对卷积强化特征及第一输出特征或第二输出特征进行求解，得到第一连接强化特征，第九公式表示为：
其中，F 11表示第一卷积强化特征，F 7表示第一输出特征，F 8表示第二输出特征，F 12表示第一连接强化特征，/表示根据不同细节信息聚合模块输入为第一输出特征或第二输出特征，Cat表示通道维度上连接操作，Conv表示1×1卷积；利用细节信息聚合模块对第一连接强化特征进行卷积处理，得到第二卷积强化特征；利用预设的第十公式对第一连接强化特征进行求解，得到第二卷积强化特征，第十公式表示为：
其中，F 12表示第一连接强化特征，F 13表示第二卷积强化特征，Conv表示1×1卷积；利用细节信息聚合模块对第一卷积强化特征进行非对称卷积处理，得到第三卷积强化特征；利用预设的第十一公式对第一卷积强化特征进行求解，得到第三卷积强化特征，第十一公式表示为：
其中，F 11表示第一卷积强化特征，F 14表示第三卷积强化特征，ACConv表示非对称卷积操作；利用细节信息聚合模块对第二卷积强化特征及第三卷积强化特征进行通道连接及卷积处理，得到第二连接强化特征；利用预设的第十二公式对第二卷积强化特征及第三卷积强化特征进行求解，得到第二连接强化特征，第十二公式表示为：
其中，F 13表示第二卷积强化特征，F 14表示第三卷积强化特征，F 15表示第二连接强化特征，Cat表示通道维度上连接操作，Conv表示1×1卷积；利用细节信息聚合模块对强化特征及第二连接强化特征进行加和计算，得到细节图像特征；利用预设的第十三公式对强化特征及第二连接强化特征进行求解，得到细节图像特征，第十三公式表示为：
其中，F 16表示细节图像特征，F 10表示强化特征，F 15表示第二连接强化特征。
在一个实施例中，细节信息聚合模块（Detail Aggregation Module, DAM）的具体结构如图5所示，DAM引入级联式稀疏连接骨干网络中的浅层图像特征，将浅层图像特征及池化图像特征进行融合，并将融合后的强化特征分别增强全局语义信息和局部细节信息，重点突出雾天低照度无人机复杂动态图像中雾气严重区域和较暗区域，此外还利用非对称卷积分别针对性增强图像长和宽方向上的细节信息，可以减少计算量，并有利于无人机边缘部署；其中，RSRConv表示残差式结构重参数化卷积，Cat表示通道维度上连接操作，Conv表示1×1卷积，ACConv表示非对称卷积操作。
在一个实施例中，利用渐进式无人机雾天低照度复杂动态图像去雾增强框架中的深度自相关去雾头对细节图像特征进行去雾处理，得到去雾图像特征，包括：利用深度自相关去雾头中的深度自相关注意力对细节图像特征进行深度自相关操作，得到深度相关图像特征，其中，深度自相关去雾头包括深度自相关注意力及后续全局去雾处理结构；利用预设的第十四公式对细节图像特征进行求解，得到深度相关图像特征，第十四公式表示为：
其中，F 16表示细节图像特征，F 17表示深度相关图像特征，DAA表示深度自相关注意力；利用后续全局去雾处理结构对深度相关图像特征进行残差式结构重参数化卷积处理，得到深度卷积图像特征；利用预设的第十五公式对深度相关图像特征进行求解，得到深度卷积图像特征，第十五公式表示为：
其中，F 17表示深度相关图像特征，F 18表示深度卷积图像特征，RSRConv表示残差式结构重参数化卷积；利用后续全局去雾处理结构对深度卷积图像特征进行池化及全连接处理，得到全连接图像特征；利用后续全局去雾处理结构对全连接图像特征进行卷积及激活处理，得到全连接卷积图像特征；利用预设的第十六公式对深度卷积图像特征进行求解，得到全连接卷积图像特征，第十六公式表示为：
其中，F 18表示深度卷积图像特征，F 19表示全连接卷积图像特征，GAP表示全局平均池化，MAP表示全局最大池化，FC表示全连接层，Cat表示通道维度上连接操作，Conv表示1×1卷积，Sigmoid表示Sigmoid激活函数；利用后续全局去雾处理结构对全连接卷积图像特征进行残差式结构重参数化卷积处理，得到去雾图像特征；利用预设的第十七公式对全连接卷积图像特征进行求解，得到去雾图像特征，第十七公式表示为：
其中，F 20表示去雾图像特征，F 17表示深度相关图像特征，F 18表示深度卷积图像特征，F 19表示全连接卷积图像特征，RSRConv表示残差式结构重参数化卷积。
在一个实施例中，深度自相关去雾头（DADH）的具体结构如图6所示，由深度自相关注意力（Deep Auto-Correlation Attention, DAA）及后续全局去雾处理结构组成，具体地，DAA分别从空间和通道维度上通过深度自相关操作重点关注全局雾气分布情况和局部雾气较重区域，为后续去雾处理提供鲁棒特征；后续操作利用全局平均池化和全局最大池化及全连接层分别对雾天低照度无人机复杂动态图像特征进行全局去雾处理和异常值修正，Sigmoid激活函数保证去雾后图像色彩偏差正常，从而有效解决雾天低照度无人机复杂动态图像去雾后色差异常、对比度失真等问题；其中，DAA表示深度自相关注意力，RSRConv表示残差式结构重参数化卷积，GAP表示全局平均池化，MAP表示全局最大池化，FC表示全连接层，Cat表示通道维度上连接操作，Conv表示1×1卷积，Sigmoid表示Sigmoid激活函数。
在一个实施例中，利用渐进式无人机雾天低照度复杂动态图像去雾增强框架中的多分支低照度增强头对去雾图像特征进行全彩增强处理，得到高清全彩增强图像特征，包括：利用多分支低照度增强头中的非对称空间注意力对去雾图像特征进行照度信息整合处理，得到照度图像特征，其中，多分支低照度增强头包括非对称空间注意力及多分支低照度增强操作；利用多分支低照度增强操作对照度图像特征进行照度增强处理，得到高清全彩增强图像特征；利用预设的第十八公式对去雾图像特征及照度图像特征进行求解，得到高清全彩增强图像特征，第十八公式表示为：
其中，F 22表示高清全彩增强图像特征，F 20表示去雾图像特征，F 21表示照度图像特征，R表示照度图像特征对应的照度分量，N表示照度图像特征对应的反射分量，I表示照度图像特征对应的噪声分量，ASA表示非对称空间注意力，RSRConv表示残差式结构重参数化卷积，Conv表示1×1卷积，Sigmoid表示Sigmoid激活函数，Tanh表示Tanh激活函数，Aggregation表示聚合操作。
在一个实施例中，多分支低照度增强头（MLEH）的具体结构如图7所示，由设计的非对称空间注意力（Asymmetric Spatial Attention, ASA）及多分支低照度增强操作组成，具体地，ASA通过对去雾之后的无人机低照度复杂动态图像特征从不同方向关注照度分布情况，重点突出较暗区域及局部噪声，为后续增强操作提供鲁棒特征；多分支低照度增强操作分别得到图像特征的照度分量、反射分量和噪声分量，并融合成为最终正常照度的图像。MLEH重点关注图像特征的全彩增强效果，抑制噪声的放大，使得生成的高清全彩增强图像特征更加利于目标跟踪头的目标特征提取和位置预测；其中，ASA表示非对称空间注意力，RSRConv表示残差式结构重参数化卷积，Conv表示1×1卷积，Sigmoid表示Sigmoid激活函数，Tanh表示Tanh激活函数，Aggregation表示聚合操作。
在一个实施例中，利用深度自相关去雾头中的深度自相关注意力对细节图像特征进行深度自相关操作，得到深度相关图像特征，包括：利用深度自相关注意力对细节图像特征进行多分支残差式结构重参数化卷积，得到第一分支卷积图像特征、第二分支卷积图像特征及第三分支卷积图像特征，其中，深度自相关注意力包括特征整合块、残差式压缩激励模块及空间注意力矩阵；利用预设的第十九公式对细节图像特征进行求解，得到第一分支卷积图像特征、第二分支卷积图像特征及第三分支卷积图像特征，第十九公式表示为：
其中，F 16表示细节图像特征，Q表示第一分支卷积图像特征，K表示第二分支卷积图像特征，V表示第三分支卷积图像特征，RSRConv表示残差式结构重参数化卷积；利用特征整合块对第一分支卷积图像特征进行信息整理，得到第一信息图像特征及第二信息图像特征；利用预设的第二十公式对第一分支卷积图像特征进行求解，得到第一信息图像特征及第二信息图像特征，第二十公式表示为：
其中，Q表示第一分支卷积图像特征，Q 1表示第一信息图像特征，Q 2表示第二信息图像特征，FIB表示特征整合块；利用特征整合块对第二分支卷积图像特征进行信息整理，将信息整理后的图像特征与第一信息图像特征进行通道维度上连接操作及卷积处理，得到第一目标信息图像特征；利用预设的第二十一公式对第二分支卷积图像特征及第一信息图像特征进行求解，得到第一目标信息图像特征，第二十一公式表示为：
其中，W表示第一目标信息图像特征，K表示第二分支卷积图像特征，Q 1表示第一信息图像特征，FIB表示特征整合块，Cat表示通道维度上连接操作，Conv表示1×1卷积；利用特征整合块对第三分支卷积图像特征进行信息整理，将信息整理后的图像特征与第二信息图像特征进行通道维度上连接操作及卷积处理，得到第二目标信息图像特征；利用预设的第二十二公式对第三分支卷积图像特征及第二信息图像特征进行求解，得到第二目标信息图像特征，第二十二公式表示为：
其中，V 1表示第二目标信息图像特征，V表示第三分支卷积图像特征，Q 2表示第二信息图像特征，FIB表示特征整合块，Cat表示通道维度上连接操作，Conv表示1×1卷积；对第一目标信息图像特征进行归一化操作，得到激活目标信息图像特征；利用空间注意力矩阵对激活目标信息图像特征及第二目标信息图像特征进行注意力矩阵加权计算，得到计算信息图像特征；利用残差式压缩激励模块对第一目标信息图像特征进行色彩增强，得到色彩信息图像特征；对计算信息图像特征、色彩信息图像特征及细节图像特征进行计算，得到深度相关图像特征；利用预设的第二十三公式对计算信息图像特征、色彩信息图像特征及细节图像特征进行求解，得到深度相关图像特征，第二十三公式表示为：
其中，F 19表示深度相关图像特征，W表示第一目标信息图像特征，V 1表示第二目标信息图像特征，F 11表示第一卷积强化特征，Sum表示注意力矩阵加权，RSEB表示残差式压缩激励模块，Softmax表示归一化操作。
在一个实施例中，深度自相关注意力（DAA）的具体结构如图8所示，本实施例利用图9所示的特征整合块（Feature Integration block, FIB）整理输入图像特征内部信息，并利用卷积层进行初步自相关操作，之后利用图10所示的残差式压缩激励模块（ResidualSqueeze-and-Excitation Block, RSEB）及所得空间注意力矩阵在通道-空间双维度上进行深度自相关操作，最终有效关注到雾天低照度无人机复杂动态图像特征中雾气含量较高的局部特征及待恢复区域原始色彩，具体地，特征整合块FIB利用ELU激活函数，对异常值鲁棒性更强，深度自相关注意力DAA通过对雾天低照度无人机复杂动态图像特征全局信息的相关性建模，从而有效解决含雾区域亮度、对比度下降等问题；其中，RSRConv表示残差式结构重参数化卷积，FIB表示特征整合块，Cat表示通道维度上连接操作，Conv表示1×1卷积，Softmax表示归一化操作，Sum表示注意力矩阵加权，RSEB表示残差式压缩激励模块，Q表示第一分支卷积图像特征，K表示第二分支卷积图像特征，V表示第三分支卷积图像特征。
在一个实施例中，方法涉及的去雾部分基于经典的大气散射模型理论，该理论认为在强散射介质下，引起图像降质的主要原因分为两部分：一是目标反射光受大气中悬浮粒子的吸收和散射作用，造成目标反射光能量的衰减，这导致雾天图像亮度降低，对比度下降；二是太阳光等环境光受大气中散射介质的散射作用形成背景光，通常这部分背景光强度大于目标光，因而造成雾天图像模糊不清，具体而言，给定一张去雾图像特征F 20，可将其表示为：
其中，F 20表示去雾图像特征，J(x)表示去雾后的去雾图像特征，A表示预设的全球大气光成分，t(x)表示预设的透射率；
经变形可得：
其中，F 20表示去雾图像特征，J(x)表示去雾后的低照度图像特征，K(x)表示预设的预测图像特征，A表示全球大气光成分，t(x)表示透射率，b表示预设的常量偏置，默认为1。
在一个实施例中，方法的去雾任务，即从去雾图像特征F 20预测变量转换后得到预测图像特征K(x)，进而得到去雾后的低照度图像特征J(x)，将去雾后的低照度图像特征进一步进行照度增强可有效防止雾天悬浮颗粒对图像的影响因图像特征增强被放大。
在一个实施例中，所涉及的低照度增强部分即多分支低照度增强头基于经典的带噪声的Retinex理论，即人眼观察到的RGB三通道彩色图像可以分解为照度分量、反射分量和噪声分量。具体而言，给定一张去雾后的照度图像特征F 21，可将其表示为：
其中，F 20表示去雾图像特征，R表示照度图像特征对应的照度分量，N表示照度图像特征对应的反射分量，I表示照度图像特征对应的噪声分量，
表示Gamma变换调整的照度分量，/>
表示预设的计算参数，/>
表示无噪声反射分量，F 22表示高清全彩增强图像特征。
在一个实施例中，照度分量与环境光照及曝光条件等有关；反射分量反应物体的本身属性且不受环境光照及曝光条件的影响；低照度增强任务指的是将去雾图像特征恢复成全彩无雾正常照度图像特征即高清全彩增强图像特征，将增强后的高清全彩增强图像特征进一步提取目标特征并进行分类回归可得到最终的无人机跟踪目标位置。
在一个实施例中，非对称空间注意力（ASA）的具体结构如图11所示，其中，RSRConv表示残差式结构重参数化卷积，ACConv表示非对称卷积，XGAP表示X方向全局平均池化，YGAP表示Y方向全局平均池化，Cat表示通道维度上连接操作，Conv表示1×1卷积；非对称空间注意力分别对去雾之后的无人机低照度复杂动态图像特征即高清全彩增强图像特征从X和Y方向进行照度信息整合和建模，充分关注到点光源和块光源导致的图像特征局部对比度异常值，及较暗区域的噪声情况，为后续低照度增强过程提供充分图像特征照度分布情况。具体地，ASA通过对X和Y方向进行全局平均池化来关注不同方向上的图像特征信息，并利用非对称卷积进一步高清全彩增强图像特征，关注全局照度分布情况，同时非对称卷积可以在不降低性能的同时减少参数量，有利于无人机边缘部署。
在一个实施例中，利用多分支低照度增强头中的非对称空间注意力对去雾图像特征进行照度信息整合处理，得到照度图像特征，包括：利用非对称空间注意力对去雾图像特征进行残差式结构重参数化卷积处理，得到参数图像特征；利用预设的第二十四公式对去雾图像特征进行求解，得到参数图像特征，第二十四公式表示为：
其中，F 20表示去雾图像特征，
表示参数图像特征，RSRConv表示残差式结构重参数化卷积；对参数图像特征进行X方向全局平均池化处理及非对称卷积，得到第一平均参数图像特征；对参数图像特征及第一平均参数图像特征进行乘积计算，得到第二平均参数图像特征；利用预设的第二十五公式对参数图像特征进行求解，得到第二平均参数图像特征，第二十五公式表示为：
其中，
表示参数图像特征，/>
表示第二平均参数图像特征，ACConv表示非对称卷积，XGAP表示X方向全局平均池化；对参数图像特征进行Y方向全局平均池化处理及非对称卷积，得到第三平均参数图像特征；对参数图像特征及第三平均参数图像特征进行乘积计算，得到第四平均参数图像特征；利用预设的第二十六公式对参数图像特征进行求解，得到第四平均参数图像特征，第二十六公式表示为：
其中，
表示参数图像特征，/>
表示第四平均参数图像特征，ACConv表示非对称卷积，YGAP表示Y方向全局平均池化；对第二平均参数图像特征及第四平均参数图像特征进行通道维度上连接操作及卷积处理，得到连接平均参数图像特征；对连接平均参数图像特征及去雾图像特征进行加和计算，得到照度图像特征；利用预设的第二十七公式对第二平均参数图像特征、第四平均参数图像特征及去雾图像特征进行求解，得到照度图像特征，第二十七公式表示为：
其中，F 21表示照度图像特征，F 20表示去雾图像特征，
表示第二平均参数图像特征，/>
表示第四平均参数图像特征，Cat表示通道维度上连接操作，Conv表示1×1卷积。
S3、从高清全彩增强图像特征中选取跟踪目标和搜索区域，对跟踪目标和搜索区域进行特征提取和增强，得到鲁棒搜索区域目标特征。
在一个实施例中，从高清全彩增强图像特征中选取跟踪目标指的是在第一帧框中选定一个目标，对跟踪目标提取特征，在后续的跟踪过程中，每一帧都会根据第一帧所选择的目标的特征找到最相似的目标作为跟踪目标。
在一个实施例中，对跟踪目标和搜索区域进行特征提取和增强，得到鲁棒搜索区域目标特征，包括：利用环境感知鲁棒跟踪头中的环境感知注意力对跟踪目标和搜索区域进行残差式结构重参数化卷积处理，得到第一环境卷积特征、第二环境卷积特征及第三环境卷积特征；利用预设的第二十八公式对跟踪目标进行求解，得到第一环境卷积特征、第二环境卷积特征及第三环境卷积特征，第二十八公式表示为：
其中，F 23表示跟踪目标和搜索区域，Q表示第一环境卷积特征，K表示第二环境卷积特征，V表示第三环境卷积特征，RSRConv表示残差式结构重参数化卷积；对第一环境卷积特征及第二环境卷积特征进行自相关操作，得到第一相关卷积特征及第二相关卷积特征；利用预设的第二十九公式对第一环境卷积特征及第二环境卷积特征进行求解，得到第一相关卷积特征及第二相关卷积特征，第二十九公式表示为：
其中，Q表示第一环境卷积特征，K表示第二环境卷积特征，W 1表示第一相关卷积特征，W 2表示第二相关卷积特征，Correlation表示自相关操作；对第三环境卷积特征、第一相关卷积特征及第二相关卷积特征进行聚合操作，得到聚合相关卷积特征；对聚合相关卷积特征及跟踪目标和搜索区域进行加和计算，得到鲁棒搜索区域目标特征；利用预设的第三十公式对第三环境卷积特征、第一相关卷积特征、跟踪目标和搜索区域及第二相关卷积特征进行求解，得到鲁棒搜索区域目标特征，第三十公式表示为：
其中，F 24表示鲁棒搜索区域目标特征，F 23表示跟踪目标和搜索区域，V表示第三环境卷积特征，W 1表示第一相关卷积特征，W 2表示第二相关卷积特征，Aggregation表示聚合操作。
在一个实施例中，环境感知注意力（EPA）的具体结构如图12所示，利用扩张注意力区域的方法对感兴趣的搜索域进行局部信息相互依赖关系建模，从而有效区分前景和背景区域，重点关注跟踪目标特征，具体地，通过对去雾和低照度增强后的正常输入图像特征从中心区域逐渐扩张至***区域的自相关操作得到不同的注意力矩阵，有效感知跟踪目标特征和周围环境特征相关性，为后续分类回归操作提供鲁棒的鲁棒搜索区域目标特征。此外，该扩张注意力区域的机制可有效减少对与跟踪目标距离较远的无关区域特征的注意力操作，降低计算量，有利于无人机边缘部署；其中，RSRConv表示残差式结构重参数化卷积，Correlation表示自相关操作，Aggregation表示聚合操作。
S4、对鲁棒搜索区域目标特征进行分类回归，得到无人机目标跟踪位置与尺度信息。
在一个实施例中，利用环境感知鲁棒跟踪头中的分类回归网络对鲁棒搜索区域目标特征进行分类回归，得到无人机目标跟踪位置与尺度信息。
在一个实施例中，环境感知鲁棒跟踪头可表示为：
其中，T表示无人机目标跟踪位置与尺度信息，F 24表示鲁棒搜索区域目标特征，CRNet表示分类回归网络，EPA表示环境感知注意力。
在一个实施例中，环境感知鲁棒跟踪头（ERTH）的具体结构如图13所示，由环境感知注意力（Environment-Perception Attention, EPA）及分类回归网络（Classification-Regression Network, CRNet）组成。具体地，环境感知注意力EPA从去雾和低照度增强后的正常输入图像特征跟踪目标区域中关注前景与背景信息的相关性，有效感知目标环境信息，从而提取鲁棒的鲁棒搜索区域目标特征用于后续与目标模板特征匹配过程，分类回归网络CRNet通过对鲁棒搜索区域目标特征进行分类-回归双分支操作准确预测跟踪目标位置。
在一个实施例中，雾天低照度场景下端到端无人机视觉目标跟踪方法可用于部署在基于嵌入式GPU平台的工业级无人机边缘视觉相机中，以实现边缘计算。具体地，边缘计算是指在无人机飞行本体上通过机载边缘视觉相机采集雾天低照度场景下复杂动态图像数据，并在该相机中独立实现边缘视觉智能，即基于上述雾天低照度场景下端到端无人机视觉目标跟踪方法在图像数据采集端得到高精度、强鲁棒、实时跟踪结果，可将得到的目标跟踪结果服务于快速人-无人机交互、通信数据优化、实时响应操作、智能分析应用、隐私保护与数据安全等方面，确保尽可能地减少与云平台通信次数和通信量，从而降低等待时间与计算成本。鉴于雾天低照度场景下无人机目标跟踪任务被部署到图像数据采集端，可有效降低主干网络的拥塞，缓解带宽占用，达到较低时延，提升处理效率，加快响应请求，进一步提升雾天低照度复杂动态环境下的无人机目标跟踪质量。特别地，方法边缘部署后的速度可达到实时处理速度，且跟踪精度与成功率均符合工业级应用要求。
在一个实施例中，雾天低照度场景下端到端无人机视觉目标跟踪方法的具体结构如图14所示，其中，通过无人机采集雾天低照度无人机图像经过级联式稀疏连接骨干网络、多层级特征聚合瓶颈模块、深度自相关去雾头、多分支低照度增强头及环境感知鲁棒跟踪头，最终得到跟踪目标的结果，其中，级联式稀疏连接骨干网络首先包含一层步长为1的卷积层初步提取浅层图像特征，级联式稀疏连接骨干网络后续由多个单元组成；多层级特征聚合瓶颈模块包含残差式空间金字塔平均池化模块和细节信息感知特征增强网络；深度自相关去雾头包括深度自相关注意力及后续全局去雾处理结构；多分支低照度增强头包括非对称空间注意力及多分支低照度增强操作；环境感知鲁棒跟踪头包含环境感知注意力和分类回归网络。
在一个实施例中本发明通过渐进式无人机雾天低照度复杂动态图像去雾增强框架对雾天低照度无人机图像进行特征提取，能够使得提取的无人机图像特征更加准确；通过对无人机图像特征进行图像特征去雾和低照度增强，得到高清全彩增强图像特征，能够提升无人机雾天低照度复杂动态环境下的图像能见度，解决雾气放大、颜色失真、曝光过度、点光源干扰等问题，并在高清全彩增强图像特征上形成更加有效的细节纹理信息和语义信息，从而为无人机雾天低照度场景视觉目标跟踪任务提供清晰的目标图像，并有效提取和增强目标特征；通过从高清全彩增强图像特征中选取跟踪目标和搜索区域，对跟踪目标和搜索区域进行特征提取和增强，能够更加精确得到鲁棒搜索区域目标特征；通过对鲁棒搜索区域目标特征进行分类回归，能够准确得到无人机目标跟踪位置与尺度信息。因此本发明提出的雾天低照度场景下端到端无人机视觉目标跟踪方法，可以解决无人机雾天低照度场景下进行目标跟踪时获得目标位置准确性低、去雾图像颜色失真和边缘不清晰、低照度增强图像噪声放大和过曝光的问题。
图15是本发明一实施例提供的雾天低照度场景下端到端无人机视觉目标跟踪装置的功能模块图。根据实现的功能，雾天低照度场景下端到端无人机视觉目标跟踪装置1500可以包括特征提取模块1501、图像特征去雾和低照度增强模块1502、跟踪目标选取模块1503及分类回归模块1504。本发明模块也可以称之为单元，是指一种能够被处理器所执行，如门锁***中的处理器，并且能够完成固定功能的一系列计算机程序段，其可存储在存储器中，亦可被处理器直接运行。
在一个实施例中，关于各模块/单元的功能如下：特征提取模块1501，用于获取雾天低照度无人机图像，利用预设的大规模图像数据集构建的渐进式无人机雾天低照度复杂动态图像去雾增强框架对雾天低照度无人机图像进行特征提取，得到无人机图像特征；图像特征去雾和低照度增强模块1502，用于对无人机图像特征进行图像特征去雾和低照度增强，得到高清全彩增强图像特征；跟踪目标选取模块1503，用于从高清全彩增强图像特征中选取跟踪目标和搜索区域，对跟踪目标和搜索区域进行特征提取和增强，得到鲁棒搜索区域目标特征；分类回归模块1504，用于对鲁棒搜索区域目标特征进行分类回归，得到无人机目标跟踪位置与尺度信息。
详细地，在一个实施例中雾天低照度场景下端到端无人机视觉目标跟踪装置1500中的各模块在使用时采用与附图中的雾天低照度场景下端到端无人机视觉目标跟踪方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
本发明一实施例提供的实现雾天低照度场景下端到端无人机视觉目标跟踪方法的电子设备。
电子设备可以包括处理器、存储器、通信总线以及通信接口，还可以包括存储在存储器中并可在处理器上运行的计算机程序，如雾天低照度场景下端到端无人机视觉目标跟踪程序。
其中，处理器在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing Unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器是电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在存储器内的程序或者模块（例如执行雾天低照度场景下端到端无人机视觉目标跟踪程序等），以及调用存储在存储器内的数据，以执行电子设备的各种功能和处理数据。
存储器至少包括一种类型的可读存储介质，可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。存储器在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（Secure Digital，SD）卡、闪存卡（Flash Card）等。进一步地，存储器还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器不仅可以用于存储安装于电子设备的应用软件及各类数据，例如基于用户画像的产品推荐程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
通信总线可以是外设部件互连标准（Peripheral Component Interconnect，简称PCI）总线或扩展工业标准结构（Extended Industry Standard Architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。总线被设置为实现存储器以及至少一个处理器等之间的连接通信。
通信接口用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备与其他电子设备之间建立通信连接。用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
例如，尽管未示出，电子设备还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与至少一个处理器逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
本发明还提供一种存储介质，可读存储介质存储有计算机程序，计算机程序在被处理器所执行时，可以实现上述任一实施例的雾天低照度场景下端到端无人机视觉目标跟踪方法。需要说明的是，存储介质可以是易失性的，也可以是非易失性的。例如，介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。***权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (9)
1.一种雾天低照度场景下端到端无人机视觉目标跟踪方法，其特征在于，包括：
获取雾天低照度无人机图像，利用预设的大规模图像数据集构建的渐进式无人机雾天低照度复杂动态图像去雾增强框架对所述雾天低照度无人机图像进行特征提取，得到无人机图像特征；其中，所述渐进式无人机雾天低照度复杂动态图像去雾增强框架包括级联式稀疏连接骨干网络、多层级特征聚合瓶颈模块、深度自相关去雾头、多分支低照度增强头及环境感知鲁棒跟踪头；
对所述无人机图像特征进行图像特征去雾和低照度增强，得到高清全彩增强图像特征；
从所述高清全彩增强图像特征中选取跟踪目标和搜索区域，对所述跟踪目标和搜索区域进行特征提取和增强，得到鲁棒搜索区域目标特征；
对所述鲁棒搜索区域目标特征进行分类回归，得到无人机目标跟踪位置与尺度信息；
所述利用预设的大规模图像数据集构建的渐进式无人机雾天低照度复杂动态图像去雾增强框架对所述雾天低照度无人机图像进行特征提取，得到无人机图像特征，包括：
利用所述渐进式无人机雾天低照度复杂动态图像去雾增强框架中的级联式稀疏连接骨干网络的卷积层对所述雾天低照度无人机图像进行卷积处理，得到浅层图像特征；
根据所述渐进式无人机雾天低照度复杂动态图像去雾增强框架中的级联式稀疏连接骨干网络的卷积层提取所述雾天低照度无人机图像的输出特征；
利用残差式特征融合模块对所述浅层图像特征及所述输出特征进行特征融合处理，得到无人机图像特征；
所述对所述无人机图像特征进行图像特征去雾和低照度增强，得到高清全彩增强图像特征，包括：
利用所述渐进式无人机雾天低照度复杂动态图像去雾增强框架中的多层级特征聚合瓶颈模块对所述无人机图像特征进行池化处理，得到池化图像特征；
从所述无人机图像特征中选取第一输出特征及第二输出特征，利用所述多层级特征聚合瓶颈模块对所述池化图像特征、所述第一输出特征及所述第二输出特征进行细节特征增强处理，得到细节图像特征；
利用所述渐进式无人机雾天低照度复杂动态图像去雾增强框架中的深度自相关去雾头对所述细节图像特征进行去雾处理，得到去雾图像特征；
利用所述渐进式无人机雾天低照度复杂动态图像去雾增强框架中的多分支低照度增强头对所述去雾图像特征进行全彩增强处理，得到高清全彩增强图像特征；
所述对所述跟踪目标和搜索区域进行特征提取和增强，得到鲁棒搜索区域目标特征，包括：
利用所述环境感知鲁棒跟踪头中的所述环境感知注意力对所述跟踪目标和搜索区域进行残差式结构重参数化卷积处理，得到第一环境卷积特征、第二环境卷积特征及第三环境卷积特征；
利用预设的第二十八公式对所述跟踪目标和搜索区域进行求解，得到第一环境卷积特征、第二环境卷积特征及第三环境卷积特征，所述第二十八公式表示为：
其中，F 23表示所述跟踪目标和搜索区域，Q表示所述第一环境卷积特征，K表示所述第二环境卷积特征，V表示所述第三环境卷积特征，RSRConv表示残差式结构重参数化卷积；
对所述第一环境卷积特征及所述第二环境卷积特征进行自相关操作，得到第一相关卷积特征及第二相关卷积特征；
利用预设的第二十九公式对所述第一环境卷积特征及所述第二环境卷积特征进行求解，得到第一相关卷积特征及第二相关卷积特征，所述第二十九公式表示为：
其中，Q表示所述第一环境卷积特征，K表示所述第二环境卷积特征，W 1表示所述第一相关卷积特征，W 2表示所述第二相关卷积特征，Correlation表示自相关操作；
对所述第三环境卷积特征、所述第一相关卷积特征及所述第二相关卷积特征进行聚合操作，得到聚合相关卷积特征；
对所述聚合相关卷积特征及所述跟踪目标和搜索区域进行加和计算，得到鲁棒搜索区域目标特征；
利用预设的第三十公式对所述第三环境卷积特征、所述第一相关卷积特征、所述跟踪目标和搜索区域及所述第二相关卷积特征进行求解，得到鲁棒搜索区域目标特征，所述第三十公式表示为：
其中，F 24表示所述鲁棒搜索区域目标特征，F 23表示所述跟踪目标和搜索区域，V表示所述第三环境卷积特征，W 1表示所述第一相关卷积特征，W 2表示所述第二相关卷积特征，Aggregation表示聚合操作。
2.如权利要求1所述的雾天低照度场景下端到端无人机视觉目标跟踪方法，其特征在于，所述利用残差式特征融合模块对所述浅层图像特征及所述输出特征进行特征融合处理，得到无人机图像特征，包括：
对所述浅层图像特征进行卷积和下采样处理，得到深层图像特征；
利用预设的第一公式对所述浅层图像特征进行求解，得到深层图像特征，所述第一公式表示为：
其中，F 4表示所述深层图像特征，F 2表示所述浅层图像特征，RSRConv表示残差式结构重参数化卷积，Conv表示1×1卷积，Downsample表示下采样；
对所述深层图像特征及所述输出特征进行卷积和上采样处理，得到上采样图像特征；
利用预设的第二公式对所述深层图像特征进行求解，得到上采样图像特征，所述第二公式表示为：
其中，F 5表示所述上采样图像特征，F 0表示所述输出特征，F 4表示所述深层图像特征，RSRConv表示残差式结构重参数化卷积，Upsample表示上采样，Conv表示1×1卷积；
对所述浅层图像特征及所述上采样图像特征进行加和计算，得到无人机图像特征；
利用预设的第三公式对所述浅层图像特征及所述上采样图像特征进行加和计算，得到无人机图像特征，所述第三公式表示为：
其中，F 3表示所述无人机图像特征，F 2表示所述浅层图像特征，F 5表示所述上采样图像特征。
3.如权利要求1所述的雾天低照度场景下端到端无人机视觉目标跟踪方法，其特征在于，所述对所述无人机图像特征进行池化处理，得到池化图像特征，包括：
对所述无人机图像特征进行残差式结构重参数化卷积处理，得到卷积图像特征；
利用预设的第四公式对所述无人机图像特征进行求解，得到卷积图像特征，所述第四公式表示为：
其中，
表示所述卷积图像特征，F 3表示所述无人机图像特征，RSRConv表示残差式结构重参数化卷积；
对所述卷积图像特征进行平均池化处理，得到第一卷积图像特征、第二卷积图像特征及第三卷积图像特征；
利用预设的第五公式对所述卷积图像特征进行求解，得到第一卷积图像特征、第二卷积图像特征及第三卷积图像特征，所述第五公式表示为：
其中，
表示所述卷积图像特征，/>
表示所述第一卷积图像特征，/>
表示所述第二卷积图像特征，/>
表示所述第三卷积图像特征，Avgpool表示平均池化；
对所述第一卷积图像特征、所述第二卷积图像特征及所述第三卷积图像特征进行连接操作，得到连接图像特征；
对所述连接图像特征进行卷积处理，得到第四卷积图像特征；
对所述第四卷积图像特征及所述卷积图像特征进行乘法计算，得到第五卷积图像特征；
利用预设的第六公式对所述第一卷积图像特征、所述第二卷积图像特征及所述第三卷积图像特征进行求解，得到第五卷积图像特征，所述第六公式表示为：
其中，
表示所述卷积图像特征，/>
表示所述第一卷积图像特征，/>
表示所述第二卷积图像特征，/>
表示所述第三卷积图像特征，/>
表示所述第五卷积图像特征，Cat表示通道维度上连接操作，Conv表示1×1卷积；
对所述第五卷积图像特征进行残差式结构重参数化卷积处理，得到目标卷积图像特征；
对所述目标卷积图像特征及所述无人机图像特征进行加和计算，得到池化图像特征；
利用预设的第七公式对所述第五卷积图像特征进行求解，得到池化图像特征，所述第七公式表示为：
其中，F 6表示所述池化图像特征，F 3表示所述无人机图像特征，
表示所述第五卷积图像特征，RSRConv表示残差式结构重参数化卷积。
4.如权利要求1所述的雾天低照度场景下端到端无人机视觉目标跟踪方法，其特征在于，所述利用所述多层级特征聚合瓶颈模块对所述池化图像特征、所述第一输出特征及所述第二输出特征进行细节特征增强处理，得到细节图像特征，包括：
获取所述多层级特征聚合瓶颈模块中的细节信息感知特征增强网络；
利用所述细节信息感知特征增强网络中的细节信息聚合模块对所述浅层图像特征及所述池化图像特征进行融合，得到强化特征；
利用所述细节信息感知特征增强网络中的细节信息聚合模块对所述强化特征进行残差式结构重参数化卷积处理，得到第一卷积强化特征；
利用预设的第八公式对所述强化特征进行求解，得到第一卷积强化特征，所述第八公式表示为：
其中，F 10表示所述强化特征，F 11表示所述第一卷积强化特征，RSRConv表示残差式结构重参数化卷积；
利用所述细节信息聚合模块对所述卷积强化特征及所述第一输出特征或所述第二输出特征进行通道连接及卷积处理，得到第一连接强化特征；
利用预设的第九公式对所述卷积强化特征及所述第一输出特征或所述第二输出特征进行求解，得到第一连接强化特征，所述第九公式表示为：
其中，F 11表示所述第一卷积强化特征，F 7表示所述第一输出特征，F 8表示所述第二输出特征，F 12表示所述第一连接强化特征，/表示根据不同所述细节信息聚合模块输入为所述第一输出特征或所述第二输出特征，Cat表示通道维度上连接操作，Conv表示1×1卷积；
利用所述细节信息聚合模块对所述第一连接强化特征进行卷积处理，得到第二卷积强化特征；
利用预设的第十公式对所述第一连接强化特征进行求解，得到第二卷积强化特征，所述第十公式表示为：
其中，F 12表示所述第一连接强化特征，F 13表示所述第二卷积强化特征，Conv表示1×1卷积；
利用所述细节信息聚合模块对所述第一卷积强化特征进行非对称卷积处理，得到第三卷积强化特征；
利用预设的第十一公式对所述第一卷积强化特征进行求解，得到第三卷积强化特征，所述第十一公式表示为：
其中，F 11表示所述第一卷积强化特征，F 14表示所述第三卷积强化特征，ACConv表示非对称卷积操作；
利用所述细节信息聚合模块对所述第二卷积强化特征及所述第三卷积强化特征进行通道连接及卷积处理，得到第二连接强化特征；
利用预设的第十二公式对所述第二卷积强化特征及所述第三卷积强化特征进行求解，得到第二连接强化特征，所述第十二公式表示为：
其中，F 13表示所述第二卷积强化特征，F 14表示所述第三卷积强化特征，F 15表示所述第二连接强化特征，Cat表示通道维度上连接操作，Conv表示1×1卷积；
利用所述细节信息聚合模块对所述强化特征及所述第二连接强化特征进行加和计算，得到细节图像特征；
利用预设的第十三公式对所述强化特征及所述第二连接强化特征进行求解，得到细节图像特征，所述第十三公式表示为：
其中，F 16表示所述细节图像特征，F 10表示所述强化特征，F 15表示所述第二连接强化特征。
5.如权利要求4所述的雾天低照度场景下端到端无人机视觉目标跟踪方法，其特征在于，所述利用所述渐进式无人机雾天低照度复杂动态图像去雾增强框架中的深度自相关去雾头对所述细节图像特征进行去雾处理，得到去雾图像特征，包括：
利用所述深度自相关去雾头中的深度自相关注意力对所述细节图像特征进行深度自相关操作，得到深度相关图像特征，其中，所述深度自相关去雾头包括深度自相关注意力及后续全局去雾处理结构；
利用预设的第十四公式对所述细节图像特征进行求解，得到深度相关图像特征，所述第十四公式表示为：
其中，F 16表示所述细节图像特征，F 17表示所述深度相关图像特征，DAA表示深度自相关注意力；
利用所述后续全局去雾处理结构对所述深度相关图像特征进行残差式结构重参数化卷积处理，得到深度卷积图像特征；
利用预设的第十五公式对所述深度相关图像特征进行求解，得到深度卷积图像特征，所述第十五公式表示为：
其中，F 17表示所述深度相关图像特征，F 18表示所述深度卷积图像特征，RSRConv表示残差式结构重参数化卷积；
利用所述后续全局去雾处理结构对所述深度卷积图像特征进行池化及全连接处理，得到全连接图像特征；
利用所述后续全局去雾处理结构对所述全连接图像特征进行卷积及激活处理，得到全连接卷积图像特征；
利用预设的第十六公式对所述深度卷积图像特征进行求解，得到全连接卷积图像特征，所述第十六公式表示为：
其中，F 18表示所述深度卷积图像特征，F 19表示所述全连接卷积图像特征，GAP表示全局平均池化，MAP表示全局最大池化，FC表示全连接层，Cat表示通道维度上连接操作，Conv表示1×1卷积，Sigmoid表示Sigmoid激活函数；
利用所述后续全局去雾处理结构对所述全连接卷积图像特征进行残差式结构重参数化卷积处理，得到去雾图像特征；
利用预设的第十七公式对所述全连接卷积图像特征进行求解，得到去雾图像特征，所述第十七公式表示为：
其中，F 20表示所述去雾图像特征，F 17表示所述深度相关图像特征，F 18表示所述深度卷积图像特征，F 19表示所述全连接卷积图像特征，RSRConv表示残差式结构重参数化卷积。
6.如权利要求1所述的雾天低照度场景下端到端无人机视觉目标跟踪方法，其特征在于，所述利用所述渐进式无人机雾天低照度复杂动态图像去雾增强框架中的多分支低照度增强头对所述去雾图像特征进行全彩增强处理，得到高清全彩增强图像特征，包括：
利用所述多分支低照度增强头中的非对称空间注意力对所述去雾图像特征进行照度信息整合处理，得到照度图像特征，其中，所述多分支低照度增强头包括非对称空间注意力及多分支低照度增强操作；
利用所述多分支低照度增强操作对所述照度图像特征进行照度增强处理，得到高清全彩增强图像特征；
利用预设的第十八公式对所述去雾图像特征及所述照度图像特征进行求解，得到高清全彩增强图像特征，所述第十八公式表示为：
其中，F 22表示所述高清全彩增强图像特征，F 20表示所述去雾图像特征，F 21表示所述照度图像特征，R表示所述照度图像特征对应的照度分量，N表示所述照度图像特征对应的反射分量，I表示所述照度图像特征对应的噪声分量，ASA表示非对称空间注意力，RSRConv表示残差式结构重参数化卷积，Conv表示1×1卷积，Sigmoid表示Sigmoid激活函数，Tanh表示Tanh激活函数，Aggregation表示聚合操作。
7.如权利要求5所述的雾天低照度场景下端到端无人机视觉目标跟踪方法，其特征在于，所述利用所述深度自相关去雾头中的深度自相关注意力对所述细节图像特征进行深度自相关操作，得到深度相关图像特征，包括：
利用所述深度自相关注意力对所述细节图像特征进行多分支残差式结构重参数化卷积，得到第一分支卷积图像特征、第二分支卷积图像特征及第三分支卷积图像特征，其中，所述深度自相关注意力包括特征整合块、残差式压缩激励模块及空间注意力矩阵；
利用预设的第十九公式对所述细节图像特征进行求解，得到第一分支卷积图像特征、第二分支卷积图像特征及第三分支卷积图像特征，所述第十九公式表示为：
其中，F 16表示所述细节图像特征，Q表示所述第一分支卷积图像特征，K表示所述第二分支卷积图像特征，V表示所述第三分支卷积图像特征，RSRConv表示残差式结构重参数化卷积；
利用所述特征整合块对所述第一分支卷积图像特征进行信息整理，得到第一信息图像特征及第二信息图像特征；
利用预设的第二十公式对所述第一分支卷积图像特征进行求解，得到第一信息图像特征及第二信息图像特征，所述第二十公式表示为：
其中，Q表示所述第一分支卷积图像特征，Q 1表示所述第一信息图像特征，Q 2表示所述第二信息图像特征，FIB表示特征整合块；
利用所述特征整合块对所述第二分支卷积图像特征进行信息整理，将信息整理后的图像特征与所述第一信息图像特征进行通道维度上连接操作及卷积处理，得到第一目标信息图像特征；
利用预设的第二十一公式对所述第二分支卷积图像特征及所述第一信息图像特征进行求解，得到第一目标信息图像特征，所述第二十一公式表示为：
其中，W表示所述第一目标信息图像特征，K表示所述第二分支卷积图像特征，Q 1表示所述第一信息图像特征，FIB表示特征整合块，Cat表示通道维度上连接操作，Conv表示1×1卷积；
利用所述特征整合块对所述第三分支卷积图像特征进行信息整理，将信息整理后的图像特征与所述第二信息图像特征进行通道维度上连接操作及卷积处理，得到第二目标信息图像特征；
利用预设的第二十二公式对所述第三分支卷积图像特征及所述第二信息图像特征进行求解，得到第二目标信息图像特征，所述第二十二公式表示为：
其中，V 1表示所述第二目标信息图像特征，V表示所述第三分支卷积图像特征，Q 2表示所述第二信息图像特征，FIB表示特征整合块，Cat表示通道维度上连接操作，Conv表示1×1卷积；
对所述第一目标信息图像特征进行归一化操作，得到激活目标信息图像特征；
利用所述空间注意力矩阵对所述激活目标信息图像特征及所述第二目标信息图像特征进行注意力矩阵加权计算，得到计算信息图像特征；
利用所述残差式压缩激励模块对所述第一目标信息图像特征进行色彩增强，得到色彩信息图像特征；
对所述计算信息图像特征、所述色彩信息图像特征及所述细节图像特征进行计算，得到深度相关图像特征；
利用预设的第二十三公式对所述计算信息图像特征、所述色彩信息图像特征及所述细节图像特征进行求解，得到深度相关图像特征，所述第二十三公式表示为：
其中，F 19表示所述深度相关图像特征，W表示所述第一目标信息图像特征，V 1表示所述第二目标信息图像特征，F 11表示所述第一卷积强化特征，Sum表示注意力矩阵加权，RSEB表示残差式压缩激励模块，Softmax表示归一化操作。
8.如权利要求6所述的雾天低照度场景下端到端无人机视觉目标跟踪方法，其特征在于，所述利用所述多分支低照度增强头中的非对称空间注意力对所述去雾图像特征进行照度信息整合处理，得到照度图像特征，包括：
利用所述非对称空间注意力对所述去雾图像特征进行残差式结构重参数化卷积处理，得到参数图像特征；
利用预设的第二十四公式对所述去雾图像特征进行求解，得到参数图像特征，所述第二十四公式表示为：
其中，F 20表示所述去雾图像特征，
表示所述参数图像特征，RSRConv表示残差式结构重参数化卷积；
对所述参数图像特征进行X方向全局平均池化处理及非对称卷积，得到第一平均参数图像特征；
对所述参数图像特征及所述第一平均参数图像特征进行乘积计算，得到第二平均参数图像特征；
利用预设的第二十五公式对所述参数图像特征进行求解，得到第二平均参数图像特征，所述第二十五公式表示为：
其中，
表示所述参数图像特征，/>
表示所述第二平均参数图像特征，ACConv表示非对称卷积，XGAP表示X方向全局平均池化；
对所述参数图像特征进行Y方向全局平均池化处理及非对称卷积，得到第三平均参数图像特征；
对所述参数图像特征及所述第三平均参数图像特征进行乘积计算，得到第四平均参数图像特征；
利用预设的第二十六公式对所述参数图像特征进行求解，得到第四平均参数图像特征，所述第二十六公式表示为：
其中，
表示所述参数图像特征，/>
表示所述第四平均参数图像特征，ACConv表示非对称卷积，YGAP表示Y方向全局平均池化；/>
对所述第二平均参数图像特征及所述第四平均参数图像特征进行通道维度上连接操作及卷积处理，得到连接平均参数图像特征；
对所述连接平均参数图像特征及所述去雾图像特征进行加和计算，得到照度图像特征；
利用预设的第二十七公式对所述第二平均参数图像特征、所述第四平均参数图像特征及所述去雾图像特征进行求解，得到照度图像特征，所述第二十七公式表示为：
其中，F 21表示所述照度图像特征，F 20表示所述去雾图像特征，
表示所述第二平均参数图像特征，/>
表示所述第四平均参数图像特征，Cat表示通道维度上连接操作，Conv表示1×1卷积。
9.一种雾天低照度场景下端到端无人机视觉目标跟踪装置，其特征在于，所述装置包括：
特征提取模块，用于获取雾天低照度无人机图像，利用预设的大规模图像数据集构建的渐进式无人机雾天低照度复杂动态图像去雾增强框架对所述雾天低照度无人机图像进行特征提取，得到无人机图像特征；其中，所述渐进式无人机雾天低照度复杂动态图像去雾增强框架包括级联式稀疏连接骨干网络、多层级特征聚合瓶颈模块、深度自相关去雾头、多分支低照度增强头及环境感知鲁棒跟踪头；
图像特征去雾和低照度增强模块，用于对所述无人机图像特征进行图像特征去雾和低照度增强，得到高清全彩增强图像特征；
跟踪目标选取模块，用于从所述高清全彩增强图像特征中选取跟踪目标和搜索区域，对所述跟踪目标和搜索区域进行特征提取和增强，得到鲁棒搜索区域目标特征；
分类回归模块，用于对所述鲁棒搜索区域目标特征进行分类回归，得到无人机目标跟踪位置与尺度信息；
所述特征提取模块具体用于：利用所述渐进式无人机雾天低照度复杂动态图像去雾增强框架中的级联式稀疏连接骨干网络的卷积层对所述雾天低照度无人机图像进行卷积处理，得到浅层图像特征；根据所述渐进式无人机雾天低照度复杂动态图像去雾增强框架中的级联式稀疏连接骨干网络的卷积层提取所述雾天低照度无人机图像的输出特征；利用残差式特征融合模块对所述浅层图像特征及所述输出特征进行特征融合处理，得到无人机图像特征；
所述图像特征去雾和低照度增强模块具体用于：利用所述渐进式无人机雾天低照度复杂动态图像去雾增强框架中的多层级特征聚合瓶颈模块对所述无人机图像特征进行池化处理，得到池化图像特征；从所述无人机图像特征中选取第一输出特征及第二输出特征，利用所述多层级特征聚合瓶颈模块对所述池化图像特征、所述第一输出特征及所述第二输出特征进行细节特征增强处理，得到细节图像特征；利用所述渐进式无人机雾天低照度复杂动态图像去雾增强框架中的深度自相关去雾头对所述细节图像特征进行去雾处理，得到去雾图像特征；利用所述渐进式无人机雾天低照度复杂动态图像去雾增强框架中的多分支低照度增强头对所述去雾图像特征进行全彩增强处理，得到高清全彩增强图像特征；
所述跟踪目标选取模块具体用于：从所述高清全彩增强图像特征中选取跟踪目标和搜索区域，利用所述环境感知鲁棒跟踪头中的所述环境感知注意力对所述跟踪目标和搜索区域进行残差式结构重参数化卷积处理，得到第一环境卷积特征、第二环境卷积特征及第三环境卷积特征；利用预设的第二十八公式对所述跟踪目标和搜索区域进行求解，得到第一环境卷积特征、第二环境卷积特征及第三环境卷积特征，所述第二十八公式表示为：
，其中，F 23表示所述跟踪目标和搜索区域，Q表示所述第一环境卷积特征，K表示所述第二环境卷积特征，V表示所述第三环境卷积特征，RSRConv表示残差式结构重参数化卷积；对所述第一环境卷积特征及所述第二环境卷积特征进行自相关操作，得到第一相关卷积特征及第二相关卷积特征；利用预设的第二十九公式对所述第一环境卷积特征及所述第二环境卷积特征进行求解，得到第一相关卷积特征及第二相关卷积特征，所述第二十九公式表示为：/>
，其中，Q表示所述第一环境卷积特征，K表示所述第二环境卷积特征，W 1表示所述第一相关卷积特征，W 2表示所述第二相关卷积特征，Correlation表示自相关操作；对所述第三环境卷积特征、所述第一相关卷积特征及所述第二相关卷积特征进行聚合操作，得到聚合相关卷积特征；对所述聚合相关卷积特征及所述跟踪目标和搜索区域进行加和计算，得到鲁棒搜索区域目标特征；利用预设的第三十公式对所述第三环境卷积特征、所述第一相关卷积特征、所述跟踪目标和搜索区域及所述第二相关卷积特征进行求解，得到鲁棒搜索区域目标特征，所述第三十公式表示为：/>
，其中，F 24表示所述鲁棒搜索区域目标特征，F 23表示所述跟踪目标和搜索区域，V表示所述第三环境卷积特征，W 1表示所述第一相关卷积特征，W 2表示所述第二相关卷积特征，Aggregation表示聚合操作。/>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310124284.4A CN115861380B (zh) | 2023-02-16 | 2023-02-16 | 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310124284.4A CN115861380B (zh) | 2023-02-16 | 2023-02-16 | 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115861380A CN115861380A (zh) | 2023-03-28 |
| CN115861380B true CN115861380B (zh) | 2023-06-06 |
Family
ID=85658253
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310124284.4A Active CN115861380B (zh) | 2023-02-16 | 2023-02-16 | 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115861380B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274107B (zh) * | 2023-11-03 | 2024-03-15 | 深圳市瓴鹰智能科技有限公司 | 低照度场景下端到端色彩及细节增强方法、装置及设备 |
| CN117217627B (zh) * | 2023-11-09 | 2024-02-06 | 宁德市天铭新能源汽车配件有限公司 | 基于机器学习的汽车零部件生产质量优化方法及*** |
| CN117789153B (zh) * | 2024-02-26 | 2024-05-03 | 浙江驿公里智能科技有限公司 | 基于计算机视觉的汽车油箱外盖定位***及方法 |
| CN117893561B (zh) * | 2024-03-14 | 2024-06-07 | 大连理工大学 | 一种基于局部对比度计算方法的红外细小目标检测算法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
| CN114708615A (zh) * | 2022-04-02 | 2022-07-05 | 西安电子科技大学广州研究院 | 基于图像增强的低照度环境下人体检测方法、电子设备及储存介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111709890B (zh) * | 2020-06-12 | 2023-11-24 | 北京小米松果电子有限公司 | 一种图像增强模型的训练方法、装置及存储介质 |
| CN114119378A (zh) * | 2020-08-31 | 2022-03-01 | 华为技术有限公司 | 图像融合方法、图像融合模型的训练方法和装置 |
| CN113449811B (zh) * | 2021-07-16 | 2022-05-13 | 桂林电子科技大学 | 一种基于ms-wsda的低照度目标检测方法 |
| CN114581318B (zh) * | 2022-01-24 | 2024-06-14 | 广东省科学院智能制造研究所 | 一种低照明度图像增强方法及*** |
| CN114463223A (zh) * | 2022-04-08 | 2022-05-10 | 深圳市瓴鹰智能科技有限公司 | 一种图像增强的处理方法、装置、计算机设备及介质 |
| CN115115549A (zh) * | 2022-07-01 | 2022-09-27 | 安徽理工大学 | 多支路融合注意力机制的图像增强模型、方法、设备及存储介质 |
| CN115205160A (zh) * | 2022-08-11 | 2022-10-18 | 福州大学 | 基于局部场景感知的无参考低照度图像增强方法 |
| CN115512251A (zh) * | 2022-11-04 | 2022-12-23 | 深圳市瓴鹰智能科技有限公司 | 基于双分支渐进式特征增强的无人机低照度目标跟踪方法 |
-
2023
- 2023-02-16 CN CN202310124284.4A patent/CN115861380B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
| CN114708615A (zh) * | 2022-04-02 | 2022-07-05 | 西安电子科技大学广州研究院 | 基于图像增强的低照度环境下人体检测方法、电子设备及储存介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115861380A (zh) | 2023-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115861380B (zh) | 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置 | |
| CN107274445B (zh) | 一种图像深度估计方法和*** | |
| WO2021063341A1 (zh) | 图像增强方法以及装置 | |
| Huang et al. | An efficient visibility enhancement algorithm for road scenes captured by intelligent transportation systems | |
| CN109753913B (zh) | 计算高效的多模式视频语义分割方法 | |
| CN110610463A (zh) | 一种图像增强方法及装置 | |
| CN109753878B (zh) | 一种恶劣天气下的成像识别方法及*** | |
| CN109509156B (zh) | 一种基于生成对抗模型的图像去雾处理方法 | |
| CN111861925A (zh) | 一种基于注意力机制与门控循环单元的图像去雨方法 | |
| CN112132156A (zh) | 多深度特征融合的图像显著性目标检测方法及*** | |
| CN110807384A (zh) | 低能见度下的小目标检测方法和*** | |
| CN112272832A (zh) | 用于基于dnn的成像的方法和*** | |
| CN115512251A (zh) | 基于双分支渐进式特征增强的无人机低照度目标跟踪方法 | |
| WO2022206156A1 (zh) | 一种图像生成方法、装置、设备及存储介质 | |
| Milford et al. | Long exposure localization in darkness using consumer cameras | |
| CN114627269A (zh) | 一种基于深度学***台 | |
| CN117274107B (zh) | 低照度场景下端到端色彩及细节增强方法、装置及设备 | |
| CN110717864B (zh) | 一种图像增强方法、装置、终端设备及计算机可读介质 | |
| Xing et al. | Traffic sign recognition from digital images by using deep learning | |
| Zheng et al. | Low-light image and video enhancement: A comprehensive survey and beyond | |
| Koo et al. | Nighttime haze removal with glow decomposition using GAN | |
| Mandal et al. | Real-time fast low-light vision enhancement for driver during driving at night | |
| CN110738624B (zh) | 一种区域自适应的图像去雾***及方法 | |
| CN117115616A (zh) | 一种基于卷积神经网络的实时低照度图像目标检测方法 | |
| CN112861987A (zh) | 暗光环境下的目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |