CN116823674A - 一种跨模态融合的水下图像增强方法 - Google Patents
一种跨模态融合的水下图像增强方法 Download PDFInfo
- Publication number
- CN116823674A CN116823674A CN202311074039.3A CN202311074039A CN116823674A CN 116823674 A CN116823674 A CN 116823674A CN 202311074039 A CN202311074039 A CN 202311074039A CN 116823674 A CN116823674 A CN 116823674A
- Authority
- CN
- China
- Prior art keywords
- color
- underwater image
- image
- enhancement
- underwater
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000000605 extraction Methods 0.000 claims abstract description 109
- 230000005540 biological transmission Effects 0.000 claims abstract description 73
- 238000005457 optimization Methods 0.000 claims abstract description 43
- 238000001914 filtration Methods 0.000 claims abstract description 20
- 230000006872 improvement Effects 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 57
- 230000006870 function Effects 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 40
- 230000003044 adaptive effect Effects 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000002708 enhancing effect Effects 0.000 claims description 10
- 238000011524 similarity measure Methods 0.000 claims description 10
- 239000000654 additive Substances 0.000 claims description 7
- 230000000996 additive effect Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 101100272279 Beauveria bassiana Beas gene Proteins 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000002834 transmittance Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 5
- 230000002238 attenuated effect Effects 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及图像增强的技术领域，公开了一种跨模态融合的水下图像增强方法，所述方法包括：对水下图像像素进行自适应亮度提升；对亮度分布视觉舒适的水下图像进行自适应对比度增强；对去模糊化后的水下图像进行像素补偿；对色彩增强后的水下图像进行媒介透射滤波处理，得到透射图像；基于水下图像增强优化目标函数对多模态水下图像特征提取以及颜色增强模型进行优化，利用优化的模型输出颜色通道增强后的水下图像。本发明通过增强水下图像中低照度区域的亮度，提高不同局部区域的灰度值对比程度，对过度衰减的红蓝颜色通道进行补偿，并融合透射图像的结构特征以及水下图像的颜色特征进行图像颜色通道增强，实现跨模态融合的水下图像增强。
Description
技术领域
本发明涉及水下图像增强的技术领域，尤其涉及一种跨模态融合的水下图像增强方法。
背景技术
水下数据采集过程中,由***采集设备所获取的图像和视频，在周围环境光照不足的情况下容易出现对比度下降、细节丢失、色彩失真等问题，这将严重影响到图像的后续处理与应用。由于水体对光线不同粒子的吸收能力具有一定差异，水下采集到的图像往往存在严重的退化现象。基于单点像素的图像增强方法和基于退化模型的图像恢复算法受到水下环境的复杂性和物理参数不确定性的影响往往表现出较差的泛化能力。针对该问题，本发明提出一种跨模态融合的水下图像增强方法，提高低照度环境下图像暗区的细节表现能力、校正图像色彩和改善视觉效果。
发明内容
有鉴于此，本发明提供一种跨模态融合的水下图像增强方法，目的在于：1）基于水下图像像素的亮度分量，结合图像的整体亮度，利用自适应对数映射函数对亮度分量进行映射转换，增强低照度区域的亮度，并基于像素局部区域灰度值变化的剧烈程度对像素局部区域内的灰度值进行增强处理，提高不同局部区域的灰度值对比程度，并基于水下图像像素在不同颜色通道的全局颜色值，对不同颜色通道的颜色值进行补偿处理，实现水下图像中过度衰减的红蓝颜色通道的补偿，进而实现多模态融合的水下图像增强；2）对水下图像进行媒介透射滤波处理，得到不同像素的透射率，构建得到水下图像对应的透射图像，将水下图像以及透射图像分别作为多模态水下图像特征提取以及颜色增强模型的输入，并分别提取不同尺度的颜色特征以及结构特征进行融合，以融合特征作为辅助信息，采用不同权重矩阵对水下图像的颜色特征进行特征调制，实现结合融合特征的颜色特征增强处理，得到颜色通道增强后的水下图像。
实现上述目的，本发明提供的一种跨模态融合的水下图像增强方法，包括以下步骤：
S1：采集水下图像并提取像素的亮度分量，对像素亮度分量进行自适应亮度提升，得到亮度分布视觉舒适的水下图像；
S2：对亮度分布视觉舒适的水下图像进行自适应对比度增强，得到去模糊化后的水下图像；
S3：对去模糊化后的水下图像进行像素补偿，得到色彩增强后的水下图像；
S4：对色彩增强后的水下图像进行媒介透射滤波处理，得到水下图像对应的透射图像；
S5：构建多模态水下图像特征提取以及颜色增强模型，所述模型以色彩增强后的水下图像和透射图像为输入，以颜色通道增强后的水下图像为输出；
S6：构建水下图像增强优化目标函数，所述水下图像增强优化目标函数以颜色通道增强前后结构相似性度量以及感知相似性度量达到最大为目标；
S7：基于水下图像增强优化目标函数对多模态水下图像特征提取以及颜色增强模型进行优化，并利用优化得到的多模态水下图像特征提取以及颜色增强模型输出颜色通道增强后的水下图像。
作为本发明的进一步改进方法：
可选地，所述S1步骤中采集水下图像并提取像素的亮度分量，对像素亮度分量进行自适应亮度提升，包括：
采集水下图像I并提取水下图像I中像素的亮度分量，其中像素亮度分量的提取公式：
；
其中：
分别表示水下图像中像素/>在R,G,B颜色通道的颜色值，像素/>表示水下图像中第i行第j列的像素；
表示像素/>的亮度分量；
对像素亮度分量进行自适应亮度提升，其中像素的亮度分量自适应亮度提升流程为：
对亮度分量进行对数映射：
；
其中：
表示亮度分量/>的对数映射结果，即亮度分量/>的自适应亮度提升结果；
表示水下图像中像素的平均亮度分量，/>表示水下图像中像素的最大亮度分量；
对于水下图像中的任意像素，选取像素颜色值最大的颜色通道，将所选取颜色通道的颜色值替换为像素亮度分量的对数映射结果，得到自适应亮度提升的像素以及亮度分布视觉舒适的水下图像。
可选地，所述S2步骤中对亮度分布视觉舒适的水下图像进行自适应对比度增强，包括：
对亮度分布视觉舒适的水下图像进行自适应对比度增强，得到去模糊化后的水下图像/>，其中水下图像/>中像素/>的自适应对比度增强流程为：
S21：提取水下图像中像素的灰度值，构成水下图像/>的灰度图像g，其中像素在灰度图像g中的灰度值/>为：
；
其中：
分别表示水下图像中像素/>在R,G,B颜色通道的颜色值；
计算得到灰度图像中像素灰度值的标准差；
S22：以像素为中心在灰度图像中构建得到/>像素大小的像素区域，计算得到所构建像素区域内的灰度值均值/>以及灰度值标准差/>；
S23：对灰度值进行对比度增强，其中对比度增强公式为：
；
；
其中：
表示像素/>的灰度值对比度增强结果；
表示对比度增强系数；
S24：对水下图像中像素/>进行对比度增强：
；
其中：
表示水下图像/>中像素/>在U颜色通道的颜色值；
表示/>的对比度增强结果，即像素/>在U颜色通道的增强后颜色值，将不同颜色通道的增强后颜色值作为像素/>在对应通道的颜色值，得到对比度增强后的像素/>；
将所有对比度增强后的像素构成去模糊化后的水下图像。
可选地，所述S3步骤中对去模糊化后的水下图像进行像素补偿，包括：
对去模糊化后的水下图像进行像素补偿，其中水下图像/>中像素/>的像素补偿流程为：
S31：分别计算水下图像中像素在R,G,B颜色通道的颜色值均值/>；
S32：对像素在R颜色通道的颜色值进行补偿：
；
其中：
表示像素/>在R颜色通道的补偿后颜色值；
S33：对像素在B颜色通道的颜色值进行补偿：
；
其中：
表示像素/>在B颜色通道的补偿后颜色值；
S34：获取颜色值补偿后水下图像的像素在各颜色通道的最大值和最小值，其中分别表示颜色值补偿后水下图像的像素在U颜色通道的最大值和最小值，；
S34：对像素的各颜色通道颜色值进行仿射变换处理：
；
；
；
其中：
分别表示像素/>在R,G,B颜色通道的仿射变换后颜色值；
将作为像素/>在R,G,B颜色通道的颜色值，得到色彩增强后的像素/>；
将所有色彩增强后的像素构成色彩增强后的水下图像。
可选地，所述S4步骤中对色彩增强后的水下图像进行媒介透射滤波处理，包括：
对色彩增强后水下图像进行媒介透射滤波处理，得到水下图像/>对应的透射图像Q，其中媒介透射滤波处理流程为：
S41：提取水下图像中像素的灰度值，并选取水下图像/>中灰度值为前1%的像素，计算所选取像素在不同颜色通道U的平均颜色值/>，/>；
S42：计算水下图像中任意像素/>的透射率/>：
；
其中：
表示以像素/>为中心的/>像素区域的坐标集合，X表示坐标集合/>中的任意坐标；
表示水下图像/>中坐标为x的像素在U颜色通道的颜色值；
表示以像素/>为中心的像素区域中，像素颜色值与对应颜色通道的平均颜色值比例最小的比例值；
S43：将水下图像中像素的透射率转换为透射矩阵，其中透射矩阵即为水下图像对应的透射图像Q。
可选地，所述S5步骤中构建多模态水下图像特征提取以及颜色增强模型，包括：
构建多模态水下图像特征提取以及颜色增强模型，所构建多模态水下图像特征提取以及颜色增强模型以色彩增强后的水下图像和透射图像为输入，以颜色通道增强后的水下图像为输出；
所述多模态水下图像特征提取以及颜色增强模型包括输入层、多模态特征提取层、多模态特征融合模块、颜色通道增强模块以及输出层；
其中输入层用于接收色彩增强后的水下图像和透射图像，多模态特征提取层用于分别提取水下图像的RGB颜色特征以及透射图像的结构特征，多模态特征融合模块用于将水下图像的RGB颜色特征以及透射图像的结构特征进行特征融合，得到融合特征，颜色通道增强层用于将融合特征作为辅助信息，对RGB颜色特征进行特征调制，得到增强后的RGB颜色特征，输出层用于基于增强后的RGB颜色特征生成颜色通道增强后的水下图像；
所述多模态特征提取层分别包括RGB颜色特征提取模块以及结构特征提取模块，RGB颜色特征提取模块共包含3层卷积层，将每层卷积层的输出独立取出，并经过标准化层以及ReLU激活函数，得到多尺度的RGB颜色特征，结构特征提取模块包含三个残差单元，并在每个残差单元后连接标准化层以及ReLU激活函数；
所述多模态特征融合模块分别选取第L层卷积层对应的RGB颜色特征以及第L个残差单元对应的结构特征进行融合，得到三种尺度下的融合特征，并将三种尺度下的融合特征进行相加融合，采用像素的卷积核对相加融合的特征进行卷积处理，得到融合特征，其中/>；
所述颜色通道增强模块以融合特征作为辅助信息，采用不同权重矩阵对RGB颜色特征进行特征调制；
多模态水下图像特征提取以及颜色增强模型的待优化参数包括多模态特征提取层中的卷积层参数、残差单元参数，多模态特征融合模块的卷积参数以及颜色通道增强模块中的权重矩阵。
可选地，所述S6步骤中构建水下图像增强优化目标函数，包括：
采集N张水下图像并依次进行自适应亮度提升、自适应对比度增强、像素补偿以及媒介透射滤波处理，得到色彩增强后的水下图像和对应的透射图像，构成多模态水下图像特征提取以及颜色增强模型训练的训练集data：
；
其中：
表示基于所采集的第n张水下图像，所生成的色彩增强后的水下图像/>和对应的透射图像/>；
构建水下图像增强优化目标函数：
；
；
其中：
表示多模态水下图像特征提取以及颜色增强模型的待优化参数向量；
表示将色彩增强后的水下图像/>和透射图像/>输入到基于/>构建的多模态水下图像特征提取以及颜色增强模型中，模型输出的颜色通道增强后的水下图像；
表示/>中像素的灰度值均值，/>表示/>中像素的灰度值均值；
表示/>中像素的亮度分量标准差，/>表示/>中像素的亮度分量标准差；
表示/>与/>的结构相似性度量结果；
表示将/>分别输入到VGG-119模型，模型中第16层卷积层输出的两个特征向量的余弦相似度，对应/>与/>的感知相似性度量结果。
可选地，所述S7步骤中基于水下图像增强优化目标函数对多模态水下图像特征提取以及颜色增强模型进行优化，包括：
基于水下图像增强优化目标函数对多模态水下图像特征提取以及颜色增强模型的待优化参数向量进行优化，确定最终参数向量，并基于参数向量构建多模态水下图像特征提取以及颜色增强模型，其中多模态水下图像特征提取以及颜色增强模型的待优化参数向量的优化流程为：
S71：随机生成初始待优化参数向量，设置待优化参数向量的当前优化次数为t，t的初始值为0，则第t次优化得到的待优化参数向量为/>；
S72：基于水下图像增强优化目标函数计算得到待优化参数向量对应的梯度向量：
；
其中：
表示待优化参数向量/>对应的梯度向量；
表示梯度算子；
S73：若，则终止参数向量的优化，将/>作为最终参数向量，并基于参数向量/>构建得到多模态水下图像特征提取以及颜色增强模型，否则转向步骤S74，其中表示L1范数，/>表示预设的梯度阈值；
S74：计算得到待优化参数向量的迭代步长：
；
；
其中：
表示步长衰减率，将其分别设置为0.9和0.99；
分别为一阶迭代步长以及二阶迭代步长，/>；
表示L2范数；
S75：基于迭代步长对待优化参数向量进行迭代：
；
；
其中：
表示学习率，/>表示初始学习率，将初始学习率/>设置为0.2；
S76：令，返回步骤S72。
可选地，所述S7步骤中利用优化得到的多模态水下图像特征提取以及颜色增强模型输出颜色通道增强后的水下图像，包括：
利用优化得到的多模态水下图像特征提取以及颜色增强模型输出颜色通道增强后的水下图像，其中水下图像的颜色通道增强流程为：
输入层用于接收色彩增强后的水下图像和透射图像Q，并将所接收图像传输至多模态特征提取层；
多模态特征提取层的RGB颜色特征提取模块对水下图像进行三层卷积层处理，将每层卷积层的输出独立取出，并经过标准化层以及ReLU激活函数，得到三层尺度的RGB颜色特征；多模态特征提取层的结构特征提取模块对透射图像Q进行三个残差单元的特征提取处理，并在每个残差单元后连接标准化层以及ReLU激活函数，分别得到三个残差单元的输出特征作为结构特征；
多模态特征融合模块分别选取第L层卷积层所输出的RGB颜色特征以及第L个残差单元所输出的结构特征进行融合，得到三种尺度下的融合特征，并将三种尺度下的融合特征进行相加融合，采用像素的卷积核对相加融合的特征进行卷积处理，得到融合特征，其中/>；
颜色通道增强模块以融合特征作为辅助信息，采用不同权重矩阵对RGB颜色特征进行特征调制，其中特征调制处理的公式为：
；
其中：
表示第h层卷积层输出的RGB颜色特征，/>；
表示第h个权重矩阵；
表示融合特征；
表示RGB颜色特征的特征调制处理结果；
输出层对RGB颜色特征的特征调制处理结果进行反卷积处理，得到对应颜色通道增强后的水下图像。在本发明实施例中，通过反卷积处理将特征映射到像素空间，构成颜色通道增强后的水下图像。
为了解决上述问题，本发明提供一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；
通信接口，实现电子设备通信；及处理器，执行所述存储器中存储的指令以实现上述所述的跨模态融合的水下图像增强方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的跨模态融合的水下图像增强方法。
相对于现有技术，本发明提出一种跨模态融合的水下图像增强方法，该技术具有以下优势：
首先，本方案提出一种结合不同像素分量的图像增强方法，采集水下图像I并提取水下图像I中像素的亮度分量，其中像素亮度分量的提取公式为：
；
其中：分别表示水下图像中像素/>在R,G,B颜色通道的颜色值，像素/>表示水下图像中第i行第j列的像素；/>表示像素/>的亮度分量；对像素亮度分量进行自适应亮度提升，其中像素/>的亮度分量自适应亮度提升流程为：对亮度分量/>进行对数映射：
；
其中：表示亮度分量/>的对数映射结果，即亮度分量/>的自适应亮度提升结果；/>表示水下图像中像素的平均亮度分量，/>表示水下图像中像素的最大亮度分量；对于水下图像中的任意像素，选取像素颜色值最大的颜色通道，将所选取颜色通道的颜色值替换为像素亮度分量的对数映射结果，得到自适应亮度提升的像素以及亮度分布视觉舒适的水下图像/>。对亮度分布视觉舒适的水下图像/>进行自适应对比度增强，得到去模糊化后的水下图像/>，其中水下图像/>中像素/>的自适应对比度增强流程为：提取水下图像/>中像素的灰度值，构成水下图像/>的灰度图像g，其中像素/>在灰度图像g中的灰度值/>为：
；
其中：分别表示水下图像中像素/>在R,G,B颜色通道的颜色值；计算得到灰度图像中像素灰度值的标准差/>；以像素/>为中心在灰度图像中构建得到/>像素大小的像素区域，计算得到所构建像素区域内的灰度值均值以及灰度值标准差/>；对灰度值/>进行对比度增强，其中对比度增强公式为：
；
；
其中：表示像素/>的灰度值对比度增强结果；/>表示对比度增强系数；对水下图像/>中像素/>进行对比度增强：
；
其中：表示水下图像/>中像素/>在U颜色通道的颜色值；/>表示的对比度增强结果，即像素/>在U颜色通道的增强后颜色值，将不同颜色通道的增强后颜色值作为像素/>在对应通道的颜色值，得到对比度增强后的像素/>；将所有对比度增强后的像素构成去模糊化后的水下图像/>。本方案基于水下图像像素的亮度分量，结合图像的整体亮度，利用自适应对数映射函数对亮度分量进行映射转换，增强低照度区域的亮度，并基于像素局部区域灰度值变化的剧烈程度对像素局部区域内的灰度值进行增强处理，提高不同局部区域的灰度值对比程度，并基于水下图像像素在不同颜色通道的全局颜色值，对不同颜色通道的颜色值进行补偿处理，实现水下图像中过度衰减的红蓝颜色通道的补偿，进而实现多模态融合的水下图像增强。
同时，本方案提出一种结合透射图像的水下图像颜色增强方法，以颜色通道增强前后结构相似性度量以及感知相似性度量达到最大为目标对所构建的模型进行优化，利用优化得到的多模态水下图像特征提取以及颜色增强模型输出颜色通道增强后的水下图像，其中水下图像的颜色通道增强流程为：输入层用于接收色彩增强后的水下图像/>和透射图像Q，并将所接收图像传输至多模态特征提取层；将每层卷积层的输出独立取出，并经过标准化层以及ReLU激活函数，得到三层尺度的RGB颜色特征；多模态特征提取层的结构特征提取模块对透射图像Q进行三个残差单元的特征提取处理，并在每个残差单元后连接标准化层以及ReLU激活函数，分别得到三个残差单元的输出特征作为结构特征；多模态特征融合模块分别选取第L层卷积层所输出的RGB颜色特征以及第L个残差单元所输出的结构特征进行融合，得到三种尺度下的融合特征，并将三种尺度下的融合特征进行相加融合，采用像素的卷积核对相加融合的特征进行卷积处理，得到融合特征，其中/>；颜色通道增强模块以融合特征作为辅助信息，采用不同权重矩阵对RGB颜色特征进行特征调制，其中特征调制处理的公式为：
；
其中：表示第h层卷积层输出的RGB颜色特征，/>；/>表示第h个权重矩阵；/>表示融合特征；/>表示RGB颜色特征的特征调制处理结果；输出层对RGB颜色特征的特征调制处理结果进行反卷积处理，得到对应颜色通道增强后的水下图像。本方案通过对水下图像进行媒介透射滤波处理，得到不同像素的透射率，构建得到水下图像对应的透射图像，将水下图像以及透射图像分别作为多模态水下图像特征提取以及颜色增强模型的输入，并分别提取不同尺度的颜色特征以及结构特征进行融合，以融合特征作为辅助信息，采用不同权重矩阵对水下图像的颜色特征进行特征调制，实现结合融合特征的颜色特征增强处理，得到颜色通道增强后的水下图像。/>
附图说明
图1为本发明一实施例提供的一种跨模态融合的水下图像增强方法的流程示意图；
图2为本发明一实施例提供的实现跨模态融合的水下图像增强方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种跨模态融合的水下图像增强方法。所述跨模态融合的水下图像增强方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述跨模态融合的水下图像增强方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
实施例1
S1：采集水下图像并提取像素的亮度分量，对像素亮度分量进行自适应亮度提升，得到亮度分布视觉舒适的水下图像。
所述S1步骤中采集水下图像并提取像素的亮度分量，对像素亮度分量进行自适应亮度提升，包括：
采集水下图像I并提取水下图像I中像素的亮度分量，其中像素亮度分量的提取公式为：
；
其中：
分别表示水下图像中像素/>在R,G,B颜色通道的颜色值，像素/>表示水下图像中第i行第j列的像素；
表示像素/>的亮度分量；
对像素亮度分量进行自适应亮度提升，其中像素的亮度分量自适应亮度提升流程为：
对亮度分量进行对数映射：
；
其中：
表示亮度分量/>的对数映射结果，即亮度分量/>的自适应亮度提升结果；/>
表示水下图像中像素的平均亮度分量，/>表示水下图像中像素的最大亮度分量；
对于水下图像中的任意像素，选取像素颜色值最大的颜色通道，将所选取颜色通道的颜色值替换为像素亮度分量的对数映射结果，得到自适应亮度提升的像素以及亮度分布视觉舒适的水下图像。
S2：对亮度分布视觉舒适的水下图像进行自适应对比度增强，得到去模糊化后的水下图像。
所述S2步骤中对亮度分布视觉舒适的水下图像进行自适应对比度增强，包括：
对亮度分布视觉舒适的水下图像进行自适应对比度增强，得到去模糊化后的水下图像/>，其中水下图像/>中像素/>的自适应对比度增强流程为：
S21：提取水下图像中像素的灰度值，构成水下图像/>的灰度图像g，其中像素在灰度图像g中的灰度值/>为：
；
其中：
分别表示水下图像中像素/>在R,G,B颜色通道的颜色值；
计算得到灰度图像中像素灰度值的标准差；
S22：以像素为中心在灰度图像中构建得到/>像素大小的像素区域，计算得到所构建像素区域内的灰度值均值/>以及灰度值标准差/>；
S23：对灰度值进行对比度增强，其中对比度增强公式为：
；
；
其中：
表示像素/>的灰度值对比度增强结果；
表示对比度增强系数；
S24：对水下图像中像素/>进行对比度增强：
；/>
其中：
表示水下图像/>中像素/>在U颜色通道的颜色值；
表示/>的对比度增强结果，即像素/>在U颜色通道的增强后颜色值，将不同颜色通道的增强后颜色值作为像素/>在对应通道的颜色值，得到对比度增强后的像素/>；
将所有对比度增强后的像素构成去模糊化后的水下图像。
S3：对去模糊化后的水下图像进行像素补偿，得到色彩增强后的水下图像。
所述S3步骤中对去模糊化后的水下图像进行像素补偿，包括：
对去模糊化后的水下图像进行像素补偿，其中水下图像/>中像素/>的像素补偿流程为：
S31：分别计算水下图像中像素在R,G,B颜色通道的颜色值均值/>；
S32：对像素在R颜色通道的颜色值进行补偿：
；
其中：
表示像素/>在R颜色通道的补偿后颜色值；
S33：对像素在B颜色通道的颜色值进行补偿：
；
其中：
表示像素/>在B颜色通道的补偿后颜色值；
S34：获取颜色值补偿后水下图像的像素在各颜色通道的最大值和最小值，其中分别表示颜色值补偿后水下图像的像素在U颜色通道的最大值和最小值，；
S34：对像素的各颜色通道颜色值进行仿射变换处理：
；
；
；/>
其中：
分别表示像素/>在R,G,B颜色通道的仿射变换后颜色值；
将作为像素/>在R,G,B颜色通道的颜色值，得到色彩增强后的像素/>；
将所有色彩增强后的像素构成色彩增强后的水下图像。
S4：对色彩增强后的水下图像进行媒介透射滤波处理，得到水下图像对应的透射图像。
所述S4步骤中对色彩增强后的水下图像进行媒介透射滤波处理，包括：
对色彩增强后水下图像进行媒介透射滤波处理，得到水下图像/>对应的透射图像Q，其中媒介透射滤波处理流程为：
S41：提取水下图像中像素的灰度值，并选取水下图像/>中灰度值为前1%的像素，计算所选取像素在不同颜色通道U的平均颜色值/>，/>；
S42：计算水下图像中任意像素/>的透射率/>：
；
其中：
表示以像素/>为中心的/>像素区域的坐标集合，X表示坐标集合/>中的任意坐标；
表示水下图像/>中坐标为x的像素在U颜色通道的颜色值；
表示以像素/>为中心的像素区域中，像素颜色值与对应颜色通道的平均颜色值比例最小的比例值；
S43：将水下图像中像素的透射率转换为透射矩阵，其中透射矩阵即为水下图像对应的透射图像Q。
S5：构建多模态水下图像特征提取以及颜色增强模型，所述模型以色彩增强后的水下图像和透射图像为输入，以颜色通道增强后的水下图像为输出。
所述S5步骤中构建多模态水下图像特征提取以及颜色增强模型，包括：
构建多模态水下图像特征提取以及颜色增强模型，所构建多模态水下图像特征提取以及颜色增强模型以色彩增强后的水下图像和透射图像为输入，以颜色通道增强后的水下图像为输出；
所述多模态水下图像特征提取以及颜色增强模型包括输入层、多模态特征提取层、多模态特征融合模块、颜色通道增强模块以及输出层；
其中输入层用于接收色彩增强后的水下图像和透射图像，多模态特征提取层用于分别提取水下图像的RGB颜色特征以及透射图像的结构特征，多模态特征融合模块用于将水下图像的RGB颜色特征以及透射图像的结构特征进行特征融合，得到融合特征，颜色通道增强层用于将融合特征作为辅助信息，对RGB颜色特征进行特征调制，得到增强后的RGB颜色特征，输出层用于基于增强后的RGB颜色特征生成颜色通道增强后的水下图像；
所述多模态特征提取层分别包括RGB颜色特征提取模块以及结构特征提取模块，RGB颜色特征提取模块共包含3层卷积层，将每层卷积层的输出独立取出，并经过标准化层以及ReLU激活函数，得到多尺度的RGB颜色特征，结构特征提取模块包含三个残差单元，并在每个残差单元后连接标准化层以及ReLU激活函数；
所述多模态特征融合模块分别选取第L层卷积层对应的RGB颜色特征以及第L个残差单元对应的结构特征进行融合，得到三种尺度下的融合特征，并将三种尺度下的融合特征进行相加融合，像素的卷积核对相加融合的特征进行卷积处理，得到融合特征，其中/>；
所述颜色通道增强模块以融合特征作为辅助信息，采用不同权重矩阵对RGB颜色特征进行特征调制；
多模态水下图像特征提取以及颜色增强模型的待优化参数包括多模态特征提取层中的卷积层参数、残差单元参数，多模态特征融合模块的卷积参数以及颜色通道增强模块中的权重矩阵。
S6：构建水下图像增强优化目标函数，所述水下图像增强优化目标函数以颜色通道增强前后结构相似性度量以及感知相似性度量达到最大为目标。
所述S6步骤中构建水下图像增强优化目标函数，包括：
采集N张水下图像并依次进行自适应亮度提升、自适应对比度增强、像素补偿以及媒介透射滤波处理，得到色彩增强后的水下图像和对应的透射图像，构成多模态水下图像特征提取以及颜色增强模型训练的训练集data：
；
其中：
表示基于所采集的第n张水下图像，所生成的色彩增强后的水下图像/>和对应的透射图像/>；
构建水下图像增强优化目标函数：
；
；
其中：
表示多模态水下图像特征提取以及颜色增强模型的待优化参数向量；/>
表示将色彩增强后的水下图像/>和透射图像/>输入到基于/>构建的多模态水下图像特征提取以及颜色增强模型中，模型输出的颜色通道增强后的水下图像；
表示/>中像素的灰度值均值，/>表示/>中像素的灰度值均值；
表示/>中像素的亮度分量标准差，/>表示/>中像素的亮度分量标准差；
表示/>与/>的结构相似性度量结果；
表示将/>分别输入到VGG-119模型，模型中第16层卷积层输出的两个特征向量的余弦相似度，对应/>与/>的感知相似性度量结果。
S7：基于水下图像增强优化目标函数对多模态水下图像特征提取以及颜色增强模型进行优化，并利用优化得到的多模态水下图像特征提取以及颜色增强模型输出颜色通道增强后的水下图像。
所述S7步骤中基于水下图像增强优化目标函数对多模态水下图像特征提取以及颜色增强模型进行优化，包括：
基于水下图像增强优化目标函数对多模态水下图像特征提取以及颜色增强模型的待优化参数向量进行优化，确定最终参数向量，并基于参数向量构建多模态水下图像特征提取以及颜色增强模型，其中多模态水下图像特征提取以及颜色增强模型的待优化参数向量的优化流程为：
S71：随机生成初始待优化参数向量，设置待优化参数向量的当前优化次数为t，t的初始值为0，则第t次优化得到的待优化参数向量为/>；
S72：基于水下图像增强优化目标函数计算得到待优化参数向量对应的梯度向量：
；
其中：
表示待优化参数向量/>对应的梯度向量；
表示梯度算子；
S73：若，则终止参数向量的优化，将/>作为最终参数向量，并基于参数向量/>构建得到多模态水下图像特征提取以及颜色增强模型，否则转向步骤S74，其中表示L1范数，/>表示预设的梯度阈值；
S74：计算得到待优化参数向量的迭代步长：
；
；
其中：
表示步长衰减率，将其分别设置为0.9和0.99；
分别为一阶迭代步长以及二阶迭代步长，/>；
表示L2范数；
S75：基于迭代步长对待优化参数向量进行迭代：
；
；
其中：
表示学习率，/>表示初始学习率，将初始学习率/>设置为0.2；
S76：令，返回步骤S72。
所述S7步骤中利用优化得到的多模态水下图像特征提取以及颜色增强模型输出颜色通道增强后的水下图像，包括：
利用优化得到的多模态水下图像特征提取以及颜色增强模型输出颜色通道增强后的水下图像，其中水下图像的颜色通道增强流程为：
输入层用于接收色彩增强后的水下图像和透射图像Q，并将所接收图像传输至多模态特征提取层；
多模态特征提取层的RGB颜色特征提取模块对水下图像进行三层卷积层处理，将每层卷积层的输出独立取出，并经过标准化层以及ReLU激活函数，得到三层尺度的RGB颜色特征；多模态特征提取层的结构特征提取模块对透射图像Q进行三个残差单元的特征提取处理，并在每个残差单元后连接标准化层以及ReLU激活函数，分别得到三个残差单元的输出特征作为结构特征；
多模态特征融合模块分别选取第L层卷积层所输出的RGB颜色特征以及第L个残差单元所输出的结构特征进行融合，得到三种尺度下的融合特征，并将三种尺度下的融合特征进行相加融合，采用像素的卷积核对相加融合的特征进行卷积处理，得到融合特征，其中/>；
颜色通道增强模块以融合特征作为辅助信息，采用不同权重矩阵对RGB颜色特征进行特征调制，其中特征调制处理的公式为：
；
其中：
表示第h层卷积层输出的RGB颜色特征，/>；
表示第h个权重矩阵；
表示融合特征；
表示RGB颜色特征的特征调制处理结果；
输出层对RGB颜色特征的特征调制处理结果进行反卷积处理，得到对应颜色通道增强后的水下图像。
实施例2
如图2所示，是本发明一实施例提供的实现跨模态融合的水下图像增强方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11、通信接口13和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如程序12。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡（Smart Media Card， SMC）、安全数字（SecureDigital， SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如程序12的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（用于实现跨模态融合的水下图像增强的程序12等），以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
所述通信接口13可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备1与其他电子设备之间建立通信连接，并实现电子设备内部组件之间的连接通信。
所述总线可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图2仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图2示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的程序12是多个指令的组合，在所述处理器10中运行时，可以实现：
采集水下图像并提取像素的亮度分量，对像素亮度分量进行自适应亮度提升，得到亮度分布视觉舒适的水下图像；
对亮度分布视觉舒适的水下图像进行自适应对比度增强，得到去模糊化后的水下图像；
对去模糊化后的水下图像进行像素补偿，得到色彩增强后的水下图像；
对色彩增强后的水下图像进行媒介透射滤波处理，得到水下图像对应的透射图像；
构建多模态水下图像特征提取以及颜色增强模型；
构建水下图像增强优化目标函数；
基于水下图像增强优化目标函数对多模态水下图像特征提取以及颜色增强模型进行优化，并利用优化得到的多模态水下图像特征提取以及颜色增强模型输出颜色通道增强后的水下图像。
具体地，所述处理器10对上述指令的具体实现方法可参考图1至图2对应实施例中相关步骤的描述，在此不赘述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种跨模态融合的水下图像增强方法，其特征在于，所述方法包括：
S1：采集水下图像并提取像素的亮度分量，对像素亮度分量进行自适应亮度提升，得到亮度分布视觉舒适的水下图像；
S2：对亮度分布视觉舒适的水下图像进行自适应对比度增强，得到去模糊化后的水下图像；
S3：对去模糊化后的水下图像进行像素补偿，得到色彩增强后的水下图像；
S4：对色彩增强后的水下图像进行媒介透射滤波处理，得到水下图像对应的透射图像；
S5：构建多模态水下图像特征提取以及颜色增强模型，所述模型以色彩增强后的水下图像和透射图像为输入，以颜色通道增强后的水下图像为输出；
S6：构建水下图像增强优化目标函数，所述水下图像增强优化目标函数以颜色通道增强前后结构相似性度量以及感知相似性度量达到最大为目标；
S7：基于水下图像增强优化目标函数对多模态水下图像特征提取以及颜色增强模型进行优化，并利用优化得到的多模态水下图像特征提取以及颜色增强模型输出颜色通道增强后的水下图像。
2.如权利要求1所述的一种跨模态融合的水下图像增强方法，其特征在于，所述S1步骤中采集水下图像并提取像素的亮度分量，对像素亮度分量进行自适应亮度提升，包括：
采集水下图像I并提取水下图像I中像素的亮度分量，其中像素亮度分量的提取公式为：
；
其中：
分别表示水下图像中像素/>在R,G,B颜色通道的颜色值，像素/>表示水下图像中第i行第j列的像素；
表示像素/>的亮度分量；
对像素亮度分量进行自适应亮度提升，其中像素的亮度分量自适应亮度提升流程为：
对亮度分量进行对数映射：
；
其中：
表示亮度分量/>的对数映射结果，即亮度分量/>的自适应亮度提升结果；
表示水下图像中像素的平均亮度分量，/>表示水下图像中像素的最大亮度分量；
对于水下图像中的任意像素，选取像素颜色值最大的颜色通道，将所选取颜色通道的颜色值替换为像素亮度分量的对数映射结果，得到自适应亮度提升的像素以及亮度分布视觉舒适的水下图像。
3.如权利要求2所述的一种跨模态融合的水下图像增强方法，其特征在于，所述S2步骤中对亮度分布视觉舒适的水下图像进行自适应对比度增强，包括：
对亮度分布视觉舒适的水下图像进行自适应对比度增强，得到去模糊化后的水下图像/>，其中水下图像/>中像素/>的自适应对比度增强流程为：
S21：提取水下图像中像素的灰度值，构成水下图像/>的灰度图像g，其中像素/>在灰度图像g中的灰度值/>为：
；
其中：
分别表示水下图像中像素/>在R,G,B颜色通道的颜色值；
计算得到灰度图像中像素灰度值的标准差；
S22：以像素为中心在灰度图像中构建得到/>像素大小的像素区域，计算得到所构建像素区域内的灰度值均值/>以及灰度值标准差/>；
S23：对灰度值进行对比度增强，其中对比度增强公式为：
；
；
其中：
表示像素/>的灰度值对比度增强结果；
表示对比度增强系数；
S24：对水下图像中像素/>进行对比度增强：
；
其中：
表示水下图像/>中像素/>在U颜色通道的颜色值；
表示/>的对比度增强结果，即像素/>在U颜色通道的增强后颜色值，将不同颜色通道的增强后颜色值作为像素/>在对应通道的颜色值，得到对比度增强后的像素/>；
将所有对比度增强后的像素构成去模糊化后的水下图像。
4.如权利要求3所述的一种跨模态融合的水下图像增强方法，其特征在于，所述S3步骤中对去模糊化后的水下图像进行像素补偿，包括：
对去模糊化后的水下图像进行像素补偿，其中水下图像/>中像素/>的像素补偿流程为：
S31：分别计算水下图像中像素在R,G,B颜色通道的颜色值均值/>；
S32：对像素在R颜色通道的颜色值进行补偿：
；
其中：
表示像素/>在R颜色通道的补偿后颜色值；
S33：对像素在B颜色通道的颜色值进行补偿：
；
其中：
表示像素/>在B颜色通道的补偿后颜色值；
S34：获取颜色值补偿后水下图像的像素在各颜色通道的最大值和最小值，其中分别表示颜色值补偿后水下图像的像素在U颜色通道的最大值和最小值，；
S34：对像素的各颜色通道颜色值进行仿射变换处理：
；
；
；
其中：
分别表示像素/>在R,G,B颜色通道的仿射变换后颜色值；
将作为像素/>在R,G,B颜色通道的颜色值，得到色彩增强后的像素/>；
将所有色彩增强后的像素构成色彩增强后的水下图像。
5.如权利要求4所述的一种跨模态融合的水下图像增强方法，其特征在于，所述S4步骤中对色彩增强后的水下图像进行媒介透射滤波处理，包括：
对色彩增强后水下图像进行媒介透射滤波处理，得到水下图像/>对应的透射图像Q，其中媒介透射滤波处理流程为：
S41：提取水下图像中像素的灰度值，并选取水下图像/>中灰度值为前1%的像素，计算所选取像素在不同颜色通道U的平均颜色值/>，/>；
S42：计算水下图像中任意像素/>的透射率/>：
；
其中：
表示以像素/>为中心的/>像素区域的坐标集合，X表示坐标集合中的任意坐标；
表示水下图像/>中坐标为x的像素在U颜色通道的颜色值；
表示以像素/>为中心的像素区域中，像素颜色值与对应颜色通道的平均颜色值比例最小的比例值；
S43：将水下图像中像素的透射率转换为透射矩阵，其中透射矩阵即为水下图像/>对应的透射图像Q。
6.如权利要求1所述的一种跨模态融合的水下图像增强方法，其特征在于，所述S5步骤中构建多模态水下图像特征提取以及颜色增强模型，包括：
构建多模态水下图像特征提取以及颜色增强模型，所构建多模态水下图像特征提取以及颜色增强模型以色彩增强后的水下图像和透射图像为输入，以颜色通道增强后的水下图像为输出；
所述多模态水下图像特征提取以及颜色增强模型包括输入层、多模态特征提取层、多模态特征融合模块、颜色通道增强模块以及输出层；
其中输入层用于接收色彩增强后的水下图像和透射图像，多模态特征提取层用于分别提取水下图像的RGB颜色特征以及透射图像的结构特征，多模态特征融合模块用于将水下图像的RGB颜色特征以及透射图像的结构特征进行特征融合，得到融合特征，颜色通道增强层用于将融合特征作为辅助信息，对RGB颜色特征进行特征调制，得到增强后的RGB颜色特征，输出层用于基于增强后的RGB颜色特征生成颜色通道增强后的水下图像；
所述多模态特征提取层分别包括RGB颜色特征提取模块以及结构特征提取模块，RGB颜色特征提取模块共包含3层卷积层，将每层卷积层的输出独立取出，并经过标准化层以及ReLU激活函数，得到多尺度的RGB颜色特征，结构特征提取模块包含三个残差单元，并在每个残差单元后连接标准化层以及ReLU激活函数；
所述多模态特征融合模块分别选取第L层卷积层对应的RGB颜色特征以及第L个残差单元对应的结构特征进行融合，得到三种尺度下的融合特征，并将三种尺度下的融合特征进行相加融合，采用像素的卷积核对相加融合的特征进行卷积处理，得到融合特征，其中/>；
所述颜色通道增强模块以融合特征作为辅助信息，采用不同权重矩阵对RGB颜色特征进行特征调制；
多模态水下图像特征提取以及颜色增强模型的待优化参数包括多模态特征提取层中的卷积层参数、残差单元参数，多模态特征融合模块的卷积参数以及颜色通道增强模块中的权重矩阵。
7.如权利要求1所述的一种跨模态融合的水下图像增强方法，其特征在于，所述S6步骤中构建水下图像增强优化目标函数，包括：
采集N张水下图像并依次进行自适应亮度提升、自适应对比度增强、像素补偿以及媒介透射滤波处理，得到色彩增强后的水下图像和对应的透射图像，构成多模态水下图像特征提取以及颜色增强模型训练的训练集data：
；
其中：
表示基于所采集的第n张水下图像，所生成的色彩增强后的水下图像和对应的透射图像/>；
构建水下图像增强优化目标函数：
；
；
其中：
表示多模态水下图像特征提取以及颜色增强模型的待优化参数向量；
表示将色彩增强后的水下图像/>和透射图像/>输入到基于/>构建的多模态水下图像特征提取以及颜色增强模型中，模型输出的颜色通道增强后的水下图像；
表示/>中像素的灰度值均值，/>表示/>中像素的灰度值均值；
表示/>中像素的亮度分量标准差，/>表示/>中像素的亮度分量标准差；
表示/>与/>的结构相似性度量结果；
表示将/>分别输入到VGG-119模型，模型中第16层卷积层输出的两个特征向量的余弦相似度，对应/>与/>的感知相似性度量结果。
8.如权利要求7所述的一种跨模态融合的水下图像增强方法，其特征在于，所述S7步骤中基于水下图像增强优化目标函数对多模态水下图像特征提取以及颜色增强模型进行优化，包括：
基于水下图像增强优化目标函数对多模态水下图像特征提取以及颜色增强模型的待优化参数向量进行优化，确定最终参数向量，并基于参数向量构建多模态水下图像特征提取以及颜色增强模型，其中多模态水下图像特征提取以及颜色增强模型的待优化参数向量的优化流程为：
S71：随机生成初始待优化参数向量，设置待优化参数向量的当前优化次数为t，t的初始值为0，则第t次优化得到的待优化参数向量为/>；
S72：基于水下图像增强优化目标函数计算得到待优化参数向量对应的梯度向量：
；
其中：
表示待优化参数向量/>对应的梯度向量；
表示梯度算子；
S73：若，则终止参数向量的优化，将/>作为最终参数向量，并基于参数向量/>构建得到多模态水下图像特征提取以及颜色增强模型，否则转向步骤S74，其中/>表示L1范数，/>表示预设的梯度阈值；
S74：计算得到待优化参数向量的迭代步长：
；
；
其中：
表示步长衰减率，将其分别设置为0.9和0.99；
分别为一阶迭代步长以及二阶迭代步长，/>；
表示L2范数；
S75：基于迭代步长对待优化参数向量进行迭代：
；
；
其中：
表示学习率，/>表示初始学习率，将初始学习率/>设置为0.2；
S76：令，返回步骤S72。
9.如权利要求8所述的一种跨模态融合的水下图像增强方法，其特征在于，所述S7步骤中利用优化得到的多模态水下图像特征提取以及颜色增强模型输出颜色通道增强后的水下图像，包括：
利用优化得到的多模态水下图像特征提取以及颜色增强模型输出颜色通道增强后的水下图像，其中水下图像的颜色通道增强流程为：
输入层用于接收色彩增强后的水下图像和透射图像Q，并将所接收图像传输至多模态特征提取层；
多模态特征提取层的RGB颜色特征提取模块对水下图像进行三层卷积层处理，将每层卷积层的输出独立取出，并经过标准化层以及ReLU激活函数，得到三层尺度的RGB颜色特征；多模态特征提取层的结构特征提取模块对透射图像Q进行三个残差单元的特征提取处理，并在每个残差单元后连接标准化层以及ReLU激活函数，分别得到三个残差单元的输出特征作为结构特征；
多模态特征融合模块分别选取第L层卷积层所输出的RGB颜色特征以及第L个残差单元所输出的结构特征进行融合，得到三种尺度下的融合特征，并将三种尺度下的融合特征进行相加融合，采用像素的卷积核对相加融合的特征进行卷积处理，得到融合特征，其中/>；
颜色通道增强模块以融合特征作为辅助信息，采用不同权重矩阵对RGB颜色特征进行特征调制，其中特征调制处理的公式为：
；
其中：
表示第h层卷积层输出的RGB颜色特征，/>；
表示第h个权重矩阵；
表示融合特征；
表示RGB颜色特征的特征调制处理结果；
输出层对RGB颜色特征的特征调制处理结果进行反卷积处理，得到对应颜色通道增强后的水下图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311074039.3A CN116823674B (zh) | 2023-08-24 | 2023-08-24 | 一种跨模态融合的水下图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311074039.3A CN116823674B (zh) | 2023-08-24 | 2023-08-24 | 一种跨模态融合的水下图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116823674A true CN116823674A (zh) | 2023-09-29 |
| CN116823674B CN116823674B (zh) | 2024-03-12 |
Family
ID=88141474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311074039.3A Active CN116823674B (zh) | 2023-08-24 | 2023-08-24 | 一种跨模态融合的水下图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116823674B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117078682A (zh) * | 2023-10-17 | 2023-11-17 | 山东省科霖检测有限公司 | 一种大规模网格化空气质量等级精准评估方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019184709A1 (zh) * | 2018-03-29 | 2019-10-03 | 上海智瞳通科技有限公司 | 多传感器融合的数据处理方法、装置与多传感器融合方法 |
| CN110517327A (zh) * | 2019-08-30 | 2019-11-29 | 大连海事大学 | 一种基于颜色校正和对比度拉伸的水下图像增强方法 |
| CN110827210A (zh) * | 2019-10-10 | 2020-02-21 | 山东大学 | 一种基于颜色曲线分解的水下图像清晰化方法及*** |
| GB202006954D0 (en) * | 2019-05-14 | 2020-06-24 | Univ Beijing Science & Technology | Underwater image enhancement method and enhancement device |
| CN113298732A (zh) * | 2021-06-08 | 2021-08-24 | 北京联合大学 | 一种基于区域相似性的图像去雾方法及*** |
-
2023
- 2023-08-24 CN CN202311074039.3A patent/CN116823674B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019184709A1 (zh) * | 2018-03-29 | 2019-10-03 | 上海智瞳通科技有限公司 | 多传感器融合的数据处理方法、装置与多传感器融合方法 |
| GB202006954D0 (en) * | 2019-05-14 | 2020-06-24 | Univ Beijing Science & Technology | Underwater image enhancement method and enhancement device |
| CN110517327A (zh) * | 2019-08-30 | 2019-11-29 | 大连海事大学 | 一种基于颜色校正和对比度拉伸的水下图像增强方法 |
| CN110827210A (zh) * | 2019-10-10 | 2020-02-21 | 山东大学 | 一种基于颜色曲线分解的水下图像清晰化方法及*** |
| CN113298732A (zh) * | 2021-06-08 | 2021-08-24 | 北京联合大学 | 一种基于区域相似性的图像去雾方法及*** |
Non-Patent Citations (3)
| Title |
|---|
| JUNJUN WU等: "FW-GAN: Underwater image enhancement using generative adversarial network with multi-scale fusion", SIGNAL PROCESSING: IMAGE COMMUNICATION, vol. 109, pages 1 - 12 * |
| 张剑钊等: "基于融合逆透射率图的水下图像增强算法", 浙江大学学报 (工学版), vol. 57, no. 5, pages 922 - 925 * |
| 范新南;陈建跃;张学武;史朋飞;张卓;: "结构相似性的水下偏振图像复原", 中国图象图形学报, no. 07, pages 101 - 109 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117078682A (zh) * | 2023-10-17 | 2023-11-17 | 山东省科霖检测有限公司 | 一种大规模网格化空气质量等级精准评估方法 |
| CN117078682B (zh) * | 2023-10-17 | 2024-01-19 | 山东省科霖检测有限公司 | 一种大规模网格化空气质量等级精准评估方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116823674B (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190130208A1 (en) | Local tone mapping to reduce bit depth of input images to high-level computer vision tasks | |
| CN107808409B (zh) | 一种增强现实中进行光照渲染的方法、装置及移动终端 | |
| CN107316286B (zh) | 一种图像中雨雾同步合成、去除的方法和装置 | |
| CN108364270B (zh) | 偏色图像颜色还原方法及装置 | |
| US11663707B2 (en) | Method and system for image enhancement | |
| CN116823674B (zh) | 一种跨模态融合的水下图像增强方法 | |
| CN113689373B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN110717864B (zh) | 一种图像增强方法、装置、终端设备及计算机可读介质 | |
| CN107451974B (zh) | 一种高动态范围图像的自适应再现显示方法 | |
| CN113052923B (zh) | 色调映射方法、装置、电子设备和存储介质 | |
| JP6653103B2 (ja) | 画像処理装置および画像処理方法 | |
| CN113688900A (zh) | 雷达和视觉数据融合处理方法、路侧设备及智能交通*** | |
| CN107424134A (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN115423724B (zh) | 强化学习参数优化的水下图像增强方法、装置及介质 | |
| CN117078574A (zh) | 一种图像去雨方法及装置 | |
| CN115565213B (zh) | 图像处理方法及装置 | |
| Shen et al. | Pseudo-retinex decomposition-based unsupervised underwater image enhancement and beyond | |
| CN113132639B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN112734673B (zh) | 一种基于多表达式融合的低照度图像增强方法及*** | |
| CN115205168A (zh) | 图像处理方法、装置、电子设备和存储介质、产品 | |
| CN114663570A (zh) | 贴图生成方法、装置、电子装置及可读存储介质 | |
| CN112243118B (zh) | 白平衡校正方法、装置、设备及存储介质 | |
| CN115731115A (zh) | 一种数据处理方法以及装置 | |
| CN114004809A (zh) | 皮肤图像处理方法、装置、电子设备和介质 | |
| CN114143448B (zh) | 拍摄方法、装置、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |