CN114862698A - 一种基于通道引导的真实过曝光图像校正方法与装置 - Google Patents
一种基于通道引导的真实过曝光图像校正方法与装置 Download PDFInfo
- Publication number
- CN114862698A CN114862698A CN202210381937.2A CN202210381937A CN114862698A CN 114862698 A CN114862698 A CN 114862698A CN 202210381937 A CN202210381937 A CN 202210381937A CN 114862698 A CN114862698 A CN 114862698A
- Authority
- CN
- China
- Prior art keywords
- image
- overexposure
- real
- correction
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012937 correction Methods 0.000 claims abstract description 60
- 238000003702 image correction Methods 0.000 claims abstract description 19
- 230000008447 perception Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000013528 artificial neural network Methods 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims abstract description 5
- 238000013507 mapping Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 11
- 238000005286 illumination Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 230000008901 benefit Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 230000006978 adaptation Effects 0.000 claims 1
- 230000002035 prolonged effect Effects 0.000 claims 1
- 230000014759 maintenance of location Effects 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 8
- 229920006395 saturated elastomer Polymers 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000011514 reflex Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于通道引导的真实过曝光图像校正方法与装置，属于图像处理技术领域。本发明通过分析基于RAW格式过曝光图像的数据特性，根据可见光传感器所得过曝光RAW图像R‑G‑G‑B(红‑绿‑绿‑蓝)各颜色通道亮度与感知强度不同，进而纹理特征和信息含量留存不一致的数据特性设计通道引导校正的卷积计算，并进一步构建通道引导的卷积神经网络，使用所采集的数据集训练过曝光图像校正神经网络，实现通道引导的高精度过曝光图像校正，提升真实过曝光图像校正质量。本发明能够提升真实图像过曝光校正的质量，保证真实过曝光校正图像的保真度。
Description
技术领域
本发明涉及一种基于通道引导的真实过曝光图像校正方法与装置，属于图像处理技术领域。
背景技术
图像的过曝光校正，是一个对图像处理和社交媒体相关任务及产业都具有重大影响的技术问题。
在相机的成像过程中，不合理的曝光水平会直接影响成像的全局亮度和纹理信息，令图像质量显著下降，进而明显影响图像的视觉效果和信息含量，极大地降低了下游计算机视觉算法(如目标检测、分割等)在其上的效果。
尽管通过调节光圈、曝光时间或感光度等数字相机参数方式，可以在一定程度上缓解过曝光问题，但是，由于数字相机及各类图像传感器有限的物理动态范围或错误的参数设置，光照度过高或明亮变化剧烈场景中相对较亮的区域常常会使传感器产生饱和的像素，造成信息丢失并产生过曝光的图像。此外，现有的图像采集设备拍摄得到的8位量化JPEG等格式的可视化图像，都是经过内置ISP算法(Image Signal Processor，图像信号处理)从RAW域图像处理所得的，过曝光图像仅有的语义信息在此过程中会有所丢失，使得输出图像中像素通常会严重饱和，有时甚至会导致场景信息的永久丢失。
过曝光校正技术，是指利用后处理算法将过曝光图像转变成正常光照图像，并恢复过曝光区域丢失的纹理细节信息，从而调节饱和像素、补充缺失内容、校正全局亮度的一种图像处理技术。该技术能够有效提高图像视觉质量，增强图像细节，并提升下游视觉任务算法性能。
然而，现有技术对于过曝光校正技术并未有太多的针对性研究，也鲜有方法专注于解决这个问题。现有的曝光校正(exposure-correction)方法，一般专注于欠曝光(under-exposure)图像的恢复校正(即暗光增强)，而过曝光图像同欠曝光图像及其恢复校正任务之前又因为纹理信息留存情况、像素值特性、噪声问题等存在本质区别，因此，将欠曝光图像校正的相关算法直接用于过曝光校正任务时，无法达到较好效果。
一些传统的通用图像增强技术，主要利用统计学原理以及人工先验模型对过曝光图像进行处理，并借助优化策略和规则来校正全局亮度，根据图像未丢失纹理信息的区域的像素来为饱和区域生成内容补全。然而，这些方法在很大程度上取决于其手工制作先验假设的精度，手工制作的先验并不足以代表真实世界的各种亮度饱和与纹理丢失情况。现有的一些曝光校正算法，往往专注于图像曝光度和对比度的调整，而非丢失信息的修复，因此，恢复所得图像无法获得预期的视觉质量或纹理信息细节。
近年来，基于深度学习的端到端曝光校正网络涌现了一些研究成果。通过使用卷积神经网络，自动从过曝光与欠曝光数据中提取特征。然而，深度学习方法很大程度上依赖于训练数据集。而现有的深度学习方法，一般依赖于仅采用伽马变换或线性变化来调高自然光照图像亮度，或进一步利用非线性函数映射仿真等方式合成的仅包含sRGB图像的训练数据集。一方面，合成的数据与真实的原始数据存在数据分布差异，由于缺乏真实的带参考的过曝光校正数据，限制了经过训练的曝光校正方法在现实世界中的应用；另一方面，受限于数据，这些算法专注于图像曝光与颜色的调整，而非丢失信息的修复，尤其难以对过曝光程度严重(像素值几乎完全饱和)的现实世界图像或区域进行恢复，处理得到的图像往往仍无法满足美学质量要求或下游高层视觉算法需求。
发明内容
本发明的目的是针对现在技术尚没有真实成对过曝光图像校正数据集，以及现有的基于学习算法难以有效恢复严重过曝光图像或区域的纹理信息等技术问题，创造性地一种基于通道引导的真实过曝光图像校正方法与装置。
本发明的创新点在于：分析基于RAW(原始)格式过曝光图像的数据特性，根据可见光传感器所得过曝光RAW图像各颜色通道亮度与感知强度不同，进而纹理特征和信息含量留存不一致的数据特性设计通道引导校正的卷积计算，并进一步构建通道引导的卷积神经网络。同时，设计了一种真实成对过曝光校正数据采集装置并采集数据集，使用所采集的数据集训练过曝光图像校正神经网络，实现通道引导的高精度过曝光图像校正，提升真实过曝光图像的校正质量。
一种基于通道引导的真实过曝光图像校正方法，包括以下步骤：
步骤101：采集真实成对的过曝光校正数据集(可以使用数码单反相机搭建真实数据采集装置，但不限于此种方式)。
该数据集包含成对的过曝光图像和正常光照参考图像，每张图像同时拥有RAW和其他所需格式的数据(如sRGB格式等)。
步骤102：分析RAW格式真实过曝光图像的数据特性，设计通道引导卷积分支。
通常，人眼对于不同颜色的视觉敏感度不同，可见光相机传感器亦基于此进行颜色感知设计。
因此，根据RAW图像的各种色彩模式(如RGB模式、CMYK模式、Lab模式等)下不同颜色通道亮度与感知强度不同，所保留纹理信息含量不一致，且亮度与感知强度更高的通道在过曝光条件下更容易过曝的数据特性，设计通道引导卷积分支。
步骤103：使用通道引导卷积分支，构建利用RAW图像数据特性的通道引导过曝光校正卷积神经网络。
优选地，可以根据步骤102分析的RAW图像亮度与感知强度相对高的通道在过曝光条件下更容易过曝的数据特性，利用输入图像中亮度与感知强度相对低的通道所保留的更丰富的纹理信息，有效恢复严重过曝光图像或区域的精细纹理细节。
步骤104：建立真实图像过曝光增强的训练目标函数，对卷积神经网络的参数进行训练，得到过曝光RAW图像和参考图像之间的映射关系。
步骤105：输入需要测试的过曝光RAW图像，以及步骤104得到的过曝光RAW图像与参考图像间的映射关系。通过曝光RAW图像与参考图像间的映射关系，将过曝光RAW图像映射成正常光照所需格式的图像。由此，实现高效率和高精度图像过曝光校正，显著提高在过曝光场景下的成像质量。
为实现本发明所述目的，本发明进一步提出了一种基于通道引导的真实过曝光图像校正装置，包括真实成对过曝光校正数据采集子模块、颜色通道引导学习子模块、真实过曝光图像校正网络子模块。
其中，真实成对过曝光校正数据采集子模块，用于采集真实成对的过曝光校正数据集。
颜色通道引导学习子模块，用于设计通道引导卷积分支，使其能够基于RAW格式真实过曝光图像的数据特性，利用亮度与感知强度更高的颜色通道的信息优势，引导骨干网恢复过曝光区域中丢失的像素信息。
真实过曝光图像校正网络子模块，使用采集的真实成对过曝光校正数据进行训练，训练得到网络用于过曝光真实图像的校正增强。
上述模块之间的连接关系如下：
真实成对过曝光校正数据采集子模块的输出端，与颜色通道引导学习子模块的输入端相连。
颜色通道引导学习子模块的输出端，与真实过曝光图像校正网络子模块的输入端相连。
有益效果
1.本发明，通过搭建真实数据采集装置，采集真实成对的正常光照参考图像数据集，同时确保每张图像同时拥有RAW和其他所需格式(如sRGB格式)的数据。数据采集装置能够高效采集真实成对过曝光校正数据集，采集的数据集能够有效提升过曝光校正方法在真实图像上的精度。
2.本发明，根据RAW域过曝光图像不同颜色模式下各颜色通道亮度和感知强度不同，纹理特征和信息含量留存不一致的数据特性，设计通道引导卷积计算分支，构建通道引导过曝光校正网络。所述通道引导过曝光校正网络能够充分利用过曝光RAW图像亮度和感知强度较低的颜色通道中保留的纹理信息，逐步引导信息丢失严重的通道进行信息恢复，共享相似边缘信息，有效提升过曝光校正网络对不同信息含量的过曝光图像的鲁棒性恢复。
3.本发明，利用卷积神经网络学习过曝光RAW图像和正常光照参考图像之间的映射关系，结合有益效果1和2能够提升卷积神经网络的泛化性和鲁棒性，且能够提升真实图像过曝光校正的质量，保证真实过曝光校正图像的保真度。
附图说明
图1是本发明方法的流程图；
图2是本发明中利用RAW数据的通道引导过曝光校正网络示意图；
图3是本发明实施例所提供的装置结构示意图。
具体实施方式
为了更好地说明本发明的目的和优点，下面结合附图对发明内容做进一步说明。
实施例
下面，以RGB图像为例，对本发明方法及装置进行说明。
如图1所示，一种基于通道引导的真实过曝光图像校正方法，包括以下步骤：
步骤101：采集真实成对的过曝光校正数据集(可以使用数码单反相机搭建真实数据采集装置实现)。该数据集包含成对的过曝光图像和正常光照参考图像，每张图像同时拥有RAW和sRGB两种格式的数据。
为同时采集高质量RAW和sRGB图像，可以使用能够存储RAW格式数据的数码单反相机(或其他符合要求的图像采集设备)。
具体地，为了采集每一对过曝光RAW/sRGB图像，首先选定预拍摄场景，确保无环境或人为因素干扰，以及所采集图像数据的场景和内容的丰富度。其次，设置拍摄硬件设备，将相机固定在三脚架上，形成真实数据采集装置，并由远程软件控制快门进行拍摄，以避免相机运动造成的错位。之后，设置相机拍摄参数，在每个场景中，通过调整光圈、焦距和曝光时间等参数，最大限度地提高参考图像的视觉质量(可以肉眼清晰辨明图像细节信息)。在具体采集时，每次先获取目标场景的正常光干净参考图像，再通过远程控制软件调整图像采集设备的曝光时间参数，将图像采集设备的曝光时间提高3至10倍，从而实现实际过曝光条件的图像拍摄。优选地，为更好地实现暗光图像采集，ISO参数可固定为100以减小噪声干扰，曝光时间倍数选用3、5、8、10等来模拟不同的过曝光程度的过曝光图像。
通过上述流程，能够采集到真实成对的过曝光校正数据集。
步骤102：分析RAW格式真实过曝光图像的数据特性，设计通道引导卷积分支。
由于人眼对于不同颜色的视觉敏感度不同，可见光相机传感器亦基于此进行颜色感知设计。根据RAW图像在RGB色彩模式下分解成四通道R-G-G-B(红-绿-绿-蓝)图像后，不同颜色通道亮度与感知强度不同，所保留纹理信息含量不一致，绿色通道在过曝光条件下亮度和感知强度更高，更容易过曝的数据特性，设计通道引导卷积分支。
其中，基于步骤101得到的过曝光RAW图像的绿色通道会在图像过曝光的明亮区域丢失更多纹理信息的观察，利用信息更丰富的通道共同引导骨干网恢复过曝光区域中丢失的像素信息。
此外，由于绿色通道与其余通道共享相似的边缘，因此，对其余通道进行初始估计，能够使绿色通道受益。
具体地，如图2所示，首先，在拜耳模式的RAW图像的每2×2块中提取属于相应位置的红色和蓝色通道的像素，获得红色和蓝色通道，并一同被馈送至通道引导卷积分支，以生成输出的sRGB图像中相应红色和蓝色通道的初始估计。
通道引导卷积分支由一个引导增强模块和四个下采样模块组成，其中，引导增强模块包含三个3×3深度可分离卷积层、实例归一化操作和LeakyReLU激活函数，允许充分探索和提取局部信息。每个下采样模块均包含一个能够减小特征图大小的平均池化层、一个自注意机制结构和两个深度可分离卷积，从而确保每次下采样时分支网络对输入的红蓝通道逐级增强，并都能与主干网络进行拼接，帮助主干网络以多尺度的方式恢复过度曝光RAW图像。
至此，完成通道引导卷积分支的设计，并完成纹理细节恢复的引导增强。
步骤103：使用通道引导卷积分支，构建利用RAW图像数据特性的通道引导过曝光校正卷积神经网络。
可以根据步骤102所分析的RAW图像绿色通道亮度与感知强度更高，在过曝光条件下更容易过曝的数据特性，利用输入图像的红蓝通道中所保留的更丰富的纹理信息，有效恢复严重过曝光图像或区域的精细纹理细节。
具体地，如图2所示，通道引导过曝光校正网络的主分支，是由4个编码器阶段和4个相应的解码器阶段组成的U-net结构。其中，主分支首先通过一个3×3卷积，从四通道RAW图像中提取原始特征。在编码器部分，使用半实例归一化块代替传统的残差块来扩展感受野，并提高每个下采样尺度上的特征的鲁棒性。在下采样操作期间，将所提取到的特征图中的通道数加倍。在解码器部分，引入局部残差学习，使用残差块来提取高级特征。对于跳跃连接结构，使用级联空洞残差块替代常规的跳跃连接结构，以提取高级特征，并于编码器部分的各级特征相融合，从而更好地弥补下采样所导致的细节信息丢失。同时，在结构中引入步骤102所构建的通道引导卷积分支。
优选地，半实例归一化块，是由标准3×3卷积、LeakyReLU激活函数和实例归一化结构组成，其中，实例归一化结构仅被使用于一半的通道上，即，提取的特征信息只有一半会被进行实例归一化处理，另一半通道会保留上下文信息。采取这种设计，对网络浅层的特征更加友好，能够扩展编码器部分中每个尺度的感受野，也提高了特征的鲁棒性。
级联空洞残差块，包含由空洞卷积、LeakyReLU激活函数组成的三个残差连接，以及一层1×1卷积层。该结构能够以细粒度的方式，很好地利用编码器每个阶段的特征，充分探索局部纹理信息。同时，空洞卷积的引入，将使其感受野得以扩展，并具备了提取多尺度上下文信息的特征图。
至此，完成了利用RAW数据的通道引导过曝光校正网络的构建，可根据输入图像的红蓝通道中所保留的更丰富的纹理信息，有效恢复严重过曝光图像或区域的精细纹理细节。
步骤104：建立真实图像过曝光增强的训练目标函数，对网络参数θ进行训练，得到输入过曝光RAW图像和参考sRGB图像之间的映射关系F。
具体地，过曝光校正卷积神经网络的总训练目标函数
为：
其中，θ表示网络参数，IOE表示输入过曝光RAW图像，IGT表示参考sRGB图像，0.5和0.2分别为损失函数权重，
表示像素级均方根误差损失，
表示感知损失，
表示梯度损失，
表示颜色损失。
式1中的
用于优化适应高频细节以生成平滑的重建结果，表示为：
其中，W和H分别表示输入图像的宽度和高度；F表示网络映射关系，F(IOE)为过曝光校正后的重建图像；x和y是参考图像空间中的输出像素坐标。
式1中的
利用VGG网络从特征空间恢复图像丢失的信息，表示为：
其中，Wi，j和Hi，j描述了VGG网络中各个特征图的维度，φi，j用于表示在VGG网络中的第i个最大池化层之前通过第j个卷积(激活后)获得的特征图。
式1中的
利用sobel算子计算图像梯度进而评估图像纹理信息的损失并对全图进行小幅平滑，从而有效增强输出结果的纹理细节特征，表示为：
其中，Grad是重建图像F(IOE)和参考图像IGT的融合梯度。
其中，基于F(IOE)的Grad表示为：
Grad(F(IOE，θ))x，y＝|fx·F(IOE，θ)|+|fy·F(IOE，θ)| (5)
式5中，
式1中的
利用高斯模糊评价和优化过度曝光图像和参考图像之间的色差，表示为：
式6中，F(IOE，θ)b、IGT b分别为F(IOE)和IGT的模糊图像。b表示原图经高斯模糊计算所得的模糊图像。
其中，基于F(IOE，θ)b表示为：
F(IOE，θ)b(i，j)＝∑k，lF (IOE，θ)(i+m，j+n)·G(m，n) (7)
式7中，二维高斯模糊操作G(m，n)定义为：
其中，K表示模糊程度参数，μx、μy分别表示均值参数，σx、σy分别表示方差参数。优选地，设置参数K＝0.053，参数μx＝μy＝0，参数σx＝σy＝3。
通过优化训练的目标函数式1，得到优化后的网络参数θ。
至此，完成了过曝光校正网络的训练，得到不同曝光程度和场景的过曝光RAW图像和参考sRGB图像之间的映射关系F。
步骤105：输入需要测试的过曝光RAW图像，并输入步骤104得到的过曝光RAW图像与参考sRGB图像间的映射关系F。通过曝光RAW图像与参考sRGB图像间的映射关系F，将过曝光RAW图像映射成高质量的正常光照sRGB图像，从而实现高效率和高精度图像过曝光校正，显著提高在过曝光场景下的成像质量。
其中，过曝光RAW图像为
其中Y、
分别为过曝光RAW图像和正常光照sRGB图像。
优选地，使用GPU完成步骤104网络的训练过程和步骤105图像过曝光校正过程，并利用cuDNN库加快卷积神经网络的运行速度。
同时，为实现本发明所述目的，本发明进一步提出了一种基于通道引导的真实过曝光图像校正装置，如图3所示，包括真实成对过曝光校正数据采集子模块10、颜色通道引导学习子模块20、真实过曝光图像校正网络子模块30。
其中，真实成对过曝光校正数据采集子模块10，用于采集真实成对的过曝光校正数据集。
颜色通道引导学习子模块20，用于设计通道引导卷积分支，使其能够基于RAW格式真实过曝光图像的数据特性，利用红色和蓝色通道的信息优势，引导骨干网恢复过曝光区域中丢失的像素信息。
真实过曝光图像校正网络子模块30，使用采集的真实成对过曝光校正数据进行训练，训练得到网络用于过曝光真实图像的校正增强。
上述模块之间的连接关系如下：
真实成对过曝光校正数据采集子模块10的输出端与颜色通道引导学习子模块20的输入端相连。
颜色通道引导学习子模块20的输出端与真实过曝光图像校正网络子模块30的输入端相连。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于通道引导的真实过曝光图像校正方法，其特征在于，包括以下步骤：
步骤101：采集真实成对的过曝光校正数据集，该数据集包含成对的过曝光图像和正常光照参考图像，每张图像同时拥有RAW和其他所需格式的数据；
步骤102：分析RAW格式真实过曝光图像的数据特性，设计通道引导卷积分支；
步骤103：使用通道引导卷积分支，构建利用RAW图像数据特性的通道引导过曝光校正卷积神经网络；
步骤104：建立真实图像过曝光增强的训练目标函数，对卷积神经网络的参数进行训练，得到过曝光RAW图像和参考图像之间的映射关系；
步骤105：输入需要测试的过曝光RAW图像，以及步骤104得到的过曝光RAW图像与参考图像间的映射关系；通过曝光RAW图像与参考图像间的映射关系，将过曝光RAW图像映射成正常光照所需格式的图像。
2.如权利要求1所述的一种基于通道引导的真实过曝光图像校正方法，其特征在于，步骤101中，首先选定预拍摄场景，确保无环境或人为因素干扰，以及所采集图像数据的场景和内容的丰富度；
其次，设置拍摄硬件设备，将相机固定在三脚架上，形成真实数据采集装置，并由软件控制快门进行拍摄，以避免相机运动造成的错位；
之后，设置相机拍摄参数，在每个场景中，通过调整光圈、焦距和曝光时间等参数，最大限度地提高参考图像的视觉质量；
在具体采集时，每次先获取目标场景的正常光干净参考图像，再通过软件调整图像采集设备的曝光时间参数，将图像采集设备的曝光时间提高。
3.如权利要求1所述的一种基于通道引导的真实过曝光图像校正方法，其特征在于，步骤102中，通道引导卷积分支由一个引导增强模块和四个下采样模块组成，其中，引导增强模块包含三个3×3深度可分离卷积层、实例归一化操作和LeakyReLU激活函数，允许充分探索和提取局部信息；每个下采样模块均包含一个能够减小特征图大小的平均池化层、一个自注意机制结构和两个深度可分离卷积，从而确保每次下采样时分支网络对输入的红蓝通道逐级增强，并都能与主干网络进行拼接，帮助主干网络以多尺度的方式恢复过度曝光RAW图像。
4.如权利要求1所述的一种基于通道引导的真实过曝光图像校正方法，其特征在于，步骤103中，通道引导过曝光校正网络的主分支，由4个编码器阶段和4个相应的解码器阶段组成的U-net结构；其中，主分支首先通过一个3×3卷积，从四通道RAW图像中提取原始特征；在编码器部分，使用半实例归一化块扩展感受野，并提高每个下采样尺度上的特征的鲁棒性；在下采样操作期间，将所提取到的特征图中的通道数加倍；在解码器部分，引入局部残差学习，使用残差块提取高级特征；对于跳跃连接结构，使用级联空洞残差块替代常规的跳跃连接结构，以提取高级特征，并于编码器部分的各级特征相融合；同时，在结构中引入步骤102所构建的通道引导卷积分支。
5.如权利要求4所述的一种基于通道引导的真实过曝光图像校正方法，其特征在于：
半实例归一化块，由标准3×3卷积、LeakyReLU激活函数和实例归一化结构组成，其中，实例归一化结构仅被使用于一半的通道上，即，提取的特征信息只有一半会被进行实例归一化处理，另一半通道会保留上下文信息；
级联空洞残差块，包含由空洞卷积、LeakyReLU激活函数组成的三个残差连接，以及一层1×1卷积层。
6.如权利要求1所述的一种基于通道引导的真实过曝光图像校正方法，其特征在于，步骤104中，过曝光校正卷积神经网络的总训练目标函数
为：
其中，θ表示网络参数，IOE表示输入过曝光RAW图像，IGT表示参考图像，0.5和0.2分别为损失函数权重，
表示像素级均方根误差损失，
表示感知损失，
表示梯度损失，
表示颜色损失；
式1中的
用于优化适应高频细节以生成平滑的重建结果，表示为：
其中，W和H分别表示输入图像的宽度和高度；F表示网络映射关系，F(IOE)为过曝光校正后的重建图像；x和y是参考图像空间中的输出像素坐标；
式1中的
利用VGG网络从特征空间恢复图像丢失的信息，表示为：
其中，Wi,j和Hi,j描述了VGG网络中各个特征图的维度，φi,j用于表示在VGG网络中的第i个最大池化层之前通过第j个卷积获得的特征图；
式1中的
利用sobel算子计算图像梯度进而评估图像纹理信息的损失并对全图进行小幅平滑，表示为：
其中，Grad是重建图像F(IOE)和参考图像IGT的融合梯度；
其中，基于F(IOE)的Grad表示为：
Grad(F(IOE,θ))x,y＝|fx·F(IOE,θ)|+|fy·F(IOE,θ)| (5)
式5中，
式1中的
利用高斯模糊评价和优化过度曝光图像和参考图像之间的色差，表示为：
式6中，F(IOE,θ)b、IGT b分别为F(IOE)和IGT的模糊图像；b表示原图经高斯模糊计算所得的模糊图像；
其中，基于F(IOE,θ)b表示为：
F(IOE,θ)b(i,j)＝∑k,lF(IOE,θ)(i+m,j+n)·G(m,n) (7)
式7中，二维高斯模糊操作G(m,n)定义为：
其中，K表示模糊程度参数，μx、μy分别表示均值参数，σx、σy分别表示方差参数；
通过优化训练的目标函数式1，得到优化后的网络参数θ。
7.如权利要求6所述的一种基于通道引导的真实过曝光图像校正方法，其特征在于，步骤104中，设置参数K＝0.053，参数μx＝μy＝0，参数σx＝σy＝3。
8.如权利要求1所述的一种基于通道引导的真实过曝光图像校正方法，其特征在于，使用GPU完成步骤104网络的训练过程和步骤105图像过曝光校正过程，并利用cuDNN库加快卷积神经网络的运行速度。
9.一种基于通道引导的真实过曝光图像校正装置，包括真实成对过曝光校正数据采集子模块、颜色通道引导学习子模块、真实过曝光图像校正网络子模块；
其中，真实成对过曝光校正数据采集子模块，用于采集真实成对的过曝光校正数据集；
颜色通道引导学习子模块，用于设计通道引导卷积分支，使其能够基于RAW格式真实过曝光图像的数据特性，利用亮度与感知强度更高的颜色通道的信息优势，引导骨干网恢复过曝光区域中丢失的像素信息；
真实过曝光图像校正网络子模块，使用采集的真实成对过曝光校正数据进行训练，训练得到网络用于过曝光真实图像的校正增强；
上述模块之间的连接关系如下：
真实成对过曝光校正数据采集子模块的输出端，与颜色通道引导学习子模块的输入端相连；
颜色通道引导学习子模块的输出端与真实过曝光图像校正网络子模块的输入端相连。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210381937.2A CN114862698B (zh) | 2022-04-12 | 2022-04-12 | 一种基于通道引导的真实过曝光图像校正方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210381937.2A CN114862698B (zh) | 2022-04-12 | 2022-04-12 | 一种基于通道引导的真实过曝光图像校正方法与装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114862698A true CN114862698A (zh) | 2022-08-05 |
| CN114862698B CN114862698B (zh) | 2024-06-07 |
Family
ID=82632523
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210381937.2A Active CN114862698B (zh) | 2022-04-12 | 2022-04-12 | 一种基于通道引导的真实过曝光图像校正方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114862698B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116193264A (zh) * | 2023-04-21 | 2023-05-30 | 中国传媒大学 | 基于曝光参数的摄像机调节方法及*** |
| CN117726541A (zh) * | 2024-02-08 | 2024-03-19 | 北京理工大学 | 一种基于二值化神经网络的暗光视频增强方法及装置 |
| CN117793538A (zh) * | 2024-02-23 | 2024-03-29 | 北京理工大学 | 一种图像自动曝光矫正与增强方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805836A (zh) * | 2018-05-31 | 2018-11-13 | 大连理工大学 | 基于深度往复式hdr变换的图像校正方法 |
| US20200234414A1 (en) * | 2019-01-23 | 2020-07-23 | Inception Institute of Artificial Intelligence, Ltd. | Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures |
| CN113191995A (zh) * | 2021-04-30 | 2021-07-30 | 东北大学 | 一种基于深度学习的视频图像自动曝光校正方法 |
| CN113643214A (zh) * | 2021-10-12 | 2021-11-12 | 江苏维沛通信科技发展有限公司 | 一种基于人工智能的图像曝光校正方法及*** |
-
2022
- 2022-04-12 CN CN202210381937.2A patent/CN114862698B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805836A (zh) * | 2018-05-31 | 2018-11-13 | 大连理工大学 | 基于深度往复式hdr变换的图像校正方法 |
| US20200234414A1 (en) * | 2019-01-23 | 2020-07-23 | Inception Institute of Artificial Intelligence, Ltd. | Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures |
| CN113191995A (zh) * | 2021-04-30 | 2021-07-30 | 东北大学 | 一种基于深度学习的视频图像自动曝光校正方法 |
| CN113643214A (zh) * | 2021-10-12 | 2021-11-12 | 江苏维沛通信科技发展有限公司 | 一种基于人工智能的图像曝光校正方法及*** |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116193264A (zh) * | 2023-04-21 | 2023-05-30 | 中国传媒大学 | 基于曝光参数的摄像机调节方法及*** |
| CN116193264B (zh) * | 2023-04-21 | 2023-06-23 | 中国传媒大学 | 基于曝光参数的摄像机调节方法及*** |
| CN117726541A (zh) * | 2024-02-08 | 2024-03-19 | 北京理工大学 | 一种基于二值化神经网络的暗光视频增强方法及装置 |
| CN117793538A (zh) * | 2024-02-23 | 2024-03-29 | 北京理工大学 | 一种图像自动曝光矫正与增强方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114862698B (zh) | 2024-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11055827B2 (en) | Image processing apparatus and method | |
| US10666873B2 (en) | Exposure-related intensity transformation | |
| US11037278B2 (en) | Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures | |
| EP2987135B1 (en) | Reference image selection for motion ghost filtering | |
| CN114862698B (zh) | 一种基于通道引导的真实过曝光图像校正方法与装置 | |
| CN110930301B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN115442515A (zh) | 图像处理方法和设备 | |
| WO2022000397A1 (zh) | 低照度图像增强方法、装置及计算机设备 | |
| CN111064904A (zh) | 一种暗光图像增强方法 | |
| CN110619593A (zh) | 一种基于动态场景的双曝光视频成像*** | |
| CN113888437A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN111724317A (zh) | Raw域视频去噪监督数据集构造方法 | |
| CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
| Moriwaki et al. | Hybrid loss for learning single-image-based HDR reconstruction | |
| CN111986106A (zh) | 一种基于神经网络的高动态图像重建方法 | |
| CN113379609B (zh) | 一种图像处理方法、存储介质及终端设备 | |
| Lv et al. | Low-light image enhancement via deep Retinex decomposition and bilateral learning | |
| Zhang et al. | Deep motion blur removal using noisy/blurry image pairs | |
| CN116723413A (zh) | Raw域图像去噪方法及拍摄装置 | |
| CN116563183A (zh) | 基于单张raw图像的高动态范围图像重构方法和*** | |
| CN114299180A (zh) | 图像重建方法、装置、设备及存储介质 | |
| CN114897916A (zh) | 图像处理方法及装置、非易失性可读存储介质、电子设备 | |
| Khan et al. | A deep hybrid few shot divide and glow method for ill-light image enhancement | |
| CN112839167B (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
| WO2023246392A1 (zh) | 图像获取方法、装置、设备和非瞬态计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |