CN114708250A - 一种图像处理方法、装置及存储介质 - Google Patents
一种图像处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN114708250A CN114708250A CN202210435475.8A CN202210435475A CN114708250A CN 114708250 A CN114708250 A CN 114708250A CN 202210435475 A CN202210435475 A CN 202210435475A CN 114708250 A CN114708250 A CN 114708250A
- Authority
- CN
- China
- Prior art keywords
- feature map
- image
- enhancement
- processing
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 359
- 238000005286 illumination Methods 0.000 claims abstract description 155
- 230000007547 defect Effects 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 43
- 239000011159 matrix material Substances 0.000 claims description 194
- 238000010586 diagram Methods 0.000 claims description 83
- 230000004927 fusion Effects 0.000 claims description 72
- 238000000265 homogenisation Methods 0.000 claims description 39
- 238000012937 correction Methods 0.000 claims description 36
- 230000008439 repair process Effects 0.000 claims description 36
- 230000009467 reduction Effects 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 24
- 230000006835 compression Effects 0.000 claims description 20
- 238000007906 compression Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 238000007634 remodeling Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 239000003623 enhancer Substances 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NEVVHGHXJACRQZ-OCZHUQCSSA-N (7r,8s,9s,10r,13r,14r,17s)-17-acetyl-7,14-dihydroxy-10,13-dimethyl-2,6,7,8,9,11,12,15,16,17-decahydro-1h-cyclopenta[a]phenanthren-3-one Chemical compound C([C@H]1O)C2=CC(=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@]1(O)CC[C@H](C(=O)C)[C@@]1(C)CC2 NEVVHGHXJACRQZ-OCZHUQCSSA-N 0.000 description 1
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 1
- 235000011941 Tilia x europaea Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004571 lime Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像处理方法、装置及存储介质，方法包括：获取包含光照缺陷的待处理图像；利用任务网络中的光照修复模型，对待处理图像进行局部增强处理，得到局部增强图像；以及对局部增强图像进行全局光照和色彩调整，得到修复图像；光照修复模型用于修复不同光照条件下拍摄的图像的光照缺陷；利用任务网络中的任务模型对修复图像进行任务处理，得到任务处理结果。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及存储介质。
背景技术
随着多媒体技术和人工智能的飞速发展和广泛应用，人们在日常生活中会大量使用图像信息。然而目前的成像技术，在非正常光照的情况下，采集到的图像容易受到低信噪比、低亮度，以及曝光时长的影响，图像的质量会受到很大的影响，并且，在需要对图像进行进一步目标检测或者语义分割时，需要先对图像提亮，图像修复和图像增强，然后再进行后续处理。
然而，目前，针对每一种具体的非正常光照场景下的图像，需要训练相应的网络权重，来完成一种光照情况下图像的修复问题，比如，对于暗光场景，需要利用弱光增强网络模型对获取的暗光图像进行图像增强，提高图像的视觉效果；对于曝光场景，需要利用多尺度曝光校正(multi-scale photo exposure correction，MSEC)数据库提供的曝光纠正数据，对获取的过曝光图像或者欠曝光图像进行曝光纠正，也就是说，对于不同光照缺陷的图像需要先使用不同的修复网络，然后，再进行后续目标检测或者语义分割处理，使得图像处理的灵活性和效率较低。
发明内容
本发明实施例期望提供一种图像处理方法、装置及存储介质，针对不同光照缺陷的图像，直接利用任务网络，采用局部增强、全局光照和色彩调整相结合的修复方式，对图像中存在的光照缺陷进行修复，进而对消除光照缺陷的图像进行任务处理，提高了图像处理的灵活性和效率。
本发明的技术方案是这样实现的：
本发明提供了一种图像处理方法，所述方法包括：
获取包含光照缺陷的待处理图像；
利用任务网络中的光照修复模型，对所述待处理图像进行局部增强处理，得到局部增强图像；以及对所述局部增强图像进行全局光照和色彩调整，得到修复图像；所述光照修复模型用于修复不同光照条件下拍摄的图像的光照缺陷；
利用所述任务网络中的任务模型对所述修复图像进行任务处理，得到任务处理结果。
在上述方法中，所述光照修复模型包括：局部增强子网络和全局预测子网络；
所述利用任务网络中的光照修复模型，对所述待处理图像进行局部增强处理，得到局部增强图像；以及对所述局部增强图像进行全局光照和色彩调整，得到修复图像，包括：
利用所述局部增强子网络，对所述待处理图像进行局部增强处理，得到局部增强图像；
利用所述全局预测子网络，对所述局部增强图像进行全局光照和色彩调整，得到所述修复图像。
在上述方法中，所述利用所述局部增强子网络，对所述待处理图像进行局部增强处理，得到局部增强图像，包括：
对所述待处理图像进行特征提取，生成第一特征图；
对所述第一特征图执行N次局部亮度增强处理，生成第一增强特征图，并将所述第一增强特征图与所述第一特征图融合，生成第一融合特征图；其中，N为不小于1的自然数；
对所述第一特征图执行M次局部像素增强处理，生成第二增强特征图，并将所述第二增强特征图与所述第一特征图融合，生成第二融合特征图；其中，M为不小于1的自然数；
利用所述第一融合特征图和所述第二融合特征图，依次对所述待处理图像进行局部增强处理，得到所述局部增强图像。
在上述方法中，所述对所述第一特征图执行N次局部亮度增强处理，生成第一增强特征图，包括：
在执行第i次局部亮度增强处理时，获取第i个第一待增亮特征图；其中，i等于1时，所述第i个第一待增亮特征图为所述第一特征图；i大于1且不大于N时，所述第i个第一待增亮特征图为对所述第一特征图执行i-1次局部亮度增强处理后得到的第i-1个第一亮度增强特征图；
对所述第一待增亮特征图进行特征提取，并将提取出的特征图与所述第一待增亮特征图融合，生成亮度融合特征图；
对所述亮度融合特征图执行K次亮度增强处理，生成第i个第一亮度增强特征图；K为不小于1的自然数；
在i不等于N的情况下，继续执行第i+1次局部亮度增强处理，直至得到第N个第一亮度增强特征图，并将第N个第一亮度增强特征图确定为所述第一增强特征图；
在i等于N的情况下，将第i个第一亮度增强特征图确定为所述第一增强特征图。
在上述方法中，所述对所述亮度融合特征图执行K次亮度增强处理，生成第i个第一亮度增强特征图，包括：
在执行第j次亮度增强处理时，获取第j个第二待增亮特征图；其中，j等于1时，所述第j个第二待增亮特征图为所述亮度融合特征图；j大于1且不大于K时，所述第j个第二待增亮特征图为对所述亮度融合特征图执行j-1次亮度增强处理后得到的第j-1个第二待增亮特征图；
对所述第二待增亮特征图进行色彩均匀化处理，得到第一均匀化特征图；
对所述第一均匀化特征图进行特征提取，并对提取后的特征图进行亮度增强，生成亮度增强后的特征图；
将所述亮度增强后的特征图与所述第二待增亮特征图融合，生成第j个第二亮度增强特征图；
在j不等于K的情况下，继续执行第j+1次亮度增强处理，直至得到第K个第二亮度增强特征图，并将第K个第二亮度增强特征图确定为所述第i个第一亮度增强特征图；
在j等于K的情况下，将第j个第二亮度增强特征图确定为所述第i个第一亮度增强特征图。
在上述方法中，所述对所述第二待增亮特征图进行色彩均匀化处理，得到第一均匀化特征图，包括：
利用第一预设参数和第二预设参数，对所述第二待增亮特征图进行二次亮度增强处理，并对二次亮度增强处理后得到的特征图进行降维处理，生成第一降维特征图；
利用第一预设通道参数，对所述第一降维特征图进行通道修正，生成所述第一均匀化特征图。
在上述方法中，所述对所述第一特征图执行M次局部像素增强处理，生成第二增强特征图，包括：
在执行第s次局部像素增强处理时，获取第s个第一待增强特征图；其中，s等于1时，所述第s个第一待增强特征图为所述第一特征图；s大于1且不大于M时，所述第s个第一待增强特征图为对所述第一特征图执行s-1次局部像素增强处理后得到的第s-1个第一像素增强特征图；
对所述第一像素增强特征图进行特征提取，并将提取出的特征图与所述第一像素增强特征图融合，生成像素融合特征图；
对所述像素融合特征图执行T次像素增强处理，生成第s个第一像素增强特征图；T为不小于1的自然数；
在s不等于M的情况下，继续执行第s+1次局部像素增强处理，直至得到第M个第一像素增强特征图，并将第M个第一像素增强特征图确定为所述第二增强特征图；
在s等于M的情况下，将第s个第一像素增强特征图确定为所述第二增强特征图。
在上述方法中，所述对所述像素融合特征图执行T次像素增强处理，生成第s个第一像素增强特征图，包括：
在执行第z次像素增强处理时，获取第z个第二待增强特征图；其中，z等于1时，所述第z个第二待增强特征图为所述像素融合特征图；z大于1且不大于T时，所述第z个第二待增强特征图为对所述像素融合特征图执行z-1次像素增强处理后得到的z-1个第二待增强特征图；
对所述第二待增强特征图进行色彩均匀化处理，生成第二均匀化特征图；
对所述第二均匀化特征图进行特征提取，并对提取后的特征图进行像素增强，生成像素增强后的特征图；
将所述像素增强后的特征图与所述第二待增强特征图融合，生成第z个第二像素增强特征图；
在z不等于T的情况下，继续执行第z+1次像素增强处理，直至得到第T个第二像素增强特征图，并将第T个第二像素增强特征图确定为所述第s个第一像素增强特征图；
在z等于T的情况下，将第z个第二像素增强特征图确定为所述第s个第一像素增强特征图。
在上述方法中，所述对所述第二待增强特征图进行色彩均匀化处理，生成第二均匀化特征图，包括：
利用第三预设参数和第四预设参数，对所述第二待增强特征图进行二次像素增强处理，并对二次像素增强处理后得到的特征图进行降维处理，生成第二降维特征图；
利用第二预设通道参数，对所述第二降维特征图进行通道修正，生成所述第二均匀化特征图。
在上述方法中，所述基于所述第一融合特征图和所述第二融合特征图，依次对所述待处理图像进行局部增强处理，得到所述局部增强图像，包括：
对所述第一融合特征图进行通道压缩处理，生成亮度增强特征图，并利用所述亮度增强特征图，对所述待处理图像进行亮度增强处理，得到亮度增强图像；
对所述第二融合特征图进行通道压缩处理，生成像素增强特征图，并利用所述像素增强特征图，对所述亮度增强图像进行像素增强处理，得到所述局部增强图像。
在上述方法中，所述利用所述全局预测子网络，对所述局部增强图像进行全局光照和色彩调整，得到所述修复图像，包括：
对所述待处理图像进行特征提取，生成第二特征图；
基于所述第二特征图，预测所述待处理图像对应的图像色彩矩阵和图像对比度矩阵；
针对所述局部增强图像，利用所述图像色彩矩阵进行色彩调整，并利用图像对比度矩阵进行全局光照调整，得到所述修复图像。
在上述方法中，所述基于所述第二特征图，预测所述待处理图像对应的图像色彩矩阵和图像对比度矩阵，包括：
对所述第二特征图进行特征提取，并对得到的特征图与所述第二特征图融合，生成第三特征图；
对所述第三特征图执行第一通道卷积处理，生成第一特征矩阵，并对所述第三特征图执行第一通道卷积处理，生成第二特征矩阵；
将所述第一特征矩阵与预设问询矩阵相乘，并将相乘得到的矩阵与所述第二特征矩阵相乘，生成权重矩阵；
对所述权重矩阵进行非线性化处理，并将非线性处理后得到的矩阵与所述权重矩阵融合，生成融合权重矩阵；
对所述融合权重矩阵进行矩阵重塑，生成待校正色彩矩阵，以及待校正对比度矩阵；
将所述待校正色彩矩阵与预设色彩校正矩阵融合，确定为所述图像色彩矩阵，并将所述待校正对比度矩阵与预设对比度校正矩阵融合，确定为所述图像对比度矩阵。
在上述方法中，所述针对所述局部增强图像，利用所述图像色彩矩阵进行色彩调整，并利用图像对比度矩阵进行全局光照调整，得到所述修复图像，包括：
对所述图像色彩矩阵进行通道压缩处理，生成色彩调整矩阵，并对所述图像对比度矩阵进行通道压缩处理，生成对比度调整矩阵；
针对所述局部增强图像，利用所述色彩调整矩阵进行色彩映射，并利用所述对比度调整矩阵进行全局对比度校正，得到所述修复图像。
在上述方法中，所述利用所述任务网络中的任务模型对所述修复图像进行任务处理，得到任务处理结果，包括：
利用所述任务模型，对所述修复图像进行目标检测和/或分割处理，得到所述任务处理结果。
本发明提供了一种图像处理装置，包括：
获取模块，用于获取包含光照缺陷的待处理图像；
修复模块，用于利用任务网络中的光照修复模型，对所述待处理图像进行局部增强处理，得到局部增强图像；以及对所述局部增强图像进行全局光照和色彩调整，得到修复图像；所述光照修复模型用于修复不同光照条件下拍摄的图像的光照缺陷；
处理模块，用于利用所述任务网络中的任务模型对所述修复图像进行任务处理，得到任务处理结果。
本发明提供了一种图像处理装置，包括：处理器、存储器和通信总线；
所述通信总线，用于实现所述处理器和所述存储器之间的通信连接；
所述处理器，用于执行所述存储器中存储的计算机程序，以实现上述图像处理方法。
本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个计算机程序，所述一个或者多个计算机程序可以被一个或者多个处理器执行，以实现上述图像处理方法。
本发明提供了一种图像处理方法、装置及存储介质，方法包括：获取包含光照缺陷的待处理图像；利用任务网络中的光照修复模型，对待处理图像进行局部增强处理，得到局部增强图像；以及对局部增强图像进行全局光照和色彩调整，得到修复图像；光照修复模型用于修复不同光照条件下拍摄的图像的光照缺陷；利用任务网络中的任务模型对修复图像进行任务处理，得到任务处理结果。本发明提供的技术方案，针对不同光照缺陷的图像，直接利用任务网络，采用局部增强、全局光照和色彩调整相结合的修复方式，对图像中存在的光照缺陷进行修复，进而对消除光照缺陷的图像进行任务处理，提高了图像处理的灵活性和效率。
附图说明
图1为本发明实施例提供的一种图像处理方法的流程示意图；
图2为本发明实施例提供的一种示例性的图像处理方式的流程示意图一；
图3为本发明实施例提供的一种示例性的光照修复模型的结构示意图；
图4为本发明实施例提供的一种示例性的第一增强单元的结构示意图；
图5为本发明实施例提供的一种示例性的第二增强单元的结构示意图；
图6为本发明实施例提供的一种示例性的交叉注意力网络层的结构示意图；
图7为本发明实施例提供的一种示例性的图像处理方式的流程示意图二；
图8为本发明实施例提供的一种示例性的图像处理方式的流程示意图三；
图9为本发明实施例提供的一种图像处理装置的结构示意图一；
图10为本发明实施例提供的一种图像处理装置的结构示意图二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
本发明提供了一种图像处理方法，由图像处理装置来实现，图1为本发明实施例提供的一种图像处理方法的流程示意图。如图1所示，在本发明的实施例中，图像处理方法主要包括以下步骤：
S101、获取包含光照缺陷的待处理图像。
在本发明的实施例中，图像处理装置获取包含光照缺陷的待处理图像。
需要说明的是，在本发明的实施例中，包含光照缺陷的待处理图像可以为图像处理装置通过图像采集设备，在非正常光照条件下拍摄的图像，比如，在暗光条件下拍摄的暗光图像、在过曝光条件下拍摄的过曝光图像，或者在欠曝光条件下拍摄的欠曝光图像；当然，包含光照缺陷的待处理图像也可以是图像处理装置直接获取到的暗光图像、过曝光图像，或者欠曝光图像，具体的待处理图像的获取方式本发明不作限定。
S102、利用任务网络中的光照修复模型，对待处理图像进行局部增强处理，得到局部增强图像；以及对局部增强图像进行全局光照和色彩调整，得到修复图像；光照修复模型用于修复不同光照条件下拍摄的图像的光照缺陷。
在本发明的实施例中，图像处理装置利用任务网络中的光照修复模型，对待处理图像进行局部增强处理，得到局部增强图像；以及对局部增强图像进行全局光照和色彩调整，得到修复图像；光照修复模型用于修复不同光照条件下拍摄的图像的光照缺陷。
需要说明的是，在本发明的实施例中，任务网络包括光照修复模型，光照修复模型可以自适应调整光照变换模型(illumination adaptive transformer，IAT)，光照修复模型的网络结构可以是变换器(Transformer)结构，该光照修复模型用于修复不同光照条件下拍摄的图像的光照缺陷。
图2为本发明实施例提供的一种示例性的图像处理方式的流程示意图一。如图2所示，图像处理装置通过图像采集设备，在暗光场景下拍摄得到暗光图像、在过曝光场景下拍摄得到过曝光图像，以及在欠曝光场景下拍摄得到欠曝光图像，然后，将暗光图像、过曝光图像，或者欠曝光图像分别输入到光照修复模型中，进行低光增强(low-lightenhancement)或者曝光校正(correction exposure)，得到对应的修复图像。
需要说明的是，在本发明的实施例中，图像处理装置利用光照修复模型，先对待处理图像进行局部增强处理，得到局部增强图像之后，再对局部增强图像进行全局光照和色彩调整，从而得到修复图像。
在本发明的一些实施例中，光照修复模型包括：局部增强子网络和全局预测子网络；图像处理装置利用任务网络中的光照修复模型，对待处理图像进行局部增强处理，得到局部增强图像；以及对局部增强图像进行全局光照和色彩调整，得到修复图像，包括：利用局部增强子网络，对待处理图像进行局部增强处理，得到局部增强图像；利用全局预测子网络，对局部增强图像进行全局光照和色彩调整，得到修复图像。
需要说明的是，在本发明的实施例中，光照修复模型包括局部增强子网络和全局预测子网络，图像处理装置可以先利用局部增强子网络，对待处理图像进行局部增强处理，得到局部增强图像，然后，再利用全局预测子网络，对局部增强图像进行全局光照和色彩调整，得到修复图像。
图3为本发明实施例提供的一种示例性的光照修复模型的结构示意图。如图3所示，光照修复模型包括两个分支：局部增强子网络31(Local Branch)和全局预测子网络32(Global Branch)，局部增强子网络31包括卷积核为3×3、通道为16(3×3Conv channel16)的第一卷积层33、以及分别与第一卷积层33连接的亮度增强网络层34和像素增强网络层35，与亮度增强网络层34连接的卷积核为3×3、通道为3(3×3Conv channel 3)的第二卷积层36，以及与像素增强网络层35连接的卷积核为3×3、通道为3(3×3Conv channel 3)的第三卷积层37，其中，亮度增强网络层34包括顺序相连的3个第一增强单元(pixel-wiseenhancement module，PEM)38，像素增强网络层35包括顺序相连的3个第二增强单元(pixel-wise enhancement module，PEM)39；全局预测子网络32包括卷积网络层310，与卷积网络层310相连的交叉注意力(Cross Attention)网络层311、以及与交叉注意力网络层311连接的卷积核为1×1、通道为1(1×1Conv channel 1)的第四卷积层312和卷积核为1×1、通道为1(1×1Conv channel 1)的第五卷积层313，其中，卷积网络层310包括至少一个卷积核为3×3通道为32或者64(3×3Conv channel 32，或者3×3Conv channel 64)的卷积层314；在本发明实施例中，局部增强子网络由1个16通道的3×3卷积层、6个增强单元、2个3通道的3×3卷积层组成，其中，6个增强单元划分为两组，一组中3个增强单元串联，并且，每组的第一个增强单元均与该16通道的3×3卷积层，每组的最后一个增强单元分别连接一个3通道的3×3卷积层，全局预测子网络有1个32通道的3×3卷积层、1个64通道的3×3卷积层，1个交叉注意力网络层，2个1通道的1×1卷积层，其中，1个32通道的3×3卷积层、1个64通道的3×3卷积层，1个交叉注意力网络层顺序相连之后，连接2个1通道的1×1卷积层。
示例性的，在本发明的实施例中，如图3所示，图像处理装置将图像尺寸为H×W×3的待处理图像Ii(RGB)输入局部增强子网络31和全局预测子网络32，其中，H为图像的高度，W为图像的宽度，3为通道数，在局部增强子网络31中，待处理图像同时经过两条独立子支路，一是经第一卷积层33、亮度增强网络层34包括的顺序相连的N个第一增强单元38和第二卷积层36依次处理，生成尺寸为H×W×3的亮度增强特征图，二是经第一卷积层33、像素增强网络层39包括的顺序相连的3个第二增强单元39和第三卷积层37依次处理，生成尺寸为H×W×3的像素增强特征图；其中，图像处理装置利用亮度增强特征图对待处理图像进行亮度调整(lightness adaption)之后，得到亮度增强图像，再利用像素增强特征图，对亮度调整得到的亮度增强图像进行像素调整(pixel-wise adjustment)，相当于去马赛克(demosacing)和去噪处理(denoise)，得到局部增强图像；在全局预测子网络32中，待处理图像经卷积网络层310包括的至少一个卷积层314、交叉注意力网络层311、以及第四卷积层312和第五卷积层313，生成色彩调整矩阵(Color matrix)和对比度调整矩阵(gamma)，然后，利用色彩调整矩阵，对局部增强图像进行全局色彩映射(colour mapping)，相当于白平衡(white balance)和色彩空间变换(colour space transform)，并根据对比度调整矩阵，对全局色彩映射处理后得到的图像进行全局对比度校正(Gamma Correction)，得到尺寸为H×W×3的修复图像It(RGB)。
需要说明的是，在本发明的实施例中，图像处理装置在获取到包含光照缺陷的待处理图像，就可以利用图3所示的光照修复模型，对包含光照缺陷的待处理图像存在的光照缺陷进行修复，得到修复图像。
在本发明的一些实施例中，图像处理装置利用局部增强子网络，对待处理图像进行局部增强处理，得到局部增强图像，包括：对待处理图像进行特征提取，生成第一特征图；对第一特征图执行N次局部亮度增强处理，生成第一增强特征图，并将第一增强特征图与第一特征图融合，生成第一融合特征图；其中，N为不小于1的自然数；对第一特征图执行M次局部像素增强处理，生成第二增强特征图，并将第二增强特征图与第一特征图融合，生成第二融合特征图；其中，M为不小于1的自然数；利用第一融合特征图和第二融合特征图，依次对待处理图像进行局部增强处理，得到局部增强图像。
示例性的，在本发明的实施中，如图3所示，图像处理装置利用第一卷积层33，对待处理图像进行特征提取，生成第一特征图，然后，将第一特征图分别输入局部增强子网络31的两条独立子支路，一是利用亮度增强网络层34包括的顺序相连的3个第一增强单元38，对第一特征图执行3次局部亮度增强处理，生成第一增强特征图，并将第一增强特征图与第一特征图融合，生成第一融合特征图；二是利用像素增强网络层35包括的顺序相连的3个第二增强单元39，对第一特征图执行3次局部像素增强处理，生成第二增强特征图，并将第二增强特征图与第一特征图融合，生成第二融合特征图；最后，先利用第一融合特征图对待处理图像进行局部亮度增强处理，再利用第二融合特征图，对亮度增强处理后得到的图像进行局部像素增强处理，得到局部增强图像。
示例性的，在本发明的实施例中，如图3所示，图像处理装置可以利用局部增强子网络中的16通道的3×3卷积层对待处理图像进行特征提取，从而生成第一特征图，进而，将第一特征图分别输入至局部增强子网络中的两组顺序相连的增强单元中，从而利用一组顺序相连的3个增强单元对第一特征图进行3次局部亮度增强处理，生成第一增强特征图，并将第一增强特征图与第一特征图融合，生成第一融合特征图，然后，利用另一组顺序相连的3个增强单元生成第二增强特征图，并将第二增强特征图与第一特征图融合，生成第二融合特征图，最后，利用第一融合特征图和第二融合特征图，依次对待处理图像进行局部增强处理，得到局部增强图像。
在本发明实施例中，图像处理装置对第一特征图执行N次局部亮度增强处理，生成第一增强特征图，包括：在执行第i次局部亮度增强处理时，获取第i个第一待增亮特征图；其中，i等于1时，第i个第一待增亮特征图为第一特征图；i大于1且不大于N时，第i个第一待增亮特征图为对第一特征图执行i-1次局部亮度增强处理后得到的第i-1个第一亮度增强特征图；对第一待增亮特征图进行特征提取，并将提取出的特征图与第一待增亮特征图融合，生成亮度融合特征图；对亮度融合特征图执行K次亮度增强处理，生成第i个第一亮度增强特征图；K为不小于1的自然数；在i不等于N的情况下，继续执行第i+1次局部亮度增强处理，直至得到第N个第一亮度增强特征图，并将第N个第一亮度增强特征图确定为第一增强特征图；在i等于N的情况下，将第i个第一亮度增强特征图确定为第一增强特征图。
图4为本发明实施例提供的一种示例性的第一增强单元的结构示意图。如图4所示，每个第一增强单元38包括顺序相连的卷积核为3×3的第六卷积层40，以及与第六卷积层40连接的第一色彩均匀化子单元41，其中，第一色彩均匀化子单元41包括顺序相连的2个第一彩色均匀化网络层42，2个第一彩色均匀化网络层42中每个第一彩色均匀化网络层42包括顺序相连的第一均匀化层43(Color Norm)、卷积核为1×1的第一深度卷积层44(DW卷积层)，卷积核为5×5的第七卷积层45，以及卷积核为1×1的第二深度卷积层46(DW卷积层)，其中，卷积核为5×5的第七卷积层45也可以替换为激活层(RELU)45。每个第一增强单元38包括1个3×3卷积层和2个顺序相连的第一彩色均匀化网络层42，其中，每个第一彩色均匀化网络层42包括顺序相连的1个彩色均匀化层(Color Norm)、1个1×1的深度卷积层(DW卷积层)、1个5×5的卷积层，以及1个1×1的深度卷积层(DW卷积层)。
示例性的，在本发明的实施例中，如图4所示，图像处理装置利用每个第一增强单元38的处理流程为：先获取输入的第一待增亮特征图，然后，利用第六卷积层40，对第一待增亮特征图进行特征提取，并将提取出的特征图与第一待增亮特征图融合，生成亮度融合特征图；然后，利用第一色彩均匀化子单元41包括的顺序相连的2个第一彩色均匀化网络层42，对亮度融合特征图执行2次亮度增强处理，生成对应第一增强单元的第一亮度增强特征图。
在本发明的一些实施例中，图像处理装置在对亮度融合特征图执行K次亮度增强处理，生成第i个第一亮度增强特征图，包括：在执行第j次亮度增强处理时，获取第j个第二待增亮特征图；其中，j等于1时，第j个第二待增亮特征图为亮度融合特征图；j大于1且不大于K时，第j个第二待增亮特征图为对亮度融合特征图执行j-1次亮度增强处理后得到的第j-1个第二待增亮特征图；对第二待增亮特征图进行色彩均匀化处理，得到第一均匀化特征图；对第一均匀化特征图进行特征提取，并对提取后的特征图进行亮度增强，生成亮度增强后的特征图；将亮度增强后的特征图与第二待增亮特征图融合，生成第j个第二亮度增强特征图；在j不等于K的情况下，继续执行第j+1次亮度增强处理，直至得到第K个第二亮度增强特征图，并将第K个第二亮度增强特征图确定为第i个第一亮度增强特征图；在j等于K的情况下，将第j个第二亮度增强特征图确定为第i个第一亮度增强特征图。
需要说明的是，在本发明的实施例中，图像处理装置在对亮度融合特征图执行K次亮度增强处理的过程中，利用第一色彩均匀化子单元41包括的顺序相连的K个第一彩色均匀化网络层42，其中，K个第一彩色均匀化网络层42中每个第一彩色均匀化网络层42进行色彩均匀化的处理方式相同，只是输入不同，故，此处以一个第一彩色均匀化网络层42的处理流程进行论述，实现的处理流程为：先获取第j个第二待增亮特征图；其中，在j等于1的情况下，说明执行亮度增强处理的第一色彩均匀化子单元41为第一个第一彩色均匀化网络层42，此时，第j个第二待增亮特征图为亮度融合特征图；在j大于1且不大于K的情况下，第j个第二待增亮特征图为对亮度融合特征图执行j-1次亮度增强处理后得到的第j-1个第二待增亮特征图，然后，利用第一均匀化层43，对第二待增亮特征图进行色彩均匀化处理，得到第一均匀化特征图；然后，利用顺序相连的第一深度卷积层44，第七卷积层或者激活层45，以及第二深度卷积层46，依次对第一均匀化特征图进行特征提取，并对提取后的特征图进行亮度增强，即乘以第一增强参数k1，生成亮度增强后的特征图；将亮度增强后的特征图与第二待增亮特征图融合，生成第j个第二亮度增强特征图。
需要说明的是，在本发明的实施例中，图像处理装置在执行第j亮度增强处理时，如果j不等于K，继续执行第j+1次亮度增强处理，直至得到第K个第二亮度增强特征图，并将第K个第二亮度增强特征图确定为第i个第一亮度增强特征图；如果j等于K，直接将第j个第二亮度增强特征图确定为第i个第一亮度增强特征图。
示例性的，在本发明的实施例中，如图4所示，图像处理装置可以利用第一色彩均匀化子单元41中2个顺序相连的第一彩色均匀化网络层42对亮度融合特征图执行2次亮度增强，其中，每个第一彩色均匀化网络层42进行色彩均匀化的处理方式相同，实现的处理流程为：利用第一彩色均匀化网络层包括的1个第一均匀化层，对输入的第二待增亮特征图进行均匀化，得到第一均匀化特征图；并利用顺序相连的1个1×1的深度卷积层、1个5×5的卷积层，以及1个1×1的深度卷积层，依次对第一均匀化特征图进行特征提取，并将提取后的特征图乘以第一亮度增强参数k1，生成亮度增强后的特征图，然后，将亮度增强后的特征图与输入的第二待增亮特征图融合，生成对应彩色均匀化网络层的第二亮度增强特征图。
在本发明的一些实施例中，图像处理装置对第二待增亮特征图进行色彩均匀化处理，得到第一均匀化特征图，包括：利用第一预设参数和第二预设参数，对第二待增亮特征图进行二次亮度增强处理，并对二次亮度增强处理后得到的特征图进行降维处理，生成第一降维特征图；利用第一预设通道参数，对第一降维特征图进行通道修正，生成第一均匀化特征图。
示例性的，在本发明的实施例中，如图4所示，图像处理装置可以利用第一彩色均匀化网络层42包括的第一均匀化层43，对第二待增亮特征图进行色彩均匀化处理，得到第一均匀化特征图。
需要说明的是，在本发明的实施例中，图像处理装置利用第一均匀化层43进行色彩均匀化处理的实现流程，如图4所示，先将输入尺寸为B×C×H×W的第二待增亮特征图与第一预设参数a1相乘，其中，B为特征图的数量，H为图像高度，W为图像宽度，C为通道数，并将相乘后得到的特征图与第二预设参数b1融合，即进行二次亮度增强处理，然后，对二次亮度增强处理后得到的特征图进行降维处理，即重塑(resharp)，生成第一降维特征图，该第一降维特征图尺寸为(B，HW，C)的特征图，最后，并将第一降维特征图，根据第一预设通道矩阵C×C进行通道修正后，重塑生成尺寸为B×C×H×W的第一均匀化特征图。
在本发明的一些实施例中，图像处理装置对第一特征图执行M次局部像素增强处理，生成第一增强特征图，包括：在执行第s次局部像素增强处理时，获取第s个第一待增强特征图；其中，s等于1时，第s个第一待增强特征图为第一特征图；s大于1且不大于M时，第s个第一待增强特征图为对第一特征图执行s-1次局部像素增强处理后得到的第s-1个第一像素增强特征图；对第一待增强特征图进行特征提取，并将提取出的特征图与第一待增强特征图融合，生成像素融合特征图；对像素融合特征图执行T次像素增强处理，生成第s个第一像素增强特征图；T为不小于1的自然数；在s不等于M的情况下，继续执行第s+1次局部像素增强处理，直至得到第M个第一像素增强特征图，并将第M个第一像素增强特征图确定为第一增强特征图；在s等于M的情况下，将第s个第一像素增强特征图确定为第二增强特征图。
需要说明的是，在本发明的实施例中，图像处理装置在对第一特征图执行M次局部像素增强处理的过程中，利用像素增强网络层35包括的顺序相连的M个第二增强单元39进行局部像素增强，其中，M个第二增强单元39中每个第二增强单元39的处理流程相同。
图5为本发明实施例提供的一种示例性的第二增强单元的结构示意图。如图5所示，每个第二增强单元39包括顺序相连的卷积核为3×3的第八卷积层50，以及与第八卷积层50连接的第二色彩均匀化子单元51，其中，第二色彩均匀化子单元51包括顺序相连的2个第二彩色均匀化网络层52，2个第二彩色均匀化网络层52中每个第二彩色均匀化网络层52包括顺序相连的第二均匀化层53(Color Norm)、卷积核为1×1的第三深度卷积层54(DW卷积层)，卷积核为5×5的第九卷积层55，以及卷积核为1×1的第四深度卷积层56(DW卷积层)，其中，卷积核为5×5的第九卷积层55也可以替换为激活层(RELU)。
示例性的，在本发明的实施例中，如图5所示，图像处理装置利用每个第二增强单元39进行局部像素增强处理的流程为：获取输入的第一待增强特征图，并利用第八卷积层50，对第一待增强特征图进行特征提取，并将提取出的特征图与第一待增强特征图融合，生成像素融合特征图；然后，利用第二色彩均匀化子单元51包括的顺序相连的2个第二彩色均匀化网络层52，对像素融合特征图执行2次像素增强处理，生成对应第二增强单元的第一像素增强特征图。
在本发明的一些实施例中，图像处理装置在对像素融合特征图执行T次像素增强处理，生成第s个第一像素增强特征图，包括：在执行第z次像素增强处理时，获取第z个第二待增强特征图；其中，z等于1时，第z个第二待增强特征图为像素融合特征图；z大于1且不大于T时，第z个第二待增强特征图为对像素融合特征图执行z-1次像素增强处理后得到的第z-1个第二待增强特征图；对第二待增强特征图进行色彩均匀化处理，得到第二均匀化特征图；对第二均匀化特征图进行特征提取，并对提取后的特征图进行像素增强，生成像素增强后的特征图；将像素增强后的特征图与第二待增强特征图融合，生成第z个第二像素增强特征图；在z不等于T的情况下，继续执行第z+1次像素增强处理，直至得到第T个第二像素增强特征图，并将第T个第二像素增强特征图确定为第s个第一像素增强特征图；在z等于T的情况下，将第z个第二像素增强特征图确定为第s个第一像素增强特征图。
需要说明的是，在本发明的实施例中，图像处理装置对像素融合特征图执行T次像素增强处理是利用第二色彩均匀化子单元51包括的顺序相连的T个第二彩色均匀化网络层52，其中，T个第二彩色均匀化网络层52中每个第二彩色均匀化网络层52的处理流程相同，只是输入不同，故，此处以T个第二彩色均匀化网络层52中一个第二彩色均匀化网络层52的处理流程进行论述。
示例性的，在本发明的实施例中，如图5所示，图像处理装置进行一次像素增强的处理流程为：获取输入的第二待增强特征图，然后，利用第二均匀化层53，对第二待增强特征图进行色彩均匀化处理，得到第二均匀化特征图；然后，利用顺序相连的第三深度卷积层54，第九卷积层或者激活层55，以及第四深度卷积层56，依次对第二均匀化特征图进行特征提取，并对提取后的特征图进行像素增强，乘以第二增强参数k2，生成像素增强后的特征图；将像素增强后的特征图与第二待增强特征图融合，生成对应的第二均匀化层输出的第一像素增强特征图。
在本发明的一些实施例中，图像处理装置对第二待增强特征图进行色彩均匀化处理，得到第二均匀化特征图，包括：利用第三预设参数和第四预设参数，对第二待增强特征图进行二次像素增强处理，并对二次像素增强处理后得到的特征图进行降维处理，生成第二降维特征图；利用第二预设通道参数，对第二降维特征图进行通道修正，生成第二均匀化特征图。
需要说明的是，在本发明的实施例中，图像处理装置对第二待增强特征图进行色彩均匀化处理的实现流程为：如图5所示，先将输入尺寸为B×C×H×W的第二待增强特征图与第三预设参数a2相乘，并将相乘后得到的特征图与第四预设参数b2融合，即进行二次像素增强处理，然后，对二次像素增强处理后得到的特征图进行降维处理，即重塑(resharp)，生成第二降维特征图，该第二降维特征图的尺寸为(B，HW，C)，最后，根据第二预设通道矩阵C×C对第二降维特征图进行通道修正，重塑生成尺寸为B×C×H×W的第二均匀化特征图。
在本发明的一些实施例中，图像处理装置利用第一融合特征图和第二融合特征图，依次对待处理图像进行局部增强处理，得到局部增强图像，包括：对第一融合特征图进行通道压缩处理，生成亮度增强特征图，并利用亮度增强特征图，对待处理图像进行亮度增强处理，得到亮度增强图像；对第二融合特征图进行通道压缩处理，生成像素增强特征图，并利用像素增强特征图，对亮度增强图像进行像素增强处理，得到局部增强图像。
示例性的，在本发明的实施例中，如图3所示，图像处理装置在得到第一融合特征图和第二融合特征图之后，利用第二卷积层36，对第一融合特征图进行通道压缩处理，生成亮度增强特征图，然后，利用亮度增强特征图，对待处理图像进行亮度增强处理，得到亮度增强图像；接着，利用第三卷积层37，对第二融合特征图进行通道压缩处理，生成像素增强特征图，并利用像素增强特征图，对亮度增强图像进行像素增强处理，得到局部增强图像，由此可见，局部增强子网络31的两条独立子支路，一条预测出进行亮度增强的亮度增强特征图，一条预测出进行像素增强的像素增强特征图，其中，亮度增强特征图和像素增强特征图与待处理图像的尺寸相同，均是H×W×3。
需要说明的是，在本发明的实施例中，图像处理装置利用亮度增强特征图，对待处理图像进行亮度增强处理，得到亮度增强图像。亮度增强处理方式是：将亮度增强特征图与待处理图像直接相乘，比如，对于暗光场景获取的亮度较低的图像，图像处理装置生成的亮度增强特征图中各像素的亮度值可能大于1，此时，将亮度增强特征图与待处理图像相乘，实际上就是增加待处理图像中各像素的亮度值；对于过曝光场景获取的亮度较高的图像，图像处理装置生成的亮度增强特征图中各像素的亮度值可能小于1，此时，将亮度增强特征图与待处理图像相乘，实际上就是降低待处理图像中各像素的亮度值。
需要说明的是，在本发明的实施例中，图像处理装置利用像素增强特征图，对亮度增强图像进行像素增强处理，得到局部增强图像，像素增强的方式为：将亮度增强特征图与亮度增强图像直接相加，改变像素值，相当于对图像进行去噪、去马赛克等图像细节化处理的过程，比如，对于暗光场景获取的噪声较大的图像，在此步骤，能够通过与像素增强特征图融合达到降噪的功能。
在本发明的一些实施例中，图像处理装置利用全局预测子网络，对局部增强图像进行全局光照和色彩调整，得到修复图像，包括：对待处理图像进行特征提取，生成第二特征图；基于第二特征图，预测待处理图像对应的图像色彩矩阵和图像对比度矩阵；针对局部增强图像，利用图像色彩矩阵进行色彩调整，并利用图像对比度矩阵进行全局光照调整，得到修复图像。
需要说明的是，在本发明的实施例中，图像处理装置利用卷积网络层310，对待处理图像进行特征提取，生成第二特征图，然后，利用交叉注意力网络层311，基于第二特征图，预测待处理图像对应的图像色彩矩阵和图像对比度矩阵，最后，先利用图像色彩矩阵对局部增强图像进行色彩调整，再利用图像对比度矩阵，对色彩调整后的图像进行全局光照调整，当然，图像处理装置对局部增强图像进行色彩调整和全局光照调整的顺序可以根据实际情况和应用需求进行设置，对此，本发明不作限定。
在本发明的一些实施例中，图像处理装置基于第二特征图，预测待处理图像对应的图像色彩矩阵和图像对比度矩阵，包括：对第二特征图进行特征提取，并对得到的特征图与第二特征图融合，生成第三特征图；对第三特征图执行第一通道卷积处理，生成第一特征矩阵，并对第三特征图执行第一通道卷积处理，生成第二特征矩阵；将第一特征矩阵与预设问询矩阵相乘，并将相乘得到的矩阵与第二特征矩阵相乘，生成权重矩阵；对权重矩阵进行非线性化处理，并将非线性处理后得到的矩阵与权重矩阵融合，生成融合权重矩阵；对融合权重矩阵进行矩阵重塑，生成待校正色彩矩阵，以及待校正对比度矩阵；将待校正色彩矩阵与预设色彩校正矩阵融合，确定为图像色彩矩阵，并将待校正对比度矩阵与预设对比度校正矩阵融合，确定为图像对比度矩阵。
需要说明的是，在本发明的实施例中，图像处理装置可以利用交叉注意力网络层311，基于第二特征图，来预测待处理图像对应的图像色彩矩阵(color matrix)和图像对比度矩阵，其中，图像对比度矩阵可以为伽马矩阵(gamma)。
图6为本发明实施例提供的一种示例性的交叉注意力网络层的结构示意图。如图6所示，交叉注意力网络311包括：卷积核为3×3的第十卷积层60、第三全连接层(FC)63、连接于第十卷积层60与第三全连接层63的之间的第一全连接层(FC)61和第二全连接层(FC)62，以及与第三全连接层63相连的非线性网络层64，其中，非线性网络层64包括：顺序连接的非线性层(LN)65、第四全连接层(FC)66、激活层(RELU)67，以及第五全连接层(FC)68；图像处理装置利用交叉注意力网络311，基于第二特征图，预测待处理图像对应的图像色彩矩阵和图像对比度矩阵的实现流程为：利用第十卷积层60，对第二特征图进行特征提取，并对得到的特征图与第二特征图融合，生成第三特征图，然后，将第三特征图输入第一全连接层61和第二全连接层62，利用第一全连接层61，对第三特征图执行第一通道卷积处理，生成第一特征矩阵V，以及利用第二全连接层62，对第三特征图执行第一通道卷积处理，生成第二特征矩阵K；将第一特征矩阵与预设问询矩阵Q相乘，并将相乘得到的矩阵与第二特征矩阵相乘，生成权重矩阵，接着，在对权重矩阵进行非线性化处理之前，先利用第三全连接层63对权重矩阵进行第三通道卷积处理后，再利用非线性网络层64包括的顺序连接的非线性层65、第四全连接层66、激活层67，以及第五全连接层68，对第三通道卷积处理后得到的特征图进行非线性处理，并将非线性处理后得到的矩阵与权重矩阵融合，生成融合权重矩阵；进而对融合权重矩阵进行矩阵重塑，即是将融合权重矩阵拆分成待校正色彩矩阵，以及待校正对比度矩阵，最后，将待校正色彩矩阵与预设色彩校正矩阵融合，确定为图像色彩矩阵，并将待校正对比度矩阵与预设对比度校正矩阵融合，确定为图像对比度矩阵。
在本发明的一些实施例中，图像处理装置针对局部增强图像，利用图像色彩矩阵进行色彩调整，并利用图像对比度矩阵进行全局光照调整，得到修复图像，包括：对图像色彩矩阵进行通道压缩处理，生成色彩调整矩阵，并对图像对比度矩阵进行通道压缩处理，生成对比度调整矩阵；针对局部增强图像，利用色彩调整矩阵进行色彩映射，并利用对比度调整矩阵进行全局对比度校正，得到修复图像。
示例性的，在本发明的实施例中，如图3所示，图像处理装置在得到图像色彩矩阵和图像对比度矩阵之后，利用第四卷积层312，对图像色彩矩阵进行通道压缩处理，生成色彩调整矩阵，并利用第五卷积层313，对图像对比度矩阵进行通道压缩处理，生成对比度调整矩阵，然后，针对局部增强图像，利用色彩调整矩阵进行色彩映射，相当于对图像进行白平衡和色彩空间变化处理，经全局色彩映射处理后的图像的颜色更接近于肉眼观察到的图像，减少图像因在暗光、过曝光、或者欠曝光等不同场景下获取时包含的光照缺陷，提高图像的显示效果；然后，再利用对比度调整矩阵进行全局对比度校正，得到修复图像，图像的对比度大小即是将图像中从黑到白的渐变层次的多少，一般来说，对比度越大，图像越清晰醒目，色彩也越鲜明艳丽；而对比度小，则会让整个图像都灰蒙蒙的，高对比度对于图像的清晰度、细节表现、灰度层次表现都有很大帮助，对比度越高图像效果越好，色彩会更饱和，反之对比度低，图像会显得模糊，色彩也不鲜明；图像处理装置对经全局色彩映射处理后得到的图像进行全局对比度校正，提高了图像的视觉效果。
需要说明的是，在本发明的实施例中，图像处理装置在利用光照修复模型对包含光照缺陷的图像进行修复，相较于现有技术中利用其它暗光增强模型对暗光图像进行增强来说，还是有一定的优势，修复模型相较于现有技术中暗光增强效果比对详细见表1所示：
表1
| Method | PSNR | SSIM | NIQE | FLOPs(G) | #Params(M) | Test time(s) |
| LIME | 14.92 | 0.516 | 5.77 | - | - | 3.241(M) |
| Zero-DCE | 14.83 | 0.531 | 8.22 | 2.53 | 0.08 | 0.002(P) |
| RetiNexNet | 16.77 | 0.562 | 8.89 | 136.01 | 0.84 | 0.841(T) |
| MBLLEN | 17.90 | 0.702 | 7.82 | 19.95 | 20.47 | 2.981(T) |
| DRBN | 20.13 | 0.820 | 5.11 | 37.79 | 0.58 | 1.210(P) |
| KIND | 20.86 | 0.810 | 5.15 | 29.13 | 8.16 | 0.138(T) |
| KIND++ | 21.30 | 0.822 | 3.88 | - | 8.28 | 1.013(T) |
| RCT | 22.67 | 1.788 | - | - | - | - |
| MAXIM | 23.43 | 0.863 | - | 216.00 | 14.14 | - |
| IAT(local) | 20.30 | 0.789 | 4.03 | 1.31 | 0.02 | 0.002(P) |
| IAT | 23.50 | 0.824 | 3.08 | 1.44 | 0.09 | 0.004(P) |
从表1可以看出，光照修复模型(IAT)相较于现有技术中进行低光增强的其他模型来说，IAT的峰值信噪比(peak signal to noise ratio，PSNR)较高，为20.30和23.50、图像质量评价(Natural Image Quality Evaluator，NIQE)为4.03和3.08、CPU的浮点计算能力(flops)较低，为1.31和1.44，且使用参数(Params)较少为0.02和0.09，所需时间也较少，修复效率较高。
当然，现有技术中也有使用图像增强数据库(MIT5K)来进行暗光图像的增强，相较于使用增强数据库来进行暗光增强，利用光照修复模型对暗光图像进行增强产生的效果较为显著，见表2所示：
表2
| Metric | White-Box | U-Net | DPE | DPED | D-UPE | D-LPF | STAR | IAT |
| PSNR | 18.57 | 21.57 | 23.80 | 21.76 | 23.04 | 23.63 | 24.50 | 24.88 |
| SSIM | 0.701 | 0.843 | 0.880 | 0.871 | 0.893 | 0.875 | 0.893 | 0.905 |
| #Params | - | 1.3M | 3.3M | 1.0M | 0.8M | 0.02M | 0.09M |
从表2可以看出，相较于表中所列的其他暗光图像增强的方式，IAT的峰值信噪比(peak signal to noise ratio，PSNR)是最高的，高达24.88，结构相似度(StructuralSimilarity，SSIM)也是最高的，为0.904，参数量(Params)也排在第二位，为0.09。
对于曝光场景下，利用修复模型进行曝光纠正相较于现有技术中的曝光纠正之间的比对详细见表3所示：
表3
从表3可以看出，相较于现有技术中其他模型的曝光纠正，IAT在多次实验数据中，PSNR以及SSIM两方面稳居第一，PSNR维持在20左右，SSIM甚至最高达到了0.867。
S103、利用任务网络中的任务模型对修复图像进行任务处理，得到任务处理结果。
在本发明的实施例中，图像处理装置利用任务网络中的任务模型对修复图像进行任务处理，得到任务处理结果。
需要说明的是，在本发明的实施例中，图像处理装置在得到修复图像之后，可以直接利用任务网络中的任务模型，对修复图像进行任务处理，得到任务处理结果。
图7为本发明实施例提供的一种示例性的图像处理方式的流程示意图二。如图7所示，图像处理装置通过图像采集装置获取到暗光图像，然后，将暗光图像输入到光照修复模型中进行暗光修复，然后，再将进行暗光修复后得到的修复图像直接输入到任务模型中，对修复图像进行任务处理，得到任务处理结果；其中，任务模型可以为目标检测和/或分割模型；这里将光照修复模型作为一个前置模型来与任务模型共同训练，得到任务处理结果，当然，对于过曝光图像和欠曝光图像也可以在图像修复后进行任务处理，得到任务处理结果。
在本发明的一些实施例中，图像处理装置利用任务模型，对修复图像进行目标检测和/或分割处理，得到任务处理结果。
需要说明的是，在本发明的实施例中，图像处理装置在利用光照修复模型对图像进行修复之后，可以直接输出修复图像，也可以继续利用任务模型，对修复图像进行目标检测和/或分割处理，得到任务处理结果，经光照修复模型修复包含光照缺陷的图像中存在的光照缺陷之后，再进行目标检测和/或分割处理，提升了任务处理的效果。
图8为本发明实施例提供的一种示例性的图像处理方式的流程示意图三。如图8所示，图像处理装置获取的暗光场景或者曝光场景下的图像，如果直接将图像输入到任务模型中，进行目标检测和/或分割处理，由于待处理图像存在光照缺陷，无法进行目标检测和/或分割处理或者效果较差；如果将利用现有的图像处理模型，比如：多分支弱光增强网络、低光增强网络等，进行图像处理后的图像输入任务模型中，会因为处理任务的间隙，无法将图像修复和目标检测和/或分割一起进行；图像处理装置，将光照修复模型作为前置模型，与任务模块一起进行目标检测和/或分割，能够避免处理任务的间隙，提升不同光照场景下的任务处理效果。
需要说明的是，在本发明的实施例中，图像处理装置将任务网络中的光照修复模型和任务模型进行连接训练，将包含光照缺陷的图像直接经过光照修复模型和任务模型，来实现目标检测和/或分割，得到的结果相较于现有技术来说，有很大的优势，详见表4：
表4
从表4可以看出，利用光照修复模型和任务模型联合对包含光照缺陷的图像进行目标检测，相较于现有技术中直接对光照缺陷的图像进行目标检测，以及利用其它模型对光照缺陷的图像先修复，再进行任务处理，得到的结果效果更好，其中，YOLO和DETR为两种不同的目标检测算法；IAT模型与YOLO模型联合对包含光照缺陷的图像进行目标检测相较于其他修复模型来说，对Bottle、Cat、chair等物体的检测结果最好，分别为78.6、73.6，以及72.4；IAT模型与DETR模型联合对包含光照缺陷的图像进行目标检测相较于其他修复模型来说，对Boat、Bus、Car、Cat最好，分别为76.8、95.9、83.5，以及77.8。
表5为暗光照场景分割与多光源场景检测数据结果，图像处理装置将光照修复模型作为前置模块，与任务模型联合进行目标检测或者语义分割，其中，mAP(mean AveragePrecision)为全平均正确率，mIoU(mean Intersection over Union)为平均交并比，是语义分割***性能的评价指标。
表5
从表5可以看出，利用IAT作为前置模块进行的目标检测和语义分割处理，平均交并比达到61.9，所需时间仅为0.280，全平均正确率达到96.7，所需时间仅为0.027。
本发明提供了一种图像处理方法，方法包括：获取包含光照缺陷的待处理图像；利用任务网络中的光照修复模型，对待处理图像进行局部增强处理，得到局部增强图像；以及对局部增强图像进行全局光照和色彩调整，得到修复图像；光照修复模型用于修复不同光照条件下拍摄的图像的光照缺陷；利用任务网络中的任务模型对修复图像进行任务处理，得到任务处理结果。本发明提供的图像处理方法，针对不同光照缺陷的图像，直接利用任务网络，采用局部增强、色彩调整相结合的修复方式，对图像中存在的光照缺陷进行修复，进而对消除光照缺陷的图像进行任务处理，提高了图像处理的灵活性和效率。
本发明提供了一种图像处理装置，图9为本发明实施例提供的一种图像处理装置的结构示意图一。如图9所示，所述图像处理装置包括：
获取模块901，用于获取包含光照缺陷的待处理图像；
修复模块902，用于利用任务网络中的光照修复模型，对所述待处理图像进行局部增强处理，得到局部增强图像；以及对所述局部增强图像进行全局光照和色彩调整，得到修复图像；所述光照修复模型用于修复不同光照条件下拍摄的图像的光照缺陷；
处理模块903，用于利用所述任务网络中的任务模型对所述修复图像进行任务处理，得到任务处理结果。
在本发明一实施例中，所述光照修复模型包括：局部增强子网络和全局预测子网络；
所述修复模块902，还用于利用所述局部增强子网络，对所述待处理图像进行局部增强处理，得到局部增强图像；利用所述全局预测子网络，对所述局部增强图像进行全局光照和色彩调整，得到所述修复图像。
在本发明一实施例中，所述修复模块902，还用于对所述待处理图像进行特征提取，生成第一特征图；对所述第一特征图执行N次局部亮度增强处理，生成第一增强特征图，并将所述第一增强特征图与所述第一特征图融合，生成第一融合特征图；其中，N为不小于1的自然数；对所述第一特征图执行M次局部像素增强处理，生成第二增强特征图，并将所述第二增强特征图与所述第一特征图融合，生成第二融合特征图；其中，M为不小于1的自然数；利用所述第一融合特征图和所述第二融合特征图，依次对所述待处理图像进行局部增强处理，得到所述局部增强图像。
在本发明一实施例中，所述修复模块902，还用于在执行第i次局部亮度增强处理时，获取第i个第一待增亮特征图；其中，i等于1时，所述第i个第一待增亮特征图为所述第一特征图；i大于1且不大于N时，所述第i个第一待增亮特征图为对所述第一特征图执行i-1次局部亮度增强处理后得到的第i-1个第一亮度增强特征图；对所述第一待增亮特征图进行特征提取，并将提取出的特征图与所述第一待增亮特征图融合，生成亮度融合特征图；对所述亮度融合特征图执行K次亮度增强处理，生成第i个第一亮度增强特征图；K为不小于1的自然数；在i不等于N的情况下，继续执行第i+1次局部亮度增强处理，直至得到第N个第一亮度增强特征图，并将第N个第一亮度增强特征图确定为所述第一增强特征图；在i等于N的情况下，将第i个第一亮度增强特征图确定为所述第一增强特征图。
在本发明一实施例中，所述修复模块902，还用于在执行第j次亮度增强处理时，获取第j个第二待增亮特征图；其中，j等于1时，所述第j个第二待增亮特征图为所述亮度融合特征图；j大于1且不大于K时，所述第j个第二待增亮特征图为对所述亮度融合特征图执行j-1次亮度增强处理后得到的第j-1个第二待增亮特征图；对所述第二待增亮特征图进行色彩均匀化处理，得到第一均匀化特征图；对所述第一均匀化特征图进行特征提取，并对提取后的特征图进行亮度增强，生成亮度增强后的特征图；将所述亮度增强后的特征图与所述第二待增亮特征图融合，生成第j个第二亮度增强特征图；在j不等于K的情况下，继续执行第j+1次亮度增强处理，直至得到第K个第二亮度增强特征图，并将第K个第二亮度增强特征图确定为所述第i个第一亮度增强特征图；在j等于K的情况下，将第j个第二亮度增强特征图确定为所述第i个第一亮度增强特征图。
在本发明一实施例中，所述修复模块902，还用于利用第一预设参数和第二预设参数，对所述第二待增亮特征图进行二次亮度增强处理，并对二次亮度增强处理后得到的特征图进行降维处理，生成第一降维特征图；利用第一预设通道参数，对所述第一降维特征图进行通道修正，生成所述第一均匀化特征图。
在本发明一实施例中，所述修复模块902，还用于在执行第s次局部像素增强处理时，获取第s个第一待增强特征图；其中，s等于1时，所述第s个第一待增强特征图为所述第一特征图；s大于1且不大于M时，所述第s个第一待增强特征图为对所述第一特征图执行s-1次局部像素增强处理后得到的第s-1个第一像素增强特征图；对所述第一像素增强特征图进行特征提取，并将提取出的特征图与所述第一像素增强特征图融合，生成像素融合特征图；对所述像素融合特征图执行T次像素增强处理，生成第s个第一像素增强特征图；T为不小于1的自然数；在s不等于M的情况下，继续执行第s+1次局部像素增强处理，直至得到第M个第一像素增强特征图，并将第M个第一像素增强特征图确定为所述第二增强特征图；在s等于M的情况下，将第s个第一像素增强特征图确定为所述第二增强特征图。
在本发明一实施例中，所述修复模块902，还用于在执行第z次像素增强处理时，获取第z个第二待增强特征图；其中，z等于1时，所述第z个第二待增强特征图为所述像素融合特征图；z大于1且不大于T时，所述第z个第二待增强特征图为对所述像素融合特征图执行z-1次像素增强处理后得到的z-1个第二待增强特征图；对所述第二待增强特征图进行色彩均匀化处理，生成第二均匀化特征图；对所述第二均匀化特征图进行特征提取，并对提取后的特征图进行像素增强，生成像素增强后的特征图；将所述像素增强后的特征图与所述第二待增强特征图融合，生成第z个第二像素增强特征图；在z不等于T的情况下，继续执行第z+1次像素增强处理，直至得到第T个第二像素增强特征图，并将第T个第二像素增强特征图确定为所述第s个第一像素增强特征图；在z等于T的情况下，将第z个第二像素增强特征图确定为所述第s个第一像素增强特征图。
在本发明一实施例中，所述修复模块902，还用于利用第三预设参数和第四预设参数，对所述第二待增强特征图进行二次像素增强处理，并对二次像素增强处理后得到的特征图进行降维处理，生成第二降维特征图；利用第二预设通道参数，对所述第二降维特征图进行通道修正，生成所述第二均匀化特征图。
在本发明一实施例中，所述修复模块902，还用于对所述第一融合特征图进行通道压缩处理，生成亮度增强特征图，并利用所述亮度增强特征图，对所述待处理图像进行亮度增强处理，得到亮度增强图像；对所述第二融合特征图进行通道压缩处理，生成像素增强特征图，并利用所述像素增强特征图，对所述亮度增强图像进行像素增强处理，得到所述局部增强图像。
在本发明一实施例中，所述修复模块902，还用于对所述待处理图像进行特征提取，生成第二特征图；基于所述第二特征图，预测所述待处理图像对应的图像色彩矩阵和图像对比度矩阵；针对所述局部增强图像，利用所述图像色彩矩阵进行色彩调整，并利用图像对比度矩阵进行全局光照调整，得到所述修复图像。
在本发明一实施例中，所述修复模块902，还用于对所述第二特征图进行特征提取，并对得到的特征图与所述第二特征图融合，生成第三特征图；对所述第三特征图执行第一通道卷积处理，生成第一特征矩阵，并对所述第三特征图执行第一通道卷积处理，生成第二特征矩阵；将所述第一特征矩阵与预设问询矩阵相乘，并将相乘得到的矩阵与所述第二特征矩阵相乘，生成权重矩阵；对所述权重矩阵进行非线性化处理，并将非线性处理后得到的矩阵与所述权重矩阵融合，生成融合权重矩阵；对所述融合权重矩阵进行矩阵重塑，生成待校正色彩矩阵，以及待校正对比度矩阵；将所述待校正色彩矩阵与预设色彩校正矩阵融合，确定为所述图像色彩矩阵，并将所述待校正对比度矩阵与预设对比度校正矩阵融合，确定为所述图像对比度矩阵。
在本发明一实施例中，所述修复模块902，还用于对所述图像色彩矩阵进行通道压缩处理，生成色彩调整矩阵，并对所述图像对比度矩阵进行通道压缩处理，生成对比度调整矩阵；针对所述局部增强图像，利用所述色彩调整矩阵进行色彩映射，并利用所述对比度调整矩阵进行全局对比度校正，得到所述修复图像。
在本发明一实施例中，所述处理模块903，还用于利用所述任务模型，对所述修复图像进行目标检测和/或分割处理，得到所述任务处理结果。
本发明提供了一种图像处理装置，图10为本发明实施例提供的一种装置的结构示意图二。如图10所示，所述图像处理装置包括：处理器1001、存储器1002和通信总线1003；
所述通信总线1003，用于实现所述处理器1001和所述存储器1002之间的通信连接；
所述处理器1001，用于执行所述存储器1002中存储的计算机程序，以实现上述图像处理方法。
本发明提供了一种图像处理装置，获取包含光照缺陷的待处理图像；利用任务网络中的光照修复模型，对待处理图像进行局部增强处理，得到局部增强图像；以及对局部增强图像进行全局光照和色彩调整，得到修复图像；光照修复模型用于修复不同光照条件下拍摄的图像的光照缺陷；利用任务网络中的任务模型对修复图像进行任务处理，得到任务处理结果。本发明提供的图像处理装置，针对不同光照缺陷的图像，直接利用任务网络，采用局部增强、全局光照和色彩调整相结合的修复方式，对图像中存在的光照缺陷进行修复，进而对消除光照缺陷的图像进行任务处理，提高了图像处理的灵活性和效率。
本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个计算机程序，所述一个或者多个计算机程序可以被一个或者多个处理器执行，以实现上述图像处理方法。计算机可读存储介质可以是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatilememory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；也可以是包括上述存储器之一或任意组合的各自设备，如移动电话、计算机、平板设备、个人数字助理等。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (17)
1.一种图像处理方法，其特征在于，所述方法包括：
获取包含光照缺陷的待处理图像；
利用任务网络中的光照修复模型，对所述待处理图像进行局部增强处理，得到局部增强图像；以及对所述局部增强图像进行全局光照和色彩调整，得到修复图像；所述光照修复模型用于修复不同光照条件下拍摄的图像的光照缺陷；
利用所述任务网络中的任务模型对所述修复图像进行任务处理，得到任务处理结果。
2.根据权利要求1所述的方法，其特征在于，所述光照修复模型包括：局部增强子网络和全局预测子网络；
所述利用任务网络中的光照修复模型，对所述待处理图像进行局部增强处理，得到局部增强图像；以及对所述局部增强图像进行全局光照和色彩调整，得到修复图像，包括：
利用所述局部增强子网络，对所述待处理图像进行局部增强处理，得到局部增强图像；
利用所述全局预测子网络，对所述局部增强图像进行全局光照和色彩调整，得到所述修复图像。
3.根据权利要求2所述的方法，其特征在于，所述利用所述局部增强子网络，对所述待处理图像进行局部增强处理，得到局部增强图像，包括：
对所述待处理图像进行特征提取，生成第一特征图；
对所述第一特征图执行N次局部亮度增强处理，生成第一增强特征图，并将所述第一增强特征图与所述第一特征图融合，生成第一融合特征图；其中，N为不小于1的自然数；
对所述第一特征图执行M次局部像素增强处理，生成第二增强特征图，并将所述第二增强特征图与所述第一特征图融合，生成第二融合特征图；其中，M为不小于1的自然数；
利用所述第一融合特征图和所述第二融合特征图，依次对所述待处理图像进行局部增强处理，得到所述局部增强图像。
4.根据权利要求3所述的方法，其特征在于，所述对所述第一特征图执行N次局部亮度增强处理，生成第一增强特征图，包括：
在执行第i次局部亮度增强处理时，获取第i个第一待增亮特征图；其中，i等于1时，所述第i个第一待增亮特征图为所述第一特征图；i大于1且不大于N时，所述第i个第一待增亮特征图为对所述第一特征图执行i-1次局部亮度增强处理后得到的第i-1个第一亮度增强特征图；
对所述第一待增亮特征图进行特征提取，并将提取出的特征图与所述第一待增亮特征图融合，生成亮度融合特征图；
对所述亮度融合特征图执行K次亮度增强处理，生成第i个第一亮度增强特征图；K为不小于1的自然数；
在i不等于N的情况下，继续执行第i+1次局部亮度增强处理，直至得到第N个第一亮度增强特征图，并将第N个第一亮度增强特征图确定为所述第一增强特征图；
在i等于N的情况下，将第i个第一亮度增强特征图确定为所述第一增强特征图。
5.根据权利要求4所述的方法，其特征在于，所述对所述亮度融合特征图执行K次亮度增强处理，生成第i个第一亮度增强特征图，包括：
在执行第j次亮度增强处理时，获取第j个第二待增亮特征图；其中，j等于1时，所述第j个第二待增亮特征图为所述亮度融合特征图；j大于1且不大于K时，所述第j个第二待增亮特征图为对所述亮度融合特征图执行j-1次亮度增强处理后得到的第j-1个第二待增亮特征图；
对所述第二待增亮特征图进行色彩均匀化处理，得到第一均匀化特征图；
对所述第一均匀化特征图进行特征提取，并对提取后的特征图进行亮度增强，生成亮度增强后的特征图；
将所述亮度增强后的特征图与所述第二待增亮特征图融合，生成第j个第二亮度增强特征图；
在j不等于K的情况下，继续执行第j+1次亮度增强处理，直至得到第K个第二亮度增强特征图，并将第K个第二亮度增强特征图确定为所述第i个第一亮度增强特征图；
在j等于K的情况下，将第j个第二亮度增强特征图确定为所述第i个第一亮度增强特征图。
6.根据权利要求5所述的方法，其特征在于，所述对所述第二待增亮特征图进行色彩均匀化处理，得到第一均匀化特征图，包括：
利用第一预设参数和第二预设参数，对所述第二待增亮特征图进行二次亮度增强处理，并对二次亮度增强处理后得到的特征图进行降维处理，生成第一降维特征图；
利用第一预设通道参数，对所述第一降维特征图进行通道修正，生成所述第一均匀化特征图。
7.根据权利要求3所述的方法，其特征在于，所述对所述第一特征图执行M次局部像素增强处理，生成第二增强特征图，包括：
在执行第s次局部像素增强处理时，获取第s个第一待增强特征图；其中，s等于1时，所述第s个第一待增强特征图为所述第一特征图；s大于1且不大于M时，所述第s个第一待增强特征图为对所述第一特征图执行s-1次局部像素增强处理后得到的第s-1个第一像素增强特征图；
对所述第一像素增强特征图进行特征提取，并将提取出的特征图与所述第一像素增强特征图融合，生成像素融合特征图；
对所述像素融合特征图执行T次像素增强处理，生成第s个第一像素增强特征图；T为不小于1的自然数；
在s不等于M的情况下，继续执行第s+1次局部像素增强处理，直至得到第M个第一像素增强特征图，并将第M个第一像素增强特征图确定为所述第二增强特征图；
在s等于M的情况下，将第s个第一像素增强特征图确定为所述第二增强特征图。
8.根据权利要求7所述的方法，其特征在于，所述对所述像素融合特征图执行T次像素增强处理，生成第s个第一像素增强特征图，包括：
在执行第z次像素增强处理时，获取第z个第二待增强特征图；其中，z等于1时，所述第z个第二待增强特征图为所述像素融合特征图；z大于1且不大于T时，所述第z个第二待增强特征图为对所述像素融合特征图执行z-1次像素增强处理后得到的z-1个第二待增强特征图；
对所述第二待增强特征图进行色彩均匀化处理，生成第二均匀化特征图；
对所述第二均匀化特征图进行特征提取，并对提取后的特征图进行像素增强，生成像素增强后的特征图；
将所述像素增强后的特征图与所述第二待增强特征图融合，生成第z个第二像素增强特征图；
在z不等于T的情况下，继续执行第z+1次像素增强处理，直至得到第T个第二像素增强特征图，并将第T个第二像素增强特征图确定为所述第s个第一像素增强特征图；
在z等于T的情况下，将第z个第二像素增强特征图确定为所述第s个第一像素增强特征图。
9.根据权利要求8所述的方法，其特征在于，所述对所述第二待增强特征图进行色彩均匀化处理，生成第二均匀化特征图，包括：
利用第三预设参数和第四预设参数，对所述第二待增强特征图进行二次像素增强处理，并对二次像素增强处理后得到的特征图进行降维处理，生成第二降维特征图；
利用第二预设通道参数，对所述第二降维特征图进行通道修正，生成所述第二均匀化特征图。
10.根据权利要求3所述的方法，其特征在于，所述利用所述第一融合特征图和所述第二融合特征图，依次对所述待处理图像进行局部增强处理，得到所述局部增强图像，包括：
对所述第一融合特征图进行通道压缩处理，生成亮度增强特征图，并利用所述亮度增强特征图，对所述待处理图像进行亮度增强处理，得到亮度增强图像；
对所述第二融合特征图进行通道压缩处理，生成像素增强特征图，并利用所述像素增强特征图，对所述亮度增强图像进行像素增强处理，得到所述局部增强图像。
11.根据权利要求2所述的方法，其特征在于，所述利用所述全局预测子网络，对所述局部增强图像进行全局光照和色彩调整，得到所述修复图像，包括：
对所述待处理图像进行特征提取，生成第二特征图；
基于所述第二特征图，预测所述待处理图像对应的图像色彩矩阵和图像对比度矩阵；
针对所述局部增强图像，利用所述图像色彩矩阵进行色彩调整，并利用图像对比度矩阵进行全局光照调整，得到所述修复图像。
12.根据权利要求11所述的方法，其特征在于，所述基于所述第二特征图，预测所述待处理图像对应的图像色彩矩阵和图像对比度矩阵，包括：
对所述第二特征图进行特征提取，并对得到的特征图与所述第二特征图融合，生成第三特征图；
对所述第三特征图执行第一通道卷积处理，生成第一特征矩阵，并对所述第三特征图执行第一通道卷积处理，生成第二特征矩阵；
将所述第一特征矩阵与预设问询矩阵相乘，并将相乘得到的矩阵与所述第二特征矩阵相乘，生成权重矩阵；
对所述权重矩阵进行非线性化处理，并将非线性处理后得到的矩阵与所述权重矩阵融合，生成融合权重矩阵；
对所述融合权重矩阵进行矩阵重塑，生成待校正色彩矩阵，以及待校正对比度矩阵；
将所述待校正色彩矩阵与预设色彩校正矩阵融合，确定为所述图像色彩矩阵，并将所述待校正对比度矩阵与预设对比度校正矩阵融合，确定为所述图像对比度矩阵。
13.根据权利要求11所述的方法，其特征在于，所述针对所述局部增强图像，利用所述图像色彩矩阵进行色彩调整，并利用图像对比度矩阵进行全局光照调整，得到所述修复图像，包括：
对所述图像色彩矩阵进行通道压缩处理，生成色彩调整矩阵，并对所述图像对比度矩阵进行通道压缩处理，生成对比度调整矩阵；
针对所述局部增强图像，利用所述色彩调整矩阵进行色彩映射，并利用所述对比度调整矩阵进行全局对比度校正，得到所述修复图像。
14.根据权利要求1所述的方法，其特征在于，所述利用所述任务网络中的任务模型对所述修复图像进行任务处理，得到任务处理结果，包括：
利用所述任务模型，对所述修复图像进行目标检测和/或分割处理，得到所述任务处理结果。
15.一种图像处理装置，其特征在于，包括：
获取模块，用于获取包含光照缺陷的待处理图像；
修复模块，用于利用任务网络中的光照修复模型，对所述待处理图像进行局部增强处理，得到局部增强图像；以及对所述局部增强图像进行全局光照和色彩调整，得到修复图像；所述光照修复模型用于修复不同光照条件下拍摄的图像的光照缺陷；
处理模块，用于利用所述任务网络中的任务模型对所述修复图像进行任务处理，得到任务处理结果。
16.一种图像处理装置，其特征在于，包括：处理器、存储器和通信总线；
所述通信总线，用于实现所述处理器和所述存储器之间的通信连接；
所述处理器，用于执行所述存储器中存储的计算机程序，以实现权利要求1-14任一项所述的图像处理方法。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个计算机程序，所述一个或者多个计算机程序可以被一个或者多个处理器执行，以实现权利要求1-14任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210435475.8A CN114708250B (zh) | 2022-04-24 | 2022-04-24 | 一种图像处理方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210435475.8A CN114708250B (zh) | 2022-04-24 | 2022-04-24 | 一种图像处理方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114708250A true CN114708250A (zh) | 2022-07-05 |
| CN114708250B CN114708250B (zh) | 2024-06-07 |
Family
ID=82174036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210435475.8A Active CN114708250B (zh) | 2022-04-24 | 2022-04-24 | 一种图像处理方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114708250B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115830567A (zh) * | 2023-02-16 | 2023-03-21 | 北京理工大学前沿技术研究院 | 一种弱光条件下道路目标融合感知方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101715141A (zh) * | 2008-09-30 | 2010-05-26 | 英特尔公司 | 图像和视频的亮度、颜色和对比度的联合增强 |
| CN109410129A (zh) * | 2018-09-28 | 2019-03-01 | 大连理工大学 | 一种低光照图像场景理解的方法 |
| WO2020173320A1 (zh) * | 2019-02-28 | 2020-09-03 | 腾讯科技（深圳）有限公司 | 一种图像增强方法、装置及存储介质 |
| WO2021063341A1 (zh) * | 2019-09-30 | 2021-04-08 | 华为技术有限公司 | 图像增强方法以及装置 |
-
2022
- 2022-04-24 CN CN202210435475.8A patent/CN114708250B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101715141A (zh) * | 2008-09-30 | 2010-05-26 | 英特尔公司 | 图像和视频的亮度、颜色和对比度的联合增强 |
| CN109410129A (zh) * | 2018-09-28 | 2019-03-01 | 大连理工大学 | 一种低光照图像场景理解的方法 |
| WO2020173320A1 (zh) * | 2019-02-28 | 2020-09-03 | 腾讯科技（深圳）有限公司 | 一种图像增强方法、装置及存储介质 |
| WO2021063341A1 (zh) * | 2019-09-30 | 2021-04-08 | 华为技术有限公司 | 图像增强方法以及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115830567A (zh) * | 2023-02-16 | 2023-03-21 | 北京理工大学前沿技术研究院 | 一种弱光条件下道路目标融合感知方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114708250B (zh) | 2024-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111292264B (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| Zhang et al. | Rellie: Deep reinforcement learning for customized low-light image enhancement | |
| TWI770432B (zh) | 圖像復原方法、電子設備、儲存介質 | |
| CN109558901B (zh) | 一种语义分割训练方法及装置、电子设备、存储介质 | |
| CN108897786A (zh) | 应用程序的推荐方法、装置、存储介质及移动终端 | |
| CN111489322B (zh) | 给静态图片加天空滤镜的方法及装置 | |
| WO2023202200A1 (zh) | 一种重建hdr图像的方法、终端及电子设备 | |
| CN114708250B (zh) | 一种图像处理方法、装置及存储介质 | |
| CN113052768B (zh) | 一种处理图像的方法、终端及计算机可读存储介质 | |
| CN115984570A (zh) | 一种视频去噪方法、装置、存储介质和电子装置 | |
| US20130287299A1 (en) | Image processing apparatus | |
| CN111383188B (zh) | 一种图像处理方法、***及终端设备 | |
| Cao et al. | A brightness-adaptive kernel prediction network for inverse tone mapping | |
| CN110557572B (zh) | 一种图像处理方法、装置及卷积神经网络*** | |
| KR102277005B1 (ko) | 비지도 학습을 이용한 저조도 영상 처리 방법 및 장치 | |
| CN112200737A (zh) | 一种基于强化学习的图像处理方法、装置及存储介质 | |
| TW201631554A (zh) | 用於群組對比增強之方法及裝置 | |
| Zhu et al. | HDRfeat: A feature-rich network for high dynamic range image reconstruction | |
| WO2023110880A1 (en) | Image processing methods and systems for low-light image enhancement using machine learning models | |
| US20230186612A1 (en) | Image processing methods and systems for generating a training dataset for low-light image enhancement using machine learning models | |
| CN115205168A (zh) | 图像处理方法、装置、电子设备和存储介质、产品 | |
| CN112561822B (zh) | 美颜方法、装置、电子设备及存储介质 | |
| CN113888429A (zh) | 图像提亮方法和装置、电子设备 | |
| CN109919846B (zh) | 一种图像增强方法、装置及计算设备 | |
| CN107633481A (zh) | 基于分层的图像处理方法、装置、计算设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |