CN116681602A - 原始图像的处理方法、模型的训练方法、装置和设备 - Google Patents

原始图像的处理方法、模型的训练方法、装置和设备 Download PDF

Info

Publication number
CN116681602A
CN116681602A CN202310410217.9A CN202310410217A CN116681602A CN 116681602 A CN116681602 A CN 116681602A CN 202310410217 A CN202310410217 A CN 202310410217A CN 116681602 A CN116681602 A CN 116681602A
Authority
CN
China
Prior art keywords
original image
training
network
exposure
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310410217.9A
Other languages
English (en)
Inventor
马嘉祺
王国利
张骞
黄畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Horizon Information Technology Co Ltd
Original Assignee
Beijing Horizon Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Horizon Information Technology Co Ltd filed Critical Beijing Horizon Information Technology Co Ltd
Priority to CN202310410217.9A priority Critical patent/CN116681602A/zh
Publication of CN116681602A publication Critical patent/CN116681602A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本公开实施例公开了一种原始图像的处理方法、模型的训练方法、装置和设备，其中，原始图像的处理方法包括：获取待处理原始图像对应的目标多通道原始图像；基于目标多通道原始图像，利用预先训练获得的原始图像处理模型中的曝光恢复网络，获得待处理原始图像对应的曝光恢复后原始图像；基于曝光恢复后原始图像，利用原始图像处理模型中的色彩增强网络，获得曝光恢复后原始图像对应的色彩增强结果；基于色彩增强结果，确定待处理原始图像对应的处理后的目标图像。本公开实施例基于原始图像处理模型中的曝光恢复网络和色彩增强网络实现了对原始图像的联合去噪去马赛克，从而恢复出高质量的目标图像，大大提高目标图像的质量。

Description

原始图像的处理方法、模型的训练方法、装置和设备
技术领域
本公开涉及图像处理技术，尤其是一种原始图像的处理方法、模型的训练方法、装置和设备。
背景技术
在图像处理的应用中，由于受到光子计数限制和复杂的图像信号处理(ImageSignal Processing，简称：ISP)所引起的各种噪声的影响，将低光下的原始图像(即RAW图像)恢复成高质量的目标图像(比如RGB图像)是具有挑战性的任务。相关技术中，通常先将低光下的原始图像恢复为目标图像，再进行图像亮度增强，以提高图像质量，但是，从原始图像恢复的目标图像质量较低，导致最终增强后的图像质量较差。
发明内容
为了解决上述从原始图像恢复的目标图像质量较低等技术问题，本公开的实施例提供了一种原始图像的处理方法、模型的训练方法、装置和设备，以有效提高恢复的目标图像的质量。
本公开的第一个方面，提供了一种原始图像的处理方法，包括：获取待处理原始图像对应的目标多通道原始图像；基于所述目标多通道原始图像，利用预先训练获得的原始图像处理模型中的曝光恢复网络，获得所述待处理原始图像对应的曝光恢复后原始图像；基于所述曝光恢复后原始图像，利用所述原始图像处理模型中的色彩增强网络，获得所述曝光恢复后原始图像对应的色彩增强结果；基于所述色彩增强结果，确定所述待处理原始图像对应的处理后的目标图像。
本公开的第二个方面，提供了一种原始图像处理模型的训练方法，包括：获取至少一个训练原始图像和各所述训练原始图像分别对应的训练目标图像标签；基于各所述训练原始图像，确定各所述训练原始图像分别对应的训练多通道原始图像；基于各所述训练多通道原始图像和各所述训练目标图像标签，对原始图像处理网络进行训练，获得训练好的原始图像处理模型，所述原始图像处理网络包括曝光恢复网络和色彩增强网络。
本公开的第三个方面，提供了一种原始图像的处理装置，包括：第一获取模块，用于获取待处理原始图像对应的目标多通道原始图像；第一处理模块，用于基于所述目标多通道原始图像，利用预先训练获得的原始图像处理模型中的曝光恢复网络，获得所述待处理原始图像对应的曝光恢复后原始图像；第二处理模块，用于基于所述曝光恢复后原始图像，利用所述原始图像处理模型中的色彩增强网络，获得所述曝光恢复后原始图像对应的色彩增强结果；第三处理模块，用于基于所述色彩增强结果，确定所述待处理原始图像对应的处理后的目标图像。
本公开的第四个方面，提供了一种原始图像处理模型的训练装置，包括：第二获取模块，用于获取至少一个训练原始图像和各所述训练原始图像分别对应的训练目标图像标签；第四处理模块，用于基于各所述训练原始图像，确定各所述训练原始图像分别对应的训练多通道原始图像；训练处理模块，用于基于各所述训练多通道原始图像和各所述训练目标图像标签，对原始图像处理网络进行训练，获得训练好的原始图像处理模型，所述原始图像处理网络包括曝光恢复网络和色彩增强网络。
本公开的第五个方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的原始图像的处理方法，或者，用于执行本公开上述任一实施例所述的原始图像处理模型的训练方法。
本公开的第六个方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的原始图像的处理方法，或者，实现本公开上述任一实施例所述的原始图像处理模型的训练方法。
本公开的第七个方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令被处理器执行时，执行本公开上述任一实施例提供的原始图像的处理方法，或者，执行本公开上述任一实施例提供的原始图像处理模型的训练方法。
基于本公开上述实施例提供的原始图像的处理方法、模型的训练方法、装置和设备，基于原始图像处理模型中的曝光恢复网络和色彩增强网络实现了对原始图像的联合去噪去马赛克，通过曝光恢复网络去除原始图像因光照不足引起的像素级噪声，通过色彩增强网络有效模拟ISP处理的色彩增强步骤，恢复细节和准确的颜色，从而恢复出高质量的目标图像，大大提高目标图像的质量。
附图说明
图1是本公开提供的原始图像的处理方法的一个示例性的应用场景；
图2是本公开一示例性实施例提供的原始图像的处理方法的流程示意图；
图3是本公开另一示例性实施例提供的原始图像的处理方法的流程示意图；
图4是本公开一示例性实施例提供的Bayer格式的原始图像的打包原理示意图；
图5是本公开一示例性实施例提供的X-Trans 6*6格式的原始图像的打包原理示意图；
图6是本公开再一示例性实施例提供的原始图像的处理方法的流程示意图；
图7是本公开一示例性实施例提供的曝光恢复网络的网络结构示意图；
图8是本公开一示例性实施例提供的色彩增强网络的网络结构示意图；
图9是本公开一示例性实施例提供的第一色彩通道注意力网络的处理原理示意图；
图10是本公开一示例性实施例提供的残差卷积网络的网络结构示意图；
图11是本公开一示例性实施例提供的原始图像处理模型的训练方法的流程示意图；
图12是本公开另一示例性实施例提供的原始图像处理模型的训练方法的流程示意图；
图13是本公开再一示例性实施例提供的原始图像处理模型的训练方法的流程示意图；
图14是本公开一示例性实施例提供的原始图像的处理装置的结构示意图；
图15是本公开另一示例性实施例提供的原始图像的处理装置的结构示意图；
图16是本公开另一示例性实施例提供的第一获取模块501的结构示意图；
图17是本公开一示例性实施例提供的原始图像处理模型的训练装置的结构示意图；
图18是本公开另一示例性实施例提供的原始图像处理模型的训练装置的结构示意图；
图19是本公开再一示例性实施例提供的原始图像处理模型的训练装置的结构示意图；
图20是本公开实施例提供的一种电子设备的结构图。
具体实施方式
为了解释本公开，下面将参考附图详细地描述本公开的示例实施例，显然，所描述的实施例仅是本公开的一部分实施例，而不是全部实施例，应理解，本公开不受示例性实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本公开概述
在实现本公开的过程中，发明人发现，在图像处理的应用中，由于受到光子计数限制和复杂的图像信号处理(Image Signal Processing，简称：ISP)所引起的各种噪声的影响，将低光下的原始图像(即RAW图像)恢复成高质量的目标图像(比如RGB图像)是具有挑战性的任务。相关技术中，通常先将低光下的原始图像恢复为目标图像，再进行图像亮度增强，以提高图像质量，但是，从原始图像恢复的目标图像质量较低，导致最终增强后的图像质量较差。
示例性概述
图1是本公开提供的原始图像的处理方法的一个示例性的应用场景。
在自动驾驶场景，车辆上的图像传感器(比如摄像头)采集的原始图像可以作为待处理原始图像，原始图像是图像传感器输出的原始数据，即RAW(原生的、未经加工的)数据，RAW数据是CMOS、CCD等图像传感器将捕捉到的光源信号转化为数字信号的原始数据。具体比如RGGB、BGGR、GBRG、GRBG等2*2格式的数据，X-Trans CMOS输出的6*6格式的数据，等等。以RGGB格式为例，RGGB格式表示RAW数据的输出格式，也即RAW数据中不同颜色通道的输出顺序，R表示RED(红色)，G表示GREEN(绿色)，B表示BLUE(蓝色)，利用本公开的原始图像的处理方法(在本公开的原始图像的处理装置中执行)，可以获取待处理原始图像对应的目标多通道原始图像，基于目标多通道原始图像，利用预先训练获得的原始图像处理模型中的曝光恢复网络，获得待处理原始图像对应的曝光恢复后原始图像，基于曝光恢复后原始图像，利用原始图像处理模型中的色彩增强网络，获得曝光恢复后原始图像对应的色彩增强结果，基于色彩增强结果，确定待处理原始图像对应的处理后的目标图像。目标图像可以是处理后的色彩图像，比如RGB三通道色彩图像。曝光恢复网络用于去除光照不足引起的像素级噪声，色彩增强网络用于在曝光恢复网络生成的曝光恢复后原始图像中恢复细节和准确的颜色，以模拟ISP处理中的白平衡(White Balance)、伽玛校正(Gamma Correction)和颜色校正矩阵(Color Correction Matrix，简称：CCM)等步骤，达到更好的去马赛克的目的，从而基于原始图像处理模型实现了对待处理原始图像的联合去噪去马赛克，获得更高质量的处理后的目标图像，大大提高恢复出的目标图像的质量。
本公开的原始图像的处理方法不限应用于自动驾驶场景，还可以应用于其他任意需要图像采集的场景，比如手机、监视器、教育器材、医疗器械等的应用场景，具体可以根据实际需求设置。
示例性方法
图2是本公开一示例性实施例提供的原始图像的处理方法的流程示意图。本实施例可应用在电子设备上，具体比如终端设备、车载计算平台等电子设备上，如图2所示，包括如下步骤：
步骤201，获取待处理原始图像对应的目标多通道原始图像。
其中，待处理原始图像可以是从任意图像传感器获得的原始数据，比如RGGB、BGGR、GBRG、GRBG等2*2格式的数据，X-Trans CMOS输出的6*6格式的数据，等等。目标多通道原始图像是将待处理原始图像中不同通道像素值进行打包获得的多通道原始图像。不同格式的待处理原始图像可以根据其具体格式进行对应的打包，具体可以根据实际需求设置。比如对于Bayer格式获得的目标多通道原始图像为打包后的4通道原始图像。再比如对于X-Trans CMOS输出的6*6格式的待处理原始图像，获得的目标多通道原始图像为打包后的9通道原始图像。
步骤202，基于目标多通道原始图像，利用预先训练获得的原始图像处理模型中的曝光恢复网络，获得待处理原始图像对应的曝光恢复后原始图像。
其中，曝光恢复网络可以采用任意可实施的网络结构，比如基于编解码网络的网络结构，具体比如基于U型网络的网络结构、基于Resnet网络的网络结构、基于VGG网络的网络结构，等等。曝光恢复网络用于去除目标多通道原始图像中因光照不足引起的像素级噪声，从而将目标多通道原始图像恢复成正常曝光或长曝光的原始图像。对于低曝光的待处理原始图像，可以有效去除光照不足引起的噪声，大大提高原始图像质量。
步骤203，基于曝光恢复后原始图像，利用原始图像处理模型中的色彩增强网络，获得曝光恢复后原始图像对应的色彩增强结果。
其中，色彩增强网络用于模拟ISP处理中的白平衡(White Balance)、伽玛校正(Gamma Correction)和颜色校正矩阵(Color Correction Matrix，简称：CCM)等步骤，且能够达到更好的色彩增强效果。色彩增强网络的网络结构可以根据实际需求设置。
在一些可选的实施例中，色彩增强结果可以包括每个像素对应的色彩增强后的像素值。
在一些可选的实施例中，色彩增强结果的像素值可以是目标图像的色彩范围内的值，比如(0,255)范围内的值，也可以是归一化的(0,1)范围内的值，具体可以根据实际需求设置。
步骤204，基于色彩增强结果，确定待处理原始图像对应的处理后的目标图像。
其中，目标图像为处理后的色彩图像，比如RGB三通道色彩图像。
在一些可选的实施例中，若色彩增强结果的像素值为目标图像的色彩范围内的值，则可以直接将色彩增强结果作为目标图像。若色彩增强结果的像素值为归一化的(0,1)范围内的值，则可以通过将色彩增强结果每个像素值反归一化，获得处理后的目标图像。比如，可以将色彩增强结果的各像素值分别乘以255，获得RGB目标图像。
本实施例提供的原始图像的处理方法，基于原始图像处理模型中的曝光恢复网络和色彩增强网络实现了对原始图像的联合去噪去马赛克，通过曝光恢复网络去除原始图像因光照不足引起的像素级噪声，通过色彩增强网络有效模拟ISP处理的色彩增强步骤，恢复细节和准确的颜色，从而恢复出高质量的目标图像，大大提高目标图像的质量。
图3是本公开另一示例性实施例提供的原始图像的处理方法的流程示意图。
在一些可选的实施例中，步骤201的获取待处理原始图像对应的目标多通道原始图像，包括：
步骤201a，根据待处理原始图像对应的打包规则，对待处理原始图像进行打包处理，获得目标多通道原始图像。
其中，打包规则可以根据待处理原始图像的具体格式确定。
示例性的，图4是本公开一示例性实施例提供的Bayer格式的原始图像的打包原理示意图。本示例中，将Bayer格式的H*W*1的原始图像打包为(H/2)*(W/2)*4的目标多通道原始图像。
示例性的，图5是本公开一示例性实施例提供的X-Trans 6*6格式的原始图像的打包原理示意图。本示例中，将6*6格式的H*W*1的原始图像打包为(H/3)*(W/3)*9的目标多通道原始图像。
本实施例通过将待处理原始图像打包为目标多通道原始图像，有助于各通道的特征提取，为目标图像的获得提供有效的图像特征。
图6是本公开再一示例性实施例提供的原始图像的处理方法的流程示意图。
在一些可选的实施例中，步骤201的获取待处理原始图像对应的目标多通道原始图像，包括：
步骤2011，根据待处理原始图像对应的黑电平，对待处理原始图像进行黑电平去除处理，获得去除黑电平后的第一原始图像。
其中，黑电平是由图像传感器(Sensor)的构造产生的，由于图像传感器每个像素点都是由一个光电二极管控制的，由光电二极管将电信号转换为数字信号，像素点的像素值是与电信号强相关的，光电二极管想要工作，需要有一定的电压，这就使得在外部没有光线照射的时候，图像传感器也会有一定的电压，在成像时会叠加到电信号中，为了减少这部分电信号的影响，需要在成像时，将这部分对应的暗电流去除，这部分电流即称为黑电平。待处理原始图像对应的黑电平的具体数值可以采用任意可实施的方式获得，本公开不作限定。比如在图像传感器上可以预留一些完全没有曝光的像素点，通过读取这些像素点的像素值的大小，可以实时得到黑电平的数值。对待处理原始图像进行黑电平去除处理则可以通过将待处理原始图像中各像素的像素值分别减去黑电平的数值实现。
步骤2012，对第一原始图像进行归一化处理，获得归一化原始图像。
其中，归一化处理是指将第一原始图像中各像素的像素值转换到统一的归一化范围内。对第一原始图像进行归一化处理可以将第一原始图像的像素值变换到归一化范围内，在模型训练过程中，有助于模型的快速收敛。
示例性的，黑电平表示为bl，对于n比特的待处理原始图像的每个像素值表示为x，去除黑电平表示为x-bl，归一化后的像素值表示为x’＝(x-bl)/(2n-bl)。
步骤2013，根据待处理原始图像对应的打包规则，对归一化原始图像进行打包处理，获得目标多通道原始图像。
该步骤的具体打包原理可以参见前述内容，在此不再赘述。
本实施例通过对待处理原始图像进行黑电平去除，可以进一步提高原始图像的准确性，通过归一化处理，可以在模型训练阶段提高模型收敛速度。
在一些可选的实施例中，在步骤2012的对第一原始图像进行归一化处理，获得归一化原始图像之前，还包括：根据待处理原始图像对应的放大因子对第一原始图像的像素值进行放大处理，获得放大后原始图像。
其中，待处理原始图像对应的放大因子可以根据待处理原始图像对应的曝光时间与预设曝光时间确定，预设曝光时间为能够使图像传感器获得足够光照的正常曝光时间，可以根据实际需求设置。对第一原始图像的像素值进行放大可以降低短曝光待处理原始图像与长曝光原始图像的像素值之间的较大差距，在模型训练阶段，有助于模型对短曝光原始图像的感知，避免因短曝光原始图像像素值与对应的长曝光原始图像像素值差距太大导致模型无法有效学习的情况发生。
步骤2012的对第一原始图像进行归一化处理，获得归一化原始图像，包括：对放大后原始图像进行归一化处理，获得归一化原始图像。
本实施例通过对第一原始图像的像素值进行放大，可以在模型训练阶段有效降低短曝光原始图像与长曝光原始图像的像素值之间的差距，提高模型对短曝光图像的可学习性，有助于模型的快速收敛。
在一些可选的实施例中，步骤202的基于目标多通道原始图像，利用预先训练获得的原始图像处理模型中的曝光恢复网络，获得待处理原始图像对应的曝光恢复后原始图像，包括：
步骤2021，利用曝光恢复网络中的编码器网络，对目标多通道原始图像进行处理，获得编码结果。
其中，编码器网络可以采用任意可实施的网络结构实现，比如基于卷积神经网络实现。编码器网络可以包括一个或多个编码器，用于提取目标多通道原始图像的至少一个尺度的特征。编码结果包括编码器网络提取的目标多通道原始图像的预设尺度的特征。具体尺度可以根据实际需求设置。
步骤2022，利用曝光恢复网络中的解码器网络，对编码结果进行处理，获得曝光恢复后原始图像。
其中，解码器网络可以采用任意可实施的网络结构实现，比如基于卷积神经网络实现。解码器网络可以包括一个或多个解码器，用于从编码结果恢复分辨率，最终获得与目标多通道原始图像分辨率一致的曝光恢复后原始图像。
本实施例基于编码器网络和解码器网络实现曝光恢复网络，有效去除因光照不足引起的像素级噪声，提升原始图像的质量。
在一些可选的实施例中，编码器网络包括第一数量个编码器，解码器网络包括分别与第一数量个编码器对应的第一数量个解码器。
步骤2021的利用曝光恢复网络中的编码器网络，对目标多通道原始图像进行处理，获得编码结果，包括：
利用编码器网络中的第i个编码器，对第i-1编码结果进行处理，获得第i编码结果；其中，i＝1、2、…、N，N表示第一数量，第1个编码器对目标多通道原始图像进行处理，获得第1编码结果，第N编码结果作为编码器网络的编码结果。
其中，每个编码器可以基于卷积层、池化层、激活函数等实现，具体网络结构可以根据实际需求设置。
步骤2022的利用曝光恢复网络中的解码器网络，对编码结果进行处理，获得曝光恢复后原始图像，包括：
利用解码器网络中的第j个解码器，对第j-1解码结果和第j个解码器对应的第N-j+1个编码器的第N-j+1编码结果进行处理，获得第j解码结果；其中，j＝1、2、…、N，第1个解码器对编码器网络的编码结果进行处理，获得第1解码结果，第N解码结果作为曝光恢复后原始图像。
其中，解码器可以基于卷积层、转置卷积层、激活函数等实现，具体网络结构可以根据实际需求设置。
示例性的，图7是本公开一示例性实施例提供的曝光恢复网络的网络结构示意图。目标多通道原始图像通过编码器1至编码器N可以获得N个编码器分别对应的编码结果，编码器N的编码结果作为编码器网络的编码结果输入到解码器网络。解码器网络中的解码器1至解码器N依次解码，获得曝光恢复后原始图像。其中，解码器2至解码器N的输入均包括来自其前一解码器的解码结果和来自其对应的编码器的编码结果，通过跳跃连接使得上下文信息在所有层中得到充分传播，并且可以保留高分辨率的细节。
在一些可选的实施例中，曝光恢复网络还可以包括瓶颈网络，编码结果经瓶颈网络处理后作为解码器网络的输入，编码器N的编码结果通过跳跃连接作为解码器网络的输入，具体可以根据实际需求设置。瓶颈网络可以包括一个或多个卷积层及其他相关网络层，具体不作限定。
本实施例基于多个编码器和多个解码器，结合编码器与解码器之间的跳跃连接，实现了对目标多通道原始图像的有效去噪，且通过跳跃连接使得编解码过程中上下文信息可以在所有层中得到充分传播，并且可以保留高分辨率的细节，有效提高获得的曝光恢复后原始图像的质量。由于编码器网络和解码器网络可以采用完全卷积的设计，使得曝光恢复网络可以处理任何大小的图像，甚至是全分辨率的图像，比如6000*4000分辨率的原始图像。
在一些可选的实施例中，步骤203的基于曝光恢复后原始图像，利用原始图像处理模型中的色彩增强网络，获得曝光恢复后原始图像对应的色彩增强结果，包括：
步骤2031，利用色彩增强网络中的第一色彩通道注意力网络，对曝光恢复后原始图像进行处理，获得第一注意力结果。
其中，第一色彩通道注意力网络是基于注意力机制实现的网络，具体网络结构可以根据实际需求设置。第一色彩通道注意力网络用于重新排列颜色通道，为生成目标图像提供有效的注意力结果。
步骤2032，利用色彩增强网络中的残差卷积网络，对第一注意力结果进行处理，获得第一中间结果。
其中，残差卷积网络可以基于卷积层和残差连接实现，具体网络结构可以根据实际需求设置。由于曝光恢复后原始图像是曝光恢复网络预测获得的伪长曝光原始图像，第一色彩通道注意力网络作用在于重新排列颜色通道，因此，获得的第一注意力结果可能仍然包括一些噪点，对此，残差卷积网络可以用于模拟对第一注意力结果的去噪过程，在模型训练过程中有助于学习噪声和提高收敛速度。
步骤2033，利用色彩增强网络中的像素重排网络，对第一中间结果进行处理，获得像素重排结果。
其中，像素重排(PixelShuffle)网络可以基于任意可实施的网络结构实现，比如基于卷积神经网络实现，像素重排网络的主要功能是将低分辨率的特征图，通过卷积和多通道间的重组得到高分辨率的特征图。像素重排网络可以有效模拟传统的颜色校正矩阵，且基于神经网络的学习泛化能力，相对于传统的颜色校正矩阵，像素重排网络可以达到更好的颜色校正效果，有助于进一步提升目标图像的质量。
步骤2034，利用色彩增强网络中的第二色彩通道注意力网络，对像素重排结果进行处理，获得色彩增强结果。
其中，第二色彩通道注意力网络的网络结构和作用与上述第一色彩通道注意力网络类似，在此不再赘述。
示例性的，图8是本公开一示例性实施例提供的色彩增强网络的网络结构示意图。曝光恢复后原始图像输入到第一色彩通道注意力网络进行处理，获得第一注意力结果，通过残差卷积网络对第一注意力结果进行处理，获得第一中间结果，通道像素重排网络对第一中间结果进行像素重排，获得像素重排结果，通过第二色彩通道注意力网络对像素重排结果进行注意力操作，获得色彩增强结果。
本实施例通过第一色彩通道注意力网络对曝光恢复后原始图像进行颜色通道重排，通过残差卷积网络进一步去除噪声，通过像素重排网络从低分辨率的特征图获得高分辨率的特征图，进而通过第二色彩通道注意力网络对重排后的高分辨率特征图进行注意力操作，获得色彩增强结果，有效模拟ISP处理过程，且相对于传统的ISP处理，可以获得更高质量目标图像。
在一些可选的实施例中，步骤2031的利用色彩增强网络中的第一色彩通道注意力网络，对曝光恢复后原始图像进行处理，获得第一注意力结果，包括：
对曝光恢复后原始图像进行池化处理，获得池化后的第一特征图；基于第一特征图，确定曝光恢复后原始图像对应的第一注意力权重；基于曝光恢复后原始图像和第一注意力权重，确定第一注意力结果。
其中，池化处理的具体池化方式可以根据实际需求设置，比如可采用完全平均池化(Global Average Pooling，简称GAP)。第一注意力权重可以基于预设函数获得，比如计算自适应卷积核大小的函数，本公开不作限定。通过第一注意力权重对曝光恢复后原始图像进行注意力操作，获得第一注意力结果。
示例性的，图9是本公开一示例性实施例提供的第一色彩通道注意力网络的处理原理示意图。其中，曝光恢复后原始图像表示为C*H*W的图像，C表示通道数量，H*W表示每个通道的图像的尺寸为高度*宽度，GAP表示全局平均池化，通过GAP得到池化后的1*1*C的第一特征图，k＝ψ(C)表示计算自适应卷积核大小k，自适应卷积核大小k可以用于一维卷积，得到每个通道的注意力权重，基于各通道的注意力权重，获得1*1*C的第一注意力权重，基于第一注意力权重对曝光恢复后原始图像进行注意力操作(图中)，获得C*H*W的第一注意力结果。
本实施例通过第一色彩通道注意力网络捕捉各颜色通道之间的连接和一致性，从而实现对颜色通道的重排，为目标图像的生成获得有效的重排结果。
在一些可选的实施例中，步骤2032的利用色彩增强网络中的残差卷积网络，对第一注意力结果进行处理，获得第一中间结果，包括：
利用残差卷积网络中的第一卷积层，对第一注意力结果进行处理，获得第一处理结果；利用残差卷积网络中的中间卷积层，对第一处理结果进行处理，获得第二处理结果，中间卷积层包括至少一个卷积层和各卷积层分别对应的激活函数；利用残差卷积网络中的融合层，对第一处理结果和第二处理结果进行融合，获得第一融合结果；利用残差卷积网络中的第二卷积层，对第一融合结果进行处理，获得第一中间结果。
其中，第一卷积层可以包括一个卷积层和激活函数组(比如Conv+Relu)，第二卷积层可以包括一个卷积层和激活函数组。中间卷积层可以包括至少一个卷积层和激活函数组，融合层可以为实现对应元素相加的add层。
示例性的，图10是本公开一示例性实施例提供的残差卷积网络的网络结构示意图。本示例性中，中间卷积层包括M个卷积和激活函数组(Conv+Relu)。M可以根据实际需求设置，比如可以设置为15、14、13，等等，具体不作限定。本示例中激活函数以Relu为例，实际应用中可以根据实际需求设置激活函数类型，不限于Relu。
本实施例通过第一处理结果和第二处理结果融合，实现残差连接，在模型训练过程中可以加速训练过程的收敛并学习每个通道的颜色残差，达到进一步去噪的目的，从而进一步提高色彩增强效果。
在一些可选的实施例中，步骤2034的利用色彩增强网络中的第二色彩通道注意力网络，对像素重排结果进行处理，获得色彩增强结果，包括：
对像素重排结果进行池化处理，获得池化后的第二特征图；基于第二特征图，确定像素重排结果对应的第二注意力权重；基于像素重排结果和第二注意力权重，确定色彩增强结果。
其中，第二色彩通道注意力网络的具体网络结构可以参见前述第一色彩通道注意力网络，两者的网络参数不同，在此不再赘述。
本实施例通过第二色彩通道注意力网络进一步对像素重排结果捕捉各颜色通道之间的连接和一致性，从而获得更高质量的目标图像。
本公开的原始图像处理模型需要预先训练获得，具体训练过程可以参见本公开的原始图像处理模型的训练方法实施例，在此不作赘述。
本公开实施例根据原始图像每个像素只有一个颜色、区域的局部信息相关的特殊性质，通过曝光恢复网络和色彩增强网络实现了学习和构建不同颜色通道之间的通道连接，从而可以从提取的特征中重新排列通道关系，进而重构出高质量的目标图像。
本公开上述各实施例可以单独实施也可以在不冲突的情况下以任意组合方式结合实施，具体可以根据实际需求设置，本公开不做限定。
本公开实施例提供的任一种原始图像的处理方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种原始图像的处理方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种原始图像的处理方法。下文不再赘述。
图11是本公开一示例性实施例提供的原始图像处理模型的训练方法的流程示意图。本实施例可应用在电子设备上，具体比如服务器、终端设备等电子设备上，如图11所示，包括如下步骤：
步骤301，获取至少一个训练原始图像和各训练原始图像分别对应的训练目标图像标签。
其中，训练原始图像可以为短曝光原始图像，训练目标图像标签为训练原始图像对应的处理后的色彩图像，比如RGB图像。
在一些可选的实施例中，训练目标图像标签可以是基于训练原始图像对应的长曝光原始图像，采用传统的ISP处理或其他可实施的方式获得。
步骤302，基于各训练原始图像，确定各训练原始图像分别对应的训练多通道原始图像。
其中，训练多通道原始图像可以基于训练原始图像对应的打包规则进行打包获得，具体打包原理可以参见前述实施例，在此不再赘述。
步骤303，基于各训练多通道原始图像和各训练目标图像标签，对原始图像处理网络进行训练，获得训练好的原始图像处理模型，原始图像处理网络包括曝光恢复网络和色彩增强网络。
其中，原始图像处理网络的具体网络结构可以参见前述实施例，在此不再赘述。
在一些可选的实施例中，模型的训练过程可以包括：利用原始图像处理网络对各训练多通道原始图像进行处理，获得各训练原始图像分别对应的预测目标图像，基于各预测目标图像和各训练目标图像标签，确定网络损失，基于网络损失对原始图像处理网络进行更新，获得更新后的原始图像处理网络，若更新后的原始图像处理网络满足训练结束条件，结束训练，获得训练好的原始图像处理模型，若更新后的原始图像处理网络不满足训练结束条件，则重复执行利用更新后的原始图像处理网络对各训练多通道原始图像进行处理，获得各训练原始图像分别对应的预测目标图像的步骤及其后续步骤，直至获得的更新后的原始图像处理网络满足训练结束条件，获得训练好的原始图像处理模型。
本实施例通过训练获得原始图像处理模型，用于对原始图像的处理，可以基于曝光恢复网络和色彩增强网络实现对原始图像的联合去噪去马赛克处理，获得更高质量的目标图像，大大提高目标图像质量。
图12是本公开另一示例性实施例提供的原始图像处理模型的训练方法的流程示意图。
在一些可选的实施例中，步骤301的获取至少一个训练原始图像和各训练原始图像分别对应的训练目标图像标签，包括：
步骤3011，获取至少一个训练短曝光原始图像和各训练短曝光原始图像分别对应的训练长曝光原始图像。
其中，训练短曝光原始图像和训练长曝光原始图像作为原始图像对，训练短曝光原始图像用于作为训练样本，训练长曝光原始图像用于确定监督标签，以提升原始图像处理模型的性能。
在一些可选的实施例中，训练短曝光原始图像和对应的训练长曝光原始图像可以是将图像传感器置于同一姿态下，分别通过不同的曝光时间采集获得。
步骤3012，将训练短曝光原始图像作为训练原始图像。
步骤3013，基于各训练长曝光原始图像，确定各训练原始图像分别对应的训练目标图像标签。
其中，训练目标图像标签可以基于白平衡、伽玛校正、颜色校正矩阵等ISP处理获得。
步骤3012和步骤3013不分先后顺序。
本实施例通过长短曝光原始图像对获得用于模型训练的训练样本和标签，从而可以基于长曝光原始图像监督模型的学习，使得模型能够达到去噪去马赛克的目的。
在一些可选的实施例中，对于训练原始图像，还可以进行去黑电平、归一化、基于放大因子进行放大等处理中的至少一种处理，各种处理的具体操作参见前述实施例，在此不再赘述。模型的应用阶段和训练阶段对原始图像的处理可以保持一致。
图13是本公开再一示例性实施例提供的原始图像处理模型的训练方法的流程示意图。
在一些可选的实施例中，本公开的方法还包括：
步骤3014，基于各训练长曝光原始图像，确定各训练长曝光原始图像分别对应的训练多通道长曝光原始图像。
其中，训练多通道长曝光原始图像可以基于训练长曝光原始图像对应的打包规则进行打包获得，具体操作原理参见前述实施例，在此不再赘述。
步骤3014与步骤3012和步骤3013不分先后顺序。
步骤303的基于各训练多通道原始图像和各训练目标图像标签，对原始图像处理网络进行训练，获得训练好的原始图像处理模型，包括：
步骤3031，利用曝光恢复网络，对各训练多通道原始图像进行处理，获得各训练多通道原始图像分别对应的训练曝光恢复后原始图像。
步骤3032，利用色彩增强网络，对各训练曝光恢复后原始图像进行处理，获得各训练曝光恢复后原始图像分别对应的训练色彩增强结果。
步骤3033，基于各训练色彩增强结果，确定各训练原始图像分别对应的预测目标图像。
步骤3031至步骤3033的具体操作参见前述实施例，在此不再赘述。
步骤3034，基于各训练曝光恢复后原始图像、各训练多通道长曝光原始图像、各预测目标图像和各训练目标图像标签，确定网络损失。
其中，训练多通道长曝光原始图像用于对训练曝光恢复后原始图像进行监督，训练目标图像标签用于对预测目标图像进行监督，以提高曝光恢复网络对原始图像的曝光恢复能力，以及色彩增强网络对曝光恢复网络恢复的原始图像的色彩增强能力，从而不断提升模型的性能，以达到有效去噪去马赛克的效果。网络损失可以基于预设损失函数获得，预设损失函数可以根据实际需求设置，比如可以采用平均绝对误差损失函数(L1 loss)、均方误差损失函数(L2 loss)、Charbonnier损失函数，等等。Charbonnier损失函数相对于L1和L2损失函数，具有更好的稳定性。
步骤3035，基于网络损失，对原始图像处理网络的网络参数进行更新，获得更新后的原始图像处理网络。
其中，对网络参数的更新可以采用任意可实施的梯度下降法实现，比如随机梯度下降法、自适应学习率的梯度下降法，等等，具体可以根据实际需求设置。
步骤3036，响应于更新后的原始图像处理网络满足训练结束条件，基于更新后的原始图像处理网络，获得训练好的原始图像处理模型。
其中，训练结束条件可以包括模型收敛或迭代次数到达预设次数阈值，具体可以根据实际需求设置，本公开不作限定。
在一些可选的实施例中，若更新后的原始图像处理网络不满足训练结束条件，可以将更新后的原始图像处理网络作为上述的原始图像处理网络，重复执行步骤3031至步骤3035，直至更新后的原始图像处理网络满足训练结束条件，获得训练好的原始图像处理模型。
本实施例通过对曝光恢复网络的曝光恢复结果和色彩增强网络的色彩增强结果同时进行监督训练，可以有效提高模型的曝光恢复能力和色彩增强能力，进一步提升模型性能，从而进一步提高模型预测获得的目标图像的质量。
在一些可选的实施例中，步骤3034的基于各训练曝光恢复后原始图像、各训练多通道长曝光原始图像、各预测目标图像和各训练目标图像标签，确定网络损失，包括：
基于各训练曝光恢复后原始图像、各训练多通道长曝光原始图像和第一重建损失函数，确定第一重建损失；基于各训练曝光恢复后原始图像、各训练多通道长曝光原始图像和第一感知损失函数，确定第一感知损失；基于各预测目标图像、各训练目标图像标签和第二重建损失函数，确定第二重建损失；基于各预测目标图像、各训练目标图像标签和第二感知损失函数，确定第二感知损失；基于第一重建损失、第二重建损失、第一感知损失和第二感知损失，确定网络损失。
其中，第一重建损失函数和第二重建损失函数可以采用平均绝对误差损失函数(L1 loss)、均方误差损失函数(L2 loss)、Charbonnier损失函数，等等。第一感知损失函数和第二感知损失函数可以采用MS-SSIM(Multiscale Structure Similarity，多尺度结构相似性)损失函数。MS-SSIM损失函数用于衡量两幅图像之间的差距。第一感知损失函数和第二感知损失函数可以综合表示如下：
其中，N表示训练短曝光原始图像和训练长曝光原始图像的图像对的总数量，yplr表示曝光恢复网络获得的训练曝光恢复后原始图像，xlr表示训练多通道长曝光原始图像，yrec表示预测目标图像，ygt表示训练目标图像标签，MS-SSIM(a，b)表示计算图像a和图像b的多尺度结构相似性。
本实施例通过曝光恢复网络的重建损失和感知损失，结合整个网络的重建损失和感知损失，用于模型的网络参数更新，综合考虑了像素级重建损失和图像的多尺度结构相似性，可以进一步提升模型性能，从而进一步提高获得的目标图像的质量。
本公开上述各实施例可以单独实施也可以在不冲突的情况下以任意组合方式结合实施，具体可以根据实际需求设置，本公开不做限定。
本公开实施例提供的任一种原始图像处理模型的训练方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种原始图像处理模型的训练方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种原始图像处理模型的训练方法。下文不再赘述。
示例性装置
图14是本公开一示例性实施例提供的原始图像的处理装置的结构示意图。该实施例的装置可用于实现本公开相应的原始图像的处理方法实施例，如图14所示的装置包括：第一获取模块501、第一处理模块502、第二处理模块503和第三处理模块504。
第一获取模块501，用于获取待处理原始图像对应的目标多通道原始图像。
第一处理模块502，用于基于目标多通道原始图像，利用预先训练获得的原始图像处理模型中的曝光恢复网络，获得待处理原始图像对应的曝光恢复后原始图像。
第二处理模块503，用于基于曝光恢复后原始图像，利用原始图像处理模型中的色彩增强网络，获得曝光恢复后原始图像对应的色彩增强结果。
第三处理模块504，用于基于色彩增强结果，确定待处理原始图像对应的处理后的目标图像。
图15是本公开另一示例性实施例提供的原始图像的处理装置的结构示意图。
在一些可选的实施例中，第一获取模块501包括：
第一打包单元501a，用于根据待处理原始图像对应的打包规则，对待处理原始图像进行打包处理，获得目标多通道原始图像。
图16是本公开另一示例性实施例提供的第一获取模块501的结构示意图。
在一些可选的实施例中，第一获取模块501包括：第一处理单元5011、归一化单元5012和第二打包单元5013。
第一处理单元5011，用于根据待处理原始图像对应的黑电平，对待处理原始图像进行黑电平去除处理，获得去除黑电平后的第一原始图像。
归一化单元5012，用于对第一原始图像进行归一化处理，获得归一化原始图像。
第二打包单元5013，用于根据待处理原始图像对应的打包规则，对归一化原始图像进行打包处理，获得目标多通道原始图像。
在一些可选的实施例中，第一处理单元5011还用于根据待处理原始图像对应的放大因子对第一原始图像的像素值进行放大处理，获得放大后原始图像。归一化单元5012具体用于：对放大后原始图像进行归一化处理，获得归一化原始图像。
在一些可选的实施例中，第一处理模块502包括：编码单元5021和解码单元5022。
编码单元5021，用于利用曝光恢复网络中的编码器网络，对目标多通道原始图像进行处理，获得编码结果。
解码单元5022，用于利用曝光恢复网络中的解码器网络，对编码结果进行处理，获得曝光恢复后原始图像。
在一些可选的实施例中，编码器网络包括第一数量个编码器，解码器网络包括分别与第一数量个编码器对应的第一数量个解码器。
编码单元5021具体用于：利用编码器网络中的第i个编码器，对第i-1编码结果进行处理，获得第i编码结果；其中，i＝1、2、…、N，N表示第一数量，第1个编码器对目标多通道原始图像进行处理，获得第1编码结果，第N编码结果作为编码器网络的编码结果。
解码单元5022具体用于：利用解码器网络中的第j个解码器，对第j-1解码结果和第j个解码器对应的第N-j+1个编码器的第N-j+1编码结果进行处理，获得第j解码结果；其中，j＝1、2、…、N，第1个解码器对编码器网络的编码结果进行处理，获得第1解码结果，第N解码结果作为曝光恢复后原始图像。
在一些可选的实施例中，第二处理模块503包括：第二处理单元5031、第三处理单元5032、第四处理单元5033和第五处理单元5034。
第二处理单元5031，用于利用色彩增强网络中的第一色彩通道注意力网络，对曝光恢复后原始图像进行处理，获得第一注意力结果。
第三处理单元5032，用于利用色彩增强网络中的残差卷积网络，对第一注意力结果进行处理，获得第一中间结果。
第四处理单元5033，用于利用色彩增强网络中的像素重排网络，对第一中间结果进行处理，获得像素重排结果。
第五处理单元5034，用于利用色彩增强网络中的第二色彩通道注意力网络，对像素重排结果进行处理，获得色彩增强结果。
在一些可选的实施例中，第二处理单元5031具体用于：
对曝光恢复后原始图像进行池化处理，获得池化后的第一特征图；基于第一特征图，确定曝光恢复后原始图像对应的第一注意力权重；基于曝光恢复后原始图像和第一注意力权重，确定第一注意力结果。
在一些可选的实施例中，第三处理单元5032具体用于：
利用残差卷积网络中的第一卷积层，对第一注意力结果进行处理，获得第一处理结果；利用残差卷积网络中的中间卷积层，对第一处理结果进行处理，获得第二处理结果，中间卷积层包括至少一个卷积层和各卷积层分别对应的激活函数；利用残差卷积网络中的融合层，对第一处理结果和第二处理结果进行融合，获得第一融合结果；利用残差卷积网络中的第二卷积层，对第一融合结果进行处理，获得第一中间结果。
在一些可选的实施例中，第五处理单元5034具体用于：
对像素重排结果进行池化处理，获得池化后的第二特征图；基于第二特征图，确定像素重排结果对应的第二注意力权重；基于像素重排结果和第二注意力权重，确定色彩增强结果。
本装置示例性实施例对应的有益技术效果可以参见上述示例性方法部分的相应有益技术效果，在此不再赘述。
图17是本公开一示例性实施例提供的原始图像处理模型的训练装置的结构示意图。该实施例的装置可用于实现本公开相应的原始图像处理模型的训练方法实施例，如图17所示的装置包括：第二获取模块601、第四处理模块602和训练处理模块603。
第二获取模块601，用于获取至少一个训练原始图像和各训练原始图像分别对应的训练目标图像标签。
第四处理模块602，用于基于各训练原始图像，确定各训练原始图像分别对应的训练多通道原始图像。
训练处理模块603，用于基于各训练多通道原始图像和各训练目标图像标签，对原始图像处理网络进行训练，获得训练好的原始图像处理模型，原始图像处理网络包括曝光恢复网络和色彩增强网络。
图18是本公开另一示例性实施例提供的原始图像处理模型的训练装置的结构示意图。
在一些可选的实施例中，第二获取模块601包括：第一获取单元6011、第一确定单元6012和第二确定单元6013。
第一获取单元6011，用于获取至少一个训练短曝光原始图像和各训练短曝光原始图像分别对应的训练长曝光原始图像。
第一确定单元6012，用于将训练短曝光原始图像作为训练原始图像。
第二确定单元6013，用于基于各训练长曝光原始图像，确定各训练原始图像分别对应的训练目标图像标签。
图19是本公开再一示例性实施例提供的原始图像处理模型的训练装置的结构示意图。
在一些可选的实施例中，第二获取模块601还包括：
第三确定单元6014，用于基于各训练长曝光原始图像，确定各训练长曝光原始图像分别对应的训练多通道长曝光原始图像。
训练处理模块603包括：第六处理单元6031、第七处理单元6032、第八处理单元6033、第九处理单元6034、参数更新单元6035和第十处理单元6036。
第六处理单元6031，用于利用曝光恢复网络，对各训练多通道原始图像进行处理，获得各训练多通道原始图像分别对应的训练曝光恢复后原始图像。
第七处理单元6032，用于利用色彩增强网络，对各训练曝光恢复后原始图像进行处理，获得各训练曝光恢复后原始图像分别对应的训练色彩增强结果。
第八处理单元6033，用于基于各训练色彩增强结果，确定各训练原始图像分别对应的预测目标图像。
第九处理单元6034，用于基于各训练曝光恢复后原始图像、各训练多通道长曝光原始图像、各预测目标图像和各训练目标图像标签，确定网络损失。
参数更新单元6035，用于基于网络损失，对原始图像处理网络的网络参数进行更新，获得更新后的原始图像处理网络。
第十处理单元6036，用于响应于更新后的原始图像处理网络满足训练结束条件，基于更新后的原始图像处理网络，获得训练好的原始图像处理模型。
在一些可选的实施例中，第九处理单元6034具体用于：
基于各训练曝光恢复后原始图像、各训练多通道长曝光原始图像和第一重建损失函数，确定第一重建损失；基于各训练曝光恢复后原始图像、各训练多通道长曝光原始图像和第一感知损失函数，确定第一感知损失；基于各预测目标图像、各训练目标图像标签和第二重建损失函数，确定第二重建损失；基于各预测目标图像、各训练目标图像标签和第二感知损失函数，确定第二感知损失；基于第一重建损失、第二重建损失、第一感知损失和第二感知损失，确定网络损失。
本装置示例性实施例对应的有益技术效果可以参见上述示例性方法部分的相应有益技术效果，在此不再赘述。
示例性电子设备
图20是本公开实施例提供的一种电子设备的结构图，包括至少一个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行一个或多个计算机程序指令，以实现上文中本公开的各个实施例的方法和/或其他期望的功能。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。
该输入装置13还可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，其可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图20中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以提供一种计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述“示例性方法”部分中描述的本公开各种实施例的方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述“示例性方法”部分中描述的本公开各种实施例的方法中的步骤。
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如但不限于包括电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为其是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本领域的技术人员可以对本公开进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (17)

1.一种原始图像的处理方法，包括：
获取待处理原始图像对应的目标多通道原始图像；
基于所述目标多通道原始图像，利用预先训练获得的原始图像处理模型中的曝光恢复网络，获得所述待处理原始图像对应的曝光恢复后原始图像；
基于所述曝光恢复后原始图像，利用所述原始图像处理模型中的色彩增强网络，获得所述曝光恢复后原始图像对应的色彩增强结果；
基于所述色彩增强结果，确定所述待处理原始图像对应的处理后的目标图像。
2.根据权利要求1所述的方法，其中，所述基于所述曝光恢复后原始图像，利用所述原始图像处理模型中的色彩增强网络，获得所述曝光恢复后原始图像对应的色彩增强结果，包括：
利用所述色彩增强网络中的第一色彩通道注意力网络，对所述曝光恢复后原始图像进行处理，获得第一注意力结果；
利用所述色彩增强网络中的残差卷积网络，对所述第一注意力结果进行处理，获得第一中间结果；
利用所述色彩增强网络中的像素重排网络，对所述第一中间结果进行处理，获得像素重排结果；
利用所述色彩增强网络中的第二色彩通道注意力网络，对所述像素重排结果进行处理，获得所述色彩增强结果。
3.根据权利要求2所述的方法，其中，所述利用所述色彩增强网络中的残差卷积网络，对所述第一注意力结果进行处理，获得第一中间结果，包括：
利用所述残差卷积网络中的第一卷积层，对所述第一注意力结果进行处理，获得第一处理结果；
利用所述残差卷积网络中的中间卷积层，对所述第一处理结果进行处理，获得第二处理结果，所述中间卷积层包括至少一个卷积层和各卷积层分别对应的激活函数；
利用所述残差卷积网络中的融合层，对所述第一处理结果和所述第二处理结果进行融合，获得第一融合结果；
利用所述残差卷积网络中的第二卷积层，对所述第一融合结果进行处理，获得所述第一中间结果。
4.根据权利要求2所述的方法，其中，所述利用所述色彩增强网络中的第一色彩通道注意力网络，对所述曝光恢复后原始图像进行处理，获得第一注意力结果，包括：
对所述曝光恢复后原始图像进行池化处理，获得池化后的第一特征图；
基于所述第一特征图，确定所述曝光恢复后原始图像对应的第一注意力权重；
基于所述曝光恢复后原始图像和所述第一注意力权重，确定所述第一注意力结果；和/或，
所述利用所述色彩增强网络中的第二色彩通道注意力网络，对所述像素重排结果进行处理，获得所述色彩增强结果，包括：
对所述像素重排结果进行池化处理，获得池化后的第二特征图；
基于所述第二特征图，确定所述像素重排结果对应的第二注意力权重；
基于所述像素重排结果和所述第二注意力权重，确定所述色彩增强结果。
5.根据权利要求1所述的方法，其中，所述基于所述目标多通道原始图像，利用预先训练获得的原始图像处理模型中的曝光恢复网络，获得所述待处理原始图像对应的曝光恢复后原始图像，包括：
利用所述曝光恢复网络中的编码器网络，对所述目标多通道原始图像进行处理，获得编码结果；
利用所述曝光恢复网络中的解码器网络，对所述编码结果进行处理，获得所述曝光恢复后原始图像。
6.根据权利要求5所述的方法，其中，所述编码器网络包括第一数量个编码器，所述解码器网络包括分别与第一数量个编码器对应的第一数量个解码器；
所述利用所述曝光恢复网络中的编码器网络，对所述目标多通道原始图像进行处理，获得编码结果，包括：
利用所述编码器网络中的第i个编码器，对第i-1编码结果进行处理，获得第i编码结果；其中，i＝1、2、…、N，N表示第一数量，第1个编码器对所述目标多通道原始图像进行处理，获得第1编码结果，第N编码结果作为所述编码器网络的所述编码结果；
所述利用所述曝光恢复网络中的解码器网络，对所述编码结果进行处理，获得所述曝光恢复后原始图像，包括：
利用所述解码器网络中的第j个解码器，对第j-1解码结果和所述第j个解码器对应的第N-j+1个编码器的第N-j+1编码结果进行处理，获得第j解码结果；其中，j＝1、2、…、N，第1个解码器对所述编码器网络的所述编码结果进行处理，获得第1解码结果，第N解码结果作为所述曝光恢复后原始图像。
7.根据权利要求1所述的方法，其中，所述获取待处理原始图像对应的目标多通道原始图像，包括：
根据所述待处理原始图像对应的打包规则，对所述待处理原始图像进行打包处理，获得所述目标多通道原始图像。
8.根据权利要求1所述的方法，其中，所述获取待处理原始图像对应的目标多通道原始图像，包括：
根据所述待处理原始图像对应的黑电平，对所述待处理原始图像进行黑电平去除处理，获得去除黑电平后的第一原始图像；
对所述第一原始图像进行归一化处理，获得归一化原始图像；
根据所述待处理原始图像对应的打包规则，对所述归一化原始图像进行打包处理，获得所述目标多通道原始图像。
9.根据权利要求8所述的方法，其中，在所述对所述第一原始图像进行归一化处理，获得归一化原始图像之前，还包括：
根据所述待处理原始图像对应的放大因子对所述第一原始图像的像素值进行放大处理，获得放大后原始图像；
所述对所述第一原始图像进行归一化处理，获得归一化原始图像，包括：
对所述放大后原始图像进行归一化处理，获得所述归一化原始图像。
10.一种原始图像处理模型的训练方法，包括：
获取至少一个训练原始图像和各所述训练原始图像分别对应的训练目标图像标签；
基于各所述训练原始图像，确定各所述训练原始图像分别对应的训练多通道原始图像；
基于各所述训练多通道原始图像和各所述训练目标图像标签，对原始图像处理网络进行训练，获得训练好的原始图像处理模型，所述原始图像处理网络包括曝光恢复网络和色彩增强网络。
11.根据权利要求10所述的方法，其中，所述获取至少一个训练原始图像和各所述训练原始图像分别对应的训练目标图像标签，包括：
获取至少一个训练短曝光原始图像和各所述训练短曝光原始图像分别对应的训练长曝光原始图像；
将所述训练短曝光原始图像作为所述训练原始图像；
基于各所述训练长曝光原始图像，确定各所述训练原始图像分别对应的所述训练目标图像标签。
12.根据权利要求11所述的方法，还包括：
基于各所述训练长曝光原始图像，确定各所述训练长曝光原始图像分别对应的训练多通道长曝光原始图像；
所述基于各所述训练多通道原始图像和各所述训练目标图像标签，对原始图像处理网络进行训练，获得训练好的原始图像处理模型，包括：
利用所述曝光恢复网络，对各所述训练多通道原始图像进行处理，获得各所述训练多通道原始图像分别对应的训练曝光恢复后原始图像；
利用所述色彩增强网络，对各所述训练曝光恢复后原始图像进行处理，获得各所述训练曝光恢复后原始图像分别对应的训练色彩增强结果；
基于各所述训练色彩增强结果，确定各所述训练原始图像分别对应的预测目标图像；
基于各所述训练曝光恢复后原始图像、各所述训练多通道长曝光原始图像、各所述预测目标图像和各所述训练目标图像标签，确定网络损失；
基于所述网络损失，对所述原始图像处理网络的网络参数进行更新，获得更新后的原始图像处理网络；
响应于所述更新后的原始图像处理网络满足训练结束条件，基于所述更新后的原始图像处理网络，获得训练好的原始图像处理模型。
13.根据权利要求12所述的方法，其中，所述基于各所述训练曝光恢复后原始图像、各所述训练多通道长曝光原始图像、各所述预测目标图像和各所述训练目标图像标签，确定网络损失，包括：
基于各所述训练曝光恢复后原始图像、各所述训练多通道长曝光原始图像和第一重建损失函数，确定第一重建损失；
基于各所述训练曝光恢复后原始图像、各所述训练多通道长曝光原始图像和第一感知损失函数，确定第一感知损失；
基于各所述预测目标图像、各所述训练目标图像标签和第二重建损失函数，确定第二重建损失；
基于各所述预测目标图像、各所述训练目标图像标签和第二感知损失函数，确定第二感知损失；
基于所述第一重建损失、所述第二重建损失、所述第一感知损失和所述第二感知损失，确定所述网络损失。
14.一种原始图像的处理装置，包括：
第一获取模块，用于获取待处理原始图像对应的目标多通道原始图像；
第一处理模块，用于基于所述目标多通道原始图像，利用预先训练获得的原始图像处理模型中的曝光恢复网络，获得所述待处理原始图像对应的曝光恢复后原始图像；
第二处理模块，用于基于所述曝光恢复后原始图像，利用所述原始图像处理模型中的色彩增强网络，获得所述曝光恢复后原始图像对应的色彩增强结果；
第三处理模块，用于基于所述色彩增强结果，确定所述待处理原始图像对应的处理后的目标图像。
15.一种原始图像处理模型的训练装置，包括：
第二获取模块，用于获取至少一个训练原始图像和各所述训练原始图像分别对应的训练目标图像标签；
第四处理模块，用于基于各所述训练原始图像，确定各所述训练原始图像分别对应的训练多通道原始图像；
训练处理模块，用于基于各所述训练多通道原始图像和各所述训练目标图像标签，对原始图像处理网络进行训练，获得训练好的原始图像处理模型，所述原始图像处理网络包括曝光恢复网络和色彩增强网络。
16.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-9任一所述的原始图像的处理方法；或者，用于执行上述权利要求10-13任一所述的原始图像处理模型的训练方法。
17.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-9任一所述的原始图像的处理方法；或者，实现上述权利要求10-13任一所述的原始图像处理模型的训练方法。
CN202310410217.9A 2023-04-17 2023-04-17 原始图像的处理方法、模型的训练方法、装置和设备 Pending CN116681602A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310410217.9A CN116681602A (zh) 2023-04-17 2023-04-17 原始图像的处理方法、模型的训练方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310410217.9A CN116681602A (zh) 2023-04-17 2023-04-17 原始图像的处理方法、模型的训练方法、装置和设备

Publications (1)

Publication Number Publication Date
CN116681602A true CN116681602A (zh) 2023-09-01

Family

ID=87789758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310410217.9A Pending CN116681602A (zh) 2023-04-17 2023-04-17 原始图像的处理方法、模型的训练方法、装置和设备

Country Status (1)

Country Link
CN (1) CN116681602A (zh)

Similar Documents

Publication Publication Date Title
CN110136055B (zh) 图像的超分辨率方法和装置、存储介质、电子装置
Afifi et al. Cie xyz net: Unprocessing images for low-level computer vision tasks
CN113256537B (zh) 一种图像数据生成方法和装置
JP7508265B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11599974B2 (en) Joint rolling shutter correction and image deblurring
CN113052768B (zh) 一种处理图像的方法、终端及计算机可读存储介质
CN110717864B (zh) 一种图像增强方法、装置、终端设备及计算机可读介质
CN113962859A (zh) 一种全景图生成方法、装置、设备及介质
CN114549383A (zh) 一种基于深度学习的图像增强方法、装置、设备及介质
CN109102463B (zh) 一种超分辨率图像重建方法及装置
CN117409057A (zh) 全景图深度估计方法、设备及介质
JP2021114180A (ja) 画像処理装置、画像処理方法、およびプログラム
CN117078574A (zh) 一种图像去雨方法及装置
CN116681602A (zh) 原始图像的处理方法、模型的训练方法、装置和设备
US20230060988A1 (en) Image processing device and method
CN116156333A (zh) 一种基于复杂光照环境的相机成像优化方法及***
CN111383171B (zh) 一种图片处理方法、***及终端设备
CN114926368A (zh) 图像恢复模型的生成方法及装置、图像恢复方法及装置
CN113240589A (zh) 一种多尺度特征融合的图像去雾方法及***
CN112581401A (zh) 一种raw图片的获取方法、装置及电子设备
US20220058774A1 (en) Systems and Methods for Performing Image Enhancement using Neural Networks Implemented by Channel-Constrained Hardware Accelerators
CN115631115B (zh) 基于递归Transformer的动态图像复原方法
CN114998138B (zh) 一种基于注意力机制的高动态范围图像去伪影方法
WO2024095624A1 (ja) 画像処理装置、学習方法及び推論方法
CN118115394A (zh) 退化图像修复方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination