CN117651222A - 一种图像数据信号转换图像的方法、装置及设备 - Google Patents

Abstract

本申请公开了一种图像数据信号转换图像的方法、装置及设备，涉及图像处理领域，该方法包括：对获取到的图像数据信号进行亮度统计得到亮度数据；基于亮度数据识别图像数据信号的场景类型，场景类型包括：过曝场景或暗态场景；当图像信号的场景类型为过曝场景时，将亮度数据输入至过曝校正网络，并基于过曝校正网络输出的第一亮度映射曲线以及颜色映射矩阵进行图像数据信号的图像转换；当图像信号的场景类型为暗态场景时，将亮度数据输入至暗态调整网络，并基于暗态调整网络输出的第二亮度映射曲线以及图像增益值进行图像数据信号的图像转换。消除传统的ISP Pipeline在不同场景下的局限性，提高了生成图像的视觉效果。

Description

一种图像数据信号转换图像的方法、装置及设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像数据信号转换图像的方法、装置及设备。

背景技术

在传统的图像信号处理(Image SignalProcessing Pipeline，ISP Pipeline)流程中，首先，通过图像传感器将采集到的光信号经过光电转换得到电信号，再由电信号转换为数字信号，并保存为拜耳阵列Bayer格式图像信号；然后，ISP Pipeline将Bayer格式图像信号经过一系列算法处理，最终输出为RBG域或YUV域的图像数据，完成图像信号到图像的转换。

传统的ISP Pipeline流程，在部署***级SOC芯片之后会对各个功能模块进行参数调试，以确保各功能模块的性能最优，在使用的过程中按照设定的参数对输入数据流进行处理。虽然在确定参数之后，整个SOC芯片的处理效果稳定，但当使用场景发生变化，与各个功能模块参数调试过程中的环境存在一定的差异时，则无法得到较好的图像视觉效果，尤其是针对逆光、过曝以及夜晚低照度的环境。

因此，如何消除ISP Pipeline在不同场景下的局限性成为亟须解决的技术问题。

发明内容

有鉴于此，本申请的主要目的在于提供一种图像数据信号转换图像的方法、装置及设备，目的在于消除ISP Pipeline在不同场景下局限性，以提高生成图像的视觉效果。

本申请第一方面提供了一种图像数据信号转换图像的方法，该方法包括：

获取图像数据信号；

对图像数据信号进行亮度统计，以得到亮度数据；

基于亮度数据识别图像数据信号的场景类型，场景类型包括：过曝场景或暗态场景；

当图像信号的场景类型为过曝场景时，将亮度数据输入至过曝校正网络，以得到过曝校正网络输出的第一亮度映射曲线以及颜色映射矩阵；并基于第一亮度映射曲线以及颜色映射矩阵进行图像数据信号的图像转换；

当图像信号的场景类型为暗态场景时，将亮度数据输入至暗态调整网络，以得到暗态调整网络输出的第二亮度映射曲线以及图像增益值；并基于第二亮度映射曲线以及图像增益值进行图像数据信号的图像转换。

在本申请第一方面的一些实现方式中，基于亮度数据识别图像信号的场景类型，包括：

将亮度数据输入至场景识别网络模型中，以使场景识别网络模型输出亮度数据对应的场景类型；

其中，场景识别网络模型是通过训练数据集训练深度学习网络模型得到的，训练数据集包括：多对训练数据，训练数据包括：亮度训练数据以及亮度训练数量对应的场景类型标签。

在本申请第一方面的一些实现方式中，将亮度数据输入至过曝校正网络，以得到过曝校正网络输出的第一亮度映射曲线以及颜色映射矩阵，包括：

将亮度数据输入至金字塔型卷积神经网络进行不同层次的特征提取，以得到不同层次的亮度特征；

将不同层次的亮度特征输入至编码器网络模型进行压缩处理，以得到不同层次的压缩后亮度特征；

将不同层次的压缩后亮度特征输入至解码器网络模型进行解码处理，以得到第一亮度映射曲线以及颜色映射矩阵。

在本申请第一方面的一些实现方式中，金字塔型卷积神经网络包括：N个卷积层，卷积层的卷积核大小为3*3、步长为1，N大于等于2，第一个卷积层的特征映射总数为3个，第N个卷积层的特征映射总数为32*(N-1)2个。

在本申请第一方面的一些实现方式中，编码器网络模型与解码器网络模型之间采用跳跃连接。

在本申请第一方面的一些实现方式中，将亮度数据输入至暗态调整网络，以得到暗态调整网络输出的第二亮度映射曲线以及图像增益值，包括：

基于亮度水平将亮度数据划分为不同的亮度区域，并为不同的亮度区域分配对应的权重，以得到不同亮度区域的权重；

将不同亮度区域的权重以及亮度数据输入至曲线映射网络模型，以得到曲线映射网络模型输出的第二亮度映射曲线；

对亮度数据进行均值分析运算得到预测增益值，计算预测增益值与亮度数据的正常增益值的偏差，以得到增益偏差；

当增益偏差小于或等于预设阈值时，确定预测增益值为图像增益值；当增益偏差大于预设阈值时，重新对亮度数据进行均值分析运算，以得到新的预测增益值。

在本申请第一方面的一些实现方式中，将不同亮度区域的权重以及亮度数据输入至曲线映射网络模型，包括：

将不同亮度区域的权重以及亮度数据依次经过曲线映射模型中的第一卷积与激活层、第二卷积与激活层、第一池化层、第三卷积与激活层、第二池化层、第四卷积与激活层、第一上采样层、第五卷积与激活层、第二上采样层、第六卷积与激活层、第七卷积与激活层，以得到第二亮度映射曲线。

在本申请第一方面的一些实现方式中，

第一卷积与激活层、第二卷积与激活层、第三卷积与激活层、第四卷积与激活层、第五卷积与激活层、第六卷积与激活层的卷积核大小为3*3、步长为1、激活函数为ReLU激活函数、特征映射总数依次为32个、64个、128个、128个、64个、32个；

第六卷积与激活层的卷积核大小为1*1、步长为1、激活函数为Sigmoid函数、特征映射总数为3个；

第一池化层以及第二池化层均采用最大池化层，并且第一池化层以及第二池化层的过滤器大小为2*2；

第一上采样层以及第二上采样层均采用上采样运算。

本申请第二方面提供了一种图像数据信号转换图像的装置，该装置包括：

图像信号获取模块，用于获取图像数据信号；

亮度数据统计模块，用于对图像数据信号进行亮度统计，以得到亮度数据；

图像场景识别模块，用于基于亮度数据识别图像数据信号的场景类型，场景类型包括：过曝场景或暗态场景；

图像过曝校正模块，用于当图像信号的场景类型为过曝场景时，将亮度数据输入至过曝校正网络，以得到过曝校正网络输出的第一亮度映射曲线以及颜色映射矩阵；并基于第一亮度映射曲线以及颜色映射矩阵进行图像数据信号的图像转换；

图像暗态校正模块，用于当图像信号的场景类型为暗态场景时，将亮度数据输入至暗态调整网络，以得到暗态调整网络输出的第二亮度映射曲线以及图像增益值；并基于第二亮度映射曲线以及图像增益值进行图像数据信号的图像转换。

本申请第三方面提供了一种图像数据信号转换图像的设备，其特征在于，设备包括：包括存储器和处理器，处理器用于执行存储器中存储的程序，运行如第一方面所提供的图像数据信号转换图像的方法。

本申请所提供的技术方案具有如下有益效果：

本申请所提供的技术方案，识别出图像数据信号的场景类型，该场景类型包括：过曝场景以及暗态场景，基于图像数据信号确定场景类型，将场景类型为过曝场景的图像数据信号输入至过曝校正网络，通过过曝校正网络输出的第一亮度映射曲线以及颜色映射矩阵进行图像数据信号的图像转换；将场景类型为暗态场景的图像数据信号输入至暗态调整网络，通过暗态调整网络输出第二亮度映射曲线以及图像增益值进行图像数据信号的图像转换。使图像数据信号在ISP Pipeline流程中针对于过曝场景以及暗态场景做适应性处理，使ISP Pipeline流程生成经过过曝校正或暗态调整的图像，消除不同场景带来的局限性，提高ISP Pipeline生成图像的视觉效果。

附图说明

图1为本申请实施例提供的一种图像数据信号转换图像的方法的流程示意图；

图2为本申请实施例提供的ISP Pipeline整体流程的示意图；

图3为本申请实施例提供的又一种图像数据信号转换图像的方法的流程示意图；

图4为本申请实施例提供的过曝校正网络的示意图；

图5为本申请实施例提供的又一种图像数据信号转换图像的方法的流程示意图；

图6为本申请实施例提供的暗态调整网络的示意图；

图7为本申请实施例提供的一种图像数据信号转换图像的装置的结构示意图；

图8为本申请实施例提供的一种图像数据信号转换图像的设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等，如果存在是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

传统的ISP Pipeline流程中，RAW域图像信号依次经过下述功能模块的处理生成最终的RGB域或YUV域图像，具体包括：黑电平校正模块BLC、增益模块ISP Gain、镜头阴影校正模块LSC、坏点校正DPC、去马赛克模块Demosaic、降噪模块Deniose、白平衡校正模块WB、颜色校正矩阵模块CCM、伽马校正模块Gamma、颜色空间转换模块CSM、锐化模块Sharpening。

其中，上述各功能模块的主要作用如下：(1)BLC黑电平校正模块，用于使像素在未感光的情况下输出的像素值为零；(2)ISP Gain增益模块，用于对Raw域图像信号进行一定倍数的放大处理；(3)LSC镜头阴影校正模块，用于消除由镜头因素而引起的图像画面出现的亮度、颜色不均匀现象；(4)DPC坏点校正模块，用于修复图像中有缺陷的像素点；(5)Demosaic去马赛克模块，用于通过插值算法，补全RAW域数据中各像素点确实的另外两种颜色数据；(6)Deniose降噪模块，用于去除图像中噪声等干扰图像信息获取的因素，恢复真实的图像；(7)WB，白平衡校正模块用于消除色温对sensor传感器的影响，使sensor传感器像人眼一样具有颜色恒常特性；(8)CCM颜色校正矩阵，用于将WB处理后的相机RGB颜色空间的图像数据转换到sRGB颜色空间；(9)Gamma伽马校正模块，用于对图像进行非线性变换，对图像暗区进行加强以提高画面的动态范围和暗区细节；(10)CSM颜色空间转换模块，用于将图像从sRGB颜色空间，转为YUV颜色空间；(11)Sharpening锐化模块，用于修复图像的纹理细节，提高图像对比度。

正如背景技术所言，传统的ISP Pipeline流程中各功能模块固定地采用事先调试好的参数，虽能带来较优的处理效果，但由于难以保证其实际使用场景与各功能模块参数调试过程中的环境相同，由此当使用场景发生变化时，传统的ISP Pipeline流程便无法得到较好的图像视觉效果，实际处理效果受到场景局限性的影响。

目前，解决上述问题的现有技术方案是对ISP Pipeline流程最终的输出RGB/YUV域图像进一步进行增强处理。从图像空间域方面对图像亮度、颜色、噪声进行处理，例如采用直方图均衡化、伽马矫正、灰度映射等处理方式直接从视觉上提升图像内容的可读性，而无需考虑图像其他因素，但也常常造成图像细节被破坏，不能有效的恢复图像场景的色彩信息。此外，在ISP Pipeline流程后面增加新的图像处理模块，还需要考虑图像是否存在缺陷，是否需要启动图像后处理模块。特别是针对视频数据流，是否启用图像后处理模块所占用的数据流传输速率也存在影响，需要考虑的问题非常综合且极其复杂。

有鉴于此，参见图1所示，本申请实施例提供了一种图像数据信号转换图像的方法，具体包括以下步骤：

S101：获取图像数据信号。

在本申请的实施例中，图像数据信号也可称为图像信号，指的是承载了未经处理的原始图像信息的数字信号；其具体获取方式可以是经由光电转换将图像传感器采集的光信号转换为电信号，再由电信号转换为数字信号，并将其保存为特定格式后得到。在一实现方式中，该图像数据信号可以是RAW(RAW Domain)格式，因此该图像数据信号也可称为RAW域图像信号。

S102：对图像数据信号进行亮度统计，以得到亮度数据。

在本申请的实施例中，亮度数据指的是根据图像数据信号统计得到的亮度信息，该亮度数据可以反映图像数据信号的亮度分布情况，能够用于在后续判断图像数据信号所对应的图像场景类型。具体实现亮度统计的方式可以是通过传统ISP Pipeline中的H3A(Histogram-based 3A)统计信息模块实现，该H3A统计信息模块用于计算并输出与图像数据信号相关的包括亮度数据在内的统计信息。

S103：基于亮度数据识别图像数据信号的场景类型，场景类型包括：过曝场景或暗态场景。

在本申请的实施例中，场景类型指根据亮度数据判别出图像数据信号所对应的图像场景的类别，该场景类型包括过曝场景以及暗态场景。其中，过曝场景指的是图像场景的亮度过高而失去图像细节，在直观视觉效果上，过曝场景下的图片整体较亮，且图像中有大量的过亮的死白区域出现。暗态场景指图像场景的亮度过低，在直观视觉效果上，图像具有照度低、对比度低、信噪比低、图像场景细节小等特点。

可以理解的是，除上述过曝场景以及暗态场景这两个特定场景之外，场景类型还可包括正常场景，当图像数据信号的场景类型为正常场景时，无需执行后续S104或S105的步骤，而可执行后续的传统ISP pipeline流程。本申请重点关注于上述特定场景，着重于解决上述特定场景在传统ISP pipeline中带来的局限性。

场景类型的判断具体通过预先训练深度学习网络模型得到的场景识别网络模型实现。在本申请实施例的一些实现方式中，基于亮度数据识别图像信号的场景类型，具体包括：

将亮度数据输入至场景识别网络模型中，以使场景识别网络模型输出亮度数据对应的场景类型；其中，场景识别网络模型是通过训练数据集训练深度学习网络模型得到的，该训练数据集包括：多对训练数据，该训练数据包括：亮度训练数据以及亮度训练数量对应的场景类型标签。

场景识别网络模型，指的是通过训练数据集训练深度学习网络模型得到的能够用于根据亮度数据输出对应场景类型的网络模型。作为场景识别网络模型的训练素材的训练数据集，包含大量成对的作为模型输入与模型输出的训练数据，具体而言，每对训练数据包括亮度训练数据以及亮度训练数据对应的场景类型标签，该训练数据用于使深度学习网络模型学习到不同亮度数据的亮度特征，训练数据对应的场景类型标签用于使深度学习网络模型学习到不同亮度特征所对应的场景类型，从而使深度学习网络模型具备基于亮度数据判断场景类型的能力。

可以理解的是，场景识别模型需要具备判断正常场景、过曝场景以及暗态场景的能力，因此，需要准备大量有关上述三种场景的训练数据组成训练数据集。在一具体实现方式中，使用pytorch深度学习框架进行模型参数的训练，利用约束函数对训练中的网络模型进行约束，进而学习到较好的网络参数，需要说明的是，采用其他的模型训练方式均不影响本申请实施例的实现。

在本申请实施例的一些实现方式，可将用于确定场景类型的场景识别网络模型以及ISP Pipeline中的H3A统计模块封装在一起，形成H3A与AI场景识别模块，作为用于判断图像数据信号的场景类型的独立模块，嵌入至ISP Pipeline流程中。

S104：当图像信号的场景类型为过曝场景时，将亮度数据输入至过曝校正网络，以得到过曝校正网络输出的第一亮度映射曲线以及颜色映射矩阵；并基于第一亮度映射曲线以及颜色映射矩阵进行图像数据信号的图像转换。

在本申请的实施例中，过曝校正网络指预先训练好的能够根据亮度数据输出适用于过曝场景的颜色映射矩阵和亮度映射曲线的网络模型，该过曝校正网络的训练素材为大量成对的作为模型输入的亮度数据，以及作为模型输出的亮度映射曲线与颜色映射矩阵；亮度映射曲线又称为亮度调整曲线，指用于对图像数据信号进行亮度调整的曲线，能够将亮度数据中每个亮度值进行非线性变换得到更适合的亮度值，以提高画面的动态范围和细节；其中，第一亮度映射曲线特指过曝校正网络输出的亮度映射曲线；颜色映射矩阵指的是用于对图像数据信号进行颜色校正的矩阵，用于对图像数据信号进行线性变换，将RGB颜色空间的图像数据信号转换到sRGB颜色空间，以得到更适合的颜色值。

需要说明的是，在传统的ISP Pipeline流程中同样需要使用到的亮度映射曲线以及颜色映射矩阵进行图像转换，具体体现在传统ISP Pipeline流程中的CCM颜色校正矩阵模块以及Gamma伽马校正模块，本申请中，过曝校正网络输出的第一亮度映射曲线用于赋予Gamma伽马校正模块新的参数，颜色映射矩阵用于赋予CCM颜色校正矩阵模块新的参数，使伽马校正模块以及颜色矩阵模块不再使用默认设置的参数，实现对Gamma伽马校正模块以及CCM颜色校正矩阵模块的动态参数配置。基于此，上述基于第一亮度映射曲线以及颜色映射矩阵进行图像数据新的图像转换，并非指仅通过第一亮度映射曲线以及颜色映射矩阵进行图像转换，而具体是指通过赋予ISP Pipeline流程中的Gamma伽马校正模块以及CCM颜色矩阵模块新的参数，从而使图像数据信号在ISP Pipeline流程经过针对于过曝场景的适应性处理，从而生成经过过曝校正的图像，即曝光正常的RGB或YUV图像。

S105：当图像信号的场景类型为暗态场景时，将亮度数据输入至暗态调整网络，以得到暗态调整网络输出的第二亮度映射曲线以及图像增益值；并基于第二亮度映射曲线以及图像增益值进行图像数据信号的图像转换。

在本申请的实施例中，暗态调整网络指的是预先训练完成的能够根据亮度数据输出适用于暗态场景的图像增益值和亮度映射曲线的网络模型，该暗态调整网络的训练素材为大量成对的作为模型输入的亮度数据，以及作为模型输出的图像增益值和亮度映射曲线。第二亮度映射曲线特指暗态调整网络输出的亮度映射曲线，图像增益值指的用于对图像数据信号进行增益放大的值。

需要说明的是，在传统的ISP Pipeline流程中同样需要使用图像增益值进行图像转换。具体体现在传统ISP Pipeline流程中的增益模块。本申请实施例通过暗态调整网络输出的第二亮度调整曲线赋予Gamma伽马校正模块新的参数，通过图像增益值赋予ISPGain增益模块新的参数，实现GAmma伽马校正模块以及ISP Gain增益模块的动态参数配置。同理，基于第二亮度映射曲线以及图像增益值进行图像数据信号的图像转换，并非是仅通过第二亮度映射曲线以及图像增益值进行图像转换，而是指通过ISP Pipeline中的Gamma伽马校正模块以及ISP Gain增益模块新的参数，从而使图像数据信号在ISP Pipeline流程中经过针对于暗态场景的适应性处理，从而生成经过暗态调整的图像。

在本申请实施例的一些实现方式中，S101至S105的整体方案的实现方式可参见图2所示，图2为本申请实施例提供的ISP Pipeline整体流程的示意图。应用本申请实施例所提供的方法的ISP Pipeline流程具体包括：由Sensor图像传感器将获取到的光信号转换为电信号并保存为RAW格式的图像数据信号，依次经过BLC黑电平校正模块、ISPGain增益模块、LSC镜头阴影校正模块、H3A信息统计与AI场景识别模块、Demosaic去马赛克模块、CCM颜色校正模块、Gamma伽马校正模块以及Sharpening锐化模块，从而得到RGB/YUV输出图像，其中，通过在H3A信息统计模块中进一步封装AI场景识别功能，实现根据H3A统计模块统计的亮度数据自动的判别图像的场景类型，当判定为过曝场景时，则启动过曝校正网络生成颜色映射矩阵赋予CCM校正模块新的参数，生成第一亮度映射曲线赋予Gamma伽马校正模块新的参数；当判定为暗态场景时，则启动暗态调整网络生成图像增益值赋予ISP Gain增益模块新的参数，生成第二亮度映射曲线赋予Gamma伽马校正模块新的参数；当判定为正常场景时，则按正常流程进行处理。

在图1所示的流程中，识别出图像数据信号的场景类型，该场景类型包括：过曝场景以及暗态场景，基于图像数据信号确定场景类型，将场景类型为过曝场景的图像数据信号输入至过曝校正网络，通过过曝校正网络输出的第一亮度映射曲线以及颜色映射矩阵进行图像数据信号的图像转换；将场景类型为暗态场景的图像数据信号输入至暗态调整网络，通过暗态调整网络输出第二亮度映射曲线以及图像增益值进行图像数据信号的图像转换。使图像数据信号在ISP Pipeline流程中针对于过曝场景以及暗态场景做适应性处理，是ISP Pipeline流程生成经过过曝校正或暗态调整的图像，消除不同场景带来的局限性，提高ISP Pipeline生成图像的视觉效果，弥补了传统ISP Pipeline流程中各模块参数固定，无法自适应改变的难题，极大的提升了ISP芯片的应用场景。针对过曝图像，有效地降低了图像的亮度，保证颜色的一致性；针对暗态图像，能够有效自适应地提升了图像亮度，抑制图像噪声效果明显。

此外，相比于传统的ISP Pipeline流程，本申请通过基于图像数据信号统计得到亮度数据进行场景识别和图像处理，该亮度数据不受图像中的坏点、噪声、色温以及颜色空间的影响，因此相比于传统ISP Pipeline流程不涉及DPC坏点校正模块、Deniose降噪模块、WB白平衡校正模块以及CSM颜色空间转换模块的使用，整个图像信号的处理流程更加轻便。并且，本申请通过动态的参数配置，在面对不同场景时无需进行模块参数的人工标定，即可解决不同使用场景的局限性。

最后，相比于现有技术中解决传统ISP Pipeline流程的技术方案，省略掉了图像后处理模块，而不需要繁琐的处理流程，仅用ISP Pipeline流程就可以解决所有问题，极大地降低了问题的复杂程度。

参见图3所示，本申请实施例又提供了一种图像数据信号转换图像的方法，本申请针对曝光过度的图像进行研究，发现其主要问题集中在图像的亮度和颜色映射方面，因此在图1所示流程的基础上，过曝校正网络的整体架构包括：金字塔型卷积神经网络、编码器网络模型以及解码器网络模型，该过曝校正网络处理亮度数据的过程具体包括以下步骤：

S301：将亮度数据输入至金字塔型卷积神经网络进行不同层次的特征提取，以得到不同层次的亮度特征。

在本申请的实施例中，金字塔型卷积神经网络是一种具有多个卷积层的神经网络，该金字塔型卷积神经网络中的卷积层数量以及深度随着层次的增加而增加，能够提取出不同层次的特征。相应地，将金字塔型卷积神经网络应用于亮度数据的特征提取，得到的即为不同层级的亮度特征。

在本申请实施例的一些实现方式中，金字塔型卷积神经网络包括：N个卷积层，卷积层的卷积核大小为3*3、步长为1，第一个卷积层的特征映射总数为3，第二个卷积层的特征映射总数为32*(N-1)²，N大于等于2。

在此假设输入至ISP Pipeline流程中的亮度数据为(H*W*1)，其中，H代表亮度数据的高度，W代表亮度数据的宽度，1代表亮度数据的维度。具体的，亮度数据在金字塔型卷积神经网网络中，依次经过以下卷积层的特征提取：Conv1(3*3*3)、Conv2(3*3*32)、…、ConvN(3*3*32*(N-1)²)；例如，当N为3时，金字塔型卷积神经网络包括：一个3*3*3的卷积层、一个3*3*32的卷积层以及和一个3*3*64的卷积层。每个卷积层都能够对亮度数据进行卷积运算，以得到三个卷积层分别输出的亮度特征，也就是说，当N＝3时，三个卷积层分别输出的亮度特征统称为不同层次的亮度特征。需要说明的是，N＝3仅是在为了便于理解在该实施例中作出的简单说明，并非对N的取值作出的限定。

S302：将不同层次的亮度特征输入至编码器网络模型进行压缩处理，以得到不同层次的压缩后亮度特征。

在本申请的实施例中，编码器网络模型是一种通过多个全连接层对输入特征进行压缩处理的深度学习网络模型，能够实现特征的降维以提高特征的表达能力。本申请通过编码器网络模型压缩金字塔型卷积神经网络中各卷积层输出的亮度特征，得到的压缩结果即为上述不同层次的压缩后亮度特征。本申请通过编码器网络模型进一步提取各卷积层输出的亮度特征中更加有用的信息，以提高过曝校正网络的学习效果。

S303：将不同层次的压缩后亮度特征输入至解码器网络模型进行解码处理，以得到第一亮度映射曲线以及颜色映射矩阵。

在本申请的实施例中，解码器网络模型是一种通过多个全连接层对输入特征进行解码处理的深度学习网络模型，能够解码经编码器网络模型压缩后的亮度特征，使其恢复到原始的特征维度。本申请利用解码器网络模型将不同层次的压缩后亮度特征解码生成第一亮度映射曲线以及颜色映射矩阵。在此，解码器网络模型的作用是为了根据编码器网络模型的编码状态生成相应的校正参数，从而改善过曝或暗态的图像视觉效果。

在本申请实施例的一些实现方式中，编码器网络模型与解码器网络模型之间采用跳跃连接。其中，跳跃连接是指编码器网络模型以及解码器网络模型中尺寸相同的特征层进行直接连接，从而使解码器网络模型读取到编码器网络模型的特征，防止随着网络层数的增加，导致编码器网络模型中的特征信息损失。

结合图4对图3所示的流程做进一步介绍，图4为本申请实施例提供的过曝校正网络的示意图，本申请实施例中的过曝校正网络包括：金字塔型卷积神经网络、编码器网络模型以及解码器网络模型。具体地，亮度数据输入至过曝校正网络后，首先经由金字塔型卷积神经网络提取到不同层次的亮度特征，然后经由编码器网络模型压缩后输入至解码器网络模型进行解码，从而生成第二亮度调整曲线以及颜色映射矩阵，通过第一亮度映射曲线以及颜色映射矩阵分别赋予ISP Pipeline中的Gamma伽马校正模块以及CMM颜色矩阵模块新的参数，使过曝场景下的图像数据信号经过ISP Pipeline流程后生成曝光正常的图像。

参见图5所示，本申请实施例又提供了一种图像数据信号转换图像的方法，在图1所示的基础上，通过暗态调整网络预测适用于暗态图像所匹配的增益值和亮度调整曲线的具体实现包括以下步骤：

S501：基于亮度水平将亮度数据划分为不同的亮度区域，并为不同的亮度区域分配对应的权重，以得到不同亮度区域的权重。

在本申请实施例中，亮度数据用于反映的图像数据信号的亮度情况，由此可以进一步基于亮度水平将亮度数据划分为分别反映不同亮度水平或亮度区间的亮度区域，每个亮度区域包含一定范围内的亮度水平。例如将亮度数据分为过暗、较暗、正常、较亮、过亮等亮度水平。为不同亮度区域分配对应的权重是指通过一个数值来反映不同亮度区域的重要程度。

在本申请实施例中，暗态调整网络的整体架构包括以下模块：区域划分模块、曲线映射模块、增益估计模块以及与正常曝光增益损失计算模块，其中，S501具体是由区域划分模块实现。

S502：将不同亮度区域的权重以及亮度数据输入至曲线映射网络模型，以得到曲线映射网络模型输出的第二亮度映射曲线。

在本申请实施例中，曲线映射网络模型指预先训练得到的一种能够根据不同亮度区域的权重以及亮度数据，输出适用于暗态场景的亮度映射曲线的深度学习网络模型。其具体训练方式可以是通过包含大量成对的数据集训练深度学习神经网络模型得到，用于训练曲线映射网络模型的训练集中包含有多对训练数据，每一对训练数据包括有用于作为模型输入的不同亮度区域的权重以及亮度数据，以及用于作为模型输出的，与不同亮度区域的权重以及亮度数据对应的亮度映射曲线。其中，S502由暗态调整网络中的曲线映射模块实现。

在本申请实施例的一些实现方式中，曲线映射网络模型具体由卷积与激活层、池化层、上采样层组成，将不同亮度区域的权重以及亮度数据输入至曲线映射网络模型，具体包括：将不同亮度区域的权重以及亮度数据依次经过曲线映射模型中的第一卷积与激活层、第二卷积与激活层、第一池化层、第三卷积与激活层、第二池化层、第四卷积与激活层、第一上采样层、第五卷积与激活层、第二上采样层、第六卷积与激活层、第七卷积与激活层，以得到第二亮度映射曲线。具体而言，每个卷积与激活层都能够对输入数据进行卷积运算和激活运算，以得到不同数量和不同尺寸的特征映射。每个池化层都能够对输入数据进行池化运算，以降低特征的维度。每个上采样层都能够对输入数据进行上采样运算，以增加特征的维度。

在本申请实施例的一些实现方式中，第一卷积与激活层、第二卷积与激活层、第三卷积与激活层、第四卷积与激活层、第五卷积与激活层、第六卷积与激活层的卷积核大小为3*3、步长为1、激活函数为ReLU激活函数、特征映射总数依次为32个、64个、128个、128个、64个、32个；第六卷积与激活层的卷积核大小为1*1、步长为1、激活函数为Sigmoid函数、特征映射总数为3个；第一池化层以及第二池化层均采用最大池化层，并且第一池化层以及第二池化层的过滤器大小为2*2；第一上采样层以及第二上采样层均采用上采样运算。

参见图6所示，图6为本申请实施例提供的暗态调整网络的示意图，其中，曲线映射模块的具体流程包括：将不同亮度区域的权重以及亮度数据共同作为曲线映射模型的输入，分别经由以下抽象层进行特征提取得到第二亮度映射曲线：Conv0+ReLU层(H*W*32)、Conv1+ReLU层(H*W*64)、Pooling1层(H/2*W/2*64)、Conv2+ReLU层(H/2*W/2*128)、Pooling2层(H/4*W/4*128)、Conv3+ReLU层(H/4*W/4*128)、Upsample1层(H/2*W/2*128)、Conv4+ReLU层(H/2*W/2*64)、Upsample2层(H*W*64)、Conv5+ReLU层(H*W*32)、Conv6+Sigmoid层(H*W*3)。

其中，Conv0+ReLU层表示第一卷积与激活层，Conv1+ReLU层表示第二卷积与激活层，Pooling1层表示第一池化层，Conv2+ReLU层表示第三卷积与激活层，Pooling2层表示第二池化层，Conv3+ReLU层表示第四卷积与激活层，Upsample1层表示第一上采样层，Conv4+ReLU层表示第五卷积与激活层，Upsample2层表示第二上采样层，Conv5+ReLU层表示第六卷积与激活层，Conv6+Sigmoid层表示第七卷积与激活层，H代表特征高度，W代表特征宽度，与H和W相乘的数字代表特征维度。

S503：对亮度数据进行均值分析运算得到预测增益值，计算预测增益值与亮度数据的正常增益值的偏差，以得到增益偏差。

在本申请的实施例中，均值分析运算是指计算亮度数据的综合描述统计量，包括反映总体特征和离散态势两部分的统计量，且对于所有的描述统计量均按指定变量的取值分组计算，该算法可以通过样本的均值来反映总体特征。本申请通过均值分析运算的结果作为预测增益值，以反映亮度数据的整体亮度水平。该预测增益值在被确定为图像增益值的情况下，用于作为对图像数据信号进行增益放大的值，以提高最终图像数据信号转换得到的图像的亮度。其中，亮度数据的均值分析运算由暗态调整网络中的增益估计模块实现。

在本申请的实施例中，进一步基于亮度数据的正常增益值计算预测增益值的增益偏差，该正常增益值指的是图像数据信号在正常曝光条件下的增益值，可以理解为传统ISPPipeline中增益模块所确定的增益值，其中，增益偏差的计算由暗态调整网络中的与正常曝光增益损失计算模块实现。需要说明的是，本申请中的图像增益值将会赋予增益模块新的参数，也即替换掉增益模块中的正常值。

S504：当增益偏差小于或等于预设阈值时，确定预测增益值为图像增益值；当增益偏差大于预设阈值时，重新对亮度数据进行均值分析运算，以得到新的预测增益值。

在本申请的实施例中，预设阈值指的是用于判断预测增益值是否合理的值，表示预测增益值与正常增益值的差的绝对值不能超过某个曲线，用于评估预测增益值的准确性。当增益偏差小于或等于预设阈值时，可以确定预测增益值为图像增益值。当增益偏差大于预设阈值时，表示预测增益值还需要进一步调整，因此需要再次通过均值分析运算计算新的预测增益值。

在图5所示的流程中，基于亮度水平将亮度数据划分为不同的亮度区域，并为不同亮度区域分配权重得到不同亮度区域的权重；之后将不同亮度区域的权重以及亮度数据输入至预先训练好的曲线映射网络模型中，得到第二亮度映射曲线；通过对亮度数据做均值分析运算得到预测增益值，并在预测增益值与正常增益值的偏差小于预设阈值时，确定预测增益值为图像增益值。通过第二亮度映射曲线以及图像增益值分别赋予Gamma伽马校正模块以及ISP Gain增益模块新的参数，使暗态场景下的图像数据信号经过ISP Pipeline流程后生成暗态校正后的图像。

参见图7所示，本申请实施例提供了一种图像数据信号转换图像的装置，该装置包括：

图像信号获取模块701，用于获取图像数据信号；

亮度数据统计模块702，用于对图像数据信号进行亮度统计，以得到亮度数据；

图像场景识别模块703，用于基于亮度数据识别图像数据信号的场景类型，场景类型包括：过曝场景或暗态场景；

图像过曝校正模块704，用于当图像信号的场景类型为过曝场景时，将亮度数据输入至过曝校正网络，以得到过曝校正网络输出的第一亮度映射曲线以及颜色映射矩阵；并基于第一亮度映射曲线以及颜色映射矩阵进行图像数据信号的图像转换；

图像暗态校正模块705，用于当图像信号的场景类型为暗态场景时，将亮度数据输入至暗态调整网络，以得到暗态调整网络输出的第二亮度映射曲线以及图像增益值；并基于第二亮度映射曲线以及图像增益值进行图像数据信号的图像转换。

在本申请实施例的一些实现方式中，基于亮度数据识别图像信号的场景类型，包括：

将亮度数据输入至场景识别网络模型中，以使场景识别网络模型输出亮度数据对应的场景类型；

其中，场景识别网络模型是通过训练数据集训练深度学习网络模型得到的，训练数据集包括：多对训练数据，训练数据包括：亮度训练数据以及亮度训练数量对应的场景类型标签。

在本申请实施例的一些实现方式中，将亮度数据输入至过曝校正网络，以得到过曝校正网络输出的第一亮度映射曲线以及颜色映射矩阵，包括：

将亮度数据输入至金字塔型卷积神经网络进行不同层次的特征提取，以得到不同层次的亮度特征；

将不同层次的亮度特征输入至编码器网络模型进行压缩处理，以得到不同层次的压缩后亮度特征；

将不同层次的压缩后亮度特征输入至解码器网络模型进行解码处理，以得到第一亮度映射曲线以及颜色映射矩阵。

在本申请实施例的一些实现方式中，金字塔型卷积神经网络包括：N个卷积层，卷积层的卷积核大小为3*3、步长为1，N大于等于2，第一个卷积层的特征映射总数为3个，第N个卷积层的特征映射总数为32*(N-1)2个。

在本申请实施例的一些实现方式中，编码器网络模型与解码器网络模型之间采用跳跃连接。

在本申请实施例的一些实现方式中，将亮度数据输入至暗态调整网络，以得到暗态调整网络输出的第二亮度映射曲线以及图像增益值，包括：

基于亮度水平将亮度数据划分为不同的亮度区域，并为不同的亮度区域分配对应的权重，以得到不同亮度区域的权重；

将不同亮度区域的权重以及亮度数据输入至曲线映射网络模型，以得到曲线映射网络模型输出的第二亮度映射曲线；

对亮度数据进行均值分析运算得到预测增益值，计算预测增益值与亮度数据的正常增益值的偏差，以得到增益偏差；

当增益偏差小于或等于预设阈值时，确定预测增益值为图像增益值；当增益偏差大于预设阈值时，重新对亮度数据进行均值分析运算，以得到新的预测增益值。

在本申请实施例的一些实现方式中，将不同亮度区域的权重以及亮度数据输入至曲线映射网络模型，包括：

将不同亮度区域的权重以及亮度数据依次经过曲线映射模型中的第一卷积与激活层、第二卷积与激活层、第一池化层、第三卷积与激活层、第二池化层、第四卷积与激活层、第一上采样层、第五卷积与激活层、第二上采样层、第六卷积与激活层、第七卷积与激活层，以得到第二亮度映射曲线。

在本申请实施例的一些实现方式中，

第一卷积与激活层、第二卷积与激活层、第三卷积与激活层、第四卷积与激活层、第五卷积与激活层、第六卷积与激活层的卷积核大小为3*3、步长为1、激活函数为ReLU激活函数、特征映射总数依次为32个、64个、128个、128个、64个、32个；

第六卷积与激活层的卷积核大小为1*1、步长为1、激活函数为Sigmoid函数、特征映射总数为3个；

第一池化层以及第二池化层均采用最大池化层，并且第一池化层以及第二池化层的过滤器大小为2*2；

第一上采样层以及第二上采样层均采用上采样运算。

如图8所示，本申请实施例还提供了一种图像数据信号转换图像的设备，包括：存储器801、处理器802；

其中，存储器801用于存储程序；

处理器802用于执行存储器中的程序，以实现本申请实施例所提供图像数据信号转换图像的方法的各个步骤。

最后，还需要说明的是，在本申请实施例中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像数据信号转换图像的方法，其特征在于，所述方法包括：

获取图像数据信号；

对所述图像数据信号进行亮度统计，以得到亮度数据；

基于所述亮度数据识别所述图像数据信号的场景类型，所述场景类型包括：过曝场景或暗态场景；

当所述图像信号的所述场景类型为所述过曝场景时，将所述亮度数据输入至过曝校正网络，以得到所述过曝校正网络输出的第一亮度映射曲线以及颜色映射矩阵；并基于所述第一亮度映射曲线以及所述颜色映射矩阵进行所述图像数据信号的图像转换；

当所述图像信号的所述场景类型为所述暗态场景时，将所述亮度数据输入至暗态调整网络，以得到所述暗态调整网络输出的第二亮度映射曲线以及图像增益值；并基于所述第二亮度映射曲线以及所述图像增益值进行所述图像数据信号的图像转换。

2.根据权利要求1所述的方法，其特征在于，所述基于所述亮度数据识别所述图像信号的场景类型，包括：

将所述亮度数据输入至场景识别网络模型中，以使所述场景识别网络模型输出所述亮度数据对应的所述场景类型；

其中，所述场景识别网络模型是通过训练数据集训练深度学习网络模型得到的，所述训练数据集包括：多对训练数据，所述训练数据包括：亮度训练数据以及所述亮度训练数量对应的场景类型标签。

3.根据权利要求1所述的方法，其特征在于，所述将所述亮度数据输入至过曝校正网络，以得到所述过曝校正网络输出的第一亮度映射曲线以及颜色映射矩阵，包括：

将所述亮度数据输入至金字塔型卷积神经网络进行不同层次的特征提取，以得到不同层次的亮度特征；

将所述不同层次的亮度特征输入至编码器网络模型进行压缩处理，以得到不同层次的压缩后亮度特征；

将所述不同层次的压缩后亮度特征输入至解码器网络模型进行解码处理，以得到所述第一亮度映射曲线以及所述颜色映射矩阵。

4.根据权利要求3所述的方法，其特征在于，所述金字塔型卷积神经网络包括：N个卷积层，所述卷积层的卷积核大小为3*3、步长为1，N大于等于2，第一个所述卷积层的特征映射总数为3个，第N个所述卷积层的特征映射总数为32*(N-1)²个。

5.根据权利要求3所述的方法，其特征在于，所述编码器网络模型与所述解码器网络模型之间采用跳跃连接。

6.根据权利要求1所述的方法，其特征在于，所述将所述亮度数据输入至暗态调整网络，以得到所述暗态调整网络输出的第二亮度映射曲线以及图像增益值，包括：

基于亮度水平将所述亮度数据划分为不同的亮度区域，并为所述不同的亮度区域分配对应的权重，以得到不同亮度区域的权重；

将所述不同亮度区域的权重以及所述亮度数据输入至曲线映射网络模型，以得到所述曲线映射网络模型输出的第二亮度映射曲线；

对所述亮度数据进行均值分析运算得到预测增益值，计算所述预测增益值与所述亮度数据的正常增益值的偏差，以得到增益偏差；

当所述增益偏差小于或等于预设阈值时，确定所述预测增益值为所述图像增益值；当所述增益偏差大于预设阈值时，重新对所述亮度数据进行所述均值分析运算，以得到新的预测增益值。

7.根据权利要求6所述的方法，其特征在于，所述将所述不同亮度区域的权重以及所述亮度数据输入至曲线映射网络模型，包括：

将所述不同亮度区域的权重以及所述亮度数据依次经过所述曲线映射模型中的第一卷积与激活层、第二卷积与激活层、第一池化层、第三卷积与激活层、第二池化层、第四卷积与激活层、第一上采样层、第五卷积与激活层、第二上采样层、第六卷积与激活层、第七卷积与激活层，以得到所述第二亮度映射曲线。

8.根据权利要求7所述的方法，其特征在于，

所述第一卷积与激活层、所述第二卷积与激活层、所述第三卷积与激活层、所述第四卷积与激活层、所述第五卷积与激活层、所述第六卷积与激活层的卷积核大小为3*3、步长为1、激活函数为ReLU激活函数、特征映射总数依次为32个、64个、128个、128个、64个、32个；

所述第六卷积与激活层的卷积核大小为1*1、步长为1、激活函数为Sigmoid函数、特征映射总数为3个；

所述第一池化层以及所述第二池化层均采用最大池化层，并且所述第一池化层以及所述第二池化层的过滤器大小为2*2；

所述第一上采样层以及所述第二上采样层均采用上采样运算。

9.一种图像数据信号转换图像的装置，其特征在于，所述装置包括：

图像信号获取模块，用于获取图像数据信号；

亮度数据统计模块，用于对所述图像数据信号进行亮度统计，以得到亮度数据；

图像场景识别模块，用于基于所述亮度数据识别所述图像数据信号的场景类型，所述场景类型包括：过曝场景或暗态场景；

图像过曝校正模块，用于当所述图像信号的所述场景类型为所述过曝场景时，将所述亮度数据输入至过曝校正网络，以得到所述过曝校正网络输出的第一亮度映射曲线以及颜色映射矩阵；并基于所述第一亮度映射曲线以及所述颜色映射矩阵进行所述图像数据信号的图像转换；

图像暗态校正模块，用于当所述图像信号的所述场景类型为所述暗态场景时，将所述亮度数据输入至暗态调整网络，以得到所述暗态调整网络输出的第二亮度映射曲线以及图像增益值；并基于所述第二亮度映射曲线以及所述图像增益值进行所述图像数据信号的图像转换。

10.一种图像数据信号转换图像的设备，其特征在于，所述设备包括：包括存储器和处理器，所述处理器用于执行所述存储器中存储的程序，运行如权利要求1至8任一项所述的图像数据信号转换图像的方法。