CN118279604A

CN118279604A - 图像处理方法、装置及存储介质

Info

Publication number: CN118279604A
Application number: CN202211719330.7A
Authority: CN
Inventors: 姜绪浩; 邵光琪
Original assignee: Beijing Xiaomi Mobile Software Co Ltd
Current assignee: Beijing Xiaomi Mobile Software Co Ltd
Priority date: 2022-12-30
Filing date: 2022-12-30
Publication date: 2024-07-02

Abstract

本申请实施例公开了一种图像处理方法、装置及存储介质，该方法包括：获取待处理的第一图像；根据第一图像，生成多个第二图像，其中，不同第二图像的像素值范围不同；将第二图像输入目标模型中，得到目标模型输出的目标图像。采用本申请实施例提供的图像处理方法对第一图像进行处理，可以提高处理后得到的目标图像的质量。

Description

图像处理方法、装置及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及存储介质。

背景技术

在电子技术快速发展的今天，为了满足用户对电子设备的屏占比的需求，全面屏的解决方案成为了各大厂商的竞争重点，而前置摄像头的位置设置是实现全面平的最大阻碍。

相关技术中，通过将前置摄像头设置在显示屏下方来实现全面屏技术，然而，在将摄像头设置在显示屏下方时，由于显示屏会对摄像头采集的图像的过程产生影响，使摄像头采集的图像质量较差，影响用户体验。

发明内容

本申请提供一种图像处理方法、装置及存储介质。

第一方面，本申请实施例提供一种图像处理方法，所述方法包括：

获取待处理的第一图像；

根据所述第一图像，生成多个第二图像，其中，不同所述第二图像的像素值范围不同；

将所述第二图像输入目标模型中，得到所述目标模型输出的目标图像；其中，所述目标模型用于提取的所述第二图像的图像特征，并根据所述图像特征生成所述目标图像，所述目标图像的画质高于所述第一图像的画质。

可选地，所述根据所述第一图像，生成多个第二图像，包括：

根据所述第一图像的色彩通道占用比特数，确定第一像素值范围；

对所述第一像素值范围进行划分，得到N个第二像素范围值；其中，所述N为正整数；

将所述第一图像中各像素值映射为第n个所述第二像素范围内的像素值，得到第n个所述第二图像；其中，所述n为小于或等于所述N的正整数。

可选地，所述将所述第一图像中各像素值映射为第n个所述第二像素范围内的像素值，得到第n个所述第二图像，包括：

确定所述第一图像中像素值不在第n个所述第二像素值范围内的目标像素点；

将所述目标像素点的像素值更新为预定取值，得到第n个所述第二图像。

可选地，所述目标模型包括：第一网络，以及M个第二网络，其中，M为不小于1的整数；所述第一网络包括依次连接的第一处理层、第二处理层和融合层；所述第二网络包括一个或多个依次连接的第三处理层；不同的所述第二网络的第三处理层的缩放系数不同；所述第二处理层的缩放系数不同于任意一个所述第三处理层的缩放系数；

所述将所述第二图像输入目标模型中，得到所述目标模型输出的目标图像，包括：

基于所述第一处理层对多个所述第二图像进行卷积处理，得到多个第一特征图；

基于所述第二处理层对多个所述第一特征图进行残差处理和缩放处理，得到一个第三图像；

基于所述第二网络的第三处理层对所述第一特征图进行残差处理和缩放处理，得到M个所述第二网络输出的M个第四图像；

基于所述融合层对所述第三图像和M个所述第四图像进行融合处理，得到所述融合层输出的所述目标图像。

可选地，所述第一处理层包括一个或多个卷积层；

所述第二处理层包括依次连接的第一残差模块，和一个或多个依次连接的第一处理模块，其中，一个所述第一处理模块包括顺序连接的第一缩放模块和第二残差模块；

所述第三处理层包括依次连接的第二处理模块；一个所述第二处理模块包括第二缩放模块以及第三残差模块；其中，任意一个所述第二处理模块的缩放系数，不同于任意一个所述第三处理模块的缩放系数；不同所述第二网络包含的第三处理层对应的第二缩放模块的缩放系数不同；

基于所述第二处理层对多个所述第一特征图进行残差处理和缩放处理，得到一个第三图像，包括：

基于所述第一残差模块、以及一个或多个第一处理模块中的所述第一缩放模块和所述第二残差模块，对多个所述第一特征图进行残差处理和缩放处理，得到所述第一网络的最后一个第一处理模块输出的所述第三图像。

可选地，所述基于所述第二网络的第三处理层对所述第一特征图进行残差处理和缩放处理，得到M个所述第二网络输出的M个第四图像，包括：

基于第i个所述第二网络包括的一个或多个所述第二处理模块中的所述第二缩放模块和所述第三残差模块，对多个所述第一特征图进行缩放处理和残差处理，得到第i个所述第二网络的最后一个第二处理模块输出的第i个所述第四图像；其中，所述i为小于或等于M的正整数。

可选地，所述融合层还包括第三缩放模块，所述基于所述融合层对所述第三图像和M个所述第四图像进行融合处理，得到所述融合层输出的所述目标图像，包括：

基于所述第三缩放模块对M个所述第四图像进行缩放处理，得到M个与所述第三图像具有相同尺寸的待融合图像；

将所述第三图像与M个所述待融合图像进行融合，得到所述目标图像。

可选地，所述图像特征至少包括：线条特征、颜色特征和分类特征；

其中，所示线条特征用于指示所述第二图像的轮廓特征，所述颜色特征用于指示所述第二图像包括的颜色种类，所述分类特征用于指示所述特征图像中包括的特征的粒度。

可选地，所述第一图像为高动态范围HDR图像。

第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：

获取模块，用于获取待处理的第一图像；

生成模块，用于根据所述第一图像，生成多个第二图像，其中，不同所述第二图像的像素值范围不同；

输入模块，用于将所述第二图像输入目标模型中，得到所述目标模型输出的目标图像，其中，所述目标模型用于提取的所述第二图像的图像特征，并根据所述图像特征生成所述目标图像，所述目标图像的画质高于所述第一图像的画质。

可选地，所述生成模块，包括：

确定单元，用于根据所述第一图像的色彩通道占用比特数，确定第一像素值范围；

划分单元，用于对所述第一像素值范围进行划分，得到N个第二像素范围值；其中，所述N为正整数；

映射单元，用于将所述第一图像中各像素值映射为第n个所述第二像素范围内的像素值，得到第n个所述第二图像；其中，所述n为小于或等于所述N的正整数。

可选地，所述映射单元用于：

所述输入模块包括：

第一处理单元，用于基于所述第一处理层对多个所述第二图像进行卷积处理，得到多个第一特征图；

第二处理单元，用于基于所述第二处理层对多个所述第一特征图进行残差处理和缩放处理，得到一个第三图像；

第三处理单元，用于基于所述第二网络的第三处理层对所述第一特征图进行残差处理和缩放处理，得到M个所述第二网络输出的M个第四图像；

融合单元，用于基于所述融合层对所述第三图像和M个所述第四图像进行融合处理，得到所述融合层输出的所述目标图像。

可选地，所述第一处理层包括一个或多个卷积层；所述第二处理层包括依次连接的第一残差模块，和一个或多个依次连接的第一处理模块，其中，一个所述第一处理模块包括顺序连接的第一缩放模块和第二残差模块；

所述第二处理单元用于：

可选地，所述第三处理单元用于：

可选地，所述融合单元用于：

所述图像特征至少包括：线条特征、颜色特征和分类特征；

可选地，所述第一图像为高动态范围HDR图像。

第三方面，本申请实施例提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由计算机的处理器执行时，使得计算机能够执行如上所述的图像处理方法。

本申请实施例提供的技术方案可以包括以下有益效果：

在本申请实施例中，通过根据第一图像生成多个具有不同像素值范围的第二图像，并将该多个具有不同像素值范围的第二图像同时输入目标模型中，由于每个第二图像仅包括第一图像的部分像素点，也即，第二图像包括的灰阶数要远小于第一图像包含的灰阶数。因此，通过将对第一图像进行处理得到的第二图像输入目标模型中，与直接将第一图像输入模型中相比，由于每个第二图像中包括的灰阶较少，这样可以减少目标模型的数据处理量，进而降低目标模型的图像处理难度。

另外，由于不同第二图像的像素值范围不同，因此，在将对第一图像进行处理得到的第二图像输入目标模型中后，目标模型可以从具有不同像素值范围的第二图像中提取到不同的图像特征，并对提取的不同图像特征信息进行融合处理，得到目标图像，由于得到的目标图像中包括有从具有不同像素值范围的多个第二图像中提取的图像特征，这样可以使经过目标模型处理后得到的目标图像能够更好的显示第一图像的细节信息，提高了对第一图像进行处理的处理效果。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据一示例性实施例示出的一种图像处理方法的流程图；

图2是根据一示例性实施例示出的一种对第一图像进行处理得到的第二图像；

图3是根据一示例性实施例示出的一种目标模型的结构示意图；

图4是根据一示例性实施例示出的一种残差模块的结构示意图；

图5是根据一示例性实施例示出的一种残差单元的结构示意图；

图6是根据另一示例性实施例示出的另一种图像处理方法的流程图；

图7是根据另一示例性实施例示出的另一种图像处理装置的结构示意图；

图8是根据一示例性实施例示出的电子设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置的例子。

参考图1，图1为本申请实施例提供的一种图像处理方法的流程图。如图1所示，该图像处理方法，包括：

S101：获取待处理的第一图像；

S102：根据所述第一图像，生成多个第二图像，其中，不同所述第二图像的像素值范围不同；

S103：将所述多个第二图像输入目标模型中，得到所述目标模型输出的目标图像，其中，所述目标模型用于提取的所述第二图像的图像特征，并根据所述图像特征生成所述目标图像，所述目标图像的画质高于所述第一图像的画质。

在本申请实施例中，第一图像可以为存在炫光、部分区域模糊、具有雾感以及噪声等的低质量图像。

示例性地，第一图像可以为具有屏下摄像头的电子设备中，位于显示屏下的摄像头采集的，质量较差的图像。

上述的第一图像可以为灰度图像，也可以为彩色图像。当上述的第一图像为灰度图像时，像素值为每个像素点的灰度值，当上述的第一图像为彩色图像时，每个像素点的像素值可包括：像素点的RGB(red green blue，红绿蓝)三个子像素的子像素值。

当上述的第一图像为灰度图像时，基于第一图像生成的多个第二图像也均为灰度图像，当第一图像为彩色图像时，基于第一图像生成的多个第二图像也均为彩色图像。

上述的目标模型可以为包括多个残差模块的残差网络模型，其中，每个残差模块还可以包括串联的多个残差单元，每个残差单元用于输入图像进行残差处理，以获取输入图像的多个图像特征，其中，残差单元的具体结构如图5所示。

另外，由于不同第二图像的像素值范围不同，因此，在将对第一图像进行处理得到的第二图像输入目标模型中后，目标模型可以从具有不同像素值范围的第二图像中提取到不同的图像特征，并对提取的不同图像特征信息进行融合处理，得到目标图像，由于得到的目标图像中包括有从具有不同像素值范围的多个第二图像中提取的图像特征，这样可以使目标图像能够更好的显示第一图像的细节信息，提高了对第一图像进行处理的处理效果。

在一种实施例中，所述图像特征至少包括：线条特征、颜色特征和分类特征；

示例性地，线条特征可以包括线条的形状、粗细等特征，例如，线条为直线还是曲线等。

颜色特征可以包括颜色的种类、数量以及亮度等。

以上仅为示例性的列出了本申请实施例图像特征，并不构成对本申请实施例的图像特征的限定。

在一种实施例中，所述根据所述第一图像，生成多个第二图像，包括：

上述的色彩通道占用比特数用于指示第一图像中的一个像素点的像素值的bit位数。

示例性地，当确定的第一图像色彩通道占用比特数为8比特时，则说明第一图像的像素值在0-255范围内，此时，可以确定第一像素值范围为0-255。当确定的第一图像色彩通道占用比特数为9比特时，则说明第一图像的像素值在0-511范围内，此时，可以确定第一像素值范围为0-511。当确定的第一图像的色彩通道占用比特数为10比特时，则说明第一图像的像素值范围为0-1023，此时，可以确定第一图像的像素值范围为0-1023。

当第一像素值范围为0-511时，则可以将第一像素值范围0-511划分为6个第二像素值范围，例如，划分为：0-0.5、0.5-2、2-8、8-32、32-128和128-511。

在一种实施例中，所述将所述第一图像中各像素值映射为第n个所述第二像素范围内的像素值，得到第n个所述第二图像，包括：

将所述目标像素点的像素值更新为预定取值，得到第n个所述第一图像。

示例性地，对于上述的第3个第二像素值范围：2-8，可以将第一图像中像素值小于2和灰度值大于8的像素点全部确定为目标像素点，并将目标像素点的像素值全部更新为预定取值，其他像素点的像素值保持不变，得到第3个第二图像。

其中，上述的预定取值可以根据需要进行设定，例如，设定预定取值为0。

从上述介绍可知，第一图像可以为灰度图像，也可以为彩色图像。当上述的第一图像为灰度图像时，像素值为每个像素点的灰度值，此时，可以将第一图像中，灰度值小于2和灰度值大于8的像素点全部确定为目标像素点，并将目标像素点的灰度值全部更新为0，并保存像素值位于2-8之间的像素点的像素值不变，得到第3个第二图像。

例如，当第一图像中的某个像素点的灰度值为3时，则保持该像素点的灰度值3不变，当第一图像中的某个像素点的灰度值115时，则将该像素点的像素值更新为0。

当上述的第一图像为彩色图像时，每个像素点的像素值为该第一图像的每个像素点的RGB(red green blue，红绿蓝)值，此时，对于第一图像中的任一像素点，如果该像素点的RGB值中的任意一种颜色值小于2或大于8，则将该像素点确定为目标像素点，并将该像素点中小于2或大于8的颜色值至更新为0，保持其他的颜色至不变，得到第3个第二图像。

例如，当第一图像中的某个像素点的RGB值为(7，6，11)时，将该像素点确定为目标像素点，并保存红色值7和绿色值6进行保留，将蓝色值11更新为0。

示例性地，参考图2，编号为0的图像为第一图像，编号为1-6的图像为将第一图像映射至6个第二像素值范围之后，得到的6个第二图像。

其中，上述对第一像素值范围进行划分，得到的第二像素值范围的数量N可以根据目标模型中的卷积层具有的通道数量进行确定。

例如，当目标模型的卷积层具有18个通道时，可以将N的数值设置为6，也即，将第一像素值范围进行划分，得到6个第二像素值范围，此时，通过对彩色的第一图像进行处理，对于RGB三色中的每个颜色可以得到6张第二图像，也即，总共得到18张第二图像，这样可以使每张第二图像输入一个通道中。

参考图3至图5，在一种实施例中，所述目标模型包括：第一网络，以及M个第二网络，其中，M为不小于1的整数；所述第一网络包括依次连接的第一处理层、第二处理层和融合层；所述第二网络包括一个或多个依次连接的第三处理层；不同的所述第二网络的第三处理层的缩放系数不同；所述第二处理层的缩放系数不同于任意一个所述第三处理层的缩放系数；

示例性地，当需要处理的第一图像的动态范围较大时，可以设计具有较多数量第二网络的目标模型，例如，第二网络的数量M为2、3或4。

当需要处理的第一图像的动态范围较小时，可以设计具有较少数量第二网络的目标模型，例如，第二网络的数量为1。

示例性地，第一处理层可以包括一个或多个卷积层，每个卷积层包括18个卷积通道。其中，每个卷积通道中输入具有一个颜色值的第二图像，也即，通过第一处理层同时对18个具有不同像素值的第二图像进行处理。

基于此，在通过第一处理层对该18个第二图像进行处理之后，可以得到18个第一特征图。

由于待处理的第一图像的分辨率通常较大，将第一图像的像素值映射到多个第二像素值范围，得到多个第二图像的过程中，第二图像相对于第一图像而言，仅改变了像素值，并不会对图像分辨率产生影响，也即，在对第一图像进行处理，得到的多个第二图像的分辨率也较大。

基于此，将第二图像直接输入第一网络的第一处理层之后，得到的第一特征图的分辨率通常也会较大。此时，如果通过目标模型中的第一网络和第二网络直接对该第一特征图进行残差处理，则会使目标模型的计算量较大，而且通过第一网络和第二网络提取出的图像特征也会出现重复，造成了计算资源的浪费。

基于此，可以为第一网络的第二处理层和第二网络中第三处理层设置不同的缩放系数，并在对第一特征图进行残差处理之前，先基于该缩放系数对第一特征图进行缩放处理，这样不仅可以降低目标模型的计算量，还可以使目标模型中的不同网络从缩放后的第一特征图中提取到不同的图像特征，提高了图像处理效果。

示例性地，参考图3，图3所示的目标模型包括一个第一网络和两个第二网络，且第一网络的缩放因子为1，第1个第二网络的缩放因子为1/2，第2个第二网络的缩放因子为1/4。

假设第一处理层在对第二图像进行处理后，得到了分辨率为1000*1000的第一特征图，则向第一网络的第二处理层输入分辨率为1000*1000的第一特征图，通过第二处理层对多个分辨率为1000*1000的第一特征图进行1倍的缩放处理后再进行残差处理，并基于第二处理层的残差处理输出一个第三图像。

将多个分辨率为1000*1000的第一特征图输入第1个第二网络中，第1个第二网络的第三处理层会先将分辨率为1000*1000的第一特征图压缩至原来的1/2，得到多个分辨率为500*500的第一特征图，之后，在通过对多个分辨率为500*500的第一特征图进行残差处理，得到第1个第二网络输出的第1个第四图像。

同理，在将分辨率为1000*1000的多个第一特征图输入至第2个第二网络之后，第2个第二网络中的第三处理层可以将该分辨率为1000*1000的第一特征图压缩至原来的1/4，得到分辨率为250*250的第一特征图，再对压缩后得到的分辨率为250*250的第一特征图进行残差处理，得到第2个第四图像。

在得到第三图像、第1个第四图像以及第2个第四图像之后，通过第一网络中的融合层对该第三图像、第1个第四图像以及第2个第四图像进行融合处理，得到目标图像。

在一种实施例中，所述第一处理层包括一个或多个卷积层；

在本申请实施例中，上述的第一网络中的第一处理模块的数量可以根据需要进行设计。

示例性地，当需要采用目标模型处理的第一图像较为复杂时，可以在第一网络中串联较多数量的第一处理模块，也即设置较多数量的第一缩放模块和第二残差模块，例如，在第一网络中设计3个、4个或5个第一处理模块。

当采用目模型处理的第一图像较为简单时，可以在第一网络中设计较少数量的第一处理模块，例如，在第一网络中设计1个或2个第一处理模块。

参考图3至图5，本申请实施例的目标模型中包括1个第一网络和2个第二网络，且第一网络的第二处理层包括两个第一处理块，2个第二网络中各串联有3个第二处理模块，其中，每个第一处理模块包括的第二残差模块，以及每个第三处理层包括的第三残差模块中又包括串联的三个残差单元(如图4所示，每个RDB为一个残差单元)，每个残差单元的具体结构如图5所示。

下文中，为方便说明，将第一残差模块用RRDB01表示，将第一网络中的第1个第一处理模块用CRRDB02表示，将第一网络中的第2个第一处理模块用CRRDB03表示；

将第1个第二网络中的第1个第二处理模块用CRRDB11表示，第2个第二处理模块个CRRDB12表示，第3个第二处理模块个CRRDB13表示；

将第2个第二网络中的第1个第二处理模块用CRRDB21表示，第2个第二处理模块个CRRDB22表示，第2个第二处理模块个CRRDB23表示；

示例性地，参考图3，假设通过第一处理层对第二图像进行处理，得到的多个第一特征图的分辨率为1000*1000时，可以将分辨率为1000*1000的第一特征图输入RRDB01中，基于此，RRDB01在对输入的分辨率为1000*1000的第一特征图残差处理后进行输出，此时，可以得到RRDB01的输出特征图P01。

基于第1个第二网络的缩放因子1/2，在将分辨率为1000*1000的第一特征图输入第1个第二网络之后，第1个第二网络的CRRDB11中的第二缩放模块可以将该分辨率为1000*1000的第一特征图压缩至分辨率为500*500之后，通过CRRDB11中的第三残差模块对压缩后的第一特征图进行残差处理，得到CRRDB11的输出特征图P11，其中，输出特征图P11的分辨率为500*500。

基于第2个第二网络的缩放因子1/4，在将分辨率为1000*1000的第一特征图输入第2个第二网络之后，第2个第二网络的CRRDB21的第二缩放模块可以将该分辨率为1000*1000的第一特征图压缩至分辨率为250*250之后，输入至CRRDB21的第三残差模块中进行残差处理，得到CRRDB21的输出特征图P21，其中，输出特征图P21的分辨率为250*250。

此时，对于第一网络中的第1个第一处理模块CRRDB02中的第一缩放模块，可以从第1个第二网络中获取CRRDB21的输出特征图P21，并对该输出特征图进行放大处理，得到分辨率为1000*1000的输出特征图Q21，从第2个第二网络中获取CRRDB21的输出特征图P21，并对该输出特征图P21进行放大处理，得到分辨率为1000*1000的输出特征图Q21。

之后，将CRRDB11的输出特征图P11与上述得到的输出特征图Q11和输出特征图Q21进行融合，并作为CRRDB02的第二残差模块的输入。

同理，在CRRDB02输出特征图P02之后，CRRDB03中的第一缩放模块可以将CRRDB02的输出特征图P02，与对CRRDB12的输出特征图P12进行放大得到的输出特征图Q12，以及对CRRDB22的输出特征图P22进行放大得到的输出特征图Q22进行融合，并作为CRRDB03中的第二残差模块的输入。

基于此，下一时刻，可以得到CRRDB03输出特征图P03，由于CRRDB03为第一网络中的最后一个第一处理模块，因此，可以将CRRDB03的输出特征图作为第三图像。

在一种实施例中，所述基于所述第二网络的第三处理层对所述第一特征图进行残差处理和缩放处理，得到M个所述第二网络输出的M个第四图像，包括：

示例性地，从上述介绍可知，在将分辨率为1000*1000的第一特征图输入第1个第二网络中的CRRDB11中的第二压缩模块之后，第二压缩模块可以将该分辨率为1000*1000的第一特征图压缩至分辨率为500*500，并通过CRRDB11中的第三残差模块对压缩后的第一特征图进行处理，得到CRRDB11的输出特征图P11。

此时，第1个第二网络的CRRDB12中的第二压缩模块可以获取RRDB01的输出特征图P01，并将获取的RRDB01输出的分辨率为1000*1000的输出特征图P01进行压缩处理，得到分辨率为500*500的输出特征图Z01。

第1个第二网络的CRRDB12中的第二压缩模块还可以获取CRRDB21的输出特征图P21，并将分辨率为250*250的输出特征图P21进行放大处理，得到分辨率为500*500的输出特征图Z21。

之后，将CRRDB11的输出特征图P11与分辨率为500*500的输出特征图Z01以及输出特征图Z21进行融合，并作为第1个第二网络的CRRDB12中的第三处理模块RRDB12的输入。

同理，在得到CRRDB12的输出特征图P12之后，对于第2个第二网络的CRRDB12中的第二压缩模块，可以将CRRDB12的输出特征图P12，与对CRRDB02的输出特征图P02进行压缩处理得到的分辨率为500*500的输出特征图Z02，以及对CRRDB22的输出特征图P22进行放大处理得到的第五特征图Z22进行融合，并作为CRRDB13中的第三残差模块的输入。

基于此，下一时刻，可以得到CRRDB13的输出特征图P13，由于CRRDB13为第1个第二网络中的最后一个第二处理模块，因此，可以将CRRDB13的输出特征图作为第1个第四图像。

示例性地，从上述介绍可知，对于第2个第二网络，在将分辨率为1000*1000的第一特征图输入CRRDB21的第二压缩模块之后，该第二压缩模块会将分变为1000*1000的第一特征图压缩至分辨率为250*250之后，通过CRRDB21的第三残差模块对压缩后的第一特征图进行残差处理，得到CRRDB21的输出特征图P21。

此时，第2个第二网络的CRRDB22中第二压缩模块还可以获取CRRDB01的输出特征图P01，并将获取的CRRDB01输出的分辨率为1000*1000的输出特征图P01压缩至分辨率为250*250的输出特征图K01。

第2个第二网络的CRRDB22中第二压缩模块还可以获取CRRDB11的输出特征图P11，并将获取的CRRDB11输出的分辨率为500*500的输出特征图进行压缩，得到分辨率为250*250的输出特征图K11。

之后，可以将CRRDB21的输出特征图P21与分辨率为250*250输出特征图K01以及输出特征图K11进行融合，并作为CRRDB22的第三处理模块的输入。

同理，在CRRDB22输出特征图P22之后，CRRDB23中的第二压缩模块可以将对CRRDB02的输出特征图P02进行压缩处理得到的分辨率为250*250的输出特征图K02，以及对RRDB12的输出特征图P12进行压缩得到的分辨率为250*250的输出特征图K12进行融合，并作为CRRDB23的第三残差模块的输入。

基于此，下一时刻，可以得到CRRDB23的输出特征图P23，由于CRRDB23为第2个第二网络中的最后一个第二处理模块，因此，可以将CRRDB23的输出特征图P23作为第2个第四图像。

需要说明的是，上述对输出特征图进行压缩和放大处理的过程可以采用双线性插值法，也可以采用其他的能够对图像进行压缩和放大处理的处理方法，本申请实施例对此不作限定。

在一种实施例中，所述融合层还包括第三缩放模块，基于所述融合层对所述第三图像和M个所述第四图像进行融合处理，得到所述融合层输出的所述目标图像，包括：

从上述介绍可知，由于第二网络输出的M个第四图像的分辨率与第三图像的分辨率不同，因此，在对第三图像和第四图像进行融合之前，还可以通过融合层中的第三缩放模块对第四图像进行缩放处理，将第四图像的分辨率缩放至与第三图像相同之后再进行融合处理。

示例性地，从上述可知，第一网络输出的第三图像的分辨率为1000*1000，第1个第二网络输出的第1个第四图像的分辨率为500*500，第2个第二网络输出的第2个第四图像的分辨率为250*250.

因此，可以通过融合层的第三缩放模块将对分辨率为500*500的第1个第四图像进行放大处理，得到分辨率为1000*1000的第1个待融合图像。对分辨为250*250的第2个第四图像进行放大处理，得到分辨率为1000*1000的第2个待融合图像。

之后，将第一网络输出的第三图像与第1个待融合图像以及第2个待融合图像进行融合，得到目标图像。

其中，对第四图像进行放大处理，得到待融合图像的方法也可以为双线性差值法，还可以为其他的图像放大方法，本申请实施例对此不作限定。

在本申请实施例中，目标模型中包括的多个第二网络可以提取具有不同分辨率的图像中的不同细节信息，这样可以使得到的目标图像中的细节信息更为的丰富，提高对待处理的第一图像件处理后得到的目标图像的质量。

在一种实施例中，在将所述第二图像输入所述第一网络和所述第二网络之前，对所述第一图像和所述第二图像进行归一化处理。

在本申请实施例中，为了方便模型对于第二图像的处理，还可以对得到的第二图像的像素值进行归一化，使每个第二图像的像素值均位于0-1之间。

示例性地，可以用每个第二图像中的每个像素点的像素值除以该第二图像的最大像素值，得到归一化后的第二图像。

例如，当第二像素值范围位于2-8之间时，可以将像素值位于2-8之间的第二图像中的每个像素点的像素值除以8，得到归一化后的第二图像。

例如，当第二图像的像素值位于128-511之间时，可以给第二图像中的每个像素点的像素值除以511，得到归一化后的第二图像。

在本申请实施例中，在将第二图像输入目标模型之前，对第二图像先进行归一化处理，可以降低模型的学习难度。

在一种实施例中，所述第一图像为高动态范围HDR图像。

在本申请实施例中，由于HDR图像具有较宽的像素值范围，如果将该HDR图像直接输入目标模型中进行处理，会增加目标模型的学习难度，使模型对第一图像的处理难以达到预期的效果。

基于此，在本申请实施例中，通过将HDR图像拆分为具有不同像素值范围的多个非HDR图像，也即，得到多个第二图像，由于每个第二图像的像素值仅为HDR图像的部分像素值，通过目标模型对第二图像进行处理，与直接通过模型对HDR图像进行处理，可以降低目标模型的处理难度，进而提高目标模型的图像处理效果。

在本申请实施例中，在通过目标模型对第一图像进行处理之前，需要先对目标模型进行训练。

示例性地，可以采用屏下摄像头和正常的摄像头同时采集相同目标的图像，并将采集的屏下图像和正常图像作为训练集对目标模型进行训练，至模型收敛或达到预设训练次数。

其中，训练目标模型采用的优化器为Adam优化器，其中，优化器中的一阶矩估计的指数衰减率0.9，二阶矩估计的指数衰减率0.999。

学习率的初始值为0.0002，采用Cosine Annealing RestartLR更新学习，模型的损失函数可以采用LiLoss损失函数。

需要说明的是，在进行模型训练时，对于训练集中的屏下图像和正常图像均需要采用上述对第一图像进行处理得到第二图像的处理方法进行处理，以得到屏下图像的第二图像和正常图像的第二图像，在模型训练的过程中，将对屏下图像进行处理得到的第二图像输入目标模型中，并根据目标模型的输出结果和对正常图像进行处理得到的第二图像来计算损失函数，进而根据得到的损失函数对目标模型的参数进行修正，至目标模型收敛或达到预设训练次数，得到训练好的目标模型。

参考图6，本申请实施例还提供了一种图像处理方法，包括：

将高动态范围(简称HDR)图像进行退化处理，从而对HDR图像不同动态范围的信息进行针对性画质增强，设计并采用多分辨率融合残差密集网络结构对数据集进行训练学习。

方案整体流程图如图6所示：

S601：获取数据，获取屏下摄像头采集的HDR图像和正常摄像头采集的相同目标的HDR图像。

S602:数据处理，对屏下摄像头采集的HDR图像和正常摄像头采集的HDR图像进行预处理，实现对待处理图像的不同动态范围的信息进行针对性画质增强；

S603：图像复原算法，将步骤S602得到的屏下摄像头采集的HDR图像输入目标模型进行训练学习，得到训练好的目标模型；

S604：高质量图像，将屏下摄像头采集的HDR图像根据动态范围输入到目标模型中得到处理后的高质量HDR图像。

具体地，参考图2，图2中编号为0的图像为原始HDR图像(第一图像)，编号为1-6的图像为不同像素值范围的非HDR图像(第二图像)。由于HDR图像数据范围跨度比较大，如果不经处理直接送入目标模型中进行训练，会导致目标网络的学习难度较大，可能无法很好的恢复屏下HDR图像的所有信息，所以将HDR图像进行处理。

示例性地，以动态范围为[0，511]的HDR图像为例，将HDR图像生成6张不同像素值范围的非HDR图像，像素值范围分别为：[0，0.5]，[0.5，2]，[2，8]，[8，32]，[32，128]，[128，511]，将这些图像归一化到0到1之间，然后拼接为1个18通道的数据用于训练，对屏下摄像头采集的HDR图像和正常摄像头采集的HDR图像都进行上述处理。若待处理图像为其他动态范围的图像预处理规范则是除了保留[0，0.5]，[0，图像像素值]这两档外，其他四档以二的倍数为因子等比生成。

其中，在本申请实施例中，采用的目标模型为目标模型，考虑到深度学习网络对不同区间的数据的学习能力是不一样的。本申请基于残差模块，采用多分辨率特征融合的策略，设计了一种新的网络结构--多分辨率融合残差密集网络，来提高网络的学习能力，具体结构见图3至图5。

第一网络包括串联的多个残差模块，其中，每个残差模块又是由3个残差单元和一个跳跃连接组成，具体见图4。本申请在网络结构的开端引入了两个分支网络，分别是缩放因子为1/2的第二网络和缩放因子为1/4的第二网络。其中，由双线性插值算法完成特征图的缩放操作。第二网络和第一网络一样，也是由3个残差模块连接组成。这样的结构使得每个网络在训练过程中都能接受来自其他两个网络学习到的图像信息。由此，这样的网络结构可以加强网络对屏下图像复杂退化问题的恢复能力。在目标模型的末端2个第二网络进行上采样操作，然后与第一网络进行拼接融合，这样可以提取更丰富的上下文信息，也可以提高目标模型学习不同粒度的图像信息的能力。

其中，在图像复原算法的训练阶段，本申请使用Adam优化器β1设为0.9、β2设为0.999，学习率初始为0.0002，采用Cosine Annealing RestartLR更新学习率，损失函数为L1loss，在Pytorch深度学习框架实现算法，在NVIDIA V100 GPUs上训练模型。

参考图7，本申请实施例提供了一种图像处理装置，所述装置包括：

获取模块701，用于获取待处理的第一图像；

生成模块702，用于根据所述第一图像，生成多个第二图像，其中，不同所述第二图像的像素值范围不同；

输入模块703，用于将所述第二图像输入目标模型中，得到所述目标模型输出的目标图像，其中，所述目标模型用于提取的所述第二图像的图像特征，并根据所述图像特征生成所述目标图像，所述目标图像的画质高于所述第一图像的画质。

可选地，所述生成模块702，包括：

可选地，所述映射单元用于：

所述输入模块703，包括：

所述第一处理层包括一个或多个卷积层；所述第二处理层包括依次连接的第一残差模块，和一个或多个依次连接的第一处理模块，其中，一个所述第一处理模块包括顺序连接的第一缩放模块和第二残差模块；

所述第二处理单元用于：

可选地，所述第三处理单元用于：

可选地，所述融合单元用于：

所述图像特征至少包括：线条特征、颜色特征和分类特征；

可选地，所述第一图像为高动态范围HDR图像。

参考图8，本申请实施例中，提供一种第一设备800，包括：

用于存储处理器可执行指令的存储器804；

处理器820，与存储器804连接；

其中，处理器820被配置为执行前述任意技术方案提供的图像处理方法。

根据一示例性实施例示出的一种第一设备800的框图。例如，第一设备800可以是手机、平板电脑等。

参考图8，第一设备800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制第一设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在第一设备800的操作。这些数据的示例包括用于在第一设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为第一设备800的各种组件提供电力。电源组件806可以包括电源管理***，一个或多个电源，及其他与为第一设备800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述第一设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当第一设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当第一设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为第一设备800提供各个方面的状态评估。例如，传感器组件814可以检测到第一设备800的打开/关闭状态，组件的相对定位，例如所述组件为第一设备800的显示器和小键盘，传感器组件814还可以检测第一设备800或第一设备800一个组件的位置改变，用户与第一设备800接触的存在或不存在，第一设备800方位或加速/减速和第一设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于第一设备800和其他设备之间有线或无线方式的通信。第一设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，第一设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由第一设备800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本申请实施例提供一种非临时性计算机可读存储介质，当存储介质中的指令由计算机的处理器执行时，使得计算机能够执行前述一个或多个技术方案所述的图像处理方法。

所述处理器执行所述指令时至少能够执行以下步骤：

获取待处理的第一图像；

将所述第二图像输入目标模型中，得到所述目标模型输出的目标图像，其中，所述目标模型用于提取的所述第二图像的图像特征，并根据所述图像特征生成所述目标图像，所述目标图像的画质高于所述第一图像的画质。

可选地，所述目标模型包括：第一网络，以及M个第二网络，其中，M为不小于1的整数；

所述第一网络包括依次连接的第一处理层、第二处理层和融合层；所述第二网络包括一个或多个依次连接的第三处理层；不同的所述第二网络的第三处理层的缩放系数不同；所述第二处理层的缩放系数不同于任意一个所述第三处理层的缩放系数；

可选地，所述第一处理层包括一个或多个卷积层；

可选地，所述第一图像为高动态范围HDR图像。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims

1.一种图像处理方法，其特征在于，所述方法包括：

获取待处理的第一图像；

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像，生成多个第二图像，包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述第一图像中各像素值映射为第n个所述第二像素范围内的像素值，得到第n个所述第二图像，包括：

4.根据权利要求1所述的方法，其特征在于，所述目标模型包括：第一网络，以及M个第二网络，其中，M为不小于1的整数；所述第一网络包括依次连接的第一处理层、第二处理层和融合层；所述第二网络包括一个或多个依次连接的第三处理层；不同的所述第二网络的第三处理层的缩放系数不同；所述第二处理层的缩放系数不同于任意一个所述第三处理层的缩放系数；

5.根据权利要求4所述的方法，其特征在于，所述第一处理层包括一个或多个卷积层；

6.根据权利要求5所述的方法，其特征在于，所述基于所述第二网络的第三处理层对所述第一特征图进行残差处理和缩放处理，得到M个所述第二网络输出的M个第四图像，包括：

7.根据权利要求6所述的方法，其特征在于，所述融合层还包括第三缩放模块，所述基于所述融合层对所述第三图像和M个所述第四图像进行融合处理，得到所述融合层输出的所述目标图像，包括：

8.根据权利要求1-7任一所述的方法，其特征在于，所述图像特征至少包括：线条特征、颜色特征和分类特征；

9.根据权利要求8所述的方法，其特征在于，所述第一图像为高动态范围HDR图像。

10.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取待处理的第一图像；

11.一种非临时性计算机可读存储介质，当所述存储介质中的指令由计算机的处理器执行时，使得计算机能够执行如权利要求1至9中任一项所述的图像处理方法。