CN115187487A - 图像处理方法及装置、电子设备、存储介质 - Google Patents

Abstract

本公开实施例是关于一种图像处理方法及装置、电子设备、存储介质，涉及影像技术领域，该图像处理方法包括：获取待处理图像，并对所述待处理图像进行分块得到多个图像块；根据每个图像块的色温信息，以及通过色彩传感器阵列确定的各所述图像块的局部色温信息，确定各图像块的目标色温信息；根据所述目标色温信息获取所述待处理图像中目标区域的区域色温信息，并基于区域色温信息获取所述目标区域的颜色矫正增益矩阵；根据所述目标区域的所述颜色矫正增益矩阵对所述目标区域的颜色信息进行矫正，获取所述目标区域的目标颜色信息，以生成所述待处理图像对应的目标图像。本公开实施例中的技术方案，能够提高颜色矫正的准确性。

Description

图像处理方法及装置、电子设备、存储介质

技术领域

本公开涉及影像技术领域，具体而言，涉及一种图像处理方法及装置、电子设备以及计算机可读存储介质。

背景技术

在图像处理过程中，可能需要对图像进行色彩矫正以提高图像质量。

相关技术中，颜色矫正利用色卡在不同色温光源条件下做标定，再通过设备实时判定当前场景色温，最终插值计算出所需要使用的颜色矫正矩阵。上述方式具有一定的局限性，只能进行整体校正，导致得到的颜色矫正矩阵不准确，影响图像质量。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种图像处理方法及装置、电子设备、计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的图像矫正准确性较差的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种图像处理方法，包括：获取待处理图像，并对所述待处理图像进行分块得到多个图像块；根据每个图像块的色温信息，以及通过色彩传感器阵列确定的各所述图像块的局部色温信息，确定各图像块的目标色温信息；根据所述目标色温信息获取所述待处理图像中目标区域的区域色温信息，并基于区域色温信息获取所述目标区域的颜色矫正增益矩阵；根据所述目标区域的所述颜色矫正增益矩阵对所述目标区域的颜色信息进行矫正，获取所述目标区域的目标颜色信息，以生成所述待处理图像对应的目标图像。

根据本公开的第二方面，提供一种图像处理装置，包括：图像分块模块，用于获取待处理图像，并对所述待处理图像进行分块得到多个图像块；色温获取模块，用于根据每个图像块的色温信息，以及通过色彩传感器阵列确定的各所述图像块的局部色温信息，确定各图像块的目标色温信息；增益矩阵确定模块，用于根据所述目标色温信息获取所述待处理图像中目标区域的区域色温信息，并基于区域色温信息获取所述目标区域的颜色矫正增益矩阵；颜色矫正模块，用于根据所述目标区域的所述颜色矫正增益矩阵对所述目标区域的颜色信息进行矫正，获取所述目标区域的目标颜色信息，以生成所述待处理图像对应的目标图像。

根据本公开的第三方面，提供一种电子设备，包括：影像模组，包括色彩传感器阵列；处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面的图像处理方法及其可能的实现方式。

根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的图像处理方法及其可能的实现方式。

本公开实施例中提供的技术方案中，一方面，通过色彩传感器阵列获取的局部色温信息来获取每个图像块的目标色温信息，进而确定目标区域的区域色温信息对应的颜色矫正增益矩阵，避免了只能进行整体矫正的局限性，实现对目标区域表示的局部图像块的单独控制，提高了图像处理的独立性和灵活性，也提高了图像处理的针对性，能够增加应用范围，提高应用便捷性。另一方面，通过每个图像块的目标色温信息计算目标区域中的颜色矫正增益矩阵，能够对目标区域的每个图像块进行独立控制，能够通过目标区域的颜色矫正增益矩阵进行颜色矫正，提高了准确性，提高颜色矫正的效果以及图像质量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了可以应用本公开实施例的图像处理方法的应用场景的示意图。

图2示意性示出本公开实施例一种图像处理方法的示意图。

图3示意性示出本公开实施例中图像块的示意图。

图4示意性示出本公开实施例中通过不同方式确定目标色温信息的流程示意图。

图5示意性示出本公开实施例中目标色温信息的权重变化示意图。

图6示意性示出本公开实施例中确定目标区域的示意图。

图7示意性示出本公开实施例中不同区域的色温过渡的示意图。

图8示意性示出本公开实施例中径向过渡的示意图。

图9示意性示出本公开实施例中不同区域的颜色过渡的示意图。

图10示意性示出本公开实施例中图像信号处理器的结构示意图。

图11示意性示出本公开实施例中一种图像处理装置的框图。

图12示意性示出本公开实施例中电子设备的框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本公开实施例中提供了一种图像处理方法，可以应用于拍照过程中对图像进行处理的应用场景。图1示出了可以应用本公开实施例的图像处理方法及装置的***架构的示意图。

如图1所示，终端101可以为具有图像处理功能的智能设备，例如可以为智能手机、电脑、平板电脑、智能音箱、智能手表、车载设备、可穿戴设备、监控设备等智能设备。终端中可以包含摄像头，摄像头的类型可以为任意类型，只要能够进行拍照处理即可。摄像头的数量可以为至少一个，例如可以为一个、四个等等，只要能够进行拍照即可。待处理图像可以为拍摄得到的图像，也可以为拍摄得到的视频中的每一帧图像。

本公开实施例中，终端101可以包括存储器102以及处理器103。存储器用于对图像进行存储，处理器用于对图像进行处理，例如进行白平衡处理等等。存储器102中可以存储待处理图像104。终端101从存储器102中获取待处理图像104，并发送至处理器103中，在处理器103中对待处理图像进行分块处理得到多个图像块，确定待处理图像的局部色温信息以及色温信息。根据色温信息以及色彩传感器阵列获取的每个图像块的局部色温信息确定每个图像块的目标色温信息，进一步确定目标区域中目标色温信息的颜色矫正增益矩阵，以通过颜色矫正增益矩阵对待处理图像的目标区域进行颜色矫正，从而生成目标图像105。

需要说明的是，本公开实施例所提供的图像处理方法可以由终端101来执行。图像处理方法也可以设置于终端中。

接下来，参考图2对本公开实施例中的图像处理方法进行详细说明。

在步骤S210中，获取待处理图像，并对所述待处理图像进行分块得到多个图像块。

本公开实施例中，待处理图像可以为通过终端的摄像模组对待拍摄物体进行拍摄得到的图像，也可以为拍摄的视频中的每一帧图像。待处理图像也可以为从相册或其他存储位置直接获取的图像或视频中的每一帧图像。终端可以为智能手机、数码相机、智能手表、可穿戴设备、车载设备或者是监控设备的摄像头中的任意一种，只要能够对待拍摄物体进行拍照以及能够实现图像处理即可，此处以智能手机为例进行说明。摄像模组中可以包括至少一个摄像头，例如可以包括主摄像头、长焦摄像头、广角摄像头、微距摄像头中的任意一种或其组合。待处理图像可以为各种类型的图像，例如可以为动态图像或者是静态图像等等。

在获取到待处理图像之后，可以对待处理图像进行分块处理得到多个图像块。图像块可以为待处理图像的一部分，且多个图像块之间不重叠。每个图像块的大小可以相同，且图像块的数量可以根据网格数量而确定。示例性地，可以提供一个网格区域并将其作用在待处理图像上，以将待处理图像按照网格区域划分为多个图像块，划分的图像块可以和网格区域一一对应。参考图3中所示，可以包含多个图像块301。例如，网格00对应图像块00，网格01对应图像块01等等。网格区域的大小可以根据实际需求以及硬件结构共同进行设置，即在硬件结构能够支持的情况下，根据实际需求进行设置。例如可以为row行col列。基于此，可以将色彩传感器与图像块以及网格相关联，可以将待处理图像划分为row×col的图像块，且每个图像块与每一个网格相对应，在同一视场角下，网格区域表示的多窗口空间范围与待处理图像一致，以使得网格区域能够覆盖在待处理图像上。每个网格可以对应一个窗口，因此可以称为多窗口。

本公开实施例中，可以包括色彩传感器阵列，色彩传感器阵列中可以包括多个色彩传感器302，且多个色彩传感器呈阵列排布。色彩传感器的数量可以根据图像块的数量而确定。并且，色彩传感器阵列可以与多窗口信息结合，因此每个色彩传感器均可以为多窗口色彩传感器。每一个网格代表一个色彩传感器，每个色彩传感器与每个图像块相对应。由于将待处理图像划分为多个网格，因此在空间上就形成了row×col的色彩传感器阵列，该阵列形成了多窗口色彩传感器。

多窗口色彩传感器阵列是一个独立的传感器，可以设置于摄像模组中任意一个摄像头的一侧并靠近摄像模组。摄像模组可以为后置摄像头模组，摄像模组可以包括至少一个摄像头，例如可以包括主摄像头、长焦摄像头、广角摄像头、微距摄像头中的任意一种或其组合。多个摄像头的具体设置位置以及排列顺序可以根据实际需求而确定，此处不做具体限定。色彩传感器阵列例如可以为长焦摄像头的左侧，或者是主摄像头的右侧或者是至少一个摄像头中最后一个摄像头的下侧等等。摄像模组与色彩传感器阵列可以相邻设置，也可以相隔一些间距。色彩传感器阵列的具***置可以根据实际应用过程中对色彩传感器阵列进行标定的标定结果而确定，也可以根据实际需求而确定，此处不作具体限定。

需要说明的是，对于图像信号处理器中的每个模块而言，都可以对待处理图像进行分块，且分块得到的图像块可以与根据网格进行分块得到的图像块保持一致，以保证一致性和准确性。举例而言，颜色矫正模块可以对图像进行多窗口区域划分，得到第一图像块；2D/3D查找表模块也可以对图像进行多窗口区域划分，得到第二图像块。不同模块之间的图像划分方式相同，且第一图像块和第二图像块与步骤S210中划分的图像块基本一致，以保证图像块之间的一致性和准确性。

色彩传感器阵列的多窗口区域信息与颜色矫正模块对应设计，颜色矫正模块窗口规格应等于或者稍大于或小于色彩传感器阵列的多窗口区域，即二者的行数和列数均相同。

接下来，继续参考图2中所示，在步骤S220中，根据每个图像块的色温信息，以及通过色彩传感器阵列确定的各所述图像块的局部色温信息，确定各图像块的目标色温信息。

本公开实施例中，首先可以通过图像信号处理器ISP获取每个图像块的色温信息，具体可以用cct1来表示。除此之外，可以通过色彩传感器阵列计算当前场景的局部区域的色温，即获取每个图像块的局部色温信息，可以用cct2来表示。其中，色彩传感器可以为用于探测场景颜色、色温、光谱等相关信息的传感器，可以用于探测每个图像块对应的物体的色彩信息以及当前场景的色温信息。物体可以为每个图像块包含的对象，可以为任何类型的对象，例如物体、人物等等。

本公开实施例中，可以根据色温信息和局部色温信息共同确定图像块的目标色温信息。示例性地，可以将所述色温信息与所述局部色温信息进行对比确定差异信息；根据所述差异信息与阈值参数的对比结果，选择不同方式获取所述目标色温信息。阈值参数可以包括第一阈值和第二阈值，且第一阈值Th1小于第二阈值Th2。

图4中示意性示出了选择不同方式确定目标色温信息的流程图，参考图4中所示，主要包括以下步骤：

在步骤S410中，判断差异信息是否小于第一阈值；若是，转至步骤S420；若否，转至步骤S430；

在步骤S420中，若所述差异信息小于第一阈值，根据色温信息确定目标色温信息；

在步骤S430中，判断差异信息是否小于第二阈值；若是，则转至步骤S440；若否，则转至步骤S450；

在步骤S440中，若所述差异信息大于第一阈值且小于第二阈值，通过局部色温信息对所述色温信息进行调整，以确定所述目标色温信息；

在步骤S450中，若所述差异信息大于第二阈值，根据所述局部色温信息确定所述目标色温信息。

本公开实施例中，随着差异信息的变化，目标色温信息占色温信息的权重也逐渐减小，具体参考图5中所示的权重变化图。当差异信息大于第一阈值时，目标色温信息占色温信息的权重为1；当差异信息处于第一阈值和第二阈值之间时，目标色温信息占色温信息的权重逐渐减小；当差异信息大于第二阈值时，目标色温信息所占色温信息的权重为0，即目标色温信息占色彩传感器阵列获取的局部色温信息的权重为1。

在此基础上，如果二者之间的差异信息小于第一阈值，在这种情况下，色彩传感器阵列无需对图像信号处理器获取得到的色温信息进行矫正，因此直接将色温信息作为每个图像块的目标色温信息。

如果二者之间的差异信息大于第一阈值且小于第二阈值，色彩传感器阵列获取的局部色温信息需要对图像信号处理器得到的色温信息进行调整，具体可以根据色彩传感器阵列以及图像信号处理器得到的色温信息共同确定每个图像块的目标色温信息，即，通过色彩传感器阵列获取的局部色温信息对色温信息进行插值。示例性地，每个图像块的目标色温信息可以根据对不同方式计算得到的所有色温信息进行插值得到。插值可以为加权求和操作。示例性地，可以按照对应的权重参数，对色彩传感器阵列获取的局部色温信息以及色温信息进行加权融合得到目标色温信息，例如公式(1)所示：

cct＝cct1*w1+cct2*w2 公式(1)

其中，cct1表示图像信号处理器获取的色温信息，cct2表示色彩传感器阵列获取的每个图像块的局部色温信息。

通过色彩传感器阵列获取的局部色温信息对色温信息进行调整，能够提高每个图像块的目标色温信息的准确性，也避免了相关技术中环境对色温的影响，提高了稳定性。

如果二者之间的差异信息大于第二阈值，则每个图像块的目标色温信息可以根据色彩传感器阵列获取的局部色温信息来确定。

在确定每个图像块的目标色温信息之后，可以将对每个图像块的目标色温信息进行平滑处理，以实现所有图像块的目标色温信息之间的平滑过渡，降低每个图像块所表示的局部分块之间作用不同的目标色温信息后产生的突变效果。其中，平滑处理可以通过低通滤波来实现。

接下来，在步骤S230中，根据所述目标色温信息获取所述待处理图像中目标区域的区域色温信息，并获取所述目标区域的颜色矫正增益矩阵。

本公开实施例中，颜色矫正增益矩阵用于实现颜色矫正。颜色矫正指的是，通过24色卡对图像当前颜色与目标颜色之间的差异进行矫正。颜色矫正增益矩阵用于对每个像素点的颜色参数进行矫正，以将其调整为目标颜色参数。颜色参数可以为RGB数值。

为了解决相关技术中无法对部分区域的内容进行针对性处理的问题，可以提供掩膜信息来从待处理图像中选择一个目标区域来进行针对性处理。掩膜信息可以为至少一个，具体根据实际需求而确定，此处以一个掩膜信息为例进行说明。目标区域可以为待处理图像中与掩膜信息匹配的部分区域。参考图6中所示，可以通过掩膜信息601从待处理图像600中选择出来目标区域602，并将除目标区域之外的其他区域确定为参考区域603。目标区域可以为需要重点关注的区域或者是需要细粒度进行调整的区域，例如人脸区域或者是细节较多的区域等等。目标区域中可以包含至少一个图像块，且图像块可以是完整的图像块，也可以是部分图像块，具体根据掩膜信息的大小而确定。

在获取目标区域之后，可以根据目标区域包含的图像块的目标色温信息来输出目标区域的区域色温信息，即第四色温信息cct4。例如区域色温信息可以为每个图像块单独的目标色温信息，例如包含图像块1、图像块2以及图像块3的目标色温信息；也可以为多个图像块的目标色温信息进行整合之后得到的色温信息，此处以区域色温信息为每个图像块单独的目标色温信息为例进行说明。与此同时，可以将待处理图像中除目标区域之外的参考区域的色温信息确定为第三色温信息cct3。第三色温信息与第四色温信息不同。

在得到目标区域的区域色温信息之后，可以根据第一调整参数对目标区域的区域色温信息进行调整输出第四色温信息，而保持参考区域的色温信息不变得到第三色温信息。示例性地，第一调整参数具体根据实际需求而确定，例如用户需求或者是***设定等等。第一调整参数可以包含需要调整的图像块以及调整程度。在进行调整时，可以按照需要调整的图像块以及调整幅度进行全部调整或部分调整，从而对目标区域的区域色温信息进行调整以输出第四色温信息，实现对目标区域的第四色温信息进行精准独立控制，提高了灵活性。需要说明的是，对于目标区域包含的每个图像块而言，由于目标区域中每个图像块的比例不同，因此对每个图像块的调整优先级可以不同，具体地，调整优先级可以与图像块的比例正相关，即图像块位于目标区域的比例越大，则调整优先级越高。不同图像块的调整方向可能不同，具体根据实际需求而确定。

为了避免不同区域的色温信息之间的差异，可以将目标区域内的第四色温信息以及目标区域外参考区域的第三色温信息进行平滑过渡。平滑过渡可以为径向过渡，也可以其他过渡方式，此处以径向过渡为例进行说明。

本公开实施例中，以目标区域之外参考区域的第三色温信息的中心区域为径向原点，由目标区域的第四色温信息向参考区域的第三色温信息进行径向过渡，参考图7中所示。二者之间的过渡方式可以为平滑曲线权重径向分布或者是线性分布等一系列权重过渡方式，参考图8中所示，此处不作具体限定。平滑曲线权重径向分布指的是过渡方式的权重可以为平滑曲线分布，线性分布指的是过渡方式的权重的分布方式为线性分布。当为线性分布时，可以在径向距离小于第一阈值Th1时使用第四色温信息，在径向距离大于第一阈值Th1且小于第一阈值Th2时将第四色温信息与第三色温信息进行加权融合，在径向距离大于第二阈值Th2时使用第三色温信息。在进行加权融合时，第四色温信息所占的权重随着径向距离的增大而减小，逐渐过渡至第三色温信息。

本公开实施例中，通过掩膜信息获取目标区域，进而能够获取目标区域的区域色温信息，进一步可以基于区域色温信息确定目标区域的颜色矫正增益矩阵。

具体地，可以根据目标区域内的区域色温信息以及图像信号处理器的标定光源结果来确定颜色矫正增益矩阵。其中，目标区域内的区域色温信息可以为目标区域包含的每个图像块的目标色温信息，标定光源结果指的是图像信号处理器获取的色温信息。在一些实施例中，每个图像块的标定的色温信息都存在对应的增益矩阵，且每个图像块的增益矩阵可以相同或不同。并且，通过色彩传感器阵列获取的每个图像块的局部色温信息也存在对应的增益矩阵。标定的色温信息和局部色温信息的增益矩阵例如均可以为3×3矩阵。

在此基础上，可以对各图像块的色温信息的增益矩阵以及所述局部色温信息的增益矩阵进行插值，获取各所述图像块对应的目标色温信息的颜色矫正增益矩阵，并将目标区域包含的所有图像块的颜色矫正增益矩阵确定为目标区域的颜色矫正增益矩阵。示例性地，可以按照对应的权重参数将色温信息的增益矩阵以及局部色温信息的增益矩阵进行融合。此处的融合可以通过加权求和操作来实现。其中，权重参数与对应的色温信息到目标色温信息的距离负相关，即对应的色温信息到目标色温信息的距离越大，则权重参数越小。每个色温信息的增益矩阵的权重参数可以根据另一色温信息到目标色温信息的距离来确定。举例而言，点A为色温信息，点B为局部色温信息，点C为目标色温信息，且AC之间的距离为m1，BC之间的距离为m2。点A处色温信息为2000K，增益矩阵为A1且其权重参数为m2/m1+m2，点B处局部色温信息3000K的增益矩阵为B1，且其权重参数为m1/m1+m2，则点C处的目标色温信息的颜色矫正增益矩阵可以表示为m2/m1+m2*A1+m1/m1+m2*B1。

在得到每个图像块的颜色矫正增益矩阵之后，可以对每个图像块的颜色矫正增益矩阵再次进行平滑处理。平滑处理可以为低通滤波，进而得到每个图像块的颜色矫正增益矩阵。颜色矫正增益矩阵可以为红绿蓝增益矩阵。基于此，可以根据目标区域包含的所有图像块的颜色矫正增益矩阵得到目标区域的颜色矫正增益矩阵，即目标区域的颜色矫正增益矩阵为目标区域包含的所有图像块的颜色矫正增益矩阵。随着目标区域内第四色温信息的调整，目标区域的颜色矫正增益矩阵也可以发生变化，具体根据调整参数而确定。但是参考区域的颜色矫正增益矩阵固定不变。

继续参考图2中所示，在步骤S240中，根据所述目标区域的所述颜色矫正增益矩阵对所述目标区域的颜色信息进行矫正，以生成所述待处理图像对应的目标图像。

进一步地，可以将颜色矫正增益矩阵作用于待处理图像的目标区域上。示例性地，可以目标区域中获取图像块，并根据每个图像块的颜色矫正增益矩阵对每个图像块的颜色信息进行矫正。具体地，可以将目标区域包含的每个图像块的颜色矫正增益矩阵对每个图像块的像素点的颜色参数进行乘法操作，以将目标区域中每个图像块的像素点的颜色参数调整为需要的目标颜色信息，使得图像颜色更符合实际需求，提高图像质量。

本公开实施例中，通过计算每个图像块的颜色矫正增益矩阵，并得到目标区域的颜色矫正增益矩阵，能够对待处理图像中的部分区域进行独立控制，避免了相关技术中只能整体处理的局限性，提高了图像处理的灵活性和针对性，也提高了图像质量。

在一些场景中，由于相机采集到的原始图像，整体颜色不够鲜艳，但是用户同时还期望拍摄不同场景的图像，例如：绿植、草地、鲜花、蓝天、白云、沙滩、建筑、动物等。因此可以对某些特定的颜色的色调与饱和度做特定的变换，例如：场景为绿植时，期望绿色更浓些，而其它颜色保持不变，此时可以通过2D/3DLUT来进行颜色映射。颜色映射指的是根据调节好的颜色映射表，对原始图像或视频图像做颜色映射，颜色映射表是一个三维查找表，输入IN_RGB三个颜色分量，查3DLUT直接得到对应的输出OUT_RGB三个颜色分量。本公开实施例中，色彩传感器阵列还可以与2D/3D LUT(2D/3D查找表)相关联，以提升2D/3D LUT的能力。需要说明的是，2D/3D查找表模块的窗口规格应等于或大于或小于色彩传感器多窗口区域。并且，划分图像块的方式以及划分得到的图像块的数量基本一致。

基于此，所述方法还包括：获取所述待处理图像中目标区域的目标颜色信息；通过所述目标区域的颜色差异信息以及区域类型对应的映射方式，将所述目标颜色信息进行映射。目标区域可以为需要重点关注的区域，例如人脸、树木区域等等，此处的目标区域可以为上述颜色矫正模块的目标区域相同，也可以不同，具体根据实际处理需求而确定。需要说明的是，可以对目标颜色信息进行映射，也可以对待处理图像中的原始的颜色信息进行映射，此处不作限定。即，2D/3D LUT模块可以与颜色矫正模块同时执行，也可以在颜色矫正模块之后执行。

在一些实施例中，可以结合色彩传感器阵列获取的局部颜色信息以及查找表模块获取的参考颜色信息，对目标区域的图像块的目标颜色信息进行颜色映射，以将目标颜色信息调整为需要的矫正颜色信息。或者也可以将目标区域的图像块原始的颜色信息进行映射。颜色映射可以用于实现颜色矫正，以调整颜色参数，例如调整RGB三个颜色子像素的数值。本公开实施例中，可以结合色彩传感器阵列以及查找表模块本身的参数映射关系来进行颜色映射。具体地，结合色彩传感器阵列获取的局部颜色信息以及查找表模块获取的参考颜色信息进行颜色映射可以为，结合颜色阈值参数以及目标区域的区域类型确定映射方式，以进行颜色映射。颜色阈值参数可以为第一颜色阈值和第二颜色阈值。

示例性地，可以将所述局部颜色信息与所述参考颜色信息进行对比确定颜色差异信息；根据所述颜色差异信息与颜色阈值参数的对比结果，选择对比结果对应的映射方式获取所述矫正颜色信息。

本公开实施例中，在判断目标区域包含的图像块的区域类型为目标类型时，可以结合颜色差异信息与颜色阈值参数之间的对比结果，结合颜色阈值参数以及区域类型，采用局部颜色信息以及参考颜色信息组合成的不同映射方式确定所述目标颜色信息。

在一些实施例中，首先判断目标区域包含的图像块的区域类型是否为目标类型。其中，目标类型指的是需要调整颜色的区域类型，具体可以根据图像块包含的物体类型，以及图像块的颜色信息或者是否接收到用户操作等来判断。举例而言，如果图像块包含的物体类型为人脸肤色、蓝天或者绿植等，则可以确定图像块的区域类型属于目标类型。

若所述颜色差异信息小于第一颜色阈值，通过获取参考颜色信息的参数映射关系对所述图像块的目标颜色信息或颜色信息进行映射，以获取所述矫正颜色信息。也可以认为，直接将图像块的参考颜色信息确定为矫正颜色信息。本步骤中，参数映射关系可以为一个查找表2D/3D LUT，例如颜色映射表。示例性地，可以将目标区域包含的图像块的目标颜色信息输入至颜色映射表，输出与颜色映射表对应的矫正颜色信息，其中，色彩增强的强度可以为查找表本身设置的强度，也可以根据实际需求调整。举例而言，可以将图像块中某个像素点的当前RGB三个颜色分量输入至颜色映射表，则通过颜色映射表输出对应的RGB三个颜色映射分量。在通过映射表进行颜色映射时，由于图像块中可以包含多个像素点，因此可以将每个像素点按照对应的颜色映射表进行调整，得到颜色调整后输出的矫正颜色信息。

若所述颜色差异信息大于第一颜色阈值且小于第二颜色阈值，通过局部颜色信息以及参考颜色信息进行融合，以确定对目标颜色信息进行颜色映射后的所述矫正颜色信息。本步骤中，可以将局部颜色信息以及参考颜色信息按照对应的权重进行加权融合，得到矫正颜色信息。随着颜色差异信息的增大，局部颜色信息的权重逐渐增大，且参考颜色信息的权重逐渐减小。

若所述颜色差异信息大于第二颜色阈值，根据所述局部颜色信息确定所述目标颜色信息。其中，如果颜色差异信息大于第二颜色阈值，说明映射得到的颜色信息可能不准确，此时需要将色彩传感器阵列输出的局部颜色信息作为矫正颜色信息，即局部颜色信息的权重较大。

进一步地，可以对每个图像块获得了各自色彩映射后的矫正颜色信息进行平滑过渡。此处的平滑过渡可以为低通平滑滤波，使得在空域上不同图像块之间的过渡比较平滑，避免图像块与图像块之间出现色彩效果突变的情况，能够实现平滑过渡，提高图像质量。

在得到每个图像块的矫正颜色信息之后，可以根据目标区域包含的图像块色温颜色差异信息以及颜色阈值参数之间的对比结果，选择与对比结果对应的映射方式将每个图像块的目标颜色信息映射为矫正颜色信息。具体可以对目标区域包含的每个图像块的像素信息进行映射。在此基础上，可以将目标区域中的矫正颜色信息确定为第一颜色信息rgb1，将参考区域的矫正颜色信息确定为第二颜色信息rgb2，且第一颜色信息与第二颜色信息不同。并且，可以根据第二调整参数对目标区域中的矫正颜色信息进行调整，以更新第一颜色信息，同时保持参考区域的第二颜色信息不变。第二调整参数可以包含需要调整的图像块以及调整程度。在进行调整时，可以按照需要调整的图像块以及调整幅度进行全部调整或部分调整，从而对目标区域的第一颜色信息进行调整，实现对目标区域的第一颜色信息进行精准独立控制，提高了灵活性。本公开实施例中，为了避免不同区域的矫正颜色信息之间的突变，以目标区域的第一颜色信息的中心区域为径向原点，由目标区域的第一颜色信息向参考区域的第二颜色信息进行径向过渡，参考图9中所示。二者之间的过渡方式可以为平滑曲线权重径向分布或者是线性分布等一系列权重过渡方式，此处不作限定。

基于此，可以通过掩膜信息确定一个目标区域，进而根据目标区域包含的图像块确定其映射方式，以对目标区域的每个图像块的目标颜色信息进行映射得到矫正颜色信息，能够提供图像内容的区分维度，实现对目标区域等部分区域的针对性处理，提升了色彩表现的丰富度和灵活性，提高了图像质量。

图10示意性示出了图像信号处理器的结构图，参考图10中所示，图像信号处理器可以包括色彩传感器阵列1001、网格1002，算法模块1003，还可以包含颜色矫正模块1004、色调映射1005、2D/3D LUT 1006、分割模块1007以及传感器1008等模块。

参考图10中所示，色彩传感器阵列获取的网格信息与颜色矫正模块以及2D/3DLUT获取的网格相关联，以使得划分得到的图像块基本保持一致。色彩传感器阵列通过算法模块输出的局部色温信息输入至颜色矫正模块，色彩传感器阵列通过算法模块输出的局部颜色信息输入至2D/3D LUT。颜色矫正模块以及2D/3D LUT通常位于ISP处理流程的第二个阶段，即RGB域阶段。分割模块与颜色矫正模块以及2D/3D LUT、传感器相连接。

本公开实施例中，通过引入色彩传感器阵列来获取局部色温信息以及局部颜色信息，可以通过色彩传感器阵列提高颜色矫正模块以及2D/3D LUT模块的颜色调整能力，提高目标颜色信息的准确性。

综上所述，本公开实施例中的技术方案，在引入分割模块之后，可以通过掩膜信息在待处理图像中获取目标区域，进而能够对待处理图像中的目标区域表示的局部区域的图像内容进行局部的颜色矫正以及颜色映射处理，避免了相关技术中只能整体处理的局限性，提高了图像处理的灵活性和针对性；能够有效提升对图像的色彩还原的准确性，提高目标图像的图像质量。

本公开实施例中提供了一种图像处理装置，参考图11中所示，该图像处理装置1100可以包括：

图像分块模块1101，用于获取待处理图像，并对所述待处理图像进行分块得到多个图像块；

色温获取模块1102，用于根据每个图像块的色温信息，以及通过色彩传感器阵列确定的各所述图像块的局部色温信息，确定各图像块的目标色温信息；

增益矩阵确定模块1103，用于根据所述目标色温信息获取所述待处理图像中目标区域的区域色温信息，并基于区域色温信息获取所述目标区域的颜色矫正增益矩阵；

颜色矫正模块1104，用于根据所述目标区域的所述颜色矫正增益矩阵对所述目标区域的颜色信息进行矫正，获取所述目标区域的目标颜色信息，以生成所述待处理图像对应的目标图像。

在本公开的一种示例性实施例中，增益矩阵确定模块包括：区域色温获取模块，用于根据掩膜信息从待处理图像中获取目标区域，并根据所述目标区域包含的图像块的目标色温信息确定所述目标区域的所述区域色温信息。

在本公开的一种示例性实施例中，区域色温获取模块包括：调整模块，用于根据第一调整参数对所述目标区域包含的图像块的目标色温信息进行调整，以调整所述目标区域的所述区域色温信息。

在本公开的一种示例性实施例中，色温获取模块包括：差异计算模块，用于将所述色温信息与所述局部色温信息进行对比确定差异信息；方式选择模块，用于根据所述差异信息与阈值参数的对比结果，选择不同方式获取所述目标色温信息。

在本公开的一种示例性实施例中，增益矩阵确定模块包括：插值模块，用于对每个图像块的色温信息，以及通过色彩传感器阵列确定的各所述图像块的局部色温信息进行插值，确定每个图像块的目标色温信息的颜色矫正增益矩阵，以确定所述目标区域内的颜色矫正增益矩阵。

在本公开的一种示例性实施例中，所述装置还包括：颜色映射模块，用于通过所述目标区域的颜色差异信息以及区域类型确定映射方式，并根据所述映射方式将所述目标颜色信息映射为矫正颜色信息。

在本公开的一种示例性实施例中，颜色映射模块被配置为：若所述目标区域中图像块的颜色差异信息小于第一颜色阈值且所述区域类型为目标类型，根据获取所述参考颜色信息的参数映射关系确定所述矫正颜色信息；若所述颜色差异信息大于第一颜色阈值且小于第二颜色阈值，且所述区域类型为目标类型，对局部颜色信息与参考颜色信息进行融合，以获取所述矫正颜色信息；若所述颜色差异信息大于第二颜色阈值，且所述区域类型为目标类型，根据所述局部颜色信息确定所述矫正颜色信息。

需要说明的是，上述图像处理装置中各部分的具体细节在图像处理方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

本公开的示例性实施方式还提供一种电子设备。该电子设备可以是上述终端101。一般的，该电子设备可以包括处理器与存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行上述图像处理方法。

下面以图12中的移动终端1200为例，对该电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图12中的构造也能够应用于固定类型的设备。

如图12所示，移动终端1200具体可以包括：处理器1201、存储器1202、总线1203、移动通信模块1204、天线1、无线通信模块1205、天线2、显示屏1206、摄像模块1207、音频模块1208、电源模块1209与传感器模块1210。

处理器1201可以包括一个或多个处理单元，例如：处理器1201可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。本示例性实施方式中的图像去噪处理方法可以由AP、GPU或DSP来执行，当方法涉及到神经网络相关的处理时，可以由NPU来执行，例如NPU可以加载神经网络参数并执行神经网络相关的算法指令。

编码器可以对图像或视频进行编码(即压缩)，以减小数据大小，便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩)，以还原出图像或视频数据。移动终端1200可以支持一种或多种编码器和解码器，例如：JPEG(Joint PhotographicExperts Group，联合图像专家组)、PNG(Portable Network Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(Moving Picture Experts Group，动态图像专家组)1、MPEG10、H.1063、H.1064、HEVC(High Efficiency Video Coding，高效率视频编码)等视频格式。

处理器1201可以通过总线1203与存储器1202或其他部件形成连接。

存储器1202可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器1201通过运行存储在存储器1202的指令，执行移动终端1200的各种功能应用以及数据处理。存储器1202还可以存储应用数据，例如存储图像，视频等文件。

移动终端1200的通信功能可以通过移动通信模块1204、天线1、无线通信模块1205、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块1204可以提供应用在移动终端1200上3G、4G、5G等移动通信解决方案。无线通信模块1205可以提供应用在移动终端1200上的无线局域网、蓝牙、近场通信等无线通信解决方案。

显示屏1206用于实现显示功能，如显示用户界面、图像、视频等。摄像模块1207用于实现拍摄功能，如拍摄图像、视频等，且摄像模块中可以包含色彩传感器阵列。音频模块1208用于实现音频功能，如播放音频，采集语音等。电源模块1209用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。传感器模块1210可以包括一种或多种传感器，用于实现相应的感应检测功能。例如，传感器模块1210可以包括惯性传感器，其用于检测移动终端1200的运动位姿，输出惯性传感数据。

需要说明的是，本公开实施例中还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

计算机可读存储介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取待处理图像，并对所述待处理图像进行分块得到多个图像块；

根据每个图像块的色温信息，以及通过色彩传感器阵列确定的各所述图像块的局部色温信息，确定各图像块的目标色温信息；

根据所述目标色温信息获取所述待处理图像中目标区域的区域色温信息，并基于区域色温信息获取所述目标区域的颜色矫正增益矩阵；

根据所述目标区域的所述颜色矫正增益矩阵对所述目标区域的颜色信息进行矫正，获取所述目标区域的目标颜色信息，以生成所述待处理图像对应的目标图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述目标色温信息获取所述待处理图像中目标区域的区域色温信息，包括：

根据掩膜信息从待处理图像中获取目标区域，并根据所述目标区域包含的图像块的目标色温信息确定所述目标区域的所述区域色温信息。

3.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述目标区域包含的图像块的目标色温信息确定所述目标区域的所述区域色温信息，包括：

根据第一调整参数对所述目标区域包含的图像块的目标色温信息进行调整，以调整所述目标区域的所述区域色温信息。

4.根据权利要求1所述的图像处理方法，其特征在于，所述根据每个图像块的色温信息，以及通过色彩传感器阵列确定的各所述图像块的局部色温信息，确定各图像块的目标色温信息，包括：

将所述色温信息与所述局部色温信息进行对比确定差异信息；

根据所述差异信息与阈值参数的对比结果，选择不同方式获取所述目标色温信息。

5.根据权利要求1所述的图像处理方法，其特征在于，所述基于区域色温信息获取所述目标区域的颜色矫正增益矩阵，包括：

对每个图像块的色温信息，以及通过色彩传感器阵列确定的各所述图像块的局部色温信息进行插值，确定每个图像块的目标色温信息的颜色矫正增益矩阵，以确定所述目标区域内的颜色矫正增益矩阵。

6.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：

通过所述目标区域的颜色差异信息以及区域类型确定映射方式，并根据所述映射方式将所述目标颜色信息映射为矫正颜色信息。

7.根据权利要求6所述的图像处理方法，其特征在于，所述通过所述目标区域的颜色差异信息以及区域类型确定映射方式，并根据所述映射方式将所述目标颜色信息映射为矫正颜色信息，包括：

若所述目标区域中图像块的颜色差异信息小于第一颜色阈值且所述区域类型为目标类型，根据获取所述参考颜色信息的参数映射关系确定所述矫正颜色信息；

若所述颜色差异信息大于第一颜色阈值且小于第二颜色阈值，且所述区域类型为目标类型，对局部颜色信息与参考颜色信息进行融合，以获取所述矫正颜色信息；

若所述颜色差异信息大于第二颜色阈值，且所述区域类型为目标类型，根据所述局部颜色信息确定所述矫正颜色信息。

8.一种图像处理装置，其特征在于，包括：

图像分块模块，用于获取待处理图像，并对所述待处理图像进行分块得到多个图像块；

色温获取模块，用于根据每个图像块的色温信息，以及通过色彩传感器阵列确定的各所述图像块的局部色温信息，确定各图像块的目标色温信息；

增益矩阵确定模块，用于根据所述目标色温信息获取所述待处理图像中目标区域的区域色温信息，并基于区域色温信息获取所述目标区域的颜色矫正增益矩阵；

颜色矫正模块，用于根据所述目标区域的所述颜色矫正增益矩阵对所述目标区域的颜色信息进行矫正，获取所述目标区域的目标颜色信息，以生成所述待处理图像对应的目标图像。

9.一种电子设备，其特征在于，包括：

影像模组，包括色彩传感器阵列；

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任意一项所述的图像处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任意一项所述的图像处理方法。

Images