CN110958401A - 一种超级夜景图像颜色校正方法、装置和电子设备 - Google Patents

Abstract

本发明提供了一种超级夜景图像颜色校正方法方法、装置和电子设备，所述超级夜景图像颜色校正方法，其包括：获取多帧连续拍摄的夜景图像和一帧长曝光图像，其中，所述夜景图像和所述长曝光图像为相同场景图像；对多帧连续拍摄的所述夜景图像进行融合，得到超级夜景图像；根据所述长曝光图像，确定颜色调整掩码；根据所述颜色调整掩码，对所述超级夜景图像进行颜色校正。这样，可以通过长曝光增加图像的亮度，得到无偏色的长曝光图像，并根据长曝光图像对超级夜景图像进行颜色校正，从而可以解决超级夜景图像因白平衡等校正算法无法正常工作出现的偏色情况。

Description

一种超级夜景图像颜色校正方法、装置和电子设备

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种超级夜景图像颜色校正方法、装置和电子设备。

背景技术

随着手机拍照功能的发展，用户对相机模块的需求也越来越高。超级夜景算法，通常是连续拍摄多帧夜景图像，进行多帧融合去噪与细节增强，然后提高融合图像亮度和对比度，得到各方面都较好的结果图像，称之为超级夜景图像。超级夜景算法可以大幅度提升夜景拍照的图像质量，对提升用户相机体验有很大帮助。

但是实际应用中超级夜景算法存在一个很大的缺陷，由于夜景图像通常比较黑，整体颜色和颜色饱和度都较差，这很容易由于白平衡之类原因，导致夜景图像颜色整体上出现偏色；这种偏色情况在较暗的原图上不容易看出来，但是当经过提亮之后，偏色情况将会被明显放大。另外，在不同场景下，夜景图像的偏色程度都可能不一致，因此也无法直接通过统一的颜色补偿等方式进行颜色调整。

因此，迫切需要一种可以解决偏色情况的超级夜景图像颜色校正方法及装置。

发明内容

本发明解决的问题是超级夜景图像容易出现偏色情况。

为解决上述问题，本发明首先提供一种超级夜景图像颜色校正方法，其包括：

获取多帧连续拍摄的夜景图像和一帧长曝光图像，其中，所述夜景图像和所述长曝光图像为相同场景图像；

对多帧连续拍摄的所述夜景图像进行融合，得到超级夜景图像；

根据所述长曝光图像，确定颜色调整掩码；

根据所述颜色调整掩码，对所述超级夜景图像进行颜色校正。

这样，可以在连续拍摄多帧的夜景图像进行融合时，也拍摄一长曝光图像，通过长曝光增加图像的亮度，得到无偏色的长曝光图像，并根据长曝光图像对超级夜景图像进行颜色校正，从而可以解决超级夜景图像因白平衡等校正算法无法正常工作出现的偏色情况。

可选的，多帧连续拍摄的所述夜景图像的起始拍摄时间和所述长曝光图像的起始拍摄时间的时间间隔不大于100毫秒。

可选的，多帧连续拍摄的所述夜景图像的起始拍摄时间和所述长曝光图像的起始拍摄时间相同，且多帧连续拍摄的所述夜景图像和所述长曝光图像由同一终端上的主摄像头和副摄像头分别拍摄得到。

这样，可以避免由于拍摄时间不同造成的颜色变化光源造成的最后成像时多帧连续拍摄的所述夜景图像和所述长曝光图像对应区域颜色不同的情况，从而使得可以通过长曝光图像对超级夜景图像该区域进行颜色校正的目的。

可选的，所述根据所述长曝光图像，确定颜色调整掩码，之前还包括：

将所述长曝光图像配准到所述超级夜景图像；通过配准可以建立长曝光图像中的像素点与超级夜景图像中的像素点的一一对应关系，从而后续可以通过长曝光图像中的颜色对比对超级夜景图像进行颜色校对，消除超级夜景图像的偏色情况。

可选的，所述根据所述长曝光图像，确定颜色调整掩码，包括：

对所述长曝光图像进行图像区域分割；

计算所述长曝光图像中每个分割区域的颜色比例；

根据每个分割区域的所述颜色比例获得所述颜色调整掩码。

这样，通过图像分割，可以把长曝光图像中颜色性质相同或相似的像素点划分到同一分割区域中；通过整体计算同一分割区域的颜色比例，可以消除长曝光图像中未配准的像素点可能造成的影响，从而对超级夜景图像达到更好的颜色校正效果。

可选的，所述根据每个分割区域的所述颜色比例获得所述颜色调整掩码，包括：

根据每个分割区域的所述颜色比例获得初始掩码；

对所述初始掩码进行平滑处理，获得所述颜色调整掩码。

这样，可以平滑掉分割区域间的颜色比例的跳变，从而对超级夜景图像达到更好的颜色校正效果。

可选的，所述分割区域的颜色比例为该分割区域三原色亮度之间的比值。

可选的，所述计算所述长曝光图像中每个分割区域的颜色比例，包括：

统计分割区域中每个像素点的红色亮度值、蓝色亮度值和绿色亮度值；

根据每个像素点的红色亮度值、蓝色亮度值和绿色亮度值计算该像素点三原色亮度之间的比值；

计算分割区域内每个像素点三原色亮度之间的比值的平均值，该平均值即为该分割区域三原色亮度之间的比值。

这样，可以计算同一分割区域的颜色比例，从而可以对超级夜景图像进行颜色校正；通过整体计算同一分割区域的颜色比例，可以消除长曝光图像中未配准的像素点可能造成的影响，从而对超级夜景图像达到更好的颜色校正效果。

可选的，所述计算所述长曝光图像中每个分割区域的颜色比例，包括：

统计分割区域中每个像素点的红色亮度值、蓝色亮度值和绿色亮度值；

根据每个像素点的红色亮度值、蓝色亮度值和绿色亮度值计算所述分割区域内红色亮度值、蓝色亮度值和绿色亮度值的平均值；

根据所述分割区域的所述红色亮度值平均值、蓝色亮度值平均值和绿色亮度值平均值计算所述分割区域三原色亮度之间的比值。

其次提供一种超级夜景图像颜色校正装置，其包括：

获取单元，其用于获取多帧连续拍摄的夜景图像和一帧长曝光图像，其中，所述夜景图像和所述长曝光图像为相同场景图像；

融合单元，其用于对多帧连续拍摄的所述夜景图像进行融合，得到超级夜景图像；

计算单元，其用于根据所述长曝光图像，确定颜色调整掩码；

校正单元，其用于根据所述颜色调整掩码，对所述超级夜景图像进行颜色校正。

这样，可以在连续拍摄多帧的夜景图像进行融合时，也拍摄一长曝光图像，通过长曝光增加图像的亮度，得到无偏色的长曝光图像，并根据长曝光图像对超级夜景图像进行颜色校正，从而可以解决超级夜景图像因白平衡等校正算法无法正常工作出现的偏色情况。

从次提供一种电子设备，包括处理器以及存储器，所述存储器存储有控制程序，所述控制程序被处理器执行时实现上述所述的超级夜景图像颜色校正方法。

可选的，所述电子设备为手机或平板设备。

最后提供一种计算机可读存储介质，存储有指令，所述指令被处理器加载并执行时实现上述所述的超级夜景图像颜色校正方法。

附图说明

图1为根据本发明一个实施例的超级夜景图像颜色校正方法的流程图；

图2为根据本发明另一实施例的超级夜景图像颜色校正方法的流程图；

图3为根据本发明实施例的超级夜景图像颜色校正方法40的流程图；

图4为根据本发明实施例的超级夜景图像颜色校正方法43的流程图；

图5为根据本发明一个实施例的超级夜景图像颜色校正方法42的流程图；

图6为根据本发明另一实施例的超级夜景图像颜色校正方法42的流程图；

图7为根据本发明再一实施例的超级夜景图像颜色校正方法的流程图；

图8为根据本发明实施例的超级夜景图像颜色校正装置的结构框图；

图9为根据本发明实施例的一种电子设备的结构框图；

图10为根据本发明实施例的另一种电子设备的框图。

附图标记说明：

1-获取单元，2-融合单元，3-计算单元，4-校正单元，800-电子设备，802-处理组件，804-存储器，806-电力组件，808-多媒体组件，810-音频组件，812-输入/输出(I/O)的接口，814-传感器组件，816-通信组件。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

显然，所说明的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动的前提下获得的所有其他实施例，都属于本发明保护的范围。

为了便于理解，在本发明中，需要对其中的技术问题进行详细阐述。

现有的图像处理中，经常要对多帧拍摄图像进行融合，以达到更好的拍摄效果，超级夜景图像就是其中之一。夜景图像的拍摄，历来是摄像里程中的难点，由于夜里光线暗，且存在灯光的地方，光暗对比过于强烈，所以拍摄出来的图像会有各种各样的问题。

超级夜景图像，就是目前解决夜景图像光线暗，对比强烈的主要方法之一。超级夜景图像，连续拍摄多帧夜景图像，进行多帧融合去噪提亮得到的图像；部分超级夜景图像在处理过程中，还会对融合得到的图像进行细节增强，然后在通过gamma曲线调整等方式，提高融合图像亮度和对比度，进而得到各方面都较好的结果图像。

但是在实际的应用中，我们发现，超级夜景图像存在一个很大的缺陷：夜景图像通常比较黑，整体颜色和颜色饱和度都较差，因此在拍摄后会通过白平衡等方式来加强对应的补色来补偿，以确保获得理想的画面色彩；但是这种补偿，会导致得到的夜景图像颜色整体上出现偏色(比如白色墙壁的夜景图像，会由于白平衡等的方式无法进行正常的补偿，导致的整体偏绿，提亮后会发现变成了浅绿色的墙)，这种偏色情况由于夜景图像本身较暗的缘故，很难被发现。通过超级夜景算法生成超级夜景图像后，偏色情况会被超级夜景图像继承，并由于图像亮度的提升，偏色情况会被明显放大。

另外，这种偏色情况，是基于不同的场景造成的；不同的场景，偏色的程度和偏差的颜色都会不一致，因此，无法通过直接通过统一的颜色补偿等方式进行颜色调整来解决偏色的问题。

本公开实施例提供了一种超级夜景图像颜色校正方法，该方法可以由超级夜景图像颜色校正装置来执行，该超级夜景图像颜色校正装置可以集成在手机等电子设备中。如图1所示，其为根据本发明实施例的超级夜景图像颜色校正方法的流程图；其中，所述超级夜景图像颜色校正方法，包括：

步骤10，获取多帧连续拍摄的夜景图像和一帧长曝光图像，其中，所述夜景图像和所述长曝光图像为相同场景图像；

所述长曝光图像，是指曝光时间大于曝光时间阈值的图像；在拍摄过程中，通过长曝光可以使得原始输入图像的整体亮度增加；对于夜景图像来说，本身图像的整体亮度不足，使得白平衡等颜色校正算法无法正常工作，从而使得校正过的夜景图像(在提亮后)出现偏色的情况。通过长曝光拍摄夜景图像，可以使得原始输入图像整体亮度足够高，这样白平衡之类的校正算法就可以正常工作，从而使得长曝光图像不会出现偏色的情况(提亮后不会发现有整体偏色的情况)。

多帧连续拍摄的夜景图像，是对同一场景连续拍摄的图像，通过多帧拍摄，可以获得更多的图像颜色、细节等有效信息，从而使得最后合成的图像更清晰准确。一般情况下，会连续拍摄3-15帧的图像，作为连续拍摄的多帧图像。这些多帧连续拍摄的图像，优选为通过同一个摄像头或拍摄镜头拍摄的，以便于融合。

其中，所述夜景图像和所述长曝光图像需要通过合成来解决偏色的问题，因此所述夜景图像和所述长曝光图像为相同场景图像，以便于后期的合成。其中，该相同场景图像，可以是同一个摄像头或拍摄镜头拍摄的；也可以是两个或多个摄像头或拍摄镜头对相同场景拍摄的。

步骤20，对多帧连续拍摄的所述夜景图像进行融合，得到超级夜景图像；

所述夜景图像的融合，可以是通过分配各个夜景图像的权重，来进行融合得到超级夜景图像，也可以通过计算对应像素点的亮度值等来进行融合提亮，也可以是根据其他方式来融合得到超级夜景图像，进而得到细节增强和去噪后的超级夜景图像。具体融合方式，可以根据实际情况调整。

其中，夜景图像融合后，也可以再进行gamma调整等方式进行提亮处理，提高整体图像亮度和对比度，以得到对比度等都较好的超级夜景图像。

其中，对多帧连续拍摄的所述夜景图像进行融合后，也可以先不进行提高亮度的操作，在对超级夜景图像进行步骤50的颜色校正后再进行提亮，也可以达到相同的效果。该提亮操作，其操作顺序并不需要限定在本步骤中。

步骤40，根据所述长曝光图像，确定颜色调整掩码；

长曝光图像，其图像整体亮度足够高，这样白平衡之类的校正算法就可以正常工作，从而使得长曝光图像不会出现偏色的情况；因此，长曝光图像中的偏色情况是极小的(也可以认为是没有偏色)，因此可以基于长曝光图像来对超级夜景图像进行颜色校正。

根据所述长曝光图像，确定颜色调整掩码，该颜色调整掩码即为长曝光图像中像素点的三原色亮度之间的比值，反映的是长曝光图像中的颜色分布情况。

步骤50，根据所述颜色调整掩码，对所述超级夜景图像进行颜色校正。

颜色调整掩码，反映的是长曝光图像中的颜色分布情况，是未偏色的情况下的颜色分布；根据颜色调整掩码，可以将所述超级夜景图像中的偏色进行补偿或回调，使得超级夜景图像中的颜色分布与长曝光图像的颜色分布相同或近似，这样就可以达到颜色校正的目的。

这样，通过步骤10-50，可以在连续拍摄多帧的夜景图像进行融合时，也拍摄一长曝光图像，通过长曝光增加图像的亮度，得到无偏色的长曝光图像，并根据长曝光图像对超级夜景图像进行颜色校正，从而可以解决超级夜景图像因白平衡等校正算法无法正常工作出现的偏色情况。

另外，多帧连续拍摄的夜景图像和所述长曝光图像，可以是同一个摄像头或拍摄镜头拍摄的；也可以是两个或多个摄像头或拍摄镜头对相同场景拍摄的。比如：用户拍摄时候，后台首先拍摄连续多帧的夜景图像，然后在拍摄一帧长曝光图像，多帧图像首先生成容易出现偏色的超级夜景图像，然后再用长曝光图像进行颜色校正；但是在实际实验中发现，这种夜景拍摄方式，很容易拍摄到颜色不断变化的灯源之类的场景，在这种场景中，如果多帧连续拍摄的夜景图像和所述长曝光图像不是同时采集的话，容易出现两者的颜色在光源附近差异巨大，也即是在此位置处，并不能通过长曝光图像达到颜色校正的目的，反而会由于颜色差异过大，使得校正后的光源附近图像变得更差。

可选的，多帧连续拍摄的所述夜景图像的起始拍摄时间和所述长曝光图像的起始拍摄时间相同，且多帧连续拍摄的所述夜景图像和所述长曝光图像由同一终端上的主摄像头和副摄像头分别拍摄得到。

其中，多帧连续拍摄的所述夜景图像的起始拍摄时间，是指第一帧所述夜景图像开始拍摄的时间。

这样，同时拍摄就可以避免由于拍摄时间不同造成的颜色变化光源(或者其他原因造成的颜色变化、温度变化区域等)造成的最后成像时多帧连续拍摄的所述夜景图像和所述长曝光图像对应区域颜色不同的情况，从而使得可以通过长曝光图像对超级夜景图像该区域进行颜色校正的目的。

可选的，多帧连续拍摄的所述夜景图像的起始拍摄时间和所述长曝光图像的起始拍摄时间的时间间隔不大于100毫秒。

需要说明的是，一般连续拍摄的夜景图像的帧数为3-15帧，整个连续拍摄花费的时间一般为50ms(毫秒)-1000ms；长曝光图像的拍摄时间一般为100ms-1000ms，用户或者调试者会根据实际情况选择具体的帧数。

通过对时间间隔进行限定，可以使得多帧连续拍摄的所述夜景图像的起始拍摄时间和所述长曝光图像的起始拍摄时间相差很小，从而使得拍摄的图像趋于相同，避免由于灯光变换或者变色等使得两者的拍摄内容出现较大的差异，从而保证最终生成的超级夜景图像不会出现偏色情况。

需要说明的是，在限定多帧连续拍摄的所述夜景图像的起始拍摄时间和所述长曝光图像的起始拍摄时间的时间间隔不大于100毫秒或者多帧连续拍摄的所述夜景图像的起始拍摄时间和所述长曝光图像的起始拍摄时间相同时，多帧连续拍摄的夜景图像和所述长曝光图像，优选为通过两个或多个摄像头或拍摄镜头对相同场景拍摄得到。如果使用同一个摄像头拍摄，可能会由于连续拍摄的时间间隔过长导致出现颜色差异。通过两个或多个摄像头拍摄，就可以消除多帧连续拍摄的所述夜景图像和所述长曝光图像之间拍摄时间的干扰，从而避免出现颜色差异，达到更好的拍摄效果。

这样，主摄多帧图像使用常规超级夜景算法，得到最终信噪比、对比度、亮度都较好，但是容易出现颜色偏色的超级夜景图像；副摄同时使用长曝光拍摄相同场景图像，对超级夜景图像进行颜色校正，从而得到最终信噪比、对比度、亮度都较好，且不偏色的超级夜景图像。

如图2所示；所述步骤40，根据所述长曝光图像，确定颜色调整掩码，之前还包括：

步骤30，将所述长曝光图像配准到所述超级夜景图像。

其中，所述将长曝光图像配准到所述超级夜景图像，是指以超级夜景图像的坐标系为基准，将长曝光图像从自身的坐标系映射到超级夜景图像的坐标系中。需要说明的是，该配准仅仅是对长曝光图像中像素点的坐标系进行转换(或者确定所述长曝光图像中的像素点与超级夜景图像中的像素点的一一对应关系)，并不涉及将转换后的像素点与超级夜景图像中的像素点进行融合。

通过两个或多个摄像头拍摄多帧连续的所述夜景图像和所述长曝光图像时，由于并非同一个摄像头，即便其对准的是相同场景，最后的图像依然会有一定的方位差别，需要通过配准来建立长曝光图像中的像素点与超级夜景图像中的像素点的一一对应关系，从而后续可以通过长曝光图像中的颜色对比对超级夜景图像进行颜色校对，消除超级夜景图像的偏色情况。

需要说明的是，将所述长曝光图像配准到所述超级夜景图像时，由于拍摄角度的不同，所述长曝光图像中会有小部分的像素点无法配准到超级夜景图像中，该部分的像素点的数据，由于未配准原因，不会作为后期的统计和计算的基础数据，以避免未配准像素点的相关数据对超级夜景图像的颜色较正产生不利的影响。

如图3所示，所述步骤40，根据所述长曝光图像，确定颜色调整掩码，包括：

步骤41，对所述长曝光图像进行图像区域分割；

对长曝光图像的图像区域分割，可以通过Efficient Graph-BasedImageSegmentation(基于图的图像分割)等图像分割算法来进行。

Graph-Based Segmentation是经典的图像分割算法，其是基于图的贪心聚类算法，实现简单，速度快，以便于简单快速地对长曝光图像进行分割。

步骤42，计算所述长曝光图像中每个分割区域的颜色比例；

需要说明的是，若长曝光图像和连续拍摄的多帧夜景图像是通过两个或多个摄像头拍摄的，则本步骤中，计算每个分割区域的颜色比例的时候，仅通过已配准的长曝光图像中的像素点来进行统计和计算，未配准到超级夜景图像中的像素点不进行后续的统计和计算。

其中，所述长曝光图像中的颜色比例，是以分割区域为最小单位进行计算的；这样，如果分割区域内存在未配准的像素点，也可以通过已配准的像素点对分割区域的颜色比例进行计算，从而消除分割区域内未配准的像素点可能造成的影响。

步骤43，根据每个分割区域的所述颜色比例获得所述颜色调整掩码。

其中，所述颜色调整掩码为与所述长曝光图像、所述超级夜景图像同样大小(所述同样大小，是指像素点的数量与分布相同，如同为1000像素×750像素的图像)的中间图像；该中间图像中各个像素点与超级夜景图像中的已配准像素点存在一一对应关系(中间图像与超级夜景图像中的未配准像素点的对应关系可以通过其他方式来补充生成，从而使得中间图像与超级夜景图像的像素点达到一一对应的目的)，与长曝光图像中的像素点也存在一一对应关系；

这样，通过图像分割，可以把长曝光图像中颜色性质相同或相似的像素点划分到同一分割区域中；通过整体计算同一分割区域的颜色比例，可以消除长曝光图像中未配准的像素点可能造成的影响，从而对超级夜景图像达到更好的颜色校正效果。

可选的，所述分割区域的颜色比例为该分割区域三原色亮度之间的比值。

显示器上的所有颜色，都由红色绿色蓝色三种色光按照不同的比例混合而成的。一组红色绿色蓝色就是一个最小的显示单位。显示器上的任何一个颜色都可以由一组RGB值来记录和表达。因此这红色绿色蓝色又称为三原色光，用英文表示就是R(red)、G(green)、B(blue)。

在电脑中，RGB的所谓“多少”就是指亮度，并使用整数来表示。通常情况下，RGB各有256级亮度，用数字表示为从0、1、2...直到255。

本申请中，所述三原色是指红色绿色蓝色三种颜色，所述三原色亮度，即为前述所述的RGB亮度。所述三原色亮度之间的比值，是用于反映三原色三种颜色之间的比例关系；本申请中，为了便于计算，所述三原色亮度之间的比值，是指三原色中任意两种颜色与第三种颜色的亮度之间的比值。例如，R/G、B/G的比值；R/B、G/B的比值；B/R、G/R的比值。在下述的描述中，为了便于理解，我们以R/G、B/G的比值代表三原色中任意两种颜色与第三种颜色的亮度之间的比值。

这样，通过三原色之间的比例关系，可以获得像素点和分割区域的颜色特性，从而可以根据该颜色特性对超级夜景图像的颜色进行校正。

如图4所示，所述步骤43，根据每个分割区域的所述颜色比例获得所述颜色调整掩码，包括：

步骤431，根据每个分割区域的所述颜色比例获得初始掩码；

其中，所述初始掩码为与所述长曝光图像、所述超级夜景图像同样大小(所述同样大小，是指像素点的数量与分布相同，如同为1000像素×750像素的图像)的中间图像；该中间图像中各个像素点与超级夜景图像中的已配准像素点存在一一对应关系(中间图像与超级夜景图像中的未配准像素点的对应关系可以通过其他方式来补充生成，从而使得中间图像与超级夜景图像的像素点达到一一对应的目的)，与长曝光图像中的像素点也存在一一对应关系；根据每个分割区域的所述颜色比例获得所述初始掩码，即为将长曝光图像中每个像素点的颜色比例(同一分割区域中像素点的颜色比例相同)，记录到中间图像中对应的像素点上。需要说明的是，所述中间图像中每个像素点的数据，可以仅记载该像素点的颜色比例。

步骤432，对所述初始掩码进行平滑处理，获得所述颜色调整掩码。

其中，所述平滑处理，可以是通过高斯滤波之类的算法对颜色调整掩码进行滤波处理，从而可以平滑掉分割区域间的颜色比例的跳变，从而对超级夜景图像达到更好的颜色校正效果。

另外，若长曝光图像和连续拍摄的多帧夜景图像是通过两个或多个摄像头拍摄的，则本步骤中，还可以通过平滑处理，消除未配准像素点的空值现象(若未与长曝光图像中的像素点达成对应关系，可能会导致该位置处不记载颜色数据，从而产生空值)，从而消除未配准像素点对超级夜景图像的颜色校正产生的不利影响。

需要说明的是，所述平滑处理方式，可以根据实际情况进行调整或选择，高斯滤波仅是其中的一种具体实施方式。

如图5所示，所述步骤42，计算所述长曝光图像中每个分割区域的颜色比例，包括：

步骤421，统计分割区域中每个像素点的红色亮度值、蓝色亮度值和绿色亮度值；

像素点的颜色通过三原色进行记载时，会记载为R值、B值和G值，即为本步骤中的红色亮度值、蓝色亮度值和绿色亮度值。对像素点的R值、B值和G值的统计，可以直接读取存储信息获得，也可以通过颜色转换等其他方式获得。

需要说明的是，若长曝光图像和连续拍摄的多帧夜景图像是通过两个或多个摄像头拍摄的，则本步骤中，仅统计长曝光图像中已配准像素点的R值、B值和G值。这样可以避免未配准像素点的颜色数据对超级夜景图像的校正产生的误导和偏差。

步骤422，根据每个像素点的红色亮度值、蓝色亮度值和绿色亮度值计算该像素点三原色亮度之间的比值；

在获得像素点的R值、B值和G值后，可以直接计算该像素点的R/G、B/G的比值，以作为该像素点三原色亮度之间的比值。

步骤423，计算分割区域内每个像素点三原色亮度之间的比值的平均值，该平均值即为该分割区域三原色亮度之间的比值。

在获得分割区域内每个像素点(已配准像素点)的R/G、B/G的比值后，可以计算该分割区域内所有像素点(已配准像素点)的R/G、B/G的比值的平均值；该平均值即为反应该分割区域颜色之间比例关系的三原色亮度之间的比值。

这样，通过步骤421-423，可以计算同一分割区域的颜色比例，从而可以对超级夜景图像进行颜色校正；通过整体计算同一分割区域的颜色比例，可以消除长曝光图像中未配准的像素点可能造成的影响，从而对超级夜景图像达到更好的颜色校正效果。

如图6所示，所述步骤42，计算所述长曝光图像中每个分割区域的颜色比例，包括：

步骤4210，统计分割区域中每个像素点的红色亮度值、蓝色亮度值和绿色亮度值；

像素点的颜色通过三原色进行记载时，会记载为R值、B值和G值，即为本步骤中的红色亮度值、蓝色亮度值和绿色亮度值。对像素点的R值、B值和G值的统计，可以直接读取存储信息获得，也可以通过颜色转换等其他方式获得。

需要说明的是，若长曝光图像和连续拍摄的多帧夜景图像是通过两个或多个摄像头拍摄的，则本步骤中，仅统计长曝光图像中已配准像素点的R值、B值和G值。这样可以避免未配准像素点的颜色数据对超级夜景图像的校正产生的误导和偏差。

步骤4220，根据每个像素点的红色亮度值、蓝色亮度值和绿色亮度值计算所述分割区域内红色亮度值、蓝色亮度值和绿色亮度值的平均值；

在获得分割区域内每个像素点(已配准像素点)的R值、B值和G值后，可以计算该分割区域内所有像素点(已配准像素点)的R值、B值和G值的平均值；以作为该分割区域的R值平均值、B值平均值和G值平均值。

步骤4230，根据所述分割区域的所述红色亮度值平均值、蓝色亮度值平均值和绿色亮度值平均值计算所述分割区域三原色亮度之间的比值。

在获得分割区域的R值平均值、B值平均值和G值平均值后，可以直接计算该分割区域的R/G、B/G的比值，该比值即为该分割区域三原色亮度之间的比值。

这样，通过步骤4210-4230，可以计算同一分割区域的颜色比例，从而可以对超级夜景图像进行颜色校正；通过整体计算同一分割区域的颜色比例，可以消除长曝光图像中未配准的像素点可能造成的影响，从而对超级夜景图像达到更好的颜色校正效果。

可选的，所述步骤50，根据所述颜色调整掩码，对所述超级夜景图像进行颜色校正，具体为：对所述超级夜景图像中像素点三原色亮度进行调整，使得该像素点三原色亮度之间的比值与所述颜色调整掩码中对应像素点的三原色亮度之间的比值相同。

也即是为，所述颜色调整掩码具有多个像素点(像素点数量与超级夜景图像的像素点数量相同)，每个像素点均具有对应的三原色亮度之间的比值，且与超级夜景图像中的像素点具有一一对应关系，调整超级夜景图像中像素点三原色亮度的值，使得该像素点三原色亮度之间的比值与所述颜色调整掩码中对应像素点的三原色亮度之间的比值相同。

所述颜色调整掩码具有多个像素点，每个像素点具有对应的R/G、B/G的比值；对超级夜景图像中像素点的R值、B值和G值进行调整，使得该像素点的R/G、B/G的比值与颜色调整掩码中对应像素点的R/G、B/G的比值相同。

这其中，需要说明的是，对像素点的R/G、B/G的比值进行调整，可以通过调节像素点的R值、B值和G值来实现，但是具体的调整方式，可以根据预设的调整规则来进行调整。

例如，要增加B/G的比值，可以增加B值，或者减小G值，或者增加B值的同时减小G值来实现；具有采取何种方式，取决于预设的调整规则来进行。其中，预设的调整规则，可以是由用户在使用前进行设定的，也可以是根据用户的使用习惯进行生成的，或者是预设多个调整规则，以便于得到同一场景的多个颜色校正后的超级夜景图像，以便于用户进行二次选择。

可选的，如图7所示，所述步骤50，根据所述颜色调整掩码，对所述超级夜景图像进行颜色校正，之后还包括：

步骤60，对校正过的所述超级夜景图像进行提亮处理。

这样，校正后对超级夜景图像进行gamma调整等方式进行提亮处理，提高整体图像亮度和对比度，进而得到对比度等都较好的超级夜景图像。本公开实施例提供了一种超级夜景图像颜色校正装置，用于执行本发明上述内容所述的超级夜景图像颜色校正方法，以下对超级夜景图像颜色校正装置进行详细描述。

如图8所示，所述超级夜景图像颜色校正装置，包括：

获取单元1，其用于获取多帧连续拍摄的夜景图像和一帧长曝光图像，其中，所述夜景图像和所述长曝光图像为相同场景图像；

融合单元2，其用于对多帧连续拍摄的所述夜景图像进行融合，得到超级夜景图像；

计算单元3，其用于根据所述长曝光图像，确定颜色调整掩码；

校正单元4，其用于根据所述颜色调整掩码，对所述超级夜景图像进行颜色校正。

这样，可以在连续拍摄多帧的夜景图像进行融合时，也拍摄一长曝光图像，通过长曝光增加图像的亮度，得到无偏色的长曝光图像，并根据长曝光图像对超级夜景图像进行颜色校正，从而可以解决超级夜景图像因白平衡等校正算法无法正常工作出现的偏色情况。

可选的，多帧连续拍摄的夜景图像和所述长曝光图像，可以是同一个摄像头或拍摄镜头拍摄的；也可以是两个或多个摄像头或拍摄镜头对相同场景拍摄的。

可选的，多帧连续拍摄的所述夜景图像的起始拍摄时间和所述长曝光图像的起始拍摄时间相同，且多帧连续拍摄的所述夜景图像和所述长曝光图像由同一终端上的主摄像头和副摄像头分别拍摄得到。

可选的，多帧连续拍摄的所述夜景图像的起始拍摄时间和所述长曝光图像的起始拍摄时间的时间间隔不大于100毫秒。

可选的，所述计算单元3还用于：将所述长曝光图像配准到所述超级夜景图像；

可选的，所述计算单元3还用于：对所述长曝光图像进行图像区域分割；计算所述长曝光图像中每个分割区域的颜色比例；根据每个分割区域的所述颜色比例获得所述颜色调整掩码。

可选的，所述计算单元3还用于：根据每个分割区域的所述颜色比例获得初始掩码；对所述初始掩码进行平滑处理，获得所述颜色调整掩码。

可选的，所述分割区域的颜色比例为该分割区域三原色亮度之间的比值。

可选的，所述计算单元3还用于：统计分割区域中每个像素点的红色亮度值、蓝色亮度值和绿色亮度值；根据每个像素点的红色亮度值、蓝色亮度值和绿色亮度值计算该像素点三原色亮度之间的比值；计算分割区域内每个像素点三原色亮度之间的比值的平均值，该平均值即为该分割区域三原色亮度之间的比值。

可选的，所述计算单元3还用于：统计分割区域中每个像素点的红色亮度值、蓝色亮度值和绿色亮度值；根据每个像素点的红色亮度值、蓝色亮度值和绿色亮度值计算所述分割区域内红色亮度值、蓝色亮度值和绿色亮度值的平均值；根据所述分割区域的所述红色亮度值平均值、蓝色亮度值平均值和绿色亮度值平均值计算所述分割区域三原色亮度之间的比值。

可选的，所述根据所述颜色调整掩码，对所述超级夜景图像进行颜色校正，具体为：对所述超级夜景图像中像素点三原色亮度进行调整，使得该像素点三原色亮度之间的比值与所述颜色调整掩码中对应像素点的三原色亮度之间的比值相同。

可选的，所述校正单元4还用于：对校正过的所述超级夜景图像进行提亮处理。

需要说明的是，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

以上描述了超级夜景图像颜色校正装置的内部功能和结构，如图9所示，实际中，该超级夜景图像颜色校正装置可实现为电子设备，包括：处理器以及存储器，所述存储器存储有控制程序，所述控制程序被处理器执行时实现上述所述的超级夜景图像颜色校正方法。

图10是根据本发明实施例示出的另一种电子设备的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图10，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用软件或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理***，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

本公开实施例提供了一种计算机可读存储介质，存储有指令，所述指令被处理器加载并执行时实现上述所述的超级夜景图像颜色校正方法。

本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本发明实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (13)

1.一种超级夜景图像颜色校正方法，其特征在于，包括：

获取多帧连续拍摄的夜景图像和一帧长曝光图像，其中，所述夜景图像和所述长曝光图像为相同场景图像；

对多帧连续拍摄的所述夜景图像进行融合，得到超级夜景图像；

根据所述长曝光图像，确定颜色调整掩码；

根据所述颜色调整掩码，对所述超级夜景图像进行颜色校正。

2.根据权利要求1所述的超级夜景图像颜色校正方法，其特征在于，多帧连续拍摄的所述夜景图像的起始拍摄时间和所述长曝光图像的起始拍摄时间的时间间隔不大于100毫秒。

3.根据权利要求2所述的超级夜景图像颜色校正方法，其特征在于，多帧连续拍摄的所述夜景图像的起始拍摄时间和所述长曝光图像的起始拍摄时间相同，且多帧连续拍摄的所述夜景图像和所述长曝光图像由同一终端上的主摄像头和副摄像头分别拍摄得到。

4.根据权利要求1所述的超级夜景图像颜色校正方法，其特征在于，所述根据所述长曝光图像，确定颜色调整掩码，之前还包括：

将所述长曝光图像配准到所述超级夜景图像。

5.根据权利要求1-4中任一所述的超级夜景图像颜色校正方法，其特征在于，所述根据所述长曝光图像，确定颜色调整掩码，包括：

对所述长曝光图像进行图像区域分割；

计算所述长曝光图像中每个分割区域的颜色比例；

根据每个分割区域的所述颜色比例获得所述颜色调整掩码。

6.根据权利要求5所述的超级夜景图像颜色校正方法，其特征在于，所述根据每个分割区域的所述颜色比例获得所述颜色调整掩码，包括：

根据每个分割区域的所述颜色比例获得初始掩码；

对所述初始掩码进行平滑处理，获得所述颜色调整掩码。

7.根据权利要求5所述的超级夜景图像颜色校正方法，其特征在于，所述分割区域的颜色比例为该分割区域三原色亮度之间的比值。

8.根据权利要求7所述的超级夜景图像颜色校正方法，其特征在于，所述计算所述长曝光图像中每个分割区域的颜色比例，包括：

统计分割区域中每个像素点的红色亮度值、蓝色亮度值和绿色亮度值；

根据每个像素点的红色亮度值、蓝色亮度值和绿色亮度值计算该像素点三原色亮度之间的比值；

计算分割区域内每个像素点三原色亮度之间的比值的平均值，该平均值即为该分割区域三原色亮度之间的比值。

9.根据权利要求7所述的超级夜景图像颜色校正方法，其特征在于，所述计算所述长曝光图像中每个分割区域的颜色比例，包括：

统计分割区域中每个像素点的红色亮度值、蓝色亮度值和绿色亮度值；

根据每个像素点的红色亮度值、蓝色亮度值和绿色亮度值计算所述分割区域内红色亮度值、蓝色亮度值和绿色亮度值的平均值；

根据所述分割区域的所述红色亮度值平均值、蓝色亮度值平均值和绿色亮度值平均值计算所述分割区域三原色亮度之间的比值。

10.根据权利要求1-4中任一所述的超级夜景图像颜色校正方法，其特征在于，所述根据所述颜色调整掩码，对所述超级夜景图像进行颜色校正，之后还包括：

对校正过的所述超级夜景图像进行提亮处理。

11.一种超级夜景图像颜色校正装置，其特征在于，包括：

获取单元(1)，其用于获取多帧连续拍摄的夜景图像和一帧长曝光图像，其中，所述夜景图像和所述长曝光图像为相同场景图像；

融合单元(2)，其用于对多帧连续拍摄的所述夜景图像进行融合，得到超级夜景图像；

计算单元(3)，其用于根据所述长曝光图像，确定颜色调整掩码；

校正单元(4)，其用于根据所述颜色调整掩码，对所述超级夜景图像进行颜色校正。

12.一种电子设备，包括处理器以及存储器，其特征在于，所述存储器存储有控制程序，所述控制程序被处理器执行时实现如权利要求1-10中任一所述的超级夜景图像颜色校正方法。

13.一种计算机可读存储介质，存储有指令，其特征在于，所述指令被处理器加载并执行时实现如权利要求1-10中任一所述的超级夜景图像颜色校正方法。

Images