CN114841863A - 一种图像颜色校正方法和设备 - Google Patents

一种图像颜色校正方法和设备 Download PDF

Info

Publication number
CN114841863A
CN114841863A CN202110131929.8A CN202110131929A CN114841863A CN 114841863 A CN114841863 A CN 114841863A CN 202110131929 A CN202110131929 A CN 202110131929A CN 114841863 A CN114841863 A CN 114841863A
Authority
CN
China
Prior art keywords
image
light source
color
probability distribution
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110131929.8A
Other languages
English (en)
Inventor
钱彦霖
钱康
朱聪超
王妙锋
王强
王儒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110131929.8A priority Critical patent/CN114841863A/zh
Publication of CN114841863A publication Critical patent/CN114841863A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Optimization (AREA)
  • Operations Research (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种图像颜色校正方法和设备，涉及电子技术领域，能够基于图像训练集的图像数据提供的光源颜色的先验概率和自动白平衡技术提供的似然度，依据贝叶斯算法计算出当前图像的光源颜色的概率，进而估计出光源颜色并对当前图像的颜色进行校正，提高图像颜色校正的准确性。具体方案为：电子设备获取第一原始raw图像，基于第一raw图像以及光源颜色的先验概率分布，确定初始raw图像的光源颜色的概率分布，基于初始raw图像的光源颜色的概率分布，对所述初始raw图像进行颜色校正。本申请实施例用于图像颜色校正的过程。

Description

一种图像颜色校正方法和设备
技术领域
本申请实施例涉及电子技术领域，尤其涉及一种图像颜色校正方法和设备。
背景技术
人眼在不同的光源下对相同颜色的感觉基本相同，而电子设备拍摄的图像的颜色通常受到光源的影响，例如，在室内钨丝灯光下电子设备拍摄的图像偏黄，而在日光阴影处电子设备拍摄的图像偏蓝。电子设备可以通过自动白平衡(automatic white balance，AWB)技术对拍摄的图像进行颜色校正，避免由光源引起的图像偏色，使得电子设备拍摄的图像颜色与人眼看到的画面颜色一致。
在传统的自动白平衡处理(例如基于灰度世界算法和灰度边缘算法的图像颜色校正处理)中，通常根据某些限制条件对图像进行颜色校正，例如，限制条件可以是图像的某种统计量(例如，全局平均颜色或全局平均边缘的颜色)与光源的颜色呈线性关系。然而，根据传统的自动白平衡技术进行图像颜色校正的准确性较低，不能满足用户的视觉需求。
发明内容
本申请实施例提供一种图像颜色校正方法和设备，能够基于图像训练集提供的光源颜色的先验概率和AWB提供的似然度(likelihood)，依据贝叶斯算法计算出当前图像的光源颜色的概率，进而估计出光源颜色并对当前图像的颜色进行校正，提高图像颜色校正的准确性，使得电子设备拍摄的图像的颜色与人眼看到的颜色一致，从而避免光源颜色对图像颜色的影响，提升用户体验。
为达到上述目的，本申请实施例采用如下技术方案：
第一方面，本申请实施例提供了一种图像颜色校正方法，应用于电子设备，该方法包括：获取第一原始raw图像；基于所述第一raw图像以及光源颜色的先验概率分布，确定初始raw图像的光源颜色的概率分布，所述第一raw图像为所述初始raw图像或对所述初始raw图像进行预处理后的图像；基于所述初始raw图像的光源颜色的概率分布，对所述初始raw图像进行颜色校正。
在该方案中，电子设备基于光源颜色的先验概率分布对初始原始图像的颜色进行校正，从而能够提高图像颜色校正的准确性，使得进行图像颜色校正后的图像的颜色与人眼看到的颜色一致，从而避免光源颜色对图像颜色的影响，提升用户体验。
在一种可能的实现方式中，该方法还包括：确定所述光源颜色的先验概率分布。这里，电子设备可以采用多种方法确定光源颜色的先验概率分布，例如，灰度世界方法、灰度边缘方法、机器学习方法等。
在一种可能的实现方式中，确定所述光源颜色的先验概率分布包括：基于图像训练集包括的多个训练图像中各训练图像的rgb标签，获取各训练图像的uv标签；基于各训练图像的uv标签，获取第一矩阵；其中，所述第一矩阵为二维矩阵，所述第一矩阵中每个项的值用于表示对应矩阵坐标为所述项的矩阵坐标的uv标签的数量；基于所述第二矩阵，确定所述光源颜色的先验概率分布。
在该方案中，通过图像训练集中的多个训练图像来确定光源颜色的先验概率分布，从而基于确定的光源颜色的先验概率分布对图像颜色进行校正。这样，能够提高图像颜色校正的准确性，使得进行图像颜色校正后的图像的颜色与人眼看到的颜色一致，从而避免光源颜色对图像颜色的影响，提升用户体验。
在一种可能的实现方式中，所述基于所述第一raw图像以及光源颜色的先验概率分布，确定初始raw图像的光源颜色的概率分布，包括：根据所述第一raw图像的二维色度直方图、所述第一raw图像的光源颜色的概率分布和所述光源颜色的先验概率分布，确定所述初始raw图像的光源颜色的概率分布。
在一种可能的实现方式中，该方法还包括：获取所述第一raw图像的边缘图像；其中，所述边缘图像包含所述第一raw图像中像素值突变的位置的信息；所述基于所述第一raw图像以及光源颜色的先验概率分布，确定初始raw图像的光源颜色的概率分布，包括：基于所述第一raw图像、所述边缘图像以及所述光源颜色的先验概率分布，确定所述初始raw图像的光源颜色的概率分布。
在该方案中，确定初始原始图像的光源颜色的概率分布时考虑第一原始图像的边缘图像，由于边缘图像能够反映纯色场景中更多的光源信息，因此结合边缘图像能够更好地处理纯色场景，确定的初始原始图像的光源颜色的概率分布的准确度更高。
在一种可能的实现方式中，所述基于所述第一raw图像、所述边缘图像以及所述光源颜色的先验概率分布，确定所述初始raw图像的光源颜色的概率分布，包括：基于所述边缘图像的二维色度直方图，所述边缘图像的光源颜色的概率分布，所述第一raw图像的二维色度直方图，所述第一raw图像的光源颜色的概率分布，以及所述光源颜色的先验概率分布，确定所述初始raw图像的光源颜色的概率分布。
在一种可能的实现方式中，该方法还包括：确定所述第一raw图像的光源颜色的概率分布。这里，可以通过多种方式确定第一raw图像的光源颜色的概率分布，例如，灰度世界方法、灰度边缘方法或机器学习方法等。
在一种可能的实现方式中，所述确定所述第一raw图像中光源颜色的概率分布，包括：获取图像训练集包括的多个训练图像中各训练图像的二维色度直方图；基于各训练图像的uv标签，以及各训练图像的二维色度直方图，获取第二矩阵；其中，所述第二矩阵为四维矩阵，所述第二矩阵的每个项用于表示对应uv标签的训练图像的二维色度直方图，各项在所述第二矩阵中的矩阵坐标与对应uv标签的矩阵坐标相同；基于所述第二矩阵与第三矩阵，获取第四矩阵；其中，所述第三矩阵是所述第一raw图像的二维色度直方图对应的四维矩阵；根据所述第四矩阵，确定所述第一raw图像中光源颜色的概率分布。
在该方案中，通过图像训练集中的多个训练图像来确定第一raw图像中光源颜色的概率分布，能够提高确定第一raw图像中光源颜色的概率分布的准确度。
第二方面，本申请实施例提供了一种电子设备，该电子设备包括：摄像头；显示屏；一个或多个处理器和一个或多个存储器；所述一个或多个存储器与所述一个或多个处理器耦合，所述一个或多个存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，所述电子设备执行如权利要求1-8中任一项所述的图像颜色校正方法。
第三方面，本申请实施例提供了一种计算机存储介质，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-8中任一项所述的图像颜色校正方法。
第四方面，本申请实施例提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-8中任一项所述的图像颜色校正方法。
上述其他方面对应的有益效果，可以参见关于方法方面的有益效果的描述，此处不予赘述。
附图说明
图1为本申请实施例提供的一种电子设备的结构示意图；
图2为本申请实施例提供的一种图像颜色校正方法的流程图；
图3为本申请实施例提供的一组界面图；
图4为本申请实施例提供的一组图像；
图5为本申请实施例提供的一组二维直方图；
图6为本申请实施例提供的一种二维直方图；
图7为本申请实施例提供的另一组二维直方图；
图8为本申请实施例提供的另一种二维直方图；
图9为本申请实施例提供的一种图像颜色校正的过程示意图；
图10为本申请实施例提供的另一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
人眼和大脑能够自动校正不同光源下的对象的颜色，使得看到的图像的颜色与真实场景中的实际颜色一致。例如，不论是在日光下或白炽灯照明的房间中观看白色对象，人都能够将白色对象看成是白色的，不会受到光源颜色的影响。然而，电子设备拍摄的图像的颜色通常受到光源颜色的影响。
电子设备拍摄的图像可以通过多种颜色模型数字地表示。示例性的，红黄蓝(RGB)模型是一种常用的颜色模型，可以通过各种方式将红光、绿光和蓝光加在一起产生颜色谱。通常，电子设备接收到的光源依次经过过滤层和色彩滤镜阵列(color filter array，CFA)后得到原始(raw)数据，进而原始数据通过demosaic算法得到RGB数据，获得RGB图像。
其中，为了去除光源颜色的影响，电子设备可以通过AWB对图像颜色进行校正。AWB是电子设备对拍摄的图像颜色进行调整，去除光源的影响的一种图像颜色校正方法，目的是为了确保电子设备拍摄的图像中的白色能够正确反应真实场景种的实际白色，即确保电子设备拍摄的图像中的白色与人眼看到的白色一致，避免因光源颜色而引起的偏色。
目前AWB传统技术中是以图像的全局平均颜色或全局平均边缘的颜色与光源颜色呈线性关系为依据，估计当前图像中的光源颜色，进而基于估计的光源颜色对当前图像进行颜色校正。通过这种传统的AWB方法进行图像颜色校正的准确性较低，并且由于存在限制条件而难以单独使用。
AWB学习类技术基于机器学习技术，能够依赖机器学习模型，例如支持向量机(support vector machine，SVM)、随机森林和神经网络等，通过大量的训练数据集，学习大量的训练数据集中的图片的特征与光源颜色之间的映射方程，从而估计光源颜色并对当前图像进行颜色校正。相比于传统的AWB技术，AWB学习类技术能够提高图像颜色校正的准确性，然而AWB学习类技术参数较多，计算复杂度较大，并且通常需要依赖特殊硬件(如GPU、NPU等)，不利于电子设备实时校正图像颜色，影响用户体验。
本申请实施例提供了一种图像颜色校正的方法，电子设备能够通过图像训练集提供光源颜色的先验知识(prior)，通过AWB技术提供似然度(likelihood)，进而计算出当前图像的光源颜色的概率，即光源颜色的后验(posterior)。基于计算所得的光源颜色的概率，电子设备能够估计出光源颜色并对当前图像的颜色进行校正，从而提高图像颜色校正的准确性，使得电子设备拍摄的图像的颜色与人眼看到的颜色一致，避免光源颜色对图像颜色的影响。同时，该方法计算量较小，不需要依赖特殊硬件或附加限制条件，应用范围更广，还可以实现对图像的颜色进行实时校正，提升用户体验。
在本申请实施例中，该电子设备可以是手机、平板电脑、可穿戴设备(例如智能手表)、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或个人数字助理(personal digital assistant，PDA)等移动终端，也可以是专业的相机等设备，本申请实施例对电子设备的具体类型不作任何限制。
示例性的，图1示出了电子设备100的一种结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了***的效率。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。
在本申请的实施例中，显示屏194可以用于在预览界面和拍摄界面等界面中显示根据本申请实施例提供的方法进行图像颜色校正后的内容。
电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。
在本申请的实施例中，摄像头193可以包括以下一种或多种摄像头：长焦摄像头、广角摄像头、超广角摄像头、变焦摄像头或深度摄像头等。其中，长焦摄像头的拍摄范围小，适用于拍摄远处的景物；广角摄像头的拍摄范围较大；超广角摄像头的拍摄范围大于广角摄像头，适用于拍摄全景等较大画面的景物。深度摄像头可以用于测量待拍摄对象的物距，即测量待拍摄对象的深度信息，例如可以包括三维(3dimensions，3D)深感摄像头、飞行时间(time of flight，TOF)深度摄像头或双目深度摄像头等。摄像头193可以包括前置摄像头和/或后置摄像头。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)，双倍速率同步动态随机存取内存(double data rate synchronous dynamic random-access memory，DDR SDRAM)等。
在本申请的实施例中，内部存储器121可以用于缓存拍照或录像过程中的初始原始图像或目标图像。处理器110通过运行存储在内部存储器121的指令，实现在预览模式或拍摄模式下，根据本申请实施例提供的颜色校正方法对初始原始图像进行颜色校正，从而获得与人眼看到的颜色一致的目标图像。
电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
在本申请的实施例中，摄像头193可以用于采集初始原始图像和训练图像；内部存储器121可以用于缓存初始原始图像和预览过程中进行颜色校正之后的目标图像；显示屏194可以用于显示预览界面或拍摄界面，同时还可以用于在预览界面或拍摄界面中显示目标图像供用户查看；处理器110通过运行存储在内部存储器121的指令，实现对原始图像颜色的校正，使得颜色校正后的目标图像的颜色与人眼看到的颜色一致，避免光源颜色对图像颜色的影响。
以下将以电子设备为具有图1所示结构的手机为例，对本申请实施例提供的图像颜色校正方法进行阐述。如图2所示，该方法包括：
200、手机启动拍照功能。
在本申请实施例中，用户想要使用手机拍摄图像时，可以触发手机启动手机的拍照功能。例如，手机在接收到用户打开相机应用，或者具有拍摄功能的其他应用(比如抖音或河图cyberverse等AR应用)的操作后，可启动对应应用，从而启动应用的拍照功能。
示例性的，手机检测到用户点击图3中的(a)所示的相机图标301的操作后，启动相机应用的拍照功能，并显示如图3中的(b)所示的预览界面。再示例性的，手机显示桌面或非相机应用的界面，检测到用户打开相机应用的语音指令后启动拍照功能，并显示如图3中的(b)所示的预览界面。
需要说明的是，手机还可以响应于用户的其他触摸操作、语音指令或快捷手势等操作启动拍照功能，本申请实施例对触发手机启动拍照功能的操作不作限定。
201、手机获得并显示目标图像。
在一些实施例中，手机启动拍照功能后，可通过本申请实施例提供的图像颜色校正方法，对采集到的初始原始图像进行颜色校正处理，获得目标图像并在预览界面上显示目标图像。目标图像是经颜色校正(白平衡)处理后的图像，目标图像的颜色与用户人眼看到的颜色基本一致。
在另一些实施例中，手机启动拍照功能并进入目标拍照模式后，可通过本申请实施例提供的图像颜色校正方法，在预览界面中显示目标图像。
其中，手机在目标拍照模式下，可以对采集到的每帧初始原始图像进行颜色校正(即白平衡)处理，从而获得目标图像并在预览界面向用户呈现目标图像。目标拍照模式可以为白平衡模式、自动白平衡模式或颜色校正模式等。本申请实施例对目标拍照模式的名称不作限定。
下面以目标拍模式为白平衡模式为例进行说明。
示例性的，手机启动拍照功能后，若检测到用户点击图3中的(b)中所示的控件302的操作后，进入白平衡模式，显示如图3中的(c)所示的白平衡模式下的预览界面。其中，图3中的(c)所示的预览界面中显示经过白平衡处理后的目标图像。再例如，手机检测到用户点击图3中的(b)所示的控件303的操作后，显示如图3中的(d)所示的界面；手机检测到用户点击控件304的操作后，如图3中的(c)所示进入白平衡模式。
再示例性的，手机在显示桌面或非相机应用界面的情况下，检测到用户进入白平衡模式的语音指令后启动拍照功能，并如图3中的(c)所示进入白平衡模式。
需要说明的是，手机还可以响应于用户的其他触摸操作、语音指令或快捷手势等操作启动拍照功能并进入白平衡模式，本申请实施例对触发手机进入白平衡模式的具体操作不予限定。
在一些实施例中，手机可以在白平衡模式下将该拍照模式的功能通过显示信息或语音播报等方式提示给用户。示例性的，手机可以在预览界面上显示文字提示信息：白平衡模式下图像的颜色与实际颜色一致。
可以理解的是，手机启动拍照功能后可进入预览状态。在预览状态下，手机可以对获取的初始原始图像进行颜色校正处理，从而获得目标图像并在预览界面中显示目标图像。其中，目标图像是经过颜色校正处理后的图像，不存在偏色，即目标图像中的颜色与实际场景中的颜色一致。
在本申请实施例中，手机将初始原始图像转换成目标图像的过程可以认为是对初始原始图像进行颜色校正的过程。下面将继续参见图2，具体描述手机获得目标图像的过程。
在本申请实施例中，手机可以基于初始原始图像I的第一处理图像c1(也可以成为第一原始图像c1)的二维直方图p(c1)，第一处理图像c1的边缘图像c2的二维直方图p(c2)，图像训练集中的光源颜色的先验概率p(L)，第一处理图像c1中的光源颜色的概率p(L|c1)，以及边缘图像c2中的光源颜色的概率p(L|c2)得到初始原始图像I中的光源颜色的概率p(L|I)。进而，基于p(L|I)估计初始原始图像I中的光源颜色，并对初始原始图像I进行图像颜色校正，获得目标图像。
以下步骤301-308具体描述了确定上述p(c1)、p(c2)、p(L)、p(L|c1)、p(L|c2)和p(L|I)，以及根据p(L|I)估计初始原始图像I的光源颜色，并对初始原始图像I进行图像颜色校正的过程。
301、手机获取初始原始图像I。
在手机进入预览状态时，手机可以根据预设的采集帧率，通过摄像头采集初始原始图像。
其中，初始原始图像是未经过颜色校正的图像。例如，若手机在室内钨丝灯下获取一帧初始原始图像，则该初始原始图像偏黄。
在一些实施例中，手机可以将获取到的初始原始图像显示在预览界面上。例如，手机可以将获取到的初始原始图像显示在如图3中的(b)所示的预览界面上。
在另一些实施例中，手机获取到初始原始图像后也可以不显示初始原始图像，直接在如图3中的(b)所示的预览界面上显示最终的目标图像。
也就是说，在本申请实施例中，手机可显示初始原始图像，供用户查看，也可以不显示初始原始图像，而是直接显示处理后的目标图像供用户查看。
302、手机对初始原始图像I进行预处理，获得第一处理图像c1。
在本申请实施例中，手机获取到初始原始图像I后，可以先对初始原始图像I进行预处理，获得第一处理图像c1。这里，第一处理图像也可以称为第一原始图像。预处理能够提高手机进行图像颜色校正的精度，并提高后续手机进行图像颜色校正的速度。
其中，预处理包括黑电平校正(black level correction，BLC)、镜头阴影校正(lens shading correction，LSC)和重裁剪(resize)等处理。
在一些实施例中，手机每获取到一帧初始原始图像，即可对该帧初始原始图像立即进行预处理。
在另一些实施例中，手机可以获取到预设帧数的初始原始图像后，对这些初始原始图像一起进行预处理。
303、手机基于边缘算子获得第一处理图像c1的边缘图像c2。
在一些实施例中，手机可以通过边缘算子，获得第一处理图像c1的边缘图像c2。其中，边缘图像中包含第一处理图像中像素值突变的位置的信息。由于在纯色场景中，边缘图像能够反映更多光源信息，因此通过边缘图像能够更好地处理纯色场景。
需要说明的是，在一些实施例中，也可以不获取边缘图像c2，仅根据第一处理图像c1来确定初始原始图像I的光源颜色的概率分布。可以理解的是，根据c1和c2确定的初始原始图像I的光源颜色的概率分布的准确度更高。
示例性的，手机可以通过Canny算子、Sobel算子或Prewitt算子等边缘算子中的任一个边缘算子来获得边缘图像。
下面以Canny算子举例，具体描述手机获取第一处理图像c1的边缘图像c2的过程。Canny算子是一个具有滤波、增强和检测的多阶段的优化算子。在通过Canny算子获取第一处理图像的边缘图像时，首先通过高斯滤波器平滑第一处理图像，接着用一阶偏导的有限差分来计算梯度的幅值和方向，然后对梯度幅值进行非极大值抑制，最后用双阈值算法检测和连接边缘，从而获取到第一处理图像的边缘图像。
如图4所示，图4中的(a)为第一处理图像c1，图4中的(b)为第一处理图像的边缘图像c2，在图4中的(b)中可以看出第一处理图像中的边缘，即像素值突变的地方。
304、手机对第一处理图像c1和边缘图像c2分别进行第一处理，获得p(c1)和p(c2)。
在本申请实施例中，第一处理可以包括：
(1)根据公式u＝log(g/r)和公式v＝log(g/b)将第一处理图像c1中每个像素的rgb值转换成uv色度值，将边缘图像c2中每个像素的rgb值转换成uv色度值；
(2)基于第一处理图像c1中每个像素的uv色度值和边缘图像c2中每个像素的uv色度值，获得第一处理图像c1的二维(2D)直方图和边缘图像c2的二维(2D)直方图，分别记为p(c1)和p(c2)。
这里，p(c1)和p(c2)可以分别反映c1和c2中各个uv色度值出现的概率。
其中，基于第一处理图像c1中每个像素的uv色度值和边缘图像c2中每个像素的uv色度值，获得第一处理图像c1的二维直方图和边缘图像c2的二维直方图具体包括：
手机获取预先设置好的二维直方图的边界uv_start和uv_end，以及二维直方图的组距uv_bin，根据第一处理图像c1中每个像素的uv色度值和边缘图像c2中每个像素的uv色度值，对第一处理图像c1和边缘图像c2分别进行二维直方图统计，之后对统计结果进行归一化处理，从而获得第一处理图像c1的二维直方图p(c1)和边缘图像c2的二维直方图p(c2)。在本申请实施例中，二维直方图的x轴和y轴的边界相同，均为uv_start和uv_end。
需要说明的是，手机中预先设置好的二维直方图的边界uv_start和uv_end，以及二维直方图的组距uv_bin可以是用户根据经验或需求设置的。在一些实施例中，手机可以提前通过对多张图像进行测试，来确定uv_start、uv_end和uv_bin的值是否合适。
还需要说明的是，手机通常对不同的相机组件设置不同的uv_start、uv_end和uv_bin，根据用户拍摄选择的相机组件，调用预先配置的对应的uv_start、uv_end和uv_bin即可。
其中，uv_end与uv_start的差值越大，uv_bin越小，则根据uv_start、uv_end和uv_bin对图像生成的二维直方图的精度越高。
如图5所示，图5中的(a)表示p(c1)，图5中的(b)表示p(c2)。其中，二维直方图的边界是[-0.50，1.50]，组距是0.25。示例性的，在p(c1)中，每个uv色度值对应的直方图的高度表示在第一处理图像c1中，该uv色度值出现的概率。
305、手机获取光源颜色的先验概率p(L)。
在一些实施例中，手机可以提前计算光源颜色的先验概率p(L)，在需要时，直接获取p(L)。在另一些实施例中，手机也可以在需要p(L)时，实时计算p(L)。
在本申请实施例中，手机可以根据图像训练集计算先验概率p(L)。
在一些实施例中，图像训练集包括多个训练图像以及这多个训练图像对应的rgb标签(label)。其中，每一张训练图像可以对应一个rgb标签。
可以理解的是，rgb标签反映的是对应的训练图像中的光源颜色。在一些实施例中，rgb标签可以通过训练图像中的色卡进行标注。示例性的，手机可以在拍摄训练图像时在拍摄对象侧放入一个24色卡，从拍摄所得的训练图像中去除灰色色块的平均颜色，作为该训练图像的rgb标签。
手机可以根据图像训练集中的训练图像和对应的rgb标签，获得训练图像的特征与光源颜色的映射关系，从而可以计算出p(L)、p(L|c1)和p(L|c2)。
需要说明的是，一般情况下，图像训练集中的训练图像的数量远小于AWB学习类技术中训练数据集所需的图像数量，本申请实施例对图像训练集中的训练图像的数量不作限定。
在一些实施例中，手机可基于图像训练集中的训练图像和rgb标签，通过遍历求和的方法计算p(L)。具体过程如下：
步骤1：手机构造一个二维矩阵，记为初始hist_L，该矩阵的形状设置为(h，w)。
也就是说，手机构造一个高为h，宽为w的初始矩阵(h×w的二维矩阵)。
在一些实施例中，该初始二维矩阵可以称为二维求和矩阵。本申请实施例对此不作限定。
在一些实施例中，该初始二维矩阵的高和宽可以相等。在另一些实施例中，该初始二维矩阵的高和宽也可以不相等。
需要说明的是，本申请实施例中生成的各个二维直方图的边界和组距相同，因此初始hist_L的高h和宽w可以根据上面的uv_start、uv_end和uv_bin，通过公式h＝w＝floor((uv_end-uv_start)/uv_bin)计算得出。其中，floor表示向下取整。
示例性的，uv_start＝0.05，uv_end＝1.50，uv_bin＝0.25，则h＝w＝floor((1.50-(-0.50))/0.25)＝8。也就是说，手机构造了一个8×8的二维矩阵。
可以理解的是，手机构造的初始hist_L是二维零矩阵，即初始hist_L每一项均为0。
步骤2：手机基于图像训练集中的训练图像和rgb标签，获得hist_L。
在本申请实施例中，手机基于图像训练集中的训练图像和rgb标签，获得hist_L具体包括：
首先，手机将图像训练集中的每一个rgb标签根据公式u＝log(g/r)和公式v＝log(g/b)转换成uv标签，记为(u1，v1)；接着，手机基于uv标签，根据label_x＝floor((u1-uv_start)/uv_bin)和label_y＝floor((v1-uv_start)/uv_bin)分别计算出label_x和label_y，其中，(label_x，label_y)表示初始hist_L中rgb标签对应的位置坐标；之后，手机根据公式hist_L[label_x，label_y]+＝1，对二维矩阵中(label_x，label_y)处的数字加1，从而基于图像训练集获得统计后的二维矩阵hist_L，hist_L可以反映出图像训练集中各rgb标签的数量。
也可以理解为，hist_L中统计了图像训练集中每个rgb标签对应的图像的数量。
步骤3：手机对hist_L进行归一化，得到图像训练集的先验概率p(L)。
在本申请实施例中，通过对步骤2中得到的二维矩阵hist_L进行归一化处理，可以得到图像训练集的先验概率p(L)。
其中，p(L)可以表示为二维直方图，由p(L)可以得到图像训练集中光源颜色为各个uv色度值的概率。
需要说明的是，p(L)的边界和组距也为上述uv_start、uv_end和uv_bin。
如图6所示，p(L)的边界是[-0.50，1.50]，组距是0.25。示例性的，在p(L)中，每个uv色度值对应的直方图的高度表示图像训练集中光源颜色为该uv色度值的概率。
306、手机基于图像训练集和第一处理图像计算p(L|c1)，手机基于图像训练集和边缘图像计算p(L|c2)。
在本申请实施例中，手机可以通过最大后验概率估计法(maximum a posterior)计算p(L|c1)和p(L|c2)。以手机基于图像训练集和第一处理图像计算p(L|c1)为例，该方法具体步骤如下：
步骤1：手机构造一个四维矩阵，记为初始likehood_matrix，该矩阵的形状被设置为(h，w，h，w)。
也就是说，手机构造一个h×w×h×w的初始四维矩阵。
在一些实施例中，该初始四维矩阵可以被称为四维相似度矩阵，本申请实施例对此不作限定。
在一些实施例中，h和w可以相等。在另一些实施例中，h和w也可以不相等。
需要说明的是，初始likehood_matrix的各维度大小h和w也可以根据上面的uv_start、uv_end和uv_bin，通过公式h＝w＝floor((uv_end-uv_start)/uv_bin)计算得出。其中，floor表示向下取整。
示例性的，uv_start＝0.05，uv_end＝1.50，uv_bin＝0.25，则h＝w＝floor((1.50-(-0.50))/0.25)＝8。也就是说，手机构造了一个8×8×8×8的初始四维矩阵。
可以理解的，手机构造的初始likehood_matrix是四维零矩阵，即初始likehood_matrix中每一项均为0。
步骤2：手机基于图像训练集中的训练图像和rgb标签，获得likehood_matrix。
在本申请实施例中，手机基于图像训练集中的训练图像和rgb标签，获得likehood_matrix具体包括：
首先，手机将图像训练集中的一张训练图像转换成uv的二维直方图，将该二维直方图对应的二维矩阵记为初始hist。可以认为，该初始hist对应一个形状为(h，w)的二维矩阵；接着，手机根据公式u＝log(g/r)和公式v＝log(g/b)将对应的rgb标签转换成uv标签，记为(u2，v2)；接着，手机基于uv标签，根据label_x＝floor((u2-uv_start)/uv_bin)和label_y＝floor((v2-uv_start)/uv_bin)分别计算出label_x和label_y，其中，(label_x，label_y)用于在最终得到的四维矩阵likehood_matrix中检索该rgb标签对应的位置，从而查看到该rgb标签对应的训练图像的二维矩阵；之后，手机对初始hist进行二值化binary操作，即hist[hist>0]＝1，得到hist，其中，hist为01矩阵；最终，手机通过公式likehood_matrix[label_x，label_y，：，：]+＝hist获得最终的四维矩阵likehood_matrix。其中，可以根据(label_x，label_y)对四维矩阵likehood_matrix进行检索，在(label_x，label_y)对应的坐标处可以查询到对应的训练图像转换所得的hist。
步骤3：手机针对第一处理图像c1计算第一p(L|c1)。
在本申请实施例中，手机通过将likehood_matrix与第一处理图像c1转换的二维直方图对应的四维矩阵进行点乘，计算得到第一p(L|c1)。
具体的，手机将第一处理图像c1转换成二维直方图，方法与步骤304类似，此处不再赘述，该二维直方图对应的二维矩阵记为hist_c1，hist_c1的形状为(h，w)。为了使得hist_c1与likehood_matrix能够点乘，需要调整hist_c1的形状。接下来手机通过reshape函数对hist_c1的形状进行调整，得到四维矩阵hist1_c1，hist1_c1的形状为(1，1，h，w)。
进而，手机可以根据公式第一p(L|c1)＝likehood_matrix*hist1_c1，将likehood_matrix与hist1_c1(调整形状后的hist_c1)进行点乘，计算出第一p(L|c1)。
步骤4：手机对第一p(L|c1)进行二维求和，获得第二p(L|c1)。
由于第一p(L|c1)是四维矩阵，为了获得二维直方图p(L|c1)，需要将第一p(L|c1)转换成二维矩阵，记为第二p(L|c1)。
在本申请实施例中，手机可以沿着第三轴和第四轴对第一p(L|c1)进行二维求和，获得二维矩阵，即第二p(L|c1)。
步骤5：手机对第二p(L|c1)进行归一化，得到p(L|c1)。
在本申请实施例中，通过对第二p(L|c1)进行归一化处理，可以得到最终的p(L|c1)。
如图7中的(a)所示，在p(L|c1)中，可以得到第一处理图像c1中光源颜色为各个uv色度值的概率。
在一些实施例中，手机还可以针对边缘图像c2，重复上述步骤1-步骤4，计算边缘图像c2中光源颜色的概率p(L|c2)，如图7中的(b)所示。本申请实施例对此不再赘述。
307、手机基于p(c1)、p(c2)、p(L)、p(L|c1)和p(L|c2)计算p(L|I)。
在本申请实施例中，I表示手机获取的初始原始图像，L表示需要估计的光源颜色，c1表示初始原始图像的第一处理图像，c2表示第一处理图像的边缘图像，其中，c1和c2是初始原始图像I的完备事件集。
可以理解的是，计算手机获取的初始原始图像中的光源颜色可以认为是计算L在I的后验概率，即计算p(L|I)。其中：
p(L|I)∝p(I|L)p(L)
Figure BDA0002925671860000121
∝p(c1|L)p(c2|L)p(L)
∝p(L|c1)p(c1)p(L|c2)p(c2)p(L)
因此，将上述p(c1)、p(c2)、p(L)、p(L|c1)和p(L|c2)进行点乘，即可得到p(L|I)，如图8所示。在图8中，p(L|I)为计算得到的初始原始图像I中光源颜色的概率。其中，最高点处对应的uv色度值则是估计的最有可能的光源颜色。
在本申请实施例中，由于计算p(L|I)时将p(c1)、p(c2)、p(L)、p(L|c1)和p(L|c2)进行点乘，因此p(c1)、p(c2)、p(L)、p(L|c1)和p(L|c2)的uv_start、uv_end和uv_bin相同，对应的二维矩阵的形状也相同。
在上述内容中，基于第一处理图像c1和边缘图像c2来确定初始原始图像I的光源颜色的概率分布。可以理解的是，在此基础上，还可以基于包括初始原始图像I中部分特征的其他图像来初始原始图像I的光源颜色的概率分布。也就是说，还可以基于第一处理图像c1以及其他一个或更多个包括初始原始图像I中部分特征的图像来确定初始原始图像I的光源颜色的概率分布，从而进一步提高初始原始图像I的光源颜色的概率分布的准确度。
308、手机对初始原始图像进行颜色校正，获得并显示目标图像。
在本申请实施例中，若将步骤201中手机获取的初始原始图像的rgb值记为(Ir，Ig，Ib)，将光源颜色记为(Lr，Lg，Lb)，将初始原始图像的真实颜色(颜色校正后的图像颜色)记为(Wr，Wg，Wb)，由于初始原始图像的rgb值为光源颜色与初始原始图像的真实颜色的积，因此：
Ir＝Wr Lr 公式(1)
Ig＝Wg Lg 公式(2)
Ib＝Wb Lb 公式(3)
可以看出，通过W＝I/L可以计算出初始原始图像的真实颜色的rgb值。
进一步的，由于u＝log(g/r)，v＝log(g/b)，因此：
Wu＝Iu–Lu 公式(4)
Wv＝Iv–Lv 公式(5)
可以看出，通过初始原始图像的uv值减去光源颜色的uv值，可以直接得到初始原始图像的真实颜色的uv值。
在本申请实施例中，手机获得p(L|I)后，可以基于p(L|I)估算出手机拍摄的初始原始图像的场景的光源颜色。例如，图中p(L|I)最高点对应的uv色度值(Lu，Lv)即为估计的初始原始图像(当前场景中)的光源颜色的uv值。进而，手机可以根据公式4和公式5对初始原始图像进行颜色校正，得到初始原始图像的真实颜色的uv值(Wu，Wv)，将其转换成rgb值，即可得到颜色校正后的目标图像。
在另一些实施例中，手机还可以先将图中p(L|I)最高点对应的uv色度值(Lu，Lv)转换成rgb值，进而根据公式1-公式3对初始原始图像进行颜色校正，得到初始原始图像的真实颜色的rgb值，从而得到颜色校正后的目标图像。
其中，目标图像中的颜色与实际场景中的颜色一致。最终手机在预览界面中可以显示目标图像供用户查看。
综上所述，如图9所示，手机通过对初始原始图像进行预处理，得到第一处理图像c1和边缘图像c2；对c1和c2分别进行二维直方图统计，得到p(c1)和p(c2)；基于图像训练集，通过maximum a posterior方法针对c1和c2分别计算p(L|c1)和p(L|c2)；最终基于p(c1)、p(c2)、p(L|c1)、p(L|c2)以及获取的先验概率p(L)，计算出初始原始图像中的光源颜色的概率p(L|I)，进而基于p(L|I)估计光源颜色，并对初始原始图像的图像颜色进行校正，得到目标图像。
需要说明的是，上述对初始原始图像进行图像颜色校正，获得并显示目标图像的过程可以通过软件的方式实现，也可以设计成专用的ISP芯片来实现，本申请实施例对此不作限制。
根据上述方法进行图像颜色校正时，由于同时考虑了图像训练集提供的光源颜色的先验概率和AWB提供的似然度，因此本方法计算出的当前图像的光源颜色的概率的准确度更高。进而，基于该概率估计当前图像的光源颜色并对当前图像进行颜色校正，能够提高图像颜色校正的准确性，使得电子设备拍摄的图像的颜色与人眼看到的颜色一致，从而避免光源颜色对图像颜色的影响，提升用户体验。
同时，由于本申请实施例提供的方法未依赖机器学习模型，因此计算量较小，也不需要依赖特殊的硬件。这样，根据本申请实施例提供的方法进行图像颜色校正，能够在保证图像颜色校正准确性的基础上，减少计算量，从而实现对图像颜色进行实时校正，并使得本方法的应用范围更广。
示例性的，在标准学术集指标测试中，如表1所示，采用本申请实施例提供的图像颜色校正方法，与现有的灰度世界法、原始贝叶斯算法和深度学习算法相比，能够有效提高图像颜色校正的精度。需要说明的是，表1中的数字表示角误差，数字越小精度越高，图像颜色校正的准确性越高。
同时，与深度学习算法相比，本申请实施例提供的图像颜色校正方法的参数少，计算量小。也就是说，本申请实施例提供的图像颜色校正方法能够在计算量较小的情况下实现媲美深度学习算法的精度。因此，本申请实施例提供的图像校正方法不需要依赖特殊硬件(例如GPU和NPU等)，可以实现对初始原始图像的颜色进行实时校正。
此外，本申请实施例提供的图像颜色校正方法也没有附加任何限制条件，因此，本申请实施例提供的图像颜色校正方法适用范围更广，能够单独使用。
表1
Figure BDA0002925671860000131
202、手机检测到用户的拍照操作后，在拍摄界面显示目标图像，或者手机检测到用户的录像操作后，生成目标视频。
若在预览界面中手机检测到用户的拍照操作后，则可以在拍摄界面显示目标图像。其中，拍照操作可以是用户对拍照控件或按钮的点击操作，也可以是用户的其他触摸操作、语音指令或快捷手势等操作。
在一些实施例中，手机检测到用户的拍照操作后还可以同时保存目标图像。
在另一些实施例中，手机在拍摄界面中检测到返回预览界面的操作后，进入预览界面。在又一些实施例中，手机在拍摄界面中显示目标图像的时间达到预设时长后，手机自动进入预览界面。其中，预设时长可以是30秒或1分钟等，本申请实施例对此不作限定。目标图像显示在预览界面的图库中。
若在预览界面中手机检测用户的录像操作，则可以生成目标视频，其中，目标视频是视频编码器根据手机拍摄过程中保存的目标图像生成的。录像操作可以是用户对录像控件或按钮的点击操作，也可以是用户的其他触摸操作、语音指令或快捷手势等操作。
在一些实施例中，目标视频生成后，手机重新进入预览界面。可选地，生成的目标视频显示在预览界面的图库窗口中。
在一些实施例中，目标视频中的目标图像是对获取的每帧初始原始图像实时进行上述步骤301至步骤308的处理得到的。在另一些实施例中，目标视频中的目标图像可以是对获取的视频中的每帧初始原始图像同时进行上述步骤301至步骤308的处理得到的。本申请实施例对此不作限定。
可以理解的是，在一些实施例中，手机通过图像颜色校正方法对获取的初始原始图像进行颜色校正(白平衡处理)得到目标图像后，可以先将目标图像存储在手机的缓存中。例如，可将目标图像存储在预览缓存或视频缓存中。在拍摄视频或拍照的预览场景下，手机可从预览缓存中实时获取已经进行颜色校正的各个初始原始图像，即目标图像，并输出在预览界面的取景窗口中。在视频的拍摄过程中，手机可从视频缓存中实时获取已经进行颜色校正的各个初始原始图像，即目标图像，并将这些目标图像编码为本次录制的目标视频进行保存。
还可以理解的是，在一些实施例中，本申请实施例提供的图像颜色校正方法还可以适用于现有图片。例如，对于下载的未经颜色校正的图片，或者手机之前拍摄的未经颜色校正的图片等，仍然可以采用本申请实施例提供的方法对这些图片的颜色进行校正，使得校正后的图片颜色与实际颜色一致。
可以看出，无论在拍照场景或视频场景下，无论在预览场景或录制场景下，手机获取到每一帧初始原始图像后，均可基于图像训练集中的图像数据的先验知识，得到目标图像。
本申请实施例提供的方法结合了图像训练集中的先验知识和AWB算法，能够通过较少量的计算提高图像颜色校正的准确性，改善电子设备拍摄的照片和视频的颜色，避免光源颜色对电子设备拍摄的图像颜色的影响，使得电子设备拍摄的图像的颜色与人眼看到的颜色一致，提高用户体验。
可以理解的是，为了实现上述功能，电子设备包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
本申请实施例还提供一种电子设备，包括一个或多个处理器以及一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行上述相关方法步骤实现上述实施例中的图像颜色校正方法。
本申请实施例还提供一种电子设备，如图10所示，包括：显示屏1001，一个或多个处理器1002，多个摄像头1003，存储器1004，以及一个或多个计算机程序1005，上述各器件可以通过一个或多个通信总线1006连接。其中该一个或多个计算机程序1005被存储在上述存储器1004中并被配置为被该一个或多个处理器1002执行，该一个或多个计算机程序1005包括指令，上述指令可以用于执行上述实施例中的各个步骤。其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应实体器件的功能描述，在此不再赘述。
示例性的，上述处理器1002具体可以为图1所示的处理器110，上述存储器1004具体可以为图1所示的内部存储器121，上述摄像头1003具体可以为图1所示的摄像头193，上述显示屏1001具体可以为图1所示的显示屏194。
本申请的实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的图像颜色校正方法。
本申请的实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中电子设备执行的图像颜色校正方法。
另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中电子设备执行的图像颜色校正方法。
其中，本实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种图像颜色校正方法，应用于电子设备，其特征在于，包括：
获取第一原始raw图像；
基于所述第一raw图像以及光源颜色的先验概率分布，确定初始raw图像的光源颜色的概率分布，所述第一raw图像为所述初始raw图像或对所述初始raw图像进行预处理后的图像；
基于所述初始raw图像的光源颜色的概率分布，对所述初始raw图像进行颜色校正。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定所述光源颜色的先验概率分布。
3.根据权利要求2所述的方法，其特征在于，确定所述光源颜色的先验概率分布，包括：
基于图像训练集包括的多个训练图像中各训练图像的rgb标签，获取各训练图像的uv标签；
基于各训练图像的uv标签，获取第一矩阵；其中，所述第一矩阵为二维矩阵，所述第一矩阵中每个项的值用于表示对应矩阵坐标为所述项的矩阵坐标的uv标签的数量；
基于所述第一矩阵，确定所述光源颜色的先验概率分布。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述基于所述第一raw图像以及光源颜色的先验概率分布，确定初始raw图像的光源颜色的概率分布，包括：
根据所述第一raw图像的二维色度直方图、所述第一raw图像的光源颜色的概率分布和所述光源颜色的先验概率分布，确定所述初始raw图像的光源颜色的概率分布。
5.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：
获取所述第一raw图像的边缘图像；其中，所述边缘图像包含所述第一raw图像中像素值突变的位置的信息；
所述基于所述第一raw图像以及光源颜色的先验概率分布，确定初始raw图像的光源颜色的概率分布，包括：
基于所述第一raw图像、所述边缘图像以及所述光源颜色的先验概率分布，确定所述初始raw图像的光源颜色的概率分布。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第一raw图像、所述边缘图像以及所述光源颜色的先验概率分布，确定所述初始raw图像的光源颜色的概率分布，包括：
基于所述边缘图像的二维色度直方图，所述边缘图像的光源颜色的概率分布，所述第一raw图像的二维色度直方图，所述第一raw图像的光源颜色的概率分布，以及所述光源颜色的先验概率分布，确定所述初始raw图像的光源颜色的概率分布。
7.根据权利要求4或6所述的方法，其特征在于，所述方法还包括：
确定所述第一raw图像的光源颜色的概率分布。
8.根据权利要求7所述的方法，其特征在于，所述确定所述第一raw图像中光源颜色的概率分布，包括：
获取图像训练集包括的多个训练图像中各训练图像的二维色度直方图；
基于各训练图像的uv标签，以及各训练图像的二维色度直方图，获取第二矩阵；其中，所述第二矩阵为四维矩阵，所述第二矩阵的每个项用于表示对应uv标签的训练图像的二维色度直方图，各项在所述第二矩阵中的矩阵坐标与对应uv标签的矩阵坐标相同；
基于所述第二矩阵与第三矩阵，获取第四矩阵；其中，所述第三矩阵是所述第一raw图像的二维色度直方图对应的四维矩阵；
根据所述第四矩阵，确定所述第一raw图像中光源颜色的概率分布。
9.一种电子设备，其特征在于，包括：
摄像头；
显示屏；
一个或多个处理器和一个或多个存储器；
所述一个或多个存储器与所述一个或多个处理器耦合，所述一个或多个存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，所述电子设备执行如权利要求1-8中任一项所述的图像颜色校正方法。
10.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-8中任一项所述的图像颜色校正方法。
11.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-8中任一项所述的图像颜色校正方法。
CN202110131929.8A 2021-01-30 2021-01-30 一种图像颜色校正方法和设备 Pending CN114841863A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110131929.8A CN114841863A (zh) 2021-01-30 2021-01-30 一种图像颜色校正方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110131929.8A CN114841863A (zh) 2021-01-30 2021-01-30 一种图像颜色校正方法和设备

Publications (1)

Publication Number Publication Date
CN114841863A true CN114841863A (zh) 2022-08-02

Family

ID=82561156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110131929.8A Pending CN114841863A (zh) 2021-01-30 2021-01-30 一种图像颜色校正方法和设备

Country Status (1)

Country Link
CN (1) CN114841863A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721038A (zh) * 2023-08-07 2023-09-08 荣耀终端有限公司 颜色修正方法、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721038A (zh) * 2023-08-07 2023-09-08 荣耀终端有限公司 颜色修正方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11948282B2 (en) Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
EP3520390B1 (en) Recolorization of infrared image streams
CN112529784B (zh) 图像畸变校正方法及装置
CN114339102B (zh) 一种录像方法及设备
CN115526983B (zh) 一种三维重建方法及相关设备
WO2024021742A1 (zh) 一种注视点估计方法及相关设备
US20220329729A1 (en) Photographing method, storage medium and electronic device
CN117201930B (zh) 一种拍照方法和电子设备
CN115150542B (zh) 一种视频防抖方法及相关设备
CN108259767B (zh) 图像处理方法、装置、存储介质及电子设备
CN113591526A (zh) 人脸活体检测方法、装置、设备及计算机可读存储介质
CN114841863A (zh) 一种图像颜色校正方法和设备
CN116055895B (zh) 图像处理方法及其装置、芯片***和存储介质
EP4231621A1 (en) Image processing method and electronic device
CN116055699B (zh) 一种图像处理方法及相关电子设备
EP4303815A1 (en) Image processing method, electronic device, storage medium, and program product
CN116437198B (zh) 图像处理方法与电子设备
CN117132515A (zh) 一种图像处理方法及电子设备
EP4228236A1 (en) Image processing method and electronic device
CN117135471A (zh) 一种图像处理方法和电子设备
US20230186425A1 (en) Face image processing method and apparatus, device, and computer readable storage medium
CN115767290A (zh) 图像处理方法和电子设备
CN111277751B (zh) 拍照方法、装置、存储介质及电子设备
JP7321772B2 (ja) 画像処理装置、画像処理方法、およびプログラム
EP4270975A1 (en) Image light supplement method and electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination