CN115082328A - 用于图像校正的方法和设备 - Google Patents

用于图像校正的方法和设备 Download PDF

Info

Publication number
CN115082328A
CN115082328A CN202110978977.0A CN202110978977A CN115082328A CN 115082328 A CN115082328 A CN 115082328A CN 202110978977 A CN202110978977 A CN 202110978977A CN 115082328 A CN115082328 A CN 115082328A
Authority
CN
China
Prior art keywords
light source
image
illumination
map
white
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110978977.0A
Other languages
English (en)
Inventor
姜纳硖
金善柱
金东盈
金珍宇
李妍京
俞炳仁
李炯旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Industry Academic Cooperation Foundation of Yonsei University
Original Assignee
Samsung Electronics Co Ltd
Industry Academic Cooperation Foundation of Yonsei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210052984A external-priority patent/KR102619830B1/ko
Application filed by Samsung Electronics Co Ltd, Industry Academic Cooperation Foundation of Yonsei University filed Critical Samsung Electronics Co Ltd
Publication of CN115082328A publication Critical patent/CN115082328A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6077—Colour balance, e.g. colour cast correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

提供了用于图像校正的方法和设备。一种处理器实现的方法包括：使用被提供输入图像的神经网络模型来生成包括光照值的光照图，光照值取决于单独地影响输入图像的每个像素的一个或多个光源引起的相应色偏；以及通过使用生成的光照图从输入图像去除色偏的至少一部分来生成白色调整的图像。

Description

用于图像校正的方法和设备
本申请要求于2021年3月11日在韩国知识产权局提交的第10-2021-0032119号韩国专利申请以及于2021年4月23日在韩国知识产权局提交的第10-2021-0052984号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。
技术领域
下面的描述涉及用于图像校正的技术。
背景技术
对于白平衡，可估计场景中的光照或照明的颜色以去除由光照引起的色偏。白平衡可模仿人类视觉***的颜色恒常性(color constancy)。
发明人在构思本公开的过程中已经拥有或获取了以上描述，并且以上描述不应被认为是在提交本申请之前公知的建议。
发明内容
提供本发明内容以简要的形式介绍在以下具体实施方式中进一步描述的构思的选择。本发明内容不意在确定要求权利的主题的关键特征或必要特征，也不意在用于帮助确定要求权利的主题的范围。
在一个总体方面，一种处理器实现的方法包括：使用被提供输入图像的神经网络模型来生成包括光照值的光照图，光照值取决于单独地影响输入图像的每个像素的一个或多个光源引起的相应色偏；以及通过使用生成的光照图从输入图像去除色偏的至少一部分来生成白色调整的图像。
生成的光照图可包括光照向量，在光照向量中，与光源中的一个光源的色度对应的部分光照向量和与光源中的另一光源的色度对应的另一部分光照向量针对输入图像的至少一个像素被混合。
光照图可包括影响输入图像的像素的光源的色度的混合系数，所述混合系数与影响输入图像的另一像素的光源的色度的另一混合系数不同。
针对输入图像的像素，神经网络模型的结果可包括所述一个或多个光源中的一个光源的第一色度信息和对应的第一混合系数，并且针对输入图像的另一像素，神经网络模型的结果还可包括所述一个或多个光源中的所述一个光源的第二色度信息和对应的第二混合系数。
生成光照图的步骤可包括：基于第一色度信息和第一混合系数生成光照图的第一像素，并且基于第二色度信息和第二混合系数生成光照图的第二像素。
生成白色调整的图像的步骤可包括：通过逐元素运算将光照图应用于输入图像来生成白色调整的图像。
通过逐元素运算将光照图应用于输入图像的步骤可包括：将输入图像中的对应像素位置的每个像素的相应像素值除以与对应像素位置相同的像素位置的相应光照值。
白色调整的图像可以是白平衡图像。
所述方法还可包括：通过针对每个光源分解光照图来确定与每个光源对应的色度信息；通过对白色调整的图像进行调整来生成部分白平衡图像，部分白平衡图像具有与光源的一部分对应的保留的色度信息，并且与光源的剩余部分对应的色度信息是与光源的剩余部分对应的白色信息。
所述方法还可包括：控制显示器以显示部分白平衡图像。
所述确定还可包括：通过针对每个光源分解光照图来确定与每个光源对应的混合系数，其中，生成部分白平衡图像的步骤可包括：使用与光源的所述一部分对应的色度信息和与光源的所述一部分对应的相应混合系数图来生成与光源的所述一部分对应的部分光照图；使用与光源的剩余部分对应的白色信息和与光源的剩余部分对应的相应混合系数图来生成与光源的剩余部分对应的剩余光照图；通过将部分光照图和剩余光照图相加在一起来生成重新照明图；以及将白色调整的图像的每个像素的像素值乘以重新照明图的重新照明值之中的与对应像素的像素位置对应的重新照明值。
生成光照图的步骤可包括：通过将神经网络模型应用于输入图像来提取每个光源的色度信息和每个光源的混合系数图；以及基于提取的色度信息和提取的混合系数图来生成光照图。
生成光照图的步骤可包括：通过分别将每个光源的色度信息与每个光源的混合系数图相乘来计算每个光源的部分光照图；以及通过将计算的部分光照图加在一起来生成光照图。
生成白色调整的图像的步骤可包括：确定提取的色度信息之中的与光源中的目标光源对应的色度信息；通过将确定的色度信息与提取的系数图之中的对应混合系数图相乘来计算目标光源的部分光照图；通过将目标光源的部分光照图与光源的剩余部分的剩余光照图相加来生成重新照明图；以及通过将重新照明图应用于白色调整的图像来生成部分白平衡的重新照明图像，其中，生成的部分白平衡的重新照明图像保留与目标光源对应的色偏的至少一部分。
确定与目标光源对应的色度信息的步骤可包括：将提取的色度信息中的并且与光源的剩余部分对应的色度信息改变为白色信息。
所述方法还可包括：确定每个光源的混合系数图，使得针对一个像素关于光源计算的混合系数之和是参考值；基于每个光源的色度信息和每个光源的混合系数图，计算分别与每个光源对应的部分光照图；以及将计算的部分光照图应用于输入图像和白色调整的图像中的一个。
确定混合系数图的步骤可包括：识别影响输入图像中的像素的光源色度的总数；以及生成与识别的光源色度的总数对应的相应混合系数图。
识别光源色度的总数的步骤可包括：将光源色度的总数设置为三。
生成相应混合系数图的步骤可包括：响应于光源色度的总数被识别为二，发起相应混合系数图的生成。
确定混合系数图的步骤可包括：当光源的总数是两个光源时，估计所述两个光源中的一个光源的混合系数图；以及通过从参考值减去估计的混合系数图中的每个混合系数来计算所述两个光源中的剩余其他光源的剩余混合系数图。
在一个总体方面，一个或多个实施例包括存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时使处理器执行在此公开的操作和方法的任何一个、任何组合或全部。
在一个总体方面，一种设备包括：处理器；以及存储器，存储一个或多个机器学习模型和指令，所述指令在由处理器执行时将处理器配置为：使用所述一个或多个机器学习模型中的一个生成包括光照值的光照图，光照值取决于单独地影响输入图像的像素的光源引起的相应色偏；以及通过使用生成的光照图从输入图像调整色偏的至少一部分来生成白色调整的图像。
处理器还可被配置为通过对白色调整的图像进行调整来生成部分白平衡图像，与光照图中的对应色度信息相比，部分白平衡图像具有与光源的一部分对应的保留的色度信息以及与光源的剩余部分对应的不同的色度信息。
不同的色度信息可以是白色信息。
处理器还可被配置为：针对每个光源分解光照图，以获得光源的色度信息；以及通过对白色调整的图像进行调整来生成部分白平衡图像，与获得的色度信息相比，部分白平衡图像具有与光源的一部分对应的保留的色度信息以及与光源的剩余部分对应的不同的色度信息。
不同的色度信息可以是白色信息。
所述设备还可包括：图像传感器，被配置为拍摄输入图像。
所述指令还可包括：在由处理器执行时将处理器配置为根据白色调整的图像来控制所述设备的操作的指令。
所述指令还可包括：在由处理器执行时将处理器配置为识别影响输入图像中的像素的光源的总数的指令，其中，使用所述一个或多个机器学习模型中的所述一个的步骤可包括：基于识别的总数个光源而从存储在存储器中的所述一个或多个机器学习模型之中选择所述一个或多个机器学习模型中的所述一个，其中，分别针对两个不同的总数的光源选择两个不同的机器学习模型。
在一个总体方面，一种设备包括：图像传感器，被配置为获得输入图像；以及处理器，被配置为：使用被提供输入图像的神经网络模型来生成包括光照值的光照图，光照值取决于单独地影响输入图像的每个像素的一个或多个光源引起的相应色偏；以及通过使用生成的光照图从输入图像去除色偏的至少一部分来生成白平衡图像。
所述设备还可包括显示器，其中，处理器还可被配置为使显示器显示白平衡图像。
从下面的具体实施方式、附图和权利要求，其他特征和方面将是清楚的。
附图说明
图1示出图像校正方法的示例。
图2示出基于神经网络的白平衡操作的示例。
图3示出从白平衡图像生成重新照明图像的示例。
图4和图5示出使用色度信息、混合系数信息和光照图执行的白平衡操作的示例。
图6示出白平衡方法的示例。
图7示出通过光源的一部分来保留光照分量的示例。
图8和图9示出收集用于训练神经网络的训练数据的示例。
图10示出硬件实现的图像校正设备的示例。
贯穿附图和具体实施方式，除非另外描述或提供，否则相同的附图参考标号将被理解为表示相同或相似的元件、特征和结构。为了清楚、说明和方便，附图可不按比例，并且附图中的元件的相对大小、比例和描绘可被夸大。
具体实施方式
提供下面的具体实施方式以帮助读者获得对在此描述的方法、设备和/或***的全面理解。然而，在理解本申请的公开之后，在此描述的方法、设备和/或***的各种改变、修改和等同物将是清楚的。例如，在此描述的操作顺序仅是示例，并且操作顺序不限于在此阐述的那些操作顺序，而是除了必须以特定顺序发生的操作之外，可如在理解本申请的公开之后将是清楚地那样被改变。此外，为了更清楚和简明，可省略在理解本申请的公开之后已知的特征的描述。
在此描述的特征可以以不同的形式被实现，并且不应被解释为限于在此描述的示例。相反，在此描述的示例已被提供，以仅示出在理解本申请的公开之后将是清楚的实现在此描述的方法、设备和/或***的许多可行方式中的一些可行方式。
贯穿说明书，当组件被描述为“连接到”或“结合到”另一组件时，它可直接“连接到”或“结合到”所述另一组件，或者可存在介于它们之间的一个或多个其他组件。相反，当元件被描述为“直接连接到”或“直接结合到”另一元件时，可不存在介于它们之间的其他元件。同样地，类似的表述(例如，“在……之间”和“紧接在……之间”以及“邻近”和“紧邻”)也应以相同的方式被解释。如在此使用的，术语“和/或”包括相关所列项中的任何一个以及任何两个或更多个的任何组合。
尽管在此可使用诸如“第一”、“第二”和“第三”的术语来描述各种构件、组件、区域、层或部分，但是这些构件、组件、区域、层或部分不应受这些术语限制。相反，这些术语仅用于将一个构件、组件、区域、层或部分与另一构件、组件、区域、层或部分区分开。因此，在不脱离示例的教导的情况下，在此描述的示例中所称的第一构件、第一组件、第一区域、第一层或第一部分也可被称为第二构件、第二组件、第二区域、第二层或第二部分。
在此使用的术语仅用于描述各种示例，而不应用于限制公开。除非上下文另外清楚地指示，否则单数形式也意在包括复数形式。术语“包含”、“包括”和“具有”表明存在陈述的特征、数量、操作、构件、元件和/或它们的组合，但不排除存在或添加一个或多个其他特征、数量、操作、构件、元件和/或它们的组合。
除非另外定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员通常理解的含义以及基于对本申请的公开的理解的含义相同的含义。除非在此明确地如此定义，否则术语(诸如，在通用词典中定义的术语)应被解释为具有与它们在相关领域的上下文以及本申请的公开中的含义一致的含义，而不应以理想化或过于形式化的含义进行解释。在此针对示例或实施例的术语“可”的使用(例如，关于示例或实施例可包括或实现什么)表示存在包括或实现这样的特征的至少一个示例或实施例，而所有示例不限于此。
在示例实施例的描述中，当认为在理解本申请的公开之后由此已知的结构或操作的详细描述将导致示例实施例的模糊解释时，将省略这样的描述。
由于人类认知特性，相机传感器和/或图像传感器可由于具有色度的光源(例如，白炽灯)的光照或照明而将具有白色色度的对象的白色感测为另一颜色(例如，淡黄色)。白平衡(white balance或white balancing)可表示为了在成像中再现将具有白色色度的对象识别为白色的人类认知处理而执行的操作。例如，在一个或多个实施例中，白平衡可从整个图像去除由光源的色度引起的色偏并校正颜色失真。作为非限制性示例，一个或多个实施例可提供用于图像校正的方法或设备，用于图像校正的方法或设备使用机器学***衡。
图1示出图像校正方法的示例。
参照图1，在操作110中，图像校正设备使用神经网络模型从获得的输入图像生成包括光照值(illumination value)的光照图(illumination map)，光照值指示一个或多个光源的色度单独地影响输入图像的每个像素的色偏。例如，输入图像可包括由多个光源引起的色偏。例如，图像校正设备可生成具有混合光照向量的光照图，在混合光照向量中，与光源中的一个光源的色度对应的部分光照向量和与光源中的另一光源的色度对应的部分光照向量针对输入图像的至少一个像素被混合。光源可不限于多个光源。作为非限制性示例，图像校正设备可对应于图10的图像校正设备1000。
在此描述的色度可表示指示不包括亮度的颜色的分量。在存在多个光源的情况下拍摄的输入图像中，在拍摄的输入图像的每个像素中可存在不同的色偏。例如，通过多个光源作用在一个像素上的各个光照的比率可不同，并且可基于与以复杂方式操作的相应光照对应的色度被混合的比率来确定像素中的色偏的颜色。一个光源的光照或阴影影响每个像素的强度的比率在此可被称为混合比或混合系数。针对每个像素的混合系数的集合在此可被称为混合系数图，这将在稍后参照例如等式5进行描述。光照图可表示包括用于校正输入图像的色偏的光照值的图，其中，针对像素的光照值可指示用于补偿由基于相应混合系数混合的光源的色度引起的色偏的值。每个光照值可以是分别对应于多个光源的多个色度的部分光照值之和，并且可以以部分光照向量的格式表示，部分光照向量具有基于颜色通道的定义的每个颜色通道的分量。例如，稍后将参照等式6进一步描述光照图。
例如，在混合光照环境下拍摄的图像可被建模为例如由以下等式1来表示。例如，在这个示例中，混合光源可包括具有不同色度的两个或更多个光源。
等式1：
Figure BDA0003228265500000071
在等式1中，x表示包括在图像I中的多个像素之中的一个像素的像素位置，并且可指示图像I中的坐标(例如，二维(2D)坐标)。I(x)表示在图像I的像素位置x处像素的像素值。r(x)表示图像I中的像素位置x的表面反射率。η(x)表示缩放项，包括混合光源影响图像I中的像素位置x的光照和阴影的强度。ηi(x)表示N个光源之中的第i光源影响像素位置x处的像素的光照和阴影的强度。l表示混合光源的色度信息。li表示第i光源的色度信息，其中，i表示大于或等于1且小于或等于N的整数。此外，⊙表示逐元素乘法(或乘积)。
色度信息可包括基于颜色空间定义光源的色度的色度向量。例如，为了RGB颜色空间以及其他颜色空间的说明性目的，在此将主要描述在红色、绿色、蓝色(RGB)颜色空间中定义的颜色向量。在这个RGB颜色空间示例中，原色红色色度、原色绿色色度和原色蓝色色度可分别表示为向量(1,0,0)、向量(0,1,0)和向量(0,0,1)。此外，黑色信息和白色信息可分别表示为向量(0,0,0)和向量(1,1,1)。在一个示例中，色度向量可被归一化，使得G值变为1。例如，对于向量例如(R,G,B)＝(0.3,0.7,0.3)，通过将每个通道的分量值除以G值0.7，色度向量可被归一化为(0.43,1,0.43)。色度向量的值可不限于此，并且例如在具有变化的硬件配置的不同示例中以及在具有相同硬件配置的其他变化的示例中、或者不取决于硬件配置，色度向量中的每个元素的值或归一化方法可变化。如上所述，虽然针对RGB颜色空间讨论了色度向量，但是作为非限制性示例，色度向量也可基于其他颜色空间(诸如，例如，色调/饱和度/明度(HSV)颜色空间、国际照明委员会(CIE)颜色空间、和/或青色/洋红色/黄色/黑色(CMYK)颜色空间)被定义。色度向量的维度的总数可根据颜色空间的分量的数量而变化。因此，作为示例，尽管色度向量在前述RGB颜色空间示例中被描述为三个维度，但是色度向量在由四个分量定义的颜色空间中(诸如，在CMYK颜色空间示例中)可被定义为四个维度。
在上面的等式1中，N表示大于或等于1的整数。在下文中，虽然还存在N为1或N大于2的示例，但出于解释的目的，将描述N＝2并且第一光源为光源a且第二光源为光源b的示例(诸如，例如，下面在等式2中呈现的示例)。
等式2：
Iab(x)＝r(x)⊙(ηa(x)la+ηb(x)lb)
在等式2中，Iab(x)表示在具有光源a和光源b的环境中拍摄的图像Iab中的与像素位置x对应的像素值。ηa(x)表示光源a影响像素位置x的光照和阴影的强度，并且la表示光源a的色度向量。类似地，ηb(x)表示光源b影响像素位置x的光照和阴影的强度，并且lb表示光源b的色度向量。作为示例，白平衡可被解释为使得所有光源具有标准色度而执行的校正。例如，白平衡图像可以是例如如下面的等式3所示的通过对光源a的色度向量和光源b的色度向量两者进行校正(例如，校正为值1)而获得的图像。
等式3：
Figure BDA0003228265500000091
在等式3中，
Figure BDA0003228265500000092
表示白平衡图像
Figure BDA0003228265500000093
的像素位置x处的像素值。等式3中的值1表示指示白色的色度信息(在下文中，白色信息)(例如，色度向量(1,1,1))。为了简化描述，在下面的等式4至等式6中，不重复对单个像素的基本像素位置x的引用，仅作为非限制性示例，其中，为了说明的目的将仅描述图像Iab。
等式4：
Figure BDA0003228265500000094
等式5：
Figure BDA0003228265500000095
等式6：
Lab＝αla+(1-α)lb
如等式4所示，输入图像Iab可被解释为可通过逐元素乘法将光照图Lab应用于白平衡图像
Figure BDA0003228265500000096
而获得的结果。α表示光源a的混合系数图。(1-α)表示光源b的混合系数图。例如，在存在两个光源的情况下，图像校正设备可估计两个光源中的一个(例如，光源a)的混合系数图α。然后，图像校正设备可通过针对每个像素从参考值(例如，1)减去混合系数图α的每个混合系数来计算两个光源中的剩余光源(例如，光源b)的混合系数图(1-α)。尽管上面参照等式5描述了光源a和光源b的混合系数图，但是作为非限制性示例，N个光源之中的第i光源的混合系数图可被概括为
Figure BDA0003228265500000097
因此，Lab(x)表示与像素位置x对应的光照向量，并且光照图Lab可以是相应的光照向量Lab(x)的集合。包括在光照向量Lab(x)中的部分光照向量αla和(1-α)lb可以是相应光源的混合系数图α和(1-α)与色度向量la和lb的乘积，因此，光照图Lab可被解释为基于颜色空间的定义为每个颜色通道提供一组光照通道图。例如，像素位置x处的部分光照向量α(x)la可以是对应于色度向量la的每个颜色通道(例如，RGB的一个通道)的分量与像素位置x的混合系数α(x)的乘积，因此，部分光照向量α(x)la可单独地包括对应于R通道的部分光照分量、对应于G通道的部分光照分量和对应于B通道的部分光照分量。如上面等式6所示，光照图Lab中的相应光源的混合系数图α和(1-α)以及色度向量la和lb对于每个像素可具有空间上不同的值(例如，由于来自每个光源的光照不同地落在像素上，所以不同定位的光源可在输入图像的相同像素的像素值中被不同地表示)。因此，图像校正设备可使用机器学习模型(诸如，神经网络模型)来生成光照图Lab。例如，作为非限制性示例，神经网络模型可被训练为从输入图像提取光照图Lab。在一个示例中，将在下面参照图2进一步更详细地描述直接提取光照图Lab的这种神经网络模型。在一个示例中，神经网络模型可被训练为从输入图像提取每个光源的色度信息和每个光源的混合系数图。在这样的示例中，诸如上面针对等式6讨论的，图像校正设备可使用提取的色度信息和提取的混合系数图来计算光照图(例如，光照图Lab)。下面将参照图4进一步更详细地描述提取每个光源的色度信息和每个光源的混合系数图的示例神经网络模型。
在操作120中，图像校正设备可通过使用生成的光照图Lab，从输入图像去除色偏的至少一部分来生成图像(例如，像素级白平衡图像)。例如，图像校正设备可通过逐元素运算将光照图Lab应用于输入图像来生成示例像素级白平衡图像。如下面等式7所示，示例图像校正设备可分别将输入图像Iab的每个像素的像素值除以光照图Lab中的光照值之中的与对应像素的像素位置对应的光照值。例如，对于针对每个像素位置的每个颜色通道，图像校正设备可将颜色通道值除以光照向量中与该颜色通道对应的分量。例如，可针对相同的对应像素位置在对应颜色通道的值之间执行逐元素运算(例如，相应的逐元素乘法和逐元素除法)。因此，图像校正设备可从输入图像Iab生成示例图像(诸如，示例像素级白平衡图像)。作为示例，下面的示例等式7可从上面的等式6得到，并且可表示示例像素级白平衡图像
Figure BDA0003228265500000103
的生成。
等式7：
Figure BDA0003228265500000101
在等式7中，
Figure BDA0003228265500000102
表示逐元素除法。
在单个光照下拍摄输入图像的场景的示例中，可以以灰色处理整个输入图像，或者可基于输入图像中被估计为白色色度的区域，通过利用单个光照色度的归一化来对整个输入图像进行白平衡。在另一示例中，图像拍摄环境可以是具有各种色度的潜在多个光源被混合的地方，因此，相应光源的色度可复杂地影响在示例图像拍摄环境中拍摄的输入图像的每个像素。在一个示例中，图像校正方法可补偿多个光源的色度的这种复杂影响，因此，即使在混合光照环境中也提供令人满意的白平衡结果。如上所述，图像校正操作可单独地或不同地将具有不同色度的光源的光照应用于每个像素，并且单独地或不同地对局部区域执行白平衡。也就是说，可单独地或不同地确定在图像的一个像素中引起将要补偿的色偏的光源的色度和在图像的另一像素中引起将要补偿的色偏的光源的色度。
例如，在室外拍摄的图像可在每个像素中不同地包括由两个光源(例如，黄色阳光和蓝色天空)引起的色偏。相比之下，在室内拍摄的图像可在每个像素中不同地包括由三个光源(例如，自然光、室内光和外部闪光灯)引起的色偏。在一个示例中，示例图像校正方法可通过使用被确定为针对每个对应像素而优化的光照值校正图像来执行白平衡，其中，由具有不同色度的光源引起的色偏的混合比对于每个像素是特定的或不同的。
图2示出基于神经网络的白平衡操作的示例。
在一个示例中，图像校正设备可通过使用神经网络模型210从输入图像201计算光照图230。作为非限制性示例，图像校正设备可对应于图10的图像校正设备1000。
输入图像201可包括颜色空间中的多个通道图像。例如，RGB图像可包括红色通道图像、绿色通道图像和蓝色通道图像。作为其他示例，YUV图像和HSV图像中的每个可包括对应的多个通道图像。在一个或多个示例中，输入图像201可以是全高清(FHD)图像或4K分辨率图像，注意，存在分辨率低于这样的FHD图像、分辨率在FHD与4K图像之间以及分辨率高于4K图像的示例。
在一个或多个示例中，神经网络模型210可以是被配置为生成与输入图像201相同分辨率的光照图230的机器学习模型，但是示例不限于此。图像校正设备可通过将输入图像201输入到神经网络模型210来提取光照图230，并且通过神经网络模型210的隐藏层的相应神经网络操作来生成光照图230。光照图230可包括用于补偿每个像素位置处的色偏的光照值(例如，光照向量)。机器学习模型可通过机器学习生成。如下面针对图8和图9描述的，在一个或多个实施例中，可在图像校正设备本身中执行学习(在图像校正设备中，训练后的神经网络模型210随后可在推断操作中执行以生成光照图230)，或者可通过与图像校正设备分离的服务器执行学习。
在此描述的神经网络模型可包括多个神经网络层(例如，一个或多个输入层、至少一个输出层以及输入层与输出层之间的多个隐藏层)。神经网络模型可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBN)、深度信念网络(DBN)、双向循环DNN(BRDNN)、深度Q网络、U-net、或其中两个或更多个的组合中的任何一个或任何组合，注意示例不限于此。作为非限制性示例，神经网络的训练参数(诸如，节点之间的连接权重、在先前时间和/或后续时间的同一节点的连接权重和/或核元素)可存储在图像校正设备的存储器中。
在神经网络的训练中，执行的学习方法可包括例如有监督学习、无监督学习、半监督学习和/或强化学习，但是示例不限于此。
此外，在这样的示例学***衡图像中的至少一个。将参照图8和图9进一步描述训练数据。在此，针对神经网络表述(例如，“神经网络模型210”)的使用，与例如训练后的神经网络模型的运行、使用、实现或执行以生成推断结果相比，对示例神经网络模型(或神经网络)的训练或另一神经网络模型(或其他神经网络)的其他训练的引用应当被解释为(例如，通过训练设备或在根据在此描述的任何训练方法的另一电子设备的训练操作中)执行上面的示例训练中神经网络的一些训练以生成所得的训练后的神经网络模型。同样地，对例如示例神经网络模型(或神经网络)的执行、使用、实现或执行以生成推断结果的引用应当被解释为训练后的神经网络模型(神经网络)或训练后的其他神经网络模型(或其他神经网络)的执行、使用、实现或执行。这里，示例不限于针对生成推断结果的这样的执行、使用、实现或执行术语，针对神经网络的推断操作也可使用其他表述。
因此，作为非限制性示例，图像校正设备可例如使用机器学***衡图像208。在一个示例中，作为非限制性示例，像素级白平衡图像208可被存储和/或诸如通过显示器被输出，或者被转发到图像校正设备的另一组件或操作。
图3示出从白平衡图像生成重新照明图像的示例。
在一个示例中，例如，除了上面参照图2描述的操作之外，图像校正设备可执行分解操作340。作为非限制性示例，图像校正设备可对应于图10的图像校正设备1000。
例如，图像校正设备可针对每个光源分解光照图230，并且确定每个光源的色度信息351和每个光源的混合系数图352。在一个示例中，作为非限制性示例，图像校正设备可通过主成分分析(PCA)针对每个光源分解光照图230。在光照图230中，影响一个像素的多个光源的色度的混合系数可与影响另一像素的多个光源的色度的混合系数不同。
例如，图像校正设备可通过保留与多个光源的一部分对应的色度信息351，并且改变与光源的剩余部分对应的色度信息并另外将改变后的色度信息连同混合系数图352一起应用于像素级白平衡图像208，来生成部分白平衡图像309。部分白平衡图像309也可被称为像素级受控白平衡图像309。在这个示例中，图像校正设备可使用与光源的一部分对应的色度信息351和混合系数图352，来生成与光源的该部分对应的目标部分光照图。图像校正设备可将与光源的剩余部分对应的色度信息改变为白色信息，并且使用白色信息和混合系数图352生成与光源的剩余部分对应的剩余光照图。剩余光照图可以是其中光源的剩余部分的色度被白色替代，从而由光源的剩余部分引起的色偏被去除的部分光照图。图像校正设备可通过将目标部分光照图和剩余光照图相加在一起来生成重新照明图。重新照明图可以是包括重新照明值的图，重新照明值添加了来自白平衡图像中的光源的一部分的色度的色偏效果以用于重新照明。图像校正设备可通过将像素级白平衡图像208的每个像素的像素值与同重新照明图中的重新照明值之中的对应像素的像素位置对应的重新照明值相乘，来应用逐元素乘积390。因此，部分白平衡图像309可以是通过将由目标光源引起的色偏与白平衡图像(相乘地)相加而获得的图像。因此，图像校正设备可生成至少在其中保留由光源的一部分引起的色偏的部分白平衡图像309。此外，作为非限制性示例，部分白平衡图像309可被存储和/或诸如通过显示器被输出，或者被转发到图像校正设备的另一组件或操作。
在一个示例中，除了上面参照图2描述的损失之外，图3中示出的用于生成神经网络210的机器学习结构还可包括颜色通道的余弦相似性。
图4和图5示出使用色度信息、混合系数信息和光照图执行的白平衡操作的示例。
在一个示例中，图像校正设备可通过针对获得的输入图像201执行神经网络模型410，来提取每个光源的色度信息421和每个光源的混合系数图422。例如，神经网络模型410可以是被训练为(例如，当存在多个光源时)从输入图像201生成色度信息421和混合系数图422的模型。针对图4和图5，作为相应的非限制性示例，图像校正设备可对应于图10的图像校正设备1000。
在一个示例中，图像校正设备可基于色度信息421和混合系数图422通过线性插值来生成光照图430。例如，图像校正设备可通过将多个光源中的每个的色度信息421与对应光源的混合系数图422相乘来生成部分光照图。图像校正设备可通过将每个光源的色度信息421乘以混合系数图422而获得的各个部分光照图相加来生成光照图430。因此，图像校正设备可通过将所生成的光源的部分光照图加在一起来生成光照图430。图像校正设备可通过例如通过逐元素除法480将在没有改变色度信息421的情况下生成的光照图430应用于输入图像201来生成像素级白平衡图像408。
在一个示例中，图像校正设备可另外将重新照明图添加到像素级白平衡图像408，以生成其中保留了色偏的部分白平衡图像和/或其中由于光源的一部分产生的光照效果从输入图像201被改变的图像。
例如，图像校正设备可确定与目标光源对应的色度信息421。在这个示例中，图像校正设备可将与目标光源对应的色度信息421保持为原始色度向量。一个光源的原始色度向量可指示使用神经网络模型410提取的光源的色度向量。图像校正设备可通过将保持的色度信息421与混合系数图422相乘来计算目标光源的部分光照图。例如，图像校正设备可通过目标光源的具有原始色度向量的色度信息421与混合系数图422之间的乘法来计算目标光源的部分光照图。图像校正设备可通过将目标光源的部分光照图与剩余光源的剩余光照图相加来生成重新照明图。图像校正设备可通过将与剩余光源对应的色度信息改变为白色信息(例如，向量(1,1,1))来生成不包括由剩余光源引起的色偏的重新照明图。图像校正设备可通过逐元素乘法将重新照明图应用于像素级白平衡图像408，来生成在其中保留由目标光源引起的色偏的至少一部分的部分白平衡重新照明图像。因此，利用重新照明图，图像校正设备可从输入图像201去除由剩余光源引起的色偏，并且生成在其中保留由目标光源引起的色偏的部分白平衡重新照明图像。然而，重新照明图的生成可不限于上述内容。
在一个示例中，图像校正设备可将与多个光源中的目标光源对应的色度信息改变为目标色度向量。例如，用户可选择目标光源。因此，目标色度向量可以是指示用户如何选择改变色度的向量。图像校正设备可通过将确定的目标色度向量与混合系数图相乘来计算具有目标光源的目标色度的部分光照图。图像校正设备可通过将目标光源的部分光照图和剩余光源的剩余光照图相加在一起来生成重新照明图。例如，在保持剩余光源的色度信息的情况下，图像校正设备可通过基于逐元素乘法将重新照明图应用于像素级白平衡图像408，从原始输入图像201生成其中仅将目标光源的光照效果改变为目标色度的图像。在一个示例中，图像校正设备可通过将剩余光源的色度信息改变为白色信息，并且将基于目标色度向量的部分光照图和基于白色信息的剩余光照图相加在一起来生成重新照明图。在这个示例中，图像校正设备可通过逐元素乘法将重新照明图应用于像素级白平衡图像408，来生成部分白平衡图像，在部分白平衡图像中，仅将具有目标色度的目标光源的光照效果添加到像素级白平衡图像408。
图像校正设备可确定每个光源的混合系数图422，使得针对一个像素根据光源计算的相应的混合系数之和变为参考值(例如，1)。例如，参考值可以是与光源的混合系数图中的同一像素位置对应的值之和。因此，由于参考值或混合系数图之和可以是一致的，因此在校正处理中可不存在亮度改变。因此，图像校正设备可在保持图像亮度的情况下仅有效地去除由光源的色度引起的色偏。图像校正设备可基于每个光源的色度信息421和每个光源的混合系数图422来计算与每个光源对应的部分光照图。图像校正设备可将部分光照图应用于图3的输入图像201和生成的像素级白平衡图像208中的一个。
在图4的示例中，可从N个光源提取N组色度信息421和N个混合系数图422。在这个示例中，N可以是3(N＝3)。图像校正设备可存储与光源的数量对应的相应神经网络模型410(例如，当存在三个光源时，在已经分别针对各种其他数量的光源训练的多个训练后的神经网络模型410之中，针对三个光源特别训练的神经网络模型410可被训练并被存储在图像校正设备的存储器中)。因此，图像校正设备可从输入图像201识别光源的数量，并且加载与识别的数量对应的适当的神经网络模型410。图像校正设备可提取与识别的光源的数量对应的色度信息421和混合系数图422。
在这样的示例中，像素级白平衡图像408、已经向其添加了重新照明图的像素级白平衡图像408、已经向其应用了部分光照图的输入图像201、和/或已经向其应用了部分光照图的像素级白平衡图像208可分别被生成和存储和/或例如通过显示器被输出、或者被转发到图像校正设备的其他组件或操作。
图5示出示例应用结果。图像校正设备可使用相应训练的神经网络模型从输入图像501提取第一色度信息521a和第一混合系数图522a，并且提取第二色度信息521b和第二混合系数图522b。输入图像501可以是其中存在通过窗的外部光(例如，如示出的光源#1)和通过室内光源的内部光(例如，如示出的光源#2)的图像。图像校正设备可通过对第一色度信息521a、第一混合系数图522a、第二色度信息521b和第二混合系数图522b的线性插值来获得光照图530。因此，图像校正设备可生成完全白平衡图像508，在完全白平衡图像508中，通过使用光照图530校正输入图像501来补偿所有光照效果。
图6示出白平衡方法的示例。
参照图6，在操作610中，图像校正设备获得图像。例如，图像校正设备可通过图像传感器拍摄图像。在一个示例中，图像校正设备可通过通信器从外部服务器接收图像。对于又一示例，图像校正设备可加载存储在存储器中的图像，或者可从图像校正设备的周围环境拍摄图像。作为非限制性示例，图像校正设备可对应于图10的图像校正设备1000。
在操作620中，图像校正设备确定图像中是否存在多个光照。例如，图像校正设备可识别引起影响图像的像素的色偏的光源的色度的类型。
在操作621中，当在图像中仅存在由单个光源引起的色偏时，图像校正设备以第一方式调整白平衡。例如，图像校正设备可在假设单个光照的情况下以这样的第一方式调整白平衡。然而，示例不限于此，并且即使在单个光源的情况下，图像校正设备也可基于上面参照图1至图5描述的方法或操作来针对单个光源执行白平衡。例如，图像校正设备可通过应用从光源获得的相应部分光照图的平均图(例如，包括指示同一像素位置的光照值的平均值的图)，在单个光源的假设下生成白平衡图像。在单个光源的示例中，除了可在操作660中生成/输出单个光源白平衡图像之外，图像校正设备可省略操作620之后的操作。
在识别的光源的总数为两个或更多个的情况下，图像校正设备可针对总数个光源中的每个光源生成相应的混合系数图。
在操作630中，图像校正设备估计每个光照的色度和混合系数图。例如，图像校正设备可识别影响输入图像的光源色度的数量。图像校正设备可基于识别的数量来生成混合系数图。在一个示例中，响应于光源色度的总数被识别为二，图像校正设备发起相应混合系数图的生成，但是示例不限于光源色度的总数为二的情况。
在一个示例中，诸如上面针对图3讨论的，图像校正设备可将光照图分解为识别的数量个组的色度信息和对应的混合系数图。在一个示例中，图像校正设备可选择性地使用先前已经针对与识别的光源的总数相同的训练光源总数而训练的神经网络模型(例如，与先前已经针对与识别的光源的总数不同的训练光源总数而训练的另一存储的神经网络模型相比)，来提取识别的总数个组的色度信息和对应识别的总数的混合系数图。
在一个示例中，图像校正设备可将光源色度的数量设置和/或限制为三个。颜色空间通常可形成在三维中，因此仅针对三个光源计算色度信息和混合系数图可以是有效的。
在操作640中，图像校正设备估计光照图。例如，图像校正设备可基于色度信息和混合系数图之间的乘法来计算每个光源的部分光照图，并且通过将多个光源的相应部分光照图相加来计算光照图。
在操作650中，例如根据操作640中的估计，图像校正设备基于被选为保留或设置为保留的光源来调整色度信息。当色度信息被调整时，可最终生成用于保留光源的一部分的信息的光照图。当色度信息不被调整时，可最终生成用于去除由所有光源引起的色偏的光照图。将参照图7进一步描述色度信息的这样的调整。
在操作660中，图像校正设备通过将生成的光照图应用于输入图像来生成图像。当色度信息被调整时，图像校正设备生成其中保留色偏的一部分的图像。因此，图像校正设备可针对每个光源的光照单独地执行白平衡。
图7示出通过光源的一部分保留光照分量的示例。
在一个示例中，图像校正设备可以是如图7中所示的电子设备700(例如，移动终端)，但是其示例不限于此。作为非限制性示例，具有电子设备700的示例是包括图像传感器、平板计算机、增强现实(AR)眼镜、车辆、电视(TV)等的各种装置中的任何一种。附加地或可选地，作为非限制性示例，图像校正设备可对应于图10的图像校正设备1000。
响应于用户输入709，电子设备700可例如向显示器或电子设备的其他组件或操作输出如上参照图1至图6所述生成的白平衡图像790。此外，电子设备700可提供用户界面，用户界面可提供(例如，显示)用于选择将要保留的光源的信息。例如，响应于用户界面中用于识别用户选择的用户输入，电子设备700可在排除与用户偏好对应的光照效果的白平衡的情况下执行白平衡(例如，电子设备700可选择性地仅将白平衡应用于剩余的光照效果)。附加地或可选地，用户可选择或识别用户想要进行白平衡的那些光照效果，并且电子设备700可确定不对用户未选择或未识别的剩余光照效果执行白平衡。
作为基于用户的偏好选择性地应用白平衡的示例，电子设备700可保留由用户输入选择的目标光源的色度信息，并且将剩余光源的色度信息改变为白色信息。例如，诸如上面参照图4描述的，电子设备700可基于保留的色度信息计算目标光源的部分光照图，基于白色信息计算剩余光照图，并且通过将部分光照图和剩余光照图相加在一起来生成重新照明图。电子设备700可通过将重新照明图应用于白平衡图像790来生成重新照明图像。在一个示例中，可诸如通过显示器输出生成的重新照明图像，和/或将生成的重新照明图像提供给电子设备700的其他组件或操作。
在图7的示例中，电子设备700可通过响应于用户输入701将通过用白色信息(例如，向量(1,1,1))替换第二光源的第二色度信息而生成的重新照明图应用于白平衡图像790，来获得第一重新照明图像710。电子设备700还可通过响应于用户输入702将通过用白色信息替换第一光源的第一色度信息而生成的重新照明图应用于白平衡图像790，来获得第二重新照明图像720。因此，电子设备700可基于用户的偏好选择性地执行白平衡。
在另一示例中，图像校正设备可响应于用户输入而改变每个光源的色度信息。图像校正设备可改变由光源的一部分引起的色偏的色度。电子设备700可改变目标光源的色度，从而将光源的一部分的光照效果的色度改变为用户期望的色度。因此，电子设备700可在确保场景的生动性的同时，选择性地将白平衡应用于多个光源的一部分，并且基于用户的选择以各种方式生成白平衡图像。
图8和图9示出收集用于训练神经网络的训练数据的示例。
在一个示例中，训练数据集可例如通过图像校正设备、训练设备和/或服务器来收集，以训练神经网络模型(例如，CNN、HDRnet、U-net等)，从而生成每个光源的光照图、或者色度信息和混合系数图。训练数据集可以是用于多光照白平衡的大规模多光照(LSMI)数据集。例如，训练数据集可包括具有像素级地面真值光照图的各种场景的图像。在一个示例中，训练数据集可包括各种场景的训练图像以及与每个训练图像对应的每个光源的地面真值色度信息和地面真值混合系数图。
作为示例，训练设备可通过改变混合系数图的混合系数值来增强输入训练数据。
在一个或多个非限制性示例中，训练设备可具有图10的图像校正设备1000的配置(例如，训练设备至少包括处理器1020和/或存储器1030，诸如，处理器1020中的一个或多个执行训练，并且存储器中的一个或多个存储训练中的神经网络和得到的训练后的神经网络、以及训练数据、在神经网络的训练期间生成的临时数据、以及当由一个或多个处理器1020执行时配置一个或多个处理器1020实现训练操作的指令)。例如，训练设备可被配置为在没有上述讨论的对输入图像进行白平衡的推断操作的情况下执行训练，或者可被配置为执行训练和随后的对输入图像的白平衡的推断操作。同样地，在此对图像校正设备的引用也是对由图像校正设备执行或实现的输入图像的白平衡的这种推断操作的引用，并且也可以是对神经网络的训练以及随后使用训练后的神经网络执行或实现输入图像的白平衡的这种推断操作的引用。
在一个示例中，可拍摄具有单个光照的场景的图像，并且可通过使用例如色卡(color checker)、灰卡(grey card)、立方蜘蛛(spider cube)等的白平衡方法来估计场景中存在的单个光照效果。虚拟光照图可被随机生成并被应用于在单个光照下获得的白平衡图像，并且可获得应用了混合光照的虚拟训练图像。
在图8的示例中，训练图像Iab 810可以是在图像被拍摄时光源a和光源b两者都开启的状态下拍摄的图像。在这个示例中，光源a可指示通过窗户进入的自然光，并且光源b可指示通过安装在室内的光源或照明发出的室内光。光源a可以是不可控的，但是光源b可以是可控的。因此，图像Ia 820可在光源b关闭的状态下被拍摄。为了场景多样性，训练图像Iab810可在现实世界中的各种位置(诸如，例如，办公室、工作室、起居室、卧室、餐厅、咖啡馆等)被拍摄。
例如，尽管未关闭光源a，但是如下面的等式8所表示的，可从训练图像Iab 810减去图像Ia 820，因此可获得光源b下的图像Ib 830。
等式8：
Ib＝r⊙(ηblb)
＝r⊙(ηala+ηblb)-r⊙(ηala)
＝Iab-Ia.
可使用设置在每个图像中的场景中的色板821和831(例如，Macbeth色板)、色卡、灰卡、立方蜘蛛等来单独地估计单个光源的地面真值色度。例如，可如下面的等式9所表示的估计地面真值混合系数图。
等式9：
Figure BDA0003228265500000201
与感测R颜色或B颜色的元件的数量相比，使用RGB颜色***的拜耳图案的相机传感器和/或图像传感器可在相同的面积大小中具有更多数量的感测G颜色的元件，因此绿色通道的强度值可近似于亮度。通过上面的等式9，可在每个像素级获得指示各个光源的混合色度的比率的地面真值混合系数图。例如，如图9中所示，可从图像Ia获得绿色通道图像Ia,G921，并且可从图像Ib获得绿色通道图像Ib,G 931。训练设备可将绿色通道图像Ia,G 921和Ib,G 931中的每个的绿色值归一化为1，以获得光源a的混合系数图922和光源b的混合系数图932。然后可通过将光源b的色度信息和混合系数图932的乘积与光源a的色度信息和混合系数图922的乘积相加来估计地面真值光照图970。如上参照图8和9描述的，可通过将随机光照信息应用于在现实世界中获得的训练数据集来增强在现实世界中获得的训练数据集。
作为非限制性示例，训练设备可通过使用如上所述获得的训练数据集来生成神经网络模型(例如，神经网络模型210和410)。例如，训练设备可通过使用虚拟训练图像以及用于增强训练图像的地面真值色度信息和地面真值混合系数图作为训练输出来训练临时神经网络模型或训练中神经网络模型，最终生成图4的神经网络模型410。在附加的或可选的示例中，训练设备可通过使用虚拟训练图像和对应的地面真值光照图作为训练输出来训练临时神经网络模型或训练中神经网络模型，最终生成图3的神经网络模型210。作为非限制性示例，训练设备可将训练图像输入到临时神经网络模型或训练中神经网络模型，计算临时神经网络模型或训练中神经网络模型的临时输出与训练输出(例如，地面真值光照图、地面真值色度信息和地面真值混合系数图)之间的损失，并且重复地更新临时神经网络模型或训练中神经网络模型的参数，直到计算的损失变得小于阈值损失为止。
作为非限制性示例，最终训练的神经网络模型可以是或包括HDRnet和U-net。例如，在图3和图4的神经网络模型210和410各自被实现为U-net的情况下，可实现提高的性能。
图10示出硬件实现的图像校正设备的示例。
参照图10，作为非限制性示例，图像校正设备1000包括图像获取器1010、处理器1020、存储器1030和显示器1040。
图像获取器1010可获得输入图像。图像获取器1010可包括被配置为拍摄输入图像的图像传感器、被配置为接收输入图像和/或仅从存储器1030读取输入图像的通信器中的至少一个。
处理器1020可使用存储在存储器1030中的神经网络模型从输入图像生成白平衡图像和/或重新照明图像。在一个示例中，处理器1020可通过使用神经网络模型从获得的输入图像生成包括指示色偏的光照值的光照图，多个光源的色度通过色偏单独地影响输入图像的每个像素。处理器1020可通过使用生成的光照图从输入图像去除色偏的至少一部分来生成图像，该图像可诸如通过显示器1040被输出和/或被提供给图像校正设备的其他组件或操作，注意，处理器1020的操作不限于前述内容。处理器1020可执行上面参照图1至图9描述的上述操作和/或方法中的任何一个、任何组合或全部。
存储器1030可存储一个或多个神经网络模型。存储器1030可临时或永久地存储执行在此描述的任何一个、任何组合或所有的图像校正操作和/或方法所需的数据。例如，存储器1030可存储输入图像、生成的图像和/或重新照明图像(例如，用于由显示器1040输出或显示和/或提供给其他组件或操作，以用于根据生成的图像和/或重新照明图像对图像校正设备1000进行对应的控制)。此外，在一个或多个示例中，在执行或不执行输入图像的图像校正的推断操作的情况下，存储器1030可临时或永久地存储用于执行在此描述的训练操作和/或方法的任何一个、任何组合或全部的数据和指令。在此描述的可存储在图像校正设备、训练设备或电子设备的存储器中的指令是存储在存储器或其他非暂时性介质中的计算机可读指令或计算机可实现的指令，指令在由处理器1020执行时例如配置处理器1020实现在此描述的操作和方法中的任何一个、任何组合或全部。
如上所述，显示器1040可显示生成的图像。显示器1040还可使输入图像和/或重新照明图像可视化。显示器还可向用户提供对哪些光源或所有光源进行白平衡校正的用户界面。
在一个示例中，图像校正设备1000可通过估计例如与输入图像相同尺寸的光照图，选择性地对图像中的所有光源的光照效果执行白平衡。例如，图像校正设备1000可估计每个光源的色度信息和混合系数图，并选择性地校正混合光照效果。图像校正设备1000还可执行像素级白平衡，因此在图像的一个像素中补偿和/或从图像的一个像素去除的色偏的色度和量可与在图像的另一像素中补偿和/或从图像的另一像素去除的色偏的色度和量不同。
图像校正设备1000可以是使用深度图像处理、人工智能(AI)计算或机器学***衡的拍摄图像进行这种对象识别相比，当白平衡图像用于对象识别时，可减少由于光照或照明引起的对象识别中的混淆，并且可相应地提高鲁棒性。
在此针对图1至图10描述的图像校正设备、训练设备、电子设备、处理器、NPU、硬件加速器、图像校正设备1000、图像获取器1010、处理器1020、存储器1030、显示器1040以及其他设备、装置、单元和组件由硬件组件实现。可用于执行在本申请中描述的操作的硬件组件的示例在适当的情况下包括：控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器、以及被配置为执行在本申请中描述的操作的任何其他电子组件。在其他示例中，通过计算硬件(例如，通过一个或多个处理器或计算机)来实现执行在本申请中描述的操作的硬件组件中的一个或多个硬件组件。处理器或计算机可由一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器、或者被配置为以限定的方式响应并执行指令以实现期望的结果的任何其他装置或装置的组合)来实现。在一个示例中，处理器或计算机包括或者连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可执行用于执行在本申请中描述的操作的指令或软件(诸如，操作***(OS)和在OS上运行的一个或多个软件应用)。硬件组件还可响应于指令或软件的执行来访问、操控、处理、创建和存储数据。为了简明，单数术语“处理器”或“计算机”可用于在本申请中描述的示例的描述中，但是在其他示例中，多个处理器或计算机可被使用，或者处理器或计算机可包括多个处理元件、或多种类型的处理元件、或两者。例如，单个硬件组件、或者两个或更多个硬件组件可由单个处理器、或者两个或更多个处理器、或者处理器和控制器来实现。一个或多个硬件组件可由一个或多个处理器、或者处理器和控制器来实现，并且一个或多个其他硬件组件可由一个或多个其他处理器、或者另外的处理器和另外的控制器来实现。一个或多个处理器、或者处理器和控制器可实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可具有不同的处理配置中的任何一个或多个，不同的处理配置的示例包括：单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理和多指令多数据(MIMD)多处理。
图1至图10中示出的执行本申请中描述的操作的方法由计算硬件(例如，由一个或多个处理器或计算机)来执行，计算硬件被实现为如上所述执行指令或软件以执行在本申请中描述的由所述方法执行的操作。例如，单个操作、或者两个或更多个操作可由单个处理器、或者两个或更多个处理器、或者处理器和控制器来执行。一个或多个操作可由一个或多个处理器、或者处理器和控制器来执行，并且一个或多个其他操作可由一个或多个其他处理器、或者另外的处理器和另外的控制器来执行。一个或多个处理器、或者处理器和控制器可执行单个操作、或者两个或更多个操作。
用于控制计算硬件(例如，作为非限制性示例，一个或多个处理器或计算机以及与之结合的一个或多个脉动阵列)以实现硬件组件并执行如上所述的方法的指令或软件可被编写为计算机程序、代码段、指令或它们的任何组合，以单独地或共同地指示或配置一个或多个处理器或计算机作为机器或专用计算机进行操作，以执行由如上所述的硬件组件和方法执行的操作。在一个示例中，指令或软件包括由一个或多个处理器或计算机直接执行的机器代码(诸如，由编译器产生的机器代码)。在另一示例中，指令或软件包括由一个或多个处理器或计算机使用解释器执行的高级代码。可基于附图中示出的框图和流程图以及在此使用的相应描述使用任何编程语言来编写指令或软件，附图中示出的框图和流程图以及在此使用的相应描述公开了用于执行由如上所述的硬件组件和方法执行的操作的算法。
用于控制计算硬件(例如，一个或多个处理器或计算机以及与之结合的一个或多个脉动阵列)以实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中，或者被记录、存储或固定在一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储装置、硬盘驱动器(HDD)、固态驱动器(SSD)、闪存、卡式存储器(诸如，多媒体卡微型或卡(例如，安全数字(SD)或极限数字(XD)))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，任何其他装置被配置为以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构并将指令或软件以及任何相关联的数据、数据文件和数据结构提供给一个或多个处理器或计算机，使得一个或多个处理器或计算机能够执行指令。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布联网的计算机***上，使得指令和软件以及任何相关联的数据、数据文件和数据结构以分布的方式被一个或多个处理器或计算机存储、访问和执行。
虽然本公开包括特定示例，但是在理解本申请的公开之后将清楚的是，在不脱离权利要求及其等同物的精神和范围的情况下，可在这些示例中进行形式和细节上的各种改变。在此描述的示例应仅被认为是描述性的，而不是出于限制的目的。每个示例中的特征或方面的描述应被认为可适用于其他示例中的类似特征或方面。如果描述的技术以不同的顺序执行，和/或如果描述的***、架构、装置或电路中的组件以不同的方式被组合、和/或由其他组件或其等同物替代或补充，则可实现合适的结果。

Claims (31)

1.一种处理器实现的用于图像校正的方法，所述方法包括：
使用神经网络模型从输入图像生成包括光照值的光照图，光照值取决于单独地影响输入图像的每个像素的一个或多个光源引起的相应色偏；以及
通过使用生成的光照图从输入图像去除色偏的至少一部分来生成白色调整的图像。
2.根据权利要求1所述的方法，其中，生成的光照图包括光照向量，在光照向量中，与光源中的一个光源的色度对应的部分光照向量和与光源中的另一光源的色度对应的另一部分光照向量针对输入图像的至少一个像素被混合。
3.根据权利要求1所述的方法，其中，光照图包括影响输入图像的第一像素的光源的色度的混合系数，所述混合系数与影响输入图像的第二像素的光源的色度的另一混合系数不同。
4.根据权利要求1所述的方法，其中，针对输入图像的第一像素，神经网络模型的结果包括所述一个或多个光源中的一个光源的第一色度信息和对应的第一混合系数，并且针对输入图像的第二像素，神经网络模型的结果还包括所述一个或多个光源中的所述一个光源的第二色度信息和对应的第二混合系数。
5.根据权利要求4所述的方法，其中，生成光照图的步骤包括：基于第一色度信息和第一混合系数生成光照图的与第一像素对应的第一光照值，并且基于第二色度信息和第二混合系数生成光照图的与第二像素对应的第二光照值。
6.根据权利要求1所述的方法，其中，生成白色调整的图像的步骤包括：
通过逐元素运算将光照图应用于输入图像来生成白色调整的图像。
7.根据权利要求6所述的方法，其中，通过逐元素运算将光照图应用于输入图像的步骤包括：将输入图像中的每个像素的相应像素值除以光照图的光照值之中的与每个像素对应的相应光照值。
8.根据权利要求1至权利要求7中的任意一项所述的方法，其中，白色调整的图像是白平衡图像。
9.根据权利要求1所述的方法，还包括：
通过针对每个光源分解光照图来确定与每个光源对应的色度信息；以及
通过对白色调整的图像进行调整来生成部分白平衡图像，部分白平衡图像具有与光源的一部分对应的保留的色度信息，并且与光源的剩余部分对应的色度信息是与光源的剩余部分对应的白色信息。
10.根据权利要求9所述的方法，还包括：控制显示器显示部分白平衡图像。
11.根据权利要求9所述的方法，
其中，所述确定还包括：通过针对每个光源分解光照图来确定与每个光源对应的混合系数，
其中，生成部分白平衡图像的步骤包括：
使用与光源的所述一部分对应的色度信息和与光源的所述一部分对应的相应混合系数图来生成与光源的所述一部分对应的部分光照图；
使用与光源的剩余部分对应的白色信息和与光源的剩余部分对应的相应混合系数图来生成与光源的剩余部分对应的剩余光照图；
通过将部分光照图和剩余光照图相加在一起来生成重新照明图；以及
将白色调整的图像的每个像素的像素值乘以重新照明图的重新照明值之中的与每个像素对应的重新照明值。
12.根据权利要求1所述的方法，
其中，生成光照图的步骤包括：
通过将神经网络模型应用于输入图像来提取每个光源的色度信息和每个光源的混合系数图；以及
基于提取的色度信息和提取的混合系数图来生成光照图。
13.根据权利要求12所述的方法，其中，生成光照图的步骤包括：
通过分别将每个光源的色度信息与每个光源的混合系数图相乘来计算每个光源的部分光照图；以及
通过将计算的部分光照图加在一起来生成光照图。
14.根据权利要求12所述的方法，还包括：通过对白色调整的图像进行调整来生成部分白平衡图像，
其中，生成部分白平衡图像的步骤包括：
确定提取的色度信息之中的与光源中的目标光源对应的色度信息；
通过将确定的色度信息与提取的混合系数图之中的与目标光源对应的相应混合系数图相乘来计算目标光源的部分光照图；
将提取的色度信息中的与光源的剩余部分对应的色度信息改变为白色信息；
使用与光源的剩余部分对应的白色信息和与光源的剩余部分对应的相应混合系数图来生成与光源的剩余部分对应的剩余光照图；
通过将目标光源的部分光照图与光源的剩余部分的剩余光照图相加来生成重新照明图；以及
通过将重新照明图应用于白色调整的图像来生成部分白平衡图像，其中，生成的部分白平衡图像保留与目标光源对应的色偏的至少一部分。
15.根据权利要求14所述的方法，其中，确定与目标光源对应的色度信息的步骤包括：
将与目标光源对应的色度信息改变为目标色度信息。
16.根据权利要求1所述的方法，还包括：
确定每个光源的混合系数图，使得针对一个像素关于光源计算的混合系数之和是参考值；
基于每个光源的色度信息和每个光源的混合系数图，分别计算与每个光源对应的部分光照图；以及
将计算的部分光照图应用于输入图像和白色调整的图像中的一个。
17.根据权利要求16所述的方法，其中，确定混合系数图的步骤包括：
识别影响输入图像中的像素的光源色度的总数；以及
生成与识别的光源色度的总数对应的相应混合系数图。
18.根据权利要求17所述的方法，其中，识别光源色度的总数的步骤包括：
将光源色度的总数设置为三。
19.根据权利要求17所述的方法，其中，生成相应混合系数图的步骤包括：
响应于光源色度的总数被识别为二，发起相应混合系数图的生成。
20.根据权利要求16所述的方法，其中，确定混合系数图的步骤包括：
当光源的总数是两个光源时，估计所述两个光源中的一个光源的混合系数图；以及
通过针对每个像素从参考值减去估计的混合系数图中的每个混合系数来计算所述两个光源中的剩余其他光源的剩余混合系数图。
21.一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时使处理器执行根据权利要求1至权利要求20中的任意一项所述的图像校正方法。
22.一种用于图像校正的设备，包括：
处理器；以及
存储器，存储一个或多个机器学习模型和指令，所述指令在由处理器执行时将处理器配置为：
使用所述一个或多个机器学习模型中的一个生成包括光照值的光照图，光照值取决于单独地影响输入图像的像素的光源引起的相应色偏；以及
通过使用生成的光照图从输入图像调整色偏的至少一部分来生成白色调整的图像。
23.根据权利要求22所述的设备，其中，处理器还被配置为通过对白色调整的图像进行调整来生成部分白平衡图像，与光照图中的对应色度信息相比，部分白平衡图像具有与光源的一部分对应的保留的色度信息以及与光源的剩余部分对应的不同的色度信息。
24.根据权利要求23所述的设备，其中，不同的色度信息是白色信息。
25.根据权利要求22所述的设备，其中，处理器还被配置为：
针对每个光源分解光照图，以获得光源的色度信息；以及
通过对白色调整的图像进行调整来生成部分白平衡图像，与获得的色度信息相比，部分白平衡图像具有与光源的一部分对应的保留的色度信息以及与光源的剩余部分对应的不同的色度信息。
26.根据权利要求25所述的设备，其中，不同的色度信息是白色信息。
27.根据权利要求22至权利要求26中的任一项所述的设备，还包括：图像传感器，被配置为拍摄输入图像。
28.根据权利要求27所述的设备，其中，所述指令还包括：在由处理器执行时将处理器配置为根据白色调整的图像来控制所述设备的操作的指令。
29.根据权利要求22至权利要求26中的任一项所述的设备，
其中，所述指令还包括：在由处理器执行时将处理器配置为识别影响输入图像中的像素的光源的总数的指令，并且
其中，使用所述一个或多个机器学习模型中的所述一个的步骤包括：基于识别的总数个光源而从存储在存储器中的所述一个或多个机器学习模型之中选择所述一个机器学习模型，其中，所述一个机器学习模型针对识别的总数个光源而被训练。
30.一种用于图像校正的设备，包括：
图像传感器，被配置为获得输入图像；以及
处理器，被配置为：使用神经网络模型从输入图像生成包括光照值的光照图，光照值取决于单独地影响输入图像的每个像素的一个或多个光源引起的相应色偏；以及通过使用生成的光照图从输入图像去除色偏的至少一部分来生成白平衡图像。
31.根据权利要求30所述的设备，还包括显示器，
其中，处理器还被配置为使显示器显示白平衡图像。
CN202110978977.0A 2021-03-11 2021-08-25 用于图像校正的方法和设备 Pending CN115082328A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0032119 2021-03-11
KR20210032119 2021-03-11
KR1020210052984A KR102619830B1 (ko) 2021-03-11 2021-04-23 이미지 보정 방법 및 장치
KR10-2021-0052984 2021-04-23

Publications (1)

Publication Number Publication Date
CN115082328A true CN115082328A (zh) 2022-09-20

Family

ID=78957151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110978977.0A Pending CN115082328A (zh) 2021-03-11 2021-08-25 用于图像校正的方法和设备

Country Status (3)

Country Link
US (1) US20220292635A1 (zh)
EP (1) EP4057609A1 (zh)
CN (1) CN115082328A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230123646A1 (en) * 2021-10-20 2023-04-20 7 Sensing Software Image processing method and system for correcting colors of an input image representing a scene illuminated by multiple illuminants
US11902671B2 (en) * 2021-12-09 2024-02-13 Fotonation Limited Vehicle occupant monitoring system including an image acquisition device with a rolling shutter image sensor
US20230186446A1 (en) * 2021-12-15 2023-06-15 7 Sensing Software Image processing methods and systems for low-light image enhancement using machine learning models
CN116744125B (zh) * 2023-08-14 2023-10-24 北京邮电大学 图像颜色数据处理方法、装置、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4704605A (en) * 1984-12-17 1987-11-03 Edelson Steven D Method and apparatus for providing anti-aliased edges in pixel-mapped computer graphics
US8064110B2 (en) * 2005-12-08 2011-11-22 Qualcomm Incorporated Adaptive auto white balance
US8599280B2 (en) * 2009-11-23 2013-12-03 Samsung Electronics Co., Ltd. Multiple illuminations automatic white balance digital cameras
WO2017066825A1 (en) * 2015-10-19 2017-04-27 National Ict Australia Limited Spectral reconstruction
US10542243B2 (en) * 2018-04-10 2020-01-21 Intel Corporation Method and system of light source estimation for image processing
GB201908521D0 (en) * 2019-06-13 2019-07-31 Spectral Edge Ltd Image white balance processing system and method

Also Published As

Publication number Publication date
EP4057609A1 (en) 2022-09-14
US20220292635A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
US11323676B2 (en) Image white balance processing system and method
EP3542347B1 (en) Fast fourier color constancy
CN115082328A (zh) 用于图像校正的方法和设备
Gijsenij et al. Computational color constancy: Survey and experiments
CN106548455B (zh) 用于调整图像的亮度的设备和方法
Faridul et al. A Survey of Color Mapping and its Applications.
KR101954851B1 (ko) 메타데이터 기반 영상 처리 방법 및 장치
CN109934776B (zh) 模型生成方法、视频增强方法、装置及计算机可读存储介质
Hwang et al. Context-based automatic local image enhancement
WO2013101639A1 (en) Spectral synthesis for image capture device processing
Hristova et al. Style-aware robust color transfer.
CN110728722B (zh) 图像颜色迁移方法、装置、计算机设备和存储介质
JP7463186B2 (ja) 情報処理装置、情報処理方法及びプログラム
Kim et al. Large scale multi-illuminant (lsmi) dataset for developing white balance algorithm under mixed illumination
Qian et al. A benchmark for burst color constancy
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
KR102619830B1 (ko) 이미지 보정 방법 및 장치
WO2022067761A1 (zh) 图像处理方法、装置、拍摄设备、可移动平台及计算机可读存储介质
CN116957948A (zh) 图像处理方法、电子产品和存储介质
KR20140138046A (ko) 픽처를 처리하기 위한 방법 및 디바이스
Kawakami et al. Color estimation from a single surface color
Ulucan et al. Multi-scale color constancy based on salient varying local spatial statistics
Lindsay et al. Automatic multi-light white balance using illumination gradients and color space projection
Qian et al. A benchmark for temporal color constancy
Zini et al. Shallow Camera Pipeline for Night Photography Enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination