CN114930811A - 用于深白平衡编辑的方法和装置 - Google Patents

用于深白平衡编辑的方法和装置 Download PDF

Info

Publication number
CN114930811A
CN114930811A CN202080091131.9A CN202080091131A CN114930811A CN 114930811 A CN114930811 A CN 114930811A CN 202080091131 A CN202080091131 A CN 202080091131A CN 114930811 A CN114930811 A CN 114930811A
Authority
CN
China
Prior art keywords
image
mobile device
white balance
processor
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080091131.9A
Other languages
English (en)
Inventor
M.N.M.阿菲菲
M.S.布朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN114930811A publication Critical patent/CN114930811A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H04B17/318—Received signal strength
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Quality & Reliability (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Heating, Cooling, Or Curing Plastics Or The Like In General (AREA)
  • Control Of El Displays (AREA)

Abstract

一种用于深白平衡编辑的装置包括存储指令的存储器和至少一个处理器，所述处理器被配置为执行指令以获得具有通过图像信号处理更正的原始白平衡的输入图像，并通过使用第一神经网络获得所获得的输入图像的中间表示。该中间表示可以具有未经图像信号处理更正的原始白平衡。所述至少一个处理器还被配置为执行指令，以基于所获得的中间表示，通过使用第二神经网络获得具有不同于原始白平衡的第一白平衡的第一输出图像。

Description

用于深白平衡编辑的方法和装置
技术领域
根据本发明实施例的方法和装置涉及深白平衡编辑。
背景技术
白平衡(“WB”)是指应用于所有相机图像的低级计算机视觉任务。执行WB以表示具有相同颜色的场景对象，即使在不同照明条件下拍摄场景对象也是如此。从概念上讲，执行WB是为了规范化要添加到场景的捕获图像的照明效果，以便看起来所有对象的图像都是在理想的“白光”下捕获的。WB是一种初始颜色处理操作，由相机的机载集成信号处理器(“ISP”)对来自传感器的未经处理的原始RGB图像进行处理。执行WB之后，ISP应用其他颜色渲染操作，以通过最终标准RGB(sRGB)编码额外处理原始RGB图像。
WB旨在规范化要添加到场景中的照明效果，但在某些情况下，ISP会基于摄影偏好将美学考虑纳入颜色渲染中。摄影偏好并不总是基于白光假设，并且可能会因文化偏好和场景内容等各种因素而有所不同。
大多数数码相机都提供了一个选项，用于在获得图像(或拍摄)期间控制WB设置。然而，一旦选择了WB设置，并且ISP通过最终sRGB完全处理图像，则在没有访问未处理的初始原始RGB图像的情况下，很难执行WB编辑。当WB设置不正确时，此问题会恶化，从而导致最终sRGB图像中出现强烈的颜色投射。
在sRGB图像中编辑WB的功能不仅在摄影任务中有用，而且在计算机视觉应用中也很有用，诸如对象识别、场景理解和颜色增强。
最近的研究表明，使用错误的WB设置捕获的图像产生的效果类似于对深度神经网络(“DNN”)模型的非目标对抗性攻击。
要理解sRGB图像WB编辑的困难，请查看通过相机执行WB的方法。WB包括由ISP串联执行的两个操作：(1)以原始RGB向量的形式估计相机传感器对场景照明的响应；以及(2)按照原始RGB向量的对应通道响应将原始RGB图像的颜色的R、G和B颜色通道进行划分。
估计照明向量的第一操作包括相机的自动白平衡(“AWB”)过程。除了AWB之外，用户还可以从WB预设中手动选择一个WB预设，当使用大多数相机时，每个相机的原始RGB矢量由相机制造商确定。预设对应于常规场景照明(例如，日光、阴影和白炽灯)。
当定义场景照明的原始RGB向量时，线性缩放单独且独立地应用于每个颜色通道，以便规范化照明。这种缩放工作使用3x3对角矩阵执行。实际上，白平衡(或白平衡的)原始RGB图像由每个非线性相机的大量ISP操作额外处理，以在输出参考颜色空间(即sRGB颜色空间)中渲染最终图像。这种非线性工作使得很难使用传统的对角线更正来更正由于相机WB错误而使用强颜色投射渲染的图像。
为了执行正确的捕获后WB编辑，应适当反转渲染的sRGB值，以获得相应的未处理原始RGB值，然后再次渲染(或重新渲染)。这可以通过计算颜色去渲染元数据的精确辐射定标方法来实现。最近的一项研究提出了一种直接更正使用错误WB设置捕获的sRGB图像的方法。这项研究引入了基于示例的框架，该框架使用了大规模数据集，该大规模数据集包括由于WB设置不正确而由软件相机管道渲染的多于60000个sRGB图像。每个sRGB图像都包含使用正确的WB设置渲染的相应sRGB图像。当输入图像给定时，通过使用k-最近邻(“KNN”)策略搜索数据集以检测相似图像，并计算对应的正确WB图像的映射函数。这项研究表明，上述从示例计算的颜色映射在更正输入图像方面是有效的。随后，在本研究中，扩展了KNN思想，将正确的WB图像映射到错误的视图，以增强图像，从而训练深层神经网络。
发明内容
技术问题
根据本发明实施例的方法和装置涉及深白平衡编辑。
问题的解决方案
本发明的实施例提供了一种用于深白平衡编辑的方法和装置。
本发明的一个方面提供了一种用于深白平衡编辑的装置，该装置包括存储指令的存储器和至少一个处理器，该处理器被配置为执行指令以获得具有通过图像信号处理更正的原始白平衡的输入图像，并通过使用第一神经网络获得具有未通过图像信号处理更正的原始白平衡的所获得的输入图像的中间表示。至少一个处理器还被配置为执行指令，以基于所获得的中间表示，通过使用第二神经网络获得具有不同于原始白平衡的第一白平衡的第一输出图像。
本发明的一个方面提供了一种由至少一个处理器执行的深白平衡编辑方法，该方法包括获得具有通过图像信号处理更正的原始白平衡的输入图像，以及通过使用第一神经网络获得未通过图像信号处理更正的输入图像的中间表示。该方法还可以包括基于所获得的中间表示，通过使用第二神经网络获得具有不同于原始WB的第一WB的第一输出图像。
根据本发明的一个方面，提供了一种存储指令的计算机可读记录介质，当由用于深白平衡编辑的至少一个处理器执行时，执行以下操作。所述指令可由至少一个处理器执行，以通过图像信号处理获得具有原始白平衡的输入图像，并获得具有未通过图像信号处理更正的原始白平衡的所获得的输入图像的中间表示。至少一个处理器还可以执行所述指令，以基于所获得的中间表示，通过使用第二神经网络获得具有不同于原始白平衡的第一白平衡的第一输出图像。
尽管上述方法、装置和计算机可读记录介质已经单独描述，但描述并不旨在限制其使用范围或功能。在实践中，该方法、装置和计算机可读记录介质可以与本发明的其他方面相结合。
附图说明
通过以下结合附图的描述，本发明实施例的上述方面、其他方面和特征将变得更加明显。
图1是根据本发明实施例的深白平衡编辑装置的框图。
图2是图1的用于深白平衡编辑的装置的编码器的框图。
图3是图1的用于深白平衡编辑的装置的第一白平衡(WB)解码器的框图。
图4是图1的用于深白平衡编辑的装置的第二WB解码器的框图。
图5是根据本发明实施例的深白平衡编辑方法的流程图。
图6是根据本发明实施例的用于深白平衡编辑的训练方法的流程图。
图7是根据本发明实施例的深白平衡编辑方法中的颜色映射过程的图。
图8是根据本发明其他实施例的深白平衡编辑方法的流程图。
图9是根据本发明实施例的用于深白平衡编辑的用户界面的图。
图10是根据本发明实施例的计算机***的框图。
图11是根据本发明实施例的移动设备的框图。
图12是用于描述基于移动设备获得的各种类型的信息来识别移动设备是位于室内还是室外，以及基于识别的结果来执行WB控制的图。
具体实施方式
本发明的实施例提供了一种用于深白平衡编辑的方法和装置。
具体而言，本文将介绍一种用于真实编辑sRGB图像的白平衡(WB)的深度学习方法。由集成信号处理器(ISP)通过sRGB颜色空间编码渲染的传感器图像由摄像头捕获。ISP执行的渲染从WB过程开始，该过程用于移除场景照明中的颜色投射。此后，ISP应用一系列非线性颜色操作来改善最终sRGB图像的视觉质量。最近的一项研究表明，使用错误的WB渲染的sRGB图像无法通过ISP的非线性渲染轻松更正。本研究提出了一种基于数万对图像的k-最近邻(KNN)解。然而，ISP可能在处理的初始阶段错误地更正图像的WB，并且该错误可能在整个处理中传播，甚至在KNN解决方案中。
在本发明的上述实施例中，可以使用通过端到端方法训练的DNN架构来修复该问题，以学习准确的WB。DNN架构将输入图像映射到与室内照明和室外照明相对应的两个WB设置。就更正错误的WB设置而言，本发明的上述实施例比KNN方法更精确，并向用户提供编辑sRGB图像的WB到其他照明设置的自由。
本发明的上述实施例提供了允许对sRGB图像进行真实的捕获后WB编辑的深度学习框架。该框架包括结合三个解码器网络的单个编码器网络，针对以下WB设置：(1)“正确”的AWB设置；(2)室内WB设置；(3)室外WB设置。第一解码器可以编辑WB控制不正确的sRGB图像以具有正确的WB。该框架对于捕获后WB更正非常有用。额外的室内和室外解码器为用户提供了混合解码器两个输出的功能，以创建广泛的WB外观。此功能支持照片编辑工作，用于控制图像的审美WB属性。该框架易于针对除训练数据以外的图像进行概括，并允许获得关于上述工作的最新结果。
本发明允许各种修改和多个示例，因此将在附图中说明并在此详细描述本发明的上述实施例。然而，应当理解，这并不是为了将本发明局限于实践模式，所有背离本发明精神和技术范围的修改、等效物和替代物都包含在本发明中。
当确定由于对相关技术的详细描述，本发明的实质将变得模糊时，将在此省略对上述本发明实施例的详细描述。此处使用的数字(例如，第一、第二等)是用于区分一个元素与另一个元素的识别码。
本领域普通技术人员将理解，除非另有说明，否则当元件被称为彼此“连接”或“耦合”时，元件直接连接或耦合到彼此，或彼此之间通过另一个元件连接到彼此。
本文描述的每个元件可以另外执行其他元件的部分或全部功能以及其功能，或者每个元件的主要功能可以完全由另一个元件执行。
在本说明书中，术语“图像”可以理解为指静态图像、包括一系列静态图像(或帧)的运动图像或视频。图像可以是二维(2D)或三维(3D)图像。
在本说明书中，术语“神经网络”是指人工智能(AI)模型的代表性示例，但上述实施例不限于使用算法的AI模型。
在本说明书中，术语“参数”或“神经网络参数”可以理解为指在神经网络的每一层的操作期间使用的值，并且可以包括例如在将输入值应用于操作表达式时使用的权重。这里，参数可以用矩阵形式表示。该参数作为训练结果设置值，需要时可通过训练数据进行更新。
在整个公开中，“a、b或c中的至少一个”表示仅a、仅b、仅c、a和b两者都、a和c两者都、b和c两者都、全部a、b和c，或其变体。
图1是根据本发明实施例的用于深白平衡编辑的装置100的框图。
参考图1，装置100包括编码器105、第一WB解码器110和第二WB解码器115。
装置100可以实现为电子设备(例如，移动设备)和/或服务器。
编码器105被配置为获得(或接收)具有由相机的ISP通过图像信号处理更正的原始WB的输入图像(例如，sRGB图像)。编码器105还被配置为获得并发送所获得的输入图像的中间表示，并且该中间表示具有未通过图像信号处理更正的原始WB。编码器105包括例如将参考下面的图2描述的神经网络，诸如卷积网络(CNN)或深度神经网络(DNN)。
第一WB解码器110被配置为基于所获得的中间表示来获得和发送具有不同于原始WB的第一WB的第一输出图像。如下面参考图3所述，第一WB解码器110可以包括例如诸如CNN或DNN的神经网络。例如，第一WB可以是自动白平衡(AWB)。
第一WB解码器110被配置为基于所获得的中间表示来获得和发送具有不同于原始WB和第一WB的第二WB的第二输出图像。第二WB解码器115可以包括例如诸如CNN或DNN的神经网络，如下面参考图4所述。例如，第二WB可以是与2850K(K)相关的阴影WB或与7500K色温相关的白炽WB。
具体而言，当考虑由未知相机的ISP以WB设置WB(in)渲染的输入sRGB图像IWB(in)时，编辑输入sRGB图像IWB(in)的颜色，以便输入sRGB图像IWB(in)可能看起来是以目标WB设置WB(t)重新渲染的。
当未经处理的初始原始RGB图像可用时，可以准确地执行上述工作。当重建未经处理的初始原始RGB值时，WB设置WB(in)可能会更改为目标WB设置WB(t)，然后，基于软件的ISP可能会重新渲染sRGB图像，以恢复到原始sRGB颜色空间。该过程可由以下等式描述：
[等式1]
Figure BDA0003719980390000061
F：IWB(in)->DWB(in)表示未知的重建函数，用于将相机渲染的sRGB图像恢复到应用WB设置WB(in)的相应原始RGB图像D。
G：DWB(in)->IWB(t)表示未知的相机渲染功能，用于编辑WB设置WB(in)并重新渲染最终sRGB图像IWB(t)。符号“·”表示函数的组合。
该过程旨在对G·F函数进行建模，以生成最终的sRGB图像IWB(t)。首先，分析了函数G和F如何相互协作生成最终的sRGB图像IWB(t)。从上面的等式1中，函数G接收中间表示，通过sRGB颜色空间编码渲染中间表示以具有目标WB设置WB(t)，并且函数F将输入sRGB图像IWB(in)转换为中间表示(即，具有捕获的WB设置的原始RGB图像D)。
由于应用于ISP的渲染链的非线性，因此函数G可被视为包括一组子函数的混合函数，并且每个子函数使用特定WB设置渲染中间表示。
该过程旨在使用目标WB设置WB(t)生成最终sRGB图像IWB(t)，而不是重建/重新渲染原始RGB值。因此，G·F的函数可以用编码器/解码器方案来建模。解码器g1和g2……(即，第一和第二WB解码器110和115)生成具有不同WB设置的最终SRGB图像，而编码器f(即，图1的编码器105)将输入sRGB图像IWB(in)作为潜在表示发送。与等式(1)类似，框架可表述如下：
[等式2]
Figure BDA0003719980390000071
Figure BDA0003719980390000072
并且Z可表示输入原始sRGB图像IWB(in)的中间表示(即，潜在表示)。
与上述等式1的情况一样，该过程旨在将函数gt更改为针对另一WB设置WBy的新函数gy，以便函数f和gt可以彼此独立，而无需更改函数f。
在本发明的实施例中，针对以下三种不同的WB设置：
(i)WB(A)：AWB捕获图像的场景的适当照明；
(ii)WB(t)：室内照明的钨/白炽WB；以及
(iii)WB(S)：室外照明的阴影WB。
因此，生成了三种不同类型的解码器gA、gT和gS，用于生成与AWB、白炽WB和阴影WB相对应的输出图像。
白炽WB和阴影WB是根据颜色属性选择的。这可以在根据相关色温考虑照明时理解。例如，白炽和阴影WB设置分别与色温2850K和7500K相关。广泛的照明色温被认为是令人愉悦的照明范围。此外，白炽WB和阴影WB之间的较宽色温范围允许通过插值在该范围内的色温内获得图像的近似值。下面将在图9中描述这种插值处理的细节。在AWB模式中，相关色温根据输入图像的照明条件而变化，因此不是固定的。
返回参考图1，示出了DNN架构的概述。U-Net架构可以与编码器105与第一和第二WB解码器110和115之间的多尺度跳过连接120一起使用。框架包括两个主要单元。第一主单元是编码器105，其是用于提取输入图像的多尺度潜在表示(中间表示)的4级编码器单元。第二主单元包括至少两个4级解码器(例如，第一和第二WB解码器110和115)。主单元具有不同的瓶颈和不同的上采样组件。每个卷积层在编码器105的第一级以及第一和第二WB解码器110和115中的每一个的最后一层具有24个通道。每个卷积层的通道数是每个后续或之前级别的通道数的两倍。(例如，编码器105的第三级对于每个卷积层具有192个通道)
图2是图1的用于深白平衡编辑的装置100的编码器105的框图。
参考图2，编码器105可以包括第一级205、第二级210和第三级215。输入图像可以通过第一级205、第二级210和第三级215的每一层传输，以获得从第一WB解码器110和/或第二WB解码器115输出的中间表示。
第一级205可以包括3x3卷积层205a和205b(具有步幅1和填充1)，以及更正线性单元(ReLU)层205c和205d。ReLU层205c可位于卷积层205a和205b之间，卷积层205b可位于ReLU层205c和205d之间。例如，卷积层205a和205b以及ReLU层205c和205d的大小可以分别为128x128x24。
第二层210可以包括2x2最大池化层210a和210b(具有步幅1)、3x3卷积层210c和210d(具有步幅1和填充1)以及ReLU层210e和210f。ReLU层210e可以位于卷积层210c和210d之间，卷积层210d可以位于ReLU层210e和210f之间，卷积层210c和210d以及ReLU层210e和210f可以位于最大池化层210a和210b之间。例如，卷积层210c和210d以及ReLU层210e和210f各自的大小可以是64x64x48，最大池化层210a的大小可以是64x64x24，最大池化层210b的大小可以是32x32x48。
第三层215可以包括3x3卷积层215a和215b(具有步幅1和填充1)，ReLU层215c和215d，以及2x2最大池化层215e(具有步幅2)。ReLU层215c可位于卷积层215a和215b之间，卷积层215b可位于ReLU层215c和215d之间，最大池化层215e可位于卷积层215a和215b以及ReLU层215c和215d之后。例如，卷积层215a和215b以及ReLU层215c和215d各自的大小可以为16x16x192，最大池化层215e的大小可以为8x8x192。
图3是图1的用于深白平衡编辑的装置100的第一WB解码器110的框图。
参考图3，第一Wb解码器110包括第一级305、第二级310、第三级315和第四级320。可以通过第一级305、第二级310、第三级315和第四级320的每一层传输中间表示，以获得第一输出图像。
第一层305可以包括ReLU层305a和305b，以及3x3卷积层305c和305d(具有步幅1和填充1)。卷积层305c可以位于ReLU层305a和305b之间，ReLU层305b可以位于卷积层305c和305d之间。例如，ReLU层305a和305b以及卷积层305c和305d的大小可以分别为8x8x384。
第二级310可以包括2x2上采样层310a、3x3卷积层310b、310c和310d(具有步幅1和填充1)、深度串联层310e以及ReLU层310f和310g。第二级310的层可以是在从输入到输出的方向上排列的上采样层310a、卷积层310b、深度级联层310e、ReLU层310f、卷积层310c、ReLU层310g和卷积层310d。例如，上采样层310a、卷积层310b、310c和310d以及ReLU层310f和310g的大小可以分别为16x16x192，深度串联层310e的大小为16x16x384。
第三级315可以包括2x2上采样层315a、3x3卷积层315b、315c和315d(具有步幅1和填充1)、深度串联层315e以及ReLU层315f和315g。第三级315的层可以是在从输入到输出的方向上排列的上采样层315a、卷积层315b、深度级联层315e、ReLU层315f、卷积层315c、ReLU层315g和卷积层315d。例如，上采样层315a、卷积层315b、315c和315d以及ReLU层315f和315g的大小可以分别为64x64x48，深度串联层315e的大小为64x64x46。
第四级320可以包括2x2上采样层320a、3x3卷积层320b、320c和320d(具有步幅1和填充1)、深度级联层320e、ReLU层320f和320g以及1x1卷积层320h(具有步幅1和填充1)。第四级320的层可以是在从输入到输出的方向上排列的上采样层320a、卷积层320b、深度级联层320e、ReLU层320f、卷积层320c、ReLU层320g、卷积层320d和卷积层320h。例如，上采样层320a、卷积层320b、320c和320d以及ReLU层320f和320g的大小可以分别为128x128x24，深度串联层320e的大小可以为128x128x48，卷积层320h的大小可以为128x128x3。
图4是图1的用于深白平衡编辑的装置100的第二WB解码器115的框图。
参考图4，第二WB解码器115包括第一级405、第二级410、第三级415和第四级420。可以通过第一级405、第二级410、第三级415和第四级420的每一层来传输中间表示，以获得第二输出图像。
第一级405可以包括ReLU层405a和405b以及3x3卷积层405c和405d(具有步幅1和填充1)。卷积层405c可位于ReLU层405a和405b之间，且ReLU层405b可位于卷积层405c和405d之间。例如，ReLU层405a和405b以及卷积层405c和405d的大小可以分别为8x8x384。
第二级410可以包括2x2上采样层410a、3x3卷积层410b、410c和410d(具有步幅1和填充1)、深度串联层410e以及ReLU层410f和410g。第二级410的层可以是在从输入到输出的方向上排列的上采样层410a、卷积层410b、深度级联层410e、ReLU层410f、卷积层410c、ReLU层410g和卷积层410d。例如，上采样层410a、卷积层410b、410c和410d以及ReLU层410f和410g各自的大小可以为16x16x192，深度串联层410e的大小可以为16x16x384。
第三级415可以包括2x2上采样层415a、3x3卷积层415b、415c和415d(具有步幅1和填充1)、深度串联层415e以及ReLU层415f和415g。第三级415的层可以是沿从输入到输出的方向排列的上采样层415a、卷积层415b、深度串联层415e、ReLU层415f、卷积层415c、ReLU层415g和卷积层415d。例如，上采样层415a、卷积层415b、415c和415d以及ReLU层415f和415g的大小可以分别为64x64x48，并且深度串联层415e的大小可以为64x64x66。
第四级420可以包括2x2上采样层420a、3x3卷积层420b、420c和420d(具有步幅1和填充1)、深度串联层420e、ReLU层420f和420g以及1x1卷积层420h(具有步幅1和填充1)。第四级420的层可以是在从输入到输出的方向上排列的上采样层420a、卷积层420b、深度级联层420e、ReLU层420f、卷积层420c、ReLU层420g、卷积层420d和卷积层420h。例如，上采样层420a、卷积层420b、420c和420d以及ReLU层420f和420g的大小可以分别为128x128x24，深度串联层420e的大小可以为128x128x48，卷积层420h的大小可以为128x128x3。
参考图2到4，跳过连接120a可以将编码器105的第一级205连接到第一WB解码器110的第四级320和/或第二WB解码器115的第四级420。跳过连接120b可以将编码器105的第二级210连接到第一WB解码器110的第三级315和/或第二WB解码器115的第三级415。跳过连接120c可以将编码器105的第三级215连接到第一WB解码器110的第二级310和/或第二WB解码器115的第二级410。
图5是根据本发明实施例的深白平衡编辑方法500的流程图。
方法500可以由至少一个处理器使用图1的用于深白平衡编辑的装置100来执行。
参考图5，在操作505中，方法500包括获得具有通过图像信号处理更正的原始WB的输入图像。
在操作510中，方法500包括通过使用第一神经网络获得所获得的输入图像的中间表示，其中该中间表示具有未通过图像信号处理更正的原始WB。
在操作515中，方法500包括基于所获得的中间表示，通过使用第二神经网络获得具有不同于原始WB的第一WB的第一输出图像。
在操作520中，方法500包括基于所获得的中间表示，通过使用第三神经网络获得具有不同于原始WB和第一WB的第二WB的第二输出图像。
方法500还可以包括显示用于选择多个WB中的一个的滑块，以及基于用于选择多个WB中的一个的用户输入，通过使用显示的滑块和获得的第一输出图像、获得的第二输出图像、获得的第一输出图像和第二输出图像的混合图像，显示具有从多个WB中选择的WB的合成图像，或其组合。
该至少一个处理器、第一神经网络和第二神经网络可以在服务器中实现，并且方法500还可以包括从电子设备的ISP接收更正了原始WB的输入图像，并由ISP通过图像信号处理来发送所获得的第一输出图像。
图6是根据本发明实施例的用于深白平衡编辑的训练(或学习)方法600的流程图。
方法600可以由训练图1的用于深白平衡编辑的装置100至少一个处理器来执行。
参考图6，在操作605中，方法600包括获得渲染的WB数据集。渲染的WB数据集用于训练和验证装置100以进行深白平衡编辑。此数据集可以包括使用各种类型的相机模型和各种WB设置(包括阴影设置和白炽设置)渲染的约65000个sRGB图像。对于每个图像，都有一个使用正确的WB设置渲染的相应地面真实图像(即，视为正确的AWB结果)。该数据集包括两个子集，即训练集(集1)和测试集(集2)。使用集合1进行三折叠交叉验证，以训练和验证装置100。特别地，从两个折叠中随机选择12000个训练图像，从剩余折叠中随机选择2000个验证图像。对于每个训练图像，三个地面真实图像与(i)正确WB(由AWB表示)，(ii)阴影WB和(iii)白炽WB一起渲染。在改变训练和验证折叠的同时，对三个示例进行了训练。
在操作610中，方法600包括增强所获得的渲染的WB数据集。具体而言，渲染的WB数据集中包括的同一场景的额外1029个原始RGB图像被渲染，但使用特定的色温增强了训练图像。在每个历元(epoch)中，从每个训练图像和每个解码器的相应地面真实图像中随机选择四个128x128贴片(patch)。几何增强(旋转和翻转)可作为对选定贴片的附加数据增强，以避免过度拟合。
在操作615中，方法600可以包括通过使用装置100来处理增强的渲染的WB数据集，以获得对应于正确WB、阴影WB和白炽WB的重建图像(贴片)。
在操作620中，方法600包括获得与正确WB、阴影WB和白炽WB相对应的重建图像与地面真实图像(贴片)之间的损失。例如，训练装置100以最小化重建贴片和地面真实贴片之间的平方L2范数损失函数。
[等式3]
Figure BDA0003719980390000121
h和w分别表示贴片的宽度和高度，p表示每个训练贴片P和地面真实相机渲染贴片C的每个像素的索引。i∈{A，T，S}表示三个目标WB设置。替代地，可以使用L1范数损失函数来训练装置100。
在操作625中，方法600包括更新装置100(例如，编码器105、第一WB解码器110和第二WB解码器115)中的神经网络的参数以最小化获得的损失。例如，在初始化装置100的卷积层的权重之后，可以使用具有梯度移动平均衰减率β1＝0.9和平方梯度移动平均衰减率β2＝0.999的自适应矩估计优化器重复执行165000次训练过程。可以使用10-4的学习率，每25个历元减少0.5。例如，L2规范化比率可以设置为10-5，并且可以将32个训练贴片部署为迭代的小批量大小。
图7是根据本发明实施例的深白平衡编辑方法中的颜色映射过程的图。
根据本发明实施例的DNN模型是完全卷积网络，其中使用具有2x2最大池化层和上采样层的4级编码器/解码器，因此受到尺寸必须是24的倍数的限制，并且能够处理输入图像以具有原始尺寸。
然而，所有输入图像的大小可以调整为高达656个像素的大小，以确保所有大小的输入图像的一致执行时间。DNN模型应用于具有调整大小的此类图像。此后，计算具有调整大小的输入图像和输出图像之间的颜色映射函数，并将其应用于全尺寸输入图像。
参考图7，执行颜色映射处理以从原始输入图像相对于输入图像IWB(in)(h×w个像素)的分辨率(即h×w×3个像素)和由编码器705和解码器之一(即解码器710)产生的相应输出图像
Figure BDA0003719980390000122
(h′×w′个像素，在这种情况下，h′≤h并且w′≤w)产生。可以采用基于映射矩阵ρ的多项式函数，用于将下采样的输入图像IWB(in)↓的颜色全局映射到生成的输出图像
Figure BDA0003719980390000123
的颜色。例如，映射矩阵可以通过闭式解计算，如下所示：
[等式4]
ρ＝(STS)-1STY
S＝h(r(IWB(in)↓))，Y＝r(IWB(t))，r：I(h×w×3)→I(hw×3)可以是从I(h×w×3)构造I(hw！×3)的重塑函数，h：I(hw×3)→I(hw×n)可以是将图像的RGB向量映射到更高的n维空间的多项式核函数。例如，可以使用11维多项式映射。
当计算映射矩阵ρ时，可通过以下等式计算相同输入图像的最终结果：
[等式5]
IWB(t)＝r-1(ρh(r(IWB(in))))
图8是根据本发明其他实施例的深白平衡编辑方法800的流程图。
方法800可以由使用图1的用于深白平衡编辑的装置100的至少一个处理器来执行。
在操作805中，方法800包括获得具有通过图像信号处理更正的原始WB的输入图像。
在操作810中，方法800包括对所获得的输入图像进行下采样。
在操作815中，方法800包括通过使用第一神经网络获得下采样的输入图像的下采样的中间表示，其中中间表示具有未通过图像信号处理更正的原始WB。
在操作820中，方法800包括基于所获得的下采样的中间表示，使用第二神经网络获得具有不同于原始WB的第一WB的下采样的输出图像。
在操作825中，方法800包括通过对所获得的下采样的输出图像应用颜色映射来获得具有不同于原始WB的第一WB的第一输出图像。
图9是根据本发明实施例的用于深白平衡编辑的用户界面900的图。
用户界面900显示输入图像905和滑块910，使得用户可以从基于三个可用WB设置(诸如AWB设置、阴影WB设置和白炽WB设置)生成的输出图像中选择图像。例如，如图9A或9B所示，可以生成具有白炽WB(2850K)的第一输出图像915或具有阴影WB(7500K)的第二输出图像920，并将其显示在用户界面900上。滑块910可以在开尔文范围925内，例如2850K到7500K，并且用户可以通过将滑块910滑动到所选值来选择范围925内的开尔文值。基于用于选择值的用户输入，用户界面900可以显示与所选值相对应的输出图像。
使用阴影WB设置和白炽WB设置以及用户从范围925中选择的值，用户可以另外编辑输入图像905，以使其成为第三输出图像930，在色温方面具有阴影WB或白炽灯WB以外的特定WB(例如3500K)，如图9C所示。为了产生与不是由其中一个解码器(例如，第一WB解码器110)产生的色温t相对应的设置新目标WB的效果，可以在分别使用白炽和阴影WB设置产生的第一和第二输出图像915和920之间执行内插。内插可由以下等式描述：
[等式6]
IWB(t)＝bIWB(TT)+(1-b)IWB(S)
IWB(T)和IWB(S)可以分别表示使用白炽和阴影WB设置生成的第一和第二输出图像915和920，并且b可以表示由
Figure BDA0003719980390000141
给定的插值比率。
用户界面900可以在电子设备中实现，例如，安装在移动设备中的用户应用程序。用户应用程序可以被配置为编辑由电子设备的相机捕获并由电子设备的图像信号处理器处理的图像的WB。用户应用程序可以是库编辑服务的一部分。
图10是根据本发明实施例的计算机***1000的框图。
如图10所示，计算机***1000可以包括处理器1010、存储器1020、输入/输出接口1030和显示器1040。
装置1000可以实现为电子设备(例如，移动设备)和/或服务器。
处理器1010可以执行图1的用于深白平衡编辑的装置100的总体控制，并执行存储在存储器1020中的一个或多个程序。处理器1010体现为硬件、固件或硬件和软件的组合。处理器1010可以是中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)、微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或其他类型的处理组件。在本发明的一些实施例中，处理器1010包括编程为执行功能的一个或多个处理器。
根据本发明实施例的处理器1010可以通过使用上文参考图1至9所述的编码器105、第一WB解码器110和第二WB解码器115来执行一个或多个功能。
存储器1020可以包括硬盘(例如，磁盘、光盘、磁光盘和/或固态光盘)、光盘(CD)、数字多功能光盘(DVD)、软盘、盒式磁带、磁带和/或其他类型的非暂时性计算机可读介质，以及相应的驱动器。替代地，存储器1020可以包括随机存取存储器(RAM)、只读存储器(ROM)和/或其他类型的动态或静态存储设备(例如，闪存、磁存储器和/或光存储器)。
存储器1020可以存储用于驱动和控制装置100的各种类型的数据、程序或应用程序。存储在存储器1020中的程序可以包括一条或多条指令。存储在存储器1020中的包括一个或多个指令或应用程序的程序可由处理器1010执行。
输入/输出接口1030允许计算机***1000通过有线连接、无线连接或其组合与其他设备(诸如其他电子设备和其他服务器)通信。例如，当装置100和计算机***1000在服务器中实现时，处理器1010可以通过输入/输出接口1030从图像信号处理器接收具有由电子设备的图像信号处理器通过图像信号处理更正的原始WB的输入图像。处理器1010可以通过输入/输出接口1030将具有不同于原始WB的WB的输出图像发送到电子设备。
显示器1040可以从例如处理器1010获得数据，并显示所获得的数据。显示器1040可以包括例如触摸屏、电视、计算机监视器或其组合。
本发明的实施例提供了用于编辑WB的深度学习框架。该框架使用不正确的WB准确更正图像的WB。该框架还允许用户使用不同的照明设置自由编辑sRGB图像的WB。该框架包括单个编码器和多解码器。训练多解码器模型，以端到端的方式生成多个WB设置。该框架可以实现最高级的WB更正和操作结果，并产生比以前的WB更正和操作任务更高效的编译结果。
图11是根据本发明实施例的移动设备1100的框图。
参考图11，移动设备1100可以包括相机模块1100和处理器1120。本发明的实施例不限于此，移动设备1100还可以包括显示器1130、用户接口模块1140、照度感测模块1170、GPS感测模块1180、网络信息获得模块1190和存储模块1150。
相机模块1110可以包括镜头模块1112、图像感测模块1114和图像信号处理器1116。
镜头模块1112可以包括至少一个镜头，用于收集从对象反射的光并将光传输到图像感测模块1114。根据本发明的一个实施例，相机模块1110可以包括多个镜头模块。在这种情况下，多个镜头模块可以具有相同的镜头属性(例如，视角、焦距、自动聚焦、F数或光学变焦)。替代地，至少一个镜头模块可以具有与其他镜头模块的镜头属性不同的至少一个镜头属性。例如，镜头模块1112可以包括广角镜头、超广角镜头或长焦镜头中的至少一个镜头。
图像感测模块1114可以包括至少一个图像传感器，以将由镜头模块1112收集和从其传输的光转换为电信号。此外，图像感测模块1114可以通过使用电信号获得与对象相对应的图像。本文将通过图像感测模块1114获得的图像描述为原始图像数据。例如，至少一个图像传感器可以是电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器，并且图像感测模块1114可以包括配置有拜耳图案的滤色器阵列和包括至少一个CCD传感器和CMOS传感器的对应像素阵列。然而，本发明的实施例不限于此，并且图像感测模块1114可以以各种形式实现。例如，图像感测模块1114可以被实现为凹面传感器。原始图像数据可以理解为是指从图像感测模块1114获得的图像数据，而没有经过图像信号处理器1116的图像处理，并且可以是例如彩色滤波器阵列数据，诸如原始拜耳图案数据。
图像信号处理器1116可以对原始图像数据进行图像处理，并以特定的图像格式输出数据。图像格式可以理解为具有特定颜色空间的图像格式，输出设备(例如，显示设备或打印机设备)可以表示该颜色空间以在输出图像之前输出图像或存储图像。例如，图像格式可以是基于RGB的格式、基于CMYK的格式、基于YCbCR的格式等。基于RGB的格式示例包括sRGB格式、Adobe RGB格式、Prophoto RGB格式等，基于CMYK的格式示例包括SWOP CMYK格式等。
例如，图像信号处理器1116可以处理原始图像数据并输出sRGB图像数据。
图像信号处理器1116可以通过硬件实现。然而，图像信号处理器1116不限于此，并且可以通过硬件和软件的组合来实现。在这种情况下，图像信号处理器1116可以实现为相机模块1110外部的处理器1120中的软件模块。替代地，图像信号处理器1116可以实现为与相机模块1110和处理器1120分离的硬件。图像信号处理器1116可以与相机模块1110外部的处理器1120一起执行处理原始图像数据的功能。在本发明的另一实施例中，图像信号处理器1116可以在相机模块1110中实现为片上***(SoC)。
图像信号处理器1116或处理器1120可以包括解混(demosaicking)模块1121、降噪模块1122、白平衡控制模块1123、颜色空间转换模块1124、颜色操作模块1125和图像输出模块1126。
解混模块1121可以对原始图像数据执行解混。例如，解混模块1121可以对原始图像数据执行RGB解混以获得RGB图像数据。解混可以是一种颜色内插。
降噪模块1122可以对RGB数据执行降噪处理，以获得降噪的RGB图像数据。
白平衡控制模块1123可以接收第一图像数据，并输出具有受控WB的第二图像数据。第一图像数据可以是原始RGB图像数据，第二图像数据可以是具有受控WB的RGB数据。在这种情况下，第一图像数据可以是在通过解混模块1121或降噪模块1122中的至少一个时获得的sRGB图像数据。
替代地，第一图像数据可以是原始滤色器阵列数据，第二图像数据可以是具有受控WB的滤色器阵列数据。
根据本发明的一个实施例，白平衡控制模块1123可以将第一图像数据输入到多个AI模型中的至少一个AI模型，并获得具有受控WB的至少一段第二图像数据。在这种情况下，多个AI模型可以由神经网络组成，并且每个AI模型可以包括编码器模型和解码器模型。多个AI模型可以包括不同的解码器模型。多个AI模型可以包括相同的编码器模型。
例如，白平衡控制模块1123可以包括图1的编码器105(对应于编码器模型)、第一WB解码器110和第二WB解码器115(对应于解码器模型)。然而，本领域普通技术人员将理解，白平衡控制模块1123不限于第一WB解码器110和第二WB解码器115，还可以包括第三WB解码器、第四WB解码器等。第一WB解码器和第二WB解码器可以由处理器或视频信号处理器选择性地使用，并且由编码器处理的数据是处理后的输入数据。
编码器和多个WB解码器可以被配置为神经网络，并使用原始sRGB图像或具有改变的WB的sRGB图像作为训练数据进行训练。
此外，编码器和多个WB解码器可以使用初始原始图像和具有改变的WB的原始图像作为训练数据来训练。
这里使用“原始”作为“改变的WB”对应的表达式，并且不限于图像信号处理器1116等不对由图像感测模块1114获得的初始原始图像数据执行WB控制的图像，并且可以理解为指图像信号处理器1116针对初始原始图像数据执行WB控制的图像。
在这种情况下，当图像信号处理器1116等未对图像感测模块1114获得的初始原始图像数据执行WB控制的图像作为输入数据输入到白平衡控制模块1123时，白平衡控制模块1123可被视为原始WB控制模块，当图像信号处理器1116等针对由图像感测模块1114获得的初始原始图像数据对其执行WB控制的图像作为输入数据输入到白平衡控制模块1123时，可以将其视为后WB控制模块。参考图11之前的附图对WB的上述描述涉及WB后控制模块，但本领域的普通技术人员将理解，本发明的实施例不限于此，并且上述描述也可以应用于原始WB模块。
“改变的WB”可以理解为，WB被更改为具有WB属性(例如，AWB、白炽WB或阴影WB)，该属性预期是某个WB解码器的输出。
编码器可以被配置为第一神经网络，并且接收sRGB图像数据作为输入数据，并输出与sRGB图像数据相对应的原始图像数据作为输出数据。
在本发明的一个实施例中，编码可以接收原始图像数据作为输入数据，并输出与原始图像数据相对应的中间表示作为输出数据。
多个解码器中的每一个可以被配置为具有不同于第一神经网络的结构的第二神经网络，并且接收从编码器输出的原始图像数据作为输入数据。编码器可以接收通过图像感测模块1114获得的初始原始图像数据作为输入数据。在这种情况下，可以在移动设备1100中安装仅由解码器组成的AI模型，以处理通过图像感测模块1114获得的初始原始图像数据。也就是说，在AI模型的训练期间，可以通过一个训练过程来训练解码器和编码器，但是当训练的AI模型应用于移动设备1100时，可以仅选择解码器并将其存储在移动设备1100的存储模块1150中。
在本发明的一个实施例中，每个解码器可以从编码器接收中间表示输出作为输入数据。解码器将输入数据转换为对应于预定WB属性，并输出转换输入数据的结果。
当解码器接收到原始图像数据作为输入数据时，每个解码器根据与其相对应的WB属性转换原始图像数据，以产生和输出反映WB属性的sRGB图像数据。
在本发明的一个实施例中，为了与用户交互，移动设备可以将原始图像数据转换为sRGB图像数据，显示sRGB图像数据，并通过显示屏幕接收用户期望的WB设置值，但为了重新获得应用了期望的WB设置值的图像，白平衡控制模块1123可通过编码器获得与所显示的sRGB图像相对应的原始图像数据，并通过与用户期望的WB设置相对应的解码器获得具有改变的WB的sRGB图像数据。
在本发明的另一个实施例中，基于通过传感器模块1160获得的关于拍摄条件的信息，可以选择多个AI模型中的一个，并且可以通过选择的AI模型获得与拍摄条件相对应的WB设置值的图像。在这种情况下，AI模型可以是仅配置有解码器的AI，并且接收通过图像感测模块1114获得的初始原始图像作为输入数据。
当解码器接收到与输入的原始图像数据相对应的中间表示作为输入数据时，解码器生成根据与每个解码器相对应的WB属性转换的原始图像数据并输出。即，当不需要用户界面时，为了再次获得应用了用户期望的WB设置值的图像，白平衡控制模块1123可以通过编码器获得与原始图像数据相对应的中间表示，并通过与用户期望的WB设置相对应的解码器获得WB改变的原始图像数据。
可以预先训练和设置第一神经网络和至少一个第二神经网络的权重和偏差。在本发明的一个实施例中，处理器1120或图像信号处理器1116可以从单独的训练设备接收预先训练并存储的第一神经网络和至少一个第二神经网络的权重和偏差，并且控制利用接收到的至少一个权重和偏差设置存储在存储模块1150中的第一神经网络和至少一个第二神经网络。
白平衡控制模块1123可以基于通过传感器模块1160获得的关于拍摄条件的信息，在存储模型1150中存储的多个AI模型中确定与拍摄条件相对应的AI模型，并且可以将第一图像数据输入到所确定的AI模型中，以便获得具有被控制为对应于拍摄条件的WB的第二图像数据。这将在下面描述传感器模块1160之后详细描述。
颜色空间转换模块1124可以通过对输入图像数据执行颜色空间转换来获得具有转换的颜色空间的图像数据。例如，颜色空间转换模块1124可以通过对RGB图像数据执行颜色空间转换来执行CIE-XYZ图像数据。
颜色操作模块1125可以通过对具有转换的颜色空间的图像数据执行颜色操作来获得颜色操作的图像数据。颜色处理可包括伽马更正，并可称为照片处理(photo-finishing)。
图像输出模块1126可以通过对颜色操作的图像数据执行映射来输出图像数据。例如，输出图像数据可以是SRGB图像数据。
传感器模块1160可以获得关于拍摄条件的信息。例如，传感器模块1160可以包括照度感测模块1170、GPS感测模块1180和网络信息获得模块1190。
照度感测模块1170可以获得照度传感器信息。照度传感器信息可以表示由照度传感器感测的lux。
GPS感测模块1180可获得GPS传感器信息。GPS传感器信息可以表示由GPS传感器获得的经度、纬度或海拔中的至少一个。可响应于请求而周期性或非周期性地获得和更新GPS传感器信息。
网络信息获得模块1190可以获得网络状态信息。网络状态信息可以包括但不限于至少一个扫描的接入点(AP)的接收信号强度指示(RSSI)信息或至少一个扫描的AP的服务集标识符(SSID)信息中的至少一个。
白平衡控制模块1123可以基于通过传感器模块1160获得的关于拍摄条件的信息，确定存储在存储模型1150中的用于WB控制的多个AI模型中与拍摄条件相对应的AI模型，并且可以将第一图像数据输入到所确定的AI模型中，以便获得具有被控制为对应于拍摄条件的WB的第二图像数据。
例如，白平衡控制模块1123可以基于GPS传感器信息、照度传感器信息或网络状态信息中的至少一个来识别移动设备1100是位于室内还是室外。白平衡控制模块1123可以基于识别结果确定与识别结果相对应的AI模型。例如，可能存在表示室内照明的钨/白炽WB设置(或荧光WB设置)，表示室外照明的阴影WB设置等，并且白平衡控制模块1123可以识别移动设备1100是位于室内还是室外，并基于识别的结果，在各种类型的WB设置中确定与识别结果相关的WB设置对应的AI模型。
参考图11之前的附图，尽管上面描述了使用对应于特定WB设置(例如，AWB设置、白炽WB设置或阴影WB设置)的WB解码器获得具有特定WB的输出图像数据，但本发明的实施例不限于此，并且本领域普通技术人员将理解，在图11之前的附图的实施例中，可以基于关于拍摄条件的信息(室内/室外)，从第一图像数据获得具有被控制为对应于拍摄条件的WB的第二图像数据。
通常，AWB设置是准确的WB设置，但是可以使用与基于关于拍摄条件(室内/室外)的信息确定的WB设置相对应的WB解码器来获得具有更合适的WB设置的输出图像。然而，本发明的实施例不限于此，可以同时获得并在显示器上显示具有AWB设置的输出图像和具有与室内WB设置和室外WB设置中的拍摄条件相对应的WB设置的输出图像，以便用户可以选择输出图像中的一个。
在本发明的一个实施例中，处理器1120可以确定与使用通过至少一个传感器模块1160获得的关于拍摄条件的信息获得的信息相对应的WB设置。处理器1120可以在存储模块1150中存储的多个AI模型中确定与所确定的WB设置相对应的AI模型。处理器1120可以通过将确定的AI模型加载到图像信号处理器1116来控制图像信号处理器1116处理从图像感测模块1114获得的CFA图像数据。更具体地，处理器1120可以控制存储在存储模块1150中的多个AI模型中确定的关于AI模型的数据，以加载到处理器1116中的存储器(未示出)。图像信号处理器1116可以通过使用加载到存储器的关于AI模型的数据来处理从图像感测模块1114接收的CFA图像数据。图像信号处理器1116可以通过AI模型处理CFA图像数据来获得RGB图像数据。
在本发明的一个实施例中，图像信号处理器1116中的存储模块(未示出)可以存储多个AI模型。这里，存储模块不同于图像信号处理器1116中的存储器。即，存储模块可以是闪存或DRAM，并且存储器可以是SRAM。在这种情况下，图像信号处理器1116通过使用信息来接收关于与信息相对应的WB设置的数据，该信息是通过至少一个传感器模块1160从处理器1120获得的。图像信号处理器1116可以通过使用接收到的关于WB设置的数据来确定要处理的AI模型。图像信号处理器1116可以控制将所确定的AI模型加载到图像信号处理器1116中的存储器(未示出)。图像信号处理器1116可以通过使用加载到存储器的关于AI模型的数据来处理从图像感测模块1114接收的CFA图像数据。图像信号处理器1116可以通过AI模型处理CFA图像数据来获得RGB图像数据。
白平衡控制模块1123可以在GPS传感器信息未更新时识别移动设备位于室内，并且在GPS传感器信息更新时识别移动设备位于室外。
当照度传感器信息的传感器值(例如，lux值)大于或等于第一值时，白平衡控制模块1123可以识别移动设备位于室外。在这种情况下，白平衡控制模块1123可以基于当前时间信息识别太阳是否升起，并且根据与当前时间相对应的太阳位置的估计值可以被设置为第一值。由于在预计太阳不会升起时仅存在人工照明，因此无论照度传感器信息的传感器值如何，移动设备都可以被识别为位于室内。
当照度传感器信息的传感器值(例如，lux值)小于或等于第二值时，白平衡控制模块1123可以识别移动设备位于室内。
白平衡控制模块1123可以在扫描的AP的平均RSSI大于或等于第一值时识别移动设备位于室内，并且在扫描的AP的平均RSSI小于第二值时识别移动设备位于室外。
否则，当在扫描的AP中，RSSI小于或等于第二值的AP数量大于或等于第二数量或大于或等于第一值的AP数量小于第一数量时，白平衡控制模块1123可识别模块位于室外。
当在扫描的AP中，RSSI大于或等于第一值的AP的数量大于或等于第一数量时，白平衡控制模块1123可以识别模块位于室内。
当在扫描的AP中，RSSI小于或等于第二值的AP的数量大于或等于第二数量，或大于或等于第一值的AP的数量小于第一数量时，白平衡控制模块1123可识别模块位于室外。
当满足上述条件时，只能考虑具有SSID(其部分对应于字符串)的AP。然而，本发明的实施例不限于此，并且可以通过区分一组对应的AP和其他组AP并为确定这些组是否各自满足中间条件的结果分配不同的权重来确定是否满足最终条件。
下面将参考图12详细描述其中白平衡控制模块1123基于GPS传感器信息、照度传感器信息或网络状态信息中的至少一个来识别移动设备1100位于室内还是室外的实施例。
显示器1130可以显示各种类型的图像数据。具体地，处理器1120控制显示器1130以显示通过图像信号处理器1116等输出的具有特定图像格式的数据。
用户接口模块1140可以接收各种类型的用户输入。显示器1130和用户接口模块1140可以一起实现为包括触摸传感器和显示面板(例如，LCD或AMOLED)的触摸屏。处理器1120可以基于通过用户接口模块1140接收的用户输入来控制要驱动的相机模块1110。即，处理器1120可以控制显示面板以显示用于开始捕获图像的用户界面(UI)图标和用于设置图像捕获条件的UI图标。当接收到通过触摸传感器输入的用户输入时，处理器1120可以控制图像感测模块1115将通过相机模块1110中的镜头模块1112收集的光转换为电信号。
存储模块1150可以显示各种类型的图像数据。具体地，处理器1120控制存储模块1150以存储通过图像信号处理器1116等输出的具有特定图像格式的数据。存储在存储模块1150中的图像格式可以不同于输出到显示器1130的图像格式。例如，处理器1120可以根据特定的压缩标准(例如JPEG标准)对从白平衡控制模块1123获得的至少一个输出图像执行丢失/无损压缩，并控制存储模块1150存储压缩的输出图像。
存储模块1150还可以存储关于白平衡模块1123中使用的AI模型的信息。
图12是用于描述基于移动设备获得的各种类型的信息来识别移动设备是位于室内还是室外，以及基于识别的结果来执行WB控制的图。
参考图12，移动设备1200可以通过使用照度传感器1205感测来自室内灯120的光(例如，荧光灯或白炽灯)来获得照度传感器信息。当照度传感器信息的值小于或等于第一值时，移动设备1200可以识别移动设备1200位于室内。这是因为通常，室内的照明值远小于室外的照明值。
移动设备1200可以使用GPS传感器从GPS卫星1210获得GPS传感器信息。当GPS传感器信息未更新时，移动设备1200可识别移动设备1200位于室内。这是因为当移动设备1200位于室内时，通常难以接收GPS传感器信息。
移动设备1200可以扫描周围的AP 1235，以获得至少一个扫描的AP的列表。移动设备1200可以基于扫描的AP 1235的SSID的数量来识别扫描的AP 1235的数量，并且基于扫描的AP 1235的RSSI 1240来识别每个扫描的AP 1235的信号强度。
当扫描的AP 1235的RSSI 1240的平均值大于或等于第一值时，移动设备1200可以识别移动设备1200位于室内。这是因为通常，当移动设备1200位于室内时，AP 1235位于移动设备1200附近，因此AP 1235的RSSI 1240的平均值小。
替代地，当AP 1235的数量(其RSSI 1240大于或等于第一值)大于或等于第一数量时，移动设备1200可以识别移动设备1200位于室内。通常，这是因为当移动设备1200位于室内时，许多AP位于靠近移动设备1200的位置，因此，其中RSSI 1240在室内较大的AP的数量大于其中RSSI 1240在室外较大的AP的数量。
移动设备1200可以通过使用照度传感器1205感测来自太阳1230的光来获得照度传感器信息。当照度传感器信息的值大于或等于第二值时，移动设备1200可以识别移动设备1200位于室内。这是因为通常情况下，室外照明值远大于室内照明值。
移动设备1200可以通过使用GPS传感器从GPS卫星1210获得GPS传感器信息。当更新GPS传感器信息时，移动设备1200可以识别移动设备1200位于室外。这是因为一般来说，当移动设备1200位于室外时，GPS传感器信息比当移动设备1200位于室内时更容易接收，因此在大多数情况下可以响应于请求而更新。
移动设备1200可以扫描移动设备1200周围的AP 1235。移动设备1200可以基于扫描的AP 1235的SSID的数量来识别扫描的AP 1235的数量，并且基于扫描的AP 1235的RSSI1240来识别每个扫描的AP 1235的信号强度。
当扫描的AP 1235的RSSI 1240的平均值小于第二值时，移动设备1200可以识别移动设备1200位于室外。这是因为，通常，当移动设备1200位于室外时，由于移动设备1200与AP 1235的距离较大或由于各种类型的障碍物，AP 1235的平均RSSI较小。
替代地，当AP 1235的数量(其RSSI 1240小于或等于第二值)大于或等于第二数量时，移动设备1200可以识别移动设备1200位于室外。这是因为，通常，当移动设备1200位于室外时，由于移动设备1200与AP 1235的距离较大或由于各种类型的障碍物，因此室外具有小RSSI的AP 1235的数量小于室内具有小RSSI的AP 1235的数量。
然而，本发明的实施例不限于此，并且当AP 1235的数量(其RSSI 1240大于或等于第一值)小于第一数量时，移动设备1200可以识别移动设备1200位于室外。这是因为通常，当移动设备1200位于室外时，靠近室外移动设备1200的AP 1235的数量小于靠近室内移动设备1200的AP 1235的数量。
然而，本发明的实施例不限于此，并且移动设备1200可以基于照度传感器信息、GPS传感器信息或网络状态信息中的至少一个，通过各种技术来识别移动设备1200是位于室内还是室外。
移动设备1200可以基于识别结果执行白平衡控制。例如，可以存在表示室内照明的钨/白炽WB设置(或荧光WB设置)、表示室外照明的阴影WB设置等，并且基于识别的结果，移动设备1200可以识别移动设备1200是位于室内还是室外，在与多个WB设置相关的多个AI模型中确定与WB设置相关的AI模型，并使用所确定的AI模型获得输出图像。
虽然上文已参考附图描述了本发明的实施例，但本领域普通技术人员将理解，在不脱离以下权利要求的精神和范围的情况下，可以在形式和细节上进行各种更改。

Claims (15)

1.一种移动设备，包括：
相机模块，包括镜头模块和图像感测模块，被配置为从通过所述镜头模块收集的光中获得第一图像数据；
传感器模块，被配置为获得关于拍摄条件的信息；
存储模块，存储关于用于白平衡控制的多个人工智能(AI)模型的信息；
图像信号处理器，被配置为通过处理所存储的AI模型中的至少一个来获得第二图像数据；以及
至少一个应用处理器，
其中，所述至少一个应用处理器被配置为：
基于由所述传感器模块获得的关于所述拍摄条件的信息，确定存储在所述存储模块中的用于白平衡控制的所述多个AI模型中与所述拍摄条件相对应的AI模型；以及
控制所确定的AI模型被加载到所述图像信号处理器中，以及
所述图像信号处理器还被配置为将所述第一图像数据输入到所确定的AI模型中，以便获得具有被控制为与对所述拍摄条件相对应的白平衡的所述第二图像数据。
2.根据权利要求1所述的移动设备，其中，所述第一图像数据包括原始滤色器阵列数据。
3.根据权利要求1所述的移动设备，其中，所述第一图像数据包括原始RGB数据。
4.根据权利要求1所述的移动设备，其中，所述多个AI模型各自包括编码器模型和解码器模型，并且包括不同的解码器模型。
5.根据权利要求1所述的移动设备，其中，所述传感器模块包括：
全球定位***(GPS)感测模块，被配置为获得GPS传感器信息；
照度感测模块，被配置为获得照度传感器信息；以及
网络状态信息获得模块，被配置为获得网络状态信息，
其中，所述至少一个应用处理器基于所述GPS传感器信息、所述照度传感器信息或所述网络状态信息中的至少一个来识别所述移动设备是位于室内还是室外，以及
与存储在所述存储模块中的用于白平衡控制的所述多个AI模型中的识别结果相对应的移动设备被确定。
6.根据权利要求5所述的移动设备，其中，当基于所述GPS传感器信息、所述照度传感器信息或所述网络状态信息中的至少一个确定所述移动设备位于室内还是室外时，当所述GPS传感器信息未更新时，所述移动设备被识别为位于室内，当所述GPS传感器信息更新时，所述移动设备被识别为位于室外。
7.根据权利要求5所述的移动设备，其中，当基于所述GPS传感器信息、所述照度传感器信息或所述网络状态信息中的至少一个确定所述移动设备位于室内还是室外时，当所述照度传感器信息的传感器值大于或等于第一值时，所述移动设备被识别为位于室外，以及
当所述照度传感器信息的传感器值小于或等于第二值时，所述移动设备被识别为位于室内。
8.根据权利要求5所述的移动设备，其中，所述网络状态信息包括至少一个扫描的接入点(AP)的接收信号强度指示(RSSI)信息或服务集标识符(SSID)信息中的至少一个，
其中，当基于所述GPS传感器信息、所述照度传感器信息或所述网络状态信息中的至少一个确定所述移动设备位于室内还是室外时，所述至少一个应用处理器还被配置为：
当所述扫描的AP的RSSI的平均值大于或等于第一值时，识别所述移动设备位于室内，当所述扫描的AP的RSSI的平均值小于第二值时，识别所述移动设备位于室外；以及
当所述扫描的AP中RSSI大于或等于第一值的AP数量大于或等于第一数量时，识别所述移动设备位于室内，以及当RSSI小于或等于第二值的AP的数量大于或等于第二数量，或者当大于或等于第一值的AP的数量小于第一数量时，所述移动设备位于室外。
9.一种用于深白平衡编辑的装置，所述装置包括：
存储器，存储指令；以及
至少一个处理器，被配置为执行指令，
其中，所述至少一个处理器还被配置为执行指令以：
获得具有通过图像信号处理更正的原始白平衡的输入图像；
通过使用第一神经网络，获得具有未通过图像信号处理更正的原始白平衡的所述输入图像的中间表示；以及
基于所获得的中间表示，通过使用第二神经网络获得具有不同于所述原始白平衡的第一白平衡的第一输出图像。
10.根据权利要求9所述的装置，其中，所述至少一个处理器还被配置为执行指令，以基于所获得的中间表示，通过使用第三神经网络，获得具有不同于所述白平衡和所述原始白平衡的第二白平衡的第二输出图像。
11.根据权利要求10所述的装置，其中，所述至少一个处理器还被配置为执行指令以：
显示滑块，用于从多个白平衡中选择白平衡；以及
基于用于从所述多个白平衡中选择一个白平衡的用户输入，通过使用所显示的滑块和所获得的第一输出图像、所获得的第二输出图像、所述第一输出图像和所述第二输出图像的混合图像或其组合，显示具有所述多个白平衡中的所述一个白平衡的合成图像。
12.根据权利要求9所述的装置，其中，所述至少一个处理器还被配置为执行指令以：
对所获得的输入图像进行下采样；
通过使用所述第一神经网络获得下采样的输入图像的下采样的中间表示，其中所述下采样的中间表示包括未通过所述图像信号处理更正的下采样的中间表示；
基于所获得的下采样的中间表示，通过使用所述第二神经网络获得具有与所述原始白平衡不同的所述第一白平衡的下采样的输出图像；以及
对所获得的下采样的输出图像应用颜色映射，以获得具有不同于所述原始白平衡的所述第一白平衡的所述第一输出图像。
13.根据权利要求12所述的装置，其中，所述颜色映射包括基于用于将下采样的输出图像的颜色映射到下采样的输出图像的颜色的映射矩阵的多项式函数。
14.根据权利要求9所述的装置，其中，所述第一神经网络包括：
一个或多个第一卷积层、一个或多个第一整流线性单元(ReLU)层和至少一个第一最大池化层；以及
一个或多个第二卷积层、一个或多个第二ReLU层和至少一个第二最大池化层，
其中，所述一个或多个第二卷积层、所述一个或多个第二ReLU层和所述至少一个第二最大池化层的第二通道数量是所述一个或多个第一卷积层、所述一个或多个第一ReLU层和所述至少一个第一最大池化层的第一通道数量的两倍。
15.根据权利要求9所述的装置，其中，所述装置、所述第一神经网络和所述第二神经网络在服务器中实现，以及
所述至少一个处理器还被配置为执行指令以：
从所述图像信号处理器接收具有由所述电子设备的所述图像信号处理器通过所述图像信号处理更正的所述原始白平衡的所述输入图像；以及
将所获得的第一输出图像发送到所述电子设备。
CN202080091131.9A 2019-11-22 2020-11-11 用于深白平衡编辑的方法和装置 Pending CN114930811A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962939286P 2019-11-22 2019-11-22
US62/939,286 2019-11-22
US17/077,837 US11849264B2 (en) 2019-11-22 2020-10-22 Apparatus and method for white balance editing
US17/077,837 2020-10-22
PCT/KR2020/015799 WO2021101162A1 (ko) 2019-11-22 2020-11-11 딥 화이트-밸런싱 편집을 위한 방법 및 장치

Publications (1)

Publication Number Publication Date
CN114930811A true CN114930811A (zh) 2022-08-19

Family

ID=75975219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080091131.9A Pending CN114930811A (zh) 2019-11-22 2020-11-11 用于深白平衡编辑的方法和装置

Country Status (5)

Country Link
US (2) US11849264B2 (zh)
EP (2) EP4054185A4 (zh)
KR (1) KR102445244B1 (zh)
CN (1) CN114930811A (zh)
WO (1) WO2021101162A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2588431B (en) * 2019-10-23 2023-02-15 Advanced Risc Mach Ltd Image signal processing
US11606544B2 (en) * 2021-06-08 2023-03-14 Black Sesame Technologies Inc. Neural network based auto-white-balancing
CN114677291B (zh) * 2022-02-25 2023-05-12 荣耀终端有限公司 一种图像处理方法、装置及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130083216A1 (en) * 2011-10-04 2013-04-04 Samsung Electronics Co. Ltd. Apparatus and method for automatic white balance with supplementary sensors
CN105898260A (zh) * 2016-04-07 2016-08-24 广东欧珀移动通信有限公司 一种调节摄像头白平衡的方法及装置
CN107911682A (zh) * 2017-11-28 2018-04-13 广东欧珀移动通信有限公司 图像白平衡处理方法、装置、存储介质和电子设备
CN107911683A (zh) * 2017-11-28 2018-04-13 广东欧珀移动通信有限公司 图像白平衡处理方法、装置、存储介质和电子设备
CN109348206A (zh) * 2018-11-19 2019-02-15 Oppo广东移动通信有限公司 图像白平衡处理方法、装置、存储介质及移动终端

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001128191A (ja) 1999-08-18 2001-05-11 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP5013792B2 (ja) 2006-09-13 2012-08-29 ペンタックスリコーイメージング株式会社 撮像装置
JP2009071548A (ja) 2007-09-12 2009-04-02 Canon Inc 色処理装置およびその方法
US9519839B2 (en) * 2013-02-25 2016-12-13 Texas Instruments Incorporated Illumination estimation using natural scene statistics
US20150310794A1 (en) 2014-04-23 2015-10-29 Qualcomm Incorporated Graphical elements for white-point calibration and adjustment techniques for displays
US9826149B2 (en) 2015-03-27 2017-11-21 Intel Corporation Machine learning of real-time image capture parameters
KR20180116574A (ko) 2017-04-17 2018-10-25 엘지전자 주식회사 이동 단말기
US10713816B2 (en) * 2017-07-14 2020-07-14 Microsoft Technology Licensing, Llc Fully convolutional color constancy with confidence weighted pooling
KR102385188B1 (ko) 2017-09-29 2022-04-12 삼성전자주식회사 외부 전자 장치에서 생성된 정보를 이용하여 이미지 데이터를 처리하는 방법 및 전자 장치
CN107801012B (zh) 2017-10-30 2019-05-17 Oppo广东移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质
KR102438201B1 (ko) 2017-12-01 2022-08-30 삼성전자주식회사 사진 촬영과 관련된 추천 정보를 제공하는 방법 및 시스템
US10791310B2 (en) 2018-10-02 2020-09-29 Intel Corporation Method and system of deep learning-based automatic white balancing
CA3136499A1 (en) * 2019-04-09 2020-10-15 Michael Brown System and method of processing of a captured image to facilitate post-processing modification
US11044450B2 (en) * 2019-06-07 2021-06-22 Adobe Inc. Image white balancing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130083216A1 (en) * 2011-10-04 2013-04-04 Samsung Electronics Co. Ltd. Apparatus and method for automatic white balance with supplementary sensors
CN105898260A (zh) * 2016-04-07 2016-08-24 广东欧珀移动通信有限公司 一种调节摄像头白平衡的方法及装置
CN107911682A (zh) * 2017-11-28 2018-04-13 广东欧珀移动通信有限公司 图像白平衡处理方法、装置、存储介质和电子设备
CN107911683A (zh) * 2017-11-28 2018-04-13 广东欧珀移动通信有限公司 图像白平衡处理方法、装置、存储介质和电子设备
CN109348206A (zh) * 2018-11-19 2019-02-15 Oppo广东移动通信有限公司 图像白平衡处理方法、装置、存储介质及移动终端

Also Published As

Publication number Publication date
KR102445244B1 (ko) 2022-09-20
EP4207755A1 (en) 2023-07-05
WO2021101162A1 (ko) 2021-05-27
US20230209029A1 (en) 2023-06-29
KR20210063231A (ko) 2021-06-01
EP4054185A1 (en) 2022-09-07
EP4054185A4 (en) 2023-04-12
US20210160470A1 (en) 2021-05-27
US11849264B2 (en) 2023-12-19

Similar Documents

Publication Publication Date Title
CN114930811A (zh) 用于深白平衡编辑的方法和装置
CN101527860B (zh) 白平衡控制设备及其控制方法和摄像设备
CN108810418B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
US6983082B2 (en) Reality-based light environment for digital imaging in motion pictures
US8929683B2 (en) Techniques for registering and warping image stacks
US8923652B2 (en) Methods and apparatus for registering and warping image stacks
WO2018176925A1 (zh) Hdr图像的生成方法及装置
CN110352592B (zh) 成像设备和成像方法
US9153027B2 (en) System, method, and computer program product for performing fast, non-rigid registration for high dynamic range image stacks
JP2008219874A (ja) 撮像装置、画像処理装置、制御方法およびプログラム
US10582132B2 (en) Dynamic range extension to produce images
CN103201766A (zh) 产生高动态范围图像的方法
JP2023056056A (ja) データ生成方法、学習方法及び推定方法
WO2006076180A2 (en) White balance correction in digital camera images
JP2012518361A (ja) 自動ホワイトバランス（ａｗｂ）調整
KR20190037842A (ko) 외부 전자 장치에서 생성된 정보를 이용하여 이미지 데이터를 처리하는 방법 및 전자 장치
CN103797782A (zh) 图像处理装置、程序
CN112166455A (zh) 图像处理方法、装置、可移动平台及机器可读存储介质
CN113315956B (zh) 图像处理设备、摄像设备、图像处理方法和机器可读介质
US11715218B2 (en) Information processing apparatus and information processing method
CN107295261A (zh) 图像去雾处理方法、装置、存储介质和移动终端
KR102389284B1 (ko) 인공지능 기반 이미지 인페인팅 방법 및 디바이스
CN113808222A (zh) 图像处理方法、电子设备和存储介质
US20170018062A1 (en) Image processing devices and image processing methods
CN109447925B (zh) 图像处理方法和装置、存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination