CN109791688A - 曝光相关的亮度变换 - Google Patents

曝光相关的亮度变换 Download PDF

Info

Publication number
CN109791688A
CN109791688A CN201680086854.3A CN201680086854A CN109791688A CN 109791688 A CN109791688 A CN 109791688A CN 201680086854 A CN201680086854 A CN 201680086854A CN 109791688 A CN109791688 A CN 109791688A
Authority
CN
China
Prior art keywords
image
pixel
exposure
intensity
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680086854.3A
Other languages
English (en)
Other versions
CN109791688B (zh
Inventor
法赫德·布扎拉
奥纳伊·优厄法利欧格路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN109791688A publication Critical patent/CN109791688A/zh
Application granted granted Critical
Publication of CN109791688B publication Critical patent/CN109791688B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种根据输入图像生成作输出图像的图像处理设备，所述输入图像为场景的第一图像，所述输出图像为所述场景的第二图像，其中，所述输出图像对应的曝光度不同于所述输入图像的曝光度。所述图像处理设备包括强度变换器，用于根据输入像素周围的输入块确定输出像素的一个或多个强度，其中，所述输出像素是所述输出图像的像素，所述输入像素是与所述输出像素对应的所述输入图像的像素。

Description

曝光相关的亮度变换
技术领域
本发明涉及一种根据输入图像生成输出图像的图像处理设备，其中，所述输出图像对应的曝光度不同于所述输入图像的曝光度。本发明还涉及一种图像变换学习设备、一种强度变换学习方法以及一种根据输入图像生成输出图像的方法。
本发明还涉及一种存储程序代码的计算机可读存储介质，其中，所述程序代码包括用于执行上述方法的指令。
背景技术
在摄影中，曝光指的是摄像器件采集的光量。由于低曝光的图像显得暗而高曝光的图像显得亮，因此不同的曝光程度通常产生不同的图像强度。在一些应用中，可能需要用到对应不同曝光度的图像。例如，在高动态范围(high dynamic range，HDR)成像中，可以将不同曝光度的图像进行合成为高动态范围图像，其能够实现比常规成像或摄影技术更大的动态范围。为达到这一目的，必须通过成像器件采集不止一个图像，导致图像采集更加耗时繁琐。
因此，对于HDR成像及其他应用，需要根据输入图像确定输出图像，其中，所述输出图像对应的曝光度不同于所述输入图像。
例如，改变曝光可能会影响灰度图像中的强度或彩色图像中的颜色分量。一组彩色输入图像之间的颜色一致性对于计算机图形和图像处理中的各种应用至关重要，尤其是对于当前应用是基于所述输入图像在像素强度方面具有相同颜色特征这一假设的情况。
在下文中，曝光转换是指将对应某一曝光度(第一曝光度)的输入图像变换为对应曝光度(第二曝光度)不同于所述第一曝光度的输出图像的任意技术。所述输入图像和所述输出图像可以是灰度图像或彩色图像。
曝光转换的问题在计算机视觉和计算摄影中十分常见，其利用不同曝光度的多个图像来提高照片的质量或检测场景的几何形状。曝光转换所解决的典型问题是如何消除相机和/或场景相关运动所导致的不同内容场景中的颜色差。
这些应用包括了从采用立体声或多相机***的目标跟踪与识别，到图像与全景图像拼接、图像检索、面部与物体识别、行人与汽车检测、运动估计与补偿、立体声匹配和视差图计算，以及视频增强场景下的帧间颜色一致性等各种应用。在这些应用中，拍摄过程中不断变化的光照条件、不同的内部参数(曝光设置和传感器灵敏度)以及相机的辐射属性或仅仅是不同的拍摄时间都可能导致颜色上的差异。这种偶然的颜色差是诸如多视图立体声设备等多相机***的典型现象。
然而，在其他一些场景中，由于应用的性质，输入图像之间存在一种固有的辐射变化。对于HDRI的情况尤其如此，输入的低动态范围(Low Dynamic Range，LDR)图像的曝光度从曝光不足(图像发暗)到曝光过度(图像饱和区域发亮)各不相同。随后将所述输入LDR合成一个具有更大动态范围的HDR图像。在该技术中，需要将LDR对齐，以便处理相机响应函数(Camera Response Function，CRF)或执行多重曝光(Exposure Fusion，EF)。然而，在大多数情况下，摄像器件或场景本身引入的运动不符合这一假设。这就需要进行运动补偿，而运动补偿又依赖于所述输入LDR之间的初始曝光转换。
发明内容
本发明的目的在于提供一种图像处理设备和图像变换学习设备，所述图像处理设备和所述图像变换学习设备克服了前面提到的现有技术中的一个或多个问题。
本发明第一方面提供了一种根据输入图像生成输出图像的图像处理设备，所述输入图像为场景的第一图像，所述输出图像为所述场景的第二图像，其中，所述输出图像对应的曝光度不同于所述输入图像的曝光度；所述图像处理设备包括强度变换器，用于根据输入块确定输出像素的一个或多个强度，其中，所述输出像素是所述输出图像的像素，所述输入块包括输入像素和所述输入图像的一个或多个其他像素，所述输入像素是与所述输出像素对应的所述输入图像的像素。
如果所述输入图像的输入像素和所述输出图像的输出像素在图像内的位置相同，则可以认为所述输入图像的输入像素对应于所述输出图像的输出像素。在这个意义上，所述输入图像中位置为(x，y)的像素对应于所述输出图像中相同位置(x，y)的像素。在一个实施例中，输入图像和输出图像具有相同的图像分辨率，并且输入像素和对应的输出像素具有相同的像素位置。在其他实施例中，输入图像和输出图像可以具有不同的分辨率，但基于将一个图像的位置映射到另一图像中的对应位置的坐标映射，仍然可以认为像素之间具有对应关系。
第一方面所述的图像处理设备的强度变换器可以通过来自所述输入块的至少两个像素的信息确定所述输出像素的一个或多个强度。因此，所述强度变换器不限于从输入强度到输出强度的简单标量映射。准确来说，它可以利用更高维度的信息(例如，纹理)确定所述输出图像的强度。实验表明，即使在简单的强度映射方法(例如，从所述输入图像中的强度到所述输出图像中的强度的线性映射)不奏效的情况下，也能生成输出图像。
换句话说，第一方面所述的图像处理设备提供的一种曝光转换过程考虑了每个像素的一个或多个相邻像素。每个像素的相邻像素提供了额外信息，有助于准确地估计所述输出图像的一个或多个强度。特别地，所述图像处理设备可以用于将输入图像的颜色调整为对应不同曝光设置的目标颜色分布。
所述强度变换器可以实现根据训练图像例如根据一对源图像和目标图像习得的变换，其中，所述源图像通过第一曝光获取，所述目标图像通过第二曝光获取。
例如，第一方面所述的图像处理设备可以通过学习端到端的非局部映射来使用包含相邻像素的模型。与现有的曝光转换算法相比，本方法既不依赖于几何对应关系，也不依赖于直方图等统计特征，从而可以通过相对简单的算法来实现。
根据第一方面，在所述图像处理设备的第一种实现方式中，所述强度变换器用于通过强度变换数据确定所述输出像素的一个或多个强度，其中，所述强度变换数据是通过来自多个源训练图像的源块和来自对应的多个目标训练图像的目标块对训练机器学习预测值进行训练生成的，所述输入图像的曝光度与所述输出图像的曝光度之间的比率对应于所述源训练图像的曝光度与所述目标训练图像的曝光度之间的比率。
所述强度变换数据，例如，可以是指定所述强度变换器的强度变换的参数。特别地，所述强度变换数据可以包括神经网络的权重和偏置值。
根据第一方面或第一方面的第一种实现方式，在所述图像处理设备的第二种实现方式中，所述强度变换器包括卷积神经网络CNN(也称为卷积网络)。
卷积神经网络是机器学习背景下比较流行的深度学习工具。在CNN的至少一层中引入卷积能够实现通过较少的训练连接和参数对高层抽象进行建模。基于训练集(一组具有固定曝光比率R且曝光度不同的图像)，所述卷积网络能够学习比率R对应的强度映射。在应用阶段，通过所获得的模型对曝光值为e_in的输入图像进行曝光转换。最终生成的颜色映射图像的曝光值为e_out，从而(e_in/e_out)＝R(或(e_out/e_in)＝R)。
通过所述卷积神经网络，可以根据训练图像学习所述强度变换(由所述强度变换器执行)，并且所述图像处理设备既不依赖于几何对应关系也不依赖于统计特征。这意味着在应用阶段不需要目标图像。
优选地，所述卷积神经网络的网络参数可以在所述训练阶段调整为曝光比率R。
根据第一方面或第一方面的前述任一实现方式，在所述图像处理设备的第三种实现方式中，所述输入块包括所述输入像素及其N个最近的相邻像素，其中，N是大于1的预定数目。
在块中包括所述输入像素及其最近的相邻像素的好处在于，这些像素能够为所述输出图像的像素强度提供最有用的信息。
根据第一方面或第一方面的前述任一实现方式，在所述图像处理设备的第四种实现方式中，所述图像处理设备还包括高动态范围HDR图像生成器，用于根据所述输入图像和所述输出图像生成HDR图像。
生成高动态范围HDR图像通常需要至少两个曝光度不同的图像。因此，第三种实现方式所述的图像处理设备具有以下优点：(通过将所述输入图像和所述输出图像作为HDR图像生成算法的输入)可以仅根据一个输入图像生成HDR图像。
根据第一方面或第一方面的前述任一实现方式，在所述图像处理设备的第五种实现方式中，所述图像处理设备用于生成比所述输入图像对应的曝光时间更短、颜色更暗的输出图像和比所述输入图像对应的曝光时间更长、颜色更亮的输出图像。
第五种实现方式与单图像HDR尤为相关。潜在的概念是创建输入LDR图像的多个实例。示例性地，根据每个模型训练的曝光比率，最终得到的一组图像可以具有不同的颜色特征。可以将所获得的该组图像和所述输入LDR进行合成，创建初始LDR图像的HDR图像。为此，可以部署多种技术，例如，基于相机响应函数的HDR或EF。此外，所述基于CNN的曝光转换可以应用于其他场景，例如，采用光流法的立体声匹配和运动估计。
根据第一方面或第一方面的前述任一实现方式，在所述图像处理设备的第六种实现方式中，所述输出像素包括与所述输出像素的颜色分量对应的强度，其中，所述强度变换器用于根据所述输入像素周围的输入块的像素的所有颜色分量对应的强度分别确定所述输出像素的各个强度。
所述输入图像的输入像素的不同颜色分量都可以用于生成所述输出图像。因此，充分利用所述输入图像的颜色分量将大有益处。
在一个实施例中，所述强度变换器包括单独的强度变换器，所述单独的强度变换器分别确定所述输出图像的颜色分量的强度。示例性地，每个单独的强度变换器都可以利用所述输入图像的所有颜色分量。所述输入图像的颜色分量，例如，可以对应红、绿和蓝(RGB)，或者对应青、品红、黄和黑(CMYK)。
根据第一方面或第一方面的前述任一实现方式，在所述图像处理设备的第七种实现方式中，所述图像处理设备还包括变换器选择单元，用于根据所述源图像的曝光设置从多个强度变换器中选择优选的强度变换器。
示例性地，所述选择优选的强度变换器可以实现为从数码相机或扫描设备中的可编程存储器等存储器中检索所述优选的强度变换器。
特别地，可以根据曝光设置或曝光参数，例如，数码相机的EV和ISO或扫描设备的类似参数来选择所述优选的强度变换器。示例性地，可以从存储在图像文件中的EXIF数据检索源图像的曝光设置。
还可以根据所述输出图像的EV和ISO(例如，预期的输出曝光设置)等曝光设置或曝光参数来选择所述优选的强度变换器。优选地，所述输出曝光设置可以由用户或算法定义。
此外，还可以根据输入曝光设置和输出曝光设置之间的一种或多种关系，例如，曝光比率、ISO设置比率、快门速度比率、光圈值比率等来选择所述优选的强度变换器。
本发明的第二方面涉及一种图像变换学习设备，所述设备包括：
-块提取单元，用于从多个源训练图像中提取多个源块，从多个目标训练图像中提取对应的多个目标块，其中，每个所述源块包括所述源训练图像各自的至少两个像素，每个所述目标块包括所述目标训练图像各自的至少一个像素；
-机器学习算法，用于从所述多个源块和所述对应的多个目标块中学习强度变换；
其中，所述多个源训练图像对应于所述多个目标训练图像，因为它们是根据相同场景获取的但曝光度不同的成对训练图像。
第二方面所述的图像变换学习设备可用于学习第一方面所述的图像处理设备的强度变换器将要使用的图像变换。优点是，可以训练所述强度变换器以便根据“地面真值”训练数据作出更好的预测。
所述图像变换学习设备可以实现为相机或扫描仪等图像采集设备的一个组件。优点是，可以通过所述图像采集设备采集的训练图像来训练所述图像变换学习设备。因此，机器学习算法可以学习所述图像采集设备特有的的特征。例如，相机由于长时间曝光会具有噪声特征，而这些特征是相机传感器所特有的。
在其他实施例中，所述图像变换学习设备可以在标准计算机中实现，其中确定了可与多个相机中的任一个一起使用的标准图像变换。
根据第二方面，在所述图像变换学习设备的第一种实现方式中，所述图像变换学习设备还包括：对应关系识别单元，用于确定目标训练图像中的所述目标训练图像和对应的源训练图像呈现相同场景的一个或多个区域(例如，通过确定标识所述源训练图像和所述目标训练图像之间的一个或多个移动区域的二值掩码的方式确定所述一个或多个区域)，其中，所述机器学习算法用于仅根据已确认为呈现相同场景的区域中提取的源块和目标块来学习图像变换。
由于源训练图像和目标训练图像通常是按顺序获取的，所述场景可能已经发生了移动。因此，根据略微不同的场景获取的源图像和目标图像会呈现略微不同的场景。这将导致基于所述源训练图像和所述目标训练图像学习的强度变换不准确的问题。第二方面的第一种实现方式所述的图像变换学习设备具有以下优点：可以识别非对应性区域并从所述训练中排除。因此，即使没有完美的地面真值训练图像，也可以学习准确的强度变换。
根据第二方面或第二方面的第一种实现方式，在所述图像变换学习设备的第二种实现方式中，所述图像变换学习设备用于通过优化差异度量来学习所述图像变换。所述差异度量可以基于根据源训练图像生成的输出图像的强度与所述对应的目标训练图像的强度之间的差异。
由于所述源训练图像和所述目标训练图像对应不同的曝光程度，因此不能直接比较它们的强度。第二方面的第二种实现方式所述的图像变换学习设备具有以下优点：可以将所生成的输出图像的强度与所获取的目标图像的强度进行比较。若所生成的输出图像与所获取的目标图像的强度之间的差异较大，可以说明所述图像变换的参数尚未收敛并且需要改进。
在一个实施例中，如果预测的目标图像和获取的目标图像之间的差异大于预定阈值，则认为光场已发生变化并且相应的块不用于训练所述机器学习算法。
本发明的第三方面涉及一种强度变换学习方法，所述方法包括：
-从多个源训练图像中提取多个源块，从多个目标训练图像中提取多个目标块，其中，每个所述源块包括所述源训练图像各自的至少两个像素，每个所述目标块包括所述目标训练图像各自的至少一个像素；
-通过所述多个源块和相应的目标块训练机器学习算法，尤其是卷积神经网络；
其中，所述多个源训练图像对应于所述多个目标训练图像，因为它们是呈现相同场景但曝光度不同的成对训练图像。
本发明第三方面所述的方法可以由本发明第二方面所述的图像变换学习设备来执行。进一步地，通过实现本发明第三方面所述的方法，可以执行本发明第二方面所述的图像变换学习设备的功能及其不同的实现方式。
第一方面所述的强度变换器可用于实现通过第三方面所述的方法习得的强度变换。
学习所述强度变换可以包括确定表征该强度变换的一组参数，例如神经网络的权重和偏置值。
根据第三方面，在所述强度变换学习方法的第一种实现方式中，第三方面所述的方法还包括通过使用相机将图像传感器曝光到场景中来生成每个所述训练图像。
这种实现方式具有以下优点：所述机器学习算法是专门针对所述相机的图像传感器进行训练的。由于是用来训练所述机器学习算法，所述场景也可以称为训练场景。
本发明的第四方面涉及一种根据输入图像生成输出图像的方法，所述输入图像为场景的第一图像，所述输出图像为所述场景的第二图像，其中，所述输出图像对应的曝光度不同于所述输入图像的曝光度；所述方法包括：根据输入像素周围的输入块确定输出像素的一个或多个强度，其中，所述输出像素是所述输出图像的像素，所述输入像素是与所述输出像素对应的所述输入图像的像素，特别地，所述确定所述输出像素的一个或多个强度由通过第三方面或第三方面的一种实现方式所述的方法习得的强度变换来执行。
本发明第四方面所述的方法可以由本发明第一方面所述的图像处理设备来执行。进一步地，通过实现本发明第四方面所述的方法，可以执行本发明第一方面所述的图像处理设备的功能及其不同的实现形式。
本发明的第五方面涉及一种存储程序代码的计算机可读存储介质，其中，所述程序代码包括用于执行第三方面、第四方面以及其任意一种实现方式提供的方法的指令。
附图说明
为了更清楚地说明本发明实施例中的技术特征，下面将对实施例描述中所需要使用的附图作简单地介绍。以下描述中的附图仅仅是本发明的一些实施例，这些实施例在不违背本发明如权利要求书中所定义的保护范围的情况下，可以进行修改。
图1是本发明实施例提供的一种图像处理设备的示例性框图；
图2是本发明另一实施例提供的一种图像转换学习设备的示例性框图；
图3是本发明实施例提供的一种强度变换学习方法的流程图；
图4是本发明另一实施例提供的一种根据输入图像生成输出图像的方法的流程图；
图5是本发明另一实施例提供的一种用于生成HDR图像的方法的流程图；
图6示意性地示出了本发明实施例提供的曝光转换操作(应用阶段)；
图7示出了曝光比率R＝4时的曝光转换结果的两个示例；
图8示出了采用通过所提供的基于CNN的曝光转换生成的LDR图像(通过EF)的单个HDR图像；
图9示出了几种可能的块的几何形状的示例。
具体实施方式
在下文中，图像(image)可以指数码相机对现实世界或合成场景的视觉再现，也称为图片(picture)。
像素可以指图像的基本区域。图像可以由像素构成。像素可以是可寻址的最小图片/图像元素。
像素状态可以指像素的颜色和/或亮度。
块(patch)可以指图像中或者从图像中提取的一组像素(例如，矩形像素块)，其可以是相邻像素，但也不一定是相邻的(即，块可以是相干或非相干的)。
块状态可以指块中所有像素的像素状态。更确切地说，指的是块中像素的像素状态的有序集合或元组。
噪声可以指图像中的亮度或颜色信息随机(没有出现在拍摄的场景中)的变化。
图像直方图(image histogram)可以指描述图像的像素颜色强度分布的图形或者指分布本身。
源图像可以指曝光转换操作中其颜色分布(或直方图)将被映射到参考图像的图像。
目标图像可以指其颜色分布(或直方图)将在曝光转换或其他强度变换操作中作为参考的图像。所述目标图像通常与所述源图像之间存在语义差别。
地面真值(ground truth)图像可以指与所述参考图像之间不存在语义差别的目标图像。但是，地面真值图像与所述目标图像具有相同的颜色分布。
机器学习可以指根据输入数据进行分析和学习的自动化技术，以构建具有预测能力的模型。
人工神经网络可以指在深度学习背景下由生物神经网络启发的一个机器学习分支。人工网络旨在通过自适应地学习一组连接权重来估计具有大量输入的函数。
卷积可以指通过积分来计算两个函数其中的一个函数翻转和平移后的重叠量的一种数学运算。
卷积神经网络可以指其架构包含至少一个卷积层的人工神经网络。
特征图(feature map)可以指记录所述卷积网络的每一层中的高层数据抽象或特征的图。特征图通过在整个图像的子区域上卷积滤波器的方式来获得。
图像降噪(image de-noising)可以指去除数字图像中的图像噪声的过程。
曝光可以指摄像器件(例如，相机或扫描仪)采集的光量。低曝光的图像显得暗，而高曝光的图像显得亮。曝光通常不包括传感器灵敏度，其中，灵敏度(见下文)是传感器的属性，而不是采集的光的属性。
曝光值(exposure value，EV)可以指表示相机的快门速度和f值的组合的数字，这样，产生相同曝光的所有组合具有相同的EV值(对于任何固定的场景亮度)。
灵敏度可以指(数字或胶片)图像传感器的灵敏度。
ISO可以指特定的灵敏度标度。在本申请中，ISO和灵敏度有时可以作为同义词使用。
图1示出了一种根据输入图像102生成输出图像104的图像处理设备100，所述输入图像为场景的第一图像，所述输出图像为所述场景的第二图像，其中，所述输出图像对应的曝光度不同于所述输入图像的曝光度。
所述图像处理设备包括强度变换器110。
所述强度变换器110用于根据输入像素周围的输入块确定所述输出图像的输出像素的一个或多个强度，其中，所述输入像素是与所述输出像素对应的所述输入图像的像素。
可选地，所述图像处理设备100还包括块提取单元120(如虚线所示)，用于从所述输入图像中提取多个输入块。
可选地，所述图像处理设备100还可以包括HDR图像生成器130，用于根据所述输入图像和所述输出图像生成HDR图像。
此外，可选地，所述图像处理设备100还可以包括变换器选择单元140，用于根据所述输入图像的曝光设置从多个强度变换器中选择优选的强度变换器。
图2示出了一种图像变换学习设备200。
所述设备包括块提取单元210和机器学习算法220。
所述块提取单元210用于从多个源训练图像中提取多个源块，从多个目标训练图像中提取对应的多个目标块。
可以根据图像呈现的场景类型对所述源训练图像和所述目标训练图像进行分组。例如，第一组训练图像可以呈现自然场景，第二组训练图像可以呈现人物场景。
所述机器学习算法220用于从所述多个源块和所述对应的多个目标块中学习强度变换，其中，所述多个源训练图像对应于所述多个目标训练图像，因为它们是根据相同场景获取的但曝光度不同的成对训练图像。
如果可获得不同类型场景的训练图像，则可以习得多个强度变换，例如，针对自然图像的第一强度变换和针对人物图像的第二强度变换。
所述图像变换学习设备可以实现为相机或扫描仪等图像采集设备的组件，或者，也可以在通用计算机中实现，并作为标准图像变换等，例如，用于多个其他设备(例如，其他计算机或其他相机)。
图3是一种强度变换学习方法300的流程图。
所述方法包括第一步骤310：从多个源训练图像中提取多个源块。例如，对于源训练图像的每个像素，可以提取源块(所述源训练图像的边界区域可以除外)。在其他实施例中，可以从所述源训练图像中对源块进行随机采样。
所述方法包括第二步骤320：通过所述多个源块和对应的多个目标图像的相应目标强度训练机器学习算法，其中，所述多个源训练图像对应于所述多个目标训练图像，因为它们是呈现相同场景但曝光度不同的成对训练图像。
第一方面所述的强度变换器可以用于实现通过第三方面所述的方法习得的强度变换。
学习所述强度变换可以包括确定表征所述强度变换的一组参数，例如，神经网络的权重和偏置值。
学习所述强度变换可以包括将所述强度变换，例如，所述强度变换的参数拟合到训练样本集合。特别地，这会涉及拟合所述强度变换，以使得像素状态Y_I(I＝1,...,M)与对应的强度变换结果F(X_I)之间的差异度量的值最小化。
所述差异度量可以定义为平方和，例如，SUM_(I＝1,...,M)|F(X_I)–Y_I|^2。如果F和Y是RGB颜色空间中的矢量，则这个和可以确定为每个RGB颜色分量之间的强度差的和。
此外，拟合所述强度变换可以通过拟合卷积神经网络(convolutional neuralnetwork，CNN)来执行，例如，拟合定义所述CNN的参数矢量，其中，所述CNN被定义为F(X)＝W*X+B.
所述强度变换也可以定义为F(X)＝max((W*X+B)，0)，其中，W*X是卷积，B是偏置值。
应理解，以上是简化公式，其中，X和F可以是单维值(即，单色图像中的像素的亮度)或多维值(例如，RGB图像中红、绿和蓝的三个亮度值)。
图4示出了一种根据输入图像生成输出图像方法400，所述输入图像为场景的第一图像，所述输出图像为所述场景的第二图像，其中，所述输出图像对应的曝光度不同于所述输入图像的曝光度。
所述方法包括步骤410：根据输入像素周围的输入块确定所述输出图像的输出像素的一个或多个强度，其中，所述输入像素是与所述输出像素对应的所述输入图像的像素。
优选地，在步骤410之前，所述方法还包括步骤405：从输入图像中提取多个输入块。对于每个所述提取的输入块均可以执行步骤410。因此，针对所述输出图像的每个像素，可以确定一个或多个强度，并可以创建维度与所述输入图像对应的输出图像。
优选地，所述确定所述输出像素的一个或多个强度的步骤基于机器学习算法，所述机器学习算法通过强度变换学习方法尤其是图3中的方法300训练得到。
图5是一种包括训练机器学习算法(此处为卷积神经网络)的训练阶段和应用所述机器学习算法的应用阶段的方法的流程图。
在第一步骤510中，获取用于确保基于CNN的学习阶段的若干训练集，例如，M个集合。每个图像集包含N个多重曝光的低动态范围LDR图像且描绘不同的场景。
M个获取的LDR集合中的每一个均包含相同场景的N个不同曝光的图像。如下面进一步所述，所述输入图像包含一些场景差异的情况也可以通过单独的步骤识别对应关系来处理。
每个集合中每对连续图像之间的曝光比率等于R。如果曝光转换旨在生成更亮的输入图像，则曝光比率R＞1；反之，R＜1。下文所提出的方法中描述的步骤适用于在曝光转换(从曝光不足到曝光过度)的各阶段中生成颜色更亮的图像的情况。
获取的数据集中包含的图像可以分为两类：“源”图像和“目标”图像。所述源图像也可以称为数据图像或输入图像，所述目标图像也可以称为标签或“地面真值”图像。每对源图像和目标图像之间的曝光比率等于R。
在第二步骤520中，将所述输入图像裁剪成较小的块集合。在使用卷积神经网络CNN的情况下，由于在所述网络的卷积层中不使用零填充，源块和目标块的大小可能不同。因此，得到的块可能小于输入图像。相应地，大小的差异可能取决于网络的架构(卷积层的数量、滤波器的大小和数量)。
边缘像素的处理可以与图像中非边缘像素的处理不同。特别地，边缘像素可以定义为关联的参考块超出所述图像尺寸的像素。
在一个实施例中，如果输入块以边缘像素为中心，则可以重新配置所述强度变换器。此时，强度变换F可以替换为边缘像素强度变换F_EDGE，例如，通过重新归一化所述强度变换的权重参数。
在另一实施例中，如果所述关联块超出所述输入图像，则所述块中位于所述输入图像外的像素可以用一些合适的值“填充”，例如，通过对其边界之外的图像进行预测或镜像。
可选地，在步骤520中，如果所述输入图像包含场景运动(目标图像不再视为地面真值图像)，则在预处理阶段使用运动检测算法来生成指示非运动像素和运动像素的位置的二值掩码。然后，采用所述二值掩码来裁剪所述输入图像。这意味着，只有不含运动像素的块对才能用于后续训练阶段。可以采用若干运动检测算法来实现此目的。
在第三步骤530中，将所述训练图像(标记为“源”和“目标”)传递给所述机器学习算法，其中，学习针对源图像和目标图像之间的曝光比率R的端到端映射模型。重要的是需要注意，通过将所述网络训练到R，可以间接地创建用于进一步曝光转换的模型，其中，所述相应的曝光比率是R的整数或分数倍。
所述卷积网络可以包括三个卷积层。可以更改所述网络的配置从而得到更多或更少的层。然而，修改所述卷积层的数量可能对模型质量和/或计算复杂性产生负面影响。所述网络的每个卷积层i由一组f_i滤波器组成，其空间大小为s_i*s_i*c_i(或c_i*s_i*_si)，相应的滤波器权重为W_i，偏置为B_i。该组权重和偏置表示在训练阶段需要学习的网络参数。
源块和目标块的大小、滤波器数量f_i以及空间大小s_i可以由用户设置。或者，这些值也可以根据所述训练集的曝光比率自适应地设置。如果曝光比率大，则存在大的饱和区域(曝光过度/发亮，或曝光不足/发暗)。这些区域的纹理损失可能会对映射模型产生负面影响。因此，增加所述块的大小、所述滤波器数量以及所述空间大小有助于克服这些负面影响。另外，对于所述比率R，可以训练具有不同架构的多个网络(不同的块大小、滤波器数量以及空间大小等)。这些CNN网络可以在后续的应用阶段使用，其中，可以根据所述输入图像的性质自适应地选择其中一个网络。
所述网络旨在迭代地估计所述训练阶段中每一层的参数集(滤波器权重W和偏置B)，使得所创建的曝光转换模型最佳地匹配训练数据的曝光比率。可以理解的是，如果训练出许多具有不同架构的网络，则所述训练阶段将分别学习每个网络的参数。在每次迭代期间，所述网络根据当前损失值更新滤波器权重集合W＝{W_1,W_2,...,W_L}以及L个卷积层的偏置B＝{B_1,B_2,...,B_L}。通过比较预测的映射图像，基于滤波器权重和偏置的当前实例以及标签(地面真值)来计算所述损失。然后，通过所述网络反向传输所述误差损失，且所述误差损失用于通过随机梯度和用户预定义的学习率η更新网络参数。
对RGB块对(源块和目标块)进行训练。或者，也可以在单颜色通道(例如，灰度图像)上或Lab和YCbCr等不同颜色空间中训练所述模型。
目前描述的训练步骤对应e_in＜e_out且R＞1(输出图像比输入图像颜色更亮)的情况。然而，也可以训练一个模型，输出颜色更暗的图像，即e_in＞e_out且R＜1。
图6是图5中方框540的方法步骤的流程图，即采用所述CNN模型的曝光转换的应用阶段。示例性地，该方框的输入为通过图5方法的步骤530中的训练获得的曝光时间为e_in的输入图像和所述曝光比率R对应的颜色模型堆栈。
在第一步骤610中，如果训练所述曝光比率R对应的多个模型，则从所述堆栈中选择用于后续的应用阶段的模型。所述模型的选择基于所述输入图像的特征(纹理量、饱和度、所述输入图像的曝光时间等)。
在第二步骤620中，所提出的网络的第一卷积层通过所训练的权重和偏置从所述输入图像(对应每个滤波器的内核大小)中提取每个s1*s1*3的块的f1维特征向量。这样就得到了概括所述输入图像的高维颜色特征的f1特征图。所述第一卷积层之后是ReLu激活函数(修正线性单元(rectified linear unit，ReLu)，f(x)＝max(0，x))。将所述卷积层的等式定义为F_1(X)＝max((W_1*X+B_1)，0)，其中，X是来自正在处理的所述输入图像的块，*是卷积算子(两个离散函数f和g的卷积定义为f*g[x]＝∑if[i]g[x-i])。
在第三步骤630中，根据先前训练的滤波器权重，通过一组内核大小等于f1*s2*s2的的f2滤波器对f1特征图进行非线性变换。这样就得到一组f2特征图。通过对所述卷积的输出应用ReLu激活函数来完成该层。
接下来，在第四步骤640中，通过3个大小为f2*s3*s3的滤波器(对应颜色通道的数量)重建最终的颜色映射图像。所述创建的输出图像对应曝光e_out＝e_in*R。
将所述输出图像的实例作为输入图像再次传递到所述卷积神经网络，以生成曝光时间更长(或更短，取决于训练的曝光比率：R＞1或R＜1)的其他LDR图像。所述输出图像的数量由所述用户控制。
在图5的方法的第五步骤550中，将所述输入图像和所述生成的颜色映射输出图像合成为最终的HDR图像。有几种生成HDR图像的方法。例如，LDR堆栈可用于估计相机响应函数(CRF)。通过所述估计的CRF将所述LDR转换为辐照度域，然后转换为单个HDR。或者，也可以通过图8所示的多重曝光将LDR图像堆栈直接合成为具有更大动态范围的单个图像。
图7示出了使用针对曝光比率R＝4所训练的映射模型的曝光转换的两个示例。
所述第一示例包括曝光时间为e_in＝125ms的输入图像710。根据所述输入图像生成第一输出图像(“第一映射图像”)712。所述第一输出图像对应的曝光时间为e_out1＝4*125ms＝500ms。将所述第一输出图像作为强度变换的输入，生成第二输出图像(“第二映射图像”)714。所述第二输出图像对应的曝光时间为e_out2＝4*500ms＝2s。
第二示例的图像720、722和724示出了一个不同的场景，但曝光值以及确定方式均与第一示例相同。
图8示出了仅基于一个输入LDR图像810获得单个HDR图像的示例。根据所述第一输入LDR图像810生成第一输出图像812和第二输出图像814(“映射结果”)。将所述输入LDR图像810以及所述映射结果812和814作为输入提供给HDR图像生成算法，从而生成单个HDR图像820。
图9示出了多个块形状。第一块形状902仅包括中心像素。第二块形状904包括中心像素及其四个最近的相邻像素。第三块形状906包括以中心像素为中心的9个像素的矩形块。第四块形状908包括中心像素及其8个最近的相邻像素。还有其他一些可能的块形状，例如，第五块形状910为团状分布。
通常，块形状可以包括所有n个最近的相邻像素，其中，N大于1，例如，N＜5，或N＜10，或N＜20。
其他的块形状912和914可以是“非相干的”，因为它们中的像素不是块形状的一部分。
可以根据所述输入图像的属性，例如，根据所述输入图像的纹理来选择合适的块形状。
如下所述，可以根据所述输入图像的属性来选择块形状：
定义一个包括至少两个候选形状的集合；
对于每个候选形状，根据所述输入图像计算纹理值；
选择具有最大纹理值的块形状。
其中，计算候选形状的纹理值可以包括：
对于所述输入图像的每个像素，将候选形状以所述像素为中心来定义纹理评估块，然后计算所述纹理评估块的纹理值；
对由此获得的输入图像的像素的纹理值求平均值，获得所述候选形状的纹理值。
如上所述，本发明的一些实施例涉及采用机器学习特别是采用卷积神经网络CNN的曝光转换。所述CNN可以学习端到端的非局部映射并生成一个模型，该模型在映射操作中考虑了每个像素的相邻分布。
如上所述，上述根据输入图像生成输出图像的方法的示例性应用包括改变亮度，即，所述输出图像比所述输入图像颜色更暗或更亮(例如，依据特定的曝光比率R)。
改变所述输入图像和所述输出图像之间的设置不限于改变曝光时间，例如，也可以改变ISO值。以下是所述输入图像和所述输出图像的设置的示例：
示例1(改变EV，但ISO保持不变)：
输入设置：ISO 100，EV 12(例如，1/125s，光圈5.6)；
输出设置：ISO 100，EV 13(例如，1/125s，光圈8)；
因此R＝1/2，输出图像比输入图像暗；
示例2(改变EV，但ISO保持不变)：
输入设置：ISO 100，EV 12(例如，1/125s，光圈5.6)；
输出设置：ISO 100，EV 11(例如，1/125s，光圈4)；
因此R＝2，输出图像比输入图像亮；
示例3(改变ISO)；
输入设置：ISO 800，EV 8(例如，1/15s，光圈4)；
输出设置：ISO 100，EV 8(例如，1/15s，光圈4)；
因此R＝1/8，输出图像比输入图像暗；
特别地，所述输入图像和所述输出图像之间的曝光比率R可以是1/4、1/2、2–1/2、2–1/3、21/3、21/2、2、4中的一个值。
优选地，所述源训练图像和所述目标训练图像是通过实验生成的，例如，通过将传感器暴露于具有第一曝光设置的光场，使所述传感器的块呈现第一块状态。随后，可以利用第二曝光设置将所述传感器暴露于相同或相似的光场，使所述块呈现第二块状态(更确切地说，使所述块选中的像素(例如，中心像素)呈现第二像素状态)。所述第一块状态可以构成所述源训练图像，所述第二块状态可以构成所述目标训练图像。
本发明的实施例涉及采用卷积神经网络训练模型的不同曝光图像之间的非局部曝光转换，包括以下一个或多个步骤：
训练曝光转换模型，以估计符合所述训练集所引入的曝光比率的网络参数；
根据所述输入图像的一些预处理自适应选择CNN网络；
根据相邻像素的分布自适应训练曝光转换模型；
自适应选择需要训练的曝光比率；
对输所述入LDR和中间输出图像应用所述训练模型，以创建具有不同曝光时间的输入LDR的多个实例。
上文所有描述仅仅为本发明的实施方式，本发明所保护的范围并不仅限于此。本领域技术人员可以容易地作出任何变化或替换。因此，本发明的保护范围应以所附权利要求的保护范围为准。

Claims (15)

1.一种根据输入图像(102；710、720；810)生成输出图像(104；712、714、722、724；812、814)的图像处理设备(100)，所述输入图像为场景的第一图像，所述输出图像为所述场景的第二图像，其特征在于，所述输出图像对应的曝光度不同于所述输入图像的曝光度；所述图像处理设备包括强度变换器(110)，用于根据输入块(902至914)确定输出像素的一个或多个强度，其中，所述输出像素是所述输出图像的像素，所述输入块包括输入像素和所述输入图像的一个或多个其他像素，所述输入像素是与所述输出像素对应的所述输入图像的像素。
2.根据权利要求1所述的图像处理设备(100)，其特征在于，所述强度变换器(110)用于通过强度变换数据确定所述输出像素的一个或多个强度，其中，所述强度变换数据是通过来自多个源训练图像的源块和来自对应的多个目标训练图像的目标块对机器学习预测值进行训练生成的，所述输入图像(102；710、720；810)的曝光度与所述输出图像(104；712、714、722、724；812、814)的曝光度之间的比率对应于所述源训练图像的曝光度与所述目标训练图像的曝光度之间的比率。
3.根据前述权利要求任一项所述的图像处理设备(100)，其特征在于，所述强度变换器(110)包括卷积神经网络。
4.根据前述权利要求任一项所述的图像处理设备(100)，其特征在于，所述输入块包括所述输入像素及其N个最近的相邻像素，其中，N是大于1的预定数目。
5.根据前述权利要求任一项所述的图像处理设备(100)，其特征在于，还包括高动态范围HDR图像生成器，用于根据所述输入图像(810)和所述输出图像(812、814)生成HDR图像(820)。
6.根据前述权利要求任一项所述的图像处理设备(100)，其特征在于，所述图像处理设备用于生成比所述输入图像对应的曝光时间更短、颜色更暗的输出图像和比所述输入图像对应的曝光时间更长、颜色更亮的输出图像。
7.根据前述权利要求任一项所述的图像处理设备(100)，其特征在于，所述输出像素包括与所述输出像素的颜色分量对应的强度，其中，所述强度变换器(110)用于根据所述输入像素周围的输入块的像素的所有颜色分量对应的强度分别确定所述输出像素的各个强度。
8.根据权利要求2至7中任一项所述的图像处理设备(100)，其特征在于，还包括：变换器选择单元，用于根据所述源图像的曝光设置从多个强度变换器中选择优选的强度变换器(110)。
9.一种图像变换学习设备(200)，其特征在于，所述设备包括：
-块提取单元(210)，用于从多个源训练图像中提取多个源块，从多个目标训练图像中提取对应的多个目标块，其中，每个所述源块包括所述源训练图像各自的至少两个像素，每个所述目标块包括所述目标训练图像各自的至少一个像素；
-机器学习算法(220)，用于从所述多个源块和所述对应的多个目标块中学习强度变换；
其中，所述多个源训练图像对应于所述多个目标训练图像，因为它们是根据相同场景获取的但曝光度不同的成对训练图像。
10.根据权利要求9所述的图像变换学习设备，其特征在于，还包括：对应关系识别单元(230)，用于确定目标训练图像中的所述目标训练图像和源训练图像呈现相同场景的一个或多个区域，尤其是通过确定标识所述源训练图像和所述目标训练图像之间的一个或多个移动区域的二值掩码的方式确定所述一个或多个区域，其中，所述机器学习算法用于仅根据已确认为呈现相同场景的区域中提取的源块和目标块来学习图像变换。
11.根据权利要求9或10所述的图像变换学习设备，其特征在于，所述图像变换学习设备用于通过优化差异度量来学习所述图像变换，特别地，所述差异度量基于根据源训练图像预测的目标图像的强度与所述对应的目标训练图像的强度之间的差异。
12.一种强度变换学习方法(300)，其特征在于，所述方法包括：
-(310)从多个源训练图像中提取多个源块，从多个目标训练图像中提取多个目标块，其中，每个所述源块包括所述源训练图像各自的至少两个像素，每个所述目标块包括所述目标训练图像各自的至少一个像素；
-(320)通过所述多个源块和相应的目标块训练机器学习算法，尤其是卷积神经网络；
其中，所述多个源训练图像对应于所述多个目标训练图像，因为它们是呈现相同场景但曝光度不同的成对训练图像。
13.根据权利要求12所述的方法，其特征在于，还包括通过使用相机将图像传感器曝光到场景中来生成每个所述训练图像。
14.一种根据输入图像生成输出图像(104；712、714、722、724；812、814)的方法(400)，所述输入图像为场景的第一图像，所述输出图像为所述场景的第二图像，其特征在于，所述输出图像对应的曝光度不同于所述输入图像的曝光度；所述方法包括：(410)根据输入像素周围的输入块确定输出像素的一个或多个强度，其中，所述输出像素是所述输出图像的像素，所述输入像素是与所述输出像素对应的所述输入图像的像素，特别地，所述确定输出像素的一个或多个强度由通过权利要求12或13所述的方法习得的强度变换来执行。
15.一种存储程序代码的计算机可读存储介质，其特征在于，所述程序代码包括用于执行权利要求12至14中任一项所述的方法的指令。
CN201680086854.3A 2016-06-17 2016-06-17 曝光相关的亮度变换 Active CN109791688B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2016/064060 WO2017215767A1 (en) 2016-06-17 2016-06-17 Exposure-related intensity transformation

Publications (2)

Publication Number Publication Date
CN109791688A true CN109791688A (zh) 2019-05-21
CN109791688B CN109791688B (zh) 2021-06-01

Family

ID=56345092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680086854.3A Active CN109791688B (zh) 2016-06-17 2016-06-17 曝光相关的亮度变换

Country Status (4)

Country Link
US (1) US10666873B2 (zh)
EP (1) EP3350767B1 (zh)
CN (1) CN109791688B (zh)
WO (1) WO2017215767A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108471495A (zh) * 2018-02-02 2018-08-31 上海大学 机器学习和深度学习训练用的物体多角度图像采集***及方法
CN112669241A (zh) * 2021-01-29 2021-04-16 成都国科微电子有限公司 一种图像处理方法、装置、设备及介质
CN112839181A (zh) * 2020-12-30 2021-05-25 上海掌门科技有限公司 一种用于生成高动态范围图像的方法与设备

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10863105B1 (en) 2017-06-27 2020-12-08 Amazon Technologies, Inc. High dynamic range imaging for event detection and inventory management
CN110832541B (zh) * 2017-06-28 2022-10-04 华为技术有限公司 图像处理装置和方法
US10672164B2 (en) 2017-10-16 2020-06-02 Adobe Inc. Predicting patch displacement maps using a neural network
US10614557B2 (en) 2017-10-16 2020-04-07 Adobe Inc. Digital image completion using deep learning
WO2019112085A1 (en) * 2017-12-06 2019-06-13 Korea Advanced Institute Of Science And Technology Method and apparatus for inverse tone mapping
WO2019118319A1 (en) 2017-12-15 2019-06-20 Gopro, Inc. High dynamic range processing on spherical images
US10755391B2 (en) 2018-05-15 2020-08-25 Adobe Inc. Digital image completion by learning generation and patch matching jointly
CN108737750A (zh) * 2018-06-07 2018-11-02 北京旷视科技有限公司 图像处理方法、装置及电子设备
US20210217151A1 (en) * 2018-08-29 2021-07-15 Tonetech Inc. Neural network trained system for producing low dynamic range images from wide dynamic range images
WO2020048359A1 (en) * 2018-09-06 2020-03-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for improving quality of low-light images
US11158286B2 (en) * 2018-10-05 2021-10-26 Disney Enterprises, Inc. Machine learning color science conversion
CN109143796B (zh) * 2018-10-26 2021-02-12 中国科学院微电子研究所 确定光刻光源的方法、装置及模型训练方法、装置
US10417497B1 (en) 2018-11-09 2019-09-17 Qwake Technologies Cognitive load reducing platform for first responders
US11890494B2 (en) 2018-11-09 2024-02-06 Qwake Technologies, Inc. Retrofittable mask mount system for cognitive load reducing platform
US10896492B2 (en) 2018-11-09 2021-01-19 Qwake Technologies, Llc Cognitive load reducing platform having image edge enhancement
CN109618094A (zh) * 2018-12-14 2019-04-12 深圳市华星光电半导体显示技术有限公司 图像处理方法及图像处理***
JP7237625B2 (ja) * 2019-02-08 2023-03-13 株式会社ダイヘン 移動体、及び画像補正装置
US11107205B2 (en) * 2019-02-18 2021-08-31 Samsung Electronics Co., Ltd. Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames
US10992902B2 (en) 2019-03-21 2021-04-27 Disney Enterprises, Inc. Aspect ratio conversion with machine learning
CN111741211B (zh) 2019-03-25 2022-07-29 华为技术有限公司 图像显示方法和设备
CN110072051B (zh) * 2019-04-09 2021-09-03 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法和装置
US10546216B1 (en) * 2019-04-11 2020-01-28 Seetree Systems Ltd. Recurrent pattern image classification and registration
JP2021034749A (ja) * 2019-08-13 2021-03-01 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US11915376B2 (en) 2019-08-28 2024-02-27 Qwake Technologies, Inc. Wearable assisted perception module for navigation and communication in hazardous environments
WO2021112550A1 (en) * 2019-12-02 2021-06-10 Samsung Electronics Co., Ltd. System and method for generating multi-exposure frames from single input
US10944914B1 (en) * 2019-12-02 2021-03-09 Samsung Electronics Co., Ltd. System and method for generating multi-exposure frames from single input
WO2021145682A1 (en) * 2020-01-13 2021-07-22 Samsung Electronics Co., Ltd. Method of fast estimation of scene brightness and optimal camera exposure
CN111246091B (zh) * 2020-01-16 2021-09-03 北京迈格威科技有限公司 一种动态自动曝光控制方法和装置及电子设备
EP4049235A4 (en) * 2020-01-23 2023-01-11 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND ELECTRONIC DEVICE CONTROL METHOD
CN111986106B (zh) * 2020-07-30 2023-10-13 南京大学 一种基于神经网络的高动态图像重建方法
US11778335B2 (en) * 2020-10-23 2023-10-03 Black Sesame Technologies Inc. Generating high dynamic range video using low dynamic range image sensor
CN113012079B (zh) * 2021-05-25 2021-08-03 南京索安电子有限公司 低亮度车底图像增强方法、装置及存储介质
CN113852765A (zh) * 2021-05-31 2021-12-28 天翼智慧家庭科技有限公司 一种基于自编码机的hdr单帧合成方法
US11943540B2 (en) * 2021-09-30 2024-03-26 Texas Instruments Incorporated Method and apparatus for automatic exposure
WO2023186417A1 (en) * 2022-03-31 2023-10-05 Deepmind Technologies Limited Enhancing images from a mobile device to give a professional camera effect

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1014687A2 (en) * 1998-12-18 2000-06-28 Eastman Kodak Company Correcting exposure and tone scale of digital images captured by an image capture device
US20100246940A1 (en) * 2009-03-25 2010-09-30 Micro-Star Internationa'l Co., Ltd. Method of generating hdr image and electronic device using the same
CN101859430A (zh) * 2009-04-09 2010-10-13 微星科技股份有限公司 产生高动态范围图像的方法及电子装置
CN103413286A (zh) * 2013-08-02 2013-11-27 北京工业大学 一种基于学习的高动态范围与高分辨率图像联合重建方法
CN103731660A (zh) * 2012-10-12 2014-04-16 辉达公司 用于优化数字相机中图像质量的***和方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822762B2 (en) 2000-03-31 2004-11-23 Hewlett-Packard Development Company, L.P. Local color correction
JP2014515587A (ja) * 2011-06-01 2014-06-30 ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー デジタル画像装置用の画像処理パイプラインの学習
US20140152848A1 (en) * 2012-12-04 2014-06-05 Nvidia Corporation Technique for configuring a digital camera
US10089764B2 (en) * 2014-02-20 2018-10-02 Adobe Systems Incorporated Variable patch shape synthesis
GB201420876D0 (en) * 2014-11-24 2015-01-07 Univ East Anglia Method and system for determining parameters of an image processing pipeline of a digital camera
US10460231B2 (en) * 2015-12-29 2019-10-29 Samsung Electronics Co., Ltd. Method and apparatus of neural network based image signal processor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1014687A2 (en) * 1998-12-18 2000-06-28 Eastman Kodak Company Correcting exposure and tone scale of digital images captured by an image capture device
US20100246940A1 (en) * 2009-03-25 2010-09-30 Micro-Star Internationa'l Co., Ltd. Method of generating hdr image and electronic device using the same
CN101859430A (zh) * 2009-04-09 2010-10-13 微星科技股份有限公司 产生高动态范围图像的方法及电子装置
CN103731660A (zh) * 2012-10-12 2014-04-16 辉达公司 用于优化数字相机中图像质量的***和方法
CN103413286A (zh) * 2013-08-02 2013-11-27 北京工业大学 一种基于学习的高动态范围与高分辨率图像联合重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHICHENG YAN，ET AL: "Automatic Photo Adjustment Using Deep Neural Networks", 《ACM TRANSACTIONS ON GRAPHICS》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108471495A (zh) * 2018-02-02 2018-08-31 上海大学 机器学习和深度学习训练用的物体多角度图像采集***及方法
CN112839181A (zh) * 2020-12-30 2021-05-25 上海掌门科技有限公司 一种用于生成高动态范围图像的方法与设备
CN112839181B (zh) * 2020-12-30 2022-10-11 上海掌门科技有限公司 一种用于生成高动态范围图像的方法与设备
CN112669241A (zh) * 2021-01-29 2021-04-16 成都国科微电子有限公司 一种图像处理方法、装置、设备及介质
CN112669241B (zh) * 2021-01-29 2023-11-14 成都国科微电子有限公司 一种图像处理方法、装置、设备及介质

Also Published As

Publication number Publication date
US10666873B2 (en) 2020-05-26
CN109791688B (zh) 2021-06-01
US20180241929A1 (en) 2018-08-23
EP3350767B1 (en) 2020-06-03
WO2017215767A1 (en) 2017-12-21
EP3350767A1 (en) 2018-07-25

Similar Documents

Publication Publication Date Title
CN109791688A (zh) 曝光相关的亮度变换
US11055827B2 (en) Image processing apparatus and method
CN104717432A (zh) 处理一组输入图像的方法、图像处理设备和数字照相机
CN110276767A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109376667A (zh) 目标检测方法、装置及电子设备
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
CN110428366A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110473185A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109087315B (zh) 一种基于卷积神经网络的图像识别定位方法
CN108256547A (zh) 生成用于基于机器学习的对象识别***的训练图像
CN112561813B (zh) 人脸图像增强方法、装置、电子设备及存储介质
CN110276831A (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
Blanch et al. End-to-end conditional gan-based architectures for image colourisation
Mukherjee et al. Object detection under challenging lighting conditions using high dynamic range imagery
CN109565577A (zh) 色彩校正装置、色彩校正***、色彩校正用全息图、色彩校正方法以及程序
JP2021189527A (ja) 情報処理装置、情報処理方法及びプログラム
CN114372931A (zh) 一种目标对象虚化方法、装置、存储介质及电子设备
US11443414B2 (en) Image signal processing
Panetta et al. Novel multi-color transfer algorithms and quality measure
CN111738964A (zh) 一种基于建模的图像数据增强的方法
JP4359662B2 (ja) カラー画像の露出補正方法
CN109242793A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
Korus et al. Neural imaging pipelines-the scourge or hope of forensics?
Martin et al. UD-ETR Based Restoration & CNN Approach for Underwater Object Detection from Multimedia Data
CN112419305B (zh) 人脸光照质量检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant