CN114998120B - 暗光图像优化训练方法、智能终端及计算机可读存储介质 - Google Patents

暗光图像优化训练方法、智能终端及计算机可读存储介质 Download PDF

Info

Publication number
CN114998120B
CN114998120B CN202210536653.6A CN202210536653A CN114998120B CN 114998120 B CN114998120 B CN 114998120B CN 202210536653 A CN202210536653 A CN 202210536653A CN 114998120 B CN114998120 B CN 114998120B
Authority
CN
China
Prior art keywords
image
loss function
initial
illumination
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210536653.6A
Other languages
English (en)
Other versions
CN114998120A (zh
Inventor
王晓晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xiaopai Technology Co ltd
Original Assignee
Shenzhen Xiaopai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xiaopai Technology Co ltd filed Critical Shenzhen Xiaopai Technology Co ltd
Priority to CN202210536653.6A priority Critical patent/CN114998120B/zh
Publication of CN114998120A publication Critical patent/CN114998120A/zh
Application granted granted Critical
Publication of CN114998120B publication Critical patent/CN114998120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种暗光图像优化训练方法、智能终端及计算机可读存储介质，包括步骤：将待训练图像数据集输入至初始图像分解网络模块，得到初始分解图像集；根据所述初始分解图像集，确定所述待训练图像数据集的第一损失函数和第二损失函数；将所述初始分解图像集中的暗光线图像集输入至初始复原模块，得到初始复原图像集；根据所述初始复原图像集和所述初始分解图像集，确定所述待训练图像数据集的第三损失函数和第四损失函数；根据所述第一损失函数和所述第二损失函数，得到训练后的图像分解网络模块，并根据第三损失函数和所述第四损失函数，得到训练后的复原模块。通过本发明，能够对暗光线图像进行优化，使得更加贴近正常光线下的图像。

Description

暗光图像优化训练方法、智能终端及计算机可读存储介质
技术领域
本发明涉及图像处理领域，尤其涉及一种暗光图像优化训练方法、智能终端及计算机可读存储介质。
背景技术
摄像头拍照效果除了受到自身硬件的影响外，环境光线明暗程度也会严重影响图像质量。当环境光线过暗时，摄像头拍摄的图像无法清晰分辨，对安防工作者造成很大的困难，另外，人们对手机、相机等移动拍照设备要求越来越高，在暗光线环境中拍摄的图像往往不令人满意，所以对暗光图像优化训练的技术进行研究有着重要意义。但现有的暗光图像优化训练的技术存在着成本高以及图像处理效果不佳的技术缺陷。
发明内容
本发明提出的一种暗光图像优化训练方法、智能终端及计算机可读存储介质，旨在解决现有的暗光图像优化训练的技术成本高以及图像处理效果不佳的技术问题。
为实现上述目的，本发明提供一种暗光图像优化训练方法，所述暗光图像优化训练方法包括以下步骤：
将待训练图像数据集输入至初始图像分解网络模块，得到初始分解图像集；
根据所述初始分解图像集，确定所述待训练图像数据集的第一损失函数和第二损失函数；
将所述初始分解图像集中的暗光线图像集输入至初始复原模块，得到初始复原图像集；
根据所述初始复原图像集和所述初始分解图像集，确定所述待训练图像数据集的第三损失函数和第四损失函数；
根据所述第一损失函数和所述第二损失函数，得到训练后的图像分解网络模块，并根据第三损失函数和所述第四损失函数，得到训练后的复原模块。
可选地，所述待训练图像数据集包括标签图像和暗光线图像；所述初始分解图像集包括所述标签图像对应的标签反射光图像和标签光照图像，以及所述暗光线图像对应的暗光线反射光图像和暗光线光照图像；所述确定所述待训练图像数据集的第一损失函数和第二损失函数的步骤，包括：
确定所述标签反射光图像和所述标签光照图像之间的第一损失函数，并确定所述暗光线反射光图像和所述暗光线光照图像之间的第二损失函数。
可选地，所述暗光线图像集包括所述暗光线反射光图像和所述暗光线光照图像；所述初始复原模块包括初始反射复原模块和初始光照调节模块；所述初始复原图像集包括第一复原图像和第二复原图像；所述将所述初始分解图像集中的暗光线图像集输入至初始复原模块，得到初始复原图像集的步骤，包括：
将所述暗光线反射光图像输入至所述初始反射复原模块以得到所述第一复原图像，并将所述暗光线光照图像输入至所述初始光照调节模块以得到所述第二复原图像；
可选地，所述确定所述待训练图像数据集的第三损失函数和第四损失函数的步骤，包括：
确定所述第一复原图像与所述标签反射光图像之间的第三损失函数，并确定所述第二复原图像与所述标签光照图像之间的第四损失函数。
可选地，所述训练后的复原模块包括训练后的反射复原模块和训练后的光照调节模块；所述根据第三损失函数和所述第四损失函数，得到训练后的复原模块的步骤，包括：
根据所述第三损失函数，得到所述训练后的反射复原模块，并根据所述第四损失函数，得到所述训练后的光照调节模块；
可选地，根据第三损失函数和所述第四损失函数，得到训练后的复原模块的步骤之后，包括：
将所述第一复原图像和所述第二复原图像输入至预设的初始亮度调整曲线以得到所述暗光线图像对应的重构图像；
确定所述重构图像与所述标签图像之间的第五损失函数；
根据所述第五损失函数优化所述初始亮度调整曲线以得到训练后的亮度调整曲线。
可选地，所述确定所述重构图像与所述标签图像之间的第五损失函数的步骤，包括：
确定所述重构图像与所述标签图像之间的正则化函数，并确定所述重构图像与所述标签图像之间的结构相似性损失函数，以及确定所述重构图像与所述标签图像之间的色彩损失函数；
将所述正则化函数、结构相似性损失函数与所述色彩损失函数之间的加权和作为第五损失函数。
可选地，所述确定所述标签反射光图像和所述标签光照图像之间的第一损失函数，并确定所述暗光线反射光图像和所述暗光线光照图像之间的第二损失函数的步骤，包括：
确定所述标签反射光图像和所述标签光照图像之间的第一正则化函数，将所述第一正则化函数作为第一损失函数，并确定所述暗光线反射光图像和所述暗光线光照图像之间的第二正则化函数，将所述第二正则化函数作为第二损失函数；
可选地，所述确定所述第一复原图像与所述标签反射光图像之间的第三损失函数的步骤，包括：
确定所述第一复原图像与所述标签反射光图像之间的正则化函数，并确定所述第一复原图像与所述标签反射光图像之间的结构相似性损失函数；
将所述正则化函数和所述结构相似性损失函数之间的加权和作为第三损失函数。
可选地，所述确定所述第二复原图像与所述标签光照图像之间的第四损失函数的步骤，包括：
确定所述标签光照图像与所述第二复原图像之间的正则化函数，并基于所述正则化函数确定所述标签光照图像与所述第二复原图像之间的梯度损失函数；
将所述正则化函数与所述损失函数之间的加权和作为第四损失函数。
可选地，所述根据所述第五损失函数优化所述初始亮度调整曲线以得到训练后的亮度调整曲线的步骤之后，包括：
将待优化暗光线图像输入至所述训练后的图像分解网络模块以得到待优化反射光图像和待优化光照图像；
将所述待优化反射光图像输入至所述训练后的反射复原模块以得到待优化反射复原图像，并将所述待优化光照图像输入至所述训练后的光照调节模块以得到待优化光照复原图像；
将所述待优化反射复原图像和所述待优化光照复原图像输入至所述训练后的亮度调整曲线以得到目标效果图像。
此外，为实现上述目的，本发明还提供一种智能终端，所述智能终端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的暗光图像优化训练程序，其中：所述暗光图像优化训练程序被所述处理器执行时实现如上所述的暗光图像优化训练方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有暗光图像优化训练程序，所述暗光图像优化训练程序被处理器执行时实现如上所述的暗光图像优化训练方法的步骤。
本发明中的暗光图像优化训练方法基于简单的卷积神经网络，通过初始图像分解网络模块对标签图像和暗光线图像进行分解以区分各自的反射光图像和光照图像，确定所述标签反射光图像和所述标签光照图像之间的第一损失函数以及确定所述暗光线反射光图像和所述暗光线光照图像之间的第二损失函数，从而对初始图像分解网络模块进行迭代优化以得到训练后的分解网络模块；又根据确定的所述第一复原图像与所述标签反射光图像之间的第三损失函数，以及所述标签光照图像与所述第二复原图像之间的第四损失函数，通过第三损失函数对初始反射复原模块进行迭代优化以得到训练后的反射复原模块，并通过第四损失函数对初始光照调节模块以得到训练后的光照调节模块，之后只需将需要优化的暗光线图像输入到训练后的图像分解网络模块、反射复原模块、光照调节模块中就能够得到更贴近正常光下的图像，并且得到的图像能够具备更多的细节，更少的噪声以及更真实的色彩。
附图说明
图1为本发明实施例方案涉及的智能终端的硬件运行环境的终端结构示意图；
图2为本发明暗光图像优化训练方法第一实施例的流程示意图；
图3为本发明暗光图像优化训练方法第一实施例的涉及的初始图像分解网络模块的模型结构示意图；
图4为本发明暗光图像优化训练方法第一实施例的涉及的整体框架流程示意图；
图5为本发明暗光图像优化训练方法第二实施例的涉及的整体框架流程示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明总述：将图像分解为反射光图像和光照图像，即：对图像的原始空间解耦为两个较小的空间，这样可以让模型更好地实现正则化学习，并设计一个图像解耦网络模型(初始图像分解网络模块)，将采集图像对(暗光线图像和标签图像)都分解为对应的反射光图像和光照图像，然后设计一个反射光图像复原模块和光照调整模块，分别对暗光线的反射光图像和光照图像进行模型训练，得到输出反射光图像和光照图像，光照调整模块可以实现自由调整光照图像。然后通过对图像和进行点乘操作复原。最后设计一种亮度调整曲线对图像进行微调学习，实现像素级别的微调增强，一方面可以提升模型的泛化能力，另一方面可以更好优化网络参数，使输出图像更加逼近目标图像(正常光线图像)。
如图1所示，图1是本发明实施例方案涉及的智能终端的硬件运行环境的终端结构示意图。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示器(Display)、输入单元比如控制面板，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WLAN接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。作为一种计算机存储介质的存储器1005中可以包括暗光图像优化训练程序。
可选地，终端还可以包括麦克风、扬声器、RF(Radio Frequency，射频)电路，传感器、音频电路、无线模块等等。其中，传感器比如红外传感器、距离传感器以及其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图2所示，图2是本发明暗光图像优化训练方法第一实施例的流程示意图，在本实施例中，所述方法包括：
步骤S10，将待训练图像数据集输入至初始图像分解网络模块，得到初始分解图像集；
在本实施例中，待训练图像数据集是已经经过分类和标注过的图像数据集，待训练图像数据集包括标签图像和暗光线图像，初始分解图像集包括所述标签图像对应的标签反射光图像和标签光照图像，以及所述暗光线图像对应的暗光线反射光图像和暗光线光照图像。
待训练图像数据集的来源可以是网络公开数据集GLAD、LOL、LSSR等有监督的初始数据集。对初始数据集进行筛选和有规则命名，使得暗光线图像和标签图像成一一对应关系，将数据集按6:3:1的比例随机划分为训练集、测试集、验证集，从而得到待训练图像数据集，将待训练图像数据集用于模型训练。其中，标签图像为正常光线下的正常光线图像。
其中的初始图像分解网络模块是基于卷积神经网络搭建的初始模型模块，通过深度学习卷积神经网络方法将暗光线图像和标签图像进行解耦为反射光图像和光照图像，其模型结构如图3所示，在图3中，将正常光线图像和对应的暗光线图像输入到简单的CNN(卷积神经网络)卷积网络，并分别通过激活函数将正常光线图像(标签图像)解耦为反射光R_normal(标签反射光图像)、反射光R_low(暗光线反射光图像)以及光照L_normal(标签光照图像)和光照L_low(暗光线光照图像)。这里的初始图像分解网络模块就是基于上述卷积神经网络和激活函数搭建的模型。
步骤S20，根据所述初始分解图像集，确定所述待训练图像数据集的第一损失函数和第二损失函数；
为了更清楚地了解本实施例，可以参照图4，在图4中，R_normal(标签反射光图像)与反射光R_low(暗光线反射光图像)之间通过计算Loss1(第一损失函数)对初始模型模块进行不断优化调整，使得暗光线反射光图像与标签反射光图像之间的相似度越来越接近直到无法再进一步优化调整。
光照L_normal(标签光照图像)和光照L_low(暗光线光照图像)之间计算Loss2(第二损失函数)对初始模型模块进行不断优化调整，使得暗光线光照图像与标签光照图像之间的相似度越来越接近直到无法再进一步优化调整。
步骤S30，将所述初始分解图像集中的暗光线图像集输入至初始复原模块，得到初始复原图像集；
暗光线图像集包括上述的暗光线反射光图像和暗光线光照图像；初始复原模块包括初始反射复原模块和初始光照调节模块；初始复原图像集包括第一复原图像和第二复原图像。
具体地，所述步骤S30，包括：
将所述暗光线反射光图像输入至所述初始反射复原模块以得到所述第一复原图像，并将所述暗光线光照图像输入至所述初始光照调节模块以得到所述第二复原图像。
继续参照图4，其中的反射复原模块(初始反射复原模块)是基于Unet结构的网络模块，优选地，基于Unet3+版本结构的网络模块。其中Unet3+版本具有提取特征能力强，模型参数量小的特点，将暗光线反射光图像输入至基于Unet3+的初始反射复原模块就能够快速地得到的R_R(第一复原图像)，并且第一复原图像具有更多的图像细节。
其中的光照调节模块(初始光照调节模块)基于深度学习CNN卷积模型，用于提取述暗光线光照图像的光照图像特征，将暗光线下的光照图像作为输入，将输出结果L_A(第二复原图像)和标签光照图像计算损失函数(第四损失函数)进行反向传播，进行迭代优化，从而使训练后的该模型能从暗光线光照图像中复原出正常光线下的光照图像。
步骤S40，根据所述初始复原图像集和所述初始分解图像集，确定所述待训练图像数据集的第三损失函数和第四损失函数；
继续参照图4，计算第一复原图像与标签反射光图像之间的Loss3(第三损失函数)以进行反向传播，迭代优化。计算标签光照图像与第二复原图像之间的Loss4(第四损失函数)以进行反向传播，迭代优化。
步骤S50，根据所述第一损失函数和所述第二损失函数，得到训练后的图像分解网络模块，并根据第三损失函数和所述第四损失函数，得到训练后的复原模块。
训练后的复原模块包括训练后的反射复原模块和训练后的光照调节模块。
根据第一损失函数和第二损失函数对初始图像分解网络模块进行迭代优化直到损失函数曲线不下降没有优化空间为止，从而得到训练后的图像分解网络模块。同样地，根据第三损失函数对初始反射复原模块进行迭代优化直到损失函数曲线不下降没有优化空间为止，从而得到训练后的反射复原模块。根据第四损失函数对初始光照调节模块进行迭代优化直到损失函数曲线不下降没有优化空间为止，从而得到训练后的光照调节模块。至此，就能够基于以上训练后的图像分解网络模块、反射复原模块以及光照调节模块，将需要优化的暗光线图像输入到图像分解网络模块，依次再同时传递至反射复原模块和光照调节模块就能够得到正常光线效果的输出图像，并且输出图像质量更加出色，纹理更加清晰，能够保留更多的细节，以及更少的噪声。
本发明中的暗光图像优化训练方法基于简单的卷积神经网络，通过初始图像分解网络模块对标签图像和暗光线图像进行分解以区分各自的反射光图像和光照图像，确定所述标签反射光图像和所述标签光照图像之间的第一损失函数以及确定所述暗光线反射光图像和所述暗光线光照图像之间的第二损失函数，从而对初始图像分解网络模块进行迭代优化以得到训练后的分解网络模块；又根据确定的所述第一复原图像与所述标签反射光图像之间的第三损失函数，以及所述标签光照图像与所述第二复原图像之间的第四损失函数，通过第三损失函数对初始反射复原模块进行迭代优化以得到训练后的反射复原模块，并通过第四损失函数对初始光照调节模块以得到训练后的光照调节模块，之后只需将需要优化的暗光线图像输入到训练后的图像分解网络模块、反射复原模块、光照调节模块中就能够得到更贴近正常光下的图像，并且得到的图像能够具备更多的细节，更少的噪声以及更真实的色彩。
如图5所示，图5为本发明暗光图像优化训练方法第二实施例的涉及的整体框架流程示意图。进一步地，基于本发明暗光图像优化训练方法的第一实施例提出本发明暗光图像优化训练方法的第二实施例，在本实施例中，所述根据第三损失函数和所述第四损失函数，得到训练后的复原模块的步骤之后，包括：
步骤a，将所述第一复原图像和所述第二复原图像输入至预设的初始亮度调整曲线以得到所述暗光线图像对应的重构图像；
步骤b，确定所述重构图像与所述标签图像之间的第五损失函数；
步骤c，根据所述第五损失函数优化所述初始亮度调整曲线以得到训练后的亮度调整曲线。
参照图5，图5是在图4的基础上又增加了光照调整曲线(初始亮度调整曲线)，通过亮度调整曲线对反射复原模块和光照调节模块输出的图像进行微调，从而使经训练后的亮度调整曲线最终的输出图像具有更加真实的色彩以及确保图像亮度的均衡。
具体地，所述初始亮度调整曲线和训练后的亮度调整曲线对应的表达式都为LE(I,A)＝I+AI(1-I)，
其中，所述I为输入至所述初始亮度调整曲线的图像参数，所述LE为所述初始亮度调整曲线输出的图像参数，所述A为亮度微调矩阵。
其中，上述的亮度调整曲线对应的表达式的设计过程如下：
该亮度调整曲线的设计需要满足以下三个性质：
(1)防止数值被截断，导致图像信息丢失，将图像的数值应包含在[0,1]区间内。
(2)曲线可以进行反向传播，使网络参数可以被更新。
(3)曲线是单调的高阶(二)函数，保证图像对比度。
结合以上三个性质，亮度调整曲线可以被设计为如下的形式：
LE(I,a)＝I+aI(1-I) (1)
表达式(1)中的a表示图像动态调节范围参数，但是这里a只能从全局调整图像的亮度，为了能从局部调整图像的亮度，将公式(1)进行改进如下:
LE(I,A)＝I+AI(1-I) (2)
即，从而就得到了亮度调整曲线对应的表达式(2)，由于A是关于输入图像的像素参数的亮度微调矩阵，相较于传统的亮度调整曲线对图像全局进行亮度调节，能够对图像进行像素级别的亮度调整，即能够对图像进行不同局部的明暗调整，从而使得最终输出的图像更加符合正常光线下的图像。并且在上述训练后的图像分解网络模块、反射复原模块和光照调节模块的基础上，输入到训练后的亮度调整曲线只需要迭代优化一次就能够得到预期的目标效果图像。
其中，将第一复原图像和所述第二复原图像输入至初始亮度调整曲线点乘重构以得到所述暗光线图像对应的重构图像，也可以在输入初始亮度调整曲线之前进行点乘得到重构图像后再输入至初始亮度调整曲线。
在一实施例中，所述确定所述重构图像与所述标签图像之间的第五损失函数的步骤，包括：
确定所述重构图像与所述标签图像之间的正则化函数，并确定所述重构图像与所述标签图像之间的结构相似性损失函数，以及确定所述重构图像与所述标签图像之间的色彩损失函数；
将所述正则化函数、结构相似性损失函数与所述色彩损失函数之间的加权和作为第五损失函数。
具体地，上述正则化函数可以为L2正则化函数，L2正则化函数即MSE(Mean SquareError，均方误差)。
参照图5，在Loss5损失函数(第五损失函数)中使用L2正则化函数来衡量亮度调整图像(Brightness Adjustment Image)与标签图像之间的相似性，即：利用结构相似性损失函数来衡量两者之间的相似性，即：SSIM(B_E,I_normal),前面的损失函数除了让训练图像和目标图像尽可能相似外，更希望能够训练出更多的细节，而在亮度调整曲线中，还希望能够训练出更好亮度调整参数，因此引入了颜色损失(Color Loss)计算两幅图像在色彩上的相似性，即：L_color(B_E,I_normal)。因此Loss5的总损失可以表示为：
这里的各个加权系数可以根据实际需要设置，在此不做限制。
根据Loss5损失函数对初始亮度调整曲线进行迭代优化直至没有优化空间，从而就得到了训练后的亮度调整曲线，当需要进一步优化的暗光线图像作为输入图像经过训练后的亮度调整曲线就能够得到色彩和亮度更加均匀和真实的输出图像。
进一步地，基于本发明暗光图像优化训练方法的上述实施例提出本发明暗光图像优化训练方法的第三实施例，在本实施例中，所述确定所述待训练图像数据集的第一损失函数和第二损失函数的步骤，包括：
确定所述标签反射光图像和所述标签光照图像之间的第一损失函数，并确定所述暗光线反射光图像和所述暗光线光照图像之间的第二损失函数。
具体地，所述确定所述标签反射光图像和所述标签光照图像之间的第一损失函数，并确定所述暗光线反射光图像和所述暗光线光照图像之间的第二损失函数的步骤，包括：
确定所述标签反射光图像和所述标签光照图像之间的第一正则化函数，将所述第一正则化函数作为第一损失函数，并确定所述暗光线反射光图像和所述暗光线光照图像之间的第二正则化函数，将所述第二正则化函数作为第二损失函数。
以下实施例都继续参照图5。
在本实施例中，其中的第一正则化函数和第二正则化函数都可以为L2正则化函数的范畴，在此只是区别两者属于不同的对应关系。
在Loss1损失函数中使用L2正则化函数来衡量反射光图像之间的相似性，即：在Loss2损失函数中也使用L2正则化函数来衡量光照图像之间的相似性，即：/>
通过在第一损失函数和第二损失函数的共同作用下，能够对初始图像分解网络模块进行迭代优化从而得到训练后的图像分解网络模块，进而将需要优化的暗光线图像输入到训练后的图像分解网络模块能够分解出更贴近正常光线效果的光照图像和反射光图像。
在一实施例中，所述确定所述待训练图像数据集的第三损失函数和第四损失函数的步骤，包括：
确定所述第一复原图像与所述标签反射光图像之间的第三损失函数，并确定所述第二复原图像与所述标签光照图像之间的第四损失函数。
具体地，所述根据第三损失函数和所述第四损失函数，得到训练后的复原模块的步骤，包括：
根据所述第三损失函数，得到所述训练后的反射复原模块，并根据所述第四损失函数，得到所述训练后的光照调节模块；
对于第三损失函数：
所述确定所述第一复原图像与所述标签反射光图像之间的第三损失函数的步骤，包括：
确定所述第一复原图像与所述标签反射光图像之间的正则化函数，并确定所述第一复原图像与所述标签反射光图像之间的结构相似性损失函数；
将所述正则化函数和所述结构相似性损失函数之间的加权和作为第三损失函数。
具体地，在Loss3损失函数中使用L2正则化函数来衡量反射复原图像(第一复原图像)与标签反射光图像之间的相似性，即：另外利用结构相似性损失函数来衡量两者之间的相似性，即：SSIM(R_R,R_normal),Loss3损失函数为以上两个损失的加权和，即：/>这里的加权系数可以根据实际需要设置，在此不做限制。
通过第三损失函数，能够对初始反射复原模块进行迭代优化从而得到训练后的反射复原模块，进而将经过训练后的图像分解网络模块需要进一步优化的暗光线反射光图像进行细节化复原，使得贴近正常光线效果下的反射光图像。
对于第四损失函数：
确定所述第二复原图像与所述标签光照图像之间的第四损失函数的步骤，包括：
确定所述标签光照图像与所述第二复原图像之间的正则化函数，并基于所述正则化函数确定所述标签光照图像与所述第二复原图像之间的梯度损失函数；
将所述正则化函数与所述损失函数之间的加权和作为第四损失函数。
具体地，在Loss4损失函数中使用L2正则化函数来衡量光照复原图像(第二复原图像)与标签光照图像之间的相似性，即：通过设计/>梯度损失函数让光照复原图像与标签光照图像在纹理方面尽可能接近，拥有更多纹理细节,因此Loss4的总损失可以表示为：/>这里的加权系数可以根据实际需要设置，在此不做限制。
通过第四损失函数，能够对初始光照调节模块进行迭代优化从而得到训练后的光照调节模块，进而将经过训练后的图像分解网络模块需要进一步优化的暗光线光照图像进行细节化复原，使得贴近正常光线效果下的光照图像。
另外，为了使模型具有更强的泛化能力，以上的图像分解网络模块、反射复原模块以及光照调节模块的模型训练过程中，可以通过旋转、剪切、色彩变换等手段进行图像增强，并且可以利用Tensorflow、Pytorch等框架进行模型搭建，以及对模型进行初始化、合理设计超参数、加载数据集对模型进行训练。
进一步地，基于本发明暗光图像优化训练方法的上述实施例提出本发明暗光图像优化训练方法的第四实施例，在本实施例中，所述根据所述第五损失函数优化所述初始亮度调整曲线以得到训练后的亮度调整曲线的步骤之后，包括：
将待优化暗光线图像输入至所述训练后的图像分解网络模块以得到待优化反射光图像和待优化光照图像；
将所述待优化反射光图像输入至所述训练后的反射复原模块以得到待优化反射复原图像，并将所述待优化光照图像输入至所述训练后的光照调节模块以得到待优化光照复原图像；
将所述待优化反射复原图像和所述待优化光照复原图像输入至所述训练后的亮度调整曲线以得到目标效果图像。
在本实施例中，就是用到了以上实施例中的训练后的图像分解网络模块、反射复原模块以及光照调节模块，如果用户需要对一张或者一些暗光线环境下拍摄的图像进行后期的优化增强，可以将这种待优化暗光线图像输入到训练后的所述图像分解网络模块进行图像的分解，依次同时再经过训练后的反射复原模块以及光照调节模块将分解得到的待优化反射光图像和待优化光照图像复原为具有更加清晰的纹理和细节的图像，最后通过训练后的亮度调整曲线对待优化反射复原图像和所述待优化光照复原图像点乘后待优化重构图像进行微调，并且只需要单次微调就能够使得最终输出的目标效果图像具有更多的细节，更少的噪声，更加平衡真实的色彩和对比度。
此外，本发明还提出一种智能终端，所述智能终端包括存储器、处理器及存储在存储器上并可在处理器上运行的暗光图像优化训练程序，所述处理器执行所述暗光图像优化训练程序时实现如以上实施例所述的暗光图像优化训练方法的步骤。
本发明的智能终端具体实施方式与上述暗光图像优化训练方法各实施例基本相同，在此不再赘述。
此外，本发明还提出一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括暗光图像优化训练程序，所述暗光图像优化训练程序被处理器执行时实现如以上实施例所述的暗光图像优化训练方法的步骤。
本发明可读存储介质具体实施方式与上述暗光图像优化训练方法各实施例基本相同，在此不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是智能终端机，手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
在本发明中，术语“第一”“第二”“第三”“第四”“第五”仅用于描述的目的，而不能理解为指示或暗示相对重要性，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，本发明保护的范围并不局限于此，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改和替换，这些变化、修改和替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种暗光图像优化训练方法，其特征在于，所述暗光图像优化训练方法包括以下步骤：
将待训练图像数据集输入至初始图像分解网络模块，得到初始分解图像集，其中，所述待训练图像数据集包括标签图像和暗光线图像；所述初始分解图像集包括所述标签图像对应的标签反射光图像和标签光照图像，以及所述暗光线图像对应的暗光线反射光图像和暗光线光照图像；
根据所述初始分解图像集，确定所述标签反射光图像和所述标签光照图像之间的第一损失函数，并确定所述暗光线反射光图像和所述暗光线光照图像之间的第二损失函数；
将所述初始分解图像集中的暗光线图像集输入至初始复原模块，得到初始复原图像集，所述暗光线图像集包括所述暗光线反射光图像和所述暗光线光照图像；所述初始复原模块包括初始反射复原模块和初始光照调节模块；所述初始复原图像集包括第一复原图像和第二复原图像；
所述将所述初始分解图像集中的暗光线图像集输入至初始复原模块，得到初始复原图像集的步骤，包括：
将所述暗光线反射光图像输入至所述初始反射复原模块以得到所述第一复原图像，并将所述暗光线光照图像输入至所述初始光照调节模块以得到所述第二复原图像；
根据所述初始复原图像集和所述初始分解图像集，确定所述第一复原图像与所述标签反射光图像之间的第三损失函数，并确定所述第二复原图像与所述标签光照图像之间的第四损失函数；
根据所述第一损失函数和所述第二损失函数，得到训练后的图像分解网络模块，并根据第三损失函数和所述第四损失函数，得到训练后的复原模块，所述训练后的复原模块包括训练后的反射复原模块和训练后的光照调节模块；
根据所述第三损失函数，得到所述训练后的反射复原模块，并根据所述第四损失函数，得到所述训练后的光照调节模块；
根据第三损失函数和所述第四损失函数，得到训练后的复原模块的步骤之后，包括：
将所述第一复原图像和所述第二复原图像输入至预设的初始亮度调整曲线点乘重构以得到所述暗光线图像对应的重构图像；
确定所述重构图像与所述标签图像之间的第五损失函数；
根据所述第五损失函数优化所述初始亮度调整曲线以得到训练后的亮度调整曲线。
2.如权利要求1所述的暗光图像优化训练方法，其特征在于，所述确定所述重构图像与所述标签图像之间的第五损失函数的步骤，包括：
确定所述重构图像与所述标签图像之间的正则化函数，并确定所述重构图像与所述标签图像之间的结构相似性损失函数，以及确定所述重构图像与所述标签图像之间的色彩损失函数；
将所述正则化函数、结构相似性损失函数与所述色彩损失函数之间的加权和作为第五损失函数。
3.如权利要求1所述的暗光图像优化训练方法，其特征在于，所述确定所述标签反射光图像和所述标签光照图像之间的第一损失函数，并确定所述暗光线反射光图像和所述暗光线光照图像之间的第二损失函数的步骤，包括：
确定所述标签反射光图像和所述标签光照图像之间的第一正则化函数，将所述第一正则化函数作为第一损失函数，并确定所述暗光线反射光图像和所述暗光线光照图像之间的第二正则化函数，将所述第二正则化函数作为第二损失函数；
所述确定所述第一复原图像与所述标签反射光图像之间的第三损失函数的步骤，包括：
确定所述第一复原图像与所述标签反射光图像之间的正则化函数，并确定所述第一复原图像与所述标签反射光图像之间的结构相似性损失函数；
将所述正则化函数和所述结构相似性损失函数之间的加权和作为第三损失函数。
4.如权利要求1所述的暗光图像优化训练方法，其特征在于，所述确定所述第二复原图像与所述标签光照图像之间的第四损失函数的步骤，包括：
确定所述标签光照图像与所述第二复原图像之间的正则化函数，并基于所述正则化函数确定所述标签光照图像与所述第二复原图像之间的梯度损失函数；
将所述正则化函数与所述损失函数之间的加权和作为第四损失函数。
5.如权利要求1-4中任一项所述的暗光图像优化训练方法，其特征在于，所述根据所述第五损失函数优化所述初始亮度调整曲线以得到训练后的亮度调整曲线的步骤之后，包括：
将待优化暗光线图像输入至所述训练后的图像分解网络模块以得到待优化反射光图像和待优化光照图像；
将所述待优化反射光图像输入至所述训练后的反射复原模块以得到待优化反射复原图像，并将所述待优化光照图像输入至所述训练后的光照调节模块以得到待优化光照复原图像；
将所述待优化反射复原图像和所述待优化光照复原图像输入至所述训练后的亮度调整曲线以得到目标效果图像。
6.一种智能终端，其特征在于，所述智能终端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的暗光图像优化训练程序，其中：所述暗光图像优化训练程序被所述处理器执行时实现如权利要求1至5中任一项所述的暗光图像优化训练方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有暗光图像优化训练程序，所述暗光图像优化训练程序被处理器执行时实现如权利要求1至5中任一项所述的暗光图像优化训练方法的步骤。
CN202210536653.6A 2022-05-17 2022-05-17 暗光图像优化训练方法、智能终端及计算机可读存储介质 Active CN114998120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210536653.6A CN114998120B (zh) 2022-05-17 2022-05-17 暗光图像优化训练方法、智能终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210536653.6A CN114998120B (zh) 2022-05-17 2022-05-17 暗光图像优化训练方法、智能终端及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114998120A CN114998120A (zh) 2022-09-02
CN114998120B true CN114998120B (zh) 2024-01-12

Family

ID=83028013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210536653.6A Active CN114998120B (zh) 2022-05-17 2022-05-17 暗光图像优化训练方法、智能终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114998120B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899197A (zh) * 2020-08-05 2020-11-06 广州市百果园信息技术有限公司 一种图像增亮去噪方法、装置、移动终端和存储介质
CN111918095A (zh) * 2020-08-05 2020-11-10 广州市百果园信息技术有限公司 一种暗光增强方法、装置、移动终端和存储介质
CN112862713A (zh) * 2021-02-02 2021-05-28 山东师范大学 一种基于注意力机制的低光图像增强方法及***
CN113344804A (zh) * 2021-05-11 2021-09-03 湖北工业大学 一种弱光图像增强模型的训练方法和弱光图像增强方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899197A (zh) * 2020-08-05 2020-11-06 广州市百果园信息技术有限公司 一种图像增亮去噪方法、装置、移动终端和存储介质
CN111918095A (zh) * 2020-08-05 2020-11-10 广州市百果园信息技术有限公司 一种暗光增强方法、装置、移动终端和存储介质
CN112862713A (zh) * 2021-02-02 2021-05-28 山东师范大学 一种基于注意力机制的低光图像增强方法及***
CN113344804A (zh) * 2021-05-11 2021-09-03 湖北工业大学 一种弱光图像增强模型的训练方法和弱光图像增强方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘家宏.暗光环境下的图像增强方法研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2022,第15-26页. *
暗光环境下的图像增强方法研究;刘家宏;《中国优秀硕士学位论文全文数据库 信息科技辑》;第15-26页 *

Also Published As

Publication number Publication date
CN114998120A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
CN110610463A (zh) 一种图像增强方法及装置
CN110717868B (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
Khan et al. Localization of radiance transformation for image dehazing in wavelet domain
CN112381897B (zh) 基于自编码网络结构的低照度图像增强方法
US11663707B2 (en) Method and system for image enhancement
WO2022133194A1 (en) Deep perceptual image enhancement
CN111047543A (zh) 图像增强方法、装置和存储介质
WO2023005818A1 (zh) 噪声图像生成方法、装置、电子设备及存储介质
Liu et al. Learning hadamard-product-propagation for image dehazing and beyond
CN115526803A (zh) 非均匀光照图像增强方法、***、存储介质及设备
Dhara et al. Exposedness-based noise-suppressing low-light image enhancement
CN114757854A (zh) 基于多光谱分析的夜视图像质量提升方法、装置、设备
Yuan et al. Locally and multiply distorted image quality assessment via multi-stage CNNs
KR102277005B1 (ko) 비지도 학습을 이용한 저조도 영상 처리 방법 및 장치
CN112085668B (zh) 一种基于区域自适应自监督学习的图像色调映射的方法
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
CN117611501A (zh) 一种低照度图像增强方法、装置、设备及可读存储介质
CN114998120B (zh) 暗光图像优化训练方法、智能终端及计算机可读存储介质
CN116645305A (zh) 基于多注意力机制与Retinex的低光照图像增强方法
Tade et al. Tone mapped high dynamic range image quality assessment techniques: survey and analysis
Shokrollahi et al. Histogram modification based enhancement along with contrast-changed image quality assessment
CN112102175A (zh) 图像对比度的增强方法、装置、存储介质及电子设备
CN110489584B (zh) 基于密集连接的MobileNets模型的图像分类方法及***
Bae et al. Non-iterative tone mapping with high efficiency and robustness

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant