CN117456313B - 色调曲线估计网络的训练方法、估计、映射方法及*** - Google Patents

色调曲线估计网络的训练方法、估计、映射方法及*** Download PDF

Info

Publication number
CN117456313B
CN117456313B CN202311781456.1A CN202311781456A CN117456313B CN 117456313 B CN117456313 B CN 117456313B CN 202311781456 A CN202311781456 A CN 202311781456A CN 117456313 B CN117456313 B CN 117456313B
Authority
CN
China
Prior art keywords
image
dynamic range
high dynamic
mapping
range image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311781456.1A
Other languages
English (en)
Other versions
CN117456313A (zh
Inventor
庄佳衍
陈希玉
叶思超
易耕华
肖江剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Institute of Material Technology and Engineering of CAS
Original Assignee
Ningbo Institute of Material Technology and Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Institute of Material Technology and Engineering of CAS filed Critical Ningbo Institute of Material Technology and Engineering of CAS
Priority to CN202311781456.1A priority Critical patent/CN117456313B/zh
Publication of CN117456313A publication Critical patent/CN117456313A/zh
Application granted granted Critical
Publication of CN117456313B publication Critical patent/CN117456313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种色调曲线估计网络的训练方法、估计、映射方法及***。所述训练方法包括：构建初始估计网络和训练数据集；对高动态范围图像进行预处理得到对应的预处理图像，预处理包括将所有亮度通道转换至对数域；基于色调映射评价指标生成目标函数，对初始估计网络进行训练，获得色调曲线估计网络；色调映射评价指标包括图像质量指数和特征相似性指数。本发明所提供的技术方案针对色调映射领域没有真实标签的问题，引入了色调映射评价指标作为目标函数来训练得到色调曲线估计网络，无需选择训练标签，避免了训练标签对色调映射结果的限制，实现了对高动态范围图像的快速、准确的压缩，映射图像质量较优，并节省运算资源。

Description

色调曲线估计网络的训练方法、估计、映射方法及***
技术领域
本发明涉及计算机图形处理技术领域，尤其涉及一种色调曲线估计网络的训练方法、估计、映射方法及***。
背景技术
当真实场景出现剧烈的照明变化时，传统的标准动态范围图像捕获技术可能会在黑暗或明亮区域丢失细节，高动态范围图像具有更宽的动态亮度范围，可以更好地保留真实场景的信息，然而，目前人们使用的大多数显示器支持的动态范围有限，如果直接显示，则图像中的许多信息将丢失，为了使高动态范围图像更好地适应普通显示器，我们需要压缩图像的动态范围的同时尽可能保留图像信息，这称之为色调映射。
近年来，深度学习在色调映射领域中取得了明显优于传统方法的效果，但仍存在一些问题。
一方面，在缺乏训练标签的情况下，深度学习方法通常基于现有的传统方法产生一组色调映射结果，并根据色调映射图像质量评估结果为每个场景选择训练标签，然而，人工生成标签工作量巨大，且输出结果受到标签质量的限制，另一方面，这些方法使用大规模网络模型，需要巨大的存储和推理资源，无法实现对高动态范围图像进行快速、准确的压缩。
发明内容
针对现有技术的不足，本发明的目的在于提供一种色调曲线估计网络的训练方法、估计、映射方法及***。
为实现前述发明目的，本发明采用的技术方案包括：
第一方面，本发明提供色调曲线估计网络的训练方法，其包括：
构建初始估计网络和训练数据集，所述初始估计网络为对称跳跃式连接，所述训练数据集包括高动态范围图像；
对所述高动态范围图像进行预处理得到对应的预处理图像，所述预处理包括提取所述高动态范围图像的所有亮度通道并将各所述亮度通道均转换至对数域；
利用所述预处理图像并基于色调映射评价指标生成目标函数，对所述初始估计网络进行训练，获得色调曲线估计网络；训练过程中，以所述初始估计网络生成的色调曲线对所述高动态范围图像进行色调映射，获得迭代图像，所述色调映射评价指标包括代表所述迭代图像与高动态范围图像的差异性的图像质量指数和特征相似性指数，并使用可微的近似值代替其中不能反向传播的部分函数。
第二方面，本发明还提供一种基于深度学习的色调曲线估计方法，其包括：
提供高动态范围图像，并进行预处理得到对应的预处理图像，所述预处理包括提取所述高动态范围图像的所有亮度通道并将各所述亮度通道均转换至对数域；
利用上述训练方法训练获得的色调曲线估计网络对所述预处理图像进行参数估计，生成色调曲线。
第三方面，本发明还提供了一种基于深度学习的图像映射方法，其包括：
采用上述色调曲线估计方法获取关于高动态范围图像的色调曲线；
利用所述色调曲线对所述高动态范围图像进行像素级的图像映射，获得标准动态范围图像。
对应的第四方面，本发明还提供了一种基于深度学习的图像映射***，其包括：
预处理模块，用于提供高动态范围图像，并进行预处理得到对应的预处理图像，所述预处理包括提取所述高动态范围图像的所有亮度通道并将各所述亮度通道均转换至对数域；
曲线映射模块，利用所述色调曲线对所述高动态范围图像进行像素级的图像映射，获得标准动态范围图像；
其中，所述曲线映射模块包括曲线生成单元，所述曲线生成单元用于利用上述训练方法训练获得的色调曲线估计网络对所述预处理图像进行参数估计，生成色调曲线。
基于上述技术方案，与现有技术相比，本发明的有益效果至少包括：
本发明所提供的技术方案针对色调映射领域没有真实标签的问题，引入了色调映射评价指标作为目标函数来训练得到色调曲线估计网络，无需选择训练标签，避免了训练标签对色调映射结果的限制，同时采用曲线估计网络估计得到最优曲线参数，并根据最优曲线参数形成色调曲线对高动态范围图像进行“高动态-标准动态”的映射处理得到标准动态范围图像，实现了对高动态范围图像的快速、准确的压缩，且映射图像质量较优，并节省运算资源。
上述说明仅是本发明技术方案的概述，为了能够使本领域技术人员能够更清楚地了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合详细附图说明如后。
附图说明
图1是本发明一典型实施案例提供的图像映射方法的流程示意图；
图2是本发明一典型实施案例提供的训练方法的流程示意图；
图3是本发明一典型实施案例提供的曲线估计网络的结构示意图；
图4a是本发明一典型实施案例提供的图像映射方法形成的色调曲线示例图；
图4b是本发明一典型实施案例提供的图像映射方法形成的另一色调曲线示例图；
图5是本发明一典型实施案例提供的图像映射***的结构示意图；
图6a是本发明一典型实施案例提供的图像映射处理前的示例图；
图6b是本发明一典型实施案例提供的图像映射处理后的示例图；
图7是本发明一典型对照案例提供的图像映射处理后的示例图。
附图标记说明：1、预处理模块；2、曲线映射模块；3、网络构建训练模块；31、网络构建单元；32、网络训练单元。
具体实施方式
鉴于现有技术中的不足，本案发明人经长期研究和大量实践，得以提出本发明的技术方案。如下将对该技术方案、其实施过程及原理等作进一步的解释说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
而且，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个与另一个具有相同名称的部件或方法步骤区分开来，而不一定要求或者暗示这些部件或方法步骤之间存在任何这种实际的关系或者顺序。
请参见图1和图2所示，本发明实施例提供一种色调曲线估计网络的训练方法，其包括如下的步骤：
构建初始估计网络和训练数据集，所述初始估计网络为对称跳跃式连接，所述训练数据集包括高动态范围图像；
对所述高动态范围图像进行预处理得到对应的预处理图像，所述预处理包括提取所述高动态范围图像的所有亮度通道并将各所述亮度通道均转换至对数域；
利用所述预处理图像并基于色调映射评价指标生成目标函数，对所述初始估计网络进行训练，获得色调曲线估计网络；训练过程中，以所述初始估计网络生成的色调曲线对所述预处理图像进行色调映射，获得迭代图像，所述色调映射评价指标包括代表所述迭代图像与高动态范围图像的差异性的图像质量指数和特征相似性指数，并使用可微的近似值代替其中不能反向传播的部分函数。
在一些实施方案中，所述训练方法具体包括如下的步骤：
将所述预处理图像输入所述初始估计网络，以使所述初始估计网络根据所述预处理图像估计得到最优的曲线参数，并根据所述曲线参数形成色调曲线，利用所述色调曲线对所述预处理图像的像素进行高动态-标准动态范围的映射处理，得到对应的所述迭代图像。
在一些实施方案中，所述曲线参数包括半饱和参数以及控制参数，所述半饱和参数代表所述映射处理的光强度适应级别，所述控制参数代表所述映射处理的不对称程度。
在一些实施方案中，所述色调曲线表示为：
；
其中，表示所述迭代图像；a表示所述半饱和参数；b表示所述控制参数；/>表示所述预处理图像；n表示确定函数陡度的灵敏度参数；s表示饱和度参数；/>表示转换为对数域后的各亮度通道。
上述实施方案中，最优曲线参数的数量为两个，分别为表示光强度适应级别的半饱和参数和表示不对称程度的控制参数，在一些具体应用示例中，n表示确定函数陡度的灵敏度参数，此处例如可以设为1；s表示饱和度参数，此处例如可以设为0.5。当然，具体的取值范围可以不同于此处示例的具体数值，进行一定程度（例如±20%）上下浮动调节是可以接受的。
而关于具体的网络结构，如图3所示，在一些实施方案中，所述初始估计网络包括依次连接的编码器和解码器，所述解码器包括第一子解码器和第二子解码器，所述第一子解码器和第二子解码器共用所述编码器；所述第一子解码器用于计算所述半饱和参数，所述第二子解码器用于计算所述控制参数；所述编码器和第一子解码器、第二子解码器之间均采用对称跳跃式连接方式。
在一些实施方案中，所述目标函数表示为：
；
其中，Loss代表所述目标函数；W代表权重系数；TMQI代表所述图像质量指数；FSITM代表所述特征相似性指数；
；
；
；
；
其中，表示第n个尺度的权重；σx、σy分别表示所述高动态范围图像和迭代图像中对应块之间的局部标准差；σxy表示所述高动态范围图像对应块与所述迭代图像中对应块的互相关系数；/>表示/>的映射版本，反映信号强度的重要性；C1、C2表示稳定常数；m、d分别表示所述迭代图像的均值和标准差，K表示归一化因子，Pm、Pd分别表示高斯和Beta概率密度函数；Sn代表第n个尺度下的所述高动态范围图像与所述迭代图像之间的结构保真度；S代表不同尺度下所述高动态范围图像与所述迭代图像之间的结构保真度的一个组合；α、β分别代表所述图像质量指数计算公式中的灵敏度控制参数，具体的α+β的总上限为1；N表示统计自然度；
；
；
其中，U（.）表示单位阶跃函数；Ph(.)表示局部加权平均相角计算函数，利用该公式计算图像的局部相位信息；分别表示在尺度p和方向r下的偶对称和奇对称的log-Gabor小波；HDR表示高动态范围图像；SDR表示标准动态范围图像；f（x）表示在二维图像，即所述迭代图像的点x上的信号强度；row表示所述迭代图像的像素行数；col表示所述迭代图像的像素列数。
上述技术方案中，使用可微的近似值代替其中不能反向传播的部分具体例如，TMQI函数中的N的Pd函数中的Beta函数转化为可微形式，比如FSITM中的U函数（阶跃函数）使用可微值表示。
在一些实施方案中，所述亮度通道的提取表示为：
；
其中，表示所述高动态范围图像的亮度通道；/>表示所述高动态范围图像的红颜色通道；/>表示所述高动态范围图像的绿颜色通道；/>表示所述高动态范围图像的蓝颜色通道；
在一些实施方案中，所述初始估计网络包括多个卷积层，并采用sigmod函数作为多个所述卷积层中输出层的激活函数，采用LeakyReLU函数作为多个所述卷积层中除输出层外的其余各卷积层的激活函数。
作为示例，一个较为完整的训练方法例如可以包含如下的过程：
步骤A1，对七层卷积核大小为3*3且步长为1的卷积层进行对称跳跃连接得到所述曲线估计网络，如图3所示；
步骤A2，采用色调映射图像质量指数和色调映射图像的特征相似性指数作为所述色调映射评价指标，将所述色调映射评价指标作为目标函数以引导所述曲线估计网络持续进行训练。
作为上述训练方法所对应的应用，本发明实施例的第二个方面提供了一种基于深度学习的色调曲线估计方法，其包括如下的步骤：
提供高动态范围图像，并进行预处理得到对应的预处理图像，所述预处理包括提取所述高动态范围图像的所有亮度通道并将各所述亮度通道均转换至对数域；
利用上述任一实施方案所提供的训练方法训练获得的色调曲线估计网络对所述预处理图像进行参数估计，生成色调曲线。
基于上述技术方案，在各种可能的应用场景中，所生成的色调曲线的状态例如图4a与图4b所示例。
进一步的应用中，本发明实施例还提供了一种基于深度学习的图像映射方法，具体参阅图1所示，其包括如下的步骤：
采用上述色调曲线估计方法获取关于高动态范围图像的色调曲线；
利用所述色调曲线对所述高动态范围图像进行像素级的图像映射，获得标准动态范围图像。
作为上述技术方案的典型应用，一个较为完整的图像映射过程例如可以包括如下步骤：
步骤S1，获取至少一高动态范围图像，并对所述高动态范围图像进行预处理得到对应的一预处理图像。
步骤S2，将所述预处理图像输入至预先构建并根据色调映射评价指标训练后的一曲线估计网络中，以使所述曲线估计网络根据所述预处理图像估计得到最优曲线参数，并根据所述最优曲线参数构成的色调曲线对所述高动态范围图像上的所有像素进行“高动态-标准动态”的映射处理得到对应的一标准动态范围图像。
更为具体的，在步骤S1中，可以提取所述高动态范围图像的所有亮度通道并将各所述亮度通道均转换至对数域，以得到所述预处理图像。而步骤S2中，可以根据所述最优的曲线参数构成的所述色调曲线对所述高动态范围图像上的转换为对数域后的各所述亮度通道进行压缩和颜色再生得到所述标准动态范围图像。
而参见图5所示，本发明实施例的再一个方面还提供了对应于上述方法的一种基于深度学习的图像映射***，其包括：
预处理模块，用于提供高动态范围图像，并进行预处理得到对应的预处理图像，所述预处理包括提取所述高动态范围图像的所有亮度通道并将各所述亮度通道均转换至对数域；
曲线映射模块，利用所述色调曲线对所述高动态范围图像进行像素级的图像映射，获得标准动态范围图像；
其中，所述曲线映射模块包括曲线生成单元，所述曲线生成单元用于利用上述任一实施方案所提供的训练方法训练获得的色调曲线估计网络对所述预处理图像进行参数估计，生成色调曲线。
且继续参见图5所示，该图像映射***还可以包括网络构建训练模块，其用于利用上述训练方法来训练获得曲线估计网络。
作为具体示例，实际应用中，上述***包括：
一预处理模块，用于获取至少一高动态范围图像，并对所述高动态范围图像进行预处理得到对应的一预处理图像；
一曲线映射模块，连接所述预处理模块，用于将所述预处理图像输入至预先构建并根据色调映射评价指标训练后的一曲线估计网络中，以使所述曲线估计网络根据所述预处理图像估计得到最优曲线参数，并根据所述最优曲线参数构成的色调曲线对所述预处理图像上的所有像素进行“高动态-标准动态”的映射处理得到对应的一标准动态范围图像。
还包括一网络构建训练模块，连接所述曲线映射模块，所述网络构建训练模块包括：
一网络构建单元，用于对七层卷积核大小为3*3且步长为1的卷积层进行对称跳跃连接得到所述曲线估计网络；
一网络训练单元，连接所述网络构建单元，用于采用色调映射图像质量指数和色调映射图像的特征相似性指数作为所述色调映射评价指标，将所述色调映射评价指标作为目标函数以引导所述曲线估计网络持续进行训练。
需指出的是，在本发明实施例以及一些技术方案的示例性陈述中，将网络的训练、色调曲线的估计以及图像的映射完整地进行了示例，然而，这是为了从整体上便于充分理解本发明，实际的可实施的范围并不仅限于此种方式，例如：网络的训练、曲线的估计以及图像的映射可以由不同的执行主体分别执行，如由不同的计算设备进行运算，抑或是由不同的单位/个人分别进行，这同样利用了本发明所提供的基本技术构思，也理应属于本发明的保护范围之内。
以下通过若干实施例并结合附图进一步详细说明本发明的技术方案。然而，所选的实施例仅用于说明本发明，而不限制本发明的范围。
实施例1
本实施例提供一种基于深度学习的色调曲线估计与图像映射方法，包括以下的整体步骤：
步骤S1，获取至少一高动态范围图像，并对高动态范围图像进行预处理得到对应的一预处理图像；
步骤S2，将预处理图像输入至预先构建并根据色调映射评价指标训练后的一曲线估计网络中，以使曲线估计网络根据预处理图像估计得到最优曲线参数，并根据最优曲线参数构成的色调曲线对预处理图像上的所有像素进行“高动态-标准动态”的映射处理得到对应的一标准动态范围图像。
具体地，本实施例中，使用色调映射评价指标作为目标函数，引导曲线估计网络进行训练，为了避免低质量标签带来的负面影响，本实施例中直接使用色调映射评价指标作为目标函数，并使用可微的近似值代替其中pytorch不能反向传播的部分（如取整函数，Beta函数等）。
步骤S1中，提取高动态范围图像的所有亮度通道并将各亮度通道均转换至对数域，以得到预处理图像。
具体地，本实施例中，提取高动态范围图像内亮度通道的亮度提取公式如下：
；
其中，表示高动态范围图像的亮度通道；/>表示高动态范围图像的红颜色通道；/>表示高动态范围图像的绿颜色通道；/>表示高动态范围图像的蓝颜色通道；
步骤S2中，根据最优曲线参数构成的色调曲线对预处理图像上的转换为对数域后的各亮度通道进行压缩和颜色再生得到标准动态范围图像。
而执行步骤S1之前还包括一网络构建训练过程，网络构建训练过程包括：
步骤A1，对七层卷积核大小为3*3且步长为1的卷积层进行对称跳跃连接得到曲线估计网络；
步骤A2，采用色调映射图像质量指数和色调映射图像的特征相似性指数作为色调映射评价指标，将色调映射评价指标作为目标函数以引导曲线估计网络持续进行训练。
具体地，本实施例中，曲线估计网络如图3所示，只使用卷积层和激活层，不使用需要固定输入大小的全连接层，因此曲线估计网络可以在不同输入大小情况下工作，其中前三层卷积层使用普通卷积提取预处理图像中共同的浅层特征，后四层卷积层使用深度可分离卷积分别估计色调曲线的不同参数。步骤A1中，采用sigmod函数作为各卷积层中输出层的激活函数，采用LeakyReLU函数作为各卷积层中除输出层外的其余各卷积层的激活函数。
执行上述网络训练过程的目标函数的表达式为：
；
其中，Loss表示目标函数；W表示色调映射评价指标的权重；TMQI表示色调映射图像质量指数；FSITM表示色调映射图像的特征相似性指数；HDR表示高动态范围图像；SDR表示标准动态范围图像。
；
其中，，/>是第n个尺度的权重；和/>分别是 HDR 和 SDR 图像中对应块之间的局部标准差和互相关。/>是/>的映射版本，反映信号强度的重要性。C1、C2是稳定常数，通常取值例如是C1为0.01，C2为10，属于默认数值，当然进行适当的上下调整也是允许的，不限于此处示例的范围。
；
其中m和d分别是SDR图像的均值和标准差，K是归一化因子，Pm、Pd分别是高斯和Beta概率密度函数。Sn代表第n个尺度下的所述高动态范围图像与所述迭代图像之间的结构保真度；S代表不同尺度下所述高动态范围图像与所述迭代图像之间的结构保真度的一个组合；α、β分别代表所述图像质量指数计算公式中的灵敏度控制参数，具体的α+β的总上限为1；N表示统计自然度。
；
其中U（.）是单位阶跃函数；Ph(.)表示局部加权平均相角计算函数，利用该公式计算图像的局部相位信息；
；
其中，，/>分别表示在尺度p和方向r下的偶对称和奇对称的log-Gabor小波。
而本实施例所利用的最优曲线参数的数量为两个，分别为表示光强度适应级别的半饱和参数和表示不对称程度的控制参数，由此，步骤S2中，可以通过以下计算公式构建得到色调曲线：
；
其中，表示当前的输出图像；a表示半饱和参数；b表示控制参数；/>表示当前的输入图像；
n表示确定函数陡度的灵敏度参数，此处设为1；s表示饱和度参数，此处设为0.5；表示转换为对数域后的各亮度通道。
由此具体地，本实施例中，“高动态-标准动态”的映射公式如下所示：
；
其中，x表示像素在输入图像中的位置。
上述所采用的最优曲线参数为像素级参数，在具体操作时，对于当前输入图像中的每个像素，都生成一条对应的色调曲线，如图4a和图4b所示，通过调节半饱和参数a和控制参数b，色调曲线可以对高亮度区域和低亮度区域进行不同程度的压缩来适应不同照明条件的场景。
上述实施过程还对应了一个色调曲线估计***，应用上述的色调曲线估计方法，如图5所示，包括：
一预处理模块1，用于获取至少一高动态范围图像，并对高动态范围图像进行预处理得到对应的一预处理图像；
一曲线映射模块2，连接预处理模块1，用于将预处理图像输入至预先构建并根据色调映射评价指标训练后的一曲线估计网络中，以使曲线估计网络根据预处理图像估计得到最优曲线参数，并根据最优曲线参数构成的色调曲线对预处理图像上的所有像素进行“高动态-标准动态”的映射处理得到对应的一标准动态范围图像。
本发明的较佳的实施例中，还包括一网络构建训练模块3，连接曲线映射模块2，网络构建训练模块3包括：一网络构建单元31，用于对七层卷积核大小为3*3且步长为1的卷积层进行对称跳跃连接得到曲线估计网络；一网络训练单元32，连接网络构建单元31，用于采用色调映射图像质量指数和色调映射图像的特征相似性指数作为色调映射评价指标，将色调映射评价指标作为目标函数以引导曲线估计网络持续进行训练。
基于上述方法和***，为了验证本发明所提供技术方案的可行性与有效性，对一个典型数据集进行实验验证，模型的软件平台为Pytorch，硬件配置为搭载NVIDIA GTX2080Ti，使用Adam优化器进行训练，初始学习率设置为0.001，并使用余弦退火的策略逃离局部最优点，在300轮后设置为固定值0.00001，为了避免过拟合和梯度***，使用了权重衰减和梯度裁剪的方法。
一个典型的示例性图像处理前的状态如图6a所示，出现了较大的细节失真，而处理后的图像如图6b所示，大面积地实现了细节清晰呈现；并且经检验，对于该1024×1024清晰度的图像，本实施例产生的FLOPs为10.01G，参数量为9762，具有较好的可行性和效果。
而作为对比，本发明的发明人曾经尝试过多次采用现有标签训练方法进行处理，所映射处理的图像品质通常弱于本实施例，其中一种代表性的映射结果如图7所示，具体表现不限于：天空出现了局部色彩过重、云朵边缘亮度过暗而导致的失真，部分岩石出现了类似于过度曝光的问题等等。这是由于受到了标签较少且标签的人工处理质量参差不齐的影响而导致的；并且在处理同一图像时，所产生的FLOPs为40.54G，参数量为52,425，需要大量的计算资源，在资源有限的情况下无法实施计算。
基于上述实施案例，可以明确，本发明实施例所提供的技术方案针对色调映射领域没有真实标签的问题，引入了色调映射评价指标作为目标函数来训练得到色调曲线估计网络，无需选择训练标签，避免了训练标签对色调映射结果的限制，同时采用曲线估计网络估计得到最优曲线参数，并根据最优曲线参数形成色调曲线对高动态范围图像进行“高动态-标准动态”的映射处理得到标准动态范围图像，实现了对高动态范围图像的快速、准确地压缩，且映射图像质量较优，并节省运算资源。
此外，本发明实施例还提供了一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序被运行时执行上述训练方法，和/或曲线估计方法，和/或映射方法的步骤。
应当理解，上述实施例仅为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种色调曲线估计网络的训练方法，其特征在于，包括：
构建初始估计网络和训练数据集，所述初始估计网络为对称跳跃式连接，所述训练数据集包括高动态范围图像；
对所述高动态范围图像进行预处理得到对应的预处理图像，所述预处理包括提取所述高动态范围图像的所有亮度通道并将各所述亮度通道均转换至对数域；
利用所述预处理图像并基于色调映射评价指标生成目标函数，对所述初始估计网络进行训练，获得色调曲线估计网络；训练过程中，将所述预处理图像输入所述初始估计网络，以使所述初始估计网络根据所述预处理图像估计得到最优的曲线参数，并根据所述曲线参数形成色调曲线，利用所述色调曲线对所述预处理图像的像素进行高动态-标准动态范围的映射处理，得到对应的迭代图像，所述色调映射评价指标包括代表所述迭代图像与高动态范围图像的差异性的图像质量指数和特征相似性指数，并使用可微的近似值代替其中不能反向传播的部分函数；所述曲线参数包括半饱和参数以及控制参数，所述半饱和参数代表所述映射处理的光强度适应级别，所述控制参数代表所述映射处理的不对称程度；
所述色调曲线表示为：
；
其中，表示所述迭代图像；a表示所述半饱和参数；b表示所述控制参数；/>表示所述预处理图像；n表示确定函数陡度的灵敏度参数；s表示饱和度参数；/>表示转换为对数域后的各亮度通道；
所述目标函数表示为：
；
其中，Loss代表所述目标函数；W代表权重系数；TMQI代表所述图像质量指数；FSITM代表所述特征相似性指数；
；
；
；
；
其中，表示第n个尺度的权重；σx、σy分别表示所述高动态范围图像和迭代图像中对应块之间的局部标准差；σxy表示所述高动态范围图像对应块与所述迭代图像中对应块的互相关系数；/>表示/>的映射版本，反映信号强度的重要性；C1、C2表示稳定常数；m、d分别表示所述迭代图像的均值和标准差，K表示归一化因子，Pm、Pd分别表示高斯和Beta概率密度函数；Sn代表第n个尺度下的所述高动态范围图像与所述迭代图像之间的结构保真度；S代表不同尺度下所述高动态范围图像与所述迭代图像之间的结构保真度的一个组合；α、β分别代表所述图像质量指数计算公式中的灵敏度控制参数；N表示统计自然度；
；
；
其中，U（.）表示单位阶跃函数；Ph(.)表示局部加权平均相角计算函数；分别表示在尺度p和方向r下的偶对称和奇对称的log-Gabor小波；HDR表示高动态范围图像；SDR表示标准动态范围图像；f（x）表示在二维图像点x上的信号强度；row表示所述迭代图像的像素行数；col表示所述迭代图像的像素列数。
2.根据权利要求1所述的训练方法，其特征在于，所述初始估计网络包括依次连接的编码器和解码器，所述解码器包括第一子解码器和第二子解码器，所述第一子解码器和第二子解码器共用所述编码器；
所述第一子解码器用于计算所述半饱和参数，所述第二子解码器用于计算所述控制参数；所述编码器和第一子解码器、第二子解码器之间均采用对称跳跃式连接方式。
3.根据权利要求1所述的训练方法，其特征在于，所述亮度通道的提取表示为：
；
其中，表示所述高动态范围图像的亮度通道；/>表示所述高动态范围图像的红颜色通道；/>表示所述高动态范围图像的绿颜色通道；/>表示所述高动态范围图像的蓝颜色通道。
4.根据权利要求1所述的训练方法，其特征在于，所述初始估计网络包括多个卷积层，并采用sigmod函数作为多个所述卷积层中输出层的激活函数，采用LeakyReLU函数作为多个所述卷积层中除输出层外的其余各卷积层的激活函数。
5.一种基于深度学习的色调曲线估计方法，其特征在于，包括：
提供高动态范围图像，并进行预处理得到对应的预处理图像，所述预处理包括提取所述高动态范围图像的所有亮度通道并将各所述亮度通道均转换至对数域；
利用权利要求1-4中任意一项所述的训练方法训练获得的色调曲线估计网络对所述预处理图像进行参数估计，生成色调曲线。
6.一种基于深度学习的图像映射方法，其特征在于，包括：
采用权利要求5所述色调曲线估计方法获取关于高动态范围图像的色调曲线；
利用所述色调曲线对所述高动态范围图像进行像素级的图像映射，获得标准动态范围图像。
7.一种基于深度学习的图像映射***，其特征在于，包括：
预处理模块，用于提供高动态范围图像，并进行预处理得到对应的预处理图像，所述预处理包括提取所述高动态范围图像的所有亮度通道并将各所述亮度通道均转换至对数域；
曲线映射模块，利用所述色调曲线对所述高动态范围图像进行像素级的图像映射，获得标准动态范围图像；
其中，所述曲线映射模块包括曲线生成单元，所述曲线生成单元用于利用权利要求1-4中任意一项所述的训练方法训练获得的色调曲线估计网络对所述预处理图像进行参数估计，生成色调曲线。
CN202311781456.1A 2023-12-22 2023-12-22 色调曲线估计网络的训练方法、估计、映射方法及*** Active CN117456313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311781456.1A CN117456313B (zh) 2023-12-22 2023-12-22 色调曲线估计网络的训练方法、估计、映射方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311781456.1A CN117456313B (zh) 2023-12-22 2023-12-22 色调曲线估计网络的训练方法、估计、映射方法及***

Publications (2)

Publication Number Publication Date
CN117456313A CN117456313A (zh) 2024-01-26
CN117456313B true CN117456313B (zh) 2024-03-22

Family

ID=89580263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311781456.1A Active CN117456313B (zh) 2023-12-22 2023-12-22 色调曲线估计网络的训练方法、估计、映射方法及***

Country Status (1)

Country Link
CN (1) CN117456313B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504278A (zh) * 2015-09-04 2017-03-15 迪士尼企业公司 高动态范围色调映射
CN108022223A (zh) * 2017-12-18 2018-05-11 中山大学 一种基于对数映射函数分块处理融合的色调映射方法
CN110197463A (zh) * 2019-04-25 2019-09-03 深圳大学 基于深度学习的高动态范围图像色调映射方法及其***
CN110717868A (zh) * 2019-09-06 2020-01-21 上海交通大学 视频高动态范围反色调映射模型构建、映射方法及装置
CN110728633A (zh) * 2019-09-06 2020-01-24 上海交通大学 多曝光度高动态范围反色调映射模型构建方法及装置
CN111292264A (zh) * 2020-01-21 2020-06-16 武汉大学 一种基于深度学习的图像高动态范围重建方法
CN112312031A (zh) * 2019-07-30 2021-02-02 辉达公司 增强的高动态范围成像和色调映射
CN113327208A (zh) * 2021-06-17 2021-08-31 烟台艾睿光电科技有限公司 高动态范围图像色调映射方法、装置、电子设备及介质
CN113592726A (zh) * 2021-06-29 2021-11-02 北京旷视科技有限公司 高动态范围成像方法、装置、电子设备和存储介质
CN115311154A (zh) * 2021-05-05 2022-11-08 辉达公司 具有固定校准设置的高动态范围图像处理
CN116385293A (zh) * 2023-03-28 2023-07-04 中国人民解放军军事科学院***工程研究院 基于卷积神经网络的雾天自适应目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017091279A1 (en) * 2015-11-23 2017-06-01 Retrotope, Inc. Site-specific isotopic labeling of 1, 4-diene systems

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504278A (zh) * 2015-09-04 2017-03-15 迪士尼企业公司 高动态范围色调映射
CN108022223A (zh) * 2017-12-18 2018-05-11 中山大学 一种基于对数映射函数分块处理融合的色调映射方法
CN110197463A (zh) * 2019-04-25 2019-09-03 深圳大学 基于深度学习的高动态范围图像色调映射方法及其***
CN112312031A (zh) * 2019-07-30 2021-02-02 辉达公司 增强的高动态范围成像和色调映射
CN110717868A (zh) * 2019-09-06 2020-01-21 上海交通大学 视频高动态范围反色调映射模型构建、映射方法及装置
CN110728633A (zh) * 2019-09-06 2020-01-24 上海交通大学 多曝光度高动态范围反色调映射模型构建方法及装置
CN111292264A (zh) * 2020-01-21 2020-06-16 武汉大学 一种基于深度学习的图像高动态范围重建方法
CN115311154A (zh) * 2021-05-05 2022-11-08 辉达公司 具有固定校准设置的高动态范围图像处理
CN113327208A (zh) * 2021-06-17 2021-08-31 烟台艾睿光电科技有限公司 高动态范围图像色调映射方法、装置、电子设备及介质
CN113592726A (zh) * 2021-06-29 2021-11-02 北京旷视科技有限公司 高动态范围成像方法、装置、电子设备和存储介质
CN116385293A (zh) * 2023-03-28 2023-07-04 中国人民解放军军事科学院***工程研究院 基于卷积神经网络的雾天自适应目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Development and Evaluation of a Hybrid Point-wise Gamut Mapping Framework;Jiangping Yuan 等;《2015 Colour and Visual Computing Symposium》;20151231;1-4 *
基于条件生成对抗网络的HDR图像生成方法;贝悦 等;《北京航空航天大学学报》;20220131;第48卷(第1期);45-52 *

Also Published As

Publication number Publication date
CN117456313A (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN112288658B (zh) 一种基于多残差联合学习的水下图像增强方法
Golts et al. Unsupervised single image dehazing using dark channel prior loss
CN108986050B (zh) 一种基于多分支卷积神经网络的图像和视频增强方法
CN110232661B (zh) 基于Retinex和卷积神经网络的低光照彩色图像增强方法
CN110889813A (zh) 基于红外信息的低光图像增强方法
CN110675328A (zh) 基于条件生成对抗网络的低照度图像增强方法及装置
CN110717868B (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
CN115223004A (zh) 基于改进的多尺度融合生成对抗网络图像增强方法
CN112651917A (zh) 一种基于生成对抗网络的空间卫星低照度图像增强方法
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
Wang et al. Multiscale supervision-guided context aggregation network for single image dehazing
CN115272072A (zh) 一种基于多特征图像融合的水下图像超分辨率方法
CN114596233A (zh) 基于注意引导和多尺度特征融合的低照度图像增强方法
CN113436101A (zh) 基于高效通道注意力机制的龙格库塔模块去雨的方法
CN116341650B (zh) 一种基于噪声自训练的铁路货车螺栓丢失检测方法
CN117408924A (zh) 一种基于多重语义特征融合网络的低光照图像增强方法
CN117456313B (zh) 色调曲线估计网络的训练方法、估计、映射方法及***
CN117036182A (zh) 一种单幅图像去雾方法及***
CN116523794A (zh) 一种基于卷积神经网络的低光照图像增强方法
CN116563133A (zh) 基于模拟曝光和多尺度融合的低照度彩色图像增强方法
CN110599426A (zh) 一种优化clahe的水下图像增强方法
Zhou et al. An improved algorithm using weighted guided coefficient and union self‐adaptive image enhancement for single image haze removal
CN116797468A (zh) 基于软边重建的自校准深度曲线估计的低光照图像增强方法
CN112686825A (zh) 一种基于fpga的地面浓雾场景灰度图像去雾方法
Zhao et al. Single image dehazing based on enhanced generative adversarial network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant