CN106780367A - 基于字典学习的hdr照片风格转移方法 - Google Patents
基于字典学习的hdr照片风格转移方法 Download PDFInfo
- Publication number
- CN106780367A CN106780367A CN201611058620.6A CN201611058620A CN106780367A CN 106780367 A CN106780367 A CN 106780367A CN 201611058620 A CN201611058620 A CN 201611058620A CN 106780367 A CN106780367 A CN 106780367A
- Authority
- CN
- China
- Prior art keywords
- photo
- color
- hdr
- dictionary
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012546 transfer Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000010422 painting Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000011282 treatment Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 231100000289 photo-effect Toxicity 0.000 abstract 1
- 230000002708 enhancing effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010428 oil painting Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于字典学习的HDR照片风格转移方法。通过给定一张HDR参考照片,借助颜色转移和字典学习,将HDR风格特征转移到源照片上,从而自动生成HDR照片效果。该方法的包括步骤如下:(1)借助梯度保持的颜色转移方法,将HDR参考照片的颜色特征转移到源照片上;(2)对HDR参考照片提取细节特征,利用K_SVD算法进行字典训练,形成细节的过完备字典集;(3)利用细节的过完备字典集对源照片进行稀疏重建,生成与HDR参考照片特征一致的细节;(4)将颜色转移的结果和细节重建的结果合并,最终生成HDR风格的新照片。本发明方法流程清晰、结构完整,实现效率高。
Description
技术领域
本发明涉及一种基于字典学习的HDR(High Dynamic Range,高动态范围)照片风格转移方法,属于图像处理领域。
背景技术
风格化技术,又称非真实感渲染(即NPR,Non-Photorealistic Rendering),是计算机技术和绘画技术相结合的一个研究领域,指利用计算机生成具有艺术风格的图形技术。目前,很多高性能相机(例如:Canon 5D Mark III、Nikon D800等)能够通过三次不同程度的曝光(欠曝、正常、过曝),自动合成一系列的HDR照片。这些HDR风格的照片具有风格显著、细节丰富、颜色饱满等特点,展现了丰富的艺术特质,典型的HDR照片风格包括:自然、浮雕、绘画、油画等。区别于相机拍摄的HDR效果,人们更希望在普通照片上实现多种HDR照片风格,使普通照片也能展现独特的艺术魅力,因此很多HDR照片的生成软件(例如:HDRmaking、Dynamic Photo HDRI等)逐渐流行起来,其中大部分是通过手动的对颜色和细节进行调整来实现的,不仅交互繁琐、费时费力,而且生成的HDR效果稳定性差,对比于实际拍摄的HDR效果差距较大,无法完美地表现出照片的艺术性。
目前国内外的研究人员已经提出了很多关于图像颜色转移和图像增强的方法:
Reinhard等人在色彩空间lαβ基础上提出了基于统计的颜色转移算法,在lαβ颜色空间匹配两幅图像各个颜色通道的统计信息——均值和方差,然后改变源图像中的颜色分布使它匹配参考图像的分布。
Chang等人提出了一种基于样本的颜色转移方法,根据样本图像的颜色特征对源图像的颜色进行调整,使源图像在保持自身轮廓的同时拥有与样本图像相似的颜色,该算法提高了颜色传递匹配过程的准确性,改进了颜色传递的效果。
Xiao等人提出了梯度保持的颜色转移算法,通过直方图匹配和梯度保持的优化模型提高颜色转移的效果。
Luan等人开发了一个交互工具用于局部颜色转移,同时保持了全局的连续性。Wen等人提出了一个基于画笔的颜色转移***,用户可以指定局部区域改变其颜色风格。
Tai等人提出基于图像分割的色彩转移算法,主要由图像分割、分割区域色彩匹配和分割区域组合三部分组成。其中图像分割部分采用改进的EM算法来估计像素在混合高斯模型下的颜色分布。改进的EM采用迭代更新的方式获得更精确的像素颜色分布。
Fattal等人利用边界保持的滤波器对图像做平滑处理得到基本层和细节层,最后通过调整缩放因子来实现图像的细节增强。
Qin等人提出HSV色彩空间的Retinex结构光图像增强算法。首先将传统RGB空间上的多尺度Retinex算法转换到HSV颜色空间;然后通过分析HSV颜色空间模型来增强模型中的V分量,同时利用相关系数使S分量随着V分量的增强自适应调整;最后将HSV模型转换到RGB空间,使增强后的图像颜色得到保持。
Xiao等人提出一种基于不同彩色空间融合的快速图像增强算法,该算法首先在HSV空间对亮度分量V通道进行增强处理,同时在拉伸得到的对数域反射分量到一定的动态范围时,引入增强调整因子,调整不同亮度值的增强程度来避免噪声放大及色彩失真现象;然后,在RGB色彩空间,分析光晕产生的原因,并利用改进的高斯滤波器来消除光晕,并在计算反射分量时,通过参数调整图像颜色的保真度。最后,将两种不同颜色空间的处理结果进行加权平均最为最终的增强图像。
Zhou等人提出一种基于改进Mean Shift滤波的Retinex彩色图像增强算法,首先采用主成分分析法将低对比度图像分解为亮度和色彩两部分,通过改观现有的Mean Shift滤波方法实现光照分量的自适应增强,并对色彩通道进行恢复,最后在全局分析基础上进行图像补偿。
为了解决上述问题,基于以上的研究,我们在图像颜色转移和图像增强的基础上提出了一种基于字典学习的HDR照片风格转移方法。
发明内容
本发明的目的是在于针对已有技术存在的缺陷,提供一种基于字典学习的HDR照片风格转移方法。该发明重点关注两个方面:第一,如何避免复杂的手动交互;第二,如何生成高质量的HDR效果。参考基于样例的处理技术,即从样例中提取特征信息对源信息进行自动调整和处理,我们同样考虑利用HDR照片样例进行交互简化和效果生成,即给定一张具有HDR风格的样例照片,从中提取出所需要的颜色和细节特征,并将这些特征自动转移到源照片上,从而生成具有HDR风格的新照片。
为达到上述目的,本发明采用如下技术方案:
一种基于字典学习的HDR照片风格转移方法,具体操作步骤如下:
(1)借助梯度保持的颜色转移方法,将HDR参考照片的颜色特征转移到源照片上;
(2)对HDR参考照片提取细节特征,利用K_SVD算法进行字典训练,形成细节的过完备字典集;
(3)利用细节的过完备字典集对源照片进行稀疏重建,生成与HDR参考照片特征一致的细节;
(4)将颜色转移的结果和细节重建的结果合并,最终生成HDR风格的新照片。
所述步骤(1)中利用梯度保持的算法对源HDR照片进行颜色转移,将用户心仪的参考照片的风格转移到源照片上,使源照片具有参考照片的颜色风格,同时保持源照片的梯度特征,具体步骤如下:
通过求解与颜色、梯度这两个能量项相关的能量方程,保留源照片的结构信息,最终得到高保真的颜色转移结果,把颜色转移的问题转化为求解下面的能量方程:
其中Ec,Ed分别表示与颜色、梯度相关的能量项,Φ,R,I分别表示颜色转移结束时的输出图像,参考图像,源图像;H(·)表示对图像做直方图匹配,G(·)表示获取图像梯度,ωc,ωd分别表示颜色分量、梯度分量的权重;
1)颜色映射
在(1)式中,定义了颜色映射的能量项Ec,通过下面的公式(2)求解:
其中H(·)表示图像的颜色直方图分布,k表示直方图区间序号,n表示区间总数;为了得到颜色映射结果,输出图像的颜色直方图分布必须与参考图像的颜色直方图分布相匹配;为了求解方便,将源图像的直方图与参考图像的直方图进行匹配,得到一个中间图像,该图像较准确的保持了参考图像的颜色分布;同时为了避免对结构的影响,对中间图像进行分解,得到细节层和色调层F,在色调层做颜色处理,因此公式(2)重新定义为:
其中Φ表示输出的图像,p表示图像的像素,通过求解公式(3)得到颜色映射的结果;
2)梯度保持
由于颜色映射时分离了细节层,因此得到的结果丢失结构保真度,根据求解公式(1)中声明的能量项Ed能够保持源图像的梯度特征,用下面的公式(4)表示:
其中表示梯度算子,p表示图像上的像素点,m表示总的像素点,λ表示调节图像对比度的参数;当λ>1时,增加对比度;当λ<1时,减小对比度;当λ=1时,保持对比度不变;
在梯度域内优化能够有效地保持源图像的原始结构特征,为了保持源图像的梯度,首先利用索贝尔差分算子计算源图像的梯度,然后根据用户的需求,确定对比度的参数λ,得到源图像梯度保持的结果,求出Ec和Ed之后,代入公式(1)得到颜色转移结果。
所述步骤(2)对HDR参考照片提取细节特征,利用K_SVD算法进行字典训练,得到细节的过完备字典集D,具体步骤为:
选择一张HDR浮雕或者油画风格照片作为参考图像,为了提高重建图像的质量,需要对参考图像做预处理,先用加权最小二乘法WLS滤波器提取其细节特征,然后随机取100000个5x5的小块,作为训练样本集Y;
通过提取的训练样本集Y,学习出一个具有HDR浮雕或油画风格特征的过完备字典D;利用K_SVD算法训练,对HDR照片风格的训练过程,使用如下公式表示:
其中D={d1,d2…dk}∈Rr×k(k>r)是通过学习获得的过完备冗余字典D,α是训练样本集Y在字典D上的稀疏系数向量,δ表示αi中非零元素数目的上限,表示训练样本集Y的全局重构误差;
将Y作为K_SVD算法的输入,根据字典学习的两个阶段,在稀疏编码阶段,通过初始化字典D,然后归一化字典D,利用正交匹配追踪OMP算法得到Y在字典D上的稀疏表示系数矩阵α;在字典更新阶段,根据求出的稀疏矩阵系数α,逐列更新字典原子;在满足k次迭代或者满足收敛条件时,得到最终优化的过完备字典D;在更新字典D的过程中,假设dk表示将要更新字典的第k列,αk表示该列对应的稀疏系数,将公式(5)重写如下:
其中Dα被分解为k个秩为1的矩阵的和,假设其中k-1项都是固定的,剩下的1列就是要更新的第k列;(6)式中的矩阵Ek表示除去原子dk后剩余的成分在样本集Y中的误差;
利用奇异值分解SVD的方法来更新Ek和通过该方法找到与Ek差值最小且秩为1的矩阵,能够有效减少训练样本的全局重建误差;但是由于通过奇异值分解得到的不是稀疏的,即与更新前的非零元素的位置和大小不一样,导致得到的字典不紧致;因此,采用只保留中的非零项,再利用SVD方法更新αk和dk,直到逐列完成字典更新,通过这种方法得到的字典D能够很好地表示样本的特性。
所述步骤(3)采用稀疏表达的思想,利用步骤(2)中学习得到的字典对源照片进行稀疏重建,生成与参考照片特征一致的细节,具体步骤如下:
稀疏表示部分借鉴Lee提出的FSS算法,算法流程如下:
(1)输入:普通风格的源照片X,参考照片的训练字典D;
(2)对源照片X利WLS滤波器分解出细节特征,并进行优化处理,得到图像X1;
(3)循坏过程:从图像X1左上角依次取出大小为5×5的图像块x,对每个小块提取细节特征,然后将每个小块变成25×1的列信号求出每个列信号在字典D下的稀疏表示系数α,具体为:
步骤1.计算图像块x的平均值m;
步骤2.已知D和通过下面的表达式求解稀疏系数α,
其中,λ1表示正则化参数,用来平衡重建误差项与稀疏约束项,λ1取值范围在0与1之间;
步骤3.估计的浮雕风格图像块为Dα,输出的浮雕/油画风格图像块为x*=m+Dα;
(4)输出:将稀疏重建的小块按原来的位置进行恢复,得到具有细节丰富的浮雕或者油画风格图像X*。
所述步骤(4)将颜色转移的结果和细节重建的结果合并,最终生成HDR风格的新照片,具体步骤为:
由于HDR照片具有颜色和细节两个方面的特征,通过利用参考图像的颜色和细节方面的指导信息,分别得到了源照片颜色转移的结果以及源照片稀疏重建的结果;最后,需要将这两个结果合并,使源照片在色调和细节上都具有HDR风格的特点;该合并过程实际等效于求解一个包含数据项和梯度项的能量方程,其中数据项是颜色转移的结果,而梯度项是细节重建的结果,用下面的式子表示:
其中Φ*,Φ,X*分别表示最终生成的HDR风格照片,源照片颜色转移结果,源照片的稀疏重建结果;p表示照片上的像素点,λ*表示梯度约束系数,▽表示获取照片的梯度,通过优化上面的能量方程得到合并的结果,即得到新的HDR风格照片。
本发明与已有技术相比具有如下特点:
(1)本发明提供的实现算法流程清晰、结构完整,实现效率高。
(2)通过字典学习的方法训练得到参考照片的细节特征字典。
(3)利用稀疏表达的方法重建源图像,使源图像具有参考图像的细节特征。
附图说明
图1是基于字典学习的HDR照片风格转移方法程序框图。
图2是HDR浮雕风格转移结果(a)表示源照片(b)表示参考照片(c)表示颜色转移的结果(d)表示稀疏重建的结果(e)表示最终的输出结果。
图3是HDR油画风格转移结果(a)表示源照片(b)表示参考照片(c)表示颜色转移的结果(d)表示稀疏重建的结果(e)表示最终的输出结果。
具体实施方式
本发明的优先实施例结合附图说明如下:
参见图1,一种基于字典学习的HDR照片风格转移方法,具体操作步骤如下:
(1)借助梯度保持的颜色转移方法,将HDR参考照片的颜色特征转移到源照片上;具体步骤如下:
通过求解与颜色、梯度这两个能量项相关的能量方程,保留源照片的结构信息,最终得到高保真的颜色转移结果,把颜色转移的问题转化为求解下面的能量方程:
其中Ec,Ed分别表示与颜色、梯度相关的能量项,Φ,R,I分别表示颜色转移结束时的输出图像,参考图像,源图像;H(·)表示对图像做直方图匹配,G(·)表示获取图像梯度,ωc,ωd分别表示颜色分量、梯度分量的权重;
1)颜色映射
在(1)式中,定义了颜色映射的能量项Ec,通过下面的公式(2)求解:
其中H(·)表示图像的颜色直方图分布,k表示直方图区间序号,n表示区间总数;为了得到颜色映射结果,输出图像的颜色直方图分布必须与参考图像的颜色直方图分布相匹配;为了求解方便,将源图像的直方图与参考图像的直方图进行匹配,得到一个中间图像,该图像较准确的保持了参考图像的颜色分布;同时为了避免对结构的影响,对中间图像进行分解,得到细节层和色调层F,对色调层进行颜色处理,因此公式(2)重新定义为:
其中Φ表示输出的图像,p表示图像的像素,通过求解公式(3)得到颜色映射的结果;
2)梯度保持
由于颜色映射时分离了细节层,因此得到的结果丢失结构保真度,根据求解公式(1)中声明的能量项Ed能够保持源图像的梯度特征,用下面的公式(4)表示:
其中表示梯度算子,p表示图像上的像素点,m表示图像总的像素点,λ表示调节图像对比度的参数;当λ>1时,增加对比度;当λ<1时,减小对比度;当λ=1时,保持对比度不变;
在梯度域内优化能够有效地保持源图像的原始结构特征,为了保持源图像的梯度,首先利用索贝尔差分算子计算源图像的梯度,然后根据用户的需求,确定对比度的参数λ,得到源图像梯度保持的结果,求出Ec和Ed之后,代入公式(1)得到颜色转移结果。
(2)对HDR参考照片提取细节特征,利用K_SVD算法进行字典训练,得到细节的过完备字典集D,具体步骤为:
选择一张HDR浮雕或者油画风格照片作为参考图像,为了提高重建图像的质量,需要对参考图像做预处理,先用加权最小二乘法WLS滤波器提取其细节特征,然后随机取100000个5x5的小块,作为训练样本集Y;
通过提取的训练样本集Y,学习出一个具有HDR浮雕或油画风格特征的过完备字典D;利用K_SVD算法训练,对HDR照片风格的训练过程,使用如下公式表示:
其中D={d1,d2…dk}∈Rr×k(k>r)是通过学习获得的过完备冗余字典D,α是训练样本集Y在字典D上的稀疏系数向量,δ表示αi中非零元素数目的上限,表示训练样本集Y的全局重构误差;
将Y作为K_SVD算法的输入,根据字典学习的两个阶段,在稀疏编码阶段,通过初始化字典D,然后归一化字典D,利用正交匹配追踪OMP算法得到Y在字典D上的稀疏表示系数矩阵α;在字典更新阶段,根据求出的稀疏矩阵系数α,逐列更新字典原子;在满足k次迭代或者满足收敛条件时,得到最终优化的过完备字典D;在更新字典D的过程中,假设dk表示将要更新字典的第k列,αk表示该列对应的稀疏系数,将公式(5)重写如下:
其中Dα被分解为k个秩为1的矩阵的和,假设其中k-1项都是固定的,剩下的1列就是要更新的第k列;(6)式中的矩阵Ek表示除去原子dk后剩余的成分在样本集Y中的误差;
利用奇异值分解SVD的方法来更新Ek和通过该方法找到与Ek差值最小且秩为1的矩阵,能够有效减少训练样本的全局重建误差;但是由于通过奇异值分解得到的不是稀疏的,即与更新前的非零元素的位置和大小不一样,导致得到的字典不紧致;因此,采用只保留中的非零项,再利用SVD方法更新αk和dk,直到逐列完成字典更新,通过这种方法得到的字典D能够很好地表示样本的特性。
(3)利用细节的过完备字典集对源照片进行稀疏重建,生成与HDR参考照片特征一致的细节;具体步骤如下:
稀疏表示部分借鉴Lee提出的FSS算法,算法流程如下:
(1)输入:普通风格的源照片X,参考照片的训练字典D;
(2)对源照片X利WLS滤波器分解出细节特征,并进行优化处理,得到图像X1;
(3)循坏过程:从图像X1左上角依次取出大小为5×5的图像块x,对每个小块提取细节特征,然后将每个小块变成25×1的列信号求出每个列信号在字典D下的稀疏表示系数α,具体为:
步骤1.计算图像块x的平均值m;
步骤2.已知D和通过下面的表达式求解稀疏系数α,
其中,λ1表示正则化参数,用来平衡重建误差项与稀疏约束项,λ1取值范围在0与1之间;
步骤3.估计的浮雕风格图像块为Dα,输出的浮雕/油画风格图像块为x*=m+Dα;
(4)输出:将稀疏重建的小块按原来的位置进行恢复,得到具有细节丰富的浮雕或者油画风格图像X*。
(4)将颜色转移的结果和细节重建的结果合并,最终生成HDR风格的新照片,具体步骤为:
由于HDR照片具有颜色和细节两个方面的特征,通过利用参考图像的颜色和细节方面的指导信息,分别得到了源照片颜色转移的结果以及源照片稀疏重建的结果;最后,需要将这两个结果合并,使源照片在色调和细节上都具有HDR风格的特点;该合并过程实际等效于求解一个包含数据项和梯度项的能量方程,其中数据项是颜色转移的结果,而梯度项是细节重建的结果,用下面的式子表示:
其中Φ*,Φ,X*分别表示最终生成的HDR风格照片,源照片颜色转移结果,源照片的稀疏重建结果;p表示照片上的像素点,λ*表示梯度约束系数,表示获取照片的梯度,通过优化上面的能量方程得到合并的结果,即得到新的HDR风格照片。
该方法适应于所有的HDR风格转移,用户只需按照所选择的参考照片类型通过上述步骤进行处理,就可以将源照片变成新的HDR风格照片。假如参考的HDR照片风格为浮雕风格,则对应的HDR浮雕风格转移的实验结果如图2所示。假如参考的HDR照片风格为油画风格,则对应的HDR油画风格转移的实验结果如图3所示。
Claims (5)
1.一种基于字典学习的HDR照片风格转移方法,其特征在于,具体操作步骤如下:
(1)借助梯度保持的颜色转移方法,将HDR参考照片的颜色特征转移到源照片上;
(2)对HDR参考照片提取细节特征,利用K_SVD算法进行字典训练,形成细节的过完备字典集;
(3)利用细节的过完备字典集对源照片进行稀疏重建,生成与HDR参考照片特征一致的细节;
(4)将颜色转移的结果和细节重建的结果合并,最终生成HDR风格的新照片。
2.根据权利要求1所述的基于字典学习的HDR照片风格转移方法,其特征在于,所述步骤(1)中利用梯度保持的算法对源HDR照片进行颜色转移,将用户心仪的参考照片的风格转移到源照片上,使源照片具有参考照片的颜色风格,同时保持源照片的梯度特征,具体步骤如下:
通过求解与颜色、梯度这两个能量项相关的能量方程,保留源照片的结构信息,最终得到高保真的颜色转移结果,把颜色转移的问题转化为求解下面的能量方程:
其中Ec,Ed分别表示与颜色、梯度相关的能量项,Φ,R,I分别表示颜色转移结束时的输出图像,参考图像,源图像;H(·)表示对图像做直方图匹配,G(·)表示获取图像梯度,ωc,ωd分别表示颜色分量、梯度分量的权重;
1)颜色映射
在(1)式中,定义了颜色映射的能量项Ec,通过下面的公式(2)求解:
其中H(·)表示图像的颜色直方图分布,k表示直方图区间序号,n表示区间总数;为了得到颜色映射结果,输出图像的颜色直方图分布必须与参考图像的颜色直方图分布相匹配;为了求解方便,将源图像的直方图与参考图像的直方图进行匹配,得到一个中间图像,该图像较准确的保持了参考图像的颜色分布;同时为了避免对结构的影响,对中间图像进行分解,得到细节层和色调层F,在色调层做颜色处理,因此公式(2)重新定义为:
其中Φ表示输出的图像,p表示图像的像素,通过求解公式(3)得到颜色映射的结果;
2)梯度保持
由于颜色映射时分离了细节层,因此得到的结果丢失结构保真度,根据求解公式(1)中声明的能量项Ed能够保持源图像的梯度特征,用下面的公式(4)表示:
其中▽表示梯度算子,p表示图像上的像素点,m表示总的像素点,λ表示调节图像对比度的参数;当λ>1时,增加对比度;当λ<1时,减小对比度;当λ=1时,保持对比度不变;
在梯度域内优化能够有效地保持源图像的原始结构特征,为了保持源图像的梯度,首先利用索贝尔差分算子计算源图像的梯度,然后根据用户的需求,确定对比度的参数λ,得到源图像梯度保持的结果,求出Ec和Ed之后,代入公式(1)得到颜色转移结果。
3.根据权利要求1所述的基于字典学习的HDR照片风格转移方法,其特征在于,所述步骤(2)对HDR参考照片提取细节特征,利用K_SVD算法进行字典训练,得到细节的过完备字典集D,具体步骤为:
选择一张HDR浮雕或者油画风格照片作为参考图像,为了提高重建图像的质量,需要对参考图像做预处理,先用加权最小二乘法WLS滤波器提取其细节特征,然后随机取100000个5x5的小块,作为训练样本集Y;
通过提取的训练样本集Y,学习出一个具有HDR浮雕或油画风格特征的过完备字典D;利用K_SVD算法训练,对HDR照片风格的训练过程,使用如下公式表示:
其中D={d1,d2…dk}∈Rr×k(k>r)是通过学习获得的过完备冗余字典D,α是训练样本集Y在字典D上的稀疏系数向量,δ表示αi中非零元素数目的上限,表示训练样本集Y的全局重构误差;
将Y作为K_SVD算法的输入,根据字典学习的两个阶段,在稀疏编码阶段,通过初始化字典D,然后归一化字典D,利用正交匹配追踪OMP算法得到Y在字典D上的稀疏表示系数矩阵α;在字典更新阶段,根据求出的稀疏矩阵系数α,逐列更新字典原子;在满足k次迭代或者满足收敛条件时,得到最终优化的过完备字典D;在更新字典D的过程中,假设dk表示将要更新字典的第k列,αk表示该列对应的稀疏系数,将公式(5)重写如下:
其中Dα被分解为k个秩为1的矩阵的和,假设其中k-1项都是固定的,剩下的1列就是要更新的第k列;(6)式中的矩阵Ek表示除去原子dk后剩余的成分在样本集Y中的误差;
利用奇异值分解SVD的方法来更新Ek和通过该方法找到与Ek差值最小且秩为1的矩阵,能够有效减少训练样本的全局重建误差;但是由于通过奇异值分解得到的不是稀疏的,即与更新前的非零元素的位置和大小不一样,导致得到的字典不紧致;因此,采用只保留中的非零项,再利用SVD方法更新αk和dk,直到逐列完成字典更新,通过这种方法得到的字典D能够很好地表示样本的特性。
4.根据权利要求1所述的基于字典学习的HDR照片风格转移方法,其特征在于,所述步骤(3)采用稀疏表达的思想,利用步骤(2)中学习得到的字典对源照片进行稀疏重建,生成与参考照片特征一致的细节,具体步骤如下:
稀疏表示部分借鉴Lee提出的FSS算法,算法流程如下:
(1)输入:普通风格的源照片X,参考照片的训练字典D;
(2)对源照片X利WLS滤波器分解出细节特征,并进行优化处理,得到图像X1;
(3)循坏过程:从图像X1左上角依次取出大小为5×5的图像块x,对每个小块提取细节特征,然后将每个小块变成25×1的列信号求出每个列信号在字典D下的稀疏表示系数α,具体为:
步骤1.计算图像块x的平均值m;
步骤2.已知D和通过下面的表达式求解稀疏系数α,
其中,λ1表示正则化参数,用来平衡重建误差项与稀疏约束项,λ1取值范围在0与1之间;
步骤3.估计的浮雕风格图像块为Dα,输出的浮雕/油画风格图像块为x*=m+Dα;
(4)输出:将稀疏重建的小块按原来的位置进行恢复,得到具有细节丰富的浮雕或者油画风格图像X*。
5.根据权利要求1所述的基于字典学习的HDR照片风格转移方法,其特征在于,所述步骤(4)将颜色转移的结果和细节重建的结果合并,最终生成HDR风格的新照片,具体步骤为:
由于HDR照片具有颜色和细节两个方面的特征,通过利用参考图像的颜色和细节方面的指导信息,分别得到了源照片颜色转移的结果以及源照片稀疏重建的结果;最后,需要将这两个结果合并,使源照片在色调和细节上都具有HDR风格的特点;该合并过程实际等效于求解一个包含数据项和梯度项的能量方程,其中数据项是颜色转移的结果,而梯度项是细节重建的结果,用下面的式子表示:
其中Φ*,Φ,X*分别表示最终生成的HDR风格照片,源照片颜色转移结果,源照片的稀疏重建结果;p表示照片上的像素点,λ*表示梯度约束系数,▽表示获取照片的梯度,通过优化上面的能量方程得到合并的结果,即得到新的HDR风格照片。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611058620.6A CN106780367B (zh) | 2016-11-28 | 2016-11-28 | 基于字典学习的hdr照片风格转移方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611058620.6A CN106780367B (zh) | 2016-11-28 | 2016-11-28 | 基于字典学习的hdr照片风格转移方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106780367A true CN106780367A (zh) | 2017-05-31 |
CN106780367B CN106780367B (zh) | 2019-11-15 |
Family
ID=58912507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611058620.6A Active CN106780367B (zh) | 2016-11-28 | 2016-11-28 | 基于字典学习的hdr照片风格转移方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106780367B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107705242A (zh) * | 2017-07-20 | 2018-02-16 | 广东工业大学 | 一种结合深度学习与深度感知的图像风格化迁移方法 |
CN107730479A (zh) * | 2017-08-30 | 2018-02-23 | 中山大学 | 基于压缩感知的高动态范围图像去伪影融合方法 |
CN107832843A (zh) * | 2017-10-30 | 2018-03-23 | 上海寒武纪信息科技有限公司 | 一种信息处理方法及相关产品 |
CN109064434A (zh) * | 2018-06-28 | 2018-12-21 | 广州视源电子科技股份有限公司 | 图像增强的方法、装置、存储介质及计算机设备 |
CN109308679A (zh) * | 2018-08-13 | 2019-02-05 | 深圳市商汤科技有限公司 | 一种图像风格转换方及装置、设备、存储介质 |
CN111164563A (zh) * | 2017-08-02 | 2020-05-15 | 深圳传音通讯有限公司 | 一种智能终端的图像色彩调节***及色彩调节方法 |
CN112560960A (zh) * | 2020-12-16 | 2021-03-26 | 北京影谱科技股份有限公司 | 一种高光谱图像分类方法、装置以及计算设备 |
CN113269223A (zh) * | 2021-03-16 | 2021-08-17 | 重庆市地理信息和遥感应用中心 | 一种基于空间文化模因分析的城市风格分类方法 |
WO2021169945A1 (en) * | 2020-02-24 | 2021-09-02 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and device for picture generation, electronic device, and storage medium |
CN114359083A (zh) * | 2021-12-24 | 2022-04-15 | 北京航空航天大学 | 一种面向干扰环境的高动态热红外图像自适应预处理方法 |
US11990137B2 (en) | 2018-09-13 | 2024-05-21 | Shanghai Cambricon Information Technology Co., Ltd. | Image retouching method and terminal device |
US12050887B2 (en) | 2020-12-11 | 2024-07-30 | Shanghai Cambricon Information Technology Co., Ltd. | Information processing method and terminal device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120133664A1 (en) * | 2010-11-29 | 2012-05-31 | Lotus Hill Institute For Computer Vision And Information Science | System and method for painterly rendering based on image parsing |
CN103093445A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于联合稀疏约束的统一特征空间图像超分辨重建方法 |
CN105989584A (zh) * | 2015-01-29 | 2016-10-05 | 北京大学 | 图像风格化重建的方法和装置 |
CN106023098A (zh) * | 2016-05-12 | 2016-10-12 | 西安电子科技大学 | 基于张量结构多字典学习与稀疏编码的图像修补方法 |
-
2016
- 2016-11-28 CN CN201611058620.6A patent/CN106780367B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120133664A1 (en) * | 2010-11-29 | 2012-05-31 | Lotus Hill Institute For Computer Vision And Information Science | System and method for painterly rendering based on image parsing |
CN103093445A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于联合稀疏约束的统一特征空间图像超分辨重建方法 |
CN105989584A (zh) * | 2015-01-29 | 2016-10-05 | 北京大学 | 图像风格化重建的方法和装置 |
CN106023098A (zh) * | 2016-05-12 | 2016-10-12 | 西安电子科技大学 | 基于张量结构多字典学习与稀疏编码的图像修补方法 |
Non-Patent Citations (10)
Title |
---|
HONGLAK LEE等: ""Efficient sparse coding algorithms"", 《INTERNATIONAL CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS》 * |
MICHAL AHARON等: ""K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation"", 《IEEE TRANSACTIONS ON SIGNAL PROCESSING》 * |
SABOYA YANG等: ""Hierarchical Oil Painting Stylization with Limited Reference via Sparse Representation"", 《2015 IEEE 17TH INTERNATIONAL WORKSHOP ON MULTIMEDIA SIGNAL PROCESSING (MMSP)》 * |
XU SHI HONG等: ""Infrared and Low-Light-Level Image Fusion Method Based on Sparse Representation and Color Transfer"", 《APPLIED MECHANICS & MATERIALS》 * |
XUEZHONG XIAO等: ""gradient-preserving color transfer"", 《PACIFIC GRAPHICS》 * |
ZHIFENG XIE等: ""DETAIL-PRESERVING FIDELITY REFINEMENT FOR TONE MAPPING"", 《2016 INTERNATIONAL CONFERENCE ON AUDIO, LANGUAGE AND IMAGE PROCESSING (ICALIP)》 * |
王丽丹: ""基于配准融合及色彩迁移的新图像生成"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
肖学中: ""基于实例的颜色处理新技术研究"", 《中国博士学位论文全文数据库 信息科技辑》 * |
陈磊: ""异类图像多级混合融合技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
马平平: ""基于区域自适应的图像间颜色迁移算法与性能评价"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107705242A (zh) * | 2017-07-20 | 2018-02-16 | 广东工业大学 | 一种结合深度学习与深度感知的图像风格化迁移方法 |
CN107705242B (zh) * | 2017-07-20 | 2021-12-17 | 广东工业大学 | 一种结合深度学习与深度感知的图像风格化迁移方法 |
CN111164563A (zh) * | 2017-08-02 | 2020-05-15 | 深圳传音通讯有限公司 | 一种智能终端的图像色彩调节***及色彩调节方法 |
CN111164563B (zh) * | 2017-08-02 | 2024-02-20 | 深圳传音通讯有限公司 | 一种智能终端的图像色彩调节***及色彩调节方法 |
CN107730479B (zh) * | 2017-08-30 | 2021-04-20 | 中山大学 | 基于压缩感知的高动态范围图像去伪影融合方法 |
CN107730479A (zh) * | 2017-08-30 | 2018-02-23 | 中山大学 | 基于压缩感知的高动态范围图像去伪影融合方法 |
US11762631B2 (en) | 2017-10-30 | 2023-09-19 | Shanghai Cambricon Information Technology Co., Ltd. | Information processing method and terminal device |
CN107832843A (zh) * | 2017-10-30 | 2018-03-23 | 上海寒武纪信息科技有限公司 | 一种信息处理方法及相关产品 |
US11922132B2 (en) | 2017-10-30 | 2024-03-05 | Shanghai Cambricon Information Technology Co., Ltd. | Information processing method and terminal device |
CN109064434A (zh) * | 2018-06-28 | 2018-12-21 | 广州视源电子科技股份有限公司 | 图像增强的方法、装置、存储介质及计算机设备 |
CN109308679B (zh) * | 2018-08-13 | 2022-08-30 | 深圳市商汤科技有限公司 | 一种图像风格转换方法及装置、设备、存储介质 |
CN109308679A (zh) * | 2018-08-13 | 2019-02-05 | 深圳市商汤科技有限公司 | 一种图像风格转换方及装置、设备、存储介质 |
US11990137B2 (en) | 2018-09-13 | 2024-05-21 | Shanghai Cambricon Information Technology Co., Ltd. | Image retouching method and terminal device |
US11996105B2 (en) | 2018-09-13 | 2024-05-28 | Shanghai Cambricon Information Technology Co., Ltd. | Information processing method and terminal device |
WO2021169945A1 (en) * | 2020-02-24 | 2021-09-02 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and device for picture generation, electronic device, and storage medium |
US12050887B2 (en) | 2020-12-11 | 2024-07-30 | Shanghai Cambricon Information Technology Co., Ltd. | Information processing method and terminal device |
CN112560960A (zh) * | 2020-12-16 | 2021-03-26 | 北京影谱科技股份有限公司 | 一种高光谱图像分类方法、装置以及计算设备 |
CN113269223B (zh) * | 2021-03-16 | 2022-04-22 | 重庆市地理信息和遥感应用中心 | 一种基于空间文化模因分析的城市风格分类方法 |
CN113269223A (zh) * | 2021-03-16 | 2021-08-17 | 重庆市地理信息和遥感应用中心 | 一种基于空间文化模因分析的城市风格分类方法 |
CN114359083A (zh) * | 2021-12-24 | 2022-04-15 | 北京航空航天大学 | 一种面向干扰环境的高动态热红外图像自适应预处理方法 |
CN114359083B (zh) * | 2021-12-24 | 2022-11-29 | 北京航空航天大学 | 一种面向干扰环境的高动态热红外图像自适应预处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106780367B (zh) | 2019-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106780367B (zh) | 基于字典学习的hdr照片风格转移方法 | |
Hao et al. | Low-light image enhancement with semi-decoupled decomposition | |
Li et al. | A closed-form solution to photorealistic image stylization | |
CN111080511B (zh) | 一种端到端的高分辨率多特征提取的人脸交换方法 | |
CN110378985B (zh) | 一种基于gan的动漫绘画辅助创作方法 | |
CN112614077B (zh) | 一种基于生成对抗网络的非监督低照度图像增强方法 | |
CN109064423B (zh) | 一种基于非对称循环生成对抗损失的智能修图方法 | |
Huang et al. | Deep learning for image colorization: Current and future prospects | |
CN110570377A (zh) | 一种基于组归一化的快速图像风格迁移方法 | |
CN111626918B (zh) | 一种基于语义分割网络技术对数字图像进行风格变化的方法及*** | |
CN110443763B (zh) | 一种基于卷积神经网络的图像阴影去除方法 | |
CN113222875B (zh) | 一种基于色彩恒常性的图像和谐化合成方法 | |
Su et al. | Corruptive artifacts suppression for example-based color transfer | |
CN107123088A (zh) | 一种自动更换证件照背景颜色的方法 | |
CN111986075A (zh) | 一种目标边缘清晰化的风格迁移方法 | |
CN110322530A (zh) | 一种基于深度残差网络的可交互图像着色 | |
CN109829925A (zh) | 一种在抠图任务中提取干净前景的方法及模型训练方法 | |
CN113658057A (zh) | 一种Swin Transformer微光图像增强方法 | |
CN110276753A (zh) | 基于特征空间统计信息映射的目标自适应隐藏方法 | |
CN113362422A (zh) | 一种阴影鲁棒的基于解耦表示的妆容迁移***及方法 | |
Li et al. | Flexible piecewise curves estimation for photo enhancement | |
Zhang et al. | A real-time semi-supervised deep tone mapping network | |
Chen et al. | Quality evaluation of arbitrary style transfer: Subjective study and objective metric | |
CN114663274A (zh) | 一种基于gan网络的肖像图像头发去除方法及装置 | |
CN112132923A (zh) | 一种基于风格小图高清化的两阶段数字图像风格变换方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |