CN102938144A - 基于总变分模型的人脸重加光方法 - Google Patents
基于总变分模型的人脸重加光方法 Download PDFInfo
- Publication number
- CN102938144A CN102938144A CN2012103900506A CN201210390050A CN102938144A CN 102938144 A CN102938144 A CN 102938144A CN 2012103900506 A CN2012103900506 A CN 2012103900506A CN 201210390050 A CN201210390050 A CN 201210390050A CN 102938144 A CN102938144 A CN 102938144A
- Authority
- CN
- China
- Prior art keywords
- total variation
- input
- face
- image
- variation model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于总变分模型的人脸重加光方法,包括以下步骤:(1)建立多输入对数总变分模型;(2)将同一个人的人脸图像系列输入多输入对数总变分模型;(3)多输入对数总变分模型将人脸图像系列分解为反射成分及光照成分;(4)将人脸数据库中的人脸光照图像输入多输入对数总变分模型;(5)多输入对数总变分模型将人脸数据库中的人脸光照图像分解为反射成分及光照成分;(6)根据步骤(3)中的光照成分与步骤(5)中的光照成分合成新的光照成分;(7)将步骤(3)中的反射成分与步骤(6)中生成的光照成分进行合成。本发明,能够合成极端变化光照下的人脸图像;支持单幅或者多幅图像输入,更加准确地估计光照成分和反射成分。
Description
技术领域
本发明涉及人脸重加光技术领域,具体地讲,是指一种基于总变分模型的人脸重加光方法。
背景技术
所谓人脸重加光技术,即对输入的人脸图像进行处理,合成用户指定光照条件下的人脸图像。人脸重加光技术在视频监控、媒体处理、数字艺术、公安侦查等领域具有广泛的应用。譬如,在人脸识别***中,通过对人脸图像进行重加光处理,使得人脸图像具有相同的光照条件,从而提高人脸识别准确率。在图像合成中,可以通过人脸重加光技术来协调人脸与周围场景的光照,从而达到更真实的合成效果。
现有的人脸重加光技术主要有以下几类:
1)基于商图像或者比值图像的方法:
商图像定义为两个不同人脸在相同姿势且相同光照条件下的商。如果已经知道其中一个人脸α在某光照条件t下的图像Iα,t,则利用两个人脸之间的商图像以及Iα,t来合成另外一个人脸在光照条件t下的图像。
2)基于反射成分和光照成分分离的方法:
根据物理成像原理,一张人脸图像由反射成分和光照成分组成。反射成分主要描述人脸表面反射率;光照成分则描述人脸的光照和阴影信息。如果能有效地估计出图像的反射成分和光照成分,则可以通过调整或者更换光照成分来达到人脸重加光。其中,一般假设不同种光照成分可以构成一个低维线性子空间。
3)基于三维人脸模型的方法:
从人脸图像重构人脸的三维模型,然后根据三维空间模拟光照的方法来进行人脸重加光。
4)基于多项式模型的方法:
通过统计回归,总结出一个多项式函数族来刻画同个人脸在不同光照条件下的图像之间的关联。从而,该多项式模型可以用来直接实现人脸重加光。
现有的人脸重加光技术,尚存在很多不足:比如,很多方法仅能支持单张输入图像,而单张图像所含信息有限,在进行光照、商图像、反射率等估计的时候,在图像的阴影区域往往会得到错误的估计结果。而基于三维人脸模型的方法要求对同一个人有大量不同姿势下的输入图像,否则很难重构出精准的三维模型。基于多项式模型的方法又难以处理光照变化非常大的情况。
发明内容
本发明的目的在于提供一种基于总变分模型的人脸重加光方法,可以挖掘利用更多的人脸信息来达到更准确的光照和反射率估计,从而能够处理极端变化的光照合成。
为实现上述目的,本发明所采用的技术方案为:
一种基于总变分模型的人脸重加光方法,其包括以下步骤:
(1)建立多输入对数总变分模型,用于同时处理同一个人在相同姿势下的单张或者多张图像,且估计出输入图像的光照成分和反射成分;
(2)将同一个人的人脸图像系列输入所述的多输入对数总变分模型;
(3)所述的多输入对数总变分模型将输入的人脸图像系列分解为反射成分及光照成分;
(4)将人脸数据库中的人脸光照图像输入所述的多输入对数总变分模型;
(5)所述的多输入对数总变分模型将输入的人脸数据库中的人脸光照图像分解为反射成分及光照成分;
(6)根据步骤(3)中的光照成分与步骤(5)中的光照成分合成新的光照成分;
(7)将步骤(3)中的反射成分与步骤(6)中的光照成分进行合成。
上述的输入对数总变分模型,满足以下条件:
Ii=R⊙Li=1,…,N
其中:{Ii},i=1,…,N,{Ii}为同一个人脸的图像序列;
R是该人脸的反射成分;
Li是图像Ii的光照成分;
⊙表示对应像素值之间的相乘。
对上述的输入对数总变分模型的满足条件的公式进行对数变换,得到:
求解以下优化模型可以得到v和ui:
s.t.v=fi-ui
其中:λ是正则化参数,用于平衡ui和v的作用;
求解得到ui和v后,通过指数变换得到R和Li,i=1,…,N,即:
R=exp(v),Li=exp(ui),i=1,…,N
上述的输入对数总变分模型的求解方法,其包括以下步骤:
使用交替方向乘子法求解:
其中,k代表第k步迭代;
wi,pi和qi为迭代临时变量;
D是图像梯度的前向差分逼近;
D’是D的转置矩阵;
则有 其中E是图像二阶导数的离散逼近矩阵。
采用上述技术方案后,本发明,提出多输入对数总变分模型来表达图像系列中光照成分和反射成分,该模型支持单幅或者多幅输入图像;同时,提出该模型的迭代求解格式,且在基于该模型分解的基础上,提出基于稀疏约束的人脸重加光算法。相对于现有技术,本发明具有以下的优点:
1)能够合成极端变化光照下的人脸图像。
2)支持单幅或者多幅图像输入,更加准确地估计光照成分和反射成分。
3)不需要估计人脸的三维模型。
附图说明
图1为本发明的技术流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参考图1所示,本发明公开了一种基于总变分模型的人脸重加光方法,其包括以下步骤:
(1)建立多输入对数总变分模型,用于同时处理同一个人在相同姿势下的单张或者多张图像,且估计出输入图像的光照成分和反射成分;
对于给定的同一个人脸的图像序列{Ii},i=1,…,N,根据Lambertian(朗伯)光照反射模型,它们满足以下条件:
Ii=R⊙Li,i=1,…,N (1)
其中:R是该人脸的反射成分;
Li是图像Ii的光照成分;
⊙表示对应像素值之间的相乘。
对公式(1)进行对数变换,得到:
i=1,…,N (2)
求解以下优化模型可以得到v和ui:
s.t.v=fi-ui
其中:λ是正则化参数,用于平衡ui和v的作用;
求解得到ui和v后,通过指数变换得到R和Li,i=1,…,N,即:R=exp(v),Li=exp(ui),i=1,…,N (4)
在具体实施时,可以根据交替方向乘子法求解:
在上面的迭代过程公式(5)~(9)中,k代表第k步迭代;
wi,pi和qi为迭代临时变量;
D是图像梯度的前向差分逼近;
D’是D的转置矩阵;
α是增强拉格朗日系数;在本实施例中,取α=0.0008;
令 则有 其中E是图像二阶导数的离散逼近矩阵。
(2)将同一个人的人脸图像系列输入所述的多输入对数总变分模型;
在实施时,将{Ii},i=1,…,N这一系列数据输入多输入对数总变分模型。
(3)所述的多输入对数总变分模型将输入的人脸图像系列分解为反射成分及光照成分;
假设{Ik},k=1,…,K为输入的同一个人的人脸图像系列(这里K≥1,表示输入图像系列的图像数目),根据步骤(1)中的公式,得到人脸图像系列的反射成分R及光照成分Lk。
(4)将人脸数据库中的人脸光照图像输入所述的多输入对数总变分模型;
在实施时,假设{Ai,j},i=1,…,N;j=1,…,M为训练数据库,其中Ai,j是数据库中第i个人在第j种光照下的图像,N为数据库中人的总数,M为每个人的图像总数。将{Ai,j},输入多输入对数总变分模型。
(5)所述的多输入对数总变分模型将输入的脸数据库中的人脸光照图像分解为反射成分及光照成分;
根据步骤(1),可以
Ai,j=Ri⊙Li,j,i=1,…,N;j=1,…,M (11)
(6)根据步骤(3)中的光照成分与步骤(5)中的光照成分合成新的光照成分;
其中,β是正则化系数(本发明取值β=0.5)
通过求解公式(12)得到A*后,可以由以下公式得到输入人脸在第jo种光照条件下的图像合成光照成分:
(7)将步骤(3)中的反射成分与步骤(6)中的光照成分进行合成。
最后合成第j0种光照条件下的人脸图像
本发明,其提出一种新的对数总变分模型(本案称之为“多输入对数总变分模型”)及其数值求解方法。此模型能够同时处理同一个人在相同姿势下的单张或者多张图像,进而准确地估计出输入图像的光照成分和反射成分。为了求解此模型,设计了一种迭代的数值求解方法,此求解方法具有精度高、计算速度快、程序编写简单等特点。基于多输入对数总变分模型求解得到的图像的光照处分和反射处分,本发明给提出一种基于稀疏约束的图像重加光模型。该模型求解简单,且能够合成复杂的光照图像。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
Claims (4)
1.一种基于总变分模型的人脸重加光方法,其特征在于:其包括以下步骤:
(1)建立多输入对数总变分模型,用于同时处理同一个人在相同姿势下的单张或者多张图像,且估计出输入图像的光照成分和反射成分;
(2)将同一个人的人脸图像系列输入所述的多输入对数总变分模型;
(3)所述的多输入对数总变分模型将输入的人脸图像系列分解为反射成分及光照成分;
(4)将人脸数据库中的人脸光照图像输入所述的多输入对数总变分模型;
(5)所述的多输入对数总变分模型将输入的人脸数据库中的人脸光照图像分解为反射成分及光照成分;
(6)根据步骤(3)中的光照成分与步骤(5)中的光照成分合成新的光照成分;
(7)将步骤(3)中的反射成分与步骤(6)中的光照成分进行合成。
2.根据权利要求1所述的基于总变分模型的人脸重加光方法,其特征在于:所述的输入对数总变分模型,满足以下条件:
li=R⊙Li,i=1,…,N
其中:{Ii},i=1,…,N,{li}为同一个人脸的图像序列;
R是该人脸的反射成分;
Li是图像Ii的光照成分;
⊙表示对应像素值之间的相乘。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210390050.6A CN102938144B (zh) | 2012-10-15 | 2012-10-15 | 基于总变分模型的人脸重加光方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210390050.6A CN102938144B (zh) | 2012-10-15 | 2012-10-15 | 基于总变分模型的人脸重加光方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102938144A true CN102938144A (zh) | 2013-02-20 |
CN102938144B CN102938144B (zh) | 2016-04-13 |
Family
ID=47697037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210390050.6A Active CN102938144B (zh) | 2012-10-15 | 2012-10-15 | 基于总变分模型的人脸重加光方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102938144B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015103770A1 (zh) * | 2014-01-10 | 2015-07-16 | 富士通株式会社 | 图像处理装置、电子设备及方法 |
CN105378762A (zh) * | 2014-04-08 | 2016-03-02 | 微软技术许可有限责任公司 | 使用交替方向乘子法的深度学习 |
US9679212B2 (en) | 2014-05-09 | 2017-06-13 | Samsung Electronics Co., Ltd. | Liveness testing methods and apparatuses and image processing methods and apparatuses |
US10319311B2 (en) | 2017-02-16 | 2019-06-11 | Novatek Microelectronics Corp. | Display system with adjustment for brightness perceived by user's eyes |
CN113192055A (zh) * | 2021-05-20 | 2021-07-30 | 中国海洋大学 | 一种合成图像的和谐化方法及模型 |
-
2012
- 2012-10-15 CN CN201210390050.6A patent/CN102938144B/zh active Active
Non-Patent Citations (3)
Title |
---|
NUNO B.BRAS: "An Alternating Direction Algorithm for Total Variation Reconstruction of Distributed Parameters", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
庄连生: "基于全变分模型的光照处理算法", 《PROCEEDINGS OF THE 6TH WORLD CONGRESS ON INTELLIGENT CONTROL AND AUTOMATION》 * |
赵明华: "人脸检测和识别技术的研究", 《中国博士学位论文全文数据库信息科技辑》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2535127A (en) * | 2014-01-10 | 2016-08-10 | Fujitsu Ltd | Image processing apparatus, electronic device and method |
WO2015103770A1 (zh) * | 2014-01-10 | 2015-07-16 | 富士通株式会社 | 图像处理装置、电子设备及方法 |
US10019645B2 (en) | 2014-01-10 | 2018-07-10 | Fujitsu Limited | Image processing apparatus and method, and electronic equipment |
US10579922B2 (en) | 2014-04-08 | 2020-03-03 | Microsoft Technology Licensing, Llc | Deep learning using alternating direction method of multipliers |
CN105378762A (zh) * | 2014-04-08 | 2016-03-02 | 微软技术许可有限责任公司 | 使用交替方向乘子法的深度学习 |
CN105378762B (zh) * | 2014-04-08 | 2018-01-19 | 微软技术许可有限责任公司 | 使用交替方向乘子法的深度学习 |
US9679212B2 (en) | 2014-05-09 | 2017-06-13 | Samsung Electronics Co., Ltd. | Liveness testing methods and apparatuses and image processing methods and apparatuses |
US10360465B2 (en) | 2014-05-09 | 2019-07-23 | Samsung Electronics Co., Ltd. | Liveness testing methods and apparatuses and image processing methods and apparatuses |
US11151397B2 (en) | 2014-05-09 | 2021-10-19 | Samsung Electronics Co., Ltd. | Liveness testing methods and apparatuses and image processing methods and apparatuses |
TWI670644B (zh) * | 2017-02-16 | 2019-09-01 | 聯詠科技股份有限公司 | 顯示系統、顯示裝置及其顯示調整方法 |
US10319311B2 (en) | 2017-02-16 | 2019-06-11 | Novatek Microelectronics Corp. | Display system with adjustment for brightness perceived by user's eyes |
CN113192055A (zh) * | 2021-05-20 | 2021-07-30 | 中国海洋大学 | 一种合成图像的和谐化方法及模型 |
CN113192055B (zh) * | 2021-05-20 | 2023-01-17 | 中国海洋大学 | 一种合成图像的和谐化方法及模型 |
Also Published As
Publication number | Publication date |
---|---|
CN102938144B (zh) | 2016-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Han et al. | Reflection removal using low-rank matrix completion | |
CN107358293B (zh) | 一种神经网络训练方法及装置 | |
CN103262119B (zh) | 用于对图像进行分割的方法和*** | |
Li et al. | Non‐local image inpainting using low‐rank matrix completion | |
CN105488776B (zh) | 超分辨率图像重建方法和装置 | |
CN102938144A (zh) | 基于总变分模型的人脸重加光方法 | |
CN105590304B (zh) | 超分辨率图像重建方法和装置 | |
CN104680483B (zh) | 图像的噪声估计方法、视频图像去噪方法及装置 | |
CN104050653A (zh) | 基于非负结构稀疏的高光谱图像超分辨率算法 | |
CN104599242A (zh) | 使用多尺度非局部正则的模糊核估计方法 | |
Hung et al. | Consistent binocular depth and scene flow with chained temporal profiles | |
CN110139046B (zh) | 一种基于张量的视频帧合成方法 | |
CN111028282A (zh) | 一种无监督位姿与深度计算方法及*** | |
CN108109121A (zh) | 一种基于卷积神经网络的人脸模糊快速消除方法 | |
CN106327422A (zh) | 一种图像风格化重建方法及装置 | |
CN113016003A (zh) | 景深图像重聚焦 | |
CN105279742A (zh) | 一种快速的基于分块噪声能量估计的图像去噪方法 | |
Takahashi et al. | Rank minimization approach to image inpainting using null space based alternating optimization | |
CN103198464B (zh) | 一种基于单个参考视频的人脸视频光影迁移生成方法 | |
Gonzalez-Huitron et al. | 2D to 3D conversion based on disparity map estimation | |
Wu et al. | Hi-net: boosting self-supervised indoor depth estimation via pose optimization | |
Li et al. | A Decoupled method for image inpainting with patch-based low rank regulariztion | |
CN109360158A (zh) | 一种基于梯度稀疏性与非局部相似性信息的图像复原方法 | |
CN114022371A (zh) | 基于空间和通道注意力残差网络的去雾装置及其去雾方法 | |
CN104320649B (zh) | 一种基于全概率模型的多视点深度图增强方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |