CN107256376A - 一种基于序贯主分量分析的人脸高光区处理方法 - Google Patents

一种基于序贯主分量分析的人脸高光区处理方法 Download PDF

Info

Publication number
CN107256376A
CN107256376A CN201710172082.1A CN201710172082A CN107256376A CN 107256376 A CN107256376 A CN 107256376A CN 201710172082 A CN201710172082 A CN 201710172082A CN 107256376 A CN107256376 A CN 107256376A
Authority
CN
China
Prior art keywords
highlight
face
highlight area
principal component
human face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710172082.1A
Other languages
English (en)
Inventor
沃胤晟
童晶
袁典
陈涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Cat Technology Co Ltd
Original Assignee
Wuhan Cat Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Cat Technology Co Ltd filed Critical Wuhan Cat Technology Co Ltd
Priority to CN201710172082.1A priority Critical patent/CN107256376A/zh
Publication of CN107256376A publication Critical patent/CN107256376A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于序贯主分量分析的人脸高光区处理方法，其特征包含：基于序贯主分量分析的人脸高光区域自动检测方法；人脸高光区域的处理方法。所述基于序贯主分量分析的人脸高光区域自动检测方法，用于在人脸照片中存在高光区域的情况下，基于序贯主分量分析方法，自动检测人脸中的高光区域。所述人脸高光区域的处理方法，用于在自动检测到人脸高光区域的基础之上，使用高光区临界颜色值来处理人脸高光区。与现有方法相比，本发明不仅能很好地检测各种光照条件下的高光区，且高光区的恢复效果好。

Description

一种基于序贯主分量分析的人脸高光区处理方法
技术领域
本发明涉及图像处理技术领域，特别是涉及一种用于人脸图像高光处理的方法。
背景技术
三维虚拟试衣技术中，三维模型换脸技术是一个重要分支。由于拍摄条件的多变性和不确定性，获取到的用户照片质量参差不齐，特别的，人脸照片中存在诸多高光问题。由于高光区的存在，使得三维模型换脸的效果不佳。
人脸照片的高光处理一直都是人脸图像处理的难点。人脸高光问题可分为高光区的检测和高光区的恢复。对于前者，现有的技术和方法包括：颜色统计分析、光线极化分析和边缘检测等。这些方法分别存在检测效果差，算法复杂等弊端，不能满足三维模型换脸的技术要求。而对于后者，现有的方法往往从图像恢复的角度出发，通过对图像的亮度进行处理试图恢复图像。由于在相机成像时，高光区域的信息已经丢失，使得该类方法恢复效果不佳,高光区域处理效率不高。
发明内容
为了克服上述现有技术的不足，本发明提供了一种基于序贯主分量分析的人脸高光区处理方法。对于高光区域的检测，使用序贯主分量分析方法。对于高光区的恢复，舍弃传统通过亮度变换的方法，而使用临界颜色值来填充高光区。本发明无论是在高光区域的自动检测还是在高光区域的处理上都表现出很好地鲁棒性。经测试，本发明不仅能很好地检测各种光照条件下的高光区，且处理正常大小的照片所需时间在300毫秒左右，为通用型的三维模型换脸提供了技术支撑。
本发明所采用的技术方案是。
基于序贯主分量分析的人脸高光区处理方法，包含：基于序贯主分量分析的人脸高光区域检测；人脸高光区域的自动修正。
其中，基于序贯主分量分析的人脸高光区域检测，其特征在于，包括。
步骤11.人脸皮肤区域的提取。
步骤12.对所述人脸皮肤区域进行颜色空间转换，由RGB颜色空间转换为TSL颜色空间，原始数据由[Ri, Gi, Bi]转换为[Ti, Si, Li]。
步骤13.序贯主分量分析提取高光区亮度阈值。
步骤14.由高光阈值提取人脸高光区域。
优选的，所述步骤11中进步包括：
步骤111.对待处理图像进行人脸特征点检测操作（可借助外部算法）；
步骤112.根据特征点提取人脸肤色区域，并剔除五官区域，一方面避免非皮肤区域对检测结果的影响，另一方面缩小计算范围，提高检测速度。
优选的，所述步骤13中进一步包括：
步骤131.对所述TSL样本[Ti , Si , Li]按亮度值的大小升序排列，得到新的样本序列[Ti , Si , Li]’；
步骤132.将所述TSL颜色空间内的数据样本降维到TL两个维度内，即只提取TL值作分析，得到样本序列[Ti , Li]’；
步骤133.对所述升序排列后的样本[Ti , Li]’按等间隔分组，得到样本序列组[Ti ,Li]’1，[Ti , Li]’2，...，[Ti , Li]’n其中，n = 32或其它值。
步骤134.对所述分组样本数据进行序贯主分量分析，得到n组特征值和特征向量。求各组特征值间的前两个特征值之比，得到n个特征值比值T1, T2, T3, ... ,Tn。
步骤135.比较n个特征值比值的大小，得到最大比值Tm = max(T1, T2, T3, ...,Tn )；获取索引m对应的样本数据组[Ti，Li]’m，其中m∈[1, n]，并选用该组中的第一对样本数据[T1，L1]’m中的亮度值L1 ’m作为人脸高光分离阈值。
其中，人脸高光区域的自动修正，其特征在于，包括：
步骤21：高光临界点RGB值的获取；
步骤22：加权填充高光区域。
优选的，所述步骤21中进一步包括：
步骤211.根据所述特征值比值最大的样本组索引m，获取亮度阈值L1 ’m对应的TSL颜色值(T1 ’m , S1 ’m , L1 ’m)；
步骤212.寻找高光分界点对应的RGB值，由于在原始未进行升序排序的TSL升序样本数据[Ti , Si , Li]中，各个颜色值的空间位置未被破坏，故在寻找高光分界点对应的RGB值时，需遍历所有样本数据，直到满足条件T1’m = Ti且S1 ’m = Si且L1 ’m = Li，其中i∈Ω，其中Ω为整个样本数据集。最后记录满足条件的空间索引位置(c, w)，即该点的行列号。
步骤213.根据所述空间索引位置(c, w)，在原始RGB图像中读取对应位置的RGB颜色值（Rm , Gm , Bm），该RGB颜色值即为高光分离处理阈值。
优选的，所述步骤22中进一步包括：
步骤221.由于高光区域的信息缺失，现有的通过降低亮度的方式均无法很好地处理高光区域，故直接选取高光区域分界处的皮肤颜色来填补高光区，该方法的优势在于，高光区域被还原成皮肤区域，且由于选取分界点的皮肤颜色，还原后的图像能平滑过渡，无需再对边界进行平滑处理。
步骤222.为了保留高光区域的纹理特征，在使用高光分界点皮肤颜色值填充时，混合了一定比例的原始图像颜色，最终得到的高光区域恢复效果自然。混合公式为。
其中R’、G’和B’为混合后的高光区颜色，Rm、Gm和Bm为高光分离处理RGB颜色阈值，Ri、Gi和Bi为图像原始RGB值； w1和w2为混合权重因子。
与现有技术相比，本发明的有益效果是无论是在高光区域的自动检测还是在高光区域的处理上都表现出很好地鲁棒性，经测试，本发明不仅能很好地检测各种光照条件下的高光区，且处理正常大小的照片所需时间在300毫秒左右，为通用型的三维模型换脸提供了技术支撑。
附图说明
图1为人脸高光区域检测和处理流程图。
图2为序贯主分量分析各组特征值比值变化曲线图。
图3为各种光照条件下的人脸区域范围检测和恢复效果示例。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面进一步阐述本发明。
本发明基于序贯主分量分析的人脸高光区处理方法共分为两个部分（如图1所示）：第一部分描述基于序贯主分量分析的人脸高光区域检测，第二部分为人脸高光区域的自动修正，
其中，基于序贯主分量分析的人脸高光区域检测，其特征在于，包括。
步骤31.人脸皮肤区域的提取。
步骤32.对所述人脸皮肤区域进行颜色空间转换，由RGB颜色空间转换为TSL颜色空间，原始数据由[Ri, Gi, Bi]转换为[Ti, Si, Li]。
步骤33.序贯主分量分析提取高光区亮度阈值。
步骤34.由高光阈值提取人脸高光区域。
优选的，所述步骤31中进步包括。
步骤311.对待处理图像进行人脸特征点检测操作（可借助外部算法）。人脸特征点的检测可借助人脸检测开源库stasm，或使用商用付费接口Face++。经测试，Face++人脸检测速度快且稳定，能准的提取人脸照片中的人脸区域和五官区域。
步骤312.根据特征点提取人脸肤色区域，并剔除五官区域，一方面避免非皮肤区域对检测结果的影响，另一方面缩小计算范围，提高检测速度。人脸肤色区域提取的具体方案为：利用人脸识别的特征点勾勒出人脸区域Ω，为了方便于人脸高光区域的计算，将人脸以外的区域设置为黑色，即RGB值设置为(0,0,0)；在人脸区域Ω内，同样利用人脸识别特征点，勾勒出眼镜（E）眉毛(EB)以及嘴唇(M)区域，这些区域为非肤色区，为了避免其对高光区检测的影响，需将其从Ω中剔除，同样将这些区域也置为黑。如此便得到了用于高光计算的区域G，其中G = Ω- E–EB - M。
优选的，所述步骤32进一步包括。
步骤321：由于在RGB空间内对人脸高光检测不够敏感，根据前人的研究经验，TSL颜色空间有利于人体皮肤区域的提取，故先将人脸区域由RGB图像转换为TSL图像，转换公式如下。
其中，
优选的，所述步骤33中进一步包括。
步骤331.对所述TSL样本[T i , S i , L i ]按亮度值的大小，进行升序排列，得到新的样本序列[T i , S i , L i ]’。
步骤332.将所述TSL颜色空间内的数据样本降维到TL两个维度内，即只提取TL值作分析，得到样本序列[T i , L i ]’，只取TL两个维度的原因在于，皮肤的高光区和非高光区在TL二维空间内的分布差异最明显，其呈现出明显的‘Γ型’分布，主成分分析得到的两个特征维差异明显，有利于高光区的提取和分离。
步骤333.对所述升序排列后的样本对[T i , L i ]’进行等间隔分组，得到样本序列组[T i , L i ]’1，[T i , L i ]’2，...，[T i , L i ]’ n 其中，n = 32或其它值。n的取值越大，虽然样本分区更精细，但其也会增加计算量和计算时间，20至40为较好的取值区间。
步骤334.对所述分组样本数据进行序贯主分量分析，得到n组特征值和特征向量。求各组特征值间的前两个特征值之比，得到n个特征值比值T1, T2, T3, ... ,T n 。其中，序贯主分量分析的步骤包括。
（1）选取第一组数据进行主分量分析，得到第一组特征值和特征向量。
（2）取前两组数据作为主分量分析的总体样本数据，并进行主分量分析，得到第二组特征值和特征向量。
（3）同理，取前三组数据作为总体样本进行主分量分析。后一组分析的数据都为前一组分析的数据后追加一组新的数据所组成。如此迭代，最终得到n组特征值和特征向量。
其中，主分量分析的原理便不再赘述，可以借助matlab预定义的主分量分析函数princomp，或使用OpenCV图像处理库中的开源方法cvCalcPCA。
步骤335.比较n个比值的大小，得到最大比值T m = max(T1, T2, T3, ... ,T n )；获取索引m对应的样本数据组[T i ，L i ]’ m ，其中m∈[1, n],并选用该组中的第一对样本数据[T 1，L 1]’ m 中的亮度值L 1 ’ m 作为人脸高光分离阈值。图2为n个特征值比值的变化图，从图中可以看出，比值最大值位于23处，即m等于23。取[T i ，L i ]’23中的第一对样本数据的亮度值作为高光分离的亮度阈值。
其中，人脸高光区域的自动修正，其特征在于，包括。
步骤41：高光临界点RGB值的获取。
步骤42：加权填充高光区域。
优选的，所述步骤21中进一步包括。
步骤411.根据所述特征值比值最大的样本组索引m，获取亮度阈值L 1 ’ m 对应的TSL颜色值(T1 ’ m ,S1 ’ m ,L1 ’ m )。
步骤412.寻找高光分界点对应的RGB值，由于在原始未进行升序排序的TSL升序样本数据[T i , S i , L i ]中，各个颜色值的空间位置未被破坏，故在寻找高光分界点对应的RGB值时，需遍历所有样本数据，直到满足T1 ’ m =T i 且S1 ’ m =S i 且L1 ’ m =L i ，其中i∈Ω，其中Ω为整个样本数据集，记录该点的空间索引位置(c, w)，即行列号。
步骤413.根据所述空间索引位置(c, w)，在原始RGB图像中读取对应位置的RGB颜色值（R m , G m , B m ），该RGB颜色值即为高光分离处理阈值。
优选的，所述步骤42中进一步包括。
步骤421.由于高光区域的信息缺失，现有的通过降低亮度的方式均无法很好地处理高光区域，故直接选取高光区域分界处的皮肤颜色来填补高光区，该方法的优势在于，高光区域被还原成皮肤区域，且由于选取分界点的皮肤颜色，还原后的图像过渡平滑，无需再对边界进行平滑处理。
步骤422.为了保留高光区域的纹理特征，使用高光分界点皮肤颜色值填充时，需混合一定比例的原始图像颜色。混合公式为。
其中R’、G’和B’为混合后的高光区颜色，R m 、G m 和B m 为高光分离处理RGB颜色阈值，R i 、G i 和B i 为图像原始RGB值； w 1和w 2为混合权重因子。
图3为人脸高光区检测和处理效果图，图中共包括4幅被高光影响的人脸照片，其中左边为原始图片，中间为高光区域检测结果（白色区域），右侧为高光区处理后的结果。4幅图像的处理平均耗时330毫秒。

Claims (3)

1.一种基于序贯主分量分析的人脸高光区处理方法，其特征在于，包含：基于序贯主分量分析的人脸高光区域自动检测方法；人脸高光区域的处理方法;
所述基于序贯主分量分析的人脸高光区域自动检测方法，用于在人脸照片中存在高光区域的情况下，基于序贯主分量分析的方法，自动检测人脸中的高光区域;
所述人脸高光区域的处理方法，用于在自动检测到人脸高光区域的基础之上，使用高光区临界颜色值来处理人脸高光区。
2.根据权利要求1所述的基于序贯主分量分析的人脸高光区域自动检测方法，其特征在于，包括：
选用TSL色彩空间来检测人脸皮肤高光区域；
使用序贯主分量分析方法，计算出多组人脸特征值和特征向量；
在特征值之比最大的样本组中获取高光分离阈值，并分离人脸高光区。
3.根据权利要求1所述的人脸高光区域的处理方法，其特征在于，包括：
根据高光区的临界TSL值，计算出临界RGB值；
将临界RGB值与原图RGB值按比混合来填充高光区。
CN201710172082.1A 2017-03-22 2017-03-22 一种基于序贯主分量分析的人脸高光区处理方法 Pending CN107256376A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710172082.1A CN107256376A (zh) 2017-03-22 2017-03-22 一种基于序贯主分量分析的人脸高光区处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710172082.1A CN107256376A (zh) 2017-03-22 2017-03-22 一种基于序贯主分量分析的人脸高光区处理方法

Publications (1)

Publication Number Publication Date
CN107256376A true CN107256376A (zh) 2017-10-17

Family

ID=60027063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710172082.1A Pending CN107256376A (zh) 2017-03-22 2017-03-22 一种基于序贯主分量分析的人脸高光区处理方法

Country Status (1)

Country Link
CN (1) CN107256376A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344752A (zh) * 2018-09-20 2019-02-15 北京字节跳动网络技术有限公司 用于处理嘴部图像的方法和装置
CN112348807A (zh) * 2020-11-27 2021-02-09 安徽大学 一种基于轮廓像素统计的内窥镜高亮点修复方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722872A (zh) * 2012-05-30 2012-10-10 山东神思电子技术股份有限公司 数字图像局部高光溢出消除方法
CN103632132A (zh) * 2012-12-11 2014-03-12 广西工学院 一种基于肤色分割和模板匹配的人脸检测与识别方法
CN105957042A (zh) * 2016-06-07 2016-09-21 北京理工大学 内镜图像的高光区域消除方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722872A (zh) * 2012-05-30 2012-10-10 山东神思电子技术股份有限公司 数字图像局部高光溢出消除方法
CN103632132A (zh) * 2012-12-11 2014-03-12 广西工学院 一种基于肤色分割和模板匹配的人脸检测与识别方法
CN105957042A (zh) * 2016-06-07 2016-09-21 北京理工大学 内镜图像的高光区域消除方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344752A (zh) * 2018-09-20 2019-02-15 北京字节跳动网络技术有限公司 用于处理嘴部图像的方法和装置
CN109344752B (zh) * 2018-09-20 2019-12-10 北京字节跳动网络技术有限公司 用于处理嘴部图像的方法和装置
CN112348807A (zh) * 2020-11-27 2021-02-09 安徽大学 一种基于轮廓像素统计的内窥镜高亮点修复方法及***
CN112348807B (zh) * 2020-11-27 2022-11-18 安徽大学 一种基于轮廓像素统计的内窥镜高亮点修复方法及***

Similar Documents

Publication Publication Date Title
CN108764071B (zh) 一种基于红外和可见光图像的真实人脸检测方法及装置
CN104834898B (zh) 一种人物摄影图像的质量分类方法
JP5908599B2 (ja) マルチスペクトル撮像システム
CN104899845B (zh) 一种基于lαβ空间场景迁移的多曝光图像融合方法
CN103262119B (zh) 用于对图像进行分割的方法和***
CN107852533A (zh) 三维内容生成装置及其三维内容生成方法
CN108537782B (zh) 一种基于轮廓提取的建筑物图像匹配与融合的方法
WO2012149772A1 (zh) 一种渐变动画的生成方法和装置
JP2018045693A (ja) 動画像背景除去方法及び動画像背景除去システム
KR20150079576A (ko) 조합된 깊이 큐들에 기초하여 모노스코픽 이미지로부터 깊이 맵 생성
JP2010045613A (ja) 画像識別方法および撮像装置
CN105825494A (zh) 一种图像处理方法及移动终端
CN108463823A (zh) 一种用户头发模型的重建方法、装置及终端
CN108510491A (zh) 虚化背景下人体骨骼关键点检测结果的过滤方法
CN110866932A (zh) 多通道舌体边缘检测装置、方法及存储介质
CN103400386A (zh) 一种用于视频中的交互式图像处理方法
Serna et al. Data fusion of objects using techniques such as laser scanning, structured light and photogrammetry for cultural heritage applications
CN116757988B (zh) 基于语义丰富和分割任务的红外与可见光图像融合方法
Wehrwein et al. Shadow detection and sun direction in photo collections
CN103093470A (zh) 一种具有尺度无关特性的快速多模态图像协同分割方法
JP2014524074A (ja) 同一シーンの複数の画像を処理するための方法
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN107256376A (zh) 一种基于序贯主分量分析的人脸高光区处理方法
CN113011438B (zh) 基于节点分类和稀疏图学习的双模态图像显著性检测方法
Berjón et al. Fast feature matching for detailed point cloud generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171017

WD01 Invention patent application deemed withdrawn after publication