CN109345480B - 一种基于图像修复模型的人脸自动去痘方法 - Google Patents

一种基于图像修复模型的人脸自动去痘方法 Download PDF

Info

Publication number
CN109345480B
CN109345480B CN201811139087.5A CN201811139087A CN109345480B CN 109345480 B CN109345480 B CN 109345480B CN 201811139087 A CN201811139087 A CN 201811139087A CN 109345480 B CN109345480 B CN 109345480B
Authority
CN
China
Prior art keywords
face
pox
picture
template
skin color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811139087.5A
Other languages
English (en)
Other versions
CN109345480A (zh
Inventor
周曦
刘伸展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cloudwalk Artificial Intelligence Technology Co ltd
Original Assignee
Guangzhou Cloudwalk Artificial Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Cloudwalk Artificial Intelligence Technology Co ltd filed Critical Guangzhou Cloudwalk Artificial Intelligence Technology Co ltd
Priority to CN201811139087.5A priority Critical patent/CN109345480B/zh
Publication of CN109345480A publication Critical patent/CN109345480A/zh
Application granted granted Critical
Publication of CN109345480B publication Critical patent/CN109345480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种基于图像修复模型的人脸自动去痘方法，采用以下步骤，步骤1：确定图片中人脸位置，通过人脸检测模块识别图片中的人脸，通过人脸68个关键点定位人脸范围，得到人脸范围矩形框；步骤2：确定人脸肤色范围，以人脸范围矩形框为内核，沿人脸范围矩形框外周构造一个填充区域；利用RGB肤色检测算法定位肤色区域，使用轮廓填充方法填充每一个检测到的肤色区域，然后使用漫水填充方法锁定人脸肤色区域。用户体验好，不需要用户指定痘印的位置，算法可以自动完成去痘。

Description

一种基于图像修复模型的人脸自动去痘方法
技术领域
本发明涉及图像处理领域，具体涉及一种基于图像修复模型的人脸自动去痘方法。
背景技术
随着各类视频社交娱乐软件和美颜相机的普及，人们对于拍照后图片的美化处理越来越重视。但是针对皮肤去痘，目前大致有两种思路：第一，借助磨皮美白等整体处理方法，通过增大这些操作的阈值来缓解皮肤存在的瑕疵。这种方法没有从根本上解决问题，对于痘印较为明显或较为密集的情况，处理后的结果在视觉上很难达到要求。
第二，如PS和美颜相机，需要用户手动指定痘印的位置，算法通过类似附近选区替换的方法去痘。这种方法去痘效果较好，但是需要较多的用户干预，显然对于很多痘印的情况需要花费用户较多的时间，比较繁琐耗时。
发明内容
本发明针对现有技术的不足，提出一种基于图像修复模型的人脸自动去痘方法，具体技术方案如下：
一种基于图像修复模型的人脸自动去痘方法，其特征在于：
采用以下步骤，
步骤1：确定图片中人脸位置，通过人脸检测模块识别图片中的人脸，通过人脸68个关键点定位人脸范围，得到人脸范围矩形框；
步骤2：确定人脸肤色范围，以人脸范围矩形框为内核，沿人脸范围矩形框外周构造一个填充区域；
利用RGB肤色检测算法定位肤色区域，使用轮廓填充方法填充每一个检测到的肤色区域，然后使用漫水填充方法锁定人脸肤色区域；
步骤3：对人脸存在的痘印进行定位，将位于RGB空间的人脸转换到HSV空间，选取饱和度S通道，确定在饱和度S通道中保存的痘印信息，设定有阈值c；
然后选取25*25像素为标准块，在标准块中选取3*3像素块为中心块，得到标准块的平均饱和度值m，确定平均饱和度值m与中心块的饱和度值a的差值b，通过比较c与b的大小来判断是否为痘印；
步骤4：建立修复模型，随机从人脸肤色区域中截取m*m像素大小的图片作为训练图片，在该训练图片中随机抠n*n像素大小的空洞作为要修复的区域，将该训练图片作为神经网络的输入用于训练整个修复模型，n<m；
所述神经网络包括粗粒度网络和细粒度网络，训练图片先通过粗粒度神经网络重建图片内容损失，得到第一阶段图片，再将第一阶段图片通过一个细粒度网络重建局部纹理，最终得到一阶段去痘图片；
步骤5：设置初始修复模板，该修复模板创建为，创建一张与原图大小相同的掩膜图片，在掩膜图片中有痘印的地方像素值置为255，没有痘印的像素值置为0，将该初始修复模板分配到稀疏模板；
步骤6：利用模板对痘印进行修复。
进一步地：所述人脸关键点采用dlib库中的68个关键点位置信息。
进一步地：初始修复模板分配到稀疏模板的方法为，
S1：将已经确定的痘印从初始修复模板中分离，所有的痘印组成痘印集合Q，对痘印集合Q中每个痘印按位置进行编号，确保每一个痘印有唯一的位置编号；
S2：设置有密集指数s，如果初始修复模板内的痘印数量超过密集指数s，则判断该修复模板为密集型，进入步骤S5，否则，进入步骤S4；
S3：对初始修复模板范围内的痘印进行合并，进入到S7；
S4：将该初始修复模板分配到t个稀疏的模板中，t>1，以空洞大小的一半d作为分配依据；
S5：在痘印集合Q中随机选取一个痘印作为种子点，以该种子点生成一个稀疏模板；
S6：逐个遍历痘印集合Q中的痘印，对痘印与种子点之间的距离超过d的痘印加入到稀疏模板中；
S7：重复S5和S6，直到将痘印集合Q中的痘印分配到不同的稀疏模板中，进入步骤6。
本发明的有益效果为：第一，用户体验好，不需要用户指定痘印的位置，算法可以自动完成去痘。第二，相对于整体的较大程度的磨皮美白，本发明能够较为彻底的清除痘印同时较为自然。本发明能有效的减少手工修图的时间，不需要人工指定去痘的区域。相对于目前的去痘方法，具有较强的彻底性和便捷性。相对于目前的过度磨皮美颜方法，本发明能够有效的保留原来的肤质，直观上看起来更加真实自然。
附图说明
图1为本发明的工作流程图；
图2为神经网络训练图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
如图1和图2所示：
一种基于图像修复模型的人脸自动去痘方法，
采用以下步骤，
步骤1：确定图片中人脸位置，通过人脸检测模块识别图片中的人脸，通过人脸68个关键点定位人脸范围，得到人脸范围矩形框，该人脸关键点可以使用如dlib库有68个关键点位置信息；
步骤2：确定人脸肤色范围，以人脸范围矩形框为内核，沿人脸范围矩形框外周构造一个填充区域；
利用RGB肤色检测算法定位肤色区域，肤色检测结果会把部分非肤色，为头发和背景等误检为肤色，因此，再使用轮廓填充方法填充每一个检测到的肤色区域，然后使用漫水填充方法锁定人脸肤色区域；
步骤3：对人脸存在的痘印进行定位，将位于RGB空间的人脸转换到HSV空间，选取饱和度S通道，确定在饱和度S通道中保存的痘印信息，设定有阈值c；
然后选取25*25像素为标准块，在标准块中选取3*3像素块为中心块，得到标准块的平均饱和度值m，确定平均饱和度值m与中心块的饱和度值a的差值b，通过比较c与b的大小来判断是否为痘印，采用该种方法能够准确定位痘印位置；
步骤4：建立修复模型，随机从人脸肤色区域中截取m*m像素大小的图片作为训练图片，在该训练图片中随机抠n*n像素大小的空洞作为要修复的区域，将该训练图片作为神经网络的输入用于训练整个修复模型，n<m；
所述神经网络包括粗粒度网络和细粒度网络，训练图片先通过粗粒度神经网络重建图片内容损失，得到第一阶段图片，再将第一阶段图片通过一个细粒度网络重建局部纹理，最终得到一阶段去痘图片，该修复模型对于皮肤存在较多且分布较为集中的痘印修复很容易带来纹理破坏或起皱，一阶段去痘图片上任然留有痘印；
步骤5：设置初始修复模板，该修复模板创建为，创建一张与原图大小相同的掩膜图片，在掩膜图片中有痘印的地方像素值置为255，没有痘印的像素值置为0，将该初始修复模板进行分配，该初始修复模板分配方法为，
S1：将已经确定的痘印从初始修复模板中分离，所有的痘印组成痘印集合Q，对痘印集合Q中每个痘印按位置进行编号，确保每一个痘印有唯一的位置编号；
S2：设置有密集指数s，如果初始修复模板内的痘印数量超过密集指数s，则判断该修复模板为密集型，进入步骤S4，否则，进入步骤S3；
S3：对初始修复模板范围内的痘印进行合并，进入到S7；
S4：将该初始修复模板分配到t个稀疏的模板中，t>1，以空洞大小的一半d作为分配依据；
S5：在痘印集合Q中随机选取一个痘印作为种子点，以该种子点生成一个稀疏模板；
S6：逐个遍历痘印集合Q中的痘印，对痘印与种子点之间的距离超过d的痘印加入到稀疏模板中；
S7：重复S5和S6，直到将痘印集合Q中的痘印分配到不同的稀疏模板中；
步骤6：利用模板对痘印进行修复。

Claims (3)

1.一种基于图像修复模型的人脸自动去痘方法，其特征在于：
采用以下步骤，
步骤1：确定图片中人脸位置，通过人脸检测模块识别图片中的人脸，通过人脸68个关键点定位人脸范围，得到人脸范围矩形框；
步骤2：确定人脸肤色范围，以人脸范围矩形框为内核，沿人脸范围矩形框外周构造一个填充区域；
利用RGB肤色检测算法定位肤色区域，使用轮廓填充方法填充每一个检测到的肤色区域，然后使用漫水填充方法锁定人脸肤色区域；
步骤3：对人脸存在的痘印进行定位，将位于RGB空间的人脸转换到HSV空间，选取饱和度S通道，确定在饱和度S通道中保存的痘印信息，设定有阈值c；
然后选取25*25像素为标准块，在标准块中选取3*3像素块为中心块，得到标准块的平均饱和度值m，确定平均饱和度值m与中心块的饱和度值a的差值b，通过比较c与b的大小来判断是否为痘印；
步骤4：建立修复模型，随机从人脸肤色区域中截取m*m像素大小的图片作为训练图片，在该训练图片中随机抠n*n像素大小的空洞作为要修复的区域，将该训练图片作为神经网络的输入用于训练整个修复模型，n<m；
所述神经网络包括粗粒度网络和细粒度网络，训练图片先通过粗粒度神经网络重建图片内容损失，得到第一阶段图片，再将第一阶段图片通过一个细粒度网络重建局部纹理，最终得到一阶段去痘图片；
步骤5：设置初始修复模板，该修复模板创建为，创建一张与原图大小相同的掩膜图片，在掩膜图片中有痘印的地方像素值置为255，没有痘印的像素值置为0，将该初始修复模板分配到稀疏模板；
步骤6：利用模板对痘印进行修复，得到最终图片。
2.根据权利要求1所述一种基于图像修复模型的人脸自动去痘方法，其特征在于：所述人脸关键点采用dlib库中的68个关键点位置信息。
3.根据权利要求1所述一种基于图像修复模型的人脸自动去痘方法，其特征在于：初始修复模板分配到稀疏模板的方法为，
S1：将已经确定的痘印从初始修复模板中分离，所有的痘印组成痘印集合Q，对痘印集合Q中每个痘印按位置进行编号，确保每一个痘印有唯一的位置编号；
S2：设置有密集指数s，如果初始修复模板内的痘印数量超过密集指数s，则判断该修复模板为密集型，进入步骤S4，否则，进入步骤S3；
S3：对初始修复模板范围内的痘印进行合并，进入到S7；
S4：将该初始修复模板分配到t个稀疏的模板中，t>1，以空洞大小的一半d作为分配依据；
S5：在痘印集合Q中随机选取一个痘印作为种子点，以该种子点生成一个稀疏模板；
S6：逐个遍历痘印集合Q中的痘印，对痘印与种子点之间的距离超过d的痘印加入到稀疏模板中；
S7：重复S5和S6，直到将痘印集合Q中的痘印分配到不同的稀疏模板中。
CN201811139087.5A 2018-09-28 2018-09-28 一种基于图像修复模型的人脸自动去痘方法 Active CN109345480B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811139087.5A CN109345480B (zh) 2018-09-28 2018-09-28 一种基于图像修复模型的人脸自动去痘方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811139087.5A CN109345480B (zh) 2018-09-28 2018-09-28 一种基于图像修复模型的人脸自动去痘方法

Publications (2)

Publication Number Publication Date
CN109345480A CN109345480A (zh) 2019-02-15
CN109345480B true CN109345480B (zh) 2020-11-27

Family

ID=65307577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811139087.5A Active CN109345480B (zh) 2018-09-28 2018-09-28 一种基于图像修复模型的人脸自动去痘方法

Country Status (1)

Country Link
CN (1) CN109345480B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348358B (zh) * 2019-07-03 2021-11-23 网易（杭州）网络有限公司 一种肤色检测***、方法、介质和计算设备
CN110349108B (zh) * 2019-07-10 2022-07-26 北京字节跳动网络技术有限公司 处理图像的方法、装置、电子设备、及存储介质
CN110443764A (zh) * 2019-08-01 2019-11-12 北京百度网讯科技有限公司 视频修复方法、装置及服务器
CN111339943A (zh) * 2020-02-26 2020-06-26 重庆中科云从科技有限公司 一种对象管理方法、***、平台、设备及介质
CN112862712A (zh) * 2021-02-01 2021-05-28 广州方图科技有限公司 美颜处理方法、***、存储介质和终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440633A (zh) * 2013-09-06 2013-12-11 厦门美图网科技有限公司 一种数字图像自动祛除斑点的方法
CN103927719A (zh) * 2014-04-04 2014-07-16 北京金山网络科技有限公司 图片处理方法及装置
CN104952036A (zh) * 2015-06-18 2015-09-30 福州瑞芯微电子有限公司 一种即时视频中的人脸美化方法和电子设备
CN105787878A (zh) * 2016-02-25 2016-07-20 杭州格像科技有限公司 一种美颜处理方法及装置
CN106910176A (zh) * 2017-03-02 2017-06-30 中科视拓（北京）科技有限公司 一种基于深度学习的人脸图像去遮挡方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839250B (zh) * 2012-11-23 2017-03-01 诺基亚技术有限公司 用于面部图像处理的方法和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440633A (zh) * 2013-09-06 2013-12-11 厦门美图网科技有限公司 一种数字图像自动祛除斑点的方法
CN103927719A (zh) * 2014-04-04 2014-07-16 北京金山网络科技有限公司 图片处理方法及装置
CN104952036A (zh) * 2015-06-18 2015-09-30 福州瑞芯微电子有限公司 一种即时视频中的人脸美化方法和电子设备
CN105787878A (zh) * 2016-02-25 2016-07-20 杭州格像科技有限公司 一种美颜处理方法及装置
CN106910176A (zh) * 2017-03-02 2017-06-30 中科视拓（北京）科技有限公司 一种基于深度学习的人脸图像去遮挡方法

Also Published As

Publication number Publication date
CN109345480A (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
CN109345480B (zh) 一种基于图像修复模型的人脸自动去痘方法
Wen et al. COVERAGE—A novel database for copy-move forgery detection
CN104282002B (zh) 一种数字图像的快速美容方法
CN104463161B (zh) 使用自动图像修补的彩色文档图像分割和二值化
CN107204034B (zh) 一种图像处理方法及终端
CN110827371B (zh) 证件照生成方法、装置、电子设备及存储介质
CN110738732A (zh) 一种三维人脸模型的生成方法和设备
US20150302600A1 (en) Method for obfuscating images or video to prevent digital recording or capture while remaining visible to humans
GB2381689A (en) Finding and filtering smaller and larger noise areas in an image
CN105023252A (zh) 一种美容图像的增强处理方法、***及拍摄终端
CN111860369A (zh) 一种欺诈识别方法、装置以及存储介质
CN111476735B (zh) 人脸图像处理方法、装置、计算机设备及可读存储介质
CN105684046A (zh) 生成图像组成
Afifi Semantic white balance: Semantic color constancy using convolutional neural network
CN109035377A (zh) 用于获得适用于激光雕刻的浮雕素描效果图像处理方法
CN112686131A (zh) 图像处理方法、装置、设备及存储介质
CN106454367A (zh) 一种多媒体文件的标识方法及***
CN107194870A (zh) 一种基于显著性物体检测的图像场景重构方法
CN101335901A (zh) 投影图像校正方法与装置
CN115620117B (zh) 一种用于网络访问权限认证的人脸信息加密方法及***
JP2009171158A (ja) モザイク画像生成装置、方法及びプログラム
CN105869104B (zh) 基于图片内容的对jpeg压缩稳定的数字水印方法及***
CN106251316B (zh) 照片的修复方法和装置
CN109102482A (zh) 用于获得适用于激光雕刻的浮雕复古效果图像处理方法
CN106887024B (zh) 照片的处理方法及处理***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant