CN110414463A - 一种基于人脸超分辨率的人脸检测模型 - Google Patents
一种基于人脸超分辨率的人脸检测模型 Download PDFInfo
- Publication number
- CN110414463A CN110414463A CN201910715543.4A CN201910715543A CN110414463A CN 110414463 A CN110414463 A CN 110414463A CN 201910715543 A CN201910715543 A CN 201910715543A CN 110414463 A CN110414463 A CN 110414463A
- Authority
- CN
- China
- Prior art keywords
- network
- oversubscription
- image
- face
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及安全防范技术领域,且公开了一种基于人脸超分辨率的人脸检测模型,所述检测模型的检测方法包括以下步骤:S1:输入图像经过检测网络的提取特征并进行下采样,获取多个尺度的特征层;S2:检测网络分别在步骤S1生成的特征层内做检测,得到检测和分类结果并储存。该基于人脸超分辨率的人脸检测模型,通过人脸超分来提升人脸检测的性能,由于底层特征具有高分辨率,利于提取人脸框定位信息,尤其是小脸的定位,同时高层特征具有强语义信息,利于提取判别是否是人脸分类信息,通过超分来增强底层特征的分辨率,既增强了底层信息又利用了高层信息,提升了对小脸和模糊人脸的检测能力。
Description
技术领域
本发明涉及安全防范技术领域,具体为一种基于人脸超分辨率的人脸检测模型。
背景技术
人脸检测属于计算机视觉领域的一个基本研究方向,人脸检测已经应用到我们日常生活中,目前主流的人脸检测方法大部分是基于深度学习,主要过程是针对输入图像,通过深度学习网络提取图像特征,根据特征来判断是否存在人脸和人脸位置,然而,受到人脸姿态的变化,场景光照,人脸尺度等不可控制因素的影响,图像内的人相特征不清晰,一般的人脸算法难以获取有价值的检测结果。
发明内容
针对上述背景技术的不足,本发明提供了一种基于人脸超分辨率的人脸检测模型,具备检测能力强的优点,解决了背景技术提出的问题。
本发明提供如下技术方案:一种基于人脸超分辨率的人脸检测模型,所述检测模型的检测方法包括以下步骤:
S1:输入图像经过检测网络的提取特征并进行下采样,获取多个尺度的特征层;
S2:检测网络分别在步骤S1生成的特征层内做检测,得到检测和分类结果并储存。
优选的,在所述步骤S2之前,利用超分网络在所述小尺度特征层加入超分结构分别得到小尺度特征层的大尺度超分特征层,融合所述大尺度超分特征层和对应尺度下的原特征层,获得多个尺度的新特征层。
优选的,所述超分网络包括有生成网络G和判别网络D,所述生成网络利用低分辨率图像不断生成与原图像特征接近的高分辨率图像,所述判别网络不断寻找新生成网络G生成的高分辨率图像与原图像的差异,当所述判断网络无法寻找到生成的高分辨率图像和原图的差异时的最终图像则为最终的超分图像。
优选的,所述超分网络的超分方法包括以下步骤:
S201:输入一个低分辨率图像LR和原高分辨率图像HR,利用公式1生成生成超分图像,公式1如下:
其中,D,G分别代表判别网络和生成网络,ILR和IHR分别代表低分辨率图像和高分辨率图像,θD和θG分别代表D,G网络参数;
S202:将超分图像1输入判别网络D,计算求出超分图像与原图像的内容损失和感知损失,其内容损失和感知损失的计算公式如下:
其中,WH代表特征层大小,φ代表对不同层提取的特征,lcontent代表内容损失,lperceptual代表感知损失;
S203:重复步骤S201和步骤S202直至lcontent和lperceptual的值均为零,获得最终的超分图像。
优选的,所述特征层的尺度为相邻小尺度特征层的尺度大小的两倍,所述超分网络的超分效果为2倍。
优选的,在所述步骤S1之前还包括初始化步骤,所述初始化步骤如下:
S101:输入训练图像单独训练一个初始的检测网络;
S102:利用初始的检测网络生成的特征层和训练图像单独训练一个初始的超分网络。
本发明具备以下有益效果:
该基于人脸超分辨率的人脸检测模型,通过人脸超分来提升人脸检测的性能,由于底层特征具有高分辨率,利于提取人脸框定位信息,尤其是小脸的定位,同时高层特征具有强语义信息,利于提取判别是否是人脸分类信息,通过超分来增强底层特征的分辨率,既增强了底层信息又利用了高层信息,提升了对小脸和模糊人脸的检测能力。
附图说明
图1为本发明实施方式的原理框图;
图2为本发明超分过程框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-2,一种基于人脸超分辨率的人脸检测模型,检测模型的检测方法包括以下步骤:
S1:输入图像经过检测网络的提取特征并进行下采样,本实施例中以图像大小为640x640为例,得到80x80,40x40,20x20三个尺度的特征层;
S2:检测网络分别在步骤S1生成的特征层内做检测,得到检测和分类结果并储存,达到多尺度检测而且综合利用底层特征和高层特征的目的。
本实施例中,在步骤S2中,利用超分网络在小尺度特征层加入超分结构分别得到小尺度特征层的大尺度超分特征层,融合大尺度超分特征层和对应尺度下的原特征层,获得多个尺度的新特征层,本实施例中分别对20x20,40x40特征层加入2倍超分结构,分别得到40x40和80x80的超分特征,然后融合超分特征和原始特征,使特征既具有底层信息的同时增强了高层语义信息,而且超分的过程能达到去模糊的目的,增强对模糊人脸的检测能力。
本实施例中,超分网络包括有生成网络G和判别网络D,生成网络利用低分辨率图像不断生成与原图像特征接近的高分辨率图像,判别网络不断寻找新生成网络G生成的高分辨率图像与原图像的差异,当判断网络无法寻找到生成的高分辨率图像和原图的差异时的最终图像则为最终的超分图像。
本实施例中,超分网络的超分方法包括以下步骤:
S201:输入一个低分辨率图像LR和原高分辨率图像HR,利用公式1生成生成超分图像,公式1如下:
其中,D,G分别代表判别网络和生成网络,ILR和IHR分别代表低分辨率图像和高分辨率图像,θD和θG分别代表D,G网络参数;
S202:将超分图像1输入判别网络D,计算求出超分图像与原图像的内容损失和感知损失,其内容损失和感知损失的计算公式如下:
其中,WH代表特征层大小,φ代表对不同层提取的特征,lcontent代表内容损失,lperceptual代表感知损失;
S203:重复步骤S201和步骤S202直至lcontent和lperceptual的值均为零,获得最终的超分图像。
本实施例中,特征层的尺度为相邻小尺度特征层的尺度大小的两倍,超分网络的超分效果为2倍,实践证明2倍超分具有最佳的检测效果。
本实施例中,在步骤S1之前还包括初始化步骤,初始化步骤如下:
S101:输入训练图像单独训练一个初始的检测网络;
S102:利用初始的检测网络生成的特征层和训练图像单独训练一个初始的超分网络。
分步训练同时从易到难迭代训练确保初期训练网络和超分网络的形成。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (6)
1.一种基于人脸超分辨率的人脸检测模型,其特征在于:所述检测模型的检测方法包括以下步骤:
S1:输入图像经过检测网络的提取特征并进行下采样,获取多个尺度的特征层;
S2:检测网络分别在步骤S1生成的特征层内做检测,得到检测和分类结果并储存。
2.根据权利要求1所述的一种基于人脸超分辨率的人脸检测模型,其特征在于:在所述步骤S2之前,利用超分网络在所述小尺度特征层加入超分结构分别得到小尺度特征层的大尺度超分特征层,融合所述大尺度超分特征层和对应尺度下的原特征层,获得多个尺度的新特征层。
3.根据权利要求2所述的一种基于人脸超分辨率的人脸检测模型,其特征在于:所述超分网络包括有生成网络G和判别网络D,所述生成网络利用低分辨率图像不断生成与原图像特征接近的高分辨率图像,所述判别网络不断寻找新生成网络G生成的高分辨率图像与原图像的差异,当所述判断网络无法寻找到生成的高分辨率图像和原图的差异时的最终图像则为最终的超分图像。
4.根据权利要求3所述的一种基于人脸超分辨率的人脸检测模型,其特征在于:所述超分网络的超分方法包括以下步骤:
S201:输入一个低分辨率图像LR和原高分辨率图像HR,利用公式1生成生成超分图像,公式1如下:
其中,D,G分别代表判别网络和生成网络,ILR和IHR分别代表低分辨率图像和高分辨率图像,θD和θG分别代表D,G网络参数;
S202:将超分图像1输入判别网络D,计算求出超分图像与原图像的内容损失和感知损失,其内容损失和感知损失的计算公式如下:
其中,WH代表特征层大小,φ代表对不同层提取的特征,lcontent代表内容损失,lperceptual代表感知损失;
S203:重复步骤S201和步骤S202直至lcontent和lperceptual的值均为零,获得最终的超分图像。
5.根据权利要求2所述的一种基于人脸超分辨率的人脸检测模型,其特征在于:所述特征层的尺度为相邻小尺度特征层的尺度大小的两倍,所述超分网络的超分效果为2倍。
6.根据权利要求2所述的一种基于人脸超分辨率的人脸检测模型,其特征在于:在所述步骤S1之前还包括初始化步骤,所述初始化步骤如下:
S101:输入训练图像单独训练一个初始的检测网络;
S102:利用初始的检测网络生成的特征层和训练图像单独训练一个初始的超分网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910715543.4A CN110414463A (zh) | 2019-08-05 | 2019-08-05 | 一种基于人脸超分辨率的人脸检测模型 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910715543.4A CN110414463A (zh) | 2019-08-05 | 2019-08-05 | 一种基于人脸超分辨率的人脸检测模型 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110414463A true CN110414463A (zh) | 2019-11-05 |
Family
ID=68365829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910715543.4A Pending CN110414463A (zh) | 2019-08-05 | 2019-08-05 | 一种基于人脸超分辨率的人脸检测模型 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110414463A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111753670A (zh) * | 2020-05-29 | 2020-10-09 | 清华大学 | 注意力修复和关键点检测迭代协同的人脸超分方法 |
US20210209732A1 (en) * | 2020-06-17 | 2021-07-08 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Face super-resolution realization method and apparatus, electronic device and storage medium |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106951867A (zh) * | 2017-03-22 | 2017-07-14 | 成都擎天树科技有限公司 | 基于卷积神经网络的人脸识别方法、装置、***及设备 |
CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
CN108805809A (zh) * | 2018-05-28 | 2018-11-13 | 天津科技大学 | 一种基于生成对抗网络的红外人脸图像超分辨率重建方法 |
-
2019
- 2019-08-05 CN CN201910715543.4A patent/CN110414463A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106951867A (zh) * | 2017-03-22 | 2017-07-14 | 成都擎天树科技有限公司 | 基于卷积神经网络的人脸识别方法、装置、***及设备 |
CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
CN108805809A (zh) * | 2018-05-28 | 2018-11-13 | 天津科技大学 | 一种基于生成对抗网络的红外人脸图像超分辨率重建方法 |
Non-Patent Citations (2)
Title |
---|
C. LEDIG, L. THEIS, F. HUSZAR, J. CABALLERO, A. P. AITKEN,A. TEJ: ""Photo-realistic single image super-resolution using a generative adversarial network"", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
YANCHENG BAI,YONGQIANG ZHANG,YONGQIANG ZHANG,YONGQIANG ZHANG: ""Finding Tiny Faces in the Wild with Generative Adversarial Network"", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111753670A (zh) * | 2020-05-29 | 2020-10-09 | 清华大学 | 注意力修复和关键点检测迭代协同的人脸超分方法 |
US20210209732A1 (en) * | 2020-06-17 | 2021-07-08 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Face super-resolution realization method and apparatus, electronic device and storage medium |
US11710215B2 (en) * | 2020-06-17 | 2023-07-25 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Face super-resolution realization method and apparatus, electronic device and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110188705A (zh) | 一种适用于车载***的远距离交通标志检测识别方法 | |
CN108334847B (zh) | 一种真实场景下的基于深度学习的人脸识别方法 | |
CN105005774B (zh) | 一种基于卷积神经网络的人脸亲属关系识别方法及装置 | |
CN110287849A (zh) | 一种适用于树莓派的轻量化深度网络图像目标检测方法 | |
CN108537743A (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
CN107945153A (zh) | 一种基于深度学习的路面裂缝检测方法 | |
CN107038448A (zh) | 目标检测模型构建方法 | |
CN106910185A (zh) | 一种基于cnn深度学习的dbcc分类模型及构建方法 | |
CN108764085A (zh) | 基于生成对抗网络的人群计数方法 | |
CN107066916B (zh) | 基于反卷积神经网络的场景语义分割方法 | |
CN103400154B (zh) | 一种基于有监督等距映射的人体动作识别方法 | |
CN109584162A (zh) | 一种基于生成网络的图像超分辨率重构的方法 | |
CN110084205A (zh) | 一种基于改进的面向对象高分辨率遥感影像分类方法 | |
CN112528997B (zh) | 一种基于文本中心区域扩增的藏汉双语场景文本检测方法 | |
CN110414463A (zh) | 一种基于人脸超分辨率的人脸检测模型 | |
CN110347870A (zh) | 基于视觉显著性检测与层次聚类法的视频摘要化生成方法 | |
CN101334834B (zh) | 一种自底向上的注意信息提取方法 | |
Kalın et al. | A study on visibility analysis of urban landmarks: The case of Hagia Sophia (Ayasofya) in Trabzon | |
CN106920214A (zh) | 空间目标图像超分辨率重建方法 | |
CN109902585A (zh) | 一种基于图模型的手指三模态融合识别方法 | |
CN112270331A (zh) | 一种基于yolov5改进的广告牌检测方法 | |
CN106686377A (zh) | 一种基于深层神经网络的视频重点区域确定算法 | |
CN107403166A (zh) | 一种提取人脸图像毛孔特征的方法与装置 | |
CN106372630A (zh) | 一种基于深度学习的人脸方向检测方法 | |
CN110110578A (zh) | 一种室内场景语义标注方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191105 |