CN112668465A - 一种基于多级cnn的影片人脸提取的方法 - Google Patents
一种基于多级cnn的影片人脸提取的方法 Download PDFInfo
- Publication number
- CN112668465A CN112668465A CN202011572417.7A CN202011572417A CN112668465A CN 112668465 A CN112668465 A CN 112668465A CN 202011572417 A CN202011572417 A CN 202011572417A CN 112668465 A CN112668465 A CN 112668465A
- Authority
- CN
- China
- Prior art keywords
- face
- cnn
- video
- candidate
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 abstract description 30
- 238000001914 filtration Methods 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 abstract description 4
- 210000004556 brain Anatomy 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 230000010354 integration Effects 0.000 abstract description 3
- 238000002955 isolation Methods 0.000 abstract description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多级CNN的影片人脸提取的方法，其特征在于：具体步骤如下：S1、从视频连续帧中生成scaling系数为0.7的图片处理过程，设置符合短视频常规情况的最小的人脸检测尺寸阈值；S2、通过CNN全连接层网络，获得建议人脸候选池，输出包含人脸的候选区域，本发明充分挖掘了每一帧图像中人脸的特征，减少过滤，增加特征点跟踪，提高识别的准确率，通过重叠区域快速整合，提高了提取时间效率和计算消耗，经过分层多次CNN网络处理，达到多个小消耗CNN达到一个大消耗CNN所很难达到的提取效果，考虑了视频相对图片的更丰富时间连续特征，人脸的关键点位置拥有连续运动轨迹，对于孤立考虑单张图片的传统方法更接近人脑本身的处理方式。
Description
技术领域
本发明涉及影片人脸提取技术领域，具体为一种基于多级CNN的影片人脸提取的方法。
背景技术
人脸特征提取是指对人脸的器官特征、纹理区域和预定义的特征点进行定位和提取，它是人脸表情识别中的核心步骤，是识别技术的关键，它决定着最终的识别结果，直接影响识别率的高低；
现有人脸提取的方法效率低，准确率低，特别是对多人短视频的计算成本高，处理效率低，人脸的不同角度、光照、遮挡等都会使提取的准确度降低，传统的人脸检测方式没有考虑人脸检测和人脸对齐两个重要步骤之间的关联，没有这两个任务之间的关联，做人脸检测没有结合人脸特征点，以前少量的图片类人脸检测可以通过AE的软件人工获得，但短视频等视频领域，需要高效的获得人脸情况，很难高质量快速的达成，而传统CNN的人脸提取，在一些过滤中缺少特征多样性，限制了产生差异性描述的可能性，对于传统CNN而言，人脸检测是个十分有挑战的二分类问题，所以过多的过滤显得很无用，而需要更多的特征辨别能力。
发明内容
本发明提供一种基于多级CNN的影片人脸提取的方法，可以有效解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于多级CNN的影片人脸提取的方法，具体步骤如下：
S1、从视频连续帧中生成scaling系数为0.7的图片处理过程，设置符合短视频常规情况的最小的人脸检测尺寸阈值；
S2、通过CNN全连接层网络，获得建议人脸候选池，输出包含人脸的候选区域；
S3、通过用于修正结果集的CNN对第一步中产生的候选人脸池进行初步修正，通过消除识别错误的case，来拟合更准的结果；
S4、使用size、深度、宽度更大的CNN网络，对第二步产生的结果进一步拟合，再去除一次false positive，得到比第二部更准的结果；
S5、将第S4步的结果反scaling回来到原始坐标，形成大小不一候选框集合，带有区域框位置，其中左上右下实际坐标，人脸关键点位置；
S6、对于S5产生的候选集合，有很多的置信度不一重叠区域，所以要用到重叠检测，将所有候选人脸做重叠度检测；
S7、将重叠度检测结果中区域聚合的部分，极大值留下，其他全部删除，留下了我们所要提取的某一帧的人脸；
S8、通过循环，使用叠加CNN连续处理人脸拟合获取整个视频在时间线上的连续帧，获得视频的演员人脸集合；
S9、针对临近时间线因素，对人脸关键点位置做最后一次线性状态测试，进一步refine，排除异常结果。
根据上述技术方案，所述S1中阀值以原始帧开始，循环产生0.7上一次图片大小的图片，直到最小检测尺寸，形成图片金字塔。
根据上述技术方案，所述S2中输出是16个通道的map，包含了是否是人脸，人脸框的位置范围，以及定位到的关键点人脸位置，包括左眼，右眼，鼻子，左嘴角，右嘴角，其中位置等数据都是相对于原点的offset。
与现有技术相比，本发明的有益效果：本发明结构科学合理，使用安全方便，本发明公开了一种基于多级CNN的处理方法，提取每帧的人脸，在图片金字塔的基础上，加上时间线拟合，充分考虑不同光照分辨率的视频人脸信息，不同人脸间的差异，找到人脸信息，在短视频领域找到演员的脸特征。这里用到的多级的CNN，充分挖掘视频信息，做流水线化的视频处理和人脸提取。整个过程是从粗到细的过程，用到了在线困难样本深度挖掘策略方案，加入了人脸对齐的级联学习过程；
充分挖掘了每一帧图像中人脸的特征，减少过滤，增加特征点跟踪，提高识别的准确率，通过重叠区域快速整合，提高了提取时间效率和计算消耗，经过分层多次CNN网络处理，达到多个小消耗CNN达到一个大消耗CNN所很难达到的提取效果，考虑了视频相对图片的更丰富时间连续特征，人脸的关键点位置拥有连续运动轨迹，对于孤立考虑单张图片的传统方法更接近人脑本身的处理方式。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的方法结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例：如图1所示，本发明提供技术方案，一种基于多级CNN的影片人脸提取的方法，具体步骤如下：
S1、从视频连续帧中生成scaling系数为0.7的图片处理过程，设置符合短视频常规情况的最小的人脸检测尺寸阈值；
S2、通过CNN全连接层网络，获得建议人脸候选池，输出包含人脸的候选区域；
S3、通过用于修正结果集的CNN对第一步中产生的候选人脸池进行初步修正，通过消除识别错误的case，来拟合更准的结果；
S4、使用size、深度、宽度更大的CNN网络，对第二步产生的结果进一步拟合，再去除一次false positive，得到比第二部更准的结果；
S5、将第S4步的结果反scaling回来到原始坐标，形成大小不一候选框集合，带有区域框位置，其中左上右下实际坐标，人脸关键点位置；
S6、对于S5产生的候选集合，有很多的置信度不一重叠区域，所以要用到重叠检测，将所有候选人脸做重叠度检测；
S7、将重叠度检测结果中区域聚合的部分，极大值留下，其他全部删除，留下了我们所要提取的某一帧的人脸；
S8、通过循环，使用叠加CNN连续处理人脸拟合获取整个视频在时间线上的连续帧，获得视频的演员人脸集合；
S9、针对临近时间线因素，对人脸关键点位置做最后一次线性状态测试，进一步refine，排除异常结果。
根据上述技术方案，S1中阀值以原始帧开始，循环产生0.7上一次图片大小的图片，直到最小检测尺寸，形成图片金字塔。
根据上述技术方案，S2中输出是16个通道的map，包含了是否是人脸，人脸框的位置范围，以及定位到的关键点人脸位置，包括左眼，右眼，鼻子，左嘴角，右嘴角，其中位置等数据都是相对于原点的offset。
与现有技术相比，本发明的有益效果：本发明结构科学合理，使用安全方便，本发明公开了一种基于多级CNN的处理方法，提取每帧的人脸，在图片金字塔的基础上，加上时间线拟合，充分考虑不同光照分辨率的视频人脸信息，不同人脸间的差异，找到人脸信息，在短视频领域找到演员的脸特征。这里用到的多级的CNN，充分挖掘视频信息，做流水线化的视频处理和人脸提取。整个过程是从粗到细的过程，用到了在线困难样本深度挖掘策略方案，加入了人脸对齐的级联学习过程；
充分挖掘了每一帧图像中人脸的特征，减少过滤，增加特征点跟踪，提高识别的准确率，通过重叠区域快速整合，提高了提取时间效率和计算消耗，经过分层多次CNN网络处理，达到多个小消耗CNN达到一个大消耗CNN所很难达到的提取效果，考虑了视频相对图片的更丰富时间连续特征，人脸的关键点位置拥有连续运动轨迹，对于孤立考虑单张图片的传统方法更接近人脑本身的处理方式。
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于多级CNN的影片人脸提取的方法，其特征在于：具体步骤如下：
S1、从视频连续帧中生成scaling系数为0.7的图片处理过程，设置符合短视频常规情况的最小的人脸检测尺寸阈值；
S2、通过CNN全连接层网络，获得建议人脸候选池，输出包含人脸的候选区域；
S3、通过用于修正结果集的CNN对第一步中产生的候选人脸池进行初步修正，通过消除识别错误的case，来拟合更准的结果；
S4、使用size、深度、宽度更大的CNN网络，对第二步产生的结果进一步拟合，再去除一次false positive，得到比第二部更准的结果；
S5、将第S4步的结果反scaling回来到原始坐标，形成大小不一候选框集合，带有区域框位置，其中左上右下实际坐标，人脸关键点位置；
S6、对于S5产生的候选集合，有很多的置信度不一重叠区域，所以要用到重叠检测，将所有候选人脸做重叠度检测；
S7、将重叠度检测结果中区域聚合的部分，极大值留下，其他全部删除，留下了我们所要提取的某一帧的人脸；
S8、通过循环，使用叠加CNN连续处理人脸拟合获取整个视频在时间线上的连续帧，获得视频的演员人脸集合；
S9、针对临近时间线因素，对人脸关键点位置做最后一次线性状态测试，进一步refine，排除异常结果。
2.根据权利要求1所述的一种基于多级CNN的影片人脸提取的方法，其特征在于，所述S1中阀值以原始帧开始，循环产生0.7上一次图片大小的图片，直到最小检测尺寸，形成图片金字塔。
3.根据权利要求1所述的一种基于多级CNN的影片人脸提取的方法，其特征在于，所述S2中输出是16个通道的map，包含了是否是人脸，人脸框的位置范围，以及定位到的关键点人脸位置，包括左眼，右眼，鼻子，左嘴角，右嘴角，其中位置等数据都是相对于原点的offset。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011572417.7A CN112668465A (zh) | 2020-12-25 | 2020-12-25 | 一种基于多级cnn的影片人脸提取的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011572417.7A CN112668465A (zh) | 2020-12-25 | 2020-12-25 | 一种基于多级cnn的影片人脸提取的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112668465A true CN112668465A (zh) | 2021-04-16 |
Family
ID=75410161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011572417.7A Pending CN112668465A (zh) | 2020-12-25 | 2020-12-25 | 一种基于多级cnn的影片人脸提取的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112668465A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107239736A (zh) * | 2017-04-28 | 2017-10-10 | 北京智慧眼科技股份有限公司 | 基于多任务级联卷积神经网络的人脸检测方法及检测装置 |
| CN107506707A (zh) * | 2016-11-30 | 2017-12-22 | 奥瞳***科技有限公司 | 采用嵌入式***中的小规模卷积神经网络模块的人脸检测 |
| CN108875602A (zh) * | 2018-05-31 | 2018-11-23 | 珠海亿智电子科技有限公司 | 监控环境下基于深度学习的人脸识别方法 |
| CN109190442A (zh) * | 2018-06-26 | 2019-01-11 | 杭州雄迈集成电路技术有限公司 | 一种基于深度级联卷积神经网络的快速人脸检测方法 |
| CN109508668A (zh) * | 2018-11-09 | 2019-03-22 | 北京奇艺世纪科技有限公司 | 一种镜头类型信息识别方法及装置 |
| CN110349177A (zh) * | 2019-07-03 | 2019-10-18 | 广州多益网络股份有限公司 | 一种连续帧视频流的人脸关键点跟踪方法和*** |
| CN110458005A (zh) * | 2019-07-02 | 2019-11-15 | 重庆邮电大学 | 一种基于多任务渐进配准网络的旋转不变人脸检测方法 |
| CN110619319A (zh) * | 2019-09-27 | 2019-12-27 | 北京紫睛科技有限公司 | 一种基于改进的mtcnn模型人脸检测方法和*** |
| CN111401257A (zh) * | 2020-03-17 | 2020-07-10 | 天津理工大学 | 一种基于余弦损失非约束条件人脸识别方法 |
| CN111598040A (zh) * | 2020-05-25 | 2020-08-28 | 中建三局第二建设工程有限责任公司 | 一种建筑工人身份识别及安全帽佩戴检测方法及*** |
-
2020
- 2020-12-25 CN CN202011572417.7A patent/CN112668465A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107506707A (zh) * | 2016-11-30 | 2017-12-22 | 奥瞳***科技有限公司 | 采用嵌入式***中的小规模卷积神经网络模块的人脸检测 |
| CN107239736A (zh) * | 2017-04-28 | 2017-10-10 | 北京智慧眼科技股份有限公司 | 基于多任务级联卷积神经网络的人脸检测方法及检测装置 |
| CN108875602A (zh) * | 2018-05-31 | 2018-11-23 | 珠海亿智电子科技有限公司 | 监控环境下基于深度学习的人脸识别方法 |
| CN109190442A (zh) * | 2018-06-26 | 2019-01-11 | 杭州雄迈集成电路技术有限公司 | 一种基于深度级联卷积神经网络的快速人脸检测方法 |
| CN109508668A (zh) * | 2018-11-09 | 2019-03-22 | 北京奇艺世纪科技有限公司 | 一种镜头类型信息识别方法及装置 |
| CN110458005A (zh) * | 2019-07-02 | 2019-11-15 | 重庆邮电大学 | 一种基于多任务渐进配准网络的旋转不变人脸检测方法 |
| CN110349177A (zh) * | 2019-07-03 | 2019-10-18 | 广州多益网络股份有限公司 | 一种连续帧视频流的人脸关键点跟踪方法和*** |
| CN110619319A (zh) * | 2019-09-27 | 2019-12-27 | 北京紫睛科技有限公司 | 一种基于改进的mtcnn模型人脸检测方法和*** |
| CN111401257A (zh) * | 2020-03-17 | 2020-07-10 | 天津理工大学 | 一种基于余弦损失非约束条件人脸识别方法 |
| CN111598040A (zh) * | 2020-05-25 | 2020-08-28 | 中建三局第二建设工程有限责任公司 | 一种建筑工人身份识别及安全帽佩戴检测方法及*** |
Non-Patent Citations (3)
| Title |
|---|
| 余飞 等: "多级联卷积神经网络人脸检测", 五邑大学学报（自然科学版）, vol. 32, no. 3, 15 August 2018 (2018-08-15), pages 50 - 54 * |
| 常海涛 等: "Faster R-CNN在工业CT图像缺陷检测中的应用", 中国图象图形学报, vol. 23, no. 07, pages 1061 - 1071 * |
| 范宇豪 等: "基于插值法的对抗攻击防御算法", 网络空间安全, vol. 11, no. 04, pages 74 - 78 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11263434B2 (en) | Fast side-face interference resistant face detection method | |
| US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| CN110248096B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
| US7489803B2 (en) | Object detection | |
| CN108537782B (zh) | 一种基于轮廓提取的建筑物图像匹配与融合的方法 | |
| CN109344727B (zh) | 身份证文本信息检测方法及装置、可读存储介质和终端 | |
| US7421149B2 (en) | Object detection | |
| CN112950477B (zh) | 一种基于双路径处理的高分辨率显著性目标检测方法 | |
| US7522772B2 (en) | Object detection | |
| CN107066963B (zh) | 一种自适应人群计数方法 | |
| CN111310718A (zh) | 一种遮挡人脸图像高准确率检测对比方法 | |
| CN109993089B (zh) | 一种基于深度学习的视频目标去除及背景恢复方法 | |
| CN111223108A (zh) | 基于背景幕抠图和融合的方法和*** | |
| CN111523497B (zh) | 一种人脸纠正方法、装置和电子设备 | |
| US20050128306A1 (en) | Object detection | |
| CN110059634A (zh) | 一种大场景人脸抓拍方法 | |
| US9286707B1 (en) | Removing transient objects to synthesize an unobstructed image | |
| Yu et al. | Region selective fusion network for robust rgb-t tracking | |
| CN112232205B (zh) | 移动端cpu实时多功能人脸检测方法 | |
| KR102277929B1 (ko) | 얼굴 인식에 기반한 실시간 얼굴 마스킹 시스템 및 이를 이용한 실시간 얼굴 마스킹 방법 | |
| CN112668465A (zh) | 一种基于多级cnn的影片人脸提取的方法 | |
| Cai et al. | Rethinking cross-domain pedestrian detection: a background-focused distribution alignment framework for instance-free one-stage detectors | |
| Yu et al. | A hybrid color matching between stereo image sequences | |
| Szlávik et al. | Face analysis using CNN-UM | |
| CN113313720B (zh) | 对象分割方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |