CN114241542A - 基于图像拼接的人脸识别方法 - Google Patents

基于图像拼接的人脸识别方法 Download PDF

Info

Publication number
CN114241542A
CN114241542A CN202111118259.2A CN202111118259A CN114241542A CN 114241542 A CN114241542 A CN 114241542A CN 202111118259 A CN202111118259 A CN 202111118259A CN 114241542 A CN114241542 A CN 114241542A
Authority
CN
China
Prior art keywords
face
image
mask
face recognition
recognition method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111118259.2A
Other languages
English (en)
Inventor
胡建华
余君
曾文权
杨忠明
陈广意
张嘉诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Institute of Science and Technology
Original Assignee
Guangdong Institute of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Institute of Science and Technology filed Critical Guangdong Institute of Science and Technology
Priority to CN202111118259.2A priority Critical patent/CN114241542A/zh
Publication of CN114241542A publication Critical patent/CN114241542A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种基于图像拼接的人脸识别方法、装置及介质，该方法包括：对人脸图像通过距离检测确定人脸是否佩戴有口罩；将佩戴口罩的人脸图像进行形态学处理，将截取已有的对应区域图像替换被口罩遮挡的区域，得到完整的人脸图像；对完整的人脸图像执行人脸匹配及识别。本发明具有如下有益效果：用于通过口罩或其他物品挡住脸部区域时进行人脸图像的补全，得到完整脸部图像，使用已用人脸数据进行详细匹配，解决了被遮挡人脸大部分的特征信息丢失的难题。

Description

基于图像拼接的人脸识别方法
技术领域
本发明涉及计算机图形处理及人工智能领域，特别涉及一种基于图像拼接的人脸识别方法、装置及介质。
背景技术
传统的人脸识别算法主要包括三个模块：人脸检测(Face Detection)、人脸对齐(Face Alignment)和人脸特征表征(Feature Representations)。
人脸特征表征接受的输入是标准化的人脸图像，通过特征建模得到向量化的人脸特征，最后通过分类器判别得到识别的结果，关键是得到对于不同人脸有区分度的特征，一般通过一个人的眉形、脸轮廓、鼻子形状、眼睛的形状等。由于目前的人脸识别算法都是采用完整的人脸图像进行训练与识别，因此存在被口罩遮挡的人脸无法得到完整的特征信息，比如鼻子形状和嘴部信息，在缺乏大量特征信息的情况下很难识别出结果。
传统的遮挡人脸识别方法有子空间回归、鲁棒误差编码与鲁棒特征提取等三类。子空间回归方法将不同的类别的人脸划分为不同的子空间，遮挡是一个独立的子空间，那么有遮挡的人脸图像是不含遮挡的人脸与遮挡的叠加，就可以把有遮挡人脸图像识别问题视作无遮挡人脸图像和遮挡各自回归到它们所属的子空间问题，子空间回归方法中最具有代表性的方法是稀疏表示分类方法和协同表示方法，子空间回归方法的难点在于遮挡子空间的构建。
鲁棒误差编码方法主要包括“加法模型”和“乘法模型”。“加法模型”认为有遮挡图像是原始的不含遮挡的人脸图像与由遮挡引发的误差e的合成体，即 y＝y0+e，着重考虑是如何将误差e从y中分离出来。“乘法模型”将有遮挡的图像看成无遮挡的y0与遮挡的拼接，并且只有y0可以精确重构。着重考虑如何分离其有遮挡区域和无遮挡区域。
鲁棒特征提取，一副人脸图像所包含的特征通常极为丰富，既包括颜色、亮度、纹理和方向等低阶特征，也包括姿态、表情、年龄和人种等高阶特征，鲁棒的特征提取方法就是需要对这些特征进行分解。
这些遮挡人脸识别算法各有长处，但是当人脸的大部分特征信息被口罩遮挡后，很难得到精确的识别结果，并且大部分算法无法检测到人脸，所以也无法进行下一步的人脸识别。本发明通过口罩部分信息使用人脸特点替换，因此在遮挡情况下也能够进行正常的人脸检测与识别。
目前也有技术采用有遮挡的人脸与无遮挡的人脸作为训练集，来重新训练开发一个新的人脸识别方法，这种方法能够有效提高在遮挡情况下的人脸识别准确度，缺点是需要重新训练一个新的算法，开发难度较大，本发明能够兼容目前的人脸识别***，无需重新开发现有的算法，可以在现有的算法过程进行迁移训练，大大降低了算法开发的难度。
戴上口罩后，鼻子、嘴巴等五官信息被遮挡，人脸面部可用于辨别的信息会大幅减少，脸部的轮廓等可辨识信息也在物理分布上发生较大变化，本发明对口罩遮挡部分图像进行动态处理，切割口罩部分拼接人脸，脸部特征图和嘴部特定图进行融合，这样能够得到完整的脸部信息，使用已用人脸数据进行详细匹配，解决了被遮挡人脸大部分的特征信息丢失的难题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于图像拼接的人脸识别方法、装置及介质，用于得到佩戴口罩的完整脸部图像，使用已用人脸数据进行详细匹配，解决了被遮挡人脸大部分的特征信息丢失的难题。
本发明的技术方案包括一种基于图像拼接的人脸识别方法，其特征在于，包括：S100，通过摄像装置对人脸图像进行采集，对其中的人脸图像通过距离检测确定人脸是否佩戴有口罩；S200，将佩戴口罩的人脸图像进行形态学处理，将截取已有的对应区域图像替换被口罩遮挡的区域，得到完整的人脸图像；S300，对完整的人脸图像执行人脸匹配及识别。
根据所述的基于图像拼接的人脸识别方法，其中S100包括：通过所述摄像装置执行帧捕获图像，调整图像大小用于口罩检测，通过Yolov3目标物体检测算法检测目标是否佩戴口罩，若检测到口罩，获取人脸被遮挡口罩图像。
根据所述的基于图像拼接的人脸识别方法，其中S100还包括：定位口罩位置，将图片的色彩空间由rgb转换成hsv，去除白色部分颜色，设置阈值去除背景图像。
根据所述的基于图像拼接的人脸识别方法，其中S200包括：进行开运算，确定口罩的最大轮廓，将口罩轮廓图片保存并确定替换的区域大小，其中开运算包括将图像先执行腐蚀处理再执行膨胀处理。
根据所述的基于图像拼接的人脸识别方法，其中S200还包括：从已有的人脸数据中获取嘴部图像，确认人脸的大小及宽度，根据人脸的大小调整嘴部图像覆盖在口罩上，调整到最优的位置坐标，利用此坐标在人像图像上进行截取获取拼接的部分；根据口罩的大小调整已截取的嘴部图像大小，然后进行拼接，得到完整的人脸图像。
根据所述的基于图像拼接的人脸识别方法，其中温S300包括：将完整的人脸图像与数据库所存储的人脸图像进行匹配和识别，输出对应的匹配识别结果。
本发明的技术方案还包括一种基于图像拼接的人脸识别装置，该装置包括摄像装置、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现任一所述的方法步骤。
本发明的技术方案还包括一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现任一所述的方法步骤。
本发明的有益效果为：
(1)使用人脸数据对遮挡人脸图像处理，即使在拥有少量人脸信息的情况下，也有能够识别出被遮挡人的身份信息；
(2)首先通过检测算法进行口罩检测，来兼容没有口罩情况下的人脸识别，达到更高的准确率，如果检测口罩情况下，利用已有数据库的人脸信息来还原与恢复被口罩遮挡的人脸信息；
(3)由于目前的人脸识别都是基于无遮挡情况的人脸识别方法，因此在遇到有口罩遮挡情况下，会出现无法检测到人脸，另一个出现目前的人脸识别算法会出现失效的情形，因此本算法通过拼接的完整的人脸信息，因此能够兼容目前的人脸识别算法，能够使人脸进行正确的识别；
(4)在进行人脸识别比对时，由于替换口罩的人脸信息部分，对于每一次匹配，都是使用数据库中口罩部分的信息，因为口罩部分的信息都是相同的，没有任何差异，因此人脸识别算法将关注点用于无口罩的人脸特征信息，因此会比基于深度学习训练的口罩人脸识别准确率更高；
(5)处理人脸挡的口罩部分，拼接鼻部、嘴部能够得到整张脸的特征信息，为人脸识别补全了被遮挡部分的特征信息，大大提高了人脸的准确度；
(6)在公共场合，无需摘下口罩也可以进行人脸识别，减少了人群聚集，大大提高了公共空间的安全性和检测效率；
(7)可用于安防类场景，在人脸被口罩遮挡的情况下，依然能够识别出目标的身份。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1a，1b，1c，1d，1e所示为根据本发明实施方式的佩戴口罩人脸识别过程示意图；
图2所示为根据本发明实施方式的总体流程图；
图3所示为根据本发明实施方式的详细流程图；
图4所示为根据本发明实施方式的装置及介质示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。
图1a，1b，1c，1d，1e所示为根据本发明实施方式的佩戴口罩人脸识别过程示意图。其具体参考图3的流程图。
图2所示为根据本发明实施方式的总体流程图。包括：S100，通过摄像装置对人脸图像进行采集，对其中的人脸图像通过距离检测确定人脸是否佩戴有口罩；S200，将佩戴口罩的人脸图像进行形态学处理，将截取已有的对应区域图像替换被口罩遮挡的区域，得到完整的人脸图像；S300，对完整的人脸图像执行人脸匹配及识别。
图3所示为根据本发明实施方式的详细流程图。具体流程如下：从摄像头按帧捕获人脸图像，通过Yolo v3算法对口罩进行口罩检测，获取人脸被遮挡口罩图像信息，将遮挡部分图像进行形态学操作处理，截取已有的人脸鼻部、嘴部图像替换口罩部分，还原整张人脸，得到相对完整的人脸特征信息，最后对拼接后的人脸进行人脸识别，与已有的人脸数据进行匹配。
本发明使用Yolov3目标物体检测算法检测目标是否佩戴口罩，若是检测到口罩，获取人脸被遮挡口罩图像信息，将遮挡部分图像进行形态学操作处理，截取已有的人脸嘴部图像替换口罩部分，进行与原有图像的眼睛，头部等脸部特征信息进行拼接，这样能够还原整张人脸，得到相对完整的人脸数据与已有的人脸数据进行匹配，识别出被遮挡人脸的身份信息。
开启摄像头按帧捕获图像，初步调整图像大小用于口罩检测，若检测到口罩，定位口罩位置，将图片的色彩空间由rgb转换成hsv，颜色去除白色部分，设置阈值(去除背景部分)，然后处理口罩部分，将口罩部分进行形态学转换，进行开运算(先腐蚀后膨胀)，确定口罩的最大轮廓，将口罩轮廓图片保存下来(确定替换的区域大小)(如图1c及图1d)。
从已有的人脸数据中获取嘴部图像(如图1a)，确认人脸的大小及宽度，根据人脸的大小调整嘴部图像覆盖在口罩上(如图1b)，调整到最优的位置坐标，利用此坐标在人像图像上进行截取获取拼接的部分。然后根据口罩的大小调整已截取的嘴部图像大小，然后进行拼接，得到一张相对完整的人脸图像，对处理后的处理进行人脸识别(如图1e)。
图4所示为根据本发明实施方式的装置及介质示意图。装置包括存储器 100、处理器200及采集装置300，其中处理器200存储有计算机程序，计算机程序用于执行：对人脸图像通过距离检测确定人脸是否佩戴有口罩；将佩戴口罩的人脸图像进行形态学处理，将截取已有的对应区域图像替换被口罩遮挡的区域，得到完整的人脸图像；对完整的人脸图像执行人脸匹配及识别。采集装置 300用于采集人脸图像，存储器100用于存储数据。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (8)

1.一种基于图像拼接的人脸识别方法，其特征在于，包括：
S100，通过摄像装置对人脸图像进行采集，对其中的人脸图像通过距离检测确定人脸是否佩戴有口罩；
S200，将佩戴口罩的人脸图像进行形态学处理，将截取已有的对应区域图像替换被口罩遮挡的区域，得到完整的人脸图像；
S300，对完整的人脸图像执行人脸匹配及识别。
2.根据权利要求1所述的基于图像拼接的人脸识别方法，其特征在于，所述S100包括：
通过所述摄像装置执行帧捕获图像，调整图像大小用于口罩检测，通过Yolov3目标物体检测算法检测目标是否佩戴口罩，若检测到口罩，获取人脸被遮挡口罩图像。
3.根据权利要求2所述的基于图像拼接的人脸识别方法，其特征在于，所述S100还包括：
定位口罩位置，将图片的色彩空间由rgb转换成hsv，去除白色部分颜色，设置阈值去除背景图像。
4.根据权利要求2所述的基于图像拼接的人脸识别方法，其特征在于，所述S200包括：
进行开运算，确定口罩的最大轮廓，将口罩轮廓图片保存并确定替换的区域大小，其中开运算包括将图像先执行腐蚀处理再执行膨胀处理。
5.根据权利要求4所述的基于图像拼接的人脸识别方法，其特征在于，所述S200还包括：
从已有的人脸数据中获取嘴部图像，确认人脸的大小及宽度，根据人脸的大小调整嘴部图像覆盖在口罩上，调整到最优的位置坐标，利用此坐标在人像图像上进行截取获取拼接的部分；
根据口罩的大小调整已截取的嘴部图像大小，然后进行拼接，得到完整的人脸图像。
6.根据权利要求5所述的基于图像拼接的人脸识别方法，其特征在于，所述温S300包括：
将完整的人脸图像与数据库所存储的人脸图像进行匹配和识别，输出对应的匹配识别结果。
7.一种基于图像拼接的人脸识别装置，该装置包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-6任一所述的方法步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一所述的方法步骤。
CN202111118259.2A 2021-09-23 2021-09-23 基于图像拼接的人脸识别方法 Pending CN114241542A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111118259.2A CN114241542A (zh) 2021-09-23 2021-09-23 基于图像拼接的人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111118259.2A CN114241542A (zh) 2021-09-23 2021-09-23 基于图像拼接的人脸识别方法

Publications (1)

Publication Number Publication Date
CN114241542A true CN114241542A (zh) 2022-03-25

Family

ID=80743007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111118259.2A Pending CN114241542A (zh) 2021-09-23 2021-09-23 基于图像拼接的人脸识别方法

Country Status (1)

Country Link
CN (1) CN114241542A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063863A (zh) * 2022-06-27 2022-09-16 中国平安人寿保险股份有限公司 人脸识别方法、装置、计算机设备及存储介质
CN115619410A (zh) * 2022-10-19 2023-01-17 闫雪 自适应金融支付平台
CN115810214A (zh) * 2023-02-06 2023-03-17 广州市森锐科技股份有限公司 基于ai人脸识别核验管理方法、***、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131976A (zh) * 2020-09-09 2020-12-25 厦门市美亚柏科信息股份有限公司 一种自适应人像温度匹配和口罩识别方法及装置
CN112597867A (zh) * 2020-12-17 2021-04-02 佛山科学技术学院 戴口罩人脸识别方法、***、计算机设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131976A (zh) * 2020-09-09 2020-12-25 厦门市美亚柏科信息股份有限公司 一种自适应人像温度匹配和口罩识别方法及装置
CN112597867A (zh) * 2020-12-17 2021-04-02 佛山科学技术学院 戴口罩人脸识别方法、***、计算机设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063863A (zh) * 2022-06-27 2022-09-16 中国平安人寿保险股份有限公司 人脸识别方法、装置、计算机设备及存储介质
CN115619410A (zh) * 2022-10-19 2023-01-17 闫雪 自适应金融支付平台
CN115619410B (zh) * 2022-10-19 2024-01-26 闫雪 自适应金融支付平台
CN115810214A (zh) * 2023-02-06 2023-03-17 广州市森锐科技股份有限公司 基于ai人脸识别核验管理方法、***、设备及存储介质
CN115810214B (zh) * 2023-02-06 2023-05-12 广州市森锐科技股份有限公司 基于ai人脸识别核验管理方法、***、设备及存储介质

Similar Documents

Publication Publication Date Title
Liu et al. Learning deep models for face anti-spoofing: Binary or auxiliary supervision
CN109389074B (zh) 一种基于人脸特征点提取的表情识别方法
CN114241542A (zh) 基于图像拼接的人脸识别方法
CN108629336B (zh) 基于人脸特征点识别的颜值计算方法
EP1255225A2 (en) Method for detecting eye and mouth positions in a digital image
CN104951773A (zh) 一种实时人脸识别监视***
CN105046219A (zh) 一种人脸识别***
CN103116749A (zh) 一种基于自建图像库的近红外人脸识别方法
CN110059634B (zh) 一种大场景人脸抓拍方法
CN110175530A (zh) 一种基于人脸的图像评分方法及***
CN110046574A (zh) 基于深度学习的安全帽佩戴识别方法及设备
CN112541422A (zh) 光照和头部姿态鲁棒的表情识别方法、设备及存储介质
CN111539911B (zh) 一种口呼吸面容识别方法、设备和存储介质
CN112115775A (zh) 一种基于计算机视觉的监控场景下的吸烟行为检测方法
JP2009069996A (ja) 画像処理装置および画像処理方法、認識装置および認識方法、並びに、プログラム
CN111611849A (zh) 一种用于门禁设备的人脸识别***
CN113673607A (zh) 图像标注模型的训练及图像标注的方法及装置
CN113158883A (zh) 基于区域注意力的人脸识别方法、***、介质及终端
CN114663985A (zh) 人脸静默活体检测方法、装置、可读存储介质及设备
JP2015204030A (ja) 認識装置及び認識方法
CN117496570A (zh) 一种基于多尺度卷积的人脸识别方法及***
CN117475353A (zh) 基于视频的异常烟雾识别方法及***
CN114170069A (zh) 一种基于连续多张照片的闭眼自动处理方法
Paul et al. Automatic adaptive facial feature extraction using CDF analysis
CN111523406A (zh) 一种基于生成对抗网络改进结构的偏转人脸转正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination