KR20220008242A - Face recognition device - Google Patents

Face recognition device Download PDF

Info

Publication number
KR20220008242A
KR20220008242A KR1020210091863A KR20210091863A KR20220008242A KR 20220008242 A KR20220008242 A KR 20220008242A KR 1020210091863 A KR1020210091863 A KR 1020210091863A KR 20210091863 A KR20210091863 A KR 20210091863A KR 20220008242 A KR20220008242 A KR 20220008242A
Authority
KR
South Korea
Prior art keywords
image data
face
mask
face image
masking
Prior art date
Application number
KR1020210091863A
Other languages
Korean (ko)
Inventor
이형구
문일현
사공락
권재철
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Publication of KR20220008242A publication Critical patent/KR20220008242A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

The present invention relates to a face recognition device, which includes: a determination unit which determines whether a face included in face image data is wearing a mask; an extractor configured to extract a mask area corresponding to the mask from the face image data when the face is wearing a mask; a masking unit performing masking on the mask area; and a recognition unit for determining whether to register the masked face image data based on a face recognition model. Accordingly, it is possible to improve recognition performance of the face of a person wearing the mask.

Description

얼굴을 인식하는 장치{FACE RECOGNITION DEVICE}Face Recognition Device {FACE RECOGNITION DEVICE}

본 발명은 얼굴을 인식하는 장치에 관한 것이다.The present invention relates to a device for recognizing a face.

코로나 19로 인해, 외부 바이러스가 호흡 기관에 침입하는 것을 차단하기 위한 마스크 착용이 일반화되고 있다. 마스크 착용으로 사람의 얼굴에서 주요한 특징에 해당하는 코와 입이 가려진 채 일상 생활을 보내고 있다. 따라서, 얼굴 인식을 통한 출입 통제 및 정보 공유에 어려움이 있는 것으로 보인다. Due to COVID-19, wearing a mask to prevent foreign viruses from entering the respiratory tract is becoming common. By wearing a mask, the nose and mouth, which are the main features of a person's face, are covered in daily life. Therefore, it seems that there are difficulties in access control and information sharing through face recognition.

종래 기술에 따른 얼굴 인식은 마스크를 착용하지 않은 얼굴에 대하여 개인 특징 정보를 검출하고, 인식할 수 있다. 예를 들어, 종래의 얼굴 인식 기술은 얼굴의 눈, 코, 입 및 턱선 등에 대한 특징 정보로부터 개개인을 인식한다.Face recognition according to the prior art may detect and recognize personal characteristic information for a face not wearing a mask. For example, the conventional face recognition technology recognizes an individual from feature information about the eyes, nose, mouth, and jaw lines of a face.

따라서, 종래의 얼굴 인식 기술은 코와 입이 마스크로 가려진 얼굴의 경우, 얼굴 자체를 아예 검출하지 못하거나, 잘못된 영역을 얼굴 영역으로 검출하게 되는 한계점이 존재한다.Therefore, in the case of a face whose nose and mouth are covered by a mask, the conventional face recognition technology has a limitation in that it cannot detect the face itself at all or detects an incorrect area as a face area.

한국공개특허공보 제10-2015-0117975호 (2015. 10. 21. 공개)Korean Patent Publication No. 10-2015-0117975 (published on October 21, 2015)

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 마스크를 착용한 사람의 얼굴을 인식할 수 있는 얼굴 인식 장치를 제공하고자 한다. The present invention is to solve the problems of the prior art, and to provide a face recognition device capable of recognizing the face of a person wearing a mask.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problems to be achieved by the present embodiment are not limited to the technical problems described above, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 얼굴을 인식하는 장치에 있어서, 얼굴 이미지 데이터에 포함된 얼굴이 마스크를 착용하고 있는지 여부를 판단하는 판단부; 상기 얼굴이 마스크를 착용하고 있는 경우, 상기 얼굴 이미지 데이터 중 상기 마스크에 해당하는 마스크 영역을 추출하는 추출부; 상기 마스크 영역에 대해 마스킹을 수행하는 마스킹부; 및 얼굴 인식 모델에 기초하여 상기 마스킹된 얼굴 이미지 데이터에 대한 등록 여부를 판단하는 인식부를 포함하는 것인, 얼굴 인식 장치를 제공할 수 있다. As a means for achieving the above-described technical problem, an embodiment of the present invention provides an apparatus for recognizing a face, comprising: a determination unit for determining whether a face included in face image data is wearing a mask; an extractor configured to extract a mask area corresponding to the mask from the face image data when the face is wearing a mask; a masking unit performing masking on the mask area; and a recognition unit that determines whether to register the masked face image data based on the face recognition model.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.The above-described problem solving means are merely exemplary, and should not be construed as limiting the present invention. In addition to the exemplary embodiments described above, there may be additional embodiments described in the drawings and detailed description.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 마스크를 착용한 사람의 얼굴에서 마스크로 가려지지 않은 영역에 기초하여 각 개인을 인식할 수 있는 얼굴 인식 장치를 제공할 수 있다.According to any one of the problem solving means of the present invention described above, it is possible to provide a face recognition device capable of recognizing each individual based on an area not covered by the mask on the face of the person wearing the mask.

또한, 개인의 정체성 정보를 확인할 수 없는 마스크 영역을 마스킹 처리하고 마스크로 가려지지 않은 영역에서 개인 특징 정보를 최대한으로 추출함으로써, 마스크를 착용한 사람의 얼굴에 대한 인식 성능을 향상시킬 수 있는 얼굴 인식 장치를 제공할 수 있다.In addition, face recognition that can improve the recognition performance of the face of the person wearing the mask by masking the mask area where personal identity information cannot be confirmed and maximally extracting personal characteristic information from the area not covered by the mask device can be provided.

도 1은 본 발명의 일 실시예에 따른 얼굴 인식 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 얼굴 인식 모델을 학습시키는 과정을 설명하기 위한 예시적인 도면이다.
도 3은 본 발명의 일 실시예에 따른 얼굴 이미지 데이터에 대한 등록 여부를 판단하는 과정을 설명하기 위한 예시적인 도면이다.
도 4는 본 발명의 일 실시예에 따른 얼굴 인식 장치의 순서도이다.1 is a block diagram of a face recognition apparatus according to an embodiment of the present invention.
2 is an exemplary diagram for explaining a process of training a face recognition model according to an embodiment of the present invention.
3 is an exemplary diagram for explaining a process of determining whether to register face image data according to an embodiment of the present invention.
4 is a flowchart of a face recognition apparatus according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement them. However, the present invention may be embodied in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. Throughout the specification, when a part is "connected" with another part, this includes not only the case of being "directly connected" but also the case of being "electrically connected" with another element interposed therebetween. . Also, when a part "includes" a component, it means that other components may be further included, rather than excluding other components, unless otherwise stated, and one or more other features However, it is to be understood that the existence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded in advance.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.In this specification, a "part" includes a unit realized by hardware, a unit realized by software, and a unit realized using both. In addition, one unit may be implemented using two or more hardware, and two or more units may be implemented by one hardware.

본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.Some of the operations or functions described as being performed by the terminal or device in this specification may be instead performed by a server connected to the terminal or device. Similarly, some of the operations or functions described as being performed by the server may also be performed in a terminal or device connected to the server.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다. Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 얼굴 인식 장치의 구성도이다. 도 1을 참조하면, 얼굴 인식 장치(100)는 판단부(110), 추출부(120), 마스킹부(130), 인식부(140), 정렬부(150) 및 학습부(160)를 포함할 수 있다. 다만 위 구성 요소들(110 내지 160)은 얼굴 인식 장치(100)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것일 뿐이다. 1 is a block diagram of a face recognition apparatus according to an embodiment of the present invention. Referring to FIG. 1 , the face recognition apparatus 100 includes a determination unit 110 , an extraction unit 120 , a masking unit 130 , a recognition unit 140 , an alignment unit 150 , and a learning unit 160 . can do. However, the above components 110 to 160 are merely illustrative of components that can be controlled by the face recognition apparatus 100 .

도 1의 얼굴 인식 장치(100)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 판단부(110), 추출부(120), 마스킹부(130), 인식부(140), 정렬부(150) 및 학습부(160)는 동시에 또는 시간 간격을 두고 연결될 수 있다. Each component of the face recognition apparatus 100 of FIG. 1 is generally connected through a network. For example, as shown in FIG. 1 , the determining unit 110 , the extracting unit 120 , the masking unit 130 , the recognizing unit 140 , the aligning unit 150 and the learning unit 160 are simultaneously or They can be connected at intervals of time.

네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다. A network refers to a connection structure in which information can be exchanged between each node, such as terminals and servers, and includes a local area network (LAN), a wide area network (WAN), and the Internet (WWW: World). Wide Web), wired and wireless data communication networks, telephone networks, wired and wireless television networks, and the like. Examples of wireless data communication networks include 3G, 4G, 5G, 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), World Interoperability for Microwave Access (WIMAX), Wi-Fi, Bluetooth communication, infrared communication, ultrasound Communication, Visible Light Communication (VLC), LiFi, and the like are included, but are not limited thereto.

얼굴 인식 장치(100)는 마스크를 착용한 사람의 얼굴을 인식할 수 있다. 예를 들어, 얼굴 인식 장치(100)는 마스크를 착용한 사람의 얼굴 이미지 데이터에서 눈 영역에 기초하여 개인의 고유 특징 정보를 인식할 수 있다. 따라서, 얼굴 인식 장치(100)는 마스크를 착용한 사람의 얼굴 데이터를 별도로 등록하지 않아도, 마스크를 착용한 개인의 인식이 가능하다. The face recognition apparatus 100 may recognize a face of a person wearing a mask. For example, the face recognition apparatus 100 may recognize the individual's unique characteristic information based on the eye area in the face image data of the person wearing the mask. Accordingly, the face recognition apparatus 100 can recognize an individual wearing the mask without separately registering face data of the person wearing the mask.

판단부(110)는 얼굴 이미지 데이터에 포함된 얼굴이 마스크를 착용하고 있는지 여부를 판단할 수 있다. 예를 들어, 판단부(110)는 얼굴 이미지 데이터에서 얼굴 영역을 검출할 수 있다. 판단부(110)는 검출된 얼굴 영역에서 마스크 착용 여부를 판단할 수 있다. 즉, 판단부(110)는 얼굴 이미지 데이터에서 마스크를 착용한 얼굴을 검출할 수 있다. The determination unit 110 may determine whether the face included in the face image data is wearing a mask. For example, the determiner 110 may detect a face region from face image data. The determination unit 110 may determine whether to wear a mask in the detected face region. That is, the determination unit 110 may detect a face wearing a mask from the face image data.

예를 들어, 판단부(110)는 얼굴 이미지 데이터에서 딥러닝 모델을 통해 얼굴 영역을 검출할 수 있다. 판단부(110)는 얼굴 이미지 데이터에 복수의 얼굴이 포함되어 있는 경우, 포함된 얼굴의 개수에 따라 검출된 얼굴 영역을 동적으로 변화시킬 수 있다. For example, the determiner 110 may detect a face region from the face image data through a deep learning model. When a plurality of faces are included in the face image data, the determiner 110 may dynamically change the detected face region according to the number of faces included.

여기서, 검출된 얼굴 영역은 얼굴 이미지 데이터에서 상대적인 좌표(X축, Y축)와 검출 신뢰도 값으로 정의될 수 있고, 검출 신뢰도 값은 0에서 1까지의 범위를 가지는 확률값일 수 있다. 판단부(110)는 검출된 얼굴 영역의 검출 신뢰도 값이 기설정된 임계치 이상인 경우에만, 검출 영역으로 처리할 수 있다. Here, the detected face region may be defined by relative coordinates (X-axis, Y-axis) and a detection reliability value in the face image data, and the detection reliability value may be a probability value ranging from 0 to 1. The determination unit 110 may process the detected face region as a detection region only when the detection reliability value of the detected face region is equal to or greater than a preset threshold.

추출부(120)는 얼굴이 마스크를 착용하고 있는 경우, 얼굴 이미지 데이터 중 마스크에 해당하는 마스크 영역을 추출할 수 있다. 예를 들어, 추출부(120)는 얼굴 이미지 데이터에서 검출된 얼굴 영역 중 마스크 영역을 추출할 수 있다. When the face is wearing a mask, the extractor 120 may extract a mask region corresponding to the mask from the face image data. For example, the extractor 120 may extract a mask area from among the face areas detected from the face image data.

정렬부(150)는 얼굴 이미지 데이터를 정렬할 수 있다. 일반적으로, 얼굴 이미지 데이터의 정렬은 눈, 코, 입 및 턱선 등에 존재하는 특징점에 기초하여 이루어진다. 본 발명에서는 마스크를 착용하고 있는 얼굴 이미지 데이터에서 특징점을 추출하기 위해, 얼굴 이미지 데이터 중 마스크를 착용하고 있는 얼굴 이미지 데이터에 기초하여 학습된 특징점 추출기를 사용할 수 있다. The alignment unit 150 may align the face image data. In general, alignment of face image data is performed based on feature points existing in the eyes, nose, mouth, and jaw lines. In the present invention, in order to extract a feature point from the face image data wearing a mask, a feature point extractor learned based on the face image data wearing the mask among the face image data may be used.

정렬부(150)는 얼굴 이미지 데이터 중 마스크 영역을 제외한 영역으로부터 적어도 하나의 특징점을 추출할 수 있다. 예를 들어, 정렬부(150)는 학습된 특징점 추출기를 통해 마스크를 착용하고 있는 얼굴 이미지 데이터에서 마스크 영역을 제외한 영역으로부터 특징점을 추출할 수 있다. 여기서, 특징점은 얼굴 이미지 데이터 중 눈에 대한 특징점을 포함할 수 있다. 예를 들어, 정렬부(150)는 얼굴 이미지 데이터에서 눈 영역으로부터 특징점을 추출할 수 있다. 다른 예를 들어, 정렬부(150)는 얼굴 이미지 데이터에서 코 상단, 귀 또는 이마 영역으로부터 특징점을 추출할 수 있다. The alignment unit 150 may extract at least one feature point from an area excluding the mask area in the face image data. For example, the alignment unit 150 may extract a key point from an area excluding the mask area from the face image data wearing the mask through the learned key point extractor. Here, the feature point may include a feature point for eyes among face image data. For example, the alignment unit 150 may extract feature points from the eye region in the face image data. As another example, the alignment unit 150 may extract a feature point from the top of the nose, the ear, or the forehead region from the face image data.

정렬부(150)는 추출된 특징점에 기초하여 얼굴 이미지 데이터를 정렬할 수 있다. 예를 들어, 정렬부(150)는 눈에 대한 특징점에 기초하여 얼굴 이미지 데이터를 정규화할 수 있다. 다른 예를 들어, 정렬부(150)는 코 상단, 귀 또는 이마에 대한 특징점에 기초하여 얼굴 이미지 데이터를 정렬할 수 있다. The alignment unit 150 may align the face image data based on the extracted feature points. For example, the alignment unit 150 may normalize the face image data based on the feature points for the eyes. For another example, the alignment unit 150 may align the face image data based on the feature points for the upper nose, ears, or forehead.

한편, 정렬부(150)는 마스크로 가려진 영역에 포함된 특징점도 추출하여, 추출된 특징점에 기초하여 얼굴 이미지 데이터를 정렬할 수 있다. 예를 들어, 정렬부(150)는 마스크를 착용하고 있는 얼굴 이미지 데이터 중 마스크로 가려진 영역에 포함되어 있는 코, 입 또는 턱선 영역으로부터 특징점을 추출할 수 있다. 이 때, 정렬부(150)는 얼굴 이미지 데이터에서 마스크로 가려진 영역에서의 특징점도 포함하고 있는 이미지 데이터에 기초하여 학습된 특징점 추출기를 사용할 수 있다. 정렬부(150)는 추출된 눈, 코 입 또는 턱선 영역에 대한 특징점에 기초하여 얼굴 이미지 데이터를 정렬할 수 있다. Meanwhile, the alignment unit 150 may also extract feature points included in the area covered by the mask, and align the face image data based on the extracted feature points. For example, the alignment unit 150 may extract a feature point from a nose, mouth, or jaw line area included in a mask-covered area among face image data wearing a mask. In this case, the alignment unit 150 may use a feature point extractor learned based on the image data including feature points in the area covered by the mask in the face image data. The alignment unit 150 may align the face image data based on the extracted feature points for the eye, nose, mouth, or jaw line region.

마스킹부(130)는 마스크 영역에 대해 마스킹을 수행할 수 있다. 예를 들어, 마스킹부(130)는 얼굴 이미지 데이터 중 마스크로 가려진 영역을 '0'으로 마스킹할 수 있다. 마스킹부(130)는 정렬된 얼굴 이미지 데이터에 대해 마스킹을 수행할 수 있다. 마스킹부(130)는 정렬된 얼굴 이미지 데이터 중 마스크 영역에 대해 일반 마스킹 또는 템플릿 기반 마스킹을 수행할 수 있다. 먼저, 일반 마스킹의 경우, 마스킹부(130)는 정렬된 얼굴 이미지 데이터에서 마스크로 가려진 영역의 값을 '0'으로 채우는 일반 마스킹을 수행할 수 있다. 예를 들어, 마스킹부(130)는 얼굴 이미지 데이터에서 고정된 영역, 일 예로, 눈 아래 영역 또는 코 상단 아래 영역부터 하단부 끝까지를 '0'으로 채우는 연산을 수행할 수 있다. The masking unit 130 may perform masking on the mask area. For example, the masking unit 130 may mask an area covered by a mask among face image data as '0'. The masking unit 130 may perform masking on the aligned face image data. The masking unit 130 may perform general masking or template-based masking on the mask area among the aligned face image data. First, in the case of general masking, the masking unit 130 may perform general masking in which a value of an area covered by a mask is filled with '0' in the aligned face image data. For example, the masking unit 130 may perform an operation of filling a fixed area in the face image data, for example, an area under the eyes or an area under the nose to the end of the lower end with '0'.

이 때, 마스킹부(130)는 렌더링을 사용하지 않으므로 연산 상의 장점을 가질 수 있다. In this case, since the masking unit 130 does not use rendering, it may have a computational advantage.

또한, 마스킹부(130)는 템플릿 기반의 마스킹을 활용할 수 있다. 예를 들어, 마스킹부(130)는 정렬된 얼굴 이미지 데이터에서 마스크 영역을 추출하고, 추출된 마스크 영역을 텍스처가 없는 마스크 템플릿으로 렌더링하는 템플릿 기반 마스킹을 수행할 수 있다. 구체적으로, 마스킹부(130)는 얼굴 이미지 데이터에서 3차원 얼굴 영역 상에 마스크가 존재하는 영역을 UV 매핑을 통해 2차원으로 표현할 수 있다. 마스킹부(130)는 얼굴 이미지 데이터에서 얼굴 영역도 UV 매핑을 통해 uv-도메인 상의 2차원으로 표현할 수 있다. 마스킹부(130)는 하기 수학식 1을 이용하여 2차원으로 표현된 얼굴 영역과 마스크 영역을 병합할 수 있다. Also, the masking unit 130 may utilize template-based masking. For example, the masking unit 130 may extract a mask area from the aligned face image data and perform template-based masking of rendering the extracted mask area as a mask template without a texture. Specifically, the masking unit 130 may represent a region in which a mask exists on a three-dimensional face region in the face image data in two dimensions through UV mapping. The masking unit 130 may also represent the face region in the face image data in two dimensions on the uv-domain through UV mapping. The masking unit 130 may merge the two-dimensionally expressed face region and the mask region using Equation 1 below.

<수학식 1><Equation 1>

new_texture = face_texture*(1 - uv_mask) + mask_texture*uv_masknew_texture = face_texture*(1 - uv_mask) + mask_texture*uv_mask

이 때, 마스킹부(130)는, 수학식 1을 참조하면, 마스크 영역을 BTF(Black Texture Free) 영역으로 정의할 수 있다. 마스킹부(130)는 uv-도메인 상에 병합된 마스크 영역과 얼굴 영역을 UV 렌더링을 통해 마스크 영역이 마스킹 처리된 얼굴 이미지 데이터를 생성할 수 있다. In this case, the masking unit 130 may define the mask area as a Black Texture Free (BTF) area with reference to Equation 1 . The masking unit 130 may generate face image data in which the mask area is masked through UV rendering of the mask area and the face area merged on the uv-domain.

학습부(160)는 학습용 얼굴 이미지 데이터를 수집할 수 있다. 학습용 얼굴 이미지 데이터는 마스크를 착용하고 있는 얼굴을 포함할 수 있다. 학습부(160)는 학습용 얼굴 이미지 데이터 중 마스크 영역에 대해 마스킹을 수행할 수 있다. The learning unit 160 may collect face image data for learning. The face image data for training may include a face wearing a mask. The learning unit 160 may perform masking on a mask region among face image data for training.

학습부(160)는 마스킹된 학습용 얼굴 이미지 데이터를 입력하여 얼굴 인식 모델을 학습시킬 수 있다. 예를 들어, 학습부(160)는 End-To-End 딥러닝 학습 방법을 이용하여 얼굴 인식 모델에 대한 학습을 수행할 수 있다. 여기서, 얼굴 인식 모델은 합성곱 신경망(CNN: Convolutional Neural Network) 딥러닝일 수 있다. 학습부(160)는 마스킹된 학습용 얼굴 이미지 데이터를 얼굴 인식 모델에 입력하여 해당 얼굴 이미지 데이터의 개인 특징 정보를 나타내는 클래스 정보를 출력할 수 있다. 학습부(160)는 개인 고유 특징과 무관한 마스크 영역을 마스킹 처리한 얼굴 이미지 데이터를 이용하여 얼굴 인식 모델을 학습시킴으로써, 인식 성능을 향상시킬 수 있다.The learning unit 160 may learn the face recognition model by inputting the masked face image data for learning. For example, the learning unit 160 may perform learning on the face recognition model using an end-to-end deep learning learning method. Here, the face recognition model may be a convolutional neural network (CNN) deep learning. The learning unit 160 may input the masked face image data for learning into the face recognition model and output class information indicating personal characteristic information of the face image data. The learning unit 160 may improve recognition performance by learning a face recognition model using face image data obtained by masking a mask region irrelevant to an individual's unique characteristics.

특히, 노이즈에 해당하는 마스크 영역을 보다 효과적으로 제외시킨 템플릿 기반의 마스킹 처리가 수행된 학습용 얼굴 이미지 데이터를 활용하는 경우, 얼굴 이미지 데이터의 개인 특징 정보를 세밀하게 확보할 수 있어 인식 성능을 더욱 향상시킬 수 있다.In particular, when using face image data for training that has been subjected to template-based masking processing that more effectively excludes the mask area corresponding to noise, it is possible to obtain detailed information on personal characteristics of the face image data to further improve recognition performance. can

인식부(140)는 얼굴 인식 모델에 기초하여 마스킹된 얼굴 이미지 데이터에 대한 등록 여부를 판단할 수 있다. 예를 들어, 인식부(140)는 마스킹된 얼굴 이미지 데이터에서 마스킹되지 않은 눈, 코 상단, 귀 또는 이마 등의 영역에 기초하여 해당 이미지 데이터의 개인 특징 정보를 인식할 수 있으며, 인식된 개인 특징 정보에 기초하여 얼굴 이미지 데이터에 해당하는 사용자가 등록된 사용자인지 여부를 판단할 수 있다. The recognizer 140 may determine whether to register masked face image data based on the face recognition model. For example, the recognizer 140 may recognize personal feature information of the corresponding image data based on an unmasked area such as an eye, upper nose, ear, or forehead in the masked face image data, and the recognized personal feature Based on the information, it may be determined whether the user corresponding to the face image data is a registered user.

도 2는 본 발명의 일 실시예에 따른 얼굴 인식 모델을 학습시키는 과정을 설명하기 위한 예시적인 도면이다. 도 2의 (a)를 참조하면, 얼굴 인식 장치(100)는 얼굴 이미지 데이터가 포함된 데이터 베이스(210)로부터 마스크를 착용하지 않은 상태의 얼굴 이미지 데이터(220)를 수신할 수 있다. 얼굴 인식 장치(100)는 얼굴 이미지 데이터(220)로부터 마스크 영역의 값(예를 들어, 마스크 영역의 상단부에서부터 해당 얼굴 이미지 데이터의 하단부 끝까지)을 '0'으로 채워 일반 마스킹에 해당하도록 마스킹 처리할 수 있다. 얼굴 인식 장치(100)는 마스크 영역(231)을 마스킹 처리하여 마스킹된 얼굴 이미지 데이터(230)를 생성할 수 있다. 얼굴 인식 장치(100)는 마스킹된 얼굴 이미지 데이터(230)를 이용하여 학습용 데이터 베이스(240)를 생성할 수 있다. 얼굴 인식 장치(100)는 학습용 데이터 베이스(240)에서 마스킹된 학습용 얼굴 이미지 데이터를 얼굴 인식 모델(250)에 입력하여 얼굴 인식 모델(250)을 학습시킬 수 있다. 2 is an exemplary diagram for explaining a process of training a face recognition model according to an embodiment of the present invention. Referring to FIG. 2A , the face recognition apparatus 100 may receive face image data 220 in a state in which a mask is not worn from a database 210 including face image data. The face recognition apparatus 100 fills in the value of the mask area from the face image data 220 (for example, from the upper end of the mask area to the end of the lower end of the face image data) with '0' to correspond to normal masking. can The face recognition apparatus 100 may generate masked face image data 230 by performing a masking process on the mask area 231 . The face recognition apparatus 100 may generate a learning database 240 using the masked face image data 230 . The face recognition apparatus 100 may train the face recognition model 250 by inputting the face image data for learning masked from the learning database 240 into the face recognition model 250 .

도 2의 (b)를 참조하면, 얼굴 인식 장치(100)는 얼굴 이미지 데이터가 포함된 데이터 베이스(210)로부터 마스크를 착용하지 않은 상태의 얼굴 이미지 데이터(220)를 수신할 수 있다. 얼굴 인식 장치(100)는 얼굴 이미지 데이터(220)로부터 도출된 마스크 영역(221)을 텍스처가 없는 마스크 템플릿(231a)으로 렌더링하여 템플릿 기반 마스킹에 해당하도록 마스킹 처리할 수 있다. 이를 통해, 얼굴 인식 장치(100)는 마스크 영역(231)이 마스킹 처리된 마스킹된 얼굴 이미지 데이터(230)를 생성할 수 있다. 얼굴 인식 장치(100)는 마스킹된 얼굴 이미지 데이터(230)를 이용하여 학습용 데이터 베이스(240)를 생성할 수 있다. 얼굴 인식 장치(100)는 학습용 데이터 베이스(240)에서 마스킹된 학습용 얼굴 이미지 데이터를 얼굴 인식 모델(250)에 입력하여 얼굴 인식 모델(250)을 학습시킬 수 있다.Referring to FIG. 2B , the face recognition apparatus 100 may receive face image data 220 in a state in which a mask is not worn from the database 210 including face image data. The face recognition apparatus 100 may render the mask area 221 derived from the face image data 220 as a mask template 231a without a texture and perform masking to correspond to template-based masking. Through this, the face recognition apparatus 100 may generate the masked face image data 230 in which the mask area 231 is masked. The face recognition apparatus 100 may generate the learning database 240 by using the masked face image data 230 . The face recognition apparatus 100 may train the face recognition model 250 by inputting the face image data for learning masked from the learning database 240 into the face recognition model 250 .

도 3은 본 발명의 일 실시예에 따른 얼굴 이미지 데이터에 대한 등록 여부를 판단하는 과정을 설명하기 위한 예시적인 도면이다. 도 3의 (a)를 참조하면, 얼굴 인식 장치(100)는 마스크를 착용하고 있는 얼굴 이미지 데이터(310)에서 마스크로 가려지지 않은 영역, 일 예로, 눈 영역(311)에 대한 특징점을 추출할 수 있다. 얼굴 인식 장치(100)는 추출된 특징점에 기초하여 얼굴 이미지 데이터(310)를 정렬할 수 있다. 얼굴 인식 장치(100)는 정렬된 얼굴 이미지 데이터(320)에서 마스크 영역(321)의 값을 '0'으로 채워 일반 마스킹에 해당하도록 마스킹 처리할 수 있다. 얼굴 인식 장치(100)는 마스킹된 얼굴 이미지 데이터(330)를 기학습된 얼굴 인식 모델(340)에 입력하여 해당 얼굴 이미지 데이터에 대한 특징 정보(350)를 검출할 수 있다. 이후, 얼굴 인식 장치(100)는 검출된 특징 정보(350)에 기초하여 얼굴 이미지 데이터(310)에 해당하는 사용자가 등록된 사용자인지 여부를 판단할 수 있다. 3 is an exemplary view for explaining a process of determining whether to register face image data according to an embodiment of the present invention. Referring to FIG. 3A , the face recognition apparatus 100 extracts a feature point for an area not covered by a mask, for example, an eye area 311 from face image data 310 wearing a mask. can The face recognition apparatus 100 may align the face image data 310 based on the extracted feature points. The face recognition apparatus 100 may perform masking to correspond to general masking by filling the value of the mask area 321 in the aligned face image data 320 with '0'. The face recognition apparatus 100 may input the masked face image data 330 into the pre-learned face recognition model 340 to detect feature information 350 of the corresponding face image data. Thereafter, the face recognition apparatus 100 may determine whether the user corresponding to the face image data 310 is a registered user based on the detected characteristic information 350 .

도 3의 (b)를 참조하면, 얼굴 인식 장치(100)는 마스크를 착용하고 있는 얼굴 이미지 데이터(310)에서 마스크로 가려지지 않은 영역, 일 예로, 눈 영역(311)에 대한 특징점을 추출할 수 있다. 얼굴 인식 장치(100)는 추출된 특징점에 기초하여 얼굴 이미지 데이터(310)를 정렬할 수 있다. 얼굴 인식 장치(100)는 정렬된 얼굴 이미지 데이터(320)에서 마스크 영역(321)을 텍스처가 없는 마스크 템플릿(331a)으로 렌더링하여 템플릿 기반 마스킹에 해당하도록 마스킹 처리할 수 있다. 얼굴 인식 장치(100)는 마스크 영역(331)이 마스킹된 얼굴 이미지 데이터(330)를 기학습된 얼굴 인식 모델(340)에 입력하여 해당 얼굴 이미지 데이터에 대한 특징 정보(350)를 검출할 수 있다. 이후, 얼굴 인식 장치(100)는 검출된 특징 정보(350)에 기초하여 얼굴 이미지 데이터(310)에 해당하는 사용자가 등록된 사용자인지 여부를 판단할 수 있다.Referring to FIG. 3B , the face recognition apparatus 100 extracts a feature point for an area not covered by a mask, for example, an eye area 311 from the face image data 310 wearing a mask. can The face recognition apparatus 100 may align the face image data 310 based on the extracted feature points. The face recognition apparatus 100 may render the mask area 321 in the aligned face image data 320 as a mask template 331a without a texture and perform masking to correspond to template-based masking. The face recognition apparatus 100 may input the face image data 330 in which the mask region 331 is masked into the pre-learned face recognition model 340 to detect the feature information 350 for the corresponding face image data. . Thereafter, the face recognition apparatus 100 may determine whether the user corresponding to the face image data 310 is a registered user based on the detected characteristic information 350 .

도 4는 본 발명의 일 실시예에 따른 얼굴 인식 장치의 순서도이다. 도 4에 도시된 얼굴 인식 방법은 도 1 내지 도 3에 도시된 실시예에 따라 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 3에 도시된 실시예에 따른 얼굴 인식 장치에서 얼굴을 인식하는 방법에도 적용된다. 4 is a flowchart of a face recognition apparatus according to an embodiment of the present invention. The face recognition method illustrated in FIG. 4 includes steps processed in time series according to the embodiments illustrated in FIGS. 1 to 3 . Therefore, even if omitted below, it is also applied to the method of recognizing a face in the face recognition apparatus according to the embodiment shown in FIGS. 1 to 3 .

단계 S410에서 얼굴 인식 장치는 얼굴 이미지 데이터에 포함된 얼굴이 마스크를 착용하고 있는지 여부를 판단할 수 있다.In step S410, the face recognition apparatus may determine whether the face included in the face image data is wearing a mask.

단계 S420에서 얼굴 인식 장치는 얼굴이 마스크를 착용하고 있는 경우, 얼굴 이미지 데이터 중 마스크에 해당하는 마스크 영역을 추출할 수 있다.In step S420 , when the face is wearing a mask, the face recognition apparatus may extract a mask area corresponding to the mask from the face image data.

단계 S430에서 얼굴 인식 장치는 마스크 영역에 대해 마스킹을 수행할 수 있다.In operation S430, the face recognition apparatus may mask the mask area.

단계 S440에서 얼굴 인식 장치는 얼굴 인식 모델에 기초하여 마스킹된 얼굴 이미지 데이터에 대한 등록 여부를 판단할 수 있다.In operation S440, the face recognition apparatus may determine whether to register the masked face image data based on the face recognition model.

상술한 설명에서, 단계 S410 내지 S440는 본 발명의 구현 예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다. In the above description, steps S410 to S440 may be further divided into additional steps or combined into fewer steps according to an embodiment of the present invention. In addition, some steps may be omitted as needed, and the order between the steps may be switched.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. The description of the present invention described above is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a dispersed form, and likewise components described as distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be interpreted as being included in the scope of the present invention. do.

100: 얼굴 인식 장치
110: 판단부
120: 추출부
130: 마스킹부
140: 인식부
150: 정렬부
160: 학습부100: face recognition device
110: judgment unit
120: extraction unit
130: masking unit
140: recognition unit
150: alignment unit
160: study unit

Claims (5)

얼굴을 인식하는 장치에 있어서,
얼굴 이미지 데이터에 포함된 얼굴이 마스크를 착용하고 있는지 여부를 판단하는 판단부;
상기 얼굴이 마스크를 착용하고 있는 경우, 상기 얼굴 이미지 데이터 중 상기 마스크에 해당하는 마스크 영역을 추출하는 추출부;
상기 마스크 영역에 대해 마스킹을 수행하는 마스킹부; 및
얼굴 인식 모델에 기초하여 상기 마스킹된 얼굴 이미지 데이터에 대한 등록 여부를 판단하는 인식부
를 포함하는 것인, 얼굴 인식 장치.
In a device for recognizing a face,
a determination unit that determines whether a face included in the face image data is wearing a mask;
an extractor configured to extract a mask region corresponding to the mask from the face image data when the face is wearing a mask;
a masking unit performing masking on the mask area; and
Recognition unit that determines whether to register the masked face image data based on the face recognition model
A face recognition device comprising a.
 제 1 항에 있어서,
상기 얼굴 이미지 데이터 중 상기 마스크 영역을 제외한 영역으로부터 적어도 하나의 특징점을 추출하고, 상기 추출된 특징점에 기초하여 상기 얼굴 이미지 데이터를 정렬하는 정렬부
를 더 포함하고,
상기 마스킹부는 상기 정렬된 얼굴 이미지 데이터에 대해 마스킹을 수행하는 것인, 얼굴 인식 장치.
The method of claim 1,
An alignment unit extracting at least one feature point from an area excluding the mask area from among the face image data, and aligning the face image data based on the extracted feature point
further comprising,
wherein the masking unit performs masking on the aligned face image data.
 제 2 항에 있어서,
상기 특징점은 상기 얼굴 이미지 데이터 중 눈에 대한 특징점을 포함하는 것인, 얼굴 인식 장치.
3. The method of claim 2,
wherein the feature point includes a feature point for eyes among the face image data.
 제 2 항에 있어서,
상기 마스킹부는 상기 정렬된 얼굴 이미지 데이터 중 상기 마스크 영역에 대해 일반 마스킹 또는 템플릿 기반 마스킹을 수행하는 것인, 얼굴 인식 장치.
3. The method of claim 2,
The masking unit performs general masking or template-based masking on the mask area among the aligned face image data.
 제 1 항에 있어서,
학습용 얼굴 이미지 데이터를 수집하고, 상기 학습용 얼굴 이미지 데이터 중 상기 마스크 영역에 대해 마스킹을 수행하고, 상기 마스킹된 학습용 얼굴 이미지 데이터를 입력하여 상기 얼굴 인식 모델을 학습시키는 학습부
를 더 포함하는 것인, 얼굴 인식 장치.The method of claim 1,
A learning unit that collects face image data for training, performs masking on the mask region among the face image data for training, and learns the face recognition model by inputting the masked face image data for training
Which will further include a face recognition device.
KR1020210091863A 2020-07-13 2021-07-13 Face recognition device KR20220008242A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200086425 2020-07-13
KR20200086425 2020-07-13

Publications (1)

Publication Number Publication Date
KR20220008242A true KR20220008242A (en) 2022-01-20

Family

ID=80053092

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210091863A KR20220008242A (en) 2020-07-13 2021-07-13 Face recognition device

Country Status (1)

Country Link
KR (1) KR20220008242A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116092166A (en) * 2023-03-06 2023-05-09 深圳市慧为智能科技股份有限公司 Mask face recognition method and device, computer equipment and storage medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150117975A (en) 2014-04-11 2015-10-21 (주) 엠티콤 Appratus for identifying face and operating method the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150117975A (en) 2014-04-11 2015-10-21 (주) 엠티콤 Appratus for identifying face and operating method the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116092166A (en) * 2023-03-06 2023-05-09 深圳市慧为智能科技股份有限公司 Mask face recognition method and device, computer equipment and storage medium
CN116092166B (en) * 2023-03-06 2023-06-20 深圳市慧为智能科技股份有限公司 Mask face recognition method and device, computer equipment and storage medium

Similar Documents

Publication Publication Date Title
CN108921100B (en) Face recognition method and system based on visible light image and infrared image fusion
CN111523473B (en) Mask wearing recognition method, device, equipment and readable storage medium
CN109446981B (en) Face living body detection and identity authentication method and device
CN108830062B (en) Face recognition method, mobile terminal and computer readable storage medium
CN111460962A (en) Mask face recognition method and system
CN104933344A (en) Mobile terminal user identity authentication device and method based on multiple biological feature modals
JP2013097760A (en) Authentication system, terminal device, authentication program, and authentication method
US20210397822A1 (en) Living body detection method, apparatus, electronic device, storage medium and program product
KR101412727B1 (en) Apparatus and methdo for identifying face
US10127428B2 (en) Fingerprint identification method and fingerprint identification device
CN204791017U (en) Mobile terminal users authentication device based on many biological characteristics mode
CN108108711B (en) Face control method, electronic device and storage medium
KR20140036803A (en) System for generating signcription of wireless mobie communication
JP3490910B2 (en) Face area detection device
CN108513110A (en) Recognition of face monitoring camera
CN105022999A (en) Man code company real-time acquisition system
CN111191521B (en) Face living body detection method and device, computer equipment and storage medium
KR20220008242A (en) Face recognition device
KR101266603B1 (en) A face recognition system for user authentication of an unmanned receipt system
KR102215522B1 (en) System and method for authenticating user
CN108664908A (en) Face identification method, equipment and computer readable storage medium
KR101070442B1 (en) Face recognition system and method using multi-level face recognition
WO2021258284A1 (en) Edge processing data de-identification
CN108960146A (en) The image pre-processing method of recognition of face monitor video
KR102596462B1 (en) Access control authentication system and method capable of measuring heart rate using multi-modal sensor