KR20220087908A - 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법 - Google Patents

마스크 착용 얼굴 인식 기능을 갖는 출입관리방법 Download PDF

Info

Publication number
KR20220087908A
KR20220087908A KR1020200178396A KR20200178396A KR20220087908A KR 20220087908 A KR20220087908 A KR 20220087908A KR 1020200178396 A KR1020200178396 A KR 1020200178396A KR 20200178396 A KR20200178396 A KR 20200178396A KR 20220087908 A KR20220087908 A KR 20220087908A
Authority
KR
South Korea
Prior art keywords
mask
image
person
wearing
access control
Prior art date
Application number
KR1020200178396A
Other languages
English (en)
Inventor
김학철
정성훈
한혁
진성일
Original Assignee
주식회사 리얼타임테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 리얼타임테크 filed Critical 주식회사 리얼타임테크
Priority to KR1020200178396A priority Critical patent/KR20220087908A/ko
Publication of KR20220087908A publication Critical patent/KR20220087908A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00571—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 얼굴 인식을 통해 출입관리를 수행하는 출입관리시스템에 관한 것으로, 기 등록된 출입자가 마스크를 착용한 경우에도 용이하게 등록 출입자로 인식할 수 있도록 해 주는 기술에 관한 것이다.
본 발명에 따른 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법은, 출입관리장치에서 다수의 영상촬영장치로부터 수신된 촬영영상에 포함된 인물의 얼굴이미지를 근거로 기 등록된 출입자를 판단하여 출입자에 대한 출입관리를 수행하는 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법에 있어서, 출입관리장치에서 각 영상촬영장치로부터 수신된 촬영영상에 존재하는 인물의 궤적을 추적하는 방식으로 동일 인물에 대한 각 프레임 이미지별 원본 얼굴 이미지를 추출하는 제1 단계와, 제1 단계에서 추출된 얼굴 이미지가 마스크 착용이미지인지를 판단하는 제2 단계, 제2 단계에서 마스크 착용이미지로 판단되면, 해당 마스크 착용이미지의 마스크를 기 등록된 형태로 변경하여 해당 인물에 대한 다수의 마스크 변경이미지를 생성하는 제3 단계, 얼굴 이미지에 대응되는 출입자를 분류하는 학습 모델에 마스크 착용 이미지와 마스크 변경 이미지를 적용하여 등록 출입자인지의 여부를 판단하는 제4 단계, 제4 단계에서 등록 출입자로 판단되면, 해당 궤적상의 마스크 착용 이미지 및 다수의 마스크 변경 이미지를 해당 인물의 학습용 데이터로 저장함과 더불어, 이 학습용 데이터를 이용하여 학습 모델을 갱신하는 제5 단계를 포함하여 구성되는 것을 특징으로 한다.

Description

마스크 착용 얼굴 인식 기능을 갖는 출입관리방법{Method for management entrance and exit having a face recognition while wearing mask}
본 발명은 얼굴 인식을 통해 출입관리를 수행하는 출입관리시스템에 관한 것으로, 기 등록된 출입자가 마스크를 착용한 경우에도 용이하게 등록 출입자로 인식할 수 있도록 해 주는 기술에 관한 것이다.
최근 들어, 얼굴 인식 기술은 출입문 통제 장치를 비롯한 다양한 분야에서 활용되고 있는데, 지문이나 홍채 인식 등과 같은 다른 생체 인식 기술에 비해 능동적인 장점이 있어 더욱 증가하는 추세에 있다.
지문이나 홍채 인식의 경우 사용자가 인증을 받기 위해서는 지문 인식 센서에 손가락을 접촉시키거나 홍채 인식 센서에 눈을 근접시키는 행동을 취해야 하는 번거로움이 있었다.
하지만, 얼굴 인식 기술은 사용자의 얼굴이 카메라 영상에 잡히면, 얼굴 인식을 진행할 수 있기 때문에 인증을 위해 사용자가 부자연스러운 동작을 취할 필요가 없을 뿐 아니라 사용자가 인지하지 못하는 동안에도 사용자의 얼굴을 인식하여 인증할 수 있는 장점이 있다.
특히, 출입이 허용된 사용자들의 얼굴인식을 이용하여 출입 관리를 수행하는 출입관리시스템이 도입되고 있다.
얼굴인식을 이용한 출입자 인식방법은 출입관리시스템의 카메라에서 촬영된 촬영영상에 포함된 인물의 얼굴 이미지를 추출하여 인물별로 분류한 후 이를 학습용 데이터로서 얼굴인식 알고리즘에 적용하여 얼굴 분류를 위한 학습 모델을 생성하고, 이후부터는 촬영영상에서 추출된 출입자의 얼굴 이미지를 기 생성된 학습 모델에 입력함으로써 출입자를 분류하는 방식으로서, 정확도가 높고 인식 속도가 빠르다는 장점이 있다.
한편, 최근에는 미세먼지 또는 코로나19 등의 발생으로 사용자 건강상의 이유로 마스크를 착용하는 빈도가 높아지고 있다.
이에, 등록 출입자가 마스크를 착용한 상태의 얼굴이미지를 미리 등록하는 방법이 있을 수 있으나, 이는 등록 출입자가 추가적으로 마스크 착용 영상을 촬영하여 등록하는 번거로움이 있다.
또한, 마스크를 착용한 인물 분류의 경우 사용자 착용한 마스크의 모양이나 색상에 따라 얼굴 인식 성능에 차이가 있는 바, 특정 마스크 착용 이미지를 등록한 경우, 인물 분류의 성능이 저하되는 문제가 발생될 수 있다.
1. 국내등록특허 제10-1363017호 (발명의 명칭 : 얼굴영상 촬영 및 분류 시스템과 방법) 2. 국내등록특허 제10-2039277호 (발명의 명칭 : 보행자 얼굴 인식 시스템 및 그 방법)
이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 얼굴 이미지를 궤적에 따른 추적 리스트로 관리하고, 마스크를 착용한 얼굴 이미지는 영상은 눈과 눈썹 및 마스크 하단 부분을 포함한 얼굴 형태의 특징점을 학습모델에 적용하여 등록 출입자를 분류하되, 해당 인물의 궤적상의 마스크 착용 이미지 및 그 마스크 변경 이미지를 해당 등록 출입자의 학습용 데이터로 등록하여 학습모델을 갱신함으로써, 등록 출입자가 어떠한 종류의 마스크를 착용한 경우에도 용이하게 해당 등록 출입자를 인식하여 출입 관리를 수행할 수 있도록 해 주는 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법을 제공함에 그 기술적 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 출입관리장치에서 다수의 영상촬영장치로부터 수신된 촬영영상에 포함된 인물의 얼굴이미지를 근거로 기 등록된 출입자를 판단하여 출입자에 대한 출입관리를 수행하는 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법에 있어서, 출입관리장치에서 각 영상촬영장치로부터 수신된 촬영영상에 존재하는 인물의 궤적을 추적하는 방식으로 동일 인물에 대한 각 프레임 이미지별 원본 얼굴 이미지를 추출하는 제1 단계와, 제1 단계에서 추출된 얼굴 이미지가 마스크 착용이미지인지를 판단하는 제2 단계, 제2 단계에서 마스크 착용이미지로 판단되면, 해당 마스크 착용이미지의 마스크를 기 등록된 형태로 변경하여 해당 인물에 대한 다수의 마스크 변경이미지를 생성하는 제3 단계, 얼굴 이미지에 대응되는 출입자를 분류하는 학습 모델에 마스크 착용 이미지와 마스크 변경 이미지를 적용하여 등록 출입자인지의 여부를 판단하는 제4 단계, 제4 단계에서 등록 출입자로 판단되면, 해당 궤적상의 마스크 착용 이미지 및 다수의 마스크 변경 이미지를 해당 인물의 학습용 데이터로 저장함과 더불어, 이 학습용 데이터를 이용하여 학습 모델을 갱신하는 제5 단계를 포함하여 구성되는 것을 특징으로 하는 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법이 제공된다.
또한, 상기 제3 단계는 마스크의 형상과 색상 중 적어도 하나 이상이 변경된 마스크 변경이미지를 생성하는 것을 특징으로 하는 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법이 제공된다.
또한, 상기 제4 단계에서 마스크 착용 이미지와 마스크 변경 이미지가 등록 출입자가 아니라고 판단되면 해당 인물의 궤적의 촬영 영상에서 마스크 미착용 얼굴 이미지를 획득하여 이를 학습 모델에 적용함으로써, 등록 출입자 여부를 판단하는 것을 특징으로 하는 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법이 제공된다.
또한, 상기 제4 단계에서 출입관리장치는 마스크 착용 이미지와 마스크 변경 이미지에 대해 마스크에 의해 가려지는 얼굴 특징점을 제외한 눈과 눈썹 및, 마스크 하단 부분을 포함한 얼굴 형태를 얼굴 특징점으로 추출하고, 이를 학습모델에 적용하여 인물 분류를 수행하는 것을 특징으로 하는 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법이 제공된다.
얼굴 특징점을 제외한 눈과 눈썹 및 상측 얼굴 라인을 얼굴 특징점으로 추출하고, 이를 학습모델에 적용하여 인물 분류를 수행하는 것을 특징으로 하는 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법이 제공된다.
또한, 상기 제4 단계에서 출입관리장치는 마스크 착용 이미지와 마스크 변경 이미지에 대해 마스크 줄 시작부분에서 귀 부분까지의 마스크 줄 길이를 얼굴 특징점으로 추가 추출하여 학습모델에 적용함으로써, 인물 분류를 수행하는 것을 특징으로 하는 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법이 제공된다.
본 발명에 의하면, 얼굴 이미지를 궤적에 따른 추적 리스트로 관리하고, 마스크를 착용한 얼굴 이미지를 학습모델에 적용하여 등록 출입자를 분류함으로써, 등록 출입자가 마스크 착용 얼굴이미지를 미리 등록하지 않고서도 해당 등록 출입자를 용이하게 인식하여 출입 관리를 수행할 수 있다.
또한, 마스크를 착용한 얼굴 이미지가 등록 출입자로 분류된 경우, 인물의 궤적상의 마스크 착용 이미지 및 그 마스크 변경 이미지를 해당 등록 출입자의 학습용 데이터로 등록하여 학습모델을 갱신함으로써, 등록 출입자의 마스크 착용 이미지의 인물 분류 성능을 보다 향상시킬 수 있다.
또한, 마스크 착용 이미지 및 마스크 변경 이미지에 대해서는 마스크 줄 시작부분에서 귀 부분까지의 마스크 줄 길이를 얼굴 특징점으로 추가 추출하여 학습모델에 적용함으로써, 마스크에 의해 얼굴 특징점이 일부 은닉되더라도 마스크 줄 특징점을 이용하여 인물 분류 성능을 향상시킬 수 있다.
도1은 본 발명이 적용되는 마스크 착용 얼굴 인식 기능을 갖는 출입관리시스템의 개략적인 구성을 도시한 도면.
도2는 도1에 도시된 출입관리장치(300)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도.
도3은 도2에 도시된 데이터 저장소(340)에 저장되는 데이터를 도시한 도면.
도4는 본 발명에 따른 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법을 설명하기 위한 흐름도.
도5는 도4에서 생성되는 마스크 변경 이미지를 예시한 도면.
도6과 도7은 도4에서 마스크 이미지에 대한 인물분류 방법을 설명하기 위한 도면.
본 발명에 기재된 실시예 및 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 표현하는 것은 아니므로, 본 발명의 권리범위는 본문에 설명된 실시예 및 도면에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도1은 본 발명이 적용되는 마스크 착용 얼굴 인식 기능을 갖는 출입관리시스템의 개략적인 구성을 도시한 도면이다.
도1을 참조하면, 본 발명이 적용되는 마스크 착용 얼굴 인식 기능을 갖는 출입관리시스템은 출입감지장치(100)와 영상촬영장치(200) 및, 출입관리장치(300)를 포함한다. 여기서, 상기 출입감지장치(100)와 영상촬영장치(200)는 출입 관리 대상 장소에 설치된다.
출입감지장치(100)는 출입 관리 대상 장소 즉, 출입문측에 설치되어 출입자의 출입여부를 감지하고, 출입시 출입감지정보를 출입관리장치(300)로 전송한다.
영상촬영장치(200)는 출입 관리 대상 장소 즉, 출입문 주변에 설치되어 출입문 주변의 영상을 촬영하고, 그 촬영영상을 출입관리장치(300)로 전송한다. 이때, 영상촬영장치(200)는 출입문과 일정 거리 이격된 위치에서 출입문까지의 영역이 촬영되도록 촬영범위가 설정되면 다수의 영상촬영장치(200)가 서로 다른 영역을 촬영하도록 배치된다.
출입관리장치(300)는 각 영상촬영장치(200)로부터 제공되는 촬영영상을 수신하고, 수신된 촬영영상에 포함된 인물의 얼굴이미지를 인물 궤적을 추적하는 방식으로 관리하며, 얼굴 이미지를 근거로 기 등록된 출입자를 판단하여 출입자에 대한 출입관리를 수행한다.
특히, 본 발명에서 출입관리장치(300)는 마스크를 착용한 출입자의 얼굴 이미지를 이용하여 등록 출입자인지를 판단하여 해당 출입자에 대한 출입관리를 수행한다. 이때, 출입관리장치(300)는 촬영영상에서 추출한 마스크 착용 이미지에서 마스크의 모양 또는 색상 중 적어도 하나 이상을 변경하여 다수의 마스크 변경 이미지를 생성하고, 등록 출입자로 판단되면 궤적 추적 리스트의 마스크 이미지를 기 등록된 해당 출입자의 학습용 데이터로 등록하여 학습모델을 갱신한다.
도2는 도1에 도시된 출입관리장치(300)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도이다.
도2를 참조하면, 출입관리장치(300)는 촬영영상 수집부(310)와, 인물 분류부(320), 출입자 관리부(330) 및, 데이터 저장소(340)를 포함한다.
촬영영상 수집부(310)는 각 영상촬영장치(200)로부터 수신된 촬영영상과, 촬영영상에서 추출한 얼굴이미지를 데이터 저장소(340)에 저장한다.
인물 분류부(320)는 촬영영상에서 획득한 얼굴이미지를 이용하여 등록 출입 자 여부를 판단하고, 궤적을 따라 추적된 영상의 얼굴 이미지를 동일 인물의 얼굴 이미지로 결정하여 이를 통해 학습모델을 갱신한다.
또한, 인물 분류부(320)는 마스크 착용 이미지에 대해서는 다양한 마스크 변경 이미지를 추가로 생성하여 등록 출입자의 학습용 얼굴 이미지로 결정하고, 이를 통해 학습모델을 갱신한다.
이러한 인물 분류부(320)는 얼굴이미지 전처리모듈(321)과 객체 추적모듈(322) 및 인물 분류모듈(323)을 포함한다.
얼굴이미지 전처리모듈(321)은 촬영영상에서 추출한 얼굴 이미지에 다양한 특성의 마스크를 부가하여 마스크 변형이미지를 생성하고, 이를 데이터 저장부(340)에 저장한다.
객체 추적모듈(322)은 촬영영상에서 추출된 얼굴 이미지의 인물에 대해 인물 코드를 부여하고, 인물 코드가 부여된 사람에 대해 해당 인물 인식 이후의 연속된 프레임 이미지에서 동일 인물을 추적하여 이동 시간별 얼굴 이미지들로 이루어지는 객체 추적 리스트를 생성한다.
또한, 객체 추적모듈(322)은 미등록 인물로 설정된 객체 추적 리스트에 대해서는 해당 인물의 궤적상의 촬영영상에서 마스크를 탈의한 마스크 미착용 이미지가 획득되는 때까지 추적동작을 수행하고, 마스크 미착용 이미지가 획득되면 이를 데이터 저장부(340)에 저장한다.
이때, 객체 추적모듈(322)는 하나의 촬영영상에서 다수의 마스크 착용 얼굴이미지의 인물이 인지되는 경우, 인지된 각 인물에 대해 서로 다른 인물코드를 부여하고, 각 인물코드별로 해당 인물에 대한 얼굴 전체 이미지가 획득되는 때까지 객체 추적처리를 수행한다.
인물 분류모듈(323)은 데이터 저장소(340)에 기 등록된 학습모델을 이용하여 촬영영상의 얼굴 이미지 또는 객체 추적모듈(322)에 의해 획득한 얼굴 전체 이미지에 해당하는 인물을 분류한다.
또한, 인물 분류모듈(323)은 데이터 저장소(340)에 현재까지 누적 저장된 학습용 데이터와 원본 얼굴이미지 및, 기 등록된 등록 얼굴이미지를 얼굴인식 알고리즘에 적용하여 얼굴 이미지에 대응되는 출입자를 분류하는 학습모델을 생성하고 이를 근거로 데이터 저장소(340)에 저장된 이전 학습모델을 갱신한다. 여기서, 얼굴인식 알고리즘은 다수의 학습 데이터를 이용하여 인물을 분류하는 각종 형태의 공지의 알고리즘이 적용될 수 있다.
즉, 인물 분류모듈(323)는 시스템 초기 상태에서는 기 등록된 출입자 등록 얼굴이미지(예컨대, 정면 얼굴 이미지를 포함한 일정 개수의 얼굴 이미지)를 얼굴인식 알고리즘에 적용하여 학습모델을 생성한다. 그리고, 학습용 데이터가 누적 저장된 이후부터는 기 설정된 갱신 조건을 만족하는 때에 현재까지 누적 저장된 학습용 데이터를 포함하는 출입자 얼굴 이미지를 이용하여 학습모델을 새롭게 갱신한다.
따라서, 본 발명에서는 시간이 경과할수록 기 등록된 출입자에 대해 누적되는 학습용 데이터를 포함하여 얼굴인식 알고리즘에 적용되는 학습 데이터가 증가됨으로써, 출입자 분류를 위한 학습모델의 신뢰도가 보다 향상된다. 특히, 다양한 특성의 마스크 착용 이미지가 학습용 데이터로 포함됨으로써, 마스크 착용시에도 원활하게 등록 출입자를 분류할 수 있다.
출입자 관리부(330)는 출입자의 개인정보와 출입자의 정면 얼굴이미지를 포함하는 등록 얼굴이미지를 포함하는 출입자 등록정보를 데이터 저장소(340)에 저장함으로써, 일련의 출입자 등록처리를 수행한다.
또한, 출입자 관리부(330)는 등록 출입자에 대한 출입날짜 및 출입시간을 포함하는 출입관리정보를 생성하여 해당 출입자에 대응되도록 데이터 저장소(340)에 저장한다.
데이터 저장소(340)는 도3에 도시된 바와 같이 영상 수집장치(200)의 식별코드별 설치 위치와 촬영 반경을 포함하는 영상수집장치 메타정보 저장부(341)와, 영상 수집장치(200)가 설치된 출입관리 서비스영역에 해당하는 지도데이터가 저장되는 지도데이터 저장부(342), 촬영영상을 저장하는 촬영영상 저장부(343), 출입자별 등록얼굴 이미지와 촬영영상에서 추출된 얼굴 이미지가 저장되는 얼굴이미지 저장부(344), 출입자별 출입관리정보가 저장되는 출입정보 저장부(345), 출입자별 이름 및 연락처를 포함하는 출입자 개인정보가 저장되는 개인정보 저장부(346), 인물 분류부(320)에 의해 결정된 얼굴 이미지가 학습용 데이터로 저장되는 학습용 데이터 저장부(347) 및, 얼굴인식 알고리즘에 의해 생성된 학습모델 정보가 저장되는 학습모델 저장부(348)를 포함한다.
이어 도4에 도시된 흐름도를 참조하여 본 발명에 따른 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법을 설명한다.
도4를 참조하면, 출입관리장치(300)는 출입자 등록정보를 수집하여 데이터 저장소(340)에 저장 등록한다(ST110). 이때, 각 출입자에 대해서는 출입자 식별코드가 할당되고, 출입자 등록정보는 출입자 개인정보와 등록 얼굴이미지를 포함하며, 등록얼굴 이미지는 출입자의 정면 이미지를 포함한다.
또한, 출입관리장치(300)는 데이터 저장소(340)에 기 등록된 출입자의 등록얼굴이미지를 이용하여 학습모델을 생성하고, 이를 데이터 저장소(340)에 저장한다(ST120). 즉, 출입자 등록얼굴이미지를 얼굴인식 알고리즘의 학습 데이터로 이용하여 출입자 등록정보에 기반한 초기 학습모델정보를 생성한다.
상기한 상태에서, 출입관리장치(300)는 영상촬영장치(200)로부터 촬영영상을 연속적으로 수집한다. 그리고, 수집된 촬영영상에서 동일 인물에 대한 얼굴이미지를 추출하여 저장함과 더불어 추출된 얼굴 이미지를 이용하여 해당 인물에 대한 객체추적 리스트를 생성한다(ST130). 이때, 출입관리장치(300)는 촬영영상에서 인물을 검색하고, 검색된 인물에 인물코드를 부여하여 연속된 다수의 프레임 이미지들로 이루어지는 촬영영상을 저장하며, 해당 인물이 촬영영상에서 사라지거나 출입감지장치(100)로부터 출입감지정보가 수신되는 때까지 해당 인물이 포함되는 일정 시간 동안의 촬영영상을 저장한다. 그리고, 출입관리장치(300)는 인물코드별 일정 시간동안 수집된 연속되는 촬영영상에서 각 프레임 이미지별 해당 인물 이미지를 각각 추출하고, 추출된 각 인물 이미지에서 해당 인물에 대한 얼굴 이미지를 추출하여 객체 추적 리스트로 저장한다. 이때, 얼굴 이미지는 영상 프레임 수신과 더불어 실시간으로 추출하여 저장된다.
이어 출입관리장치(300)는 상기 ST130 단계에서 추출된 얼굴 이미지가 마스크가 착용 이미지인지를 실시간으로 판단한다(ST140).
상기 ST140 단계에서 현재 추출된 얼굴 이미지가 마스크 미착용 이미지로 판단되면, 출입관리장치(300)는 해당 얼굴 이미지를 학습 모델에 적용하고 기 등록된 특정 인물로 분류되면, 해당 인물의 객체 추적 리스트에 저장된 얼굴 이미지를 해당 인물 즉, 등록 출입자의 학습용 데이터로 데이터 저장소(340)에 등록한다(ST150). 이때, 마스크 착용 이미지에 대한 학습모델을 마스크 미착용 이미지에 대한 학습모델과 별도로 생성되어 이용될 수 있다.
또한, 출입관리장치(300)는 상기 ST140 단계에서 현재 추출된 얼굴 이미지가 마스크 착용 이미지라고 판단되면, 해당 마스크 착용 이미지에서 마스크 특성만을 변경한 다양한 마스크 변경 이미지를 생성한다(ST160). 이때, 마스크의 모양과 색상 중 적어도 하나 이상이 변경된 형태의 다양한 마스크 변형 이미지를 생성할 수 있으며, 이 마스크 변형 이미지는 해당 인물의 객체 추적 리스트에 저장된다. 도5에는 동일 인물에 대해 다양한 형태의 마스크가 착용된 마스크 변형 이미지가 예시되어 있다.
이어, 출입관리장치(300)는 촬영영상에서 추출한 마스크 착용 이미지와 마스크 변경 이미지 즉, 마스크 이미지를 학습모델에 적용하여 얼굴 분류기능을 수행한다(ST170).
상기 ST170 단계에서 출입관리장치(300)는 도6 (A)에 도시된 바와 같이 얼굴 이미지에서 마스크(2)에 의해 가려지는 얼굴 특징점을 제외한 눈과 눈썹 및, 마스크 하단 부분을 포함한 얼굴 형태의 얼굴 특징점을 이용하여 인물 분류를 수행한다.
또한, 출입관리장치(300)는 도6 (B)에 도시된 바와 같이 마스크 착용 이미지는 마스크 줄(3) 시작부분에서 귀 부분까지의 마스크 줄(3) 길이를 얼굴 특징점 정보로 추가 추출하여 학습모델에 적용함으로써, 인물 분류를 수행할 수 있다. 이는 출입자의 귀 크기를 유추할 수 있는 속성정보로서, 이러한 인물 분류 속성정보는 미리 학습 모델 생성 알고리즘에 적용하여 학습 모델을 생성할 수 있도록 한다.
한편, 상기 ST170 단계에서 동일 인물의 마스크 이미지 중 하나가 설정된 임계치 이상의 확률값으로 특정 인물 즉, 등록 출입자로 분류되면(ST180), 출입관리장치(300)는 현재까지 등록된 해당 인물의 객체 추적 리스트로 저장된 마스크 이미지를 해당 등록 출입자의 학습용 데이터로 데이터 저장소(340)에 등록한다(ST190).
이어, 출입관리장치(300)는 데이터 저장소(340)에 등록된 학습용 데이터를 이용하여 학습모델을 갱신한다(ST200).
이후 출입관리장치(300)는 최근 갱신된 학습모델을 이용하여 상기한 ST130 단계 이하의 동작 즉, 출입자 얼굴이미지에 대한 출입자 분류처리를 수행하며, 이러한 동작은 기 설정된 갱신조건을 만족하는 주기로 반복하여 수행된다.
또한, 출입관리장치(300)는 기 등록된 출입자로 인식된 출입자에 대해 출입문을 개방하여 출입자의 출입을 허용하도록 한다.
한편, 상기 ST180 단계에서 마스크 이미지가 기 등록된 특정 인물로 분류되지 않으면, 출입관리장치(300)는 해당 인물의 객체 추적 리스트를 미분류 인물로 분류하고, 해당 마스크 이미지를 객체 추적 리스트에 추가한 후, 다음 프레임의 얼굴 이미지에 대하여 상술한 ST130 이후의 동작을 수행한다(ST210).
도7을 참조하여 마스크 착용 이미지의 인물 분류 과정을 예시하여 설명한다.
먼저, 특정 인물이 "t1"시간에 마스크를 착용한 상태로 이동하여 제1 영상촬영장치(장치1)에 의해 "t2"시간에 처음으로 감지된 이후, 마스크를 착용한 상태에서 이동하여 "t3" 시간에 사라진다. 이때, 출입관리장치(300)는 각 시간의 얼굴 이미지(도7의 마스크 착용 이미지)를 학습 모델을 이용하여 분류하되, 해당 얼굴 이미지가 등록 출입자로 분류되지 않으면, 미분류 인물로 설정한다.
여기서, 출입관리장치(300)는 데이터 저장소(340)의 영상촬영장치 메타정보 저장부(341)와 지도정보 저장부(342)를 이용하여 촬영영상장치별 특정 인물의 궤적을 추적하고, 추적된 궤적의 촬영영상에서 추출된 얼굴 이미지를 포함하는 객체 추적 리스트를 생성한다.
이어, 해당 특정 인물에 대해서는 동일 인물 코드에 대한 객체 추적 리스트에 이 물리공간1의 제2 영상촬영장치(장치2)에 의해 "t4"시간에 마스크를 벗은 얼굴이 감지되고 "t5"시간에 마스크를 착용한 상태로 사라진다. 이때, 출입관리장치(300)는 미분류 인물로 분류된 인물에 대해서는 마스크 착용 이미지에 대한 인물 분류처리를 수행하지 않다가 제2 영상촬영장치(장치2)에 의해 "t4"시간에 촬영된 마스크 미착용 이미지가 획득되면, 이 마스크 미착용 이미지를 학습 모델에 적용하여 인물 분류처리를 수행할 수 있다.
이후, 해당 인물코드에 대한 객체 추적 리스트는 인물로 분류된 상태에서 해당 특정 인물이 일정 공간 영역을 벗어나는 때까지 궤적 추적을 지속적으로 수행할 수 있다. 즉, 도7에서 해당 특정 인물이 "t6 ~ t7" 시간에 제3 영상촬영장치(장치3)에 의해 마스크 착용 이미지로 추출되어 객체 추적 리스트에 저장되는 바, 해당 인물의 이동 동선이 관리될 수 있다. 예컨대, 도7의 특정 인물이 제1 및 제2 영상촬영장치가 설치된 물리공간1을 t1 ~ t5 시간에 출입한 사실을 확인할 수 있다.
100 : 출입감지장치, 200 : 영상촬영장치,
300 : 출입관리장치, 310 : 촬영영상 수집부,
320 : 인물 분류부, 321 : 얼굴이미지 전처리모듈,
322 : 객체 추적모듈, 323 : 인물 분류모듈,
330 : 출입자 관리부, 340 : 데이터 저장소,
341 : 영상촬영장치 메타정보저장부,
342 : 지도데이터 저장부, 343 : 촬영영상 저장부,
344 : 얼굴이미지 저장부, 345 : 출입정보 저장부,
346 : 개인정보 저장부, 347 : 학습용 데이터 저장부,
348 : 학습모델 저장부.

Claims (5)

  1. 출입관리장치에서 다수의 영상촬영장치로부터 수신된 촬영영상에 포함된 인물의 얼굴이미지를 근거로 기 등록된 출입자를 판단하여 출입자에 대한 출입관리를 수행하는 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법에 있어서,
    출입관리장치에서 각 영상촬영장치로부터 수신된 촬영영상에 존재하는 인물의 궤적을 추적하는 방식으로 동일 인물에 대한 각 프레임 이미지별 원본 얼굴 이미지를 추출하는 제1 단계와,
    제1 단계에서 추출된 얼굴 이미지가 마스크 착용이미지인지를 판단하는 제2 단계,
    제2 단계에서 마스크 착용이미지로 판단되면, 해당 마스크 착용이미지의 마스크를 기 등록된 형태로 변경하여 해당 인물에 대한 다수의 마스크 변경이미지를 생성하는 제3 단계,
    얼굴 이미지에 대응되는 출입자를 분류하는 학습 모델에 마스크 착용 이미지와 마스크 변경 이미지를 적용하여 등록 출입자인지의 여부를 판단하는 제4 단계,
    제4 단계에서 등록 출입자로 판단되면, 해당 궤적상의 마스크 착용 이미지 및 다수의 마스크 변경 이미지를 해당 인물의 학습용 데이터로 저장함과 더불어, 이 학습용 데이터를 이용하여 학습 모델을 갱신하는 제5 단계를 포함하여 구성되는 것을 특징으로 하는 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법.
  2. 제1항에 있어서,
    상기 제3 단계는 마스크의 형상과 색상 중 적어도 하나 이상이 변경된 마스크 변경이미지를 생성하는 것을 특징으로 하는 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법.
  3. 제1항에 있어서,
    상기 제4 단계에서 마스크 착용 이미지와 마스크 변경 이미지가 등록 출입자가 아니라고 판단되면 해당 인물의 궤적의 촬영 영상에서 마스크 미착용 얼굴 이미지를 획득하여 이를 학습 모델에 적용함으로써, 등록 출입자 여부를 판단하는 것을 특징으로 하는 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법.
  4. 제1항에 있어서,
    상기 제4 단계에서 출입관리장치는 마스크 착용 이미지와 마스크 변경 이미지에 대해 마스크에 의해 가려지는 얼굴 특징점을 제외한 눈과 눈썹 및, 마스크 하단 부분을 포함한 얼굴 형태를 얼굴 특징점으로 추출하고, 이를 학습모델에 적용하여 인물 분류를 수행하는 것을 특징으로 하는 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법.
  5. 제4항에 있어서,
    상기 제4 단계에서 출입관리장치는 마스크 착용 이미지와 마스크 변경 이미지에 대해 마스크 줄 시작부분에서 귀 부분까지의 마스크 줄 길이를 얼굴 특징점으로 추가 추출하여 학습모델에 적용함으로써, 인물 분류를 수행하는 것을 특징으로 하는 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법.
KR1020200178396A 2020-12-18 2020-12-18 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법 KR20220087908A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200178396A KR20220087908A (ko) 2020-12-18 2020-12-18 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200178396A KR20220087908A (ko) 2020-12-18 2020-12-18 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법

Publications (1)

Publication Number Publication Date
KR20220087908A true KR20220087908A (ko) 2022-06-27

Family

ID=82246736

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200178396A KR20220087908A (ko) 2020-12-18 2020-12-18 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법

Country Status (1)

Country Link
KR (1) KR20220087908A (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101363017B1 (ko) 2007-08-23 2014-02-12 삼성전자주식회사 얼굴영상 촬영 및 분류 시스템과 방법
KR102039277B1 (ko) 2018-12-07 2019-10-31 장승현 보행자 얼굴 인식 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101363017B1 (ko) 2007-08-23 2014-02-12 삼성전자주식회사 얼굴영상 촬영 및 분류 시스템과 방법
KR102039277B1 (ko) 2018-12-07 2019-10-31 장승현 보행자 얼굴 인식 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
KR102215041B1 (ko) 정의된 영역 내의 객체를 추적하기 위한 방법 및 시스템
KR100831122B1 (ko) 얼굴 인증 장치, 얼굴 인증 방법, 및 출입 관리 장치
US8135220B2 (en) Face recognition system and method based on adaptive learning
WO2015136938A1 (ja) 情報処理方法および情報処理システム
CN109243030B (zh) 一种夜间非接触式门禁***的控制方法及***
US11275928B2 (en) Methods and systems for facial recognition using motion vector trained model
CN111832457A (zh) 基于云边协同的陌生人入侵检测方法
JP2008108243A (ja) 人物認識装置および人物認識方法
JP2000259814A (ja) 画像処理装置及びその方法
JP2006133946A (ja) 動体認識装置
JP2001331799A (ja) 画像処理装置および画像処理方法
JP7196932B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2006236260A (ja) 顔認証装置、顔認証方法および入退場管理装置
WO2022134916A1 (zh) 身份特征生成方法、设备及存储介质
JP7257765B2 (ja) 情報処理装置、認証システムおよびそれらの制御方法、プログラム
Mandal Face recognition: Perspectives from the real world
KR102313187B1 (ko) 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템
US10621419B2 (en) Method and system for increasing biometric acceptance rates and reducing false accept rates and false rates
JP2021106330A (ja) 情報処理装置、情報処理方法、及びプログラム
KR20220087908A (ko) 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법
JP2009044526A (ja) 撮影装置、撮影方法、人物認識装置および人物認識方法
JP2019159377A (ja) 監視システム、サーバ装置、監視方法、及び監視プログラム
CN110287841B (zh) 图像传输方法及装置、图像传输***、存储介质
JP2014071684A (ja) 顔画像認証装置
JPWO2021191966A5 (ko)

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application