KR20210107452A - 근태 메뉴의 활성화가 가능한 얼굴 인식 시스템 및 방법 - Google Patents

근태 메뉴의 활성화가 가능한 얼굴 인식 시스템 및 방법 Download PDF

Info

Publication number
KR20210107452A
KR20210107452A KR1020200022471A KR20200022471A KR20210107452A KR 20210107452 A KR20210107452 A KR 20210107452A KR 1020200022471 A KR1020200022471 A KR 1020200022471A KR 20200022471 A KR20200022471 A KR 20200022471A KR 20210107452 A KR20210107452 A KR 20210107452A
Authority
KR
South Korea
Prior art keywords
face
template
unit
authentication
time
Prior art date
Application number
KR1020200022471A
Other languages
English (en)
Other versions
KR102325251B1 (ko
Inventor
채장진
Original Assignee
씨엠아이텍주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 씨엠아이텍주식회사 filed Critical 씨엠아이텍주식회사
Priority to KR1020200022471A priority Critical patent/KR102325251B1/ko
Publication of KR20210107452A publication Critical patent/KR20210107452A/ko
Application granted granted Critical
Publication of KR102325251B1 publication Critical patent/KR102325251B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G06K9/00221—
    • G06K9/42—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/10—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00571—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G07C9/257—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition electronically

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 근태 메뉴의 활성화가 가능한 얼굴 인식 시스템 및 방법에 관한 것으로, 본 발명에 따른 얼굴 인식 시스템은 얼굴 인식부로부터 등록된 사용자라는 결정이 입력되면, 인증 시간에 따른 일과 시간 및 근태 관리 DB에 저장된 사용자의 근태 항목들을 분석하여 디폴트 근태 항목을 디스플레이부에 표시하고, 사용자 입력부를 통해 근태 항목들 중 어느 하나가 입력되지 않으면 디폴트 근태 항목 영역에 인증 시간을 저장하고, 사용자 입력부를 통해 근태 항목들 중 어느 하나가 입력되면 사용자에 의해 입력된 근태 항목 영역에 상기 인증 시간을 저장하는 제어부를 포함함으로써, 근태 관리가 필요한 상황에서도 얼굴 인식 기술의 장점을 극대화하면서 근태 관리의 오류를 감소시킬 수 있다.

Description

근태 메뉴의 활성화가 가능한 얼굴 인식 시스템 및 방법{Face Recognition System and Method for Activating Attendance Menu}
본 발명은 근태 메뉴의 활성화가 가능한 얼굴 인식 시스템 및 방법에 관한 것으로, 특히 얼굴 인증시 일과 시간에 따라 디스플레이부에 인증자의 디폴트 근태 항목을 표시하여 얼굴 인식 기술의 장점을 극대화하면서 근태 관리의 오류를 감소시킬 수 있는 얼굴 인식 시스템 및 방법에 관한 것이다.
얼굴 인식 기술은 얼굴을 포함하는 영상에 대해 얼굴 영역의 자동적인 검출 및 분석을 통해 해당 얼굴이 어떤 인물인지 판별해 내는 기술로 패턴 인식 및 컴퓨터 비전 분야에서 오랫동안 연구되어 온 분야이다. 많은 연구 결과로부터 최근에는 감시 시스템, 출입국 관리 또는 생체 인식 등과 같은 실제 환경에 적용되고 있다.
이러한 얼굴 인식 기술은 다른 생체 인식 기술과 대비하여 상대적으로 얼굴 인식 디바이스에 가까이 접근하지 않아도 얼굴 인식이 가능하여 출입의 관리가 필요한 구역에 많이 사용되고 있다. 이 경우 현재의 근태 관리는 인증을 받고자 하는 자가 얼굴 인식 디바이스에 접근하여 출근 등 메뉴 항목을 선택하고 이어서 얼굴이 인증되면 메뉴 항목과 함께 시간이 저장되는 방법이다.
하지만, 근태 관리를 위해 메뉴 항목을 선택하고 활성화된 메뉴 항목에 얼굴을 인증하는 방법은 최초 인증자와 그 후 사용자의 근태 항목이 다를 경우 근태 관리에 있어서 사용자의 근태 관리에 오류가 발생할 수 있다.
상술한 문제점을 해결하기 위해, 본 발명은 얼굴 인증시 일과 시간에 따라 디스플레이부에 인증자의 디폴트 근태 항목을 표시하여 얼굴 인식 기술의 장점을 극대화하면서 근태 관리의 오류를 감소시킬 수 있는 얼굴 인식 시스템 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 사용자의 얼굴이 인증되면, 근태 메뉴가 디스플레이부에 활성화되어 표시되되, 근태 메뉴는 디스플레이부에 표시되는 사용자의 얼굴에 얼굴 추적 기능이 중첩되는 동안에만 활성화되어 표시됨으로써 근태 관리의 오류를 감소시킬 수 있는 얼굴 인식 시스템 및 방법을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위해, 본 발명의 일실시예에 따른 얼굴 인식 시스템은, 얼굴을 포함하는 영상을 촬영을 하는 카메라부; 상기 카메라부에 의해 촬영된 영상에서 얼굴 이미지를 검출하는 얼굴 검출부; 상기 얼굴 이미지에서 특징점 정보를 추출하는 특징 추출부; 상기 특징점 정보를 이용하여 얼굴 이미지를 정규화처리함으로써 정렬된 얼굴 템플릿을 생성하는 정규화 처리부; 상기 정규화 처리부로부터 입력된 얼굴 템플릿과 등록 템플릿 DB에 저장된 등록 얼굴 템플릿을 비교하여 상기 입력된 얼굴 템플릿이 등록된 사용자인지를 결정하는 얼굴 인식부; 및 상기 얼굴 인식부로부터 등록된 사용자라는 결정이 입력되면, 인증 시간에 따른 일과 시간 및 근태 관리 DB에 저장된 사용자의 근태 항목들을 분석하여 디폴트 근태 항목을 디스플레이부에 표시하고, 사용자 입력부를 통해 근태 항목들 중 어느 하나가 입력되지 않으면 상기 디폴트 근태 항목 영역에 상기 인증 시간을 저장하고, 상기 사용자 입력부를 통해 근태 항목들 중 어느 하나가 입력되면 사용자에 의해 입력된 근태 항목 영역에 상기 인증 시간을 저장하는 제어부를 제공한다.
상기 얼굴 검출부는 상기 카메라부에 의해 촬영된 영상에서 얼굴 이미지를 검출하되, 상기 카메라부에서 촬영된 영상에 다수의 얼굴이 포함되어 있으면, 가장 큰 얼굴에 대해서만 얼굴 이미지를 검출하여 출력할 수 있고, 상기 얼굴 인식 시스템은 상기 얼굴 검출부에서 입력된 상기 얼굴 이미지의 영역 정보를 이용하여 상기 디스플레이부에 표시되는 촬영 영상에 얼굴 영역을 중첩하여 얼굴 추적을 표시하는 얼굴 추적부를 더 포함할 수 있다.
상기 디스플레이부에 상기 디폴트 근태 항목을 표시하는 방법은 상기 디폴트 근태 항목만을 표시하거나, 다른 근태 항목과는 다르게 표시하여 사용자가 쉽게 확인할 수 있도록 할 수 있다.
상기 근태 관리 DB에 저장되는 상기 근태 항목들은 출근, 외출, 복귀 및 퇴근을 포함할 수 있다.
상기 제어부는 사용자의 얼굴 인증에 따라 인증 템플릿 DB에 인증 얼굴 템플릿을 저장하고, 소정의 기간이 경과한 후 상기 인증 템플릿 DB에 저장된 복수의 인증 얼굴 템플릿들을 이용하여 상기 복수의 인증 얼굴 템플릿들 각각에 대해 서로 유사도를 구하고, 이들 유사도의 값을 이용하여 상기 복수의 인증 얼굴 템플릿들 각각에 대한 평균 유사도의 값을 구하고, 상기 평균 유사도의 값들 중에서 평균 유사도의 값이 가장 큰 순서대로 소정 개수의 인증 얼굴 템플릿들을 상기 디스플레이부에 표시하고, 상기 사용자 입력부를 통해 상기 디스플레이부에 표시된 인증 얼굴 템플릿들 중 어느 하나를 선택하는 입력이 없으면 평균 유사도의 값이 가장 큰 인증 얼굴 템플릿을 새로운 등록 얼굴 템플릿으로 선정하여 상기 등록 템플릿 DB에 저장함으로써 상기 등록 얼굴 템플릿을 갱신할 수 있다.
상기 제어부는 신경망(Neural Network)을 통해 상기 인증 얼굴 템플릿으로부터 얻어진 템플릿 값을 저장할 수 있고, 상기 소정 개수의 인증 얼굴 템플릿들을 상기 디스플레이부에 표시하는 것은, 상기 인증 템플릿 DB에 저장된 복수의 인증 얼굴 템플릿의 값들을 이용하여 상기 복수의 인증 얼굴 템플릿들 각각에 대해 서로 거리를 구하고, 이들 거리의 값을 이용하여 상기 복수의 인증 얼굴 템플릿들 각각에 대한 평균 거리의 값을 구하고, 상기 평균 거리의 값들 중에서 평균 거리의 값이 가장 작은 순서대로 소정 개수의 인증 얼굴 템플릿의 값들을 상기 디스플레이부에 표시하는 것을 포함할 수 있다.
본 발명의 또 하나의 실시예에 따른 근태 정보를 저장하기 위한 근태 관리 DB를 포함하는 얼굴 인식 시스템에 의한 얼굴 인식 방법은, 카메라부에서 얼굴을 포함하는 영상을 촬영을 하는 단계; 상기 카메라부에 의해 촬영된 영상에서 얼굴 이미지를 검출하는 단계; 상기 얼굴 이미지에서 특징점 정보를 추출하는 단계; 상기 특징점 정보를 이용하여 얼굴 이미지를 정규화처리함으로써 정렬된 얼굴 템플릿을 생성하는 단계; 상기 생성하는 단계에서 생성되어 입력된 얼굴 템플릿과 등록 템플릿 DB에 저장된 등록 얼굴 템플릿을 비교하여 상기 입력된 얼굴 템플릿이 등록된 사용자인지를 결정하는 단계; 상기 결정하는 단계에서 등록된 사용자라고 결정되면, 인증 시간에 따른 일과 시간 및 근태 관리 DB에 저장된 사용자의 근태 항목들을 분석하여 디폴트 근태 항목을 디스플레이부에 표시하는 단계; 및 사용자 입력부를 통해 상기 근태 항목들 중 어느 하나가 입력되지 않으면 상기 디폴트 근태 항목 영역에 상기 인증 시간을 저장하고, 상기 사용자 입력부를 통해 상기 근태 항목들 중 어느 하나가 입력되면 사용자에 의해 입력된 근태 항목 영역에 상기 인증 시간을 저장하는 단계를 제공함으로써 상술한 목적을 달성할 수 있다.
본 발명의 다른 또 하나의 실시예에 따른 얼굴 인식 시스템은 얼굴을 포함하는 영상을 촬영을 하는 카메라부; 상기 카메라부에 의해 촬영된 영상에서 얼굴 이미지를 검출하는 얼굴검출부; 상기 얼굴 검출부에서 입력된 상기 얼굴 이미지의 영역 정보를 이용하여 디스플레이부에 표시되는 촬영 영상에 얼굴 영역을 중첩하여 얼굴 추적을 표시하는 얼굴 추적부; 상기 얼굴 이미지에서 특징점 정보를 추출하는 특징 추출부; 상기 특징점 정보를 이용하여 입력된 얼굴 템플릿과 등록 템플릿 DB에 저장된 등록 얼굴 템플릿을 비교하여 상기 입력된 얼굴 템플릿이 등록된 사용자인지를 결정하는 얼굴 인식부; 및 상기 얼굴 인식부로부터 등록된 사용자라는 결정이 입력되면, 즉시 근태 메뉴를 활성화시켜 상기 디스플레이부의 소정 영역에 표시하는 제어부를 포함하고, 상기 근태 메뉴는 상기 디스플레이부에 인증자의 얼굴이 상기 얼굴 추적부에 표시되는 동안에만 표시됨으로써, 상술한 목적을 달성할 수 있다.
상술한 구성에 의해, 본 발명은 근태 관리가 필요한 상황에서도 얼굴 인식 기술의 장점을 극대화하면서 근태 관리의 오류를 감소시킬 수 있다.
또한, 본 발명은 얼굴 추적 기능이 동작 중인 인증자에 대해서만 근태 관리가 되고 있음을 명확히 함으로써 사용자의 잘못된 인증 인식에 따른 근태 관리의 오류를 감소시킬 수 있다.
본 발명은, 또한 인증된 얼굴 영상들 중에서 평균에 가까운 얼굴 영상을 표시하고 이들 영상 중에서 새로 등록될 얼굴 영상을 선택하게 함으로써, 사용자의 얼굴을 인증하는 속도를 향상시킬 수 있고, 또한 인증 실패를 감소시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 얼굴 인식 시스템의 블록도를 도시하는 도면이다.
도 2는 도 1에 도시된 근태 관리 DB)의 테이블의 예시를 도시하는 도면이다.
도 3은 도 1에 도시된 인증 템플릿 DB의 테이블의 예시를 도시하는 도면이다.
도 4는 도 3에 도시된 템플릿 값 영역에 저장된 템플릿 값들을 좌표축의 형태로 도시한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 얼굴 인식 방법의 흐름도를 도시하는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 등록 얼굴 템플릿의 갱신이 가능한 얼굴 인식 시스템 및 방법의 바람직한 실시예를 설명한다. 참고로, 아래에서 본 발명을 설명함에 있어서, 본 발명의 구성요소를 지칭하는 용어들은 각각의 구성 요소들의 기능을 고려하여 명명된 것이므로, 본 발명의 기술적 구성요소를 한정하는 의미로 이해되어서는 안 될 것이다.
도 1은 본 발명의 일 실시예에 따른 얼굴 인식 시스템의 블록도를 도시하는 도면이고, 도 2는 도 1에 도시된 근태 관리 DB)의 테이블의 예시를 도시하는 도면이고, 도 3은 도 1에 도시된 인증 템플릿 DB의 테이블의 예시를 도시하는 도면이고, 도 4는 도 3에 도시된 템플릿 값 영역에 저장된 템플릿 값들을 좌표축의 형태로 도시한 도면이다.
도 1에 도시된 바와 같이, 얼굴 인식 시스템은 템플릿 저장부(110), 카메라부(120), 얼굴 검출부(130), 얼굴 추적부(132), 특징 추출부(140), 정규화 처리부(150), 얼굴 인식부(160), 디스플레이부(170), 메뉴 생성부(172), 사용자 입력부(180), 및 제어부(190)를 포함한다. 얼굴 인식 시스템은 구체적으로 얼굴 처리 디바이스(미도시됨) 및 관리 서버(미도시됨)로 구분되어 동작될 수 있다. 예를 들어, 도 1에서는 템플릿 저장부(110)에 근태 관리 DB(112), 등록 템플릿 DB(114), 및 인증 템플릿 DB(116)이 포함되어 있으나, 근태 관리 DB(112)는 관리 서버에 구현되고, 등록 템플릿 DB(114), 및 인증 템플릿 DB(116)은 얼굴 처리 디바이스에 구현될 수 있다.
템플릿 저장부(110)는 근태 정보 및 템플릿을 저장하기 위한 저장 공간으로, 근태 관리 DB(112), 등록 템플릿 DB(114), 및 인증 템플릿 DB(116)를 포함한다. 근태 관리 DB(112)에는 근태 관리에 필요한 항목들, 예를 들어 출근, 외출, 복귀 및 퇴근 등의 정보가 저장될 수 있다. 근태 관리 DB(112)의 테이블의 예시가 도 2에 도시되어 있다. 등록 템플릿 DB(114)에는 등록용으로 저장한 등록 얼굴 템플릿들, 그들의 정규화된 특징점 정보들, 그들의 템플릿 값들 및 그들이 저장되는 시간 정보 등이 저장될 수 있다. 인증 템플릿 DB(116)에는 사용자의 얼굴 인증에 따른 인증 얼굴 템플릿들, 그들의 정규화된 특징점 정보들, 그들의 템플릿 값들, 그들이 저장되는 시간 정보, 및 얼굴 검출부(130)에서 검출된 얼굴과 관련된 크기 정보 등이 저장될 수 있다. 인증 템플릿 DB(116)의 테이블의 예시가 도 3에 도시되어 있다.
카메라부(120)는 출입문 부근에 설치되어 얼굴을 포함하는 영상을 촬영한다.
얼굴 검출부(130)는 기본적으로 카메라부(120)로부터 촬영된 영상 내에 존재하는 얼굴 이미지를 검출한다. 여기서 카메라부(120)로부터 촬영된 영상은 얼굴을 포함하는 하나의 이미지이다. 얼굴 검출부(130)는 유사 하르 특징(Haar-like feature) 알고리즘을 사용하여 카메라부(120)로부터 입력된 영상으로부터 얼굴 이미지를 검출할 수 있다. 이 경우 얼굴의 부분(머리, 눈, 코, 입 그리고 수염)을 개별적으로 검출하여 최종 얼굴로 결정할 수 있다. 얼굴 검출부(130)는 이 얼굴 이미지를 미세하게 튜닝함으로써 최종 얼굴 검출 결과를 높일 수 있다. 얼굴 검출부(130)는 카메라부(120)의 촬영 영상에 다수의 얼굴이 포함되어 있는 경우 가장 큰 얼굴에 대해서만 얼굴 이미지를 검출하여 출력한다.
얼굴 추적부(132)는 얼굴 검출부(130)에서 입력된 얼굴 영역의 정보를 이용하여 디스플레이부(170)에 표시되는 카메라부(120)의 촬영 영상에 얼굴 영역을 중첩함으로써 얼굴 추적을 표시할 수 있다. 얼굴 추적부(132)는 카메라부(120)의 촬영 영상에 중첩되는 얼굴 영역을 얼굴 형태에 맞춰 타원형으로 표시할 수 있다.
특징 추출부(140)는 사용자의 얼굴 이미지에서 특징점 정보를 추출한다. 특징 추출부(140)는 예를 들어, 사전에 학습된 3D 얼굴 기하 모델을 이용하여 얼굴 이미지에서 68개의 특징점, 즉 랜드마크를 추출할 수 있다.
특징 추출부(140)는 얼굴 이미지에서 눈썹, 눈, 코, 입 영역 및 그 주변의 특징점을 찾아 얼굴 이미지에 매핑한다. 물론, 특징점이 위의 나열된 특정 부분에 한정되는 것은 아니다. 특징 추출부(140)는 구체적으로 SVM(Support Vector Machine)과 같은 패턴 분류기(Pattern Classifier)로 구현될 수 있다. 특징 추출부(140)는 얼굴의 좌우 기울임 정도를 두 눈의 위치를 기반으로 인식할 수 있다.
특징 추출부(140)는 또한, 랜드마크 정보로부터 특징 벡터를 추출하고, 특징 벡터를 이용하여 사용자의 얼굴 표정이 어떤 표정인지 그리고 사용자의 현재 감정 상태를 인식하는 구성을 포함할 수 있다. 이 경우, 특징 추출부(140)는 랜드마크 정보로부터, 랜드마크 상호 간의 각도, 거리 비율 정보를 이용하여 특징 벡터를 추출할 수 있다. 특히, 특징 벡터를 추출하는 경우에는 특징 벡터의 차원을 최소화하는 것을 통하여 연산량을 감소시키는 것이 중요하다. 이에 의해, 기존의 얼굴 인식 기술에 비하여 사용자의 얼굴 표정을 인식하는 속도를 향상시킬 수 있다.
특징 추출부(140)는 또한, 예를 들어, 얼굴 이미지의 질감 특징, 얼굴 이미지 전체의 형태적인 특징, 신체 부위(눈, 코, 입 등)의 형태적 특징 등을 이용하여 얼굴 이미지를 표현하는 특징 벡터들을 생성할 수 있다. 특징 추출부(140)는 또한, 상기 얼굴 이미지를 RGB 이미지에서 밝기-색차(Y/C) 이미지로 변환하고, 변환된 이미지로부터 특징 벡터를 생성할 수 있다. 여기서, 색차 이미지는 밝기 값을 배제하고 순수한 색상 정보만을 이용하여 색상 간의 차이를 표현한 이미지를 의미한다. 특징 추출부(140)는 조명에 의한 영향을 줄이기 위해 밝기 이미지를 제외하고 색차 이미지만을 이용하여 특징 벡터를 생성할 수 있다.
정규화 처리부(150)는 얼굴 이미지에서 추출된 특징점 정보를 이용하여 얼굴 이미지를 정규화 처리함으로써 정렬된 얼굴 이미지를 생성한다. 정규화 처리부(150)는 특징점 정보를 이용하여 얼굴 이미지를 어파인(affine) 변환, 즉 2차원 어파인 변환 또는 3차원 어파인 변환함으로써 얼굴 정렬 및 광도 보정과 같은 영상의 정규화 처리를 수행할 수 있다. 이 경우, 눈 중심과 입 중심이 수직이 되도록 얼굴 이미지를 회전시켜 보정하고, 또한 눈 중심과 입 중심 간 거리가 40 픽셀이 되도록 얼굴 이미지의 크기를 보정할 수 있다. 이에 의해, 검출된 얼굴 이미지가 정면이 아닌 옆모습이라도, 이 이미지를 변환하여 정면의 얼굴 이미지를 생성할 수 있다.
정규화 처리부(150)에서 정렬된 얼굴 이미지를 얼굴 템플릿으로 템플릿 저장부(110)에 저장될 수 있다. 이 경우 정렬된 얼굴 이미지로부터 얻은 정규화된 특징점 정보가 템플릿 저장부(110)에 얼굴 템플릿 대신에 또는 얼굴 템플릿과 함께 별도의 영역에 저장될 수 있다. 정규화 처리부(150)는 정규화된 특징점 정보로 얼굴 이미지를 다수의 블록으로 구분한 후 각 블록의 정규화된 특징 벡터를 생성하고, 제어부(190)는 각 블록의 정규화된 특징 벡터를 템플릿 저장부(110)의 정규화된 특징점 정보 영역에 저장할 수 있다. 본 실시예에서는 얼굴 템플릿과 정렬된 얼굴 이미지로부터 얻은 정규화된 특징점 정보를 구분하고 있으나, 정렬된 얼굴 이미지로부터 얻은 정규화된 특징점 정보 역시 정렬된 얼굴 이미지로부터 도출되는 것인바, 얼굴 템플릿에 포함되는 것임에 유의해야 한다.
얼굴 인식부(160)는 카메라부(120)로부터 입력된 영상의 얼굴 템플릿과 등록 템플릿 DB(114)에 저장된 등록 얼굴 템플릿을 비교하여 입력된 영상의 얼굴 템플릿이 등록된 사용자인지를 결정한다. 얼굴 인식부(160)는 심층 신경망(DNN, Deep Neural Network), 컨볼루션 신경망(CNN, Convolutional Neural Network), 순환 신경망(RNN, Recurrent Neural Network), 제한 볼츠만 머신(RBM, Restricted Boltzmann Machine), 심층 신뢰 신경망(DBN, Deep Belief Network), 심층 Q-네트워크(Deep QNetworks)와 같은 다양한 딥 러닝 기술들을 이용할 수 있으며, 이에 한정하지 않는다. 본 실시예에서, 얼굴 인식부(160)는 여러 개의 층으로 구성된 컨볼루션(convolution) 신경망으로 구성될 수 있다. 이때, 얼굴 영역 내의 지역적인 특징을 효과적으로 추출하기 위하여 국소 연결(locally connected) 컨볼루션 층을 사용할 수 있다.
얼굴 인식부(160)는 얼굴 템플릿의 특징점 정보를 이용하여 얼굴의 유사도 결정을 수행할 수 있다. 이때, 얼굴 인식부(160)는 입력된 영상의 얼굴 템플릿을 저장된 등록 얼굴 템플릿들 모두에 대해 유사도 결정을 수행하고, 각각의 유사도 결과를 이용하여 등록된 사용자인지를 결정할 수 있다. 예컨대, 등록 템플릿 DB(114)에 저장된 등록 얼굴 템플릿이 4개이며, 각각에 대해 얼굴 유사도가 97%, 85%, 80% 및 75%로 결정된 경우, 최대값인 97%를 기준으로 등록된 사용자인지를 결정할 수 있다. 만약, 등록된 사용자인지를 결정하기 위한 기준 값이 95%인 경우에는, 유사도의 최대값이 97%이므로 등록 사용자로 결정할 수 있다.
얼굴 인식부(160)는 구체적으로 정규화 처리부(150)에서 처리된 얼굴 템플릿과 등록 템플릿 DB(114)에 저장된 등록 얼굴 템플릿을 불러와서 컨볼루션 신경망에 블록 단위로 데이터를 제공하고 각 블록마다 블록 템플릿 값을 구해 각 블록마다 유사도를 구하고 모두 합산하여 전체 유사도를 구할 수 있다. 이 경우 등록 템플릿 DB(114)에 저장된 각 블록의 정규화된 특징 벡터, 또는 템플릿 값을 사용하여 유사도를 산출할 수 있다.
한편, 얼굴 인식부(160)는 트레이닝과 관련하여 얼굴 검증을 수행할 수 있다. 얼굴 검증(face verification)은 동일한 인물에 대한 2개의 얼굴 템플릿들이 동일 인물이라는 것을 검증하는 것이다. 이를 통해, 영상 내 얼굴 인식 과정에서 발생되는 오인식 비율을 줄일 수 있다.
트레이닝은 복수의 학습 모델을 이용하여 얼굴 특징 포인트를 트레이닝할 수 있다. 복수의 학습 모델은 사용자의 얼굴 학습 모델, 타인의 얼굴 학습 모델, 조명 학습 모델 및 포즈 학습 모델 중 적어도 어느 하나 이상을 포함할 수 있다. 예를 들어, 트레이닝은 복수의 학습 모델에 대한 학습 데이터로부터 검출된 얼굴의 특징 포인트를 기준으로 학습 데이터를 적어도 하나 이상의 영역으로 분할하여 얼굴 특징 포인트를 트레이닝할 수 있다.
트레이닝은 학습 데이터에 이용된 얼굴 특징 포인트의 개수만큼 버퍼에 각 얼굴 특징 포인트에 대한 대표 특징 벡터를 저장할 수 있다. 예를 들어, 얼굴의 특성상 동일 인물의 경우, 얼굴 특징 포인트의 데이터가 특정 벡터를 중심으로 형성되므로, 중심이 되는 대표 특징 벡터를 별도의 버퍼에 저장하여 이를 학습의 구심점이 되도록 할 수 있다.
트레이닝은 동일 사용자의 다른 이미지를 정해진 입력 개수에 따라 학습 데이터로 입력하여, 얼굴 특징 포인트, 조명 변화에 대한 얼굴 특징 포인트, 포즈 변화에 대한 얼굴 특징 포인트에 대한 출력값을 획득할 수 있다.
디스플레이부(170)에는 카메라부(120)의 촬영 영상에 얼굴 추적부(132)의 얼굴 영역이 중첩되어 표시되는데 이로 인해 마치 얼굴을 추적하는 것처럼 보인다. 디스플레이부(170)에는 아울러, 메뉴 생성부(172)에서 출력된 메뉴 항목이 표시될 수 있다.
메뉴 생성부(172)는 근태 항목들인 출근, 외출, 복귀, 퇴근을 생성하여 디스플레이부(170)에 제공한다. 이 경우 메뉴 생성부(172)는 디스플레이부(170)에 디폴트 근태 항목만 제공할 수도 있고, 또한 해당 근태 항목을 점멸시킴으로써 현재 사용자의 근태 상태를 더 잘 확인할 수 있도록 할 수 있다. 또한, 터치 패드를 구비한 경우에는 근태 항목 모두를 다 표시하되 디폴트 근태 항목만 크고 진하게 표시할 수 있다.
사용자 입력부(180)는 근태 항목들, 예컨대 출근, 외출, 복귀, 퇴근을 입력할 수 있다. 사용자는 메뉴 생성부(172)에 생성되어 디스플레이부(170)에 표시된 디폴트 근태 항목이 잘못 표시된 경우에는 사용자 입력부(180)를 통해, 올바른 근태 항목을 입력할 수 있다. 사용자 입력부(180)는 디스플레이부(170) 외부에 배치된 버튼들뿐만 아니라 디스플레이부(170) 내부에 배치된 터치 패드를 포함한다.
제어부(190)는 등록 모드이면 정규화 처리부(150)에서 처리되어 생성된 등록 얼굴 템플릿을 등록 템플릿 DB(114)에 저장한다. 그리고 제어부(190)는 트레이닝 모드이면 얼굴 인식부(160)를 제어하여 동일한 사용자의 정규화 처리부(150)에서 처리되어 생성된 검증 얼굴 템플릿을 등록 템플릿 DB(114)에 저장된 등록 얼굴 템플릿과 비교하는 딥 러닝 트레이닝을 수행하게 하고, 트레이닝에 따른 얼굴 검증의 값들을 컨볼루션(convolution) 신경망에 설정할 수 있다.
제어부(190)는 인증 모드이면 얼굴 인식부(160)를 제어하여 정규화 처리부(150)에서 처리되어 생성된 얼굴 템플릿을 등록 템플릿 DB(114)에 등록된 얼굴 템플릿들 모두와 비교하여 입력된 영상의 얼굴 템플릿이 등록된 사용자인지를 결정하게 한다.
제어부(190)는 입력된 영상의 얼굴 템플릿이 등록된 사용자이면, 인증 시간에 따른 일과 시간 및 근태 관리 DB(112)에 저장된 사용자의 근태 항목들을 분석하여 디폴트 근태 항목을 디스플레이부(170)에 표시한다. 예를 들어 출근 시간이 9시까지이면, 10시까지는 근태 관리 DB(112)의 출근 항목에 출근 시간이 없으면, 디폴트 근태 항목으로 '출근'을 생성하여 표시하도록 메뉴 생성부(172)를 제어할 수 있다. 10시부터 17시까지는 근태 관리 DB(112)의 외출 항목에 외출 시간이 있으면 디폴트 근태 항목으로 '복귀'를 생성하여 표시하도록 메뉴 생성부(172)를 제어할 수 있다. 17시부터는 입력된 영상의 얼굴 템플릿이 등록된 사용자이면, 디폴트 근태 항목으로 '퇴근'을 생성하여 표시하도록 메뉴 생성부(172)를 제어할 수 있다. 다만, 이 경우에는 사용자의 얼굴이 계속 입력되면 퇴근 시간을 갱신하여 하루 중 제일 마지막에 얼굴이 인증된 시간을 퇴근 시간으로 한다.
제어부(190)는 근태 항목을 디스플레이부(170)의 소정 영역에 표시하되, 근태 항목을 인증자의 얼굴이 얼굴 추적부(132)에 의해 표시되는 동안에만 표시되도록 메뉴 생성부(172)를 제어한다. 이에 의해, 현재 인증자만 근태 관리가 되고 있음을 명확히 할 수 있다.
제어부(190)는 사용자 입력부(180)를 통해 근태 항목들 중 어느 하나가 입력되지 않으면 디폴트 근태 항목 영역에 인증 시간을 저장하고, 사용자 입력부(180)를 통해 근태 항목들 중 어느 하나가 입력되면 사용자에 의해 입력된 근태 항목에 인증 시간을 저장할 수 있다.
제어부(190)는 입력된 영상의 얼굴 템플릿이 등록된 사용자이면, 또한 입력된 영상의 얼굴 템플릿 및/또는 정규화된 특징점 정보를 인증 템플릿 DB(116)의 얼굴 템플릿 영역 및/또는 특징점 정보 영역에 저장하고, 얼굴 인식부(160)에서 컨볼루션 신경망을 통해 계산된 템플릿 값을 템플릿 값 영역에 저장하고, 아울러 시간 정보 영역에 저장 시간을 저장할 수 있다. 또한, 제어부(190)는 얼굴 검출부(130)에서 검출된 얼굴과 관련된 크기 정보를 인증 템플릿 DB(116)의 크기 정보 영역에 저장할 수 있다. 이 경우 크기 정보는 얼굴 이미지의 가로 및/또는 세로의 최대 크기이거나 얼굴 이미지 내의 화소수들일 수 있다.
제어부(190)는 소정의 기간, 예를 들어 1개월이 지나면 등록 템플릿 DB(114)에 저장된 등록 얼굴 템플릿을 갱신할 수 있다. 제어부(190)는 인증 템플릿 DB(116)에 저장된 해당 사용자, 예를 들어 ID1의 템플릿 값들을 불러온다. 도 3에 도시된 템플릿 값 영역에 저장된 템플릿 값들을 좌표축의 형태로 도시한 표시가 도 4에 도시되어 있다. 여기서, 청색은 현재 등록 템플릿 DB(114)에 저장된 등록 얼굴 템플릿의 템플릿 값이며, 나머지 색들은 모두 인증 템플릿 DB(116)에 저장된 얼굴 템플릿들의 템플릿 값들이다.
제어부(190)는 소정의 기간 동안 얻어진 템플릿 값들 중에서 서로 유사도를 구하고, 이들 유사도의 값을 이용하여 복수의 인증 얼굴 템플릿들 각각에 대한 평균 유사도의 값을 구하고, 이들 평균 유사도의 값들 중에서 평균 유사도의 값이 가장 큰 템플릿 값(녹색)을 가진 얼굴 템플릿을 새로운 등록 얼굴 템플릿으로 선정한다. 제어부(190)는 이 경우에 평균 유사도의 값이 가장 큰 순서대로 소정 개수의 인증 얼굴 템플릿들을 디스플레이부(170)에 표시하고, 사용자 입력부(180)를 통해 디스플레이부(170)에 표시된 인증 얼굴 템플릿들 중 어느 하나가 입력되지 않으면 평균 유사도의 값이 가장 큰 인증 얼굴 템플릿을 새로운 등록 얼굴 템플릿으로 선정하여 등록 템플릿 DB에 저장함으로써 등록 얼굴 템플릿을 갱신할 수 있다.
여기서, 평균 유사도의 값이란 예를 들어 인증 얼굴 템플릿들이 3개인 경우에, 제1 인증 얼굴 템플릿과 제2 인증 얼굴 템플릿의 유사도가 82이고, 제2 인증 얼굴 템플릿과 제3 인증 얼굴 템플릿의 유사도가 90이고, 제1 인증 얼굴 템플릿과 제3 인증 얼굴 템플릿의 유사가 86이면, 제1 인증 얼굴 템플릿의 평균 유사도는 (82+86)/2 = 84이고, 제2 인증 얼굴 템플릿의 평균 유사도는 (82+90)/2 = 86이고, 제3 인증 얼굴 템플릿의 평균 유사도는 (90+86)/2 = 88이다. 따라 이들 중에서 평균 유사도의 값이 가장 큰 인증 얼굴 템플릿은 제3 인증 얼굴 템플릿이 된다.
제어부(190)는 이어서 등록 얼굴 템플릿으로 선정된 얼굴 템플릿에 대한 모든 정보를 등록 템플릿 DB(114)에 저장한다. 이 경우 제어부(190)는 종전에 저장된 등록 얼굴 템플릿의 정보들을 그대로 유지할 수 있다. 이에 의해, 제어부(190)는 먼저 등록 템플릿 DB(114)에 새롭게 갱신된 얼굴 템플릿을 이용하여 얼굴 인식을 처리하고, 유사도가 낮은 경우에는 등록 템플릿 DB(114)에 기존에 저장된 등록 얼굴 템플릿을 더 이용하여 얼굴 인식을 처리할 수 있다.
제어부(190)는 평균 유사도의 값이 가장 큰 템플릿 값(녹색)을 구하기 위해 구체적으로 템플릿 값들을 이용하여 서로 거리를 구하고 이들 거리의 값을 이용하여 복수의 인증 얼굴 템플릿들 각각에 대한 평균 거리의 값을 구하고, 상기 평균 거리의 값들 중에서 평균 거리의 값이 가장 작은 템플릿을 가진 얼굴 템플릿을 새로운 등록 얼굴 템플릿으로 선정할 수 있다. 이 경우, 제어부(190)는 서로 거리를 구한 평균값이 일정한 임계값 이상인 것들은 등록 얼굴 템플릿 후보에 미리 제외할 수 있다. 즉, 인증 템플릿 DB(116)에 저장된 얼굴 템플릿들의 템플릿 값들의 전체 분포에서 소정의 편차를 벗어나는 것은 등록 얼굴 템플릿 후보에 제외할 수 있다. 도 4에 도시된 바와 같이, 왼쪽 2개의 템플릿 값들은 오른쪽에 위치한 템플릿 값들에 비해 등록 얼굴 템플릿 값에 거리가 더 가깝지만 인증 템플릿 DB(116)에 저장된 전체 템플릿 값들에서는 멀리 떨어져 있다. 이에 의해, 새로운 등록 얼굴 템플릿으로 선정된 얼굴 템플릿은 노화나 계절의 변화에 따른 얼굴 이미지의 변화를 더 반영할 수 있다.
제어부(190)는 또한, 얼굴 검출부(130)에서 검출한 얼굴 이미지의 크기 정보를 이용하여 크기 정보가 소정의 임계값보다 작은 경우에도 등록 얼굴 템플릿 후보에서 미리 제외할 수 있다. 이에 의해 정규화 처리에 따른 오류를 제거할 수 있다.
제어부(190)는 또한, 얼굴 템플릿이 저장된 시간 정보를 이용하여 소정의 시간 구간마다 등록 얼굴 템플릿을 구할 수 있다. 이에 의해, 하루 일과 중 시간에 따른 얼굴의 변화와 밤과 낮의 구간 동안 발생하는 조명의 변화 등을 반영할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 얼굴 인식 방법의 흐름도를 도시하는 도면이다.
제어부(190)는 등록 모드이면 등록 템플릿 DB(114)에 정규화 처리부(150)에서 처리되어 생성된 등록 얼굴 템플릿을 저장한다(S502).
제어부(190)는 트레이닝 모드이면 트레이닝 모드로 얼굴 인식부(160)를 제어하므로, 얼굴 인식부(160)는 동일한 사용자의 정규화 처리부(150)에서 처리되어 생성된 검증 얼굴 템플릿을 등록 템플릿 DB(114)에 저장된 등록 얼굴 템플릿과 비교하는 딥 러닝 트레이닝을 수행한다(S504).
제어부(190)는 인증 모드이면 인증 모드로 얼굴 인식부(160)를 제어하므로, 얼굴 인식부(160)는 정규화 처리부(150)에서 처리되어 생성된 얼굴 템플릿을 등록 템플릿 DB(114)에 등록된 얼굴 템플릿들 모두와 비교하여 입력된 영상의 얼굴 템플릿이 등록된 사용자인지를 결정한다(S506).
제어부(190)는 입력된 영상의 얼굴 템플릿이 등록된 사용자이면, 인증 시간에 따른 일과 시간 및 근태 관리 DB에 저장된 사용자의 근태 항목들을 분석하여 디폴트 근태 항목을 디스플레이부(170)에 표시한다(S508). 이 경우, 얼굴 추적부(132)는 얼굴 검출부(130)에서 입력된 얼굴 영역의 정보를 이용하여 디스플레이부(170)에 표시되는 카메라부(120)의 촬영 영상에 얼굴 영역을 중첩함으로써 얼굴 추적을 표시할 수 있다. 제어부(190)는 사용자 입력부(180)를 통해 근태 항목들 중 어느 하나가 입력되지 않으면 디폴트 근태 항목 영역에 인증 시간을 저장하고, 사용자 입력부(180)를 통해 근태 항목들 중 어느 하나가 입력되면 사용자에 의해 입력된 근태 항목에 인증 시간을 저장할 수 있다.
제어부(190)는 또한, 인증 템플릿 DB(116)의 얼굴 템플릿 영역에 입력된 영상의 얼굴 템플릿을 인증 얼굴 템플릿으로 저장한다(S510). 이 경우 제어부(190)는 인증 템플릿 DB(116)의 특징점 정보 영역에 정규화된 특징점 정보를 저장하고, 템플릿 값 영역에 얼굴 인식부(160)에서 컨볼루션 신경망을 통해 얻은 템플릿 값을 저장하고, 아울러 시간 정보 영역에 저장 시간을 저장할 수 있다. 또한, 제어부(190)는 얼굴 검출부(130)에서 검출된 얼굴과 관련된 크기 정보를 인증 템플릿 DB(116)의 크기 정보 영역에 저장할 수 있다.
제어부(190)는 소정의 기간, 예를 들어 1개월이 경과하였는지를 결정한다(S512). 제어부(190)는 소정의 기간이 경과하였으면, 인증 템플릿 DB(116)에 저장된 복수의 인증 얼굴 템플릿들을 독출한다(S514).
제어부(190)는 복수의 인증 얼굴 템플릿들 각각에 대해 서로 거리를 구하고 평균 거리값이 소정의 평균 거리값 이하인 인증 얼굴 템플릿의 값들만을 등록 템플릿 후보들로 결정한다(S516). 이때, 제어부(190)는 인증 템플릿 DB의 크기 정보 영역에 저장된 크기 정보가 소정의 크기 값 이상인 인증 얼굴 템플릿의 값들만을 등록 템플릿 후보들로 더 결정할 수 있다.
제어부(190)는 인증 템플릿 DB(116)에 저장된 복수의 인증 얼굴 템플릿들 중에서 결정된 등록 템플릿 후보들 각각에 대해 서로 유사도를 구하고 평균 유사도의 값이 큰 순서대로 소정 개수의 인증 얼굴 템플릿들을 디스플레이부(170)에 표시한다(S518).
제어부(190)는 사용자 입력부(180)를 통해 디스플레이부(170)에 표시된 인증 얼굴 템플릿들 중 어느 하나가 입력되지 않으면 평균 유사도의 값이 가장 큰 인증 얼굴 템플릿을 새로운 등록 얼굴 템플릿으로 선정하고, 사용자 입력부(180)를 통해 디스플레이부(170)에 표시된 인증 얼굴 템플릿들 중 어느 하나가 입력되면 입력된 인증 얼굴 템플릿을 새로운 등록 얼굴 템플릿으로 선정한다(S520). 제어부(190)는 새로운 등록 얼굴 템플릿을 선정하기 위해, 구체적으로 인증 템플릿 DB(116)에 저장된 복수의 인증 얼굴 템플릿의 값들 중에서 선정된 등록 템플릿 후보들의 인증 얼굴 템플릿의 값들 각각에 대해 서로 거리를 구하고 평균 거리값이 가장 작은 템플릿 값을 가진 얼굴 템플릿을 상기 새로운 등록 얼굴 템플릿으로 선정할 수 있다.
제어부(190)는 선정된 새로운 등록 얼굴 템플릿을 등록 템플릿 DB(114)에 저장함으로써 등록 얼굴 템플릿을 갱신한다(S522).
이상에서 설명된 본 발명의 실시예들은 본 발명의 기술 사상을 예시적으로 보여준 것에 불과하며, 본 발명의 보호 범위는 이하 특허청구범위에 의하여 해석되어야 마땅할 것이다. 또한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형할 수 있을 것인 바, 본 발명과 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 템플릿 저장부 112: 근태 관리 DB
114: 등록 템플릿 DB 116: 인증 템플릿 DB
120: 카메라부 130: 얼굴 검출부
132: 얼굴 추적부 140: 특징 추출부
150: 정규화 처리부 160: 얼굴 인식부
170: 디스플레이부 172: 메뉴 생성부
180: 사용자 입력부 190: 제어부

Claims (11)

  1. 얼굴을 포함하는 영상을 촬영을 하는 카메라부;
    상기 카메라부에 의해 촬영된 영상에서 얼굴 이미지를 검출하는 얼굴 검출부;
    상기 얼굴 이미지에서 특징점 정보를 추출하는 특징 추출부;
    상기 특징점 정보를 이용하여 얼굴 이미지를 정규화처리함으로써 정렬된 얼굴 템플릿을 생성하는 정규화 처리부;
    상기 정규화 처리부로부터 입력된 얼굴 템플릿과 등록 템플릿 DB에 저장된 등록 얼굴 템플릿을 비교하여 상기 입력된 얼굴 템플릿이 등록된 사용자인지를 결정하는 얼굴 인식부; 및
    상기 얼굴 인식부로부터 등록된 사용자라는 결정이 입력되면, 인증 시간에 따른 일과 시간 및 근태 관리 DB에 저장된 사용자의 근태 항목들을 분석하여 디폴트 근태 항목을 디스플레이부에 표시하고, 사용자 입력부를 통해 근태 항목들 중 어느 하나가 입력되지 않으면 상기 디폴트 근태 항목 영역에 상기 인증 시간을 저장하고, 상기 사용자 입력부를 통해 근태 항목들 중 어느 하나가 입력되면 사용자에 의해 입력된 근태 항목 영역에 상기 인증 시간을 저장하는 제어부를 포함하는 것을 특징으로 하는 얼굴 인식 시스템.
  2. 제1항에 있어서,
    상기 얼굴 검출부는 상기 카메라부에 의해 촬영된 영상에서 얼굴 이미지를 검출하되, 상기 카메라부에서 촬영된 영상에 다수의 얼굴이 포함되어 있으면, 가장 큰 얼굴에 대해서만 얼굴 이미지를 검출하여 출력하고,
    상기 얼굴 검출부에서 입력된 상기 얼굴 이미지의 영역 정보를 이용하여 상기 디스플레이부에 표시되는 촬영 영상에 얼굴 영역을 중첩하여 얼굴 추적을 표시하는 얼굴 추적부를 더 포함하는 것을 특징으로 하는 얼굴 인식 시스템.
  3. 제1항에 있어서,
    상기 디스플레이부에 상기 디폴트 근태 항목을 표시하는 방법은 상기 디폴트 근태 항목만을 표시하거나, 다른 근태 항목과는 다르게 표시하여 사용자가 쉽게 확인할 수 있도록 하는 것을 특징으로 하는 얼굴 인식 시스템.
  4. 제1항에 있어서,
    상기 근태 관리 DB에 저장되는 상기 근태 항목들은 출근, 외출, 복귀 및 퇴근을 포함하는 것을 특징으로 하는 얼굴 인식 시스템.
  5. 제1항 내지 제4중 어느 한 항에 있어서,
    상기 제어부는 사용자의 얼굴 인증에 따라 인증 템플릿 DB에 인증 얼굴 템플릿을 저장하고, 소정의 기간이 경과한 후 상기 인증 템플릿 DB에 저장된 복수의 인증 얼굴 템플릿들을 이용하여 상기 복수의 인증 얼굴 템플릿들 각각에 대해 서로 유사도를 구하고, 이들 유사도의 값을 이용하여 상기 복수의 인증 얼굴 템플릿들 각각에 대한 평균 유사도의 값을 구하고, 상기 평균 유사도의 값들 중에서 평균 유사도의 값이 가장 큰 순서대로 소정 개수의 인증 얼굴 템플릿들을 상기 디스플레이부에 표시하고, 상기 사용자 입력부를 통해 상기 디스플레이부에 표시된 인증 얼굴 템플릿들 중 어느 하나를 선택하는 입력이 없으면 평균 유사도의 값이 가장 큰 인증 얼굴 템플릿을 새로운 등록 얼굴 템플릿으로 선정하여 상기 등록 템플릿 DB에 저장함으로써 상기 등록 얼굴 템플릿을 갱신하는 것을 포함하는 것을 특징으로 하는 얼굴 인식 시스템.
  6. 제5항에 있어서,
    상기 제어부는 신경망(Neural Network)을 통해 상기 인증 얼굴 템플릿으로부터 얻어진 템플릿 값을 저장하고,
    상기 소정 개수의 인증 얼굴 템플릿들을 상기 디스플레이부에 표시하는 것은, 상기 인증 템플릿 DB에 저장된 상기 복수의 인증 얼굴 템플릿의 값들을 이용하여 상기 복수의 인증 얼굴 템플릿들 각각에 대해 서로 거리를 구하고, 이들 거리의 값을 이용하여 상기 복수의 인증 얼굴 템플릿들 각각에 대한 평균 거리의 값을 구하고, 상기 평균 거리의 값들 중에서 평균 거리의 값이 가장 작은 순서대로 소정 개수의 인증 얼굴 템플릿의 값들을 상기 디스플레이부에 표시하는 것을 포함하는 것을 특징으로 하는 얼굴 인식 시스템.
  7. 근태 정보를 저장하기 위한 근태 관리 DB를 포함하는 얼굴 인식 시스템에 의한 얼굴 인식 방법에 있어서,
    카메라부에서 얼굴을 포함하는 영상을 촬영을 하는 단계;
    상기 카메라부에 의해 촬영된 영상에서 얼굴 이미지를 검출하는 단계;
    상기 얼굴 이미지에서 특징점 정보를 추출하는 단계;
    상기 특징점 정보를 이용하여 얼굴 이미지를 정규화처리함으로써 정렬된 얼굴 템플릿을 생성하는 단계;
    상기 생성하는 단계에서 생성되어 입력된 얼굴 템플릿과 등록 템플릿 DB에 저장된 등록 얼굴 템플릿을 비교하여 상기 입력된 얼굴 템플릿이 등록된 사용자인지를 결정하는 단계;
    상기 결정하는 단계에서 등록된 사용자라고 결정되면, 인증 시간에 따른 일과 시간 및 근태 관리 DB에 저장된 사용자의 근태 항목들을 분석하여 디폴트 근태 항목을 디스플레이부에 표시하는 단계; 및
    사용자 입력부를 통해 상기 근태 항목들 중 어느 하나가 입력되지 않으면 상기 디폴트 근태 항목 영역에 상기 인증 시간을 저장하고, 상기 사용자 입력부를 통해 상기 근태 항목들 중 어느 하나가 입력되면 사용자에 의해 입력된 근태 항목 영역에 상기 인증 시간을 저장하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 방법.
  8. 제7항에 있어서,
    상기 얼굴 이미지를 검출하는 단계는, 상기 카메라부에서 촬영된 영상에 다수의 얼굴이 포함되어 있으면 가장 큰 얼굴에 대해서만 얼굴 이미지를 검출하여 출력하는 것을 포함하고,
    상기 얼굴 이미지를 검출하는 단계로부터 입력된 상기 얼굴 이미지의 영역 정보를 이용하여 상기 디스플레이부에 표시되는 촬영 영상에 얼굴 영역을 중첩하여 얼굴 추적을 표시하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 인식 방법.
  9. 얼굴을 포함하는 영상을 촬영을 하는 카메라부;
    상기 카메라부에 의해 촬영된 영상에서 얼굴 이미지를 검출하는 얼굴검출부;
    상기 얼굴 검출부에서 입력된 상기 얼굴 이미지의 영역 정보를 이용하여 디스플레이부에 표시되는 촬영 영상에 얼굴 영역을 중첩하여 얼굴 추적을 표시하는 얼굴 추적부;
    상기 얼굴 이미지에서 특징점 정보를 추출하는 특징 추출부;
    상기 특징점 정보를 이용하여 입력된 얼굴 템플릿과 등록 템플릿 DB에 저장된 등록 얼굴 템플릿을 비교하여 상기 입력된 얼굴 템플릿이 등록된 사용자인지를 결정하는 얼굴 인식부;
    상기 얼굴 인식부로부터 등록된 사용자라는 결정이 입력되면, 즉시 근태 메뉴를 활성화시켜 상기 디스플레이부의 소정 영역에 표시하는 제어부를 포함하고,
    상기 근태 메뉴는 상기 디스플레이부에 인증자의 얼굴이 상기 얼굴 추적부에 표시되는 동안에만 표시되는 것을 특징으로하는 얼굴 인식 시스템.
  10. 제9항에 있어서,
    상기 근태 메뉴의 근태 항목들은 출근, 외출, 복귀 및 퇴근을 포함하며,
    상기 디스플레이부에 표시되는 근태 항목은 일과 시간 및 근태 관리 DB에 저장된 사용자의 근태 항목들을 분석하여 디폴트 근태 항목을 상기 얼굴 디스플레이부에 표시하고, 사용자 입력부를 통해 근태 항목들 중 어느 하나가 입력되지 않으면 상기 디폴트 근태 항목 영역에 인증 시간을 저장하고, 상기 사용자 입력부를 통해 근태 항목들 중 어느 하나가 입력되면 사용자에 의해 입력된 근태 항목 영역에 상기 인증 시간을 저장하는 제어부를 포함하는 것을 특징으로 하는 얼굴 인식 시스템.
  11. 제9항에 있어서,
    상기 얼굴검출부는, 상기 카메라부에 의해 촬영된 영상에서 얼굴 이미지를 검출하되, 상기 카메라부에서 촬영된 영상에 다수의 얼굴이 포함되어 있으면, 가장 큰 얼굴에 대해서만 얼굴 이미지를 검출하여 출력하는 것을 특징으로 하는 얼굴 인식 시스템.
KR1020200022471A 2020-02-24 2020-02-24 근태 메뉴의 활성화가 가능한 얼굴 인식 시스템 및 방법 KR102325251B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200022471A KR102325251B1 (ko) 2020-02-24 2020-02-24 근태 메뉴의 활성화가 가능한 얼굴 인식 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200022471A KR102325251B1 (ko) 2020-02-24 2020-02-24 근태 메뉴의 활성화가 가능한 얼굴 인식 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210107452A true KR20210107452A (ko) 2021-09-01
KR102325251B1 KR102325251B1 (ko) 2021-11-11

Family

ID=77780038

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200022471A KR102325251B1 (ko) 2020-02-24 2020-02-24 근태 메뉴의 활성화가 가능한 얼굴 인식 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102325251B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004178051A (ja) * 2002-11-25 2004-06-24 Aruze Corp 勤怠管理方法、及び勤怠管理システム
KR20110006062A (ko) * 2009-07-13 2011-01-20 주식회사 미래인식 얼굴 인식 시스템 및 얼굴 인식 방법
KR20120045667A (ko) * 2010-10-29 2012-05-09 삼성전자주식회사 움직임 인식을 이용한 사용자 인터페이스 장치 및 방법
KR101421952B1 (ko) * 2013-05-03 2014-07-23 주식회사 슈프리마 얼굴 인식 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004178051A (ja) * 2002-11-25 2004-06-24 Aruze Corp 勤怠管理方法、及び勤怠管理システム
KR20110006062A (ko) * 2009-07-13 2011-01-20 주식회사 미래인식 얼굴 인식 시스템 및 얼굴 인식 방법
KR20120045667A (ko) * 2010-10-29 2012-05-09 삼성전자주식회사 움직임 인식을 이용한 사용자 인터페이스 장치 및 방법
KR101421952B1 (ko) * 2013-05-03 2014-07-23 주식회사 슈프리마 얼굴 인식 장치 및 방법

Also Published As

Publication number Publication date
KR102325251B1 (ko) 2021-11-11

Similar Documents

Publication Publication Date Title
US11861937B2 (en) Facial verification method and apparatus
US20220318369A1 (en) Face recognition system and method capable of updating registered face templates
US9607138B1 (en) User authentication and verification through video analysis
US9213886B2 (en) Method and device for notification of facial recognition environment, and computer-readable recording medium for executing method
CN104794465B (zh) 一种基于姿态信息的活体检测方法
JP7334292B2 (ja) 顔生体検出方法、装置、電子機器及び記憶媒体
US10922399B2 (en) Authentication verification using soft biometric traits
JP2003317101A (ja) データベース自動更新方法を用いた顔検証方法及びそのシステム
WO2013159686A1 (en) Three-dimensional face recognition for mobile devices
KR20120139100A (ko) 얼굴 인증을 이용한 보안 장치 및 방법
US20200184198A1 (en) Facial authentication device, facial authentication method, and program recording medium
WO2015122789A1 (en) Facial recognition and user authentication method
JP2017017431A (ja) 画像処理装置、情報処理方法及びプログラム
US20210256244A1 (en) Method for authentication or identification of an individual
JP2014186505A (ja) 視線検出装置及び撮像装置
Lalithamani Gesture control using single camera for PC
CN106156739B (zh) 一种基于脸部轮廓分析的证件照耳朵检测与提取方法
Zhang et al. A novel efficient method for abnormal face detection in ATM
KR102325251B1 (ko) 근태 메뉴의 활성화가 가능한 얼굴 인식 시스템 및 방법
KR102380426B1 (ko) 얼굴 인증 방법 및 장치
Xu et al. Saliency model based head pose estimation by sparse optical flow
KR101509934B1 (ko) 정면 얼굴 자세 유도 장치, 및 정면 얼굴 자세 유도 방법
US20240112496A1 (en) Image processing apparatus, authentication system, method, and non-transitory computer-readable storage medium
WO2023175939A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
EP4394733A1 (en) Method and electronic device for determining user's hand in video

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right