KR101464464B1 - 얼굴 인식 생체 인증 방법 및 장치 - Google Patents

얼굴 인식 생체 인증 방법 및 장치 Download PDF

Info

Publication number
KR101464464B1
KR101464464B1 KR1020130151568A KR20130151568A KR101464464B1 KR 101464464 B1 KR101464464 B1 KR 101464464B1 KR 1020130151568 A KR1020130151568 A KR 1020130151568A KR 20130151568 A KR20130151568 A KR 20130151568A KR 101464464 B1 KR101464464 B1 KR 101464464B1
Authority
KR
South Korea
Prior art keywords
image
characteristic value
subject
result
unit
Prior art date
Application number
KR1020130151568A
Other languages
English (en)
Inventor
이기덕
박보건
신호철
송봉섭
이재원
Original Assignee
주식회사 슈프리마
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 슈프리마 filed Critical 주식회사 슈프리마
Priority to KR1020130151568A priority Critical patent/KR101464464B1/ko
Application granted granted Critical
Publication of KR101464464B1 publication Critical patent/KR101464464B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/3296Power saving characterised by the action undertaken by lowering the supply or operating voltage
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3265Power saving in display device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/329Power saving characterised by the action undertaken by task scheduling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 얼굴 인식 생체 인증 방법 및 장치에 관한 것이다. 개시된 인굴 인식 생체 인증 방법은 피사체를 촬영하여 획득된 영상에 대한 분석을 통해 피사체의 얼굴 영역을 검출하는 단계와, 얼굴 영역이 검출되면 기 등록된 생체 정보와의 비교 결과에 따라 생체 인증을 처리하는 단계와, 영상에 대한 분석 및 생체 인증을 위한 부하 변화에 따른 하드웨어의 상태를 나타내는 특성값과 기 설정된 기준값을 비교하는 단계와, 특성값과 기준값의 비교 결과에 따라 생체 인증의 결과를 나타내는 출력창의 표시 시간을 조절하며, 표시 시간 내에서 영상에 대한 분석 및 생체 인증의 휴지 기간을 변화시켜 부하 변화에 의한 특성값을 조정하는 단계를 포함한다. 따라서, 피사체의 영상에 대한 분석 및 생체 인증을 위한 부하 변화에 따른 하드웨어의 상태 변화에 맞추어서 생체 인증의 결과를 나타내는 출력창의 표시 시간을 조절함으로써, 사용자가 인지하지 못하게 은폐한 상태에서 영상의 분석 및 인증을 위한 프로세싱의 휴지 기간을 변화시켜서 사용성의 저하를 체감할 수 없도록 하는 이점이 있다.

Description

얼굴 인식 생체 인증 방법 및 장치{METHOD AND APPARATUS FOR AUTHENTICATING BIOMETRIC BY USING FACE RECOGNIZING}
본 발명은 생체 인증 방법 및 장치에 관한 것이다. 더욱 상세하게는 얼굴 인식을 통해 생체 인증을 처리하는 생체 인증 방법 및 장치에 관한 것이다.
주지하는 바와 같이, 현재 생체 인증 시스템에 사용되는 특징으로는 얼굴, 음성, 손 모양, 홍채, 정맥, 지문 등이 있으며, 각각의 특징에 대한 연구가 활발히 진행되고 있다.
이러한 생체 인증 기술들 중에서 얼굴 인식을 이용하는 얼굴 인식 장치(단말기)는 사용의 편의성과 빠른 인증 속도를 제공하는 장점이 있어서 그 점유율이 점차 높아지고 있다.
그런데, 다수의 유저를 위한 생체 인증 장치는 FAR(False Acceptance Rate)이 낮은 우수한 인증 성능이 요구될 뿐만 아니라 하드웨어적인 신뢰도 및 강인성이 확보되어야 한다.
종래 기술에 따라 생체 인증 장치를 적용하여 출입 통제 시스템을 구축한 경우라면, 사용자들의 잦은 출입으로 인한 부하 증대는 발열 및 전력 소모에 악영향을 줄 수 있으며, 발열에 의해 하드웨어적인 손상이 발생할 수 있다. 특히, 얼굴 인식을 이용하는 생체 인증 장치의 경우에는 영상 분석 및 처리에 많은 리소스(resource)가 소요되기 때문에 지문 인식을 이용하는 생체 인증 장치 등과 같은 여타의 생체 인증 장치와 비교할 때에 발열에 더욱 민감하다고 할 수 있다.
한편, 얼굴 인식을 이용하는 생체 인증 장치에서 발열에 대비한 대책으로는 피사체의 영상을 분석 및 인증하기 위한 프로세싱을 정지시켜서, 즉 발열의 원인을 제거하여 하드웨어의 온도를 낮추는 방안을 모색해 볼 수 있다.
하지만, 이처럼 무턱대고 영상의 분석 및 인증을 위한 프로세싱을 정지시키면 그만큼 생체 인증 장치의 사용성이 저하되는 것이며, 프로세싱 정지 시간이 길어지면 생체 인증 장치에 고장이 발생한 것으로 오인할 수 있는 문제점이 있다.
한국공개특허 2007-0027633, 공개일자 2007년 03월 09일.
본 발명의 실시예에 의하면, 영상에 대한 분석 및 생체 인증을 위한 부하 변화에 따른 하드웨어의 상태 변화에 맞추어서 생체 인증의 결과를 나타내는 출력창의 표시 시간을 조절함으로써, 사용자가 인지하지 못하게 은폐한 상태에서 영상의 분석 및 인증을 위한 프로세싱의 휴지 기간을 변화시켜서 사용성의 저하를 체감할 수 없도록 하는 얼굴 인식 생체 인증 방법 및 장치를 제공한다.
또한, 이러한 얼굴 인식 생체 인증 방법 및 장치는 영상을 분석하여 얼굴 영역을 검출하는 프로세싱과 휴지를 짧은 주기로 교번하며, 생체 인증에 대한 사용자의 의지를 추정하여 그 추정 결과에 따라 영상의 획득, 분석 및 인증을 위한 프로세싱을 휴지시켜서, 하드웨어의 발열에 의한 온도 상승을 억제할 수 있다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 관점에 따른 얼굴 인식 생체 인증 방법은, 피사체를 촬영하여 획득된 영상에 대한 분석을 통해 상기 피사체의 얼굴 영역을 검출하는 단계와, 상기 얼굴 영역이 검출되면 기 등록된 생체 정보와의 비교 결과에 따라 생체 인증을 처리하는 단계와, 상기 영상에 대한 분석 및 상기 생체 인증을 위한 부하 변화에 따른 하드웨어의 상태를 나타내는 특성값과 기 설정된 기준값을 비교하는 단계와, 상기 특성값과 상기 기준값의 비교 결과에 따라 상기 생체 인증의 결과를 나타내는 출력창의 표시 시간을 조절하며, 상기 표시 시간 내에서 상기 영상에 대한 분석 및 상기 생체 인증의 휴지 기간을 변화시켜 상기 부하 변화에 의한 특성값을 조정하는 단계를 포함할 수 있다.
여기서, 상기 특성값과 상기 기준값의 비교 결과에 따라 상기 촬영을 휴지하여 상기 부하 변화에 의한 특성값을 조정하는 단계를 더 포함할 수 있다.
상기 얼굴 영역을 검출하는 단계에서 상기 피사체가 센싱 유효범위 내로 근접하는 것을 감지하는 근접 센서에 의해 상기 피사체가 센싱되면 상기 촬영이 수행되며, 상기 특성값과 상기 기준값의 비교 결과에 따라 상기 센싱을 휴지하여 상기 부하 변화에 의한 특성값을 조정하는 단계를 더 포함할 수 있다.
상기 얼굴 영역을 검출하는 단계에서 상기 피사체가 센싱 유효범위 내로 근접하는 것을 감지하는 근접 센서에 의해 상기 피사체가 센싱되면 상기 촬영이 수행되며, 상기 영상으로부터 상기 얼굴 영역이 검출되기 전까지의 경과시간과 기 설정된 검출 기준시간을 비교하는 단계와, 상기 검출 기준시간과의 비교 결과에 따라 상기 영상에 대한 분석과 휴지를 주기적으로 교번하거나 상기 센싱의 휴지 기간을 가져서 상기 부하 변화에 의한 특성값을 조정하는 단계를 더 포함할 수 있다.
상기 특성값은, 상기 하드웨어의 발열에 의해 변화되는 온도값일 수 있다.
본 발명의 다른 관점에 따른 얼굴 인식 생체 인증 장치는, 피사체를 촬영하여 영상을 획득하는 영상 획득부와, 획득된 상기 영상에 대한 분석을 통해 상기 피사체의 얼굴 영역을 검출하는 영상 분석부와, 상기 얼굴 영역이 검출되면 기 등록된 생체 정보와의 비교 결과에 따라 생체 인증을 처리하는 인증 처리부와, 상기 영상에 대한 분석 및 상기 생체 인증을 위한 부하 변화에 따른 하드웨어의 상태를 나타내는 특성값을 센싱하는 상태 센싱부와, 상기 얼굴 영역의 검출 및 상기 생체 인증의 처리 결과를 나타내는 출력창을 표시하는 영상 출력부와, 센싱된 상기 특성값과 기 설정된 기준값의 비교 결과에 따라 상기 출력창의 표시 시간을 조절하며, 상기 표시 시간 내에서 상기 영상에 대한 분석 및 상기 생체 인증의 휴지 기간을 변화시켜 상기 부하 변화에 의한 특성값을 조정하는 부하 조정부를 포함할 수 있다.
여기서, 상기 부하 조정부는, 상기 특성값과 상기 기준값의 비교 결과에 따라 상기 촬영을 휴지시켜 상기 부하 변화에 의한 특성값을 조정할 수 있다.
상기 피사체가 센싱 유효범위 내로 근접하는 것을 센싱하는 근접 센싱부를 더 포함하며, 상기 영상 획득부는, 상기 피사체가 센싱되면 상기 촬영을 수행하고, 상기 부하 조정부는, 상기 특성값과 상기 기준값의 비교 결과에 따라 상기 센싱을 휴지하여 상기 부하 변화에 의한 특성값을 조정할 수 있다.
상기 피사체가 센싱 유효범위 내로 근접하는 것을 센싱하는 근접 센싱부를 더 포함하며, 상기 영상 획득부는, 상기 피사체가 센싱되면 상기 촬영을 수행하고, 상기 부하 조정부는, 상기 영상으로부터 상기 얼굴 영역이 검출되기 전까지의 경과시간과 기 설정된 검출 기준시간을 비교한 결과에 따라 상기 영상에 대한 분석과 휴지를 주기적으로 교번하거나 상기 센싱의 휴지 기간을 가지도록 하여 상기 부하 변화에 의한 특성값을 조정할 수 있다.
상기 상태 센싱부는, 상기 하드웨어의 발열에 의해 변화되는 온도를 센싱할 수 있다.
본 발명의 실시예에 의하면, 피사체의 영상에 대한 분석 및 생체 인증을 위한 부하 변화에 따른 하드웨어의 상태 변화에 맞추어서 생체 인증의 결과를 나타내는 출력창의 표시 시간을 조절함으로써, 사용자가 인지하지 못하게 은폐한 상태에서 영상의 분석 및 인증을 위한 프로세싱의 휴지 기간을 변화시켜서 사용성의 저하를 체감할 수 없도록 하는 얼굴 인식 생체 인증 방법 및 장치를 제공한다.
이러한 본 발명에 의하면, 생체 인증을 위한 부하 증대에 따른 발열에 의해 하드웨어의 온도가 비정상적으로 증대되는 상황 등에서 생체 인증의 결과를 나타내는 출력창의 표시 시간을 증대시킨다. 이때, 출력창이 표시되는 동안은 영상의 획득, 분석 및 인증을 위한 프로세싱이 필요하지 않기에 휴지시킬 수 있다. 따라서, 발열의 원인을 제거하여 하드웨어의 온도를 낮출 수 있는 환경이 조성되면서도 생체 인증의 결과를 나타내는 출력창이 표시되고 있기에 휴지 상태가 은폐되며, 사용자는 휴지 상태에 진입한 것을 인지하지 못하여 사용성의 저하를 체감할 수 없다.
아울러, 영상 분석을 통해 얼굴 영역을 검출하는 프로세싱과 휴지를 짧은 주기로 교번하며, 획득된 영상으로부터 얼굴 영역이 검출되기 전까지의 경과 시간을 기준으로 하여 생체 인증에 대한 사용자의 의지를 추정하고, 그 추정 결과에 따라 영상의 획득, 분석 및 인증을 위한 프로세싱을 곧바로 휴지시켜서, 하드웨어의 발열에 의한 온도 상승을 최대한 억제할 수 있다.
또한, 생체 인증에 대한 사용자 의지의 추정 결과와 발열에 의한 하드웨어의 온도 센싱값 등을 고려하여 영상의 획득, 분석 및 인증을 위한 프로세싱을 강제적으로 휴지시켜서 부하 변화에 의한 특성값을 조정할 수 있다. 이러한 강제적인 휴지는 사용자에 의해 재시작이 요청되는 등과 같은 재시작 조건이 만족할 때까지 수행될 수 있다.
도 1은 본 발명의 실시예에 따른 얼굴 인식 생체 인증 장치의 블록 구성도이다.
도 2는 본 발명의 실시예에 따른 얼굴 인식 생체 인증 방법을 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 얼굴 인식 생체 인증 장치의 블록 구성도이다.
이에 나타낸 바와 같이 본 발명의 실시예에 따른 생체 인증 장치(100)는, 영상 획득부(110), 상태 센싱부(120), 근접 센싱부(130), 적외선 발생부(140), 정보 입력부(150), 제어부(160), 정보 저장부(170), 영상 출력부(180), 인증 연동부(190) 등을 포함한다. 제어부(160)는 영상 분석부(161), 인증 처리부(163), 부하 조정부(165) 등을 포함한다.
적외선 발생부(140)는 도 1에 예시한 바와 같이 생체 인증 장치(100)에 일체로 구비될 수도 있으며, 생체 인증 장치(100)와는 분리된 위치에 별도로 설치될 수 있다. 이러한 적외선 발생부(140)는 생체 인증 장치(100)의 영상 획득부(110)가 생체 인증을 위한 영상을 촬영할 수 있도록 적외선 광을 발생시키는 광원의 역할을 한다.
근접 센싱부(130)는 피사체가 센싱 유효범위 내로 근접하는 것을 감지한다. 예컨대, 근접 센싱부(130)는 적외선 신호를 송출한 후에 피사체에 의해 반사되는 적외선 신호의 수신값에 따라 피사체의 근접을 감지할 수 있다.
영상 획득부(110)는 피사체를 촬영하여 영상을 획득한다. 적외선 발생부(140)에서 발생된 적외선 광에 대해 피사체가 그 일부는 흡수하고 일부는 반사하며, 영상 획득부(110)는 피사체에 의해 반사된 적외선 광을 수광하여 피사체의 영상을 획득한다. 여기서, 영상 획득부(110)는 일반적인 얼굴 인식 생체 인증 장치에 이용되는 카메라 등으로 구현할 수 있으며, 카메라에 의한 유효 근접 촬영범위에 피사체의 얼굴을 위치시키면 얼굴 인증에 이용할 수 있는 인증용 영상을 획득할 수 있다.
상태 센싱부(120)는 영상에 대한 분석 및 생체 인증을 위한 부하 변화에 따른 하드웨어의 상태를 나타내는 특성값을 센싱한다. 이러한 상태 센싱부(120)는 하드웨어의 발열에 의해 변화되는 온도를 센싱하는 온도 센서 등으로 구현할 수 있다.
정보 입력부(150)는 사용자가 각종 명령이나 데이터를 입력할 수 있는 인터페이스이다. 예컨대, 생체 인증 장치(100)의 외부에 일체로 마련된 키패드 등으로 구현할 수 있다.
영상 분석부(161)는 영상 획득부(110)에 의해 획득된 영상에 대한 분석을 통해 얼굴 영역을 파악한다. 이러한 영상 분석부(161)는 영상 획득부(110)에 의해 획득된 영상을 분석하여 얼굴 요소 중의 하나인 양안의 위치를 검출한 후에 양안의 위치를 기준으로 얼굴 영역을 추정하며, 양안을 연결하는 가상선의 기울기를 산출한 후에 추정된 얼굴 영역을 기울기에 대응하는 각도만큼 회전시킬 수 있다.
인증 처리부(163)는 영상 분석부(161)에 의해 파악된 얼굴 영역의 정보와 정보 저장부(170)에 기 등록된 얼굴 생체 정보를 비교하여 그 일치 여부 또는 유사도에 따라 얼굴 인증을 처리한다. 예컨대, 피사체의 영상으로부터 추정된 얼굴 영역에서 추출한 정보와 기 등록된 얼굴 생체 정보의 일치도에 비례하는 인증점수가 기 설정된 기준점수보다 높을 경우에는 피사체에 대한 인증 결과를 정상으로 판정할 수 있다.
부하 조정부(165)는 상태 센싱부(120)에 의해 센싱된 특성값과 정보 저장부(170)에 기 설정된 기준값의 비교 결과에 따라 영상 출력부(180)에 의한 출력창의 표시 시간을 조절하며, 표시 시간 내에서 영상에 대한 분석 및 생체 인증의 휴지 기간을 변화시켜 부하 변화에 의한 특성값을 조정한다. 예컨대, 부하 조정부(165)는 영상 획득부(110)에 의한 피사체의 촬영이나 근접 센싱부(130)에 의한 피사체의 근접 센싱을 휴지시켜 부하 변화에 의한 특성값을 조정할 수 있다.
아울러, 부하 조정부(165)는 영상으로부터 얼굴 영역이 검출되기 전까지의 경과시간과 기 설정된 검출 기준시간을 비교한 결과에 따라 영상에 대한 분석과 휴지를 주기적으로 교번하거나 센싱의 휴지 기간을 가지도록 하여 부하 변화에 의한 특성값을 조정할 수 있다.
정보 저장부(170)에는 인증 처리부(163)의 얼굴 인증에 필요한 얼굴 생체 정보가 등록 및 저장된다. 이외에도, 정보 저장부(170)에는 영상 분석 및 인증 과정에서 필요한 각종 기준값이나 데이터가 저장될 수 있다.
영상 출력부(180)는 인증 처리부(163)에 의한 생체 인증의 처리 결과를 외부에 화상으로 출력하여 사용자가 인지할 수 있도록 한다. 이외에도, 영상 출력부(180)는 영상 획득부(110)에 의한 촬영 시에 실시간으로 획득되는 영상을 표시할 수 있다.
인증 연동부(190)는 인증 처리부(163)에 의한 생체 인증 결과에 따라 연동하는 각종의 부하물로 구현될 수 있다. 예컨대, 생체 인증 장치(100)가 출입 통제 시스템을 구축한 경우라면 생체 인증 결과에 따라 출입문을 개폐하는 액추에이터(actuator)로 구현될 수 있다.
도 2는 본 발명의 실시예에 따른 얼굴 인식 생체 인증 방법을 설명하기 위한 흐름도이다.
이에 나타낸 바와 같이 실시예에 따른 생체 인증 방법은, 피사체가 센싱 유효범위 내로 근접하는 것을 감지하는 근접 센서에 의해 피사체가 센싱되면 촬영을 수행하여 획득된 영상에 대한 분석을 통해 피사체의 얼굴 영역을 검출하는 단계(S201 내지 S207)를 포함한다.
그리고, 영상으로부터 얼굴 영역이 검출되기 전까지의 경과시간과 기 설정된 검출 기준시간을 비교하여 그 비교 결과에 따라 영상에 대한 분석과 휴지를 짧은 주기로 교번하여 부하 변화에 의한 특성값을 조정하는 단계(S209, S211)를 더 포함한다.
또, 얼굴 영역이 검출되면 기 등록된 생체 정보와의 비교 결과에 따라 생체 인증을 처리하는 단계(S215 및 S217)를 포함한다.
아울러, 영상에 대한 분석 및 생체 인증을 위한 부하 변화에 따른 하드웨어의 상태를 나타내는 특성값과 기 설정된 기준값을 비교하는 단계(S221 및 S223)를 더 포함한다.
또, 특성값과 기준값의 비교 결과에 따라 생체 인증의 결과를 나타내는 출력창의 표시 시간을 조절하여 표시 시간 내에서 영상에 대한 분석 및 생체 인증의 휴지 기간을 변화시켜 부하 변화에 의한 특성값을 조정하는 단계(S225)를 더 포함한다.
이어서, 단계 S223에 의한 특성값과 기준값의 비교 결과에 따라 촬영을 휴지하여 부하 변화에 의한 특성값을 조정하는 단계(S227)를 더 포함한다.
또한, 단계 S223에 의한 특성값과 기준값의 비교 결과 또는 단계 S209에 의한 얼굴 검출 경과시간과 기 설정된 검출 기준시간의 비교 결과에 따라 피사체가 센싱 유효범위 내로 근접하는 것을 감지하는 센싱을 휴지하여 부하 변화에 의한 특성값을 조정하는 단계(S213)를 더 포함한다.
끝으로, 단계 S215에 의한 얼굴 영역과 기 등록된 생체 정보와의 비교 결과에 따른 생체 인증의 처리 결과를 영상을 출력하여 표시하는 단계(S219)를 더 포함한다.
이하, 도 1 내지 도 2를 참조하여 본 발명의 실시예에 따른 생체 인증 장치가 피사체에 대해 생체 인증을 수행하는 과정에 대해 더 자세히 살펴보기로 한다.
먼저, 근접 센싱부(130)는 적외선 신호를 송출한 후에 피사체에 의해 반사되는 적외선 신호의 수신값에 따라 피사체가 센싱 유효범위 내로 근접하는 것을 감지한다(S201).
그리고, 근접 센싱부(120)에 의해 피사체의 근접이 감지되면 제어부(160)의 제어에 따라 적외선 발생부(140)는 적외선 광을 발생시켜서 영상 획득부(110)에 의해 영상이 용이하게 촬영될 수 있도록 한다(S203).
그러면, 영상 획득부(110)는 피사체를 촬영하여 영상을 획득한다. 여기서, 적외선 발생부(140)에서 발생된 적외선 광에 대해 피사체가 그 일부는 흡수하고 일부는 반사하며, 영상 획득부(110)는 피사체에 의해 반사된 적외선 광을 수광하여 피사체의 영상을 획득한다.
그리고, 영상 획득부(110)에 의해 획득된 피사체의 영상은 영상 분석부(161)로 제공되며, 영상 분석부(161)는 획득된 영상에 대한 분석을 통해 얼굴 영역을 검출한다(S205 및 S207).
여기서, 영상 분석부(161)는 영상 획득부(110)에 의해 획득된 영상을 분석하여 얼굴 요소 중의 하나인 양안의 위치를 검출한 후에 얼굴 영역을 추정할 수 있다. 예컨대, 공지의 아다부스트(adaboost) 알고리즘 등을 이용하여 양안의 위치를 검출할 수 있다.
아울러, 부하 조정부(165)는 영상으로부터 얼굴 영역이 검출되기 전까지의 경과시간을 계수하며, 계수된 경과시간과 기 설정되어 정보 저장부(170)에 저장된 검출 기준시간을 비교하고, 그 비교 결과에 따라 영상에 대한 분석과 휴지를 짧은 주기로 교번하여 부하 변화에 의한 특성값을 조정한다(S209, S211). 예컨대, 계수된 경과시간이 검출 기준시간보다 짧으면 피사체의 영상에 대한 분석 중에 주기적인 휴지 기간을 가지도록 한다. 즉, 영상 분석 기간과 휴지 기간이 짧은 주기로 교번되도록 함으로써, 연속적인 영상 분석에 의한 과도한 발열이 발생되지 않도록 한다.
여기서, 부하 조정부(165)는 영상으로부터 얼굴 영역이 검출되기 전까지의 경과시간을 기 저장된 검출 기준시간과 비교할 때에 동일해 지거나 계수된 경과시간이 더 길어지면 사용자가 생체 인증에 대한 의지가 없는 것으로 추정할 수 있다. 예컨대, 본 발명의 실시예에 따른 얼굴 인식 생체 인증 장치(100)를 이용하여 출입 통제 시스템을 구축한 경우에, 피사체가 출입을 위해 얼굴 인식 생체 인증 장치(100)에 근접된 것이 아니라 그 앞을 스쳐 지나가는 경우가 이에 해당한다.
이렇게 부하 조정부(165)는 사용자가 생체 인증에 대한 의지가 없는 것으로 추정될 때에는 영상의 획득, 분석 및 인증을 위한 프로세싱을 곧바로 휴지시킬 수 있다. 예컨대, 근접 센싱부(130)에 의한 근접 센싱을 기 설정된 시간 동안 휴지시켜서 동일한 피사체가 곧바로 다시 촬영되지 않도록 할 수 있다(S213). 여기서, 피사체의 근접 센싱을 휴지하면 영상 획득부(110)에 의한 영상 촬영 절차 및 영상 분석부(161)에 의한 영상 분석 절차가 휴지되기 때문에, 부하 변화에 의한 특성값이 조정된다. 즉, 더 이상의 발열이 발생하지 않기 때문에 하드웨어의 온도 측정값이 저하된다.
한편, 상태 센싱부(120)는 영상에 대한 분석 및 생체 인증을 위한 부하 변화에 따른 하드웨어의 상태를 나타내는 특성값을 센싱한 후에 기 설정된 기준값과 비교한다. 예컨대, 온도 센서를 이용하여 하드웨어의 온도를 측정한 후에 기 설정된 기준 온도와 비교하여 측정된 온도가 기준 온도를 초과하는지를 판정한다(S221, S223).
여기서, 부하 조정부(165)는 하드웨어의 특성값과 기 설정된 기준값의 비교 결과에 따라 생체 인증의 결과를 나타내는 출력창의 표시 시간이 증대되도록 조절한다(S225). 이 때, 출력창이 표시되는 동안은 영상의 획득, 분석 및 인증을 위한 프로세싱이 필요하지 않기에, 예컨대 영상 획득부(110)에 의한 영상 촬영을 휴지시킬 수 있다(S227). 즉, 출력창의 표시 시간 내에서 영상에 대한 분석 및 생체 인증의 휴지 기간을 변화시켜 부하 변화에 의한 특성값을 조정한다. 다시 말해서, 하드웨어를 대상으로 측정된 온도가 기 설정된 기준 온도보다 높으면 과열 상황 또는 과열 예비 상황이라고 판정하며, 과열 상황 또는 과열 예비 상황에서는 발열의 원인을 제거하여 하드웨어의 온도를 낮출 수 있는 환경을 조성하면서도 생체 인증의 결과를 나타내는 출력창의 표시 시간을 증대시켜서 휴지 상태를 은폐함으로써, 사용자가 휴지 상태에 진입한 것을 인지하지 못하여 사용성의 저하를 체감할 수 없도록 한다.
아울러, 부하 조정부(165)는 앞서 설명한 단계 S213으로 진입하여 피사체가 센싱 유효범위 내로 근접하는 것을 감지하는 근접 센서에 의한 센싱을 휴지시켜서 부하 변화에 의한 특성값을 조정할 수 있다(S213).
이처럼, 영상 획득부(110)가 영상 촬영을 휴지함과 아울러 근접 센싱부(120)가 근접 센싱을 휴지하는 것은 영상 분석부(161)가 피사체의 영상 분석을 위한 프로세싱을 멈추는 연쇄 효과를 가져온다. 즉, 발열의 원인이 대부분 제거되어 하드웨어의 온도를 낮출 수 있는 최적 환경이 조성된다.
이렇게, 생체 인증에 대한 사용자 의지의 추정 결과와 발열에 의한 하드웨어의 온도 센싱값 등이 고려되어 영상의 획득, 분석 및 인증을 위한 프로세싱이 강제적으로 휴지되었더라도, 사용자가 정보 입력부(150) 등에 의해 제공되는 인터페이스를 통해 재시작을 요청하는 등과 같은 재시작 조건이 만족되면 부하 조정부(165)는 근접 센싱부(130)에 의한 피사체의 근접 센싱 및 영상 획득부(110)에 의한 피사체의 영상 촬영이 다시 시작되도록 조정 및 제어할 수 있다.
앞서 설명한 단계 S207에서, 영상 분석부(151)에 의해 얼굴 영역이 파악되면 얼굴 인증부(153)는 파악된 얼굴 영역으로부터 생체 인증을 위한 정보를 추출하며, 추출된 정보와 정보 저장부(160)에 기 등록된 얼굴 생체 정보를 비교하여 그 일치 여부 또는 유사도에 따라 얼굴 인증을 처리한다(S215). 여기서, 얼굴 영역으로부터 추출된 정보에 의거한 인증 절차는 정보 저장부(170)에 기 등록된 인증 기준시간 동안만 수행된다. 이는 인증 처리가 지연되면서 발생할 수 있는 과도한 발열 현상을 방지하기 위한 것이다.
다음으로, 단계 S215에 의한 얼굴 영역과 기 등록된 생체 정보와의 비교 결과에 따른 생체 인증의 처리 결과는 영상 출력부(180)에 의해 영상으로 출력 및 표시되어 사용자가 인지할 수 있도록 한다(S219).
또, 인증 연동부(180)는 인증 처리부(163)에 의한 생체 인증 결과에 따라 각종의 부하물을 연동시킬 수 있다. 예컨대, 생체 인증 장치(100)를 사용하여 출입 통제 시스템을 구축한 경우라면 생체 인증 결과에 따라 액추에이터를 구동시켜서 출입문을 개폐할 수 있다.
지금까지 설명한 바와 같이, 본 발명의 실시예에 따르면 피사체의 영상에 대한 분석 및 생체 인증을 위한 부하 변화에 따른 하드웨어의 상태 변화에 맞추어서 생체 인증의 결과를 나타내는 출력창의 표시 시간을 조절함으로써, 사용자가 인지하지 못하게 은폐한 상태에서 영상의 분석 및 인증을 위한 프로세싱의 휴지 기간을 변화시켜서 사용성의 저하를 체감할 수 없도록 한다.
이러한 본 발명에 의하면, 생체 인증을 위한 부하 증대에 따른 발열에 의해 하드웨어의 온도가 비정상적으로 증대되는 상황 등에서 생체 인증의 결과를 나타내는 출력창의 표시 시간을 증대시킨다. 이 때, 출력창이 표시되는 동안은 영상의 획득, 분석 및 인증을 위한 프로세싱이 필요하지 않기에 휴지시킬 수 있다. 따라서, 발열의 원인을 제거하여 하드웨어의 온도를 낮출 수 있는 환경이 조성되면서도 생체 인증의 결과를 나타내는 출력창이 표시되고 있기에 휴지 상태가 은폐되며, 사용자는 휴지 상태에 진입한 것을 인지하지 못하여 사용성의 저하를 체감할 수 없다.
아울러, 영상 분석을 통해 얼굴 영역을 검출하는 프로세싱과 휴지를 짧은 주기로 교번하며, 획득된 영상으로부터 얼굴 영역이 검출되기 전까지의 경과 시간을 기준으로 하여 생체 인증에 대한 사용자의 의지를 추정하고, 그 추정 결과에 따라 영상의 획득, 분석 및 인증을 위한 프로세싱을 곧바로 휴지시켜서, 하드웨어의 발열에 의한 온도 상승을 최대한 억제할 수 있다.
또한, 생체 인증에 대한 사용자 의지의 추정 결과와 발열에 의한 하드웨어의 온도 센싱값 등을 고려하여 영상의 획득, 분석 및 인증을 위한 프로세싱을 강제적으로 휴지시켜서 부하 변화에 의한 특성값을 조정할 수 있다. 이러한 강제적인 휴지는 사용자에 의해 재시작이 요청되는 등과 같은 재시작 조건이 만족할 때까지 수행될 수 있다.
본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110 : 영상 획득부 120 : 상태 센싱부
130 : 근접 센싱부 140 : 적외선 발생부
150 : 정보 입력부 160 : 제어부
161 : 영상 분석부 163 : 인증 처리부
165 : 부하 조정부 170 : 정보 저장부
180 : 영상 출력부 190 : 인증 연동부

Claims (10)

  1. 피사체를 촬영하여 획득된 영상에 대한 분석을 통해 상기 피사체의 얼굴 영역을 검출하는 단계와,
    상기 얼굴 영역이 검출되면 기 등록된 생체 정보와의 비교 결과에 따라 생체 인증을 처리하는 단계와,
    상기 영상에 대한 분석 및 상기 생체 인증을 위한 부하 변화에 따른 하드웨어의 상태를 나타내는 특성값과 기 설정된 기준값을 비교하는 단계와,
    상기 특성값과 상기 기준값의 비교 결과에 따라 상기 생체 인증의 결과를 나타내는 출력창의 표시 시간을 조절하며, 상기 표시 시간 내에서 상기 영상에 대한 분석 및 상기 생체 인증의 휴지 기간을 변화시켜 상기 부하 변화에 의한 특성값을 조정하는 단계를 포함하는 얼굴 인식 생체 인증 방법.
  2. 제 1 항에 있어서,
    상기 특성값과 상기 기준값의 비교 결과에 따라 상기 촬영을 휴지하여 상기 부하 변화에 의한 특성값을 조정하는 단계를 더 포함하는 얼굴 인식 생체 인증 방법.
  3. 제 1 항에 있어서,
    상기 얼굴 영역을 검출하는 단계에서 상기 피사체가 센싱 유효범위 내로 근접하는 것을 감지하는 근접 센서에 의해 상기 피사체가 센싱되면 상기 촬영이 수행되며,
    상기 특성값과 상기 기준값의 비교 결과에 따라 상기 센싱을 휴지하여 상기 부하 변화에 의한 특성값을 조정하는 단계를 더 포함하는 얼굴 인식 생체 인증 방법.
  4. 제 1 항에 있어서,
    상기 얼굴 영역을 검출하는 단계에서 상기 피사체가 센싱 유효범위 내로 근접하는 것을 감지하는 근접 센서에 의해 상기 피사체가 센싱되면 상기 촬영이 수행되며,
    상기 영상으로부터 상기 얼굴 영역이 검출되기 전까지의 경과시간과 기 설정된 검출 기준시간을 비교하는 단계와,
    상기 검출 기준시간과의 비교 결과에 따라 상기 영상에 대한 분석과 휴지를 주기적으로 교번하거나 상기 센싱의 휴지 기간을 가져서 상기 부하 변화에 의한 특성값을 조정하는 단계를 더 포함하는 얼굴 인식 생체 인증 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 특성값은, 상기 하드웨어의 발열에 의해 변화되는 온도값인 것을 특징으로 하는 얼굴 인식 생체 인증 방법.
  6. 피사체를 촬영하여 영상을 획득하는 영상 획득부와,
    획득된 상기 영상에 대한 분석을 통해 상기 피사체의 얼굴 영역을 검출하는 영상 분석부와,
    상기 얼굴 영역이 검출되면 기 등록된 생체 정보와의 비교 결과에 따라 생체 인증을 처리하는 인증 처리부와,
    상기 영상에 대한 분석 및 상기 생체 인증을 위한 부하 변화에 따른 하드웨어의 상태를 나타내는 특성값을 센싱하는 상태 센싱부와,
    상기 얼굴 영역의 검출 및 상기 생체 인증의 처리 결과를 나타내는 출력창을 표시하는 영상 출력부와,
    센싱된 상기 특성값과 기 설정된 기준값의 비교 결과에 따라 상기 출력창의 표시 시간을 조절하며, 상기 표시 시간 내에서 상기 영상에 대한 분석 및 상기 생체 인증의 휴지 기간을 변화시켜 상기 부하 변화에 의한 특성값을 조정하는 부하 조정부를 포함하는 얼굴 인식 생체 인증 장치.
  7. 제 6 항에 있어서,
    상기 부하 조정부는, 상기 특성값과 상기 기준값의 비교 결과에 따라 상기 촬영을 휴지시켜 상기 부하 변화에 의한 특성값을 조정하는 얼굴 인식 생체 인증 장치.
  8. 제 6 항에 있어서,
    상기 피사체가 센싱 유효범위 내로 근접하는 것을 센싱하는 근접 센싱부를 더 포함하며,
    상기 영상 획득부는, 상기 피사체가 센싱되면 상기 촬영을 수행하고,
    상기 부하 조정부는, 상기 특성값과 상기 기준값의 비교 결과에 따라 상기 센싱을 휴지하여 상기 부하 변화에 의한 특성값을 조정하는 얼굴 인식 생체 인증 장치.
  9. 제 6 항에 있어서,
    상기 피사체가 센싱 유효범위 내로 근접하는 것을 센싱하는 근접 센싱부를 더 포함하며,
    상기 영상 획득부는, 상기 피사체가 센싱되면 상기 촬영을 수행하고,
    상기 부하 조정부는, 상기 영상으로부터 상기 얼굴 영역이 검출되기 전까지의 경과시간과 기 설정된 검출 기준시간을 비교한 결과에 따라 상기 영상에 대한 분석과 휴지를 주기적으로 교번하거나 상기 센싱의 휴지 기간을 가지도록 하여 상기 부하 변화에 의한 특성값을 조정하는 얼굴 인식 생체 인증 장치.
  10. 제 6 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 상태 센싱부는, 상기 하드웨어의 발열에 의해 변화되는 온도를 센싱하는 얼굴 인식 생체 인증 장치.
KR1020130151568A 2013-12-06 2013-12-06 얼굴 인식 생체 인증 방법 및 장치 KR101464464B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130151568A KR101464464B1 (ko) 2013-12-06 2013-12-06 얼굴 인식 생체 인증 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130151568A KR101464464B1 (ko) 2013-12-06 2013-12-06 얼굴 인식 생체 인증 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101464464B1 true KR101464464B1 (ko) 2014-11-24

Family

ID=52291405

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130151568A KR101464464B1 (ko) 2013-12-06 2013-12-06 얼굴 인식 생체 인증 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101464464B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200009753A (ko) * 2018-07-20 2020-01-30 주식회사 에스원 얼굴 인증 정보를 이용한 출입문 인증 시스템의 인증 속도 개선방법 및 이를 위한 얼굴 인증 정보를 이용한 출입문 인증 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101030518B1 (ko) * 2010-10-06 2011-04-25 주식회사 아리스에프알 얼굴인식 디지털 도어록
JP2013086404A (ja) * 2011-10-20 2013-05-13 Seiko Epson Corp 印刷装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101030518B1 (ko) * 2010-10-06 2011-04-25 주식회사 아리스에프알 얼굴인식 디지털 도어록
JP2013086404A (ja) * 2011-10-20 2013-05-13 Seiko Epson Corp 印刷装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200009753A (ko) * 2018-07-20 2020-01-30 주식회사 에스원 얼굴 인증 정보를 이용한 출입문 인증 시스템의 인증 속도 개선방법 및 이를 위한 얼굴 인증 정보를 이용한 출입문 인증 시스템
KR102078705B1 (ko) 2018-07-20 2020-02-19 주식회사 에스원 얼굴 인증 정보를 이용한 출입문 인증 시스템의 인증 속도 개선방법 및 이를 위한 얼굴 인증 정보를 이용한 출입문 인증 시스템

Similar Documents

Publication Publication Date Title
KR101598771B1 (ko) 얼굴 인식 생체 인증 방법 및 장치
US9690480B2 (en) Controlled access to functionality of a wireless device
EP2680191B1 (en) Facial recognition
EP2680192B1 (en) Facial recognition
KR100601963B1 (ko) 시선을 이용한 인증 장치 및 그 방법
WO2017161867A1 (zh) 一种调节屏幕亮度的方法、装置及智能终端
US11335119B1 (en) Spoof detection based on red-eye effects
KR101464464B1 (ko) 얼굴 인식 생체 인증 방법 및 장치
JP6758345B2 (ja) 情報処理装置および情報処理装置の制御方法
KR101561817B1 (ko) 얼굴과 손 인식을 이용한 생체 인증 장치 및 방법

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171025

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191105

Year of fee payment: 6