KR20210104471A - 얼굴 식별 방법, 및 이를 이용하는 장치 및 프로그램 - Google Patents

얼굴 식별 방법, 및 이를 이용하는 장치 및 프로그램 Download PDF

Info

Publication number
KR20210104471A
KR20210104471A KR1020200019260A KR20200019260A KR20210104471A KR 20210104471 A KR20210104471 A KR 20210104471A KR 1020200019260 A KR1020200019260 A KR 1020200019260A KR 20200019260 A KR20200019260 A KR 20200019260A KR 20210104471 A KR20210104471 A KR 20210104471A
Authority
KR
South Korea
Prior art keywords
face
identification
identified
detected
adjusting
Prior art date
Application number
KR1020200019260A
Other languages
English (en)
Other versions
KR102367154B1 (ko
Inventor
이윤기
한혁
정형구
Original Assignee
주식회사 에프에스솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에프에스솔루션 filed Critical 주식회사 에프에스솔루션
Priority to KR1020200019260A priority Critical patent/KR102367154B1/ko
Publication of KR20210104471A publication Critical patent/KR20210104471A/ko
Priority to KR1020220022066A priority patent/KR102512435B1/ko
Application granted granted Critical
Publication of KR102367154B1 publication Critical patent/KR102367154B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06K9/00228—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 실시 예에 따른 얼굴 식별 방법은 수집한 복수의 이미지 프레임들에 대하여, 기설정된 식별 주기마다 상기 복수의 이미지 프레임들 중 적어도 어느 하나의 이미지 프레임에 포함된 식별 대상자의 얼굴을 검출하는 단계, 식별 대상자의 얼굴이 검출된 이미지 프레임에 대하여 얼굴 식별을 수행하는 단계 및 상기 얼굴 식별을 수행한 결과에 따라, 상기 식별 대상자의 얼굴이 검출되었으나 식별되지 않는 경우에 상기 식별 주기를 조절하는 단계를 포함한다.

Description

얼굴 식별 방법, 및 이를 이용하는 장치 및 프로그램{FACE IDENTIFICATION METHOD, AND DEVICE AND PROGRAM USING THE SAME}
본 발명은 얼굴 식별 방법, 및 이를 이용하는 장치 및 프로그램에 관한 것으로, 보다 상세하게는 식별 대상자의 얼굴이 검출되었으나 식별되지 않는 경우에 식별 대상자의 얼굴을 식별하는 식별 주기를 조절할 수 있는 얼굴 식별 방법, 및 이를 이용하는 장치 및 프로그램에 관한 것이다.
데이터의 분류를 위한 알고리즘에는 K-means 클러스터링, KNN(K-Nearest Neighbors) 알고리즘, SVM(Support Vector Machine) 알고리즘 등의 다양한 알고리즘이 존재한다.
데이터의 분류를 위한 대다수의 알고리즘은 데이터 간의 거리에 기반하여 데이터에 대한 클러스터링(clustering)을 수행할 수 있으며, 특히, 기존의 데이터가 군집되어 있는 그룹을 나누어 해당 데이터가 가장 인접한 그룹을 찾아 해당 데이터를 분류할 수 있다.
본 발명이 이루고자 하는 기술적 과제는 식별 대상자의 얼굴이 검출되었으나 식별되지 않는 경우에 식별 대상자의 얼굴을 식별하는 식별 주기를 조절할 수 있는 얼굴 식별 방법, 및 이를 이용하는 장치 및 프로그램을 제공하는 것이다.
본 발명의 일 실시 예에 따른 얼굴 식별 방법은 수집한 복수의 이미지 프레임들에 대하여, 기설정된 식별 주기마다 상기 복수의 이미지 프레임 중 적어도 어느 하나의 이미지 프레임에 포함된 식별 대상자의 얼굴을 검출하는 단계, 식별 대상자의 얼굴이 검출된 이미지 프레임에 대하여 얼굴 식별을 수행하는 단계 및 상기 얼굴 식별을 수행한 결과에 따라, 상기 식별 대상자의 얼굴이 검출되었으나 식별되지 않는 경우에 상기 식별 주기를 조절하는 단계를 포함할 수 있다.
실시 예에 따라, 상기 식별 주기를 조절하는 단계는, 상기 적어도 어느 하나의 이미지 프레임에서 상기 식별 대상자의 얼굴이 검출되지 않은 경우에, 상기 식별 주기를 유지할 수 있다.
실시 예에 따라, 상기 식별 주기를 조절하는 단계는, 상기 얼굴 식별을 수행한 결과에 따라 상기 식별 대상자의 얼굴이 검출되었으나 식별되지 않는 경우에 상기 식별 주기를 줄일 수 있다.
실시 예에 따라, 상기 식별 주기를 조절하는 단계는, 상기 얼굴 식별을 수행한 결과에 따라 얼굴이 식별되지 않는 경우에, 상기 얼굴이 식별될 때와 기설정된 제1제한시간이 경과할 때 중에서 먼저 도래하는 때까지 줄어든 상기 식별 주기를 유지시킬 수 있다.
실시 예에 따라, 상기 얼굴 식별을 수행하는 단계는, 상기 식별 대상자의 얼굴이 포함된 얼굴 이미지로부터 상기 얼굴 이미지에 상응하는 N차원 벡터(상기 N은 2이상의 자연수)를 생성하는 단계, 생성된 상기 N차원 벡터와 기 저장된 복수의 N차원 벡터들 각각의 벡터간 거리 값을 계산하는 단계 및 상기 식별 대상자를 기 저장된 복수의 N차원 벡터들 중에서 계산된 상기 벡터간 거리 값이 기준 거리 값 이내인 N차원 벡터에 상응하는 사람으로 식별하는 단계를 포함할 수 있다.
실시 예에 따라, 상기 얼굴 식별 방법은, 상기 식별 대상자에 상응하는 N차원 벡터와 상기 기 저장된 복수의 N차원 벡터들 중에서 가장 인접한 N차원 벡터 간의 거리에 기초하여, 상기 제한시간을 조절하는 단계를 더 포함할 수 있다.
실시 예에 따라, 상기 제한시간을 조절하는 단계는, 상기 가장 인접한 N차원 벡터 간의 거리가 상대적으로 가까울수록 상기 제1제한시간이 길어지도록 조절할 수 있다.
실시 예에 따라, 상기 얼굴 식별 방법은, 상기 기설정된 제1제한시간이 경과할 때까지 상기 식별 대상자의 얼굴이 식별되지 않은 경우, 제2제한시간 동안 상기 기준 거리 값을 줄이거나 상기 제2제한시간 동안 이미지 프레임의 수집을 중단할 수 있다.
본 발명의 실시 예에 따른 얼굴 식별 장치는 수집한 복수의 이미지 프레임들에 대하여, 기설정된 식별 주기마다 상기 복수의 이미지 프레임 중 적어도 어느 하나의 이미지 프레임에 포함된 식별 대상자의 얼굴을 검출할는 얼굴 검출 모듈, 식별 대상자의 얼굴이 검출된 이미지 프레임에 대하여 얼굴 식별을 수행하는 얼굴 식별 모듈 및 상기 얼굴 식별을 수행한 결과에 따라, 얼굴이 식별되지 않는 경우에 상기 식별 주기를 조절하는 파라미터 조절 모듈을 포함할 수 있다.
본 발명의 실시 예에 따른 프로세서(processor)와 결합되어 얼굴 식별 방법을 수행하기 위한 매체에 저장된 프로그램은 수집한 복수의 이미지 프레임들에 대하여, 기설정된 식별 주기마다 상기 복수의 이미지 프레임 중 적어도 어느 하나의 이미지 프레임에 포함된 식별 대상자의 얼굴을 검출하는 단계, 식별 대상자의 얼굴이 검출된 이미지 프레임에 대하여 얼굴 식별을 수행하는 단계 및 상기 얼굴 식별을 수행한 결과에 따라, 상기 식별 대상자의 얼굴이 검출되었으나 식별되지 않는 경우에 상기 식별 주기를 조절하는 단계를 수행하는 프로그램 코드를 포함할 수 있다.
본 발명의 실시 예에 따른 방법과 장치들은 일정한 식별 주기마다 식별 대상자의 얼굴을 식별하되, 식별 대상자의 얼굴이 검출되었으나 식별되지 않는 경우에 식별 대상자의 얼굴을 식별하는 식별 주기를 조절함으로써, 식별 대상자의 식별을 프레임마다 수행함에 따른 처리 부하를 줄일 수 있다.
또한, 본 발명의 실시 예에 따른 방법과 장치들은 식별 대상자의 얼굴이 검출되었으나 식별되지 않는 경우에 식별 대상자의 얼굴을 식별하는 식별 주기를 줄여서 집중적으로 식별과정을 수행함으로써 모션블러(motion blur) 등으로 인한 순간적인 식별 오류를 현저히 줄일 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 얼굴 식별 장치의 블록도이다.
도 2는 도 1의 얼굴 식별 장치에 이용되는 N-차원 벡터들을 나타낸 도면이다.
도 3은 도 2에 도시된 N-차원 벡터들 간의 거리를 계산하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 얼굴 식별 방법의 플로우차트이다.
도 5는 도 4의 얼굴 식별 방법에 따라 얼굴 식별을 수행하는 과정을 나타낸 도면이다.
본 발명의 기술적 사상은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세히 설명하고자 한다. 그러나, 이는 본 발명의 기술적 사상을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상의 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명의 기술적 사상을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에 기재된 "~부", "~기", "~자", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 프로세서(Processor), 마이크로 프로세서(Micro Processer), 마이크로 컨트롤러(Micro Controller), CPU(Central Processing Unit), GPU(Graphics Processing Unit), APU(Accelerate Processor Unit), DSP(Drive Signal Processor), ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등과 같은 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 기능이나 동작의 처리에 필요한 데이터를 저장하는 메모리(memory)와 결합되는 형태로 구현될 수도 있다.
그리고 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
도 1은 본 발명의 일 실시 예에 따른 얼굴 식별 장치의 블록도이다. 도 2는 도 1의 얼굴 식별 장치에 이용되는 N-차원 벡터들을 나타낸 도면이다. 도 3은 도 2에 도시된 N-차원 벡터들 간의 거리를 계산하는 과정을 설명하기 위한 도면이다.
도 1을 참조하면, 얼굴 식별 방치(100)는 이미지 캡쳐 유닛(110), 메모리(120), 통신 인터페이스(130), 및 프로세서(140)를 포함할 수 있다.
실시 예에 따라, 얼굴 식별 장치(100)는 차량에 설치되어 운전자의 얼굴을 등록, 식별, 인증할 수 있는 다양한 형태의 장치로 구현될 수 있으며, 적용 분야가 이에 한정되는 것은 아니다.
실시 예에 따라, 이미지 캡쳐 유닛(110)은 얼굴 식별 장치(100)와 별개로 구현될 수 있으며, 이 경우, 얼굴 식별 장치(100)는 별개로 구현된 이미지 캡쳐 유닛(110)으로부터 이미지 데이터를 수신할 수 있다.
이미지 캡쳐 유닛(110)은 사람의 얼굴이 포함된 이미지 프레임들을 캡쳐하여 획득할 수 있다.
본 명세서에서 "이미지"는 정적 이미지와 동적 이미지(즉, 영상)를 모두 포함하는 개념을 의미할 수 있다.
실시 예에 따라, 이미지 캡쳐 유닛(110)은 이미지를 캡쳐하기 위한 이미지 센서(예컨대, CCD(Charge Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 등)와 렌즈를 포함하는 광학계를 포함할 수 있다.
메모리(120)는 교통 신호 식별 장치(100)의 동작 전반에 필요한 데이터 또는 프로그램을 저장할 수 있다.
메모리(120)는 이미지 캡쳐 유닛(110)에 의해 획득한 이미지 또는 프로세서(140)에 의해 처리 중이거나 처리된 이미지를 저장할 수 있다.
통신 인터페이스(130)는 교통 신호 식별 장치(100)와 외부의 타 장치와의 통신을 인터페이싱할 수 있다.
예컨대, 통신 인터페이스(130)는 얼굴 식별 장치(100)에 의해 식별된 대상자에 관한 정보를 차량의 제어 시스템, 주행보조제어 시스템, 또는 자율주행제어 시스템 측으로 전송할 수 있다.
프로세서(140)는 이미지 전처리 모듈(142), 얼굴 검출 모듈(144), 얼굴 식별 모듈(146), 및 파라미터 조절 모듈(148)을 포함할 수 있다.
본 명세서에서 모듈(module)이라 함은 본 발명의 실시 예에 따른 방법을 수행하기 위한 하드웨어 또는 상기 하드웨어를 구동할 수 있는 소프트웨어의 기능적 또는 구조적 결합을 의미할 수 있다.
따라서 상기 모듈은 프로그램 코드와 상기 프로그램 코드를 수행할 수 있는 하드웨어 리소스(resource)의 논리적 단위 또는 집합을 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나 한 종류의 하드웨어를 의미하는 것은 아니다.
이미지 전처리 모듈(142), 얼굴 검출 모듈(144), 얼굴 식별 모듈(146), 및 파라미터 조절 모듈(148) 각각은 기능 및 논리적으로 분리될 수 있음을 나타내는 것이며, 반드시 구성들 각각이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아니다.
이미지 전처리 모듈(142)은 이미지 캡쳐 유닛(110)에서 획득한 이미지 프레임들에 대하여 전처리 과정을 수행할 수 있다.
실시 예에 따라, 이미지 전처리 모듈(142)은 획득한 이미지 프레임들에 대하여 노이즈(noise) 제거, 감마 보정(Gamma Correction), 색필터 배열 보간(color filter array interpolation), 색 보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 이미지 처리를 수행할 수 있다.
얼굴 검출 모듈(144)은 이미지 전처리 모듈(142)에 의해 처리된 이미지 프레임들 중에서 적어도 어느 하나의 이미지 프레임 내에 포함된 식별 대상자의 얼굴을 검출할 수 있다.
실시 예에 따라, 얼굴 검출 모듈(144)은 획득한 이미지 내에 포함된 대상자의 얼굴을 검출할 수 있다. 예컨대, 이미지 전처리 모듈(142)은 SIFT(Scale Invariant Feature Transform), HOG(Histogram of Oriented Gradient), Haar, Ferns, LBP(Local Binary Pattern), 또는 MCT(Modified Census Transform) 등의 알고리즘을 이용하여 대상자의 얼굴을 검출할 수 있다.
실시 예에 따라, 얼굴 검출 모듈(144)은 획득한 이미지 프레임 내에서 식별 대상자의 얼굴을 정확히 검출하기 위하여, 대상자의 얼굴 검출을 위하여 설정되는 영역인 얼굴 바운딩 박스(bounding box)를 보정할 수 있다. 예컨대, 얼굴 바운딩 박스는 얼굴 검출에 사용되는 알고리즘의 종류, 대상자의 얼굴형, 또는 조명 등에 따라 다르게 설정될 수 있다.
실시 예에 따라, 얼굴 검출 모듈(144)은 이미지 프레임으로부터 특징점, 특징 벡터, 또는 랜드마크(landmark)를 검출할 수 있다.
실시 예에 따라, 얼굴 검출 모듈(144)은 이미지 프레임 내에서 검출된 대상자의 얼굴을 정렬할 수 있다. 예컨대, 얼굴 검출 모듈(144)은 획득한 이미지 프레임 내에서 검출된 특징점, 특징 벡터, 또는 랜드마크를 이용하여 이미지 프레임 내의 얼굴을 기준 좌표로 정렬할 수 있다.
실시 예에 따라, 얼굴 검출 모듈(144)은 식별 대상자의 얼굴에 상응하는 N차원 벡터(상기, N은 2이상의 자연수)를 생성할 수 있다.
실시 예에 따라, N차원 벡터는 N개의 자연수로 구성된 벡터를 의미할 수 있다.
실시 예에 따라, 얼굴 검출 모듈(144)은 기설정된 식별 주기마다 복수의 이미지 프레임들 중에서 적어도 어느 하나의 이미지 프레임에 포함된 식별 대상자의 얼굴을 검출할 수 있다.
얼굴 식별 모듈(146)은 얼굴 검출 모듈(144)에서 식별 대상자의 얼굴이 검출된 이미지 프레임에 대하여 얼굴 식별을 수행할 수 있다.
얼굴 식별 모듈(146)은 식별 대상자의 얼굴이 검출된 이미지 프레임에 대하여, 검출된 얼굴에 상응하는 N차원 벡터와 메모리(120)에 기 저장된 복수의 N차원 벡터들을 비교하여 얼굴 식별을 수행할 수 있다.
도 2와 도 3을 함께 참조하면, 인증된 사람들에 대한 얼굴에 상응하는 N차원 벡터들(NV-OG1~NV-OGM)은 메모리(120)에 기 저장될 수 있다.
얼굴 검출 모듈(144)은 식별 대상자의 얼굴에 대하여 N차원 벡터(예컨대, NV-NEW1 또는 NV-NEW2)를 생성할 수 있다.
얼굴 식별 모듈(146)은 식별 대상자의 얼굴에 상응하는 N차원 벡터(예컨대, NV-NEW1 또는 NV-NEW2)와 기 저장된 복수의 N차원 벡터들(NV-OG1~NV-OGM) 각각의 벡터간 거리 값을 계산할 수 있다.
예컨대, 식별 대상자의 얼굴 이미지에 상응하는 N차원 벡터(예컨대, NV-NEW1)와 기 저장된 복수의 N차원 벡터(예컨대, NV-OG1)과의 벡터간 거리 값은 하기와 같은 (수식 1)에 따라 계산될 수 있다.
(수식 1)
Vd1=
Figure pat00001
마찬가지 방식으로, 얼굴 식별 모듈(146)은 신규 등록 대상자의 얼굴 이미지에 상응하는 N차원 벡터(예컨대, NV-NEW1)와 나머지 기 저장된 N차원 벡터들(NV-OG2~NV-OGM) 각각과의 벡터간 거리 값을 계산할 수 있다.
실시 예에 따라, 벡터간 거리 값이 가까울수록 도 2에 도식화된 N차원 벡터들은 더 인접하게 위치할 수 있다.
얼굴 식별 모듈(146)은 식별 대상자를 기 저장된 복수의 N차원 벡터들(NV-OG1~NV-OGM) 중에서 계산된 벡터 간 거리 값이 기준 거리 값 이내인 N차원 벡터에 상응하는 사람으로 식별할 수 있다.
실시 예에 따라, 상기 기준 거리 값은, 유클리디안 거리(Euclidian distance), 코사인 거리(Cosine distance), 또는 마할라노비스 거리(Mahalanobis distance) 등일 수 있다.
파라미터 조절 모듈(148)은 얼굴 검출 모듈(144)과 얼굴 식별 모듈(146)이 이미지 프레임을 처리하는 데에 사용되는 다양한 파라미터를 조절할 수 있다.
실시 예에 따라, 파라미터 조절 모듈(148)은 기설정된 식별 주기를 조절할 수 있다. 예컨대, 파라미터 조절 모듈(148)은 복수의 이미지 프레임 중 적어도 어느 하나의 이미지 프레임에서 식별 대상자의 얼굴이 검출되었으나 식별되지 않는 경우에, 기설정된 식별 주기를 조절할 수 있다. 이 경우, 파라미터 조절 모듈(148)은 기설정된 식별 주기를 줄일 수 있다.
실시 예에 따라, 파라미터 조절 모듈(148)은 식별 주기를 조절하는 경우에, 조절된 식별 주기를 유지시키는 제1제한시간을 조절할 수 있다.
실시 예에 따라, 파라미터 조절 모듈(148)은 제1제한시간 동안 식별 대상자의 얼굴이 식별되지 않은 경우에 기준 거리 값을 줄이거나 이미지 프레임의 수집을 중단하는 제2제한시간을 조절할 수 있다.
제1제한시간과 제2제한시간이 이용되는 구체적인 실시 예에 대해서는 도 4와 도 5를 참조하여 후술하도록 한다.
도 4는 본 발명의 일 실시 예에 따른 얼굴 식별 방법의 플로우차트이다. 도 5는 도 4의 얼굴 식별 방법에 따라 얼굴 식별을 수행하는 과정을 나타낸 도면이다.
도 4와 도 5를 참조하면, 얼굴 식별 장치(100)는 기설정된 식별 주기마다 이미지 프레임에 포함된 식별 대상자의 얼굴을 검출할 수 있다(S410).
실시 예에 따라, 얼굴 식별 장치(100)는 기설정된 식별 주기(TI1)마다 복수의 이미지 프레임들(Image Frames) 중에서 적어도 어느 하나의 이미지 프레임에 포함된 식별 대상자의 얼굴을 검출할 수 있다.
도 5의 t1 시점 내지 t20 시점 각각은 이미지 프레임이 획득되는 시간을 의미할 수 있다. 이 경우, 기설정된 식별 주기(TI)는 모든 이미지 프레임이 아닌 일부 이미지 프레임은 건너 뛰고 식별 대상자의 얼굴을 검출(또는 식별)하도록 설정될 수 있다. 예컨대, 도 5의 경우 t1 시점에서 얼굴의 검출(또는 식별)이 수행된 경우, t2 시점과 t3 시점 각각에서 획득된 이미지 프레임에 대한 얼굴의 검출(또는 식별)은 건너 뛰고, t4 시점에서 얼굴의 검출(또는 식별)이 수행되도록 설정될 수 있다.
얼굴 식별 장치(100)는 식별 대상자의 얼굴이 검출된 이미지 프레임에 대하여 얼굴 식별을 수행할 수 있다(S420).
얼굴 식별 장치(100)는 S410 단계에서 식별 대상자의 얼굴이 검출되었으나 S420 단계에서 식별되지 않은 경우에 식별 주기를 조절할 수 있다(S430).
실시 예에 따라, 얼굴 식별 장치(100)는 S410 단계에서 식별 대상자의 얼굴이 검출되지 않은 경우에는 식별 주기를 유지할 수 있다.
실시 예에 따라, 얼굴 식별 장치(100)는 S410 단계에서 식별 대상자의 얼굴이 검출되었고 S420 단계에서 식별된 경우에는 식별 주기를 유지할 수 있다.
도 5를 함께 참조하면, 제1검출(DT1)와 제2검출(DT2)에서는 얼굴이 검출되지 않았고, 제3검출(DT3)에서 식별 대상자의 얼굴이 검출되었으나 식별되지 않은 경우를 가정한다.
이 경우에, 얼굴 식별 장치(100)는 기 설정된 식별 주기(TI1)를 줄여서 이후에는 변경된 식별 주기(TI2)를 적용할 수 있다.
실시 예에 따라, 얼굴 식별 장치(100)는 식별 대상자의 얼굴이 식별될 때와 기 설정된 제1제한시간(TLMT1)이 경과할 때 중에서 먼저 도래하는 때까지 변경된 식별 주기(TI2)를 유지할 수 있다.
도 5의 경우에는 제1제한시간(TLMT1)이 경과하기 전에 제6검출(DT6)에서 식별 대상자의 얼굴이 식별된 경우를 가정한다. 이후에는 얼굴 식별 장치(100)는 변경되었던 식별 주기(TI2)를 원래의 식별 주기(TI1)로 원복할 수 있으며, 이에 따라 제7검출(DT7)은 원래의 식별 주기(TI1)에 따라 수행될 수 있다.
실시 예에 따라, 얼굴 식별 장치(100)는 식별 대상자에 상응하는 N차원 벡터와 기 저장된 복수의 N차원 벡터들 중에서 가장 인접한 N차원 벡터 간의 거리에 기초하여 제1제한시간(TLMT1)을 조절할 수 있다.
예컨대, 얼굴 식별 장치(100)는 가장 인접한 N차원 벡터 간의 거리가 상대적으로 가까울수록 제1제한 시간이 길어지도록 조절할 수 있다.
도 2를 함께 참조하면, 제1식별 대상자에 상응하는 N차원 벡터(NV-NEW1)의 경우 가장 인접한 N차원 벡터 간의 거리는 d1 값을 가지고, 제2식별 대상자에 상응하는 N차원 벡터(NV-NEW2)의 경우 가장 인접한 N차우너 벡터 간의 거리는 d1보다 상대적으로 먼 d2 값을 가질 수 있다. 이 경우, 얼굴 식별 장치(100)는 제1식별 대상이 검출되었을 때에 제2식별 대상이 검출되었을 때 보다 제1제한 시간이 길어지도록 조절할 수 있다. 예컨대, 가장 인접한 N차원 벡터 간의 거리가 상대적으로 가까울수록 모션 블러 등으로 인한 오차범위 내일 수 있으므로 제1제한 시간을 늘려서 안정적인 얼굴 식별을 수행할 수 있다.
실시 예에 따라, 도 5에서 제3검출(DT6) 이후에 수행된 검출들(예컨대, DT4, DT5, DT6,??)에서 식별 대상자의 얼굴이 검출은 되었으나, 제1제한시간(TLMT1)이 경과할 때까지 식별 대상자의 얼굴이 식별되지 않은 경우를 가정한다. 이 경우, 얼굴 식별 장치(100)는 제2제한시간(TLMT2) 동안 얼굴 식별 모듈(146)의 얼굴 식별에 이용되는 기준 거리 값을 줄이거나, 제2제한시간(TLMT2) 동안 이미지 프레임의 수집을 중단할 수 있다. 예컨대, 제1제한시간(TLMT1)이 경과할 때까지 식별 대상자의 얼굴이 식별되지 않은 경우에는 식별될 수 없는 식별 대상자가 식별을 반복적으로 요청하고 있을 가능성이 높은 것으로 판단하여, 제2제한시간(TLMT2) 동안 얼굴 식별에 이용되는 기준 거리 값을 줄여서 얼굴 식별을 엄격한 기준으로 하거나 제2제한시간(TLMT2) 동안 이미지 프레임의 수집을 중단함으로써 식별 절차를 중단시킬 수 있다.
본 발명의 실시 예에 따른 얼굴 식별 방법은 프로그램 코드로 구현되어 메모리(예컨대, 도 1의 120)에 저장될 수 있으며, 메모리(예컨대, 도 1의 120)는 프로세서(예컨대, 도 1의 140)와 결합되어 본 발명의 실시 예에 따른 얼굴 식별 방법을 수행 시킬 수 있다.
이상, 본 발명을 바람직한 실시 예를 들어 상세하게 설명하였으나, 본 발명은 상기 실시 예에 한정되지 않고, 본 발명의 기술적 사상 및 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러가지 변형 및 변경이 가능하다.
100 : 얼굴 식별 장치
110 : 이미지 캡쳐 유닛
120 : 메모리
130 : 통신 인터페이스
140 : 프로세서

Claims (10)

  1. 수집한 복수의 이미지 프레임들에 대하여, 기설정된 식별 주기마다 상기 복수의 이미지 프레임들 중 적어도 어느 하나의 이미지 프레임에 포함된 식별 대상자의 얼굴을 검출하는 단계;
    식별 대상자의 얼굴이 검출된 이미지 프레임에 대하여 얼굴 식별을 수행하는 단계; 및
    상기 얼굴 식별을 수행한 결과에 따라, 상기 식별 대상자의 얼굴이 검출되었으나 식별되지 않는 경우에 상기 식별 주기를 조절하는 단계를 포함하는, 얼굴 식별 방법.
  2. 제1항에 있어서,
    상기 식별 주기를 조절하는 단계는,
    상기 적어도 어느 하나의 이미지 프레임에서 상기 식별 대상자의 얼굴이 검출되지 않은 경우에, 상기 식별 주기를 유지하는, 얼굴 식별 방법.
  3. 제1항에 있어서,
    상기 식별 주기를 조절하는 단계는,
    상기 얼굴 식별을 수행한 결과에 따라 상기 식별 대상자의 얼굴이 검출되었으나 식별되지 않는 경우에 상기 식별 주기를 줄이는, 얼굴 식별 방법.
  4. 제3항에 있어서,
    상기 식별 주기를 조절하는 단계는,
    상기 얼굴 식별을 수행한 결과에 따라 얼굴이 식별되지 않는 경우에, 상기 얼굴이 식별될 때와 기설정된 제1제한시간이 경과할 때 중에서 먼저 도래하는 때까지 줄어든 상기 식별 주기를 유지시키는, 얼굴 식별 방법.
  5. 제4항에 있어서,
    상기 얼굴 식별을 수행하는 단계는,
    상기 식별 대상자의 얼굴이 포함된 얼굴 이미지로부터 상기 얼굴 이미지에 상응하는 N차원 벡터(상기 N은 2이상의 자연수)를 생성하는 단계;
    생성된 상기 N차원 벡터와 기 저장된 복수의 N차원 벡터들 각각의 벡터간 거리 값을 계산하는 단계; 및
    상기 식별 대상자를 기 저장된 복수의 N차원 벡터들 중에서 계산된 상기 벡터간 거리 값이 기준 거리 값 이내인 N차원 벡터에 상응하는 사람으로 식별하는 단계를 포함하는, 얼굴 식별 방법.
  6. 제5항에 있어서,
    상기 얼굴 식별 방법은,
    상기 식별 대상자에 상응하는 N차원 벡터와 상기 기 저장된 복수의 N차원 벡터들 중에서 가장 인접한 N차원 벡터 간의 거리에 기초하여, 상기 제1제한시간을 조절하는 단계를 더 포함하는, 얼굴 식별 방법.
  7. 제6항에 있어서,
    상기 제한시간을 조절하는 단계는,
    상기 가장 인접한 N차원 벡터 간의 거리가 상대적으로 가까울수록 상기 제1제한시간이 길어지도록 조절하는, 얼굴 식별 방법.
  8. 제5항에 있어서,
    상기 얼굴 식별 방법은,
    상기 기설정된 제1제한시간이 경과할 때까지 상기 식별 대상자의 얼굴이 식별되지 않은 경우, 제2제한시간 동안 상기 기준 거리 값을 줄이거나 상기 제2제한시간 동안 이미지 프레임의 수집을 중단하는, 얼굴 식별 방법.
  9. 수집한 복수의 이미지 프레임들에 대하여, 기설정된 식별 주기마다 상기 복수의 이미지 프레임들 중 적어도 어느 하나의 이미지 프레임에 포함된 식별 대상자의 얼굴을 검출할는 얼굴 검출 모듈;
    식별 대상자의 얼굴이 검출된 이미지 프레임에 대하여 얼굴 식별을 수행하는 얼굴 식별 모듈; 및
    상기 얼굴 식별을 수행한 결과에 따라, 얼굴이 식별되지 않는 경우에 상기 식별 주기를 조절하는 파라미터 조절 모듈을 포함하는, 얼굴 식별 장치.
  10. 프로세서(processor)와 결합되어 얼굴 식별 방법을 수행하기 위한 매체에 저장된 프로그램으로서,
    수집한 복수의 이미지 프레임들에 대하여, 기설정된 식별 주기마다 상기 복수의 이미지 프레임들 중 적어도 어느 하나의 이미지 프레임에 포함된 식별 대상자의 얼굴을 검출하는 단계;
    식별 대상자의 얼굴이 검출된 이미지 프레임에 대하여 얼굴 식별을 수행하는 단계; 및
    상기 얼굴 식별을 수행한 결과에 따라, 상기 식별 대상자의 얼굴이 검출되었으나 식별되지 않는 경우에 상기 식별 주기를 조절하는 단계를 수행하는 프로그램 코드를 포함하는, 프로그램.
KR1020200019260A 2020-02-17 2020-02-17 얼굴 식별 방법, 및 이를 이용하는 장치 및 프로그램 KR102367154B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200019260A KR102367154B1 (ko) 2020-02-17 2020-02-17 얼굴 식별 방법, 및 이를 이용하는 장치 및 프로그램
KR1020220022066A KR102512435B1 (ko) 2020-02-17 2022-02-21 얼굴 식별 방법, 및 이를 이용하는 장치 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200019260A KR102367154B1 (ko) 2020-02-17 2020-02-17 얼굴 식별 방법, 및 이를 이용하는 장치 및 프로그램

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220022066A Division KR102512435B1 (ko) 2020-02-17 2022-02-21 얼굴 식별 방법, 및 이를 이용하는 장치 및 프로그램

Publications (2)

Publication Number Publication Date
KR20210104471A true KR20210104471A (ko) 2021-08-25
KR102367154B1 KR102367154B1 (ko) 2022-02-25

Family

ID=77495324

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200019260A KR102367154B1 (ko) 2020-02-17 2020-02-17 얼굴 식별 방법, 및 이를 이용하는 장치 및 프로그램
KR1020220022066A KR102512435B1 (ko) 2020-02-17 2022-02-21 얼굴 식별 방법, 및 이를 이용하는 장치 및 프로그램

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220022066A KR102512435B1 (ko) 2020-02-17 2022-02-21 얼굴 식별 방법, 및 이를 이용하는 장치 및 프로그램

Country Status (1)

Country Link
KR (2) KR102367154B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010161785A (ja) * 2010-02-12 2010-07-22 Sharp Corp 認証方法及び認証処理装置
JP2010258839A (ja) * 2009-04-27 2010-11-11 Fujifilm Corp 表示制御装置およびその動作制御方法
KR20170055393A (ko) * 2015-11-11 2017-05-19 삼성전자주식회사 사용자 인증을 위한 등록 데이터베이스의 적응적 갱신 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010258839A (ja) * 2009-04-27 2010-11-11 Fujifilm Corp 表示制御装置およびその動作制御方法
JP2010161785A (ja) * 2010-02-12 2010-07-22 Sharp Corp 認証方法及び認証処理装置
KR20170055393A (ko) * 2015-11-11 2017-05-19 삼성전자주식회사 사용자 인증을 위한 등록 데이터베이스의 적응적 갱신 방법 및 장치

Also Published As

Publication number Publication date
KR20220034746A (ko) 2022-03-18
KR102367154B1 (ko) 2022-02-25
KR102512435B1 (ko) 2023-03-21

Similar Documents

Publication Publication Date Title
US11449971B2 (en) Method and apparatus with image fusion
US7912253B2 (en) Object recognition method and apparatus therefor
KR102415509B1 (ko) 얼굴 인증 방법 및 장치
KR101179497B1 (ko) 얼굴 검출 방법 및 장치
US8761459B2 (en) Estimating gaze direction
US8542887B2 (en) Object identification apparatus and object identification method
US20130108123A1 (en) Face recognition apparatus and method for controlling the same
JP6351243B2 (ja) 画像処理装置、画像処理方法
KR20070055653A (ko) 얼굴 인식 방법 및 그 장치
JP2006146626A (ja) パターン認識方法および装置
KR102223478B1 (ko) 눈 상태 검출에 딥러닝 모델을 이용하는 눈 상태 검출 시스템 및 그 작동 방법
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
KR101139963B1 (ko) 운전자 눈동자 검출을 이용한 졸음 운전 방지 방법 및 장치
WO2004042539A9 (en) Video-based face recognition using probabilistic appearance manifolds
US11380133B2 (en) Domain adaptation-based object recognition apparatus and method
KR102367154B1 (ko) 얼굴 식별 방법, 및 이를 이용하는 장치 및 프로그램
JP5686548B2 (ja) 情報処理装置、情報処理方法、プログラム
KR20210096817A (ko) 얼굴 식별 방법, 및 이를 이용하는 장치 및 프로그램
KR102326185B1 (ko) 딥러닝을 이용한 얼굴 매칭 방법 및 장치
Naba et al. Haar-like feature based real-time neuro car detection system
Yew et al. A study on face recognition in video surveillance system using multi-class support vector machines
Ren et al. Real-time head pose estimation on mobile platforms
KR20220140240A (ko) 마스크 착용에 강건한 신원 확인 모델 학습 방법 및 상기 신원 확인 모델을 사용한 신원 확인 시스템
Fu et al. The investigation and implementation of real-time face pose and direction estimation on mobile computing devices
KR20160106957A (ko) 얼굴 검색 시스템

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
A107 Divisional application of patent
GRNT Written decision to grant