KR20230060901A - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20230060901A
KR20230060901A KR1020210145609A KR20210145609A KR20230060901A KR 20230060901 A KR20230060901 A KR 20230060901A KR 1020210145609 A KR1020210145609 A KR 1020210145609A KR 20210145609 A KR20210145609 A KR 20210145609A KR 20230060901 A KR20230060901 A KR 20230060901A
Authority
KR
South Korea
Prior art keywords
image
direction information
face
specific part
image processing
Prior art date
Application number
KR1020210145609A
Other languages
English (en)
Inventor
이효기
이기덕
송봉섭
Original Assignee
주식회사 슈프리마
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 슈프리마 filed Critical 주식회사 슈프리마
Priority to KR1020210145609A priority Critical patent/KR20230060901A/ko
Priority to US17/538,666 priority patent/US11475232B1/en
Priority to US17/943,832 priority patent/US11783009B2/en
Publication of KR20230060901A publication Critical patent/KR20230060901A/ko
Priority to KR1020230116554A priority patent/KR20230129969A/ko
Priority to US18/460,922 priority patent/US20230409675A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

일 실시예에 따라, 영상 처리 장치가 수행하는 영상 처리 방법은, 동일한 객체가 포함된 제 1 영상과 제 2 영상을 획득하는 단계와, 상기 제 1 영상 내의 상기 객체에 대하여 특정 부위의 방향 정보를 획득하는 단계와, 상기 제 2 영상 내의 상기 객체에 대하여 상기 획득된 방향 정보에 대응하는 각도만큼 3차원 회전 처리한 처리 영상을 제공하는 단계를 포함한다.

Description

영상 처리 장치 및 방법{METHOD AND APPARATUS FOR PROCESSING IMAGE}
본 발명은 영상을 처리하는 장치와 이러한 장치가 영상을 처리하는 방법에 관한 것이다.
영상 처리는 다양한 산업 분야에서 이용되고 있고, 보안 분야에서는 얼굴 인식 및 인증을 위한 영상 처리의 중요성이 나날이 증대되고 있다.
영상 처리를 통한 얼굴 인증은 2차원 얼굴 영상 인증과 3차원 얼굴 영상 인증이 공지되어 있다.
2차원 얼굴 영상 인증은 2차원 얼굴 영상에서 얼굴 검출이 이루어지고, 검출된 얼굴에서 고유의 특성을 추출하며, 추출된 특성과 등록된 특성 정보의 일치하는 정도에 따라 인증 여부를 결정한다. 이러한 2차원 얼굴 영상 인증은 검출된 얼굴의 방향에 의한 인증 성능 저하가 발생하는 단점이 있다.
3차원 얼굴 영상 인증은 3차원 영상기기로부터 추출된 3차원 데이터 정보들을 이용하여 얼굴을 검출하고, 검출된 3차원 얼굴 정보의 고유의 특성을 추출하며, 추출된 특성과 등록된 특성 정보의 일치하는 정도에 따라 인증 여부를 결정한다. 이러한 3차원 얼굴 영상 인증은 얼굴 중 중앙 부위(예컨대, 코)를 찾고, 중앙 부위 주변의 3차원 특성 정보를 추출하며, 추출된 3차원 특성 정보와 등록된 특성 정보의 일치하는 정도를 파악하는 3차원 영상 정합 알고리즘을 이용한다. 3차원 얼굴 영상 인증은 이러한 3차원 영상 정합 알고리즘을 통해 2차원 얼굴 영상 인증의 단점이었던 얼굴 방향에 의한 인증 성능 저하를 극복할 수 있다.
그런데, 얼굴 중 중앙 부위를 찾은 후에 중앙 부위 주변의 3차원 특성 정보를 추출하는 3차원 영상 정합 알고리즘의 수행에 상당한 시간이 소요된다. 따라서, 얼굴 인증 결과를 도출하기까지 오랜 시간이 요구된다.
대한민국 등록특허공보 제10-1906431호, 등록일자 2018년 10월 02일.
일 실시예에 따르면, 동일한 객체가 포함된 복수의 영상을 이용하여 얼굴 인증 등과 같은 생체 인증에 적합한 처리 영상을 신속히 제공하는 영상 처리 장치 및 방법을 제공한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
제 1 관점에 따라, 영상 처리 장치가 수행하는 영상 처리 방법은, 동일한 객체가 포함된 제 1 영상과 제 2 영상을 획득하는 단계와, 상기 제 1 영상 내의 상기 객체에 대하여 특정 부위의 방향 정보를 획득하는 단계와, 상기 제 2 영상 내의 상기 객체에 대하여 상기 획득된 방향 정보에 대응하는 각도만큼 3차원 회전 처리한 처리 영상을 제공하는 단계를 포함한다.
제 2 관점에 따른, 영상 처리 장치는, 동일한 객체가 포함된 제 1 영상과 제 2 영상을 획득하는 획득부와, 상기 제 1 영상과 상기 제 2 영상을 이용한 처리 영상을 제공하는 처리부를 포함하고, 상기 처리부는, 상기 제 1 영상 내의 상기 객체에 대하여 특정 부위의 방향 정보를 획득하며, 상기 제 2 영상 내의 상기 객체에 대하여 상기 획득된 방향 정보에 대응하는 각도만큼 3차원 회전 처리해 상기 처리 영상을 제공한다.
제 3 관점에 따라, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체는, 상기 컴퓨터 프로그램이, 프로세서에 의해 실행되면, 상기 영상 처리 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
제 4 관점에 따라, 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램은, 상기 컴퓨터 프로그램이, 프로세서에 의해 실행되면, 상기 영상 처리 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
일 실시예에 따른 영상 처리 장치 및 방법은 동일한 객체가 포함된 복수의 영상을 이용하여 얼굴 인증 등과 같은 생체 인증에 적합한 처리 영상을 신속히 제공한다. 예를 들어, 2차원 얼굴 영상으로부터 획득된 특정 부위의 방향 정보에 기초하여 3차원 얼굴 영상을 3차원 회전 처리한 결과로서 얼굴 인증에 적합한 처리 영상을 신속히 제공할 수 있다. 이처럼, 3차원 회전 처리 얼굴 영상을 신속히 제공함으로써 얼굴 인증 결과 또한 신속히 도출할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치가 수행하는 영상 처리 방법을 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
또한, 명세서에서 사용되는 '부'라는 용어는 소프트웨어 또는 FPGA나 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치(100)의 구성도이다.
도 1을 참조하면, 일 실시예에 따른 영상 처리 장치(100)는 획득부(110) 및 처리부(120)를 포함한다.
획득부(110)는 동일한 객체가 포함된 제 1 영상과 제 2 영상을 획득하고, 획득된 제 1 영상과 제 2 영상을 처리부(120)에 제공한다.
처리부(120)는 제 1 영상과 제 2 영상을 이용한 처리 영상을 제공한다. 예를 들어, 처리부(120)는 마이크로프로세서, CPU(central processing unit) 및 GPU(graphics processing unit) 중 적어도 하나를 포함할 수 있다.
여기서, 제 1 영상은 2차원 영상일 수 있고, 제 2 영상은 3차원 영상일 수 있다. 또한, 2차원 영상은 2차원 적외선(IR, infrared ray) 영상 또는 2차원 컬러 영상일 수 있다. 그리고, 객체는 인증에 이용될 수 있는 생체일 수 있다. 이하의 설명에서는 생체가 포함된 2차원 적외선 영상과 3차원 영상을 이용하여 생체의 얼굴 인증에 적합한 얼굴 영상을 처리 영상으로서 제공하는 예를 고려하여 설명하기로 한다.
획득부(110)는 동일한 생체가 포함된 2차원 적외선 영상과 3차원 영상을 획득하고, 획득된 2차원 적외선 영상과 3차원 영상을 처리부(120)에 제공한다. 예를 들어, 획득부(110)는 생체를 촬영하여 2차원 적외선 영상을 획득하는 2차원 적외선 카메라와 생체의 3차원 영상을 생성하는 3차원 영상 장비를 포함할 수 있다. 또는, 획득부(110)는 외부기기로부터 2차원 적외선 영상 및 3차원 영상을 인터페이스를 통해 입력받거나 통신채널을 통해 수신할 수도 있다.
처리부(120)는 2차원 적외선 영상과 3차원 영상을 이용하여 생체의 얼굴 인증에 적합한 3차원 영상을 제공할 수 있다.
여기서, 처리부(120)는 2차원 적외선 영상 내의 생체에 대하여 특정 부위(예컨대, 얼굴 부위)의 방향 정보를 획득할 수 있다. 예를 들어, 처리부(120)는 복수의 학습용 영상을 입력으로 포함하고 학습용 영상에 포함된 객체에 대한 특정 부위의 방향 정보를 레이블로 포함하는 학습용 데이터셋이 사전에 학습된 인공신경망모델을 이용하여 얼굴 부위의 방향 정보를 획득할 수 있다.
그리고, 처리부(120)는 3차원 영상 내의 생체에 대하여 2차원 적외선 영상으로부터 획득된 방향 정보에 대응하는 각도만큼 3차원 회전 처리하며, 처리 영상으로서 3차원 영상을 제공할 수 있다. 예를 들어, 처리부(120)는 3차원 영상 내의 객체에 대하여 얼굴 부위를 포함하는 부분 영상을 획득할 수 있고, 획득된 부분 영상을 소정 각도만큼 3차원 회전 처리할 수 있으며, 3차원 회전 처리된 부분 영상과 기 저장된 기준 데이터가 동일 얼굴인지를 나타내는 비교 결과를 제공할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치(100)가 수행하는 영상 처리 방법을 설명하기 위한 흐름도이다.
이하, 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 따른 영상 처리 장치(100)가 동일한 객체가 포함된 2차원 적외선 영상과 3차원 영상을 이용하여 객체의 얼굴에 대한 인증을 처리하는 방법에 대해 자세히 살펴보기로 한다.
먼저, 영상 처리 장치(100)의 획득부(110)는 얼굴 인증 대상 생체의 2차원 적외선 영상과 3차원 영상을 획득하고, 획득된 2차원 적외선 영상과 3차원 영상을 영상 처리 장치(100)의 처리부(120)에 제공한다. 여기서, 2차원 적외선 영상과 3차원 영상은 동일한 생체에 대하여 동일한 조건 또는 그 차이를 무시할 수 있을 만큼의 유사한 조건에서 촬영 또는 생성된 영상일 수 있다(S210).
그리고, 처리부(120)는 2차원 적외선 영상 내의 생체에 대하여 특정 부위(예컨대, 얼굴 부위)의 방향 정보를 획득한다. 여기서, 처리부(120)는 복수의 학습용 영상을 입력으로 포함하고 학습용 영상에 포함된 생체에 대한 얼굴 부위의 방향 정보를 레이블로 포함하는 학습용 데이터셋이 사전에 학습된 인공신경망모델을 이용하여 얼굴 부위의 방향 정보를 획득할 수 있다. 사전 학습된 인공신경망모델에 단계 S210에서 획득된 2차원 적외선 영상을 입력하고, 인공신경망모델의 출력으로서 얼굴 부위의 방향 정보를 유추할 수 있다(S220).
그리고, 처리부(120)는 단계 S210에서 획득된 3차원 영상 내의 생체에 대하여 단계 S220에서 획득된 방향 정보에 대응하는 각도만큼 3차원 회전 처리하고, 3차원 회전 처리된 3차원 영상과 기 저장된 기준 데이터의 비교 결과를 제공한다. 여기서, 처리부(120)는 영상 처리의 데이터 크기를 줄여 영상 처리 속도를 향상시키기 위해 얼굴 부위를 포함하는 부분 영상을 획득한 후 3차원 회전 처리를 수행할 수 있다.
예를 들어, 처리부(120)는 단계 S210에서 획득된 3차원 영상 내의 생체에 대하여 얼굴 부위를 포함하는 부분 영상을 획득할 수 있다(S230).
그리고, 처리부(120)는 단계 S230에서 획득된 부분 영상을 단계 S220에서 획득된 방향 정보에 대응하는 각도만큼 3차원 회전 처리할 수 있다. 예컨대, 단계 S220에서 얼굴 부위가 수평방향으로 각도A 만큼 회전된 상태라는 방향 정보가 획득된 경우, 처리부(120)는 단계 S230에서 획득된 부분 영상을 수평방향으로 -각도A 만큼 3차원 회전 처리하여 정면을 바라보는 3차원 얼굴 부분 영상을 생성할 수 있다. 여기서, 처리부(120)는 단계 S220에서 획득된 방향 정보에 기초하여 3차원 영상에 대한 3차원 회전 처리를 수행하기 때문에, 아무런 기초 정보 없이 3차원 영상에 대한 3차원 회전 처리를 수행하는 경우와 비교할 때에 정면을 바라보는 3차원 얼굴 부분 영상을 신속히 제공한다(S240).
그리고, 처리부(120)는 3차원 회전 처리된 3차원 얼굴 부분 영상과 기준 데이터의 비교 결과를 제공할 수 있다. 예컨대, 처리부(120)는 3차원 회전 처리된 3차원 얼굴 부분 영상의 3차원 특성 정보를 추출할 수 있고, 기준 데이터로서 기 저장된 특성 정보와 앞서 추출된 3차원 특성 정보를 비교하여 동일 얼굴인지 여부를 나타내는 얼굴 인증 결과를 비교 결과로서 제공할 수 있다. 여기서, 단계 S240에서 3차원 얼굴 부분 영상이 신속히 제공된 만큼 얼굴 인증 결과 또한 신속히 제공된다(S250).
한편, 전술한 일 실시예에 따른 영상 처리 장치가 수행하는 영상 처리 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록매체에서 구현될 수 있다.
지금까지 설명한 바와 같이, 본 발명의 일 실시예에 따른 영상 처리 장치 및 방법은 동일한 객체가 포함된 복수의 영상을 이용하여 얼굴 인증 등과 같은 생체 인증에 적합한 처리 영상을 신속히 제공한다. 예를 들어, 2차원 얼굴 영상으로부터 획득된 특정 부위의 방향 정보에 기초하여 3차원 얼굴 영상을 3차원 회전 처리한 결과로서 얼굴 인증에 적합한 처리 영상을 신속히 제공할 수 있다. 이처럼, 3차원 회전 처리 얼굴 영상을 신속히 제공함으로써 얼굴 인증 결과 또한 신속히 도출할 수 있다.
본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 영상 처리 장치
110: 획득부
120: 처리부

Claims (16)

  1. 영상 처리 장치가 수행하는 영상 처리 방법으로서,
    동일한 객체가 포함된 제 1 영상과 제 2 영상을 획득하는 단계와,
    상기 제 1 영상 내의 상기 객체에 대하여 특정 부위의 방향 정보를 획득하는 단계와,
    상기 제 2 영상 내의 상기 객체에 대하여 상기 획득된 방향 정보에 대응하는 각도만큼 3차원 회전 처리한 처리 영상을 제공하는 단계를 포함하는
    영상 처리 방법.
  2. 제 1 항에 있어서,
    상기 제 1 영상은 2차원 영상이고, 상기 제 2 영상은 3차원 영상인
    영상 처리 방법.
  3. 제 2 항에 있어서,
    상기 2차원 영상은 2차원 적외선 영상 또는 2차원 컬러 영상인
    영상 처리 방법.
  4. 제 1 항에 있어서,
    상기 객체는 생체이고, 상기 특정 부위는 상기 생체의 얼굴인
    영상 처리 방법.
  5. 제 1 항에 있어서,
    상기 방향 정보를 획득하는 단계는,
    복수의 학습용 영상을 입력으로 포함하고 상기 학습용 영상에 포함된 객체에 대한 특정 부위의 방향 정보를 레이블로 포함하는 학습용 데이터셋이 사전에 학습된 인공신경망모델을 이용하는
    영상 처리 방법.
  6. 제 1 항에 있어서,
    상기 처리 영상을 제공하는 단계는, 상기 제 2 영상 내의 상기 객체에 대하여 특정 부위를 포함하는 부분 영상을 획득한 후 상기 부분 영상을 상기 3차원 회전 처리한 처리 영상을 제공하고,
    상기 영상 처리 방법은, 상기 부분 영상과 기준 데이터의 비교 결과를 제공하는 단계를 더 포함하는
    영상 처리 방법.
  7. 제 6 항에 있어서,
    상기 객체는 생체이고, 상기 특정 부위는 상기 생체의 얼굴이며,
    상기 비교 결과를 제공하는 단계는, 상기 부분 영상과 상기 기준 데이터가 동일 얼굴인지를 나타내는 정보를 제공하는
    영상 처리 방법.
  8. 동일한 객체가 포함된 제 1 영상과 제 2 영상을 획득하는 획득부와,
    상기 제 1 영상과 상기 제 2 영상을 이용한 처리 영상을 제공하는 처리부를 포함하고,
    상기 처리부는,
    상기 제 1 영상 내의 상기 객체에 대하여 특정 부위의 방향 정보를 획득하며,
    상기 제 2 영상 내의 상기 객체에 대하여 상기 획득된 방향 정보에 대응하는 각도만큼 3차원 회전 처리해 상기 처리 영상을 제공하는
    영상 처리 장치.
  9. 제 8 항에 있어서,
    상기 제 1 영상은 2차원 영상이고, 상기 제 2 영상은 3차원 영상인
    영상 처리 장치.
  10. 제 9 항에 있어서,
    상기 2차원 영상은 2차원 적외선 영상 또는 2차원 컬러 영상인
    영상 처리 장치.
  11. 제 8 항에 있어서,
    상기 객체는 생체이고, 상기 특정 부위는 상기 생체의 얼굴인
    영상 처리 장치.
  12. 제 8 항에 있어서,
    상기 처리부는,
    복수의 학습용 영상을 입력으로 포함하고 상기 학습용 영상에 포함된 객체에 대한 특정 부위의 방향 정보를 레이블로 포함하는 학습용 데이터셋이 사전에 학습된 인공신경망모델을 이용하여 상기 방향 정보를 획득하는
    영상 처리 장치.
  13. 제 8 항에 있어서,
    상기 처리부는, 상기 제 2 영상 내의 상기 객체에 대하여 특정 부위를 포함하는 부분 영상을 획득한 후 상기 부분 영상을 상기 3차원 회전 처리한 처리 영상을 제공하고, 상기 부분 영상과 기준 데이터의 비교 결과를 제공하는
    영상 처리 장치.
  14. 제 13 항에 있어서,
    상기 객체는 생체이고, 상기 특정 부위는 상기 생체의 얼굴이며,
    상기 처리부는, 상기 부분 영상과 상기 기준 데이터가 동일 얼굴인지를 나타내는 정보를 상기 비교 결과로서 제공하는
    영상 처리 장치.
  15. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 동일한 객체가 포함된 제 1 영상과 제 2 영상을 획득하는 단계와, 상기 제 1 영상 내의 상기 객체에 대하여 특정 부위의 방향 정보를 획득하는 단계와, 상기 제 2 영상 내의 상기 객체에 대하여 상기 획득된 방향 정보에 대응하는 각도만큼 3차원 회전 처리한 처리 영상을 제공하는 단계를 포함하는 영상 처리 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 판독 가능한 기록매체.
  16. 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 동일한 객체가 포함된 제 1 영상과 제 2 영상을 획득하는 단계와, 상기 제 1 영상 내의 상기 객체에 대하여 특정 부위의 방향 정보를 획득하는 단계와, 상기 제 2 영상 내의 상기 객체에 대하여 상기 획득된 방향 정보에 대응하는 각도만큼 3차원 회전 처리한 처리 영상을 제공하는 단계를 포함하는 영상 처리 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 프로그램.
KR1020210145609A 2021-10-28 2021-10-28 영상 처리 장치 및 방법 KR20230060901A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020210145609A KR20230060901A (ko) 2021-10-28 2021-10-28 영상 처리 장치 및 방법
US17/538,666 US11475232B1 (en) 2021-10-28 2021-11-30 Method and apparatus for processing image
US17/943,832 US11783009B2 (en) 2021-10-28 2022-09-13 Method and apparatus for processing image
KR1020230116554A KR20230129969A (ko) 2021-10-28 2023-09-01 영상 처리 장치 및 방법
US18/460,922 US20230409675A1 (en) 2021-10-28 2023-09-05 Method and apparatus for processing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210145609A KR20230060901A (ko) 2021-10-28 2021-10-28 영상 처리 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230116554A Division KR20230129969A (ko) 2021-10-28 2023-09-01 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230060901A true KR20230060901A (ko) 2023-05-08

Family

ID=83603671

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210145609A KR20230060901A (ko) 2021-10-28 2021-10-28 영상 처리 장치 및 방법
KR1020230116554A KR20230129969A (ko) 2021-10-28 2023-09-01 영상 처리 장치 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230116554A KR20230129969A (ko) 2021-10-28 2023-09-01 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (3) US11475232B1 (ko)
KR (2) KR20230060901A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101906431B1 (ko) 2017-07-20 2018-10-11 네이버랩스 주식회사 ２ｄ 이미지 인식에 기반한 ３ｄ 모델링 방법 및 그 시스템

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69313694T2 (de) * 1992-03-23 1998-02-19 Canon Kk Bildaufnahmevorrichtung mit mehreren Linsen und Korrektur von Falschregistrierung
AUPO884297A0 (en) * 1997-08-27 1997-09-18 Orme, Gregory Michael Imaging devices
US6525699B1 (en) * 1998-05-21 2003-02-25 Nippon Telegraph And Telephone Corporation Three-dimensional representation method and an apparatus thereof
JP4946730B2 (ja) * 2007-08-27 2012-06-06 ソニー株式会社 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム
JP4951498B2 (ja) 2007-12-27 2012-06-13 日本電信電話株式会社 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体
IL196162A (en) * 2008-12-24 2013-02-28 Rafael Advanced Defense Sys A system that uses 3D models to enable image comparison regardless of the source of the images
JP5106459B2 (ja) * 2009-03-26 2012-12-26 株式会社東芝 立体物判定装置、立体物判定方法及び立体物判定プログラム
KR101700595B1 (ko) * 2010-01-05 2017-01-31 삼성전자주식회사 얼굴 인식 장치 및 그 방법
JP5963353B2 (ja) * 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
WO2015128961A1 (ja) * 2014-02-26 2015-09-03 株式会社日立製作所 顔認証システム
US9916495B2 (en) * 2014-03-28 2018-03-13 Nec Corporation Face comparison device, method, and recording medium
KR101647803B1 (ko) 2014-09-18 2016-08-11 한국과학기술연구원 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템
JP6507046B2 (ja) * 2015-06-26 2019-04-24 株式会社東芝 立体物検知装置及び立体物認証装置
KR101789306B1 (ko) 2016-02-02 2017-10-23 공주대학교 산학협력단 자전거 도난 방지 시스템
WO2018100800A1 (ja) * 2016-11-29 2018-06-07 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム
CN109583267B (zh) * 2017-09-28 2022-04-08 京东方科技集团股份有限公司 车辆用目标检测方法、车辆用目标检测装置和车辆
KR102016082B1 (ko) 2018-02-01 2019-08-29 고려대학교 산학협력단 딥러닝 기반의 포즈 변화에 강인한 얼굴 인식 방법 및 장치
JP2019185384A (ja) * 2018-04-10 2019-10-24 キヤノン株式会社 画像認証装置、画像認証方法、コンピュータプログラムおよび記憶媒体
CN109086691B (zh) * 2018-07-16 2020-02-21 阿里巴巴集团控股有限公司 一种三维脸部活体检测方法、脸部认证识别方法及装置
US10958828B2 (en) * 2018-10-10 2021-03-23 International Business Machines Corporation Advising image acquisition based on existing training sets
CN111382592B (zh) * 2018-12-27 2023-09-29 杭州海康威视数字技术股份有限公司 活体检测方法和设备
TWI786311B (zh) * 2019-07-04 2022-12-11 先進光電科技股份有限公司 行動載具輔助系統及其停車控制方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101906431B1 (ko) 2017-07-20 2018-10-11 네이버랩스 주식회사 ２ｄ 이미지 인식에 기반한 ３ｄ 모델링 방법 및 그 시스템

Also Published As

Publication number Publication date
US11783009B2 (en) 2023-10-10
US20230138609A1 (en) 2023-05-04
KR20230129969A (ko) 2023-09-11
US11475232B1 (en) 2022-10-18
US20230409675A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
US11176406B2 (en) Edge-based recognition, systems and methods
US9747493B2 (en) Face pose rectification method and apparatus
CN106407914B (zh) 用于检测人脸的方法、装置和远程柜员机***
JP6587435B2 (ja) 画像処理装置、情報処理方法及びプログラム
JP5061645B2 (ja) 情報抽出方法、情報抽出装置、プログラム、登録装置及び照合装置
JP7122815B2 (ja) 画像処理装置、画像処理方法、及びプログラム
EP3198522A1 (en) A face pose rectification method and apparatus
CN112487922B (zh) 一种多模态人脸活体检测方法及***
Derkach et al. Head pose estimation based on 3-D facial landmarks localization and regression
US11461929B2 (en) Systems and methods for automated calibration
JP6410450B2 (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
WO2017000217A1 (zh) 活体检测方法及设备、计算机程序产品
Hernandez et al. Multimodal registration of multiple retinal images based on line structures
KR20230060901A (ko) 영상 처리 장치 및 방법
JP2008203995A (ja) 物体形状生成方法、物体形状生成装置及びプログラム
Kuznetsova et al. Hand pose estimation from a single rgb-d image
JP2014199505A (ja) 画像認識装置、画像認識方法及びプログラム
AU2018284102B2 (en) System and method for generating a photographic police lineup
El Abbadi et al. Automatic detection of vascular bifurcations and crossovers in retinal fundus image
KR101900903B1 (ko) 분할된 이미지의 무게중심에 기반한 이미지 오리엔테이션 추정방법 및 이를 이용한 문자 인식 장치와 문자 인식 방법
Mahmood et al. 3D face recognition using pose invariant nose region detector
US11783612B1 (en) False positive suppression using keypoints
Kumar Face Recognition System
Ul Haq et al. CapsNet-FR: Capsule Networks for Improved Recognition of Facial Features.
Albu Face recognition using Radon transform

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination