KR102674496B1 - 원격 광용적맥파신호를 이용한 위조 얼굴 판별 방법 및 장치 - Google Patents

원격 광용적맥파신호를 이용한 위조 얼굴 판별 방법 및 장치 Download PDF

Info

Publication number
KR102674496B1
KR102674496B1 KR1020220125681A KR20220125681A KR102674496B1 KR 102674496 B1 KR102674496 B1 KR 102674496B1 KR 1020220125681 A KR1020220125681 A KR 1020220125681A KR 20220125681 A KR20220125681 A KR 20220125681A KR 102674496 B1 KR102674496 B1 KR 102674496B1
Authority
KR
South Korea
Prior art keywords
image
face
features
remote
fake
Prior art date
Application number
KR1020220125681A
Other languages
English (en)
Other versions
KR20240030876A (ko
Inventor
이의철
이건영
유호준
오재무
Original Assignee
상명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교산학협력단 filed Critical 상명대학교산학협력단
Publication of KR20240030876A publication Critical patent/KR20240030876A/ko
Application granted granted Critical
Publication of KR102674496B1 publication Critical patent/KR102674496B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/95—Pattern authentication; Markers therefor; Forgery detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Cardiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Dentistry (AREA)
  • Collating Specific Patterns (AREA)

Abstract

얼굴 이미지를 획득하는 단계; 상기 얼굴 이미지를 이용하여 원격 광용적맥파신호(remote PPG signal)를 산출하는 단계; 상기 산출된 원격 광용적맥파신호의 특징을 추출하는 단계; 및 사람의 얼굴을 포함하는 이미지를 학습데이터로 하여 학습된 제1 인공지능 모델을 이용하여, 위조 이미지의 특징과 상기 원격 광용적맥파신호의 특징을 비교함으로써, 상기 얼굴 이미지가 위조된 이미지인지 여부를 판단하는 단계;를 포함하는, 위조 얼굴 판별 방법.

Description

원격 광용적맥파신호를 이용한 위조 얼굴 판별 방법 및 장치{Method and Apparatus for Detecting Fake Faces Using Remote Photoplethysmography Signals}
본 개시는 원격 광용적맥파신호를 이용한 위조 얼굴 판별 방법 및 장치에 관한 것이다. 보다 자세하게는, 기 학습된 인공지능 모델을 이용하여 위조 이미지의 특징과 원격 광용적맥파신호의 특징을 비교함으로써, 위조 얼굴을 판별하는 방법 및 장치에 관한 것이다.
기술의 발달로 얼굴 인식을 포함한 생체 정보 기반 보안 시스템이 상용화되고 있고, 이에 따라 생체 정보 기반 보안 시스템을 공격하기 위해 얼굴을 포함하는 생체 정보를 위조하는 시도가 늘어나고 있다.
얼굴 위조 판별은 위조된 얼굴로 얼굴 인식 시스템을 공격하는 등의 경우에, 위조된 얼굴의 특징을 식별하여 이를 방어하기 위해 사용된다. 하지만 종래의 일반적인 판별 기술에 의할 경우 고가의 카메라 장비가 필요하거나, 사용자에게 특정 제스처를 요구하는 등 사용자의 불편이 존재하였다.
이에 사용자에게 특정 행동을 요구하지 않고, 고가의 장비를 필요로 하지 않으면서도 위조된 얼굴을 판별하는 방법이 필요한 실정이다.
본 개시는 원격 광용적맥파신호를 이용한 위조 얼굴 판별 방법 및 장치를 제공한다. 본 개시가 해결하고자 하는 과제는 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 개시의 다른 과제 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 개시의 실시 예에 의해보다 분명하게 이해될 것이다. 또한, 본 개시가 해결하고자 하는 과제 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제1 측면은, 얼굴 이미지를 획득하는 단계; 상기 얼굴 이미지를 이용하여 원격 광용적맥파신호(remote PPG signal)를 산출하는 단계; 상기 산출된 원격 광용적맥파신호의 특징을 추출하는 단계; 및 사람의 얼굴을 포함하는 이미지를 학습데이터로 하여 학습된 제1 인공지능 모델을 이용하여, 위조 이미지의 특징과 상기 원격 광용적맥파신호의 특징을 비교함으로써, 상기 얼굴 이미지가 위조된 이미지인지 여부를 판단하는 단계;를 포함하는, 위조 얼굴 판별 방법을 제공할 수 있다.
본 개시의 제2 측면은, 적어도 하나의 프로그램이 저장된 메모리; 및 상기 적어도 하나의 프로그램을 실행함으로써 동작하는 프로세서;를 포함하고, 상기 프로세서는, 얼굴 이미지를 획득하고, 상기 얼굴 이미지를 이용하여 원격 광용적맥파신호(remote PPG signal)를 산출하고, 상기 산출된 원격 광용적맥파신호의 특징을 추출하고, 사람의 얼굴을 포함하는 이미지를 학습데이터로 하여 학습된 제1 인공지능 모델을 이용하여, 위조 이미지의 특징과 상기 원격 광용적맥파신호의 특징을 비교함으로써, 상기 얼굴 이미지가 위조된 이미지인지 여부를 판단하는, 위조 얼굴 판별 장치를 제공할 수 있다.
본 개시의 제3 측면은, 본 개시의 제1 측면의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
전술한 본 개시의 과제 해결 수단에 의하면, 혈류 변화를 광학 센서를 이용하여 측정한 광용적맥파(Photoplethysmography; PPG)를 이용함으로써, 고가의 장비 없이 얼굴 위변조 여부를 판별할 수 있다.
또한, 본 개시의 다른 과제 해결 수단에 의하면, 사용자에게 별도의 행동을 요구하지 않고, 원격 광용적맥파신호(remote PPG signal)를 이용함으로써, 사용자에게 편의를 제공할 수 있다.
또한, 본 개시의 다른 과제 해결 수단에 의하면, 높은 정확성을 유지함과 동시에, 특징 추출 전 단계에서 디스플레이, 사진의 특징 및 BPM 특징을 이용하여 미리 판별 과정을 수행함으로써 높은 처리 속도를 제공할 수 있다.
도 1은 위조 얼굴 판별 장치를 이용하여 위조된 얼굴을 판별하는 서비스를 제공하는 방법의 일례를 설명하기 위한 도면이다.
도 2은 위조 얼굴 판별 장치의 블록도이다.
도 3은 원격 광용적맥파신호를 이용한 위조 얼굴 판별 방법의 흐름도이다.
도 4는 얼굴 영역 및 피부 영역을 추출하는 방법을 설명하기 위한 도면이다.
도 5는 얼굴 이미지에서 사진 또는 디스플레이에서 발견되는 특징을 검출하고 이를 이용하는 방법을 설명하기 위한 도면이다.
도 6은 원격 광용적맥파신호의 특징을 추출하기 전, 디스플레이 및 사진의 특징을 이용한 판별 과정을 수행하고, BPM 추정을 이용한 판별 과정을 수행하는 일례를 설명하기 위한 순서도이다.
도 7은 원격 광용적맥파신호 및 원격 광용적맥파신호로부터 추출된 주파수 영역을 이용하여 특징을 추출하는 방법을 설명하기 위한 도면이다.
도 8은 주성분 분석을 통해 산출된 주파수 영역 및 시간 영역의 주성분 값에 대한 분포를 설명하기 위한 그래프이다.
도 9는 일 실시예에 따른 원격 광용적맥파신호의 특징을 이용하여 위조 얼굴을 판별하는 인공지능 모델의 학습데이터에 대한 위조 얼굴 판별 확률분포를 나타낸 그래프이다.
본 개시는 다양하게 변환하여 실시할 수 있고, 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 기재한다. 본 개시의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조해 명확해질 것이다.
그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성요소를 다른 구성요소와 구별하는 목적으로 사용되었다. 예컨대, 본 개시의 권리 범위를 벗어나지 않으면서 먼저 서술한 제1 구성요소는 그 뒤에 제2 구성요소로 서술되는 경우가 있을 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 서술될 수 있다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 편의를 위하여 임의로 나타낸 것으로, 본 개시는 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 개시의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때, 동일하거나 대응하는 구성 요소는 동일한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 위조 얼굴 판별 장치를 이용하여 위조된 얼굴을 판별하는 서비스를 제공하는 방법의 일례를 설명하기 위한 도면이다.
도 1을 참조하면, 위조 얼굴 판별 장치를 이용하여 위조된 얼굴을 판별하는 서비스를 제공하는 경우에, 촬영 장치(110)가 피사체(120)를 촬영하여 생성한 얼굴 이미지가 위조된 것인지 판별하는 서비스를 제공할 수 있음을 확인할 수 있다. 위조 얼굴 판별 장치는 얼굴이 포함된 사진, 얼굴이 포함된 디스플레이 및 마스크를 위조 얼굴로 판별할 수 있으나, 이에 한정되지 않는다.
위조 얼굴 판별 장치는 촬영 장치(110)가 피사체(120)를 촬영하여 생성한 얼굴 이미지를 획득할 수 있다.
본 개시의 이미지(image)는 정지 이미지(still image) 및 동적 이미지(moving image)를 포함한다. 한편, 시간에 대하여 변화하는 신호, 예를 들어, 원격 광용적맥파신호를 산출하는데 필수적으로 이용되는 이미지는, 동적 이미지인 것으로 이해될 수 있다. 또한 당해 기술분야의 통상의 기술자는 이를 알 수 있다.
촬영 장치(110)는 위조 얼굴 판별 장치(200)의 일부 구성일 수 있으며, 또는 위조 얼굴 판별 장치(200)의 외부에서 피사체(120)를 촬영하여 얼굴 이미지를 생성하고, 이를 네트워크를 이용하여 위조 얼굴 판별 장치(200)에 제공하는 장치일 수 있다. 촬영 장치(110)는 피사체(120)의 정면 또는 측면에 위치하여 피사체(120)를 촬영함으로써 얼굴 이미지를 생성할 수 있다.
촬영 장치(110)는 피사체(120)에 반사되는 가시광선을 이용하여 얼굴 이미지를 생성할 수 있다. 촬영 장치(110)는 피사체(120)에 반사되는 가시광선을 이용하여 이미지를 생성하는 모든 장치를 포함할 수 있으나, 이에 한정되지 않는다.
촬영 장치(110)는 세밀한 프레임 간격으로 연속 촬영이 가능한 초고속 카메라를 포함할 수 있으며, 세밀한 프레임 간격으로 촬영할 때 얼굴의 RGB성분 변화 정도를 확인할 수 있을 정도의 고해상도 카메라를 포함할 수 있다.
도 2은 위조 얼굴 판별 장치의 블록도이다.
도 2를 참조하면, 위조 얼굴 판별 장치(200)는 프로세서(210) 및 메모리(220)를 포함할 수 있다. 도 2의 위조 얼굴 판별 장치(200)에는 실시예와 관련된 구성요소들 만이 도시되어 있으므로, 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.
위조 얼굴 판별 장치(200)는, 스마트폰, 태블릿 PC, PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 가전기기, 카메라가 탑재된 디바이스 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있다. 또한, 위조 얼굴 판별 장치(200)은 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 디바이스일 수 있다. 다만, 이에 한정되는 것은 아니다.
프로세서(210)는 위조 얼굴 판별 장치(200)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(210)는 메모리(220)에 저장된 프로그램들을 실행함으로써, 입력부(미도시), 디스플레이(미도시), 메모리(220), 통신 모듈(미도시), 카메라(미도시), 시간 영역 특징 추출부(미도시), 주파수 영역 특징 추출부(미도시) 등을 전반적으로 제어할 수 있고, 위조 얼굴 판별 장치(200)의 동작을 제어할 수 있다. 프로세서(210)는 도 1 내지 도 9에서 설명되는 위조 얼굴 판별 장치(200)의 동작 중 적어도 일부를 제어할 수 있다.
프로세서(210)는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
메모리(220)는 위조 얼굴 판별 장치(200) 내에서 처리되는 각종 데이터들을 저장하는 하드웨어로서, 프로세서(210)의 처리 및 제어를 위한 프로그램을 저장할 수 있다.
메모리(220)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM, 블루레이 또는 다른 광학 디스크 스토리지, HDD(hard disk drive), SSD(solid state drive), 또는 플래시 메모리를 포함할 수 있다.
또한, 본 개시에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 개시를 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
일 실시예에 따르면, 본 개시의 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
도 3은 원격 광용적맥파신호를 이용한 위조 얼굴 판별 방법의 흐름도이다.
도 3을 참조하면, 단계 310에서, 위조 얼굴 판별 장치(200)는 얼굴 이미지를 획득할 수 있다.
단계 320에서, 위조 얼굴 판별 장치(200)는 얼굴 이미지를 이용하여 원격 광용적맥파신호(remote PPG signal)를 산출할 수 있다.
위조 얼굴 판별 장치(200)는 얼굴 이미지의 특징을 추출할 수 있다.
위조 얼굴 판별 장치(200)는 얼굴이 포함된 사진(photo)을 촬영한 이미지를 학습데이터로 하여 학습된 제2 인공지능 모델을 이용하여, 사진의 특징과 얼굴 이미지의 특징을 비교함으로써, 얼굴 이미지가 위조된 이미지인지 여부를 판단할 수 있다.
위조 얼굴 판별 장치(200)는 얼굴이 포함된 디스플레이를 촬영한 이미지를 학습데이터로 하여 학습된 제3 인공지능 모델을 이용하여, 디스플레이의 특징과 얼굴 이미지의 특징을 비교함으로써, 얼굴 이미지가 위조된 이미지인지 여부를 판단할 수 있다.
위조 얼굴 판별 장치(200)는 얼굴 이미지에 포함된 얼굴 영역을 추출할 수 있다.
위조 얼굴 판별 장치(200)는 얼굴 영역에 포함된 피부 영역을 추출할 수 있다.
추출된 얼굴 영역 및 추출된 피부 영역은, 딥러닝 및 색상 임계치 기반 기법 중 적어도 하나를 이용하여 추출되는 영역일 수 있다.
위조 얼굴 판별 장치(200)는 피부 영역에 기초하여 원격 광용적맥파신호를 산출할 수 있다.
위조 얼굴 판별 장치(200)는 피부 영역에서 RGB 성분을 추출할 수 있다.
위조 얼굴 판별 장치(200)는 RGB 성분에 대응하는 RGB 행렬을 생성하고, RGB 행렬을 QR 분해할 수 있다.
위조 얼굴 판별 장치(200)는 QR 분해된 행렬 및 최소제곱법을 이용하여 원격 광용적맥파신호를 산출할 수 있다.
위조 얼굴 판별 장치(200)는 원격 광용적맥파신호를 이용하여 분당심장박동수를 추정할 수 있다.
위조 얼굴 판별 장치(200)는 원격 광용적맥파신호를 푸리에 변환으로 처리하여, 변환 신호를 생성할 수 있다.
위조 얼굴 판별 장치(200)는 변환 신호를 바탕으로, 원격 광용적맥파신호에서 크기가 가장 큰 주파수를 분당심장박동수로 추정할 수 있다.
위조 얼굴 판별 장치(200)는 분당심장박동수 및 기 설정된 오차범위에 기초하여 얼굴 이미지가 위조된 이미지인지 여부를 판단할 수 있다.
단계 330에서, 위조 얼굴 판별 장치(200)는 산출된 원격 광용적맥파신호의 특징을 추출할 수 있다.
단계 340에서, 위조 얼굴 판별 장치(200)는 사람의 얼굴을 포함하는 이미지를 학습데이터로 하여 학습된 제1 인공지능 모델을 이용하여, 위조 이미지의 특징과 원격 광용적맥파신호의 특징을 비교함으로써, 얼굴 이미지가 위조된 이미지인지 여부를 판단할 수 있다.
위조 얼굴 판별 장치(200)는 위조 이미지의 특징 및 원격 광용적맥파신호의 특징을 비교하여, 이미지들의 시간 영역에서의 제1 유사 스코어를 계산하고, 주파수 영역에서의 제2 유사 스코어를 계산할 수 있다.
위조 얼굴 판별 장치(200)는 제1 유사 스코어, 제2 유사 스코어 및 기 설정된 임계값에 기초하여 얼굴 이미지가 위조된 이미지인지 여부를 판단할 수 있다.
위조 얼굴 판별 장치(200)는, 또한, 원격 광용적맥파신호의 시간 영역에서의 특징과 주파수 영역에서의 특징을 결합하여 최종 특징을 획득할 수 있고, 위조 이미지의 특징 및 최종 특징을 비교하여, 이미지들의 제3 유사 스코어를 계산할 수 있다.
위조 얼굴 판별 장치(200)는 제3 유사 스코어 및 기 설정된 임계값에 기초하여 얼굴 이미지가 위조된 이미지인지 여부를 판단할 수 있다.
도 4는 얼굴 영역 및 피부 영역을 추출하는 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 위조 얼굴 판별 장치(200)는 사람의 얼굴이 포함된 이미지(410)에서 얼굴 영역(411)을 추출하고, 추출된 얼굴 영역(411)에서 피부 영역(420)을 추출할 수 있다.
위조 얼굴 판별 장치(200)는 이미지(410)에서 사람의 얼굴을 색깔, 위치, 신체구조상의 특징을 기초로 하여 판별하고, 판별된 얼굴의 크기를 기초로 얼굴 영역(411)의 크기를 설정하여 추출할 수 있다. 또한 위조 얼굴 판별 장치(200)는 OpenCV(Open-source Computer Vision library)를 이용하여 이미지(410)에서 사람의 얼굴을 즉시 검출하고, 검출된 얼굴 영역(411)과 얼굴의 피부 영역(420)을 구분할 수도 있다.
위조 얼굴 판별 장치(200)는 사람의 얼굴이 포함된 이미지(410)에서 얼굴 영역(411)을 딥러닝 기반 기법으로 추출할 수 있고, 얼굴 영역(411)에 포함되는 피부 영역(420)을 딥러닝 기반 기법으로 추출할 수 있다. 이하 딥러닝 기반 기법을 이용하는 일 실시예가 개시된다.
위조 얼굴 판별 장치(200)는 이미지(410)에서 사람의 형상, 사람의 얼굴, 사람의 얼굴 피부, 사람의 자세 등을 학습하여 판별할 수 있는 인공지능 모델을 포함할 수 있다. 인공지능 모델은 모델 내부에 설정되어 있는 기계학습 알고리즘을 통해, 학습을 반복하고 이미지에 포함되어 있는 사람, 사람의 얼굴 및 사람의 피부를 구분할 수 있다. 인공지능 모델은 ANN(Artificial Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DNN(Deep Neural Network), 오토인코더(Autoencoder) 등과 같은 알고리즘을 포함할 수 있으나, 이에 제한되지 않는다.
위조 얼굴 판별 장치(200)는 얼굴 영역(411)에 포함되는 피부 영역(420)을 색상 임계치 기법에 기반하여 추출할 수 있다. 이하 색상 임계치 기법을 이용하는 일 실시예가 개시된다.
획득된 이미지(410)는 RGB채널의 이미지일 수 있다. 위조 얼굴 판별 장치(200)는 얼굴 영역(411)을 YCbCr 색공간으로 변환하는 단계, 변환된 픽셀 중 Y, Cb, Cr 값이 기 설정된 임계값 범위인 픽셀을 피부로 판단함으로써 피부 영역(420)을 추출하는 단계를 수행할 수 있다. 예를 들어, Y 값이 235 이하이고, Cb 값이 133 이상 173 이하이고, Cr 값이 77 이상 127 이하인 경우, 해당 픽셀을 피부로 판단하여 피부 영역(420)을 추출할 수 있다.
도 5는 얼굴 이미지에서 사진 또는 디스플레이에서 발견되는 특징을 검출하고 이를 이용하는 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 위조 얼굴 판별 장치(200)는 얼굴 이미지로부터 원격 광용적맥파신호를 산출하기 전에, 획득된 얼굴 이미지의 일부 특징을 먼저 추출할 수 있다. 얼굴 이미지에서 추출한 특징이 사진 또는 디스플레이에서 필연적으로 나타나는 특징인 경우, 위조 얼굴 판별 장치(200)는 위조 얼굴을 판별할 수 있다.
위조 얼굴 판별 장치(200)은 추출된 얼굴 이미지의 특징과 불연속성 등 사진 또는 디스플레이의 특징을 비교함으로써, 사전에 위조 얼굴을 판단하는 전처리 단계를 수행할 수 있다.
위조 얼굴 판별 장치(200)는 얼굴이 포함된 사진을 촬영한 이미지에서 불연속성이 나타나는 점과 선의 위치 및 배치를 학습하여 판별할 수 있는 인공지능 모델을 포함할 수 있다. 인공지능 모델은 모델 내부에 설정되어 있는 기계학습 알고리즘을 통해, 학습을 반복하고 이미지에 포함되어 있는 불연속 특징을 추출할 수 있다.
또한, 위조 얼굴 판별 장치(200)는 얼굴이 포함된 디스플레이를 촬영한 이미지에서 불연속성이 나타나는 점과 선의 위치 및 배치를 학습하여 판별할 수 있는 인공지능 모델을 포함할 수 있다. 인공지능 모델은 모델 내부에 설정되어 있는 기계학습 알고리즘을 통해, 학습을 반복하고 이미지에 포함되어 있는 불연속 특징을 추출할 수 있다.
한편, 위조 얼굴 판별 장치(200)는 원격 광용적맥파신호를 산출한 후, 원격 광용적맥파신호의 특징을 추출하기 전에, 산출한 원격 광용적맥파신호를 이용하여 분당심장박동수를 추정할 수 있다. 이에 관한 구체적인 실시예는 하기 도 6에 관한 설명에서 상세히 설명한다.
도 6은 원격 광용적맥파신호의 특징을 추출하기 전, 디스플레이 및 사진의 특징을 이용한 판별 과정을 수행하고, BPM 추정을 이용한 판별 과정을 수행하는 일례를 설명하기 위한 순서도이다.
도 6을 참조하면, 단계 610에서, 위조 얼굴 판별 장치(200)는 획득한 얼굴 이미지에서 사진 또는 디스플레이의 특징이 검출되었는지 여부를 판단할 수 있다. 상기 특징이 검출된 경우, 위조 얼굴 판별 장치(200)는 획득한 얼굴 이미지를 위조된 이미지로 판별할 수 있다.
단계 620에서, 상기 특징이 검출되지 않은 경우, 위조 얼굴 판별 장치(200)는 얼굴 이미지를 이용하여 원격 광용적맥파신호를 산출할 수 있다.
위조 얼굴 판별 장치(200)는 얼굴 이미지에서 얼굴 영역을 추출하고, 얼굴 영역에 포함되는 피부 영역을 추출할 수 있다. 위조 얼굴 판별 장치(200)는 피부 영역에 대해서 원격 광용적맥파신호를 산출할 수 있다. 이때, 위조 얼굴 판별 장치(200)는 추출된 피부영역 및 OMIT(Orthogonal Matrix Image Transformation) 방법을 이용하여 원격 광용적맥파신호를 산출할 수 있다.
OMIT 방법을 이용하는 일 실시예에 따르면, 위조 얼굴 판별 장치(200)는 피부 영역에서 RGB 성분을 추출하고, RGB 성분에 대응하는 RGB 행렬을 생성하고, RGB 행렬을 QR 분해하며, QR 분해된 행렬 및 최소제곱법을 이용하여 원격 광용적맥파신호를 산출할 수 있다.
또는, 위조 얼굴 판별 장치(200)는 피부 영역에 대해서 원격 광용적맥파신호를 산출할 때, 종래의 방법을 이용할 수도 있다. 예를 들어, 대한민국 등록특허 제10-2225557호에는 얼굴 이미지에서 원격 광용적맥파신호를 추출하는 기술이 개시된 바 있다.
단계 630에서, 위조 얼굴 판별 장치(200)는 산출된 원격 광용적맥파신호를 이용하여 분당심장박동수를 추정할 수 있다.
위조 얼굴 판별 장치(200)는 산출한 원격 광용적맥파신호를 푸리에 변환(Fourier Transform)으로 처리하여 변환 신호를 생성하고, 변환 신호에서 가장 큰 값을 갖는 주파수를 찾음으로써, 원격 광용적맥파신호에서 크기가 가장 큰 주파수를 분당심장박동수로 추정할 수 있다.
단계 640에서, 위조 얼굴 판별 장치(200)는 추정된 분당심장박동수가 기 설정된 오차범위를 벗어나는지 여부를 판단할 수 있다. 상기 오차범위를 벗어나는 경우, 위조 얼굴 판별 장치(200)는 획득한 얼굴 이미지를 위조된 이미지로 판별할 수 있다.
한편, 상기 오차범위는 사람의 평균 분당심장박동수를 기준으로 설정된 오차범위일 수 있다. 예를 들어, 상기 오차범위는 60bpm이상 200bpm이하일 수 있으나 이에 한정되는 것은 아니다.
상기 오차범위는 나이 등에 따라 다양하게 설정될 수 있다. 위조 얼굴 판별 장치(200)는 얼굴이 포함된 이미지를 학습데이터로 하여 학습된 인공지능 모델을 이용하여, 이미지에서 인식된 피사체의 나이대를 추정하고, 추정 나이대에 따라 달리 설정된 오차범위를 이용할 수 있다.
단계 650에서, 상기 오차범위를 벗어나지 않은 경우, 위조 얼굴 판별 장치(200)는 산출된 원격 광용적맥파신호의 특징을 추출할 수 있다. 위조 얼굴 판별 장치(200)가 산출된 원격 광용적맥파신호의 특징을 추출하는 방법에 관하여는 하기 도 7에 관한 설명에서 상세히 설명한다.
단계 660에서, 위조 얼굴 판별 장치(200)는 기 학습된 제1 인공지능 모델을 이용하여, 위조 이미지의 특징과 원격 광용적맥파신호의 특징을 비교함으로써, 얼굴 이미지가 위조된 이미지인지 여부를 판단할 수 있다.
도 7은 원격 광용적맥파신호 및 원격 광용적맥파신호로부터 추출된 주파수 영역을 이용하여 특징을 추출하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 산출되는 원격 광용적맥파신호(710)는 시간 성분을 나타내는 신호로서 산출된다. 위조 얼굴 판별 장치(200)는 획득한 얼굴 이미지에서 산출된 원격 광용적맥파신호(710)를 푸리에 변환으로 처리함으로써 주파수 성분을 나타내는 상기 신호의 주파수 영역(720)을 획득할 수 있다.
위조 얼굴 판별 장치(200)는 시간 성분을 나타내는 원격 광용적맥파신호(710)를 시간 영역 특징 추출부(730)에 입력하여 시간 영역의 특징을 추출할 수 있다. 또한, 위조 얼굴 판별 장치(200)는 주파수 성분을 나타내는 원격 광용적맥파신호(710)의 주파수 영역(720)을 주파수 영역 특징 추출부(740)에 입력하여 주파수 영역의 특징을 추출할 수 있다.
시간 영역 특징 추출부(730) 및 주파수 영역 특징 추출부(740)는 도 3에서 설명되는 사람의 얼굴을 포함하는 이미지를 학습데이터로 하여 학습된 제1 인공지능 모델에 포함될 수 있다. 또한 시간 영역 특징 추출부(730) 및 주파수 영역 특징 추출부(740)는 사람의 얼굴을 포함하는 이미지로부터 산출한 시간 영역의 광용적맥파신호(710) 및 광용적맥파신호의 주파수 영역(720)을 학습데이터로 학습된 인공지능 모델을 포함할 수 있다. 일 실시예에 따른 인공지능 모델은 SVM(Support Vector Machine), DNN(Deep Neural Network)를 포함할 수 있다.
시간 영역 특징 추출부(730) 및 주파수 영역 특징 추출부(740)는 위조 얼굴 판별 장치(200)의 일부 구성일 수 있으며, 또는, 위조 얼굴 판별 장치(200)의 외부에 존재하며 위조 얼굴 판별 장치(200)와 네트워크를 통한 통신으로 신호(710, 720) 및 추출된 특징 등을 주고받을 수 있다.
위조 얼굴 판별 장치(200)는 시간 영역 특징 추출부(730) 또는 주파수 영역 특징 추출부(740)의 주성분분석(PCA) 알고리즘을 통해 산출한 신호(710)의 시간 영역 및 주파수 영역의 특징을 추출하고, 학습데이터의 시간 영역 및 주파수 영역 특징과 비교함으로써, 얼굴 이미지가 위조된 이미지인지 여부를 판단할 수 있다. 주성분분석 알고리즘은 입력된 신호의 특징이 가장 두드러지게 표현되는 공분산 행렬의 고유벡터를 구하여, 고차원 벡터를 저차원 벡터로 표현하는 알고리즘이다.
위조 얼굴 판별 장치(200)는 원격 광용적맥파신호(710)의 시간 영역의 특징과 주파수 영역의 특징을 결합하여 최종 특징(750)을 획득할 수 있다. 예를 들어, 위조 얼굴 판별 장치(200)는 벡터로 표현된 시간 영역의 특징 및 주파수 영역의 특징에 있어서, 두 벡터를 하나로 이어 붙여 최종 특징(750)을 획득할 수 있다. 위조 얼굴 판별 장치(200)는 획득한 최종 특징(750)과 위조 이미지를 포함하는 학습데이터의 시간 영역의 특징과 주파수 영역의 특징을 결합한 최종 특징을 비교함으로써, 계산된 유사 스코어가 기 설정된 임계값보다 큰 값인지 판단하고, 얼굴 이미지가 위조된 이미지인지 여부를 판단할 수 있다.
또는, 위조 얼굴 판별 장치(200)는 학습데이터의 시간 영역 특징 및 원격 광용적맥파신호(710)의 특징을 비교하여, 이미지들의 시간 영역에서의 제1 유사 스코어를 계산할 수 있다. 또한 위조 얼굴 판별 장치(200)는 학습데이터의 주파수 영역 특징 및 원격 광용적맥파신호의 주파수 영역(720)에서의 특징을 비교하여, 이미지들의 주파수 영역에서의 제2 유사 스코어를 계산할 수 있다.
위조 얼굴 판별 장치(200)는 제1 유사 스코어, 제2 유사 스코어 및 기 설정된 임계값에 기초하여 얼굴 이미지가 위조된 이미지인지 여부를 판단할 수 있다. 예를 들어, 위조 얼굴 판별 장치(200)는 제1 유사 스코어 및 제2 유사 스코어의 합이 기 설정된 임계값을 초과하는 경우 얼굴 이미지가 위조된 이미지인지 여부를 판단할 수 있다.
도 8은 주성분 분석을 통해 산출된 주파수 영역 및 시간 영역의 주성분 값에 대한 분포를 설명하기 위한 그래프이다.
도 8을 참조하면, 도 7에 이어서, 위조 얼굴 판별 장치(200)는 획득한 얼굴 이미지에서 산출된 신호 및 학습데이터에서 산출된 신호를 특징 추출부(730, 740)에 입력하여 주파수 주성분 분석 결과(810) 및 시간 주성분 분석 결과(820)를 획득할 수 있다. 또한 위조 얼굴 판별 장치(200)는 획득한 분석 결과들을 결합하여 최종 주성분 분석 결과(830)를 획득할 수 있다.
도 9는 일 실시예에 따른 원격 광용적맥파신호의 특징을 이용하여 위조 얼굴을 판별하는 인공지능 모델의 학습데이터에 대한 위조 얼굴 판별 확률분포를 나타낸 그래프이다.
도 9를 참조하면, 가로축은 표본이 실제 얼굴일 확률 값, 세로축은 해당 확률 값을 가지는 표본의 개수인 것을 확인할 수 있다.
일 실시예에 따른 위조 얼굴 표본의 확률분포(910)는 위조 얼굴 판별 장치(200)가 이용하는 상기 인공지능 모델이 특정 위조 얼굴 표본을 실제 얼굴로 판단할 확률 및 그러한 확률을 가지는 위조 얼굴 표본의 개수를 나타낸다.
일 실시예에 따른 실제 얼굴 표본의 확률분포(920)는 위조 얼굴 판별 장치(200)가 이용하는 상기 인공지능 모델이 특정 실제 얼굴 표본을 실제 얼굴로 판단할 확률 및 그러한 확률을 가지는 실제 얼굴 표본의 개수를 나타낸다.
한편, 본 개시에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다. 본 개시에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 개시의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 개시의 사상의 범주에 속한다고 할 것이다.

Claims (12)

  1. 얼굴 이미지를 획득하는 단계;
    상기 얼굴 이미지를 제1 인공지능 모델에 입력하고, 상기 제1 인공지능 모델의 출력에 기초하여 상기 얼굴 이미지가 위조된 이미지인지 여부를 1차 판단하는 단계;
    상기 1차 판단의 결과가 상기 얼굴 이미지가 위조임을 나타내지 않는 경우, 상기 얼굴 이미지를 이용하여 원격 광용적맥파신호(remote PPG signal)를 산출하는 단계;
    상기 원격 광용적맥파신호의 시간 영역에서의 특징 및 주파수 영역에서의 특징을 추출하는 단계;
    상기 시간 영역에서의 특징 및 상기 주파수 영역에서의 특징을 결합하여 최종 특징을 획득하는 단계; 및
    상기 최종 특징을 제2 인공지능 모델에 입력하고, 상기 제2 인공지능 모델의 출력에 기초하여 상기 얼굴 이미지가 위조된 이미지인지 여부를 최종 판단하는 단계;
    를 포함하되,
    상기 제1 인공지능 모델은, 이미지를 입력으로 하고, 위조 얼굴 판별 결과를 출력으로 하며, 얼굴이 포함된 사진(photo)을 촬영한 이미지 및 얼굴이 포함된 디스플레이를 촬영한 이미지 중 적어도 하나를 포함하는 이미지를 제1 학습데이터로 하고, 상기 제1 학습데이터 각각이 사진 또는 디스플레이가 촬영된 이미지로서 위조된 이미지인지 여부를 판별하도록 학습된 모델을 포함하고,
    상기 제2 인공지능 모델은, 원격 광용적맥파신호의 시간 영역에서의 특징 및 주파수 영역에서의 특징이 결합된 최종 특징을 입력으로 하고, 위조 얼굴 판별 결과를 출력으로 하며, 사람의 얼굴을 포함하는 이미지로부터 산출된 원격 광용적맥파신호의 시간 영역에서의 특징 및 주파수 영역에서의 특징이 결합된 최종 특징을 제2 학습데이터로 하되, 상기 제2 학습데이터를 이용하여 상기 사람의 얼굴을 포함하는 이미지 각각이 위조된 이미지인지 여부를 판별하도록 학습된 모델을 포함하는, 위조 얼굴 판별 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 원격 광용적맥파신호를 산출하는 단계는,
    상기 얼굴 이미지에 포함된 얼굴 영역을 추출하는 단계;
    상기 얼굴 영역에 포함된 피부 영역을 추출하는 단계; 및
    상기 피부 영역에 기초하여 상기 원격 광용적맥파신호를 산출하는 단계;
    를 포함하는, 방법.
  5. 제 4 항에 있어서,
    상기 추출된 얼굴 영역 및 상기 추출된 피부 영역은, 딥러닝 및 색상 임계치 기반 기법 중 적어도 하나를 이용하여 추출되는 영역인, 방법.
  6. 제 4 항에 있어서,
    상기 원격 광용적맥파신호를 산출하는 단계는,
    상기 피부 영역에서 RGB 성분을 추출하는 단계;
    상기 RGB 성분에 대응하는 RGB 행렬을 생성하고, 상기 RGB 행렬을 QR 분해하는 단계; 및
    상기 QR 분해된 행렬 및 최소제곱법을 이용하여 원격 광용적맥파신호를 산출하는 단계;
    를 포함하는, 방법.
  7. 제 1 항에 있어서,
    상기 시간 영역에서의 특징 및 상기 주파수 영역에서의 특징을 추출하는 단계는,
    상기 원격 광용적맥파신호를 이용하여 분당심장박동수를 추정하는 단계;
    상기 분당심장박동수 및 기 설정된 오차범위에 기초하여 상기 얼굴 이미지가 상기 위조된 이미지인지 여부를 2차 판단하는 단계; 및
    상기 2차 판단의 결과가 상기 얼굴 이미지가 위조임을 나타내지 않는 경우, 상기 원격 광용적맥파신호의 상기 시간 영역에서의 특징 및 상기 주파수 영역에서의 특징을 추출하는 단계;
    를 포함하는, 방법.
  8. 제 7 항에 있어서,
    상기 분당심장박동수를 추정하는 단계는,
    상기 원격 광용적맥파신호를 푸리에 변환으로 처리하여, 변환 신호를 생성하는 단계; 및
    상기 변환 신호를 바탕으로, 상기 원격 광용적맥파신호에서 크기가 가장 큰 주파수를 상기 분당심장박동수로 추정하는 단계;
    를 포함하는, 방법.
  9. 삭제
  10. 삭제
  11. 적어도 하나의 프로그램이 저장된 메모리; 및
    상기 적어도 하나의 프로그램을 실행함으로써 동작하는 프로세서;
    를 포함하고,
    상기 프로세서는,
    얼굴 이미지를 획득하고,
    상기 얼굴 이미지를 제1 인공지능 모델에 입력하고, 상기 제1 인공지능 모델의 출력에 기초하여 상기 얼굴 이미지가 위조된 이미지인지 여부를 1차 판단하고,
    상기 1차 판단의 결과가 상기 얼굴 이미지가 위조임을 나타내지 않는 경우, 상기 얼굴 이미지를 이용하여 원격 광용적맥파신호(remote PPG signal)를 산출하고,
    상기 원격 광용적맥파신호의 시간 영역에서의 특징 및 주파수 영역에서의 특징을 추출하고,
    상기 시간 영역에서의 특징 및 상기 주파수 영역에서의 특징을 결합하여 최종 특징을 획득하고,
    상기 최종 특징을 제2 인공지능 모델에 입력하고, 상기 제2 인공지능 모델의 출력에 기초하여 상기 얼굴 이미지가 위조된 이미지인지 여부를 최종 판단하되,
    상기 제1 인공지능 모델은, 이미지를 입력으로 하고, 위조 얼굴 판별 결과를 출력으로 하며, 얼굴이 포함된 사진(photo)을 촬영한 이미지 및 얼굴이 포함된 디스플레이를 촬영한 이미지 중 적어도 하나를 포함하는 이미지를 제1 학습데이터로 하고, 상기 제1 학습데이터 각각이 사진 또는 디스플레이가 촬영된 이미지로서 위조된 이미지인지 여부를 판별하도록 학습된 모델을 포함하고,
    상기 제2 인공지능 모델은, 원격 광용적맥파신호의 시간 영역에서의 특징 및 주파수 영역에서의 특징이 결합된 최종 특징을 입력으로 하고, 위조 얼굴 판별 결과를 출력으로 하며, 사람의 얼굴을 포함하는 이미지로부터 산출된 원격 광용적맥파신호의 시간 영역에서의 특징 및 주파수 영역에서의 특징이 결합된 최종 특징을 제2 학습데이터로 하되, 상기 제2 학습데이터를 이용하여 상기 사람의 얼굴을 포함하는 이미지 각각이 위조된 이미지인지 여부를 판별하도록 학습된 모델을 포함하는, 위조 얼굴 판별 장치.
  12. 제 1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020220125681A 2022-08-31 2022-09-30 원격 광용적맥파신호를 이용한 위조 얼굴 판별 방법 및 장치 KR102674496B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220109832 2022-08-31
KR1020220109832 2022-08-31

Publications (2)

Publication Number Publication Date
KR20240030876A KR20240030876A (ko) 2024-03-07
KR102674496B1 true KR102674496B1 (ko) 2024-06-13

Family

ID=90271589

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220125681A KR102674496B1 (ko) 2022-08-31 2022-09-30 원격 광용적맥파신호를 이용한 위조 얼굴 판별 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102674496B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101823658B1 (ko) * 2016-07-13 2018-03-14 성균관대학교산학협력단 영상을 이용한 스트레스 지수 산출 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101823658B1 (ko) * 2016-07-13 2018-03-14 성균관대학교산학협력단 영상을 이용한 스트레스 지수 산출 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
S. Kim et al., 'Face Biometric Spoof Detection Method Using a Remote Photoplethysmography Signal,' Sensors 2022, 22, 3070 (2022.04.16.) 1부.*
U. A. Ciftci et al., 'FakeCatcher: Detection of Synthetic Portrait Videos using Biological Signals,' arXivL1901.02212v3 [cs.CV] 19 Jul 2020 (2020.07.19.) 1부.*
유문욱 및 박지영 공저, ‘비접촉식 생체신호 기반 얼굴인증기술 향상,’ 2017년 한국통신학회 하계종합학술발표회 논문집, pp.910-911 (2017.06.) 1부.*

Also Published As

Publication number Publication date
KR20240030876A (ko) 2024-03-07

Similar Documents

Publication Publication Date Title
US11915515B2 (en) Facial verification method and apparatus
CN108875833B (zh) 神经网络的训练方法、人脸识别方法及装置
CN106557726B (zh) 一种带静默式活体检测的人脸身份认证***及其方法
Alioua et al. Driver’s fatigue detection based on yawning extraction
CN106557723B (zh) 一种带交互式活体检测的人脸身份认证***及其方法
Haber et al. A practical approach to real-time neutral feature subtraction for facial expression recognition
Ibrahim et al. Geometrical-based lip-reading using template probabilistic multi-dimension dynamic time warping
Mortezaie et al. A survey on age-invariant face recognition methods
Koutras et al. Estimation of eye gaze direction angles based on active appearance models
KR20190127255A (ko) 측면 프로파일링 기반 신원확인 장치 및 방법
KR102674496B1 (ko) 원격 광용적맥파신호를 이용한 위조 얼굴 판별 방법 및 장치
Riaz et al. A model based approach for expressions invariant face recognition
Miners et al. Dynamic facial expression recognition using fuzzy hidden Markov models
Poursaberi et al. Modified multiscale vesselness filter for facial feature detection
Briceño et al. Robust identification of persons by lips contour using shape transformation
Gatto et al. Orthogonal hankel subspaces for applications in gesture recognition
Mohammad Multi-Modal Ocular Recognition in Presence of Occlusion in Mobile Devices
Subramanyam et al. Face and Facial Expression Recognition-A Comparative Study
Mostafa et al. Rejecting pseudo-faces using the likelihood of facial features and skin
Modeste et al. Facial Expression Analysis by k-means Clustering on Fiducial points of face
Saeed et al. Advancement in the head pose estimation via depth-based face spotting
Abdel-Hafiez et al. INTERNATIONAL JOURNAL OF COMPUTER ENGINEERING & TECHNOLOGY (IJCET)
Topac et al. Enhanced face recognition using euclidean distance classification and PCA
JayaMohan et al. Face recognition under expressions and lighting variations using artificial intelligence and image synthesizing
Siregar et al. Identity recognition of people through face image using principal component analysis

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right