KR20170104521A - 생동감 평가에 근거하는 비디오 스푸핑 검출을 위한 시스템 및 프로세스 - Google Patents

생동감 평가에 근거하는 비디오 스푸핑 검출을 위한 시스템 및 프로세스 Download PDF

Info

Publication number
KR20170104521A
KR20170104521A KR1020177021612A KR20177021612A KR20170104521A KR 20170104521 A KR20170104521 A KR 20170104521A KR 1020177021612 A KR1020177021612 A KR 1020177021612A KR 20177021612 A KR20177021612 A KR 20177021612A KR 20170104521 A KR20170104521 A KR 20170104521A
Authority
KR
South Korea
Prior art keywords
video
motion intensity
frame
frames
motion
Prior art date
Application number
KR1020177021612A
Other languages
English (en)
Other versions
KR102321397B1 (ko
Inventor
피에르 가콘
크리스토프 부쉬
라자 키란 바이랍파
라마찬드라 라그하벤드라
Original Assignee
사프란 아이덴티티 앤드 시큐리티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사프란 아이덴티티 앤드 시큐리티 filed Critical 사프란 아이덴티티 앤드 시큐리티
Publication of KR20170104521A publication Critical patent/KR20170104521A/ko
Application granted granted Critical
Publication of KR102321397B1 publication Critical patent/KR102321397B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G06K9/00906—
    • G06K9/0061—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 생체인식 특징에 대한 비디오가 라이브 생체인식 특징의 스푸핑 레코딩인지 또는 진품 레코딩인지를 판별하는 프로세스를 제공하며, 상기 프로세스는, -상기 비디오를 전처리하는 단계(200), -상기 비디오의 생동감 점수를 결정하는 단계(300), 상기 결정하는 단계는, 복수의 프레임들(j)의 각 프레임에 대하여, ○ 현재 프레임(j)의 모션 강도(motion intensity)와 선행 프레임들의 세트의 각 프레임의 모션 강도 사이의 차이를 계산하는 단계(322, 325), ○ 상기 차이로부터 현재 프레임의 미분 모션 강도를 추론하는 단계(324, 326), ○ 상기 복수의 프레임들의 미분 모션 강도들로부터 상기 비디오의 모션 강도를 추론하는 단계(330), ○ 상기 모션 강도를 기결정된 임계값과 비교하고(340), 상기 임계값과 상기 비디오의 모션 강도와의 비교에 따라 상기 비디오에 생동감 점수를 할당하는 단계를 포함하며, -상기 비디오의 생동감 점수에 따라, 상기 비디오가 생체인식 특징의 스푸핑 레코딩인지 또는 진품 레코딩인지를 판별하는 단계(400)를 포함한다.

Description

생동감 평가에 근거하는 비디오 스푸핑 검출을 위한 시스템 및 프로세스
본 발명은 생체인식 특징들(biometric characteristics)의 진품(genuine) 비디오와 스푸핑(spoof) 비디오를 구별하는 프로세스 분야에 관한 것으로, 특히 재생 비디오 유형의 스푸핑 검출에 적용될 수 있다.
본 발명은 보안 구역에 대한 액세스를 제공하거나 또는 보안 거래(secure transaction)를 허용하기 위한 식별 또는 인증의 맥락에서 구현될 수 있다.
다양한 컨트롤들이, 생체인식 특성을 기반으로 하는 인증 또는 식별에 의존하고 있는데 예를 들어, 이는 개인이 보안 장소에 액세스하거나 또는 보안 거래를 진행하기 위한 것이다.
일부 콘트롤들은, 개인의 생체인식 특징(예를 들어, 홍채)에 대한 비디오를 레코딩하고 그리고 레코딩된 개인들 데이터베이스와 추출된 생체인식 특징을 비교하여 매칭를 발견함으로써 구현된다.
이러한 콘트롤을 기만하기 위하여, 공격들(attacks)들이 개발되어 왔는바, 사기꾼(imposter)은 데이터베이스로부터 훔친 생체인식 샘플을 이용하여, 보안 구역에 대한 액세스를 획득하거나 또는 거래 수행이 허용될 수 있다.
이러한 공격들(즉, 프리젠테이션 공격들)은 프린트 공격의 형태를 취할 수 있는바, 프린트 공격에서는 생체인식 샘플이 고품질의 레이저젯 또는 잉크젯 프린터를 이용하여 인쇄되고, 그리고 콘트롤 프로세스 동안에 이용될 수 있다. 따라서, 콘트롤 동안, 진품 생체인식 특징 대신에, 프린트물의 비디오가 레코딩된다.
공격들은 또한, 재생 비디오 공격(replay video attack)의 형태를 취할 수도 있는바, 콘트롤 프로세스 동안, 생체인식 샘플을 디스플레이하는 고품질의 전자 비디오가 이용된다. 이 경우, 콘트롤 시스템은 생체인식 특징 대신에, 디스플레이된 비디오의 신규 비디오를 레코딩하게 된다.
콘트롤 시스템은 안전하고 신뢰할 수 있도록 이러한 프리젠테이션 공격을 탐지할 수 있어야 하며, 레코딩되는 주체(진품인 생체인식 특징 또는 재생 비디오 또는 생체인식 샘플의 프린트물)의 생동감(liveness)을 판별할 수 있어야 한다.
안면 인식 캡처 디바이스들에 대한 프리젠테이션 공격을 검출하기 위한 프로세스는 S. Bharadwaj, T.I. Dhamecha, M. Vatsa 및 R. Singh에 의한 문헌("Computationally efficient face spoofing detection with motion magnification", 2013년 IEEE 컴퓨터 시각 및 패턴 인식 워크샵, 105-110 페이지, IEEE, 2013년)에 제안되었다.
이 프로세스는, 모션 증폭(motion magnification) 및 텍스처 디스크립터(texture descriptors)의 크기를 이용하는 것에 의존하고 있으므로, 다른 종류의 생체인식 특징들(예컨대, 재생 비디오 공격들에 의존하는 홍채)에는 적합하지 않다.
따라서, 홍채 인식에서 재생 비디오 공격을 탐지할 수 있는 프로세스가 필요하다.
본 발명의 목표 중 하나는 비디오의 주체가 어떤 유형의 생체인식 특징인지에 관계없이, 상기 비디오가 라이브 생체인식 특징에 대한 스푸핑 레코딩인지 또는 진품 레코딩인지를 판별하는 프로세스를 제공하는 것이다.
따라서, 본 발명은 생체인식 특징에 대한 비디오가 라이브 생체인식 특징의 스푸핑 레코딩인지 또는 진품 레코딩인지를 판별하는 프로세스에 관한 것이며, 여기서 상기 비디오는 프레임들의 시간적 시퀀스를 포함하고, 상기 프로세스는 프로세싱 유닛을 포함하는 시스템에서 구현되며, 상기 프로세스는,
- 상기 비디오를 전처리하는 단계, 상기 전처리하는 단계는 상기 비디오의 각 프레임에 대한 생체인식 특징을 정렬하는 단계를 포함하고,
- 상기 비디오의 생동감 점수(liveness score)를 결정하는 단계, 상기 결정하는 단계는, 복수의 프레임들의 각 프레임에 대하여,
○ 현재 프레임의 모션 강도(motion intensity)와 선행 프레임들의 세트의 각 프레임의 모션 강도 사이의 차이를 계산하는 단계,
○ 상기 차이로부터 현재 프레임의 미분 모션 강도(differential motion intensity)를 추론하는 단계,
○ 상기 복수의 프레임들의 미분 모션 강도들로부터 상기 비디오의 모션 강도를 추론하는 단계,
○ 상기 모션 강도를 기결정된 임계값과 비교하고, 상기 임계값과 상기 비디오의 모션 강도와의 비교에 따라 상기 비디오에 생동감 점수를 할당하는 단계를 포함하며,
- 상기 비디오의 생동감 점수에 따라, 상기 비디오가 생체인식 특징의 스푸핑 레코딩인지 또는 진품 레코딩인지를 판별하는 단계를 포함한다.
일부 실시예들에서, 상기 프로세스는 다음과 같은 적어도 하나의 피처들을 포함할 수 있다. 프레임의 모션 강도는 프레임의 위상 변동을 포함하고, 그리고 비디오의 모션 강도는 비디오의 위상 변동을 포함한다.
비디오의 모션 강도는 상기 비디오의 적어도 10개 프레임들의 미분 모션 강도들로부터 추론된다.
현재 프레임과의 모션 강도 차이를 계산하기 위한 프레임들의 상기 세트는, 3개에서 8개까지의 프레임들을 포함하고, 바람직하게는 현재 프레임에 선행하는 5개의 프레임들을 포함한다.
각각의 프레임은 중첩되지 않는 일정 크기의 블록들로 분할되고, 그리고 2개의 프레임들 사이에서 모션 강도의 차이를 계산하는 단계는, 현재 프레임의 모든 블록에 대해, 상기 블록의 모션 강도와 선행 프레임들의 세트의 각 프레임의 대응 블록의 모션 강도 사이의 차이를 계산함으로써 수행되며, 상기 현재 프레임의 미분 모션 강도는,
○ 상기 현재 프레임의 각 블록에 대해, 상기 블록과 상기 선행 프레임들의 세트의 각 프레임의 대응 블록 사이의 최대 모션 강도 차이를 선택하고,
○ 프레임 내의 모든 블록들의 최대 모션 강도들을 합산함으로써 획득된다.
상기 전처리하는 단계는 상기 비디오의 모션을 증폭하는 단계를 더 포함한다.
상기 모션 증폭은 위상 변동 증폭이며, 그리고 상기 모션 증폭은,
○ 고속 푸리에 변환(Fast Fourier Transform)을 이용하여 상기 비디오를 분해하는 단계,
○ 위상(phase)에 대역 통과 필터를 적용하는 단계,
○ 적어도 일부의 위상 성분들에 증폭 팩터를 적용하는 단계, 및
○ 상기 비디오를 재구성하기 위해 역 푸리에 변환을 적용하는 단계를 포함한다.
상기 비디오의 생체인식 특징은 홍채(iris)이고, 그리고 비디오를 전처리하는 단계는 눈의 깜박임들을 제거하기 위해 비디오의 프레임들을 선택하는 단계를 포함한다.
상기 프로세스는, 비디오의 모션 강도를 제 2 임계값과 비교하는 단계를 더 포함하고, 그리고 비디오에 생동감 점수를 할당하는 단계는 모션 강도를 2개의 임계값들과 비교하는 것에 의존한다.
각 프레임의 미분 모션 강도는 시그모이드 함수(sigmoid function)를 적용함으로써 정규화된다.
비디오의 모션 강도는 정규화된 미분 모션 강도들의 평균이고, 상기 비디오의 모션 강도는 제 1 임계값과 비교되며, 모션 강도가 제 1 임계값을 초과하면 상기 비디오는 재생 비디오 유형의 스푸핑인 것으로 간주되며, 프레임에 할당된 생동감 점수는 0이다.
제 2 임계값은 제 1 임계값보다 낮고, 상기 비디오의 모션 강도는 제 2 임계값과 비교되며, 모션 강도가 제 2 임계값 보다 낮다면 상기 비디오는 프린트 유형의 스푸핑인 것으로 간주되며, 프레임에 할당된 생동감 점수는 0이다.
본 발명의 다른 양상은 컴퓨터 프로그램 제품에 관한 것으로, 상기 컴퓨터 프로그램 제품은 프로세싱 유닛에 의해서 구현될 때 전술한 내용들에 따른 프로세스를 수행하도록 된 소프트웨어 코드를 포함한다.
본 발명의 다른 양상은 프로세싱 유닛에 관한 것으로, 상기 프로세싱 유닛은 전술한 내용들에 따른 프로세스를 구현하도록 구성된다.
본 발명의 다른 양상은 인증 혹은 식별 시스템에 관한 것으로, 이는 전술한 프로세스를 구현하도록 된 프로세싱 유닛 및 생체인식 특징에 대한 비디오를 획득하고 상기 비디오를 상기 프로세싱 유닛으로 전송하는 비디오 카메라를 포함한다.
본 발명에 따른 프로세스는 비디오의 모션 강도를 평가함으로써, 재생 비디오 공격과 생체인식 특징의 진품 레코딩을 구별할 수 있다.
사실, 재생 비디오 공격은 생체인식 특징의 진품 레코딩에 비하여 더 많은 주파수 성분들을 갖는다. 따라서, 비디오의 모션 강도가 평균보다 더 중요하다면, 상기 비디오는 스푸핑 비디오로 간주될 수 있다.
상기 프로세스는 비디오의 평가된 모션 강도가 비디오의 위상 변동인 경우 특히 강건하다(robust).
또한, 비디오 프레임들을 블록들로 분해하는 것을 상기 프로세스를 보다 강건하게 만든다.
본 발명의 특징 및 이점은 본 발명의 특정 실시예들에 대한 다음의 보다 상세한 설명과 첨부 도면에 도시된 바와 같이 명백해질 것이다.
도1은 본 발명의 일 실시예에 따른 프로세스를 수행하도록 구성된 인증 또는 식별 시스템을 개략적으로 도시한다.
도2a는 본 발명의 일 실시예에 따른 프로세스의 주요 단계를 개략적으로 도시한다.
도2b는 프레임 미분 위상 정보(frame differential phase information)의 계산 단계들을 개략적으로 도시한다.
도2c는 프레임의 미분 위상 정보를 계산하는 단계의 구현예를 개략적으로 도시한다.
인증 또는 식별 시스템
도 1을 참조하면, 개인을 인증 또는 식별하기 위한 시스템(1)이 도시되어 있다. 이 시스템은 바람직하게는 예를 들어, 보안 구역에 들어가기를 원하는 개인들의 액세스 권한을 제어하는데 사용된다.
시스템(1)은 비디오 카메라(11) 및 프로세싱 유닛(12)을 포함하며, 프로세싱 유닛(12) 비디오 카메라(11)로부터 비디오 레코딩들을 수신하기 위해 유선 또는 무선으로 상기 비디오 카메라에 접속된다. 일 실시예에서, 시스템은 스마트 폰, 태블릿 등과 같은 휴대용 장치에 통합된다. 다른 실시예에서, 비디오 카메라는 프로세싱 유닛으로부터 멀리 떨어져 있을 수 있는바, 예컨대, 카메라는 보안 구역의 입구에 존재하고 그리고 프로세싱 유닛은 별도의 공간에 존재한다.
비디오 카메라(11)는 생체인식 특징에 대한 비디오 레코딩을 기록하기 위한 것이지만, 반드시 매우 높은 해상도를 가질 필요는 없다. 예를 들어, 스마트 폰의 비디오 카메라는 일반적으로 다음의 프로세스를 수행하기에 충분한 해상도를 가지고 있다.
이하에서, 비디오는 동일한 사이즈(픽셀들의 개수)를 갖는 복수의 N개의 프레임들의 시간적 시퀀스로 간주된다.
프로세싱 유닛(12)은 계산 수단을 가지며, 적절한 소프트웨어 코드의 구현을 통해 아래에 개시된 프로세스를 수행하도록 구성된다.
전술한 바와 같이, 시스템(1)은 개인의 라이브 생체인식 특징에 대한 비디오를 레코딩하는 것으로 가정되지만, 공격을 받을 수도 있는바 예컨대, 재생 비디오 유형의 공격에서 비디오 카메라(11)는 생체인식 특징의 비디오 디스플레이에 대한 동영상(video)을 기록하게 되며, 또는 프린트 공격 유형에서 비디오 카메라(11)는 지원 매체(즉, 고품질의 종이) 상에 프린트된 생체인식 특징의 이미지에 대한 동영상을 레코딩한다.
스푸핑 탐지 프로세스
이제 도2a를 참조하면, 비디오가 라이브 생체인식 특징에 대한 진품 레코딩인지 혹은 스푸핑 레코딩인지의 여부를 판별하기 위한 프로세스가 설명될 것이다.
제 1 단계(100)는 평가할 비디오를 프로세싱 유닛(12)에 의해서 로딩하는 단계이다. 이러한 비디오는 카메라(11)에 의해 레코딩되었을 수도 있으며, 그리고 프로세싱 유닛(12)으로 직접 전송되거나 또는 후속 로딩을 위해서 시스템의 데이터베이스 또는 메모리에 저장될 수도 있다.
전처리(Pre-processing)
다음으로, 상기 프로세스는 비디오에 대한 전처리 단계(200)를 포함한다.
전처리 단계는, 레코딩된 객체가 레코딩 동안에 이동되었다면, 비디오의 각 프레임 상에 생체인식 샘플을 정렬하는 단계(210)를 포함한다.
이와 더불어, 각 프레임은 또한 생체인식 특징의 영역을 상기 프레임 상에 단지 유지하기 위하여 리프레임(reframe)될 수도 있다(220).
생체인식 특징은 예컨대, 홍채, 얼굴의 모양, 혈관의 패턴 등과 같은 다양한 유형이 될 수 있지만, 본 프로세스는 홍채에 대해 수행되는 것이 바람직하다.
레코딩된 생체인식 특징이 홍채인 경우, 상기 전처리는 또한 눈의 깜박임에 대응하는 프레임들을 제거하는 단계(230)를 포함하는데, 이는 눈이 완전히 개방되어 홍채 패턴이 보여질 수 있는 프레임들만을 보유하기 위한 것이다.
깜박임 제거는 수동으로 수행될 수도 있다. 대안적으로, 깜박임은 자동으로 검출 및 제거될 수 있는데, 예를 들어, 아래에 개시된 방법들을 구현함으로써 자동으로 검출 및 제거될 수 있다:
- 지앙 웨이 리(Jiang-Wei Li), "복수의 가버 응답 파형에 기초하는 눈 깜박임 탐지(Eye blink detection based on multiple Gabor response waves)", Machine Learning and Cybernetics, 2008 International Conference on, vol.5, 30 no., pp.2852, 2856, 12-15 July 2008,
- 최인호, 한승철, 김대진, "에이다부스트 학습 및 그룹핑을 이용한 안구 검출 및 눈 깜박임 검출(Eye Detection and Eye Blink Detection Using AdaBoost Learning and Grouping)" Computer Communications and Networks (ICCCN), 2011 Proceedings of 20th International Conference on, vol., no., pp.1 ,4, July 31, 2011 ~ August 4, 2011,
- 이원오, 이의철, 박강령, "다양한 안면 포즈들에 강건한 깜박임 검출(Blink detection robust to various facial poses)", Journal of neuroscience methods 193.2(2010): 356- 372.
상기 비디오는, 눈이 깜박이는 프레임들을 제거한 이후에, 대략, 30개 이상의 프레임들을 포함할 수 있다. 바람직하게는, 상기 비디오는 프로세스의 나머지 부분을 적절히 수행하기 위하여, 적어도 15개의 프레임들을 포함한다.
선택적으로, 하지만 바람직하게는, 상기 전처리는 비디오의 각 프레임에서 모션을 증폭하는 추가 단계(240)를 또한 포함할 수 있다.
이 단계는 비디오의 위상 변동을 확대함으로써 구현되는 것이 바람직하다. 이를 위해 고속 푸리에 변환(Fast Fourier Transform)과 같은 주파수 변환 기법들이 구현되어, 비디오를 분해하고 그리고 진폭과 위상을 분리할 수 있다.
이후, 임의의 시간적인 DC 성분(any temporal DC component)을 제거하도록, 대역 통과 필터가 위상에 적용된다. 대역 통과 필터는 버터워스(Butterworth) 대역 통과 필터인 것이 바람직하다. 시간적으로 대역통과된 위상들은 프레임의 모션에 대응한다. 다음으로, 증폭을 위해, 증폭 팩터가 위상들에 곱해진다.
다음으로, 역 푸리에 변환을 사용하여 비디오가 재구성되며, 따라서 모션 향상이 수행된다.
덜 바람직한 다른 실시예에서는, N. Wadhwa 등에 의한 "위상-기반의 비디오 모션 프로세싱(Phase-Based Video Motion Processing)", ACM Transactions on Graphics, 32(4):80, 2013에 개시된 바와 같은, 위상-기반의 오일러 비디오 증폭(Phase-Based Eulerian video magnification)를 구현함으로써 모션 증폭이 수행될 수도 있다.
대안적으로는, "세계의 미묘한 변화를 밝히기 위한 오일러 비디오 증폭(Eulerian video magnification for revealing subtle changes in the world)", ACM Transactions on Graphics, 31(4): 65, 2012에서 H.- Y. Wu 등에 의해서 개시된 오일러 비디오 증폭(Eulerian Video Magnification)이 구현되어, 모션 증폭이 수행될 수도 있다.
또한, 라그랑지안 모션 증폭(Lagrangian Motion Magnification)과 같은 방법들이 구현될 수도 있으며, 또는 아래의 문헌들 개시된 방법들이 수행될 수도 있다:
- Liu C, Torralba A., Freeman W. T., Durand F., Adelson E.H., 2005. "모션 증폭(Motion magnification)" ACM Trans. Graph. 24, 519-526 또는
- WANG, J., DRUCKER, S.M., AGRAWALA, M. 및 COH EN, M.F. "만화 애니메이션 필터(The cartoon animation filter)" ACM Trans. Graph. 25, 1169-1733.
비디오의 생동감 점수에 대한 판별(Determination of a liveness score of the video)
일단 비디오가 전처리되면, 프로세스는 비디오의 생동감 점수를 판별하는 단계(300)를 더 포함한다.
바람직하게는, 이러한 단계를 구현하기 위해, 비디오의 각 프레임은 더 작은 사이즈로 다운스케일링될 수 있다(310). 예를 들어, 프레임들은 100 * 100 픽셀들로 다운스케일될 수 있다. 이렇게하면 비디오를 더 빨리 프로세싱할 수 있다.
또한, 다운스케일링된 각각의 프레임에 대해서, 모션 강도(mortion intensity)(이는, 바람직하게는 프레임들 사이의 위상 변동임)는, 0 ~ 1 범위 내의 값을 가지도록 정규화된다(normalize).
비디오의 j번째 프레임(jth frame)의 모션 성분(예컨대, 증폭된 위상 변동)이 F 라고 가정하자. F는 프레임의 픽셀들과 선행 프레임의 대응 픽셀들 사이의 차이값들의 합계이다. 예를 들어, 프레임이 100 * 100 픽셀들로 다운스케일링된 경우:
Figure pct00001
여기서, Ij 는 j 번째 프레임이다.
정규화된 모션 성분 NorF(j)는 다음과 같이 주어진다:
Figure pct00002
여기서, j = 1:N 이다.
그리고, 복수의 프레임들 j에 대하여, 프레임의 미분 모션 강도(differential motion intensity)(320)가 결정된다. 모션 증폭이 모션 강도의 증폭을 포함하는 경우, 미분 모션 강도는 프레임의 미분 위상 변동(differential phase variation)이라 지칭된다. 이 단계는 도2b를 참조하여 보다 상세히 설명될 것이다.
바람직하게는, 비디오의 적어도 6개의 프레임들에 대하여 미분 모션 강도가 계산되며 보다 바람직하게는, 비디오의 적어도 10개 혹은 11개 프레임들에 대해서 계산되는 것이 바람직한바, 왜냐하면 미분 모션 강도에 기초하는 결정은, 프레임들의 개수가 증가할수록, 특히 11번째 프레임부터 더 강건(robust)하기 때문이다.
프레임 j의 미분 모션 강도를 결정하는 것은, 현재 프레임 j에 대해, 프레임 j의 모션 강도와 프레임 j보다 선행하는 프레임들의 세트의 각각의 프레임의 모션 강도 간의 차이값을 계산하는 것을 포함한다.
바람직하게는, 도2c에 도시된 바와 같이, 프레임들의 상기 세트는 3개 내지 8개의 프레임들, 바람직하게는 5개의 프레임들을 포함한다.
따라서, 바람직한 실시예에서, 이 단계는 제 5 프레임으로부터 각각의 프레임 j에 대해서 수행된다. 미분 모션 강도는 시간에 변화율(예컨대, 위상의 변화율)을 검출하도록, 5개(프레임들의 상기 세트의 기수:cardinal) 프레임들인 윈도우 크기 및 한 프레임씩 증분되는 슬라이딩 윈도우 접근법을 사용하여 계산되는바 즉, 현재 프레임 NorF(j)에 대하여, 선행하는 5개의 프레임들 NorF (j-1) 내지 NorF (j-5)를 사용하여 계산된다.
프레임의 미분 모션 강도를 계산하는 것(320)은 다음과 같다.
일 실시예에서, 먼저, 각각의 프레임은 예를 들어 도2b에 도시된 바와 같이, 특정하고 일정한 사이즈를 갖는 중첩되지 않는(non-overlapping) 블록들(bx * by)로 분할된다(321). 전술한 일례에 후속하여, 블록 사이즈는 20*20 픽셀들이 될 수 있으며, 결과적으로 블록들의 개수 k는 25 이다.
블록의 모션 강도는 블록 모션 강도라고 지칭되며 그리고 NorFB(j)k 로 표현된다. 바람직한 실시예에서, 블록의 모션 강도는 정규화된 블록 위상 변동이다.
다음으로, 현재 프레임과 선행 프레임들의 세트의 각 프레임 간의 모션 강도의 차이(322)가 결정되는바, 현재 프레임의 모든 블록에 대해, 한 블록의 모션 강도와 선행 프레임들의 세트의 각 프레임의 대응 블록의 모션 강도 사이의 차이를 계산함으로써 결정된다.
특정 블록 k에 대하여, 현재 프레임과 선행 프레임들의 세트 간의 미분 강도는 다음과 같이 주어진다:
DMI(j - 5)k = NorFB(j)k - NorFB(J - 5)k
DMI(j - 4)k = NorFB(j)k - NorFB(J - 4)k
DMI(j - 3)k = NorFB(j)k - NorFB(J - 3)k
DMI(j - 2)k = NorFB(j)k - NorFB(J - 2)k
DMI(j - 1)k = NorFB(j)k - NorFB(J - 1)k
모든 k 개의 블록들에 대해 (예를 들어, k = 1, 2, ..., 25).
프레임 j의 특정 블록 k에 대한 미분 모션 강도는 차동 움직임 세기는 단계 322에서 계산된 모든 차이값들의 최대값을 결정함으로써 획득된다(323):
DMI(j)k = max {DMI(j-5)k, ... DMI(j-1)k}
그 후, 프레임에 대해, 전체 프레임 j의 모든 블록들에 대해 누적된, CMI로 지칭되는, 프레임 j의 미분 모션 강도가 단계 324에서 획득되는바, 프레임 내의 모든 블록들 k에 대해서 모든 미분 모션 강도들을 합산함으로써 획득된다.
Figure pct00003
프레임을 더 작은 블록들로 분할함으로써 프로세싱 유닛에 대한 계산 요구 사항이 감소된다.
다른 실시예에서, 프레임은 블록들로 분할되지 않을 수도 있으며, 따라서 미분 모션 강도를 결정하는 단계(320)는, 선행 프레임들의 세트 내의 각 프레임과 프레임 j 사이의 모션 강도 차이를 계산하는 단계(325) 및 단계 322에서 계산된 최대 모션 강도 차이값으로서 프레임 j의 미분 모션 강도를 결정하는 단계(326)만을 포함할 수 있다. 이러한 실시예에서는, 프레임이 블록들로 분할되지 않기 때문에 중간 단계가 존재하지 않는다.
바람직하게는, 단계(324) 또는 단계(326)에서 얻어진 미분 모션 강도는 단계 327 동안 또한 정규화되며, 따라서 이는 공통 임계값과 비교될 수 있다.
미분 모션 강도를 정규화하기 위하여, 바람직하게는 싱글 사이디드 로지스틱 또는 시그모이드 함수(single sided logistic or sigmoid function)가 적용된다. 프레임 j에 대한 정규화된 미분 모션 강도는 NCMI(j)로 표시된다.
싱글 사이디드 시그모이드 함수가 이용되는 경우, NCMI(j)는 다음과 같이 표현된다:
Figure pct00004
이러한 일례에서, 싱글 사이디드 시그모이드 함수가 사용된다라고 가정하면, 획득된 정규화된 미분 모션 강도 범위들은 0.5 ~ 1 사이이다.
다음으로, 단계(330) 동안, 프레임들의 정규화된 미분 모션 강도로부터 비디오의 모션 강도가 추정된다. 비디오의 모션 강도는 비디오의 위상 변동인 것이 바람직하다(이 경우, 프레임의 미분 모션 강도는 미분 위상 변동이다).
바람직하게는, 6개 이상의 프레임들에 대해서, 그리고 더욱 바람직하게는 단계 320에서 프레임들의 미분 모션 강도가 계산되었던 10개 이상의 프레임들에 대해서, 프레임들의 평균 정규화된 미분 모션 강도(mean normalized differential motion intensity) m(NCMI(j))를 계산함에 의해서 비디오의 모션 강도가 획득된다.
마지막으로, 비디오의 모션 강도(예컨대, 비디오의 위상 변동)를 기결정된 임계값(Th로 표시됨)과 비교(340)함으로써, 프레임 j의 생동감 점수가 획득된다. 이러한 임계값은 스푸핑 비디오들의 데이터베이스에 기초하여 경험적으로 결정될 수 있다.
재생 비디오 공격의 경우, 재생 비디오의 레코딩은 라이브 생체인식 특징의 진품 레코딩보다 더 많은 주파수 성분들을 포함한다. 이러한 이유로, 상기 평균 정규화된 미분 모션 강도는 재생 비디오 공격의 경우 진품 비디오 레코딩보다 더 높아야한다.
따라서, 상기 평균 정규화된 미분 모션 강도가 기결정된 임계값보다 높으면, 비디오는 재생 공격 비디오로 간주되고, 그리고 생동감 점수(Liveness Score: LS)는 0 으로 설정된다.
일 실시예에서, 평균 정규화된 미분 모션 강도가 임계값(Th) 보다 낮으면, 상기 비디오는 생체인식 특징의 진품 레코딩으로 간주되고, 생동감 점수(LS)는 1로 설정된다.
이러한 실시예는 다음과 같이 요약될 수 있다:
Figure pct00005
대안적인 실시예에서, 정규화된 미분 모션 강도는 제 1 Th 보다 낮은 다른 임계값(Th')과 비교될 수 있으며, 상기 다른 임계값(Th') 아래에서 프레임은 그림(picture)의 레코딩(즉, 프린트 공격)에 관한 것으로 간주된다.
실제로, 이러한 비디오들은 상이한 모션 정보, 및 특히 개인들의 라이브 프리젠테이션과는 상이한 위상 변동을 가질 것이다.
이 경우, 평균 정규화된 미분 모션 강도는 제 2 임계값(Th') 보다 낮으며, 상기 비디오는 프린트 공격 비디오로 간주되고, 생동감 점수는 0으로 설정된다. 만일, 평균 정규화된 미분 모션 강도가 제 1 임계값(Th)과 제 2 임계값(Th') 사이라면, 상기 비디오는 라이브 생체인식 특징의 진품 레코딩으로 간주되고, 그리고 생동감 점수(LS)는 1로 설정된다.
이것은 다음과 같이 요약될 수 있다:
Figure pct00006
생동감 점수를 결정하는 단계가 수행되면, 전체 비디오의 신뢰성에 관한 결정이 수행된다(400).
적어도 10개 또는 11개의 프레임들에 기초하는 결정은, 매우 큰 정확성과 낮은 오류양을 나타낸다. 따라서, 전술한 기술은 가령, 스마트 폰의 프로세서와 같이 비교적 낮은 계산 용량을 갖는 프로세싱 유닛을 사용하더라도, 스푸핑 비디오와 진품 비디오를 구별할 수 있게 한다.

Claims (15)

  1. 생체인식 특징에 대한 비디오가 라이브 생체인식 특징의 스푸핑 레코딩인지 또는 진품 레코딩인지를 판별하는 프로세스로서, 상기 비디오는 프레임들(j)의 시간적 시퀀스를 포함하고, 상기 프로세스는 프로세싱 유닛을 포함하는 시스템에서 구현되며, 상기 프로세스는,
    - 상기 비디오를 전처리하는 단계(200), 상기 전처리하는 단계는 상기 비디오의 각 프레임에 대한 생체인식 특징을 정렬하는 단계(210)를 포함하고,
    - 상기 비디오의 생동감 점수(liveness score)를 결정하는 단계(300), 상기 결정하는 단계는, 복수의 프레임들(j)의 각 프레임에 대하여,
    ○ 현재 프레임(j)의 모션 강도(motion intensity)와 선행 프레임들의 세트의 각 프레임의 모션 강도 사이의 차이를 계산하는 단계(322, 325),
    ○ 상기 차이로부터 현재 프레임의 미분 모션 강도(differential motion intensity)를 추론하는 단계(324, 326),
    ○ 상기 복수의 프레임들의 미분 모션 강도들로부터 상기 비디오의 모션 강도를 추론하는 단계(330),
    ○ 상기 모션 강도를 기결정된 임계값과 비교하고(340), 상기 임계값과 상기 비디오의 모션 강도와의 비교에 따라 상기 비디오에 생동감 점수를 할당하는 단계를 포함하며,
    - 상기 비디오의 생동감 점수에 따라, 상기 비디오가 생체인식 특징의 스푸핑 레코딩인지 또는 진품 레코딩인지를 판별하는 단계(400)
    를 포함하는 것을 특징으로 하는 프로세스.
  2. 제1항에 있어서,
    상기 프레임의 모션 강도는 상기 프레임의 위상 변동을 포함하고, 그리고 상기 비디오의 모션 강도는 상기 비디오의 위상 변동을 포함하는 것을 특징으로 하는 프로세스.
  3. 제1항 또는 제2항에 있어서,
    상기 비디오의 적어도 10개 프레임들의 미분 모션 강도들로부터 상기 비디오의 모션 강도가 추론되는 것을 특징으로 하는 프로세스.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    현재 프레임과의 모션 강도 차이를 계산하기 위한 프레임들의 상기 세트는, 3개에서 8개까지의 프레임들을 포함하고, 바람직하게는 현재 프레임에 선행하는 5개의 프레임들을 포함하는 것을 특징으로 하는 프로세스.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    각각의 프레임은 중첩되지 않는 일정 크기의 블록들로 분할되고(321) 그리고 2개의 프레임들 사이에서 모션 강도의 차이를 계산하는 단계(322)는, 현재 프레임의 모든 블록에 대해, 상기 블록의 모션 강도와 선행 프레임들의 세트의 각 프레임의 대응 블록의 모션 강도 사이의 차이를 계산함으로써 수행되며,
    상기 현재 프레임의 미분 모션 강도는,
    - 상기 현재 프레임의 각 블록에 대해, 상기 블록과 상기 선행 프레임들의 세트의 각 프레임의 대응 블록 사이의 최대 모션 강도 차이를 선택하고(323),
    - 프레임 내의 모든 블록들의 최대 모션 강도들을 합산(324)함으로써 획득되는 것을 특징으로 하는 프로세스.
  6. 선행하는 청구항들 중 어느 한 항에 있어서,
    상기 전처리하는 단계는 상기 비디오의 모션을 증폭하는 단계(240)를 더 포함하는 것을 특징으로 하는 프로세스.
  7. 제6항에 있어서,
    상기 모션 증폭은 위상 변동 증폭이며, 그리고 상기 모션 증폭은,
    - 고속 푸리에 변환(Fast Fourier Transform)을 이용하여 상기 비디오를 분해하는 단계,
    - 위상(phase)에 대역 통과 필터를 적용하는 단계,
    - 적어도 일부의 위상 성분들에 증폭 팩터를 적용하는 단계, 및
    - 상기 비디오를 재구성하기 위해 역 푸리에 변환을 적용하는 단계
    를 포함하는 것을 특징으로 하는 프로세스.
  8. 선행하는 청구항들 중 어느 한 항에 있어서,
    상기 비디오의 생체인식 특징은 홍채(iris)이고, 그리고 상기 비디오를 전처리하는 단계는 눈의 깜박임들을 제거하기 위해 상기 비디오의 프레임들을 선택하는 단계(230)를 포함하는 것을 특징으로 하는 프로세스.
  9. 선행하는 청구항들 중 어느 한 항에 있어서,
    상기 비디오의 모션 강도를 제 2 임계값과 비교하는 단계를 더 포함하고, 그리고 상기 비디오에 생동감 점수를 할당하는 단계는 상기 모션 강도를 상기 2개의 임계값들과 비교하는 것에 의존하는 것을 특징으로 하는 프로세스.
  10. 선행하는 청구항들 중 어느 한 항에 있어서,
    각 프레임의 상기 미분 모션 강도는 시그모이드 함수(sigmoid function)를 적용함으로써 정규화(327)되는 것을 특징으로 하는 프로세스.
  11. 제10항에 있어서,
    상기 비디오의 모션 강도는 정규화된 미분 모션 강도들의 평균이고, 상기 비디오의 모션 강도는 상기 제 1 임계값과 비교되며, 상기 모션 강도가 상기 제 1 임계값을 초과하면 상기 비디오는 재생 비디오 유형의 스푸핑인 것으로 간주되며, 상기 프레임에 할당된 생동감 점수는 0인 것을 특징으로 하는 프로세스.
  12. 제9항과 조합되는 제10항 또는 제11항에 있어서,
    상기 제 2 임계값은 상기 제 1 임계값보다 낮고, 상기 비디오의 모션 강도는 상기 제 2 임계값과 비교되며, 상기 모션 강도가 상기 제 2 임계값 보다 낮다면 상기 비디오는 프린트 유형의 스푸핑인 것으로 간주되며, 상기 프레임에 할당된 생동감 점수는 0인 것을 특징으로 하는 프로세스.
  13. 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터 프로그램 제품은 프로세싱 유닛에 의해서 구현될 때 전술한 청구항들 중 어느 한 항에 따른 프로세스를 수행하도록 된 소프트웨어 코드를 포함하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
  14. 프로세싱 유닛(12)으로서,
    상기 프로세싱 유닛은 제1항 내지 제12항 중 어느 한 항에 따른 프로세스를 구현하도록 구성된 것을 특징으로 하는 프로세싱 유닛.
  15. 인증 혹은 식별 시스템(1)으로서,
    제14항에 따른 프로세싱 유닛(12); 및
    생체인식 특징에 대한 비디오를 획득하고 상기 비디오를 상기 프로세싱 유닛으로 전송하는 비디오 카메라(11)
    를 포함하는 것을 특징으로 하는 인증 혹은 식별 시스템.
KR1020177021612A 2015-01-13 2015-01-13 생동감 평가에 근거하는 비디오 스푸핑 검출을 위한 시스템 및 프로세스 KR102321397B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2015/001534 WO2016113587A1 (en) 2015-01-13 2015-01-13 Process and system for video spoof detection based on liveness evaluation

Publications (2)

Publication Number Publication Date
KR20170104521A true KR20170104521A (ko) 2017-09-15
KR102321397B1 KR102321397B1 (ko) 2021-11-04

Family

ID=54360487

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177021612A KR102321397B1 (ko) 2015-01-13 2015-01-13 생동감 평가에 근거하는 비디오 스푸핑 검출을 위한 시스템 및 프로세스

Country Status (7)

Country Link
US (1) US10430652B2 (ko)
EP (1) EP3245613B1 (ko)
KR (1) KR102321397B1 (ko)
CN (1) CN107111755B (ko)
AU (1) AU2015377788B2 (ko)
SG (1) SG11201705036YA (ko)
WO (1) WO2016113587A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10657401B2 (en) * 2017-06-06 2020-05-19 Microsoft Technology Licensing, Llc Biometric object spoof detection based on image intensity variations
EP3427640B1 (en) * 2017-07-11 2023-05-03 Tata Consultancy Services Limited Serial fusion of eulerian and lagrangian approaches for real-time heart rate estimation
US11507646B1 (en) * 2017-09-29 2022-11-22 Amazon Technologies, Inc. User authentication using video analysis
CN110672342B (zh) * 2019-04-26 2021-10-12 深圳市豪视智能科技有限公司 洗衣机振动故障检测方法及装置
CN110595749B (zh) * 2019-04-26 2021-08-20 深圳市豪视智能科技有限公司 电风扇振动故障检测方法及装置
CN111507262B (zh) * 2020-04-17 2023-12-08 北京百度网讯科技有限公司 用于检测活体的方法和装置
CN113596317B (zh) * 2020-04-30 2022-12-09 深圳金澜汉源科技有限公司 实景拍摄影像保全方法、终端和***
CN112329220A (zh) * 2020-10-27 2021-02-05 上海交通大学 一种风机叶片结构的视觉动力学仿真方法
CN113469085B (zh) * 2021-07-08 2023-08-04 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101356358B1 (ko) * 2012-08-10 2014-01-27 아이베리파이 엘엘씨 눈의 이미지에 기초한 바이오메트릭 인증을 위한 기기 및 컴퓨터 구현 방법
KR101393717B1 (ko) * 2012-06-26 2014-05-13 구글 인코포레이티드 얼굴 인식 기술
KR101415287B1 (ko) * 2012-06-26 2014-07-04 구글 인코포레이티드 라이브니스 검출을 위한 방법, 컴퓨터 판독가능한 저장 디바이스 및 컴퓨팅 디바이스

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8260008B2 (en) * 2005-11-11 2012-09-04 Eyelock, Inc. Methods for performing biometric recognition of a human eye and corroboration of same
US10395018B2 (en) * 2010-11-29 2019-08-27 Biocatch Ltd. System, method, and device of detecting identity of a user and authenticating a user
US10270748B2 (en) * 2013-03-22 2019-04-23 Nok Nok Labs, Inc. Advanced authentication techniques and applications
CN103336978B (zh) * 2013-07-01 2016-12-28 南通大学 一种rfid标签射频指纹认证***
US9716791B1 (en) * 2016-05-27 2017-07-25 Avaya Inc. Systems and methods for detecting and reducing fraud in a contact center

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101393717B1 (ko) * 2012-06-26 2014-05-13 구글 인코포레이티드 얼굴 인식 기술
KR101415287B1 (ko) * 2012-06-26 2014-07-04 구글 인코포레이티드 라이브니스 검출을 위한 방법, 컴퓨터 판독가능한 저장 디바이스 및 컴퓨팅 디바이스
KR101356358B1 (ko) * 2012-08-10 2014-01-27 아이베리파이 엘엘씨 눈의 이미지에 기초한 바이오메트릭 인증을 위한 기기 및 컴퓨터 구현 방법

Also Published As

Publication number Publication date
EP3245613B1 (en) 2023-12-13
WO2016113587A1 (en) 2016-07-21
NZ733764A (en) 2020-10-30
CN107111755A (zh) 2017-08-29
US10430652B2 (en) 2019-10-01
CN107111755B (zh) 2020-07-03
SG11201705036YA (en) 2017-07-28
AU2015377788B2 (en) 2020-06-18
EP3245613A1 (en) 2017-11-22
US20180012059A1 (en) 2018-01-11
AU2015377788A1 (en) 2017-08-03
KR102321397B1 (ko) 2021-11-04

Similar Documents

Publication Publication Date Title
KR102321397B1 (ko) 생동감 평가에 근거하는 비디오 스푸핑 검출을 위한 시스템 및 프로세스
Verdoliva Extracting camera-based fingerprints for video forensics
EP3525165B1 (en) Method and apparatus with image fusion
WO2021135064A1 (zh) 人脸识别方法、装置、计算机设备及存储介质
EP3251056B1 (en) Method and device for face in-vivo detection
US9619723B1 (en) Method and system of identification and authentication using facial expression
CN106557726B (zh) 一种带静默式活体检测的人脸身份认证***及其方法
WO2019127365A1 (zh) 人脸活体检测方法、电子设备和计算机程序产品
KR101808467B1 (ko) 생체 인식 인증을 위한 특징 추출 및 정합과 템플릿 갱신
Raja et al. Video presentation attack detection in visible spectrum iris recognition using magnified phase information
WO2016084072A1 (en) Anti-spoofing system and methods useful in conjunction therewith
CN111611873A (zh) 人脸替换检测方法及装置、电子设备、计算机存储介质
CN111144293A (zh) 带交互式活体检测的人脸身份认证***及其方法
CN111144277B (zh) 一种带活体检测功能的人脸验证方法和***
Benlamoudi et al. Face spoofing detection using local binary patterns and Fisher score
Kim et al. Face spoofing detection with highlight removal effect and distortions
CN114387548A (zh) 视频及活体检测方法、***、设备、存储介质及程序产品
CN111079687A (zh) 证件伪装识别方法、装置、设备及存储介质
Bresan et al. Facespoof buster: a presentation attack detector based on intrinsic image properties and deep learning
Banerjee et al. Smartphone camera de-identification while preserving biometric utility
KR20140134549A (ko) 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법
CN113850214A (zh) 针对活体检测的注入攻击识别方法及装置
Utami et al. Face spoof detection by motion analysis on the whole video frames
CN114663930A (zh) 一种活体检测方法、装置、终端设备及存储介质
WO2022059151A1 (ja) 顔認証方法、顔認証プログラム、および顔認証装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant