KR20100097866A - 적외선 조명과 얼굴 인식을 이용한 위조 영상 판별 - Google Patents

Abstract

본 발명은 범죄자가 피해자의 사진이나 동영상을 이용하여 보안 시스템의 카메라를 해킹하는 방법을 막기 위한 기술에 관한 것으로 이러한 본 발명은, 얼굴 인식 기술과 적외선 조명 제어 기술을 이용한다. 카메라에 촬영된 영상에서 패턴 분류기인 아다부트스(Ada-Boost)을 이용하여 얼굴 패턴을 찾아 인물의 얼굴 영역을 찾고, 국부 주파수 정보를 이용하는 EBGM(Elastic Bunch Graph Matching)을 이용하여 눈의 좌표를 찾은 후, 사람 눈에 보이지 않는 적외선 조명이 눈에 조사될 때 동공에서 적외선 반사가 일어나는 특성을 이용하여, 대상자가 모르게 적외선 조명을 켰다 끔으로써 동공에 적외선 반사가 일어났다 없어지는 것을 검출하여 카메라에 촬영된 영상이 해킹을 위한 위조 영상인지를 판별한다.

위조 영상 판별, 얼굴 인식, 적외선 조명 제어, Ada-Boost, EBGM

Description

적외선 조명과 얼굴 인식을 이용한 위조 영상 판별{Liveness Detection using Infrared Light and Face Recognition}

본 발명은 얼굴 인식과 관련된 보안 시스템의 해킹을 막기 위한 기술에 관한 것으로, 특히 위조된 사진이나 동영상을 이용하여 해킹하는 방법을 막는 기술에 관한 것이다.

종래의 기술에 의한 얼굴 인식과 관련된 해킹 방지 기술은 크게 주파수를 이용한 방법과 움직임을 이용한 방법이 있다. 주파수를 이용한 방법은 보안시스템이 촬영한 영상의 고주파 성분을 분석하는 방법이다. 실제 영상에 비해 위조로 만들어진 사진을 재촬영한 영상은 고주파수 성분이 적고 움직임이 없기 때문에 주파수 성분의 변화율이 적은 점을 검출하여 판별하는 방법이었다. 구현이 간단하고 검출이 빠르지만 위조 영상을 만드는 프린터의 성능 향상과 위조 영상을 흔드는 것만으로 해킹이 가능해진 단점이 있다. 움직임을 이용한 방법은 눈동자의 깜빡임과 움직임을 검출하여 위조 영상을 판별하는 방법이다. 사진은 눈동자의 움직임이 없기 때문에 정확하게 검출할 수 있지만, 동영상을 이용할 경우 무력한 단점이 있다. 또한 사용자가 눈을 깜빡이거나 움직일 때까지 기다려야 하는 문제점도 있다.

이와 같은 종래의 기술에 있어서는 영상 관련 기술 발달에 의해 위조 사진이나 동영상을 이용하여 보안시스템이 손쉽게 해킹 되었고, 해킹 여부를 보안 시스템이 원하는 때에 바로 검출을 하지 못하는 문제가 있어 일반사용자가 불편함을 느끼는 문제가 있었다.

따라서 본 발명이 이루고자 하는 기술적 과제는 보안시스템이 원할 때 사용자가 모르게 촬영 영상에서 사용자의 얼굴을 찾고, 그 얼굴의 눈을 찾은 후, 적외선 조명을 켰다 끔으로써 동공에서의 적외선 반사 여부를 검출하여 위조 영상을 이용한 해킹을 시도중인지를 판별하는 것에 있다.

이상에서 상세히 설명한 바와 같이, 본 발명은 얼굴 인식과 관련된 보안 시스템에서 위조 영상을 사용한 해킹을 시도중인지를 사용자가 모르게 판별함으로써, 사용자의 편의성에 지장을 주지 않으면서, 범죄를 예방함으로써 얼굴 인식과 관련된 보안 시스템의 성능과 활용성을 높여 관련 시장을 활성화하는데 이바지할 수 있는 효과가 있다.

본 발명은 보안 카메라에서 촬영된 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 눈을 검출한 후, 적외선 조명이 꺼졌을 때의 동공에서의 적외선 반 사와 적외선 조명이 켜졌을 때의 동공에서의 적외선 반사 여부를 검출하여 사용자가 모르게 위조 영상을 사용한 해킹 시도인지를 판별하는 것이다.

이하, 첨부한 도 1을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명한다.

도 1은 본 발명에 의한 적외선 조명과 얼굴 인식을 이용한 위조 영상 판별 기술 시스템의 흐름도로서 위조 영상 판별 시스템(2)에 보안 시스템의 위조 판별 요청(1)이 발생할 때 보안 시스템에 설치된 CCTV 카메라나 CCD, CMOS 카메라 등을 통하여 도 2와 같은 RGB 형식으로 디지털 데이터화 되어있는 카메라 촬영 영상 데이터(2A)가 입력된다.

입력된 영상(2A)에 아다부스트(Aba-Boost)를 이용하여 얼굴을 검출(2B)한다. 아다부스트는 특정 패턴 분류기를 선형적으로 결합시켜 강한 분류기를 만드는 기술로, 다양한 인물들의 얼굴을 조합하여 만든 평균 얼굴을 기저 패턴(basis pattern)으로 단순화하여 학습시킨 위 분류기를 이용하여 유사한 패턴을 찾는 방법으로 얼굴을 검출한다. 이때 입력된 영상(2A)를 다양한 해상도로 변경하여 영상 피라미드를 구성한 후, 이 영상 피라미드에 분류기를 적용함으로써 얼굴 크기가 일정하지 않아도 검출이 가능하다. 도 3은 학습 된 패턴과 분류기를 이용하여 얼굴 검출하는 과정과 얼굴 패턴 예제를 도시한다.

검출된 얼굴 영역 영상에서 눈 영역을 검출(2C)한다. 눈 좌표는 위조 판별 시스템(2)의 기본이 되는 가장 중요한 정보이다. 눈 좌표 검출의 오류가 크게 발생할수록 시스템(2)의 전체 성능이 떨어지게된다. 본 발명에서는 정확한 눈 좌표 검 출을 위해 EBGM(Elastic Bunch Graph Matching)을 이용한다. EBGM은 가버 웨이블렛 함수를 이용하여 영상에서 국부적인 주파수 특징만을 검출해 내는 방법이다. 여러 인물의 다양한 표정과 자세에서의 눈 특징 정보를 이용하여 눈 모델 번치를 생성한 후, 검출된 얼굴 영상을 도 4와 같이 다양한 해상도로 생성한 다음 가장 낮은 해상도에서 EBGM을 이용하여 눈 좌표를 검색하고 이 좌표를 기준으로 다음 해상도에서 눈 좌표를 검색한다. 이 작업을 반복하여 도 5와 같이 점차 정확한 눈 좌표를 검출(2C)한다.

찾아진 눈 영역에서 Serial 통신, USB, GPIO 등에 의해 제어되는 적외선 조명 H/W를 끈 상태(2D)에서의 적외선 반사 여부를 검출(2E)한다. 조명을 끈 상태서 반사를 검출하는 이유는 지능적 범죄자가 적외선 조명의 특성을 알고 있을 경우 미리 동공에서의 적외선 조명 반사를 적용한 위조 영상을 준비해올 경우를 대비하기 위함이다.

적외선 조명 H/W를 켠 상태(2F)에서의 적외선 반사 여부를 검출(2G)한다. 적외선 조명이 켜져 있을 때 촬영된 영상은 도 6과 같고, 동공에서의 적외선 반사를 확인 할 수 있다.

조명을 켰다 끄는 타이밍은 위조 영상 판별 시스템 임의로 정하여 동공에서의 적외선 반사를 검출하기 때문에 지능적 범죄자가 적외선 조명의 반사를 적용한 위조 영상을 준비하더라도 시스템 판별 타이밍에 정확히 맞출 수가 없어 위조 영상 판별 시스템의 판별 신뢰도를 높일 수 있다.

제1도는 위조 영상 판별 시스템의 전체 흐름도

제2도는 보안 시스템의 카메라에서 촬영된 영상

제3도는 얼굴 영역 검출 예시

제4도는 검출된 얼굴 영역

제5도는 눈 영역 검출 과정 및 결과

제6도는 동공에서의 적외선 반사 예

Claims (4)

1. 보안 시스템에서 촬영된 영상에서 자동으로 인물의 얼굴을 찾고, 정규화 과정 후, 눈 영역을 찾는 수단과, 적외선 조명에 의해 눈의 동공에서 일어나는 적외선 반사를 검출하는 수단과, 위조 영상에 의한 해킹 여부를 판단하여 얼굴 인식과 관련된 보안 시스템의 성능을 향상시키고 활용성을 높이는 기술.
2. 청구항 1에 있어서, 눈 영역을 찾는 수단은,

   입력된 영상에서 얼굴 패턴을 검출하여 얼굴 영역을 찾은 후, 다양한 해상도로 생성하여 저해상도의 영상에서 눈 특징점을 추출한 다음 단계의 고해상도의 영상에서의 눈 특징점 추출시 초기점으로 사용하는 정교화된 눈 영역 검출 기술.
3. 청구항 1에 있어서, 동공에서 적외선 반사를 검출하는 수단은,

   입력된 영상에서 눈 영역을 검출한 후 동공을 검출하여 적외선 조명의 반사 여부를 검출하는 기술.
4. 청구항 1에 있어서, 보안 시스템의 성능을 향상시키고 활용성을 높이는 기술은,

   얼굴 인식과 관련된 보안 시스템에서 해킹의 위험을 제한함으로써 범죄에 사용될 가능성을 줄여 시스템의 성능 향상과 동시에 활용도를 높이는 기술.

Images