KR20240023838A - 얼굴 영상 위조 판별 장치 및 방법 - Google Patents
얼굴 영상 위조 판별 장치 및 방법 Download PDFInfo
- Publication number
- KR20240023838A KR20240023838A KR1020220102036A KR20220102036A KR20240023838A KR 20240023838 A KR20240023838 A KR 20240023838A KR 1020220102036 A KR1020220102036 A KR 1020220102036A KR 20220102036 A KR20220102036 A KR 20220102036A KR 20240023838 A KR20240023838 A KR 20240023838A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- component
- color space
- components
- input image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 230000001815 facial effect Effects 0.000 claims abstract description 26
- 239000000284 extract Substances 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000006243 chemical reaction Methods 0.000 claims abstract description 20
- 238000013473 artificial intelligence Methods 0.000 claims description 8
- 239000004615 ingredient Substances 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 6
- 230000002265 prevention Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 연산 효율을 극대화할 수 있으며 정확하고 용이하게 얼굴 위조 여부를 판단할 수 있는 얼굴 영상 위조 판별 장치 및 방법에 대한 것으로, 입력 영상을 근거로 제 1 색상 공간 영상(CMI1)을 생성하는 제 1 색상 공간 변환부(101); 상기 입력 영상을 근거로 제 2 색상 공간 영상(CMI2)을 생성하는 제 2 색상 공간 변환부(102); 상기 제 1 색상 공간 영상(CMI1)의 성분들 중 미리 설정된 일부 성분을 선택적으로 추출하고, 상기 제 2 색상 공간 영상(CMI2)의 성분들 중 미리 설정된 일부 성분을 선택적으로 추출하는 성분 추출부(103); 상기 성분 추출부(103)로부터의 성분들 각각에 대한 로컬 바이너리 히스토그램을 생성하는 히스토그램 생성부(104); 상기 히스토그램 생성부(104)로부터의 각 성분별 로컬 바이너리 히스토그램을 결합하여 결합 영상(HTG123)을 생성하는 결합부(105); 및 상기 결합부(105)로부터의 결합 영상(HTG123)을 근거로 상기 입력 영상을 판별하는 영상 판별부(106)를 포함한다.
Description
본 발명은 얼굴 영상 위조 판별 장치에 관한 것으로, 특히 연산 효율을 극대화할 수 있으며 정확하고 용이하게 얼굴 위조 여부를 판단할 수 있는 얼굴 영상 위조 판별 장치 및 방법에 대한 것이다.
정확한 생체 인식을 위한 사용자 인증은 다양한 서비스에서 필요할 수 있다. 얼굴, 지문 등 생체식별자를 기반으로 한 인증 시스템은 기존의 비밀번호 입력 방식보다 다양한 분야에 적용되고 있다. 얼굴 영상은 등록 및 인증 절차가 비접촉식이며 간결하기 때문에 가장 널리 사용되는 생체 인식 방법이다.
그러나, SNS 등을 이용한 얼굴 영상 획득은 비교적 용이하고 사진 및 동영상을 통한 위변조의 문제가 있다. 이 문제를 해결하기 위해 얼굴 위조 탐지에 대한 많은 연구가 진행되어 왔다.
본 발명은 연산 효율을 극대화할 수 있으며 정확하고 용이하게 얼굴 위조 여부를 판단할 수 있는 얼굴 영상 위조 판별 장치 및 방법을 제공하는데 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 얼굴 영상 위조 판별 장치는, 입력 영상을 근거로 제 1 색상 공간 영상(CMI1)을 생성하는 제 1 색상 공간 변환부(101); 상기 입력 영상을 근거로 제 2 색상 공간 영상(CMI2)을 생성하는 제 2 색상 공간 변환부(102); 상기 제 1 색상 공간 영상(CMI1)의 성분들 중 미리 설정된 일부 성분을 선택적으로 추출하고, 상기 제 2 색상 공간 영상(CMI2)의 성분들 중 미리 설정된 일부 성분을 선택적으로 추출하는 성분 추출부(103); 상기 성분 추출부(103)로부터의 성분들 각각에 대한 로컬 바이너리 히스토그램을 생성하는 히스토그램 생성부(104); 상기 히스토그램 생성부(104)로부터의 각 성분별 로컬 바이너리 히스토그램을 결합하여 결합 영상(HTG123)을 생성하는 결합부(105); 및 상기 결합부(105)로부터의 결합 영상(HTG123)을 근거로 상기 입력 영상을 판별하는 영상 판별부(106)를 포함한다.
상기 제 1 색상 공간 영상(CMI1)은 상기 입력 영상에 대한 휘도 성분(Y), 제 1 색차 성분(Cb) 및 제 2 색차 성분(Cr)을 포함한다.
상기 제 1 색차 성분(Cb)은 상기 휘도 성분(Y)과 청색 성분 간의 차를 나타내며, 상기 제 2 색차 성분(Cr)은 상기 휘도 성분(Y)과 적색 성분 간의 차를 나타낸다.
상기 제 2 색상 공간 영상(CMI2)은 상기 입력 영상에 대한 색조 성분(H), 채도 성분(S) 및 명도 성분(V)을 포함한다.
상기 성분 추출부(103)는, 상기 제 1 색상 공간 영상(CMI1)으로부터 상기 제 1 색차 성분(Cb)을 추출하고, 그리고 상기 제 2 색상 공간 영상(CMI2)으로부터 상기 채도 성분(S) 및 상기 명도 성분(V)을 추출한다.
상기 영상 판별부(106)는 상기 결합 영상(HTG123)을 인공 지능 방식으로 분석하여 상기 입력 영상의 위조 여부를 판별한다.
상기 외부로부터의 입력 영상을 분석하여 눈, 코 및 입에 대응되는 제 1 특정 영상을 선택적으로 추출하고, 상기 눈, 코 및 입을 제외한 얼굴의 나머지 부분에 대응되는 제 2 특정 영상을 선택적으로 추출하는 특정 영상 추출부를 더 포함하며, 상기 특정 영상 추출부는 상기 제 1 특정 영상을 상기 제 1 색상 공간 변환부로 제공하고, 상기 특정 영상 추출부는 상기 제 2 특정 영상을 상기 제 2 색상 공간 변환부로 제공하며, 상기 제 1 색상 공간 변환부는 상기 특정 영상 추출부로부터의 제 1 특정 영상을 근거로 제 1 색상 공간 영상을 생성하고, 그리고 상기 제 2 색상 공간 변환부는 상기 특정 영상 추출부로부터의 제 2 특정 영상을 근거로 제 2 색상 공간 영상을 생성한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 얼굴 영상 위조 판별 방법은, 입력 영상을 근거로 제 1 색상 공간 영상(CMI1)을 생성하는 단계; 상기 입력 영상을 근거로 제 2 색상 공간 영상(CMI2)을 생성하는 단계; 상기 제 1 색상 공간 영상(CMI1)의 성분들 중 미리 설정된 일부 성분을 선택적으로 추출하고, 상기 제 2 색상 공간 영상(CMI2)의 성분들 중 미리 설정된 일부 성분을 선택적으로 추출하는 단계; 상기 추출된 성분들 각각에 대한 로컬 바이너리 히스토그램을 생성하는 단계; 상기 각 성분별 로컬 바이너리 히스토그램을 결합하여 결합 영상(HTG123)을 생성하는 단계; 및 상기 결합 영상(HTG123)을 근거로 상기 입력 영상을 판별하는 단계를 포함한다.
상기 성분을 선택적으로 추출 단계는, 상기 제 1 색상 공간 영상(CMI1)으로부터 상기 제 1 색차 성분(Cb)을 추출하는 단계; 및 상기 제 2 색상 공간 영상(CMI2)으로부터 상기 채도 성분(S) 및 상기 명도 성분(V)을 추출하는 단계를 포함한다.
상기 입력 영상을 판별하는 단계는 상기 결합 영상(HTG123)을 인공 지능 방식으로 분석하여 상기 입력 영상의 위조 여부를 판별하는 단계를 포함한다.
본 발명에 따른 얼굴 영상 위조 판별 장치 및 방법은 다음과 같은 효과를 제공할 수 있다.
본 발명의 얼굴 영상 위조 판별 장치 및 방법에 따르면, 얼굴 특징 정보가 포함된 3가지 채널(예를 들어, 3가지 색상 변환 모델)의 색상 공간을 이용하여 얼굴 영상을 판별하므로 검출 오류(또는 판별 오류)가 효과적으로 감소될 수 있다. 다시 말하여, 복합적인 색상 공간 중 특히 얼굴 인식에 효과적인 제 1 색차 성분(Cb), 채도 성분(S) 및 명도 성분(V)을 이용하여 위조 여부를 판별할 수 있으므로, 연산 효율을 극대화할 수 있다. 또한, 학습된 CNN 기반의 인공 신경망을 이용함으로써 RGB 기반의 단일 이미지만 입력하는 경우, 용이하게 위조 여부에 대한 결과를 획득할 수 있다.
또한, 얼굴 인식에 효과적인 눈, 코 및 입에 대한 특정 영상을 근거로 제 1 색차 성분(Cb), 채도 성분(S) 및 명도 성분(V)을 추출함으로써 데이터 량을 줄이면서도 더욱 효과적으로 얼굴 위조 여부를 판별할 수 있다.
도 1은 본 발명의 한 실시예에 따른 얼굴 영상 위조 방지 장치의 블록 구성도이다.
도 2는 입력 영상, 제 1 색상 공간 영상, 제 2 색상 공간 영상, 추출 성분, 로컬 바이너리 히스토그램, 결합 영상을 설명하기 위한 도면이다.
도 3은 본 발명의 한 실시예에 따른 얼굴 영상 위조 판별 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 다른 실시예에 따른 얼굴 영상 위조 방지 장치의 블록 구성도이다.
도 5는 본 발명의 다른 실시예에 따른 얼굴 영상 위조 판별 방법을 설명하기 위한 흐름도이다.
도 2는 입력 영상, 제 1 색상 공간 영상, 제 2 색상 공간 영상, 추출 성분, 로컬 바이너리 히스토그램, 결합 영상을 설명하기 위한 도면이다.
도 3은 본 발명의 한 실시예에 따른 얼굴 영상 위조 판별 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 다른 실시예에 따른 얼굴 영상 위조 방지 장치의 블록 구성도이다.
도 5는 본 발명의 다른 실시예에 따른 얼굴 영상 위조 판별 방법을 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 따라서, 몇몇 실시예에서, 잘 알려진 공정 단계들, 잘 알려진 소자 구조 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도면에서 여러 층 및 영역을 명확하게 표현하기 위하여 두께를 확대하여 나타내었다. 명세서 전체를 통하여 유사한 부분에 대해서는 동일한 도면 부호를 붙였다.
본 명세서에서 제 1, 제 2, 제 3 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 이러한 구성 요소들은 상기 용어들에 의해 한정되는 것은 아니다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소들로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위로부터 벗어나지 않고, 제 1 구성 요소가 제 2 또는 제 3 구성 요소 등으로 명명될 수 있으며, 유사하게 제 2 또는 제 3 구성 요소도 교호적으로 명명될 수 있다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 도 1 내지 도 5를 참조로 본 발명의 한 실시예에 따른 얼굴 영상 위조 방지 장치 및 얼굴 영상 위조 방지 방법을 상세히 설명하면 다음과 같다.
도 1은 본 발명의 한 실시예에 따른 얼굴 영상 위조 방지 장치의 블록 구성도이고, 도 2는 입력 영상, 제 1 색상 공간 영상(CMI1), 제 2 색상 공간 영상(CMI2), 추출 성분(Cb, S, V), 로컬 바이너리 히스토그램(HTG1, HTG2, HTG3), 결합 영상(HTG123)을 설명하기 위한 도면이다.
본 발명의 한 실시예에 따른 얼굴 영상 위조 방지 장치는, 도 1에 도시된 예와 같이, 제 1 색상 공간 변환부(101), 제 2 색상 공간 변환부(102), 성분 추출부(103), 히스토그램 생성부(104), 결합부(105) 및 영상 판별부(106)를 포함할 수 있다.
입력 영상(RGB)은, 예를 들어, RGB 색상 공간의 영상일 수 있다. 다시 말하여, 입력 영상은 적색 성분(또는 적색 영상), 녹색 성분(또는 녹색 영상) 및 청색 성분(또는 청색 영상)을 포함하는 영상일 수 있다. 이러한 입력 영상은, 예를 들어, 얼굴 영상이거나, 또는 그 얼굴 영상을 포함하는 영상일 수 있다.
제 1 색상 공간 변환부(101)는 입력 영상(RGB; 예를 들어, 얼굴 영상)을 근거로 제 1 색상 공간 영상(CMI1)을 생성할 수 있다. 예를 들어, 제 1 색상 공간 변환부(101)는 입력 영상(예를 들어, 얼굴 영상)을 제 1 색상 공간 영상(CMI1)으로 변환할 수 있다. 여기서, 제 1 색상 공간 영상(CMI1)은, 예를 들어, 입력 영상에 대한 휘도 성분(예를 들어, Y), 제 1 색차 성분(Cb)(예를 들어, Cb) 및 제 2 색차 성분(예를 들어, Cr)을 포함할 수 있다. 이와 같은 휘도 성분(Y), 제 1 색차 성분(Cb) 및 제 2 색차 성분(Cr)을 포함하는 제 1 색상 공간 영상(CMI1)은, 예를 들어 YCbCr 색상 모델에 의해 생성될 수 있다. 여기서, 하나의 예로서, 제 1 색차 성분(Cb)은 휘도 성분(Y)과 청색 성분(B) 간의 차를 나타낼 수 있으며, 그리고 제 2 색차 성분(Cr)은 휘도 성분(Y)과 적색 성분(R) 간의 차를 나타낼 수 있다.
<수학식 1>
YCbCr 색상 모델은 전술된 입력 영상의 적색 성분, 녹색 성분, 청색 성분 및 수학식 1을 근거로 휘도 성분(Y), 제 1 색차 성분(Cb) 및 제 2 색차 성분(Cr)을 산출할 수 있다.
제 2 색상 공간 변환부(102)는 입력 영상을 근거로 제 2 색상 공간 영상(CMI2)을 생성할 수 있다. 예를 들어, 제 2 색상 공간 변환부(102)는 입력 영상을 제 2 색상 공간 영상(CMI2)으로 변환할 수 있다. 여기서, 제 2 색상 공간 영상(CMI2)은, 예를 들어, 입력 영상에 대한 색조 성분(예를 들어, H; Hue), 채도 성분(예를 들어, S; Saturation) 및 명도 성분(예를 들어, V; Value)을 포함할 수 있다. 이와 같은 색조 성분(H), 채도 성분(S) 및 명도 성분(V)을 포함하는 제 2 색상 공간 영상(CMI2)은, 예를 들어 HSV 색상 모델에 의해 생성될 수 있다.
<수학식 2>
HSV 색상 모델은 전술된 입력 영상의 적색 성분(R), 녹색 성분(G), 청색 성분(B) 및 수학식 2를 근거로 색조 성분(H), 채도 성분(S) 및 명도 성분(V)을 산출할 수 있다.
성분 추출부(103)는 제 1 색상 공간 영상(CMI1)의 성분들 중 미리 설정된 일부 성분을 선택적으로 추출하고, 그리고 제 2 색상 공간 영상(CMI2)의 성분들 중 미리 설정된 일부 성분을 선택적으로 추출한다. 예를 들어, 성분 추출부(103)는 제 1 색상 공간 영상(CMI1)으로부터 제 1 색차 성분(Cb)을 추출하고, 그리고 제 2 색상 공간 영상(CMI2)으로부터 채도 성분(S) 및 명도 성분(V)을 추출할 수 있다. 다만, 이는 하나의 예일 뿐, 성분 추출부(103)에 의해 선택되어 추출되는 제 1 색상 공간 영상(CMI1)의 성분 및 제 2 색상 공간 영상(CMI2)의 성분은 가변될 수 있다. 예를 들어, 성분 추출부(103)는 제 1 색상 공간 영상(CMI1)으로부터 제 2 색차 성분(Cr)을 추출하고, 제 2 색상 공간 영상(CMI2)으로부터 색조 성분(H) 및 채도 성분(S)을 추출할 수 있다.
히스토그램 생성부(104)는 성분 추출부(103)로부터 추출된 성분들 각각에 대한 로컬 바이너리 히스토그램을 생성할 수 있다. 예를 들어, 히스토그램 생성부(104)는 로컬 바이너리 패턴(local binary pattern) 알고리즘을 이용하여 제 1 색차 성분(Cb)의 영상에 대한 로컬 바이너리 히스토그램(이하, 제 1 로컬 바이너리 히스토그램(HTG1)), 채도 성분(S)의 영상에 대한 로컬 바이너리 히스토그램(이하, 제 2 로컬 바이너리 히스토그램(HTG2)) 및 명도 성분(V)의 영상에 대한 로컬 바이너리 히스토그램을 생성할 수 있다. 전술된 로컬 바이너리 패턴 히스토그램을 생성하는 하나의 예로서, 히스토그램 생성부(104)는 제 1 색차 성분(Cb)의 영상을 복수의 영역으로 분할하고, 전술된 로컬 바이너리 패턴 알고리즘을 이용하여 각 영역의 픽셀들 각각에 대한 인덱스를 산출할 수 있다. 여기서, 픽셀의 인덱스는 그 픽셀과 주변 픽셀들 간의 밝기 비교를 통해 산출될 수 있다. 예를 들어, 주변 픽셀이 중앙 픽셀(또는 관심 픽셀)보다 밝으면 그 주변 픽셀은 1의 인덱스로 코딩되고, 주변 픽셀이 그 중앙 픽셀보다 어두우면 0으로 코딩된 후 그러한 주변 픽셀들 값들을 연결한 이진수가 그 중앙 픽셀의 인덱스로 설정될 수 있다. 이후, 히스토그램 생성부(104)는 제 1 색차 성분(Cb)의 영상의 각 영역 별로 로컬 바이너리 히스토그램(이하, 영역 로컬 바이너리 히스토그램)을 생성하고, 영역 로컬 바이너리 히스토그램들을 순차적으로 정렬하여 그 제 1 색차 성분(Cb)의 영상에 대한 제 1 로컬 바이너리 히스토그램(HTG1)을 생성할 수 있다. 이와 같은 방식으로, 히스토그램 생성부(104)는 채도 성분(S)의 영상을 복수의 영역들을 분할하고 각 영역별 로컬 바이너리 히스토그램을 정열하여 제 2 로컬 바이너리 히스토그램(HTG2)을 생성하고, 그리고 명도 성분(V)의 영상을 복수의 영역들을 분할하고 각 영역별 로컬 바이너리 히스토그램을 정열하여 제 3 로컬 바이너리 히스토그램(HTG3)을 생성할 수 있다.
<수학식 3>
수학식 3은 로컬 바이너리 패턴(LBP) 알고리즘에 관련된 수학식을 나타낸 것으로, gc는 중심 픽셀이며, gp는 중심 픽셀을 제외한 픽셀 값의 범위이며, P는 주변 픽셀들(또는 인접 픽셀들)의 수이며, R은 로컬 바이너리 패턴의 크기(예를 들어, 로컬 바이너리 패턴이 원의 형태를 가질 때 그 원의 반경)를 나타낸다.
결합부(105)는 히스토그램 생성부(104)로부터의 각 성분별 로컬 바이너리 히스토그램을 결합하여 결합 영상(HTG123)을 생성할 수 있다. 예를 들어, 결합부(105)는 제 1 로컬 바이너리 히스토그램(HTG1), 제 2 로컬 바이너리 히스토그램(HTG2) 및 제 3 로컬 바이너리 히스토그램(HTG3)을 결합하여 결합 영상(HTG123)을 생성할 수 있다.
영상 판별부(106)는 결합부(105)로부터의 결합 영상(HTG123)을 근거로 입력 영상을 판별할 수 있다. 예를 들어, 영상 판별부(106)는 결합 영상(HTG123)을 인공 지능 방식으로 분석하여 그 입력 영상의 위조 여부(또는 입력 영상의 클래스)를 판별할 수 있다.
한편, 영상 판별부(106)의 모델 설정값은, 예를 들어, 입력 영상에 대응되는 얼굴을 추론할 수 있도록 인공 지능 방식의 기계 학습을 통해 산출될 수 있다. 여기서, 기계 학습 모델은, 예를 들어, 딥 러닝(deep learning), 뉴럴 네트워크(Neural Network), 컨볼루션 뉴럴 네트워크(Convolution Neural Network) 및 리커런트 뉴럴 네트워크(Recurrent Neural Network) 등과 같은 인공 신경망을 포함할 수 있다. 이러한 기계 학습은, 미리 알려진 특징 데이터에 기반하여 주어진 입력 데이터(예를 들어, 얼굴 영상)가 각각 미리 설정된 복수의 클래스들 중 어느 하나의 클래스에 각각 속해 있다고 가정했을 때, 새로운 입력 데이터가 그러한 복수의 클래스들 중 어느 클래스에 속하는지 결정하는 것을 목표로 할 수 있다.
한편, 영상 판별부는 SVM(Support Vector Machine) 알고리즘을 포함할 수 있다.
도 3은 본 발명의 한 실시예에 따른 얼굴 영상 위조 판별 방법을 설명하기 위한 흐름도이다.
먼저, 입력 영상(RGB; 예를 들어, 얼굴 영상)을 근거로 제 1 색상 공간 영상(CMI1)을 생성하는 단계(S1)가 수행될 수 있다. 제 1 색상 공간 영상(CMI1)을 생성하는 단계(S1)는 전술된 도 1 및 도 2의 제 1 색상 공간 변환부(101)의 동작을 참조한다.
이어서, 입력 영상을 근거로 제 2 색상 공간 영상(CMI2)을 생성하는 단계(S2)가 수행될 수 있다. 제 2 색상 공간 영상(CMI2)을 생성하는 단계(S2)는 전술된 도 1 및 도 2의 제 1 색상 공간 변환부(101)의 동작을 참조한다. 한편, S1 단계와 S2 단계는 동시에 수행될 수 있다.
다음으로, 제 1 색상 공간 영상(CMI1)의 성분들 중 미리 설정된 일부 성분을 선택적으로 추출하고, 제 2 색상 공간 영상(CMI2)의 성분들 중 미리 설정된 일부 성분을 선택적으로 추출하는 단계(S3)가 수행될 수 있다. 성분 추출 단계(S3)는 전술된 도 1 및 도 2의 성분 추출부(103)의 동작을 참조한다.
이후, 추출된 성분들 각각에 대한 로컬 바이너리 히스토그램을 생성하는 단계(S4)가 수행될 수 있다. 로컬 바이너리 히스토그램 생성 단계(S4)는 전술된 도 1 및 도 2의 히스토그램 생성부(104)의 동작을 참조한다.
이어서, 각 성분별 로컬 바이너리 히스토그램을 결합하여 결합 영상(HTG123)을 생성하는 단계(S5)가 수행될 수 있다. 결합 영상 생성 단계(S5)는 전술된 도 1 및 도 2의 결합부(105)의 동작을 참조한다.
이후, 결합 영상(HTG123)을 근거로 입력 영상을 판별하는 단계(S6)가 수행될 수 있다. 입력 영상 판별 단계(S6)는 전술된 도 1 및 도 2의 영상 판별부(106)의 동작을 참조한다.
본 발명의 얼굴 영상 위조 판별 장치 및 방법에 따르면, 얼굴 특징 정보가 포함된 3가지 채널(예를 들어, 3가지 색상 변환 모델)의 색상 공간을 이용하여 얼굴 영상을 판별하므로 검출 오류(또는 판별 오류)가 효과적으로 감소될 수 있다. 다시 말하여, 복합적인 색상 공간 중 특히 얼굴 인식에 효과적인 제 1 색차 성분(Cb), 채도 성분(S) 및 명도 성분(V)을 이용하여 위조 여부를 판별할 수 있으므로, 연산 효율을 극대화할 수 있다. 또한, 학습된 CNN 기반의 인공 신경망을 이용함으로써 RGB 기반의 단일 이미지만 입력하는 경우, 용이하게 위조 여부에 대한 결과를 획득할 수 있다.
본 발명의 얼굴 영상 위조 판별 장치 및 방법은 색상 질감을 이용한 얼굴 위조 방지 방법에 관한 것으로, 얼굴 이미지를 통해 사용자 인증(user authentication)을 수행하는 비대면 인증 서비스에 사용될 수 있다. 즉, 본 발명의 얼굴 영상 위조 판별 장치 및 방법은 얼굴 인증을 요구하는 금용 서비스, 출입 관리 서비스 등의 다양한 서비스에 적용될 수 있다.
또한, 본 발명의 얼굴 영상 위조 판별 장치 및 방법은, 예를 들어, FPGA(Field Programmable Gate Array) 내에 회로 및/또는 프로그램으로서 실장될 수 있다.
도 4는 본 발명의 다른 실시예에 얼굴 영상 위조 방지 장치의 블록 구성도이다.
본 발명의 다른 실시예에 따른 얼굴 영상 위조 방지 장치는, 도 4에 도시된 바와 같이, 특정 영상 추출부(100), 제 1 색상 공간 변환부(101), 제 2 색상 공간 변환부(102), 성분 추출부(103), 히스토그램 생성부(104), 결합부(105) 및 영상 판별부(106)를 포함할 수 있다.
입력 영상(RGB)은, 예를 들어, RGB 색상 공간의 영상일 수 있다. 다시 말하여, 입력 영상은 적색 성분(또는 적색 영상), 녹색 성분(또는 녹색 영상) 및 청색 성분(또는 청색 영상)을 포함하는 영상일 수 있다. 이러한 입력 영상은, 예를 들어, 얼굴 영상이거나, 또는 그 얼굴 영상을 포함하는 영상일 수 있다.
특정 영상 추출부(100)는 입력 영상(즉, 외부로부터의 입력 영상)을 분석하여 눈, 코 및 입에 대응되는 제 1 특정 영상을 선택적으로 추출할 수 있다. 또한, 특정 영상 추출부는 전술된 눈, 코 및 입을 제외한 얼굴의 나머지 부분에 대응되는 제 2 특정 영상을 선택적으로 추출할 수 있다. 예를 들어, 외부로부터의 입력 영상이 사람의 얼굴에 관한 영상일 때, 특정 영상 추출부는 그 입력 영상을 분석하여 그 입력 영상으로부터 눈에 해당하는 특정 영상, 코에 해당하는 특정 영상 및 입에 해당하는 특정 영상을 추출할 수 있다.
특정 영상 추출부는 제 1 특정 영상을 제 1 색상 공간 변환부로 제공함과 아울러, 제 2 특정 영상을 제 2 색상 공간 변환부로 제공할 수 있다.
제 1 색상 공간 변환부는 특정 영상 추출부로부터의 제 1 특정 영상을 근거로 제 1 색상 공간 영상을 생성할 수 있다.
예를 들어, 제 1 색상 공간 변환부(101)는 입력 영상(RGB; 예를 들어, 얼굴 영상)으로부터 추출된 제 1 특정 영상을 근거로 제 1 색상 공간 영상(CMI1)을 생성할 수 있다. 예를 들어, 제 1 색상 공간 변환부(101)는 제 1 특정 영상(예를 들어, 눈, 코 및 입에 대응되는 특정 영상)을 제 1 색상 공간 영상(CMI1)으로 변환할 수 있다. 여기서, 제 1 색상 공간 영상(CMI1)은, 예를 들어, 입력 영상에 대한 휘도 성분(예를 들어, Y), 제 1 색차 성분(Cb)(예를 들어, Cb) 및 제 2 색차 성분(예를 들어, Cr)을 포함할 수 있다. 이와 같은 휘도 성분(Y), 제 1 색차 성분(Cb) 및 제 2 색차 성분(Cr)을 포함하는 제 1 색상 공간 영상(CMI1)은, 예를 들어 YCbCr 색상 모델에 의해 생성될 수 있다. 여기서, 하나의 예로서, 제 1 색차 성분(Cb)은 휘도 성분(Y)과 청색 성분(B) 간의 차를 나타낼 수 있으며, 그리고 제 2 색차 성분(Cr)은 휘도 성분(Y)과 적색 성분(R) 간의 차를 나타낼 수 있다.
YCbCr 색상 모델은 전술된 제 1 특정 영상의 적색 성분, 녹색 성분, 청색 성분 및 수학식 1을 근거로 휘도 성분(Y), 제 1 색차 성분(Cb) 및 제 2 색차 성분(Cr)을 산출할 수 있다.
제 2 색상 공간 변환부는 특정 영상 추출부로부터의 제 2 특정 영상을 근거로 제 2 색상 공간 영상을 생성할 수 있다. 예를 들어, 제 2 색상 공간 변환부(102)는 입력 영상으로부터 추출된 제 2 특정 영상을 근거로 제 2 색상 공간 영상(CMI2)을 생성할 수 있다. 예를 들어, 제 2 색상 공간 변환부(102)는 제 2 특정 영상을 제 2 색상 공간 영상(CMI2)으로 변환할 수 있다. 여기서, 제 2 색상 공간 영상(CMI2)은, 예를 들어, 입력 영상에 대한 색조 성분(예를 들어, H; Hue), 채도 성분(예를 들어, S; Saturation) 및 명도 성분(예를 들어, V; Value)을 포함할 수 있다. 이와 같은 색조 성분(H), 채도 성분(S) 및 명도 성분(V)을 포함하는 제 2 색상 공간 영상(CMI2)은, 예를 들어 HSV 색상 모델에 의해 생성될 수 있다.
HSV 색상 모델은 전술된 입력 영상의 적색 성분(R), 녹색 성분(G), 청색 성분(B) 및 수학식 2를 근거로 색조 성분(H), 채도 성분(S) 및 명도 성분(V)을 산출할 수 있다.
성분 추출부(103)는 제 1 색상 공간 영상(CMI1)의 성분들 중 미리 설정된 일부 성분을 선택적으로 추출하고, 그리고 제 2 색상 공간 영상(CMI2)의 성분들 중 미리 설정된 일부 성분을 선택적으로 추출한다. 예를 들어, 성분 추출부(103)는 제 1 색상 공간 영상(CMI1)으로부터 제 1 색차 성분(Cb)을 추출하고, 그리고 제 2 색상 공간 영상(CMI2)으로부터 채도 성분(S) 및 명도 성분(V)을 추출할 수 있다. 다만, 이는 하나의 예일 뿐, 성분 추출부(103)에 의해 선택되어 추출되는 제 1 색상 공간 영상(CMI1)의 성분 및 제 2 색상 공간 영상(CMI2)의 성분은 가변될 수 있다. 예를 들어, 성분 추출부(103)는 제 1 색상 공간 영상(CMI1)으로부터 제 2 색차 성분(Cr)을 추출하고, 제 2 색상 공간 영상(CMI2)으로부터 색조 성분(H) 및 채도 성분(S)을 추출할 수 있다.
히스토그램 생성부(104)는 성분 추출부(103)로부터 추출된 성분들 각각에 대한 로컬 바이너리 히스토그램을 생성할 수 있다. 예를 들어, 히스토그램 생성부(104)는 로컬 바이너리 패턴(local binary pattern) 알고리즘을 이용하여 제 1 색차 성분(Cb)의 영상에 대한 로컬 바이너리 히스토그램(이하, 제 1 로컬 바이너리 히스토그램(HTG1)), 채도 성분(S)의 영상에 대한 로컬 바이너리 히스토그램(이하, 제 2 로컬 바이너리 히스토그램(HTG2)) 및 명도 성분(V)의 영상에 대한 로컬 바이너리 히스토그램을 생성할 수 있다. 전술된 로컬 바이너리 패턴 히스토그램을 생성하는 하나의 예로서, 히스토그램 생성부(104)는 제 1 색차 성분(Cb)의 영상을 복수의 영역으로 분할하고, 전술된 로컬 바이너리 패턴 알고리즘을 이용하여 각 영역의 픽셀들 각각에 대한 인덱스를 산출할 수 있다. 여기서, 픽셀의 인덱스는 그 픽셀과 주변 픽셀들 간의 밝기 비교를 통해 산출될 수 있다. 예를 들어, 주변 픽셀이 중앙 픽셀(또는 관심 픽셀)보다 밝으면 그 주변 픽셀은 1의 인덱스로 코딩되고, 주변 픽셀이 그 중앙 픽셀보다 어두우면 0으로 코딩된 후 그러한 주변 픽셀들 값들을 연결한 이진수가 그 중앙 픽셀의 인덱스로 설정될 수 있다. 이후, 히스토그램 생성부(104)는 제 1 색차 성분(Cb)의 영상의 각 영역 별로 로컬 바이너리 히스토그램(이하, 영역 로컬 바이너리 히스토그램)을 생성하고, 영역 로컬 바이너리 히스토그램들을 순차적으로 정렬하여 그 제 1 색차 성분(Cb)의 영상에 대한 제 1 로컬 바이너리 히스토그램(HTG1)을 생성할 수 있다. 이와 같은 방식으로, 히스토그램 생성부(104)는 채도 성분(S)의 영상을 복수의 영역들을 분할하고 각 영역별 로컬 바이너리 히스토그램을 정열하여 제 2 로컬 바이너리 히스토그램(HTG2)을 생성하고, 그리고 명도 성분(V)의 영상을 복수의 영역들을 분할하고 각 영역별 로컬 바이너리 히스토그램을 정열하여 제 3 로컬 바이너리 히스토그램(HTG3)을 생성할 수 있다. 여기서, 로컬 바이너리 패턴 알고리즘은 전술된 수학식 3을 참조한다.
결합부(105)는 히스토그램 생성부(104)로부터의 각 성분별 로컬 바이너리 히스토그램을 결합하여 결합 영상(HTG123)을 생성할 수 있다. 예를 들어, 결합부(105)는 제 1 로컬 바이너리 히스토그램(HTG1), 제 2 로컬 바이너리 히스토그램(HTG2) 및 제 3 로컬 바이너리 히스토그램(HTG3)을 결합하여 결합 영상(HTG123)을 생성할 수 있다.
영상 판별부(106)는 결합부(105)로부터의 결합 영상(HTG123)을 근거로 입력 영상을 판별할 수 있다. 예를 들어, 영상 판별부(106)는 결합 영상(HTG123)을 인공 지능 방식으로 분석하여 그 입력 영상의 위조 여부(또는 입력 영상의 클래스)를 판별할 수 있다.
한편, 영상 판별부(106)의 모델 설정값은, 예를 들어, 입력 영상에 대응되는 얼굴을 추론할 수 있도록 인공 지능 방식의 기계 학습을 통해 산출될 수 있다. 여기서, 기계 학습 모델은, 예를 들어, 딥 러닝(deep learning), 뉴럴 네트워크(Neural Network), 컨볼루션 뉴럴 네트워크(Convolution Neural Network) 및 리커런트 뉴럴 네트워크(Recurrent Neural Network) 등과 같은 인공 신경망을 포함할 수 있다. 이러한 기계 학습은, 미리 알려진 특징 데이터에 기반하여 주어진 입력 데이터(예를 들어, 얼굴 영상)가 각각 미리 설정된 복수의 클래스들 중 어느 하나의 클래스에 각각 속해 있다고 가정했을 때, 새로운 입력 데이터가 그러한 복수의 클래스들 중 어느 클래스에 속하는지 결정하는 것을 목표로 할 수 있다.
한편, 영상 판별부는 SVM(Support Vector Machine) 알고리즘을 포함할 수 있다.
한편, 다른 실시예로서, 도 4에서 제 2 색상 공간 변환부는, 예를 들어 전술된 눈, 코 및 입을 포함한 전체 입력 영상을 제 2 색상 공간 영상(CMI2)으로 변환할 수 있다. 다시 말하여, 도 4에서의 제 2 색상 공간 변환부는 도 1에서의 제 2 색상 공간 변환부와 동일한 기능을 수행할 수 있다.
도 4의 실시예에 따르면, 얼굴 인식에 효과적인 눈, 코 및 입에 대한 특정 영상을 근거로 제 1 색차 성분(Cb), 채도 성분(S) 및 명도 성분(V)을 추출함으로써 도 1의 실시예에 비하여 데이터 량을 줄이면서도 더욱 효과적으로 얼굴 위조 여부를 판별할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 얼굴 영상 위조 판별 방법을 설명하기 위한 흐름도이다.
먼저, 입력 영상으로부터 눈, 코 및 입에 해당하는 제 1 특정 영상을 추출하고, 그리고 그 입력 영상으로부터 전술된 제 1 특정 영상을 제외한 나머지 부분에 대응되는 제 2 특정 영상을 추출하는 단계(S00)가 수행될 수 있다. 제 1 특정 영상 및 제 2 특정 영상을 추출하는 단계(S00)는 전술된 도 4의 특정 영상 추출부(100)의 동작을 참조한다.
이후, 입력 영상으로부터 추출된 제 1 특정 영상을 근거로 제 1 색상 공간 영상(CMI1)을 생성하는 단계(S11)가 수행될 수 있다. 제 1 색상 공간 영상(CMI1)을 생성하는 단계(S11)는 전술된 도 4의 제 1 색상 공간 변환부(101)의 동작을 참조한다.
이어서, 입력 영상으로부터 추출된 제 2 특정 영상을 근거로 제 2 색상 공간 영상(CMI2)을 생성하는 단계(S22)가 수행될 수 있다. 제 2 색상 공간 영상(CMI2)을 생성하는 단계(S22)는 전술된 도 4의 제 1 색상 공간 변환부(101)의 동작을 참조한다. 한편, S11 단계와 S22 단계는 동시에 수행될 수 있다.
다음으로, 제 1 색상 공간 영상(CMI1)의 성분들 중 미리 설정된 일부 성분을 선택적으로 추출하고, 제 2 색상 공간 영상(CMI2)의 성분들 중 미리 설정된 일부 성분을 선택적으로 추출하는 단계(S33)가 수행될 수 있다. 성분 추출 단계(S33)는 전술된 도 4의 성분 추출부(103)의 동작을 참조한다.
이후, 추출된 성분들 각각에 대한 로컬 바이너리 히스토그램을 생성하는 단계(S44)가 수행될 수 있다. 로컬 바이너리 히스토그램 생성 단계(S44)는 전술된 도 4의 히스토그램 생성부(104)의 동작을 참조한다.
이어서, 각 성분별 로컬 바이너리 히스토그램을 결합하여 결합 영상(HTG123)을 생성하는 단계(S55)가 수행될 수 있다. 결합 영상 생성 단계(S55)는 전술된 도 4의 결합부(105)의 동작을 참조한다.
이후, 결합 영상(HTG123)을 근거로 입력 영상을 판별하는 단계(S66)가 수행될 수 있다. 입력 영상 판별 단계(S66)는 전술된 도 4의 영상 판별부(106)의 동작을 참조한다.
한편, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 명세서가 속하는 기술분야의 통상의 지식을 가진 자는 본 명세서가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 명세서의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 명세서의 범위에 포함되는 것으로 해석되어야 한다.
한편, 본 명세서와 도면에는 본 명세서의 바람직한 실시 예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 명세서의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 명세서의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예 외에도 본 명세서의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 명세서가 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
101: 제 1 색상 공간 변환부
102: 제 2 색상 공간 변환부
103: 성분 추출부 104: 히스토그램 생성부
105: 결합부 106: 영상 판별부
103: 성분 추출부 104: 히스토그램 생성부
105: 결합부 106: 영상 판별부
Claims (13)
- 외부로부터의 입력 영상을 근거로 제 1 색상 공간 영상(CMI1)을 생성하는 제 1 색상 공간 변환부(101);
상기 외부로부터의 입력 영상을 근거로 제 2 색상 공간 영상(CMI2)을 생성하는 제 2 색상 공간 변환부(102);
상기 제 1 색상 공간 영상(CMI1)의 성분들 중 미리 설정된 일부 성분을 선택적으로 추출하고, 상기 제 2 색상 공간 영상(CMI2)의 성분들 중 미리 설정된 일부 성분을 선택적으로 추출하는 성분 추출부(103);
상기 성분 추출부(103)로부터의 성분들 각각에 대한 로컬 바이너리 히스토그램을 생성하는 히스토그램 생성부(104);
상기 히스토그램 생성부(104)로부터의 각 성분별 로컬 바이너리 히스토그램을 결합하여 결합 영상(HTG123)을 생성하는 결합부(105); 및
상기 결합부(105)로부터의 결합 영상(HTG123)을 근거로 상기 입력 영상을 판별하는 영상 판별부(106)를 포함하는 얼굴 영상 위조 판별 장치. - 제 1 항에 있어서,
상기 제 1 색상 공간 영상(CMI1)은 상기 입력 영상에 대한 휘도 성분(Y), 제 1 색차 성분(Cb) 및 제 2 색차 성분(Cr)을 포함하는 얼굴 영상 위조 판별 장치. - 제 2 항에 있어서,
상기 제 1 색차 성분(Cb)은 상기 휘도 성분(Y)과 청색 성분 간의 차를 나타내며, 상기 제 2 색차 성분(Cr)은 상기 휘도 성분(Y)과 적색 성분 간의 차를 나타내는 얼굴 영상 위조 판별 장치. - 제 3 항에 있어서,
상기 제 2 색상 공간 영상(CMI2)은 상기 입력 영상에 대한 색조 성분(H), 채도 성분(S) 및 명도 성분(V)을 포함하는 얼굴 영상 위조 판별 장치. - 제 4 항에 있어서,
상기 성분 추출부(103)는,
상기 제 1 색상 공간 영상(CMI1)으로부터 상기 제 1 색차 성분(Cb)을 추출하고, 그리고
상기 제 2 색상 공간 영상(CMI2)으로부터 상기 채도 성분(S) 및 상기 명도 성분(V)을 추출하는 얼굴 영상 위조 판별 장치. - 제 1 항에 있어서,
상기 영상 판별부(106)는 상기 결합 영상(HTG123)을 인공 지능 방식으로 분석하여 상기 입력 영상의 위조 여부를 판별하는 얼굴 영상 위조 판별 장치. - 제 1 항에 있어서,
상기 외부로부터의 입력 영상을 분석하여 눈, 코 및 입에 대응되는 제 1 특정 영상을 선택적으로 추출하고, 상기 눈, 코 및 입을 제외한 얼굴의 나머지 부분에 대응되는 제 2 특정 영상을 선택적으로 추출하는 특정 영상 추출부를 더 포함하며,
상기 특정 영상 추출부는 상기 제 1 특정 영상을 상기 제 1 색상 공간 변환부로 제공하고,
상기 특정 영상 추출부는 상기 제 2 특정 영상을 상기 제 2 색상 공간 변환부로 제공하며,
상기 제 1 색상 공간 변환부는 상기 특정 영상 추출부로부터의 제 1 특정 영상을 근거로 제 1 색상 공간 영상을 생성하고, 그리고
상기 제 2 색상 공간 변환부는 상기 특정 영상 추출부로부터의 제 2 특정 영상을 근거로 제 2 색상 공간 영상을 생성하는 얼굴 영상 위조 판별 장치. - 입력 영상을 근거로 제 1 색상 공간 영상(CMI1)을 생성하는 단계;
상기 입력 영상을 근거로 제 2 색상 공간 영상(CMI2)을 생성하는 단계;
상기 제 1 색상 공간 영상(CMI1)의 성분들 중 미리 설정된 일부 성분을 선택적으로 추출하고, 상기 제 2 색상 공간 영상(CMI2)의 성분들 중 미리 설정된 일부 성분을 선택적으로 추출하는 단계;
상기 추출된 성분들 각각에 대한 로컬 바이너리 히스토그램을 생성하는 단계;
상기 각 성분별 로컬 바이너리 히스토그램을 결합하여 결합 영상(HTG123)을 생성하는 단계; 및
상기 결합 영상(HTG123)을 근거로 상기 입력 영상을 판별하는 단계를 포함하는 얼굴 영상 위조 판별 방법. - 제 8 항에 있어서,
상기 제 1 색상 공간 영상(CMI1)은 상기 입력 영상에 대한 휘도 성분(Y), 제 1 색차 성분(Cb) 및 제 2 색차 성분(Cr)을 포함하는 얼굴 영상 위조 판별 방법. - 제 9 항에 있어서,
상기 제 1 색차 성분(Cb)은 상기 휘도 성분(Y)과 청색 성분 간의 차를 나타내며, 상기 제 2 색차 성분(Cr)은 상기 휘도 성분(Y)과 적색 성분 간의 차를 나타내는 얼굴 영상 위조 판별 방법. - 제 10 항에 있어서,
상기 제 2 색상 공간 영상(CMI2)은 상기 입력 영상에 대한 색조 성분(H), 채도 성분(S) 및 명도 성분(V)을 포함하는 얼굴 영상 위조 판별 방법. - 제 11 항에 있어서,
상기 성분을 선택적으로 추출 단계는,
상기 제 1 색상 공간 영상(CMI1)으로부터 상기 제 1 색차 성분(Cb)을 추출하는 단계; 및
상기 제 2 색상 공간 영상(CMI2)으로부터 상기 채도 성분(S) 및 상기 명도 성분(V)을 추출하는 단계를 포함하는 얼굴 영상 위조 판별 방법. - 제 8 항에 있어서,
상기 입력 영상을 판별하는 단계는 상기 결합 영상(HTG123)을 인공 지능 방식으로 분석하여 상기 입력 영상의 위조 여부를 판별하는 단계를 포함하는 얼굴 영상 위조 판별 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220102036A KR20240023838A (ko) | 2022-08-16 | 2022-08-16 | 얼굴 영상 위조 판별 장치 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220102036A KR20240023838A (ko) | 2022-08-16 | 2022-08-16 | 얼굴 영상 위조 판별 장치 및 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20240023838A true KR20240023838A (ko) | 2024-02-23 |
Family
ID=90041932
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220102036A KR20240023838A (ko) | 2022-08-16 | 2022-08-16 | 얼굴 영상 위조 판별 장치 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20240023838A (ko) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100034843A (ko) | 2008-09-25 | 2010-04-02 | (주)엠엑스알커뮤니케이션즈 | 3차원 얼굴 인식 보안 장치 및 그 방법 |
-
2022
- 2022-08-16 KR KR1020220102036A patent/KR20240023838A/ko unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100034843A (ko) | 2008-09-25 | 2010-04-02 | (주)엠엑스알커뮤니케이션즈 | 3차원 얼굴 인식 보안 장치 및 그 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110084135B (zh) | 人脸识别方法、装置、计算机设备及存储介质 | |
Liu et al. | Learning deep models for face anti-spoofing: Binary or auxiliary supervision | |
Agrawal et al. | Grape leaf disease detection and classification using multi-class support vector machine | |
US9563821B2 (en) | Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm | |
Ghazali et al. | An innovative face detection based on YCgCr color space | |
Larbi et al. | DeepColorFASD: face anti spoofing solution using a multi channeled color spaces CNN | |
AU2019101141A4 (en) | Human face recognition based on Principal Component Analysis | |
Huang et al. | Learning-based Face Detection by Adaptive Switching of Skin Color Models and AdaBoost under Varying Illumination. | |
CN111832405A (zh) | 一种基于hog和深度残差网络的人脸识别方法 | |
Joshi et al. | Edge detection and template matching approaches for human ear detection | |
Sagheer et al. | An effective face detection algorithm based on skin color information | |
CN112200075B (zh) | 一种基于异常检测的人脸防伪方法 | |
Rusia et al. | A Color-Texture-Based Deep Neural Network Technique to Detect Face Spoofing Attacks | |
Murthy et al. | A novel classification model for high accuracy detection of Indian currency using image feature extraction process | |
Berbar | Novel colors correction approaches for natural scenes and skin detection techniques | |
Kumar et al. | Skin color segmentation for detecting human face region in image | |
KR20240023838A (ko) | 얼굴 영상 위조 판별 장치 및 방법 | |
Hemery et al. | Study on color spaces for single image enrolment face authentication | |
KR102377056B1 (ko) | 이미지 위조 탐지 장치 및 방법 | |
Al-Dabbas et al. | Two Proposed Models for Face Recognition: Achieving High Accuracy and Speed with Artificial Intelligence | |
Patil et al. | A review paper on facial detection technique using pixel and color segmentation | |
Shukla et al. | Comparison of Face Recognition algorithms & its subsequent impact on side face | |
Morales et al. | Incorporating color information for reliable palmprint authentication | |
Huang et al. | Adaptive skin color model switching for face tracking under varying illumination | |
Das et al. | A novel approach towards detecting faces and gender using skin segmentation and template matching |