KR20150069989A - 국부 블록 질감 특징 벡터를 이용한 얼굴 검출 및 인식 장치 - Google Patents

국부 블록 질감 특징 벡터를 이용한 얼굴 검출 및 인식 장치 Download PDF

Info

Publication number
KR20150069989A
KR20150069989A KR1020140065748A KR20140065748A KR20150069989A KR 20150069989 A KR20150069989 A KR 20150069989A KR 1020140065748 A KR1020140065748 A KR 1020140065748A KR 20140065748 A KR20140065748 A KR 20140065748A KR 20150069989 A KR20150069989 A KR 20150069989A
Authority
KR
South Korea
Prior art keywords
face
texture feature
feature map
input image
local block
Prior art date
Application number
KR1020140065748A
Other languages
English (en)
Inventor
노용만
이승호
김형일
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20150069989A publication Critical patent/KR20150069989A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 인공지능 및 지능형 감시시스템 등에서 자동화된 인식 시스템을 위한 얼굴 검출 및 인식을 위한 방법에 관한 것으로서, 입력 영상에서의 국부 질감 특징 맵을 추출하는 단계, 추출된 상기 국부 질감 특징 맵으로부터 얼굴 영역을 검출하는 단계, 검출된 얼굴을 가지고 얼굴을 인식하는 단계를 포함할 수 있다. 본 발명에 따르면, 얼굴을 검출하고 인식함에 있어서, 입력 영상으로부터 추출되는 통합된 국부 블록 질감 특징 벡터를 사용하여 얼굴 검출과 얼굴 인식을 동시에 수행함으로써, 적은 리소스 환경에서도 얼굴 검출과 인식을 보다 효율적으로 수행할 수 있다.

Description

국부 블록 질감 특징 벡터를 이용한 얼굴 검출 및 인식 장치{APPARATUS FOR SIMULTANEOUSLY DETECTING AND RECOGNIZING A FACE USING LOCAL BLOCK TEXTURE FEATURE}
본 발명은 얼굴 인식에 관한 것으로, 특히 입력 영상으로부터 얼굴을 검출하고 인식함에 있어서, 입력 영상으로부터 추출되는 국부 블록 질감(local block texture) 특징 벡터를 사용하여 얼굴 검출과 얼굴 인식을 동시에 수행함으로써, 적은 리소스(resource) 환경에서도 얼굴 검출과 인식을 효율적으로 수행할 수 있는 얼굴 검출 및 인식 장치에 관한 것이다.
최근 얼굴 인식 기술은 인공지능, 사생활 보호 및 지능형 감시시스템 응용에서의 요소 기술로 각광받고 있다. 이에 따라 얼굴 인식을 위한 요소 기술에 대한 연구가 많이 진행되어 왔다. 기본적으로 얼굴 인식 기술은 입력 영상에 대해 얼굴 영역을 검출하게 되고, 검출된 얼굴 영역에 대해 훈련 집합과 비교하여 얼굴을 인식하게 된다.
이러한, 기존 얼굴 인식과 관련한 연구는 얼굴 검출에 대한 연구와 얼굴 인식에 대한 연구로 나뉘어져 검출과 인식에 대해 각기 다른 특징 벡터에 의해 수행되었다. 하지만 얼굴검출과 인식이 동시에 필요한 시스템에서 검출과 인식이 서로 다른 특징 벡터에 의해 수행되는 것은 최종 시스템 속도와 시스템에 필요한 계산 량을 생각하면 효율적이지 못하다.
시스템 속도와 계산 량을 줄이기 위해, 다양한 검출 및 인식 알고리즘의 경량화에 대한 요구가 증가하고 있고, 실제 환경에서 얼굴 검출 및 인식에 대해 높은 성능을 얻기 위해 얼굴 특징 또는 인식시스템이 필요로 되고 있다. 하지만 여전히 계산 측면에서의 효율성과 얼굴 검출 및 인식 성능을 높이기 위한 비용 사이의 트레이드 오프(trade off)가 존재하게 된다. 이에 따라, 이 트레이드 오프 사이의 최적의 얼굴 검출 및 얼굴 인식 시스템을 개발하는 것이 숙제이다.
(특허문헌)
대한민국 등록특허번호 10-0795160호 (등록일자 2008년 01월 09일)
따라서, 본 발명은 입력 영상으로부터 얼굴을 검출하고 인식함에 있어서, 입력 영상으로부터 추출되는 국부 블록 질감 특징 벡터를 사용하여 얼굴 검출과 얼굴 인식을 동시에 수행함으로써, 적은 리소스 환경에서도 얼굴 검출과 인식을 효율적으로 수행할 수 있는 얼굴 검출 및 인식 장치를 제공하고자 한다.
상술한 본 발명은 얼굴 검출 및 인식 장치로서, 카메라로부터 입력되는 입력 영상을 수신하는 영상 입력부와, 상기 영상 입력부를 통해 입력되는 영상에서 질감 특징 맵을 추출하는 질감 특징맵 추출부와, 상기 추출된 상기 질감 특징 맵을 기초로 상기 입력 영상에서 얼굴 영역을 검출하는 얼굴 검출부와, 상기 검출된 상기 얼굴 영역을 기초로 상기 얼굴 영역내에서 얼굴을 인식하는 얼굴 인식부를 포함한다.
또한, 상기 질감 특징맵 추출부는, 상기 입력 영상을 다수의 국부 영역으로 분할하고, 각 국부 영역에 대해 중심과 이웃하는 픽셀 값들 사이의 크기 비교를 통해 이진 부호를 생성하고, 생성된 이진 부호의 십진화를 통해 질감 특징값을 계산하며, 상기 입력 영상에 대해 상기 질감 특징값으로 표현한 질감 특징 맵을 산출하는 것을 특징으로 한다.
또한, 상기 얼굴 검출부는, 상기 질감 특징 맵에 기반하여 상기 입력 영상에서 얼굴 검출을 위하여 스캔하는 일정 크기의 원도우에 대한 국부 블록 질감 특징 벡터를 산출하고, 상기 국부 블록 질감 특징 벡터를 기설정된 기준 특징 벡터와 매칭하여 상기 입력 영상에서 얼굴 영역을 검출하는 것을 특징으로 한다.
또한, 상기 얼굴 검출부는, 상기 질감 특징 맵으로부터 이진맵을 생성하고, 상기 이진맵을 적분하여 적분 특징 맵을 추출하며, 상기 적분 특징맵으로부터 상기 입력 영상의 모든 국부 블록에 대한 국부 블록 질감 특징 벡터를 산출하는 것을 특징으로 한다.
또한, 상기 얼굴 검출부는, 상기 질감 특징 맵에 기반하여 각 히스토그램 빈에 해당하는 값이 있는지 여부를 검사하고, 상기 검사결과를 바탕으로 상기 질감 특징 맵을 상기 각 히스토그램 빈에 해당하는 값이 있는지 여부를 나타내는 상기 이진맵으로 생성하는 것을 특징으로 한다.
또한, 상기 얼굴 검출부는, 상기 적분 특징맵을 기반으로 각각의 입력 영상에 대해서 일정 크기의 윈도우를 스캔하면서 각 윈도우 내에서 미리 정의된 n개의 국부 블록에 대해 국부 블록 질감 특징값의 빈도를 세어 각 국부 블록에 해당하는 히스토그램 벡터를 생성하고, 각 국부 블록에 대한 히스토그램 벡터를 연결시켜 상기 윈도우에 해당하는 국부 블록 질감 특징 벡터를 산출하는 것을 특징으로 한다.
또한, 상기 얼굴 검출부는, 상기 윈도우에 대한 국부 블록 질감 특징 벡터와 상기 기준 특징 벡터 사이의 유클리드 거리를 계산하여 기설정된 임계값과 비교한 후, 상기 비교결과를 바탕으로 상기 입력 영상에서 얼굴 영역을 검출하는 것을 특징으로 한다.
또한, 상기 얼굴 인식부는, 상기 국부 블록 질감 특징 벡터와 인식 대상 얼굴들의 템플릿 특징벡터가 저장된 얼굴 데이터 베이스 사이의 매칭을 통해 상기 국부 블록 질감 특징 벡터와 각각의 템플릿 특징벡터간 유클리드 거리를 계산하여 기설정된 임계값과 비교한 후, 상기 비교결과를 바탕으로 상기 얼굴 영역에서 얼굴을 인식하는 것을 특징으로 한다.
또한, 본 발명은 얼굴 검출 및 인식 방법으로서, 카메라로부터 입력되는 입력 영상을 수신하는 단계와, 상기 입력 영상에서 질감 특징 맵을 추출하는 단계와, 상기 추출된 상기 질감 특징 맵을 기초로 상기 입력 영상에서 얼굴 영역을 검출하는 단계와, 상기 검출된 상기 얼굴 영역을 기초로 상기 얼굴 영역내에서 얼굴을 인식하는 단계를 포함한다.
또한, 상기 질감 특징 맵을 추출하는 단계는, 상기 입력 영상을 다수의 국부 영역으로 분할하는 단계와, 각 국부 영역에 대해 중심과 이웃하는 픽셀 값들 사이의 크기 비교를 통해 이진 부호를 생성하는 단계와, 상기 생성된 이진 부호의 십진화를 통해 질감 특징값을 계산하는 단계와, 상기 입력 영상에 대해 상기 질감 특징값으로 표현한 질감 특징 맵을 산출하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 얼굴 영역을 검출하는 단계는, 상기 질감 특징 맵에 기반하여 상기 입력 영상에서 얼굴 검출을 위하여 스캔하는 일정 크기의 원도우에 대한 국부 블록 질감 특징 벡터를 산출하는 단계와, 상기 국부 블록 질감 특징 벡터를 기설정된 기준 특징 벡터와 매칭하여 상기 입력 영상에서 얼굴 영역을 검출하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 국부 블록 질감 특징 벡터를 산출하는 단계는, 상기 질감 특징 맵으로부터 이진맵을 생성하는 단계와, 상기 이진맵을 적분하여 적분 특징 맵을 추출하는 단계와, 상기 적분 특징맵으로부터 상기 입력 영상의 모든 국부 블록에 대한 국부 블록 질감 특징 벡터를 산출하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 이진맵을 생성하는 단계는, 상기 질감 특징 맵에 기반하여 각 히스토그램 빈에 해당하는 값이 있는지 여부를 검사하는 단계와, 상기 검사결과를 바탕으로 상기 질감 특징 맵을 상기 각 히스토그램 빈에 해당하는 값이 있는지 여부를 나타내는 상기 이진맵으로 생성하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 국부 블록 질감 특징 벡터를 산출하는 단계는, 상기 적분 특징맵을 기반으로 각각의 입력 영상에 대해서 일정 크기의 윈도우를 스캔하는 단계와, 각 윈도우 내에서 미리 정의된 n개의 국부 블록에 대해 국부 블록 질감 특징값의 빈도를 세어 각 국부 블록에 해당하는 히스토그램 벡터를 생성하는 단계와, 각 국부 블록에 대한 히스토그램 벡터를 연결시켜 상기 윈도우에 해당하는 국부 블록 질감 특징 벡터를 산출하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 얼굴을 인식하는 단계는, 상기 국부 블록 질감 특징 벡터와 얼굴 데이터 베이스 사이의 매칭을 수행하여 상기 검출된 얼굴 영역에서 얼굴을 인식하는 단계인 것을 특징으로 한다.
또한, 상기 얼굴을 인식하는 단계는, 상기 국부 블록 질감 특징 벡터와 인식 대상 얼굴들의 템플릿 특징벡터가 저장된 얼굴 데이터 베이스 사이의 매칭을 수행하는 단계와, 상기 매칭을 통해 상기 국부 블록 질감 특징 벡터와 각각의 템플릿 특징벡터간 유클리드 거리를 계산하는 단계와, 상기 계산된 유클리드 거리를 기설정된 임계값과 비교하여 상기 얼굴 영역에서 얼굴을 인식하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따르면, 얼굴을 검출하고 인식함에 있어서, 입력 영상으로부터 추출되는 통합된 국부 블록 질감 특징 벡터를 사용하여 얼굴 검출과 얼굴 인식을 동시에 수행함으로써, 적은 리소스 환경에서도 얼굴 검출과 인식을 보다 효율적으로 수행할 수 있는 이점이 있다.
도 1은 본 발명의 일 실시예에 따라 국부 블록 질감 특징 맵을 이용하여 얼굴 검출과 인식을 동시에 수행하는 시스템 구성도,
도 2는 본 발명의 일 실시예에 따라 질감 특징 맵 추출부의 내부 구성도,
도 3은 본 발명의 일 실시예에 따라 질감 특징 맵으로부터 얼굴을 검출하는 동작 제어 흐름도,
도 4는 본 발명의 일 실시예에 따라 질감 특징 맵으로부터 얼굴을 인식하는 동작 제어 흐름도,
도 5는 본 발명의 일 실시예에 따른 국부 이진 패턴의 예를 도시한 도면,
도 6은 본 발명의 일 실시예에 따라 질감 특징 값을 이용한 히스토그램 벡터 생성 예시도,
도 7은 본 발명의 일 실시예에 따라 입력 영상으로부터 적분 특징 맵을 도출하는 과정을 도시한 도면,
도 8은 본 발명의 일 실시예에 따른 피부색상을 결정하는 R, G, B 컬러 픽셀값들의 관계 예시도,
도 9는 본 발명의 일 실시예에 따라 질감 특징 맵의 특징 값들을 이용해서 입력 크기보다 더 작은 크기의 질감 특징 맵을 생성하는 동작 개념도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예에 대해 살펴보기로 한다.
도 1은 본 발명의 일 실시예에 따라 국부 블록 질감 특징 맵을 이용하여 얼굴 검출과 인식을 동시에 수행하는 장치의 블록 구성도로, 영상 입력부(100), 질감 특징맵 추출부(200), 얼굴 검출부(300), 얼굴 인식부(400) 등을 포함할 수 있다.
이하, 도 1을 참조하여, 본 발명의 얼굴 인식 장치의 각 구성요소에서의 동작을 상세히 설명하기로 한다.
먼저, 영상 입력부(100)는 카메라로부터 검출과 인식의 대상이 되는 얼굴을 포함한 영상을 입력 받는다. 이러한 영상 입력부(100)는 CCTV나 블랙박스의 영상을 온라인 영상으로 입력 받거나 임의의 원격 또는 지역 저장장치에 저장된 콘텐츠를 입력 받는 것을 포함한다. 본 발명의 미디어 콘텐츠의 파일 타입으로 현재 널리 쓰이고 있는 JPEG, BMP, GIF 등의 콘텐츠 파일 타입을 기본으로 포함하고 있으나, 상기 예의 콘텐츠 파일 타입에 한정되지는 않는다.
질감 특징 맵 추출부(200)는 영상 입력부(100)를 통해 입력되는 영상에서의 국부 질감 특징 맵을 추출한다.
도 2는 질감 특징 맵 추출부(200)의 내부 구성을 도시한 것이다. 도 2에서 보여지는 바와 같이, 질감 특징 맵 추출부(200)에서는 카메라 영상 입력부(100)를 통해서 입력된 영상이 있을 경우에, 영상의 질감 특징을 추출하기 위하여, 국부 블록 질감 특징 패턴을 기반으로 질감 특징 값(202)이 추출되게 된다.
이때, 대표적인 국부 블록 질감 패턴의 예로서 국부 이진 패턴(local binary pattern)이 있다. 이러한 국부 이진 패턴 값을 이용하여 질감 특징 맵을 생성하기 위해 도 5에서 보여지는 바와 같이 입력 영상에서 각각의 국부 영역에 대해 중심과 이웃하는 픽셀 값들 사이의 크기 비교를 통해 이진 부호를 얻게 되고, 이진 부호의 십진화를 통해서 특징 값이 계산되게 된다. 이때, 질감 특징 맵은 입력 영상으로부터 얻은 질감 특징 값을 갖는 영상을 의미한다. 질감 특징 값 연산 후에 모든 입력 영상의 픽셀 값에 대해 질감 특징 값을 갖는 영상을 얻게 되고 이러한 질감 특징 값으로 이루어지는 질감 특징 맵은 얼굴 검출부(300) 및 얼굴 인식부(400)의 입력으로 들어가게 된다.
얼굴 검출부(300)는 질감 특징 맵을 기초로 입력 영상에서 얼굴 영역을 검출한다. 즉, 얼굴 검출부(300)는 질감 특징 맵에 기반하여 상기 입력 영상에서 얼굴 검출을 위하여 스캔하는 일정 크기의 원도우(window)에 대한 국부 블록 질감 특징 벡터를 산출하고, 국부 블록 질감 특징 벡터를 기설정된 기준 특징 벡터와 매칭하여 입력 영상에서 얼굴 영역을 검출한다.
또한, 얼굴 검출부(300)는, 질감 특징 맵으로부터 이진맵을 생성하고, 이와 같이 생성된 이진맵을 적분하여 적분 특징 맵을 추출하며, 추출된 적분 특징맵으로부터 입력 영상의 모든 국부 블록에 대한 국부 블록 질감 특징 벡터를 산출한다.
이때, 얼굴 검출부(300)는 적분 특징맵을 기반으로 각각의 입력 영상에 대해서 일정 크기의 윈도우를 스캔하면서 각 윈도우 내에서 미리 정의된 n개의 국부 블록에 대해 국부 블록 질감 특징값의 빈도를 세어 각 국부 블록에 해당하는 히스토그램 벡터를 생성하고, 각 국부 블록에 대한 히스토그램 벡터를 연결시켜 윈도우에 해당하는 국부 블록 질감 특징 벡터를 산출한다.
도 3은 본 발명의 일 실시예에 따라 얼굴 검출부에서 질감 특징 맵을 이용하여 입력 영상에서 얼굴을 검출하는 동작 제어 흐름을 도시한 것이다.
이하, 도 3을 참조하여 얼굴 검출부(300)에서의 동작을 보다 상세히 설명하기로 한다.
먼저, 얼굴 검출부(300)는 질감 특징 맵 추출부(200)로부터 질감 특징 맵을 수신하고(S3000), 질감 특징 맵에 기반하여 얼굴 검출을 위하여 스캔하는 모든 블록에 대해 질감 특징 벡터를 만들게 된다(S3100). 이때, 얼굴 영역을 효과적으로 검출하고, 얼굴의 구조적 정보를 충분히 활용함과 동시에 포즈 변화 등에 강인하게 하기 위해 도 6과 같이 미리 정의된 j 개의 중첩된 국부블록(L1, L2, ... Lj)에 대해 질감 특징 값들의 빈도를 셈에 따라 히스토그램 벡터를 만들 수 있다. 위 도 6에서는 블록 j=3인 경우를 표현하도록 하였다.
이 특징 벡터를 효율적으로 계산하기 위해서 도 7과 같이 입력 영상(
Figure pat00001
)에 대해 얻은 질감 특징 맵(
Figure pat00002
)을 입력받고, 이러한 질감 특징 맵에 기반하여 각 히스토그램 빈(bin, n)에 해당하는 값이 있는지 여부를 [수학식 1]과 같이 나타내는 이진 맵(binary map,
Figure pat00003
)을 얻게 된다. 이때,
Figure pat00004
함수는
Figure pat00005
값이 n 과 같을 때 1을 반환하는 이진 함수로 정의된다.
Figure pat00006
Figure pat00007
이 이진 맵에 대해 적분 영상 (
Figure pat00008
)을 위의 [수학식 2]에 의해 얻게 되어 적분 특징 맵을 추출한다. 이어, 적분 특징 맵을 기반으로 일정 크기의 윈도우를 스캔하면서 각 윈도우 내에서 미리 정의된 j개의 블록(
Figure pat00009
)에 대해 국부 블록 질감 특징 값의 빈도를 각 히스토그램 빈에 대해 단순히 2번의 덧셈과 뺄셈 연산을 이용하여 각 블록에 해당하는 히스토그램 벡터(
Figure pat00010
)를 얻게 된다. 만약 i번째 블록
Figure pat00011
을 이루는 좌표가
Figure pat00012
그리고
Figure pat00013
라면, 히스토그램 벡터는 다음 [수학식 3]에 의해 얻어지게 된다. 이 때의 연산은 벡터의 전치(transpose)를 의미한다. 히스토그램 벡터에서의 각 성분은
Figure pat00014
에 의해 얻어진다.
Figure pat00015
최종적으로 각 블록에 대한 히스토그램 벡터를 연결시킴으로써 스캔하는 윈도우에 해당하는 질감 특징 벡터(
Figure pat00016
)는 [수학식 4]와 같이 계산된다.
Figure pat00017
이어, 얼굴 검출부(300)는 이러한 질감 특징벡터를 기반으로 매칭에 의해 얼굴영역을 검출한다(S3300). 이러한 매칭에 있어서는 가장 간단한 방법으로 템플릿 매칭의 예를 들면 [수학식 5]와 같이 질감 특징벡터와 사전에 정의된 템플릿의 특징 벡터(
Figure pat00018
) 사이의 유클리드 거리(
Figure pat00019
)를 계산하고, 계산된 유클리드 거리를 미리 정의된 임계값과 비교하여 얼굴 영역인지 아닌지 판단하게 된다.
Figure pat00020
위 [수학식 5]에서의
Figure pat00021
연산은 벡터의
Figure pat00022
을 의미한다.
이어, 얼굴 검출부(300)는 최종적으로 검출된 후보영역들 중에서 오검출(false positive(FP))로 판단된 후보영역들을 제거하고(S340), 최종 얼굴검출 결과를 출력한다(S3500). 이때, 후보영역의 오검출 여부를 판단하는 기준을 설정하기 위해 예를 들어 도 8에 정의된 피부색상을 결정하는 R, G, B 컬러 픽셀 값들의 관계를 이용할 수 있다.
이때, 얼굴 영역 판단을 위한 인식기는 앞서 언급한 템플릿 매칭이나 AdaBoost(adaptive boosting) 인식기로 유연하게 대체될 수 있는 부분이다.
한편, 도 3을 참조하면 입력영상을 가지고 다양한 크기의 영상에 대한 스캔을 통해 다양한 크기의 얼굴 영역을 검출할 수 있게 되는데, 다양한 크기에 대해 영상 크기 조절 및 조절된 영상에 대해 매번 질감 특징 맵을 추출하는 것은 계산적인 측면에서 효율적이지 못하다.
따라서, 얼굴 검출부(300)는 입력 크기의 질감 특징 맵의 특징 값들만을 이용하여 입력 크기보다 더 작은 크기의 질감 특징 맵을 생성하는 특징 맵의 스케일링 방법을 사용할 수 있다. 이러한 방법은 도 9에서 도시된 바와 같이 추정할 작은 크기의 특징 맵의 영상 좌표를 입력 크기의 질감 특징 맵으로 투영된 점 주변의 특징 값들을 활용한다. 이때, 주변 특징 값들은 이진 부호로 표현될 수 있는데 이진 부호의 각 비트에 대해 1 또는 0의 과반 투표에 의해 작은 크기에 해당하는 특징 맵의 특징 값이 추정된다. 따라서 다양한 크기에 대해 추정된 질감 특징 맵을 생성함으로써 다양한 크기에 대한 질감 특징 맵을 추출할 필요가 없기 때문에 효율적인 연산이 가능하다.
도 4는 본 발명의 일 실시예에 따라 얼굴 인식부(400)에서 얼굴 검출시 사용된 질감 특징 벡터를 재사용하여 얼굴을 인식하는 동작 제어 흐름을 도시한 것이다.
즉, 얼굴 인식부(400)는 얼굴 인식을 수행하여야 하는 입력 영상에 대해 질감특징맵 추출부(200)로부터 질감 특징맵을 수신하고(S4000), 얼굴 검출부(300)로부터 해당 입력 영상에 대한 질감 특징 벡터를 수신한다(S4100).
이어, 얼굴 인식부(400)는 질감 특징맵과 얼굴 검출부(300)에서 얼굴영역의 검출을 위해 산출된 질감특징벡터를 재사용하여 얼굴인식을 수행한다(S4200).
즉, 얼굴 인식부(400)는 특징벡터와 사전에 마련된 얼굴 데이터베이스(data base)사이의 매칭을 통해 얼굴인식을 수행하게 되고, 매칭 결과에 따라 가장 가까운 신원 정보에 해당하는 얼굴 인식 결과를 출력하게 된다(S4300). 이때, 얼굴 데이터베이스 상에는 예를 들어 인식하고자 하는 대상 얼굴들의 템플릿 특징 벡터가 저장되어 있을 수 있으며, 얼굴 검출시에 마찬가지로 질감 특징 벡터와 템플릿 특징 벡터간 유클리드 거리를 미리 정의된 임계값과 비교하여 상기 얼굴 영역에서 얼굴을 인식할 수 있다.
한편, 이러한 얼굴 인식부(400)는 도 3에서 설명된 얼굴 검출부(400)에서와 마찬가지로 얼굴 인식 성능을 높이기 위해서 다른 인식기로 유연하게 채택될 수 있다.
상기한 바와 같이, 본 발명의 실시예에 따르면, 얼굴 검출과 인식을 위해 통합된 국부 블록 질감(local block texture) 특징 벡터를 사용함으로써 얼굴 검출과 인식을 동시에 효율적으로 수행할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 영상 입력부 200: 질감 특징 맵 추출부
300: 얼굴 검출부 400: 얼굴 인식부

Claims (3)

  1. 카메라로부터 입력되는 입력 영상을 수신하는 영상 입력부와,
    상기 영상 입력부를 통해 입력되는 영상에서 질감 특징 맵을 추출하는 질감 특징맵 추출부와,
    상기 추출된 상기 질감 특징 맵을 기초로 상기 입력 영상에서 얼굴 영역을 검출하는 얼굴 검출부와,
    상기 검출된 상기 얼굴 영역을 기초로 상기 얼굴 영역내에서 얼굴을 인식하는 얼굴 인식부
    를 포함하는 얼굴 검출 및 인식 장치.
  2. 제 1 항에 있어서,
    상기 질감 특징맵 추출부는,
    상기 입력 영상을 다수의 국부 영역으로 분할하고, 각 국부 영역에 대해 중심과 이웃하는 픽셀 값들 사이의 크기 비교를 통해 이진 부호를 생성하고, 생성된 이진 부호의 십진화를 통해 질감 특징값을 계산하며, 상기 입력 영상에 대해 상기 질감 특징값으로 표현한 질감 특징 맵을 산출하는 것을 특징으로 하는 얼굴 인식 장치.
  3. 제 1 항에 있어서,
    상기 얼굴 검출부는,
    상기 질감 특징 맵에 기반하여 상기 입력 영상에서 얼굴 검출을 위하여 스캔하는 일정 크기의 원도우에 대한 국부 블록 질감 특징 벡터를 산출하고, 상기 국부 블록 질감 특징 벡터를 기설정된 기준 특징 벡터와 매칭하여 상기 입력 영상에서 얼굴 영역을 검출하는 것을 특징으로 하는 얼굴 검출 및 인식 장치.
KR1020140065748A 2013-12-16 2014-05-30 국부 블록 질감 특징 벡터를 이용한 얼굴 검출 및 인식 장치 KR20150069989A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130156758 2013-12-16
KR1020130156758 2013-12-16

Publications (1)

Publication Number Publication Date
KR20150069989A true KR20150069989A (ko) 2015-06-24

Family

ID=53516964

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140065748A KR20150069989A (ko) 2013-12-16 2014-05-30 국부 블록 질감 특징 벡터를 이용한 얼굴 검출 및 인식 장치

Country Status (1)

Country Link
KR (1) KR20150069989A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956098A (zh) * 2019-11-13 2020-04-03 深圳和而泰家居在线网络科技有限公司 图像处理方法及相关设备
CN113095310A (zh) * 2021-06-10 2021-07-09 杭州魔点科技有限公司 人脸位置检测方法、电子设备和存储介质
CN113826144A (zh) * 2019-07-18 2021-12-21 索尼集团公司 使用单幅彩色图像和深度信息的面部纹理贴图生成

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113826144A (zh) * 2019-07-18 2021-12-21 索尼集团公司 使用单幅彩色图像和深度信息的面部纹理贴图生成
CN113826144B (zh) * 2019-07-18 2023-11-21 索尼集团公司 使用单幅彩色图像和深度信息的面部纹理贴图生成
CN110956098A (zh) * 2019-11-13 2020-04-03 深圳和而泰家居在线网络科技有限公司 图像处理方法及相关设备
CN110956098B (zh) * 2019-11-13 2023-05-12 深圳数联天下智能科技有限公司 图像处理方法及相关设备
CN113095310A (zh) * 2021-06-10 2021-07-09 杭州魔点科技有限公司 人脸位置检测方法、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN109325964B (zh) 一种人脸追踪方法、装置及终端
Arth et al. Real-time license plate recognition on an embedded DSP-platform
CN107093172B (zh) 文字检测方法及***
TWI686774B (zh) 人臉活體檢測方法和裝置
KR101724658B1 (ko) 사람 검출 장치 및 방법
CN112001902A (zh) 缺陷检测方法和相关装置、设备、存储介质
US20170262723A1 (en) Method and system for detection and classification of license plates
WO2011114736A1 (ja) 特徴量算出装置、特徴量算出方法及びプログラム
CN109145742A (zh) 一种行人识别方法及***
CN111382637B (zh) 行人检测跟踪方法、装置、终端设备及介质
JP6095817B1 (ja) 物体検出装置
KR102195940B1 (ko) 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법
US12020510B2 (en) Person authentication apparatus, control method, and non-transitory storage medium
Gu et al. A new vision system for traffic sign recognition
KR20150069989A (ko) 국부 블록 질감 특징 벡터를 이용한 얼굴 검출 및 인식 장치
US9167129B1 (en) Method and apparatus for segmenting image into halftone and non-halftone regions
TWI628623B (zh) 全天候熱影像式行人偵測方法
Park et al. Sensor adversarial traits: Analyzing robustness of 3d object detection sensor fusion models
Zhang et al. Corruptencoder: Data poisoning based backdoor attacks to contrastive learning
Gou et al. License plate recognition using MSER and HOG based on ELM
Piérard et al. A probabilistic pixel-based approach to detect humans in video streams
Diamantatos et al. Binarization: a Tool for Text Localization
Fatichah et al. Optical flow feature based for fire detection on video data
Mori et al. Classification of pole-like objects using point clouds and images captured by mobile mapping systems
Jo et al. Pothole detection based on the features of intensity and motion

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid